KR100955578B1 - 스테레오스코픽 콘텐츠 장면 재생 방법 및 그 장치 - Google Patents

스테레오스코픽 콘텐츠 장면 재생 방법 및 그 장치 Download PDF

Info

Publication number
KR100955578B1
KR100955578B1 KR1020070133202A KR20070133202A KR100955578B1 KR 100955578 B1 KR100955578 B1 KR 100955578B1 KR 1020070133202 A KR1020070133202 A KR 1020070133202A KR 20070133202 A KR20070133202 A KR 20070133202A KR 100955578 B1 KR100955578 B1 KR 100955578B1
Authority
KR
South Korea
Prior art keywords
stereoscopic
mpeg
text
information
scene descriptor
Prior art date
Application number
KR1020070133202A
Other languages
English (en)
Other versions
KR20090065735A (ko
Inventor
윤국진
허남호
김진웅
이수인
이윤진
임영권
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020070133202A priority Critical patent/KR100955578B1/ko
Priority to PCT/KR2008/007511 priority patent/WO2009078678A2/en
Priority to US12/809,401 priority patent/US8773504B2/en
Publication of KR20090065735A publication Critical patent/KR20090065735A/ko
Application granted granted Critical
Publication of KR100955578B1 publication Critical patent/KR100955578B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs

Abstract

본 발명은 스테레오스코픽 콘텐츠 서비스 시스템 및 방법에 관한 것으로, 보다 상세하게는 스테레오스코픽 콘텐츠에 대하여 요구되는 부가정보를 포함하는 장면 기술자 구조를 정의하고, 정의된 장면 기술자의 정보에 따라 스테레오스코픽 콘텐츠를 디스플레이함으로써 사용자 인터랙션을 통한 2D/3D 디스플레이 변환 및 좌우 텍스트 정보와 디스패러티 정보를 통한 스테레오스코픽 텍스트를 재생할 수 있는 효과를 가진다.
스테레오스코픽, 장면 기술자, 객체 기술자, 텍스트. 엠펙-4

Description

스테레오스코픽 콘텐츠 장면 재생 방법 및 그 장치 {System and Method for stereoscopic contents display}
본 발명은 스테레오스코픽 콘텐츠 장면 재생 방법 및 그 장치에 관한 것으로, 보다 상세하게는 장면기술자기반의 스테레오스코픽 콘텐츠를 생성하는 장치 및 방법에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2007-S-004-01, 과제명: 무안경 개인형 3D 방송기술 개발].
3D 입체영상은 현실 세계인 3차원 세계의 리얼리티를 전달할 수 있는 영상매체이며, 임장감(Presence feeling), 실재감, 자연감, 선명성 등의 장점을 갖고 있다.
상기 3D 입체영상을 표현하기 위한 기술은 크게 좌, 우 두 개의 2차원 영상을 이용한 스테레오스코픽(Stereoscopic) 방식과, 물체의 산란 정보를 이용한 홀로그래픽(holographic) 방식으로 분류된다.
상기 홀로그래픽 방식은 물체에서 산란된 빛을 이용해 자연스러운 입체영상 을 재현하는 궁극적인 3차원 입출력 방식이지만 방대한 양의 3차원 정보 및 관련 소자의 한계로 현재의 전송시스템으로는 실시간적 구현이 불가능하다는 한계가 있다.
상기 스테레오스코픽 방식은 인간의 시각시스템(HVS: Human Visual System)이 왼쪽 눈과 오른쪽 눈의 위치 차이에 의해 서로 다른 영상이 들어오고, 뇌는 그것을 입체로 받아들여 거리감을 갖게 되는 과정에서 입체감을 형성하게 된다는 원리를 사용한다. 즉, 인간 두 눈이 가로방향으로 약 65㎜ 떨어져 있기 때문에 존재하는 양안시차가 인간이 느끼는 입체감의 가장 중요한 핵심이다.
상기 스테레오스코픽 방식은 다수의 디스플레이 수단을 사용하여 좌, 우의 양 쪽 눈에 각각 서로 다른 2차원의 영상을 보게 하거나 하나의 디스플레이수단에서 일정 시간 간격으로 서로 다른 2차원의 상을 교차 디스플레이함으로써 두가지 영상을 사용자에게 디스플레이하여 사용자의 뇌가 물체에서 반사되어 나온 두 빛을 정확히 서로 합성 처리해 3차원 영상의 원근감과 실재감을 재생하도록 한다.
따라서, 상기 스테레오스코픽 방식에서는 각각 서로 다른 2차원 영상을 필요로 하게 된다.
일반적으로 MPEG-4 기반으로 영상을 생성하기 위해서는 초기 객체 기술자 (IOD: Initial Object Descriptor), 장면 기술자(BIFS: Binary Format for Scene), 객체 기술자(OD: Object Descriptor) 및 미디어 데이터들이 필요하다. 우선, 초기 객체 기술자(IOD)는 MPEG-4 장면을 구성하기 위해 가장 먼저 전송되어야 하는 정보로서, 미디어의 프로파일과 레벨을 기술하며, 장면 기술자(BIFS) 스트림과 객체 기 술자 스트림에 대한 기초 스트림 기술자(ES-Descriptor)를 포함하고 있다. 객체 기술자는 장면을 구성하는 미디어 데이터에 대한 정보를 기술하는 기초 스트림 기술자들의 집합으로서, 미디어 데이터의 기초 스트림과 장면 기술자와의 연결 정보를 제공한다.
상기 장면 기술자(BIFS)는 양방향 실시간 비디오데이터 서비스 또는 연동형 데이터 방송을 구현하기 위한 포맷으로 프로그램과 연동된 양방향 서비스를 가능하게 하여 사용자 요구 사항에 따른 대화형 서비스를 가능하게 하는 기술 규격이다.
스테레오스코픽 콘텐츠를 제공하기 위한 종래 기술로 "MPEG-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송시스템 및 방법"(공개번호 10-2004-0090523)이 있다. 상기 발명은 MPEG-4 기반으로 스테레오스코픽 3차원 동영상을 서비스하여, 인터넷을 통해 VOD 및 생방송(LIVE) 서비스를 제공하는 인터넷 방송 시스템에 관한 것으로서, 사용자가 인터넷을 통해 2차원 또는 3차원 영상으로 콘텐츠를 감상할 수 있도록 하는 기술이다.
하지만 상기 종래 기술은 MPEG-4 시스템 구조를 토대로 스테레오스코픽 동영상을 서비스하기 위한 송수신 시스템 및 저장포맷 구조를 제공하고 있으나, 본 발명에서 제안한 장면기술자를 통한 2D/3D 디스플레 모드 전환, 스테레오스코픽 텍스트 및 스테레오스코픽 비디오 및 정지영상을 지원하는 구조는 제공하지 못한다.
본 발명은 상기와 같은 종래 기술을 개선하기 위해 안출된 것으로서, 텍스 트를 스테레오스코픽으로 디스플레이하는 스테레오스코픽 콘텐츠 장면 재생 방법 및 그 장치를 제공하는 것이다.
본 발명의 다른 목적은 사용자가 2D/3D 디스플레이 변환 요청을 하더라도 디코더에게 추가로 정보 변환 요청을 하지 않고 바로 장면기술자내에서 사용자의 영상 변환 요청에 따른 콘텐츠를 디스플레이 할 수 있는 스테레오스코픽 장면 재생 방법 및 그 장치를 제공하는 것이다.
본 발명의 다른 목적은 스테레오스코픽 비디오 또는 정지영상에 대하여 장면기술를 하기 위한 스테레오스코픽 장면 재생 방법 및 그 장치를 제공하는 것이다.
본 발명의 목적은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기한 목적들을 달성하기 위한 본 발명의 제 1 측면에 따르면, MPEG-4 기반의 스테레오스코픽 콘텐츠를 생성하는 장치에 있어서, 장면 기술자를 포함하는 MPEG-4 시스템 제어 신호를 생성하는 MPEG-4 제어 신호 생성 수단을 포함하고, 상기 장면 기술자는 텍스트를 스테레오스코픽으로 디스플레이 하기 위한 스테레오스코픽 텍스트 노드 정보를 포함한다.
상기한 목적들을 달성하기 위한 본 발명의 제 2 측면에 따르면, MPEG-4 기반의 스테레오스코픽 콘텐츠를 복원하는 장치에 있어서, 수신된 MPEG-4 데이터로부 터 장면 기술자를 포함하는 MPEG-4 제어 신호를 복원하는 복호화 수단을 포함하고, 상기 장면 기술자는 텍스트를 스테레오스코픽으로 디스플레이 하기 위한 스테레오스코픽 텍스트 노드 정보를 포함하는 것을 특징으로 한다.
기타 실시 예들의 구체적인 사항들은 상세한 설명 및 첨부 도면들에 포함되어 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
상술한 바와 같이 본 발명은 장면 기술자에 텍스트 정보와 텍스트 정보의 디스패러티 정보를 포함한 스테레오스코픽 텍스트 노드를 제안함으로써, 장면기술자를 통하여 스테레오스코픽 텍스트를 지원하는 효과가 있다.
또한, 장면 기술자에 2D/3D 디스플레이 모드 변환 정보를 포함하는 스테레오스코픽 비디오/이미지 텍스처 노드를 제안함으로써 장면기술자를 통한 2D/3D 디스플레이 모드를 변환하는 효과가 있다.
또한, 장면 기술자에 main_url, sub_url을 포함하는 스테레오스코픽 비디오/ 이미지 텍스처 노드를 제안함으로써 장면 기술자를 통한 메인 객체기술자와 부가 객체기술자를 지원하는 효과가 있다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 그리고 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
장면 기술자(BIFS)는 장면을 구성하는 동영상 또는 오디오 객체의 공간적/시간적 위치와 행위, 예를 들어 한 장면에서 어떤 자막이 삽입될지, 그림이 어떤 형태로 포함될지, 몇 초 간격으로 얼마 동안 나올지를 나타내는 기술 규격으로 동영상에 관련된 장면 정보를 나타내는 동영상(movietexture) 노드와 정지영상에 관련된 장면 정보를 나타내는 이미지(imagetexture) 노드를 포함한다.
도 1는 일반적인 엠펙-4(MPEG-4)의 장면 기술자에 포함되는 동영상 노드의 구조도이고, 도 2는 일반적인 엠펙-4(MPEG-4)의 장면 기술자에 포함되는 이미지 노드의 구조도이다.
상기 도 1에 있어서, Loop는 반복 여부에 대한 정보를 포함하는 필드이고, speed는 동영상 디스플레이 속도를 비율로 나타낸 정보를 포함하는 필드로 1.0을 동영상의 기준 디스플레이 속도인 100%로 계산하여 숫자의 증감에 따라 동영상의 디스플레이 속도를 증감한다.
또한, startTime은 작동하는 시간 정보를 포함하는 필드이며, stopTime은 작동을 멈추는 시간 정보를 포함하는 필드이다.
그리고, 상기 도 1과 도 2에 있어서, url []은 해당 동영상이나 정지영상에 대한 객체 기술자를 지정하기 위한 주소 정보를 표함하고, repeatS은 객체의 한 면에 해당 이미지를 적용하기 위해서 수평으로 분할할 것인지에 대한 정보를 포함하는 필드이며, repeatT는 객체의 한 면에 해당 이미지를 적용하기 위해서 수직으로 분할할 것인지에 대한 정보를 포함하는 필드이다.
그러나 종래기술에 따르면, 상기 동영상 노드와 이미지 노드에는 객체 기술자를 지정하기 위한 url []가 1개뿐이어서 메인 영상과 부가 영상의 조합으로 형성되는 스테레오스코픽 콘텐츠를 디스플레이 하는 것에 한계가 있다. 또한, 상기 동영상 노드와 이미지 노드만으로는 텍스트를 스테레오스코픽 형태로 디스플레이 할 수 없는 한계점도 있다.
따라서, 본 발명은 동영상 노드와 이미지 노드에 필드를 추가하여 스테레오스코픽 콘텐츠를 용이하게 디스플레이가 가능하며 2D/3D 변환이 가능하도록 한 스테레오스코픽 동영상 노드(Stereoscopic movietexture node)와 스테레오스코픽 이미지 노드(Stereoscopic imagetexture node) 및; 텍스트를 스테레오스코픽 형태로 디스플레이하기 위한 텍스트 노드를 포함하는 장면 기술자를 제안한다.
도 3은 본 발명에 따른 장면 기술자에 포함되는 스테레오스코픽 동영상 노드의 구조도이고, 도 4는 본 발명에 따른 장면 기술자에 포함되는 스테레오스코픽 이미지 노드의 구조도이다.
본 발명에 따른 스테레오스코픽 동영상 노드와 스테레오스코픽 이미지 노드는 도3과 도4에 도시된 바와 같이 해당 동영상이나 정지영상에 대한 객체 기술자를 지정하기 위한 URL 필드를 main_url []과 sub_url []의 2개로 설정하여 main_url []은 메인 영상에 대한 객체 기술자의 주소 정보를 포함하고, sub_url []은 상기 메인 영상에 종속된 부가 영상에 대한 객체 기술자의 주소 정보를 포함하도록 하여 2개의 객체 기술자가 동시에 지정되도록 하였다.
또한, 디스플레이 되는 영상의 형태를 표시하는 2D/3D_conversion 코드를 노드가 시작되는 eventIn 에 결합하여 노드 실행시 디코더가 2D/3D_conversion 값에 따라 디스플레이 되는 영상을 2D형태와 3D형태 중 하나로 디스플레이 하도록 하였다.
본 발명의 실시예에서는 2D/3D_conversion 값이 FALSE이면 2차원 영상인 2D형태로 디스플레이하고 2D/3D_conversion 값이 TRUE이면 3차원 영상인 3D형태로 디스플레이 하도록 설정하였다. 또한, 제안한 2D/3D_conversion 필드 통하여 3D로형태로 디스플레이 할 경우 자동으로 해당 3D 패널을 On 시킬 수 있다.
도 5는 본 발명에 따른 장면 기술자에 포함되는 스테레오스코픽 텍스트 노드의 제1실시예 구조도이고, 도 6은 본 발명에 따른 장면 기술자에 포함되는 스테레오스코픽 텍스트 노드의 제 2실시예 구조도이다.
상기 도5에 있어서, leftstring(좌 스트링) 필드는 좌 시점에 해당되는 제1 텍스트를 포함하고, rightstring(우 스트링) 필드는 우 시점에 해당되는 제2 텍스트를 포함하며, disparity(디스패러티)필드는 상기 제1 텍스트 및 제2 택스트의 디스패러티 정보를 포함한다.
상기 디스패러티 정보는 3차원 동영상 또는 영상내 객체의 수평 쉬프 트(shift)의 정도를 나타내는 정보로 디스패러티 정보의 변화에 따라 입체감이 변화된다.
또한, length 필드는 상기 좌 스트링 필드와 우 스트링 필드에 표시된 텍스트의 길이 정보가 포함되고, fontStyle 필드는 상기 텍스트의 폰트 종류 정보가 포함되며, maxExtent는 상기 텍스트가 저장될 공간의 최대 범위 정보가 포함된다.
상기 도 6에 있어서 stereoscopicstring(스테레오스코픽 스트링)필드는 스테레오스코픽으로 표시할 텍스트를 포함하고, disparity 필드는 상기 텍스트의 디스패러티 정보를 표시한다.
상기 스테레오스코픽 스트링 필드는 좌, 우 시점의 텍스트 내용이 같은 경우에 사용되며 스테레오스코픽 스트링 필드에 표시된 텍스트와 동일한 내용으로 좌, 우 시점의 텍스트인 제1 텍스트와 제2 텍스트가 생성된다.
도 7은 본 발명에 따른 스테레오스코픽 콘텐츠 서비스 시스템의 일실시예 구성도이다.
도 7에 도시된 바와 같이, 본 발명에 따른 도 7은 본 발명에 따른 스테레오스코픽 콘텐츠 서비스 시스템은 3차원 동영상을 획득하여 전송하는 카메라 모듈(100), 상기 카메라 모듈(100)에서 전송된 3차원 동영상의 전처리 기능을 수행하는 3차원 동영상 생성 모듈(150), MPEG-4 객체 기술자와 장면 기술자를 생성하는 MPEG-4 제어 신호 생성 모듈(200), 상기 3차원 동영상 생성 모듈(150)과 MPEG-4 제어 신호 생성 모듈(200)로부터 입력되는 3차원 동영상 및 MPEG-4 제어 신호를 MPEG-4 및 기존 부호화 기법을 통하여 부호화하고, 각각 부호화 스트림(ES : Elementary Stream)을 출력하는 부호화 모듈(300), 상기 부호화 모듈(300)에서 출력되는 부호화 스트림의 미디어 데이터 및 미디어에 대한 MPEG-4 제어 신호를 입력받아 MPEG-4 시스템 규격에 정의된 MPEG-4 데이터를 생성하는 MP4 파일 생성 모듈(400), 상기 MP4 파일 생성 모듈(400)에서 생성된 MPEG-4 데이터로 MPEG-4 시스템 규격에 정의된 패킷을 생성하는 패킷 타이징 모듈(500), 상기 패킷 타이징 모듈(500)에서 생성된 패킷스트림을 전송하는 네트워크(600), 상기 네트워크 (600)를 통해 전송된 패킷스트림을 입력받아 MPEG-4 데이터를 복원하는 디패킷타이징모듈(700), 상기 디패킷타이징 모듈(700)에서 복원된 MPEG-4 데이터를 복호화하여 3차원 동영상을 복원하는 복호화 모듈(800), 그리고 상기 복호화 모듈(800)에서 복원된 영상을 디스플레이하는 디스플레이 모듈(900)을 포함한다.
상기 카메라 모듈(100)는 메인 영상과 부가 영상으로 구성되는 3차원 동영상 데이터를 획득하여 상기 3차원 동영상 생성모듈(150)로 전송한다.
상기 3차원 동영상 생성 모듈(150)는 상기 카메라 모듈(100)부에서 전송되는 3차원 동영상 데이터에 대하여 사이즈 및 컬러를 변환하는 등의 전처리 기능을 수행한다. 한편, 상기 3차원 동영상 생성 모듈(150)는 상기와 같은 전처리 과정을 수행함으로써 부호화 모듈(300)에서 요구되는 영상포맷(BMP, YUV 등)의 동영상 데이터를 출력한다.
상기 MPEG-4 제어 신호 생성 모듈(200)는 MPEG-4 제어 신호를 구성하는 객체 기술자와 장면 기술자를 생성한다. 상기 객체 기술자는 각 영상간의 상호관계 및 링크의 구성정보 등을 포함하고, 상기 장면 기술자는 도3과 도4에 도시된 바와 같이 main_url []과 sub_url []의 2개 URL 필드와 디스플레이 되는 영상의 형태를 표시하는 2D/3D_conversion을 구비한 스테레오스코픽 동영상 노드와 스테레오스코픽 이미지 노드 및 도5에 도시된 바와 같이 텍스트를 스테레오스코픽으로 디스플레이하기 위한 정보가 포함된 텍스트 노드를 포함한다.
상기 부호화 모듈(300)은 상기 3차원 동영상 생성 모듈(150)과 MPEG-4 제어 신호 생성 모듈(200)에서 전송되는 상기 3차원 동영상 및 상기 MPEG-4 제어 신호를 MPEG-4 및 다른 부호화 기법을 통하여 부호화하고, 각각의 부호화 스트림(ES : Elementary Stream)을 출력한다.
상기 MP4 파일 생성 모듈(400)은 상기 부호화 모듈(300)로부터 출력된 상기 부호화 스트림를 수신하여 MPEG-4 시스템 규격에 정의된 MPEG-4 데이터를 생성한다.
상기 MP4 파일 생성 모듈(400)에서 생성되는 상기 MPEG-4 데이터는 MP4 파일인 것이 바람직하다.
상기 패킷타이징 모듈(500)은 상기 MP4 파일 생성 모듈(400)에서 생성된 상기 MPEG-4 데이터를 수신하고, 상기 MPEG-4 데이터를 기반으로 MPEG-4 시스템 규격에 정의된 패킷을 생성하고 네트워크(600)를 통해 전송한다.
상기 디패킷타이징 모듈(700)은 네트워크(600)를 통해 전송된 상기 패킷을 입력받아 MPEG-4 데이터로 복원하고, 복원된 MPEG-4 데이터를 복호화 모듈(800)로 전송한다.
상기 복호화 모듈(800)은 상기 디패킷타이징 모듈(700)에서 전송된 MPEG-4 데이터를 입력받아 메인 영상과 부가 영상, 및 객체 기술자와 장면 기술자를 포함하는 MPEG-4 제어 신호를 복원하고, 클라이언트 시스템 환경 및 사용자가 선택하는 디스플레이 방식에 따라 상기 메인 영상과 부가 영상으로부터 스테레오스코픽 영상을 생성한다.
상기 복호화 모듈(800)은 복원된 MPEG-4 제어 신호 안에 포함된 장면 기술자의 스테레오스코픽 동영상 노드나 스테레오스코픽 이미지 노드에서 2D/3D_conversion 값을 확인하여 FALSE이면 메인 영상인 2차원 콘텐츠만을 복원하여 디스플레이 모듈(900)로 전송하고, 2D/3D_conversion 값이 TRUE이면 메인 영상과 부가영상을 결합하여 3차원 영상인 스테레오스코픽 영상을 생성하여 디스플레이 모듈(900)로 전송한다.
상기 복호화 모듈(800)은 복원된 MPEG-4 제어 신호안에 포함된 장면 기술자의 스테레오스코픽 텍스트 노드에 포함된 텍스트와 디스패러티 정보를 사용하여 스테레오스코픽 텍스트 영상을 생성하며 상세한 생성 방법은 하기된 도8을 사용하여 후술한다.
상기 디스플레이 모듈(900)은 복원된 영상을 디스플레이하는 모듈로써, 사용자는 스테레오스코픽 영상을 감상할 수 있고, 기본 사용자 조작을 통한 사용자 인터페이스를 제공한다. 여기서, 기본 사용자 조작으로는 재생(Play), 정지(Stop), 순간 정지(Pause) 등이 있다.
상기 디스플레이 모듈(900)은 다수의 디스플레이 구성을 사용하여 좌, 우의 양 쪽 눈에 각각 서로 다른 2차원의 영상을 보게 함으로써 스테레오스코픽 영상을 생성하거나, 하나의 디스플레이 구성에서 일정 시간 간격으로 서로 다른 2차원의 상을 교차 디스플레이하여 스테레오스코픽 영상을 생성한다.
도8은 본 발명에 따른 스테레오스코픽 서비스에 대한 스테레오스코픽 텍스트 생성 방법의 일실시예 순서도이다.
우선 전송된 장면 기술자의 스테레오스코픽 텍스트 노드에 스테레오스코픽 스트링(stereoscopicstring)이 존재하는지 확인한다(S110).
스테레오스코픽 텍스트 노드에 스테레오스코픽 스트링이 존재하지 않는다면, 좌 스트링(leftstring)과 우 스트링(rightstring)이 존재하므로 상기 좌 스트링에 포함된 제1 텍스트와 우 스트링에 포함된 제2 텍스트 및 디스패러티 정보를 기초로 하여 좌 디스플레이 영상과 우 디스플레이 영상을 생성하여 상기 디스플레이 모듈(900)로 전송하고(S130), 상기 디스플레이 모듈(900)은 클라이언트 시스템 환경 및 사용자가 선택하는 디스플레이 방식에 따라 상기 좌 디스플레이 영상과 우 디스플레이 영상을 기초로 하여 텍스트를 스테레오스코픽 영상으로 디스플레이 한다(S140).
스테레오스코픽 텍스트 노드에 스테레오스코픽 스트링이 존재한다면, 좌 ,우 스트링을 생성하고, 좌, 우 스트링에 스테레오스코픽스트링 필드에 기재된 텍스트를 저장하여 동일한 내용을 가지는 제1 텍스트와 제2 텍스트를 생성하며(S120), 생성된 제1 텍스트와 제2 텍스트 및 디스패러티 정보를 기초로 하여 좌 디스플레이 영상과 우 디스플레이 영상을 생성하여 상기 디스플레이 모듈(900)로 전송하고(S130), 상기 디스플레이 모듈(900)은 클라이언트 시스템 환경 및 사용자가 선택 하는 디스플레이 방식에 따라 상기 좌 디스플레이 영상과 우 디스플레이 영상을 기초로 하여 텍스트를 스테레오스코픽 영상으로 디스플레이 한다(S140).
지금까지 본 발명에 따른 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허 청구의 범위뿐 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
도 1는 일반적인 엠펙-4(MPEG-4)의 장면 기술자에 포함되는 동영상 노드의 구조도이다.
도 2는 일반적인 엠펙-4(MPEG-4)의 장면 기술자에 포함되는 이미지 노드의 구조도이다.
도 3은 본 발명에 따른 장면 기술자에 포함되는 스테레오스코픽 동영상 노드의 구조도이다.
도 4는 본 발명에 따른 장면 기술자에 포함되는 스테레오스코픽 이미지 노드의 구조도이다.
도 5는 본 발명에 따른 장면 기술자에 포함되는 텍스트 노드의 제1실시예 구조도이다.
도 6은 본 발명에 따른 장면 기술자에 포함되는 텍스트 노드의 제 2실시예 구조도이다.
도 7은 본 발명에 따른 스테레오스코픽 콘텐츠 서비스 시스템의 일실시예 구성도이다.
도8은 본 발명에 따른 스테레오스코픽 서비스에 대한 스테레오스코픽 텍스트 생성 방법의 일실시예 순서도이다.

Claims (16)

  1. 스테레오스코픽 콘텐츠를 생성하는 장치에 있어서,
    장면 기술자를 포함하는 MPEG-4 제어 신호를 생성하는 MPEG-4 제어 신호 생성 수단
    을 포함하고,
    상기 장면 기술자는 스테레오스코픽으로 표시할 텍스트를 포함하는 스트링 필드; 및 상기 텍스트의 디스패러티에 관한 정보를 포함하는 디스페러티 필드를 포함하는 것을 특징으로 하는 스테레오스코픽 콘텐츠 생성 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 스테레오스코픽 콘텐츠를 생성하는 장치에 있어서,
    장면 기술자를 포함하는 MPEG-4 제어 신호를 생성하는 MPEG-4 제어 신호 생성 수단
    을 포함하고,
    상기 장면 기술자는 메인 영상에 대한 제1 객체 기술자의 주소 정보; 및 상기 메인 영상에 종속된 부가 영상에 대한 제2 객체 기술자의 주소 정보를
    더 포함하는 것을 특징으로 하는 스테레오스코픽 콘텐츠 생성 장치.
  6. 스테레오스코픽 콘텐츠를 생성하는 장치에 있어서,
    장면 기술자를 포함하는 MPEG-4 제어 신호를 생성하는 MPEG-4 제어 신호 생성 수단
    을 포함하고,
    상기 장면 기술자는 상기 스테레오스코픽 텍스트 또는 스테레오스코픽 영상을 2D 또는 3D로 표시할 지에 관한 2D/3D 전환 정보를 더 포함하는
    것을 특징으로 하는 스테레오스코픽 콘텐츠 생성 장치.
  7. 삭제
  8. 삭제
  9. MPEG-4 기반의 스테레오스코픽 콘텐츠를 복원하는 장치에 있어서,
    수신된 MPEG-4 데이터로부터 장면 기술자를 포함하는 MPEG-4 제어 신호를 복원하는 복호화 수단
    을 포함하고,
    상기 장면 기술자는 스테레오스코픽으로 표시할 텍스트를 포함하는 스트링 필드; 및 상기 텍스트의 디스패러티에 관한 정보를 포함하는 디스페러티 필드를 포함하는 것을 특징으로 하는 스테레오스코픽 콘텐츠 복원 장치.
  10. 삭제
  11. 제9항에 있어서,
    상기 복호화 수단은,
    상기 스테레오스코픽 텍스트 및 상기 디스패러티 필드에 기초하여 3D 디스플레이 영상을 생성하는 것을 특징으로 하는 스테레오스코픽 콘텐츠 복원 장치.
  12. 삭제
  13. 삭제
  14. 제11항에 있어서,
    상기 장면기술자를 토대로 클라이언트 시스템 환경 또는 사용자가 선택하는 2D/3D 디스플레이 방식에 따라 스테레오스코픽 텍스트 또는 스테레오스코픽 영상을 스테레오스코픽 또는 모노스코픽으로 디스플레이하는 디스플레이부
    를 포함하는 것을 특징으로 하는 스테레오스코픽 콘텐츠 복원 장치.
  15. 제9항에 있어서,
    상기 장면 기술자는 스테레오스코픽 텍스트를 2D 또는 3D로 표시할 지에 관한 2D/3D 전환정보를 포함하는 것을 특징으로 하는 스테레오스코픽 콘텐츠 복원 장치.
  16. MPEG-4 기반의 스테레오스코픽 콘텐츠를 복원하는 장치에 있어서,
    수신된 MPEG-4 데이터로부터 메인 영상과 부가 영상을 복원하고, 2D/3D 정보에 따라 상기 MPEG-4 데이터를 3D로 변환하지 않는 경우이면, 상기 메인 영상만을 디스플레이부로 전달하며,상기 2D/3D 정보에 따라 상기 MPEG-4 데이터를 3D로 변환하는 경우이면, 상기 메인 영상과 상기 부가 영상을 결합하여 3차원 콘텐츠인 스테레오스코픽 콘텐츠로 생성하여 상기 디스플레이부로 전달하는 복호화 수단; 및
    상기 복호화 수단의 요청에 따라 스테레오스코픽 영상을 스테레오스코픽 또는 모노스코픽으로 디스플레이하는 디스플레이부
    를 포함하는 것을 특징으로 하는 스테레오스코픽 콘텐츠 복원 장치.
KR1020070133202A 2007-12-18 2007-12-18 스테레오스코픽 콘텐츠 장면 재생 방법 및 그 장치 KR100955578B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020070133202A KR100955578B1 (ko) 2007-12-18 2007-12-18 스테레오스코픽 콘텐츠 장면 재생 방법 및 그 장치
PCT/KR2008/007511 WO2009078678A2 (en) 2007-12-18 2008-12-18 Stereoscopic content service system and method
US12/809,401 US8773504B2 (en) 2007-12-18 2008-12-18 Stereoscopic content service system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070133202A KR100955578B1 (ko) 2007-12-18 2007-12-18 스테레오스코픽 콘텐츠 장면 재생 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20090065735A KR20090065735A (ko) 2009-06-23
KR100955578B1 true KR100955578B1 (ko) 2010-04-30

Family

ID=40796035

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070133202A KR100955578B1 (ko) 2007-12-18 2007-12-18 스테레오스코픽 콘텐츠 장면 재생 방법 및 그 장치

Country Status (3)

Country Link
US (1) US8773504B2 (ko)
KR (1) KR100955578B1 (ko)
WO (1) WO2009078678A2 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201116041A (en) * 2009-06-29 2011-05-01 Sony Corp Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, three-dimensional image data reception method, image data transmission device, and image data reception
JP2011030180A (ja) * 2009-06-29 2011-02-10 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP5446913B2 (ja) * 2009-06-29 2014-03-19 ソニー株式会社 立体画像データ送信装置および立体画像データ送信方法
JP2011030182A (ja) * 2009-06-29 2011-02-10 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP5407968B2 (ja) * 2009-06-29 2014-02-05 ソニー株式会社 立体画像データ送信装置および立体画像データ受信装置
JP5521486B2 (ja) * 2009-06-29 2014-06-11 ソニー株式会社 立体画像データ送信装置および立体画像データ送信方法
JP5407957B2 (ja) * 2009-06-29 2014-02-05 ソニー株式会社 立体画像データ送信装置および立体画像データ受信装置
CN105163105B (zh) * 2010-05-30 2018-03-27 Lg电子株式会社 处理和接收用于3维字幕的数字广播信号的方法和装置
CN102959952B (zh) * 2010-06-27 2016-07-06 Lg电子株式会社 数字接收器以及在数字接收器中处理字幕数据的方法
EP2408211A1 (en) * 2010-07-12 2012-01-18 Koninklijke Philips Electronics N.V. Auxiliary data in 3D video broadcast
CN103026713B (zh) * 2010-07-12 2016-02-24 皇家飞利浦电子股份有限公司 3d视频广播中的辅助数据
KR101158723B1 (ko) * 2011-05-09 2012-06-22 한밭대학교 산학협력단 장면 서술자 기반의 게임 장면의 고속 부호화 시스템 및 방법
KR102284134B1 (ko) 2014-05-28 2021-07-30 삼성전자주식회사 디스플레이 장치의 이의 디스플레이 방법
GB2545729A (en) * 2015-12-23 2017-06-28 Nokia Technologies Oy Methods and apparatuses relating to the handling of a plurality of content streams

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030056103A (ko) * 2001-12-27 2003-07-04 한국전자통신연구원 엠펙-4 장면 기술자를 이용한 엠펙-2 비디오의 특정 영역활성화 장치 및 그 방법
KR20060100347A (ko) * 2006-08-31 2006-09-20 한국정보통신대학교 산학협력단 멀티미디어 방송 콘텐츠용 통합 파일 포맷 구조와 이를이용한 멀티미디어 방송 콘텐츠 서비스 시스템 및 그 방법
KR20060130451A (ko) * 2005-06-14 2006-12-19 삼성전자주식회사 영상 디스플레이 모드 전환 방법 및 장치
KR20070060951A (ko) * 2005-12-09 2007-06-13 한국전자통신연구원 Ｄｍｂ 기반의 3차원 입체영상 서비스 제공 방법과, ｄｍｂ기반의 3차원 입체영상 서비스를 위한 복호화 장치 및 그방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0933939A4 (en) * 1997-07-18 1999-12-22 Sony Corp METHOD AND SYSTEM FOR MULTIPLEXING AN IMAGE SIGNAL, METHOD AND SYSTEM FOR DEMULTIPLEXING AN IMAGE SIGNAL, AND TRANSMISSION MEDIUM
AU761202B2 (en) * 1997-09-22 2003-05-29 Sony Corporation Generation of a bit stream containing binary image/audio data that is multiplexed with a code defining an object in ascii format
US6215825B1 (en) * 1998-07-09 2001-04-10 Canon Kabushiki Kaisha Stereographic image compression with image difference generation and lossy compression
US6593936B1 (en) * 1999-02-01 2003-07-15 At&T Corp. Synthetic audiovisual description scheme, method and system for MPEG-7
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
FR2836215B1 (fr) * 2002-02-21 2004-11-05 Yodea Systeme et procede de modelisation et de restitution tridimensionnelle d'un objet
KR100556826B1 (ko) 2003-04-17 2006-03-10 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법
KR100768837B1 (ko) * 2003-04-17 2007-10-19 샤프 가부시키가이샤 3차원 화상 작성 장치, 3차원 화상 재생 장치, 3차원 화상 처리 장치, 3차원 화상 처리 프로그램을 기록한 기록 매체
US8531448B2 (en) * 2003-05-28 2013-09-10 Sanyo Electric Co., Ltd. Stereoscopic image display apparatus, text data processing apparatus, program, and storing medium
KR100649523B1 (ko) * 2005-06-30 2006-11-27 삼성에스디아이 주식회사 입체 영상 표시 장치
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
US8508582B2 (en) * 2008-07-25 2013-08-13 Koninklijke Philips N.V. 3D display handling of subtitles
WO2010095410A1 (ja) * 2009-02-20 2010-08-26 パナソニック株式会社 記録媒体、再生装置、集積回路
JP5274359B2 (ja) * 2009-04-27 2013-08-28 三菱電機株式会社 立体映像および音声記録方法、立体映像および音声再生方法、立体映像および音声記録装置、立体映像および音声再生装置、立体映像および音声記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030056103A (ko) * 2001-12-27 2003-07-04 한국전자통신연구원 엠펙-4 장면 기술자를 이용한 엠펙-2 비디오의 특정 영역활성화 장치 및 그 방법
KR20060130451A (ko) * 2005-06-14 2006-12-19 삼성전자주식회사 영상 디스플레이 모드 전환 방법 및 장치
KR20070060951A (ko) * 2005-12-09 2007-06-13 한국전자통신연구원 Ｄｍｂ 기반의 3차원 입체영상 서비스 제공 방법과, ｄｍｂ기반의 3차원 입체영상 서비스를 위한 복호화 장치 및 그방법
KR20060100347A (ko) * 2006-08-31 2006-09-20 한국정보통신대학교 산학협력단 멀티미디어 방송 콘텐츠용 통합 파일 포맷 구조와 이를이용한 멀티미디어 방송 콘텐츠 서비스 시스템 및 그 방법

Also Published As

Publication number Publication date
WO2009078678A2 (en) 2009-06-25
KR20090065735A (ko) 2009-06-23
US20120098928A1 (en) 2012-04-26
US8773504B2 (en) 2014-07-08
WO2009078678A3 (en) 2009-09-03

Similar Documents

Publication Publication Date Title
KR100955578B1 (ko) 스테레오스코픽 콘텐츠 장면 재생 방법 및 그 장치
US10523915B2 (en) Stereoscopic video and audio recording method, stereoscopic video and audio reproducing method, stereoscopic video and audio recording apparatus, stereoscopic video and audio reproducing apparatus, and stereoscopic video and audio recording medium
KR102246002B1 (ko) 가상 현실 미디어 콘텐트의 스트리밍을 개선하는 방법, 디바이스, 및 컴퓨터 프로그램
JP5022443B2 (ja) 立体映像コンテンツ再生に利用されるメタデータの復号化方法
US20200389640A1 (en) Method and device for transmitting 360-degree video by using metadata related to hotspot and roi
CN109644262A (zh) 发送全向视频的方法、接收全向视频的方法、发送全向视频的装置和接收全向视频的装置
WO2004008768A1 (en) Apparatus and method for adapting 2d and 3d stereoscopic video signal
US10965928B2 (en) Method for 360 video processing based on multiple viewpoints and apparatus therefor
WO2008054100A1 (en) Method and apparatus for decoding metadata used for playing stereoscopic contents
KR100576544B1 (ko) 엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상처리 장치 및 그 방법
CN102549507A (zh) 选择视点用于在3d视频中生成附加视图
JP2006270924A (ja) 映像データ処理装置、映像再生装置、映像データ処理方法、映像再生方法、これらの方法をコンピュータによって実行するためのプログラム並びに記録媒体
KR101314601B1 (ko) 콘텐츠 전송 장치, 콘텐츠 표출 장치, 콘텐츠 전송 방법 및 콘텐츠 표출 방법
JP2022514140A (ja) ビデオストリームを生成及びレンダリングするための装置及び方法
Minoli 3D television (3DTV) technology, systems, and deployment: Rolling out the infrastructure for next-generation entertainment
Tanimoto et al. Global view and depth (GVD) format for FTV/3DTV
CN110999312B (zh) 发送360度视频的方法、接收360度视频的方法、发送360度视频的装置和接收360度视频的装置
KR101922970B1 (ko) Vr 콘텐츠에 대한 라이브 스트리밍 방법 및 시스템
KR101674688B1 (ko) 입체영상 재생 장치 및 입체영상 재생 방법
Kim et al. Realistic broadcasting using multi-modal immersive media
Hinds Enabling the immersive display: a new paradigm for content distribution
WO2012160812A1 (ja) 映像処理装置、送信装置、立体映像視聴システム、映像処理方法、映像処理プログラム及び集積回路
Kim et al. A Study of Stereoscopic 3D Technology Development Trends on Mobile
Harrison et al. Broadcasting presence: Immersive television
KR20090034707A (ko) 다시점 영상 데이터스트림 생성 방법 및 장치와 다시점영상 데이터스트림 복호화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130325

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150213

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160422

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170220

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180828

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190829

Year of fee payment: 10