KR101105365B1 - Media management system and method - Google Patents

Media management system and method Download PDF

Info

Publication number
KR101105365B1
KR101105365B1 KR1020100012731A KR20100012731A KR101105365B1 KR 101105365 B1 KR101105365 B1 KR 101105365B1 KR 1020100012731 A KR1020100012731 A KR 1020100012731A KR 20100012731 A KR20100012731 A KR 20100012731A KR 101105365 B1 KR101105365 B1 KR 101105365B1
Authority
KR
South Korea
Prior art keywords
data
media
terminal
media data
metadata
Prior art date
Application number
KR1020100012731A
Other languages
Korean (ko)
Other versions
KR20110092985A (en
Inventor
김익재
고희동
김형곤
권용무
안상철
황재인
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020100012731A priority Critical patent/KR101105365B1/en
Publication of KR20110092985A publication Critical patent/KR20110092985A/en
Application granted granted Critical
Publication of KR101105365B1 publication Critical patent/KR101105365B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W8/00—Network data management
    • H04W8/22—Processing or transfer of terminal data, e.g. status or physical capabilities
    • H04W8/24—Transfer of terminal data
    • H04W8/245—Transfer of terminal data from a network towards a terminal

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Databases & Information Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Signal Processing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

미디어 관리 시스템은, 하나 이상의 미디어 데이터, 상기 하나 이상의 미디어 데이터 각각을 지정하는 트랙데이터 및 상기 미디어 데이터와 단말기 사이의 상호작용을 정의하는 메타데이터를 포함하는 미디어 파일을 상기 단말기로 전송하는 서버를 포함하여 구성된다. 단말기는, 하나 이상의 미디어 데이터, 상기 하나 이상의 미디어 데이터 각각을 지정하는 트랙데이터 및 상기 미디어 데이터와 상기 단말기 사이의 상호작용을 정의하는 메타데이터를 포함하는 미디어 파일을 수신하는 수신 모듈; 및 상기 메타데이터에 따라 상기 단말기의 위치에 대응되는 미디어 데이터를 표시하는 표시 모듈을 포함하여 구성된다. 미디어 관리 방법은, 하나 이상의 미디어 데이터를 생성하는 단계; 상기 하나 이상의 미디어 데이터 각각을 지정하는 트랙데이터를 생성하는 단계; 상기 미디어 데이터와 수신측의 단말기 사이의 상호작용을 정의하는 메타데이터를 생성하는 단계; 상기 하나 이상의 미디어 데이터, 상기 트랙데이터 및 상기 메타데이터를 포함하는 미디어 파일을 생성하는 단계; 및 상기 미디어 파일을 전송하는 단계를 포함하여 구성된다.The media management system includes a server for transmitting a media file to the terminal, the media file comprising one or more media data, track data specifying each of the one or more media data, and metadata defining interactions between the media data and the terminal. It is configured by. The terminal comprises: a receiving module for receiving a media file comprising at least one media data, track data designating each of the at least one media data, and metadata defining interactions between the media data and the terminal; And a display module for displaying media data corresponding to the location of the terminal according to the metadata. The media management method includes generating one or more media data; Generating track data specifying each of the one or more media data; Generating metadata defining interactions between the media data and a terminal on a receiving side; Generating a media file comprising the one or more media data, the track data and the metadata; And transmitting the media file.

Description

미디어 관리 시스템 및 방법{Media management system and method}Media management system and method

본 실시예들은 미디어 관리 시스템 및 방법에 관한 것이다.Embodiments relate to a media management system and method.

종래의 관광 가이드 기기들은 주로 음성을 기반으로 한 서비스들이 대부분 이었다. 하지만, 인터넷의 발달 및 모바일 기기들의 발달에 힘입어, 음성 기반은 물론이고, 비디오, 3차원 그래픽, 웹 정보 등이 포함되어서, 보다 생생한 정보 전달이 가능하게 되었다. Conventional tour guide devices are mostly voice based services. However, thanks to the development of the Internet and the development of mobile devices, not only the voice base, but also video, 3D graphics, web information, and the like, more vivid information can be delivered.

더불어 최근 각광을 받고 있는 증강현실 기법을 적용하면, 사용자들은 자신의 모바일 단말기로 직관적인 상호작용을 통해 관심 대상의 설명을, 앞서 언급한 바와 같은, 다양한 콘텐츠들을 통해 보고 들을 수 있다. 하지만, 이러한 다양한 형태의 콘텐츠를 하나의 미디어 파일로 저장하고 관리할 수 있는 형식은 아직 고려되지 않고 있다. 특히, 앞으로는 특정 콘텐츠 제작자들에 의한 콘텐츠 제공이 아닌, 일반 사용자들의 참여형 콘텐츠들이 주류를 이루고, 이들 콘텐츠들의 상호 교환을 위해서는 사용자들의 콘텐츠 생성, 저장 및 관리가 용이하며, 서로 다른 미디어 형식들을 포함 할 수 있어야 하며, 타 미디어 소프트웨어와의 호환성을 고려한 파일 형식이 필요하다. 또한, 이러한 미디어 파일 형식을 다룰 수 있는 미디어 관리 시스템 및 방법이 필요하다.In addition, by applying the augmented reality technique, which has recently been in the spotlight, users can view and listen to descriptions of interests through various contents as mentioned above through intuitive interaction with their mobile terminals. However, a format for storing and managing such various types of content as a single media file has not yet been considered. In particular, in the future, rather than providing contents by specific content creators, participation contents of general users are mainstream, and contents are easy to be created, stored, and managed for mutual exchange of contents, and they may include different media formats. You need to be able to do this and have file formats that are compatible with other media software. There is also a need for a media management system and method that can handle such media file formats.

상술한 바와 같은 종래의 기술의 문제점을 해결하기 위한 본 발명은, 다양한 형태의 미디어 데이터를 포함하는 하나의 미디어 파일을 송수신하는 서버 및 단말기를 포함함으로써, 모바일 기기와 인터넷 사이의 업로드 및 다운로드가 용이한 스트리밍이 가능하며, 종래의 멀티미디어 표준들과의 호환성도 가지면서, 관광 가이드의 특성을 반영할 수 있는 미디어 관리 시스템 및 방법을 제공하는 것을 목적으로 한다.The present invention for solving the problems of the prior art as described above, by including a server and a terminal for transmitting and receiving a media file including various types of media data, it is easy to upload and download between the mobile device and the Internet It is an object of the present invention to provide a media management system and method capable of streaming and reflecting the characteristics of a tour guide while also being compatible with conventional multimedia standards.

상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 미디어 관리 시스템은, 하나 이상의 미디어 데이터, 상기 하나 이상의 미디어 데이터 각각을 지정하는 트랙데이터 및 상기 미디어 데이터와 단말기 사이의 상호작용을 정의하는 메타데이터를 포함하는 미디어 파일을 상기 단말기로 전송하는 서버를 포함하여 구성된다.A media management system according to an aspect of the present invention for achieving the above object, one or more media data, track data designating each of the one or more media data and metadata defining the interaction between the media data and the terminal; It is configured to include a server for transmitting the containing media file to the terminal.

상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 단말기는, 하나 이상의 미디어 데이터, 상기 하나 이상의 미디어 데이터 각각을 지정하는 트랙데이터 및 상기 미디어 데이터와 상기 단말기 사이의 상호작용을 정의하는 메타데이터를 포함하는 미디어 파일을 수신하는 수신 모듈; 및 상기 메타데이터에 따라 상기 단말기의 위치에 대응되는 미디어 데이터를 표시하는 표시 모듈을 포함하여 구성된다.According to an aspect of the present invention, a terminal includes at least one media data, track data designating each of the at least one media data, and metadata defining interaction between the media data and the terminal. A receiving module for receiving a media file; And a display module for displaying media data corresponding to the location of the terminal according to the metadata.

상기 단말기는, 상기 단말기의 위치에 대응되는 미디어 파일을 생성하여 전송하는 미디어 파일 생성 모듈을 더 포함할 수 있다.The terminal may further include a media file generation module configured to generate and transmit a media file corresponding to the location of the terminal.

또한, 상기 단말기는, 상기 단말기가 이동하면 상기 단말기의 위치에 대응되는 미디어 데이터를 지정하는 트랙데이터를 생성하는 트랙데이터 생성 모듈을 더 포함할 수 있다.The terminal may further include a track data generation module configured to generate track data for designating media data corresponding to the location of the terminal when the terminal moves.

상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 미디어 관리 방법은, 하나 이상의 미디어 데이터를 생성하는 단계; 상기 하나 이상의 미디어 데이터 각각을 지정하는 트랙데이터를 생성하는 단계; 상기 미디어 데이터와 수신측의 단말기 사이의 상호작용을 정의하는 메타데이터를 생성하는 단계; 상기 하나 이상의 미디어 데이터, 상기 트랙데이터 및 상기 메타데이터를 포함하는 미디어 파일을 생성하는 단계; 및 상기 미디어 파일을 전송하는 단계를 포함하여 구성된다.Media management method according to an aspect of the present invention for achieving the above object, generating at least one media data; Generating track data specifying each of the one or more media data; Generating metadata defining interactions between the media data and a terminal on a receiving side; Generating a media file comprising the one or more media data, the track data and the metadata; And transmitting the media file.

본 발명의 일 실시예에 다른 미디어 관리 시스템 및 방법은, 모바일 기기와 인터넷 사이의 업로드 및 다운로드가 용이한 스트리밍이 가능하며, 종래의 멀티미디어 표준들과의 호환성도 가지면서, 관광 가이드의 특성을 반영할 수 있어서, 관광 가이드 및 여행자에게 유용한 관광 서비스를 제공할 수 있다.Media management system and method according to an embodiment of the present invention, it is possible to stream easily upload and download between the mobile device and the Internet, and also compatible with the conventional multimedia standards, while reflecting the characteristics of the tour guide It is possible to provide useful tourist services to tourist guides and travelers.

도 1은 본 발명의 일 실시예에 따른 미디어 관리 시스템을 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 미디어 관리 시스템에 적용 가능한 미디어 파일을 개략적으로 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 미디어 관리 시스템에 적용 가능한 미디어 파일에 단말기가 이동하는 경로에 따라 미디어 데이터가 추가되는 과정을 설명하기 위한 도이다.
도 4는 본 발명의 일 실시예에 따른 미디어 관리 방법에서 미디어 파일의 생성 및 전송 과정을 개략적으로 도시한 순서도이다.
도 5는 본 발명의 일 실시예에 따른 미디어 관리 방법에서 수신측의 단말기에서 미디어 파일의 표시 과정을 개략적으로 도시한 순서도이다.
도 6은 본 발명의 일 실시예에 따른 미디어 관리 방법에서 서버가 미디어 파일을 저장하는 과정을 개략적으로 도시한 순서도이다.
도 7은 본 발명의 일 실시예에 따른 미디어 관리 방법에서 단말기가 트랙데이터를 생성하는 과정을 개략적으로 도시한 순서도이다.
도 8은 본 발명의 일 실시예에 따른 미디어 관리 방법에서 단말기가 시각 기술자를 포함하고 있을 경우 단말기가 미디어 데이터를 표시하는 과정을 개략적으로 도시한 순서도이다.1 is a diagram schematically illustrating a media management system according to an embodiment of the present invention.
2 is a diagram schematically illustrating a media file applicable to a media management system according to an embodiment of the present invention.
3 is a view for explaining a process of adding media data to a media file applicable to a media management system according to an embodiment of the present invention according to a path in which a terminal moves.
4 is a flowchart schematically illustrating a process of generating and transmitting a media file in a media management method according to an embodiment of the present invention.
5 is a flowchart schematically illustrating a process of displaying a media file in a terminal of a receiving side in a media management method according to an embodiment of the present invention.
6 is a flowchart schematically illustrating a process of a server storing a media file in a media management method according to an embodiment of the present invention.
7 is a flowchart schematically illustrating a process of generating track data by a terminal in a media management method according to an embodiment of the present invention.
8 is a flowchart schematically illustrating a process of displaying media data by a terminal when the terminal includes a visual descriptor in the media management method according to an exemplary embodiment of the present invention.

이하에서, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 살펴본다.
Hereinafter, with reference to the accompanying drawings looks at in detail with respect to the preferred embodiment of the present invention.

본 발명의 일 실시예에 따른 미디어 관리 시스템은 다음과 같은 특징을 지니고 있다. 관광객들은 주로 특정 관광지에서 일정한 동선을 따라서 여행을 한다. 하나의 동선에는 다양한 관심 대상들이 포함되어 있다. 관광객들은 이러한 다양한 동선들을 따라서 자신의 여행 경험을 디지털 기기로 기록하고, 이를 공유하고 싶어 한다. 이들이 남겨 놓은 디지털 경험들은 공유를 통해 다른 사람들의 여행 안내기로 활용될 수 있다.Media management system according to an embodiment of the present invention has the following features. Tourists often travel along certain routes at certain tourist sites. One copper line contains various objects of interest. Tourists want to follow these diverse lines to record and share their travel experiences with digital devices. The digital experiences they leave can be used as a tour guide for others through sharing.

또한 관광객들은 다른 일반 사람들의 경험을 공유하고 싶어할 뿐만 아니라, 관심 대상의 보다 깊은 정보를 얻기 위해서 그 대상의 전문가들의 설명을 듣고 싶어하는 경우도 있다. 이를 위해서 관광 콘텐츠 구성은 크게 두 가지로 구분되어 생성될 수 있고, 이를 관리하는 시스템도 포함될 수 있다.In addition, tourists not only want to share the experiences of other ordinary people, but also want to hear the expert's explanations in order to gain deeper information of interest. To this end, tourism content can be largely divided into two types, and a system for managing the content can be included.

개인 및 전문가들이 자신의 경험을 생생하게 저장하고, 관심 대상을 설명을 하기 위해서는 다양한 정보들이 저장될 수 있다. 또한, 사용자들은 자신의 모바일 단말기를 통해 설명을 듣고자 하는 대상을 단말기의 카메라를 통해 비추기만 하면 자동으로 설명을 들을 수 있도록, 미리 해당 대상의 정보를 포함할 수 있다.
Various information can be stored to allow individuals and professionals to save their experiences vividly and explain their interests. In addition, the user may include the information of the target in advance so that the user can automatically hear the description by simply illuminating the object to listen to the description through his mobile terminal through the camera of the terminal.

도 1은 본 발명의 일 실시예에 따른 미디어 관리 시스템을 개략적으로 도시한 도면이다.1 is a diagram schematically illustrating a media management system according to an embodiment of the present invention.

도 1을 참조하면, 먼저 사용자가 단말기(101)를 이용하여 관광지에서의 자신의 경험 및 관심 대상에 대한 설명을 기록하고, 본 발명의 일 실시예에서 제안하는 미디어 파일의 포맷으로 저장한 후, 서버(102)로 전송한다. 서버(102)는 이러한 미디어 파일을 수신하여 저장한다. 한편, 다른 사용자는 단말기(103)를 이용하여 다수의 사용자들로부터 전송된 미디어 파일의 형태를 가진 관광 콘텐츠들 중, 자신이 원하는 콘텐츠를 웹에서 선택한 후, 그 콘텐츠에 관한 미디어 파일을 자신의 단말기(103)로 다운로드하여, 실제 관광지에서 증강현실 기술을 활용하여, 개인화된 관광 가이드 서비스를 받을 수 있다.
Referring to FIG. 1, first, a user records his or her own experience and interest in a tourist destination using the terminal 101, and stores the description in a media file format proposed by an embodiment of the present invention. Send to server 102. Server 102 receives and stores these media files. Meanwhile, the other user selects a desired content from the web among tourism contents in the form of a media file transmitted from a plurality of users using the terminal 103, and then selects a media file related to the content from his / her terminal. Download to (103), using augmented reality technology in the actual tourist destination, you can receive a personalized tour guide service.

도 2는 본 발명의 일 실시예에 따른 미디어 관리 시스템에 적용 가능한 미디어 파일을 개략적으로 도시한 도면이다.2 is a diagram schematically illustrating a media file applicable to a media management system according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 미디어 관리 시스템에 적용 가능한 미디어 파일(200)은 다음과 같은 미디어 데이터(206)들을 선택적으로 포함할 수 있다. 오디오 데이터, 비디오 데이터, 2차원 그래픽 데이터, 3차원 그래픽 데이터, GPS 센서 데이터, 고도계 센서 데이터, 가속도 센서 데이터, 지자계 센서 데이터, 각속도계 센서 데이터 중의 하나 이상을 포함할 수 있다.The media file 200 applicable to the media management system according to an embodiment of the present invention may optionally include the following media data 206. It may include one or more of audio data, video data, two-dimensional graphic data, three-dimensional graphic data, GPS sensor data, altimeter sensor data, acceleration sensor data, geomagnetic sensor data, angular speed sensor data.

상기와 같은 오디오, 비디오, 그래픽 데이터와 각종 센서 데이터뿐만 아니라, 영상 인식을 위한 시각 기술자(visual descriptor)도 포함될 수 있다.In addition to the above audio, video, graphic data and various sensor data, a visual descriptor for image recognition may be included.

또한, 상기와 같은 다양한 형태의 미디어 데이터(206)들이 화면상에 어떻게 표시될 것인가를 나타내는 일종의 장면그래프를 기술하는 스크립트도 포함될 수 있다. 이를 위해서 xml 형태의 기술어가 메타데이터(204)로 포함될 수 있다. 본 발명의 일 실시예에 따른 미디어 관리 시스템에 적용 가능한 미디어 파일(200)은 본 발명의 목적에 부합하기 위해서 종래의 미디어와의 호환성도 갖추어야 한다.In addition, a script describing a kind of scene graph indicating how the various types of media data 206 as described above will be displayed on the screen may be included. To this end, an XML descriptor may be included as the metadata 204. The media file 200 applicable to the media management system according to an embodiment of the present invention must also be compatible with conventional media in order to meet the object of the present invention.

따라서 현재 미디어 표준으로 널리 활용되고 있는 MPEG 표준을 따르면서, 본 발명의 일 실시예에 따른 미디어 관리 시스템에 적용 가능한 미디어 파일(200)의 포맷이 도 2에서 제시된다. MPEG 표준을 따르기 위해서 ISO 기반 미디어 파일(ISO Base Media File)에 기반을 두고, 상기 언급한 다양한 미디어 데이터(206)들이 포함될 수 있도록 구성한다.Accordingly, the format of the media file 200 applicable to the media management system according to the exemplary embodiment of the present invention while following the MPEG standard widely used as a media standard is shown in FIG. 2. Based on the ISO Base Media File in order to comply with the MPEG standard, the above-mentioned various media data 206 are configured to be included.

도 2를 참조하면, 본 발명의 일 실시예에 따른 미디어 관리 시스템에 적용 가능한 미디어 파일(200)의 구조는 객체지향구조로 이뤄져 있으며, ISO 기반 미디어 파일 구조와 호환성을 가진다. ISO 기반 미디어 파일은 일반적으로 파일 타입(ftyp) 영역, 무브(moov) 영역 및 엠닷(mdat) 영역으로 나뉘어 지며, 본 발명의 일 실시예에 따른 미디어 관리 시스템에 적용 가능한 미디어 파일(200)도 이와 같은 구조를 가질 수 있다. 파일 타입(ftyp) 영역(201)에서는 파일 타입 구조와 호환성에 대한 설명이 기술된다. 무브(moov) 영역(202)에서는 미디어 데이터(206)가 저장되어 있는 곳을 지정하고, 미디어 데이터(206)를 어떻게 해석할 것인가가 기술된다. 특히 무브 영역(202)은 여러 개의 트랙데이터(trak)(203)를 가지고 있으며, 각 트랙데이터(203)는 미디어 데이터(206) 각각을 지정하는 참조와 미디어 데이터(206)에 대한 설명을 포함한다. 도 2의 경우에는 복수의 미디어 데이터(206)의 타입별로 각각 하나의 트랙데이터(203)를 차지하고 있다. 무브 영역(202)의 마지막에는 메타데이터(204)를 저장할 수 있는 영역이 있는데, 이 메타데이터(204) 영역에는 저장되어 있는 다양한 미디어 데이터(206)들이 어떻게 장면을 구성하고, 사용자의 상호 작용에 반응하여 동작할 것인가에 대한 동작 정보를 기술하는 장면 그래프 데이터가 포함된다. 엠닷(mdat) 영역(205)에서는 실제 미디어 데이터(206)들이 저장되는 곳이다. Referring to FIG. 2, the structure of a media file 200 applicable to a media management system according to an embodiment of the present invention has an object-oriented structure and is compatible with an ISO-based media file structure. The ISO-based media file is generally divided into a file type (ftyp) area, a moov area and a mdat area, and the media file 200 applicable to the media management system according to an embodiment of the present invention is also the same. It may have the same structure. In the file type (ftyp) area 201, a description of the file type structure and compatibility is described. The move area 202 specifies where the media data 206 is stored and describes how to interpret the media data 206. In particular, the move area 202 has a plurality of track data (trak) 203, each track data 203 includes a reference to each of the media data 206 and a description of the media data 206 . In the case of FIG. 2, one track data 203 is occupied for each type of the plurality of media data 206. At the end of the move area 202 is an area where metadata 204 can be stored, where the various stored media data 206 can be used to compose the scene and interact with the user. Scene graph data describing the operation information as to whether to operate in response is included. In the mdat area 205, the actual media data 206 is stored.

상기 언급한 바와 같이, 통상적으로 관광객이 특정 관광지를 여행을 하는 경우, 일정한 동선을 따라 다니면서, 관심 대상에 대해서 관람을 하거나, 설명을 듣는다. 따라서, 그러한 특성을 반영하여, 사용자는 하나의 특정 관광지에 대해서 도 2에 설명된 바와 가은 미디어 파일(200) 하나만 다운 받으면 되고, 사용자의 단말기가 이동하는 경로에 따라 단말기의 위치에 대응되는 미디어 데이터(206)들이 다운 받은 미디어 파일(200)에 추가될 수 있는 구조를 가지는 것으로 확장될 수 있다. 미디어 데이터(206)가 추가되는 과정은 도 3에서 더욱 자세히 설명하도록 한다.As mentioned above, in general, when a tourist travels to a specific tourist spot, the tourist may watch or listen to an explanation about an object of interest while traveling along a certain line. Accordingly, reflecting such characteristics, the user only needs to download one thin media file 200 as described in FIG. 2 for one specific tourist destination, and the media data corresponding to the location of the terminal according to the path of the user's terminal is moved. 206 can be extended to have a structure that can be added to the downloaded media file 200. The process of adding the media data 206 will be described in more detail with reference to FIG. 3.

도 2에서 설명된 미디어 파일(200)과 같은 포맷은 다양한 멀티미디어 즉, 다양한 미디어 데이터(206)를 포함하고 있으며, 또한 다양한 트랙데이터(203)들을 포함하고 있지만, 종래의 미디어 플레이어와 호환성을 여전히 지니고 있다는 장점을 가진다. 가령, 비디오/오디오 플레이어에서 미디어 파일(200)을 로딩했을때, 비디오/오디오만 자동 재생된다. 즉, 단말기에 포함된 미디어 플레이어의 성능에 맞게 미디어 데이터(206)가 출력될 수 있는 장점을 지닌다.
Formats such as the media file 200 described in FIG. 2 include various multimedia, i. Has the advantage. For example, when loading a media file 200 in a video / audio player, only the video / audio is automatically played. That is, the media data 206 may be output in accordance with the performance of the media player included in the terminal.

한편, 미디어 파일(200)에는 상기와 같은 오디오, 비디오, 그래픽 데이터와 각종 센서 데이터뿐만 아니라, 영상 인식을 위한 시각 기술자(visual descriptor)도 포함될 수 있다. 사용자가 자신의 단말기에 부착된 카메라로 관심 대상을 비추면, 영상의 대상을 자동으로 인식하여 해당 대상에 대한 설명이 이루어질 수 있도록 하기 위해선, 미리 해당 대상의 시각 인식에 필요한 정보를 포함하고 있어야 매칭이 가능하다. 이 때, 시각 인식에 필요한 정보로 시각 기술자가 이용될 수 있다. 따라서, 시각 기술자 역시 하나의 트랙데이터(203)를 할당 받아 저장될 수 있다.
The media file 200 may include not only audio, video, graphic data and various sensor data as described above, but also a visual descriptor for image recognition. When the user illuminates the object of interest with the camera attached to his terminal, in order to automatically recognize the object of the image and explain the object, the user must include information necessary for visual recognition of the object in advance. This is possible. In this case, the visual descriptor may be used as information necessary for visual recognition. Therefore, the visual descriptor may also be allocated with one track data 203 and stored.

도 3은 본 발명의 일 실시예에 따른 미디어 관리 시스템에 적용 가능한 미디어 파일에 단말기가 이동하는 경로에 따라 미디어 데이터가 추가되는 과정을 설명하기 위한 도이다.3 is a view for explaining a process of adding media data to a media file applicable to a media management system according to an embodiment of the present invention according to a path in which a terminal moves.

도 3을 참조하면, 하나의 트랙데이터(203)에 하나의 미디어 데이터(206)가 지정되어 있으며, 우측 지도에서 실선으로 표시된 선은 사용자의 경로를 나타내고 있으며, 원형 점선으로 표시된 영역이 사용자의 관심 대상이 존재하는 곳으로 설명이 필요한 부분을 나타낸다. 하나의 관심 대상에 대해서 다양한 미디어 데이터(206)로 설명이 이뤄져야 하므로, 여러 개의 트랙데이터(203)가 존재하게 되고, 사용자가 이동하면서 추가적인 관심 대상이 나타나면, 추가적으로 트랙데이터(203)가 생성될 수 있다. 미디어 파일(200)의 포맷은 필요할 경우 언제든 트랙데이터(203)의 추가가 가능하여 용이하게 확장할 수 있으며, 사용자의 관심 대상에 대한 설명 콘텐츠[미디어 데이터(206)]는 트랙데이터(203)의 그룹으로 표현될 수 있다. 도 3에서 예시로, 트랙 그룹(301)과 트랙 그룹(302)을 나타냈으며, 각각의 트랙 그룹(301, 302)이 하나의 관심 대상(Point of Interest, POI)를 의미한다. 해당 트랙 그룹(301, 302) 정보는 무브 영역(202)의 메타데이터(204)에 저장된다. 메타데이터(204)는 최종적으로 사용자의 단말기에서 설명될 장면을 묘사해 주는 정보를 포함하고 있다. 따라서, xml 형태의 다양한 장면 그래프 기술자들이 활용 될 수 있다. 장면 그래프 기술자는 예를 들어, openscenegraph, KML 혹은 MPEG4 BIFS 등이 될 수 있다.
Referring to FIG. 3, one media data 206 is designated to one track data 203, a line indicated by a solid line on the right map indicates a user's path, and an area indicated by a circular dotted line is the user's interest. Where an object exists and indicates where it needs to be explained. Since various media data 206 should be described with respect to one object of interest, a plurality of track data 203 may exist, and additional track data 203 may be generated when an additional object of interest appears as the user moves. have. The format of the media file 200 can be easily extended by adding the track data 203 whenever necessary, and the description content (media data 206) of the user's interest can be described in detail. Can be represented as a group. As an example in FIG. 3, the track group 301 and the track group 302 are shown, and each track group 301 and 302 represents one point of interest (POI). The track group 301 and 302 information is stored in the metadata 204 of the move area 202. The metadata 204 contains information that depicts the scene that will ultimately be described in the user's terminal. Therefore, various scene graph descriptors in xml form can be utilized. The scene graph descriptor may be, for example, openscenegraph, KML or MPEG4 BIFS.

도 2 및 도 3에서 설명된 미디어 파일은 서버로 전송되어 GIS 정보를 활용하여, 관광지마다의 데이터베이스로 관리된다. 또한, 관광객들은 여행을 가기 전 혹은 관광지 현장에서 자신의 단말기로 상기 미디어 파일을 웹사이트를 통해서 다운로드 받아서 투어가이드를 받을 수 있다.The media file described with reference to FIGS. 2 and 3 is transmitted to a server and managed by a database for each tourist destination by utilizing GIS information. In addition, tourists can receive the tour guide by downloading the media file through the website to the terminal before the trip or at the tourist site.

이러한 관광 가이드 콘텐츠를 공유하는 방법에도 새로운 개념을 적용할 수 있다. 본 발명의 일 실시예에 따른 미디어 관리 시스템에 의해 제공될 수 있는 관광 가이드 콘텐츠 공유 서비스는 관광 가이드 콘텐츠 공유 사이트를 통해 제공될 수 있다. 이어한 관광 가이드 콘텐츠 공유 사이트는 크게 일반인들이 UCC개념으로 자신의 여행 경험담을 저장하여 다른 사람들에게 공유하는 일반인 채널 및 보다 전문적인 지식을 보유한 전문가들의 설명을 듣는 전문가 채널로 구분될 수 있다. 사용자는 이러한 관광 가이드 콘텐츠 사이트로부터 상기 설명한 미디어 파일 포맷의 관광 가이드 콘텐츠를 다운로드할 수 있다.The new concept can be applied to the way of sharing the contents of the tour guide. The tour guide content sharing service that may be provided by the media management system according to an embodiment of the present invention may be provided through a tour guide content sharing site. The tour guide contents sharing site can be largely divided into the general public channel where the general public stores their travel experiences by sharing the UCC concept and shares them with others, and the expert channel that listens to the explanations of experts with more specialized knowledge. The user can download the tour guide content in the above-described media file format from such a tour guide content site.

일반인 채널에서는 일반 사용자들이 자신의 경험을 저장한 후, 공유를 목적으로 콘텐츠를 제작하고, 이를 업로드할 수 있다. 이 경우 누구나 자유롭게 다운로드하여 자신의 단말기를 통해 다른 사람의 경험을 전달 받을 수 있다. 전문가 채널은 관광지에 관하여 전문적인 지식을 가진 전문가들이 콘텐츠를 제작하여 업로드하게 된다. 사용자들은 전문가가 제작한 콘텐츠를 통해 양질의 관광 가이드 서비스를 제공받을 수도 있다.
In the public channel, general users can save their experiences, and then create and upload content for sharing purposes. In this case, anyone can download freely and receive the experiences of others through their terminals. The expert channel will produce and upload the content by experts with expertise in the tourist attractions. Users can also receive quality tour guide services through professionally produced content.

이제 본 발명의 일 실시예에 따른 미디어 관리 방법을 도 4 내지 도 8을 참조하여 설명하도록 한다.
A media management method according to an embodiment of the present invention will now be described with reference to FIGS. 4 to 8.

도 4는 본 발명의 일 실시예에 따른 미디어 관리 방법에서 미디어 파일의 생성 및 전송 과정을 개략적으로 도시한 순서도이다.4 is a flowchart schematically illustrating a process of generating and transmitting a media file in a media management method according to an embodiment of the present invention.

도 4를 참조하면, 먼저 하나 이상의 미디어 데이터가 생성되고(S401), 하나 이상의 미디어 데이터 각각을 지정하는 트랙데이터가 생성되며(S402), 미디어 데이터와 수신측의 단말기 사이의 상호작용을 정의하는 메타데이터가 생성된다(S403). 이 때, 메타데이터는 단말기에 표시될 미디어 데이터의 구성 및 미디어 데이터에 대응한 단말기의 동작 정보를 포함할 수 있다. 그 다음, 상기 하나 이상의 미디어 데이터, 상기 트랙데이터 및 상기 메타데이터를 포함하는 미디어 파일이 생성된다(S404). 단계(S401) 내지 단계(S404)의 과정은 서버에서 미리 이루어질 수도 있고, 단말기에서 이루어진 것일 수도 있다. 이와 같은 미디어 파일 생성 과정이 끝나면 서버는 미디어 파일을 전송한다(S405).
Referring to FIG. 4, first, one or more media data are generated (S401), track data for designating each of the one or more media data are generated (S402), and a meta defining the interaction between the media data and the receiving terminal. Data is generated (S403). In this case, the metadata may include a configuration of media data to be displayed on the terminal and operation information of the terminal corresponding to the media data. Next, a media file including the one or more media data, the track data and the metadata is generated (S404). The processes of steps S401 to S404 may be performed in advance in the server or may be performed in the terminal. When the media file generation process is completed, the server transmits the media file (S405).

도 5는 본 발명의 일 실시예에 따른 미디어 관리 방법에서 수신측의 단말기에서 미디어 파일의 표시 과정을 개략적으로 도시한 순서도이다.5 is a flowchart schematically illustrating a process of displaying a media file in a terminal of a receiving side in a media management method according to an embodiment of the present invention.

도 5를 참조하면, 먼저 단말기는 서버로부터 미디어 파일을 수신한다(S501). 그 다음, 단말기는 상기 메타데이터에 따라 상기 단말기의 위치에 대응되는 미디어 데이터를 표시한다(S502).
Referring to FIG. 5, first, a terminal receives a media file from a server (S501). Then, the terminal displays the media data corresponding to the location of the terminal according to the metadata (S502).

도 6은 본 발명의 일 실시예에 따른 미디어 관리 방법에서 서버가 미디어 파일을 저장하는 과정을 개략적으로 도시한 순서도이다.6 is a flowchart schematically illustrating a process of a server storing a media file in a media management method according to an embodiment of the present invention.

도 6을 참조하면, 단말기는 단말기의 위치에 대응되는 미디어 파일을 생성한 다음(S601), 상기 미디어 파일을 서버로 전송한다(S602).Referring to FIG. 6, the terminal generates a media file corresponding to the location of the terminal (S601), and then transmits the media file to the server (S602).

서버는 수신된 미디어 파일을 저장한다(S603).The server stores the received media file (S603).

이와 같은 과정을 복수 번 거침으로써 서버는 미디어 파일을 축적하게 되고, 관광 가이드 콘텐츠 공유 서비스를 제공할 수 있다.
By going through this process a plurality of times, the server can accumulate media files and provide a tour guide content sharing service.

도 7은 본 발명의 일 실시예에 따른 미디어 관리 방법에서 단말기가 트랙데이터를 생성하는 과정을 개략적으로 도시한 순서도이다.7 is a flowchart schematically illustrating a process of generating track data by a terminal in a media management method according to an embodiment of the present invention.

도 7을 참조하면, 단말기가 이동하게 되면(S701), 단말기가 단말기의 위치에 대응되는 미디어 데이터를 지정하는 트랙데이터를 생성한다(S702).Referring to FIG. 7, when the terminal moves (S701), the terminal generates track data specifying media data corresponding to the position of the terminal (S702).

이와 같은 과정을 거치면 단말기는 단말기가 이동한 후의 새로운 위치에 대응되는 미디어 데이터를 표시할 수 있게 된다.
Through this process, the terminal can display media data corresponding to the new location after the terminal is moved.

도 8은 본 발명의 일 실시예에 따른 미디어 관리 방법에서 단말기가 시각 기술자를 포함하고 있을 경우 단말기가 미디어 데이터를 표시하는 과정을 개략적으로 도시한 순서도이다.8 is a flowchart schematically illustrating a process of displaying media data by a terminal when the terminal includes a visual descriptor in the media management method according to an exemplary embodiment of the present invention.

본 발명의 일 실시예에 따른 미디어 관리 방법에서 단말기는 카메라를 더 포함할 수 있고, 미디어 파일은 카메라에 의해 비추어 지는 영상을 인식하기 위한 시각 기술자를 포함할 수 있다. 이러한 경우 본 발명의 일 실시예에 따른 미디어 관리 방법에서 단말기가 미디어 데이터를 표시하는 과정을 도 8을 참조하여 설명한다.In the media management method according to an embodiment of the present invention, the terminal may further include a camera, and the media file may include a visual descriptor for recognizing an image projected by the camera. In this case, a process of displaying media data by the terminal in the media management method according to an embodiment of the present invention will be described with reference to FIG. 8.

도 8을 참조하면, 먼저 서버는 하나 이상의 미디어 데이터, 하나 이상의 미디어 데이터 각각을 지정하는 트랙데이터 및 미디어 데이터와 단말기 사이의 상호작용을 정의하는 메타데이터를 포함하는 미디어 파일을 단말기로 전송한다(S801). 이 때 미디어 파일에는 시각 기술자가 포함되어 있다.Referring to FIG. 8, first, the server transmits a media file including at least one media data, track data designating each of the at least one media data, and metadata defining the interaction between the media data and the terminal (S801). ). The media file contains the visual descriptor.

그 다음, 단말기는 미디어 데이터의 시각 기술자를 인식하고(S802), 시각 기술자에 의한 인식 결과 및 메타 데이터에 따라 단말기의 위치에 대응되는 미디어 데이터를 표시한다(S803).
Next, the terminal recognizes the time descriptor of the media data (S802), and displays the media data corresponding to the position of the terminal according to the recognition result and the metadata by the time descriptor (S803).

이상 본 발명의 특정 실시예를 도시하고 설명하였으나, 본 발명의 기술사상은 첨부된 도면과 상기한 설명내용에 한정하지 않으며 본 발명의 사상을 벗어나지 않는 범위 내에서 다양한 형태의 변형이 가능함은 이 분야의 통상의 지식을 가진 자에게는 자명한 사실이며, 이러한 형태의 변형은, 본 발명의 정신에 위배되지 않는 범위 내에서 본 발명의 특허청구범위에 속한다고 볼 것이다.While specific embodiments of the present invention have been illustrated and described, the technical spirit of the present invention is not limited to the accompanying drawings and the above description, and various modifications can be made without departing from the spirit of the present invention. It will be apparent to those skilled in the art, and variations of this form will be regarded as belonging to the claims of the present invention without departing from the spirit of the present invention.

Claims (15)

하나 이상의 미디어 데이터, 상기 하나 이상의 미디어 데이터 각각을 지정하는 트랙데이터 및 상기 미디어 데이터와 단말기 사이의 상호작용을 정의하는 메타데이터를 포함하는 미디어 파일을 상기 단말기로 전송하는 서버를 포함하는 것을 특징으로 하는 미디어 관리 시스템.
And a server for transmitting a media file to the terminal, the media file comprising at least one media data, track data designating each of the at least one media data, and metadata defining interactions between the media data and the terminal. Media management system.
제1항에 있어서,
상기 메타데이터는, 상기 단말기에 표시될 미디어 데이터의 구성 및 상기 미디어 데이터에 대응한 상기 단말기의 동작 정보를 포함하는 것을 특징으로 하는 미디어 관리 시스템.
The method of claim 1,
The metadata includes a configuration of media data to be displayed on the terminal and operation information of the terminal corresponding to the media data.
제1항에 있어서,
상기 미디어 데이터는, 오디오 데이터, 비디오 데이터, 2차원 그래픽 데이터, 3차원 그래픽 데이터, GPS 센서 데이터, 고도계 센서 데이터, 가속도 센서 데이터, 지자계 센서 데이터, 각속도계 센서 데이터 중 하나 이상을 포함하는 것을 특징으로 하는 미디어 관리 시스템.
The method of claim 1,
The media data may include one or more of audio data, video data, two-dimensional graphic data, three-dimensional graphic data, GPS sensor data, altimeter sensor data, acceleration sensor data, geomagnetic sensor data, and angular velocity sensor data. Media management system.
단말기에 있어서,
하나 이상의 미디어 데이터, 상기 하나 이상의 미디어 데이터 각각을 지정하는 트랙데이터 및 상기 미디어 데이터와 상기 단말기 사이의 상호작용을 정의하는 메타데이터를 포함하는 미디어 파일을 수신하는 수신 모듈; 및
상기 메타데이터에 따라 상기 단말기의 위치에 대응되는 미디어 데이터를 표시하는 표시 모듈을 포함하는 단말기.
In the terminal,
A receiving module for receiving a media file comprising at least one media data, track data designating each of the at least one media data and metadata defining interactions between the media data and the terminal; And
And a display module configured to display media data corresponding to the location of the terminal according to the metadata.
제4항에 있어서,
상기 메타데이터는, 상기 단말기에 표시될 미디어 데이터의 구성 및 상기 미디어 데이터에 대응한 상기 단말기의 동작 정보를 포함하는 것을 특징으로 하는 단말기.
The method of claim 4, wherein
The metadata may include a configuration of media data to be displayed on the terminal and operation information of the terminal corresponding to the media data.
제4항에 있어서,
상기 미디어 데이터는, 오디오 데이터, 비디오 데이터, 2차원 그래픽 데이터, 3차원 그래픽 데이터, GPS 센서 데이터, 고도계 센서 데이터, 가속도 센서 데이터, 지자계 센서 데이터, 각속도계 센서 데이터 중 하나 이상을 포함하는 것을 특징으로 하는 단말기.
The method of claim 4, wherein
The media data may include one or more of audio data, video data, two-dimensional graphic data, three-dimensional graphic data, GPS sensor data, altimeter sensor data, acceleration sensor data, geomagnetic sensor data, and angular velocity sensor data. Terminal.
제4항에 있어서,
상기 단말기의 위치에 대응되는 미디어 파일을 생성하여 전송하는 미디어 파일 생성 모듈을 더 포함하는 것을 특징으로 하는 단말기.
The method of claim 4, wherein
And a media file generation module for generating and transmitting a media file corresponding to the location of the terminal.
제4항에 있어서,
상기 단말기가 이동하면 상기 단말기의 위치에 대응되는 미디어 데이터를 지정하는 트랙데이터를 생성하는 트랙데이터 생성 모듈을 더 포함하는 것을 특징으로 하는 단말기.
The method of claim 4, wherein
And a track data generation module for generating track data for designating media data corresponding to the location of the terminal when the terminal moves.
제4항에 있어서,
카메라를 더 포함하고,
상기 미디어 데이터는 상기 카메라에 의해 비추어 지는 영상을 인식하기 위한 시각 기술자를 포함하는 것을 특징으로 하는 단말기.
The method of claim 4, wherein
Further includes a camera,
And the media data includes a visual descriptor for recognizing an image projected by the camera.
제9항에 있어서,
상기 표시 모듈은, 상기 시각 기술자에 의한 인식 결과 및 상기 메타 데이터에 따라 상기 단말기의 위치에 대응되는 미디어 데이터를 표시하는 것을 특징으로 하는 단말기.
10. The method of claim 9,
And the display module displays media data corresponding to the position of the terminal according to the recognition result of the visual descriptor and the metadata.
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020100012731A 2010-02-11 2010-02-11 Media management system and method KR101105365B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100012731A KR101105365B1 (en) 2010-02-11 2010-02-11 Media management system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100012731A KR101105365B1 (en) 2010-02-11 2010-02-11 Media management system and method

Publications (2)

Publication Number Publication Date
KR20110092985A KR20110092985A (en) 2011-08-18
KR101105365B1 true KR101105365B1 (en) 2012-01-16

Family

ID=44929755

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100012731A KR101105365B1 (en) 2010-02-11 2010-02-11 Media management system and method

Country Status (1)

Country Link
KR (1) KR101105365B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003028293A1 (en) 2001-09-24 2003-04-03 Nokia Corporation Streaming of multimedia files comprising meta-data and media-data
KR20050006565A (en) * 2003-07-09 2005-01-17 주식회사 픽스트리 System And Method For Managing And Editing Multimedia Data
KR20060128202A (en) * 2005-06-09 2006-12-14 삼성전자주식회사 Browsing method using meta-data and apparatus using the same
KR20090030081A (en) * 2007-09-19 2009-03-24 엘지전자 주식회사 Multi-media file structure, method and apparatus for generating and playing a multi-media file thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003028293A1 (en) 2001-09-24 2003-04-03 Nokia Corporation Streaming of multimedia files comprising meta-data and media-data
KR20050006565A (en) * 2003-07-09 2005-01-17 주식회사 픽스트리 System And Method For Managing And Editing Multimedia Data
KR20060128202A (en) * 2005-06-09 2006-12-14 삼성전자주식회사 Browsing method using meta-data and apparatus using the same
KR20090030081A (en) * 2007-09-19 2009-03-24 엘지전자 주식회사 Multi-media file structure, method and apparatus for generating and playing a multi-media file thereof

Also Published As

Publication number Publication date
KR20110092985A (en) 2011-08-18

Similar Documents

Publication Publication Date Title
CN104677362B (en) Interaction method of track route data independent of digital map
JP6657475B2 (en) Method for transmitting omnidirectional video, method for receiving omnidirectional video, transmitting device for omnidirectional video, and receiving device for omnidirectional video
US10298838B2 (en) Method and apparatus for guiding media capture
US20070204014A1 (en) Mobile Webcasting of Multimedia and Geographic Position for a Real-Time Web Log
CN109644262A (en) The method for sending omnidirectional's video, the method for receiving omnidirectional's video, the device for sending omnidirectional's video and the device for receiving omnidirectional's video
TW201126139A (en) Method of embedding map feature data into a raster graphics file
KR102147748B1 (en) Method and apparatus of processing data for supporting augmented reality
RU2011129827A (en) DYNAMIC DISPLAY OF IMAGES AT OBJECTS IN THE NAVIGATION SYSTEM
CN106375819B (en) Realize the portable system of the eventbased synchronization of real-time video crossfire
KR20140118605A (en) Server and method for transmitting augmented reality object
KR101242550B1 (en) System and method for providing to storytelling type area information of panorama image base
KR20130118820A (en) Method and apparatus of processing media file for augmented reality services
US8346470B2 (en) Providing access to a collection of content items
Noronha et al. Sight surfers: 360º videos and maps navigation
KR20130014185A (en) Method and apparatus for providing information
KR101105365B1 (en) Media management system and method
KR20180101974A (en) Apparatus for supplying immersive travel guide information and generating travel story book
KR20120006312A (en) Location based augmented reality contents data sharing system and method using mobile device
US20200204785A1 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, device for transmitting 360-degree video, and device for receiving 360-degree video
KR20160096281A (en) Apparatus and method for virtual tour service
KR101212976B1 (en) Multimedia message service system based on augmented reality and method thereof
KR20200135324A (en) Information processing devices, information processing devices and programs
KR101076054B1 (en) Method for constructing user-created location-based service contents, and open location-based service system based on the contents
KR101498233B1 (en) Apparatus and method for creating moving picture based on web
Hu et al. Self-service folk tourism guiding technology on mobile terminal with multi-mode: Application of GPS and electronic map

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141226

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151229

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170913

Year of fee payment: 6

R401 Registration of restoration
FPAY Annual fee payment

Payment date: 20171227

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 9