KR100908144B1 - Multimedia editing / playback system and its operation method - Google Patents

Multimedia editing / playback system and its operation method Download PDF

Info

Publication number
KR100908144B1
KR100908144B1 KR1020070030799A KR20070030799A KR100908144B1 KR 100908144 B1 KR100908144 B1 KR 100908144B1 KR 1020070030799 A KR1020070030799 A KR 1020070030799A KR 20070030799 A KR20070030799 A KR 20070030799A KR 100908144 B1 KR100908144 B1 KR 100908144B1
Authority
KR
South Korea
Prior art keywords
multimedia
information file
editing
section
information
Prior art date
Application number
KR1020070030799A
Other languages
Korean (ko)
Other versions
KR20080006443A (en
Inventor
최두일
김중한
Original Assignee
(주)아이뮤직소프트
(주)에스비에스아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)아이뮤직소프트, (주)에스비에스아이 filed Critical (주)아이뮤직소프트
Publication of KR20080006443A publication Critical patent/KR20080006443A/en
Application granted granted Critical
Publication of KR100908144B1 publication Critical patent/KR100908144B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/12Payment architectures specially adapted for electronic shopping systems
    • G06Q20/123Shopping for digital content
    • G06Q20/1235Shopping for digital content with control of digital rights management [DRM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/02Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227Filtering policies
    • H04L63/0236Filtering by address, protocol, port number or service, e.g. IP-address or URL
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4623Processing of entitlement messages, e.g. ECM [Entitlement Control Message] or EMM [Entitlement Management Message]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring

Abstract

본 발명은 멀티미디어를 편집/재생하는 시스템 및 그 동작방법에 관한 것으로서, 멀티미디어에 대한 정보파일을 생성한 후 이를 이용하여 상기 멀티미디어를 편집/재생함을 특징으로 한다. 이를 위하여 본 발명은, 고유의 URL 주소를 각각 갖는 다수의 멀티미디어가 저장되어 있는 멀티미디어 서버와, 사용자로부터 다수의 멀티미디어의 URL 주소와 해당 멀티미디어의 특정 선택구간을 각각 입력받아, 각 멀티미디어마다의 URL 주소와 선택구간에 대한 정보가 스크립트 형태로 저장된 멀티미디어 정보파일이 생성되는 로컬 클라이언트와, 인터넷 웹상의 서버 게시판으로서 상기 생성된 멀티미디어 정보파일이 등록되는 웹게시판과, 상기 웹게시판에 등록된 멀티미디어 정보파일을 다운로드받아, 다운로드받은 멀티미디어 정보파일 내의 멀티미디어 URL 주소를 추출하여 해당 멀티미디어를 스트리밍한 후, 상기 멀티미디어 정보파일 내의 선택구간의 정보에 따라 해당 멀티미디어의 선택구간만을 선택 재생하는 멀티미디어 재생기를 포함한다.The present invention relates to a system for editing / reproducing multimedia and a method of operating the same, and characterized in that the multimedia file is edited / reproduced using the generated information file. To this end, the present invention, a multimedia server, each of which has a plurality of multimedia having a unique URL address is stored, and receives a plurality of multimedia URL address and a specific selection section of the multimedia from the user, respectively, URL address for each multimedia And a local client for generating a multimedia information file in which script information is stored in a script form, a web bulletin board in which the generated multimedia information file is registered as a server bulletin board on the Internet web, and a multimedia information file registered in the web bulletin board. The multimedia player includes a multimedia player that downloads and extracts a multimedia URL address in the downloaded multimedia information file and streams the corresponding multimedia, and selects and plays only the selected section of the multimedia according to the information of the selected section in the multimedia information file.

Description

멀티미디어 편집/재생 시스템 및 그 동작방법{Multimedia edit/play system and method for operating the same}Multimedia edit / play system and method for operating the same

도 1은 본 발명의 실시 예에 따른 멀티미디어 편집/재생 시스템을 도시한 그림이다.1 is a diagram illustrating a multimedia editing / playback system according to an exemplary embodiment of the present invention.

도 2는 본 발명의 실시 예에 따른 멀티미디어 정보파일이다.2 is a multimedia information file according to an embodiment of the present invention.

도 3은 멀티미디어 정보파일의 각 태그 설명 테이블이다.3 is a table for describing each tag of the multimedia information file.

도 4는 본 발명의 실시 예에 따른 편집 어플리케이션의 블록도이다.4 is a block diagram of an editing application according to an embodiment of the present invention.

도 5는 본 발명의 실시 예에 따른 멀티미디어 편집/재생 과정을 도시한 흐름도이다.5 is a flowchart illustrating a multimedia editing / playback process according to an exemplary embodiment of the present invention.

도 6은 본 발명의 다른 실시 예에 따라 DRM이 적용되는 멀티미디어 편집/재생 시스템을 도시한 그림이다.6 is a diagram illustrating a multimedia editing / playback system to which DRM is applied according to another embodiment of the present invention.

도 7은 본 발명의 다른 실시 예에 따라 DRM이 적용되는 멀티미디어 편집/재생 과정을 도시한 흐름도이다.7 is a flowchart illustrating a multimedia editing / playback process to which DRM is applied according to another embodiment of the present invention.

*도면의 주요 부분에 대한 부호의 설명** Description of the symbols for the main parts of the drawings *

10: 로컬 클라이언트 11: 멀티미디어 재생기10: Local Client 11: Multimedia Player

12: 멀티미디어 서버 13: 웹게시판12: Multimedia Server 13: Web Board

14: 라이센스 서버 40: 멀티미디어 정보파일 생성부14: license server 40: multimedia information file generation unit

41: 멀티미디어 정보 입력부 42: 선택구간 입력부41: multimedia information input unit 42: selection section input unit

43: 스트리밍부 44: 구성정보 데이터베이스43: streaming unit 44: configuration information database

멀티미디어를 편집/재생하는 시스템 및 그 동작방법에 관한 것으로서, 멀티미디어에 대한 정보파일을 생성한 후 이를 이용하여 상기 멀티미디어를 편집/재생함을 특징으로 한다.The present invention relates to a system for editing / reproducing multimedia and a method of operating the multimedia, and to generating / editing an information file for the multimedia and to editing / reproducing the multimedia using the same.

오늘날 전 세계 사람들은 인터넷을 통해 시간적이나 공간적으로 제약 없이 자유자재로 정보를 찾고, 뉴스를 보거나 읽고, 물건을 사거나 팔고, 각종 강좌를 배우고, 지역공동체에 참여하는 등의 여러 일들을 할 수 있다. 이는 인터넷이 전 세계의 많은 네트워크의 연결을 지원해 주기 때문이다. Today, people around the world can find information, read and read news, buy or sell news, learn courses, participate in local communities, and much more, freely, both on time and in space. . This is because the Internet supports the connection of many networks around the world.

인터넷은 여러 네트워크에서 정보발신을 하는 서버(server)들을 각각 연결하여, 텍스트로 작성된 편지를 주고받는 전자메일(e-mail), 브라우저(browser)라는 도구를 사용하여 세계의 여러 웹 페이지로부터 정보를 찾도록 해주는 월드 와이드 웹(World Wide Web ; 이하, WWW 라 약칭함), 특정 주제에 대한 정보 교환 및 토론이 가능한 넷 뉴스(NET NEWS), 파일전송을 위한 서버와 사용자의 컴퓨터간에 파일 을 주고받는 파일 전송프로토콜(FTP : File Transfer Protocol) 등의 다양한 서비스를 가능하게 한다. 이로 인해 인터넷 사용자 수는 날로 증가하고 있으며, 사용자들의 욕구를 충족시키기 위한 기술 개발이 계속 이루어지고 있다.The Internet connects servers that send information from various networks, and sends information from various web pages around the world using tools such as e-mail and browsers that send and receive text messages. World Wide Web (abbreviated as WWW) for finding, NET NEWS for information exchange and discussion on specific topics, file exchange between server and user's computer for file transfer Enable various services such as File Transfer Protocol (FTP). As a result, the number of Internet users is increasing day by day, and the development of technology to meet the needs of users continues.

최근에는 인터넷 속도, 즉 전송 대역폭의 증가(이는 전송되는 데이터의 양이 커진다는 의미와 같다)로 인해 사용자들의 만족도가 커지고 있는데, 이러한 인터넷 관련기술을 빠른 발전으로 인해 생동감 있는 오디오(audio)와 비디오(video)들이 결합된 멀티미디어를 온라인(on-line) 검색을 통해 보고들을 수 있도록 해주는 인터넷 서비스가 가능하게 되었다. 그의 대표적인 것이 멀티미디어 스트리밍 서비스이다. 여기서 스트리밍(streaming)이란 크기가 큰 오디오데이터 또는 비디오데이터(동영상데이터)등의 멀티미디어 데이터를 실행시키는데 있어서 전부 다운(down)받아 실행하는 것이 아니고 여러 개의 파일로 나누어 연이어 실시간 전송하는 것이다.Recently, users' satisfaction has increased due to the increase of internet speed, i.e. the transmission bandwidth, which means that the amount of data to be transmitted is increasing. Internet services are now available that allow users to view and listen to multimedia through on-line retrieval of combined video. His representative is a multimedia streaming service. Here, streaming means that multimedia data, such as large audio data or video data (video data), is not downloaded and executed, but is divided into several files for real-time transmission.

이러한 오디오 파일이나 비디오 파일들의 멀티미디어를 스트리밍 형식으로 듣거나 화면에 나타내기 위해서는 클라이언트(client)의 개인용 컴퓨터에 여러 어플리케이션(application) 소프트웨어가 내장되어야 한다. 다시 말해서, 오디오 스트리밍/비디오 스트리밍(audio streaming/video streaming)을 위해서는 리얼 오디오 플레이어(real audio player)와 같은 오디오 스트리밍 어플리케이션이나 윈도우즈 미디어 플레이어(windows media player)와 같은 멀티미디어 스트리밍 어플리케이션이 내장되어야 한다. 이와 같은 스트리밍 어플리케이션은 대부분 실시간(real time)으로 오디오/비디오 스트리밍을 지원하는 멀티미디어 플러그 인(multimedia plug in)이며, 웹 브라우저(web browser)를 기반으로 하여 동작할 수 있는 부가적인 어플리케이션 프로그램이다. 현재 상기한 멀티미디어 스트리밍을 통해 지원될 수 있는 서비스로는, 스포츠나 뉴스나 라이브 콘서트 등의 실시간 중계방송서비스, 주문형 비디오 서비스(VOD : Video On Demand) 등이 있다.In order to listen to or display multimedia of such audio files or video files in a streaming format, various application softwares must be embedded in a client personal computer. In other words, audio streaming / video streaming requires an audio streaming application such as a real audio player or a multimedia streaming application such as a windows media player. Most such streaming applications are multimedia plug-ins that support audio / video streaming in real time and are additional application programs that can operate based on a web browser. Currently, the services that can be supported through the multimedia streaming include a live broadcast service such as sports, news, live concerts, video on demand (VOD), and the like.

상기 주문형 비디오 서비스(VOD)의 경우, 인터넷이 연결된 어디에서든지 영화, 드라마, 음악 등과 같은 특정 멀티미디어를 사용자가 재생 시킬 수 있는 장점이 있다. 특히, 최근에는 상기 서버로부터 스트리밍받은 멀티미디어를 편집하여 사용자 개인의 컴퓨터에 저장한 후, 추후에 이를 이용하도록 하고 있다. 그런데, 상기와 같이 스트리밍받은 멀티미디어를 편집(예컨대, 구간재생, 구간반복, 구간합성 등)하여 추후에 이를 이용함에 있어 다음과 같은 한계가 있었다.In the case of the video on demand service (VOD), there is an advantage that the user can play a specific multimedia, such as movies, dramas, music, anywhere the Internet is connected. In particular, recently, multimedia streamed from the server is edited and stored in a user's personal computer, and later use it. However, there is a limitation in editing the streamed multimedia as described above (for example, section playback, section repeating, section synthesis, etc.) and later using the multimedia.

첫째, 스트리밍받은 멀티미디어의 편집 결과물인 편집된 멀티미디어가 추후에 재생되기 위해서는, 편집된 멀티미디어가 사용자의 컴퓨터에 저장되어 있어야 하는데, 이를 위해서 상기 컴퓨터는 멀티미디어가 저장될 저장매체(예컨대, 하드디스크, 이동식디스크 등)를 필요로 하는 불편이 있었다. 특히, 편집된 멀티미디어의 용량이 큰 경우, 이를 저장할 컴퓨터의 저장매체 용량도 커져야 하기 때문에 저장매체 구입 비용이 상승하는 문제가 있었다.First, in order for the edited multimedia, which is an edited result of the streamed multimedia, to be played back later, the edited multimedia must be stored in the user's computer. Discs). In particular, when the capacity of the edited multimedia is large, the storage medium purchase cost increases because the storage medium capacity of the computer to store the multimedia should be large.

둘째, 상기와 같이 사용자에 의해 편집된 멀티미디어를 다른 사람과 공유하고자 하는 경우, 상기 편집된 멀티미디어를 공유하는데 있어 한계가 있었다. 즉, 상기 멀티미디어를 공유하고자 할 때 일일이 편집된 멀티미디어를 인터넷을 통해 전송해주어야 하는 불편함이 있었다.Second, when the user wants to share the multimedia edited by the user with others as described above, there is a limit in sharing the edited multimedia. In other words, when sharing the multimedia, there is an inconvenience of transmitting the edited multimedia through the Internet.

상기의 문제점을 해결하고자 본 발명은 안출된 것으로서, 편집된 멀티미디어에 관련된 소정의 정보파일을 공유함으로써, 다른 멀티미디어 재생기로서 상기 편집된 멀티미디어를 재생하는 방안을 제시함을 목적으로 한다. SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and an object of the present invention is to propose a method of reproducing the edited multimedia as another multimedia player by sharing a predetermined information file related to the edited multimedia.

상기 목적을 이루기 위하여 본 발명은, 고유의 URL 주소를 각각 갖는 다수의 멀티미디어가 저장되어 있는 멀티미디어 서버와, 사용자로부터 다수의 멀티미디어의 URL 주소와 해당 멀티미디어의 특정 선택구간을 각각 입력받아, 각 멀티미디어마다의 URL 주소와 선택구간에 대한 정보가 스크립트 형태로 저장된 멀티미디어 정보파일이 생성되는 로컬 클라이언트와, 인터넷 웹상의 서버 게시판으로서 상기 생성된 멀티미디어 정보파일이 등록되는 웹게시판과, 상기 웹게시판에 등록된 멀티미디어 정보파일을 다운로드받아, 다운로드받은 멀티미디어 정보파일 내의 멀티미디어 URL 주소를 추출하여 해당 멀티미디어를 스트리밍한 후, 상기 멀티미디어 정보파일 내의 선택구간의 정보에 따라 해당 멀티미디어의 선택구간만을 선택 재생하는 멀티미디어 재생기를 포함한다. 또한, 상기 멀티미디어 편집/재생 시스템은, DRM이 적용된 멀티미디어의 라이센스 인증을 수행하는 라이센스 서버를 더 포함한다.In order to achieve the above object, the present invention provides a multimedia server in which a plurality of multimedia having a unique URL address are stored, and a plurality of multimedia URL addresses and a specific selection section of the multimedia are respectively input from a user. A local client for generating a multimedia information file in which a URL address and a section of the selected information are stored in a script form, a web bulletin board in which the generated multimedia information file is registered as a server bulletin board on the Internet web, and the multimedia registered in the web bulletin board. The multimedia player which downloads the information file, extracts the multimedia URL address in the downloaded multimedia information file, streams the corresponding multimedia, and selects and plays only the selected section of the multimedia according to the information of the selected section in the multimedia information file. It includes. The multimedia editing / playback system may further include a license server that performs license authentication of multimedia to which DRM is applied.

또한, 본 발명은 인터넷 웹상에 존재하는 로컬 클라이언트가, 각 멀티미디어의 URL 주소와 상기 멀티미디어마다 재생되어야 할 선택구간을 사용자로부터 입력 받아, 상기 URL 주소와 선택구간이 기록된 스크립트 형식의 멀티미디어 정보파일을 생성하는 과정과, 상기 생성된 멀티미디어 정보파일이, 인터넷 웹상의 서버 게시판인 웹게시판에 등록되는 과정과, 멀티미디어를 재생하는 멀티미디어 재생기가, 상기 웹게시판에 등록된 멀티미디어 정보파일을 다운로드 받아 상기 URL 주소와 선택구간을 추출하는 과정과, 상기 멀티미디어 재생기가, 상기 추출된 URL 주소에 접속하여 해당 멀티미디어들을 스트리밍 받은 후, 상기 선택구간만을 차례로 재생하는 과정을 포함한다.In addition, the present invention receives a local client existing on the Internet web, the user receives the URL address of each multimedia and the selection section to be played for each multimedia, the multimedia information file in the form of a script recorded the URL address and selection section A process of generating, the process of registering the generated multimedia information file on a web board which is a server bulletin board on the internet web, and a multimedia player for playing multimedia, downloading the multimedia information file registered on the web board and receiving the URL address. And extracting the selection section, and the multimedia player accessing the extracted URL address to stream corresponding multimedia streams, and then sequentially playing only the selection section.

또한, 편집될 멀티미디어가 DRM이 적용된 멀티미디어인 경우에는, 상기 로컬 클라이언트가 상기 DRM이 적용된 멀티미디어의 라이센스를 획득 후 해당 멀티미디어를 재생하면서 선택구간을 사용자로부터 입력받는 특징을 가진다. In addition, when the multimedia to be edited is multimedia with DRM applied, the local client receives a selection section from the user while playing the multimedia after obtaining a license of the multimedia with DRM applied thereto.

또한, 상기 멀티미디어 재생기에서 추출된 URL 주소의 멀티미디어가 DRM이 적용된 멀티미디어인 경우에는, 상기 DRM이 적용된 멀티미디어의 라이센스를 획득 후 해당 멀티미디어를 스트리밍 받아 선택구간만을 재생함을 특징으로 한다.In addition, when the multimedia of the URL address extracted from the multimedia player is a multimedia with DRM, after receiving the license of the multimedia with the DRM, it is characterized in that only the selected section is played by receiving the multimedia.

이하, 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 하기에서 각 도면의 구성요소들에 참조부호를 부가함에 있어 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 것이다. Hereinafter, the detailed description of the preferred embodiments of the present invention will be described with reference to the accompanying drawings. In the following description of the reference numerals to the components of the drawings it should be noted that the same reference numerals as possible even if displayed on different drawings. In addition, in describing the present invention, when it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.

도 1은 본 발명의 실시 예에 따라 편집된 멀티미디어 정보파일을 생성한 후 이를 이용하여 상기 멀티미디어를 재생하는 멀티미디어 편집/재생 시스템을 도시한 그림이다. 1 is a diagram illustrating a multimedia editing / playback system for generating an edited multimedia information file and playing the multimedia using the same according to an embodiment of the present invention.

로컬 클라이언트(10;local client)는 컴퓨터와 같은 멀티미디어 재생/편집 가능한 단말기로서, URL 주소를 이용하여 멀티미디어가 저장되어 있는 멀티미디어 서버(12)로부터 특정 멀티미디어를 스트리밍 받아 이를 재생하는 기능을 수행한다. 특히, 본 발명에서의 로컬 클라이언트(10)는 상기 멀티미디어 서버(12)로부터 스트리밍받은 멀티미디어를 편집하여 멀티미디어 정보파일로서 생성하는 기능을 수행한다.The local client 10 is a terminal capable of playing / editing a multimedia such as a computer. The local client 10 performs a function of receiving a specific multimedia stream from the multimedia server 12 having the multimedia stored therein using a URL address. In particular, the local client 10 according to the present invention performs a function of editing the multimedia streamed from the multimedia server 12 to generate a multimedia information file.

상기 멀티미디어 정보파일이라 함은, 각 멀티미디어를 시간단위로 구간 편집하여 구간반복 또는 구간 합성시켜 놓은 스크립트 파일을 말한다. 예를 들어, 하기 [표 1]에 도시한 바와 같이, 각각의 URL 링크 주소를 가지는 제1동영상, 제2동영상, 제3동영상을 멀티미디어 서버로부터 스트리밍 받는다고 가정할 경우, 사용자의 구간선택에 의하여 각 동영상의 특정 구간에 대한 정보를 합쳐 하나의 멀티미디어 정보파일로서 생성될 수 있다. 예컨대, 제1동영상의 10~20초 구간, 제2동영상의 30~50초 구간, 제3동영상의 60~90초 구간만을 합쳐 하나의 멀티미디어를 만들고자 하는 경우, 각 구간의 정보를 스크립트 기술하여 하나의 멀티미디어 정보파일로 생성할 수 있는 것이다. The multimedia information file refers to a script file in which each multimedia is edited section by time in order to repeat sections or synthesize sections. For example, as shown in [Table 1] below, assuming that the first video, the second video, and the third video having respective URL link addresses are streamed from the multimedia server, the user selects the section. The information on a specific section of each video may be combined and generated as one multimedia information file. For example, if you want to create one multimedia by combining only 10 to 20 seconds of the first video, 30 to 50 seconds of the second video, and 60 to 90 seconds of the third video, the script describes the information of each section. Can be created as a multimedia information file.

[표 1]TABLE 1

멀티미디어 객체Multimedia object 멀티미디어 정보파일Multimedia Information File 제1동영상; htpp://www.imusicsoft.co.kr/ims/0711/ims0003900 제2동영상; http://www.imusicsoft.co.kr/ims/0712/ims0003900 제3동영상; http://www.imusicsoft.co.kr/ims/0713/ims0003900First video; htpp: //www.imusicsoft.co.kr/ims/0711/ims0003900 second video; http://www.imusicsoft.co.kr/ims/0712/ims0003900 Third video; http://www.imusicsoft.co.kr/ims/0713/ims0003900 제1동영상 10~20초 구간 + 제2동영상 30~50초 구간 + 제3동영상 60~90초 구간 ---> 제1동영상(10초분량)과 제2동영상(20초분량)과 제3동영상(30초분량)의 정보를 스크립트로서 가짐.1st video 10 ~ 20 sec. + 2nd video 30 ~ 50 sec. + 3rd video 60 ~ 90 sec. ---> 1st video (10 sec), 2nd video (20 sec) and 3rd video It has the information of a video (30 seconds) as a script.

결국, 상기 멀티미디어 정보파일은 멀티미디어 그 자체의 데이터파일이 아니라 멀티미디어를 편집시켜 재생할 정보를 도 2와 같이 스크립트 형식으로 가지고 있게 된다. 상기 멀티미디어 정보파일의 스트립트에는 소정의 데이타 객체(object)인 멀티미디어의 URL 링크와 선택구간 시작 시간 및 종료 시간을 정보로서 가진다. As a result, the multimedia information file is not a data file of the multimedia itself, but has information in a script form as shown in FIG. The script of the multimedia information file has URL link and selection section start time and end time of the multimedia as a predetermined data object.

각 동영상의 편집 단위가 프레임단위가 아닌 시간간위로 구간 편집이 이루어지고, 상기 멀티미디어 정보파일은 이러한 구간의 시간정보(시작시간 및 종료시간)를 편집정보로서 가지고 있게 된다. 본 발명의 일 실시예에 따른 도 2의 멀티미디어 정보파일에는 각 태그별로 필요한 정보가 스크립팅되어 있는데, 상기 각 태그(tag)의 기능 설명을 도 3에 도시하였다.Section editing is performed in time intervals instead of frame units, and the multimedia information file has time information (start time and end time) of such sections as edit information. In the multimedia information file of FIG. 2 according to an embodiment of the present invention, necessary information for each tag is scripted. A function description of each tag is illustrated in FIG. 3.

상기 도 2 및 도 3을 보면, 멀티미디어 정보파일은 태그 정보로서, 버전정보(title), 멀티미디어 정보파일의 제목(title), 멀티미디어 정보파일의 간략설명글(description), 멀티미디어 정보파일의 대표썸네일(mainthumburl), 배경음악 아이디(musicid), 배경음악 제목(musictitle), 배경음악 링크주소(musicurl), 멀티미디어의 종류(cliptype), 멀티미디어의 고유아이디(clipid), 멀티미디어의 제 목(cliptitle), 회차아이디(vodcnt), 편집 어플리케이션의 제조 회사명(cnttitle), 멀티미디어의 URL 주소(clipurl), 멀티미디어의 썸네일 이미지 URL(thumburl), 각 멀티미디어의 구간 시작시간(clipstarttime), 각 멀티미디어의 구간 종료시간(clipendtime), 멀티미디어의 전체재생 시작시간(playstarttime), 멀티미디어의 전체재생 종료시간(playendtime), 멀티미디어의 전체재생 시간(playduration), 자막글 내용(caption), 자막시작시간(captionstarttime), 자막재생전체시간(captiondrration), 멀티미디어의 영상효과 ID(effectid), 장면전환효과 ID(transitionid), 장면전환효과 적용기간(transitionduration) 등을 포함하고 있음을 알 수 있다.2 and 3, the multimedia information file is tag information, which includes version information, a title of the multimedia information file, a brief description of the multimedia information file, and a representative thumbnail of the multimedia information file. mainthumburl, background music ID, background music title, background music link address (musicurl), multimedia type (cliptype), multimedia unique clip (clipid), multimedia title (cliptitle), episode ID (vodcnt), company name of the editing application (cnttitle), multimedia URL address (clipurl), multimedia thumbnail image URL (thumburl), section start time of each multimedia (clipstarttime), section end time of each multimedia (clipendtime) , Playtime of multimedia, playtime of multimedia, playtime of multimedia, playduration of multimedia, caption Start time (captionstarttime), subtitle playback total time (captiondrration), multimedia video effect ID of (effectid), transition effect ID (transitionid), transition effects applied period (transitionduration) such as it can be seen that the included.

상기와 같이 로컬 클라이언트(10)는 사용자의 구간선택에 의하여 멀티미디어 정보파일을 생성하게 되며, 이렇게 생성된 멀티미디어 정보파일은 웹상의 웹게시판 등에 올려지게 된다. 상기 웹게시판(13)에 올려진 멀티미디어 정보파일은 다른 사용자의 멀티미디어 재생기(11;예컨대, 컴퓨터, PMP, 이동통신단말기, MP3 플레이어 등)에서 분석되어 해당 멀티미디어가 재생된다. 즉, 상기 멀티미디어 재생기(11)는 웹게시판(13)에서 멀티미디어 정보파일을 다운로드 받아 그 안에 있는 정보들을 추출하여 해당 멀티미디어를 스트리밍받아 이를 재생할 수 있게 된다.As described above, the local client 10 generates a multimedia information file by selecting a section of the user, and the generated multimedia information file is placed on a web board or the like on the web. The multimedia information file uploaded to the web board 13 is analyzed by another user's multimedia player 11 (for example, a computer, a PMP, a mobile communication terminal, an MP3 player, etc.), and the multimedia is played. That is, the multimedia player 11 downloads the multimedia information file from the web board 13 and extracts the information therein so that the multimedia can be streamed and played.

예를 들어, 도 2와 같은 멀티미디어 정보파일을 이용해 멀티미디어 재생기(11)가 해당 편집된 멀티미디어를 재생하고자 하는 경우, 멀티미디어 정보파일 내에서 해당 멀티미디어 URL 주소를 저장한 'clipurl' 태그와, 해당 멀티미디어의 재생 원하는 구간의 시작 시간을 기록하고 있는 'clipstarttime' 태그와, 해당 멀 티미디어의 재생 원하는 구간의 종료 시간을 기록하고 있는 'clipendtime' 태그를 이용하여 차례로 각 멀티미디어 구간을 순차 재생할 수 있다. 상기 멀티미디어 재생기는 'clipurl' 태그에 기록되어 있는 URL을 가진 멀티미디어 서버에 접속하여 해당 동영상 전부를 스트리밍 버퍼링 한 후, 'clipstarttime' 태그 및 'clipendtime' 태그에 기록되어 있는 구간 시작시간 및 구간 종료시간을 이용하여 해당 구간만을 재생하는 것이다.For example, when the multimedia player 11 wants to play the edited multimedia using the multimedia information file as shown in FIG. 2, the 'clipurl' tag storing the multimedia URL address in the multimedia information file, and the multimedia Each multimedia section can be played in sequence by using a 'clipstarttime' tag recording the start time of the desired playback section and a 'clipendtime' tag recording the end time of the desired playback section of the multimedia. The multimedia player accesses the multimedia server having the URL recorded in the 'clipurl' tag and stream buffers all the videos, and then records the section start time and section end time recorded in the 'clipstarttime' tag and the 'clipendtime' tag. To play only that section.

따라서 상기 멀티미디어 재생기(11)는, 첫 번째 멀티미디어인 제1동영상이 저장된 멀티미디어 서버에 접속하여 제1동영상을 스트리밍 버퍼링한 후 특정 구간의 시작 시간을 찾는 동안은 '버퍼링중'이라고 화면에 출력하지만, 두 번째 멀티미디어인 제2동영상부터는 그전의 동영상이 재생되는 동안 미리 시작되는 시간을 찾아서 스트리밍 버퍼링하고 있다가 제2동영상부터는 '버퍼링중' 표시없이 곧바로 재생할 수 있다.Therefore, the multimedia player 11 accesses the multimedia server in which the first multimedia video is stored, and outputs the screen as 'buffering' while searching for a start time of a specific section after streaming buffering the first video. From the second multimedia, which is the second multimedia, the streaming video is buffered by finding the time that is started in advance while the previous video is being played, and the second video can be immediately played without displaying 'buffering'.

한편, 상기 로컬 클라이언트(10)는 멀티미디어 정보파일을 생성하는데, 이러한 생성은 로컬 클라이어트(10) 내의 편집 어플리케이션에 의해 이루어진다. 상기 편집 어플리케이션이란 사용자의 선택에 따라 여러 개의 동영상을 시간 기준으로 구간 분할하여 각 구간을 합성, 반복 등의 편집 작업을 수행하는 어플리케이션 프로그램이다. 상기 편집 어플리케이션은 별도의 프로그램으로서 로컬 클라이언트에 설치되거나, 또는, 플러그 인(plug-in) 방식으로 웹브라우저 상에서 직접 동작되도록 구현될 수 있다. 이하, 도 4의 블록도와 함께 상기 편집 어플리케이션을 설명하 기로 한다.On the other hand, the local client 10 generates a multimedia information file, which is generated by an editing application in the local client 10. The editing application is an application program that divides a plurality of moving images on a time basis according to a user's selection and edits each section by synthesizing and repeating. The editing application may be installed in a local client as a separate program or may be implemented to operate directly on a web browser in a plug-in manner. Hereinafter, the editing application will be described with the block diagram of FIG. 4.

도 4는 본 발명의 실시 예에 따른 편집 어플리케이션의 내부 구성 블록도이다.4 is a block diagram illustrating an internal configuration of an editing application according to an exemplary embodiment of the present invention.

상기 편집 어플리케이션은 스트리밍받은 멀티미디어를 재생하는 재생모듈(예컨대, 복호화모듈, 플레이어 그래픽 모듈 등)을 포함할 수도 있으나, 도 5의 블록도에서는 상기 재생모듈을 생략하고 멀티미디어 정보파일 생성과 관련된 멀티미디어 정보 입력부(41), 선택구간 입력부(42), 스트리밍부(43), 구성정보 DB(44), 멀티미디어 정보파일 생성부(40)만 도시하여 설명하기로 한다.The editing application may include a playback module (eg, a decoding module, a player graphics module, etc.) for playing the streamed multimedia. In the block diagram of FIG. 41, only the selection section input section 42, the streaming section 43, the configuration information DB 44, and the multimedia information file generating section 40 will be described.

멀티미디어 정보 입력부(41)는 해당 멀티미디어의 설명 정보를 사용자로부터 입력받는 사용자 인터페이스이다. 예컨대, 사용자로부터 해당 멀티미디어의 URL 주소, 타이틀(제목), 간략 설명글, 멀티미디어 대표썸네일, 자막글 등을 해당 멀티미디어의 설명정보로서 입력받는 기능을 수행한다. 상기 입력되는 설명 정보들은 멀티미디어 정보파일의 <clipurl>, <title>, <description>, <mainthumburl>, <caption> 태그 등에 기록 저장된다.The multimedia information input unit 41 is a user interface for receiving description information of the corresponding multimedia from the user. For example, the user may receive a URL address, title (title), brief description text, multimedia representative thumbnail, subtitle text, etc. of the multimedia from the user as the description information of the multimedia. The input description information is stored in the <clipurl>, <title>, <description>, <mainthumburl>, and <caption> tags of the multimedia information file.

선택구간 입력부(42)는 스트리밍된 멀티미디어 전체에서 사용자가 원하는 구간을 선택받는 기능을 수행하는데, 상기 구간 선택은 멀티미디어의 프레임 단위로 이루어질 수 있지만 구간 선택의 편의를 위하여 시간 단위로 사용자로부터 구간 선택받는다. 상기 구간선택을 위하여 선택구간 입력부는 구간 선택 툴을 제공하여 사용자로부터 구간을 선택하도록 한다. 상기 구간 선택 툴은 다양한 방법으로 제공될 수 있는데, 예컨대, 사용자로부터 선택구간의 시작시간 및 종료시간을 직접 텍스트로서 입력받을 수 있다. 또는, 스트리밍된 멀티미디어 재생 시에 재생바(play bar)를 조절하여 구간을 선택받도록 구현할 수 있다.The selection section input unit 42 performs a function of selecting a section desired by the user in the entire streamed multimedia. The section selection may be made in units of multimedia frames, but the section selection is made by the user in units of time for convenience of section selection. . For selecting the section, the section selector provides a section selection tool to select a section from the user. The section selection tool may be provided in various ways. For example, a start time and an end time of a selection section may be directly input as text from a user. Alternatively, the playback bar may be adjusted to select a section when the streamed multimedia is played.

스트리밍부(43)는 편집하고자 하는 다수의 멀티미디어를 멀티미디어 서버로부터 스트리밍받아 버퍼링하는 기능부로서, 스트링부는 선택구간 입력부를 통해 입력받은 구간 편집될 멀티미디어의 URL 주소에 접속하여 해당 멀티미디어를 스트리밍 버퍼링한다. 상기 스트리밍된 멀티미디어들은 순자적으로 재생되어 사용자로부터 필요한 구간을 선택받는다.The streaming unit 43 is a function unit for receiving and buffering a plurality of multimedia streams to be edited from the multimedia server. The string unit accesses the URL address of the multimedia to be edited in the section input through the selection section input unit and buffers the multimedia. The streamed multimedia are sequentially reproduced to receive the necessary section from the user.

구성정보 데이터베이스(44)는 멀티미디어 정보파일을 생성하는 상기 편집 어플리케이션의 버전정보, 영상효과, 장면전환효과, 장면전환효과 적용기간 등의 구성정보를 저장한 데이터베이스이다. 상기 버전정보, 영상효과 ID, 장면전환효과 고유ID, 장면전환효과 적용기간 등의 구성정보는 멀티미디어 정보파일의 <version>, <effectid>, <transitionid>, <transitionduration> 등의 태그에 기록 저장된다. 상기에서 버전정보를 제외한 영상효과 ID, 장면전환효과 고유ID, 장면전환효과 적용기간 등의 구성정보는 사용자의 설정에 의하여 구성정보 데이터베이스에 교체 설정될 수 있다. The configuration information database 44 is a database that stores configuration information such as version information, image effects, scene change effects, scene change effect application periods, etc. of the editing application generating the multimedia information file. The configuration information such as the version information, the image effect ID, the unique scene transition effect ID, and the duration of the transition effect is recorded in tags such as <version>, <effectid>, <transitionid>, and <transitionduration> of the multimedia information file. . The configuration information such as the image effect ID, the scene change effect unique ID, and the scene change effect application period except for the version information may be alternately set in the configuration information database according to the user's setting.

멀티미디어 정보파일 생성부(40)는, 상기 멀티미디어 정보 입력부를 통해 입력받은 멀티미디어 정보와, 선택구간 입력부를 통해 입력받은 구간정보, 구성정보 데이터베이스내의 구성정보를 이용하여 도 2와 같은 스크립트 형식의 멀티미디어 정보파일을 생성하는 기능을 수행한다. 즉, 멀티미디어 정보파일내의 각 태그 내에 상기 정보들을 기록하여 도 2와 같은 스크립트 형식의 멀티미디어 정보파일을 생성하는 것이다.The multimedia information file generation unit 40 uses the multimedia information input through the multimedia information input unit, the section information input through the selection section input unit, and the configuration information in the configuration information database. Creates a file. That is, the above information is recorded in each tag in the multimedia information file to generate a multimedia information file in a script form as shown in FIG.

도 5는 본 발명의 일 실시 예에 따라 멀티미디어 정보파일을 생성하여 이를 재생하는 과정을 도시한 흐름도이다.5 is a flowchart illustrating a process of generating and playing back a multimedia information file according to an embodiment of the present invention.

로컬 클라이언트(10)는 사용자로부터 편집될 멀티미디어의 URL 주소를 입력(S50)받아 각 멀티미디어 서버(12)로 스트리밍 요청(S51)한다. 상기 스트리밍 요청에 의하여 해당 멀티미디어를 스트리밍(S52)한 후에는 해당 멀티미디어를 차례로 재생하면서 편집될 선택구간을 입력(S53)받는다. 상기 선택구간 입력이 성공적으로 완료되면, 이를 근거로 로컬 클라이언트(10)는 도 2와 같은 멀티미디어 정보파일을 생성(S54)한다.The local client 10 receives a URL address of the multimedia to be edited from the user (S50) and requests a streaming (S51) to each multimedia server 12. After streaming the corresponding multimedia by the streaming request (S52), while receiving the corresponding multimedia in order to receive a selection section to be edited (S53). When the selection section input is successfully completed, the local client 10 generates a multimedia information file as shown in FIG. 2 based on this.

상기 생성된 멀티미디어 정보파일은 인터넷 웹상의 다양한 웹게시판(13)에 전송되어 등록(S55)된다. 상기 웹게시판(13)에 등록된 멀티미디어 정보파일은 멀티미디어 재생기(11)에 의해 다운로드(S56)되며, 상기 멀티미디어 재생기(11)는 상기 멀티미디어 정보파일을 분석(S57)하여 편집된 멀티미디어의 URL 주소로 해당 멀티미디어들의 스트리밍을 요청(S58)하여 해당 멀티미디어들을 스트리밍(S59) 받는다. 상기 스트리밍된 멀티미디어들은 상기 멀티미디어 정보파일에 기재된 정보에 따라 해당 선택구간들이 차례로 재생 또는 반복 재생(S60)된다. The generated multimedia information file is transmitted to various web boards 13 on the Internet web and registered (S55). The multimedia information file registered in the web board 13 is downloaded by the multimedia player 11 (S56), and the multimedia player 11 analyzes the multimedia information file (S57) to the URL address of the edited multimedia. By requesting the streaming of the multimedia (S58) and receives the multimedia (S59). The selected multimedia sections are sequentially played or repeatedly played (S60) according to the information described in the multimedia information file.

한편, 상기 선택구간 입력 단계는 멀티미디어를 스트리밍받아 재생되면서 동시에 선택구간을 입력받을 때 필요로 하지만, 상기 단계들을 생략하고 멀티미디어 스트리밍 없이 직접 멀티미디어 URL 주소 및 선택구간을 사용자로부터 직접 입력받아 멀티미디어 정보파일을 생성할 수 있다.On the other hand, the step of inputting the selection section is required to receive the multimedia stream while playing and receiving the multimedia stream at the same time, but omitting the above steps and directly input the multimedia URL address and the selection section from the user without multimedia streaming to receive the multimedia information file. Can be generated.

한편, 도 1에 도시된 본 발명의 멀티미디어 편집/재생 시스템에서 사용되는 멀티미디어는, 저작권이 없는 일반적인 멀티미디어(DRM이 적용안된 멀티미디어)뿐만 아니라 DRM(디지털저작권관리;Digital Rights Management)이 적용되는 멀티미디어(이하, 'DRM 멀티미디어'라 함)의 경우에도 본 발명이 적용될 수 있다. On the other hand, the multimedia used in the multimedia editing / playback system of the present invention shown in Figure 1, not only general multimedia without multimedia (multimedia without DRM), but also multimedia to which DRM (Digital Rights Management) is applied ( Hereinafter, the present invention may be applied to the case of 'DRM multimedia'.

일반적으로 DRM이 적용된 멀티미디어는 저작권이 보호된 파일로서 편집이 불가능하다. 그러나, 본 발명의 멀티미디어 편집/재생 시스템에서는 DRM이 적용된 멀티미디어의 경우에도 편집이 가능하다. Generally, multimedia with DRM is a copyrighted file and cannot be edited. However, in the multimedia editing / playback system of the present invention, editing is possible even in the case of multimedia to which DRM is applied.

예컨대, DRM이 적용된 멀티미디어(DRM 멀티미디어)가 멀티미디어 서버(12)에 저장될 경우, 이러한 DRM 멀티미디어가 로컬 클라이언트(10)에서 멀티미디어 정보파일 생성에 이용되어 상기 멀티미디어 정보파일이 웹게시판(13)에 올려지고 난 후, 멀티미디어 재생기(11)가 이러한 멀티미디어 정보파일을 가지고서 멀티미디어를 재생할 시에 자동적으로 DRM이 적용된다.For example, when DRM-applied multimedia (DRM multimedia) is stored in the multimedia server 12, the DRM multimedia is used to generate a multimedia information file in the local client 10 so that the multimedia information file is placed on the web board 13. After losing, the DRM is automatically applied when the multimedia player 11 plays the multimedia with this multimedia information file.

따라서 실제로 편집된 동영상을 인코딩하지 않고, 멀티미디어 서버(12)에 저장된 DRM 멀티미디어의 구간 정보(시작 시간, 종료 시간)를 가지고 있는 형태로 편집되기 때문에 편집된 멀티미디어가 인코딩 후 재생되는 것처럼 보이나 실제로는 멀티미디어 서버 내의 DRM 멀티미디어의 구간 정보가 재생됨으로써, 편집된 멀티미디어가 재생되고 편집 후의 멀티미디어도 자동적으로 저작권 보호를 받을 수 있게 되는 것이다.Therefore, since the edited video is edited in a form having section information (start time and end time) of DRM multimedia stored in the multimedia server 12 without actually encoding the edited video, the edited multimedia appears to be played after encoding. By reproducing the section information of the DRM multimedia in the server, the edited multimedia is reproduced, and the multimedia after editing can be automatically protected by copyright.

상기와 같이 DRM 멀티미디어 파일을 적용함에 있어, 멀티미디어 편집/재생 시스템은 도 6과 같이 라이센스 서버(14)를 더 필요로 한다. DRM 멀티미디어를 멀티미디어 서버(12)로부터 스트리밍받기 전에 해당 DRM 멀티미디어의 저작권 인증을 수행하는 라이센스 서버(14)로부터 라이센스를 획득하기 위함이다. 상기 라이센스 획득이 멀티미디어 서버(12)로부터 가능하거나, 로컬 클라이언트(또는 멀티미디어 재생기) 자체 내에서 가능하다면 상기와 같은 별도의 라이센스 서버를 필요로 하지 않는다.In applying the DRM multimedia file as described above, the multimedia editing / playback system requires a license server 14 as shown in FIG. This is to obtain a license from the license server 14 that performs copyright authentication of the DRM multimedia before the DRM multimedia is streamed from the multimedia server 12. If license acquisition is possible from the multimedia server 12 or within the local client (or multimedia player) itself, then no separate license server is required.

도 7은 DRM이 적용된 멀티미디어(DRM 멀티미디어)가 본 발명의 멀티미디어 편집/재생 시스템에서 적용될 때의 동작 과정을 도시한 흐름도이다.7 is a flowchart illustrating an operation process when DRM-applied multimedia (DRM multimedia) is applied in the multimedia editing / playback system of the present invention.

로컬 클라이언트(10)는 사용자로부터 편집될 DRM 멀티미디어의 URL 주소를 입력(S70)받은 후 해당 DRM 멀티미디어의 저작권을 관리하는 라이센스 서버(14)로 라이센스를 요청(S71)하여 소정의 인증절차를 거쳐 해당 DRM 멀티미디어의 라이센스를 획득(S72)한다. The local client 10 receives the URL address of the DRM multimedia to be edited from the user (S70), requests a license to the license server 14 that manages the copyright of the DRM multimedia (S71), and passes through a predetermined authentication procedure. Obtain a license of the DRM multimedia (S72).

로컬 클라이언트(10)는 상기 라이센스 획득 후 각 멀티미디어 서버(12)로 스트리밍 요청(S73)한다. 상기 스트리밍 요청에 의하여 해당 DRM 멀티미디어를 스트리밍(S74)한 후에는 해당 DRM 멀티미디어를 차례로 재생하면서 편집될 선택구간을 입력(S75)받는다. 상기 선택구간 입력이 성공적으로 완료되면, 이를 근거로 로컬 클라이언트(10)는 도 2와 같은 멀티미디어 정보파일을 생성(S76)한다. 상기 생성된 멀티미디어 정보파일은 인터넷 웹상의 다양한 웹게시판(13)에 전송(S77)되어 등록(S78)된다. The local client 10 makes a streaming request (S73) to each multimedia server 12 after obtaining the license. After streaming the corresponding DRM multimedia (S74) in response to the streaming request (S74) receives a selection section to be edited while playing the corresponding DRM multimedia (S75). When the selection section input is successfully completed, the local client 10 generates a multimedia information file as shown in FIG. 2 based on this. The generated multimedia information file is transmitted (S77) and registered (S78) to various web boards 13 on the Internet Web.

결국, 라이센스 요청 시는 결재를 통해 라이센스를 획득하여 멀티미디어의 콘텐츠 전체를 볼 수 있다. 멀티미디어의 전체 구간을 보면서 원하는 부분을 구간 편집하여 웹게시판(13)에 업로드할 수 있다. As a result, when a license is requested, a license can be obtained through payment to view the entire contents of the multimedia. While editing the entire section of the multimedia, the desired section can be edited and uploaded to the web board 13.

상기 웹게시판(13)에 등록된 멀티미디어 정보파일은 멀티미디어 재생기(11)에 의해 다운로드(S79)되며, 상기 멀티미디어 재생기(11)는 상기 멀티미디어 정보파일을 분석(S80)하여 라이센스 서버(14)에 재생할 DRM 멀티미디어의 라이센스를 요청(S81)하여 라이센스를 획득(S82)한다. The multimedia information file registered in the web board 13 is downloaded by the multimedia player 11 (S79), and the multimedia player 11 analyzes the multimedia information file (S80) and plays it on the license server 14. A license of the DRM multimedia is requested (S81) to obtain a license (S82).

상기 라이센스를 획득(S82)한 멀티미디어 재생기(11)는 편집된 DRM 멀티미디어의 URL 주소로 해당 DRM 멀티미디어들의 스트리밍을 요청(S83)하여 해당 DRM 멀티미디어들을 스트리밍(S84) 받는다. 상기 스트리밍된 DRM 멀티미디어들은 상기 멀티미디어 정보파일에 기재된 정보에 따라 해당 선택구간들이 차례로 재생 또는 반복 재생(S85)된다. The multimedia player 11 having obtained the license (S82) requests the streaming of the corresponding DRM multimedia files to the URL address of the edited DRM multimedia (S83) and receives the corresponding DRM multimedia streams (S84). The streams of the selected DRM multimedia are sequentially played or repeatedly played (S85) according to the information described in the multimedia information file.

멀티미디어 재생기(11)가 라이센스 요청(S81) 시는 불법 플레이를 막기 위해 1회만 재생할 수 있는 라이센스를 획득할 수 있게 제한을 둔다. 그래서 또다시 보고 싶을 때마다 라이센스를 1회만 플레이할 수 있는 라이센스를 획득하여 같은 방식으로 재생할 수 있다. When the multimedia player 11 requests a license (S81), the multimedia player 11 is limited to obtain a license that can be played only once to prevent illegal play. So every time you want to see it again, you can get a license to play it once and play it the same way.

결국, 상기와 같은 과정들을 거침으로서 DRM이 적용된 멀티미디어 파일이라 도 본 발명의 멀티미디어 편집/재생 시스템을 통해 멀티미디어 정보파일로 생성 및 이를 이용한 편집 재생이 가능하게 된다.As a result, through the above processes, even the multimedia file to which the DRM is applied can be generated and edited using the multimedia information file through the multimedia editing / playback system of the present invention.

상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시 될 수 있다. 따라서 본 발명의 특허 범위는 상기 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위뿐 아니라 균등 범위에도 미침은 자명할 것이다.In the foregoing description of the present invention, specific embodiments have been described, but various modifications may be made without departing from the scope of the present invention. Therefore, the scope of the present invention is not to be determined by the embodiments described above, but will be apparent in the claims as well as equivalent scope.

상기에서 기술한 바와 같이 본 발명은, 사용자가 개별적으로 편집한 멀티미디어를 멀티미디어 자체가 아닌 해당 편집된 멀티미디어의 정보로서 다른 사용자와 공유할 수 있는 효과가 있다. 따라서 멀티미디어 자체를 저장하지 않고 정보파일을 이용함으로써, 별도의 저장공간이 필요하지 않는 효과가 있다. 또한, DRM이 적용된 멀티미디어 파일이라도 구간 편집이 가능한 이점이 있다.As described above, the present invention has the effect of sharing the multimedia edited by the user with other users as the information of the edited multimedia instead of the multimedia itself. Therefore, by using the information file without storing the multimedia itself, there is an effect that no separate storage space is required. In addition, there is an advantage that section editing is possible even for a multimedia file to which DRM is applied.

Claims (20)

고유의 URL 주소를 각각 갖는 다수의 멀티미디어가 저장되어 있는 멀티미디어 서버와,A multimedia server storing a plurality of multimedia each having a unique URL address; 사용자로부터 하나 또는 그 이상의 멀티미디어의 URL 주소와 해당 멀티미디어의 선택구간을 각각 입력받아, 각 멀티미디어마다의 URL 주소와 선택구간에 대한 정보가 스크립트 형태로 저장하여 편집된 멀티미디어 정보파일이 생성되는 로컬 클라이언트와,A local client that receives URL addresses of one or more multimedia and selection sections of the multimedia from the user, and stores the URL address and selection section of each multimedia in the form of a script to generate an edited multimedia information file; , 인터넷 웹상의 서버 게시판으로서 상기 생성된 멀티미디어 정보파일이 등록되는 웹게시판과,A web board on which the generated multimedia information file is registered as a server bulletin board on the Internet web; 상기 웹게시판에 등록된 멀티미디어 정보파일을 다운로드받아, 다운로드받은 멀티미디어 정보파일 내의 멀티미디어 URL 주소를 추출하여 하나 또는 그 이상의 멀티미디어를 스트리밍한 후, 상기 멀티미디어 정보파일 내의 선택구간의 정보에 따라 각 멀티미디어의 선택구간만을 선택 재생하는 멀티미디어 재생기를 포함하며,Download the multimedia information file registered in the web board, extract the multimedia URL address in the downloaded multimedia information file, stream one or more multimedia, and select each multimedia according to the information of the selection section in the multimedia information file. It includes a multimedia player to select and play only the section, 상기 로컬 클라이언트는, 별도의 프로그램 또는 웹브라우저상의 플러그-인 방식에 의해 구동되는 편집 어플리케이션이 구비되어, 상기 편집 어플리케이션에서 상기 멀티미디어 정보파일을 생성함을 특징으로 하는 멀티미디어 편집/재생 시스템.And the local client is provided with an editing application driven by a separate program or a plug-in method on a web browser, and generates the multimedia information file from the editing application. 제1항에 있어서, 상기 멀티미디어 편집/재생 시스템은, DRM이 적용된 멀티미디어의 라이센스 인증을 수행하는 라이센스 서버를 더 포함하는 멀티미디어 편집/재생 시스템.The multimedia editing / reproducing system of claim 1, wherein the multimedia editing / reproducing system further comprises a license server for performing license authentication of DRM-applied multimedia. 삭제delete 제1항 또는 제2항에 있어서, 상기 편집 어플리케이션은,The method of claim 1 or 2, wherein the editing application, 편집될 각 멀티미디어의 내용설명인 설명정보를 사용자로부터 입력받는 멀티미디어 정보 입력부와,A multimedia information input unit which receives descriptive information, which is a description of each multimedia to be edited, from a user; 각 멀티미디어의 재생될 구간인 선택구간을 사용자로부터 선택 입력받는 선택구간 입력부와,A selection section input unit which receives a selection section, which is a section to be played of each multimedia, from a user; 상기 멀티미디어 정보파일을 생성하는데 사용되는 구성정보를 저장하고 있는 구성정보 데이터베이스와, A configuration information database storing configuration information used to generate the multimedia information file; 상기 설명정보, 선택구간, 구성정보를 이용하여 각 멀티미디어의 URL 주소와 선택구간에 대한 정보가 들어있는 스크립트 형식의 멀티미디어 정보파일을 생성하는 멀티미디어 정보파일Multimedia information file for generating a script-type multimedia information file containing information on the URL address and selection section of each multimedia by using the description information, selection section, and configuration information 을 구비한 멀티미디어 편집/재생 시스템.Multimedia editing / playback system having a. 제4항에 있어서, 상기 편집 어플리케이션은, 편집하고자 선택된 멀티미디어를 멀티미디어 서버로부터 스트리밍받는 스트리밍부를 더 구비한 멀티미디어 편집/재생 시스템.The system of claim 4, wherein the editing application further comprises a streaming unit configured to stream the multimedia selected for editing from a multimedia server. 제4항에 있어서, 상기 설명정보는, URL 주소, 타이틀(제목), 간략 설명글, 멀티미디어 대표썸네일, 자막글을 포함하는 멀티미디어 내용설명 중에서 적어도 하나 이상 가짐을 특징으로 하는 멀티미디어 편집/재생 시스템.The multimedia editing / playback system of claim 4, wherein the description information includes at least one of multimedia descriptions including a URL address, a title (title), a brief description text, a multimedia representative thumbnail, and a caption text. 제4항에 있어서, 상기 선택구간 입력부는, 선택되는 구간의 시작시간과 종료시간을 수치로서 직접 입력받는 멀티미디어 편집/재생 시스템.The multimedia editing / playback system of claim 4, wherein the selection section input unit directly inputs a start time and an end time of the section selected as numerical values. 제4항에 있어서, 상기 선택구간 입력부는, 스트리밍되는 멀티미디어의 재생바의 조절에 의하여 선택구간을 입력받는 멀티미디어 편집/재생 시스템.The multimedia editing / playback system according to claim 4, wherein the selection section input unit receives the selection section by adjusting the playback bar of the streamed multimedia. 제4항에 있어서, 상기 구성정보는, 편집 어플리케이션의 버전정보, 영상효과, 장면전환효과, 장면전환효과 적용기간 중에서 적어도 하나 이상 포함함을 특징으로 하는 멀티미디어 편집/재생 시스템. The multimedia editing / reproducing system of claim 4, wherein the configuration information includes at least one of version information of a editing application, a video effect, a scene change effect, and a scene change effect application period. 제4항에 있어서, 상기 구성정보는 사용자 설정에 의하여 달리 설정되어 상기 구성정보 데이터베이스에 저장되는 멀티미디어 편집/재생 시스템. The multimedia editing / reproducing system of claim 4, wherein the configuration information is set differently according to user settings and stored in the configuration information database. 제1항 또는 제2항에 있어서, 상기 멀티미디어 재생기는, 스트리밍하는 다수의 멀티미디어 중에서 첫번째 멀티미디어인 제1멀티미디어를 스트리밍하는 동안 '버퍼링중'이라고 화면에 출력하는 멀티미디어 편집/재생 시스템. The multimedia editing / playback system of claim 1 or 2, wherein the multimedia player outputs a 'buffering' screen to the screen while streaming the first multimedia, which is the first multimedia of the plurality of multimedia streams. 제1항 또는 제2항에 있어서, 상기 멀티미디어 재생기는, 스트리밍하는 다수의 멀티미디어 중에서 첫번째 멀티미디어인 제1멀티미디어가 재생되는 동안 두번째 멀티미디어인 제2멀티미디어를 스트리밍 버퍼링함으로써, 상기 제2멀티미디어부터는 '버퍼링중' 표시없이 곧바로 재생가능함을 특징으로 하는 멀티미디어 편집/재생 시스템. The multimedia player of claim 1 or 2, wherein the multimedia player streams and buffers the second multimedia, which is the second multimedia, while the first multimedia, which is the first multimedia, is reproduced from the plurality of multimedia streams. Multimedia editing / playback system, characterized by the ability to play directly without displaying. 제1항 또는 제2항에 있어서, 상기 멀티미디어 정보파일은, 버전정보(title), 멀티미디어 정보파일의 제목(title), 멀티미디어 정보파일의 간략설명글(description), 멀티미디어 정보파일의 대표썸네일(mainthumburl), 배경음악 아이디(musicid), 배경음악 제목(musictitle), 배경음악 링크주소(musicurl), 멀티미디어의 종류(cliptype), 멀티미디어의 고유아이디(clipid), 멀티미디어의 제목(cliptitle), 회차아이디(vodcnt), 편집 어플리케이션의 제조 회사명(cnttitle), 멀티미디어의 URL 주소(clipurl), 멀티미디어의 썸네일 이미지 URL(thumburl), 각 멀티미디어의 구간 시작시간(clipstarttime), 각 멀티미디어의 구간 종료시간(clipendtime), 멀티미디어의 전체재생 시작시간(playstarttime), 멀티미디어의 전체재생 종료시간(playendtime), 멀티미디어의 전체재생 시간(playduration), 자막글 내용(caption), 자막시작시간(captionstarttime), 자막재생전체시간(captiondrration), 멀티미디어의 영상효과 ID(effectid), 장면전환효과 ID(transitionid), 장면전환효과 적용기간(transitionduration) 중에서 적어도 하나 이상을 포함하는 멀티미디어 편집/재생 시스템. The multimedia information file of claim 1 or 2, wherein the multimedia information file comprises: version information, a title of the multimedia information file, a brief description of the multimedia information file, and a representative thumbnail of the multimedia information file. ), Background music ID (musicid), background music title (musictitle), background music link address (musicurl), multimedia type (cliptype), multimedia unique clip (clipid), multimedia title (cliptitle), recurring ID (vodcnt) ), Company name of the editing application (cnttitle), multimedia URL address (clipurl), multimedia thumbnail image URL (thumburl), section start time of each multimedia (clipstarttime), section end time of each multimedia (clipendtime), multimedia Play start time of the entire play time, play end time of the full play of the multimedia, play duration of the multimedia, caption, caption start Multimedia editing / playback system comprising at least one of captionstarttime, captiondrration, captiondrration, multimedia effectid, transitional transition ID, and transitional transition duration . 인터넷 웹상에 존재하는 로컬 클라이언트가, 하나 또는 그 이상의 멀티미디어의 URL 주소와 해당 멀티미디어에서 재생되어야 할 선택구간을 사용자로부터 입력받아, 상기 URL 주소들과 선택구간들이 기록된 스크립트 형식의 멀티미디어 정보파일을 생성하는 제1과정과, A local client existing on the Internet web receives a URL address of one or more multimedia and a selection section to be played in the multimedia, and generates a script-type multimedia information file in which the URL addresses and selection sections are recorded. The first process 상기 생성된 멀티미디어 정보파일이, 인터넷 웹상의 서버 게시판인 웹게시판에 등록되는 제2과정과, A second process in which the generated multimedia information file is registered in a web bulletin board which is a server bulletin board on an internet web; 멀티미디어를 재생하는 멀티미디어 재생기가, 상기 웹게시판에 등록된 멀티미디어 정보파일을 다운로드 받아 상기 URL 주소들과 선택구간들을 추출하는 제3과정과,The multimedia player for playing the multimedia, the third process of downloading the multimedia information file registered in the web board and extracts the URL address and the selected section, 상기 멀티미디어 재생기가, 상기 추출된 URL 주소에 접속하여 하나 또는 그 이상의 멀티미디어를 스트리밍한 후, 선택구간만을 재생하는 것을 상기 멀티미디어 정보파일에 포함된 모든 URL 주소에 대해서 수행하는 제4과정A fourth step in which the multimedia player accesses the extracted URL address and streams one or more multimedia streams, and then plays only a selected section for all URL addresses included in the multimedia information file; 을 포함하는 멀티미디어 편집/재생 방법.Multimedia editing / playback method comprising a. 제14항에 있어서, 제1과정은 편집될 멀티미디어를 스트리밍받아 해당 멀티미디어를 재생하면서 상기 선택구간을 사용자로부터 입력받음을 특징으로 하는 멀티미디어 편집/재생 방법.15. The method of claim 14, wherein the first process receives the multimedia to be edited and plays the multimedia while receiving the selection section from the user. 제14항에 있어서, 상기 멀티미디어 정보파일은, 버전정보(title), 멀티미디어 정보파일의 제목(title), 멀티미디어 정보파일의 간략설명글(description), 멀티미디어 정보파일의 대표썸네일(mainthumburl), 배경음악 아이디(musicid), 배경음악 제목(musictitle), 배경음악 링크주소(musicurl), 멀티미디어의 종류(cliptype), 멀티미디어의 고유아이디(clipid), 멀티미디어의 제목(cliptitle), 회차아이디(vodcnt), 편집 어플리케이션의 제조 회사명(cnttitle), 멀티미디어의 URL 주소(clipurl), 멀티미디어의 썸네일 이미지 URL(thumburl), 각 멀티미디어의 구간 시작시간(clipstarttime), 각 멀티미디어의 구간 종료시간(clipendtime), 멀티미디어의 전체재생 시작시간(playstarttime), 멀티미디어의 전체재생 종료시간(playendtime), 멀티미디어의 전체재생 시간(playduration), 자막글 내용(caption), 자막시작시간(captionstarttime), 자막재생전체시간(captiondrration), 멀티미디어의 영상효과 ID(effectid), 장면전환효과 ID(transitionid), 장면전환효과 적용기간(transitionduration) 중에서 적어도 하나 이상을 포함하는 멀티미디어 편집/재생 방법.The multimedia information file of claim 14, wherein the multimedia information file includes: version information, a title of the multimedia information file, a brief description of the multimedia information file, a main thumbnail of the multimedia information file, and background music. ID (musicid), background music title (musictitle), background music link address (musicurl), multimedia type (cliptype), multimedia unique clip (clipid), multimedia title (cliptitle), turn ID (vodcnt), editing application Manufacturer's name (cnttitle), URL address of multimedia (clipurl), thumbnail image URL of multimedia (thumburl), section start time of each multimedia (clipstarttime), section end time of each multimedia (clipendtime), start of full multimedia playback Time (playstarttime), multimedia full play end time (playendtime), multimedia full play time (playduration), caption text (caption), caption start time (captionsta) rttime, captiondrration, captiondrration, visual effect ID of the multimedia, transition ID, transition transition, and at least one of transition transitions. 제14항에 있어서, 제4과정은, 스트리밍받는 다수의 멀티미디어 중에서 첫번째 멀티미디어인 제1멀티미디어를 스트리밍하는 동안 '버퍼링중'이라고 화면에 출력하는 멀티미디어 편집/재생 방법.15. The method of claim 14, wherein the fourth process outputs to the screen 'buffering' during the streaming of the first multimedia, which is the first of the plurality of multimedia streams. 제14항에 있어서, 제4과정은, 스트리밍하는 다수의 멀티미디어 중에서 첫번째 멀티미디어인 제1멀티미디어가 재생되는 동안 두번째 멀티미디어인 제2멀티미디어를 스트리밍 버퍼링함으로써, 상기 제2멀티미디어부터는 '버퍼링중' 표시없이 곧바로 재생가능함을 특징으로 하는 멀티미디어 편집/재생 방법.15. The method of claim 14, wherein the fourth process comprises streaming buffering of the second multimedia, the second multimedia, while the first multimedia, which is the first multimedia, of the plurality of multimedia streams is played, thereby directly starting from the second multimedia without displaying 'buffering'. Multimedia editing / playback method characterized in that the playable. 제15항에 있어서, 편집될 멀티미디어가 DRM이 적용된 멀티미디어인 경우에는, 상기 DRM이 적용된 멀티미디어의 라이센스를 획득 후 해당 멀티미디어를 재생하는 멀티미디어 편집/재생 방법.16. The method of claim 15, wherein if the multimedia to be edited is multimedia with DRM, the multimedia is played after the license of the multimedia with DRM is obtained. 제14항에 있어서, 제4과정은, 추출된 URL 주소의 멀티미디어가 DRM이 적용된 멀티미디어인 경우에는, 상기 DRM이 적용된 멀티미디어의 라이센스를 획득 후 해당 멀티미디어를 스트리밍 받아 선택구간만을 재생함을 특징으로 하는 멀티미디어 편집/재생 방법.15. The method of claim 14, wherein if the multimedia of the extracted URL address is a multimedia with DRM, after receiving a license of the multimedia with the DRM, the multimedia is streamed to play only a selected section. How to edit / play multimedia.
KR1020070030799A 2006-07-12 2007-03-29 Multimedia editing / playback system and its operation method KR100908144B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020060065549 2006-07-12
KR20060065549 2006-07-12

Publications (2)

Publication Number Publication Date
KR20080006443A KR20080006443A (en) 2008-01-16
KR100908144B1 true KR100908144B1 (en) 2009-07-16

Family

ID=39220252

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070030799A KR100908144B1 (en) 2006-07-12 2007-03-29 Multimedia editing / playback system and its operation method

Country Status (1)

Country Link
KR (1) KR100908144B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101084667B1 (en) * 2010-11-24 2011-11-22 주식회사 미디어허브아이앤씨 Multimedia service system and method for providing video data using image data thereof

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101542520B1 (en) 2009-01-13 2015-08-07 삼성전자주식회사 Apparatus and method for sharing information through presence service in a communication network
KR101270765B1 (en) * 2010-02-18 2013-06-03 에스케이플래닛 주식회사 System and method for manufacturing electronic book
KR101955460B1 (en) * 2012-08-24 2019-03-11 에스케이플래닛 주식회사 System and method for providing multimedia player using by web browser
KR102472801B1 (en) * 2016-10-12 2022-12-01 천종윤 Distributed Multimedia editing System and Method
CN113010706A (en) * 2021-03-16 2021-06-22 北京金山云网络技术有限公司 Multimedia information processing method, device, equipment and medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000041813A (en) * 1998-12-23 2000-07-15 이계철 Method for streaming multimedia through network
KR20040087783A (en) * 2003-04-09 2004-10-15 에스케이 텔레콤주식회사 Method of Providing Interactive Multimedia Contents in Mobile Communication Network
KR20050051776A (en) * 2003-11-28 2005-06-02 엘지전자 주식회사 Method for reproducing repeat area in multi media device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000041813A (en) * 1998-12-23 2000-07-15 이계철 Method for streaming multimedia through network
KR20040087783A (en) * 2003-04-09 2004-10-15 에스케이 텔레콤주식회사 Method of Providing Interactive Multimedia Contents in Mobile Communication Network
KR20050051776A (en) * 2003-11-28 2005-06-02 엘지전자 주식회사 Method for reproducing repeat area in multi media device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101084667B1 (en) * 2010-11-24 2011-11-22 주식회사 미디어허브아이앤씨 Multimedia service system and method for providing video data using image data thereof

Also Published As

Publication number Publication date
KR20080006443A (en) 2008-01-16

Similar Documents

Publication Publication Date Title
CN100511208C (en) System and method for providing a multimedia contents service based on user&#39;s preferences
US8813127B2 (en) Media content retrieval system and personal virtual channel
EP1239376A2 (en) Reproducing apparatus and server system providing additional information therefor
KR100803580B1 (en) Electronic music distribution service system and method using synchronous multimedia integration language format
KR100930340B1 (en) Chat data playback method in interactive optical disk device, Chat data provision method in content providing server
US20150301995A1 (en) Method for editing and processing contents file and navigation information
KR100908144B1 (en) Multimedia editing / playback system and its operation method
JP2007318196A (en) Information processing system, information providing apparatus, information providing method, reproducing device, information processing method, and program
JP2008027049A (en) Information processing system, information processor, method, and program
JP3702525B2 (en) Interactive video recording / playback system
JP5043711B2 (en) Video evaluation apparatus and method
JP7438486B2 (en) Information processing device, information processing method and program
JP2008048091A (en) Motion picture tagging program, motion picture tag system, and motion picture distributing method
JP2006166303A (en) Method for generating contents list, method for displaying contents list and method for switching contents
KR100687416B1 (en) Multimedia contents providing system and method using reproduction section information on the contents
KR20000012324A (en) Method for providing a multi-media type book contents and system of the providing the same
KR20090039570A (en) Method for playing movie synchronous and recording medium
JP5746865B2 (en) Rich media providing system and control method thereof
JP2004023756A (en) Distributedly arranged contents distributing method and distribution server
KR20090014924A (en) System and method for supplying advertisement and sever, recordimg medium
JP4826677B2 (en) Recording medium and reproducing apparatus
JP2006173692A (en) Information processor and information processing method
KR100862955B1 (en) Multimedia service player being capable of storing and replaying data service information
JP2004227423A (en) Video content delivery system, and video content sending and receiving method
JP4462373B2 (en) Recording medium and reproducing apparatus

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130708

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140708

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150709

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160711

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170710

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190527

Year of fee payment: 11