KR101172586B1 - Method and system for creating media clip - Google Patents
Method and system for creating media clip Download PDFInfo
- Publication number
- KR101172586B1 KR101172586B1 KR1020100046923A KR20100046923A KR101172586B1 KR 101172586 B1 KR101172586 B1 KR 101172586B1 KR 1020100046923 A KR1020100046923 A KR 1020100046923A KR 20100046923 A KR20100046923 A KR 20100046923A KR 101172586 B1 KR101172586 B1 KR 101172586B1
- Authority
- KR
- South Korea
- Prior art keywords
- script
- content
- media
- scene
- user
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45504—Abstract machines for programme code execution, e.g. Java virtual machine [JVM], interpreters, emulators
- G06F9/45529—Embedded in an application, e.g. JavaScript in a Web browser
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/278—Subtitling
Abstract
본 발명은 미디어 클립 생성 방법 및 시스템에 관련된 것으로, 특히 미디어 콘텐츠로부터 특정 구간의 미디어 클립을 자동으로 추출하는 방법 및 시스템을 제공한다. 본 발명에 의하면, 사용자는 미디어 콘텐츠에서 자신이 원하는 구간을 선택하여 선택된 구간의 미디어 클립을 다른 사람들에게 공유할 수 있다. 또한, 서버는 사용자가 선택한 설정 구간을 장면 전환 또는 텍스트 스크립트의 시점에 따라 자동으로 조절함으로써, 보다 완성도 있는 미디어 클립을 생성할 수 있다The present invention relates to a method and system for generating a media clip, and more particularly, to a method and system for automatically extracting a media clip of a specific section from media content. According to the present invention, a user can select a desired section of media content and share the media clip of the selected section to others. In addition, the server may automatically generate a media clip with more completeness by automatically adjusting the setting section selected by the user according to the viewpoint of the scene change or the text script.
Description
본 발명은 미디어 클립 생성 방법 및 시스템에 관련된 것으로, 보다 특정하게는 미디어 콘텐츠로부터 특정 구간의 미디어 클립을 자동으로 추출하는 방법 및 장치에 관한 것이다.The present invention relates to a method and a system for generating a media clip, and more particularly, to a method and an apparatus for automatically extracting a media clip of a specific section from media content.
인터넷상의 미디어 공유는 일반적으로 사용자가 영상 콘텐츠를 서버로 업데이트하고, 업데이트된 영상 콘텐츠의 미디어 클립을 위한 태그를 웹 문서에 삽입하고, 해당 태그가 삽입된 문서를 다른 사용자에게 노출시키는 것으로 이루어진다.Media sharing on the Internet generally consists of a user updating the video content to a server, inserting a tag for a media clip of the updated video content into a web document, and exposing the document with the tag to another user.
이때, 미디어 클립은 사용자가 업데이트한 영상 콘텐츠가 서버의 파일 정책에 따라 자동으로 변환된 것이다. In this case, the media clip is an image content updated by the user is automatically converted according to the file policy of the server.
따라서, 서버에서는 사용자가 업데이트한 영상 콘텐츠의 전 구간이 미디어 클립으로 자동으로 변환되기 때문에, 사용자는 일부 구간의 영상 콘텐츠를 공유하는 것이 힘들다. 이러한 경우, 상기 다른 사용자는 전 구간의 미디어 클립을 모두 재생하여 봐야하는 단점이 있으며, 사용자가 공유를 원하는 일부 구간을 보기도 전에 지루함을 느낄 수 있다.Therefore, since the server automatically converts all sections of the updated image content into media clips, it is difficult for the user to share the video contents of some sections. In this case, the other user has a disadvantage of playing all the media clips of all sections, and the user may feel bored even before seeing some sections that the user wants to share.
대안적인 방법으로, 사용자가 다른 사용자에게 특정 구간의 시간대를 미리 코멘트하는 방법이 있다. Alternatively, a user may pre-comment a time zone of a certain section to another user.
이 경우, 상기 다른 사용자는 상기 사용자의 코멘트를 보고 상기 특정 구간의 시간대를 찾아 미디어 클립의 재생을 직접 컨트롤해야 하는 단점이 있다.In this case, the other user has a disadvantage of directly controlling the playback of a media clip by looking at the user's comment and finding a time zone of the specific section.
따라서 본 발명에서는 사용자가 원하는 구간의 미디어 클립을 자동으로 생성해주는 방법을 제안하고자 한다.Therefore, the present invention proposes a method for automatically generating a media clip of a desired section.
본 발명의 실시예에 의하면, 사용자의 미디어 콘텐츠로부터 사용자에 의해 설정된 설정 구간에 대응하는 미디어 클립을 자동으로 생성할 수 있는 미디어 클립 생성 방법 및 시스템을 제공한다.According to an embodiment of the present invention, there is provided a method and a system for generating a media clip capable of automatically generating a media clip corresponding to a setting section set by a user from a user's media content.
아울러, 본 발명의 실시 예에 의하면, 사용자가 설정한 설정 구간을 미디어 콘텐츠의 특성에 따라 자동으로 조절할 수 있는 미디어 클립 생성 방법 및 시스템을 제공한다.In addition, according to an embodiment of the present invention, there is provided a method and system for generating a media clip that can automatically adjust a setting section set by a user according to characteristics of media content.
본 발명의 일 측면에 의하면, 미디어 콘텐츠에 대응하여 콘텐츠 스크립트를 식별하는 스크립트 식별부와, 상기 콘텐츠 스크립트에 기초하여 사용자가 설정한 설정 구간에 대응하는 상기 미디어 콘텐츠의 미디어 클립을 생성하는 생성부를 포함하는 미디어 클립 생성 장치를 제공한다.According to an aspect of the present invention, there is provided a script identification unit for identifying a content script corresponding to media content, and a generation unit for generating a media clip of the media content corresponding to a setting section set by a user based on the content script. A media clip generating device is provided.
또한, 상기 스크립트 식별부는 상기 미디어 콘텐츠의 오디오 스트림과 비디오 스트림에 동일한 시간 정보를 삽입하는 시간 삽입부와, 상기 오디오 스트림으로부터 음성을 인식하여 텍스트 스크립트를 생성하는 텍스트 생성부와, 상기 비디오 스트림으로부터 장면을 인식하는 장면 인식부와, 상기 장면과 동일한 시간에 대응하는 텍스트 스크립트를 상기 장면에 대한 시간 정보와 연관시켜 상기 콘텐츠 스크립트를 생성하는 스크립트 생성부를 포함할 수 있다.The script identifying unit may further include a time inserting unit inserting the same time information into the audio stream and the video stream of the media content, a text generating unit generating a text script by recognizing speech from the audio stream, and a scene from the video stream. And a scene recognizing unit for recognizing and generating a content script by associating a text script corresponding to the same time as the scene with time information about the scene.
또한, 상기 스크립트 식별부는 미리 저장된 자막 파일들을 검색하여 상기 미디어 콘텐츠에 관련된 자막 파일을 상기 콘텐츠 스크립트로 결정할 수 있다.The script identifier may search the pre-stored subtitle files to determine a subtitle file related to the media content as the content script.
또한, 상기 생성부는 상기 사용자가 설정한 설정 구간을 상기 콘텐츠 스크립트의 장면 전환 정보를 기초로 조절하고, 상기 조절된 구간의 미디어 클립을 생성할 수 있다.The generation unit may adjust the setting section set by the user based on the scene change information of the content script, and generate a media clip of the adjusted section.
또한, 상기 생성부는 상기 사용자가 설정한 설정 구간을 상기 설정 구간의 전후 텍스트 스크립트의 시간 정보를 기초로 조절하고, 상기 조절된 구간의 미디어 클립을 생성할 수 있다.The generation unit may adjust the setting section set by the user based on time information of the text script before and after the setting section, and generate a media clip of the adjusted section.
본 발명의 다른 측면에 의하면, 미디어 콘텐츠에 대응하는 콘텐츠 스크립트를 식별하는 단계와, 상기 콘텐츠 스크립트에 기초하여 사용자가 설정한 설정 구간에 대응하는 상기 미디어 콘텐츠의 미디어 클립을 생성하는 단계를 포함하는 미디어 클립 생성 방법을 제공한다.According to another aspect of the present invention, there is provided a media comprising: identifying a content script corresponding to media content, and generating a media clip of the media content corresponding to a setting section set by a user based on the content script; Provides a method for creating a clip.
또한, 상기 스크립트 식별부는 상기 미디어 콘텐츠의 오디오 스트림과 비디오 스트림에 동일한 시간 정보를 삽입하는 시간 삽입부와, 상기 오디오 스트림으로부터 음성을 인식하여 텍스트 스크립트를 생성하는 텍스트 생성부와, 상기 비디오 스트림으로부터 장면을 인식하는 장면 인식부와, 상기 장면과 동일한 시간에 대응하는 텍스트 스크립트를 상기 장면에 대한 시간 정보와 연관시켜 상기 콘텐츠 스크립트를 생성하는 스크립트 생성부를 포함할 수 있다.The script identifying unit may further include a time inserting unit inserting the same time information into the audio stream and the video stream of the media content, a text generating unit generating a text script by recognizing speech from the audio stream, and a scene from the video stream. And a scene recognizing unit for recognizing and generating a content script by associating a text script corresponding to the same time as the scene with time information about the scene.
또한, 상기 스크립트 식별부는 미리 저장된 자막 파일들을 검색하여 상기 미디어 콘텐츠에 관련된 자막 파일을 상기 콘텐츠 스크립트로 결정할 수 있다.The script identifier may search the pre-stored subtitle files to determine a subtitle file related to the media content as the content script.
또한, 상기 생성부는 상기 사용자가 설정한 설정 구간을 상기 콘텐츠 스크립트의 장면 전환 정보를 기초로 조절하고, 상기 조절된 구간의 미디어 클립을 생성할 수 있다.The generation unit may adjust the setting section set by the user based on the scene change information of the content script, and generate a media clip of the adjusted section.
또한, 상기 생성부는 상기 사용자가 설정한 설정 구간을 상기 설정 구간의 전후 텍스트 스크립트의 시간 정보를 기초로 조절하고, 상기 조절된 구간의 미디어 클립을 생성할 수 있다.The generation unit may adjust the setting section set by the user based on time information of the text script before and after the setting section, and generate a media clip of the adjusted section.
본 발명에 의하면, 사용자는 미디어 콘텐츠에서 자신이 원하는 구간을 선택하여 선택된 구간의 미디어 클립을 다른 사람들에게 공유할 수 있다. 또한, 서버는 사용자가 선택한 설정 구간을 장면 전환 또는 텍스트 스크립트의 시점에 따라 자동으로 조절함으로써, 보다 완성도 있는 미디어 클립을 생성할 수 있다.According to the present invention, a user can select a desired section of media content and share the media clip of the selected section to others. In addition, the server may automatically generate a media clip that is more complete by automatically adjusting the setting section selected by the user according to the scene change or the viewpoint of the text script.
도 1은 본 발명의 일 실시예에 따른 미디어 클립 생성 시스템을 보여주는 도면.
도 2는 도 1의 미디어 클립 생성 서버의 구성을 보여주기 위한 도면.
도 3a 내지 3c는 도 1의 단말의 화면 예시를 보여주는 도면.
도 4a 및 도 4b는 도 2의 구간 조절부를 설명하기 위한 도면.
도 5는 본 발명의 일 실시예에 따른 미디어 클립 생성 방법을 보여주는 도면.
도 6은 본 발명의 다른 실시예에 따른 미디어 클립 생성 방법을 보여주는 도면.
도 7은 본 발명의 또 다른 실시예에 따른 미디어 클립 생성 방법을 보여주는 도면.1 illustrates a media clip creation system in accordance with one embodiment of the present invention.
FIG. 2 is a diagram illustrating a configuration of a media clip generation server of FIG. 1. FIG.
3A to 3C illustrate screen examples of the terminal of FIG. 1.
4A and 4B are views for explaining the section controller of FIG. 2.
5 illustrates a media clip creation method according to an embodiment of the present invention.
6 illustrates a media clip creation method according to another embodiment of the present invention.
7 illustrates a media clip creation method according to another embodiment of the present invention.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 미디어 클립 생성 시스템을 보여주는 도면이다.1 illustrates a media clip generation system according to an embodiment of the present invention.
도 1을 참조하면, 상기 시스템은 단말(100)과 통신망(110)과 미디어 클립 생성 미디어 클립 생성 서버(120)와 데이터베이스(130)를 포함한다.Referring to FIG. 1, the system includes a
단말(100)은 사용자의 요청에 따라 미리 저장된 미디어 콘텐츠를 선택하고, 선택된 미디어 콘텐츠를 통신망(110)을 통해 미디어 클립 생성 서버(120)로 전송한다. 그리고, 단말(100)은 화면(미도시됨)을 제공하여, 상기 미디어 클립 생성 서버(120)와의 연동을 통하여 상기 미디어 콘텐츠의 미디어 클립 생성 과정(이를 테면, 상기 미디어 콘텐츠의 업로드과정, 사용자가 설정 구간을 선택하는 과정 및 상기 미디어 클립의 생성이 생성되는 과정 등)을 상기 화면에 표시한다. 이와 같은 단말(100)은 컴퓨터, 모바일 컴퓨팅 단말 등이 될 수 있다.The
통신망(110)은 상기 단말(100)과 상기 미디어 클립 생성 서버(120)간의 데이터 통신 환경을 제공한다. 특히, 상기 통신망(110)은 LAN, WAN 및 와이브로 등의 데이터 통신이 가능한 유/무선 네트워크로 구현될 수 있다.The
미디어 클립 생성 서버(120)는 상기 미디어 콘텐츠로부터 사용자의 설정 구간에 대응하는 미디어 클립을 생성한다. 이때, 상기 미디어 콘텐츠는 단말(100)로부터 상기 통신망(110)을 통해 직접 업로드된 파일이거나 또는 상기 데이터베이스(130)에 미리 저장된 미디어 콘텐츠 중 사용자에 의해 선택된 미디어 콘텐츠의 파일이 될 수 있다.The media
상기 미디어 클립 생성 서버(120)는 스크립트 식별부(121)와 클립 생성부(122)를 포함한다.The media
상기 스크립트 식별부(121)는 사용자에 의해 미디어 클립의 생성 대상으로 선택된 미디어 콘텐츠에 대응하여 콘텐츠 스크립트를 식별한다. The
이때, 상기 데이터베이스(130)는 복수의 미디어 콘텐츠의 각각에 대응하는 자막 파일들을 미리 저장할 수 있다. 이 경우, 상기 스크립트 식별부(121)는 상기 데이터베이스(130)에 저장된 복수의 자막 파일 중에서 상기 미디어 콘텐츠에 대응하는 자막 파일을 검색하여 상기 미디어 콘텐츠의 콘텐츠 스크립트로 결정할 수 있다.In this case, the
한편, 상기 스크립트 식별부(121)는 상기 미디어 콘텐츠의 오디오 스트림 및 비디오 스트림으로부터 콘텐츠 스크립트를 생성할 수 있다. 이 경우, 상기 스크립트 식별부(121)는 도 2에 도시된 바와 같이 시간 삽입부(121a)와 텍스트 생성부(121b)와 장면 인식부(121c)와 스크립트 생성부(121d)를 포함할 수 있다.The
시간 삽입부(121a)는 상기 미디어 콘텐츠로부터 오디오 스트림(audio stream)과 비디오 스트림(video stream)을 추출하고, 상기 추출된 오디오 스트림 및 비디오 스트림에 동일한 시간 정보를 삽입한다. The
이때, 상기 시간 정보는 상기 미디어 콘텐츠의 프레임률(frame rate)을 기준으로 마이크로초(micro second) 기반이며, 상기 미디어 콘텐츠의 콘텐츠 스크립트에 저장될 때는 초단위로 변환될 수 있다.In this case, the time information is based on a micro second based on a frame rate of the media content, and may be converted into seconds when stored in a content script of the media content.
텍스트 생성부(121b)는 상기 오디오 스트림으로부터 음성을 인식하여 텍스트 스크립트를 생성한다. The
자세히 말해서, 상기 텍스트 생성부(121b)는 상기 오디오 스트림으로부터 얻어지는 음향 신호를 단어, 단어 집합, 및 문장으로 변환하여 텍스트 스크립트로 생성할 수 있다.In detail, the
장면 인식부(121c)는 상기 비디오 스트림으로부터 장면을 인식하고, 인식된 장면이 전환되었는 지의 여부에 따라 장면 전환 정보를 생성한다. The
스크립트 생성부(121d)는 상기 장면과 동일한 시간에 대응하는 텍스트 스크립트를 상기 장면에 대한 시간 정보와 연관시켜 상기 콘텐츠 스크립트를 생성한다. 또한, 상기 스크립트 생성부(121d)는 상기 장면 인식부(121c)에 의해 생성된 장면 전환 정보를 상기 전환된 장면의 시간 정보와 연관시켜 상기 미디어 콘텐츠의 텍스트 스트림에 저장한다.The
한편, 상기 클립 생성부(122)는 상기 스크립트 식별부(121)에 의해 식별된 콘텐츠 스크립트에 기초하여 사용자의 설정 구간에 대응하는 상기 미디어 콘텐츠의 미디어 클립을 생성한다. Meanwhile, the
다시 말해서, 상기 클립 생성부(122)는 상기 식별된 콘텐츠 스크립트를 상기 단말(100)에 전송하고, 상기 단말(100)을 통해 상기 설정 구간이 선택되면, 상기 미디어 콘텐츠로부터 상기 설정 구간의 데이터를 추출하여 하나의 미디어 클립으로 생성한다.In other words, the
여기서, 상기 단말(100)은 상기 미디어 클립 생성 서버(120)로부터 콘텐츠 스크립트를 전송받아 화면에 표시하고, 상기 화면을 통해 선택되는 설정 구간을 상기 미디어 클립 생성 서버(120)로 송신하기 때문에, 상기 클립 생성부(122)는 사용자가 선택한 설정 구간을 획득할 수 있다.In this case, since the
상기 단말(100)은 도 3a 내지 3c와 같은 화면을 표시할 수 있다.The
도 3a를 참조하면, 상기 단말은 화면(300)에 상기 미디어 클립 생성 서버(120)로부터 전송된 콘텐츠 스크립트가 표시한다.Referring to FIG. 3A, the terminal displays a content script transmitted from the media
상기 화면(300)은 상기 생성 대상의 미디어 콘텐츠를 재생하는 제1부분(301)과, 상기 미디어 콘텐츠의 재생 정보가 표시된 제2부분(302)과, 상기 콘텐츠 스크립트가 표시된 제3부분(303), 구간 설정을 명령하기 위한 구간 설정 버튼(304), 및 미디어 클립 생성의 시작을 명령하기 위한 생성 시작 버튼(305)를 포함한다.The
특히, 상기 제3부분(303)에는 상기 콘텐츠 스크립트의 내용인 다수의 시간정보(303a 내지 303c) 및 텍스트 스크립트가 표시된 것을 볼 수 있다. In particular, it can be seen that the
사용자는 원하는 설정 구간을 선택하기 위하여, 상기 구간 설정 버튼(304)를 작동시키고 상기 제3부분(303)에서 표시된 시간 정보(303a 내지 303c) 중 상기 설정 구간의 시간 정보를 선택한다. 그리고, 사용자는 상기 생성 시작 버튼(305)을 작동시킴으로써, 상기 미디어 콘텐츠의 미디어 클립 생성을 명령할 수 있다.In order to select a desired setting section, the user operates the
상기 단말(100)은 사용자에 의해 상기 생성 시작 버튼(305)가 작동되면, 상기 선택된 시간 정보를 기초로 설정 구간을 결정하고 상기 미디어 클립 생성 서버(120)로 상기 결정된 설정 구간을 전송한다.When the
상기 미디어 클립 생성 서버(120)의 클립 생성부(122)는 상기 단말(100)로부터 상기 설정 구간을 전송받음에 따라, 상기 미디어 콘텐츠로부터 상기 설정 구간의 미디어 클립을 추출하여 생성하고 상기 생성된 미디어 클립을 위한 태그를 생성한다. 그리고, 상기 클립 생성부(122)는 상기 생성된 미디어 클립 및 태그를 상기 단말(100)로 전송한다.As the
이때, 상기 단말(100)은 도 3b의 화면(310)과 같이 상기 생성된 미디어 클립을 표시할 수 있다.In this case, the terminal 100 may display the generated media clip as shown in the
상기 화면(310)은 상기 생성된 미디어 클립을 표시하는 부분(311)과, 상기 표시된 미디어 클립의 재생 정보를 표시하는 부분(312)과, 상기 미디어 클립의 콘텐츠 스크립트를 표시하는 부분(313) 및 상기 미디어 클립의 태그를 획득하기 위한 태그 가져오기 버튼(314)를 포함할 수 있다. 그리고, 사용자는 상기 태그 가져오기 버튼(314)을 작동시킴으로써, 상기 미디어 클립 생성 서버(120)로부터 상기 미디어 클립의 태그를 획득한다.The
상기 미디어 클립의 태그는 도 3c의 화면(320, 330)과 같이 상기 단말(100)에 의해 웹 문서에 삽입될 수 있다.The tag of the media clip may be inserted into the web document by the terminal 100 as shown in the screens 320 and 330 of FIG. 3C.
도 3c를 참조하면, 상기 단말(100)은 사용자의 키 조작에 따른 텍스트를 포함하는 웹 문서(320)를 생성한다. 그리고 상기 단말(100)은 상기 웹 문서의 웹 태그를 기반으로 상기 미디어 클립의 태그를 삽입하고 아이콘(321)을 설정한다. Referring to FIG. 3C, the terminal 100 generates a web document 320 including text according to a user's key manipulation. The terminal 100 inserts a tag of the media clip and sets an icon 321 based on the web tag of the web document.
따라서, 상기 웹 문서(320)을 제공받는 다른 사용자가 상기 아이콘(321)을 클릭하는 경우, 상기 미디어 클립은 상기 화면(330)에서 상기 아이콘(321)에 대응하는 위치(331)에 재생된다. 이로써, 상기 다른 사용자는 사용자가 설정한 설정 구간의 미디어 클립을 제공받을 수 있다.Therefore, when another user who receives the web document 320 clicks the icon 321, the media clip is played at the position 331 corresponding to the icon 321 on the screen 330. Thus, the other user may be provided with the media clip of the set period set by the user.
나아가, 상기 클립 생성부(122)는 사용자의 설정 구간을 상기 미디어 콘텐츠의 장면 전환 시점 또는 전후 텍스트 재생 시점에 따라 자동으로 조절할 수 있다.In addition, the
이는 사용자의 설정 구간이 상기 미디어 콘텐츠에서 음성이 나오는 기준으로 설정되었기 때문에, 상기 미디어 콘텐츠에서 음성이 나오지 않는 부분(이를 테면, 미디어 콘텐츠 내 연기자가 대화 후 대사 없이 서로 쳐다보는 경우 등)을 상기 설정 구간에 반영시키는 데 도움이 된다. 따라서, 본 발명의 실시예는 사용자의 설정 구간에 이전 또는 이후 장면 변화 및 다음 스크립트의 시작까지의 재생 시간이 자동 또는 선택적으로 포함된 미디어 클립을 생성하는 동작을 구현하고자 한다.Since the user's setting section is set based on the voice out of the media content, the voice out of the media content (for example, when the actors in the media content looks at each other without dialogue after dialogue, etc.) It helps to reflect in the section. Accordingly, an embodiment of the present invention is to implement an operation of generating a media clip automatically or selectively included in the user's set interval before or after the scene change and the playback time until the start of the next script.
이를 위하여, 상기 클립 생성부(122)는 구간 설정부(122a) 및 구간 조절부(122b)를 포함한다.To this end, the
상기 구간 설정부(122a)는 상기 단말(100)과의 데이터 통신을 통해 사용자에 의해 설정되는 설정 구간을 획득한다. 그리고, 상기 구간 조절부(122b)는 상기 구간 설정부(122a)에 의해 획득된 설정 구간을 상기 미디어 콘텐츠의 콘텐츠 스크립트 내 장면 전환 정보 또는 전후 텍스트 재생 시점에 따라 조절한다.The
도 4a 및 도 4b는 상기 구간 조절부(122b)의 동작을 설명하기 위한 도면이다. 도 4a 및 도 4b를 통해, 상기 구간 조절부(122b)가 상기 사용자의 설정 구간을 상기 미디어 콘텐츠의 장면 전환 정보에 따라 조절하는 것이 설명된다.4A and 4B are diagrams for describing an operation of the
상기 설정 구간의 조절 이전에, 상기 스크립트 식별부(121)의 텍스트 생성부(121b)는 상기 미디어 콘텐츠의 오디오 스트림으로부터 음성 인식을 통해 복수의 텍스트 스크립트들(이를 테면, 스크립트 아이디#1(400), 스크립트 아이디#2(401) 및 스크립트 아이디#3(402))을 생성한다. 상기 도 4a 및 도 4b에 상기 생성된 텍스트 스크립트가 시간(time)에 따라 나열된 것을 볼 수 있다.Prior to the adjustment of the setting section, the
그리고, 상기 스크립트 식별부(121)의 상기 장면 인식부(121c)는 상기 미디어 콘텐츠의 비디오 스트림으로부터 장면을 인식하고, 상기 미디어 콘텐츠의 복수의 장면 전환 정보(장면전환(410), 장면전환(411))를 생성한다. 그리고, 상기 생성된 장면 전환 정보도 상기 도 4a 및 4b에 시간에 따라 나열된 것을 볼 수 있다.The
그리고, 사용자는 상기 단말(100)을 통해 상기 스크립트 아이디#2(410)를 설정 구간으로 선택함에 따라, 상기 구간 설정부(122a)가 상기 설정 구간(420)을 획득할 수 있다.In addition, as the user selects the
상기 설정 구간(420)의 자동 또는 반자동의 조절은 상기 구간 조절부(122b)에 의해 이루어진다. 상기 구간 조절부(122b)는 상기 설정 구간(420)을 상기 장면 전환 정보(410 내지 411) 및/또는 전후 텍스트 스크립트(400 내지 402)의 시간정보에 따라 확장 또는 축소 조절할 수 있다.Automatic or semi-automatic adjustment of the
여기서, 상기 구간 조절부(122b)가 상기 장면 전환 정보(410 내지 411)에 따라 상기 설정 구간(420)을 조절하는 경우, 상기 구간 조절부(122b)는 도 4a에 도시된 바와 같이 상기 설정 구간(420)을 상기 설정 구간(420)의 이전의 장면 전환 구간(a) 및 이후의 장면 전환 구간(b)을 포함하도록 확장할 수 있다. 상기 조절 결과, 상기 설정 구간(420)은 이전의 장면 전환 구간(a) 및 이후의 장면 전환 구간(b)을 포함하는 구간(430)으로 확장되었다.Here, when the
또한, 상기 구간 조절부(122b)가 전후 텍스트 스크립트(400 내지 402)의 시간정보에 따라 상기 설정 구간(420)을 조절하는 경우, 상기 구간 조절부(122b)는 도 4b에 도시된 바와 같이 상기 설정 구간(420)을 상기 설정 구간(420)의 이전 텍스트 스크립트(400)의 재생 종료 구간 또는 상기 설정 구간(420)의 이후 텍스트 스크립트(402)의 재생 시작 구간(c)에 따라 조절할 수 있다.상기 조절 결과, 상기 설정 구간(420)은 상기 이후 텍스트 스크립트(402)의 재생 시작 구간(c)을 포함하는 구간 구간(440)으로 확장되었다.In addition, when the
상기 구간 조절부(122b)의 이와 같은 동작은 상기 사용자의 요청이나 상기 콘텐츠 스크립트의 특성 판단에 따라 선택적으로 이루어질 수 있다.Such an operation of the
이를 테면, 상기 구간 조절부(122b)는 상기 콘텐츠 스크립트의 특성을 기초로 상기 설정 구간(420) 이후, 텍스트 스크립트가 재생되지 않는 시점에서 장면 전환이 발생하는 것으로 판단되면, 상기 설정 구간(420)을 상기 장면 전환 구간(b)를 포함하도록 확장시킨다. 반면, 상기 재생되지 않는 시점에서 장면 전환이 발생하지 않은 경우, 상기 구간 조절부(122b)는 상기 설정 구간(420)을 상기 설정 구간(420)의 이후의 텍스트 스크립트의 재생 시점의 구간(c)를 포함하도록 확장시킬 수 있다.For example, if the
한편, 클립 생성부(122)는 상기 미디어 콘텐츠로부터 상기 구간 조절부(122b)에 의해 조절된 구간(430 또는 440)에 대응하는 부분을 추출하여, 하나의 미디어 클립으로 생성한다.Meanwhile, the
이에 따라, 사용자의 설정 구간(420)은 미디어 콘텐츠의 장면 전환 및 전후 텍스트 스크립트에 따라 자동 또는 선택적으로 조절됨으로써, 보다 완성도 있는 미디어 클립을 생성할 수 있다.Accordingly, the user's
도 5는 본 발명의 일 실시예에 따른 미디어 클립 생성 방법을 보여주는 도면이다. 5 is a diagram illustrating a method of generating a media clip according to an embodiment of the present invention.
도 5를 참조하면, 500 단계는 사용자에 의해 선택되거나 또는 업로드된 미디어 콘텐츠에 대응하는 콘텐츠 스크립트를 식별한다.Referring to FIG. 5,
여기서, 상기 콘텐츠 스크립트는 데이터베이스(130)에 미리 저장되어 있을 수 있다. 이때, 상기 데이터베이스(130)에 저장된 콘텐츠 스크립트는 미리 저장된 복수의 미디어 콘텐츠의 각각에 대응하는 자막파일이 될 수 있다. 이 경우, 상기 500 단계는 상기 데이터베이스(130)에 저장된 자막파일을 검색하여 상기 사용자에 의해 선택되거나 업로드된 미디어 콘텐츠에 대응하는 자막파일을 상기 콘텐츠 스크립트로 결정한다.In this case, the content script may be stored in the
또한, 상기 콘텐츠 스크립트는 상기 사용자의 미디어 콘텐츠로부터 생성될 수 있다. 이 경우, 상기 500 단계는 도 6에 도시된 다수의 단계를 수행할 수 있다.In addition, the content script may be generated from the user's media content. In this case, step 500 may perform a plurality of steps shown in FIG. 6.
도 6을 참조하면, 먼저 510 단계는 상기 미디어 콘텐츠로부터 오디오 스트림과 비디오 스트림을 추출하고, 상기 미디어 콘텐츠의 오디오 스트림과 비디오 스트림에 동일한 시간 정보를 삽입한다. 이때, 상기 시간 정보는 상기 미디어 콘텐츠의 프레임률을 기준으로 마이크로초 기반이며, 상기 미디어 콘텐츠의 콘텐츠 스크립트에 저장될 때는 초단위로 변환될 수 있다.Referring to FIG. 6, in
511 단계는 상기 오디오 스트림으로부터 음성을 인식하여 텍스트 스크립트를 생성한다. 특히, 상기 511 단계는 상기 오디오 스트림으로부터 얻어지는 음향 신호를 단어, 단어 집합, 및 문장으로 변환하여 텍스트 스크립트로 생성할 수 있다.Step 511 generates a text script by recognizing the voice from the audio stream. In particular,
512 단게는 상기 비디오 스트림으로부터 장면을 인식하고, 인식된 장면이 전환되었는 지의 여부에 따라 장면 전환 정보를 생성한다. Step 512 recognizes a scene from the video stream and generates scene change information according to whether the recognized scene has been switched.
513 단계는 상기 장면과 동일한 시간에 대응하는 텍스트 스크립트를 상기 장면에 대한 시간 정보와 연관시켜 상기 콘텐츠 스크립트를 생성한다. 또한 상기 513 단계는 상기 512 단계에 의해 생성된 장면 전환 정보를 상기 전환된 장면의 시간 정보와 연관시켜 상기 미디어 콘텐츠의 텍스트 스트림에 저장한다.Step 513 generates a content script by associating a text script corresponding to the same time as the scene with the time information for the scene. In
한편, 600 단계는 상기 500 단계에 의해 식별된 콘텐츠 스크립트를 이용하여 사용자가 설정한 설정 구간을 획득한다. 자세히 말해서, 상기 600 단계는 상기 식별된 콘텐츠 스크립트를 상기 단말(100)에 전송하고, 상기 단말(100)로부터 사용자가 선택한 설정 구간을 수신한다. 이때, 상기 단말(100)은 도 3a의 화면(300)을 이용하여 상기 사용자의 설정 구간을 입력받을 수 있다.On the other hand,
그리고, 700 단계는 상기 600 단계에 의해 획득된 상기 사용자의 설정 구간을 이용하여 상기 미디어 콘텐츠로부터 상기 설정 구간의 미디어 클립을 생성한다. 그리고, 상기 700 단계는 상기 생성된 미디어 클립을 상기 단말(100)로 전송한다. 상기 단말(100)은 상기 전송된 미디어 클립을 도 3b의 화면(310) 및 도 3c의 화면(320, 330)을 이용하여 사용자에게 제공할 수 있다.In
나아가, 상기 700 단계는 사용자의 설정 구간을 자동으로 조절하여 상기 조절된 구간의 미디어 클립을 생성할 수 있다. 이 경우, 상기 700 단계는 도 7에 도시된 다수의 단계를 수행할 수 있다.In
도 7을 참조하면, 710 단계는 상기 설정 구간을 상기 장면 전환 정보 및/또는 전후 텍스트 스크립트의 시간정보에 따라 조절한다. 이때, 상기 710 단계는 상기 설정 구간을 도 4a 및 도 4b의 조절된 구간(430, 440)으로 조절할 수 있다.Referring to FIG. 7, in
또한, 상기 710 단계는 상기 사용자의 선택이나 상기 콘텐츠 스크립트의 특성 판단에 따라 상기 장면 전환 정보를 이용할 지 또는 상기 전후 텍스트 스크립트의 시간 정보를 이용할지를 선택할 수 있다.In
그리고, 720 단계는 상기 미디어 콘텐츠로부터 상기 710 단계에 의해 조절된 구간의 미디어 클립을 생성한다. 이로써, 사용자의 설정 구간은 미디어 콘텐츠의 장면 전환 및 전후 텍스트 스크립트에 따라 자동 또는 선택적으로 조절된다.In operation 720, a media clip of the section adjusted by
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. The methods according to embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.
Claims (10)
상기 콘텐츠 스크립트를 사용자에게 제공하여 상기 사용자가 설정한 설정 구간을 획득하고, 상기 미디어 콘텐츠로부터 상기 설정 구간에 대응하는 미디어 클립을 생성하는 생성부;
를 포함하고,
상기 스크립트 식별부는
미리 저장된 자막 파일들을 검색하여 상기 미디어 콘텐츠에 관련된 자막 파일을 상기 콘텐츠 스크립트로 결정하는
미디어 클립 생성 장치.A script identification unit for identifying a content script corresponding to the media content; And
A generation unit providing the content script to a user to obtain a setting section set by the user, and generating a media clip corresponding to the setting section from the media content;
Including,
The script identification unit
Searching the pre-stored subtitle files to determine the subtitle file related to the media content as the content script.
Media clip generation device.
상기 콘텐츠 스크립트를 사용자에게 제공하여 상기 사용자가 설정하는 설정 구간을 획득하고, 상기 미디어 콘텐츠로부터 상기 설정 구간에 대응하는 미디어 클립을 생성하는 생성부
를 포함하고, 상기 스크립트 식별부는
상기 미디어 콘텐츠의 오디오 스트림과 비디오 스트림에 동일한 시간 정보를 삽입하는 시간 삽입부;
상기 오디오 스트림으로부터 음성을 인식하여 텍스트 스크립트를 생성하는 텍스트 생성부;
상기 비디오 스트림으로부터 영상의 장면을 인식하는 장면 인식부; 및
상기 장면과 동일한 시간에 대응하는 텍스트 스크립트를 상기 장면에 대한 시간 정보와 연관시켜 상기 콘텐츠 스크립트를 생성하고, 상기 생성된 콘텐츠 스크립트를 상기 미디어 콘텐츠에 대응하는 콘텐츠 스크립트로 식별하는 스크립트 생성부;
를 포함하는 미디어 클립 생성 장치.A script identification unit for identifying a content script corresponding to the media content; And
A generation unit which provides the content script to a user, obtains a setting section set by the user, and generates a media clip corresponding to the setting section from the media content
Includes, the script identification unit
A time insertion unit for inserting same time information into an audio stream and a video stream of the media content;
A text generation unit for generating a text script by recognizing speech from the audio stream;
A scene recognition unit recognizing a scene of an image from the video stream; And
A script generation unit for generating the content script by associating a text script corresponding to the same time as the scene with the time information of the scene, and identifying the generated content script as a content script corresponding to the media content;
Media clip generation device comprising a.
상기 장면 인식부는
상기 비디오 스트림으로부터 인식된 한 장면이 다른 장면으로 전환되는 시점들을 이용하여 복수의 장면 전환 정보들을 생성하고,
상기 생성부는
상기 사용자가 설정한 설정 구간을 상기 복수의 전환 정보들 중 가장 가까운 시점의 장면 전환 정보에 기초하여 조절하고, 상기 조절된 결과에 기초하여 상기 미디어 콘텐츠로부터 상기 설정 구간에 대응하는 미디어 콘텐츠를 생성하는 미디어 클립 생성 장치.The method of claim 2,
The scene recognition unit
Generating a plurality of scene change information using viewpoints at which one scene recognized from the video stream is switched to another scene,
The generation unit
Adjusting the setting section set by the user based on scene change information of the closest time point among the plurality of switching information, and generating media content corresponding to the setting section from the media content based on the adjusted result; Media clip generation device.
상기 사용자가 설정한 설정 구간의 시작 시점 및 종료 시점 중 적어도 하나를 시간적으로 가장 가까운 텍스트 스크립트의 시간에 맞추어 조절하고, 상기 조절된 결과에 기초하여, 상기 미디어 콘텐츠로부터 상기 설정 구간에 대응하는 미디어 클립을 생성하는 미디어 클립 생성 장치.The method of claim 2, wherein the generation unit
At least one of a start point and an end point of the set section set by the user is adjusted according to the time of the nearest text script in time, and based on the adjusted result, a media clip corresponding to the set section from the media content. Device for generating a media clip.
상기 콘텐츠 스크립트를 사용자에게 제공하여, 상기 사용자가 설정하는 설정 구간을 획득하고, 상기 미디어 콘텐츠로부터 상기 설정 구간에 대응하는 미디어 클립을 생성하는 단계;
를 포함하고,
미리 저장된 자막 파일들을 검색하여 상기 미디어 콘텐츠에 관련된 자막 파일을 상기 콘텐츠 스크립트로 결정하는
미디어 클립 생성 방법.Identifying a content script corresponding to the media content; And
Providing the content script to a user, obtaining a setting section set by the user, and generating a media clip corresponding to the setting section from the media content;
Including,
Searching the pre-stored subtitle files to determine the subtitle file related to the media content as the content script.
How to create a media clip.
상기 콘텐츠 스크립트를 사용자에게 제공하여, 상기 사용자가 설정하는 설정 구간을 획득하고, 상기 미디어 콘텐츠로부터 상기 설정 구간에 대응하는 미디어 클립을 생성하는 단계
를 포함하고,
상기 콘텐츠 스크립트를 식별하는 단계는
상기 미디어 콘텐츠의 오디오 스트림과 비디오 스트림에 동일한 시간 정보를 삽입하는 단계;
상기 오디오 스트림으로부터 음성을 인식하여 텍스트 스크립트를 생성하는 단계;
상기 비디오 스트림으로부터 영상의 장면을 인식하는 단계; 및
상기 장면과 동일한 시간에 대응하는 텍스트 스크립트를 상기 장면에 대한 시간 정보와 연관시켜 상기 콘텐츠 스크립트를 생성하고, 상기 생성된 콘텐츠 스크립트를 상기 미디어 콘텐츠에 대응하는 콘텐츠 스크립트로 식별하는 단계
를 포함하는 미디어 클립 생성 방법.Identifying a content script corresponding to the media content; And
Providing the content script to a user, obtaining a setting section set by the user, and generating a media clip corresponding to the setting section from the media content
Including,
Identifying the content script
Inserting same time information into an audio stream and a video stream of the media content;
Generating a text script by recognizing speech from the audio stream;
Recognizing a scene of an image from the video stream; And
Generating the content script by associating a text script corresponding to the same time as the scene with the time information for the scene, and identifying the generated content script as a content script corresponding to the media content
Media clip creation method comprising a.
상기 비디오 스트림으로부터 영상의 장면을 인식하는 단계는
상기 비디오 스트림으로부터 인식된 한 장면이 다른 장면으로 전환되는 시점들을 이용하여 복수의 장면 전환 정보들을 생성하고,
상기 미디어 클립을 생성하는 단계는
상기 사용자가 설정한 설정 구간을 상기 복수의 전환 정보들 중 가장 가까운 시점의 장면 전환 정보에 기초하여 조절하고, 상기 조절된 결과에 기초하여 상기 미디어 콘텐츠로부터 상기 설정 구간에 대응하는 미디어 콘텐츠를 생성하는 미디어 클립 생성 방법.The method of claim 7, wherein
Recognizing the scene of the image from the video stream
Generating a plurality of scene change information using viewpoints at which one scene recognized from the video stream is switched to another scene,
Generating the media clip
Adjusting the setting section set by the user based on scene change information of the closest time point among the plurality of switching information, and generating media content corresponding to the setting section from the media content based on the adjusted result; How to create a media clip.
상기 미디어 클립을 생성하는 단계는
상기 사용자가 설정한 설정 구간의 시작 시점 및 종료 시점 중 적어도 하나를 시간적으로 가장 가까운 텍스트 스크립트의 시간에 맞추어 조절하고, 상기 조절된 결과에 기초하여, 상기 미디어 콘텐츠로부터 상기 설정 구간에 대응하는 미디어 클립을 생성하는 미디어 클립 생성 방법.The method of claim 7, wherein
Generating the media clip
At least one of a start point and an end point of the set section set by the user is adjusted according to the time of the nearest text script in time, and based on the adjusted result, a media clip corresponding to the set section from the media content. How to create a media clip.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100046923A KR101172586B1 (en) | 2010-05-19 | 2010-05-19 | Method and system for creating media clip |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100046923A KR101172586B1 (en) | 2010-05-19 | 2010-05-19 | Method and system for creating media clip |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110127442A KR20110127442A (en) | 2011-11-25 |
KR101172586B1 true KR101172586B1 (en) | 2012-08-08 |
Family
ID=45396085
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100046923A KR101172586B1 (en) | 2010-05-19 | 2010-05-19 | Method and system for creating media clip |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101172586B1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10061791B2 (en) * | 2013-10-30 | 2018-08-28 | Microsoft Technology Licensing, Llc | Data management for connected devices |
RU2676413C2 (en) | 2014-08-26 | 2018-12-28 | Хуавэй Текнолоджиз Ко., Лтд. | Terminal and media file processing method |
-
2010
- 2010-05-19 KR KR1020100046923A patent/KR101172586B1/en not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
KR20110127442A (en) | 2011-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI358948B (en) | ||
CN104618808B (en) | Multimedia information processing method, client and server | |
CN108292314B (en) | Information processing apparatus, information processing method, and program | |
CN103842936A (en) | Recording, editing and combining multiple live video clips and still photographs into a finished composition | |
CN112188267B (en) | Video playing method, device and equipment and computer storage medium | |
JP2005158015A (en) | Apparatus, method and program for data processing | |
CN113852767B (en) | Video editing method, device, equipment and medium | |
KR101172586B1 (en) | Method and system for creating media clip | |
KR102145370B1 (en) | Media play device and method for controlling screen and server for analyzing screen | |
CN112567761A (en) | Information processing apparatus, information processing system, information processing method, and program | |
CN104866477B (en) | Information processing method and electronic equipment | |
CN110797001A (en) | Method and device for generating voice audio of electronic book and readable storage medium | |
JP2012015958A (en) | Content reproduction system | |
US8768144B2 (en) | Video image data reproducing apparatus | |
TWI686084B (en) | Content providing server, content providing terminal and content providing method | |
JP6278403B2 (en) | Karaoke management system | |
KR101721231B1 (en) | 4D media manufacture methods of MPEG-V standard base that use media platform | |
JP6215866B2 (en) | Internet video playback system and program | |
JP7117228B2 (en) | karaoke system, karaoke machine | |
JP2008078864A (en) | Content creating server, content presentation device, content creating program and content presentation program | |
JP6110731B2 (en) | Command input recognition system by gesture | |
CN108604238A (en) | method, system and medium for media guidance | |
JP6367882B2 (en) | Client terminal and internet video playback system provided with the same | |
JP7179387B1 (en) | HIGHLIGHT MOVIE GENERATION SYSTEM, HIGHLIGHT MOVIE GENERATION METHOD, AND PROGRAM | |
KR101490507B1 (en) | Method and apparatus for editing moving picture contents |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20150723 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20160712 Year of fee payment: 5 |
|
LAPS | Lapse due to unpaid annual fee |