KR20070043372A - System for management of real-time filtered broadcasting videos in a home terminal and a method for the same - Google Patents
System for management of real-time filtered broadcasting videos in a home terminal and a method for the same Download PDFInfo
- Publication number
- KR20070043372A KR20070043372A KR1020050099589A KR20050099589A KR20070043372A KR 20070043372 A KR20070043372 A KR 20070043372A KR 1020050099589 A KR1020050099589 A KR 1020050099589A KR 20050099589 A KR20050099589 A KR 20050099589A KR 20070043372 A KR20070043372 A KR 20070043372A
- Authority
- KR
- South Korea
- Prior art keywords
- broadcast
- unit
- access unit
- user
- metadata
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/68—Systems specially adapted for using specific information, e.g. geographical or meteorological information
- H04H60/72—Systems specially adapted for using specific information, e.g. geographical or meteorological information using electronic programme guides [EPG]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/4508—Management of client data or end-user data
- H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/454—Content or additional data filtering, e.g. blocking advertisements
Abstract
본 발명은 홈단말에서 실시간 필터링된 방송 비디오 관리 시스템 및 그 방법에 관한 것으로, 홈단말에서 실시간 필터링된 방송 비디오 관리를 위한 시스템에 있어서, 외부의 디지털 방송채널로부터 방송 프로그램을 획득하는 방송입력부와, 상기 홈단말에 등록된 사용자 선호도를 관리하는 사용자 선호도 관리부와, 상기 사용자 선호도 관리부로부터 제공된 사용자 선호도에 따라 상기 방송입력부로부터 획득된 방송 프로그램을 실시간으로 필터링하는 콘텐츠 필터링부와, 외부의 디지털 방송신호와 함께 상기 획득된 방송 프로그램의 전자 프로그램 안내(EPG) 정보를 상기 홈단말의 사용자별로 관리하는 EPG 관리부와, 상기 콘텐츠 필터링부로부터 필터링된 장면에 대한 부가정보를 상기 EPG 관리부를 통해 획득하여 방송 메타데이터를 생성하는 방송 메타데이터 생성부와, 상기 콘텐츠 필터링부로부터 필터링된 장면과 상기 방송 메타데이터 생성부로부터 생성된 장면에 대한 방송 메타데이터를 조합하여 억세스 유닛을 생성하는 억세스 유닛 생성부와, 상기 홈단말에서 생성된 억세스 유닛들을 관리하는 억세스 유닛 관리부와, 상기 억세스 유닛 관리부로부터 관리되는 억세스 유닛을 미디어 리소스와 방송 메타데이터로 각각 디코딩 및 파싱하는 억세스 유닛 디코드부와, 상기 각 부를 총괄적으로 제어하기 위한 제어부를 포함함으로써, TV 시청자가 효과적으로 비디오 세그먼트(segment)들을 자신의 취향에 맞게 브라우징할 수 있는 비디오 앨범을 구성 및 검색할 수 있으며, 방송 콘텐츠 소비에 있어서 홈단말과 이동 통신 단말기간의 호환성을 효 과적으로 유지할 수 있다.The present invention relates to a broadcasting video management system and a method for real-time filtered broadcasting in a home terminal, comprising: a broadcasting input unit for obtaining a broadcasting program from an external digital broadcasting channel in a system for real-time filtering broadcasting video management in a home terminal; A user preference manager for managing user preferences registered in the home terminal, a content filtering unit for real-time filtering a broadcast program obtained from the broadcast input unit according to a user preference provided from the user preference manager, an external digital broadcast signal, The EPG management unit for managing the obtained electronic program guide (EPG) information of the broadcast program for each user of the home terminal, and the additional information about the scene filtered by the content filtering unit through the EPG management unit to obtain broadcast metadata To create a broadcast menu An access unit generation unit for generating an access unit by combining a data generation unit, broadcast metadata for a scene filtered from the content filtering unit, and a scene generated from the broadcast metadata generation unit, and an access generated in the home terminal; An access unit manager for managing units, an access unit decoder for decoding and parsing the access units managed by the access unit manager into media resources and broadcast metadata, and a control unit for controlling the units collectively, TV viewers can organize and search video albums that can effectively browse video segments according to their tastes, and effectively maintain compatibility between home terminals and mobile communication terminals in the consumption of broadcast contents.
홈단말, 비디오 세그먼트, 방송 멀티미디어 응용 형식, 실시간 방송 콘텐츠 필터링, 메타데이터, 비디오 앨범, 억세스 유닛 Home Terminal, Video Segment, Broadcast Multimedia Application Format, Live Broadcast Content Filtering, Metadata, Video Album, Access Unit
Description
도 1은 본 발명의 일 실시예에 따른 홈단말에서 실시간 필터링된 방송 비디오 관리 시스템을 설명하기 위한 전체적인 블록 구성도.1 is a block diagram illustrating a broadcast video management system filtered in real time in a home terminal according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예에 적용된 억세스 유닛의 구조를 설명하기 위한 개념도.2 is a conceptual diagram illustrating a structure of an access unit applied to an embodiment of the present invention.
도 3은 본 발명의 일 실시예에 적용된 다수의 억세스 유닛들을 이용한 방송 멀티미디어 응용 형식(MAF)의 구조를 설명하기 위한 개념도.3 is a conceptual diagram illustrating the structure of a broadcast multimedia application format (MAF) using a plurality of access units applied to an embodiment of the present invention.
도 4는 본 발명의 일 실시예에 적용된 방송 메타데이터의 구조를 설명하기 위한 개념도.4 is a conceptual diagram illustrating a structure of broadcast metadata applied to an embodiment of the present invention.
도 5는 사용자에 대한 선호도를 기반으로 개인화된 앨범 구성을 설명하기 위한 흐름도.5 is a flow chart illustrating a personalized album configuration based on preferences for a user.
도 6은 사용자의 질의에 의한 비디오 검색을 설명하기 위한 흐름도.6 is a flowchart for explaining a video search by a user's query;
*** 도면의 주요 부분에 대한 부호 설명 ****** Explanation of symbols on main parts of drawing ***
100 : 방송입력부, 150 : 사용자 선호도 관리부,100: broadcast input unit, 150: user preference management unit,
200 : 콘텐츠 필터링부, 250 : EPG 관리부,200: content filtering unit, 250: EPG management unit,
300 : 방송 메타데이터 생성부, 350 : 억세스 유닛 생성부,300: broadcast metadata generator, 350: access unit generator,
400 : 억세스 유닛 관리부, 450 : 억세스 유닛 디코드부,400: access unit management unit, 450: access unit decoding unit,
500 : 통신접근부, 550 : 외부 MAF 입력부,500: communication access unit, 550: external MAF input unit,
600 : 형식변환부, 650 : 방송 MAF 생성부,600: format conversion unit, 650: broadcast MAF generation unit,
700 : 디스플레이부, 750 : 제어부700: display unit, 750: control unit
본 발명은 TV 수신 기능을 갖는 홈단말(Home terminal)에서 실시간 필터링된 방송 비디오 관리를 위한 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 홈단말에서 필터링된 비디오 세그먼트(segment)와 해당 방송 메타데이터를 멀티미디어 응용 형식(MAF) 규격을 이용하여 새로운 형태의 비디오 형식으로 조합함으로써, TV 시청자의 선호도에 따라 개인화된 비디오 앨범을 구성하거나 내용 기반 검색/인덱싱을 용이하게 할 수 있는 홈단말에서 실시간 필터링된 방송 비디오 관리 시스템 및 그 방법에 관한 것이다.The present invention relates to a system and method for managing broadcast video in real time filtered in a home terminal having a TV reception function, and more particularly, to a filtered video segment and corresponding broadcast metadata in a home terminal. Can be combined into a new type of video format using the Multimedia Application Format (MAF) specification, which can be filtered in real time from home terminals that can organize personalized video albums or facilitate content-based search / indexing according to TV viewer preferences. A broadcast video management system and method thereof are provided.
디지털 방송이 시작된 이후 진보적인 방송 서비스를 추구하기 위하여, 전자 프로그램 안내(Electronic Program Guide, 이하, 'EPG'라 칭함) 정보를 방송 신호와 함께 전송하려는 노력이 시도되고 있다.In order to pursue advanced broadcast services since the beginning of digital broadcasting, efforts have been made to transmit electronic program guide (EPG) information together with broadcast signals.
일반적으로, 상기 EPG 정보는 방송채널에서 방송될 프로그램의 방송 시간, 타이틀(title), 간단한 시놉시스(synopsis) 및 주인공 등과 같은 기본적인 프로그램 정보를 포함한다.In general, the EPG information includes basic program information such as a broadcast time, a title, a simple synopsis, and a main character of a program to be broadcast in a broadcast channel.
현재 상기 EPG는 각각의 서비스 제공자(service provider)에 의해 자체 제작되고 있거나, 방송사 별도로 생성되고 있는 실정이다. 하지만, 상기 EPG는 방송 프로그램의 스케줄 위주의 제한된 정보를 제공함으로써, TV 시청자에게 각각의 방송 프로그램에 대한 부가 정보 전달의 한계를 보이고 있다.Currently, the EPG is produced by each service provider or generated separately by a broadcaster. However, the EPG provides limited information on schedules of broadcast programs, thereby showing limitations of additional information for each broadcast program to TV viewers.
상기의 문제점에 대한 해결방안으로, 방송 프로그램에 관련된 상세한 부가정보를 제공해 줄 수 있는 메타데이터(metadata)가 개발되고 있다. 상기 메타데이터 형식(format)은 전 세계의 방송사들 및 연구기관들이 주축이 된 TVAF(TV-Anytime Forum)에 의해 MPEG-7에서 표준화하고 있는 MDS(Multimedia Description Scheme)을 차용하여 규격화하고 있다.As a solution to the above problem, metadata that can provide detailed additional information related to a broadcast program has been developed. The metadata format is standardized by adopting the Multimedia Description Scheme (MDS), which is standardized in MPEG-7, by the TV-Anytime Forum (TVAF), which is mainly used by broadcasters and research institutes around the world.
그리고, 1999년에 표준화를 시작하여 2005년을 기점으로 Phase 2단계를 수행하여 표준화가 완료되었다. 상기 TVAF 메타데이터는 상기 EPG에서 제공하지 못하는 프로그램의 생성 정보 및 콘텐츠 규격, 장면 서술 및 요약 정보 등과 같은 방송 프로그램의 시멘틱(semantic) 정보까지 포함한다.In 1999, standardization began and standardization was completed by starting Phase 2 in 2005. The TVAF metadata includes semantic information of a broadcast program, such as program generation information and content specification, scene description, and summary information, which are not provided by the EPG.
상기 TVAF 메타데이터 정보는 TV 시청자에게 방송 프로그램에 관한 정보를 사전에 제공함으로써, 각각의 시청자에 따른 맞춤형 TV 시청을 가능케 한다. 하지만, 상기의 메타데이터는 해당 방송 프로그램이 사전에 제작되어 있어야 하는 단점을 가지고 있다.The TVAF metadata information provides TV viewers with information about a broadcast program in advance, thereby enabling personalized TV viewing according to each viewer. However, the metadata has a disadvantage in that the broadcast program must be prepared in advance.
한편, 사전 제작된 프로그램은 콘텐츠 제작자(content creator)나 서비스 제공자에 의해 방송 전 분석되고, 인덱싱(indexing)되어 메타데이터가 제작된다. 그러나, 생방송 프로그램에 대해서는 메타데이터를 제공할 수 없다.Meanwhile, the pre-produced program is analyzed before broadcast by a content creator or a service provider, indexed, and metadata is produced. However, metadata cannot be provided for live broadcast programs.
따라서, 상기 생방송 프로그램에 대한 문제점을 해결하기 위해서 셋탑박스(Set-top Box)나 PVR(Personal Video Recorder)와 같은 홈단말에서의 방송 프로그램의 내용기반 분석이 가능한 실시간 방송 프로그램 필터링 기술이 요구된다. 이와 동시에, 필터링된 방송 프로그램의 비디오 세그먼트를 저장 및 관리할 수 있는 기술이 요구된다. 상기 비디오 세그먼트의 저장 및 검색을 위해서 현재 표준화가 진행중인 MPEG-A(MPEG Application: ISO/ICE 23000)의 멀티미디어 응용 형식(Multimedia Application Format, 이하 'MAF'라 칭함)이 이용될 수 있다.Accordingly, in order to solve the problem of the live broadcast program, a real-time broadcast program filtering technology capable of content-based analysis of a broadcast program in a home terminal such as a set-top box or a personal video recorder (PVR) is required. At the same time, there is a need for a technology capable of storing and managing video segments of filtered broadcast programs. For the storage and retrieval of the video segment, a multimedia application format (hereinafter referred to as 'MAF') of MPEG-A (MPEG Application: ISO / ICE 23000), which is currently being standardized, may be used.
상기 MAF 규격은 기존의 MPEG 표준들(예컨대, MPEG-1, MPEG-2, MPEG-4, MPEG-7 및 MPEG-21 등)뿐만 아니라 비 MPEG 표준들을 함께 조합함으로써, 산업의 요구를 적극적으로 대응하여 표준의 활용 가치를 높이고자 한다.The MAF standard actively addresses the needs of the industry by combining non-MPEG standards together with existing MPEG standards (eg, MPEG-1, MPEG-2, MPEG-4, MPEG-7 and MPEG-21). To increase the value of the standard.
상기 MAF 표준화의 주요 목적은 MPEG 기술을 쉽게 산업에서 이용할 수 있는 기회를 제공하는데 있다. 따라서, 산업에서 필요한 응용 서비스를 위해 별도의 표준을 새로 만드는 노력 없이 이미 검증된 표준 기술을 쉽게 조합하여 적용할 수 있다.The main purpose of the MAF standardization is to provide an opportunity to easily use the MPEG technology in the industry. As a result, it is easy to combine standard technologies that have already been proven without the need to create new standards for application services required by the industry.
현재 상기 MAF 표준화 활동에서는 음악에 관련된 MPEG Music Player Application Format(ISO/ISE 23000-2)와 사진 영상에 대한 MPEG Photo Application Format(ISO/ISE 23000-3)이 표준화 진행 중에 있다. 이와 더불어 중 요성이 증대되는 비디오에 관한 MAF에 관해서도 표준화 연구가 건의되고 있으며, 활용성이 증가할 것으로 예상된다.Currently, in the MAF standardization activity, MPEG Music Player Application Format (ISO / ISE 23000-2) related to music and MPEG Photo Application Format (ISO / ISE 23000-3) for photo images are in progress. In addition, standardization studies have been proposed for MAF on video, which has increased importance, and its utilization is expected to increase.
본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 수신된 방송 프로그램으로부터 필터링된 비디오 세그먼트(segment)의 시멘틱(semantic) 정보와 서비스 제공자로부터 획득 가능한 다양한 부가 정보를 방송 메타데이터로 활용하여 방송 멀티미디어 응용 형식(MAF)으로 인코딩(incoding)하고, 상기 구조에 따라 사용자가 멀티미디어 응용 형식(MAF) 파일을 효과적으로 브라우징할 수 있도록 방송 멀티미디어 응용 형식(MAF) 파일을 디코딩(decoding)함으로써, TV 시청자가 효과적으로 비디오 세그먼트들을 자신의 취향에 맞게 브라우징할 수 있는 비디오 앨범을 구성 및 검색할 수 있으며, 방송 콘텐츠 소비에 있어서 홈단말과 이동 통신 단말기간의 호환성을 효과적으로 유지할 수 있는 홈단말에서 실시간 필터링된 방송 비디오 관리 시스템 및 그 방법을 제공하는데 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problem, and an object of the present invention is to provide semantic information of a video segment filtered from a received broadcast program and various additional information obtainable from a service provider. By encoding to the broadcast multimedia application format (MAF) and decoding the broadcast multimedia application format (MAF) file so that the user can effectively browse the multimedia application format (MAF) file according to the structure Real-time filtering on home terminals, which enables TV viewers to organize and search video albums to effectively browse video segments to their tastes, and effectively maintain compatibility between home terminals and mobile terminals in consumption of broadcast content Broadcast video management system And to provide the method.
전술한 목적을 달성하기 위하여 본 발명의 제1 측면은, 홈단말에서 실시간 필터링된 방송 비디오 관리를 위한 시스템에 있어서, 외부의 디지털 방송채널로부터 방송 프로그램을 획득하는 방송입력부; 상기 홈단말에 등록된 사용자 선호도를 관리하는 사용자 선호도 관리부; 상기 사용자 선호도 관리부로부터 제공된 사용자 선호도에 따라 상기 방송입력부로부터 획득된 방송 프로그램을 실시간으로 필터링하는 콘텐츠 필터링부; 외부의 디지털 방송신호와 함께 상기 획득된 방송 프로그램의 전자 프로그램 안내(EPG) 정보를 상기 홈단말의 사용자별로 관리하는 EPG 관리부; 상기 콘텐츠 필터링부로부터 필터링된 장면에 대한 부가정보를 상기 EPG 관리부를 통해 획득하여 방송 메타데이터를 생성하는 방송 메타데이터 생성부; 상기 콘텐츠 필터링부로부터 필터링된 장면과 상기 방송 메타데이터 생성부로부터 생성된 장면에 대한 방송 메타데이터를 조합하여 억세스 유닛을 생성하는 억세스 유닛 생성부; 상기 홈단말에서 생성된 억세스 유닛들을 관리하는 억세스 유닛 관리부; 상기 억세스 유닛 관리부로부터 관리되는 억세스 유닛을 미디어 리소스와 방송 메타데이터로 각각 디코딩 및 파싱하는 억세스 유닛 디코드부; 및 상기 각 부를 총괄적으로 제어하기 위한 제어부를 포함하는 것을 특징으로 하는 홈단말에서 실시간 필터링된 방송 비디오 관리 시스템을 제공하는 것이다.In order to achieve the above object, a first aspect of the present invention provides a system for managing broadcast video in real time filtered in a home terminal, comprising: a broadcast input unit for obtaining a broadcast program from an external digital broadcast channel; A user preference manager configured to manage user preferences registered in the home terminal; A content filtering unit for filtering a broadcast program obtained from the broadcast input unit in real time according to a user preference provided from the user preference manager; An EPG manager for managing electronic program guide (EPG) information of the obtained broadcast program for each user of the home terminal together with an external digital broadcast signal; A broadcast metadata generator for acquiring additional information on the scene filtered by the content filtering unit through the EPG manager to generate broadcast metadata; An access unit generation unit for generating an access unit by combining broadcast metadata of a scene filtered from the content filtering unit and a scene generated from the broadcast metadata generation unit; An access unit manager configured to manage the access units generated by the home terminal; An access unit decoder for decoding and parsing an access unit managed by the access unit manager into media resources and broadcast metadata, respectively; And a control unit for collectively controlling the respective units.
여기서, 상기 억세스 유닛 디코드부로부터 각각 디코딩 및 파싱된 미디어 리소스와 방송 메타데이터를 제공받아 사용자에게 저장된 방송 프로그램/장면 또는 방송 메타데이터를 사용자에게 직접 제공하는 디스플레이부를 더 포함함이 바람직하다.The display unit may further include a display unit configured to receive a media resource and broadcast metadata decoded and parsed from the access unit decode unit, respectively, and directly provide a user with a broadcast program / scene or broadcast metadata stored in the user.
바람직하게는, 통신채널과의 접근을 통해 상기 콘텐츠 필터링부로부터 필터링된 장면에 대한 부가정보를 상기 방송 메타데이터 생성부로 제공하는 통신접근부; 상기 통신접근부의 통신채널을 통해 외부의 이동 통신 단말기로부터 생성된 비디오 멀티미디어 응용 형식(MAF)을 입력받아 억세스 유닛으로 관리하기 위해 상 기 억세스 유닛 관리부로 제공하는 외부 MAF 입력부; 상기 억세스 유닛 디코드부로부터 각각 디코딩 및 파싱된 미디어 리소스와 방송 메타데이터를 제공받아 상기 홈단말에 저장된 억세스 유닛의 비디오 형식을 변환하는 형식변환부; 및 상기 형식변환부로부터 변환된 비디오 형식과 상기 방송 메타데이터를 이용하여 이동 통신 단말기용 방송 멀티미디어 응용 형식(MAF)을 생성하는 방송 MAF 생성부를 더 포함한다.Preferably, the communication access unit for providing additional information about the scene filtered from the content filtering unit to the broadcast metadata generating unit through access to a communication channel; An external MAF input unit which receives a video multimedia application format (MAF) generated from an external mobile communication terminal through a communication channel of the communication access unit and provides the access unit to the access unit manager for managing the access unit as an access unit; A format conversion unit for receiving the decoded and parsed media resources and broadcast metadata from the access unit decoder and converting the video format of the access unit stored in the home terminal; And a broadcast MAF generator configured to generate a broadcast multimedia application format (MAF) for a mobile communication terminal using the video format converted from the format converter and the broadcast metadata.
바람직하게는, 상기 콘텐츠 필터링부는 상기 방송입력부로부터 획득된 방송 프로그램 중에서 생방송 프로그램에 대해 오디오 및 비주얼 특징을 실시간으로 추출하고 패턴 인식 과정을 수행하여, 상기 사용자 선호도 관리부로부터 제공받은 사용자 선호도에 따라 장면단위로 실시간 필터링된다.Preferably, the content filtering unit extracts audio and visual features of a live program from a broadcast program acquired from the broadcast input unit in real time and performs a pattern recognition process to perform unit of scenes according to the user preference provided from the user preference manager. Is filtered in real time.
바람직하게는, 상기 형식변환부는 상기 홈단말에 저장된 억세스 유닛을 외부의 이동 통신 단말기로 전송하기 위해서 적합한 구조로 비디오 형식을 변환한다.Preferably, the format conversion unit converts the video format into a structure suitable for transmitting the access unit stored in the home terminal to an external mobile communication terminal.
바람직하게는, 상기 방송 MAF 생성부는 상기 생성된 이동 통신 단말기용 방송 멀티미디어 응용 형식(MAF)을 상기 통신접근부의 통신채널을 통해 외부의 이동 통신 단말기로 제공한다.Preferably, the broadcast MAF generator provides the generated broadcast multimedia application format (MAF) for a mobile communication terminal to an external mobile communication terminal through a communication channel of the communication access unit.
본 발명의 제2 측면은, 홈단말에서 실시간 필터링된 방송 비디오 관리를 위한 방법에 있어서, (a) 외부의 디지털 방송채널로부터 방송 프로그램을 획득하는 단계; (b) 기 설정된 사용자 선호도에 따라 상기 획득된 방송 프로그램을 실시간으로 필터링하는 단계; (c) 외부의 디지털 방송신호와 함께 상기 획득된 방송 프 로그램의 전자 프로그램 안내(EPG) 정보를 상기 홈단말의 사용자별로 관리하는 단계; (d) 상기 필터링된 방송 프로그램의 장면에 대한 부가정보를 획득하여 방송 메타데이터를 생성하는 단계; (e) 상기 필터링된 방송 프로그램의 장면과 상기 생성된 메타데이터를 조합하여 억세스 유닛을 생성하는 단계; (f) 상기 홈단말에서 생성된 억세스 유닛들을 관리하는 단계; 및 (g) 상기 관리되는 억세스 유닛을 미디어 리소스와 방송 메타데이터로 각각 디코딩 및 파싱하는 단계를 포함하는 것을 특징으로 하는 홈단말에서 실시간 필터링된 방송 비디오 관리 방법을 제공하는 것이다.According to a second aspect of the present invention, there is provided a method for real-time filtered broadcast video management in a home terminal, the method comprising: (a) acquiring a broadcast program from an external digital broadcast channel; (b) filtering the obtained broadcast program in real time according to a preset user preference; (c) managing electronic program guide (EPG) information of the obtained broadcast program for each user of the home terminal together with an external digital broadcast signal; (d) generating broadcast metadata by acquiring additional information about the scene of the filtered broadcast program; (e) generating an access unit by combining scenes of the filtered broadcast program and the generated metadata; (f) managing access units created in the home terminal; And (g) decoding and parsing the managed access unit into media resources and broadcast metadata, respectively.
이하, 첨부 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 그러나, 다음에 예시하는 본 발명의 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시예에 한정되는 것은 아니다. 본 발명의 실시예는 당업계에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되어지는 것이다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, embodiments of the present invention illustrated below may be modified in many different forms, and the scope of the present invention is not limited to the embodiments described below. The embodiments of the present invention are provided to more completely explain the present invention to those skilled in the art.
도 1은 본 발명의 일 실시예에 따른 홈단말에서 실시간 필터링된 방송 비디오 관리 시스템을 설명하기 위한 전체적인 블록 구성도이다.FIG. 1 is a block diagram illustrating a broadcast video management system filtered in real time in a home terminal according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 홈단말(Home terminal)에서 실시간 필터링된 방송 비디오 관리 즉, 방송 멀티미디어 응용 형식(Multimedia Application Format, 이하 'MAF'라 칭함)을 효과적으로 고나리하고 인코딩(incoding) 및 디코딩(decoding)하기 위한 시스템은 방송입력부(100), 사용자 선 호도 관리부(150), 콘텐츠 필터링부(200), EPG 관리부(250), 방송 메타데이터 생성부(300), 억세스 유닛 생성부(350), 억세스 유닛 관리부(400), 억세스 유닛 디코드부(450), 통신접근부(500), 외부 MAF 입력부(550), 형식변환부(600), 방송 MAF 생성부(650), 디스플레이부(700) 및 제어부(750)를 포함하여 이루어진다.Referring to FIG. 1, a broadcast video management, that is, a broadcast multimedia application format (hereinafter referred to as a 'MAF'), which is filtered in real time in a home terminal according to an embodiment of the present invention, is effectively selected. The system for encoding and decoding includes the
여기서, 상기 방송입력부(Broadcasts Input Part)(100)는 예컨대, 지상파 방송, 위성 방송, 디지털 멀티미디어 방송(Digital Multimedia Broadcasting, DMB), 인터넷 프로토콜 TV 방송(Internet Protocol Television, IPTV)과 같은 디지털 방송채널로부터 각종 방송 프로그램을 수신하거나 획득하는 기능을 수행한다.Here, the
상기 사용자 선호도 관리부(User Preference Management Part)(150)는 상기 홈단말에 등록된 사용자에 대한 선호도를 관리하는 기능을 수행한다.The user
상기 콘텐츠 필터링부(Content Filtering Part)(200)는 상기 사용자 선호도 관리부(150)로부터 제공된 사용자에 대한 선호도에 따라 상기 방송입력부(100)로부터 획득된 방송 프로그램을 실시간으로 필터링(Filtering)하는 기능을 수행한다.The
이러한 콘텐츠 필터링부(200)는 상기 방송입력부(100)로부터 획득된 방송 프로그램 중에서 생방송 프로그램에 대해 오디오(Audio) 및 비주얼(Visual) 특징을 실시간으로 추출하고 패턴 인식(Pattern Recognition) 과정을 수행하여 상기 사용자 선호도 관리부(150)로부터 제공받은 사용자에 대한 선호도에 따라 장면단위로 실시간 필터링할 수 있다.The
상기 EPG 관리부(EPG Management Part)(250)는 외부의 디지털 방송신호와 함께, 전송된 방송 프로그램에 대한 전자 프로그램 안내(Electronic Program Guide, 이하, 'EPG'라 칭함) 정보를 상기 홈단말의 사용자별로 관리하는 기능을 수행한다.The
상기 방송 메타데이터 생성부(Broadcasting Metedata Generation Part)(300)는 상기 콘텐츠 필터링부(200)로부터 필터링된 장면에 대한 부가정보를 상기 EPG 관리부(250) 및 상기 통신접근부(500)를 통해 서비스 제공자(Service Provider)로부터 획득하여 방송 메타데이터(Broadcasting Metedata)를 생성하는 기능을 수행한다.The broadcasting
이때, 상기 방송 메타데이터는 예컨대, 확장성 생성 언어(Extensible Markup Language, XML) 형태로 이루어질 수 있다.In this case, the broadcast metadata may be, for example, in the form of Extensible Markup Language (XML).
상기 억세스 유닛 생성부(Access Unit Generation Part)(350)는 상기 콘텐츠 필터링부(200)로부터 필터링된 장면 즉, 미디어 리소스(Media Resource)와 상기 방송 메타데이터 생성부(300)로부터 생성된 장면에 대한 방송 메타데이터를 조합하여 억세스 유닛을 생성하는 기능을 수행한다.The access
상기 억세스 유닛 관리부(Access Unit Management Part)(400)는 상기 홈단말에서 생성된 억세스 유닛들을 상기 제어부(750)의 명령에 따라 관리하는 것으로서, 상기 사용자 선호도 관리부(150)로부터 사용자에 대한 선호도를 제공받아 개인화된 비디오 앨범을 구성하거나, 상기 외부 MAF 입력부(550)를 통해 외부의 이동 통신 단말기(예컨대, 휴대폰 또는 PDA 등)로부터 생성된 비디오 멀티미디어 응 용 형식(MAF)을 입력받아 억세스 유닛으로 관리하는 기능을 수행한다.The access
상기 억세스 유닛 디코드부(Access Unit Decode Part)(450)는 사용자에 따른 개인화된 비디오 앨범 생성 또는 비디오 장면 검색 시 상기 억세스 유닛 관리부(400)로부터 관리되는 억세스 유닛을 미디어 리소스(Media Resource)와 방송 메타데이터로 각각 디코딩(decoding) 및 파싱(parsing)하여 상기 디스플레이부(700)로 전달하는 기능을 수행한다.The access unit decode
또한, 상기 억세스 유닛 디코드부(450)는 상기 관리되는 억세스 유닛을 상기 이동 통신 단말기로 전송할 경우, 상기 디코딩된 미디어 리소스와 방송 메타데이터를 상기 형식변환부(600)로 전달할 수 있다.In addition, when the
상기 통신접근부(Communication Access Part)(500)는 예컨대, TV 단말에서 IP 네트워크 블루투스(Bluetooth) 또는 메모리 카드와 같은 통신채널과 접근할 수 있도록 하는 것으로서, 상기 통신채널을 통해 상기 이동 통신 단말기로부터 상기 콘텐츠 필터링부(200)로부터 필터링된 장면에 대한 부가정보를 제공받아 상기 방송 메타데이터 생성부(300)로 제공하거나, 상기 통신채널을 통해 상기 이동 통신 단말기로부터 생성된 비디오 멀티미디어 응용 형식(MAF)을 입력받아 억세스 유닛으로 관리하기 위해 상기 외부 MAF 입력부(550)로 전달하는 기능을 수행한다.The
또한, 상기 통신접근부(500)는 상기 방송 MAF 생성부(650)로부터 생성된 이동 통신 단말기용 방송 멀티미디어 응용 형식(MAF)을 상기 통신채널을 통해 상기 이동 통신 단말기로 제공할 수 있다.In addition, the
상기 외부 MAF 입력부(External MAF Input Part)(550)는 상기 통신접근부 (500)의 통신채널을 통해 상기 이동 통신 단말기로부터 생성된 비디오 멀티미디어 응용 형식(MAF)을 입력받아 억세스 유닛으로 관리할 수 있도록 상기 억세스 유닛 관리부(400)로 제공하는 기능을 수행한다.The external
상기 형식변환부(Format Conversion Part)(600)는 상기 홈단말에 저장된 억세스 유닛을 상기 이동 통신 단말기로 전송하기 위해서 적합한 구조로 비디오 형식을 변환하는 것으로서, 상기 억세스 유닛 디코드부(450)로부터 각각 디코딩 및 파싱된 미디어 리소스와 방송 메타데이터를 제공받아 상기 홈단말에 저장된 억세스 유닛의 비디오 형식을 변환하여 상기 방송 MAF 생성부(650)로 전달하는 기능을 수행한다.The
이때, 비디오 코딩 스킴(Scheme)은 방송 멀티미디어 응용 형식(MAF)을 위해서, 약 3GPP PSS ver.6 이상 ISMA 2.0 이상으로 수행됨이 바람직하다.In this case, the video coding scheme (Scheme) is preferably performed in about 3GPP PSS ver.6 or more ISMA 2.0 or more for the broadcast multimedia application format (MAF).
상기 방송 MAF 생성부(Broadcasting MAF Generation Part)(650)는 상기 형식변환부(600)로부터 변환된 비디오 형식과 상기 방송 메타데이터를 이용하여 이동 통신 단말기용 방송 멀티미디어 응용 형식(MAF)을 생성하고, 상기 생성된 이동 통신 단말기용 방송 멀티미디어 응용 형식(MAF)을 상기 통신접근부(500)의 통신채널을 통해 상기 이동 통신 단말기로 제공하는 기능을 수행한다.The broadcasting MAF generation part (650) generates a broadcast multimedia application format (MAF) for a mobile communication terminal by using the video format and the broadcast metadata converted from the
이때, 상기 방송 멀티미디어 응용 형식(MAF)은 적어도 하나 이상의 억세스 유닛을 포함함이 바람직하다.In this case, the broadcast multimedia application format (MAF) preferably includes at least one access unit.
상기 디스플레이부(Display Part)(700)는 상기 억세스 유닛 디코드부(450)로부터 각각 디코딩 및 파싱된 미디어 리소스와 방송 메타데이터를 제공받아 상기 홈단말에서 사용자 즉, 시청자에게 저장되어 있는 방송 프로그램이나 장면 또는 방송 메타데이터를 사용자에게 직접 제공하는 기능을 수행한다.The
상기 제어부(Controller)(750)는 상기 홈단말에서 수행되는 상기 각 부 즉, 상기 방송입력부(100), 상기 사용자 선호도 관리부(150), 상기 콘텐츠 필터링부(200), 상기 EPG 관리부(250), 상기 방송 메타데이터 생성부(300), 상기 억세스 유닛 생성부(350), 상기 억세스 유닛 관리부(400), 상기 억세스 유닛 디코드부(450), 상기 통신접근부(500), 상기 외부 MAF 입력부(550), 상기 형식변환부(600), 상기 방송 MAF 생성부(650) 및 상기 디스플레이부(700)를 총괄적으로 제어하는 기능을 수행한다.The
도 2는 본 발명의 일 실시예에 적용된 억세스 유닛의 구조를 설명하기 위한 개념도로서, 상기 홈단말에서 사용 및 관리되는 최소 단위인 억세스 유닛은 표준화되고 있는 비디오 멀티미디어 응용 형식(MAF)의 구조와 호환성을 유지한다.2 is a conceptual diagram illustrating the structure of an access unit applied to an embodiment of the present invention, in which the access unit, which is the minimum unit used and managed in the home terminal, is compatible with the structure of the video multimedia application format (MAF) being standardized. Keep it.
도 2를 참조하면, 본 발명의 일 실시예에 적용된 억세스 유닛(800)은 크게, 미디어데이터(media data)(810)와 무브(moov)(820)를 포함한다.Referring to FIG. 2, an
여기서, 상기 미디어데이터(810)는 상기 억세스 유닛(800)에 포함된 다양한 미디어 리소스들을 갖는다. 이때, 상기 미디어 리소스들은 비디오 스트림(Video Stream), 오디오 스트림(Audio Stream), 자막 스트림(Subtitle Stream) 및 프리뷰 이미지(Preview Image)를 포함할 수 있다.Here, the
상기 무브(820)는 상기 미디어 리소스들에 관련된 후술하는 방송 메타데이 터(1000)를 포함하는 메타박스(metabox)(821)와, 상기 미디어 리소스들의 위치정보와 같은 인코딩 정보를 포함하는 트랙(track)(822a 내지 822c)으로 이루어진다.The
이때, 하나의 무브(820)는 다수의 트랙(822a 내지 822c)들을 포함할 수 있으며, 각각의 트랙(822a 내지 822c)은 대응되는 미디어 리소스에 대한 인코딩 정보를 포함할 수 있다.In this case, one
도 3은 본 발명의 일 실시예에 적용된 다수의 억세스 유닛들을 이용한 방송 멀티미디어 응용 형식(MAF)의 구조를 설명하기 위한 개념도이다.3 is a conceptual diagram illustrating a structure of a broadcast multimedia application format (MAF) using a plurality of access units applied to an embodiment of the present invention.
도 3을 참조하면, 상기 방송 MAF 생성부(650, 도 1 참조)로 생성된 방송 멀티미디어 응용 형식(MAF)(900)은 적어도 하나 이상의 억세스 유닛(800, 도 2 참조)을 포함한다. 즉, 하나의 억세스 유닛(800)은 가장 최소단위의 방송 멀티미디어 응용 형식(MAF)(900)이다.Referring to FIG. 3, the broadcast multimedia application format (MAF) 900 generated by the broadcast MAF generation unit 650 (see FIG. 1) includes at least one access unit 800 (see FIG. 2). That is, one
미설명부호 950a 내지 950n은 미디어 리소스 셋(Media Resource Set)들로 각각의 억세스 유닛(800)들로부터 추출된 미디어 리소스이다.
한편, 상기 방송 멀티미디어 응용 형식(MAF)(900)은 다수의 미디어 리소스 셋(950a 내지 950n)을 포함할 수 있다.Meanwhile, the broadcast multimedia application format (MAF) 900 may include a plurality of
즉, 각각 인코딩된 하나의 비디오 데이터와 관계된 방송 메타데이터를 복수의 형태로 방송 멀티미디어 응용 형식(MAF)(900)을 인코딩(incoding)할 수 있다.That is, the broadcast multimedia application format (MAF) 900 may be encoded in a plurality of forms of broadcast metadata associated with one encoded video data.
도 4는 본 발명의 일 실시예에 적용된 방송 메타데이터의 구조를 설명하기 위한 개념도이다.4 is a conceptual diagram illustrating a structure of broadcast metadata applied to an embodiment of the present invention.
도 4를 참조하면, 본 발명의 일 실시예에 적용된 방송 메타데이터(1000)는 다양한 미디어 리소스들을 갖는 미디어데이터(810, 도 2 참조)를 서술하는 메타데이터로서, TVAF(TV-Anytime Forum)에서 정하고 있는 방송 메타데이터를 포함한다.Referring to FIG. 4, the
상기 콘텐츠 필터링부(200, 도 1 참조)로부터 필터링된 방송 콘텐츠의 이벤트 정보를 서술하는 프로그램 서술(Program Description)(1100)이 구비되며, 상기 프로그램 서술(1100)은 프로그램 정보테이블(1110), 그룹 정보테이블(1120), 프로그램위치 정보테이블(1130), 서비스 정보테이블(1140), 크레딧츠 정보테이블(1150), 세그먼트 정보테이블(1160), 필터링 정보테이블(1170), 접근 정보테이블(1180) 또는 사용환경 서술테이블(1190) 중 적어도 어느 하나 이상의 테이블을 포함한다.A
한편, 상기 방송 메타데이터(1000)에 포함되는 TVAF 메타데이터는 상기 메타데이터에 제한되지는 않는다.Meanwhile, TVAF metadata included in the
여기서, 상기 프로그램 정보테이블(Program Information Table)(1110)은 상기 필터링되는 방송 콘텐츠에 대한 기본 정보들에 대해 서술하는 것으로서, 상기 방송 콘텐츠의 타이틀(title), 키워드(keyword) 또는 장르(genre)와 같은 프로그램 생성 정보가 포함됨이 바람직하지만, 이에 국한되지는 않는다.Here, the program information table 1110 describes basic information about the filtered broadcast content, and includes a title, a keyword, or a genre of the broadcast content. Preferably, the same program generation information is included, but is not limited thereto.
상기 그룹 정보테이블(Group Information Table)(1120)은 상기 필터링되는 방송 콘텐츠에 대한 기본 정보들에 대해 서술하는 것으로서, 상기 방송 콘텐츠의 타이틀(title), 키워드(keyword) 또는 장르(genre)와 같은 프로그램 생성 정보가 포함됨이 바람직하지만, 이에 국한되지는 않는다.The Group Information Table 1120 describes basic information about the filtered broadcast content, and includes a program such as a title, a keyword, or a genre of the broadcast content. It is preferable to include the generation information, but not limited thereto.
상기 프로그램위치 정보테이블(Program Location Information Table)(1130)은 상기 필터링되는 방송 콘텐츠에 대한 기본 정보들에 대해 서술하는 것으로서, 상기 방송 콘텐츠의 타이틀(title), 키워드(keyword) 또는 장르(genre)와 같은 프로그램 생성 정보가 포함됨이 바람직하지만, 이에 국한되지는 않는다.The Program Location Information Table 1130 describes basic information about the filtered broadcast content, and includes a title, a keyword, or a genre of the broadcast content. Preferably, the same program generation information is included, but is not limited thereto.
상기 서비스 정보테이블(Service Information Table)(1140)은 해당되는 방송 콘텐츠를 전송하는 서비스 제공자(Service Provider)와 콘텐츠 제작자(Content Creator)에 대한 정보를 서술하는 것으로서, 소유주(owner), 이름(name) 또는 유효기간(valid period)과 같은 서비스 정보가 포함됨이 바람직하지만, 이에 국한되지는 않는다.The service information table 1140 describes information about a service provider and a content creator that transmits corresponding broadcast content, and includes an owner and a name. Or service information such as a valid period, but is not limited thereto.
상기 크레딧츠 정보테이블(Credits Information Table)(1150)은 상기 필터링되는 방송 콘텐츠에 대한 기본 정보들에 대해 서술하는 것으로서, 상기 방송 콘텐츠의 타이틀(title), 키워드(keyword) 또는 장르(genre)와 같은 프로그램 생성 정보가 포함됨이 바람직하지만, 이에 국한되지는 않는다.The Credits Information Table 1150 describes basic information about the filtered broadcast content, such as a title, a keyword, or a genre of the broadcast content. Program generation information is preferably included, but is not limited to such.
상기 세그먼트 정보테이블(Segment Information Table)(1160)은 상기 필터링되는 방송 콘텐츠에 대한 기본 정보들에 대해 서술하는 것으로서, 상기 방송 콘텐츠의 타이틀(title), 키워드(keyword) 또는 장르(genre)와 같은 프로그램 생성 정보가 포함됨이 바람직하지만, 이에 국한되지는 않는다.The Segment Information Table 1160 describes basic information about the filtered broadcast content, and includes a program such as a title, a keyword, or a genre of the broadcast content. It is preferable to include the generation information, but not limited thereto.
상기 필터링 정보테이블(Filtering Information Table)(1170)은 상기 필터링되는 방송 콘텐츠의 이벤트에 대한 기본 정보들에 대해 서술하는 것으로서, 상 기 이벤트의 타이틀(title) 또는 키워드(keyword)와 같은 이벤트 정보가 포함됨이 바람직하지만, 이에 국한되지는 않는다.The filtering information table 1170 describes basic information about an event of the filtered broadcast content, and includes event information such as a title or a keyword of the event. Is preferred, but is not limited to this.
이때, 상기 필터링된 이벤트를 표현하는 방송 메타데이터는 미디어의 시간적 구조를 세그먼트(segment)하는 정보, 각 이벤트 당 요구되는 MPEG-7 오디오/모션(Audio/Motion) 특징 또는 각 세그먼트당 추출되는 키프레임(Keyframe) 이미지에서 추출되는 MPEG-7 이미지 특징 중 적어도 하나 이상을 포함할 수 있다.In this case, the broadcast metadata representing the filtered event includes information segmenting the temporal structure of media, MPEG-7 audio / motion features required for each event, or keyframes extracted for each segment. (Keyframe) It may include at least one or more of the MPEG-7 image features extracted from the image.
한편, 하기의 표 1은 상기 필터링 정보테이블(1170) 서술을 위해 필요한 방송 메타데이터를 표현하기 위한 서술 구조를 예컨대, 확장성 생성 언어(Extensible Markup Language, XML) 형식으로 표현한 것이다.Meanwhile, Table 1 below represents a description structure for expressing broadcast metadata necessary for describing the filtering information table 1170 in, for example, an Extensible Markup Language (XML) format.
상기 접근 정보테이블(Accessibility Information Table)(1180)은 상기 필터링된 방송 콘텐츠에 대한 접근성에 대해 서술하는 것으로서, 해당 콘텐츠에 대한 난청 또는 색약 등과 오디오 및 비주얼 취약성에 대한 정보를 포함하여, 사용자에게 접근성을 용이하게 한다.The Accessibility Information Table 1180 describes accessibility to the filtered broadcast content, and includes accessibility to a user, including information on audio and visual vulnerabilities such as hearing loss or color weakness, and the like. To facilitate.
상기 사용환경 서술테이블(Usage Environment Description Table)(1190)은 상기 필터링된 방송 콘텐츠에 소비될 환경에 대한 기본 정보들을 서술하는 것으로서, 상기 필터링된 방송 콘텐츠가 전송될 이동 통신 단말기에 기본 정보들에 대해 서술하는 것이다.The Usage Environment Description Table 1190 describes basic information about an environment to be consumed by the filtered broadcast content, and the basic environment information table 1190 describes basic information on the mobile communication terminal to which the filtered broadcast content is to be transmitted. To describe.
이때, 상기 이동 통신 단말기에 기본 정보들은 예컨대, 중앙처리장치(CPU) 또는 메모리(RAM) 등의 이동 통신 단말기의 규격에 대한 단말 정보(Terminal Information)를 포함할 수 있으며, 상기 방송 콘텐츠가 전송될 대역폭(bandwidth)과 같은 네트워크의 특성에 대해 서술하는 네트워크 정보(Network Information)를 포함할 수 있다.In this case, the basic information on the mobile communication terminal may include terminal information on a standard of the mobile communication terminal such as a central processing unit (CPU) or a memory (RAM), and the broadcast content is transmitted. Network information describing network characteristics such as bandwidth may be included.
이하, 본 발명의 일 실시예에 적용된 방송 프로그램의 이벤트에 대한 사용자 선호도를 관리하는 방법에 대하여 상세하게 설명한다.Hereinafter, a method of managing user preference for an event of a broadcast program applied to an embodiment of the present invention will be described in detail.
즉, 본 발명의 일 실시예에 적용된 방송 프로그램의 이벤트에 대한 사용자 선호도는 시청 기간에 따라 차등화된 가중치를 이용하여 갱신(Update)한다.That is, the user preference for an event of a broadcast program applied to an embodiment of the present invention is updated using weights that are differentiated according to the viewing period.
예컨대, 사용자 A가 선호하는 방송 콘텐츠에 대한 선호도를 갱신하는 방법은 하기의 수학식 1과 같은 수식으로 표현될 수 있다.For example, a method of updating a preference for broadcast content preferred by user A may be expressed by Equation 1 below.
여기서, 상기 C는 방송 콘텐츠이고, 상기 User A_P(Ci)는 사용자 A의 해당 방송 콘텐츠에 대한 선호도이고, 상기 W1, W2 는 W1>W2 조건을 만족하는 가중치 값들이고, 상기 Ci_W는 사용자 A가 일주일 내에 해당 방송 콘텐츠를 시청한 횟수이 고, 상기 Ci_M는 사용자 A가 한달 내에 해당 방송 콘텐츠를 시청한 횟수이다.Here, C is broadcast content, User A_P (C i ) is user A's preference for the corresponding broadcast content, W 1 and W 2 are weight values satisfying the condition W 1 > W 2 , and C i_W is the number of times the user A watched the corresponding broadcast content within a week, and C i_M is the number of times the user A watched the corresponding broadcast content within one month.
즉, 상기의 수학식 1은 최근 일주일 동안 시청자의 시청 비율을 한달 동안의 시청 비율에 비해 높게 설정하여 최근에 시청자의 방송 콘텐츠 시청 성향을 분석하는 시청자 선호도를 나타낸 것이다.That is, Equation 1 above shows viewer preferences for analyzing viewers 'tendency to watch broadcast content recently by setting viewers' viewing rates for a week higher than viewing rates for one month.
그리고, 사용자 A가 선호하는 방송 콘텐츠의 해당 이벤트에 대한 선호도를 갱신하는 방법은 하기의 수학식 2와 같은 수식으로 표현될 수 있다.In addition, a method of updating a preference for a corresponding event of broadcast content preferred by user A may be expressed by Equation 2 below.
여기서, 상기 C는 방송 콘텐츠이고, 상기 (Ei)c는 해당 콘텐츠를 구성하는 의미 있는 이벤트들이고, 상기 P(Ei)c는 해당 이벤트들에 대한 선호도이고, 상기 W1, W2는 W1 > W2 조건을 만족하는 가중치 값들이고, 상기 Ei_W는 사용자 A가 일주일 내에 해당 이벤트를 시청한 횟수이고, 상기 Ei_M는 사용자 A가 한달 내에 해당 이벤트를 시청한 횟수이고, 상기 Ci_W는 사용자 A가 일주일 내에 해당 방송 콘텐츠를 시청한 횟수이고, 상기 Ci_M는 사용자 A가 한달 내에 해당 방송 콘텐츠를 시청한 횟수이고, 상기 Ti_W는 사용자 A가 일주일 내에 방송 콘텐츠를 시청한 총 횟수이고, 상기 Ti_M는 사용자 A가 한달 내에 방송 콘텐츠를 시청한 총 횟수이다.Here, C is broadcast content, (E i ) c is a meaningful event constituting the content, P (E i ) c is a preference for the events, W 1 , W 2 is W Are weighted values satisfying the condition 1 > W 2 , wherein E i_W is the number of times a user A watched the event within a week, E i_M is the number of times user A watched the event within a month, and C i_W is The number of times user A watched the broadcast content within a week, the C i_M is the number of times user A watched the broadcast content within a month, and the T i_W is the total number of times user A watched the broadcast content within a week, T i_M is the total number of times that user A watched broadcast content within a month.
상기의 수학식 2는 최근 일주일 동안 시청자의 시청 비율을 한달 동안의 시청 비율에 비해 높게 설정하여 최근에 시청자의 방송 콘텐츠의 이벤트에 대한 시청 성향을 분석하는 시청자 선호도를 나타낸 것이다.Equation 2 represents a viewer's preference for analyzing the viewer's viewing propensity for an event of the broadcast content of the viewer by setting the viewer's viewing ratio higher than the viewing ratio during the recent week.
도 5는 사용자에 대한 선호도를 기반으로 개인화된 앨범 구성을 설명하기 위한 흐름도로서, 억세스 유닛을 이용하여 사용자에 대한 선호도를 기반으로 개인화된 앨범을 구성하는 과정을 나타낸 것이다.5 is a flowchart illustrating a personalized album configuration based on a preference for a user, and illustrates a process of configuring a personalized album based on a preference for a user using an access unit.
도 5를 참조하면, 먼저, 통신접근부(500, 도 1 참조)에 의해 사용자 접속(User's Access) 과정을 수행한다(S100). 이때, 입력은 홈단말의 키보드, 마우스 또는 마이크로폰 등과 같은 입력장치로부터 직접 입력받을 수 있으며, 이에 국한하지 않으며, 예컨대, 홈 네트워크(Home Network)를 통해서 입력받을 수도 있다.Referring to FIG. 5, first, a user's access process is performed by the communication access unit 500 (see FIG. 1) (S100). In this case, the input may be directly input from an input device such as a keyboard, a mouse or a microphone of the home terminal, but is not limited thereto. For example, the input may be received through a home network.
다음으로, 제어부(750, 도 1 참조)에 의해 상기 접속된 사용자를 확인하는 과정을 수행한 후(S110), 사용자 선호도 관리부(150, 도 1 참조)에 의해 사용자에 대한 선호도를 파싱하는(Parsing user preference) 과정을 수행한다(S120).Next, after performing the process of identifying the connected user by the controller 750 (see FIG. 1), the user preference manager 150 (see FIG. 1) parses the preference for the user (Parsing). A user preference process is performed (S120).
이때, 상기 확인된 사용자와 부합되는 파싱되는 정보는 예컨대, 프로그램 장르, 이벤트 또는 등장 인물 등을 포함함이 바람직하지만, 이에 국한되지는 않는다.In this case, the parsed information corresponding to the identified user may include, but is not limited to, for example, a program genre, an event, or a character.
이후에, 억세스 유닛 관리부(400, 도 1 참조)에 의해 억세스 유닛을 검출하는(Searching Access Unit)과정을 수행한다(S130). 즉, 상기 파싱된 사용자 선호도 정보와 일치되는 방송 메타데이터를 포함하는 억세스 유닛을 검출한다.Thereafter, the access unit manager 400 (refer to FIG. 1) performs a process of detecting an access unit (Searching Access Unit) (S130). That is, an access unit including broadcast metadata that matches the parsed user preference information is detected.
다음으로, 억세스 유닛 디코드부(450, 도 1 참조)에 의해 비디오 앨범을 생성하는(Generating Video Album) 과정을 수행한다(S140). 이때, 상기 비디오 앨범은 다수의 비디오 억세스 유닛이 포함되는 방송 멀티미디어 응용 형식(MAF) 형태로 구성될 수 있다.Next, a process of generating a video album by the access unit decoder 450 (see FIG. 1) is performed (S140). In this case, the video album may be configured in the form of a broadcast multimedia application format (MAF) including a plurality of video access units.
이후에, 상기 억세스 유닛 디코드부(450)에 의해 어떠한 방식으로 출력할 것인지를 확인하는 과정을 수행한 후(S150), 디스플레이 출력방식일 경우 디스플레이부(700, 도 1 참조)를 통해 상기 생성된 비디오 앨범을 사용자에게 직접 디스플레이하고(S160), 그렇지 않고 전송 출력방식일 경우 방송 MAF 생성부(650, 도 1 참조)를 통해 상기 생성된 비디오 앨범을 전송한다(S170).Thereafter, after performing a process of checking how to output by the access unit decoder 450 (S150), the display unit 700 (refer to FIG. 1) in the case of a display output method is generated. The video album is directly displayed to the user (S160). Otherwise, the generated video album is transmitted through the broadcast MAF generator 650 (see FIG. 1) in the case of the transmission output method (S170).
이때, 상기 비디오 앨범 디스플레이 단계(S160)는 홈 서버에서 디스플레이를 위한 비디오 앨범을 억세스 유닛의 검출 단계(S130)에서 검출된 억세스 유닛들을 상기 디스플레이부(700)에서 미리 설정된 우선 순위에 의해서 정렬하여 보여줌이 바람직하다.In this case, the video album display step (S160) shows the video album for display in the home server by sorting the access units detected in the detection step (S130) of the access unit according to the priority set in the
상기 비디오 앨범 전송 단계(S170)는 외부의 이동 통신 단말기를 위한 비디오 앨범을 형식변환부(600, 도 1 참조) 및 상기 방송 MAF 생성부(650)를 통해 통합된 비디오 멀티미디어 응용 형식(MAF) 형태로 구성된 후, 상기 통신접근부(500)를 통해 전송됨이 바람직하다.The video album transmission step (S170) is a video multimedia application format (MAF) form integrated through the video album for the external mobile communication terminal format conversion unit 600 (see Fig. 1) and the broadcast
도 6은 사용자의 질의에 의한 비디오 검색을 설명하기 위한 흐름도로서, 억세스 유닛을 이용하여 사용자의 질의에 의한 비디오를 검색하는 과정을 나타낸 것 이다.6 is a flowchart illustrating a video search by a user's query, and illustrates a process of searching for a video by a user's query using an access unit.
도 6을 참조하면, 통신접근부(500, 도 1 참조)에 의해 사용자 질의의 입력(Input User's Query)을 수행한다(S200). 이때, 상기 입력은 홈단말의 키보드, 마우스 또는 마이크로폰 등과 같은 입력장치로부터 직접 입력받을 수 있으며, 이에 국한하지 않으며, 예컨대, 홈 네트워크(Home Network)를 통해서 입력받을 수도 있다. 한편, 상기 입력되는 정보는 프로그램 장르, 이벤트 또는 등장 인물 등을 포함함이 바람직하지만, 이에 국한되지는 않는다.Referring to FIG. 6, an input user's query is performed by the communication access unit 500 (see FIG. 1) (S200). In this case, the input may be directly input from an input device such as a keyboard, a mouse, or a microphone of the home terminal, but is not limited thereto. For example, the input may be received through a home network. Meanwhile, the input information may include, but is not limited to, a program genre, an event or a character.
다음으로, 억세스 유닛 관리부(400, 도 1 참조)에 의해 상기 입력된 사용자 질의를 파싱하는(Parsing Query) 과정을 수행한 후(S210), 사용자 선호도 관리부(150, 도 1 참조)에 의해 상기 입력된 사용자의 질의에 따라 사용자 선호도를 갱신하는(Updating User Preference) 과정을 수행한다(S220).Next, after performing a parsing query process by the access unit manager 400 (see FIG. 1) (S210), the user preference manager 150 (see FIG. 1) performs the input. The updating of user preferences is performed according to the query of the user (S220).
이후에, 상기 억세스 유닛 관리부(400)에 의해 상기 파싱된 사용자 질의 정보와 일치되는 방송 메타데이터를 포함하는 억세스 유닛을 검출하는(Searching Access Unit) 과정을 수행한다(S230).Thereafter, the
다음으로, 억세스 유닛 디코드부(450, 도 1 참조)에 의해 비디오 앨범을 생성하는(Generating Video Album) 과정을 수행한다(S240). 이때, 상기 비디오 앨범은 다수의 비디오 억세스 유닛이 포함되는 방송 멀티미디어 응용 형식(MAF) 형태로 구성될 수 있다.Next, a process of generating a video album by the access unit decoder 450 (see FIG. 1) is performed (S240). In this case, the video album may be configured in the form of a broadcast multimedia application format (MAF) including a plurality of video access units.
이후에, 상기 억세스 유닛 디코드부(450, 도 1 참조)에 의해 어떠한 방식으로 출력할 것인지를 확인하는 과정을 수행한 후(S250), 디스플레이 출력방식일 경 우 디스플레이부(700, 도 1 참조)를 통해 상기 생성된 비디오 앨범을 사용자에게 직접 디스플레이하고(S260), 그렇지 않고 전송 출력방식일 경우 방송 MAF 생성부(650, 도 1 참조)를 통해 상기 생성된 비디오 앨범을 전송한다(S270).Subsequently, after performing a process of checking how to output by the access unit decoder 450 (see FIG. 1) (S250), in the case of a display output method, the display unit 700 (see FIG. 1). Through the display of the generated video album to the user directly (S260), otherwise in the case of the transmission output method and transmits the generated video album through the broadcast MAF generator 650 (see Fig. 1) (S270).
이때, 상기 비디오 앨범 디스플레이 단계(S260)는 홈 서버에서 디스플레이를 위한 비디오 앨범을 억세스 유닛의 검출 단계(S230)에서 검출된 억세스 유닛들을 상기 디스플레이부(700)에서 미리 설정된 우선 순위에 의해서 정렬하여 보여줌이 바람직하다.In this case, the video album display step (S260) displays the video album for display in the home server by arranging the access units detected in the detection step (S230) of the access unit according to the priority set in the
상기 비디오 앨범 전송 단계(S270)는 외부의 이동 통신 단말기를 위한 비디오 앨범을 형식변환부(600, 도 1 참조) 및 상기 방송 MAF 생성부(650)를 통해 통합된 비디오 멀티미디어 응용 형식(MAF) 형태로 구성된 후, 상기 통신접근부(500)를 통해 전송됨이 바람직하다.The video album transmission step (S270) is a video multimedia application format (MAF) form of the integrated video album for the external mobile communication terminal through the format conversion unit 600 (see FIG. 1) and the broadcast
전술한 본 발명에 따른 홈단말에서 실시간 필터링된 방송 비디오 관리 시스템 및 그 방법에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.Although a preferred embodiment of a broadcast video management system and a method of real-time filtering in a home terminal according to the present invention has been described above, the present invention is not limited thereto, and the claims and the detailed description of the invention and the accompanying drawings are described. It is possible to carry out various modifications within the scope and this also belongs to the present invention.
이상에서 설명한 바와 같은 본 발명의 홈단말에서 실시간 필터링된 방송 비디오 관리 시스템 및 그 방법에 따르면, 홈단말에서 실시간 필터링된 비디오 세그먼트와 관계된 방송 메타데이터를 결합하는 방송 멀티미디어 응용 형식(MAF)을 구 성하는 데 있어서, 효과적인 인덱싱(indexing), 검색 및 전송을 위해 비디오 세그먼트 및 그 내용으로부터 획득한 오디오(audio)/이미지(image)/모션(motion) 특징정보를 TV-anytime 메타데이터와 함께 방송 멀티미디어 응용 형식(MAF) 파일의 메타데이터로 활용하며, 방송 멀티미디어 응용 형식(MAF)의 구조에 따라 TV 시청자가 효과적으로 비디오 세그먼트들을 자신의 취향에 맞게 브라우징할 수 있는 비디오 앨범을 구성 및 검색할 수 있을 뿐만 아니라 홈단말과 이동 통신 단말기간의 콘텐츠 소비에 있어서 호환성을 유지할 수 있는 이점이 있다.According to the broadcast video management system and method of the real-time filtered in the home terminal of the present invention as described above, a broadcast multimedia application format (MAF) that combines broadcast metadata associated with the real-time filtered video segment in the home terminal is configured. Audio / image / motion feature information obtained from video segments and their contents together with TV-anytime metadata for effective indexing, retrieval and transmission. As metadata for format (MAF) files, the structure of the broadcast multimedia application format (MAF) allows TV viewers to organize and search video albums that effectively browse video segments to their tastes. Compatibility can be maintained in content consumption between a home terminal and a mobile communication terminal. There is an advantage.
Claims (33)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050099589A KR100711608B1 (en) | 2005-10-21 | 2005-10-21 | System for management of real-time filtered broadcasting videos in a home terminal and a method for the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050099589A KR100711608B1 (en) | 2005-10-21 | 2005-10-21 | System for management of real-time filtered broadcasting videos in a home terminal and a method for the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20070043372A true KR20070043372A (en) | 2007-04-25 |
KR100711608B1 KR100711608B1 (en) | 2007-04-27 |
Family
ID=38177871
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020050099589A KR100711608B1 (en) | 2005-10-21 | 2005-10-21 | System for management of real-time filtered broadcasting videos in a home terminal and a method for the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100711608B1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100839306B1 (en) * | 2007-06-29 | 2008-06-17 | 숭실대학교산학협력단 | System and method for recommendation of digital television program using reflection techniques of program veiwing pattern |
KR100853123B1 (en) * | 2007-08-06 | 2008-08-20 | 주식회사 인스프리트 | Apparatus and method for providing advanced epg service for mobile terminal |
WO2008141215A1 (en) * | 2007-05-10 | 2008-11-20 | Microsoft Corporation | Subtitle data customization and exposure |
KR100926705B1 (en) * | 2007-08-06 | 2009-11-17 | 주식회사 인스프리트 | Apparatus and method for providing customized advertisement service |
KR100942269B1 (en) * | 2007-10-13 | 2010-02-16 | 남종철 | Mobile Device for Personalized EPG Service Under two-way Mobile Broadcasting Service. |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100228752A1 (en) * | 2009-02-25 | 2010-09-09 | Microsoft Corporation | Multi-condition filtering of an interactive summary table |
WO2011108868A2 (en) * | 2010-03-03 | 2011-09-09 | Samsung Electronics Co., Ltd. | Apparatus and method for recording and playing a media file, and a recording medium therefor |
WO2011132879A2 (en) * | 2010-04-19 | 2011-10-27 | 엘지전자 주식회사 | Method for transmitting/receving internet-based content and transmitter/receiver using same |
US9148678B2 (en) | 2010-04-19 | 2015-09-29 | Lg Electronics Inc. | Method for transmission/reception of internet-based content and transmitter/receiver using same |
US9032462B2 (en) | 2010-04-19 | 2015-05-12 | Lg Electronics Inc. | Method for transmitting/receiving internet-based content and transmitter/receiver using same |
WO2011132880A2 (en) * | 2010-04-19 | 2011-10-27 | 엘지전자 주식회사 | Method for transmitting/receiving internet-based content and transmitter/receiver using same |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100425425B1 (en) * | 2001-12-28 | 2004-03-31 | 학교법인 한국정보통신학원 | A method of program guide and a system thereof |
KR100594963B1 (en) * | 2002-09-18 | 2006-07-03 | 한국전자통신연구원 | Method and Apparatus for Personal Channel Service for User Program Provision at User Preferred Time |
KR100497428B1 (en) * | 2002-09-24 | 2005-07-01 | 전자부품연구원 | Recommending service method of intellectual program using meta data |
KR100589823B1 (en) * | 2003-02-19 | 2006-06-14 | 비브콤 인코포레이티드 | Method and apparatus for fast metadata generation, delivery and access for live broadcast program |
KR100593830B1 (en) * | 2004-04-28 | 2006-07-06 | 학교법인 한국정보통신학원 | An Intelligent Program Filtering System in Digital TV Broadcasting |
-
2005
- 2005-10-21 KR KR1020050099589A patent/KR100711608B1/en not_active IP Right Cessation
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008141215A1 (en) * | 2007-05-10 | 2008-11-20 | Microsoft Corporation | Subtitle data customization and exposure |
KR100839306B1 (en) * | 2007-06-29 | 2008-06-17 | 숭실대학교산학협력단 | System and method for recommendation of digital television program using reflection techniques of program veiwing pattern |
KR100853123B1 (en) * | 2007-08-06 | 2008-08-20 | 주식회사 인스프리트 | Apparatus and method for providing advanced epg service for mobile terminal |
KR100926705B1 (en) * | 2007-08-06 | 2009-11-17 | 주식회사 인스프리트 | Apparatus and method for providing customized advertisement service |
KR100942269B1 (en) * | 2007-10-13 | 2010-02-16 | 남종철 | Mobile Device for Personalized EPG Service Under two-way Mobile Broadcasting Service. |
Also Published As
Publication number | Publication date |
---|---|
KR100711608B1 (en) | 2007-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100711608B1 (en) | System for management of real-time filtered broadcasting videos in a home terminal and a method for the same | |
JP6335145B2 (en) | Method and apparatus for correlating media metadata | |
US20200221163A9 (en) | Method for receiving enhanced service and display apparatus thereof | |
KR101009629B1 (en) | Extended Metadata Structure and Adaptive Program Service Providing System and Method for Providing Digital Broadcast Program Service | |
US8848108B2 (en) | Video display device and control method thereof | |
US20050210145A1 (en) | Delivering and processing multimedia bookmark | |
WO2010090162A1 (en) | Content receiving device and method, content transmitting device and method, program, and storage medium | |
US20050203927A1 (en) | Fast metadata generation and delivery | |
KR101002070B1 (en) | Relation contents receiving apparatus, relation contents providing apparatus and relation contents transmitting system using thereof | |
US20030237096A1 (en) | Program guide data text search | |
US20070199037A1 (en) | Broadcast program content retrieving and distributing system | |
US20160295248A1 (en) | Aggregating media content | |
KR100848721B1 (en) | Recommendation Contents Offering System And Method Thereof | |
KR101221473B1 (en) | Meta data information providing server, client apparatus, method for providing meta data information, and method for providing contents | |
Kang et al. | Metadata broadcasting for personalized service: A practical solution | |
CN102595232A (en) | Relative information search method of digital television programs and digital television receiving terminal | |
Lee et al. | Personalized TV services based on TV-anytime for personal digital recorder | |
KR100878909B1 (en) | System and Method of Providing Interactive DMB Broadcast | |
KR20130013938A (en) | Digital broadcasting system viewing classified corner of contents and service method thtereof | |
KR101460800B1 (en) | Method and System for providing service channel defined a user | |
Choi et al. | Personalized data broadcasting service based on TV-anytime metadata | |
KR100849274B1 (en) | Fast metadata generation using indexing audio-visual programs and graphical user interface, and reusing segmentation metadata | |
US20160295247A1 (en) | Assembly of media content | |
Ning | Development of Standard Based Personalization Schemes for Mobile Television | |
Jin et al. | Archiving of meaningful scenes for personal TV terminals |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20120330 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20130325 Year of fee payment: 7 |
|
LAPS | Lapse due to unpaid annual fee |