KR102024933B1 - 동적 생성된 메타데이터를 이용한 영상 콘텐츠 콘텍스트 변이 추적 장치 및 방법 - Google Patents

동적 생성된 메타데이터를 이용한 영상 콘텐츠 콘텍스트 변이 추적 장치 및 방법 Download PDF

Info

Publication number
KR102024933B1
KR102024933B1 KR1020170012415A KR20170012415A KR102024933B1 KR 102024933 B1 KR102024933 B1 KR 102024933B1 KR 1020170012415 A KR1020170012415 A KR 1020170012415A KR 20170012415 A KR20170012415 A KR 20170012415A KR 102024933 B1 KR102024933 B1 KR 102024933B1
Authority
KR
South Korea
Prior art keywords
metadata
video content
content
generated
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020170012415A
Other languages
English (en)
Other versions
KR20180087970A (ko
Inventor
박원주
손정우
김상권
김선중
이상윤
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170012415A priority Critical patent/KR102024933B1/ko
Priority to US15/820,692 priority patent/US10433028B2/en
Publication of KR20180087970A publication Critical patent/KR20180087970A/ko
Application granted granted Critical
Publication of KR102024933B1 publication Critical patent/KR102024933B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/26603—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel for automatically generating descriptors from content, e.g. when it is not made available by its provider, using content analysis techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

동적 생성된 메타데이터를 이용한 영상 콘텐츠 콘텍스트 변이 추적 장치 및 방법이 제공되며, 영상 콘텐츠의 초기 발행 시 보유하고 있던 내부 데이터에 기반하여 정적 메타데이터를 생성하고, 생성된 정적 메타데이터를 영상 콘텐츠에 태깅하고, 영상 콘텐츠의 발행 이후 생성된 콘텐츠 관련 외부 데이터를 수집하고, 수집된 외부 데이터에 기반하여 영상 콘텐츠에 대한 동적 메타데이터를 생성하고, 생성된 동적 메타데이터를 영상 콘텐츠에 태깅하고, 동적 메타데이터를 시간의 경과에 따라 반복 재생성 및 태깅되도록 하고, 동적 메타데이터의 내용 변화를 추적하고, 내용 변화를 추적한 결과에 따른 추이 분석 리포트를 생성 및 제공한다.

Description

동적 생성된 메타데이터를 이용한 영상 콘텐츠 콘텍스트 변이 추적 장치 및 방법{apparatus and method for tracking image content context trend using dynamically generated metadata}
본 발명은 시적(temporal) 변이 특성에 따라 동적으로 생성되는 영상 콘텐츠의 메타데이터를 추적하여 영상 콘텍스트 변이를 추적하는 장치 및 방법에 대한 것이다.
최근 비디오 제작 기술 발달, 고성능 영상 제작 도구의 개인화 등으로 양질의 콘텐츠가 범람하고 있다. 향후 이러한 추세는 계속될 것으로 판단되고 있는 실정이다. 이러한 시장의 변화에 따라 기존에 발행된 영상 콘텐츠의 일부 또는 전체를 재활용하는 응용서비스 개발이 시도되고 있는데, 이를 위하여 발행된 영상 콘텐츠에 대한 메타데이터의 자동 생성 및 태깅 기술개발의 상용화가 요구되고 있다. 더 나아가 영상 콘텐츠가 초기 발행했던 데이터 외에 콘텐츠 발행 이후에 생성된 데이터를 추가적으로 활용할 필요가 있다.
영상 콘텐츠의 콘텍스트는 영상 콘텐츠 전체 영상 파일이나 부분 클립 파일에 다양한 메타데이터를 태깅하여, 메타데이터를 기초로 해당 콘텐츠를 검색함으로써 콘텐츠 재발행, 신규 응용서비스 개발 등의 활용이 가능하다. 이를 위하여 영상 콘텐츠와 관련된 메타데이터를 자동으로 생성하고자 하는 연구 개발이 센서 데이터 수집, 자연어 처리, 영상 처리 다양한 측면에서 시도되고 있다.
이와 관련하여, 대한민국 등록특허 제 10-0828166 호(발명의 명칭: 동영상의 음성 인식과 자막 인식을 통한 메타데이터 추출방법, 메타데이터를 이용한 동영상 탐색 방법 및 이를 기록한 기록매체)는, 동영상에 메타데이터를 자동으로 생성하고 태깅하기 위하여, 동영상을 화면 전환이 발생하는 프레임 단위로 추출/분리하고, 해당 프레임 영상의 화자 음성 인식을 처리하고, 음성 데이터의 문자 변환 및 변환된 문자 데이터에서의 키워드 추출을 처리하고, 해당 프레임 영상의 자막 인식 및 인식된 자막에서의 앞서 추출된 키워드 탐색 및 가중치 조절을 처리하고, 키워드 및 자막으로부터 메타데이터와 타이틀을 추출하여 초기에 추출된 프레임의 시작 샷 및 끝샷의 시간 정보를 기초로 해당 동영상의 음성인식 및 자막인식 에 기반한 메타데이터 추출 기술을 개시하고 있다.
본 발명의 일 실시예는 영상 콘텐츠의 콘텐츠 생성 단계에 발행된 정적 데이터 외에 발행된 이후에 생성된 외부 데이터를 지속적으로 결합하여 시적 변이에 따라 메타데이터를 동적으로 재생성 및 태깅하는 장치 및 방법을 제공하고자 한다.
또한 본 발명의 일 실시예는 시적 변이에 따라 동적으로 재생성 및 태깅된 영상 콘텐츠의 메타데이터를 추적함으로써 시간에 따라 영상 콘텐츠의 콘텍스트 변이를 추적하는 장치 및 방법을 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 측면에 따른 영상 콘텐츠 콘텍스트 변이 추적 장치는, 영상 콘텐츠의 초기 발행 시 보유하고 있던 내부 데이터에 기반하여 정적 메타데이터를 생성하고, 생성된 정적 메타데이터를 상기 영상 콘텐츠에 태깅하는 제 1 메타데이터 생성/태깅부; 상기 영상 콘텐츠의 발행 이후 생성된 콘텐츠 관련 외부 데이터를 수집하는 외부 데이터 수집부; 상기 수집된 외부 데이터에 기반하여 상기 영상 콘텐츠에 대한 동적 메타데이터를 생성하고, 생성된 동적 메타데이터를 상기 영상 콘텐츠에 태깅하는 제 2 메타데이터 생성/태깅부;상기 동적 메타데이터를 시간의 경과에 따라 반복 재생성 및 태깅되도록 하고, 상기 동적 메타데이터의 내용 변화를 추적하는 동적 메타데이터 추적부; 및 상기 내용 변화를 추적한 결과에 따른 추이 분석 리포트를 생성 및 제공하는 영상 콘텍스트 변이 추적/분석부를 포함한다.
그리고 본 발명의 다른 측면에 따른, 영상 콘텐츠 콘텍스트 변이 추적 방법은, (a) 영상 콘텐츠의 초기 발행 시 보유하고 있던 내부 데이터에 기반하여 정적 메타데이터를 생성하고, 생성된 정적 메타데이터를 상기 영상 콘텐츠에 태깅하는 단계; (b) 상기 영상 콘텐츠의 발행 이후 생성된 콘텐츠 관련 외부 데이터를 수집하는 단계; (c) 상기 수집된 외부 데이터에 기반하여 상기 영상 콘텐츠에 대한 동적 메타데이터를 생성하고, 생성된 동적 메타데이터를 상기 영상 콘텐츠에 태깅하는 단계; (d) 상기 동적 메타데이터를 시간의 경과에 따라 반복 재생성 및 태깅되도록 하고, 상기 동적 메타데이터의 내용 변화를 추적하는 단계; 및 (e) 상기 내용 변화를 추적한 결과에 따른 추이 분석 리포트를 생성 및 제공하는 단계를 포함한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 영상 콘텐츠가 내포하고 있는 의미를 검색하는데 사용되는 토픽 모델 기반의 메타데이터가 시간이 흐름에 따라 변화되므로, 영상 콘텐츠 초기 발행 단계에서 생성된 정적 텍스트 데이터와 더불어 영상 콘텐츠가 발행된 이후 지속적으로 생성되는 외부 데이터를 토픽 모델에 활용함으로써 메타데이터를 동적으로 재생성 및 태깅할 수 있다.
이처럼 시적 변이에 따라 동적으로 재생성 및 태깅된 영상 콘텐츠의 메타데이터를 영상 콘텐츠의 콘텍스트 변이 추적에 사용함으로써, 발행된 후 일정 시간이 경과된 영상 콘텐츠에 대해 새로운 이슈 및 트랜드에 따라 새로운 메타데이터를 생성할 수 있어 해당 영상 콘텐츠를 최신의 이슈에 따라 검색 및 활용할 수 있어 효과적이다.
도 1은 본 발명의 일 실시예에 따른 영상 콘텐츠 콘텍스트 변이 추적 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 영상 콘텐츠에 대한 동적 메타데이터 재생성 및 태깅 반복 처리 과정을 설명하기 위한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 영상 콘텐츠 콘텍스트 변이 추적 방법을 설명하기 위한 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 본 발명을 명확하게 설명하기 위해 도면에서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 또한, 도면을 참고하여 설명하면서, 같은 명칭으로 나타낸 구성일지라도 도면에 따라 도면 번호가 달라질 수 있고, 도면 번호는 설명의 편의를 위해 기재된 것에 불과하고 해당 도면 번호에 의해 각 구성의 개념, 특징, 기능 또는 효과가 제한 해석되는 것은 아니다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)' 또는 '모듈'이란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부' 또는 '~모듈' 은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부' 또는 '~모듈' 은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 이러한 구성요소들과 '~부'(또는 '~모듈')들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'(또는 '~모듈')들로 결합되거나 추가적인 구성요소들과 '~부'(또는 '~모듈')들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'(또는 '~모듈')들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
이하에서 설명할 본 발명의 일 실시예에 따른 영상 콘텐츠 콘텍스트 변이 추적 장치 및 방법은, 영상 콘텐츠의 콘텍스트를 영상에 태깅된 메타데이터로 정의하고, 영상 콘텐츠의 콘텍스트가 시간 흐름에 따라 어떻게 변이되는지 추적하고 분석한다. 이를 위해, 본 발명의 일 실시예에 따른 영상 콘텐츠 콘텍스트 변이 추적 장치 및 방법은, 영상 콘텐츠가 발행할 때 부가적으로 생성되는 대본, 자막, 협찬사 정보 등의 정적 텍스트 데이터를 활용하여 제 1 시점(t1)에 대한 메타데이터를 생성하고, 영상 콘텐츠가 발행된 이후에 영상 콘텐츠와 관련된 외부 데이터가 생성되면 추가적으로 수집하여 메타데이터를 동적으로 재생성 및 태깅한다.
이하, 도면을 참조하여 본 발명의 일 실시예에 따른 영상 콘텐츠 콘텍스트 변이 추적 장치 및 방법에 대해 상세히 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 영상 콘텐츠 콘텍스트 변이 추적 장치의 구성도이다.
그리고 도 2는 본 발명의 일 실시예에 따른 영상 콘텐츠에 대한 동적 메타데이터 재생성 및 태깅 반복 처리 과정을 설명하기 위한 개념도이다.
도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 영상 콘텐츠 콘텍스트 변이 추적 장치(100)는, 제 1 메타데이터 생성/태깅부(110), 내부 데이터 저장소(120), 외부 데이터 수집부(130), 외부 데이터 저장소(140), 제 2 메타데이터 생성/태깅부(150), 동적 메타데이터 추적부(160), 및 영상 콘텍스트 변이 추적/분석부(170)를 포함한다.
제 1 메타데이터 생성/태깅부(110)는 영상 콘텐츠의 생성 단계에서 발행된 정적 텍스트 데이터에 기반하여 메타데이터(이하, ‘제 1 메타데이터’라고 지칭함)를 생성하고, 생성된 제 1 메타데이터를 해당 영상 콘텐츠에 태깅한다.
제 1 메타데이터 생성 및 태깅되는 영상 콘텐츠의 단위는 에피소드 전체 또는 에피소드에서 일부 분할된 클립 영상 등의 단위를 포함하며, 제한되지 않는다.
이때, 제 1 메타데이터 생성/태깅부(110)는 영상 콘텐츠가 기획, 촬영, 편집 등의 콘텐츠 생성 단계에서 발행된 정적 텍스트 데이터에 기초하여 제 1 메타데이터를 생성한다. 예를 들어, 정적 텍스트 데이터는 기획, 촬영, 편집 단계에서 생성되는 원작, 스토리보드, 대본, 자막 등의 데이터를 포함할 수 있다.
제 1 메타데이터 생성/태깅부(110)는 콘텐츠 생성 단계에서 발행된 정적 텍스트 데이터를 수집하고 활용하여, 영상 콘텐츠 제작에 직접적으로 활용된 텍스트 데이터 기반으로 토픽 모델을 생성하여 콘텐츠의 주제 및 주제어를 생성한다.
제 1 메타데이터 생성/태깅부(110)는 영상 콘텐츠의 생성 단계에서 발행되는 정적 텍스트 데이터를 내부 데이터 저장소(120)로부터 획득한다.
내부 데이터 저장소(120)는 복수의 영상 콘텐츠 별로 기등록된 정적 텍스트 데이터가 저장되어 있다.
한편, 영상 콘텐츠가 상영 또는 방영되는 형태로 사용자에게 발행된 이후에도 다양한 형식으로 외부데이터 생성이 가능하다. 예를 들어, 드라마 및 다큐멘터리 등의 영상 콘텐츠가 방영(즉, 발행)된 이후에, 해당 영상 콘텐츠의 주제와 관련된 역사적 배경 또는 지식, 촬영 장소, 배우 근황, 배우 착용 아이템 등 매우 다양한 소재의 내용이 블로그, SNS, 개인 미디어 방송 등에서 언급되는 형태로 외부 텍스트 데이터가 지속적으로 생성된다. 본 발명의 일 실시예에 따른 영상 콘텐츠 콘텍스트 변이 추적 장치(100)는, 이러한 외부 텍스트 데이터를 영상 콘텍스트 추이 분석에 활용한다.
외부 데이터 수집부(130)는 영상 콘텐츠가 발행된 이후에 생성되는 외부 텍스트 데이터 수집하여 외부 데이터 저장소(140)에 저장한다. 그리고 외부 데이터 수집부(130)는 정적 메타데이터 및 기생성된 동적 메타데이터의 주제 및 주제어를 키워드로 하여 상기 외부 텍스트 데이터를 검색할 수 있다.
이때, 외부 데이터 수집부(130)는 임의의 영상 콘텐츠와 관련하여 텍스트 데이터가 발행된 시간 정보를 포함하는 외부 텍스트 데이터를 수집한다. 예를 들어, 외부 데이터 수집부(130)는 온라인 상에서 제공되고 있는 뉴스, 블로그, SNS, 개인 미디어 방송 등의 매체를 키워드를 이용하여 실시간 또는 주기적으로 검색하여 외부 텍스트 데이터를 지속적으로 수집 및 저장한다.
제 2 메타데이터 생성/태깅부(150)는 외부 데이터 수집부(130)를 통해 수집된 외부 텍스트 데이터에 기초하여 임의의 영상 콘텐츠에 대해 동적 메타데이터(이하, ‘제 2 메타데이터’라고 지칭함)를 재생성하고, 재생성된 제 2 메타데이터를 해당 영상 콘텐츠에 태깅한다.
이때, 제 2 메타데이터 생성/태깅부(150)는 기수집된 정적 텍스트 데이터 기반으로 생성된 토픽 모델에 외부 텍스트 데이터를 추가하여 주기적으로/비주기적으로 토픽 모델을 재학습한다. 이처럼 토픽 모델을 재학습하는 단계에서 기존의 토픽 모델이 갱신되어 영상 콘텐츠가 내포하고 있던 제 1 메타데이터 외에 최신 트랜드가 반영된 새로운 제 2 메타데이터가 생성된다.
동적 메타데이터 추적부(160)는 제 2 메타데이터를 해당 영상 콘텐츠에 태깅할 때 수집된 외부 텍스트 데이터의 시적 정보를 추가한다.
제 2 메타데이터 생성/태깅부(150)는 제 1 메타데이터 생성 시 모델링된 토픽 모델로 학습된 결과에 새로 수집된 외부 데이터 및 데이터의 발생 시간 정보를 결합하여 제 2 메타데이터를 재생성한다. 이때, 동적 메타데이터 추적부(160)는 영상 콘텐츠가 지속적으로 상영 또는 방영되는 시점에서는 주기적으로 수집된 외부 텍스트 데이터를 이용하여 제 2 메타데이터를 재생성/태깅을 반복 실행하다가, 영상 콘텐츠의 상영 또는 방영이 완료되면 비주기적으로 수집된 외부 텍스트 데이터를 사용하여 제 2 메타데이터를 재생성/태깅되도록 처리한다.
도 2를 참조하면, 정적 메타데이터(즉, 제 1 메타데이터)가 생성 및 태깅된 이후에 동적 메타데이터(즉, 제 2 메타데이터)를 재생성 및 태깅하는 처리를 반복을 실시한다.
예를 들어, 영상 콘텐츠가 초기 발행된 시간 t1에서 초기 발행 시 발생된 대본, 자막, 협찬 등의 정적 데이터를 기초로 mt1_t1 메타데이터가 생성된다. 이처럼 수집된 정적 데이터를 기초로 토픽 모델을 학습하여 주제 및 주제어를 추출한다.
그리고, 영상 콘텐츠가 발행된 이후에 영상 콘텐츠의 내용과 연관된 SNS, 블로그, 뉴스 등의 외부 데이터(즉, 동적 데이터)가 지속적으로 생성된다. 이렇게 생성된 외부데이터를 1차부터 n차까지 m1_t1 메타데이터를 기초로 지속적으로 추가 수집하고, 수집된 데이터를 외부 데이터 저장소에 저장한다. 이때, 저장된 데이터는 주기적, 비주기적인 시간 간격으로 동적 메타데이터의 재생성 및 태깅 과정에서 반복 사용된다. 메타데이터의 태깅 단위는 에피소드 전체 또는 에피소드의 일부 클립 단위로 가능하며, 에피소드에서 클립 단위를 추출하는 방법은 자동, 반자동, 수동적인 방법 등으로 제한되지 않는다.
영상 콘텐츠가 발행된 시점에 생성된 정적 데이터 기반 토픽 모델을 활용하여 영상 콘텐츠 발행 이후에 생성된 외부 데이터를 활용하여 동적으로 메타데이터를 재생성하며, 재생성된 동적 메타데이터는 시적 정보를 포함한다. 이처럼, 영상 콘텐츠가 초기 편성되어 방영 또는 상영되었을 때의 영상 콘텐츠의 내적인 요소를 기반으로 학습한 토픽 모델이, 영상 콘텐츠가 발행된 이후에 콘텐츠 주제를 넘나드는 다양한 외부 데이터를 활용하여 재학습되어 시적 정보를 포함하는 동적 메타데이터를 생성할 수 있다. 이때, 하나의 영상 콘텐츠를 표현하는 메타데이터가 특정 주제에 한정되었다가 시적 특성에 따라 어떻게 변이되는지 추적하여 그 내용을 분석할 수 있다.
영상 콘텍스트 변이 추적/분석부(170)는 영상 콘텍스트를 영상 콘텐츠를 표현하는 메타데이터로 정의하고, 동적 메타데이터(즉, 제 2 메타데이터)가 재생성될 때 영상 콘텍스트가 시적으로 어떻게 변이하는지 추적한다.
예를 들어, 영상 콘텍스트 변이 추적/분석부(170)는 특정한 주제를 다루었던 드라마 및 다큐멘터리 등의 영상 콘텐츠가 시간의 흐름에 따라 사회적 이슈, 시청자 의견, 배우의 근황에 따라 재해석되어 기존과 배치되는 메타데이터의 내용을 분석하여, 기존의 영상 콘텍스트에서 어떻게 시적으로 변화하고 있는지의 여부를 추적한 추이 분석 리포트로 작성할 수 있다.
이상 도 1 및 도 2에서 설명한 제 1 메타데이터 및 제 2 메타데이터는 별도의 저장 공간인 메타데이터 저장소(미도시)에 저장 및 관리될 수 있다.
이하, 도 3을 참조하여 본 발명의 일 실시예에 따른 영상 콘텐츠 콘텍스트 변이 추적 방법을 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 영상 콘텐츠 콘텍스트 변이 추적 방법을 설명하기 위한 순서도이다.
도 3에 도시한 바와 같이, 먼저 영상 콘텐츠가 초기 발행되면(S310), 영상 콘텐츠에 대해 설정된 정적 데이터를 확인한다(S320).
다음으로, 영상 콘텐츠의 정적 데이터에 기반한 정적 메타데이터를 생성하여 영상 콘텐츠에 태깅한다(S330).
그런 다음, 영상 콘텐츠가 발행된 이후 시간의 흐름에 따라 정적 메타데이터에 기반하여 외부 텍스트 데이터를 반복적으로 수집한다(S340).
다음으로, 외부 텍스트 데이터가 수집되는 시점마다 외부 텍스트 데이터에 기초하여 동적 메타데이터를 재생성하여 영상 콘텐츠에 태깅한다(S350).
다음으로, 재생성된 동적 메타데이터를 주기적 또는 비주기적으로 시적 변이에 따라 추적한다(S360).
그럼 다음, 동적 메타데이터를 시적 변이에 따라 추적한 결과에 기초하여 영상 콘텍스트의 시적 변이를 추적하고 그 결과를 분석하여 추이 분석 리포트를 생성 및 제공한다(S370).
이상에서 설명한 본 발명의 일 실시예에 따른 비정형 빅데이터 처리를 통한 지능형 마케팅 분석 시스템을 통한 그 지능형 마케팅 분석 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 이러한 기록 매체는 컴퓨터 판독 가능 매체로서, 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있으며, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 영상 콘텐츠 콘텍스트 변이 추적 장치
110: 제 1 메타데이터 생성/태깅부
120: 내부 데이터 저장소
130: 외부 데이터 수집부
140: 외부 데이터 저장소
150: 제 2 메타데이터 생성/태깅부
160: 동적 메타데이터 추적부
170: 영상 콘텍스트 변이 추적/분석부

Claims (10)

  1. 동적 메타데이터를 이용한 영상 콘텐츠 콘텍스트 변이 추적 장치에 있어서,
    영상 콘텐츠의 초기 발행 시 보유하고 있던 내부 데이터에 기반하여 정적 메타데이터를 생성하고, 생성된 정적 메타데이터를 상기 영상 콘텐츠에 태깅하는 제 1 메타데이터 생성/태깅부;
    상기 영상 콘텐츠의 발행 이후 생성된 콘텐츠 관련 외부 데이터를 수집하는 외부 데이터 수집부;
    상기 수집된 외부 데이터에 기반하여 상기 영상 콘텐츠에 대한 동적 메타데이터를 생성하고, 생성된 동적 메타데이터를 상기 영상 콘텐츠에 태깅하고, 상기 정적 메타데이터를 생성하도록 모델링된 토픽 모델과 상기 수집된 외부 데이터 및 상기 외부 데이터 별 발행 시간 정보를 결합하여 상기 토픽 모델을 갱신하는 제 2 메타데이터 생성/태깅부;
    상기 동적 메타데이터를 시간의 경과에 따라 반복 재생성 및 태깅되도록 하고, 상기 동적 메타데이터의 내용 변화를 추적하는 동적 메타데이터 추적부; 및
    상기 내용 변화를 추적한 결과에 따른 추이 분석 리포트를 생성 및 제공하는 영상 콘텍스트 변이 추적/분석부를 포함하는, 영상 콘텐츠 콘텍스트 변이 추적 장치.
  2. 제 1 항에 있어서,
    상기 제 1 메타데이터 생성/태깅부 는,
    상기 영상 콘텐츠가 초기 발행된 시점에 기생성된 대본, 자막, 협찬, 스토리 보드 중 적어도 하나를 포함하는 정적 텍스트 데이터에 기반하여 토픽 모델 학습을 통한 주제 및 주제어를 추출하여 상기 정적 메타데이터를 생성하는, 영상 콘텐츠 콘텍스트 변이 추적 장치.
  3. 제 1 항에 있어서,
    상기 외부 데이터 수집부는,
    상기 정적 메타데이터 및 기생성된 동적 메타데이터의 주제 및 주제어를 키워드로 하여 외부 텍스트 데이터를 검색하는, 영상 콘텐츠 콘텍스트 변이 추적 장치.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 동적 메타데이터 추적부는,
    상기 동적 메타데이터의 발행 시간을 결합하여 상기 영상 콘텐츠에 태깅시키는, 영상 콘텐츠 콘텍스트 변이 추적 장치.
  6. 동적 메타데이터를 이용한 영상 콘텐츠 콘텍스트 변이 추적 방법에 있어서,
    (a) 영상 콘텐츠의 초기 발행 시 보유하고 있던 내부 데이터에 기반하여 정적 메타데이터를 생성하고, 생성된 정적 메타데이터를 상기 영상 콘텐츠에 태깅하는 단계;
    (b) 상기 영상 콘텐츠의 발행 이후 생성된 콘텐츠 관련 외부 데이터를 수집하는 단계;
    (c) 상기 수집된 외부 데이터에 기반하여 상기 영상 콘텐츠에 대한 동적 메타데이터를 생성하고, 생성된 동적 메타데이터를 상기 영상 콘텐츠에 태깅하고, 상기 정적 메타데이터를 생성하도록 모델링된 토픽 모델과 상기 수집된 외부 데이터 및 상기 외부 데이터 별 발행 시간 정보를 결합하여 상기 토픽 모델을 갱신하는 단계;
    (d) 상기 동적 메타데이터를 시간의 경과에 따라 반복 재생성 및 태깅되도록 하고, 상기 동적 메타데이터의 내용 변화를 추적하는 단계; 및
    (e) 상기 내용 변화를 추적한 결과에 따른 추이 분석 리포트를 생성 및 제공하는 단계를 포함하는, 영상 콘텐츠 콘텍스트 변이 추적 방법.
  7. 제 6 항에 있어서,
    상기 (a) 단계는,
    상기 영상 콘텐츠가 초기 발행된 시점에 기생성된 대본, 자막, 협찬, 스토리 보드 중 적어도 하나를 포함하는 정적 텍스트 데이터에 기반하여 토픽 모델 학습을 통한 주제 및 주제어를 추출하여 상기 정적 메타데이터를 생성하는, 영상 콘텐츠 콘텍스트 변이 추적 방법.
  8. 제 6 항에 있어서,
    상기 (b) 단계는,
    상기 정적 메타데이터 및 기생성된 동적 메타데이터의 주제 및 주제어를 키워드로 하여 외부 텍스트 데이터를 검색하는, 영상 콘텐츠 콘텍스트 변이 추적 방법.
  9. 삭제
  10. 제 6 항에 있어서,
    상기 (d) 단계는,
    상기 동적 메타데이터의 발행 시간을 결합하여 상기 영상 콘텐츠에 태깅시키는, 영상 콘텐츠 콘텍스트 변이 추적 방법.
KR1020170012415A 2017-01-26 2017-01-26 동적 생성된 메타데이터를 이용한 영상 콘텐츠 콘텍스트 변이 추적 장치 및 방법 Expired - Fee Related KR102024933B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170012415A KR102024933B1 (ko) 2017-01-26 2017-01-26 동적 생성된 메타데이터를 이용한 영상 콘텐츠 콘텍스트 변이 추적 장치 및 방법
US15/820,692 US10433028B2 (en) 2017-01-26 2017-11-22 Apparatus and method for tracking temporal variation of video content context using dynamically generated metadata

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170012415A KR102024933B1 (ko) 2017-01-26 2017-01-26 동적 생성된 메타데이터를 이용한 영상 콘텐츠 콘텍스트 변이 추적 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180087970A KR20180087970A (ko) 2018-08-03
KR102024933B1 true KR102024933B1 (ko) 2019-09-24

Family

ID=62906774

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170012415A Expired - Fee Related KR102024933B1 (ko) 2017-01-26 2017-01-26 동적 생성된 메타데이터를 이용한 영상 콘텐츠 콘텍스트 변이 추적 장치 및 방법

Country Status (2)

Country Link
US (1) US10433028B2 (ko)
KR (1) KR102024933B1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10735688B2 (en) * 2017-07-13 2020-08-04 Samsung Electronics Co., Ltd. Electronics apparatus, display apparatus and control method thereof
US20190147060A1 (en) * 2017-11-10 2019-05-16 R2 Ipr Limited Method for automatic generation of multimedia message
KR102287093B1 (ko) * 2019-11-22 2021-08-09 주식회사 코난테크놀로지 자동 생성된 비디오 메타데이터 검수 방법 및 이를 위한 장치
US11604838B2 (en) * 2020-06-09 2023-03-14 Dell Products L.P. System and method for humanizing metadata for existing customer facing resources
KR102457962B1 (ko) * 2020-10-30 2022-10-24 한국과학기술정보연구원 논문의 메타데이터 추출 방법 및 장치
KR102467096B1 (ko) * 2020-10-30 2022-11-15 한국과학기술정보연구원 논문 메타데이터 영역 분류 모델을 학습하기 위한 데이터셋의 검수 방법 및 장치
CN115514987B (zh) * 2021-06-23 2024-10-18 视见科技(杭州)有限公司 通过使用脚本注释进行自动叙事视频制作的系统和方法
CN114173200B (zh) * 2021-12-06 2022-08-26 江苏省广电有线信息网络股份有限公司镇江分公司 基于广电专网的视频管理推送方法及装置
US20240241979A1 (en) * 2023-01-12 2024-07-18 Vigilant AI Method and System for Processing File Metadata
US20250258859A1 (en) * 2024-02-14 2025-08-14 Dish Network Technologies India Private Limited Content selection using metadata generated utilizing artificial intelligence mechanisms

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009113505A1 (ja) * 2008-03-14 2009-09-17 日本電気株式会社 映像分割装置、方法及びプログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8260764B1 (en) * 2004-03-05 2012-09-04 Open Text S.A. System and method to search and generate reports from semi-structured data
US8141111B2 (en) * 2005-05-23 2012-03-20 Open Text S.A. Movie advertising playback techniques
WO2007076459A2 (en) * 2005-12-21 2007-07-05 Digimarc Corporation Rules driven pan id metadata routing system and network
JP4435750B2 (ja) * 2006-03-30 2010-03-24 株式会社キャタラー 排ガス浄化用触媒及びその製造方法
KR100895293B1 (ko) 2006-09-29 2009-04-29 한국전자통신연구원 영상 콘텐츠 내 디지털 객체의 정보 연동을 위한 사이버태그, 콘텐츠 재생 장치, 방법 및 시스템
US20130166580A1 (en) * 2006-12-13 2013-06-27 Quickplay Media Inc. Media Processor
KR100828166B1 (ko) 2007-06-12 2008-05-08 고려대학교 산학협력단 동영상의 음성 인식과 자막 인식을 통한 메타데이터 추출방법, 메타데이터를 이용한 동영상 탐색 방법 및 이를기록한 기록매체
US7840597B2 (en) * 2008-01-31 2010-11-23 Intuit Inc. Method and apparatus for managing metadata associated with entities in a computing system
KR20090084486A (ko) * 2008-02-01 2009-08-05 삼성전자주식회사 컨텐츠 제공자로부터 컨텐츠 정보를 수집하는 ｉｐｔｖ와상기 컨텐츠 정보를 ｉｐｔｖ에 제공하는 방법 및 시스템
US8589423B2 (en) * 2011-01-18 2013-11-19 Red 5 Studios, Inc. Systems and methods for generating enhanced screenshots
IT1403800B1 (it) * 2011-01-20 2013-10-31 Sisvel Technology Srl Procedimenti e dispositivi per la registrazione e la riproduzione di contenuti multimediali utilizzando metadati dinamici
WO2012153173A2 (en) * 2011-01-29 2012-11-15 Redthorne Media, Llc Feedback oriented private overlay network for content distribution
US20130179789A1 (en) * 2012-01-11 2013-07-11 International Business Machines Corporation Automatic generation of a presentation
US20150187390A1 (en) 2013-12-30 2015-07-02 Lyve Minds, Inc. Video metadata
WO2015162548A1 (en) * 2014-04-22 2015-10-29 Batchu Krishnaiahsetty Sumana An electronic system and method for marking highlights in a multimedia file and manipulating the multimedia file using the highlights
US9912994B2 (en) * 2014-07-03 2018-03-06 Mobiledirect, Inc. Interactive distributed multimedia system
US10402438B2 (en) * 2015-07-20 2019-09-03 Disney Enterprises, Inc. Systems and methods of visualizing multimedia content
KR101924642B1 (ko) 2015-09-01 2019-02-27 한국전자통신연구원 콘텐츠에 토픽을 태깅하는 장치 및 방법
KR101658002B1 (ko) 2015-12-11 2016-09-21 서강대학교산학협력단 동영상 주석 시스템 및 주석 방법
US9830055B2 (en) * 2016-02-16 2017-11-28 Gal EHRLICH Minimally invasive user metadata

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009113505A1 (ja) * 2008-03-14 2009-09-17 日本電気株式会社 映像分割装置、方法及びプログラム

Also Published As

Publication number Publication date
US20180213299A1 (en) 2018-07-26
US10433028B2 (en) 2019-10-01
KR20180087970A (ko) 2018-08-03

Similar Documents

Publication Publication Date Title
KR102024933B1 (ko) 동적 생성된 메타데이터를 이용한 영상 콘텐츠 콘텍스트 변이 추적 장치 및 방법
CN110351578B (zh) 用于根据脚本自动制作视频节目的方法和系统
US9788060B2 (en) Methods and systems for aggregation and organization of multimedia data acquired from a plurality of sources
KR101540686B1 (ko) 동영상의 구간별 댓글과 통계정보 제공 장치 및 그 방법
WO2021120818A1 (en) Methods and systems for managing image collection
JP2011217209A (ja) 電子機器、コンテンツ推薦方法及びプログラム
US20150189402A1 (en) Process for summarising automatically a video content for a user of at least one video service provider in a network
US11621792B2 (en) Real-time automated classification system
CN109564576A (zh) 视频管理系统中的视频片段播放列表生成
CN114845149A (zh) 视频片段的剪辑方法、视频推荐方法、装置、设备及介质
JP2024541832A (ja) ビデオ識別方法及びその装置、コンピュータ機器並びにコンピュータプログラム
KR101412722B1 (ko) 자막 관리방법 및 자막 검색방법
CN113747258B (zh) 一种在线课程视频摘要生成系统和方法
Schmiedeke et al. Overview of mediaeval 2012 genre tagging task
US10372742B2 (en) Apparatus and method for tagging topic to content
Sun et al. Ranking highlights in personal videos by analyzing edited videos
Raimond et al. Using the past to explain the present: interlinking current affairs with archives via the semantic web
Yang et al. Lecture video browsing using multimodal information resources
Steiner et al. Crowdsourcing event detection in YouTube videos 58-67
Kannao et al. A system for semantic segmentation of TV news broadcast videos
Huet et al. Automatic video summarization
Fersini et al. Multimedia summarization in law courts: A clustering-based environment for browsing and consulting judicial folders
CN112866742B (zh) 一种音视频文件管理方法、装置及电子设备
CN113542820B (zh) 一种视频编目方法、系统、电子设备及存储介质
Ng et al. A Video Summarization Method for Movie Trailer-Genre Classification Based on Emotion Analysis

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20240919

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20240919