KR100547370B1 - 객체 형상 정보를 이용한 요약영상 추출 장치 및 그방법과 그를 이용한 동영상 요약 및 색인 시스템 - Google Patents

객체 형상 정보를 이용한 요약영상 추출 장치 및 그방법과 그를 이용한 동영상 요약 및 색인 시스템 Download PDF

Info

Publication number
KR100547370B1
KR100547370B1 KR1020037017274A KR20037017274A KR100547370B1 KR 100547370 B1 KR100547370 B1 KR 100547370B1 KR 1020037017274 A KR1020037017274 A KR 1020037017274A KR 20037017274 A KR20037017274 A KR 20037017274A KR 100547370 B1 KR100547370 B1 KR 100547370B1
Authority
KR
South Korea
Prior art keywords
shape
image
video
extracting
shape information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020037017274A
Other languages
English (en)
Other versions
KR20040016906A (ko
Inventor
이상윤
최영식
이상홍
김해광
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Publication of KR20040016906A publication Critical patent/KR20040016906A/ko
Application granted granted Critical
Publication of KR100547370B1 publication Critical patent/KR100547370B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 객체 형상 정보를 이용한 요약영상 추출 장치 및 그 방법과, 그를 이용한 동영상 요약 및 색인 시스템에 관한 것으로, 카메라의 움직임 또는 객체 자체의 움직임으로 인해 영상 객체의 형상 또는 위치 변화를 표현하는 동영상에서 영상 객체의 일련의 변화하는 형상 및 위치를 추출하고 이를 하나의 영상 프레임으로 대표함으로써, 동영상이 표현하는 객체의 형상 또는 위치 변화를 기술할 수 있어, 동영상에 대한 내용기반 검색을 보다 효율적으로 할 수 있다.
객체 형상 정보, 동영상, 정지영상, 모양정보, 메타데이터

Description

객체 형상 정보를 이용한 요약영상 추출 장치 및 그 방법과 그를 이용한 동영상 요약 및 색인 시스템{APPARATUS AND METHOD FOR ABSTRACTING SUMMARIZATION VIDEO USING SHAPE INFORMATION OF OBJECT, AND VIDEO SUMMARIZATION AND INDEXING SYSTEM AND METHOD USING THE SAME}
본 발명은 하나의 동영상을 대표하는 영상 프레임을 요약정보로서 이용하는 동영상 요약 및 색인 기술 분야에 관한 것으로서, 동영상을 구성하는 각각의 영상 프레임으로부터 영상 객체의 형상 및 위치를 추출하고, 이를 하나의 영상 프레임에 합성함으로써, 하나의 영상 프레임에 영상 객체의 모양 변화를 나타낼 수 있는 객체 형상 정보를 이용한 요약영상 추출장치 및 그 방법과 그를 이용한 동영상 요약 및 색인 시스템과, 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
동영상이 표현하는 객체의 형상(Shape)은 인간의 시각적 인식에 있어서 매우 중요한 특징이다. 일반적으로 동영상의 형상을 나타내는 특징량인 형상 기술자(Shape Descriptor)로는 윤곽 기반 형상 기술자(Contour-Based Shape Descriptor) 및 영역 기반 형상 기술자(Region-Based Descriptor)가 있으며, 이러한 기술자는 이미지 검색을 위한 영역을 기술한다.
종래에는 동영상을 구성하는 영상 프레임을 추출하여 요약정보로서 사용하였다. 영상 프레임을 추출하는 예로서는, 동영상의 첫 번째 영상 프레임 혹은 마지막 영상 프레임을 사용하는 방법 등이 있으며, 동영상의 시간의 흐름에 따른 변화를 나타내기 위하여 하나의 영상 프레임이 아니라 복수개의 영상 프레임을 이용하기도 한다.
그런데, 동영상이 표현하는 객체의 형상 정보와 그 변화는 매우 중요한 요약 정보임에도 불구하고, 종래에는 동영상내의 영상 객체의 움직임이나 모양의 변화 등을 나타낼 수 없었고, 아울러 동영상에 있어서 구성 영상 객체의 변화를 보기 위해서는 동영상 재생장치를 동작시켜야 하므로 복잡한 재생을 위한 처리 및 시간이 요구되었다.
따라서, 영상 객체를 구성하는 모양 정보(객체 형상 정보)를 이용하여 동영상이 표현하는 영상 객체의 변화를 효율적으로 표현하고, 이를 동영상 요약 및 색인 기술, 동영상의 요약 및 메타데이터 추출 등을 위한 동영상 저작도구 제작 등에 사용할 수 있는 방안이 필수적으로 요구된다.
발명의 개시
본 발명은 상기한 바와 같은 요구에 부응하기 위하여 제안된 것으로, 카메라의 움직임 또는 객체 자체의 움직임으로 인해 영상 객체의 형상 또는 위치 변화를 표현하는 동영상에서 영상 객체의 일련의 변화하는 형상 및 위치를 추출하고, 이를 하나의 영상 프레임으로 대표함으로써 동영상이 표현하는 객체의 형상 또는 위치 변화를 기술할 수 있는 객체 형상 정보를 이용한 요약영상 추출 장치 및 그 방법과 그를 이용한 동영상 요약 및 색인 시스템과, 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.
도1은 본 발명의 일실시예에 따른 동영상 요약 및 색인 시스템의 일실시예 구성도.
도2는 본 발명의 일실시예에 따른 상기 도1의 요약영상 추출 장치의 일실시예 구성도.
도3은 본 발명의 일실시예에 따른 요약영상 추출 방법에 대한 일실시예 흐름도.
도4는 본 발명의 실시예에 따른 요약영상 구성 예시도.
본 발명의 일실시예에 따른 기술자는 동영상을 구성하는 개개의 영상 프레임이 표현하는 객체를, 각 영상 프레임에서 당해 객체가 점하는 위치를 그대로 유지한 상태로 중첩시킴으로써 획득되는 형상기반 요약 영상(Shape-sequence image)과 당해 형상기반 요약 영상(Shape-sequence image)의 질감 기술자(Texsture Descriptor)이다.
본 발명의 일실시예에 따른 기술자는 동영상 검색 및 동영상 대 동영상 매칭(Segment to Segment Matching)에 이용될 수 있다.
동영상 대 동영상 매칭(Segment to Segment Matching)은 본 발명의 일실시예에 따라 동영상을 대표하는 질감 기술자(Texsture Descriptor)를 이용하여 본 발명 의 일실시예에 따라 각 동영상을 대표하는 형상기반 요약 영상(Shape-sequence image)간에 유사도 측정-예를 들어 거리 측정-을 수행함으로써 달성될 수 있다.
또한 본 발명의 일실시예에 따라 동영상을 대표하는 형상기반 요약 영상(Shape-sequence image)은 사용자에게 당해 동영상의 내용을 검색하지 않아도 당해 동영상이 표현하는 객체의 전체적인 변화를 인식시킬 수 있다.
본 발명은 동영상을 구성하는 연속된 영상 프레임 각각으로부터 객체의 형상을 추출하여 이진화된 영상으로 변환한 후, 이들을 하나의 영상 프레임에 나타냄으로써 매우 적은 정보량만으로도 동영상을 대표함으로써 동영상의 색인 등에 이용할 수 있다.
즉, 본 발명은 동영상을 구성하는 각각의 영상 프레임으로부터 영상 객체의 모양 정보(객체 형상 정보)를 추출하여, 하나의 영상 프레임에 각 모양 정보를 위치와 모양을 유지하면서 표현함으로써, 하나의 영상 프레임에 동영상이 표현하는 영상 객체의 모양 변화를 나타냄으로써, 매우 적은 정보량과 계산량으로 동영상을 요약 및 색인할 수 있다.
인터넷, 디지털 텔레비젼(TV), DVD(Digital Video Disk), IMT-2000(International Mobile Telecommunication-2000), 초고속 네트워크 등의 발달로서, 동영상 컨텐츠는 교육, 오락, 의료, 과학 등 많은 분야에서, 많은 컨텐츠가 제작되어, 멀티미디어 데이터베이스, 원격감시, 디지털 TV, 인터넷 방송, VOD(Video On Demand) 등의 응용에서 활용되고 있다. 따라서, 본 발명은 사용자가 원하는 동영상 정보를 효율적으로 검색하여 사용하는 기술이 필수적인 이러한 응용 에서 사용될 수 있다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 바람직한 일실시예를 상세히 설명한다.
도1은 본 발명의 일실시예에 따른 동영상 요약 및 색인 시스템의 일실시예 구성도로서, 도면에서 "10"은 동영상 부호화 및 분할기, "20"은 요약영상 추출기, "30"은 메타데이터 추출기, "40"은 영상 데이터베이스, "50"은 결과 표시기, "60"은 요청기, 그리고 "70"은 메타데이터 데이터베이스를 각각 나타낸다.
도1에 도시된 바와 같이, 본 발명의 일실시예에 따른 동영상 요약 및 색인 시스템(동영상 검색 및 스트리밍 시스템)은, 동영상을 부호화하고 분할하기 위한 동영상 부호화 및 분할기(10)와, 부호화 및 분할된 동영상(Video Segment)을 구성하는 연속된 영상 프레임으로부터 형상기반 요약 영상(Shape-sequence image) 프레임을 구성하며, 형상기반 요약 영상(Shape-sequence image) 프레임의 특징을 나타내며 텍스쳐로 표현되는 특징정보(texture descriptor)를 추출하기 위한 요약영상 추출기(20)와, 동영상 부호화 및 분할기(10)에서 부호화 및 분할된 동영상(Video Segment)과 요약영상 추출기(20)에서 추출된 형상기반 요약 영상(Shape-sequence image) 프레임 및 텍스쳐로 표현되는 특징정보(texture descriptor)를 저장하기 위한 영상 데이터베이스(40)와, 영상 데이터베이스(40)에 저장된 부호화 및 분할된 동영상(Video Segment), 형상기반 요약 영상(Shape-sequence image) 프레임, 텍스쳐로 표현되는 특징정보(texture descriptor)로부터 메타데이터를 추출하기 위한 메타데이터 추출기(30)와, 메타데이터 추출기(30)에서 추출된 메타데이터를 저장하기 위한 메타데이터 데이터베이스(70)와, 사용자로부터 영상에 관한 질의를 입력받아 질의를 분석하는 요청기(60)와, 요청기(60)에 의해 분석된 질의에 해당하는 부호화 및 분할된 동영상(Video Segment), 형상기반 요약 영상(Shape-sequence image) 프레임, 텍스쳐로 표현되는 특징정보(texture descriptor), 메타데이터를 영상 데이터베이스(40) 및 메타데이터 데이터베이스(70)에서 독취하여 해당 결과를 검색 사용자에게 보여주는 결과 표시기(50)를 포함한다.
상기 부호화 및 분할된 동영상(Video Segment), 형상기반 요약 영상(Shape-sequence image) 프레임, 텍스쳐로 표현되는 특징정보(texture descriptor), 메타데이터는 독립적으로 사용자에게 제공될 수 있다.
상기한 바와 같은 구성을 갖는 본 발명의 일실시예에 따른 동영상 요약 및 색인 시스템의 동작을 살펴보면 다음과 같다.
입력된 동영상은 동영상 부호화 및 분할기(10)에서 부호화되고 분할되어, 영상 데이터베이스(40)에 저장된다. 그리고, 분할된 동영상(Video Segment)은 요약영상 추출기(20)로 보내진다. 그러면, 요약영상 추출기(20)는 형상기반 요약영상을 구성한다. 이때, 요약영상 추출기(20)에서 추출된 분할 동영상의 요약 영상 프레임은 영상 데이터베이스(40)에 저장된다.
한편, 메타데이터 추출기(30)는 영상 데이터베이스(40)에 저장된 동영상, 요약 영상 프레임으로부터 메타데이터를 추출하여 메타데이터 데이터베이스(70)에 저장한다.
이후에, 동영상 요약 및 색인 시스템(동영상 검색 및 스트리밍 시스템)은 사용자로부터 사용자 요청기(60)를 통해 사용자가 원하는 동영상에 관한 질의를 받아들여 처리하고, 그 결과(사용자가 원하는 정보)를 결과 표시기(50)에 보여준다. 즉, 사용자가 요약정보를 요구하면, 영상 데이터베이스(40)로부터 추출된 요약 영상 프레임을 사용자에게 보내주며, 사용자의 요청에 따라 메타데이터 데이터베이스(70)를 통한 검색서비스, 동영상 스트리밍 서비스 등을 제공한다.
도2는 본 발명의 일실시예에 따른 상기 도1의 요약영상 추출 장치의 일실시예 구성도로서, 도면에서 "21"은 객체 형상 추출기, "22"는 요약영상 구성기, 그리고 "23"은 특징정보 추출기를 각각 나타낸다.
도2에 도시된 바와 같이, 상기 도1의 요약영상 추출기(20)는, 부호화 및 분할된 동영상(Video Segment)을 구성하는 연속된 영상프레임 각각에서 객체의 형상을 추출하기 위한 객체 형상 추출기(21)와, 객체 형상 추출기(21)수단에서 추출된 형상 정보를 이용하여 형상기반 요약 영상(Shape-sequence image) 프레임을 하기의 (수학식 1)에 의해 구성하여 영상 데이터베이스(40)에 저장하는 요약 영상 구성기(22)와, 내용기반의 영상 검색을 위하여, 요약 영상 구성기(22)에서 전달된 형상기반 요약 영상(Shape-sequence image) 프레임에서, 형상기반 요약 영상(Shape-sequence image) 프레임의 특징을 나타내며 텍스쳐로 표현되는 특징정보(texture descriptor)를 추출하여 영상 데이터베이스(40)에 저장하는 특징정보 추출기(23)를 포함한다.
객체 형상 추출기(21)는 분할된 동영상(Video Segment)을 구성하는 연속된 영상 프레임 각각으로부터 객체의 형상을 추출한다. 여기에서는 영상 프레임으로부터 객체의 형상을 추출하는 모든 알고리즘이 사용될 수 있다. 예를 들면, 배경색이 영상객체의 색과 분리되는 동영상인 경우, 간단한 "Chroma-Key" 기반 알고리즘을 사용할 수 있다.
추출된 객체 형상의 화소의 정보는 이진정보로서, 객체를 나타내는 값과 그 외의 영역인 백그라운드를 나타내는 값으로 표현된다.
요약영상 구성기(22)는 추출된 형상 정보를 이용하여 요약 영상 프레임을 구성 한다.
분할된 동영상(Video Segment)을 구성하는 i번째 영상 프레임으로부터 추출한 이진 형상 정보를 Si라고 할 때, 분할된 동영상(Video Segment)으로부터, ＜S1, S2, ..., Sn＞의 n개의 일련의 이진 형상 정보가 추출된다. 요약 영상 프레임의 수평위치 x, 수직위치 y의 픽셀 P(x,y)의 값은 상기 n개의 이진 형상 정보인 픽셀값 Si(x,y)로부터, 하기의 (수학식 1)에 의해 구해질 수 있다. 여기서 "｜는 논리적 or를 의미한다.
[수학식 1]
P(x,y) = S1(x,y)｜S2(x,y)｜...｜Sn(x,y)
상기 수학식1과 같이 각 영상 객체를 중첩시키는 과정에서 각 영상 객체는 원래의 위치를 유지한다. 따라서 상기 수학식1과 같이 각 영상 객체를 중첩시키는 과정에서 각 영상 객체의 원래 위치를 유지시키기 위해 각 영상 객체의 이진 형상 정보가 추출되는 과정에서 각 영상 객체의 중심 위치 정보도 함께 추출되어 상기 중첩 과정에서 이용될 수 있다.
위치 정보는 영상 객체를 포함하는 가장 작은 폐곡선(Tightest Bounding Box of the Shape)의 중심점으로부터 얻어질 수 있다.
한편, 상기 수학식1과 같이 각 영상 객체를 중첩시키는 과정에서 형상기반 요약 영상(Shape-sequence image) 프레임에 이미지가 모두 채워지는 것을 방지하기 위해, 중첩되는 영상 프레임의 개수 n은 소정 수 이내로 제한될 수 있다.
형상기반 요약 영상(Shape-sequence image) 프레임을 생성하기 위해 동영상으로부터 영상 프레임을 n개 선택하는 방법은 다양하다. 예를 들어 MPEG-7 형상 기술자(Shape Descriptor)로 형상 거리(Shpae Distance)를 측정하여, 이웃하는 영상 프레임과 가장 차별되는 영상 프레임으로 n개의 영상 프레임을 선택할 수 있다. 또한, 동일한 시간적 간격을 유지시키기 위해 고정된 간격을 주기로 하여 선택되는 영상 프레임으로 n개의 영상 프레임을 구성할 수 있다.
상기 수학식1에 의해 각 영상 객체를 중첩시킴으로써 생성되는 형상기반 요약 영상(Shape-sequence image) 정보는 당해 동영상이 표현하는 영상 객체의 형상 및 위치의 변화에 대한 궤적 정보를 포함한다.
형상기반 요약 영상(Shape-sequence image)을 구성하는 객체의 픽셀값으로서 당해 객체의 영상 프레임 번호를 사용하게 되면, 형상기반 요약 영상(Shape-sequence image)으로부터 특정 객체를 추출할 수도 있다.
상기 수학식1에 의해 각 영상 객체를 중첩시킴으로써 생성된 형상기반 요약 영상(Shape-sequence image)은 소정의 크기로 정규화될 수 있다.
특징정보 추출기(23)는 요약 영상 프레임의 특징을 나타내는 기술자(Descriptor)를 추출한다. 요약 영상은 영상 프레임으로서, 모양과 질감 등의 특징을 나타내는 기존의 다양한 기술자 추출 방법들로부터 다양한 형태의 기술자가 추출될 수 있다. 이때, 추출된 기술자는 영상 데이터베이스(40)에 저장되어, 내용기반 동영상 검색에서 특징벡터로 이용될 수 있다.
도3은 본 발명의 일실시예에 따른 요약영상 추출 방법에 대한 일실시예 흐름도이다. 도3에 도시된 바와 같이, 본 발명의 일실시예에 따른 요약영상 추출 방법은, 먼저 부호화 및 분할된 동영상(Video Segment)을 구성하는 연속된 영상 프레임 각각으로부터(301), 객체의 형상을 추출한다(302).
이후, 추출된 객체 형상 정보를 이용하여 형상기반 요약 영상(Shape-sequence image) 프레임을 상기 (수학식 1)에 의해 구성한다(303). 이때의 요약 영상 프레임은 영상 데이터베이스(40)에 저장된다.
다음으로, 내용기반의 영상 검색을 위하여, 형상기반 요약 영상(Shape-sequence image) 프레임에서, 형상기반 요약 영상(Shape-sequence image) 프레임의 특징을 나타내며 텍스쳐로 표현되는 특징정보(texture descriptor)를 추출한다(304). 이때의 텍스쳐로 표현되는 특징정보(texture descriptor) 역시 영상 데이터베이스(40)에 저장된다.
도4는 요약영상의 예를 보여주고 있다.
요약영상으로 대표되는 분할된 동영상(Video Segment)은 4개의 연속된 영상 프레임(영상1, 영상2, 영상3 및 영상4)으로 구성되어 있고, 각 영상 프레임이 표현 하는 영상 객체인 타원(영상1 형상, 영상2 형상, 영상3 형상, 영상4 형상)의 형상과 위치가 변화하고 있다.
전술한 바와 같이 동영상을 구성하는 영상 프레임 각각으로부터 영상객체의 일련의 형상 정보 및 위치 정보를 추출하여, 요약 영상 프레임에 각 형상 정보 및 위치 정보를(각 영상 객체의 형상과 모양을 유지하면서) 합성하여 표시하고 있다.
결과적으로, 요약 영상 프레임 하나에 동영상이 표현하는 영상객체의 변화하는 형상 정보를 담고 있다(4a).
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
상기한 바와 같은 본 발명은, 종래의 대표 영상 프레임에 의한 요약기술이 제공하지 못했던 하나의 영상 프레임에 영상객체의 모양과 위치의 변화를 포함하고 있어, 사용자에 의한 동영상 검색을 보다 효과적이면서 효율적으로 할 수 있게 하는 효과가 있다.
또한, 본 발명은 요약 영상 프레임에 질감 특징 기술자를 추출하여 동영상에 대한 내용기반 검색을 효율적으로 제공할 수 있는 효과가 있다.
또한, 본 발명은 동영상 컨텐츠에 관련한 멀티미디어 데이터베이스, 원격감시, 디지털 TV, 인터넷 방송, VOD(Video On Demand) 등의 시스템 및 응용에서 사용자가 보다 효율적으로 사용할 수 있는 기능을 제공해 주는 효과가 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

Claims (17)

  1. 동영상 요약 및 색인 시스템에 있어서,
    동영상을 부호화하고 분할하기 위한 동영상 부호화 및 분할수단;
    부호화 및 분할된 동영상(Video Segment)을 구성하는 연속된 영상에서 형상기반 요약 영상(Shape-sequence image) 프레임을 구성하는 요약영상 추출수단;
    상기 동영상 부호화 및 분할수단에서 부호화 및 분할된 동영상(Video Segment)과 상기 요약영상 추출수단에서 추출된 형상기반 요약 영상(Shape-sequence image) 프레임을 저장하기 위한 영상 저장수단:
    사용자로부터 영상에 관한 질의를 입력받아 질의를 분석하는 질의분석수단;
    상기 질의분석수단에 의해 분석된 질의에 해당하는 부호화 및 분할된 동영상(Video Segment), 형상기반 요약 영상(Shape-sequence image) 프레임을 상기 영상 저장수단에서 독취하여 해당 결과를 검색 사용자에게 보여주는 결과표시수단
    을 포함하는 객체 형상 정보를 이용한 동영상 요약 및 색인 시스템.
  2. 제1항에 있어서,
    상기 영상 저장수단에 저장된 부호화 및 분할된 동영상(Video Segment), 형상기반 요약 영상(Shape-sequence image) 프레임으로부터 메타데이터를 추출하기 위한 메타데이터 추출수단; 및
    상기 메타데이터 추출수단에서 추출된 메타데이터를 저장하기 위한 메타데이 터 저장수단
    을 더 포함하는 객체 형상 정보를 이용한 동영상 요약 및 색인 시스템.
  3. 제2항에 있어서,
    상기 결과표시수단은,
    상기 질의분석수단에 의해 분석된 질의에 해당하는 부호화 및 분할된 동영상(Video Segment), 형상기반 요약 영상(Shape-sequence image) 프레임, 메타데이터를 상기 영상 저장수단 및 상기 메타데이터 저장수단에서 독취하여 해당 결과를 검색 사용자에게 보여주는 것을 특징으로 하는 객체 형상 정보를 이용한 영상 요약 및 색인 시스템.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 요약영상 추출수단은,
    부호화 및 분할된 동영상(Video Segment)을 구성하는 연속된 영상에서 형상기반 요약 영상(Shape-sequence image) 프레임을 구성하며, 형상기반 요약 영상(Shape-sequence image) 프레임의 특징을 나타내며 텍스쳐로 표현되는 특징정보(texture descriptor)를 추출하는 것을 특징으로 하는 객체 형상 정보를 이용한 영상 요약 및 색인 시스템.
  5. 제 4 항에 있어서,
    상기 영상 저장수단은,
    상기 동영상 부호화 및 분할수단에서 부호화 및 분할된 동영상(Video Segment)과 상기 요약영상 추출수단에서 추출된 형상기반 요약 영상(Shape-sequence image) 프레임 및 텍스쳐로 표현되는 특징정보(texture descriptor)를 저장하는 것을 특징으로 하는 객체 형상 정보를 이용한 영상 요약 및 색인 시스템.
  6. 제 5 항에 있어서,
    상기 결과표시수단은,
    상기 질의분석수단에 의해 분석된 질의에 해당하는 부호화 및 분할된 동영상(Video Segment), 형상기반 요약 영상(Shape-sequence image) 프레임, 텍스쳐로 표현되는 특징정보(texture descriptor), 메타데이터를 상기 영상 저장수단 및 상기 메타데이터 저장수단에서 독취하여 해당 결과를 검색 사용자에게 보여주는 것을 특징으로 하는 객체 형상 정보를 이용한 영상 요약 및 색인 시스템.
  7. 동영상 요약 및 색인 시스템에 있어서,
    동영상을 부호화하고 분할하기 위한 동영상 부호화 및 분할수단;
    부호화 및 분할된 동영상(Video Segment)을 구성하는 연속된 영상에서 형상기반 요약 영상(Shape-sequence image) 프레임을 구성하며, 형상기반 요약 영상(Shape-sequence image) 프레임의 특징을 나타내며 텍스쳐로 표현되는 특징정보(texture descriptor)를 추출하기 위한 요약영상 추출수단;
    상기 동영상 부호화 및 분할수단에서 부호화 및 분할된 동영상(Video Segment)과 상기 요약영상 추출수단에서 추출된 형상기반 요약 영상(Shape-sequence image) 프레임 및 텍스쳐로 표현되는 특징정보(texture descriptor)를 저장하기 위한 영상 저장수단;
    상기 영상 저장수단에 저장된 부호화 및 분할된 동영상(Video Segment), 형상기반 요약 영상(Shape-sequence image) 프레임, 텍스쳐로 표현되는 특징정보(texture descriptor)로부터 메타데이터를 추출하기 위한 메타데이터 추출수단;
    상기 메타데이터 추출수단에서 추출된 메타데이터를 저장하기 위한 메타데이터 저장수단;
    사용자로부터 영상에 관한 질의를 입력받아 질의를 분석하는 질의분석수단; 및
    상기 질의분석수단에 의해 분석된 질의에 해당하는 부호화 및 분할된 동영상(Video Segment), 형상기반 요약 영상(Shape-sequence image) 프레임, 텍스쳐로 표현되는 특징정보(texture descriptor), 메타데이터를 상기 영상 저장수단 및 상기 메타데이터 저장수단에서 독취하여 해당 결과를 검색 사용자에게 보여주는 결과표시수단
    을 포함하는 객체 형상 정보를 이용한 영상 요약 및 색인 시스템.
  8. 제 7 항에 있어서,
    상기 요약영상 추출수단은,
    부호화 및 분할된 동영상(Video Segment)을 구성하는 연속된 영상에서 객체의 형상을 추출하기 위한 객체 형상 추출수단; 및
    상기 객체 형상 추출수단에서 추출된 형상 정보를 이용하여 형상기반 요약 영상(Shape-sequence image) 프레임을 하기의 수학식에 의해 구성하여 상기 영상 저장수단에 저장하는 요약 영상 구성수단
    을 포함하는 객체 형상 정보를 이용한 영상 요약 및 색인 시스템.
    P(x,y) = S1(x,y)｜S2(x,y)｜...｜Sn(x,y)
    (단, Si는 분할된 동영상(Video Segment)의 i번째 이진 형상 정보, P(x,y)는 요약 영상 프레임의 수평위치 x, 수직위치 y의 픽셀값, Si(x,y)는 같은 위치의 이진 형상 정보의 픽셀값, ｜는 논리적 or임)
  9. 제 8 항에 있어서,
    상기 요약영상 추출수단은,
    내용기반의 영상 검색을 위하여, 상기 요약 영상 구성수단에서 전달된 형상기반 요약 영상(Shape-sequence image) 프레임에서, 형상기반 요약 영상(Shape-sequence image) 프레임의 특징을 나타내며 텍스쳐로 표현되는 특징정보(texture descriptor)를 추출하여 상기 영상 저장수단에 저장하는 특징정보 추출수단
    을 더 포함하는 객체 형상 정보를 이용한 영상 요약 및 색인 시스템.
  10. 요약영상 추출 장치에 있어서,
    부호화 및 분할된 동영상(Video Segment)을 구성하는 연속된 영상에서 객체의 형상을 추출하기 위한 객체 형상 추출수단; 및
    상기 객체 형상 추출수단에서 추출된 형상 정보를 이용하여 형상기반 요약 영상(Shape-sequence image) 프레임을 하기의 수학식에 의해 구성하기 위한 요약 영상 구성수단
    을 포함하는 객체 형상 정보를 이용한 요약영상 추출 장치.
    P(x,y) = S1(x,y)｜S2(x,y)｜...｜Sn(x,y)
    (단, Si는 분할된 동영상(Video Segment)의 i번째 이진 형상 정보, P(x,y)는 요약 영상 프레임의 수평위치 x, 수직위치 y의 픽셀값, Si(x,y)는 같은 위치의 이진 형상 정보의 픽셀값, ｜는 논리적 or임)
  11. 제10항에 있어서,
    내용기반의 영상 검색을 위하여, 형상기반 요약 영상(Shape-sequence image) 프레임에서, 형상기반 요약 영상(Shape-sequence image) 프레임의 특징을 나타내며 텍스쳐로 표현되는 특징정보(texture descriptor)를 추출하기 위한 특징정보 추출수단
    을 더 포함하는 객체 형상 정보를 이용한 요약영상 추출 장치.
  12. 제 10 항 또는 제 11 항에 있어서,
    상기 형상 정보는,
    이진 정보로서, 형상의 윤곽인지 그외 영역인지를 나타내는 형상의 화소 정보인 것을 특징으로 하는 객체 형상 정보를 이용한 요약영상 추출 장치.
  13. 요약영상 추출 장치에 적용되는 요약영상 추출 방법에 있어서,
    부호화 및 분할된 동영상(Video Segment)을 구성하는 연속된 영상에서 객체의 형상을 추출하는 제1단계; 및
    추출된 형상 정보를 이용하여 형상기반 요약 영상(Shape-sequence image) 프레임을 하기의 수학식에 의해 구성하는 제2단계
    를 포함하는 객체 형상 정보를 이용한 요약영상 추출 방법.
    P(x,y) = S1(x,y)｜S2(x,y)｜...｜Sn(x,y)
    (단, Si는 분할된 동영상(Video Segment)의 i번째 이진 형상 정보, P(x,y)는 요약 영상 프레임의 수평위치 x, 수직위치 y의 픽셀값, Si(x,y)는 같은 위치의 이진 형상 정보의 픽셀값, ｜는 논리적 or임)
  14. 제 13 항에 있어서,
    내용기반의 영상 검색을 위하여, 형상기반 요약 영상(Shape-sequence image) 프레임에서, 형상기반 요약 영상(Shape-sequence image) 프레임의 특징을 나타내며 텍스쳐로 표현되는 특징정보(texture descriptor)를 추출하는 제3단계
    더 포함하는 객체 형상 정보를 이용한 요약영상 추출 방법.
  15. 제 13 항 또는 제 14 항에 있어서,
    상기 형상 정보는,
    이진 정보로서, 형상의 윤곽인지 그외 영역인지를 나타내는 형상의 화소 정보인 것을 특징으로 하는 객체 형상 정보를 이용한 요약영상 추출 방법.
  16. 프로세서를 구비한 요약영상 추출 장치에,
    부호화 및 분할된 동영상(Video Segment)을 구성하는 연속된 영상에서 객체의 형상을 추출하는 제1기능; 및
    추출된 형상 정보를 이용하여 형상기반 요약 영상(Shape-sequence image) 프레임을 하기의 수학식에 의해 구성하는 제2기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
    P(x,y) = S1(x,y)｜S2(x,y)｜...｜Sn(x,y)
    (단, Si는 분할된 동영상(Video Segment)의 i번째 이진 형상 정보, P(x,y)는 요약 영상 프레임의 수평위치 x, 수직위치 y의 픽셀값, Si(x,y)는 같은 위치의 이진 형상 정보의 픽셀값, ｜는 논리적 or임)
  17. 제 16 항에 있어서,
    내용기반의 영상 검색을 위하여, 형상기반 요약 영상(Shape-sequence image) 프레임에서, 형상기반 요약 영상(Shape-sequence image) 프레임의 특징을 나타내며 텍스쳐로 표현되는 특징정보(texture descriptor)를 추출하는 제3기능
    을 더 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020037017274A 2001-06-30 2002-06-29 객체 형상 정보를 이용한 요약영상 추출 장치 및 그방법과 그를 이용한 동영상 요약 및 색인 시스템 Expired - Fee Related KR100547370B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20010039139 2001-06-30
KR1020010039139 2001-06-30

Publications (2)

Publication Number Publication Date
KR20040016906A KR20040016906A (ko) 2004-02-25
KR100547370B1 true KR100547370B1 (ko) 2006-01-26

Family

ID=19711655

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020037017274A Expired - Fee Related KR100547370B1 (ko) 2001-06-30 2002-06-29 객체 형상 정보를 이용한 요약영상 추출 장치 및 그방법과 그를 이용한 동영상 요약 및 색인 시스템

Country Status (4)

Country Link
US (1) US20040207656A1 (ko)
JP (1) JP2005517319A (ko)
KR (1) KR100547370B1 (ko)
WO (1) WO2003005239A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150053162A (ko) 2013-11-07 2015-05-15 삼성테크윈 주식회사 검색 시스템 및 영상 검색 방법
KR20160097870A (ko) 2015-02-10 2016-08-18 한화테크윈 주식회사 요약 영상 브라우징 시스템 및 방법
US9426411B2 (en) 2012-11-12 2016-08-23 Electronics And Telecommunications Research Institute Method and apparatus for generating summarized information, and server for the same
US10032483B2 (en) 2014-01-14 2018-07-24 Hanwha Techwin Co., Ltd. Summary image browsing system and method
US11302361B2 (en) 2019-12-23 2022-04-12 Samsung Electronics Co., Ltd. Apparatus for video searching using multi-modal criteria and method thereof

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100876280B1 (ko) 2001-12-31 2008-12-26 주식회사 케이티 통계적 모양기술자 추출 장치 및 그 방법과 이를 이용한 동영상 색인 시스템
US20050091279A1 (en) * 2003-09-29 2005-04-28 Rising Hawley K.Iii Use of transform technology in construction of semantic descriptions
KR100617098B1 (ko) * 2005-01-17 2006-08-31 엘지전자 주식회사 휴대폰용 동영상 인덱싱 및 검색 방법과 그를 위한 시스템
KR100679124B1 (ko) 2005-01-27 2007-02-05 한양대학교 산학협력단 이미지 시퀀스 데이터 검색을 위한 정보 요소 추출 방법및 그 방법을 기록한 기록매체
KR100681017B1 (ko) * 2005-02-15 2007-02-09 엘지전자 주식회사 동영상의 요약 제공이 가능한 이동통신 단말기 및 이를 이용한 요약 제공 방법
WO2007127695A2 (en) 2006-04-25 2007-11-08 Elmo Weber Frank Prefernce based automatic media summarization
US8000533B2 (en) 2006-11-14 2011-08-16 Microsoft Corporation Space-time video montage
TWI588778B (zh) * 2012-01-17 2017-06-21 國立臺灣科技大學 動作辨識方法
KR101289085B1 (ko) * 2012-12-12 2013-07-30 오드컨셉 주식회사 객체 기반 영상 검색시스템 및 검색방법
CN105554456B (zh) * 2015-12-21 2018-11-23 北京旷视科技有限公司 视频处理方法和设备
CN105718597A (zh) * 2016-03-04 2016-06-29 北京邮电大学 一种数据检索方法及系统
KR102556393B1 (ko) 2016-06-30 2023-07-14 주식회사 케이티 영상 축약 시스템 및 방법
KR102618404B1 (ko) 2016-06-30 2023-12-26 주식회사 케이티 영상 축약 시스템 및 방법
KR101805018B1 (ko) * 2016-07-08 2017-12-06 한양대학교 산학협력단 컴팩트 비디오 생성 장치, 방법 및 컴퓨터 프로그램이 기록된 기록매체
EP3535974A1 (en) * 2016-12-08 2019-09-11 Zhejiang Dahua Technology Co., Ltd Methods and systems for video synopsis
CN108012202B (zh) * 2017-12-15 2020-02-14 浙江大华技术股份有限公司 视频浓缩方法、设备、计算机可读存储介质及计算机装置
US10885436B1 (en) * 2020-05-07 2021-01-05 Google Llc Training text summarization neural networks with an extracted segments prediction objective

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07274180A (ja) * 1994-03-31 1995-10-20 Toshiba Corp 映像信号符号化方法、映像信号復号方法、映像信号符号化装置及び映像信号復号装置
JP3432348B2 (ja) * 1996-01-30 2003-08-04 三菱電機株式会社 代表画像表示方法、代表画像表示装置およびこの装置を用いた動画検索装置
US5970504A (en) * 1996-01-31 1999-10-19 Mitsubishi Denki Kabushiki Kaisha Moving image anchoring apparatus and hypermedia apparatus which estimate the movement of an anchor based on the movement of the object with which the anchor is associated
US6956573B1 (en) * 1996-11-15 2005-10-18 Sarnoff Corporation Method and apparatus for efficiently representing storing and accessing video information
US5956026A (en) * 1997-12-19 1999-09-21 Sharp Laboratories Of America, Inc. Method for hierarchical summarization and browsing of digital video
KR100305591B1 (ko) * 1998-07-22 2001-11-30 오길록 관절점기반동작정보를사용한동영상검색방법
US6618507B1 (en) * 1999-01-25 2003-09-09 Mitsubishi Electric Research Laboratories, Inc Methods of feature extraction of video sequences
US6819797B1 (en) * 1999-01-29 2004-11-16 International Business Machines Corporation Method and apparatus for classifying and querying temporal and spatial information in video
US6597738B1 (en) * 1999-02-01 2003-07-22 Hyundai Curitel, Inc. Motion descriptor generating apparatus by using accumulated motion histogram and a method therefor
GB2349493B (en) * 1999-04-29 2002-10-30 Mitsubishi Electric Inf Tech Method of representing an object using shape
KR100340030B1 (ko) * 1999-10-14 2002-06-12 이계철 대표이미지를 이용한 요약비디오 생성 시스템 및 그 방법
US6665423B1 (en) * 2000-01-27 2003-12-16 Eastman Kodak Company Method and system for object-oriented motion-based video description
KR20000054561A (ko) * 2000-06-12 2000-09-05 박성환 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오검색 시스템 및 그 운영방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9426411B2 (en) 2012-11-12 2016-08-23 Electronics And Telecommunications Research Institute Method and apparatus for generating summarized information, and server for the same
KR20150053162A (ko) 2013-11-07 2015-05-15 삼성테크윈 주식회사 검색 시스템 및 영상 검색 방법
US9792362B2 (en) 2013-11-07 2017-10-17 Hanwha Techwin Co., Ltd. Video search system and method
US10032483B2 (en) 2014-01-14 2018-07-24 Hanwha Techwin Co., Ltd. Summary image browsing system and method
KR20160097870A (ko) 2015-02-10 2016-08-18 한화테크윈 주식회사 요약 영상 브라우징 시스템 및 방법
KR20220031599A (ko) 2015-02-10 2022-03-11 한화테크윈 주식회사 요약 영상 브라우징 시스템 및 방법
US11302361B2 (en) 2019-12-23 2022-04-12 Samsung Electronics Co., Ltd. Apparatus for video searching using multi-modal criteria and method thereof

Also Published As

Publication number Publication date
KR20040016906A (ko) 2004-02-25
JP2005517319A (ja) 2005-06-09
US20040207656A1 (en) 2004-10-21
WO2003005239A1 (en) 2003-01-16

Similar Documents

Publication Publication Date Title
KR100547370B1 (ko) 객체 형상 정보를 이용한 요약영상 추출 장치 및 그방법과 그를 이용한 동영상 요약 및 색인 시스템
Yeung et al. Video browsing using clustering and scene transitions on compressed sequences
JP5005154B2 (ja) 記憶媒体上に記憶された情報信号を再生する装置
US5821945A (en) Method and apparatus for video browsing based on content and structure
Zhang et al. Content-based video retrieval and compression: A unified solution
JP3568117B2 (ja) ビデオ画像の分割、分類、および要約のための方法およびシステム
US5708767A (en) Method and apparatus for video browsing based on content and structure
KR101033866B1 (ko) 화상 검색 방법, 화상 특징량 부호화 방법 및 화상 특징량복호 방법
TWI510064B (zh) 視訊推薦系統及其方法
CN101038592B (zh) 表示图像组的方法和装置
US7487524B2 (en) Method and apparatus for presenting content of images
KR20030026529A (ko) 키프레임 기반 비디오 요약 시스템
KR20000009742A (ko) 동영상에서의 특정인물 등장구간 검색 시스템
JP2001503895A (ja) ビデオ情報を効果的に表示、保存、およびアクセスするための方法および装置
Pingali et al. Instantly indexed multimedia databases of real world events
JP2000516435A (ja) 可視索引付けシステムのための重要情景検出及びフレームフィルタリング
JP2007200249A (ja) 映像検索方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
TW200951832A (en) Universal lookup of video-related data
Liu et al. Rule-based semantic summarization of instructional videos
CN110933520A (zh) 一种基于螺旋摘要的监控视频展示方法及存储介质
JP2002513487A (ja) オブジェクト指向コンテンツに基づくビデオ・サーチ用のアルゴリズム及びシステム
Ferreira et al. Towards key-frame extraction methods for 3D video: a review
Widiarto et al. Video summarization using a key frame selection based on shot segmentation
Han et al. Real-time video content analysis tool for consumer media storage system
JP3802964B2 (ja) 映像編集システムおよび動画像分割方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

Fee payment year number: 1

St.27 status event code: A-2-2-U10-U12-oth-PR1002

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

L13-X000 Limitation or reissue of ip right requested

St.27 status event code: A-2-3-L10-L13-lim-X000

U15-X000 Partial renewal or maintenance fee paid modifying the ip right scope

St.27 status event code: A-4-4-U10-U15-oth-X000

PR1001 Payment of annual fee

Fee payment year number: 4

St.27 status event code: A-4-4-U10-U11-oth-PR1001

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

Fee payment year number: 5

St.27 status event code: A-4-4-U10-U11-oth-PR1001

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

St.27 status event code: A-5-5-R10-R13-asn-PN2301

PR1001 Payment of annual fee

Fee payment year number: 6

St.27 status event code: A-4-4-U10-U11-oth-PR1001

PR1001 Payment of annual fee

Fee payment year number: 7

St.27 status event code: A-4-4-U10-U11-oth-PR1001

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20130107

Year of fee payment: 8

PR1001 Payment of annual fee

Fee payment year number: 8

St.27 status event code: A-4-4-U10-U11-oth-PR1001

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20140106

Year of fee payment: 9

PR1001 Payment of annual fee

Fee payment year number: 9

St.27 status event code: A-4-4-U10-U11-oth-PR1001

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20150105

Year of fee payment: 10

PR1001 Payment of annual fee

Fee payment year number: 10

St.27 status event code: A-4-4-U10-U11-oth-PR1001

FPAY Annual fee payment

Payment date: 20160107

Year of fee payment: 11

PR1001 Payment of annual fee

Fee payment year number: 11

St.27 status event code: A-4-4-U10-U11-oth-PR1001

FPAY Annual fee payment

Payment date: 20170104

Year of fee payment: 12

PR1001 Payment of annual fee

Fee payment year number: 12

St.27 status event code: A-4-4-U10-U11-oth-PR1001

FPAY Annual fee payment

Payment date: 20180102

Year of fee payment: 13

PR1001 Payment of annual fee

Fee payment year number: 13

St.27 status event code: A-4-4-U10-U11-oth-PR1001

FPAY Annual fee payment

Payment date: 20181227

Year of fee payment: 14

PR1001 Payment of annual fee

Fee payment year number: 14

St.27 status event code: A-4-4-U10-U11-oth-PR1001

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 15

PR1001 Payment of annual fee

Fee payment year number: 15

St.27 status event code: A-4-4-U10-U11-oth-PR1001

PR1001 Payment of annual fee

Fee payment year number: 16

St.27 status event code: A-4-4-U10-U11-oth-PR1001

PC1903 Unpaid annual fee

Not in force date: 20220121

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

St.27 status event code: A-4-4-U10-U13-oth-PC1903

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PC1903 Unpaid annual fee

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20220121

St.27 status event code: N-4-6-H10-H13-oth-PC1903

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000