KR20010001198A - Video browsing system based on event - Google Patents

Video browsing system based on event Download PDF

Info

Publication number
KR20010001198A
KR20010001198A KR1019990020264A KR19990020264A KR20010001198A KR 20010001198 A KR20010001198 A KR 20010001198A KR 1019990020264 A KR1019990020264 A KR 1019990020264A KR 19990020264 A KR19990020264 A KR 19990020264A KR 20010001198 A KR20010001198 A KR 20010001198A
Authority
KR
South Korea
Prior art keywords
event
video
place
person
browsing system
Prior art date
Application number
KR1019990020264A
Other languages
Korean (ko)
Other versions
KR100518861B1 (en
Inventor
이진수
Original Assignee
구자홍
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구자홍, 엘지전자 주식회사 filed Critical 구자홍
Priority to KR19990020264A priority Critical patent/KR100518861B1/en
Publication of KR20010001198A publication Critical patent/KR20010001198A/en
Application granted granted Critical
Publication of KR100518861B1 publication Critical patent/KR100518861B1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G06F16/745—Browsing; Visualisation therefor the internal structure of a single video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

PURPOSE: An event oriented video browsing system is provided to de vide the video into a multi-leveled segment and to display the video as a data structure having the segment concerned with an event, characters and place. CONSTITUTION: An event oriented video browsing system includes a data structure of an event list(101), an object list(102) and a place list(103) on a video data. The relation among the event, the object and the place can be expressed with a function of time. The objects and the places has time data more than one because the same object or the same place can be expressed in a plurality of time spans. If an appearance time span of a specific object or an appearance time span of a specific place is included in a time span of a specific event, the object, the place and the time are all related. A change progress graph of an event can be obtained with a reference of time if the time data is used.

Description

사건 중심의 비디오 브라우징 시스템{VIDEO BROWSING SYSTEM BASED ON EVENT}Event-driven video browsing system {VIDEO BROWSING SYSTEM BASED ON EVENT}

본 발명은 사건 중심의 비디오 브라우징 시스템으로서, 효과적인 비디오 검색 및 내용 브라우징을 위해서 비디오를 사건 중심으로 인덱싱하는 시스템이다.The present invention is an event-driven video browsing system, which is a system for indexing video event-oriented for effective video search and content browsing.

특히 본 발명은 동영상의 내용을 사건 중심으로 표현하여 사용자가 내용 이해를 이해하고 원하는 곳(구간)을 찾을 수 있도록 하는 동영상 브라우징 시스템으로서, 동영상의 내용을 사건, 사람, 장소의 관계 그래프로 표현하는 구조를 제시하며, 동영상의 내용을 소정의 구간동안 발생한 사건들의 시간적 연결관계 그래프로 표현하는 구조를 제시하며, 동영상을 하나 또는 멀티레벨의 세그먼트로 나누고 이들 세그먼트와 사건, 인물, 장소와의 연결관계를 가지는 데이타 구조를 제시하며, 상기의 제시된 사건중심 동영상 검색 데이타 구조를 이용한 동영상 검색 사용자 인터페이스를 제시하는 동영상 브라우징 시스템이다.In particular, the present invention is a video browsing system that allows the user to understand the content understanding and find a desired place (section) by expressing the content of the video centered on an event, and expressing the content of the video as a relationship graph between events, people, and places. It presents the structure, and presents the structure that expresses the contents of the video as a graph of the temporal connection relations of the events that occurred during the predetermined section, divides the video into one or multi-level segments, and connects the segments with events, people, and places. A video browsing system is proposed which presents a data structure having a video search user interface using the proposed event-driven video search data structure.

종래에 동영상 검색을 위한 동영상 검색 시스템으로는 대부분 키프레임(key frame) 들을 시간축으로 1차원 나열한 것들이 대부분이다.In the conventional video search system for video search, most of the key frames are arranged one-dimensionally on the time axis.

즉, 동영상 검색을 위해서 대표적인 장면을 키프레임으로 할당하고, 이 키프레임들을 사용자 인터페이스로서 제시함으로써, 사용자가 키프레임을 기반으로 하는 동영상의 해당 구간에 대한 검색과 디스플레이를 가능하게 하는 것이다.That is, by assigning a representative scene as a key frame for video search and presenting these key frames as a user interface, the user can search and display a corresponding section of the video based on the key frame.

또다른 종래의 동영상 검색 시스템으로는 동영상의 샷(shot)들의 시간적인 연결 그래프를 보여주는 기술이 있다(미합중국특허: 5,708,767 "Method and apparatus for video browsing based on content and structure").Another conventional video retrieval system is a technique that shows a temporal linking graph of shots of a video (US Pat. No. 5,708,767 "Method and apparatus for video browsing based on content and structure").

그러나 이 기술은 단순히 샷들의 시간적인 관계만 보여주기 때문에 그 내용 자체를 샷만으로 이해하기는 어렵고 부족하다.However, this technique simply shows the temporal relationship between shots, so it is difficult and insufficient to understand the content itself by shots alone.

즉, 대표적인 몇개의 장면만으로 그 장면으로 대표되는 동영상 부분구간에 대한 내용을 이해하고 또 효과적으로 필요한 구간을 검색해서 디스플레이해 볼 수는 없었다.That is, only a few representative scenes could not understand the contents of the video partial section represented by the scenes and search and display the necessary section effectively.

또다른 종래의 동영상 검색 시스템으로는 동영상에 나타나는 오브젝트 (object)들을 정의하고 각각의 오브젝트의 출현구간과 오브젝트의 속성을 정의함으로써 오브젝트 기반 검색방법을 제공하는 기술이 있다(미합중극 특허: 5,655,117 "Method and apparatus for indexing multimedia information streams").Another conventional video retrieval system is a technology that provides an object-based retrieval method by defining objects appearing in a video and defining the appearance period of each object and the attributes of the objects (U.S. Patent No. 5,655,117 "). Method and apparatus for indexing multimedia information streams ").

그러나 이 기술 또한 오브젝트의 출현구간과 오브젝트의 속성을 정의하는 정도로는 해당 동영상 구간에 대한 전체적인 내용을 이해하기 어렵고, 내용이 파악되기 어렵기 때문에 원하는 검색을 위한 검색조건으로 어떤 특정 오브젝트 및 속성을 지정할지를 결정하기도 힘들다는 문제점이 있다.However, this technique also makes it difficult to understand the entire contents of the video section and the contents of the video section because it is difficult to define the appearance section of the object and the properties of the object. There is a problem that is difficult to determine.

즉, 종래의 키프레임을 이용한 동영상 검색기술이나, 샷들의 시간적 연결관계 그래프에 의한 동영상 검색기술이나, 오브젝트 및 속성정보에 의한 동영상 검색기술은 실제로 동영상의 내용인 '사건의 시간적, 공간적 전개'를 표현하기 어려운 시스템 구조일 뿐이며, 사용자가 원하는 동영상 구간의 내용을 이해하기 어렵고 원하는 곳(동영상 구간)을 쉽게 찾을 수 없는 시스템 이었다.That is, the conventional video retrieval technique using a key frame, the video retrieval technique based on the temporal connection relationship graph of shots, or the video retrieval technique based on the object and attribute information, are actually used to describe the 'temporal and spatial development of the event' which is the content of the video. It was just a system structure that was difficult to express, and it was difficult for the user to understand the contents of the desired video section and could not easily find the desired place (video section).

본 발명은 동영상의 실질적 내용인 사건을 기반으로 하여 그 사건의 시간적, 공간적 전개를 반영하는 동영상 검색 시스템을 제공함으로써 사용자가 동영상의 내용을 사건 중심으로 쉽게 이해하고 또 시간적, 공간적 전개에 따르는 동영상 구간을 쉽게 찾을 수 있도록 한 동영상 검색 시스템을 제공한다.The present invention provides a video retrieval system that reflects the temporal and spatial development of the event based on the actual event of the video, so that the user can easily understand the content of the video based on the event and follow the temporal and spatial development. It provides a video search system to make it easier to find.

특히 본 발명은 동영상의 내용을 사건 중심으로 보고 소정의 구간동안 발생한 사건들의 시간적 연결관계(사건변환 그래프)로 표현하는 동영상 검색 시스템을 제공한다.In particular, the present invention provides a video retrieval system for looking at the content of the video centered on the event and expressing the time-linked relationship (event conversion graph) of the events occurring during a predetermined period.

또한 본 발명은 동영상의 내용을 사건 중심으로 보고, 동영상을 하나 또는 멀티레벨의 세그먼트(segment)로 나누고 이들 세그먼트와 사건,인물,장소와의 연결관계를 가지는 데이타 구조로 표현하는 동영상 검색 시스템을 제공한다.In another aspect, the present invention provides a video retrieval system that looks at the content of the video centered on the event, divides the video into one or multi-level segments, and expresses the data in a data structure having a connection relationship between these segments and events, people, places do.

또한 본 발명은 동영상의 내용을 사건, 사람 및 장소에 관한 관계 그래프로 표현하는 동영상 검색 시스템을 제공한다.The present invention also provides a video retrieval system for expressing the contents of the video in a relation graph about events, people and places.

또한 본 발명은 동영상의 내용을 사건, 사람 및 장소에 관한 관계 그래프로 표현하고, 사건 중심으로 동영상을 검색하여 디스플레이할 수 있는 사용자 인터페이스를 제공한다.In another aspect, the present invention provides a user interface that displays the contents of the video in a relationship graph of events, people and places, and can search and display the video centered on the event.

도1은 본 발명의 사건중심 비디오 브라우징 시스템을 구현하기 위한 데이타 구조의 한 예를 나타낸 도면1 is a diagram showing an example of a data structure for implementing an event-driven video browsing system of the present invention.

도2는 본 발명의 사건중심 비디오 브라우징 시스템을 구현하기 위한 데이타 구조의 다른 예를 나타낸 도면2 illustrates another example of a data structure for implementing an event-driven video browsing system of the present invention.

도3은 본 발명의 사건중심 비디오 브라우징 시스템을 구현하기 위한 데이타 구조의 또다른 예를 나타낸 도면3 illustrates another example of a data structure for implementing an event-driven video browsing system of the present invention.

도4 및 도5는 본 발명의 사건중심 비디오 브라우징 시스템을 구현하기 위한 데이타 구조의 또다른 예를 나타낸 도면4 and 5 show another example of a data structure for implementing an event-driven video browsing system of the present invention.

도6은 본 발명의 사건중심 비디오 브라우징 시스템을 구현하기 위한 사건 변환 그래프의 한 예를 나타낸 도면6 illustrates an example of an event transformation graph for implementing an event-driven video browsing system of the present invention.

도7은 본 발명의 사건중심 비디오 브라우징 시스템을 구현하기 위한 사건 변환 그래프의 다른 예를 나타낸 도면7 illustrates another example of an event transformation graph for implementing an event-driven video browsing system of the present invention.

도8은 본 발명의 사건중심 비디오 브라우징 시스템에서 하나의 사건이 선택되었을 때 표현되는 세부 정보의 예를 나타낸 도면8 illustrates an example of detailed information expressed when an event is selected in the event-driven video browsing system of the present invention.

도9는 본 발명의 사건중심 비디오 브라우징 시스템을 구현하기 위한 사용자 인터페이스의 한 예를 나타낸 도면9 illustrates an example of a user interface for implementing an event-driven video browsing system of the present invention.

도10은 본 발명의 사건중심 비디오 브라우징 시스템에서 인물,사건,장소로 구성되는 관계 그래프의 예를 나타낸 도면10 is a diagram illustrating an example of a relationship graph composed of a person, an event, and a place in an event-driven video browsing system according to the present invention.

도1은 본 발명의 비디오 브라우징 시스템을 구현하기 위한 데이타 구조의 한 예를 나타낸다.1 shows an example of a data structure for implementing the video browsing system of the present invention.

도1의 데이타 구조는 동영상을 사건(101)-사건 목록(List), 인물(102)-인물 목록, 장소(103)-장소 목록를 가지며, 사건,인물,장소와의 관계를 시간정보로 표현한 구조이다.The data structure of FIG. 1 has a video of an event 101-an event list, a person 102-a person list, a place 103-a place list, and a time information representing a relationship between an event, a person, and a place. to be.

여기서 인물과 장소는 각각 하나 이상의 시간정보를 가지고 있는데, 예를 들어 같은 인물일지라도 여러 구간에 등장할 경우 등장 구간 수만큼의 시간정보를 가진다.Here, the person and the place each have more than one time information. For example, even if the same person appears in several sections, the person and the place have time information as many as the number of appearance sections.

도1의 데이타 구조에서 사건은 시작 프레임과 끝 프레임 번호로 표현되었으나 이 것을 제한되지 않으며 다른 시간 정보를 사용할 수도 있다.In the data structure of FIG. 1, an event is represented by a start frame and an end frame number, but is not limited thereto and other time information may be used.

도1의 데이타 구조에서, 특정한 사건의 시간 범위 안에 특정 인물의 등장 시간 범위와 특정 장소의 등장 시간 범위가 포함되었다면 이들은 서로 관계를 가진다.In the data structure of Fig. 1, if the time range of a particular person is included in the time range of a specific person and the time range of a specific place, they are related to each other.

또한 시간 정보를 이용하여 시간의 흐름을 기준으로 하는 사건의 변환 그래프를 구할 수 있다.In addition, the time information can be used to obtain a conversion graph of events based on the passage of time.

도2는 본 발명의 비디오 브라우징 시스템을 구현하기 위한 다른 데이타 구조의 예를 나타낸다.Figure 2 shows an example of another data structure for implementing the video browsing system of the present invention.

도2의 데이타 구조는 사건, 인물, 장소와의 관계를 표현하는 별도의 테이블(또는 링크)을 가지고 있는 구조이다.The data structure of FIG. 2 is a structure having a separate table (or link) representing a relationship with an event, a person, and a place.

즉, 인물1(시간정보time1를 가진다)(202)와 관련장소 링크(201), 관련사건 링크(203)의 데이타 구조를 유지하며, 사건1(시간정보time를 가진다)(205)와 관련인물 링크(204), 관련장소 링크(206)의 데이타 구조를 유지하며, 장소1(시간정보 time를 가진다)(208)와 관련사건 링크(207), 관련인물 링크(209)의 데이타 구조를 유지한다.That is, the data structure of person 1 (with time information time1) 202, related place link 201, and related event link 203 is maintained, and event 1 (with time information time) 205 and related person Maintains the data structure of the link 204, the related place link 206, and maintains the data structure of the location 1 (having time information time) 208, the related event link 207, and the related person link 209. .

이 데이타 구조에서는 사건,인물,장소와의 관계가 직접적으로 표현되어 있고, 사건, 인물, 장소에는 등장구간을 표시하는 시간정보를 포함할 수 있으며, 링크 구조가 별도로 되어 있으므로 시간정보는 부분적으로 생략될 수도 있다.In this data structure, the relationship with the event, person, and place is directly expressed, and the event, person, and place may include time information indicating an appearance section, and since the link structure is separate, time information is partially omitted. May be

도2의 데이타 구조에서 인물1(202)의 관련사건 링크(203)는 사건1(205)의 관련인물 링크(204)와 관계를 맺고 있으며, 사건1(205)의 관련장소 링크(206)는 장소1(208)의 관련사건 링크(207)와 관계를 맺고 있으며, 장소1(208)의 관련인물 링크(209)는 인물1(202)의 관련장소 링크(201)와 관계를 맺고 있다.In the data structure of FIG. 2, the related event link 203 of person 1 202 is related to the related person link 204 of event 1 205, and the related place link 206 of event 1 205 is The related event link 207 of the place 1 208 has a relationship, and the related person link 209 of the place 1 208 has a relationship with the related place link 201 of the person 1 202.

도3은 본 발명의 비디오 브라우징 시스템을 구현하기 위한 데이타 구조의 또다른 예를 나타낸다.Figure 3 shows another example of a data structure for implementing the video browsing system of the present invention.

도3에서는 전체 비디오가 세그먼트(304-307)들로 구성되었다고 가정했을 때 사건(301-303)과 인물(308-310), 장소(311-313)들이 상기 세그먼트들 중에서 관계있는 세그먼트와 연결되어 있는 구조로서 표현되고 있다.In FIG. 3, assuming that the entire video is composed of segments 304-307, the events 301-303, the people 308-310, and the places 311-313 are connected to the related segments among the segments. It is expressed as a structure.

여기서 세그먼트와의 연결은 세그먼트ID나 링크로 구현될 수 있다.In this case, the connection with the segment may be implemented by a segment ID or a link.

도4 및 도5는 본 발명의 비디오 브라우징 시스템을 구현하기 위한 데이타 구조의 또다른 예로서 UML형식으로 표현한 예를 나타낸다.4 and 5 show an example expressed in UML format as another example of a data structure for implementing a video browsing system of the present invention.

도4는 사건과 오브젝트의 연결관계를 나타내는 사건/오브젝트 관계 그래프(Event/Object Relation Graph DS)(401) 구조는 해당 인물 또는 장소와 사건을 연결시켜 주며, 경우에 따라 연결관계의 타입(Type)이나 이름을 명명할 수도 있고, 연결관계의 타입/이름 없이 단지 연결관계만 표현해도 무방하다.4 illustrates an event / object relation graph (401) structure representing a connection between an event and an object. The structure of the event / object relation graph DS 401 connects an event with a corresponding person or place, and in some cases, a type of a connection relationship. It is also possible to name the name, or to simply represent the connection without the type / name of the connection.

사건과 오브젝트의 실체 관계(402) 구조는 관계(Relation)(403), 참조 오브젝트(Reference to Object)(404), 참조 사건(Reference to Event)(405)의 구조를 가지며, 관계(403)에는 타입(Type)(406)과 이름(Name)(407)의 구조를 가진다.The structure of the entity relationship 402 between an event and an object has a structure of a relationship 403, a reference object 404, and a reference event 405. It has a structure of type 406 and name 407.

도5의 (a)에서는 오브젝트(501)에 대하여 그 오브젝트의 타입(Object Type)(502)과 오브젝트 명(Annotation)(503)을 표현하였다.In FIG. 5A, the object 501 is represented by an object type 502 and an object annotation 503 of the object.

도5의 (b)에서는 하나의 사건(Event)(504)에 대하여 해당 비디오 세그먼트를 가리키는 참조 세그먼트 정보(Reference to Segment)(505)와 설명(506) 및 사건타입(507)을 표현하였다.In FIG. 5B, a reference segment (505) indicating a corresponding video segment, a description 506, and an event type 507 are represented for one event 504.

도5의 (b)에서 하나의 사건(504)은 해당 비디오 세그먼트를 가리키는 정보(505)가 있으므로 사건이 선택되었을 때 해당 구간을 곧바로 디스플레이할 수 있게된다.In FIG. 5B, one event 504 has information 505 indicating the video segment, so that the corresponding section can be displayed immediately when the event is selected.

도6은 앞에서 설명한 도1 내지 도5와 같은 비디오 검색 데이타 구조를 이용해서 비디오 검색을 수행하기 위한 사건 변환 그래프를 보이고 있다.FIG. 6 shows an event conversion graph for performing a video search using the video search data structure as shown in FIGS.

도6의 (a)에서는 야구경기의 한 이닝의 내용을 표현하고 있는데, 시간 전개에 따른 사건변환이 삼진아웃(601), 1루타(602), 도루(603), 내야 땅볼 아웃(604), 삼진아웃(605)으로 변환되고 있음을 그래프로서 보이고 있다.6 (a) shows the contents of an inning of a baseball game, and the event transformation according to time development is strikeout 601, first base 602, steal 603, infield ground out 604, It is shown graphically that it is being converted to strikeout 605.

즉, 각각의 노드는 발생한 사건을 나타내고, 화살표는 시간적인 진행의 순서를 나타낸다.That is, each node represents an event that has occurred and an arrow represents the order of temporal progression.

도6의 (b)는 사건변환 그래프의 다른 형태를 보이고 있다.6 (b) shows another form of the event transformation graph.

여기서는 중복된 사건을 하나의 노드로 표현하고 대신 반복 정보를 화살표로서 표현하는 예를 나타낸다.Here, an example in which duplicate events are represented by one node and repetition information is represented by an arrow instead.

즉, 도6의 (a)에서 삼진아웃 이라는 사건이 중복되고 있으므로, 도6의 (b)에서는 삼진아웃(606), 1루타(607), 도루(608), 내야 땅볼 아웃(609), 그리고 다시 삼진아웃(606)으로 가는 사건변환 그래프를 보인 것이다.That is, since the case of the strikeout is duplicated in FIG. 6 (a), the strikeout 606, the first hit 607, the steal 608, the infield ground ball-out 609, and the like in FIG. It shows the event transformation graph going back to strikeout 606.

여기서 화살표에 부기된 번호는 사건전개의 순서를 표현한 것이며 필수적인 것은 아니지만 명확한 사건의 흐름을 위해 표기될 수 있다.Here, the number added to the arrow represents the sequence of event development and may be indicated for a clear flow of events although it is not essential.

도6에 나타낸 사건 변환 그래프는 본 발명의 비디오 브라우징 시스템을 구현하기 위한 한가지 예일 뿐이다.The event transformation graph shown in FIG. 6 is just one example for implementing the video browsing system of the present invention.

사건변환 그래프는 하나의 시간적 구간(앞에서는 야구 경기의 1이닝) 내에서의 정보를 표현할 수도 있지만 특정한 조건에 의해서 제한된 정보를 보여줄 수도 있다.Event transformation graphs may represent information within one temporal interval (previously one inning of a baseball game) but may show information limited by certain conditions.

앞의 야구경기를 예로 든다면 '3회에서 5회 까지 선수A와 관련된 사건변환 그래프'를 구성하여 보여줄 수도 있다.Taking the previous baseball game as an example, you can construct and show an event conversion graph related to player A from 3 to 5 times.

물론 이러한 사건변환 그래프는 도1 내지 도5의 데이타 구조에 의한다.Of course, this event transformation graph is based on the data structure of Figs.

도7은 본 발명의 비디오 브라우징 시스템을 구현하기 위한 사건변환 그래프의 다른 예를 보여준다.7 shows another example of an event transformation graph for implementing the video browsing system of the present invention.

도7에서는 동영상에 대하여 일어날 수 있는 사건을 미리 정의해 놓고, 실제로 일어난 사건에 대해서 사건전개의 순서와 연결을 지은 경우이다.In FIG. 7, an event that can occur with respect to a moving picture is defined in advance, and an order of event development is connected to an event that actually occurred.

즉, 전 구간에 존재할 수 있는 모든 사건이 노드들로 표현되고 실제로 발생한 사건과 그 발생시점에 대한 정보는 화살표로만 표현되는 형태(순서를 병기할 수도 있다)를 보여준다.That is, all events that can exist in all sections are represented by nodes, and information about the events that occurred and the time of occurrence are represented by arrows only (the order may be written together).

예를 들어 야구경기의 경우 일어날 수 있는 사건으로 삼진아웃(703), 땅볼아웃(701), 외야아웃(705), 포볼(702), 1루타(704), 2루타(706), 3루타(707), 홈런(708) 등을 노드로 삼고, 실제로 일어난 사건의 시간적 전개에 따라 땅볼아웃(701)로부터 포볼(702), 삼진아웃(703), 1루타(704), 외야아웃(705)의 순서로 화살표로서 사건의 흐름을 표현하였다.For example, in a baseball game, strikeouts (703), ground ball outs (701), outfield outs (705), four-balls (702), singles (704), doubles (706), triples ( 707, home run 708, and the like, and according to the temporal development of the actual event, the ground ball out 701, the strikeout 703, the strikeout 703, the first base 704, the outfield 705 The sequence of events is represented by arrows in order.

도8은 본 발명의 비디오 브라우징 시스템에서 하나의 사건이 선택되었을 때 표현되는 세부 정보의 한 예를 보여주며, 사건의 주체인 인물과 배경인 장소, 그리고 사건에 대한 세부 설명을 보여주고 있다.FIG. 8 shows an example of detailed information expressed when one event is selected in the video browsing system of the present invention, and shows a detailed description of an event, a person, a background, and an event.

즉, 야구경기에서 사건으로서; 도루(801), 삼진아웃(802), 1루타(803), 내야땅볼 아웃(804), 삼진아웃(805)의 사건전개가 일어났고, 여기서 도루(801)를 선택한 경우 관련된 인물(선수A)(806), 장소(2루)(807), 그리고 설명(808)을 보여주는 것이다.As an event in a baseball game; The development of steal 801, strikeout 802, first base 803, infield ball out 804, and strikeout 805 occurred, and the related person (player A) 806, place (second base) 807, and description 808.

도9는 앞에서 설명한 도1 내지 도8의 본 발명 비디오 브라우징 시스템의 데이타 구조와 사건변환 그래프 등을 이용해서 구현된 사용자 인터페이스의 예를 나타내며, 이 것은 야구경기를 예로 하였다.FIG. 9 illustrates an example of a user interface implemented by using the data structure and event transformation graph of the video browsing system of FIGS. 1 to 8 described above, which is taken as a baseball game.

도9의 사용자 인터페이스에는 결과(910)와 경기 내용(902) 및 점수(903)가 표시되었고, 3회를 선택하였을 때 그 3회의 사건변환 그래프(904)가 표시되었으며, 사건에 대응하는 인물정보(905)와 해당 사건 및 인물에 대한 설명(906)이 표시되고 있다.In the user interface of FIG. 9, a result 910, a game content 902, and a score 903 are displayed, and when three times are selected, three event conversion graphs 904 are displayed, and the person information corresponding to the event is displayed. 905 and a description of the event and person 906 are displayed.

도10은 본 발명의 비디오 브라우징 시스템을 구현하기 위한 인물(Object), 사건(Event), 장소(Place)의 관계 그래프를 나타내며, 사건이 기준이 되어 관계 그래프가 표현된 것을 보이고 있다.FIG. 10 illustrates a relationship graph of an object, an event, and a place for implementing the video browsing system of the present invention, and shows that a relationship graph is expressed based on an event.

물론, 기준이 되는 항목은 사용자에 의해서 자유롭게 선택될 수 있다.Of course, the reference item may be freely selected by the user.

여기서는 골프경기를 예로 들어 나타낸 것이다.Here, the golf game is shown as an example.

선수B(1001)-퍼팅(1002)-2번홀(1003)의 관계로부터 해당 설명(1004)을 보이고 있으며, 이와같이 사건, 인물, 장소들이 선택되면 이들을 만족하는 특정구간의 검색이나 그 구간의 세부정보를 검색할 수도 있게 된다.The description 1004 is shown from the relationship between player B1001-putting 1002 and the second hole 1003. Thus, when an event, a person, and a place are selected, a search for a specific section satisfying them and the details of the section are performed. You can also search for.

또한 사건, 인물, 장소의 관계들이 모두 선으로 표현될 수도 있지만, 사건, 인물이 선택될 경우는 그 경우를 만족하는 사건 장소 관계만이 보여지던가, 혹은 사건, 장소가 선택된 경우 그 경우를 만족하는 사건 사람 관계만이 보여질 수도 있다.In addition, all the relationships between events, people, and places may be represented by lines, but when an event or a person is selected, only an event or place relationship that satisfies the case is shown, or when an event or place is selected, Only event person relationships may be shown.

본 발명의 비디오 브라우징 시스템은 동영상의 내용을 사건 중심으로 기술하므로 동영상의 실질적인 내용인 사건의 시간적, 공간적 전개와 해당 사건에 관련된 인물등의 정보를 종합적으로 표현하여 동영상 내용의 이해와 검색이 쉽고 빠르게 된다.Since the video browsing system of the present invention describes the contents of a video centered on an event, it is possible to quickly and easily understand and search the contents of a video by comprehensively expressing information such as temporal and spatial development of the actual contents of the video and persons related to the event. do.

또한 본 발명은 동영상의 내용의 실질적 주체가 되는 인물,사건,장소의 3개 구성요소를 사용하기 때문에 매우 자연스러운 비디오 인덱싱 및 브라우징 시스템을 제공할 수 있다.In addition, the present invention can provide a very natural video indexing and browsing system because it uses the three components of the person, the event, the place which is the actual subject of the video content.

Claims (18)

동영상의 내용을 소정의 동영상 구간내에서 발생한 사건들의 시간적 연결관계로 표현하고, 상기 각각의 사건들의 상영구간에 대한 정보를 포함하는 것을 특징으로 하는 비디오 브라우징 시스템의 정보구조.An information structure of a video browsing system, characterized in that the contents of a moving picture are expressed in a temporal connection relationship between events occurring within a predetermined moving picture section, and include information on a screening period of each of the events. 제 1 항에 있어서, 상기 각각의 사건들은 각각의 사건들을 노드로 하고, 각각의 노드들을 선으로 연결하는 그래프로 표현되는 것을 특징으로 하는 비디오 브라우징 시스템의 정보구조.The information structure of a video browsing system according to claim 1, wherein each of the events is represented by a graph in which each of the events is a node, and each of the nodes is connected by a line. 제 2 항에 있어서, 상기 각각의 노드들을 연결하는 선에 방향성을 의미하게 하여 사건 전개의 시간적 흐름을 표현한 것을 특징으로 하는 비디오 브라우징 시스템의 정보구조.3. The information structure of a video browsing system according to claim 2, wherein the temporal flow of event development is represented by directionality in a line connecting the nodes. 제 2 항에 있어서, 상기 사건들은 시간적 진행에 따라 중복되어 발생하는 경우 각각을 노드로서 표현하는 것을 특징으로 하는 비디오 브라우징 시스템의 정보구조.3. The information structure of a video browsing system according to claim 2, wherein each of the events is represented as a node when they occur in duplicate over time. 제 2 항에 있어서, 상기 사건들은 시간적 진행에 따라 중복되어 발생하는 경우 중복되는 사건은 하나의 노드로서 표현하고 그 발생관계만을 선으로 연결하여 표현하는 것을 특징으로 하는 비디오 브라우징 시스템의 정보구조.The information structure of a video browsing system according to claim 2, wherein when the events are duplicated as time progresses, the duplicated events are represented as one node and only the occurrence relations are connected by lines. 제 2 항에 있어서, 상기 사건들은 상기 동영상 전구간에 존재할 수 있는 모든 사건을 노드로서 표현하고, 해당 동영상 구간내에서 실제로 발생한 사건과 그 발생시점에 대한 정보를 시간의 흐름에 대응하는 방향성을 가지는 선으로 묘사하는 것을 특징으로 하는 비디오 브라우징 시스템의 정보구조.The line of claim 2, wherein the events represent all events that may exist in the entire video block as nodes, and information about an event actually occurring in the video section and a time point of occurrence of the event corresponds to a passage of time. Information structure of a video browsing system, characterized in that described by. 제 1 항에 있어서, 상기 사건들의 상영구간에 대한 정보는 해당 사건구간의 시작 프레임과 종료 프레임으로 표현되는 것을 특징으로 하는 비디오 브라우징 시스템의 정보구조.The information structure of a video browsing system according to claim 1, wherein the information on the screening section of the events is represented by a start frame and an end frame of the corresponding event section. 제 1 항에 있어서, 상기 각각의 사건들과 관계되며 그 사건을 보다 상세히 묘사하기 위한 하위레벨의 상세정보를 더 포함하는 것을 특징으로 하는 비디오 브라우징 시스템의 정보구조.2. The information structure of a video browsing system according to claim 1, further comprising lower-level details related to each of the events and for describing the event in more detail. 제 8 항에 있어서, 상기 상세정보는 해당 사건과 관련된 인물, 장소, 사건설명 중에서 적어도 어느 하나 이상인 것을 특징으로 하는 비디오 브라우징 시스템의 정보구조.The information structure of a video browsing system according to claim 8, wherein the detailed information is at least one of a person, a place, and a description of an event. 동영상의 내용을 소정의 동영상 구간내에서 발생한 사건들의 시간적 연결관계와, 상기 사건들 각각에 관계된 인물과, 상기 사건, 인물에 관계된 장소의 사건-인물-장소 관계 그래프로 표현한 것을 특징으로 하는 비디오 브라우징 시스템의 정보구조.Video browsing characterized in that the contents of the video are expressed in a time connection relationship between events occurring within a predetermined video section, a person related to each of the events, and an event-person-place relationship graph of a place related to the event and the person. Information structure of the system. 제 10 항에 있어서, 상기 사건변환 그래프는 인물 또는 장소에 관한 조건부 사건변환 그래프 구조인 것을 특징으로 하는 비디오 브라우징 시스템의 정보구조.11. The information structure of a video browsing system according to claim 10, wherein the event transformation graph is a conditional event transformation graph structure relating to a person or a place. 제 10 항에 있어서, 상기 사건을 기반으로 하여 장소와 인물의 관계를 나타내는 데이타 구조가 사건, 인물, 장소 각각의 목록과 각각의 해당 구간정보로서 표현된 것을 특징으로 하는 비디오 브라우징 시스템의 정보구조.The information structure of a video browsing system according to claim 10, wherein a data structure representing a relationship between a place and a person is represented as a list of events, a person, a place, and respective section information based on the event. 제 10 항에 있어서, 상기 사건을 기반으로 하여 장소와 인물의 관계를 나타내는 데이타 구조가 사건,인물,장소와의 관계를 표현하는 별도의 테이블이나 링크를 가지고 표현되는 것을 특징으로 하는 비디오 브라우징 시스템의 정보구조.12. The video browsing system of claim 10, wherein a data structure representing a relationship between a place and a person is represented with a separate table or link representing a relationship between an event, a person, and a place based on the event. Information structure. 제 10 항에 있어서, 상기 사건을 기반으로 하여 장소와 인물의 관계를 나타내는 데이타 구조가 동영상을 이루는 세그먼트에 연결되는 형태로 표현되는 것을 특징으로 하는 비디오 브라우징 시스템의 정보구조.The information structure of a video browsing system according to claim 10, wherein a data structure representing a relationship between a place and a person based on the event is represented in a form connected to segments forming a video. 제 10 항 또는 제 14 항에 있어서, 상기 인물, 장소는 2개의 다른 데이타 타입으로 정의되거나, 하나의 오브젝트라는 데이타 타입으로 정의하고 그 안에 오브젝트의 타입을 표현하여 인물 오브젝트, 장소 오브젝트 등을 구분하는 것을 특징으로 하는 비디오 브라우징 시스템의 정보구조.15. The method of claim 10 or 14, wherein the person or place is defined as two different data types or is defined as a data type of one object and expresses the type of the object therein to distinguish the person object, place object, etc. Information structure of a video browsing system, characterized in that. 제 10 항에 있어서, 상기 사건들 중에서 하나의 사건이 선택되면 그 사건에 관련된 인물과 장소 및 세부설명을 묘사하는 것을 특징으로 하는 비디오 브라우징 시스템의 정보구조.11. The information structure of a video browsing system according to claim 10, wherein when one of the events is selected, a person, a place, and a detailed description related to the event are described. 제 10 항에 있어서, 상기 관계 그래프는 사건, 인물, 장소 중의 어느 하나를 기준으로 그 것과 관련된 나머지 항목을 묘사하는 것을 특징으로 하는 비디오 브라우징 시스템의 정보구조.11. The information structure of a video browsing system according to claim 10, wherein said relationship graph depicts the remaining items related to it based on any one of an event, a person and a place. 동영상의 내용검색을 위하여 사건을 기반으로 하고 동영상 전 구간 또는 일부 구간에 대한 설명정보와, 상기 설명정보로부터 묘사될 시간진행에 따른 사건전개의 변환 그래프와, 상기 사건중심의 변환 그래프로부터 선택되는 사건에 관계되는 인물과 장소 및 설명정보를 포함하는 것을 특징으로 하는 비디오 브라우징 시스템의 사용자 인터페이스.An event selected from the event-based conversion graph and the event-conversion conversion graph based on the event for the content retrieval of the video and the description information of all or some sections of the video, the time evolution described by the description information, and the event-centered conversion graph. A user interface of a video browsing system, comprising: a person, a place, and description information related to the.
KR19990020264A 1999-06-02 1999-06-02 Video browsing system based on event KR100518861B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR19990020264A KR100518861B1 (en) 1999-06-02 1999-06-02 Video browsing system based on event

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR19990020264A KR100518861B1 (en) 1999-06-02 1999-06-02 Video browsing system based on event

Publications (2)

Publication Number Publication Date
KR20010001198A true KR20010001198A (en) 2001-01-05
KR100518861B1 KR100518861B1 (en) 2005-09-30

Family

ID=19589499

Family Applications (1)

Application Number Title Priority Date Filing Date
KR19990020264A KR100518861B1 (en) 1999-06-02 1999-06-02 Video browsing system based on event

Country Status (1)

Country Link
KR (1) KR100518861B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010082009A (en) * 2000-02-15 2001-08-29 아끼구사 나오유끼 Data processing device for generation of database storing picture data
KR100693650B1 (en) * 1999-07-03 2007-03-14 엘지전자 주식회사 Video browsing system based on multi level object information
KR100705900B1 (en) * 2000-08-21 2007-04-10 엘지전자 주식회사 Multimedia library system for individual
KR101274820B1 (en) * 2011-02-24 2013-06-13 한국방송공사 Apparatus for providing multimedia broadcast services relate to location information and object information
KR20150113997A (en) * 2014-03-27 2015-10-12 한국과학기술원 Method and System for Analysis and Visualization of Consistency and Knowledge Flow in Story Creation
CN112766919A (en) * 2021-01-27 2021-05-07 意潜建筑科技（上海）有限公司 Project management method for deep editing based on Gantt chart
US11184679B2 (en) 2018-10-08 2021-11-23 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling the electronic apparatus

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100693650B1 (en) * 1999-07-03 2007-03-14 엘지전자 주식회사 Video browsing system based on multi level object information
KR20010082009A (en) * 2000-02-15 2001-08-29 아끼구사 나오유끼 Data processing device for generation of database storing picture data
KR100705900B1 (en) * 2000-08-21 2007-04-10 엘지전자 주식회사 Multimedia library system for individual
KR101274820B1 (en) * 2011-02-24 2013-06-13 한국방송공사 Apparatus for providing multimedia broadcast services relate to location information and object information
KR20150113997A (en) * 2014-03-27 2015-10-12 한국과학기술원 Method and System for Analysis and Visualization of Consistency and Knowledge Flow in Story Creation
US11184679B2 (en) 2018-10-08 2021-11-23 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling the electronic apparatus
CN112766919A (en) * 2021-01-27 2021-05-07 意潜建筑科技（上海）有限公司 Project management method for deep editing based on Gantt chart

Also Published As

Publication number Publication date
KR100518861B1 (en) 2005-09-30

Similar Documents

Publication Publication Date Title
US7181757B1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
CN101138233B (en) Method for selecting parts of an audiovisual program and device therefor
Burch et al. Timeline trees: visualizing sequences of transactions in information hierarchies
US20020126143A1 (en) Article-based news video content summarizing method and browsing system
US5892520A (en) Picture query system using abstract exemplary motions of a pointing device
JP5323136B2 (en) System and method enabling visual filtering of content
US7996194B2 (en) Block diagram modeling
CN106031165B (en) Method, system and the computer-readable medium of managing video surveillance system
US20080159708A1 (en) Video Contents Display Apparatus, Video Contents Display Method, and Program Therefor
JP2000106661A (en) Image processing method and system and device
JP2007193380A (en) Information processor, information processing method and computer program
CN106686419A (en) Screensaver display method and display device
CA2387404A1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
CN105916037A (en) Video comment information processing method and apparatus
KR100518861B1 (en) Video browsing system based on event
KR20010028735A (en) Method for representing abstract/detail relationship among segments in order to provide efficient browsing of video stream and video browsing method using the abstract/detail relationships among segments
US10038709B1 (en) Computer network defense system employing multiplayer gaming functionality
JPH0877387A (en) Video presenting device
Chen et al. A spatio-temporal semantic model for multimedia database systems and multimedia information systems
KR100319160B1 (en) How to search video and organize search data based on event section
CN106055552A (en) Method and device for displaying user page
Leung et al. Interactive visual analytics of big data
CN111167119B (en) Game development display method, device, equipment and storage medium
US7313761B1 (en) Tree-style hierarchical control with graphical depiction of non-hierarchical interrelationships
US8555204B2 (en) Intuitive data visualization method

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080618

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee