KR20010019415A - Multimedia data formation - Google Patents
Multimedia data formation Download PDFInfo
- Publication number
- KR20010019415A KR20010019415A KR1019990035798A KR19990035798A KR20010019415A KR 20010019415 A KR20010019415 A KR 20010019415A KR 1019990035798 A KR1019990035798 A KR 1019990035798A KR 19990035798 A KR19990035798 A KR 19990035798A KR 20010019415 A KR20010019415 A KR 20010019415A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- multimedia data
- reliability
- value
- user
- Prior art date
Links
Classifications
-
- G06F17/30—
Abstract
Description
본 발명은 이미지나 비디오와 같은 멀티미디어 데이타의 검색과 브라우징(Browsing)을 보다 효과적으로 수행할 수 있도록 하는 멀티미디어 데이타 구조에 관한 것으로서 특히, 멀티미디어 데이타의 특징을 기술(Description)하는 정보 중에서 그 값이 가변적일 경우, 현재의 그 특징 정보값이 얼마나 신뢰적인지를 나타내는 신뢰도 정보를 포함함으로써, 보다 효과적인 멀티미디어 데이타의 검색 및 브라우징을 수행할 수 있도록 한 멀티미디어 데이타 구조에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a multimedia data structure that enables more efficient searching and browsing of multimedia data such as images and videos. In particular, the value of the multimedia data may vary. In this case, the present invention relates to a multimedia data structure capable of performing a more efficient search and browsing of multimedia data by including reliability information indicating how reliable the current feature information value is.
종래에 이미지 검색 및 브라우징 시스템이나, 비디오(동영상 자원)의 검색 및 브라우징 시스템에서는 그 이미지나 비디오(동영상 자원)와 같은 멀티미디어 데이타의 검색이나 브라우징을 보다 효과적으로 수행하기 위하여 해당 이미지나 비디오 데이타의 특징을 기술하는 정보를 이용하고 있다.Conventionally, an image search and browsing system or a video (video resource) search and browsing system uses features of the image or video data in order to more efficiently search or browse multimedia data such as the image or video (video resource). We use information to describe.
예를 들면 이미지 검색 시스템(Image Quary System)의 경우, 이미지의 전체 칼라 히스토그램(Histogram)이나, 이미지를 소정의 복수개의 영역으로 나누어 각 영역별 대표칼라값을 표현하거나, 하는 등의 방법으로 그 이미지의 특징정보를 기술하고, 두 이미지의 유사여부를 검색함에 있어서 상기 두 이미지 사이의 상기 특징정보를 서로 비교하여 소정의 유사도를 계산함으로써, 두 이미지의 유사 여부를 판정하는 방법을 사용하고 있다.For example, in the case of an Image Quary System, the image is represented by a method such as displaying a full color histogram of an image or representing a representative color value for each region by dividing the image into a plurality of predetermined regions. In describing the feature information of the two images and searching for similarity between the two images, a method of determining whether the two images are similar by comparing the feature information between the two images with each other and calculating a predetermined similarity is used.
또는, 비디오(동영상 자원)의 검색 시스템인 경우, 주요 오브젝트로서 예를 들면 특정 인물이 등장하는 구간을 검색하여 상영하기를 원할 때, 그 특정 인물이 등장하는 구간이나, 혹은 특정 사건이 발생되어 전개되는 구간을 검색할 때 그 특정 사건을 대표하는 키프레임을 표현하거나, 하는 등의 방법으로 비디오의 검색 및 브라우징을 수행하고 있다.Or, in the case of a video (video resource) retrieval system, when a user wants to search for and display a section in which a specific person appears, for example, as a main object, a section in which the specific person appears or a specific event occurs and develops. When searching for a section, a video frame is searched and browsed by expressing a key frame representing the specific event or the like.
이와같이 종래에는 매우 다양한 방법으로 이미지나 비디오와 같은 멀티미디어 데이타의 검색 및 브라우징을 수행하고 있으며, 여기서 사용되는 특징소 정보들로는 예를 들면 이미지나 비디오와 같은 멀티미디어 데이타의 검색을 위해서 칼라(Color), 텍스쳐(Texture)와 같은 하위 레벨(Level)의 특징정보(Feature)를 이용하거나, 또는 키워드(Key Word), 주요 오브젝트(Object) 등 상위 레벨의 특징정보를 사용하는 것이다.As described above, the search and browsing of multimedia data such as an image or a video are performed in a variety of ways, and the feature information used here is, for example, a color or texture for searching for multimedia data such as an image or a video. It uses lower level feature information such as (Texture), or uses higher level feature information such as a key word and a main object.
또한 최근에는 키프레임(Key Frame), 키세그먼트(Key Segment) 등을 정의하여 하위레벨의 특징정보와 상위레벨의 특징정보를 같이 사용하기도 한다.Recently, key frame and key segment are defined to use the lower level feature information and the higher level feature information together.
이와같은 특징정보를 이용한 멀티미디어 데이타 검색 및 브라우징에 있어서, 어떤 정보가 더 중요하고 또 덜 중요한지를 나타내는 가중치 정보를 사용하거나, 혹은, 유사한 멀티미디어 데이타들끼리 사전에 그룹화하여 그 그룹정보를 검색에 직접 혹은 간접적으로 이용하기도 한다.In multimedia data retrieval and browsing using such characteristic information, weight information indicating which information is more important and less important is used, or similar multimedia data is grouped in advance and the group information is directly or directly searched. It may be used indirectly.
이미지 그룹정보는 유사 이미지들 끼리 그룹화한 클래스(Calss=Cluster)를 가지게 되며, 유사 이미지들 끼리 묶는 작업(Clustering)을 통상 전문가에 의해서 사전에 수행해 두기도 하고, 그 클러스터를 표현하는 정보(방법)로 클러스터 모델을 표현하기도 한다.The image group information has a class (Calss = Cluster) grouping similar images, and the clustering of similar images is usually performed by an expert in advance, and information representing the cluster (method) Sometimes referred to as a cluster model.
그리고, 앞에서 설명한 특징소의 신뢰도를 나타내는 가중치 정보나 그룹정보 등은 전문가에 의해서 사전에 정의되거나, 사용자 피드백(feedback)에 의해서 학습되어 그 값이 갱신될 수 있는 가변적 특징정보가 되기도 한다.The weight information or the group information indicating the reliability of the feature described above may be defined by an expert or may be variable feature information that can be updated by learning by user feedback.
한편, 이미지나 동영상과 같은 멀티미디어 데이타를 브라우징할 때, 사용자의 요구나 하드웨어 등의 자원조건을 고려하여 원래의 멀티미디어 데이타의 전부 또는 일부를 디스플레이할 수 있는데, 어느 부분만 디스플레이할 경우 전체 데이타 중에서 중요한 부분을 우선적으로 디스플레이하기 위하여, 데이타 각 부분의 중요도를 표현하기도 한다.On the other hand, when browsing multimedia data such as images and videos, all or part of the original multimedia data can be displayed in consideration of user requirements or resource conditions such as hardware. In order to display the parts preferentially, the importance of each part of the data may be expressed.
이러한 중요도 역시 사용자의 피드백에 의해 갱신되거나 전문가에 의해서 사전에 정의될 수 있는 가변적인 값이 된다.This importance is also a variable value that can be updated by user feedback or predefined by an expert.
한편, 사용자 마다 그 사용자에게 맞는 다른 서비스를 제공하기 위하여 사용자 선호도(영화나 드라마의 경우, 액션물, 에로물, 공포물 등과 같은 선호도를 가질 수 있다) 등을 묘사하는 정보를 사용하기도 한다.On the other hand, each user may use information describing user preferences (such as movies, dramas, actions, erotics, horrors, etc.) in order to provide different services to the users.
예를 들면 키워드 검색의 경우 사용자마다 주로 사용하는 키워드의 선호도 및 그 의미하는 바가 다르므로, 사용자마다 검색조건과 결과 히스토리(History)를 사용해서 그 사용자가 주로 사용하는 키워드의 가중치나, 키워드 들의 분류체계 구조 등을 다르게 학습하여 보다 효과적인 검색을 행하기도 한다.For example, in the case of keyword search, the preferences and meanings of the keywords mainly used by each user are different. Therefore, the weight of keyword or the keyword classification used mainly by the user using the search condition and the result history for each user. The system structure may be learned differently to search more effectively.
이와같이 사용자 선호도에 의존한 사용자 의존적 정보(user preference) 역시 주로 학습에 의해 갱신될 수 있는 가변적 정보이다.As such, user preference information that depends on user preference is also variable information that can be updated by learning.
앞에서 설명한 가변적 특징정보들은 멀티미디어 데이타의 검색 및 브라우징에 효과적으로 사용될 수 있지만, 다음과 같은 문제점이 있다.The variable feature information described above can be effectively used for searching and browsing multimedia data, but has the following problems.
먼저, 멀티미디어의 특징을 기술하는 가변적 정보들이 전문가에 의해서 사전에 정의될 경우, 얼마나 믿을만한 전문가에 의해 정의된 것인가, 또는 얼마나 많은 전문가의 의견이 반영되어 정의된 것인가에 따라 그 값의 신뢰성이 달라진다.First, when variable information describing the characteristics of multimedia is defined in advance by an expert, the reliability of the value varies depending on how reliable the expert is or how many expert opinions are reflected.
즉, 상기 이미지나 비디오와 같은 멀티미디어 데이타의 특징을 기술하는 가변적 정보들을 사전에 전문가 집단에 의해서 정의한다고 해도, 고도의 숙련된 전문가와 그보다 덜 숙련된 전문가, 혹은 거의 일반 사용자에 가까운 정도의 낮은 작업자에 의해서 상기 특징정보들이 정의된다고 하면, 고도의 숙련된 전문가의 경우가 그렇지 않은 작업자의 경우보다 더 높은 신뢰도를 가질 수 있지만, 이 것을 고려하지 않는다면 경우에 따라서는 특징정보의 신뢰도가 치명적으로 떨어질 수도 있는 환경에 놓이게 되는 것이다.That is, even if the variable information describing the characteristics of the multimedia data, such as the image or video, is defined in advance by a group of experts, a highly skilled expert, a less skilled expert, or a near-normal user If the feature information is defined by, a highly skilled expert may have a higher level of reliability than a worker who does not, but in some cases the reliability of the feature may be fatal if not considered. You are in an environment where you are.
또한, 그러한 가변적인 정보들이 사용자 피드백에 의해서 학습될 경우에는 얼마나 많은 피드백에 의하여 학습된 것인지에 따라 그 신뢰성이 달라지게 된다.Also, when such variable information is learned by user feedback, its reliability depends on how much feedback is learned.
예를 들어, 이미지의 유사 여부를 검색하는 경우, 두개의 유사하다고 놓여진 이미지에 대하여 다른 많은 사용자들도 동의(유사 이미지로 피드백)하는 경우에는 반드시 그렇지는 않다고 해도, 상대적으로 볼 때 보다 잘 학습된 특징정보로 간주해도 무방할 수 있을 것이다.For example, when searching for similarity of images, relatively much better-learned, although not necessarily, if many other users also agree (feed back with similar images) on two similarly placed images. It may be considered as feature information.
더구나, 가변적 정보에 대한 신뢰성은 멀티미디어 데이타의 검색이나 브라우징의 성능에 영향을 미치게 되는데, 예를 들어 사용자 의존적 정보와 서버(server)에서 추천하는 정보의 값이 다를 경우 어느쪽에 더 가중치를 두어 서비스를 제공할 것인지를 결정하는 경우, 사용자 의존적 정보의 가중치가 서버에서 추천하는 정보보다 높은 신뢰성이라면 상대적으로 사용자 의존적 정보에 좀 더 치중하여 서비스를 제공해야 한다.In addition, the reliability of variable information affects the performance of searching and browsing multimedia data. For example, if the value of user-dependent information and the information recommended by the server are different, the weighting of the service is more important. When determining whether to provide, if the weight of the user-dependent information is higher reliability than the information recommended by the server, the service should be provided by focusing more on the user-dependent information.
이와같은 신뢰성은 현재의 가변적 정보값을 또다른 사용자 피드백을 사용하여 갱신할 경우에도 영향을 준다.This reliability also affects updating current variable information values with another user feedback.
예를 들어 기존의 가변적 정보값에 대한 신뢰도가 높다면 상대적으로 새로운 사용자 피드백이 가변적 정보값의 갱신에 미치는 영향은 적을 것이며, 반대로 신뢰도가 낮다면 새로운 사용자 피드백이 가변적 정보값에 미치는 영향은 커질 것이다.For example, if the reliability of the existing variable information value is high, the effect of relatively new user feedback on the update of the variable information value will be small. On the contrary, if the reliability is low, the effect of the new user feedback on the variable information value will be great. .
그렇지만 종래의 멀티미디어 데이타 구조에서는 이러한 점을 고려할 수 없기 때문에 앞에서 설명한 각 경우에 효과적으로 대응할 수 없었다.However, in the conventional multimedia data structure, such a point cannot be taken into consideration, and thus, the above-described cases cannot be effectively coped with.
본 발명은 멀티미디어 데이타의 특징을 기술하는 정보 중에서 가변적인 정보에 대하여, 그 가변적인 정보값이 얼마나 신뢰적인지를 나타낼 수 있는 정보로서 신뢰도를 표현하여, 멀티미디어 데이타의 검색, 브라우징, 가변적 정보값의 갱신을 보다 효과적으로 수행할 수 있도록 한 멀티미디어 데이타 구조를 제공한다.The present invention expresses reliability as information that can indicate how reliable the variable information value is among the information describing the characteristics of the multimedia data, thereby searching for, browsing, and updating the variable information value. It provides a multimedia data structure that can be used more effectively.
도1은 묘사정보를 포함하고 있는 멀티미디어 데이타 구조의 예를 나타낸 도면1 is a diagram showing an example of a multimedia data structure including description information;
도2는 묘사정보와 각 묘사정보의 중요도, 그리고 그 중요도에 대한 신뢰도 정보를 함께 포함하고 있는 멀티미디어 데이타 구조의 예를 나타낸 도면2 is a diagram showing an example of a multimedia data structure including both description information, importance of each description information, and reliability information on the importance of the description information.
도3은 세그먼트나 키프레임들의 중요도를 포함하고 있는 멀티미디어 데이타의 묘사정보 구조를 나타낸 도면FIG. 3 is a diagram showing a description information structure of multimedia data including importance of segments and keyframes. FIG.
도4는 사용자가 비디오 시청시 선호하는 비디오 내용종류별 가중치를 선호도로서 나타낸 데이타 구조를 보인 도면FIG. 4 is a diagram illustrating a data structure in which weights of video content types that a user prefers when watching a video are represented as a preference. FIG.
도5는 유사 이미지 그룹정보를 사용한 멀티미디어 데이타 구조의 예를 나타낸 도면5 is a diagram showing an example of a multimedia data structure using similar image group information;
본 발명의 멀티미디어 데이타는 멀티미디어 데이타의 특징을 기술하는 정보 중에서 그 값이 가변적인 정보값에 대하여, 상기 가변적인 정보값이 얼마나 신뢰할 수 있는 값인가를 나타내는 정도로서 신뢰도값을 더 가지고 표현되는 것을 특징으로 하는 멀티미디어 데이타 구조이다.The multimedia data of the present invention is expressed with a reliability value as a degree indicating how reliable the variable information value is with respect to an information value whose value is variable among information describing characteristics of the multimedia data. It is a multimedia data structure.
본 발명에서 상기 신뢰도는 상기 가변적인 정보값이 사용자 피드백을 통한 학습에 의해 이루어질 경우 그 학습에 참여한 피드백의 수에 비례하는 것을 특징으로 하는 멀티미디어 데이타 구조이다.In the present invention, the reliability is a multimedia data structure, characterized in that the variable information value is proportional to the number of feedbacks participating in the learning when the learning through the user feedback.
본 발명에서 상기 신뢰도는 상기 가변적인 정보값이 사전에 전문가에 의해 미리 정의될 경우, 그 전문가의 수와 전문가의 등급에 비례하여 영향을 받은 값인 것을 특징으로 하는 멀티미디어 데이타 구조이다.In the present invention, the reliability is a multimedia data structure characterized in that when the variable information value is predefined by an expert, the value is influenced in proportion to the number of experts and the grade of the expert.
본 발명에서 상기 가변적인 정보는 이미지나 비디오와 같은 멀티미디어 데이타의 칼라, 텍스처, 키워드 등 검색에 사용되는 하위 또는 상위레벨 특징소의 가중치 이거나, 비디오 검색 또는 브라우징에 사용되는 프레임이나 세그먼트의 가중치이거나, 사용자 선호도 또는 사용자 습관을 나타내는 사용자 의존적 정보이거나, 또는 주요 영역이나 주요 오브젝트 등 멀티미디어 데이타 검색 및 브라우징에 사용되는 데이타의 일부분에 대한 가중치이거나, 유사한 이미지 리스트(list), 클러스터 모델(cluster model) 등, 멀티미디어 그룹핑(grouping)을 위한 정보일 수 있다.In the present invention, the variable information is a weight of a lower or upper level feature used for searching colors, textures, keywords, etc. of multimedia data such as an image or video, a weight of a frame or segment used for video searching or browsing, or a user. Multimedia, such as user-dependent information that indicates preferences or user habits, or weights for portions of data used for multimedia data retrieval and browsing, such as key areas or key objects, or similar image lists or cluster models It may be information for grouping.
본 발명에서 상기 같은 아이템(item)에 대해서 서로 다른 둘 이상의 가변적인 정보를 고려해야 할 경우, 각각의 가변적 정보값에 대한 신뢰도에 비례하여 값들을 고려하며, 예를 들어 서로 다른 가변적 정보를 갖는 두개의 같은 멀티미디어 데이타의 가변적 정보값을 각각의 신뢰도에 비례하여 합하여 갱신하거나, 같은 아이템에 대한 사용자 의존적 정보와 서버의 가변적 정보값이 다를 경우 두 정보에 대한 신뢰도에 비례하여 그 값을 조정한 후 사용하는 것을 특징으로 한다.In the present invention, when two or more different pieces of variable information are to be considered for the same item, values are considered in proportion to the reliability of each variable information value, for example, two pieces having different pieces of variable information. The variable information of the same multimedia data is updated in proportion to each reliability, or when the user dependent information on the same item and the server variable information are different, the value is adjusted in proportion to the reliability of the two information. It is characterized by.
이하, 첨부된 도면을 참조하여 본 발명의 멀티미디어 데이타 구조와, 이 데이타 구조를 멀티미디어 데이타 검색 및 브라우징 등에 효과적으로 사용하는 예에 대하여 설명한다.Hereinafter, a multimedia data structure of the present invention and an example of effectively using the data structure for searching and browsing multimedia data will be described with reference to the accompanying drawings.
도1은 멀티미디어 데이타의 검색 및 브라우징을 효과적으로 수행하기 위하여 추가적인 묘사정보를 포함하고 있는 멀티미디어 데이타의 구조를 보이고 있다.FIG. 1 shows the structure of multimedia data including additional descriptive information in order to efficiently search and browse multimedia data.
멀티미디어 데이타(Multimedia Data)(101)는 묘사정보(Description Scheme) (102)와 로우 데이타(Low Data)(103)를 포함하고 있으며, 묘사정보(102)는 구성정보(Syntactic description)(104)와 의미정보(Semantic description)(106)로 구성된다.The multimedia data 101 includes a description scheme 102 and a low data 103. The description information 102 includes a syntactic description 104. It consists of semantic description (106).
비디오 검색 및 브라우징 시스템을 위한 데이타 구조라면 상기 구성정보는 실제 동영상을 구성하는 세그먼트들을 포함하게 될 것이며, 상기 의미정보는 동영상의 사건정보나 오브젝트 정보, 오브젝트와 오브젝트 또는 오브젝트와 장소와의 관계정보 등을 포함할 수도 있다.If the data structure is for a video search and browsing system, the configuration information will include segments constituting the actual video, and the semantic information includes the event information or object information of the video, the object and the object, or the relationship between the object and the place. It may also include.
도1에서는, 구성정보(104)에는 비디오의 경우 동영상의 상영구간에 대응하는 실제 구간정보인 세그먼트(Segments)와, 키프레임 정보(Keyframes) 등과, 칼라/텍스쳐 등의 하위레벨 정보가 속한다(105).In FIG. 1, the configuration information 104 includes segments, which are actual section information corresponding to the video section, a keyframe information, keyframes, and the like, and low level information such as color / texture. ).
그리고, 의미정보(106)에는 검색을 위한 키워드(Keyword)나, 텍스트 정보(annotation), 의미상의 오브젝트 정보 등 상위레벨의 정보가 속한다(107).The semantic information 106 belongs to higher level information such as a keyword for searching, text information (annotation), and semantic object information (107).
이와같은 구성정보와 의미정보를 이용해서 멀티미디어 데이타를 인덱싱(Indexing)하여 브라우징할 수 있고, 또한 검색할 수 있다.Using such configuration information and semantic information, multimedia data can be indexed for browsing and searching.
한편, 묘사정보(102)안에는 상기 구성정보 및 의미정보의 중요도를 나타내는 가중치(weights)와 신뢰도(reliability)를 함께 표현하거나(108), 유사예의 집합(similar example set)와 신뢰도를 함께 표현하거나(109), 또는 클러스터 정보(cluster model)와 신뢰도를 함께 표현하고 있다(110).Meanwhile, in the description information 102, weights and reliability indicating the importance of the configuration information and semantic information are expressed together (108), or a similar example set and reliability are expressed together ( 109 or the cluster information and the reliability are expressed together (110).
여기서 가중치 또는 클러스터 정보 등은 가변적인 정보이며, 이러한 가변적인 정보에 대한 신뢰도 정보를 함께 표현함으로써 보다 효과적인 검색 및 브라우징이 이루어질 수 있도록 하였다.In this case, the weight or cluster information is variable information, and the reliability information on the variable information is expressed together so that more efficient searching and browsing can be performed.
즉, 멀티미디어 데이타를 검색 할 때, 상기 가변적인 정보와 그 신뢰도를 함께 고려하여 예를 들면 같은 값의 가변적인 정보에 대해서는 신뢰도가 높은 순으로 멀티미디어 데이타의 검색 및 브라우징을 행한다던가, 신뢰도와 가중치를 함께 고려한 값을 가지고 멀티미디어 데이타의 검색 및 브라우징을 수행한다던가 하는 등의 방법을 사용할 수 있을 것이다.That is, when retrieving multimedia data, considering the variable information and its reliability, for example, searching and browsing multimedia data in the order of high reliability for variable information of the same value, or reliability and weight With the values considered together, a method such as searching and browsing multimedia data may be used.
도2에는 이미지 검색을 위한 묘사정보(Image description scheme)(201)로서, 칼라 히스토그램(Color histogram)(202)과 칼라 그리드 정보(Color grid image) (203)를 포함하고, 이에 대한 가중치 정보(Weights)(204) 및 이 가중치에 대한 신뢰도(Reliability)(205)를 함께 표현하였다.FIG. 2 includes a color histogram 202 and a color grid image 203 as image description scheme 201 for retrieving an image. 204 and Reliability 205 for this weight are expressed together.
여기서, 가중치(204)는 각 특징소(칼라/텍스처)의 중요도를 나타내거나, 한 특징소의 요소의 중요도를 나타내며, 가중치들은 이미지 검색시에 유사도를 계산하는데 반영된다.Here, the weights 204 indicate the importance of each feature (color / texture) or the importance of the elements of one feature, and the weights are reflected in calculating the similarity in the image retrieval.
이러한 가중치는 검색시 사용자의 피드백을 통해서 학습되는데, 얼마나 잘 학습되었는가를 나타내는 신뢰도(205)를 같이 포함한다.These weights are learned through user feedback at the time of the search, including the confidence 205 that indicates how well learned.
여기서 신뢰도(Reliability)는 다음의 수학식1과 같이 정의될 수 있다.Reliability may be defined as in Equation 1 below.
여기서, n은 사용자 등급수(the number of authority levels), ek는 사용자 등급에 따라 영향을 주는 정도(effect value of authority level k, e1＞e2＞... ＞en-1＞en), Nk는 사용자 등급k의 사용횟수 이다.Where n is the number of authority levels, e k is the effect value of authority level k, e 1 > e 2 > ... e n-1 > e n ), N k is the frequency of use of user class k.
사용자 등급(authority level)은 전문가일 경우 상대적으로 영향을 주는 정도(effect value)가 높고, 일반 사용자의 경우에는 낮게 하는 것이 당연할 것이다.The authority level should be relatively high for the expert, and low for the general user.
즉, 사용자 등급이 높다는 것은 그 만큼 그 사용자에 의한 응답에 상대적으로 더 높은 권위(신뢰성)를 줄 수 있다는 점에서 일반 사용자와 구별하는 것이 멀티미디어 데이타 신뢰성의 객관성을 보장할 수 있을 것이다.In other words, distinguishing from the general user can guarantee the objectivity of the multimedia data reliability in that the higher the user class can give a relatively higher authority (reliability) to the response by the user.
사용자 등급이 고려되지 않을 경우 신뢰도 값은 단지 학습에 참여한 피드백의 수에 비례한다.If user ratings are not considered, the confidence value is only proportional to the number of feedbacks involved in learning.
즉, 학습에 참여한 피드백수가 많으면 많을 수록 그 가변적 정보에 대한 신뢰도를 높여주는데, 이 경우는 앞에서 설명한 바와같이 보다 많은 공감을 얻었다고 보는 경우에 해당할 것이다.In other words, the greater the number of feedbacks involved in learning, the higher the reliability of the variable information. This case may correspond to the case that more empathy has been obtained as described above.
그리고, 새로운 사용자 피드백이 들어왔을 때 가중치의 갱신은, 만일 현재의 가중치의 신뢰도가 높은 경우에는 새로운 피드백이 가중치 갱신에 미치는 영향이 낮고, 반대로 현재 가중치의 신뢰도가 낮으면 새로운 피드백이 가중치 갱신에 미치는 영향이 상대적으로 높다.When the new user feedback is received, the weight update has a low impact on the weight update if the current weight is high, and conversely, if the reliability of the current weight is low, the new feedback is applied to the weight update. The impact is relatively high.
또한, 같은 이미지이지만 서로 다르게 학습되어 다른 가중치를 갖는 두개의 이미지가 있을 때, 이들 가중치들을 각각의 신뢰도에 비례하도록 합산하여 새로운 가중치를 갖도록 할 수도 있다.In addition, when there are two images having the same image but differently learned and having different weights, these weights may be summed to be proportional to each reliability to have a new weight.
도3은 비디오 검색이나 또는 전체가 아닌 부분 비디오만을 브라우징할 때 반영할 수 있도록, 각 세그먼트 또는 키프레임들의 중요도를 포함하고 있는 비디오 묘사정보 구조를 나타낸다.3 shows a video depiction structure that includes the importance of each segment or keyframe so that it can be reflected when searching for video or browsing only partial video but not all.
비디오 묘사정보(Video Description Scheme)(301)는 특징정보(302)에 대해 신뢰도 정보(303)를 포함하는 구조이다.The video description scheme 301 is a structure including reliability information 303 with respect to the feature information 302.
여기서 신뢰도 정보(303)는 키프레임에 대한 하나의 신뢰도나, 세그먼트에 대한 하나의 신뢰도나, 전체에 대한 신뢰도를 가질 수 있다.The reliability information 303 may have one reliability for a keyframe, one reliability for a segment, or reliability for the whole.
특징정보(302)에는 세그먼트(304)의 중요도를 기술하는 정보로서 가중치 정보(305)를 가질 수 있으며, 또한 키프레임(306)의 중요도를 기술하는 정보로서 가중치 정보(307)를 가질 수 있다.The feature information 302 may have weight information 305 as information describing the importance of the segment 304, and may have weight information 307 as information describing the importance of the keyframe 306.
이러한 중요도 값 역시 사용자 피드백에 의해서 학습될 수 있는데, 예를 들면 사용자가 가장 많이 사용한 세그먼트나 키프레임일수록 높은 가중치를 갖는다.This importance value can also be learned by user feedback. For example, the most used segment or keyframe has a higher weight.
이와같은 경우 도2와 같은 방법으로 중요도 값들에 대한 신뢰도값을 얻을 수 있다.In this case, confidence values for the importance values may be obtained in the same manner as in FIG. 2.
또는, 중요도 값이 사전에 전문가에 의해 정의될 때, 얼마나 많은, 얼마나 믿을만한 전문가가 참여했는가에 따라 중요도값에 대한 신뢰도 값이 달라질 수 있다.Alternatively, when the importance value is previously defined by an expert, the confidence value for the importance value may vary depending on how many and how reliable experts have participated.
이와같은 신뢰도 값은 도2에서 설명한 방법과 같이 중요도 값을 사용자 피드백을 사용하여 갱신할 때 반영된다.This confidence value is reflected when the importance value is updated using user feedback as in the method described in FIG.
도4는 사용자마다 그 사용자에게 적합한 효과적인 검색 및 브라우징을 수행하기 위한 예로서, 사용자가 비디오 시청시에 선호하는 비디오 내용종류를 각 종류별로 가중치로 나타낸 구조이다.FIG. 4 is an example for performing an effective search and browsing suitable for each user for each user, and is a structure showing weights of types of video contents that a user prefers when watching a video.
즉, 사용자 프로파일 정보(User Profile)(401)로서 선호도 정보(402)와 그에 대한 신뢰도(403)를 포함하고 있다.That is, the user profile information 401 includes the preference information 402 and the reliability 403 thereof.
선호도 정보는 드라마, 폭력, 애로, 액션, 공포 등과 같이 미리 분류한 아이템에 사용자의 선호정도를 표현함으로써, 이 구조를 사용해서 사용자가 비디오 탐색을 수행하는 겨우 그 때 선호하는 내용의 비디오 구간을 상대적으로 더 자세히 볼 수 있거나, 비디오 검색시 선호하는 내용의 구간이 많이 포함된 비디오 순으로 검색 결과를 정렬하여 볼 수도 있다.Preference information expresses the user's preferences in pre-categorized items such as drama, violence, hardship, action, fear, and so on. You can see more in detail, or you can sort the search results in order of video that contains a large number of sections of your favorite content.
이와같은 사용자 의존적 정보는 스마트 카드 등에 사용자 프로파일로서 저장되어 서비스를 받을 때마다 반영될 수 있다.Such user-dependent information may be stored as a user profile on a smart card or the like and be reflected every time a service is received.
즉, 스마트 카드에 상기 선호도 정보를 사용자 프로파일로서 저장해 두고, 사용자가 비디오 서버에 접속하여 소정의 비디오 서비스를 받고자 할 때, 그 프로파일 정보를 서버에 제공함으로써, 서버에서는 사용자의 프로파일 정보로부터 해당 사용자가 선호하는 비디오를 서비스할 수 있게 되는 것이다.That is, the preference information is stored in the smart card as a user profile, and when the user wants to access a video server and receive a predetermined video service, the server provides the profile information to the server, whereby the user can select from the profile information of the user. You will be able to service your favorite video.
이러한 사용자 정보는 사용자의 사용 히스토리 등을 직접, 또는 간접적으로 사용하여 학습할 수 있다.Such user information can be learned by using the user's usage history or the like directly or indirectly.
따라서, 이러한 가변적 정보 역시 얼마나 많은 정보를 사용하여 구성된 것인지에 따라 그 신뢰도를 결정하여 표현할 수 있다.Therefore, such variable information can also be determined and expressed according to how much information is constructed using.
이러한 신뢰도는 검색 및 브라우징시 반영될 수 있는데, 예를 들면 서버 자체에서 지정한 비디오 구간의 중요도와 사용자의 각 구간별 내용별 선호도를 같이 고려하여 탐색속도 등을 결정할 때, 양쪽 중요도와 선호도를 나타내는 각 신뢰도에 비례하여 고려하여 종합적인 구간의 중요도를 결정할 수 있다.Such reliability can be reflected in search and browsing. For example, when determining the search speed by considering the importance of the video section designated by the server itself and the user's preference for each section, each representing the importance and the preference of each The importance of the overall interval can be determined by considering it in proportion to the reliability.
도5는 효과적인 이미지 검색을 위하여 비슷한 이미지 그룹정보를 사용한 예이다.5 is an example of using similar image group information for effective image search.
이미지 클러스터 묘사정보(Image Cluster Description)(501)는 자신과 비슷한 이미지 예의 집합(Example Set)(502)과, 클러스터를 표현하는 정보(503)를 가지고 있으며, 이러한 정보는 검색시 특징소의 가중치를 결정하거나, 클러스터 모델링을 하는데 사용할 수 있다.The image cluster description 501 has an example set 502 similar to itself and information 503 representing a cluster, which determines the weight of the feature in the search. Or cluster modeling.
이와같은 리스트는 주로 사용자가 검색시 제공하는 피드백이나, 초기 전문가에 의해서 제공되는데, 이와같이 갱신될 수 있는 이미지 집합은 그 집합이 얼마나 잘 그 그룹을 표현하는지를 나타내는 신뢰도 정보가 필요하다.Such a list is usually provided by the user during the search or by an initial expert. Such a set of updatable images requires reliability information indicating how well the set represents the group.
더 나아가서는 이러한 이미지 예의 집합으로부터 각 클러스터를 확률모델(평균이나 분산/mean,var)로 표현할 수 있는데, 이러한 확률모델 역시 얼마나 잘 그 클러스터를 표현하는지에 대한 신뢰도 정보를 표현할 수 있다.Furthermore, each cluster can be represented as a probabilistic model (mean or variance / mean, var) from such a set of image examples, and such probabilistic model can also express reliability information about how well the cluster is represented.
이러한 신뢰도 정보는 실제 검색시, 학습에 의해 결정된 특징소의 가중치, 이미지 예의 집합, 확률모델 등을 종합적으로 고려할 때 각 신뢰도 값을 반영하여 고려한다.Such reliability information is considered by reflecting each reliability value when comprehensively considering weights of features determined by learning, a set of image examples, and a probability model.
본 발명은 멀티미디어 데이타에서 멀티미디어 데이타의 가변적 특징 기술정보의 신뢰도를 함께 표현해 줌으로써, 이미지나 비디오 검색 및 브라우징시에 보다 효과적인 검색 및 브라우징 환경을 제공한다.The present invention expresses the reliability of the variable feature description information of the multimedia data in the multimedia data, thereby providing a more effective search and browsing environment when searching and browsing images or videos.
또한 본 발명은 멀티미디어 데이타의 가변적 특징 기술정보의 신뢰도를 함께 표현해 줌으로써, 멀티미디어 데이타의 검색이나 브라우징의 성능에 영향을 미치는 가변적 정보의 신뢰성을 고려할 수 있다.In addition, the present invention expresses the reliability of the variable feature description information of the multimedia data, thereby considering the reliability of the variable information affecting the performance of searching and browsing the multimedia data.
예를 들어 사용자 의존적 정보와 서버(server)에서 추천하는 정보의 값이 다를 경우 어느쪽에 더 가중치를 두어 서비스를 제공할 것인지를 결정하는 경우, 사용자 의존적 정보의 가중치가 서버에서 추천하는 정보보다 높은 신뢰성이라면 상대적으로 사용자 의존적 정보에 좀 더 치중하여 서비스를 제공해야 하는데, 본 발명의 멀티미디어 데이타 구조는 이러한 서비스 환경을 충족시킨다.For example, if the user-dependent information and the server-recommended information have different values to decide which weight to provide, the weight of the user-dependent information is higher than the server-recommended information. In this case, the service should be relatively focused on user dependent information, and the multimedia data structure of the present invention satisfies such a service environment.
또한, 사용자 피드백에 의한 가변적 정보값의 갱신에 미치는 영향에 대해서도 본 발명의 멀티미디어 데이타 구조는 이러한 점을 고려하여 사용자 피드백이 가변적 정보값에 미치는 영향을 반영할 수 있다.In addition, the multimedia data structure of the present invention may reflect the influence of the user feedback on the variable information value in consideration of the influence on the update of the variable information value by the user feedback.
Claims (7)
Priority Applications (13)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019990035798A KR100350785B1 (en) | 1999-08-27 | 1999-08-27 | Method for generating of multimedia feature description scheme |
| CA002326813A CA2326813A1 (en) | 1999-01-29 | 2000-01-27 | Method of searching or browsing multimedia data and data structure |
| DE60044924T DE60044924D1 (en) | 1999-01-29 | 2000-01-27 | PROCESSES FOR SEARCHING AND BROWSING MULTIMEDIA DATA AND DATA STRUCTURE |
| CN008001014A CN1293793B (en) | 1999-01-29 | 2000-01-27 | Multimedia data searching or browsing method |
| EP05077756A EP1635243B1 (en) | 1999-01-29 | 2000-01-27 | Method of searching or browsing multimedia data |
| AU23301/00A AU2330100A (en) | 1999-01-29 | 2000-01-27 | Method of searching or browsing multimedia data and data structure |
| PCT/KR2000/000063 WO2000045341A1 (en) | 1999-01-29 | 2000-01-27 | Method of searching or browsing multimedia data and data structure |
| AT00902181T ATE480826T1 (en) | 1999-01-29 | 2000-01-27 | METHOD FOR SEARCHING AND BROWSING MULTIMEDIA DATA AND DATA STRUCTURE |
| AT05077756T ATE510258T1 (en) | 1999-01-29 | 2000-01-27 | METHOD FOR SEARCHING OR BROWSING MULTIMEDIA DATA |
| JP2000596529A JP3585844B2 (en) | 1999-01-29 | 2000-01-27 | Method for searching and generating multimedia data |
| EP00902181A EP1066595B1 (en) | 1999-01-29 | 2000-01-27 | Method of searching or browsing multimedia data and data structure |
| US09/493,038 US6643643B1 (en) | 1999-01-29 | 2000-01-28 | Method of searching or browsing multimedia data and data structure |
| US10/673,281 US20040064526A1 (en) | 1999-01-29 | 2003-09-30 | Method of searching or browsing multimedia data and data structure |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019990035798A KR100350785B1 (en) | 1999-08-27 | 1999-08-27 | Method for generating of multimedia feature description scheme |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20010019415A true KR20010019415A (en) | 2001-03-15 |
| KR100350785B1 KR100350785B1 (en) | 2002-08-28 |
Family
ID=19608899
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019990035798A KR100350785B1 (en) | 1999-01-29 | 1999-08-27 | Method for generating of multimedia feature description scheme |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100350785B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009011556A1 (en) * | 2007-07-18 | 2009-01-22 | Enswers Co., Ltd. | Method of providing moving picture search service and apparatus thereof |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100512275B1 (en) * | 2002-01-17 | 2005-09-02 | 엘지전자 주식회사 | Multimedia data description of content-based image retrieval |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0916457A (en) * | 1995-06-28 | 1997-01-17 | Fujitsu Ltd | Multimedia data retrieval system |
| JPH10124523A (en) * | 1996-10-23 | 1998-05-15 | Syst Quality Kk | Method and device for retrieving guidance of multimedia data |
| JPH1166079A (en) * | 1997-08-11 | 1999-03-09 | Hitachi Ltd | Retrieval system for multimedia data |
-
1999
- 1999-08-27 KR KR1019990035798A patent/KR100350785B1/en not_active IP Right Cessation
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009011556A1 (en) * | 2007-07-18 | 2009-01-22 | Enswers Co., Ltd. | Method of providing moving picture search service and apparatus thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100350785B1 (en) | 2002-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11151145B2 (en) | Tag selection and recommendation to a user of a content hosting service | |
| US20220122099A1 (en) | Analytical precursor mining for personalized recommendation | |
| US10789620B2 (en) | User segment identification based on similarity in content consumption | |
| US9501476B2 (en) | Personalization engine for characterizing a document | |
| US8234311B2 (en) | Information processing device, importance calculation method, and program | |
| US9268843B2 (en) | Personalization engine for building a user profile | |
| US8200689B2 (en) | Apparatus, method and computer program for content recommendation and recording medium | |
| US7333985B2 (en) | Dynamic content clustering | |
| US20080215583A1 (en) | Ranking and Suggesting Candidate Objects | |
| US20080319973A1 (en) | Recommending content using discriminatively trained document similarity | |
| US20090063568A1 (en) | Method and apparatus for constructing user profile using content tag, and method for content recommendation using the constructed user profile | |
| US7523109B2 (en) | Dynamic grouping of content including captive data | |
| US9552415B2 (en) | Category classification processing device and method | |
| EP2384476A1 (en) | Personalization engine for building a user profile | |
| WO2000065473A1 (en) | Determining a distribution of a numeric variable | |
| KR100350785B1 (en) | Method for generating of multimedia feature description scheme | |
| CN111831884B (en) | Matching system and method based on information search | |
| US11838597B1 (en) | Systems and methods for content discovery by automatic organization of collections or rails | |
| KR100831055B1 (en) | Method for information search based on ontology | |
| CN115905667A (en) | AI intelligent recommendation algorithm | |
| Nandanwar et al. | Content based recommendation system using SOM and Latent Dirichlet Allocation Model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| N231 | Notification of change of applicant | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20080618 Year of fee payment: 7 |
|
| LAPS | Lapse due to unpaid annual fee |