KR20100022027A - 콘텐트 아이템들을 구성하는 방법 - Google Patents

콘텐트 아이템들을 구성하는 방법 Download PDF

Info

Publication number
KR20100022027A
KR20100022027A KR1020097024960A KR20097024960A KR20100022027A KR 20100022027 A KR20100022027 A KR 20100022027A KR 1020097024960 A KR1020097024960 A KR 1020097024960A KR 20097024960 A KR20097024960 A KR 20097024960A KR 20100022027 A KR20100022027 A KR 20100022027A
Authority
KR
South Korea
Prior art keywords
content items
label
content item
feature vectors
feature
Prior art date
Application number
KR1020097024960A
Other languages
English (en)
Inventor
스티븐 엘. 제이. 디. 이. 반 데 파르
마틴 에프. 맥키니
얀토 스코로넥
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20100022027A publication Critical patent/KR20100022027A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63Querying
    • G06F16/632Query formulation
    • G06F16/634Query by example, e.g. query by humming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63Querying
    • G06F16/638Presentation of query results
    • G06F16/639Presentation of query results using playlists
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions

Abstract

콘텐트 아이템들을 구성하는 방법은 제 1 및 적어도 하나의 부가적인 라벨 각각을 제 1 콘텐트 아이템들의 각각의 세트들과 관련시키는 정보(19 내지 21)를 획득하는 단계를 포함한다. 적어도 하나의 제 1 콘텐트 아이템은 사용자 입력에 응답하여 제 1 라벨과 관련된다. 제 2 콘텐트가 획득된다. 제 1 및 부가적인 라벨들 각각에 대하여, 제 2 콘텐트 아이템을 특징짓는 특징 벡터 및 상기 라벨과 관련된 제 1 콘텐트 아이템들을 특징짓는 특징 벡터들 각각 사이의 유사성 측정치가 계산된다. 제 1 라벨은 상기 유사성 측정치의 계산된 값들에 따라, 제 2 콘텐트 아이템이 상기 제 1 라벨과 관련된 제 1 콘텐트 아이템들과 유사하다고 결정할 시에 제 2 콘텐트 아이템과 관련된다.
콘텐트 아이템, 가중 매트릭스, 시드 아이템, 특징 벡터, 카테고리

Description

콘텐트 아이템들을 구성하는 방법{METHOD OF ORGANISING CONTENT ITEMS}
본 발명은 콘텐트 아이템들(content items)을 구성하는 방법에 관한 것이다.
본 발명은 또한 콘텐트 아이템들을 구성하는 디바이스에 관한 것이다.
본 발명은 또한 컴퓨터 프로그램(computer programme)에 관한 것이다.
US5,918,223호는 소정의 사운드들(sounds)과 유사하게 들리거나, 또는 미리 규정된 등급들의 사운드들과 유사하게 들리는 디지털 오디오(digital audio)의 세그먼트들(segments) 또는 오디오 데이터 파일들(audio data files)을 찾아내는 수단을 개시한다. 상기 시스템은 우선 각각의 사운드 파일의 다양한 음향 특징들(acoustical features)을 측정한다. 상기 시스템은 사운드 파일의 길이에 걸쳐 주기적인 간격들로 라우드니스(loudness), 베이스(bass), 피치(pitch), 브라이트니스(brightness), 대역폭 및 MFCCs(Mel-frequency cepstral coefficients)를 측정한다. 그 후, 상기 시스템은 시간에 걸친 이들의 변화를 기술하기 위하여 특정 통계적인 측정치들, 즉, 이러한 특징들 각각의 평균 및 표준 편차를 계산한다. 통계적인 측정치들의 이 세트는 특징 벡터(feature vector)라고도 칭해지는 N-벡터로서 표현된다. 사용자는 이 등급에 속하는 사운드 파일들의 세트를 지정함으로써 사운드들의 등급들을 생성할 수 있다. 이 경우에, 사용자는 자신이 트레이닝(training) 하기를 희망하는 특성을 증명하는 사운드들의 특성을 증명하는 사운드들의 샘플들(samples)을 선택한다. 그 후, 샘플 사운드들 각각은 상기 세트에 대한 평균 벡터(μ) 및 상기 세트에 대한 정규화 벡터(normalisation vector)(V)(정규화 값들은 표준 편차 또는 범위 값 중 하나이다)을 계산하는데 사용된다. 이러한 벡터들은 카테고리들(categories)을 정의하는 별도의 데이터베이스에 저장될 수 있다. 일단 규정되는 큰 특성도(degree of the property)를 갖는 벡터들의 세트들을 제공함으로써 카테고리들이 정의되면, 개별적인 사운드들을 카테고리들과 비교하고, 사운드 및 카테고리 사이의 거리 측정치를 발견할 수 있다. μ 및 V에 의해 정의된 바와 같은 카테고리에 대한 예시적 벡터(A)의 이러한 거리는:
Figure 112009073719101-PCT00001
에 의해 제공되고; i=0 내지 N-1이다.
상기 거리는 사운드가 등급 "내"에 있는지 또는 "외"에 있는지를 결정하기 위하여 어떤 임계값과 비교될 수 있다. 일부 음향 특징들이 등급에 대해 중요하지 않다는 것이 선험적으로 인지되는 경우에, 상기 일부 음향 특징들은 거리의 계산에서 무시되거나 더 낮은 가중치를 제공받을 수 있다.
공지된 방법의 문제점은 계산된 거리가 세트를 정의하는 N-벡터들이 평균치 주위에 균일하게 분포되고 각각의 세트가 동일한 수의 N-벡터들에 의해 정의된다는 가정을 기반으로 한다는 것이다.
본 발명의 목적은 콘텐트 아이템들이 개인 카테고리들 내로 비교적 정확하게 구성될 수 있도록 하는 도입 단락들에서 언급된 유형들의 방법, 디바이스 및 컴퓨터 프로그램을 제공하는 것이다.
이 목적은:
제 1 및 적어도 하나의 부가적인 라벨(label) 각각을 다수의 제 1 콘텐트 아이템들의 각각의 세트들과 관련시키는 정보를 획득하는 단계로서,
적어도 하나의 제 1 콘텐트 아이템이 사용자 입력에 응답하여 상기 제 1 라벨과 관련되는, 상기 정보 획득 단계;
제 2 콘텐트 아이템을 획득하는 단계;
상기 제 1 및 부가적인 라벨들 각각에 대하여, 상기 제 2 콘텐트 아이템을 특징짓는 특징 벡터 및 상기 라벨과 관련된 제 1 콘텐트 아이템들을 특징짓는 특징 벡터들 각각 사이의 유사성 측정치(similarity measure)를 계산하는 단계; 및
상기 유사성 측정치의 계산된 값들에 따라, 상기 제 2 콘텐트 아이템이 상기 제 1 라벨과 관련된 상기 제 1 콘텐트 아이템들과 유사하다고 결정할 시에 상기 제 1 라벨을 상기 제 2 콘텐트 아이템과 관련시키는 단계를 포함하는, 본 발명에 따른 방법에 의해 성취된다.
콘텐트 아이템은 바람직하게는, 사운드 발췌록(sound excerpt), 정지 이미지 또는 이미지들의 시퀀스(sequence) 중 적어도 하나를 나타내는 신호 또는 신호들의 레코딩(recording) 또는 링크된 레코딩들(linked recordings)의 세트를 포함한다.
적어도 하나의 제 1 콘텐트 아이템이 사용자 입력에 응답하여 상기 제 1 라벨과 관련되기 때문에, 상기 방법은 일반적으로 규정된 카테고리들에 대해 다수의 콘텐트 아이템들의 검사자(test person)들에 의한 할당(assignment)들을 기반으로 한 카테고리 정의(category definition)들에 반대되는 바와 같이, 특정 구현예에 특정되는 카테고리 정의들을 허용한다. 단일 제 1 콘텐트 아이템은 특정 카테고리의 콘텐트 아이템들의 모든 특성들을 매우 잘 구현할 것이다. 그러므로, 다수의 제 1 콘텐트 아이템들의 각각의 세트들은 라벨들과 관련된다. 제 2 콘텐트 아이템을 특징짓는 특징 벡터 및 라벨과 관련된 제 1 콘텐트 아이템을 특징짓는 특징 벡터들 각각 사이의 유사성 측정치를 계산함으로써, 특징 공간(feature space)에 걸쳐 라벨과 관련된 제 1 콘텐트 아이템들을 특징짓는 특징 벡터들의 임의의 불균일한 분포가 고려된다. 더욱이, 제 2 콘텐트 아이템이 라벨과 관련된 제 1 콘텐트 아이템들과 유사한지를 결정하는 기준은 라벨과 관련된 세트 내의 제 1 콘텐트 아이템들의 수를 기반으로 할 수 있다.
실시예에서, 사용자는 사용자 입력에 의해 제 1 라벨을 정의하도록 허용된다.
사용자가 미리-정의되거나 사용자-구성 카테고리에 대해 개인화된 라벨을 정의하도록 함으로써, 사용자는 개인 카테고리들을 정의 또는 강화할 수 있다.
제 1 라벨은 상기 제 1 라벨을 제 2 콘텐트 아이템에 링크하는 정보를 저장함으로써 제 2 콘텐트 아이템과 관련될 수 있다.
제 1 라벨이 상기 제 1 라벨을 제 2 콘텐트 아이템에 링크하는 정보를 저장함으로써 제 2 콘텐트 아이템과 관련되기 때문에, 카테고리 정의들을 기반으로 한 플레이리스트(playlist)들이 더 신속하게 어셈블링(assembling)될 수 있는데, 그 이유는 유사성 측정들을 반복할 필요가 없기 때문이다.
콘텐트 아이템들을 구성하는 본 방법의 실시예는 사용자가 사용자 입력에 의하여 적어도 하나의 제 1 콘텐트 아이템을 제 1 라벨과 관련시키도록 하는 단계를 더 포함한다.
사용자가 어느 제 1 콘텐트 아이템들을 사용자-정의되거나 미리-정의되는 제 1 라벨과 관련시킬지를 선택하도록 함으로써, 사용자는 개인 카테고리를 규정 또는 강화할 수 있다.
실시예에서, 제 1 라벨은 제 2 콘텐트 아이템이 부가적인 라벨들과 관련된 제 1 콘텐트 아이템(들)보다 제 1 라벨과 관련된 제 1 콘텐트 아이템(들)과 더 유사하다고 결정할 시에 제 2 콘텐트 아이템과 관련된다.
효과는 제 2 콘텐트 아이템이 제 1 라벨에 대응하는 카테고리에 속해야 하는지를 결정하기 위하여 임계값들을 정의하는 것이 필수적이지 않다는 것이다. 상대적인 기준은 또한 제 2 콘텐트 아이템이 단지 하나의 카테고리에만 할당될 수 있다는 의미에서, 카테고리들이 상호 배타적인 방법을 구현하는데 적합하다. 이 유형의 카테고리화는 카테고리를 나타내는 특정 제 1 콘텐트 아이템과 유사한 제 2 콘텐트 아이템을 탐색함으로써 플레이리스트들을 발생시키는데 사용되는 방법들과 가장 현저하게 상이하다. 이와 같은 방법들은 유사한 콘텐트 아이템들의 클러스터(cluster)의 크기들을 고려하지 않는다.
실시예에서, 각각의 특징 벡터의 적어도 하나의 좌표는 재생 디바이스 상에서 렌더링(rendering)될 때 지각할 수 있는 신호의 특성을 나타내는 파라미터 값(parameter value)을 결정하기 위하여, 그 특징 벡터에 의해 특징지워지는 콘텐트 아이템 내에 포함된 신호에 대한 미리-정의된 신호 분석을 수행함으로써 획득될 수 있다.
효과는 상기 방법이 자동화될 수 있다는 것이다. 유사한 콘텐트 아이템들의 결정은 보편적 또는 객관적이다. 특정 등급을 나타내는 제 1 콘텐트 아이템들의 선택만이 주관성(subjectivity)의 요소를 포함한다.
실시예는 제 2 콘텐트 아이템을 특징짓는 특징 벡터 및 제 1 라벨과 관련된 콘텐트 아이템들을 특징짓는 특징 벡터들 사이의 유사성 측정치의 값을 기반으로 한 적어도 하나의 값을 나타내는 데이터를 제 2 콘텐트 아이템과 관련시키는 단계를 더 포함한다.
효과는 질의와 관련되는 콘텐트 아이템들에 대한 비교적 정확한 탐색이 매우 많은 수의 라벨들, 즉, 매우 많은 카테고리 정의들을 사용함이 없이 수행될 수 있다는 것이다. 제 2 콘텐트 아이템들은 자신들이 제 1 라벨과 관련된 제 1 콘텐트 아이템(들)에 얼마나 면밀하게 정합하는지에 따라 랭킹화(ranking)될 수 있어서, 라벨에 의해 표현된 특성들에서 타겟화(targeting)되는 탐색의 결과들의 개선(refinement)을 허용한다.
실시예에서, 제 1 라벨은 제 2 콘텐트 아이템을 특징짓는 특징 벡터 및 상기 라벨과 관련된 콘텐트 아이템들을 특징짓는 특징 벡터들 사이의 유사성 측정치의 값을 기반으로 한 적어도 하나의 값이 미리-결정된 범위 내에 존재한다고 결정할 시에만 제 2 콘텐트 아이템과 관련된다.
효과는 상기 방법이 제 2 콘텐트 아이템이 모든 다른 종류들의 콘텐트 아이템들과 유사하지 않을 때 비교적 양호하게 기능을 한다는 것이다. 상기 범위는 단지 상기 라벨과 관련된 제 1 콘텐트 아이템들의 세트가 가장 유사하기 때문에 모든 제 1 콘텐트 아이템들과 유사하지 않은 콘텐트 아이템들이 자신들과 관련된 라벨을 갖지 않는다는 것을 보증하도록 선택될 수 있다.
실시예에서, 유사성 측정치는:
가중된 거리 측정치에 따라 특징 벡터들 사이의 가중된 거리를 계산하고,
상기 계산되는 가중된 거리에 확률 분포를 기반으로 한 함수를 적용함으로써 계산된다.
효과는 상이한 수들의 라벨들로의 유사성 측정치의 적응에 대한 가능성을 제공하는 것이다. 관련된 제 1 콘텐트 아이템들의 세트들을 갖는 많은 수의 부가적인 라벨들이 존재하는 더 작은 확산(spread)을 갖는 확률 분포를 사용할 수 있다.
실시예에서, 확률 분포를 기반으로 한 함수가 제 1 및 부가적인 라벨들과 관련된 제 1 콘텐트 아이템들의 세트들에 걸쳐 파라미터화된다.
효과는 제 1 및 부가적인 라벨들과 관련된 제 1 콘텐트 아이템들의 상이한 크기의 세트들을 고려하는 것이다.
실시예에서, 제 2 콘텐트 아이템을 특징짓는 특징 벡터 및 라벨과 관련된 콘텐트 아이템을 특징짓는 임의의 특징 벡터 사이의 유사성 측정치가 상기 라벨과 관련된 세트에 포함된 제 1 콘텐트 아이템들의 수(Mc)에 따른 팩터(factor)에 의해 표준화된다.
효과는 카테고리화가 자신들과 관련된 많은 수의 제 1 콘텐트 아이템들을 갖는 라벨들로 표현되는 카테고리들 쪽으로 바이어싱(biasing)되지 않는다는 것이다.
실시예에서, 유사성 측정치는 0 내지 1의 범위 내의 값을 갖는 지수(exponent)로 지수화된, 라벨과 관련된 세트에 포함된 제 1 콘텐트 아이템들의 수(Mc)에 반비례하는 팩터에 의해 표준화된다.
지수, 및 특히 약 0.5의 값의 이러한 선택은 상이한 카테고리들에 대하여, 상이한 수들의 제 1 콘텐트 아이템들이 카테고리들을 나타내는 라벨들과 관련될 수 있다는 사실에 대해 수용한다. 표준화가 적용되지 않는다면, 이것은 확률 분포를 기반으로 한 함수가 제 1 콘텐트 아이템들의 수에 거의 비례하는 비율로 커질 것이기 때문에 많은 제 1 콘텐트 아이템들과 관련된 라벨들 쪽으로 강한 바이어스를 발생시킬 것이다. 즉, 자신과 관련된 몇 개의 콘텐트 아이템들을 갖는 라벨들은 제 2 콘텐트 아이템으로 할당될 확률이 매우 높을 것이다. 지수가 정확히 1이라면, 자신과 관련된 많은 제 1 콘텐트 아이템들을 갖는 라벨은 자신과 관련된 매우 적은 또는 하나의 제 1 콘텐트 아이템을 갖는 라벨로서 제 2 콘텐트 아이템으로 할당될 확률이 거의 동일할 것이다. 이것은 특정 라벨과 관련된 더 많은 제 1 콘텐트 아이템들이 존재한다는 사실이 이 라벨이 좋아하는 카테고리, 예를 들어, 사용자의 특정 선호도(preference)를 나타내는 기호(sign)이기 때문에, 바람직하지 않다.
실시예에서, 확률 분포를 기반으로 한 함수는 확률 분포의 폭을 지정하는 가변 파라미터를 포함하며, 상기 가변 파라미터는 제 1 콘텐트 아이템 및 제 1 또는 추가적인 라벨 사이의 관련성들의 총수에 따라 값을 할당받는다.
효과는 특징 공간의 매우 미세한 레졸루션(resolution)을 제공하거나 또는 특징 공간들이 상이한 카테고리들에 의해 채워지는 것을 확인하기 위하여 제 1 콘텐트 아이템들의 수가 고려될 수 있다는 것이다. 더 많은 제 1 콘텐트 아이템들이 라벨들과 관련되기 때문에, 확률 분포를 기반으로 한 함수가 조정될 수 있다.
실시예에서, 제 1 및 추가적인 라벨들 중 특정한 하나에 대하여, 가변 파라미터는 상기 라벨과 관련된 제 1 콘텐트 아이템들의 세트 내의 특징 벡터들의 쌍들 사이의 가중된 거리 측정치에 따른 다수의 가장 작은 거리들의 값들의 함수인 값을 할당받는다.
따라서, 비교적 많은 제 1 콘텐트 아이템들이 각각의 라벨과 관련되는 경우에, 파라미터는 그러한 제 1 콘텐트 아이템들을 특징짓는 특징 벡터들 사이에서 전형적으로 관측되는 거리들을 나타내게 된다.
실시예에서, 가변 파라미터는 제 1 또는 부가적인 라벨과 관련된 제 1 콘텐트 아이템들을 특징짓는 모든 특징 벡터들의 임의의 쌍들 사이의 가중된 거리 측정치에 따른 평균 거리의 함수이다.
효과는 실제로 매우 적은 콘텐트 아이템들이 제 1 및/또는 부가적인 라벨들과 관련되는 상황들 하에서도, 파라미터 값이 라벨과 관련된 세트 내의 제 1 콘텐트 아이템들을 특징짓는 특징 벡터들 사이의 거리의 실험적인 값들을 기반으로 할 수 있다는 것이다.
상기 방법의 실시예는 특징 벡터들의 좌표들 사이를 구별하는 가중된 거리 측정치를 사용하여, 그리고
복수의 콘텐트 아이템들 중 하나를 각각 특징짓는 특징 벡터들의 트레이닝 세트를 획득하고,
특징 벡터들 각각이 복수의 서브-세트들 중 적어도 하나에 포함되고,
공통 서브-세트에 포함된 특징 벡터들의 쌍들이 디스조인트 서브-세트(disjoint sub-set)들에 포함된 특징 벡터들의 쌍들에 관한 큰 가중된 거리를 가지도록 최적화되는 값들로 가중된 매트릭스(matrix)를 퍼퓰레이팅(populating)함으로써 획득될 수 있는 특징 가중 매트릭스를 기반으로 하여, 유사성 측정치를 계산하는 단계를 포함한다.
효과는 거리 측정치가 카테고리 멤버쉽(category membership)의 예측자(predictor)로서 상이한 특징 벡터 좌표들을 매우 정확하게 정량하는 정보를 통합하는 것이다. 이것은 매우 큰 트레이닝 세트를 기반으로 할 수 있다. 상기 방법 자체는 콘텐트 아이템들의 비교적 작은 컬렉션(collection)들 상에서 수행될 수 있지만, 구현예-특정 카테고리 정의들로 적응되고 양호한 카테고리화 결과들을 산출할 수 있다.
또 다른 양태에 따르면, 본 발명에 따른 콘텐트 아이템들을 구성하는 디바이스는 전자 회로를 포함하며, 상기 전자 회로는:
사용자 입력에 응답하여 적어도 하나의 제 1 콘텐트 아이템을 제 1 라벨과 관련시키고;
적어도 하나의 부가적인 라벨 각각을 다수의 제 1 콘텐트 아이템들의 각각의 세트들과 관련시키는 정보를 획득하고;
제 2 콘텐트 아이템을 획득하고;
상기 제 1 및 부가적인 라벨들 각각에 대하여, 제 2 콘텐트 아이템을 특징짓는 특징 벡터 및 상기 라벨과 관련된 제 1 콘텐트 아이템들을 특징짓는 특징 벡터들 각각 사이의 유사성 측정치를 계산하고;
상기 유사성 측정치의 계산된 값들에 따라, 상기 제 2 콘텐트 아이템이 상기 제 1 라벨과 관련된 제 1 콘텐트 아이템들과 유사하다고 결정할 시에 상기 제 1 라벨을 제 2 콘텐트 아이템과 관련시키도록 동작한다.
상기 디바이스는 개인 카테고리를 정의하는 것들과의 이들의 특성들 중 하나 이상의 유사성의 비교적 정확한 평가를 기반으로 한 콘텐트 아이템들의 고속 검색을 허용한다.
또 다른 양태에 따르면, 본 발명에 따른 콘텐트 아이템들을 구성하는 디바이스는 사용자가 사용자 입력에 의하여 제 1 라벨을 정의하도록 하고 상기 제 1 라벨을 제 2 콘텐트 아이템과 관련시킬 때 상기 제 1 라벨을 상기 제 2 콘텐트 아이템에 링크하는 정보가 저장되도록 동작하는 것 대신에, 또는 그 이외에, 특징 벡터들의 좌표들 사이를 구별하는 가중된 거리 측정치를 사용하여, 그리고 상기 가중된 거리 측정치가 적용되는 제 1 및 부가적인 라벨과 관련된 제 1 콘텐트 아이템들을 특징짓는 특징 벡터들에 걸쳐 변화하지 않는 가중치들을 기반으로 하여, 유사성 측정치를 계산하도록 동작하는 전자 회로를 포함한다.
이 디바이스는 임의의 카테고리 정의와 무관하게 커스텀-정의된 카테고리(custom-defined category)들에 따라 콘텐트 아이템들을 더 효율적으로 분류할 수 있다. 가중된 거리 측정치는 가중치들이 어떤 유형의 카테고리들, 예를 들어, 장르(genre)들에 대응하는 카테고리들 또는 아티스트(artist)들에 대응하는 카테고리들 사이를 구별하도록 선택될 수 있기 때문에, 잠재적으로 더 양호한 분류 결과를 제공한다.
실시예에서, 상기 디바이스는 본 발명에 따른 방법을 실행하도록 구성된다.
또 다른 양태에 따르면, 본 발명에 따른 컴퓨터 프로그램은 기계-판독 가능한 매체 내에 통합될 때, 정보 처리 능력들을 갖는 시스템이 본 발명에 따른 방법을 수행하도록 할 수 있는 명령들의 세트를 포함한다.
본 발명은 첨부 도면들을 참조하여 더 상세히 설명될 것이다.
도 1은 개인 음악 플레이어의 개략적인 블록도.
도 2는 콘텐트 아이템들을 구성하는 방법의 개요를 제공하는 흐름도.
도 3은 도 2의 방법에서 사용하기 위한 특징 가중 매트릭스를 제공하는 제 1 방법의 개요를 제공하는 흐름도.
도 4는 등급들에서 클러스터링(clustering)된 특징 벡터들의 2-차원 특징 공간에서의 제 1 유형의 분포의 개략도.
도 5는 등급들에서 크러스터링된 특징 벡터들의 2-차원 특징 공간에서의 제 2 유형의 분포의 개략도.
도 6은 도 2의 방법에서 사용하기 위한 특징 가중 매트릭스를 제공하는 제 2 방법의 개요를 제공하는 흐름도.
도 7은 도 2에 도시된 방법의 변형에 의해 사운드들의 소스들을 인식하도록 설정된 개인용 컴퓨터의 블록도.
전자 디바이스(1)는 콘텐트 아이템에 포함된 신호, 예를 들어, 파일에 포함된 디지털 오디오, 비디오 또는 이미지 신호를 렌더링하는 재생 디바이스의 예로서 본원에서 사용된다. 전자 디바이스(1)는 고정형 또는 휴대용 디바이스일 수 있다. 전자 디바이스(1)는 소비자 디바이스, 예를 들어, TV 또는 셋 톱-박스(set top-box), 또는 전문가 디바이스일 수 있다. 파일들은 대량-저장 디바이스(2)에 저장된다. 대량-저장 디바이스(2)는 예를 들어, 하드 디스크, 고체-상태 메모리, 광 디바이스 판독기 또는 홀로그래픽 저장 수단(holographic storage means)을 포함할 수 있다. 각각의 저장된 파일은 메타데이터를 더 포함한다.
파일들로부터의 데이터는 인터페이스(3)를 통해 판독된다. 전자 디바이스(1)는 휴대용 음악 플레이어(1)가 후술되는 방법들 중 하나 이상을 수행할 수 있도록 하는 명령들을 포함하는 판독-전용 메모리(6)에 저장된 명령들을 실행하는 랜덤 액세스 메모리(5) 및 프로세서(4)를 더 포함한다. 콘텐트 아이템들에 포함된 신호들의 재생을 위하여, 전자 디바이스(1)는 입력/출력 인터페이스(9)를 통하여 데이터를 제공받는 디지털 신호 프로세서(7) 및 재생 디바이스(8)를 포함한다. 재생 디바 이스(8)는 예를 들어, 디스플레이 및/또는 라우드 스피커를 포함할 수 있다. 사용자는 입력 디바이스(10), 예를 들어, 키보드 및/또는 스크롤 버튼(scroll button)들 및 출력 디바이스(11)를 포함하는 사용자 인터페이스를 통하여 입력을 제공할 수 있다. 입력 디바이스(10) 및 출력 디바이스(11)는 예를 들어, 네트워크 커넥터, 가령, USB 커넥터 또는 이더넷 커넥터, 신치 커넥터(cinch connector) 또는 SCART 커넥터와 같은 아날로그 오디오 및/또는 비디오 커넥터, 또는 HDMI 또는 SPDIF 커넥터와 같은 디지털 오디오 및/또는 비디오 커넥터를 포함할 수 있다. 입력 디바이스(10) 및 출력 디바이스(11)는 무선 수신기 및/또는 송신기를 포함할 수 있다.
오디오 정보와 같은 콘텐트 아이템들을 분배 및 저장하는 새로운 기술들은 사용자들이 매우 큰 음악 컬렉션들을 수집하도록 한다. 충분한 이득으로 이와 같은 큰 음악 컬렉션을 사용하는 것이 사용자들에 의해 요구되고 있고, 음악 컬렉션에 액세스하는데 있어서 사용자를 돕는 기술들이 개발될 필요가 있다. 음악 분류는 사용자가 예를 들어, 음악의 장르들, 또는 음악과 관련된 무드(mood)들과 같은 어떤 미리 규정된 카테고리들에 따라 음악 컬렉션을 구성하도록 하는 기술이다. 자동 음악 분류 시스템들은 분류 모델들을 기반으로 하여 하나 이상의 카테고리들에서 음악을 분류한다. 공지된 시스템들의 미리-규정된 카테고리들이 종종 사용자에 의해 지각되는 카테고리들에 정합하지 않는다는 것이 공지된 시스템들의 결점이다. 사용자가 때때로 자신의 음악을 개인 카테고리들 내로 수동으로 분류할지라도, 상기 사용자는 자신의 전체 음악 컬렉션에 대해 상기 분류를 행할 필요가 있는데, 이것은 상당한 작업량을 필요로 한다.
본원에 약술된 방법들은 사용자들이 제한된 노력량으로 개인 등급들을 정의하도록 하는, 콘텐트 아이템들을 구성하는 방법을 제공한다. 상기 콘텐트 아이템들을 구성하는 방법은 사용자가 라벨을 정의하도록 하는 단계, 사용자가 적어도 하나의 제 1 콘텐트 아이템을 상기 라벨과 관련시키도록 하는 단계, 상기 제 1 콘텐트 아이템과 유사한 특성들을 갖는 제 2 콘텐트 아이템들을 탐색하는 단계, 및 상기 라벨을 상기 제 2 콘텐트 아이템과 관련시키는 단계를 포함한다. 유사성 측정치를 사용함으로써, 제 1 콘텐트 아이템(즉, 시드 콘텐트 아이템(seed content item))은 사용자가 관심이 있는 카테고리의 원형적인 예의 역할을 한다. 유사한 노래들은 시드 노래들과 유사한 음악 코노테이션(music connotation)을 가질 확률이 매우 높다. 따라서, 이 방법은 이미 카테고리 당 매우 적은 시드 노래들에 대해 효율적이다. 동일한 원리가 다른 유형들의 콘텐트 아이템들에 적용될 수 있다. 개인화된 분류의 콘텍스트(context)에서 음악 유사성 측정치를 사용하는 추가적인 장점은 시드 노래들의 의미있는 유사성 측정치가 획득된다는 것이다. 이 방식으로, 순위(rank order)는 개인 카테고리의 파트(part)일 확률이 가장 높은 노래들로 이루어질 수 있고, 등급에 속할 확률이 가장 높은 노래들만이 디스플레이되거나, 또는 대안적으로 확률이 가장 높은 노래들이 리스트의 최상부에서 디스플레이될 수 있다. 다시, 동일한 원리가 다른 유형들의 콘텐트 아이템들에 적용될 수 있다.
유사성 측정치의 조성이 이하에 더 상세히 제공될 것이다. 유사성 측정치는 콘텐트 아이템들을 특징짓는 특징 벡터들(fx)의 좌표들 사이를 구별하는 가중된 거 리 측정치를 사용하여 계산된다. 특징 벡터(fx)의 각각의 좌표는 상기 특징 벡터(fx)에 의해 특징지워지는 콘텐트 아이템에 포함되는 신호에 대한 미리-정의된 신호 분석을 수행함으로써 획득될 수 있다. 상기 분석은 신호가 재생 디바이스(8) 상에서 렌더링될 때 지각될 수 있는 신호의 특성들을 나타내는 파라미터 값들을 산출한다. 오디오 신호에 대하여, 특징 벡터 좌표들의 예들은 라우드니스, 베이스, 피치, 브라이트니스, 대역폭 및 MFCC들을 포함한다. 비디오 신호 또는 정지 이미지에 대하여, 콘트라스트(contrast), 휘도, 컬러 컴포넌트의 상대적인 강도 및 장면 변화들의 빈도가 정량될 수 있고, 특징 벡터들(fx)을 정의하는 파라미터들로서 포함될 수 있다.
도 2의 방법에서 사용되는 가중된 거리 측정치는 시드 아이템들을 특징짓는 특징 벡터들에 무관한 가중치들을 기반으로 한다. 이것은 가중된 거리가 라벨과 관련되는 어느 세트의 시드 아이템들로 결정되는지에 따라 상기 가중치들이 변화하지 않는다는 것을 의미한다. 그 대신에, 가중치들의 값들은 모든 라벨들에 걸쳐 일정하다. 도시된 실시예에서, 가중된 거리 측정치는 도 3 및 도 6에 도시된 방법들 중 하나에 의해 획득될 수 있는 특징 가중 매트릭스(W)를 기반으로 한다. 이어서, 특징 가중 매트릭스는 대량-저장 디바이스(2)에 저장된 컬렉션보다 훨씬 더 큰 트레이닝 데이터베이스 내의 분류된 콘텐트 아이템들을 특징짓는 특징 벡터들(fx)의 트레이닝 세트를 기반으로 하여 계산된다.
따라서, 도 2에 도시된 방법의 제 1 단계(12)는 일반적으로 전자 디바이 스(1)에서 수행되는 것이 아니라, 오프-라인(off-line)으로 수행된다. 변형들에서, 제 1 단계(12)는 대량-저장 디바이스(2) 내로 로딩된 미리-분류된 트레이닝 세트를 사용하여, 전자 디바이스에 의해 수행될 수 있다. 그러나, 제 1 단계(12)는 예를 들어, 장르 등급들을 식별하는 여분의 데이터로 각각 주석이 달린 콘텐트 아이템들의 더 큰 컬렉션으로의 액세스를 갖는 더 강력한 데이터 처리 시스템에서 전형적으로 이용 가능한 것과 같이, 더 큰 트레이닝 세트 상에서 수행될 때 더 양호한 결과들을 산출한다. 제 1 단계(12)는 도 3 및 도 6에 도시된 방법들 중 하나에 따라 수행되고, 이하에 더 상세히 설명될 것이다.
제 2 단계(13)는 전형적으로 전자 디바이스(1)를 제조하는 공장에서 수행된다. 제 2 단계는 전자 디바이스(1)에 포함된 메모리 내로, 예를 들어, ROM(6) 또는 대량-저장 디바이스(2) 내로 가중 매트릭스를 나타내는 데이터를 로딩하는 것을 포함한다.
나머지 단계들은 사용자가 전자 디바이스(1)에 액세스 가능한 콘텐트 아이템들의 컬렉션을 카테고리화하기를 희망할 때 수행된다.
단계(14)는 사용자가 라벨을 정의하도록 하는 것을 포함한다. 단계(15)는 사용자가 적어도 하나의 제 1 콘텐트 아이템, 또는 시드 콘텐트 아이템을 상기 라벨과 관련시키도록 하는 것을 포함한다. 의미있는 카테고리화를 위하여, 이전의 2개의 단계들(14, 15)을 반복하거나, 또는 예를 들어, 공장에서 사전-설정되는 관련된 시드 콘텐트 아이템들을 갖는 디폴트 라벨(default label)들을 사용함으로써, 부가적인 라벨들이 획득된다. 사용자는 또한 2개의 단계들(14, 15) 중 하나만을 수행할 수 있다. 예를 들어, 미리-설정된 라벨 식별자들이 사용될 수 있고, 시드 아이템들과 관련된 이와 같은 라벨들이 사용자의 개인 컬렉션으로부터 사용자에 의해 선택될 수 있다. 추가적으로, 또는 대안적으로, 사용자는 시드 아이템들의 세트와 이미 관련된 라벨의 식별자를 변화시킬 수 있다.
부가적인 단계(16)는 카테고리로 할당되어야 하는 카테고리화되지 않은 또는 제 2의 콘텐트 아이템을 획득하는 것을 포함한다. 전자 디바이스(1)는 제 2 콘텐트 아이템을 특징짓는 특징 벡터(fx)를 획득할 것이다(단계 17). 전자 디바이스는 미리-결정된 알고리즘들 자체에 따른 신호 분석들을 수행함으로써 특징 벡터(fx)를 계산하거나, 또는 콘텐트 아이템과 함께 저장된 메타데이터(metadata)에 포함되거나 상기 메타데이터에 의해 링크되며 이전에 계산된 특징 벡터(fx)를 나타내는 데이터를 검색할 것이다.
부가적인 단계(18)는 개인화된 분류자(personalised classfier)를 구성하는 것을 포함한다. 예로서 노래들로 이루어진 콘텐트 아이템들의 컬렉션을 사용하여, 개인화된 분류자는 다음의 정보가 이용 가능하다고 가정해서 구성될 수 있다. 컬렉션 내의 각각의 노래에 대하여, 평균 특징 벡터가 계산되었다. 컬렉션 내의 모든 노래들의 평균 특징 벡터들은 N개의 백터들(f1...fN)에 의해 표시된다. 게다가, 사용자는 다수의 개인화된 등급 기술자(descriptor)들을 지정하였다(단계 14). 개인화된 등급들 각각에 대하여, 적어도 하나의 예시적 노래가 지정되었고(단계 15), 대응하는 평균 특징 벡터가 저장되어야 한다. 이러한 예시적 특징 벡터들은 Sc1...ScMc로서 표시될 것이며, 여기서 c는 특징 벡터가 속하는 등급을 나타내고 Mc는 등급 c에 이용 가능한 예시적 특징 벡터들의 수이다. 예시적 노래 특징 벡터들 및 이들의 대응하는 등급 라벨들은 대응하는 등급 라벨들을 포함하는 하나 및 모든 예시적 아이템들의 리스트를 포함하는 2개의 어레이들(19, 20)로서 도 2에 표현된다.
주의되는 바와 같이, 사용자는 사용자 입력을 제공함으로써 개인화된 분류자와 상호작용할 수 있다. 이 사용자 입력을 통하여, 음악 컬렉션에서 이용 가능한 특징 벡터들은 분류자 데이터 블록(21)으로 전달된다.
분류자 데이터 블록(21)에서 이용 가능한 데이터를 기반으로 하여, 음악 컬렉션은 개인화된 분류자를 사용해서 자동적으로 라벨링될 수 있다. 그 후, 분류 결과들이 음악을 바람직하다면, 플레이리스트들의 형태로 재생을 위해 사용자에게 이용 가능하도록 하는데 사용될 수 있다. 플레이리스트들은 각각의 노래에 대하여, 노래가 자신이 분류된 카테고리에 얼마나 양호하게 적합한지를 나타내는 음악 유사성 측정치가 이용 가능하기 때문에 본 발명에 의해 매우 편리한 방식으로 발생될 수 있다. 이용 가능한 유사성들을 기반으로 하여, 플레이리스트의 최상부 상에 가장 유사한 노래들로 순위가 만들어질 수 있다. 분류 결과들이 사용자에게 이용 가능하게 되기 때문에, 사용자는 (사용자의 의견에 따른) 노래가 부정확하게 분류되었다는 것을 나타내는 사용자 입력을 제공할 수 있다. 따라서, 사용자는 데이터 블록(21)에서 예시적 노래들의 리스트의 갱신을 발생시키는 사용자 입력을 제공할 수 있다.
음악 컬렉션 내의 노래들 각각에 대하여, 음악 유사성 측정치는 음악 유사성 측정치(Gxc)를 사용하여 계산될 것이다(단계 22). 여기서, x는 음악 컬렉션 내의 노래를 나타내므로; x는 1...N의 범위일 수 있고, c는 유사성이 계산되는 (다수의 예시적 노래들에 의해 표현되는) 등급이다.
Gxc의 가능한 정의는:
Figure 112009073719101-PCT00002
(1)
이며, 여기서 P는 확률 밀도 함수이고, N은 표준화 팩터이며, D는 특징 벡터 쌍(Sk 및 fx)의 유사성을 나타내는 가중된 거리 측정치이다. 이 측정치는 기본적인 형태:
Figure 112009073719101-PCT00003
(2)
를 갖고, 여기서 W는 가중 매트릭스이다. 이 거리 측정치는 음악이 매우 유사할 때 작은 값을 갖는 경향을 가질 것이다. 언급된 바와 같이, 매트릭스(W)는 미리-정의된 데이터베이스를 기반으로 하여 가장 양호하게 제공되지만, 상기 매트릭스는 또한 이용 가능한 예시적 노래들로부터 계산될 수 있다.
그 후, 특정 특징 벡터(fx)의 분류가 fx:
Figure 112009073719101-PCT00004
(3)
이라고 가정하면, 단순히 Gxc가 최대인 등급을 찾음으로써 획득된다(단계 23).
이 방식의 분류가 상호 배타적인 카테고리들을 발생시키는데, 즉 각각의 노 래가 단지 단일 카테고리에 속할 수 있다는 점에 주의하라. 대안적으로, 노래가 하나 이상의 카테고리에 속하는 것이 때때로 바람직할 수 있다. 그 경우에, 카테고리는:
Figure 112009073719101-PCT00005
(4)
인 모든 노래들로 채워질 수 있고, 여기서 Δ는 적절하게 선택된 기준 값을 나타낸다.
식 1의 함수(P)는 음악이 예시적 노래와 유사하게 들리는 확률에 의하여 음악 유사성을 계산하는데 사용된다. 상기 함수는 음악이 매우 유사한 경우에(그리고 D가 매우 작은 경우에), P가 크지만, 음악이 유사하지 않을 때(D가 클 때) P가 제로에 접근하도록 정의된다. 가우스 확률 밀도 함수를 사용하면 Gxc에 대해 다음 식이 발생되고:
Figure 112009073719101-PCT00006
(5)
여기서 σ는 가우스 분포의 폭을 지정하는 파라미터이다. 파라미터들(N 및 σ)의 선택에서 자유가 존재할지라도, 특징 벡터들의 임의의 쌍들에 대해 관측되는 D의 평균 값의 약 20%인 σ에 대한 값을 사용하는 것이 양호하게 동작한다는 것이 경험을 통해 알려졌다. 이것은 예시적 노래의 영향이 특징 공간의 적당히 큰 파트에 걸쳐 확산되는 것을 확실히 하기 위하여 확률 밀도 함수의 충분한 확산을 허용하지만, 특징 벡터들의 유사하지 않은 쌍 및 유사한 쌍 사이를 구별하기 위하여 특 징 공간에서 충분한 레졸루션을 가질만큼 충분히 작다.
게다가,
Figure 112009073719101-PCT00007
를 사용하는 것이 매우 유용한 선택이라는 것이 판명되었다. 이것은 상이한 카테고리들에 대하여, 상이한 수들의 예시적 노래들이 사용자에 의해 제공될 수 있다는 사실에 대해 수용한다. 표준화가 적용되지 않는 경우에, 이것은 확률 밀도 함수가 예시적 노래들의 수에 거의 비례하는 비율로 더 커질 것이기 때문에 많은 예시적 특징 벡터들을 갖는 등급들 쪽으로의 강한 바이어스를 발생시킬 것이다. 즉, 몇 개의 예시적 노래들을 갖는 등급들이 발생할 확률이 매우 높다. 표준화가 N=Mc인 경우에, 매우 많은 예시적 노래들을 갖는 카테고리가 단지 하나의 예시적 노래만을 갖는 카테고리로서 발생할 확률이 거의 동일할 것이다. 이것은 이제 카테고리 당 예시적 노래들의 수가 노래들로 어떤 카테고리들을 더 조밀하게 퍼퓰레이팅하는 수단으로서 전혀 사용될 수 없기 때문에 바람직한 것이 아니다. 하나의 등급 내에 더 많은 예시적 노래들이 존재한다는 사실은 사용자가 이 카테고리 내로 분류된 더 많은 노래를 가지기를 희망한다는 기호로서 간주될 수 있다. 정의
Figure 112009073719101-PCT00008
가 상술된 문제들을 극복하기 위한 양호한 방식이라는 것이 판명되었다.
이용 가능한 예시적 노래들의 수에 따라 파라미터(σ)를 변하도록 하는 것이 가치가 있다. 기본적인 개념은 매우 적은 예시적 노래들이 존재하는 한, 파라미터(σ)가 특징 공간을 채우도록 충분히 크게 선택되어야 하지만, 등급들 사이의 차이들이 여전히 분석될 수 있도록 할만큼 충분히 작아야 한다는 것이다. 비교적 큰 σ 를 선택함으로써, 동일한 등급에 대한 상이한 예시적 노래들의 확률 함수들이 과도하게 중첩되는 경향을 가질 것이다. 따라서, 단지 제한된 데이터 량으로부터 이와 같은 클러스터의 존재에 관한 필요한 정보가 유도될 수 없기 때문에 특징 공간 내에 상이한(중첩되지 않는) 클러스터들의 등급이 존재하지 않는다고 암시적으로 가정된다.
각각의 등급에 대해 점점 더 많은 예시적 노래들이 이용 가능할 때, 이것은 하나의 등급 내에서 특징 벡터들의 클러스터들을 구별하는데 충분한 정보가 되기 시작한다. 원칙적으로, 클러스터들이 존재할 때, σ는 클러스터 내에서 전형적으로 관측되는 거리들에 필적하는 매그니튜드(magnitude)로 이루어져야 한다. 클러스터 내에서 전형적인 거리의 추정을 행하기 위하여, 하나의 등급 내의 특징 벡터들의 쌍들 사이에서 관측되는
Figure 112009073719101-PCT00009
최소 거리들이 σ의 값을 추정하는데 사용된다.
σ를 유도하는 2개의 방식들, 즉, 적은 예시적 노래들 및 많은 예시적 노래들을 갖는 경우들이 가중치들이 예시적 노래들의 수에 따르는 2개의 방식 모두에 따라 유도되는 σ들 사이의 가중된 합을 행함으로써 결합될 수 있다.
카테고리화될 콘텐트 아이템을 가장 유사한 카테고리로 할당하는 단계(23)는 상기 카테고리를 콘텐트 아이템에 링크되거나 상기 콘텐트 아이템에 포함되는 메타데이터로서 표시하는 라벨을 나타내는 데이터를 저장하는 것을 포함한다. 게다가, 카테고리를 정의하는 시드 아이템들과의 유사성 측정치의 계산된 값(Gxc)을 나타내는 데이터가 유사하게 저장될 수 있다. 대안적으로, 또는 추가적으로, 가중된 거 리(D(Sk,fx))가 저장될 수 있다. 따라서, 카테고리화된 콘텐트 아이템이 카테고리에 얼마나 양호하게 맞는지를 나타내는 유사성 측정치가 이용 가능하다. 이용 가능한 유사성들을 기반으로 하여, 순위가 특정 카테고리 내의 콘텐트 아이템들에서 타겟화되는 탐색 질의에 응답하여 만들어질 수 있다. 이와 같은 탐색 질의의 예는 플레이리스트를 결정하는 명령이다.
카테고리화될 콘텐트 아이템이 사용자-정의된 카테고리들 중 어느 하나에 양호하게 맞지 않는 것이 발생할 수 있다. 도 2에 도시된 바와 같이, 콘텐트 아이템은 가장 유사한 카테고리에 대한 유사성 값(Gxc)이 제 1 임계값(T1) 위의 미리-결정된 범위 내에 존재하는 경우에만 가장 유사한 카테고리로 할당된다(유사성 측정치는 거리 측정치에 대조적으로, 더 높은 값들이 더 높은 유사성 정도를 나타내도록 정의된다). 가장 유사한 카테고리에 대한 유사성 값(Gxc)이 제 1 임계값(T1) 아래에 놓이는 경우에, 콘텐트 아이템은 임의의 카테고리로 할당되지 않는다.
반대로, 사용자-정의된 카테고리들이 완전하게 상호 배타적이지는 않거나, 특징 공간에서 함께 상대적으로 가깝게 놓이는 것이 발생할 수 있다. 도 2에 도시된 바와 같이, 콘텐트 아이템은 가장 유사한 카테고리를 나타내는 것과 적어도 하나의 다른 라벨과 관련된다(단계 24). 이것은 제 2 콘텐트 아이템을 특징짓는 특징 벡터(fx) 및 다른 라벨(들)의 카테고리를 특징짓는 특징 벡터(Sc2) 사이의 유사성 측정치가 제 2 임계값(T2) 위의 미리-결정된 범위 내에 놓이는 경우에만 행해진다.
특징 가중 매트릭스(W)를 획득하는 제 1 방법이 이제 도 3을 참조하여 설명될 것이다. 제 1 단계(25)에서, 특징 벡터들(fx)의 트레이닝 세트가 획득된다. 각각의 특징 벡터(fx)는 콘텐트 아이템들의 트레이닝 데이터베이스 중 하나를 특징짓고, 전자 디바이스(1)에서 사용된 특징 벡터들을 획득하는데 사용된 것과 동일한 분석들을 수행함으로써 획득될 수 있다. 게다가, 각각의 특징 벡터(fx)는 카테고리들을 나타내는 복수의 서브-세트들 중 적어도 하나에 포함된다. 이러한 카테고리들이 일반적으로 도 2에 도시된 방법의 단계들(14, 15)에서 정의된 것들과 동일하지 않다는 점이 주의된다. 그러나, 양호한 분류 결과들을 위하여, 카테고리들은 동일한 특성을 기반으로 해야 한다. 즉, 카테고리들은 장르를 기반으로 해야 하며, 여기서 가중 매트릭스(W)의 궁극적인 목적은 사용자-정의된 장르들에 따라 전자 디바이스에서 컬렉션을 카테고리화하는 것이다. 유사하게, 트레이닝 세트의 특징 벡터들(fx)의 서브-세트들로의 할당은 아티스트를 기반으로 해야 하며, 여기서 궁극적인 목적은 전자 장치(1)에서 자동화된 형태의 아티스트 인식을 수행하는 것이다. 트레이닝 세트를 발생시키는데 사용되는 콘텐트 아이템들의 아티스트들이 전자 디바이스(1)의 사용자가 자신에 의해 정의된 라벨들과 관련시키는 시드 콘텐트 아이템들의 아티스트들과 동일할 필요는 없다는 점이 명백해야 한다. 도 3의 방법의 목적은 단지 특정 특성, 예를 들어, 아티스트 또는 장르에 따른 카테고리화를 제공하도록 특별하게 적응되는 가중치들을 갖는 가중 매트릭스(W)를 발생시키는 것이다.
등급(c)에 대응하는 각각의 서브-세트에 대하여, 평균 특징 벡터(μc)가 계산된다(단계 26). 추가적으로, 등급 내의 분산(
Figure 112009073719101-PCT00010
)이 계산된다(단계 27). 상기 방법은 또한 특징 공간을 정의하는 모든 특징 벡터(fx)에 걸쳐 분산(
Figure 112009073719101-PCT00011
)을 계산하는 단계(단계 28)를 포함한다. 특징 가중 매트릭스(W)는 또한 자신을 사용하여 계산되는 가중된 거리가 상이한 특징 벡터 좌표들 사이의 공분산들에 따르도록 하는 값들로 퍼퓰레이팅된다. 즉, 특징 가중 매트릭스(W)는 비-대각선 매트릭스이다. 이를 위해, 트레이닝 세트 내의 모든 특징 벡터들(fx)에 대해 공분산 매트릭스(C)가 계산된다(단계 29). 대안적으로, 이 매트릭스(C)는 계산적인 부하를 감소시키기 위하여, 트레이닝 세트의 대표적인 랜덤 샘플(random sample)을 기반으로 할 수 있다.
특징 가중 매트릭스(W)가 다음 식:
Figure 112009073719101-PCT00012
(6)
에 따라 계산되며(단계 30), 여기서
Figure 112009073719101-PCT00013
는 모든 특징 공간에 걸쳐 분산(
Figure 112009073719101-PCT00014
)을 나타내는 벡터에 의해 등급 내 분산들(
Figure 112009073719101-PCT00015
)의 평균을 나타내는 벡터를 요소마다 분할(element-by-element division)하고 제곱근을 취함으로써 획득되는(단계 31) 가중 벡터이다.
이 방식으로 획득된 가중 매트릭스(W)는 하나의 특징 벡터 좌표가 카테고리 멤버쉽(category membership)의 양호한 예측자인 경우에 양호한 분류자이다. 이것은 카테고리들을 나타내는 서브-세트들이 특징 공간의 1차원을 따라 분포되는 상황에 대응할 것이다. 도 3의 방법은 얼마나 많은 서브-세트들이 다양한 차원들을 따라 "확산"되는지를 고려한다.
도 4 및 도 5는 특징 벡터들의 서브-세트들로의 할당을 도시하며, 도 6에 도시된 상이한 방법이 더 적절한 가중 매트릭스를 산출한다.
도 4에서, 4개의 카테고리들이 표현된다. 검은 점들은 서브-세트들에 대한 평균 특징 벡터를 나타내고, 원형 형상들은 상이한 등급들의 등-확률 컨투어(iso-probability contour)들을 나타낸다. 실제로, 원형 형상들은 서브-세트들의 경계들을 나타낸다. 알 수 있는 바와 같이, 카테고리는 거의 45도의 라인을 따른 스캐터(scatter)를 의미한다. 카테고리들 사이의 구별에 대한 각각의 개별적인 특징의 기여는 동일하다. 그러므로, 도 3에 도시된 방법은 특징들(1 및 2)을 동등하게 가중시킬 것이다. 그러나, 화살표로 표시된 방향에서 상이한 특징 벡터들이 이에 수직인 방향에서 상이한 특징 벡터들과 상이한 서브-세트들에 속할 확률이 더 높다는 것이 명백하다. 이 때문에, 도 6의 방법을 사용하여 획득되는 특징 가중 매트릭스(W)는 서브-세트 당 한 쌍의 상이한 특징 좌표들의 평균 값들 사이의 공분산의 함수인 값들로 퍼퓰레이팅된다.
도 5에서, 4개의 카테고리들이 다시 표현된다. 그러나, 여기서, 서브-세트 내의 특징 벡터들은 특징 공간에 걸쳐 균일하게 분포되지 않는다. 특정 서브-세트 내의 분산은 화살표에 수직인 방향보다 화살표의 방향에서 더 크다. 화살표의 방향 에서 서로에 대해 상이한 특징 벡터들은 화살표에 수직인 방향에서 상이한 특징 벡터들보다 상이한 서브-세트들 내에 있을 확률이 더 적다 - 상이한 카테고리들에 대응한다. 이 때문에, 도 6의 방법을 사용하여 획득된 특징 가중 매트릭스(W)는 서브-세트들을 통하여 평균화된, 서브-세트 내의 상이한 특징 벡터 좌표들의 쌍들 사이의 공분산의 함수인 값들로 퍼퓰레이팅된다.
도 6에 도시된 단계들을 설명하기 전에, 이론적인 배경을 설명하는 것이 유용하다.
N개의 콘텐트 아이템들을 특징짓는 N개의 특징 벡터들(fx)의 트레이닝 세트가 이용 가능하다는 것이 가정된다. 간소화를 위하여, 모든 특징 벡터들(fx)의 평균이 제로 벡터(zero vector)와 동일하도록 특징 벡터들(fx)이 정의된다는 것이 또한 가정된다. 이것은 항상 적절한 벡터를 감산함으로써 성취될 수 있다. 특징 벡터들(fx)이 K개의 컴포넌트들을 갖는다고 또한 가정하라.
특징 벡터들(fx)은 M개의 라벨링된 카테고리들을 나타내는 서브-세트들로 할당되었다. 이하에서, c(fx)는 특징 벡터(x)의 카테고리를 나타낸다. 평균 특징 벡터(μCx)가 각각의 서브-세트에 대해 유도될 수 있다.
다음의 설명을 간소화하기 위하여, 제로-카테고리-평균 특징 벡터(ax)를:
Figure 112009073719101-PCT00016
(7)
로서 정의하고, 여기서
Figure 112009073719101-PCT00017
는 fx와 관련된 카테고리에 대한 평균 특징 벡터를 나타낸다. 제로-카테고리-평균 특징 벡터들(ax)은 특징 벡터(ax)의 각각의 컴포넌트에 대한 카테고리 내의 (공-)분산들이 동일한 것을 보증하는 것을 도울 것이다. 모든 카테고리들은 제로 벡터와 동일한 평균 특징 벡터(αc)와 관련된다.
이제 모든 N개의 제로-카테고리-평균 특징 벡터들(ax)로 K×N 매트릭스(A)를 채울 수 있다. 매트릭스(A)를 가지고 모든 특징 벡터들(ax)(x=1...N)의 세트가 제로 평균 값을 갖는다는 것을 인식하면, 제로-카테고리-평균 특징 벡터들(ax)의 카테고리 내의 공분산 매트릭스(C)가 다음과 같이 계산될 수 있다:
C= AAT (8)
카테고리 내의 공분산 매트릭스(C)는 대칭이므로, 다음의 단일 값 분해가 C:
C=QSQT (9)
로 이루어질 수 있고, 여기서 Q는 C의 고유벡터들을 포함하는 단위 매트릭스(unitary matrix)이고, S는 C의 각각의 고유값들을 포함하는 대각선 매트릭스이다. 식들 (8) 및 (9)로부터, 다음과 같이 되고:
Figure 112009073719101-PCT00018
(10)
여기서
Figure 112009073719101-PCT00019
이고,
Figure 112009073719101-PCT00020
이다.
알 수 있는 바와 같이, 매트릭스(B)는 아이덴티티 매트릭스(identity matrix)와 동일한 공분산 매트릭스를 갖는다. 그러므로, 매트릭스(B) 내의 변환된 특징 벡터들(
Figure 112009073719101-PCT00021
)은 제로 공분산 및 단위 분산(unity variance)을 갖는다. 변환 ax→bx는 제로-카테고리-평균 특징 벡터(ax)를 화이트닝된 특징 공간(whitened feature space)으로 변환하고, 여기서 각각의 등급이 거의 유사한 공분산 매트릭스를 생성한다고 가정하면, 하나의 카테고리에 속하는 특징 벡터들은 제로 공분산 및 단위 분산을 갖는다.
설명은 특징 벡터들 및 화이트닝된 특징 공간으로 변환된 평균 특징 벡터들로 지속된다:
Figure 112009073719101-PCT00022
(11)
Figure 112009073719101-PCT00023
(12)
이 변환의 적용 및 이를 기반으로 한 가중 매트릭스(W)의 유도는 결과적인 가중된 거리 측정치가 카테고리 내의 (공-)분산들을 고려하는 효과를 갖는다. 따라서, 측정치는 평균 벡터들(μ)이 특징 공간에서 분포되는 방향과 관계없이, 도 5에 도시된 타원형 형상의 특징 벡터 분포들에 대한 더 양호한 결과들을 산출한다.
이에 무관하게, 특징 가중 매트릭스가 퍼퓰레이팅되는 값들은 또한 서브-세트 당 한 쌍의 상이한 특징 벡터 좌표들의 평균 값들 사이의 공분산("어크로스-카테고리(across-category)" 공분산)의 함수이다. 이것은 다음의 이론적인 배경의 설 명으로부터 명백해질 것이다.
개념은 특징 벡터들(gx 및 gy) 사이에 차이 매트릭스(T)를 구성하고 상이한 카테고리들에 속하는 특징 벡터들의 쌍들 및 동일한 등급에 속하는 특징 벡터들의 쌍들에 대한 예상된 값 사이의 차이를 기반으로 하는 차이 매트릭스에 놈(norm)을 적용하는 것이다.
차이 매트릭스(T)는 다음과 같이 기록될 수 있다:
Figure 112009073719101-PCT00024
(13)
상이한 카테고리들에 속하는 특징 벡터들의 쌍들에 대한 예상된 값은 요소마다의 표기(element-by-element notation)를 사용하여:
Figure 112009073719101-PCT00025
(14)
이고, 여기서 L은 상이한 카테고리들에 속하는 특징 벡터들의 쌍들의 수와 동등한, 제 1 및 제 2 합산 모두의 요소들의 총수이다.
식 (14)는:
Figure 112009073719101-PCT00026
(15)
로서 재기록될 수 있다.
다음의 제 1 근사화가 적용된다:
Figure 112009073719101-PCT00027
(16)
2개의 항들 중 제 2 항은 식 (14)에서 외적들을 포함하는데, 이는 거의 동일한 평균 값을 갖는 것으로 가정된다. 이 가정은 동일한 카테고리에 속하는 쌍들이 존재하는 것보다 상이한 카테고리들에 속하는 특징 벡터들의 쌍들이 더 많이 존재하는 트레이닝 세트들에 대해 유효하다. 실제로, 최종 항은 특징 벡터들이 트레이닝 세트 내의 모든 벡터들에 걸쳐 제로의 평균 값을 가지도록 정의되기 때문에, 거의 제로이다(ax는 이 방식으로 정의되었고, 화이트닝된 특징 공간으로의 변환은 이 특성을 변화시키지 않는다). 특정 카테고리에 속하는 것들을 제외한 모든 특징 벡터들에 걸친 평균이 또한 거의 제로이다. 이것으로부터, 상이한 카테고리들에 속하는 특징 벡터들의 쌍에 대한 상이한 매트릭스의 기대값은 다음과 같다:
Figure 112009073719101-PCT00028
(17)
평균 특징 벡터
Figure 112009073719101-PCT00029
및 교란(disturbance)(
Figure 112009073719101-PCT00030
)의 합으로서 화이트닝된 특징 공간 내에 특징 벡터들을 재기록할 수 있다:
Figure 112009073719101-PCT00031
(18)
그 후, 상이한 카테고리들에 속하는 특징 벡터들의 쌍에 대한 상이한 매트릭스(T)의 기대값은:
Figure 112009073719101-PCT00032
(19)
이 된다.
교란은 각각의 카테고리에 대해 제로의 평균 값을 갖는다. 이 사실을 사용하면, 기대값은:
Figure 112009073719101-PCT00033
(20)
이 된다.
동일한 카테고리에 속하는 특징 벡터들의 쌍 사이의 상이한 매트릭의 기대값은 다음과 같이 정의된다:
Figure 112009073719101-PCT00034
(21)
카테고리 당 특징 벡터들의 수가 각각의 카테고리에 대해 거의 동일하고 특징 요소들의 공분산들이 카테고리에 따르지 않는다고 가정하면, 식 (21)을 다음:
Figure 112009073719101-PCT00035
(22)
로서 재기록할 수 있어서,
최종적인 식은:
Figure 112009073719101-PCT00036
(23)
이 된다.
식들 (20) 및 (23)을 사용하면, 상이한 카테고리에 속하는 특징 벡터들의 쌍에 대한 상이한 매트릭스의 기대값 및 동일한 카테고리에 속하는 특징 벡터들의 쌍에 대한 기대값을 다음:
Figure 112009073719101-PCT00037
(24)
로서 재기록할 수 있다.
이 식은 2개의 특징 벡터들(gk 및 gl)이 동일한 카테고리에 속하는지 또는 상이한 카테고리들에 속하는지를 결정하는 놈(norm)을 정의하는데 사용된다. 놈은 최적의 검출 이론으로부터 획득된다. 신호(Y[n])를 검출된 신호(XS[n]) 및 확률적인 잡음 신호(XN[n])의 합으로서 기록할 수 있다. 잡음 신호가 일정한 분산, 즉 n의 각각의 값에 대해 제로와 동일한 평균을 갖는 화이트 가우스 분포 신호인 경우에, 최적의 검출기는 신호(XS[n])와 동일한 정합 필터를 사용하여 획득된다. 이것을 논의 중인 문제에 적용하면, 이와 같은 잡음 신호는:
Figure 112009073719101-PCT00038
(25)
이고, 여기서 n은 i 및 j의 모든 조합들을 열거하고, XN[n]은 식 (25)에서 최종 항의 감산으로 인하여 제로 평균을 갖는 것으로 가정된다. 검출될 신호는:
Figure 112009073719101-PCT00039
(26)
이다.
따라서, 필터식은:
Figure 112009073719101-PCT00040
(27)
이 되고, 이것은:
Figure 112009073719101-PCT00041
(28)
로 재기록될 수 있다.
식 (28)의 최종 항이 일정하기 때문에, 더 편리한 거리 측정치는:
Figure 112009073719101-PCT00042
(29)이다.
식 (13)을 사용하면, 다음:
Figure 112009073719101-PCT00043
(30)
을 획득한다.
식 (24)을 삽입하면, 다음:
Figure 112009073719101-PCT00044
(31)
을 획득한다.
매트릭스(
Figure 112009073719101-PCT00045
)를 정의하는 것이 편리하고,
Figure 112009073719101-PCT00046
이고, 즉, j-번째 변환된 특징 벡터의 i-번째 요소이며, j=1...N이고, i=1...K이다. 이 정의를 사용하면, 가중된 거리 측정치는 (화이트닝된 특징 공간에서) 다음:
Figure 112009073719101-PCT00047
(32)
이 된다.
특징 가중 매트릭스(W)를 계산하는 방법의 실시예는 원래 특징 벡터(fx)에 적용될 특징 가중 매트릭스를 발생시킨다. ω 및 g의 정의들을 사용하면, 식 (32)를 다음과 같이 재기록할 수 있다:
Figure 112009073719101-PCT00048
(33)
따라서, 식 (2)의 가중 매트릭스(W)는:
W=VVT (34)이 되고,
여기서
V=QS-1QTU (35)이다.
U는
Figure 112009073719101-PCT00049
, 즉 j-번째 카테고리에 대한 평균 특징 벡터의 i-번째 요소로서 정의되는, 모든 카테고리들의 평균 특징 벡터들로 이루어지는 매트릭스이다.
도 6은 특징 벡터들(fx)의 소정의 트레이닝 세트를 기반으로 한 가중 매트릭스(W)의 실제 계산이 수행될 수 있는 방법을 도시한다. 제 1 단계(32)에서, 카테고리화된 특징 벡터들의 트레이닝 세트가 획득된다. 카테고리에 대응하는 특징 벡터들의 각각의 서브-세트에 대하여, 평균 특징 벡터(μc)가 계산된다(단계 33). 그 후에, 특징 벡터들(fx)은 제로-카테고리-평균 특징 벡터들(ax)을 획득하기 위하여 식 (7)에 따라 변환된다(단계 34). 이러한 단계들(33, 34)은 각각의 카테고리에 대해 반복된다.
카테고리 내의 공분산 매트릭스(C)가 식 (8)에 따라 계산된다(단계 35). 매트릭스들(Q, S)이 단일 값 분해에 대한 알고리즘을 적용함으로써 식 (9)에 따라 계산된다(단계 36). 이와 같은 알고리즘들은 본질적으로 공지되어 있고, 본원에 상세히 설명되지 않는다.
동시에 또는 연속하여, 모든 평균 특징 벡터들의 매트릭스(U)가 형성된다(단계 37). 그 후, 특징 가중 매트릭스가 식들 (34) 및 (35)에 따라 결정된다(단계 38). 특징 가중 매트릭스(W)는 예를 들어, 전자 디바이스의 생산에서 전자 디바이스(1)의 메모리 내로 로딩될 수 있다.
상기에서, 전자 디바이스(1)의 예가 대량-저장 디바이스(2) 상에 저장된 개인 컬렉션을 카테고리화하기 위하여 적용되는 콘텐트 아이템들을 구성하는 방법과 함께 사용되었다. 상기 방법들 모두의 또 다른 용도는 사운드, 예를 들어, 음성의 소스의 결정에서이다. 이와 같은 실시예에서, 도 3 및 도 6의 방법들 중 하나가 상이한 소스들로부터의 사운드 레코딩들을 특징짓는 특징 벡터들의 트레이닝 세트에 적용된다. 동일한 소스들로부터의 사운드 발췌록들을 특징짓는 특징 벡터들은 서브-세트들로 그룹화된다. 따라서, 카테고리들은 사운드 소스들에 대응한다. 어느 한 방법의 적용에 기인하는 가중 매트릭스(W)는 상이한 사운드 소스들, 예를 들어, 상이한 스피커들 사이를 구별하기 위하여 최적화될 것이다.
도 7은 사운드 인식 소프트웨어가 제공되는 컴퓨터(39)를 개략적으로 도시한다. 컴퓨터(39)는 데이터 처리 장치(40) 및 주 메모리(41)를 포함한다. 소프트웨어는 명령들이 인터페이스(43)를 통하여 주 메모리(41) 내로 로딩되는 디스크 드라이 브(42) 상에 제공된다. 칩 셋(chip set)(44)은 입력 디바이스(46), 예를 들어, 키보드로의 인터페이스(45), 출력 디바이스(48), 예를 들어, 시각적 디스플레이 유닛으로의 인터페이스(47), 및 사운드 카드(49)로의 인터페이스를 형성한다. 사운드 카드(49)는 사운트 발췌록들을 캡처(capture)하는 마이크로폰(50)에 대한 입력을 갖는다.
컴퓨터(39) 상에 설치된 사운드 인식 소프트웨어는 특징 가중 매트릭스(W)를 나타내는 데이터를 포함하거나 상기 데이터를 검색하도록 동작한다. 상기 소프트웨어는 또한 사용자 입력에 응답하여, 제 1 및 적어도 하나의 부가적인 소스 각각으로부터 적어도 하나의 샘플 사운드 발췌록을 획득하고, 라벨들을 이러한 발췌록들을 특징짓는 특징 벡터들과 관련시키도록 동작한다. 상기 라벨들은 사운드 발췌록이 획득되었던 소스를 나타낸다. 구현예에 따라, 사용자는 입력 디바이스(46)를 통해 제공되는 사용자 입력에 의하여 라벨들을 정의하는 것을 허용받을 수 있다. 이 방식으로, 컴퓨터(39)는 라벨과 관련된 소스들 중 어느 하나로부터의 사운드를 인식하도록 설정된다.
다음 단계에서, 미지의 소스로부터의 사운드 발췌록이 캡처되고, 상기 사운드 발췌록을 특징짓는 특징 벡터가 결정된다. 도 2에 도시된 것과 정합하는 방법을 사용하면, 제 1 및 부가적인 라벨들 각각에 대해, 미지의 소스로부터의 사운드 발췌록을 특징짓는 특징 벡터 및 라벨과 관련된 사운드 발췌록들을 특징짓는 특징 벡터 또는 벡터들(특정 소스에 대해 하나 이상이 이용 가능할 수 있음) 사이의 유사성 측정치를 계산함으로써 가장 확률이 높은 소스가 결정된다. 유사성 측정치는 특 징 가중 매트릭스를 기반으로 한 가중된 거리 측정치를 사용하여 계산된다. 컴퓨터(39)는 새로운 사운드 발췌록이 다른 라벨들 중 어느 하나와 관련된 사운드 발췌록 또는 발췌록들보다 라벨들 중 특정한 라벨과 관련된 사운드 발췌록 또는 발췌록들과 더 유사하다고 결정함으로써 새로운 사운드 발췌록의 소스를 결정한다. 라벨들 중 이 특정한 라벨과 관련된 적절한 출력이 출력 디바이스(48) 상에 제공된다.
도 2에 도시된 실시예에서와 같이, 사운드 인식 소프트웨어는 가장 유사한 소스에 대한 유사성 값(Gxc)이 제 1 임계값(T1)(더 높은 값들이 더 높은 비유사성 정도를 나타낸다는 것을 상기하라) 아래의 미리 결정된 범위 내에 있는 경우에만, 사운드 발췌록을 미지의 소스로부터 가장 유사한 인지된 소스로 할당하도록 구성될 수 있다. 가장 유사한 카테고리에 대한 유사성 값(Gxc)이 제 1 임계값(T1) 위에 놓이는 경우에, 컴퓨터(39)는 새로운 사운드 발췌록이 이전에 인지된 소스들 중 하나로부터 나오지 않았을 확률이 가장 높다는 것을 사용자에게 표시할 것이다.
비교적 큰 트레이닝 세트가 사용될 수 있는 최적의 특징 가중 매트릭스를 유도하는 단계 및 배치 포인트에서 라벨들과 관련된 샘플 아이템들을 제공하는 단계 사이의 분리는 사운드 인식에 적용될 때, 콘텐트 아이템들의 개인 컬렉션들의 카테고리화에 적용될 때와 동일한 효과를 갖는다. 양호한 카테고리화 결과들을 산출하는데 배치 포인트에서 적은 수들의 샘플 콘텐트 아이템들로도 충분하다. 적용되는 가중된 거리 측정치에서 가장 적합한 가중치들을 사용함으로써 품질이 보증된다.
상술된 실시예들이 본 발명을 제한하기보다는 오히려 설명하며, 당업자들이 첨부된 청구항들의 범위를 벗어남이 없이 많은 대안적인 실시예들을 설계할 수 있을 것이라는 점이 주의되어야 한다. 청구항들에서, 괄호들 사이에 배치된 임의의 참조 기호들은 청구항을 제한하는 것으로 해석되어서는 안된다. 동사 "포함한다" 및 이의 파생어들의 사용이 청구항들에서 진술된 것들 이외의 요소들 또는 단계들의 존재를 배제하지 않는다. 요소 앞의 관사 "a" 및 "an"은 복수의 이와 같은 요소들의 존재를 배제하지 않는다. 본 발명은 여러 상이한 요소들을 포함하는 하드웨어, 및 적절하게 프로그래밍된 컴퓨터에 의하여 구현될 수 있다. 여러 수단들을 열거하는 디바이스 청구항에서, 이러한 수단들 중 여러 개는 하드웨어의 하나이며 동일한 아이템에 의해 구현될 수 있다. 일부 수단들이 서로 다른 종속 청구항들에서 재인용되는 단순한 사실이 이러한 수단들의 조합이 유용하게 사용될 수 없다는 것을 나타내지는 않는다.
'수단'은 당업자들에게 명백한 바와 같이, 지정된 기능을 동작 시에 수행하거나 수행하도록 설계되는 (개별 또는 통합 회로들 또는 전자 엘리먼트들과 같은) 임의의 하드웨어 또는 (프로그램들 또는 프로그램들의 파트들과 같은) 소프트웨어를 포함하도록 의도되고, 단독이거나 또는 다른 기능들과 결합되고, 다른 요소들과 분리되거나 협동한다. '컴퓨터 프로그램'은 인터넷과 같은 네트워크를 통하여 다운로드 가능하거나 또는 임의의 다른 방식으로 입수 가능한 광 디스크와 같은 컴퓨터-판독 가능한 매체 상에 저장되는 임의의 소프트웨어 제품을 의미하는 것으로 이해되어야 한다.
비교적 적은 코퍼스(corpus)의 콘텐트 아이템들의 이전의 분류를 기반으로 한 콘텐트 아이템의 분류를 수행하는데 적합한 방법, 디바이스 및 컴퓨터 프로그램이 본원에서 설명되었다.
콘텐트 아이템들을 구성하는 방법은:
제 1 및 적어도 하나의 부가적인 라벨 각각을 적어도 하나의 제 1 콘텐트 아이템의 각각의 세트들과 관련시키는 정보를 획득하는 단계로서,
적어도 하나의 제 1 콘텐트 아이템이 사용자 입력에 응답하여 상기 제 1 라벨과 관련되는, 상기 정보 획득 단계;
제 2 콘텐트 아이템을 획득하는 단계;
상기 제 1 및 부가적인 라벨들 각각에 대하여, 상기 제 2 콘텐트 아이템을 특징짓는 특징 벡터 및 상기 라벨과 관련된 제 1 콘텐트 아이템들을 특징짓는 적어도 하나의 특징 벡터 사이의 유사성 측정치를 계산하는 단계; 및
상기 유사성 측정치의 계산된 값들에 따라, 상기 제 2 콘텐트 아이템이 상기 제 1 라벨과 관련된 상기 제 1 콘텐트 아이템(들)과 유사하다고 결정할 시에 상기 제 1 라벨을 상기 제 2 콘텐트 아이템과 관련시키는 단계를 포함하며, 상기 유사성 측정치는 상기 특징 벡터들의 좌표들 사이를 구별하는 가중된 거리 측정치를 사용하여 계산된다. 특징적으로, 가중된 거리 측정치는 상기 가중된 거리 측정치가 적용되는 상기 제 1 및 부가적인 라벨과 관련된 제 1 콘텐트 아이템들을 특징짓는 특징 벡터들에 걸쳐 변화하지 않은 가중치들을 기반으로 한다.
제 2 콘텐트 아이템을 특징짓는 특징 벡터 및 라벨과 관련된 콘텐트 아이템들을 특징짓는 적어도 하나의 특징 벡터 사이의 유사성 측정치가 제 1 및 부가적인 라벨들 각각에 대해 계산되기 때문에, 모든 후보 카테고리들이 평가된다는 점에서 실제 카테고리화가 성취된다. 제 2 콘텐트 아이템이 제 1 라벨과 관련된 제 1 콘텐트 아이템(들)과 유사하다고 결정할 시에 제 1 라벨이 제 2 콘텐트 아이템과 관련되기 때문에, 카테고리화는 콘텐트 아이템들의 적은 샘플, 또는 심지어 단지 하나를 기반으로 하여 비교적 간단한 방식으로 성취된다. 카테고리들 또는 등급들을 정의하는 이러한 제 1 콘텐트 아이템들은 이하에서 "시드 아이템들"이라고 칭해진다. 특히, 상기 방법은 새로운 콘텐트 아이템들의 분류를 위해 특징 공간을 특징짓는 통계적 함수들을 필요로 하지 않는다. 유사성 측정치의 값들이 특징 벡터들의 좌표들 사이를 구별하는 가중된 유사성 측정치를 사용하여 계산되기 때문에, 더 양호한 분류 결과가 획득될 수 있다. 특히, 상기 방법은 구현될 분류의 유형에 적합한 가중 값들을 사용하기 위하여, 검사자들에 의해 분류되는 큰 코퍼스의 콘텐트 아이템들을 기반으로 하여 유사성 측정치를 "트레이닝"할 가능성을 제공한다. 예를 들어, 가중치들은 음악의 장르들 사이를 구별하는 쪽으로 맞춰진 유사성 측정치를 제공하도록 선택될 수 있다. 가중된 거리 측정치가 제 1 콘텐트 아이템을 특징짓는 특징 벡터들과 무관한 가중치들을 기반으로 하기 때문에, "트레이닝" 단계는 특정 목적, 즉, 음성 인식, 장르 분류, 무드 분류, 아티스트 분류 등으로 맞춰진 분류자를 제공하기 위하여, "오프-라인"으로, 즉, 콘텐트 아이템들의 별도이며 훨씬 더 큰 보편적인 컬렉션을 기반으로 하여, 수행될 수 있다. 제 1 및 적어도 하나의 부가적인 라벨의 적어도 하나의 제 1 콘텐트 아이템의 각각의 세트와의 관련성은 가중된 거리 측정치에 포함된 가중치들을 획득하는데 사용되는 등급 정의들과 무관한 개인화 된 장르 정의들, 무드 정의들, 아티스트 정의들 등을 허용한다. 따라서, 상기 방법은 사용하기가 간단하고 정확한 가중된 거리 측정치가 등급들이라기보다는 분류의 유형에 따라야 한다는 것을 실현시킨다. 등급에 따르지 않는 가중된 거리 측정치는 선험적으로 인지되지 않는 사용자-정의된 등급들과 함께 구현하기가 간단하다. 이와 같은 측정치는 어떤 사용자-입력을 기반으로 한 가중치들의 조정을 필요로 하지 않는다.
이 실시예는 사용자가 트레이닝하기를 희망하는 특정 특성을 특징짓는 샘플들의 비교적 큰 선택을 기반으로 하는 경우에만 양호한 결과들을 생성하는 US 5,918,223으로부터 공지된 방법의 또 다른 문제점을 처리한다. 결과적으로, 이것은 적은 세트의 샘플들에 의해 제공된 카테고리 정의들을 기반으로 하고 특정 청취자에게 개인화되는 분류를 수행하는데 덜 적합하다. 거리 계산의 등급에 따른 가중은 사용하는 것을 간단하게 하고 정확한 결과들을 제공하는 방식으로 소비자 디바이스에서 구현하는 것이 거의 불가능하다.
복수의 콘텐트 아이템들 중 하나를 각각 특징짓는 특징 벡터들의 트레이닝 세트를 획득하는 단계,
특징 벡터들 각각이 복수의 서브-세트들 중 적어도 하나에 포함되는 단계, 및
공통 서브-세트에 포함된 특징 벡터들의 쌍들이 디스조인트 서브-세트들에 포함된 특징 벡터들의 쌍들에 관한 큰 가중된 거리를 가지도록 최적화되는 값들로 가중 매트릭스를 퍼퓰레이팅하는 단계를 포함하는, 본 발명에 따른 콘텐트 아이템 들을 구성하는 방법에서 사용하기 위한 특징 가중 매트릭스를 제공하는 방법이 본원에서 또한 설명되었다.
실시예에서, 가중 매트릭스는 특징 백터 좌표가,
트레이닝 세트에 포함된 모든 특징 벡터들에 걸친 특징 벡터 좌표의 값 내의 분산, 및
서브-세트 당 그 특징 벡터 좌표의 평균 값에서의 분산 중 적어도 하나의 함수인 적어도 하나의 팩터만큼 가중되도록 하는 값들로 퍼퓰레이팅된다.
효과는 콘텐트 아이템들의 카테고리들 사이를 구별하는데 중요한 특징 공간의 차원들이 더 가중치를 제공받는다는 것이다.
실시예에서, 가중 매트릭스는 특징 벡터 좌표가 트레이닝 세트에 포함된 모든 특징 벡터들에 걸친 그 특징 벡터 좌표의 값에서의 분산으로 나누어진 서브-세트 당 그 특징 벡터 좌표의 평균 값에서의 분산의 함수인 적어도 하나의 팩터만큼 가중되도록 하는 값들로 퍼퓰레이팅된다.
효과는 특징들이 전체 트레이닝 세트에 걸친 이들의 변화에 비하여 서브-세트들 사이의 값에서 상당히 변화하는 것이다.
실시예에서, 가중 매트릭스는 가중된 거리가 상이한 특징 벡터 좌표들 사이의 공분산들에 따르도록 하는 값들로 퍼퓰레이팅된다.
효과는 2개의 특징들이 비교적 크게 변화하지만, 항상 협정된 방식으로 변화하는 경우에, 이러한 특징들에 할당된 가중치들이 서브-세트 멤버쉽을 예측하는 이들의 적합성에 비해 상대적으로 너무 작지는 않다.
변형에서, 가중 매트릭스는 서브-세트 당 상이한 특징 벡터 좌표들의 쌍들의 평균 값들 사이의 공분산의 함수인 값들로 퍼퓰레이팅된다.
효과는 특징 벡터 좌표들의 어떤 조합들이 서브-세트 멤버십의 양호한 예측자들일 때 더 정확한 유사성 측정치가 제공되는 것을 가능하게 한다는 것이다.
변형에서, 가중 매트릭스는 서브-세트들 각각 내의 상이한 특징 벡터 좌표들의 쌍들 사이의 공분산들의 함수인 값들로 퍼퓰레이팅된다.
효과는 어떤 평균 값 주위에 고르게 분포되지 않은 특징 벡터들에 의해 정의된 서브-세트들을 고려하는 것이다. 상기 분포가 특정 방향에서 스큐잉(skewing)되는 경우에, 상기 방향에 따른 거리는 특징 가중 매트릭스를 기반으로 한 거리 측정치가 카테고리를 정의하는 특징 벡터 또는 특징 벡터들로의 특징 벡터의 거리를 측정하기 위하여 적용될 때 덜 과도하게 가중되는데, 그 이유는 가중 매트릭스가 이 방향을 따른 큰 변화들이 예측된다는 정보를 포함하기 때문이다.
상기 방법의 실시예는 소비자 전자 디바이스에 포함된 메모리 내로 가중 매트릭스를 나타내는 데이터를 로딩하는 단계를 포함한다.
이 실시예는 가중 매트릭스가 소비자 전자 디바이스에 의한 재생에 이용 가능한 콘텐트 아이템들이 존재하는 것보다 훨씬 더 큰 트레이닝 세트를 기반으로 할 수 있다는 점에서, 기본적인 발명이 양호하게-적합한 구현예를 나타낸다. 따라서, 비교적 정확한 분류자가 콘텐트 아이템들의 적은 컬렉션을 기반으로 한 소비자 전자 디바이스의 사용자에 의한 개인 등급 정의와 함께 사용될 수 있다.
상술된 또 다른 양태는 사운드의 소스를 인식하는 시스템에서, 유사성 측정 치가 특징 벡터들의 좌표들 사이를 구별하는 가중된 거리 측정치를 사용하여, 그리고 가중된 거리 측정치가 적용되는 제 1 및 부가적인 라벨과 관련된 제 1 콘텐트 아이템을 특징짓는 특징 벡터들에 걸쳐 변화하지 않는 가중치들을 기반으로 하여, 계산되는 본 발명에 따른 방법의 용도에 관한 것이다.
사운드의 소스를 인식하는 시스템은 그의 음성의 레코딩을 기반으로 하여 스피커를 인식하는 음성 인식 시스템을 포함할 수 있다.
본 발명에 의해 가능해진 카테고리화가 콘텐트 아이템들의 적은 샘플, 또는 심지어 단지 하나를 기반으로 하여 비교적 간단한 방식으로 성취되기 때문에, 상기 카테고리화는 특정 소스로부터의 적은 사운드 샘플만이 이용 가능할 수 있는 사운드 인식 시스템에 매우 적합하다. 상기 방법이 자신들의 각각의 소스들에 할당된 큰 코퍼스의 사운드들을 기반으로 하여 유사성 측정치를 "트레이닝"할 가능성을 제공하기 때문에, 상이한 사운드 소스들 사이를 구별하는데 특히 정합한 가중 값들이 사용될 수 있다.

Claims (19)

  1. 콘텐트 아이템들을 구성하는 방법에 있어서:
    제 1 및 적어도 하나의 부가적인 라벨 각각을 다수의 제 1 콘텐트 아이템들의 각각의 세트들과 관련시키는 정보(19 내지 21)를 획득하는 단계로서, 적어도 하나의 제 1 콘텐트 아이템이 사용자 입력에 응답하여 상기 제 1 라벨과 관련되는, 상기 정보 획득 단계;
    제 2 콘텐트 아이템을 획득하는 단계;
    상기 제 1 및 부가적인 라벨들 각각에 대하여, 상기 제 2 콘텐트 아이템을 특징짓는 특징 벡터 및 상기 라벨과 관련된 제 1 콘텐트 아이템들을 특징짓는 특징 벡터들 각각 사이의 유사성 측정치를 계산하는 단계; 및
    상기 유사성 측정치의 계산된 값들에 따라, 상기 제 2 콘텐트 아이템이 상기 제 1 라벨과 관련된 상기 제 1 콘텐트 아이템들과 유사하다고 결정할 시에 상기 제 1 라벨을 상기 제 2 콘텐트 아이템과 관련시키는 단계를 포함하는, 콘텐트 아이템들 구성 방법.
  2. 제 1 항에 있어서,
    사용자는 상기 사용자 입력에 의해 상기 제 1 라벨을 정의하도록 허용되는, 콘텐트 아이템들 구성 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 제 1 라벨은 상기 제 1 라벨을 상기 제 2 콘텐트 아이템에 링크하는 정보를 저장함으로써 상기 제 2 콘텐트 아이템과 관련되는, 콘텐트 아이템들 구성 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    사용자가 상기 사용자 입력에 의하여 적어도 하나의 제 1 콘텐트 아이템을 상기 제 1 라벨과 관련시키도록 하는 단계를 더 포함하는, 콘텐트 아이템들 구성 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 제 1 라벨은 상기 제 2 콘텐트 아이템이 상기 부가적인 라벨들과 관련된 상기 제 1 콘텐트 아이템들보다 상기 제 1 라벨과 관련된 상기 제 1 콘텐트 아이템들과 더 유사하다고 결정할 시에 상기 제 2 콘텐트 아이템과 관련되는, 콘텐트 아이템들 구성 방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    각각의 특징 벡터의 적어도 하나의 좌표는 재생 디바이스 상에 렌더링될 때 지각할 수 있는 신호의 특성을 나타내는 파라미터 값을 결정하기 위하여, 그 특징 벡터에 의해 특징지워지는 콘텐트 아이템 내에 포함된 신호에 대한 미리-정의된 신 호 분석을 수행함으로써 획득될 수 있는, 콘텐트 아이템들 구성 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 제 2 콘텐트 아이템을 특징짓는 특징 벡터 및 상기 제 1 라벨과 관련된 콘텐트 아이템들을 특징짓는 특징 벡터들 사이의 유사성 측정치의 값을 기반으로 한 적어도 하나의 값을 나타내는 데이터를 상기 제 2 콘텐트 아이템과 관련시키는 단계를 더 포함하는, 콘텐트 아이템들 구성 방법.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 제 1 라벨은 상기 제 2 콘텐트 아이템을 특징짓는 특징 벡터 및 상기 제 1 라벨과 관련된 콘텐트 아이템들을 특징짓는 특징 벡터들 사이의 유사성 측정치의 값을 기반으로 한 적어도 하나의 값이 미리-결정된 범위 내에 존재한다고 결정할 시에만 상기 제 2 콘텐트 아이템과 관련되는, 콘텐트 아이템들 구성 방법.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 유사성 측정치는:
    가중된 거리 측정치에 따라 특징 벡터들 사이의 가중된 거리를 계산하고,
    상기 계산되는 가중된 거리에 확률 분포를 기반으로 한 함수를 적용함으로써 계산되는, 콘텐트 아이템들 구성 방법.
  10. 제 9 항에 있어서,
    상기 확률 분포를 기반으로 한 함수는 상기 제 1 및 부가적인 라벨들과 관련된 제 1 콘텐트 아이템들의 세트들에 걸쳐 파라미터화되는, 콘텐트 아이템들 구성 방법.
  11. 제 9 항 또는 제 10 항에 있어서,
    상기 제 2 콘텐트 아이템을 특징짓는 특징 벡터 및 라벨과 관련된 콘텐트 아이템을 특징짓는 임의의 특징 벡터 사이의 유사성 측정치는 상기 라벨과 관련된 세트에 포함된 제 1 콘텐트 아이템들의 수(Mc)에 따른 팩터에 의해 표준화되는, 콘텐트 아이템들 구성 방법.
  12. 제 11 항에 있어서,
    상기 유사성 측정치는 0 내지 1의 범위 내의 값을 갖는 지수로 지수화된, 상기 라벨과 관련된 세트에 포함된 상기 제 1 콘텐트 아이템들의 수(Mc)에 반비례하는 팩터에 의해 표준화되는, 콘텐트 아이템들 구성 방법.
  13. 제 9 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 확률 분포를 기반으로 한 함수는 확률 분포의 폭을 지정하는 가변 파라미터를 포함하고, 상기 가변 파라미터는 상기 제 1 콘텐트 아이템 및 상기 제 1 또 는 부가적인 라벨 사이의 관련성들의 총수에 따라 값을 할당받는, 콘텐트 아이템들 구성 방법.
  14. 제 13 항에 있어서,
    상기 제 1 및 추가적인 라벨들 중 특정한 하나에 대하여, 상기 가변 파라미터는 상기 라벨과 관련된 제 1 콘텐트 아이템들의 세트 내의 특징 벡터들의 쌍들 사이의 가중된 거리 측정치에 따른 다수의 가장 작은 거리들의 값들의 함수인 값을 할당받는, 콘텐트 아이템들 구성 방법.
  15. 제 13 항 또는 제 14 항에 있어서,
    상기 가변 파라미터는 상기 제 1 또는 부가적인 라벨과 관련된 상기 제 1 콘텐트 아이템들을 특징짓는 모든 특징 벡터들의 임의의 쌍들 사이의 가중된 거리 측정치에 따른 평균 거리의 함수인, 콘텐트 아이템들 구성 방법.
  16. 제 1 항 내지 제 15 항 중 어느 한 항에 있어서,
    상기 특징 벡터들의 좌표들 사이를 구별하는 가중된 거리 측정치를 사용하고,
    복수의 콘텐트 아이템들 중 하나를 각각 특징짓는 특징 벡터들의 트레이닝 세트를 획득하고,
    특징 벡터들 각각이 복수의 서브-세트들 중 적어도 하나에 포함되고,
    공통 서브-세트에 포함된 특징 벡터들의 쌍들이 디스조인트(disjoint) 서브-세트들에 포함된 특징 벡터들의 쌍들에 관한 큰 가중된 거리를 가지도록 최적화되는 값들로 가중된 매트릭스를 퍼퓰레이팅함으로써 획득될 수 있는 특징 가중 매트릭스를 기반으로 하여, 상기 유사성 측정치를 계산하는 단계를 포함하는, 콘텐트 아이템들 구성 방법.
  17. 전자 회로(2 내지 11;40 내지 50)를 포함하는, 콘텐트 아이템들을 구성하는 디바이스에 있어서:
    상기 전자 회로는:
    사용자 입력에 응답하여 적어도 하나의 제 1 콘텐트 아이템을 제 1 라벨과 관련시키고;
    적어도 하나의 부가적인 라벨 각각을 다수의 제 1 콘텐트 아이템들의 각각의 세트들과 관련시키는 정보를 획득하고;
    제 2 콘텐트 아이템을 획득하고;
    상기 제 1 및 부가적인 라벨들 각각에 대하여, 상기 제 2 콘텐트 아이템을 특징짓는 특징 벡터 및 상기 라벨과 관련된 제 1 콘텐트 아이템들을 특징짓는 특징 벡터들 각각 사이의 유사성 측정치를 계산하고;
    상기 유사성 측정치의 계산된 값들에 따라, 상기 제 2 콘텐트 아이템이 상기 제 1 라벨과 관련된 상기 제 1 콘텐트 아이템들과 유사하다고 결정할 시에 상기 제 1 라벨을 상기 제 2 콘텐트 아이템과 관련시키도록 동작하는, 콘텐트 아이템들 구 성 디바이스.
  18. 제 17 항에 있어서,
    제 1 항 내지 제 16 항 중 어느 한 항에 따른 콘텐트 아이템들 구성 방법을 실행하도록 구성되는, 콘텐트 아이템들 구성 디바이스.
  19. 기계-판독 가능한 매체 내에 통합될 때, 정보 처리 능력들을 갖는 시스템(1;39)이 제 1 항 내지 제 16 항 중 어느 한 항에 따른 콘텐트 아이템들 구성 방법을 수행하도록 할 수 있는 명령들의 세트를 포함하는, 컴퓨터 프로그램.
KR1020097024960A 2007-05-01 2008-04-24 콘텐트 아이템들을 구성하는 방법 KR20100022027A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP07107289.6 2007-05-01
EP07107289 2007-05-01

Publications (1)

Publication Number Publication Date
KR20100022027A true KR20100022027A (ko) 2010-02-26

Family

ID=39808927

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097024960A KR20100022027A (ko) 2007-05-01 2008-04-24 콘텐트 아이템들을 구성하는 방법

Country Status (6)

Country Link
US (1) US8140542B2 (ko)
EP (1) EP2145269A2 (ko)
JP (1) JP2010527055A (ko)
KR (1) KR20100022027A (ko)
CN (1) CN101675431A (ko)
WO (1) WO2008132673A2 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100082663A1 (en) * 2008-09-25 2010-04-01 Cortes Ricardo D Method and System for Identifying Equivalent Digital Media Assets
US8996538B1 (en) 2009-05-06 2015-03-31 Gracenote, Inc. Systems, methods, and apparatus for generating an audio-visual presentation using characteristics of audio, visual and symbolic media objects
US8805854B2 (en) * 2009-06-23 2014-08-12 Gracenote, Inc. Methods and apparatus for determining a mood profile associated with media data
US20110161318A1 (en) * 2009-12-28 2011-06-30 Cbs Interactive Inc. Method and apparatus for assigning tags to digital content
JP2011141406A (ja) * 2010-01-06 2011-07-21 Ixicom Ltd 類似楽曲表示システム
JP5477635B2 (ja) * 2010-02-15 2014-04-23 ソニー株式会社 情報処理装置および方法、並びにプログラム
US20110225162A1 (en) * 2010-03-09 2011-09-15 Clifford Lyon Assigning Tags to Digital Content
US8548969B2 (en) * 2010-06-02 2013-10-01 Cbs Interactive Inc. System and method for clustering content according to similarity
US10055493B2 (en) * 2011-05-09 2018-08-21 Google Llc Generating a playlist
US9928824B2 (en) 2011-05-11 2018-03-27 Silentium Ltd. Apparatus, system and method of controlling noise within a noise-controlled volume
ES2834442T3 (es) * 2011-05-11 2021-06-17 Silentium Ltd Sistema y método de control del ruido
US9648130B1 (en) 2012-07-12 2017-05-09 Inform, Inc. Finding users in a social network based on document content
US10031968B2 (en) * 2012-10-11 2018-07-24 Veveo, Inc. Method for adaptive conversation state management with filtering operators applied dynamically as part of a conversational interface
US9996504B2 (en) * 2013-07-08 2018-06-12 Amazon Technologies, Inc. System and method for classifying text sentiment classes based on past examples
US20150262033A1 (en) * 2014-03-14 2015-09-17 Xiaomi Inc. Method and terminal device for clustering
US9747264B2 (en) 2015-06-19 2017-08-29 International Business Machines Corporation Optimizing update operations in hierarchically structured documents
US10339407B2 (en) * 2017-04-18 2019-07-02 Maxim Analytics, Llc Noise mitigation in vector space representations of item collections
CN110309294B (zh) * 2018-03-01 2022-03-15 阿里巴巴(中国)有限公司 内容集合的标签确定方法及装置
JP7320230B2 (ja) 2020-07-20 2023-08-03 日本電信電話株式会社 特徴変換装置、距離測定装置、照合システム、特徴変換方法、及びコンピュータプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5918223A (en) 1996-07-22 1999-06-29 Muscle Fish Method and article of manufacture for content-based analysis, storage, retrieval, and segmentation of audio information
US6963975B1 (en) * 2000-08-11 2005-11-08 Microsoft Corporation System and method for audio fingerprinting
US7035873B2 (en) * 2001-08-20 2006-04-25 Microsoft Corporation System and methods for providing adaptive media property classification
US6993532B1 (en) 2001-05-30 2006-01-31 Microsoft Corporation Auto playlist generator
US7197493B2 (en) 2001-12-21 2007-03-27 Lifestory Productions, Inc. Collection management database of arbitrary schema
US7096234B2 (en) 2002-03-21 2006-08-22 Microsoft Corporation Methods and systems for providing playlists
US7058912B2 (en) * 2003-09-02 2006-06-06 Texas Instruments Incorporated Notifying status of execution of jobs used to characterize cells in an integrated circuit
US7777125B2 (en) 2004-11-19 2010-08-17 Microsoft Corporation Constructing a table of music similarity vectors from a music similarity graph
EP1676509A1 (en) * 2004-12-30 2006-07-05 Rhea Vendors S.p.A. Process and apparatus for controlling the preparation of brewed beverages
US8180770B2 (en) 2005-02-28 2012-05-15 Yahoo! Inc. System and method for creating a playlist
MX2007014288A (es) * 2005-07-01 2008-02-07 Saeco Ipr Ltd Dispositivo para operar maquinas automaticas expendedoras de bebidas calientes.
JP2007102362A (ja) * 2005-09-30 2007-04-19 Seiko Epson Corp 分類カテゴリ自動形成装置及びデジタル画像コンテンツ自動分類装置並びにデジタル画像コンテンツ管理システム

Also Published As

Publication number Publication date
CN101675431A (zh) 2010-03-17
WO2008132673A3 (en) 2008-12-24
WO2008132673A2 (en) 2008-11-06
US20100138427A1 (en) 2010-06-03
US8140542B2 (en) 2012-03-20
EP2145269A2 (en) 2010-01-20
JP2010527055A (ja) 2010-08-05

Similar Documents

Publication Publication Date Title
KR20100022027A (ko) 콘텐트 아이템들을 구성하는 방법
US7921067B2 (en) Method and device for mood detection
Burred et al. Hierarchical automatic audio signal classification
EP2234024B1 (en) Context based video finder
US8321456B2 (en) Generating metadata for association with a collection of content items
US8170702B2 (en) Method for classifying audio data
US20100217755A1 (en) Classifying a set of content items
US20170140260A1 (en) Content filtering with convolutional neural networks
Deshpande et al. Classification of music signals in the visual domain
US20080275904A1 (en) Method of Generating and Methods of Filtering a User Profile
KR101057919B1 (ko) 사용자들의 재생 목록 분석을 통한 맞춤형 음악 추천 방법
KR20070004891A (ko) 오디오 신호의 분류를 위한 방법 빛 시스템
KR101942459B1 (ko) 음원 컨텐츠 및 메타 정보를 이용한 플레이리스트 자동 생성 방법 및 시스템
Ratanpara et al. Singer identification using perceptual features and cepstral coefficients of an audio signal from Indian video songs
Niyazov et al. Content-based music recommendation system
Moffat et al. Unsupervised taxonomy of sound effects
Prashanthi et al. Music genre categorization using machine learning algorithms
Sarno et al. Music fingerprinting based on bhattacharya distance for song and cover song recognition
Benetos et al. Applying supervised classifiers based on non-negative matrix factorization to musical instrument classification
Sarkar et al. Emotion based categorization of music using low level features and agglomerative clustering
Mitri et al. Automatic music classification problems
Muniz et al. Feature vector design for music genre classification
de Leon et al. Music genre classification using polyphonic timbre models
US20230236791A1 (en) Media content sequencing
Koutras Song emotion recognition using music genre information

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid