KR101069363B1 - 음원 모니터링 시스템 및 그 방법 - Google Patents

Abstract

음원 모니터링 시스템이 개시된다. 상기 음원 모니터링 시스템은 방송 신호의 에너지 분포에 기초하여 상기 방송 신호를 음성 구간과 음악 구간으로 분류하는 음악 추출 모듈, 상기 추출된 음악 구간의 다수의 프레임들에 대한 주파수 히스토그램 분석 결과에 기초하여 상기 추출된 음악 구간에 대한 다수의 인덱스들을 생성하는 특징 추출 모듈, 및 상기 다수의 프레임들 각각에 대한 주파수 히스토그램 분석 결과 및 다수의 인덱스들 중에서 적어도 하나와 검색 대상 음원들에 대한 주파수 히스토그램 분석 결과 및 다수의 인덱스들 중에서 적어도 하나에 기초하여 상기 다수의 검색 대상 음원들 중에서 상기 추출된 음악 구간에 상응하는 음원을 검색할 수 있다.

음원, 모니터링, 검색, 인덱스, 에너지 분포

Description

음원 모니터링 시스템 및 그 방법{music source monitoring system and method thereof}

본 발명은 음원 모니터링 기술에 관한 것으로, 보다 상세하게는 방송 신호에서 음악 구간을 추출하고 상기 추출된 음악 구간에 상응하는 음원을 검색할 수 있는 음원 모니터링 시스템 및 그 방법에 관한 것이다.

최근 인터넷, 컴퓨터 통신과 같은 네트워크의 급속한 발전과 멀티미디어 디지털 콘텐츠의 증가로 인하여 소유권자의 동의가 없는 불법복제로부터의 저작권 보호와 인증에 대한 문제가 심각하게 대두되고 있다. 또한, 합법적인 콘텐츠 사용에 대해서도 광고주를 포함한 콘텐츠 저작권자들은 저작권료의 정확한 계산, 방송 시간의 준수 확인, 또는 일정한 광고가 예정대로 방송되었는지를 확인하기 위해 그들의 콘텐츠가 언제 어디에서 방송되었는지를 측정할 필요가 있다.

많은 콘텐츠들 가운데 음악은 인간의 삶과 밀접한 관계를 유지하면서 늘 인간과 함께하며, 기쁠 때나 슬플 때, 신앙심을 표현하기 위해서도 사용되었고, 스포츠 선수들에게는 동기 부여를 위해 사용되기도 하며, 최근에는 신경장애의 치료 또는 학습 능력의 향상을 위해서도 사용되고 있다. 이렇듯 음악이 인간과 함께하며 경제의 균형 및 발전을 위하여 중요한 역할을 한다는 것은 기정사실로써 2006년도 음악 시장 규모는 4,500억원이었으며, 이중 디지털 음원 산업은 2,700억원으로 전체의 60%에 다다르고 있다. 그러나 이러한 디지털 음악 산업의 성장에도 불구하고 정확한 저작권료 산정 및 정산 시스템의 부재로 저작권자들은 ‘방송사에 공급 계약한 음원 가격의 몇 %식의 저작권료를 지급받아 왔다. 이러한 문제를 해결하기 위하여 라디오나 TV를 모니터링하는 기존의 방법은, 청취 및 시청하는 사람을 고용하여 그들이 듣거나 본 것을 기록하거나, 라디오 및 TV 방송국의 방송 편성 기록에 전적으로 의지하는 방법이었다. 그러나 인적자원에 의해서 실행되는 모니터링의 경우 비용이 많이 들고 정확성에 한계가 있어, 고속 및 자동 모니터링을 가능하게 하는 기술의 개발이 요구되어 왔다.

따라서 본 발명이 이루고자 하는 기술적인 과제는 TV나 라디오 방송에서 아나운서/MC/DJ/게스트들의 음성을 제외한 음악 부분들만을 인식하여 그 음악들이 어떤 음악인지 인지하고 해당 음악이 얼마나 자주 방송에서 사용되었는지를 파악하여 해당 음원의 저작권자들에게 도움을 줄 수 있는 음원 모니터링 시스템 및 그 방법을 제공하는 것이다.

상기 기술적 과제를 해결하기 위한 음원 모니터링 시스템은 시간의 흐름에 따른 방송 신호의 에너지 분포에 기초하여 상기 방송 신호를 음성 구간, 광고 구 간, 및 음악 구간으로 분류하고, 상기 분류 결과에 기초하여 음악 구간을 추출하는 음악 추출 모듈; 상기 추출된 음악 구간의 전부 또는 일부를 다수의 프레임들로 나누고, 상기 다수의 프레임들 각각에 대한 주파수 히스토그램 분석을 수행하고, 상기 다수의 프레임들 각각에 대한 주파수 히스토그램 분석 결과에 기초하여 상기 추출된 음악 구간에 대한 다수의 인덱스들을 생성하는 특징 추출 모듈; 및 상기 다수의 프레임들 각각에 대한 주파수 히스토그램 분석 결과 및 다수의 인덱스들 중에서 적어도 하나와 검색 대상 음원들에 대한 주파수 히스토그램 분석 결과 및 다수의 인덱스들 중에서 적어도 하나에 기초하여, 상기 다수의 검색 대상 음원들 중에서 상기 추출된 음악 구간에 상응하는 음원을 검색하는 검색 모듈을 포함할 수 있다.

상기 음원 추출 모듈은 상기 방송 신호를 다수의 프레임들로 나누고 상기 다수의 프레임들 각각의 에너지 표준 편차, 로그 에너지 표준 편차, 및 로그 에너지 평균 중 적어도 하나를 계산하는 에너지 분포 계산 모듈; 및 시간의 흐름에 따른 상기 다수의 프레임들 각각의 에너지 표준 편차 분포, 로그 에너지 표준 편차, 및 로그 에너지 평균 중 적어도 하나에 기초하여 상기 방송 신호를 음성 구간, 광고 구간, 음악 구간으로 분류하고, 상기 분류결과에 기초하여 음악 구간을 추출하는 구간 분류 모듈을 포함할 수 있다.

상기 특징 추출 모듈은 상기 다수의 프레임들 각각에 대한 주파수 히스토그램 분석을 수행하는 주파수 분석 모듈; 및 다수의 프레임들 각각에 대한 주파수 히스토그램 분석 결과를 다수의 주파수 범위들로 나누고, 상기 다수의 주파수 범위들의 에너지 크기에 기초하여 상기 다수의 주파수 범위들을 정렬하며, 상기 정렬된 다수의 주파수 범위들에 기초하여 상기 다수의 프레임들 각각에 대한 인덱스를 생성하는 인덱스 생성 모듈을 포함할 수 있다.

상기 검색 모듈은 검사 대상 음원들 중에서 상기 음악 구간의 전부 또는 일부의 상기 다수의 프레임들 중에서 어느 하나의 프레임의 인덱스와 동일한 인덱스를 갖는 음원을 검색하는 제1 검색 모듈; 및 상기 검색된 음원의 다수의 프레임들 각각의 인덱스를 상기 음악 구간의 전부 또는 일부의 상기 다수의 프레임들 중 상응하는 프레임의 인덱스와 비교하고, 상기 비교 결과에 기초하여 상기 추출된 음악 구간에 상응하는 음원을 검색하는 제2 검색 모듈을 포함할 수 있다.

상기 기술적 과제를 해결하기 위한 음원 모니터링 방법은 시간의 흐름에 따른 방송 신호의 에너지 분포에 기초하여 상기 방송 신호를 음성 구간, 광고 구간, 및 음악 구간으로 분류하고, 상기 분류 결과에 기초하여 음악 구간을 추출하는 단계; 상기 추출된 음악 구간의 전부 또는 일부를 다수의 프레임들로 나누고, 상기 다수의 프레임들 각각에 대한 주파수 히스토그램 분석을 수행하고, 상기 다수의 프레임들 각각에 대한 주파수 히스토그램 분석 결과에 기초하여 상기 추출된 음악 구간에 대한 다수의 인덱스들을 생성하는 단계; 및 상기 다수의 프레임들 각각에 대한 주파수 히스토그램 분석 결과 및 다수의 인덱스들 중에서 적어도 하나와 검색 대상 음원들에 대한 주파수 히스토그램 분석 결과 및 다수의 인덱스들 중에서 적어도 하나에 기초하여, 상기 다수의 검색 대상 음원들 중에서 상기 추출된 음악 구간에 상응하는 음원을 검색하는 단계를 포함할 수 있다.
상기 음악 구간을 추출하는 단계는 상기 방송 신호를 다수의 프레임들로 나누고 상기 다수의 프레임들 각각의 에너지 표준 편차, 로그 에너지 표준 편차, 및 로그 에너지 평균 중 적어도 하나를 계산하는 단계; 및 시간의 흐름에 따른 상기 다수의 프레임들 각각의 에너지 표준 편차 분포, 로그 에너지 표준 편차, 및 로그 에너지 평균 중 적어도 하나에 기초하여 상기 방송 신호를 음성 구간, 광고 구간, 음악 구간으로 분류하고, 상기 분류결과에 기초하여 음악 구간을 추출하는 단계를 포함할 수 있다.
상기 다수의 인덱스들을 생성하는 단계는 상기 다수의 프레임들 각각에 대한 주파수 히스토그램 분석을 수행하는 단계; 및 다수의 프레임들 각각에 대한 주파수 히스토그램 분석 결과를 다수의 주파수 범위들로 나누고, 상기 다수의 주파수 범위들의 에너지 크기에 기초하여 상기 다수의 주파수 범위들을 정렬하며, 상기 정렬된 다수의 주파수 범위들에 기초하여 상기 다수의 프레임들 각각에 대한 인덱스를 생성하는 단계를 포함할 수 있다.
상기 다수의 인덱스들을 생성하는 단계는 분석 범위를 다수의 주파수 범위들로 나누어 상기 다수의 프레임들 각각에 대한 주파수 히스토그램 분석을 수행하는 단계; 및 상기 다수의 주파수 범위들을 다수의 병합 주파수 구간들로 나누고, 상기 다수의 병합 주파수 구간들의 에너지 크기에 기초하여 상기 다수의 병합 주파수 구간들을 정렬하며, 상기 정렬된 다수의 병합 주파수 구간들에 기초하여 상기 다수의 프레임들 각각에 대한 인덱스를 생성하는 단계를 포함할 수 있다.
상기 다수의 인덱스들을 생성하는 단계는 상기 다수의 프레임들 각각에 대한 주파수 히스토그램 분석을 수행하는 단계; 및 일정한 시간 간격으로 상기 다수의 프레임들 중에서 다수의 프레임들을 선택하고, 상기 다수의 선택된 프레임들 각각에 대한 주파수 히스토그램 분석 결과를 다수의 주파수 범위들로 나누고, 상기 다수의 주파수 범위들의 에너지 크기에 기초하여 상기 다수의 주파수 범위들을 정렬하며, 상기 정렬된 다수의 주파수 범위들에 기초하여 상기 다수의 선택된 프레임들 각각에 대한 인덱스를 생성하는 단계를 포함할 수 있다.
상기 다수의 인덱스들을 생성하는 단계는 분석 범위를 다수의 주파수 범위들로 나누어 상기 다수의 프레임들 각각에 대한 주파수 히스토그램 분석을 수행하는 단계; 및 일정한 시간 간격으로 상기 다수의 프레임들 중에서 다수의 프레임들을 선택하고, 상기 다수의 선택된 프레임들에 대하여 상기 다수의 주파수 범위들을 다수의 병합 주파수 구간들로 나누고, 상기 다수의 병합 주파수 구간들의 에너지 크기에 기초하여 상기 다수의 병합 주파수 구간들을 정렬하며, 상기 정렬된 다수의 병합 주파수 구간들에 기초하여 상기 다수의 선택된 프레임들 각각에 대한 인덱스를 생성하는 단계를 포함할 수 있다.
상기 다수의 프레임들 각각에 대한 주파수 히스토그램은 ZCPA(zero-crossing and peak amplitudes) 특징 추출 결과에 기초하여 생성되는 것을 특징으로 할 수 있다. 상기 추출된 음악 구간에 상응하는 음원을 검색하는 단계는 검사 대상 음원들 중에서 상기 음악 구간의 전부 또는 일부의 상기 다수의 프레임들 중에서 어느 하나의 프레임의 인덱스와 동일한 인덱스를 갖는 음원을 검색하는 단계; 및 상기 검색된 음원의 다수의 프레임들 각각의 인덱스를 상기 음악 구간의 전부 또는 일부의 상기 다수의 프레임들 중 상응하는 프레임의 인덱스와 비교하고, 상기 비교 결과에 기초하여 상기 추출된 음악 구간에 상응하는 음원을 검색하는 단계를 포함할 수 있다.
상기 추출된 음악 구간에 상응하는 음원을 검색하는 단계는 상기 음악 구간의 전부 또는 일부의 상기 다수의 프레임들 중에서 상기 어느 하나의 프레임을 기준으로 특정 위치에 있는 프레임의 인덱스를 상기 검색된 음원의 상기 다수의 프레임들 중에서 상기 어느 하나의 프레임과 동일한 인덱스를 갖는 프레임을 기준으로 상기 특정 위치에 있는 프레임의 인덱스와 비교하는 단계를 포함할 수 있다.
상기 추출된 음악 구간에 상응하는 음원을 검색하는 단계는 검사 대상 음원들 중에서 상기 음악 구간의 전부 또는 일부의 상기 다수의 선택된 프레임들 각각의 인덱스와 동일한 인덱스를 갖는 음원들을 검색하는 단계; 및 상기 음악 구간의 전부 또는 일부의 상기 다수의 선택된 프레임들 각각의 인덱스에 대하여, 상기 검색된 음원들 각각의 다수의 선택된 프레임들의 히스토그램 분석 결과를 상기 음악 구간의 전부 또는 일부의 상기 다수의 프레임들 중 상응하는 프레임의 히스토그램 분석 결과와 비교하고, 상기 비교 결과에 기초하여 상기 추출된 음악 구간에 상응하는 음원을 검색하는 단계를 포함할 수 있다.
상기 추출된 음악 구간에 상응하는 음원을 검색하는 단계는 상기 음악 구간의 전부 또는 일부의 상기 다수의 선택된 프레임들 각각을 기준으로 특정 위치에 있는 프레임의 주파수 히스토그램 분석 결과를 상기 검색된 음원의 상기 다수의 프레임들 중에서 상기 다수의 선택된 프레임들 각각의 인덱스와 동일한 인덱스를 갖는 프레임을 기준으로 상기 특정 위치에 있는 프레임의 주파수 히스토그램 분석과 비교하는 단계를 포함할 수 있다.
상기 추출된 음악 구간에 상응하는 음원을 검색하는 단계는 상기 다수의 선택된 프레임들 각각에 대하여 주파수 히스토그램 분석 결과 비교 동작을 상기 일정한 시간 간격에 상응하는 간격 동안 1프레임씩 이동하면서 수행하는 것을 특징으로 할 수 있다. 상기 음원 모니터링 방법은 상기 추출된 음악 구간이 저작권료 청구 대상인지 여부와 상기 추출된 음악 구간이 방송된 방송국명, 프로그램명, 방송 시간과 상기 추출된 음악이 사용된 횟수와 상기 추출된 음악 구간에 저작권 정보 중에서 적어도 하나를 포함하는 정보를 제공하는 단계를 더 포함할 수 있다.

본 발명의 실시예에 따른 음원 모니터링 방법은 컴퓨터로 읽을 수 있는 기록 매체에 저장된 상기 컴퓨터 시스템의 부팅 방법을 실행하기 위한 컴퓨터 프로그램을 실행함으로써 구현될 수 있다.

상술한 바와 같이 본 발명에 따른 음원 모니터링 시스템 및 그 방법은 방송 신호에서 음악 구간을 정확하게 추출할 수 있고, 상기 추출된 음악 구간에 상응하는 음원을 고속 검색할 수 있으며, 상기 추출된 음원에 대한 각종 자료를 사용자에게 제공할 수 있는 효과가 있다. 또한, 본 발명에 따른 음원 모니터링 시스템 및 그 방법에 기초하여 산출되는 각종 자료는 저작권자가 해당 음원의 사용 내역을 파악하고, 상기 사용 내역에 기초하여 저작권료를 청구하는 자료로 사용될 수 있는 효과가 있다.

본 발명과 본 발명의 동작상의 이점 및 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바림직한 실시 예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.

본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터 또는 신호를 상기 다른 구성요소로 전송할 수 있음을 의미한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 실시예에 따른 음원 모니터링 시스템(100)의 블락도이다. 상기 음원 모니터링 시스템(100)은 방송 신호로부터 아나운서/MC/DJ/게스트들의 음성과 음악을 정확히 구분해내고, 음악으로 인식된 신호 구간에 대한 빠른 음원 검색을 수행하고, 인식된 음원에 대한 각종 정보를 제공할 수 있다. 도 1을 참조하면, 상기 모니터링 시스템(100)은 음원 추출 모듈(110), 특징 추출 모듈(120), 및 검색 모듈(130)을 포함한다.

도 2는 본 발명의 실시예에 따른 음원 모니터링 시스템(100)이 서버로 구현된 예를 나타낸다. 도 2를 참조하면, 음원 추출 모듈(110), 특징 추출 모듈(120), 및 검색 모듈(130) 각각이 서버로 구현된 것을 알 수 있다. 모니터링 서버는 검색 서버에 의한 음원 검색 결과에 대한 각종 정보를 방송국, 콘텐츠 제공자, 저작권자, 일반인 등에게 제공할 수 있다.

도 3은 본 발명의 실시예에 따른 음원 모니터링 방법을 나타내는 순서도이다. 이하에서는 도 1 내지 도 3을 참조하여 그 과정을 살펴본다.

상기 음원 추출 모듈(110)은 시간의 흐름에 따른 방송 신호의 에너지 분포에 기초하여 상기 방송 신호를 음성 구간, 광고 구간, 및 음악 구간으로 분류하고, 상기 분류 결과에 기초하여 음악 구간을 추출할 수 있다(S30). 상기 방송 신호는 라디오, 공중파 TV, 위성방송, 인터넷 방송 등을 포함할 수 있다. 또한 상기 방송 신호는 도 2에 도시된 바와 같이 녹음 서버에서 수신되는 신호일 수 있고, 실시간으로 수신되는 방송 신호일 수도 있다.

상기 특징 추출 모듈(120)은 상기 추출된 음악 구간의 전부 또는 일부를 다수의 프레임들로 나누고, 상기 다수의 프레임들 각각에 대한 주파수 히스토그램 분석을 수행하고, 상기 다수의 프레임들 각각에 대한 주파수 히스토그램 분석 결과에 기초하여 상기 추출된 음악 구간에 대한 다수의 인덱스들을 생성할 수 있다(S40).

상기 검색 모듈(130)은 상기 다수의 프레임들 각각에 대한 주파수 히스토그램 분석 결과 및 다수의 인덱스들 중에서 적어도 하나와 검색 대상 음원들에 대한 주파수 히스토그램 분석 결과 및 다수의 인덱스들 중에서 적어도 하나에 기초하여, 상기 다수의 검색 대상 음원들 중에서 상기 추출된 음악 구간에 상응하는 음원을 검색할 수 있다(S30). 여기서. 검색 대상 음원들 각각에 대한 주파수 히스토그램 분석 및 다수의 인덱스들은 미리 도 2에 도시된 음원 데이터 베이스에 저장되어 있을 수 있다 상기 추출된 음악 구간에 대한 주파수 히스토그램 분석 및 다수의 인덱스들도 음원 데이터 베이스 등의 저장 공간에 저장될 수 있다.

상기 음원 추출 모듈(110)은 에너지 분포 계산 모듈(112) 및 구간 분류 모듈(114)을 포함한다. 상기 에너지 분포 계산 모듈(112)은 상기 방송 신호를 다수의 프레임들로 나누고 상기 다수의 프레임들 각각의 에너지 표준 편차, 로그 에너지 표준 편차, 및 로그 에너지 평균 중 적어도 하나를 계산할 수 있다. 상기 구간 분류 모듈(114)은 시간의 흐름에 따른 상기 다수의 프레임들 각각의 에너지 표준 편차 분포, 로그 에너지 표준 편차, 및 로그 에너지 평균 중 적어도 하나에 기초하여 상기 방송 신호를 음성 구간, 광고 구간, 및 음악 구간으로 분류하고, 상기 분류 결과에 기초하여 음악 구간을 추출해낼 수 있다.

상기 음원 추출 모듈(110)은 방송 신호로부터 먼저 음성 신호와 음악 신호를 구분하고, 음악 신호를 다시 광고신호와 대중음악 신호로 구분하는 두 단계 분류 작업을 수행할 수 있다. 따라서 상기 음원 추출 모듈(110)은 방송 신호를 음성 구간, 광고 구간, 음악 구간으로 분류하고, 상기 음원 모니터링 시스템(100)은 음악이라고 인식된 신호 구간에 대해서만 음원 데이터베이스와의 매칭되는 음원을 검색하게 된다.

도 4는 라디오 신호의 파형을 나타내는 그래프이다. 도 4는 실제 라디오 방송(FM 91.9MHz, 배철수의 음악캠프)을 녹음한 신호이다. 그래프에서 S(Speech)는 음성 구간, M(Music)은 음악 구간, C(Commercial)는 광고 구간을 나타낸다.

도 4의 신호 파형으로부터 가장 먼저 주목할 만한 점은 주로 S로 표시되어있는 DJ나 게스트들의 음성 구간에 대한 신호 에너지 크기가 음악 구간이나 광고 구간보다 크게 나타나고 있다는 점이다. 이는 생방송으로 진행되는 라디오 방송의 특성상 음악이나 광고 등은 미리 만들어진 음원들을 정해진 시간에 맞춰 음량을 설정하여 재생하는 반면, DJ 등의 음성은 마이크 음량을 설정해 놓는다 하여도 웃음소리나 기타 대화 환경 등의 음량을 통제할 수 없기 때문일 것이다. 그러나 단순히 신호의 에너지 크기 차이만을 주목한다면 도 4의 첫 음성 구간과 음악구간과 같이 신호 에너지의 크기가 유사한 부분들을 구별할 수 없게 된다.

상기 음원 추출 모듈(110)는 이러한 문제들을 해결하기 위해 사람의 음성 신호에는 호흡이나 발언 간의 순간 등으로 음성 신호가 존재하지 않는 정적(silence)구간이 많이 존재하나, 가수의 음성이 포함된 음악의 경우에는 가수의 음성뿐만 아 니라 다른 악기들의 연주가 함께 존재하기 때문에 신호 정적 구간은 거의 없다는 점을 이용한다. 즉, 상기 음원 추출 모듈(110)가 음성 구간과 음악 구간을 분류하는 기본적인 방법은 정적 구간의 많이 존재하는 구간일수록 시간의 흐름에 따른 에너지 편차가 심한 점을 이용한다.

도 5는 도 4의 라디오 방송 신호의 에너지 표준 편차를 나타내는 그래프이다. 도 4 및 도 5를 참조하면, 음악 구간은 신호 에너지 크기에 상관없이 에너지 표준 편차 값의 존재 범위가 좁은 반면, 음성 구간은 상대적으로 큰 에너지 표준 편차를 갖는 것을 확인할 수 있다. 그러므로 상기 음원 추출 모듈(110)은 에너지 표준 편차의 범위를 적절하게 설정함으로써 음성 구간과 음악 구간을 분류할 수 있다.

수학식 1은 방송 신호의 프레임의 에너지를 구하는 방법을 나타낸다.

여기서, E(l)은 l번째 프레임의 에너지를, Nhop는 1프레임당 샘플링 수를, s는 방송 신호의 샘플링 값을, L은 방송 신호의 총 프레임 수를 의미한다. 예컨대, 1프레임이 32ms이고, 샘플링 레이트가 8kHz라고 가정하면, 1프레임당 샘플링 수(Nhop)는 256이 된다.

수학식 2는 방송 신호의 프레임의 에너지 표준 편차를 구하는 방법을 나타낸다.

여기서, Es(k)은 1초간의 프레임 에너지의 표준편차를, Mhop는 1초당 프레임의 수를, E(k)'은 1초 간의 프레임 에너지의 평균을 의미한다. 예컨대, 1프레임이 32ms라고 가정하면, 1초당 프레임 수(Mhop)는 31이 된다.

도 5를 참조하면, 약 5,000초 부분의 짧은 음악 구간들을 살펴보면 에너지 표준 편차가 짧은 순간 갑자기 큰 값이 나타나는 것을 확인할 수 있다. 이 부분은 DJ가 음악을 연속적으로 재생시키면서 음악 차트의 순위를 알려주는 경우일 수 있다. 도 5의 약 5,000초 부분의 짧은 음악구간들의 마지막 부분(M')처럼 다른 악기의 연주가 거의 없고 가수의 음성이 주를 이루는 랩 음악 구간에서의 에너지 표준 편차는 음성 구간의 에너지 표준 편차와 비슷한 특성을 나타내고 있다.

그러므로 이 구간에서는 음악 구간이 음성 구간으로 오분류될 수 있다. 이러한 문제점은 DJ들의 음성과 음악만 존재하는 것이 아니라 방송에 도움을 주고 있는 기업들에 대한 광고 구간, 공익 광고 구간, 주기적으로 방송되는 교통 정보 제공 구간에 대해서도 발생할 수 있다. 도 5의 광고 구간은 상술한 기업 광고, 공익 광고, 교통 정보 제공 구간 등을 포함할 수 있다.

도 5를 참조하면, 이러한 광고 구간들은 음악 구간의 에너지 표준 편차 특성과 유사한 형태를 보이고 있다. 특히, 광고와 음악이 연달아서 재생되는 구간에서 는 광고 구간과 음악 구간의 구분이 모호하기 때문에 (광고+음악)구간을 음악구간으로 인식하여 음원 검색을 하게 되는 문제가 발생할 수 있으며, 이는 음원 검색 속도와 음원 모니터링 시스템(100)의 성능을 저하시키는 중대한 요인으로 작용할 수 있다.

이러한 문제를 해결하기 위해 상기 음원 모니터링 시스템(100)은 광고와 음악의 주된 의사전달 방법의 차이에 주목하였다. 광고는 전달하고자 하는 메시지를 주로 음성을 통해서 표현하는데 반해, 음악은 가사와 멜로디 모두를 통해서 표현한다는 것이다. 즉, 광고에서의 음악은 BGM(Background Music)으로의 성격이 강하고 정작 표현하고자 하는 내용은 광고출연자들의 음성으로 강조하여 표현되고 있으며, 음악에서는 가수의 음성과 각 악기들의 연주가 어우러져서 표현된다는 것이다.

또한, 각 광고들 사이에 이들을 구분하기 위한 정적 구간이 필연적으로 존재한다는 것 역시 광고와 음악을 구분하는데 중요한 척도가 될 수 있다. 이러한 특성들을 이용해 본 발명의 실시예에 따른 음원 모니터링 시스템(100)은 광고 구간과 음악 구간의 구분을 위한 특징으로 프레임 간의 에너지 편차와 에너지 존재 유무를 보다 잘 표현할 수 있는 로그 에너지 표준 편차와 로그 에너지 평균을 이용한다.

도 6은 도 1에 도시된 에너지 분포 계산 모듈(112)의 블락도이다. 참고로, 상기 에너지 분포 계산 모듈(112)은 방송 신호의 로그 에너지를 계산하기 위한 모듈이다.

상기 에너지 분포 계산 모듈(112)로 입력되는 방송 신호는 주파수 범위별로 필터링을 수행하는 다수의 필터들(112A 내지 112N)에 의하여 필터링된다. 다수의 로그 에너지 계산 유닛들(113A 내지 113N)은 다수의 필터들(112A 내지 112N) 중에서 상응하는 필터의 출력 신호에 대한 로그 에너지를 계산하며, 합산기(115)는 상기 다수의 로그 에너지 계산 유닛들(113A 내지 113N)의 출력 신호들을 합산하여 방송 신호에 대한 로그 에너지를 생성한다.

도 7은 도 4의 라디오 방송 신호의 로그 에너지 표준 편차를 나타내는 그래프이다. 도 8은 도 4의 라디오 방송 신호의 로그 에너지 평균을 나타내는 그래프이다. 도 7 및 도 8을 참조하면, 광고 구간의 경우에는 로그 에너지의 표준 편차가 음악 구간과 달리 약 3 이상의 큰 값들을 포함하는 것을 확인할 수 있으며, 로그 에너지 평균 역시 음성 구간과 광고 구간에서 -20에 근접한 값을 갖는다는 것을 확인할 수 있다.

로그 에너지 평균이 -20에 근접한다는 것은 프레임의 에너지가 거의 없는 구간임을 의미한다. 그러므로 상기 음원 추출 모듈(110)은 로그 에너지의 표준 편차 값의 범위와 로그 에너지의 평균 값의 범위를 적절하게 설정함으로써 광고 구간과 음악 구간 중에서 음악 구간을 정확하게 분류할 수 있다. 또한, 상기 음원 추출 모듈(110)은 도 5의 약 5,000초 부분의 짧은 음악 구간들의 마지막 부분(M')의 랩 음악 구간도 음악 구간으로 정확하게 인식할 수 있다.

도 9는 1에 도시된 음원 추출 모듈의 동작을 설명하기 위한 흐름도이다. 이하, 도 5, 도 7 내지 도 9를 참조하여 그 과정을 살펴본다.

상기 음원 추출 모듈(110)은 방송 신호가 시스템에 입력되면 가장 먼저 확실한 음성 구간을 설정하여 음성 구간을 분류한다(S90). 상기 음원 추출 모듈(110)는 인접 프레임과의 에너지의 표준 편차가 3.5 이상의 큰 값으로 존재하는 구간을 음성 구간으로 분류할 수 있고, 로그 에너지의 표준 편차가 4 이상의 큰 값으로 존재하는 구간을 음성 구간으로 분류할 수 있다. 또한, 상기 음원 추출 모듈(110)는 로그 에너지의 평균값이 -17보다 작은 값으로 존재하는 구간을 음성 구간으로 분류할 수도 있다.

다음으로 상기 음원 추출 모듈(110)는 확실한 음악구간을 설정하여 음악 구간을 분류한다(S91). 상기 음원 추출 모듈(110)는 에너지의 표준 편차의 5프레임의 표준 편차가 0.5를 넘지 않으면서, 로그 에너지의 표준 편차의 값이 3.5를 넘지 않는 구간을 음악 구간으로 분류할 수 있다. 이는 대부분의 음악이 5초 동안의 에너지의 변화가 격렬하지 않은 특성을 이용한 것이다.

그러나 Hip-hop음악 등은 에너지의 변화가 격렬하여 음성 구간과 유사한 특성을 보인다. 그러므로 상기 음원 추출 모듈(110)는 음성 구간인지 음악 구간인지 구분이 모호한 구간에 대하여 5초간의 로그 에너지의 평균을 비교하여 -12보다 크다면 그 음악 구간으로 분류할 수 있다.

도 10a 내지 도 10d는 뉴스 방송 신호의 파형, 에너지 표준 편차, 로그 에너지 표준 편차, 로그 에너지 평균을 나타내는 그래프이다. 뉴스 방송 신호의 에너지 표준 편차 특성과 로그 에너지 표준 편차 특성을 살펴보면 그 값의 존재 범위가 넓고 패턴에 큰 변화를 찾아 보기 어렵고(도 10b 및 도 10c 참조), 뉴스 방송 신호의 로그 에너지 평균값이 -20에 근접하는 경우가 자주 발생하는 것을 알 수 있다(도 10d 참조). 이는 뉴스 방송 신호는 에너지가 거의 없는 부분 즉, 정적 구간이 자주 발생했다는 것을 의미하며, 뉴스 방송 신호는 음성 구간에서 전형적 예임을 의미한다.

도 11a 내지 도 11d는 다큐멘터리 방송 신호의 파형, 에너지 표준 편차, 로그 에너지 표준 편차, 로그 에너지 평균을 나타내는 그래프이다. 다큐멘터리 방송 신호는 다큐멘터리의 특성상 잔잔하고 절제된 나레이션을 포함하고 있어 에너지 표준편차의 범위가 광범위하지는 않지만 에너지 표준 편차가 0에 근접한 값들이 자주 발생하는 전형적인 음성구간의 형태를 보이고 있다(도 10b 참조). 에너지 표준 편차가 0에 근접하다는 것은 에너지 크기가 거의 동일하다는 것을 의미하는데, 음성구간에서의 정적인 구간이 이에 해당한다. 다큐멘터리 방송 신호의 로그 에너지 표준 편차 역시 전형적인 음성 구간의 특성을 나타내며(도 11c 참조), 로그 에너지 평균 값도 작은 것을 알 수 있다(도 11d 참조).

도 12a 내지 도 12d는 TV 드라마 방송 신호의 파형, 에너지 표준 편차, 로그 에너지 표준 편차, 로그 에너지 평균을 나타내는 그래프이다. 도 11a 내지 도 11d를 참조하면, TV 드라마 방송 신호는 보면 전반적으로 1초간의 에너지 표준편차 존재 범위가 넓고, 0에 근접한 값을 갖는 구간이 자주 발생하는 전형적인 음성구간의 형태를 보이고 있으나, 중간에 1초간의 에너지 표준편차 존재 범위가 좁아지면서 주변의 값들과 다르게 0에 근접한 값을 갖지 않는 구간이 존재하는 것을 확인할 수 있다(도 11b 및 도 11c 참조). 이 구간은 드라마의 OST가 등장하는 부분과 주인공의 회상 장면에서 음악이 등장하는 구간으로써, 로그 에너지 표준편차와 평균의 형태가 전형적인 음악구간의 특성을 보이고 있다. 그러므로 드라마 방송 신호에서 OST 등이 등장하는 음악 구간을 구분해내는 작업도 원활히 수행될 수 있다.

도 13a 내지 도 13d는 TV 음악 방송 신호의 파형, 에너지 표준 편차, 로그 에너지 표준 편차, 로그 에너지 평균을 나타내는 그래프이다. 도 13a 내지 도 13d를 참조하면, TV 음악 방송 신호의 에너지 표준 편차는 존재 범위가 좁게 형성되어있고, 0에 근접한 값을 갖는 구간이 거의 없는 것을 확인할 수 있다. 이는 라디오 방송에서의 음악 구간과 유사한 특성으로 TV 음악 방송 신호의 로그 에너지 표준편차와 평균 역시 음악 구간의 특성을 나타냄을 확인할 수 있다.

이상으로 라디오 방송 신호에 대한 음악 구간 구분을 위해 적용한 특징인 에너지 표준 편차와 로그 에너지 표준 편차 및 평균이 TV 방송 신호에 대해서도 효과적으로 적용될 수 있음을 살펴보았다.

상기 특징 추출 모듈(120)은 주파수 분석 모듈(122) 및 인덱스 생성 모듈(124)을 포함한다. 상기 주파수 분석 모듈(122)은 음원 추출 모듈(110)에 의하여 추출된 음악 구간의 다수의 프레임들 각각에 대한 주파수 히스토그램 분석을 수행할 수 있다. 상기 다수의 프레임들 각각에 대한 주파수 히스토그램은 ZCPA(zero-crossing and peak amplitudes) 특징 추출 결과에 기초하여 생성될 수 있다.

상기 인덱스 생성 모듈(124)은 다수의 프레임들 각각에 대한 주파수 히스토그램 분석 결과를 다수의 주파수 범위들로 나누고, 상기 다수의 주파수 범위들의 에너지 크기에 기초하여 상기 다수의 주파수 범위들을 정렬하며, 상기 정렬된 다수의 주파수 범위들에 기초하여 상기 다수의 프레임들 각각에 대한 인덱스를 생성할 수 있다. 또한, 상기 인덱스 생성 모듈(124)은 주파수 히스토그램 분석의 다수의 주파수 범위들을 다수의 병합 주파수 구간들로 나누고, 상기 다수의 병합 주파수 구간들의 에너지 크기에 기초하여 상기 다수의 병합 주파수 구간들을 정렬하며, 상기 정렬된 다수의 병합 주파수 구간들에 기초하여 상기 다수의 프레임들 각각에 대한 인덱스를 생성할 수도 있다.

도 14는 도 1의 특징 추출 모듈(120)의 인덱스 생성 과정을 나타낸다. 주파수 분석 모듈(122)은 우선 검색 인덱스를 생성하기 위하여 0~16까지의 17개의 주파수 범위에 대하여 주파수 히스토그램 분석을 수행한다. 그러면 인덱스 생성 모듈(124)은 0~16까지의 주파수 범위를 0∼7까지의 8개의 병합 주파수 범위로 다시 분류하여, 상기 8개의 병합 주파수 범위를 에너지가 큰 순서대로 정렬하여, 상기 프레임에 대한 인덱스를 생성할 수 있다. 주파수 범위에 대한 에너지는 도 14에 도시된 그래프의 면적을 이용하여 산출될 수 있다. 도 14를 참조하면, 상기 프레임의 인덱스는 8개의 병합 주파수 범위들에 대한 면적에 기초하여 01254367이 됨을 알 수 있다.

상기 인덱스 생성 모듈(124)은 상기 다수의 프레임들 중에서 일정한 시간 간격으로 선택된 다수의 프레임들에 대해서만 인덱스를 생성할 수 있다. 예컨대, 음성 구간의 길이가 1.5초이며, 한 프레임의 길이가 32ms 이라고 하면, 상기 음성 구간은 약 90개의 프레임들을 포함한다. 그러면 상기 인덱스 생성 모듈(124)은 상기 90개의 프레임들 중에서 5개의 프레임 간격을 상기 일정한 시간 간격으로 하여 선택된 프레임들에 대해서만 인덱스를 생성할 수 있다. 즉, 상기 인덱스 생성 모듈(124)은 상기 음성 구간의 프레임들 중에서 1프레임, 6프레임, 11프레임,., 순으 로 약 19개의 프레임들에 대해서만 인덱스를 생성할 수 있다. 상기 선택된 다수의 프레임들에 대한 인덱스도 주파수 히스토그램 분석의 주파수 범위들 및 병합 주파수 범위들의 에너지 순에 기초하여 생성될 수 있다.

상기 검색 모듈(130)은 제1 검색 모듈(132) 및 제2 검색 모듈(134)을 포함한다. 상기 제1 검색 모듈(132)은 검사 대상 음원들 중에서 음원 추출 모듈(110)에 의하여 추출된 음악 구간의 전부 또는 일부의 상기 다수의 프레임들 중에서 어느 하나의 프레임의 인덱스와 동일한 인덱스를 갖는 음원을 검색할 수 있다. 상기 검사 대상 음원들의 인덱스는 상기 검색 모듈(130)이 접근할 수 있는 데이터 베이스에 미리 저장되어 있을 수 있다.

그러면 제2 검색 모듈(134)은 상기 제1 검색 모듈(132)에 의하여 검색된 음원의 다수의 프레임들 각각의 인덱스를 상기 음악 구간의 전부 또는 일부의 상기 다수의 프레임들 중 상응하는 프레임의 인덱스와 비교하고, 상기 비교 결과에 기초하여 상기 추출된 음악 구간에 상응하는 음원을 검색할 수 있다. 여기서, 인덱스 비교 결과는 음원 추출 모듈(110)에 의하여 추출된 음악 구간의 프레임들의 인덱스들과 상기 제1 검색 모듈(132)에 의하여 검색된 검색 대상 음원의 프레임들의 인덱스들 사이의 유사도를 의미할 수 있다. 그러므로 상기 제2 검색 모듈(134)은 음원 추출 모듈(110)에 의하여 추출된 음악 구간의 프레임들의 인덱스들과 가장 유사한 인덱스들을 갖는 검색 대상 음원을 상기 추출된 음악 구간에 상응하는 음원으로 검색할 수 있다.

상기 제2 검색 모듈(134)은 상기 추출된 음악 구간의 전부 또는 일부의 상기 다수의 프레임들 중에서 상기 어느 하나의 프레임을 기준으로 특정 위치에 있는 프레임의 인덱스를 상기 검색된 음원의 상기 다수의 프레임들 중에서 상기 어느 하나의 프레임과 동일한 인덱스를 갖는 프레임을 기준으로 상기 특정 위치에 있는 프레임의 인덱스와 비교할 수 있다. 예컨대, 상기 제2 검색 모듈(134)은 추출된 음악 구간의 프레임들을 제1 프레임을 기준으로 1프레임씩 증가시키면서 인덱스 비교를 수행하고, 상기 검색된 음원의 프레임들 중 상기 제1 프레임의 인덱스와 동일한 인덱스를 갖는 프레임은 100프레임으로 가정한다.

그러면 상기 제2 검색 모듈(134)에 의한 인덱스 비교는 상기 추출된 음악 구간의 제1 프레임과 상기 검색된 음원의 제100 프레임 사이, 상기 추출된 음악 구간의 제2 프레임과 상기 검색된 음원의 제101 프레임 사이, 상기 추출된 음악 구간의 제3 프레임과 상기 검색된 음원의 제102 프레임 사이 순으로 수행될 수 있다. 상술한 프레임 간의 인덱스 비교에 기초하여 상기 추출된 음악 구간에 상응하는 음원을 검색하는 것은 다수의 선택된 프레임들에 대한 인덱스 비교에 기초하여 상기 추출된 음악 구간에 상응하는 음원을 검색하는 데에도 이용될 수 있다.

상기 제2 검색 모듈(124)은 상기 음악 구간의 전부 또는 일부의 상기 다수의 선택된 프레임들 각각을 기준으로 특정 위치에 있는 프레임의 주파수 히스토그램 분석 결과를 상기 검색된 음원의 상기 다수의 프레임들 중에서 상기 다수의 선택된 프레임들 각각의 인덱스와 동일한 인덱스를 갖는 프레임을 기준으로 상기 특정 위치에 있는 프레임의 주파수 히스토그램 분석과 비교하고, 그 비교 결과에 기초하여 상기 추출된 음악 구간에 상응하는 음원을 검색할 수도 있다.

여기서, 주파수 히스토 그램 분석 결과 비교 결과는 음원 추출 모듈(110)에 의하여 추출된 음악 구간의 프레임들의 주파수 히스토그램 분석 결과들과 상기 제1 검색 모듈(132)에 의하여 검색된 검색 대상 음원의 프레임들의 주파수 히스토그램 분석 결과 사이의 유사도를 의미할 수 있다. 그러므로 상기 제2 검색 모듈(134)은 음원 추출 모듈(110)에 의하여 추출된 음악 구간의 프레임들의 주파수 히스토그램 분석 결과들과 가장 유사한 주파수 히스토그램 분석 결과를 갖는 검색 대상 음원을 상기 추출된 음악 구간에 상응하는 음원으로 검색할 수 있다.

예컨대, 상기 제2 검색 모듈(134)은 추출된 음악 구간의 프레임들을 제1 프레임을 기준으로 프레임을 1프레임씩 증가시키면서 주파수 히스토그램 분석 비교를 수행하고, 상기 검색된 음원의 프레임들 중 상기 제1 프레임의 인덱스와 동일한 인덱스를 갖는 프레임은 100프레임으로 가정한다.

그러면 상기 제2 검색 모듈(134)에 의한 주파수 히스토그램 비교는 상기 추출된 음악 구간의 제1 프레임과 상기 검색된 음원의 제100 프레임 사이, 상기 추출된 음악 구간의 제2 프레임과 상기 검색된 음원의 제101 프레임 사이, 상기 추출된 음악 구간의 제3 프레임과 상기 검색된 음원의 제102 프레임 사이 순으로 수행될 수 있다.

상술한 프레임 간의 주파수 히스토그램 분석 비교에 기초하여 상기 추출된 음악 구간에 상응하는 음원을 검색하는 것은 다수의 선택된 프레임들에 대한 인덱스 비교에 기초하여 상기 추출된 음악 구간에 상응하는 음원을 검색하는 데에도 이용될 수 있다. 이때, 상기 제2 검색 모듈(124)은 상기 다수의 선택된 프레임들 각 각에 대하여 주파수 히스토그램 분석 결과 비교 동작을 상기 일정한 시간 간격에 상응하는 간격 동안 1프레임씩 이동하면서 수행할 수 있다. 예컨대, 상기 일정한 시간 간격이 5개의 프레임의 길이에 상응하는 간격이라면 상기 제2 검색 모듈(134)은 5개의 프레임 간격 동안 주파수 히스토그램 분석 결과 비교 동작을 1프레임씩 이동하면서 수행할 수 있다.

도 15는 도 1의 검색 모듈(130)의 인덱스 검색 방법의 일예를 나타낸다. 도 16은 도 1의 특징 추출 모듈(120)과 검색 모듈(130)의 동작을 설명하기 위한 순서도이다. 먼저, 음악 구간의 길이는 1.5초, 프레임의 길이는 32ms, 프레임의 수는 90개, 프레임을 선택하기 위한 일정한 시간 간격은 5프레임, 인덱스가 계산되는 프레임은 19개인 것을 가정한다.

1.5초 길이의 음악 구간이 입력되면 특징 추출 모듈(120)는 음악 구간의 첫 번째 프레임에 대한 인덱스를 계산하며(S150), 제1 검색 모듈(132)은 인덱스 테이블에서 음악 구간의 첫 번째(n=1) 인덱스와 동일한 인덱스(01234567)를 검색하여, 그 곳에 링크되어 있는 음원(ID)과 해당 위치(프레임)를 받아온다(S151).

만약, 인덱스 테이블에 k 라는 곡의 m 번째 프레임이 연결되어 있다면 m 번째 프레임으로부터 m+89 번째 프레임(1.5초 길이)까지의 ZCPA 특징을 음락 구간의 ZCPA 특징과 비교하여 유사도를 계산하며(S152), 1 프레임씩 이동하면서 (m+4) 번째 프레임 ∼ (m+93) 번째 프레임까지의 유사도를 비교한다.

이는 인덱스 생성 시 5프레임씩 이동하면서 작업을 하였기 때문에 정확한 위치를 찾기 위함이다. 여기서, ZCPA 특징이라 함은 프레임에 대한 주파수 히스토그램 분석 결과일 수 있다. 도 16에서 음원들의 ZCPA 특징 중에서 빗금 친 부분은 음악 구간의 ZCPA 특징과 비교되는 부분을 의미하며, 그 범위는 음악 구간에 포함된 90개의 프레임에 상응하는 90 프레임이다.

상기 제2 검색 모듈(134)은 모든 인덱스에 대하여 ZCPA 특징 비교 과정이 수행되었는지를 판단한다(S153). 그렇지 않기 때문에 상기 제2 검색 모듈(134)은 가장 높은 ZCPA 특징 유사도와 해당 프레임을 저장하며, 상기 특징 추출 모듈(120)는 음악 구간의 두 번째 프레임에 대한 인덱스를 계산한다(S154).

그 다음, 제1 검색 모듈(132)은 인덱스 테이블에서 음악 구간의 두 번째(n=2) 인덱스와 동일한 인덱스(10234567)를 검색하여, 그 곳에 링크되어 있는 음원(ID)과 해당 위치(프레임)를 받아온다(S151). 두 번째 인덱스부터는 m 번째 프레임 ∼ m+89 번째 프레임을 비교하지 않고, m-(n-1)*5 번째 프레임 ∼ m-(n-1)*5+89 번째 프레임을 시작으로 하여 (m+4) 번째 프레임 ∼ (m+93) 번째 프레임까지의 유사도가 계산된다. 상술한 과정은 모든 인덱스에 대하여 ZCPA 특징 비교 과정이 수행될 때까지 반복된다.

모든 인덱스에 대하여 ZCPA 특징 비교 과정이 완료되면, 상기 제2 검색 모듈(134)는 최대 유사도가 임계값보다 높은지를 판단한다(S153). 최대 유사도가 임계값보다 높으면 상기 최대 유사도를 갖는 검색 대상 음원이 상기 음악 구간에 상응하는 음원으로 검색되어 검색 과정이 종료되며, 그렇지 않으면 상기 음악 구간에 상응하는 음원이 없어 검색이 실패된 것이다.

도 17은 본 발명의 실시예에 따른 음원 모니터링 서비스 방법을 나타낸다. 도 18 및 도 19는 본 발명의 실시예에 따른 음원 모니터링 서비스에 의하여 제공되는 웹페이지의 화면을 나타낸다.

방송된 음원에 대한 모니터링 서비스는 작사가, 작곡가, 저작권 대리인, 음반기획사, 일반인 등 다양한 고객층에서 그 수요를 찾을 수 있다. 방송된 음원에 대한 방송 상황 및 저작권료의 산정을 위한 서비스를 제공하기 위해서는 도 17과 같은 과정을 거치게 된다.

1단계는 저작권료 청구 대상이 되는 저작권자의 음원 제공이 이루어져야 한다. 저작권자 또는 음원의 사용 현황 조회를 원하는 자는 저작권 청구를 원하는 음원을 선택하거나 등록하면 이미 등록되지 않은 자료에 대해서는 음원을 제공받고, 음원에서 특징을 추출한 후 인덱싱 과정을 거쳐 저작권 음원에 대한 데이터베이스가 구축된다. 본 발명의 실시예에 따른 음원 모니터링 시스템(100)은 구축된 음원 데이터베이스와 모니터링된 음악 구간의 검색 과정이 통하여 모니터링된 음악 구간이 저작권료 청구 대상 음원인지를 판단할 수 있다.

2단계에서는 본 발명의 실시예에 따른 음원 모니터링 시스템(100)은 다양한 방송에서 사용되는 음원을 모니터링하기 위해 미디어별, 채널별, 시간별로 방송을 모니터링 할 수 있다. 상기 음원 모니터링 시스템(100)은 모니터링 단계에서는 TV 방송의 경우 오디오만을 추출하고 음악과 비음악 구간을 구분하여 음악 구간에 대해서만 음원 검색을 수행할 수 있다. 음악으로 분류된 구간에 대해서는 음원 데이터베이스를 구축한 것과 동일하게 특징을 추출하고 추출된 특징에 대한 인덱싱 작업을 수행해 검색 서버로 전송한다. 상기 검색 서버는 본 발명의 실시예에 따른 음 원 모니터링 시스템(100)의 검색 모듈(130)에 상응하는 서버이다.

3단계에서는 1단계에서 구축한 저작권 청구 대상 음원과 방송 모니터링 과정에서 추출된 음악 구간에 대한 검색이 이루어진다. 검색 과정에서 음원은 저작권료 청구 대상이거나, 모니터링 대상 음원으로 분류되면 그 음원을 사용한 방송국명, 프로그램명, 방송시간, 사용 횟수, 저작권료 청구 대상자 등의 부가정보와 함께 저작권료 모니터링 서버 데이터베이스로 전송된다. 예컨대, 상기 음원 모니터링 시스템(100)은 상기 추출된 음악 구간이 저작권료 청구 대상인지 여부와 상기 추출된 음악 구간이 방송된 방송국명, 프로그램명, 방송 시간과 상기 추출된 음악이 사용된 횟수와 상기 추출된 음악 구간에 저작권 정보 중에서 적어도 하나를 포함하는 정보를 제공할 수 있다.

4단계에서는 저작권료 청구 대상 음원들에 대하여 서비스 이용자들이 조회할 수 있도록 웹페이지를 통해 통계 정보를 제공한다. 제공되는 정보로는 저작권 음원의 일별, 주별, 월별 방송 통계 및 전체 음원에 대해 방송 순위 등의 정보를 제공한다. 도 18을 참조하면, 상기 웹페이지에는 음원의 순위, 가수, 제목, 조회 횟수, 방송의 종류, 조회 기간 등의 정보, 방송국, 프로그램명 등이 제공됨을 알 수 있다.

한편, 본 발명의 실시예에 다른 메시지 송수신 방법을 수행하기 위한 음원 모니터링 시스템(100)의 구성 요소들 각각은 본 발명의 기술적 사상을 수행하기 위한 소프트웨어, 하드웨어, 또는 소프트웨어와 하드웨어의 결합에 의하여 구현될 수 있다.

본 발명의 실시예에 따른 음원 모니터링 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 본 발명의 실시예에 따른 음원 모니터링 방법은 컴퓨터로 읽을 수 있는 기록 매체에 저장된 상기 컴퓨터 시스템의 부팅 방법을 실행하기 위한 컴퓨터 프로그램을 실행함으로써 구현될 수 있다.

컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.

예컨대, 컴퓨터가 읽을 수 있는 기록매체에는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 본 발명의 실시예에 따른 음원 모니터링 방법을 수행하기 위한 프로그램 코드는 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 전송될 수 있다.

또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명의 실시예에 따른 음원 모니터링 방법을 구현하기 위한 기능적인 (functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이 다.

도 1은 본 발명의 실시예에 따른 음원 모니터링 시스템의 블락도이다.

도 2는 본 발명의 실시예에 따른 음원 모니터링 시스템이 서버로 구현된 예를 나타낸다.

도 3은 본 발명의 실시예에 따른 음원 모니터링 방법의 순서도이다.

도 4는 라디오 신호의 파형을 나타내는 그래프이다.

도 5는 도 4의 라디오 방송 신호의 에너지 표준 편차를 나타내는 그래프이다.

도 6은 도 1에 도시된 에너지 분포 계산 모듈의 블락도이다.

도 7은 도 4의 라디오 방송 신호의 로그 에너지 표준 편차를 나타내는 그래프이다.

도 8은 도 4의 라디오 방송 신호의 로그 에너지 평균을 나타내는 그래프이다.

도 9는 1에 도시된 음악 추출 모듈의 동작을 설명하기 위한 흐름도이다.

도 10a 내지 도 10d는 뉴스 방송 신호의 파형, 에너지 표준 편차, 로그 에너지 표준 편차, 로그 에너지 평균을 나타내는 그래프이다.

도 11a 내지 도 11d는 다큐멘터리 방송 신호의 파형, 에너지 표준 편차, 로그 에너지 표준 편차, 로그 에너지 평균을 나타내는 그래프이다.

도 12a 내지 도 12d는 TV 드라마 방송 신호의 파형, 에너지 표준 편차, 로그 에너지 표준 편차, 로그 에너지 평균을 나타내는 그래프이다.

도 13a 내지 도 13d는 TV 음악 방송 신호의 파형, 에너지 표준 편차, 로그 에너지 표준 편차, 로그 에너지 평균을 나타내는 그래프이다.

도 14는 도 1의 특징 추출 모듈의 인덱스 생성 과정을 나타낸다.

도 15는 도 1의 검색 모듈의 인덱스 검색 방법의 일예를 나타낸다.

도 16은 도 1의 특징 추출 모듈과 검색 모듈의 동작을 설명하기 위한 순서도이다.

도 17은 본 발명의 실시예에 따른 음원 모니터링 서비스 방법을 나타낸다.

도 18 및 도 19는 본 발명의 실시예에 따른 음원 모니터링 서비스에 의하여 제공되는 웹페이지의 화면을 나타낸다.

Claims (27)

1. 시간의 흐름에 따른 방송 신호의 에너지 분포에 기초하여 상기 방송 신호를 음성 구간, 광고 구간, 및 음악 구간으로 분류하고, 상기 분류 결과에 기초하여 음악 구간을 추출하는 음원 추출 모듈;

   상기 추출된 음악 구간의 전부 또는 일부를 다수의 프레임들로 나누고, 상기 다수의 프레임들 각각에 대한 주파수 히스토그램 분석을 수행하고, 상기 다수의 프레임들 각각에 대한 주파수 히스토그램 분석 결과에 기초하여 상기 추출된 음악 구간에 대한 다수의 인덱스들을 생성하는 특징 추출 모듈; 및

   상기 다수의 프레임들 각각에 대한 주파수 히스토그램 분석 결과 및 상기 다수의 인덱스들 중에서 적어도 하나와 검색 대상 음원들에 대한 주파수 히스토그램 분석 결과 및 상기 다수의 인덱스들 중에서 적어도 하나에 기초하여, 상기 다수의 검색 대상 음원들 중에서 상기 추출된 음악 구간에 상응하는 음원을 검색하는 검색 모듈을 포함하며, 상기 음원 추출 모듈은,

   상기 방송 신호를 다수의 프레임들로 나누고 상기 다수의 프레임들 각각의 에너지 표준 편차, 로그 에너지 표준 편차, 및 로그 에너지 평균 중 적어도 하나를 계산하는 에너지 분포 계산 모듈; 및

   시간의 흐름에 따른 상기 다수의 프레임들 각각의 에너지 표준 편차 분포, 로그 에너지 표준 편차, 및 로그 에너지 평균 중 적어도 하나에 기초하여 상기 방송 신호를 음성 구간, 광고 구간, 음악 구간으로 분류하고, 상기 분류결과에 기초하여 음악 구간을 추출하는 구간 분류 모듈을 포함하는 음원(music source) 모니터링 시스템.
2. 삭제
3. 제1항에 있어서, 상기 특징 추출 모듈은

   상기 다수의 프레임들 각각에 대한 주파수 히스토그램 분석을 수행하는 주파수 분석 모듈; 및

   상기 다수의 프레임들 각각에 대한 주파수 히스토그램 분석 결과를 다수의 주파수 범위들로 나누고, 상기 다수의 주파수 범위들의 에너지 크기에 기초하여 상기 다수의 주파수 범위들을 정렬하며, 상기 정렬된 다수의 주파수 범위들에 기초하여 상기 다수의 프레임들 각각에 대한 인덱스를 생성하는 인덱스 생성 모듈을 포함하는 음원 모니터링 시스템.
4. 제1항에 있어서, 상기 특징 추출 모듈은

   분석 범위를 다수의 주파수 범위들로 나누어 상기 다수의 프레임들 각각에 대한 주파수 히스토그램 분석을 수행하는 주파수 분석 모듈; 및

   상기 다수의 주파수 범위들을 다수의 병합 주파수 구간들로 나누고, 상기 다수의 병합 주파수 구간들의 에너지 크기에 기초하여 상기 다수의 병합 주파수 구간들을 정렬하며, 상기 정렬된 다수의 병합 주파수 구간들에 기초하여 상기 다수의 프레임들 각각에 대한 인덱스를 생성하는 인덱스 생성 모듈을 포함하는 음원 모니 터링 시스템.
5. 제1항에 있어서, 상기 특징 추출 모듈은

   상기 다수의 프레임들 각각에 대한 주파수 히스토그램 분석을 수행하는 주파수 분석 모듈; 및

   일정한 시간 간격으로 상기 다수의 프레임들 중에서 다수의 프레임들을 선택하고, 상기 다수의 선택된 프레임들 각각에 대한 주파수 히스토그램 분석 결과를 다수의 주파수 범위들로 나누고, 상기 다수의 주파수 범위들의 에너지 크기에 기초하여 상기 다수의 주파수 범위들을 정렬하며, 상기 정렬된 다수의 주파수 범위들에 기초하여 상기 다수의 선택된 프레임들 각각에 대한 인덱스를 생성하는 인덱스 생성 모듈을 포함하는 음원 모니터링 시스템.
6. 제1항에 있어서, 상기 특징 추출 모듈은

   분석 범위를 다수의 주파수 범위들로 나누어 상기 다수의 프레임들 각각에 대한 주파수 히스토그램 분석을 수행하는 주파수 분석 모듈; 및

   일정한 시간 간격으로 상기 다수의 프레임들 중에서 다수의 프레임들을 선택하고, 상기 다수의 선택된 프레임들에 대하여 상기 다수의 주파수 범위들을 다수의 병합 주파수 구간들로 나누고, 상기 다수의 병합 주파수 구간들의 에너지 크기에 기초하여 상기 다수의 병합 주파수 구간들을 정렬하며, 상기 정렬된 다수의 병합 주파수 구간들에 기초하여 상기 다수의 선택된 프레임들 각각에 대한 인덱스를 생성하는 인덱스 생성 모듈을 포함하는 음원 모니터링 시스템.
7. 제3항 내지 제6항 중 어느 하나의 항에 있어서, 상기 다수의 프레임들 각각에 대한 주파수 히스토그램은

   ZCPA(zero-crossing and peak amplitudes) 특징 추출 결과에 기초하여 생성되는 것을 특징으로 하는 음원 모니터링 시스템.
8. 제3항 내지 제6항 중 어느 한 항에 있어서, 상기 검색 모듈은

   검사 대상 음원들 중에서 상기 음악 구간의 전부 또는 일부의 상기 다수의 프레임들 중에서 어느 하나의 프레임의 인덱스와 동일한 인덱스를 갖는 음원을 검색하는 제1 검색 모듈; 및

   상기 검색된 음원의 다수의 프레임들 각각의 인덱스를 상기 음악 구간의 전부 또는 일부의 상기 다수의 프레임들 중 상응하는 프레임의 인덱스와 비교하고, 상기 비교 결과에 기초하여 상기 추출된 음악 구간에 상응하는 음원을 검색하는 제2 검색 모듈을 포함하는 음원 모니터링 시스템.
9. 제8항에 있어서, 상기 제2 검색 모듈은

   상기 음악 구간의 전부 또는 일부의 상기 다수의 프레임들 중에서 상기 어느 하나의 프레임을 기준으로 특정 위치에 있는 프레임의 인덱스를 상기 검색된 음원의 상기 다수의 프레임들 중에서 상기 어느 하나의 프레임과 동일한 인덱스를 갖는 프레임을 기준으로 상기 특정 위치에 있는 프레임의 인덱스와 비교하는 것을 특징으로 하는 음원 모니터링 시스템.
10. 제5항 또는 제6항에 있어서, 상기 검색 모듈은

    검사 대상 음원들 중에서 상기 음악 구간의 전부 또는 일부의 상기 다수의 선택된 프레임들 각각의 인덱스와 동일한 인덱스를 갖는 음원들을 검색하는 제1 검색 모듈; 및

    상기 음악 구간의 전부 또는 일부의 상기 다수의 선택된 프레임들 각각의 인덱스에 대하여, 상기 검색된 음원들 각각의 다수의 선택된 프레임들의 히스토그램 분석 결과를 상기 음악 구간의 전부 또는 일부의 상기 다수의 프레임들 중 상응하는 프레임의 히스토그램 분석 결과와 비교하고, 상기 비교 결과에 기초하여 상기 추출된 음악 구간에 상응하는 음원을 검색하는 제2 검색 모듈을 포함하는 음원 모니터링 시스템.
11. 제10항에 있어서, 상기 제2 검색 모듈은

    상기 음악 구간의 전부 또는 일부의 상기 다수의 선택된 프레임들 각각을 기준으로 특정 위치에 있는 프레임의 주파수 히스토그램 분석 결과를 상기 검색된 음원의 상기 다수의 프레임들 중에서 상기 다수의 선택된 프레임들 각각의 인덱스와 동일한 인덱스를 갖는 프레임을 기준으로 상기 특정 위치에 있는 프레임의 주파수 히스토그램 분석과 비교하는 것을 특징으로 하는 음원 모니터링 시스템.
12. 제11항에 있어서, 상기 제2 검색 모듈은

    상기 다수의 선택된 프레임들 각각에 대하여 주파수 히스토그램 분석 결과 비교 동작을 상기 일정한 시간 간격에 상응하는 간격 동안 1프레임씩 이동하면서 수행하는 것을 특징으로 하는 음원 모니터링 시스템.
13. 제1항에 있어서, 상기 음원 모니터링 시스템은

    상기 추출된 음악 구간이 저작권료 청구 대상인지 여부와 상기 추출된 음악 구간이 방송된 방송국명, 프로그램명, 방송 시간과 상기 추출된 음악이 사용된 횟수와 상기 추출된 음악 구간에 저작권 정보 중에서 적어도 하나를 포함하는 정보를 제공하는 모니터링 모듈을 더 포함하는 음원 모니터링 시스템.
14. 시간의 흐름에 따른 방송 신호의 에너지 분포에 기초하여 상기 방송 신호를 음성 구간, 광고 구간, 및 음악 구간으로 분류하고, 상기 분류 결과에 기초하여 음악 구간을 추출하는 단계;

    상기 추출된 음악 구간의 전부 또는 일부를 다수의 프레임들로 나누고, 상기 다수의 프레임들 각각에 대한 주파수 히스토그램 분석을 수행하고, 상기 다수의 프레임들 각각에 대한 주파수 히스토그램 분석 결과에 기초하여 상기 추출된 음악 구간에 대한 다수의 인덱스들을 생성하는 단계; 및

    상기 다수의 프레임들 각각에 대한 주파수 히스토그램 분석 결과 및 상기 다수의 인덱스들 중에서 적어도 하나와 검색 대상 음원들에 대한 주파수 히스토그램 분석 결과 및 상기 다수의 인덱스들 중에서 적어도 하나에 기초하여, 상기 다수의 검색 대상 음원들 중에서 상기 추출된 음악 구간에 상응하는 음원을 검색하는 단계를 포함하며, 상기 음악 구간을 추출하는 단계는,

    상기 방송 신호를 다수의 프레임들로 나누고 상기 다수의 프레임들 각각의 에너지 표준 편차, 로그 에너지 표준 편차, 및 로그 에너지 평균 중 적어도 하나를 계산하는 단계; 및

    시간의 흐름에 따른 상기 다수의 프레임들 각각의 에너지 표준 편차 분포, 로그 에너지 표준 편차, 및 로그 에너지 평균 중 적어도 하나에 기초하여 상기 방송 신호를 음성 구간, 광고 구간, 음악 구간으로 분류하고, 상기 분류결과에 기초하여 음악 구간을 추출하는 단계를 포함하는 음원 모니터링 방법.
15. 삭제
16. 제14항에 있어서, 상기 다수의 인덱스들을 생성하는 단계는

    상기 다수의 프레임들 각각에 대한 주파수 히스토그램 분석을 수행하는 단계; 및

    상기 다수의 프레임들 각각에 대한 주파수 히스토그램 분석 결과를 다수의 주파수 범위들로 나누고, 상기 다수의 주파수 범위들의 에너지 크기에 기초하여 상기 다수의 주파수 범위들을 정렬하며, 상기 정렬된 다수의 주파수 범위들에 기초하여 상기 다수의 프레임들 각각에 대한 인덱스를 생성하는 단계를 포함하는 음원 모니터링 방법.
17. 제14항에 있어서, 상기 다수의 인덱스들을 생성하는 단계는

    분석 범위를 다수의 주파수 범위들로 나누어 상기 다수의 프레임들 각각에 대한 주파수 히스토그램 분석을 수행하는 단계; 및

    상기 다수의 주파수 범위들을 다수의 병합 주파수 구간들로 나누고, 상기 다수의 병합 주파수 구간들의 에너지 크기에 기초하여 상기 다수의 병합 주파수 구간들을 정렬하며, 상기 정렬된 다수의 병합 주파수 구간들에 기초하여 상기 다수의 프레임들 각각에 대한 인덱스를 생성하는 단계를 포함하는 음원 모니터링 방법.
18. 제14항에 있어서, 상기 다수의 인덱스들을 생성하는 단계는

    상기 다수의 프레임들 각각에 대한 주파수 히스토그램 분석을 수행하는 단계; 및

    일정한 시간 간격으로 상기 다수의 프레임들 중에서 다수의 프레임들을 선택하고, 상기 다수의 선택된 프레임들 각각에 대한 주파수 히스토그램 분석 결과를 다수의 주파수 범위들로 나누고, 상기 다수의 주파수 범위들의 에너지 크기에 기초하여 상기 다수의 주파수 범위들을 정렬하며, 상기 정렬된 다수의 주파수 범위들에 기초하여 상기 다수의 선택된 프레임들 각각에 대한 인덱스를 생성하는 단계를 포함하는 음원 모니터링 방법.
19. 제14항에 있어서, 상기 다수의 인덱스들을 생성하는 단계는

    분석 범위를 다수의 주파수 범위들로 나누어 상기 다수의 프레임들 각각에 대한 주파수 히스토그램 분석을 수행하는 단계; 및

    일정한 시간 간격으로 상기 다수의 프레임들 중에서 다수의 프레임들을 선택하고, 상기 다수의 선택된 프레임들에 대하여 상기 다수의 주파수 범위들을 다수의 병합 주파수 구간들로 나누고, 상기 다수의 병합 주파수 구간들의 에너지 크기에 기초하여 상기 다수의 병합 주파수 구간들을 정렬하며, 상기 정렬된 다수의 병합 주파수 구간들에 기초하여 상기 다수의 선택된 프레임들 각각에 대한 인덱스를 생성하는 단계를 포함하는 음원 모니터링 방법.
20. 제14항 및 제16항 내지 제19항 중 어느 한 항에 기재된 음원 모니터링 방법을 실행하기 위한 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체.
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제

Images