KR101406398B1 - 사용자 음원 평가 장치, 방법 및 기록 매체 - Google Patents

사용자 음원 평가 장치, 방법 및 기록 매체 Download PDF

Info

Publication number
KR101406398B1
KR101406398B1 KR1020120070763A KR20120070763A KR101406398B1 KR 101406398 B1 KR101406398 B1 KR 101406398B1 KR 1020120070763 A KR1020120070763 A KR 1020120070763A KR 20120070763 A KR20120070763 A KR 20120070763A KR 101406398 B1 KR101406398 B1 KR 101406398B1
Authority
KR
South Korea
Prior art keywords
sound source
user
object audio
audio
source
Prior art date
Application number
KR1020120070763A
Other languages
English (en)
Other versions
KR20140003111A (ko
Inventor
조충상
신화선
최병호
김제우
Original Assignee
인텔렉추얼디스커버리 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔렉추얼디스커버리 주식회사 filed Critical 인텔렉추얼디스커버리 주식회사
Priority to KR1020120070763A priority Critical patent/KR101406398B1/ko
Priority to PCT/KR2013/005819 priority patent/WO2014003513A1/ko
Publication of KR20140003111A publication Critical patent/KR20140003111A/ko
Application granted granted Critical
Publication of KR101406398B1 publication Critical patent/KR101406398B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/056—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction or identification of individual instrumental parts, e.g. melody, chords, bass; Identification or separation of instrumental parts by their characteristic voices or timbres
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

사용자 음원 평가 기술이 개시된다. 사용자 음원 평가 장치는 객체 오디오 기술을 이용하여 녹음된 음원으로부터 객체 오디오를 추출한다. 사용자 음원 평가 장치는 객체 오디오와 사용자 음원을 비교한다. 본 발명에 따르면, 사용자 음원 평가 장치는 녹음된 음원에 포함된 가수의 가창과 사용자의 가창을 비교할 수 있을 뿐만 아니라, 녹음된 음원에 포함된 기타 연주, 드럼 연주와 사용자의 악기 연주를 비교할 수 있다.

Description

사용자 음원 평가 장치, 방법 및 기록 매체{APPARATUS, METHOD AND RECORDING MEDIUM FOR EVALUATING USER SOUND SOURCE}
본 발명은 사용자로부터 수신된 사용자 음원에 대하여 평가를 수행하는 기술에 관한 것으로서, 좀더 구체적으로는 객체 오디오로 분리되어 녹음된 음원과 사용자 음원을 비교하여 사용자 음원을 평가하는 기술에 관한 것이다.
음원은 악기 연주, 가수의 가창 등 여러 개의 소스 오디오로 구성된다. 일반적으로 녹음된 음원은 여러 개의 소스 오디오들이 서로 분리되어 녹음되지 않고, 혼합(Mixed)되어 녹음된다.
사용자 음원 평가 기술은 사용자의 가창 등에 의하여 생성된 사용자 음원이 녹음된 음원(원음)과 얼마나 유사한지 여부에 따라서 사용자 음원을 평가한다. 평가의 방법으로는 사용자 음원에 대하여 점수가 산정된다.
일측에 따르면, 사용자 음원과 녹음된 음원의 유사 여부를 판정하기 위하여, 녹음된 음원에 대하여 추출된 특성(feature)과 사용자 음원에 대하여 추출된 특성을 서로 비교한다.
한편, 여러 개의 소스 오디오들을 혼합하여 녹음하지 않고, 각 소스 오디오들을 객체 오디오로 분리하여 녹음할 수 있는 '객체 오디오 기술'이 개발되었다. 즉, 객체 오디오 기술을 이용하여 녹음된 음원에는 각 소스 오디오에 대응되는 객체 오디오들이 서로 분리되어 녹음된다.
따라서, 녹음된 음원에서 가수의 가창에 대응되 객체 오디오만을 추출할 수도 있고, 피아노 반주나 드럼 연주에 대응되는 객체 오디오만을 추출할 수도 있다.
객체 오디오 기술을 이용하여 녹음된 음원과 사용자 음원을 비교하여 평가하는 기술에 대해서는 아직 소개된 바 없다.
하기 실시예들의 목적은 객체 오디오 기술을 이용하여 녹음된 음원과 사용자 음원을 비교하여 평가하는 것이다.
하기 실시예들의 목적은 녹음된 음원의 연주와 사용자 음원을 비교하여 평가하는 것이다.
예시적 실시예에 따르면, 복수의 소스 오디오들이 상기 소스 오디오에 각각 대응되는 복수의 객체 오디오로 분리되어 녹음된 음원을 저장하는 음원 저장부, 상기 음원과 관련된 사용자 음원을 수신하는 음원 수신부, 상기 객체 오디오 각각에 대한 특성(feature)들을 생성하고, 상기 사용자 음원에 대한 특성을 생성하는 음원 특성 생성부 및 상기 객체 오디오에 대한 특성과 상기 사용자 음원에 대한 특성을 비교하여 상기 사용자 음원에 대한 점수를 산정하는 점수 산정부를 포함하는 사용자 음원 평가 장치가 제공된다.
여기서, 상기 특성은 상기 객체 오디오 또는 상기 사용자 음원의 피치(pitch), 상기 객체 오디오 또는 상기 사용자 음원의 라우드니스(loudness), 상기 객체 오디오 또는 상기 사용자 음원의 크리티컬 밴드(critical band)의 에너지(intensity), 상기 객체 오디오 또는 상기 사용자 음원의 주파수 대역 중에서 적어도 하나를 포함할 수 있다.
그리고, 상기 사용자 음원은 상기 녹음된 음원과 관련된 상기 사용자의 목소리 또는 상기 사용자가 연주한 악기 소리 중에서 적어도 하나를 포함할 수 있다.
또한, 객체 분리부를 더 포함하고, 상기 사용자 음원은 복수의 사용자 각각으로부터 수신한 소스 오디오들을 포함하고, 상기 객체 분리부는 상기 사용자 음원을 상기 복수의 사용자 각각에 대응하는 객체 오디오로 분리하고, 상기 점수 산정부는 상기 각각의 사용자에 대응되는 객체 오디오에 대하여 개별적으로 점수를 산정할 수 있다.
여기서, 상기 개별적으로 산정된 점수들을 디스플레이하는 출력부를 더 포함할 수 있다.
또 다른 예시적 실시예에 따르면, 복수의 소스 오디오들이 상기 소스 오디오에 각각 대응되는 복수의 객체 오디오로 분리되어 녹음된 음원을 저장하는 단계, 상기 음원과 관련된 사용자 음원을 수신하는 단계, 상기 객체 오디오 각각에 대한 특성(feature)들을 생성하고, 상기 사용자 음원에 대한 특성을 생성하는 단계 및 상기 객체 오디오에 대한 특성과 상기 사용자 음원에 대한 특성을 비교하여 상기 사용자 음원에 대한 점수를 산정하는 단계를 포함하는 사용자 음원 평가 방법이 제공된다.
여기서, 상기 특성은 상기 객체 오디오 또는 상기 사용자 음원의 피치(pitch), 상기 객체 오디오 또는 상기 사용자 음원의 라우드니스(loudness), 상기 객체 오디오 또는 상기 사용자 음원의 크리티컬 밴드(critical band)의 에너지(intensity), 상기 객체 오디오 또는 상기 사용자 음원의 주파수 대역 중에서 적어도 하나를 포함할 수 있다.
그리고, 상기 사용자 음원은 상기 녹음된 음원과 관련된 상기 사용자의 목소리 또는 상기 사용자가 연주한 악기 소리 중에서 적어도 하나를 포함할 수 있다.
또한, 상기 사용자 음원은 복수의 사용자 각각으로부터 수신한 소스 오디오들을 포함하고, 상기 사용자 음원을 상기 복수의 사용자 각각에 대응하는 객체 오디오로 분리하는 단계를 더 포함하고, 상기 점수를 산정하는 단계는 상기 각각의 사용자에 대응되는 객체 오디오에 대하여 개별적으로 점수를 산정할 수 있다.
여기서, 상기 개별적으로 산정된 점수들을 디스플레이하는 단계를 더 포함할 수 있다.
하기 실시예들에 따르면, 객체 오디오 기술을 이용하여 녹음된 음원과 사용자 음원을 비교하여 평가할 수 있다.
하기 실시예들에 따르면, 녹음된 음원의 연주와 사용자 음원을 비교하여 평가할 수 있다.
도 1은 예시적 실시예에 따른 사용자 음원 평가 기술의 개념을 설명한 도면이다.
도 2는 예시적 실시예에 따른 사용자 음원 평가 장치의 구조를 도시한 블록도이다.
도 3은 예시적 실시예에 따른 라우드니스 추출 기법을 설명한 블록도이다.
도 4는 예시적 실시예에 따른 사용자 음원 평가 방법을 단계별로 설명한 순서도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 예시적 실시예에 따른 사용자 음원 평가 기술의 개념을 설명한 도면이다.
녹음 장치(140)는 적어도 하나 이상의 악기(110, 120, 130)들의 연주를 마이크를 이용하여 녹음하고 음원을 생성한다. 이하 본 명세서에서는 각 악기(110, 120, 130)들이 연주되어 생성된 소리를 소스 오디오라고 정의한다. 따라서, 녹음 장치(140)를 이용하여 녹음된 음원은 복수의 소스 오디오들을 이용하여 녹음된 음원이라 할 수 있다. 녹음 장치(140)를 이용하여 녹음된 음원의 복수의 소스 오디오들은 복수의 제1 소스 오디오들로 명명될 수 있다.
일측에 따르면, 각 악기(110, 120, 130)들의 연주는 서로 분리되어 소스 오디오로 저장될 수 있다. 또한, 이 경우에, 음원은 각 소스 오디오들에 대한 개별적인 정보를 포함하는 객체 오디오를 포함할 수 있다. 녹음 장치(140)에 의해 녹음된 각 소스 오디오들에 대한 개별적인 정보를 포함하는 객체 오디오는 제1 객체 오디오로 명명될 수 있다.
사용자 음원 평가 장치(150)는 녹음된 음원은 물론, 사용자로부터 사용자 음원을 수신한다. 일측에 따르면, 사용자 음원은 녹음된 음원과 동일한 노래를 사용자가 따라 부른 사용자의 목소리 또는 녹음된 음원과 동일한 노래를 사용자가 다른 악기(170)로 따라서 연주한 악기 소리 중에서 하나를 포함할 수 있다.
사용자 음원 평가 장치(150)는 녹음된 음원을 이용하여 노래방 서비스를 제공할 수 있다. 노래방 서비스는 녹음된 음원을 재생하고, 사용자가 이에 맞추어 노래를 부르면, 사용자가 부른 노래에 대한 평가를 제공하는 서비스이다.
일측에 따르면, 사용자 음원 평가 장치(150)는 녹음된 음원을 객체 오디오로 분리할 수 있다. 사용자 음원 평가 장치(150)는 각 객체 오디오에 대한 특성(feature)를 추출한다. 사용자 음원 평가 장치(150)는 수신된 사용자 음원에 대한 특성을 추출한다. 사용자 음원 평가 장치(150)는 객체 오디오에 대한 특성과 사용자 음원에 대한 특성을 서로 비교하여 사용자 음원에 대한 점수를 산정할 수 있다.
예를 들어, 사용자 음원이 사용자의 목소리인 경우에, 사용자 음원 평가 장치(150)는 녹음된 음원 중에서 가수의 가창 부분에 대응되는 객체 오디오를 추출한다. 사용자 음원 평가 장치(150)는 가수의 가창에 대한 특성을 추출하고 사용자의 목소리에 대한 특성을 추출한다. 사용자 음원 평가 장치(150)는 가수의 가창에 대한 특성과 사용자의 목소리에 대한 특성을 비교하여 사용자의 목소리에 대한 점수를 산정하고, 산정된 점수를 사용자에게 디스플레이 할 수 있다.
예를 들어, 사용자 음원이 사용자의 악기(170)연주인 경우에, 사용자 음원 평가 장치(150)는 녹음된 음원 중에서 사용자의 악기(170)와 동일한 악기(110)의 연주 부분에 대응되는 객체 오디오를 추출한다. 사용자 음원 평가 장치(150)는 녹음된 음원에서 악기(110) 연주에 대한 특성을 추출하고 사용자의 악기(170)연주에 대한 특성을 추출한다. 사용자 음원 평가 장치(150)는 가수의 가창에 대한 특성과 사용자의 목소리에 대한 특성을 비교하여 사용자의 목소리에 대한 점수를 산정하고, 산정된 점수를 사용자에게 디스플레이 할 수 있다.
예시적 실시예에 따르면, 사용자는 자신의 노래뿐만 아니라 자신의 악기(170) 연주에 대해서도 평가를 받을 수 있다.
도 2는 예시적 실시예에 따른 사용자 음원 평가 장치의 구조를 도시한 블록도이다.
사용자 음원 평가 장치(200)는 음원 저장부(210), 음원 수신부(220), 음원 특성 생성부(230), 객체 분리부(240), 점수 산정부(250), 출력부(260)를 포함한다.
음원 저장부(210)는 녹음된 음원을 저장한다. 일측에 따르면, 음원 저장부(210)에 녹음된 음원은 복수의 소스 오디오들이 각 소스 오디오 들에 대응되는 복수의 객체 오디오로 분리되어 녹음된 음원일 수 있다. 복수의 소스 오디오들이 각 소스 오디오들에 대응되는 복수의 개체 오디오는 복수의 제1 객체 오디오들로 명명될 수 있다. 앞서, 음원 저장부(210)에 녹음된 복수의 소스 오디오들이 복수의 제1 소스 오디오들로 명명되었다. 따라서, 복수의 제1 객체 오디오들은 복수의 제1 소스 오디오들에 각각 대응할 수 있다. 일측에 따르면, 음원 저장부(210)는 메모리 반도체로 구성될 수 있으며, 녹음된 음원을 스트리밍하여 수신한 경우, 수신된 음원을 버퍼링하는 버퍼 메모리가 음원 저장부(210)로 사용될 수 있다.
음원 수신부(220)는 녹음원 음원과 관련된 사용자 음원을 수신한다. 여기서, 사용자 음원은 녹음된 음원과 동일한 노래를 사용자가 따라 부른 사용자의 목소리 또는 녹음된 음원과 동일한 노래를 사용자가 다른 악기로 따라서 연주한 악기 소리 중에서 하나를 포함할 수 있다.
음원 특성 생성부(240)는 녹음된 음원에 포함된 객체 오디오 각각에 대한 특성(feature)를 생성하고, 사용자 음원에 대한 특성을 생성한다. 일측에 따르면, 객체 오디오 또는 사용자 음원의 피치(pitch)가 특성으로 생성될 수 있다. 피치는 음정으로 이해될 수 있으며, 사람이 지각할 수 있는 주파수의 크기, 사람이 느낄 수 있는 음의 고유 주파수를 나타낸다.
다른 측면에 따르면, 객체 오디오 또는 사용자 음원의 라우드니스(Loudness)가 특성으로 추출될 수 있다. 여기서, 라우드니스는 음악의 크기를 나타내는 것으로, 사람의 청각이 느끼는 청감적 음원의 크기를 객관화하여 나타낸다. 따라서, 음원을 하나의 신호로 보고 단순히 신호의 에너지 값을 계산하여 산출된 인텐시티(Intensity)와는 구별된다.
이하 객체 오디오 또는 사용자 음원에서 라우드니스를 추출하는 구성은 도 3을 참조하여 상세히 설명하기로 한다.
또 다른 측면에 따르면, 객체 오디오 또는 사용자 음원의 크리티컬 밴드(critical band)의 에너지(intensity)가 특성으로 추출될 수 있다. 인간은 저주파 대역의 신호는 잘 구분할 수 있으나, 고주파 대역의 신호는 잘 구분하지 못한다. 따라서, 이러한 특성에 기반하여 크리티컬 밴드를 설정할 수 있다. 일측에 따르면, 크리티컬 밴드 단위의 에너지나 라우드니스가 객체 오디오 또는 사용자 음원에 대한 특성으로 추출될 수 있다.
또 다른 측면에 따르면, 객체 오디오 또는 사용자 음원의 주파수 대역폭도 특성으로 추출될 수 있다. 녹음된 음원에 믹싱된 악기나 노래를 부른 가수에 따라 표현되는 음의 주파수 대역폭은 달라질 수 있다. 따라서, 객체 오디오 또는 사용자 음원에서 소리가 존재하는 주파수 대역과 주파수 대역폭이 객체 오디오 또는 사용자 음원의 특성으로 사용될 수 있다.
점수 산정부(250)는 객체 오디오에 대한 특성과 사용자 음원에 대한 특성을 비교하여 사용자 음원에 대하여 점수를 산정할 수 있다. 일측에 따르면, 점수 산정부(250)는 객체 오디오에 대한 특성과 사용자 음원에 대한 특성이 서로 유사하다면, 사용자 음원에 대하여 높은 점수를 산정할 수 있다.
출력부(260)는 사용자 음원에 대하여 산정된 점수들을 사용자에게 디스플레이 할 수 있다.
상기 설명된 실시예에 따르면, 녹음된 음원에 포함된 개별적인 객체 오디오와 유사한 사용자 음원에 대한 정확한 평가가 가능하다. 즉, 사용자는 자신의 가창뿐만 아니라, 자신의 악기 연주에 대해서도 평가 받을 수 있다.
일측에 따르면, 사용자 음원은 복수의 사용자로부터 각각 수신한 목소리를 포함할 수 있다. 즉, 사용자들이 듀엣으로, 또는 합창으로 노래를 부른 경우에 함께 부른 목소리가 사용자 음원으로 수신될 수 있다.
상기 실시예에 따르면, 사용자들이 모두 합창을 하거나, 한 사용자는 가창을 하고 다른 사용자는 악기 연주를 하는 등, 사용자 음원이 복수의 사용자들이 생성한 소스 오디오를 포함하는 경우에도 각 사용자에 대한 개별적인 평가가 가능하다. 상기 실시예에 따른, 사용자 음원이 포함하는 복수의 사용자들이 생성한 소스 오디오는 복수의 제2 소스 오디오들로 명명될 수 있다.
이 경우에, 객체 분리부(240)는 복수의 사용자 목소리를 포함하는 수신된 사용자 음원을 각 사용자에 대응되는 객체 오디오로 분리한다. 각 사용자에 대응되는 객체 오디오는 제2 객체 오디오로 명명될 수 있다. 사용자가 복수인 경우 분리된 제2 객체 오디오는 복수의 제2 객체 오디오들일 수 있다.
일측에 따르면, 객체 분리부(240)는 수신된 사용자 음원의 좌우 채널에서 특정 소스 오디오가 존재하는 주파수 대역을 추출할 수 있다. 예를 들어 분리하려는 소스 오디오가 사용자의 목소리인 경우에, 목소리는 음원의 전체 주파수 대역 중에서 좁은 주파수 영역(예를 들면 300Hz ~ 12KHz)에만 존재한다. 이 경우에, 객체 분리부(240)는 가수의 목소리가 집중적으로 존재하는 300Hz ~ 12KHz 대역의 주파수를 음원의 좌우 채널에서 추출할 수 있다.
객체 분리부(240)는 주파수 대역이 추출된 유사도를 판단한다. 가수의 목소리의 경우 좌우 채널의 유사도가 매우 높다. 따라서, 추출된 주파수 대역이 가수의 목소리를 포함하는 경우에, 좌우 채널의 유사도는 매우 높다.
객체 분리부(240)는 좌우 채널간의 유사도에 따라서, 좌우 채널을 차분하여 특정 오디오 소스를 제어한다. 가수의 목소리가 포함된 경우, 좌우 채널의 유사도가 높다. 즉, 좌우 채널에는 거의 유사한 목소리가 포함된다. 따라서, 좌측 채널에서 우측 채널을 차분하거나, 우측 채널에서 좌측 채널을 차분한다면, 좌우 채널에 포함된 목소리는 서로 상쇄되어 제거된다.
일측에 따르면, 객체 분리부(240)는 좌우 채널간의 유사도에 따라서, 각 채널에 대한 가중치를 산출하고, 산출된 가중치를 이용하여 좌우 채널간의 차분을 수행하여 사용자 음원을 객체 오디오로 분리할 수 있다.
이 경우에, 음원 특성 생성부(230)는 사용자 음원에서 분리된 객체 오디오 각각에 대하여 특성을 생성하고, 점수 산정부(250)는 사용자 음원에서 분리된 객체 오디오 각각에 대하여 개별적으로 점수를 산정할 수 있다.
출력부(260)는 사용자 음원에서 분리된 객체 오디오 각각에 대하여 개별적으로 산정된 점수들을 사용자에게 디스플레이 할 수 있다.
삭제
도 3은 예시적 실시예에 따른 라우드니스 추출 기법을 설명한 블록도이다.
도 3에서는 5개 채널(왼쪽, 중앙, 오른쪽, 왼쪽 서라운드, 오른쪽 서라운드)을 가진 사운드 소스에 대한 라우드니스가 측정된다. 도 3에서 첫 번째 라인의 블록들(311, 321, 331, 341)은 왼쪽 채널의 신호를 처리하고, 두 번째 라인의 블록들(312, 322, 332, 342)은 오른쪽 채널의 신호를 처리한다. 세 번째 라인의 블록들(313, 323, 333, 343)은 중앙 채널의 신호를 처리하고, 네 번째 라인의 블록들(314, 324, 334, 344)은 왼쪽 서라운드, 다섯 번째 라인의 블록들(315, 325, 335, 345)은 오른쪽 서라운드 채널의 신호를 처리한다.
프리필터(311, 312, 313, 314, 315)는 하이패스필터(HPF: High Pass Filter)의 일종으로서, 저주파 대역은 차단하고, 고주파 대역만을 통과시킨다.
RLB 필터(321, 322, 323, 324, 325)도 역시 하이패스필터의 일종이다.
제곱 평균부(331, 332, 333, 334, 335)각 신호의 값을 제곱하여 그 평균을 취하며, 그 값은 해당 신호의 에너지이다.
각 신호의 에너지는 곱셈기(341, 342, 343, 344, 344)에서 가중치G와 곱해지고, 가산기(350)에서 합산된다.
도 3에서 설명된 바와 같이, 객체 오디오의 라우드니스는 각 채널의 에너지를 가중 평균하여 산출될 수 있다.
도 4는 예시적 실시예에 따른 사용자 음원 평가 방법을 단계별로 설명한 순서도이다.
단계(410)에서 사용자 음원 평가 장치는 녹음된 음원을 저장한다. 일측에 따르면, 사용자 음원 평가 장치는 녹음된 음원은 복수의 소스 오디오들이 각 소스 오디오 들에 대응되는 복수의 객체 오디오로 분리되어 녹음된 음원일 수 있다. 일측에 따르면, 사용자 음원 평가 장치가 녹음된 음원을 스트리밍하여 수신한 경우, 단계(410)에서, 녹음된 음원은 버퍼 메모리에 버퍼링될 수 있다.
단계(420)에서, 사용자 음원 평가 장치는 녹음원 음원과 관련된 사용자 음원을 수신한다. 여기서, 사용자 음원은 녹음된 음원과 동일한 노래를 사용자가 따라 부른 사용자의 목소리 또는 녹음된 음원과 동일한 노래를 사용자가 다른 악기로 따라서 연주한 악기 소리 중에서 하나를 포함할 수 있다.
단계(440)에서, 사용자 음원 평가 장치는 녹음된 음원에 포함된 객체 오디오 각각에 대한 특성(feature)를 생성하고, 사용자 음원에 대한 특성을 생성한다.
일측에 따르면, 객체 오디오 또는 사용자 음원의 피치(pitch), 객체 오디오 또는 사용자 음원의 라우드니스(loudness), 객체 오디오 또는 사용자 음원의 크리티컬 밴드(critical band)의 에너지(intensity), 객체 오디오 또는 사용자 음원의 주파수 대역 중에서 적어도 하나가 특성으로 생성될 수 있다.
단계(450)에서 사용자 음원 평가 장치는 객체 오디오에 대한 특성과 사용자 음원에 대한 특성을 비교하여 사용자 음원에 대하여 점수를 산정할 수 있다. 일측에 따르면, 사용자 음원 평가 장치는 객체 오디오에 대한 특성과 사용자 음원에 대한 특성이 서로 유사하다면, 사용자 음원에 대하여 높은 점수를 산정할 수 있다.
단계(460)에서, 사용자 음원 평가 장치는 산정된 점수를 사용자에게 디스플레이 할 수 있다.
일측에 따르면, 사용자 음원은 복수의 사용자로부터 각각 수신한 목소리를 포함할 수 있다. 즉, 사용자들이 듀엣으로, 또는 합창으로 노래를 부른 경우에 함께 부른 목소리가 사용자 음원으로 수신될 수 있다.
이 경우에, 단계(430)에서 사용자 음원 평가 장치는 복수의 사용자 목소리를 포함하는 수신된 사용자 음원을 각 사용자에 대응되는 객체 오디오로 분리한다. 또한, 단계(440)에서, 사용자 음원 평가 장치는 사용자 음원으로부터 분리된 객체 오디오 각각에 대하여 특성을 생성한다.
단계(450)에서, 사용자 음원 평가 장치는 사용자 음원에서 분리된 객체 오디오 각각에 대하여 개별적으로 점수를 산정할 수 있다. 단계(460)에서, 사용자 음원 평가 장치는 사용자 음원에서 분리된 객체 오디오 각각에 대하여 개별적으로 산정된 점수들을 사용자에게 디스플레이 할 수 있다.
상기 실시예에 따르면, 사용자들이 모두 합창을 하거나, 한 사용자는 가창을 하고 다른 사용자는 악기 연주를 하는 등, 사용자 음원이 복수의 사용자들이 생성한 소스 오디오를 포함하는 경우에도 각 사용자에 대한 개별적인 평가가 가능하다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
200: 사용자 음원 평가 장치
210: 음원 저장부
220: 음원 수신부
230: 음원 특성 생성부
240: 객체 분리부
250: 점수 산정부
260: 출력부

Claims (11)

  1. 복수의 제1 소스 오디오들이 상기 복수의 제1 소스 오디오들에 각각 대응되는 복수의 제1 객체 오디오들로 분리되어 녹음된 음원을 저장하는 음원 저장부;
    상기 음원과 관련된 사용자 음원을 수신하는 음원 수신부;
    상기 수신한 사용자 음원에 기반하여 상기 제1 복수의 객체 오디오들 중 상기 사용자 음원에 대응하는 객체 오디오를 추출하고, 상기 추출된 객체 오디오에 대한 특성(feature)을 생성하고, 상기 사용자 음원에 대한 특성을 생성하는 음원 특성 생성부; 및
    상기 객체 오디오에 대한 특성과 상기 사용자 음원에 대한 특성을 비교하여 상기 사용자 음원에 대한 점수를 산정하는 점수 산정부
    를 포함하는 사용자 음원 평가 장치.
  2. 제1항에 있어서,
    상기 특성은 상기 객체 오디오 또는 상기 사용자 음원의 라우드니스(loudness) 및 상기 객체 오디오 또는 상기 사용자 음원의 크리티컬 밴드(critical band)의 에너지(intensity) 중에서 적어도 하나를 포함하고,
    상기 크리티컬 밴드는 기 설정된 주파수 대역인 사용자 음원 평가 장치.
  3. 제1항에 있어서,
    상기 사용자 음원은 상기 녹음된 음원과 관련된 상기 사용자의 목소리 및 상기 사용자가 연주한 악기 소리 중에서 적어도 하나를 포함하는 사용자 음원 평가 장치.
  4. 제3항에 있어서,
    객체 분리부;
    를 더 포함하고,
    상기 사용자 음원은 복수의 사용자들 각각으로부터 수신한 복수의 제2 소스 오디오들을 포함하고,
    상기 객체 분리부는 상기 사용자 음원을 상기 복수의 제2 소스 오디오들 각각에 대응하는 복수의 제2 객체 오디오들로 분리하고,
    상기 음원 특성 생성부는 상기 분리된 복수의 제2 객체 오디오들에 기반하여 상기 복수의 제2 객체 오디오들 각각에 대응하는 상기 복수의 제1 객체 오디오들 중 적어도 하나의 객체 오디오를 추출하고, 상기 적어도 하나의 객체 오디오에 대한 특성을 생성하고, 상기 복수의 제2 객체 오디오들 각각에 대한 특성을 생성하고,
    상기 점수 산정부는 상기 적어도 하나의 객체 오디오에 대한 특성과 상기 복수의 제2 객체 오디오들 각각에 대한 특성을 비교하여 상기 복수의 제2 소소 오디오들에 대한 점수를 개별적으로 산정하는 사용자 음원 평가 장치.
  5. 제4항에 있어서,
    상기 개별적으로 산정된 점수들을 디스플레이하는 출력부
    를 더 포함하는 사용자 음원 평가 장치.
  6. 복수의 제1 소스 오디오들이 상기 복수의 제1 소스 오디오들에 각각 대응되는 복수의 제1 객체 오디오들로 분리되어 녹음된 음원을 저장하는 단계;
    상기 음원과 관련된 사용자 음원을 수신하는 단계;
    상기 수신한 사용자 음원에 기반하여 상기 복수의 제1 객체 오디오들 중 상기 사용자 음원에 대응하는 객체 오디오를 추출하는 단계;
    상기 추출된 객체 오디오에 대한 특성(feature)을 생성하고, 상기 사용자 음원에 대한 특성을 생성하는 단계; 및
    상기 객체 오디오에 대한 특성과 상기 사용자 음원에 대한 특성을 비교하여 상기 사용자 음원에 대한 점수를 산정하는 단계
    를 포함하는 사용자 음원 평가 방법.
  7. 제6항에 있어서,
    상기 특성은 상기 객체 오디오 또는 상기 사용자 음원의 라우드니스(loudness) 및 상기 객체 오디오 또는 상기 사용자 음원의 크리티컬 밴드(critical band)의 에너지(intensity) 중에서 적어도 하나를 포함하고,
    상기 크리티컬 밴드는 기 설정된 주파수 대역인 사용자 음원 평가 방법.
  8. 제6항에 있어서,
    상기 사용자 음원은 상기 녹음된 음원과 관련된 상기 사용자의 목소리 및 상기 사용자가 연주한 악기 소리 중에서 적어도 하나를 포함하는 사용자 음원 평가 방법.
  9. 제8항에 있어서,
    상기 사용자 음원은 복수의 사용자들 각각으로부터 수신한 복수의 제2 소스 오디오들을 포함하고,
    상기 사용자 음원을 상기 복수의 제2 소스 오디오들 각각에 대응하는 복수의 제2 객체 오디오들로 분리하는 단계
    를 더 포함하고,
    상기 객체 오디오를 추출하는 단계는 상기 분리된 복수의 제2 객체 오디오들에 기반하여 상기 복수의 제2 객체 오디오들 각각에 대응하는 상기 복수의 제1 객체 오디오들 중 적어도 하나의 객체 오디오를 추출하고,
    상기 특성을 생성하는 단계는 상기 적어도 하나의 객체 오디오에 대한 특성을 생성하고, 상기 복수의 제2 객체 오디오들 각각에 대한 특성을 생성하고,
    상기 점수를 산정하는 단계는 상기 적어도 하나의 객체 오디오에 대한 특성과 상기 복수의 제2 객체 오디오들 각각에 대한 특성을 비교하여 상기 복수의 제2 소스 오디오들에 대한 점수를 개별적으로 산정하는 사용자 음원 평가 방법.
  10. 제9항에 있어서,
    상기 개별적으로 산정된 점수들을 디스플레이하는 단계
    를 더 포함하는 사용자 음원 평가 방법.
  11. 제6항 내지 제10항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
KR1020120070763A 2012-06-29 2012-06-29 사용자 음원 평가 장치, 방법 및 기록 매체 KR101406398B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120070763A KR101406398B1 (ko) 2012-06-29 2012-06-29 사용자 음원 평가 장치, 방법 및 기록 매체
PCT/KR2013/005819 WO2014003513A1 (ko) 2012-06-29 2013-07-01 사용자 음원 평가 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120070763A KR101406398B1 (ko) 2012-06-29 2012-06-29 사용자 음원 평가 장치, 방법 및 기록 매체

Publications (2)

Publication Number Publication Date
KR20140003111A KR20140003111A (ko) 2014-01-09
KR101406398B1 true KR101406398B1 (ko) 2014-06-13

Family

ID=49783556

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120070763A KR101406398B1 (ko) 2012-06-29 2012-06-29 사용자 음원 평가 장치, 방법 및 기록 매체

Country Status (2)

Country Link
KR (1) KR101406398B1 (ko)
WO (1) WO2014003513A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101679712B1 (ko) 2014-12-10 2016-11-28 전자부품연구원 오디오 음량 측정 방법 및 장치
KR101975193B1 (ko) * 2017-11-15 2019-05-07 가기환 자동 작곡 장치 및 컴퓨터 수행 가능한 자동 작곡 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2018273364B2 (en) 2017-05-22 2022-09-29 Mcginley Engineered Solutions, Llc Variable angle orthopedic fasteners for fixation of an orthopedic implant
KR101925217B1 (ko) * 2017-06-20 2018-12-04 한국과학기술원 가창 표현 이식 시스템
KR101943223B1 (ko) 2017-12-11 2019-01-28 송문섭 본딩 와이어 제조 방법
CN108010503B (zh) * 2017-12-27 2021-12-03 北京酷我科技有限公司 一种k歌录音的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940022367A (ko) * 1993-03-27 1994-10-20 이헌조 노래점수 측정 장치 및 방법
KR20110018727A (ko) * 2009-08-18 2011-02-24 삼성전자주식회사 사운드에서 오브젝트 분리 방법 및 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7849092B2 (en) * 2007-08-13 2010-12-07 Yahoo! Inc. System and method for identifying similar media objects
US8407230B2 (en) * 2007-08-13 2013-03-26 Yahoo! Inc. System and method for identifying similar media objects
EP2194527A3 (en) * 2008-12-02 2013-09-25 Electronics and Telecommunications Research Institute Apparatus for generating and playing object based audio contents
FR2944640A1 (fr) * 2009-04-17 2010-10-22 France Telecom Procede et dispositif d'evaluation objective de la qualite vocale d'un signal de parole prenant en compte la classification du bruit de fond contenu dans le signal.

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940022367A (ko) * 1993-03-27 1994-10-20 이헌조 노래점수 측정 장치 및 방법
KR20110018727A (ko) * 2009-08-18 2011-02-24 삼성전자주식회사 사운드에서 오브젝트 분리 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101679712B1 (ko) 2014-12-10 2016-11-28 전자부품연구원 오디오 음량 측정 방법 및 장치
KR101975193B1 (ko) * 2017-11-15 2019-05-07 가기환 자동 작곡 장치 및 컴퓨터 수행 가능한 자동 작곡 방법

Also Published As

Publication number Publication date
KR20140003111A (ko) 2014-01-09
WO2014003513A1 (ko) 2014-01-03

Similar Documents

Publication Publication Date Title
KR101406398B1 (ko) 사용자 음원 평가 장치, 방법 및 기록 매체
Yamada et al. A rhythm practice support system with annotation-free real-time onset detection
US9847078B2 (en) Music performance system and method thereof
US7974838B1 (en) System and method for pitch adjusting vocals
Cuesta et al. Analysis of intonation in unison choir singing
JP6060867B2 (ja) 情報処理装置，データ生成方法，及びプログラム
WO2011100802A1 (en) Hearing apparatus and method of modifying or improving hearing
Cano et al. Pitch-informed solo and accompaniment separation towards its use in music education applications
JP2014502737A (ja) 音の強弱変更
Buyens et al. A stereo music preprocessing scheme for cochlear implant users
JP4959861B1 (ja) 信号処理方法、信号処理装置、再生装置およびプログラム
JP3344195B2 (ja) カラオケ採点装置
US8219390B1 (en) Pitch-based frequency domain voice removal
Darwin Pitch and auditory grouping
JP4091892B2 (ja) 歌唱音声評価装置、カラオケ採点装置及びそのプログラム
Luizard et al. How singers adapt to room acoustical conditions
CN106448710B (zh) 一种音乐播放参数的校准方法及音乐播放设备
WO2017135350A1 (ja) 記録媒体、音響処理装置および音響処理方法
JP6260565B2 (ja) 音声合成装置、及びプログラム
JP4048249B2 (ja) カラオケ装置
JP6056799B2 (ja) プログラム、情報処理装置、及びデータ生成方法
JP2017138359A (ja) カラオケ装置，及びプログラム
JP4553013B2 (ja) カラオケ装置
JP5034642B2 (ja) カラオケ装置
JP5805474B2 (ja) 音声評価装置，音声評価方法，及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee