KR20110121883A - 사용자의 음성을 보정하기 위한 장치 및 방법 - Google Patents

사용자의 음성을 보정하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR20110121883A
KR20110121883A KR1020100041382A KR20100041382A KR20110121883A KR 20110121883 A KR20110121883 A KR 20110121883A KR 1020100041382 A KR1020100041382 A KR 1020100041382A KR 20100041382 A KR20100041382 A KR 20100041382A KR 20110121883 A KR20110121883 A KR 20110121883A
Authority
KR
South Korea
Prior art keywords
user
frequency
song
pitch
control variable
Prior art date
Application number
KR1020100041382A
Other languages
English (en)
Inventor
김현수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100041382A priority Critical patent/KR20110121883A/ko
Publication of KR20110121883A publication Critical patent/KR20110121883A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/366—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems with means for modifying or correcting the external signal, e.g. pitch correction, reverberation, changing a singer's voice
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

본 발명은 사용자의 음성을 보정하기 위한 장치 및 방법에 관한 것이다. 이때, 사용자의 음성을 보정하기 위한 방법은, 입력 장치를 통해 입력되는 노래 신호를 주파수 신호로 변환하는 과정과, 상기 주파수 신호의 피치(pitch) 정보를 사용자 주파수의 기본 주파수로 설정하는 과정과, 상기 기본 주파수를 기준으로 적어도 하나의 하모닉 피크를 추출하여 사용자 주파수 특징을 확인하는 과정과, 상기 사용자 주파수 특징에 대한 마스킹 커브(masking curve)를 산출하여 사용자가 듣지 못하는 소리를 제거하는 과정과, 기준 노래의 주파수 특징을 기준으로 상기 사용자 노래의 음정을 보정하는 과정을 포함한다.

Description

사용자의 음성을 보정하기 위한 장치 및 방법{APPARATUS AND METHOD FOR COMPENSATING OF USER VOICE}
본 발명은 사용자의 음성을 보정하기 위한 장치 및 방법에 관한 것으로서, 특히, 노래방 서비스 장치에서 사용자 노래의 음정을 개선하고, 상기 사용자 노래를 평가하기 위한 장치 및 방법에 관한 것이다.
일반적으로 노래방 서비스는 배경 음악으로 사용되는 음원에 마이크를 통해 입력되는 사용자의 노랫소리를 합쳐서 외부로 출력하거나 녹음한다.
최근 휴대의 편리성에 의해 휴대용 단말기의 사용이 급격히 증가하고 있다. 상기 휴대용 단말기의 사용이 증가하면서 서비스 제공자들은 상기 휴대용 단말기를 통한 다양한 서비스를 제공하고 있다. 예를 들어, 상기 휴대용 단말기는 MP3 플레이어, 카메라 및 노래방 서비스를 제공한다.
상기 휴대용 단말기에서 노래방 서비스를 제공하는 경우, 상기 휴대용 단말기는 배경 음악으로 사용되는 음원에 마이크를 통해 입력되는 사용자의 노랫소리를 합쳐서 외부로 출력한다. 즉, 상기 휴대용 단말기는 단순히 사용자에 의해 입력되는 노래를 배경 음악과 합쳐 출력하는 것으로 사용자가 요구하는 다양한 서비스를 제공하지 못한다.
이에 따라, 상기 휴대용 단말기는 사용자에 요구에 따라 사용자 노래의 음정 보정, 노래 가이드 정보 및 노래 평가 등과 같은 다양한 부가 서비스를 필요로 한다.
따라서, 본 발명의 목적은 사용자의 음성을 보정하기 위한 장치 및 방법을 제공함에 있다.
본 발명의 다른 목적은 노래방 서비스 장치에서 사용자 노래의 음정을 보정하기 위한 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 노래방 서비스 장치에서 사용자 노래에 대한 평가 정보를 제공하기 위한 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 노래방 서비스를 제공하는 휴대용 단말기에서 사용자 노래의 음정을 보정하기 위한 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 노래방 서비스를 제공하는 휴대용 단말기에서 사용자 노래에 대한 평가 정보를 제공하기 위한 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 노래방 서비스를 제공하는 휴대용 단말기에서 사용자에게 노래 가이드 정보를 제공하게 위한 장치 및 방법을 제공함에 있다.
본 발명의 목적들을 달성하기 위한 본 발명의 제 1 견지에 따르면, 사용자의 음성을 보정하기 위한 방법은, 입력 장치를 통해 입력되는 노래 신호를 주파수 신호로 변환하는 과정과, 상기 주파수 신호의 피치(pitch) 정보를 사용자 주파수의 기본 주파수로 설정하는 과정과, 상기 기본 주파수를 기준으로 적어도 하나의 하모닉 피크를 추출하여 사용자 주파수 특징을 확인하는 과정과, 상기 사용자 주파수 특징에 대한 마스킹 커브(masking curve)를 산출하여 사용자가 듣지 못하는 소리를 제거하는 과정과, 기준 노래의 주파수 특징을 기준으로 상기 사용자 노래의 음정을 보정하는 과정을 포함하여, 상기 사용자 주파수 특징은 상기 기본 주파수 및 적어도 하나의 하모닉 피크 정보를 포함하는 것을 특징으로 한다.
본 발명의 제 2 견지에 따르면, 사용자 노래를 평가하기 위한 방법은, 입력 장치를 통해 입력되는 노래 신호를 주파수 신호로 변환하는 과정과, 상기 주파수 신호의 피치(pitch) 정보를 사용자 주파수의 기본 주파수로 설정하고 기준 노래의 피치 정보를 기준 주파수의 기본 주파수로 설정하는 과정과, 상기 사용자 주파수의 기본 주파수를 기준으로 적어도 하나의 하모닉 피크를 추출하여 사용자 주파수 특징을 확인하고, 상기 기준 주파수의 기본 주파수를 기준으로 적어도 하나의 하모닉 피크를 추출하여 기준 주파수 특징을 확인하는 과정과, 상기 사용자 주파수 특징과 상기 기준 주파수 특징의 편차를 이용하여 상기 사용자 노래를 평가하는 과정을 포함하며, 상기 사용자 주파수 특징은, 상기 기본 주파수 및 적어도 하나의 하모닉 피크 정보를 포함하고, 상기 기준 주파수 특징은, 상기 기본 주파수 및 적어도 하나의 하모닉 피크 정보를 포함하는 것을 특징으로 한다.
본 발명의 제 3 견지에 따르면, 사용자의 음성을 보정하기 위한 장치는, 입력 장치를 통해 입력되는 노래 신호를 주파수 신호로 변환하는 주파수 신호 생성부와, 상기 주파수 신호의 피치(pitch) 정보를 사용자 주파수의 기본 주파수로 설정하는 기본 주파수 설정부와, 상기 기본 주파수를 기준으로 적어도 하나의 하모닉 피크를 추출하여 사용자 주파수 특징을 확인하는 주파수 특징 확인부와, 상기 사용자 주파수 특징에 대한 마스킹 커브(masking curve)를 산출하여 사용자가 듣지 못하는 소리를 제거하고, 기준 노래의 주파수 특징을 기준으로 상기 사용자 노래의 음정을 보정하는 음정 보정부를 포함하여 구성되며, 상기 사용자 주파수 특징은 상기 기본 주파수 및 적어도 하나의 하모닉 피크 정보를 포함하는 것을 특징으로 한다.
본 발명의 제 4 견지에 따르면, 사용자 노래를 평가하기 위한 장치는, 입력 장치를 통해 입력되는 노래 신호를 주파수 신호로 변환하는 주파수 신호 생성부와, 상기 주파수 신호의 피치(pitch) 정보를 사용자 주파수의 기본 주파수로 설정하고 기준 노래의 피치 정보를 기준 주파수의 기본 주파수로 설정하는 기본 주파수 설정부와, 상기 사용자 주파수의 기본 주파수를 기준으로 적어도 하나의 하모닉 피크를 추출하여 사용자 주파수 특징을 확인하고, 상기 기준 주파수의 기본 주파수를 기준으로 적어도 하나의 하모닉 피크를 추출하여 기준 주파수 특징을 확인하는 주파수 특징 확인부와, 상기 사용자 주파수 특징과 상기 기준 주파수 특징의 편차를 이용하여 상기 사용자 노래를 평가하는 평가부를 포함하여 구성되며, 상기 사용자 주파수 특징은, 상기 기본 주파수 및 적어도 하나의 하모닉 피크 정보를 포함하고, 상기 기준 주파수 특징은, 상기 기본 주파수 및 적어도 하나의 하모닉 피크 정보를 포함하는 것을 특징으로 한다.
상술한 바와 같이 노래방 서비스 장치에서 하모닉 피크 정보를 이용하여 사용자 노래의 주파수 특징을 추출함으로써, 잡음에 견고하고, 사용자 노래의 주파수 특징을 추출하기 위한 복잡도를 줄일 수 있다.
또한, 상기 추출한 사용자 노래의 주파수 특징에 대한 마스킹 커버를 이용하여 사용자 노래를 보정하여 적은 복잡도로 사용자 노래의 용량을 줄일 수 있고, 상기 추출한 사용자 노래의 주파수 특징과 기준 주파수 특징을 이용하여 사용자에게 노래 평가 정보 및 가이드 정보를 제공할 수 있는 이점이 있다.
도 1은 본 발명의 실시 예에 따른 노래방 서비스를 제공하는 휴대용 단말기에서 음정을 보정하기 위한 절차를 도시하는 도면,
도 2는 본 발명의 실시 예에 따른 노래방 서비스를 제공하는 휴대용 단말기에서 사용자 노래를 평가하기 위한 절차를 도시하는 도면,
도 3은 본 발명에 따른 노래방 서비스를 제공하는 휴대용 단말기의 블록 구성을 도시하는 도면, 및
도 4는 본 발명에 따른 휴대용 단말기에서 제어부의 상세 블록 구성을 도시하는 도면.
이하 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하 본 발명은 사용자의 음정을 개선하고 사용자 노래를 평가하기 위한 기술을 제공한다.
이하 설명은 노래방 서비스 장치는 MP3 플레이어, 이동통신 단말기, 개인 정보 단말기(PDA: Personal Digital Assistant), 스마트 폰(Smart Phone), IMT(International Mobile Telecommunication)-2000 단말기, WCDMA(Wideband Code Division Multiple Access) 단말기 및 UMTS(Universal Mobile Telecommunication Service) 단말기 등과 같은 노래방 서비스를 제공할 수 있는 휴대용 정보통신기기 및 멀티미디어 기기를 포함한다. 이하 설명에서 상기 휴대용 정보통신기기 및 멀티미디어 기기를 휴대용 단말기라 칭한다. 또한, 일반적인 노래방 기기에도 동일하게 적용할 수 있다.
이하 설명은 휴대용 단말기에서 사용자 노래의 음정을 보정하기 위한 방법에 대해 설명한다.
도 1은 본 발명의 실시 예에 따른 노래방 서비스를 제공하는 휴대용 단말기에서 음정을 보정하기 위한 절차를 도시하고 있다.
상기 도 1을 참조하면 상기 휴대용 단말기는 101단계에서 마이크를 통해 사용자의 노래가 입력되는지 확인한다. 즉, 상기 휴대용 단말기는 노래방 서비스를 제공하여 사용자가 마이크를 통해 노래를 입력하는지 확인한다.
사용자 노래가 입력되지 않는 경우, 상기 휴대용 단말기는 본 알고리즘을 종료한다. 즉, 상기 휴대용 단말기는 노래방 서비스가 실행되지 않는 경우, 본 알고리즘을 종료한다.
사용자 노래가 입력되는 경우, 상기 휴대용 단말기는 103단계로 진행하여 상기 입력되는 사용자의 노래를 녹음한다.
이후, 상기 휴대용 단말기는 105단계로 진행하여 상기 녹음된 사용자 노래 신호에 대한 음성 전처리를 수행한다. 예를 들어, 상기 휴대용 단말기는 녹음된 사용자 노래 신호의 음성(voice)에 대한 잡음 및 에코를 전처리한다.
상기 사용자 노래 신호에 대한 음성 전처리를 수행한 후, 상기 휴대용 단말기는 107단계로 진행하여 상기 전처리한 사용자 노래 신호를 주파수 영역 신호로 변환하여 STFT(Short Time Fourier Transform) 크기(Magnitude)를 추출한다. 예를 들어, 상기 휴대용 단말기는 고속 푸리에 변환(FFT: Fast Fourier Transform) 또는 코사인 변환(Cosine trnasform) 등의 방법을 통해 상기 전처리된 사용자 노래 신호를 주파수 영역 신호로 변환한다. 이후, 상기 휴대용 단말기는 주파수 영역 신호에서 STFT 크기를 추출한다.
이후, 상기 휴대용 단말기는 109단계로 진행하여 기준 노래의 기본 주파수와 사용자 노래의 기본 주파수를 설정한다. 예를 들어, 상기 휴대용 단말기는 기준 노래에서 추출한 피치(pitch) 정보를 상기 기준 노래의 기본 주파수로 설정한다. 또한, 상기 휴대용 단말기는 사용자 노래에서 추출한 피치 정보를 상기 사용자 노래의 기본 주파수로 설정한다. 여기서, 상기 기준 노래는 사용자 노래의 음정 보정에 기준이 되는 노래로 상기 사용자 노래의 원곡 또는 사용자에 의해 지정된 노래를 나타낸다.
상기 기준 노래와 사용자 노래의 기본 주파수를 설정한 후, 상기 휴대용 단말기는 111단계로 진행하여 기준 주파수 특징(S(k))과 사용자 주파수 특징(U(k))을 추출한다. 예를 들어, 기준 주파수 특징을 추출하는 경우, 상기 휴대용 단말기는 기준 노래의 기본 주파수(f(0)) 길이에 포함되는 하모닉 피크를 첫 번째 주파수 성분 피크(f(1))로 선택한다. 이후, 상기 휴대용 단말기는 f(1)+α부터 f(1)+β 사이의 하모닉 피크를 두 번째 주파수 성분 피크(f(2))로 선택한다. 이후, 상기 휴대용 단말기는 상술한 동작을 반복하여 f(k)까지 선택한다. 이때, 상기 f(k)는 f(k-1)+α부터 f(k-1)+β 사이의 하모닉 피크를 나타낸다. 여기서, 상기 α는 쉬프팅(shifting) 길이를 나타내고, 상기 β-α는 도 5에 도시된 바와 같이 검색 구간(search range)을 나타낸다. 이때, 상기 α와 β는 검색 구간을 나타내기 위한 변수로 임의의 값으로 정의될 수 있다. 이하 설명에서는 상기 α는 0.5CP(Coarse Pitch)로 설정하고, 상기 β는 1.5CP로 설정하는 것으로 가정하여 설명한다. 이에 따라, 상기 휴대용 단말기는 도 6에 도시된 바와 같이 검색 구간을 설정하여 기준 주파수 특징과 사용자 주파수 특징을 추출한다. 여기서, 상기 CP는 피치 예측 값을 나타낸다.
기준 주파수 특징(S(k))과 사용자 주파수 특징(U(k))을 추출한 후, 상기 휴대용 단말기는 113단계로 진행하여 상기 사용자 주파수 특징에 따른 마스킹 커브(masking curve)를 이용하여 상기 사용자 주파수 특징을 갱신한다. 즉, 상기 휴대용 단말기는 상기 사용자 주파수에 대한 각각의 하모닉 피크의 마스킹 커브를 산출하여 상기 사용자 노래에서 사람이 인식하지 못하는 소리를 제거한다. 예를 들어, 상기 사용자 주파수 특징이 f(0), f(1), f(2) 및 f(3)의 하모닉 피크를 포함하는 경우, 상기 휴대용 단말기는 f(0), f(1), f(2) 및 f(3) 각각에 대한 마스킹 커브를 산출한다. 이때, 다른 하모닉 피크의 마스킹 커브 아래에 위치하는 하모닉 피크는 사람이 인식하지 못한다. 이에 따라, 상기 휴대용 단말기는 다른 하모닉 피크에 대한 마스킹 커브의 아래에 위치하는 하모닉 피크를 제거한다. 즉, 상기 f(2)가 상기 f(1)의 마스킹 커브의 아래에 위치하는 경우, 상기 휴대용 단말기는 사람이 상기 f(2)의 소리를 인식하지 못하는 것으로 인식한다. 이에 따라, 상기 휴대용 단말기는 상기 f(2)를 제거한다.
이후, 상기 휴대용 단말기는 115단계로 진행하여 상기 기준 주파수 특징을 기준으로 상기 갱신한 사용자 주파수 특징의 주파수를 이동시켜 사용자 노래의 음정을 보정한다. 이때, 상기 휴대용 단말기는 보정계수를 고려하여 상기 갱신한 사용자 주파수 특징의 주파수를 상기 기준 주파수 특징의 위치로 이동시킨다. 예를 들어, 상기 보정 계수가 100%인 경우, 상기 휴대용 단말기는 U(0)를 S(0)의 위치로 이동시킨다. 다른 예를 들어, 상기 보정 계수가 90%인 경우, 상기 휴대용 단말기는 U(0)를 S(0)의 위치가 90%이내로 매칭되는 위치로 이동시킨다. 이때, 상기 휴대용 단말기는 S(0)의 위치가 90%이내로 매칭되는 위치들 중 상기 U(O)의 원래 위치와 가장 가까운 위치로 상기 U(0)를 이동시킨다. 여기서, 상기 보정계수는 시스템에 고정적으로 사용되거나 사용자에 의해 임의로 설정될 수 있다. 또한, 상기 보정계수는 응용프로그램에 따라 달라질 수도 있다.
상기 사용자 노래의 음정을 보정한 후, 상기 휴대용 단말기는 117단계로 진행하여 상기 보정한 사용자 노래를 재보정할 것인지 결정한다. 예를 들어, 상기 휴대용 단말기는 상기 115단계에서 음정을 보정한 사용자 주파수 특징(U_(k))과 상기 사용자 주파수 특징(S(k))과의 통계적 편차(P(k))를 산출한다. 이후, 상기 휴대용 단말기는 상기 통계적 편차와 임계값을 비교하여 상기 사용자 노래의 음정 재보정을 수행할 것인지 결정한다.
상기 통계적 편차가 상기 임계값보다 작은 경우, 상기 휴대용 단말기는 상기 사용자 노래의 음정 재보정을 수행하지 않는 것으로 인식한다. 이에 따라, 상기 휴대용 단말기는 119단계로 진행하여 상기 115단계에서 음정을 보정한 사용자 노래를 저장한다.
한편, 상기 통계적 편차가 상기 임계값보다 크거나 같은 경우, 상기 휴대용 단말기는 상기 사용자 노래의 음정 재보정을 수행하는 것으로 인식한다. 이에 따라, 상기 휴대용 단말기는 121단계로 진행하여 상기 115단계에서 음정을 보정한 사용자 주파수 특징(U_(k))을 고려하여 상기 사용자 노래의 음정을 재보정한다. 예를 들어, 상기 113단계에서 U(2)의 하모닉 피크를 제거한 경우, 상기 휴대용 단말기는 U(2)의 음정 보정 값(U_(2))을 산출한다. 이후, 상기 휴대용 단말기는 상기 음정을 보정한 사용자 주파수 특징(U_(k))에 대한 마스킹 커브와 상기 U_(2)를 비교한다. 만일, 상기 U_(2)가 상기 음정을 보정한 사용자 주파수 특징(U_(k))에 대한 마스킹 커브의 위에 위치하는 경우, 상기 휴대용 단말기는 상기 U_(2)를 상기 사용자 주파수 특징에 포함시켜 상기 사용자 주파수 특징을 재보정한다. 한편, 상기 U_(2)가 상기 음정을 보정한 사용자 주파수 특징(U_(k))에 대한 마스킹 커브의 아래에 위치하는 경우, 상기 휴대용 단말기는 상기 사용자 주파수 특징을 유지한다.
상기 사용자 주파수 특징을 재보정한 후, 상기 휴대용 단말기는 상기 119단계로 진행하여 상기 121단계에서 음정을 재보정한 사용자 노래를 저장한다.
이후, 상기 휴대용 단말기는 본 알고리즘을 종료한다.
이하 설명은 휴대용 단말기에서 사용자 노래를 평가하기 위한 방법에 대해 설명한다.
도 2는 본 발명의 실시 예에 따른 노래방 서비스를 제공하는 휴대용 단말기에서 사용자 노래를 평가하기 위한 절차를 도시하고 있다.
상기 도 2를 참조하면 상기 휴대용 단말기는 201단계에서 마이크를 통해 사용자의 노래가 입력되는지 확인한다. 즉, 상기 휴대용 단말기는 노래방 서비스를 제공하여 사용자가 마이크를 통해 노래를 입력하는지 확인한다.
사용자 노래가 입력되지 않는 경우, 상기 휴대용 단말기는 본 알고리즘을 종료한다. 즉, 상기 휴대용 단말기는 노래방 서비스가 실행되지 않는 경우, 본 알고리즘을 종료한다.
사용자 노래가 입력되는 경우, 상기 휴대용 단말기는 203단계로 진행하여 상기 입력되는 사용자의 노래를 녹음한다.
이후, 상기 휴대용 단말기는 205단계로 진행하여 상기 녹음된 사용자 노래 신호에 대한 음성 전처리를 수행한다. 예를 들어, 상기 휴대용 단말기는 녹음된 사용자 노래 신호의 음성(voice)에 대한 잡음 및 에코를 전처리한다.
상기 사용자 노래 신호에 대한 음성 전처리를 수행한 후, 상기 휴대용 단말기는 207단계로 진행하여 상기 전처리한 사용자 노래 신호를 주파수 영역 신호로 변환하여 STFT 크기(Magnitude)를 추출한다. 예를 들어, 상기 휴대용 단말기는 고속 푸리에 변환(FFT) 또는 코사인 변환 등의 방법을 통해 상기 전처리된 사용자 노래 신호를 주파수 영역 신호로 변환한다. 이후, 상기 휴대용 단말기는 주파수 영역 신호에서 STFT 크기를 추출한다.
이후, 상기 휴대용 단말기는 209단계로 진행하여 기준 노래의 기본 주파수와 사용자 노래의 기본 주파수를 설정한다. 예를 들어, 상기 휴대용 단말기는 기준 노래에서 추출한 피치 정보를 상기 기준 노래의 기본 주파수로 설정한다. 또한, 상기 휴대용 단말기는 사용자 노래에서 추출한 피치 정보를 상기 사용자 노래의 기본 주파수로 설정한다. 여기서, 상기 기준 노래는 사용자 노래의 음정 보정에 기준이 되는 노래로 상기 사용자 노래의 원곡 또는 사용자에 의해 지정된 노래를 나타낸다.
상기 기준 노래와 사용자 노래의 기본 주파수를 설정한 후, 상기 휴대용 단말기는 211단계로 진행하여 기준 주파수 특징(S(k))과 사용자 주파수 특징(U(k))을 추출한다. 예를 들어, 기준 주파수 특징을 추출하는 경우, 상기 휴대용 단말기는 기준 노래의 기본 주파수(f(0)) 길이에서 하모닉 피크를 첫 번째 주파수 성분 피크(f(1))로 선택한다. 이후, 상기 휴대용 단말기는 f(1)+α부터 f(1)+β 사이에서 하모닉 피크를 두 번째 주파수 성분 피크(f(2))로 선택한다. 이후, 상기 휴대용 단말기는 상술한 동작을 반복하여 f(k)까지 선택한다. 이때, 상기 f(k)는 f(k-1)+α부터 f(k-1)+β 사이에서 하모닉 피크를 나타낸다. 여기서, 상기 α는 쉬프팅(shifting) 길이를 나타내고, 상기 β-α는 상기 도 5에 도시된 바와 같이 검색 구간(search range)을 나타낸다. 이때, 상기 α와 β는 검색 구간을 나타내기 위한 변수로 임의의 값으로 정의될 수 있다. 이하 설명에서는 상기 α는 0.5CP(Coarse Pitch)로 설정하고, 상기 β는 1.5CP로 설정하는 것으로 가정하여 설명한다. 이에 따라, 상기 휴대용 단말기는 상기 도 6에 도시된 바와 같이 검색 구간을 설정하여 기준 주파수 특징과 사용자 주파수 특징을 추출한다. 여기서, 상기 CP는 피치 예측 값을 나타낸다.
기준 주파수 특징(S(k))과 사용자 주파수 특징(U(k))을 추출한 후, 상기 휴대용 단말기는 213단계로 진행하여 상기 기준 주파수 특징과 사용자 주파수 특징의 편차 통계치(P(k))를 산출한다.
이후, 상기 휴대용 단말기는 215단계로 진행하여 상기 편차 통계치에 대한 평균 및 표준 편차를 표준화(normalization)한다.
상기 표준화된 편차 통계치의 평균 및 표준 편차를 산출한 후, 상기 휴대용 단말기는 217단계로 진행하여 상기 표준화된 편차 통계치의 평균 및 표준 편차를 이용하여 상기 사용자 노래를 평가한다. 이때, 미 도시되었지만, 상기 휴대용 단말기는 상기 사용자 노래에 대한 평가 정보를 표시부에 표시한다. 또한, 상기 휴대용 단말기는 상기 사용자 노래에 대한 평가 정보를 고려하여 결정한 노래 가이드 정보를 표시부에 표시할 수도 있다.
이후, 상기 휴대용 단말기는 본 알고리즘을 종료한다.
상술한 실시 예에서 상기 휴대용 단말기는 표준화된 편차 통계치의 평균 및 표준 편차를 이용하여 사용자 노래를 평가한다.
다른 실시 예에서 상기 휴대용 단말기는 상기 편차 통계치를 이용하여 사용자 노래를 평가할 수도 있다.
이하 설명은 노래방 서비스를 제공하기 위한 휴대용 단말기의 구성에 대해 설명한다.
도 3은 본 발명에 따른 노래방 서비스를 제공하는 휴대용 단말기의 블록 구성을 도시하고 있다.
상기 도 3에 도시된 바와 같이 상기 휴대용 단말기는 제어부(300), 오디오 처리부(310), 저장부(320), 입력부(330) 및 표시부(340)를 포함하여 구성된다.
상기 제어부(300)는 상기 휴대용 단말기의 전반적인 동작을 제어한다. 예를 들어, 상기 제어부(300)는 노래방 서비스를 제공하도록 제어한다. 즉, 상기 제어부(300)는 상기 오디오 처리부(130)부터 제공받은 사용자 노래의 음정을 보정하거나 상기 사용자 노래를 평가한다. 이때, 상기 제어부(300)는 노래방 서비스를 제공하기 위해 하기 도 4에 도시된 바와 같이 구성될 수 있다.
상기 오디오 처리부(310)는 상기 제어부(300)의 제어에 따라 입출력되는 오디오 신호를 처리한다. 예를 들어, 상기 오디오 처리부(310)는 사용자 노래를 녹음하기 위해 마이크를 통해 입력되는 사용자 노래를 상기 저장부(320)로 전송한다. 한편, 상기 오디오 처리부(310)는 상기 제어부(300)로부터 제공받은 오디오 신호를 처리하여 스피커를 통해 외부로 출력한다.
상기 저장부(320)는 상기 휴대용 단말기의 동작을 제어하기 위한 프로그램을 저장하는 프로그램 저장부 및 프로그램 수행 중에 발생되는 데이터를 저장하는 데이터 저장부로 구성될 수 있다. 예를 들어, 상기 저장부(320)는 마이크를 통해 입력된 사용자 노래 및 상기 제어부(300)에서 음정이 보정된 사용자 노래를 저장한다.
상기 입력부(330)는 사용자의 선택에 의해 발생하는 입력 데이터를 상기 제어부(300)로 제공한다.
상기 표시부(340)는 상기 제어부(300)로부터 제공받은 상태 정보를 표시한다. 예를 들어, 상기 표시부(340)는 상기 제어부(300)로부터 제공받은 사용자 노래 평가 정보 또는 노래 가이드 정보를 표시한다.
상술한 실시 예에서 상기 오디오 처리부(310)는 사용자 노래를 녹음하기 위해 마이크를 통해 입력되는 사용자 노래를 상기 저장부(320)로 전송한다.
다른 실시 예에서 상기 오디오 처리부(310)는 마이크를 통해 입력되는 사용자 노래를 상기 제어부(300)로 제공할 수도 있다. 이때, 상기 제어부(300)는 상기 오디오 처리부(310)로부터 제공받은 사용자 노래를 녹음시키기 위해 상기 저장부(320)로 전송한다.
도 4는 본 발명에 따른 휴대용 단말기에서 제어부의 상세 블록 구성을 도시하고 있다.
상기 도 4에 도시된 바와 같이 상기 제어부(300)는 전처리부(400), 주파수 신호 생성부(410), 주파수 설정부(420), 주파수 특징 확인부(430), 제어 변수 결정부(440), 음정 보정부(450), 검증부(460), 주파수 비교부(470) 및 평가부(480)를 포함하여 구성된다.
상기 전처리부(400)는 녹음된 사용자 노래 신호에 대한 음성을 전처리한다. 즉, 상기 전처리부(400)는 상기 저장부(320)에 저장된 사용자 노래 신호에 대한 음성을 전처리한다. 예를 들어, 상기 전처리부(400)는 상기 녹음된 사용자 노래 신호의 음성(voice)에 대한 잡음 및 에코를 전처리한다.
상기 주파수 신호 생성부(410)는 상기 전처리부(400)로부터 제공받은 전처리된 사용자 노래 신호를 주파수 영역 신호로 변환한다. 예를 들어, 상기 주파수 신호 생성부(410)는 고속 푸리에 변환(FFT) 또는 코사인 변환 등의 방법을 통해 상기 전처리된 사용자 노래 신호를 주파수 영역 신호로 변환한다. 이때, 상기 주파수 신호 생성부(410)는 상기 주파수 영역 신호에서 STFT 크기(Magnitude)를 추출한다.
상기 주파수 설정부(420)는 기준 노래에서 추출한 피치(pitch) 정보를 기준 노래의 기본 주파수로 설정하고, 사용자 노래에서 추출한 피치 정보를 상기 사용자 노래의 기본 주파수로 설정한다. 여기서, 상기 기준 노래는 사용자 노래의 음정 보정에 기준이 되는 노래로 상기 사용자 노래의 원곡 또는 사용자에 의해 지정된 노래를 나타낸다.
상기 주파수 특징 확인부(430)는 상기 제어 변수 결정부(430)로부터 제공받은 제어 변수(α, β)를 이용하여 기준 주파수 특징(S(k))과 사용자 주파수 특징(U(k))을 추출한다. 예를 들어, 기준 주파수 특징을 추출하는 경우, 상기 주파수 특징 확인부(430)는 기준 노래의 기본 주파수(f(0)) 길이에서 하모닉 피크를 첫 번째 주파수 성분 피크(f(1))로 선택한다. 이후, 상기 주파수 특징 확인부(430)는 f(1)+α부터 f(1)+β 사이에서 하모닉 피크를 두 번째 주파수 성분 피크(f(2))로 선택한다. 이후, 상기 주파수 특징 확인부(430)는 상술한 동작을 반복하여 f(k)까지 선택한다. 이때, 상기 f(k)는 f(k-1)+α부터 f(k-1)+β 사이에서 하모닉 피크를 나타낸다. 여기서, 상기 α는 쉬프팅(shifting) 길이를 나타내고, 상기 β-α는 상기 도 5에 도시된 바와 같이 검색 구간(search range)을 나타낸다. 이때, 상기 α와 β는 검색 구간을 나타내기 위한 변수로 임의의 값으로 정의될 수 있다. 이하 설명에서는 상기 α는 0.5CP(Coarse Pitch)로 설정하고, 상기 β는 1.5CP로 설정하는 것으로 가정하여 설명한다. 이에 따라, 상기 주파수 특징 확인부(430)는 상기 도 6에 도시된 바와 같이 검색 구간을 설정하여 기준 주파수 특징과 사용자 주파수 특징을 추출한다. 여기서, 상기 CP는 피치 예측 값을 나타낸다.
상기 제어 변수 결정부(440)는 상기 주파수 특징 확인부(430)에서 기준 주파수와 사용자 주파수의 주파수 성분 피크를 확인하기 위한 검색 구간 및 검색 구간 길이를 결정하기 위한 제어 변수(α, β)를 결정한다. 예를 들어, 상기 제어 변수 결정부(440)는 0.5CP(Coarse Pitch)로 α로 설정하고, 1.5CP로 β를 설정한다. 여기서, 상기 CP는 피치 예측 값을 나타낸다.
상기 음정 보정부(450)는 상기 주파수 특징 확인부(430)에서 추출한 사용자 주파수 특징에 따른 마스킹 커브(masking curve)를 이용하여 상기 사용자 주파수 특징을 갱신한다. 즉, 상기 음정 보정부(450)는 상기 사용자 주파수 특징에 포함되는 각각의 하모닉 피치에 대한 마스킹 커브를 산출하여 상기 사용자 노래에서 사람이 인식하지 못하는 소리를 제거한다. 예를 들어, 상기 사용자 주파수 특징에 f(0), f(1), f(2) 및 f(3) 하모닉 피치가 포함되는 경우, 상기 음정 보정부(450)는 f(0), f(1), f(2) 및 f(3) 각각에 대한 마스킹 커브를 산출한다. 이때, 다른 하모닉 피치에 대한 마스킹 커브의 아래에 위치하는 하모닉 피치는 사람이 인식하지 못한다. 이에 따라, 상기 음정 보정부(450)는 다른 하모닉 피치에 대한 마스킹 커브의 아래에 위치하는 하모닉 피치를 제거한다. 즉, 상기 f(2)가 상기 f(1)의 마스킹 커브의 아래에 위치하는 경우, 상기 음정 보정부(450)는 사람이 상기 f(2)의 소리를 인식하지 못하는 것으로 인식한다. 이에 따라, 상기 휴대용 단말기는 상기 f(2)를 제거한다.
이후, 상기 음정 보정부(450)는 상기 기준 주파수 특징을 기준으로 상기 갱신한 사용자 주파수 특징의 주파수를 이동시켜 사용자 노래의 음정을 보정한다. 이때, 상기 음정 보정부(450)는 보정계수를 고려하여 상기 갱신한 사용자 주파수 특징의 주파수를 상기 기준 주파수 특징을 기준으로 이동시킨다. 예를 들어, 상기 보정 계수가 100%인 경우, 상기 음정 보정부(450)는 U(0)를 S(0)의 위치로 이동시킨다. 다른 예를 들어, 상기 보정 계수가 90%인 경우, 상기 음정 보정부(450)는 U(0)를 S(0)의 위치가 90%이내로 매칭되는 위치로 이동시킨다. 이때, 상기 음정 보정부(450)는 S(0)의 위치가 90%이내로 매칭되는 위치들 중 상기 U(O)의 원래 위치와 가장 가까운 위치로 상기 U(0)를 이동시킨다. 여기서, 상기 보정계수는 시스템에 고정적으로 사용되거나 사용자에 의해 임의로 설정될 수 있다. 또한, 상기 보정계수는 응용프로그램에 따라 달라질 수도 있다.
또한, 상기 음정 보정부(450)는 상기 검증부(460)에서 음정의 재보정을 지시하는 경우, 상기 보정한 사용자 주파수 특징(U_(k))을 고려하여 상기 사용자 노래의 음정을 재보정한다. 예를 들어, 상기 음정 보정부(450)에서 마스킹 커브를 이용하여 U(2)의 사용자 주파수 특징을 제거한 경우, 상기 음정 보정부(450)는 U(2)를 음정을 보정한 값(U_(2))을 추출한다. 이후, 상기 음정 보정부(450)는 상기 음정을 보정한 사용자 주파수 특징(U_(k))에 대한 마스킹 커브와 상기 U_(2)를 비교한다. 만일, 상기 U_(2)가 상기 음정을 보정한 사용자 주파수 특징(U_(k))에 대한 마스킹 커브의 위에 위치하는 경우, 상기 음정 보정부(450)는 상기 U_(2)를 상기 사용자 주파수 특징에 포함시켜 상기 사용자 주파수 특징을 재보정한다. 한편, 상기 U_(2)가 상기 음정을 보정한 사용자 주파수 특징(U_(k))에 대한 마스킹 커브의 아래에 위치하는 경우, 상기 음정 보정부(450)는 상기 사용자 주파수 특징을 유지한다.
상기 검증부(460)는 상기 음정 보정부(450)에서 보정된 사용자 노래를 재보정할 것인지 결정한다. 예를 들어, 상기 검증부(460)는 상기 음정 보정부(450)에서 보정된 사용자 주파수 특징(U_(k))과 상기 사용자 주파수 특징(S(k))과의 통계적 편차(P(k))를 산출한다. 이후, 상기 검증부(460)는 상기 통계적 편차와 임계값을 비교하여 상기 사용자 노래의 음정 재보정을 수행할 것인지 결정한다. 만일, 상기 통계적 편차가 상기 임계값보다 작은 경우, 상기 검증부(460)는 상기 사용자 노래의 음정 재보정을 수행하지 않는 것으로 인식한다. 이 경우, 상기 검증부(460)는 상기 음정 보정부(450)에서 보정된 사용자 노래를 상기 저장부(320)로 전송한다. 한편, 상기 통계적 편차가 상기 임계값보다 크거나 같은 경우, 상기 검증부(460)는 상기 사용자 노래의 음정 재보정을 수행하는 것으로 인식한다. 이 경우, 상기 검증부(460)는 상기 사용자 주파수 특징(U_(k))을 재보정하도록 상기 음정 보정부(450)로 제어한다.
상기 주파수 비교부(470)는 상기 주파수 특징 확인부(430)에서 추출한 기준 주파수 특징(S(k))과 사용자 주파수 특징(U(k))의 편차 통계치(P(k))를 산출한다.
상기 평가부(480)는 상기 주파수 비교부(470)로부터 제공받은 편차 통계치를 이용하여 사용자 노래를 평가한다. 예를 들어, 상기 평가부(480)는 상기 편차 통계치에 대한 평균 및 표준 편차를 표준화(normalization)한다. 이후, 상기 평가부(480)는 상기 표준화된 편차 통계치의 평균 및 표준 편차를 이용하여 사용자 노래를 평가한다.
상기 제어부(300)는 상기 평가부(480)로부터 제공받은 사용자 노래의 평가 정보를 상기 표시부(340)에 표시하도록 제어한다. 또한, 상기 제어부(300)는 상기 사용자 노래에 대한 평가 정보를 고려하여 결정한 노래 가이드 정보를 상기 표시부(340)에 표시하도록 제어할 수도 있다.
만일, 상기 제어부(300)에서 마이크를 통해 입력되는 사용자 노래의 녹음을 제어하는 경우, 상기 제어부(300)는 상기 사용자 노래의 녹음을 제어하는 제어모듈을 더 포함하여 구성된다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (32)

  1. 사용자의 음성을 보정하기 위한 방법에 있어서,
    입력 장치를 통해 입력되는 노래 신호를 주파수 신호로 변환하는 과정과,
    상기 주파수 신호의 피치(pitch) 정보를 사용자 주파수의 기본 주파수로 설정하는 과정과,
    상기 기본 주파수를 기준으로 적어도 하나의 하모닉 피크를 추출하여 사용자 주파수 특징을 확인하는 과정과,
    상기 사용자 주파수 특징에 대한 마스킹 커브(masking curve)를 산출하여 사용자가 듣지 못하는 소리를 제거하는 과정과,
    기준 노래의 주파수 특징을 기준으로 상기 사용자 노래의 음정을 보정하는 과정을 포함하여,
    상기 사용자 주파수 특징은 상기 기본 주파수 및 적어도 하나의 하모닉 피크 정보를 포함하는 것을 특징으로 하는 방법.
  2. 제 1항에 있어서,
    상기 사용자 주파수 특징을 확인하는 과정은,
    기 설정된 제 1 제어 변수와 제 2 제어 변수를 고려하여 검색 구간을 확인하는 과정과,
    상기 기본 주파수를 상기 제 1 제어 변수만큼 쉬프트한 위치부터 상기 검색 구간에서 제 1 하모닉 피크를 추출하는 과정과,
    상기 제 k 하모닉 피크를 상기 제 1 제어 변수만큼 쉬프트한 위치부터 상기 검색 구간에서 제 k+1 하모닉 피크를 추출하는 과정을 포함하며,
    상기 k는 1 이상의 정수를 포함하는 것을 특징으로 하는 방법.
  3. 제 2항에 있어서,
    상기 제 1 제어 변수는, 피치 예측 값의 0.5배로 설정되고,
    상기 제 2 제어 변수는, 피치 예측 값의 1.5배로 설정되는 것을 특징으로 하는 방법.
  4. 제 1항에 있어서,
    상기 소리를 제거하는 과정과,
    상기 사용자 주파수 특징에 포함되는 기본 주파수 및 적어도 하모닉 피크 각각에 대한 마스킹 커브를 산출하는 과정과,
    어느 하나의 마스킹 커브의 아래에 위치하는 기본 주파수 또는 하모닉 피크를 제거하여 상기 사용자 주파수 특징을 갱신하는 과정을 포함하는 것을 특징으로 하는 방법.
  5. 제 1항에 있어서,
    상기 음정을 보정하는 과정은,
    보정 계수를 확인하는 과정과,
    상기 보정 계수에 따라 상기 사용자가 듣지 못하는 소리를 제거하여 갱신된 사용자 주파수 특징의 주파수 위치를 상기 기준 노래의 주파수 특징의 위치를 기준으로 이동시키는 과정을 포함하며,
    상기 보정 계수는, 상기 사용자 주파수 특징의 위치와 상기 기준 노래의 주파수 특징의 위치를 매칭률을 나타내는 것을 특징으로 하는 방법.
  6. 제 5항에 있어서,
    상기 보정 계수는, 기 설정되거나, 사용자에 의해 결정되거나, 응용 프로그램에 의해 결정되는 것을 특징으로 하는 방법.
  7. 제 1항에 있어서,
    상기 기준 노래는, 상기 사용자 노래의 원곡 또는 사용자에 의해 지정된 노래를 포함하는 것을 특징으로 하는 방법.
  8. 제 1항에 있어서,
    상기 사용자 노래의 음정을 보정한 후, 상기 사용자 노래의 음정을 재보정할 것인지 결정하는 과정과,
    상기 사용자 노래의 음정을 재보정하는 것으로 결정한 경우, 상기 음정이 보정된 사용자 노래의 주파수 특징을 고려하여 상기 사용자 노래의 음정을 재보정하는 과정을 더 포함하는 것을 특징으로 하는 방법.
  9. 제 8항에 있어서,
    상기 사용자 노래의 음정을 재보정할 것인지 결정하는 과정은,
    상기 음정이 보정된 사용자 노래의 주파수 특징과 상기 기준 노래의 주파수 특징의 편차 통계치를 산출하는 과정과,
    상기 편차 통계치가 임계치 이상인 경우, 상기 사용자 노래의 음정을 재보정하는 것으로 결정하는 과정과,
    상기 편차 통계치가 임계치보다 작은 경우, 상기 사용자 노래의 음정을 재보정하지 않는 것으로 결정하는 과정을 포함하는 것을 특징으로 하는 방법.
  10. 제 8항에 있어서,
    상기 사용자 노래의 음정을 재보정하는 과정은,
    상기 음정이 보정된 사용자 노래의 주파수 특징에 포함되는 보정된 기본 주파수 및 보정된 적어도 하모닉 피크 각각에 대한 마스킹 커브를 산출하는 과정과,
    상기 사용자가 듣지 못하여 제거된 소리의 음정 보정 값을 확인하는 과정과,
    상기 산출한 마스킹 커브의 위에 상기 음정 보정 값이 위치하는 경우, 상기 음정이 보정된 사용자 노래에 상기 음정 보정 값을 추가하는 과정을 포함하는 것을 특징으로 하는 방법.
  11. 사용자 노래를 평가하기 위한 방법에 있어서,
    입력 장치를 통해 입력되는 노래 신호를 주파수 신호로 변환하는 과정과,
    상기 주파수 신호의 피치(pitch) 정보를 사용자 주파수의 기본 주파수로 설정하고 기준 노래의 피치 정보를 기준 주파수의 기본 주파수로 설정하는 과정과,
    상기 사용자 주파수의 기본 주파수를 기준으로 적어도 하나의 하모닉 피크를 추출하여 사용자 주파수 특징을 확인하고, 상기 기준 주파수의 기본 주파수를 기준으로 적어도 하나의 하모닉 피크를 추출하여 기준 주파수 특징을 확인하는 과정과,
    상기 사용자 주파수 특징과 상기 기준 주파수 특징의 편차를 이용하여 상기 사용자 노래를 평가하는 과정을 포함하며,
    상기 사용자 주파수 특징은, 상기 기본 주파수 및 적어도 하나의 하모닉 피크 정보를 포함하고,
    상기 기준 주파수 특징은, 상기 기본 주파수 및 적어도 하나의 하모닉 피크 정보를 포함하는 것을 특징으로 하는 방법.
  12. 제 11항에 있어서,
    상기 사용자 주파수 특징을 확인하는 과정은,
    기 설정된 제 1 제어 변수와 제 2 제어 변수를 고려하여 검색 구간을 확인하는 과정과,
    상기 기본 주파수를 상기 제 1 제어 변수만큼 쉬프트한 위치부터 상기 검색 구간에서 제 1 하모닉 피크를 추출하는 과정과,
    상기 제 1 하모닉 피크를 상기 제 1 제어 변수만큼 쉬프트한 위치부터 상기 검색 구간에서 제 2 하모닉 피크를 추출하는 과정을 포함하며,
    상술한 동작을 반복 수행하는 것을 특징으로 하는 방법.
  13. 제 12항에 있어서,
    상기 제 1 제어 변수는, 피치 예측 값의 0.5배로 설정되고,
    상기 제 2 제어 변수는, 피치 예측 값의 1.5배로 설정되는 것을 특징으로 하는 방법.
  14. 제 11항에 있어서,
    상기 기준 노래는, 상기 사용자 노래의 원곡 또는 사용자에 의해 지정된 노래를 포함하는 것을 특징으로 하는 방법.
  15. 제 11항에 있어서,
    상기 사용자 노래를 평가한 후, 상기 사용자 노래의 평가 정보를 표시부에 표시하는 과정을 더 포함하는 것을 특징으로 하는 방법.
  16. 제 11항에 있어서,
    상기 사용자 노래를 평가한 후, 상기 사용자 노래의 평가 정보를 기반으로 사용자에 대한 노래 가이드 정보를 생성하는 과정과,
    상기 노래 가이드 정보를 표시부에 표시하는 과정을 더 포함하는 것을 특징으로 하는 방법.
  17. 사용자의 음성을 보정하기 위한 장치에 있어서,
    입력 장치를 통해 입력되는 노래 신호를 주파수 신호로 변환하는 주파수 신호 생성부와,
    상기 주파수 신호의 피치(pitch) 정보를 사용자 주파수의 기본 주파수로 설정하는 기본 주파수 설정부와,
    상기 기본 주파수를 기준으로 적어도 하나의 하모닉 피크를 추출하여 사용자 주파수 특징을 확인하는 주파수 특징 확인부와,
    상기 사용자 주파수 특징에 대한 마스킹 커브(masking curve)를 산출하여 사용자가 듣지 못하는 소리를 제거하고, 기준 노래의 주파수 특징을 기준으로 상기 사용자 노래의 음정을 보정하는 음정 보정부를 포함하여 구성되며,
    상기 사용자 주파수 특징은 상기 기본 주파수 및 적어도 하나의 하모닉 피크 정보를 포함하는 것을 특징으로 하는 장치.
  18. 제 17항에 있어서,
    상기 주파수 특징 확인부는, 상기 기본 주파수를 제 1 제어 변수만큼 쉬프트한 위치부터 상기 검색 구간에서 제 1 하모닉 피크를 추출하고, 상기 제 k 하모닉 피크를 상기 제 1 제어 변수만큼 쉬프트한 위치부터 상기 검색 구간에서 제 k+1 하모닉 피크를 추출하며,
    상기 k는, 1 이상의 정수를 나타내고,
    상기 검색 구간은, 상기 제 1 제어 변수와 제 2 제어 변수를 고려하여 확인하는 것을 특징으로 하는 장치.
  19. 제 18항에 있어서,
    상기 제 1 제어 변수는, 피치 예측 값의 0.5배로 설정되고,
    상기 제 2 제어 변수는, 피치 예측 값의 1.5배로 설정되는 것을 특징으로 하는 장치.
  20. 제 17항에 있어서,
    상기 음정 보정부는, 상기 사용자 주파수 특징에 포함되는 기본 주파수 및 적어도 하모닉 피크 각각에 대한 마스킹 커브를 산출하고, 어느 하나의 마스킹 커브의 아래에 위치하는 기본 주파수 또는 하모닉 피크를 제거하여 상기 사용자 주파수 특징을 갱신하는 것을 특징으로 하는 장치.
  21. 제 20항에 있어서,
    상기 음정 보정부는, 보정 계수에 따라 상기 갱신한 사용자 주파수 특징의 주파수 위치를 상기 기준 노래의 주파수 특징의 위치를 기준으로 이동시키는 것을 특징으로 하며,
    상기 보정 계수는, 상기 사용자 주파수 특징의 위치와 상기 기준 노래의 주파수 특징의 위치를 매칭률을 나타내는 것을 특징으로 하는 장치.
  22. 제 21항에 있어서,
    상기 보정 계수는, 기 설정되거나, 사용자에 의해 결정되거나, 응용 프로그램에 의해 결정되는 것을 특징으로 하는 장치.
  23. 제 17항에 있어서,
    상기 기준 노래는, 상기 사용자 노래의 원곡 또는 사용자에 의해 지정된 노래를 포함하는 것을 특징으로 하는 장치.
  24. 제 17항에 있어서,
    상기 음정 보정부에서 음정이 보정된 사용자 노래의 음정을 재보정할 것인지 결정하는 검증부를 더 포함하며,
    상기 음정 보정부는, 상기 검증부에서 상기 사용자 노래의 음정을 재보정하는 것으로 결정한 경우, 상기 음정이 보정된 사용자 노래의 주파수 특징을 고려하여 상기 사용자 노래의 음정을 재보정하는 것을 특징으로 하는 장치.
  25. 제 24항에 있어서,
    상기 검증부는, 상기 음정이 보정된 사용자 노래의 주파수 특징과 상기 기준 노래의 주파수 특징의 편차 통계치가 임계치 이상인 경우, 상기 사용자 노래의 음정을 재보정하는 것으로 결정하고,
    상기 편차 통계치가 임계치보다 작은 경우, 상기 사용자 노래의 음정을 재보정하지 않는 것으로 결정하는 것을 특징으로 하는 장치.
  26. 제 24항에 있어서,
    상기 음정 보정부는, 상기 음정을 보정한 사용자 노래의 주파수 특징에 포함되는 보정된 기본 주파수 및 보정된 적어도 하모닉 피크 각각에 대한 마스킹 커브를 산출하고,
    상기 사용자가 듣지 못하여 제거된 소리의 음정 보정 값이 상기 산출한 마스킹 커브의 위에 위치하는 경우, 상기 음정이 보정된 사용자 노래에 상기 음정 보정 값을 추가하는 것을 특징으로 하는 장치.
  27. 사용자 노래를 평가하기 위한 장치에 있어서,
    입력 장치를 통해 입력되는 노래 신호를 주파수 신호로 변환하는 주파수 신호 생성부와,
    상기 주파수 신호의 피치(pitch) 정보를 사용자 주파수의 기본 주파수로 설정하고 기준 노래의 피치 정보를 기준 주파수의 기본 주파수로 설정하는 기본 주파수 설정부와,
    상기 사용자 주파수의 기본 주파수를 기준으로 적어도 하나의 하모닉 피크를 추출하여 사용자 주파수 특징을 확인하고, 상기 기준 주파수의 기본 주파수를 기준으로 적어도 하나의 하모닉 피크를 추출하여 기준 주파수 특징을 확인하는 주파수 특징 확인부와,
    상기 사용자 주파수 특징과 상기 기준 주파수 특징의 편차를 이용하여 상기 사용자 노래를 평가하는 평가부를 포함하여 구성되며,
    상기 사용자 주파수 특징은, 상기 기본 주파수 및 적어도 하나의 하모닉 피크 정보를 포함하고,
    상기 기준 주파수 특징은, 상기 기본 주파수 및 적어도 하나의 하모닉 피크 정보를 포함하는 것을 특징으로 하는 장치.
  28. 제 27항에 있어서,
    상기 주파수 특징 확인부는, 상기 기본 주파수를 제 1 제어 변수만큼 쉬프트한 위치부터 상기 검색 구간에서 제 1 하모닉 피크를 추출하고, 상기 제 k 하모닉 피크를 상기 제 1 제어 변수만큼 쉬프트한 위치부터 상기 검색 구간에서 제 k+1 하모닉 피크를 추출하며,
    상기 k는, 1 이상의 정수를 나타내고,
    상기 검색 구간은, 상기 제 1 제어 변수와 제 2 제어 변수를 고려하여 확인하는 것을 특징으로 하는 장치.
  29. 제 28항에 있어서,
    상기 제 1 제어 변수는, 피치 예측 값의 0.5배로 설정되고,
    상기 제 2 제어 변수는, 피치 예측 값의 1.5배로 설정되는 것을 특징으로 하는 장치.
  30. 제 27항에 있어서,
    상기 기준 노래는, 상기 사용자 노래의 원곡 또는 사용자에 의해 지정된 노래를 포함하는 것을 특징으로 하는 장치.
  31. 제 27항에 있어서,
    상기 평가부에서 평가한 상기 사용자 노래의 평가 정보를 표시하는 표시부를 더 포함하여 구성되는 것을 특징으로 하는 장치.
  32. 제 27항에 있어서,
    상기 평가부에서 평가한 상기 사용자 노래의 평가 정보를 기반으로 사용자에 대한 노래 가이드 정보를 생성하는 제어부와,
    상기 노래 가이드 정보를 표시하는 표시부를 더 포함하여 구성되는 것을 특징으로 하는 장치.
KR1020100041382A 2010-05-03 2010-05-03 사용자의 음성을 보정하기 위한 장치 및 방법 KR20110121883A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100041382A KR20110121883A (ko) 2010-05-03 2010-05-03 사용자의 음성을 보정하기 위한 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100041382A KR20110121883A (ko) 2010-05-03 2010-05-03 사용자의 음성을 보정하기 위한 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20110121883A true KR20110121883A (ko) 2011-11-09

Family

ID=45392601

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100041382A KR20110121883A (ko) 2010-05-03 2010-05-03 사용자의 음성을 보정하기 위한 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20110121883A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014058270A1 (en) * 2012-10-12 2014-04-17 Samsung Electronics Co., Ltd. Voice converting apparatus and method for converting user voice thereof
WO2015152586A1 (ko) * 2014-04-03 2015-10-08 (주) 엠티콤 유사도판별장치 및 그 동작 방법
US9607594B2 (en) 2013-12-20 2017-03-28 Samsung Electronics Co., Ltd. Multimedia apparatus, music composing method thereof, and song correcting method thereof

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014058270A1 (en) * 2012-10-12 2014-04-17 Samsung Electronics Co., Ltd. Voice converting apparatus and method for converting user voice thereof
US9564119B2 (en) 2012-10-12 2017-02-07 Samsung Electronics Co., Ltd. Voice converting apparatus and method for converting user voice thereof
US10121492B2 (en) 2012-10-12 2018-11-06 Samsung Electronics Co., Ltd. Voice converting apparatus and method for converting user voice thereof
US9607594B2 (en) 2013-12-20 2017-03-28 Samsung Electronics Co., Ltd. Multimedia apparatus, music composing method thereof, and song correcting method thereof
WO2015152586A1 (ko) * 2014-04-03 2015-10-08 (주) 엠티콤 유사도판별장치 및 그 동작 방법

Similar Documents

Publication Publication Date Title
KR100896737B1 (ko) 오디오 신호의 견고한 분류를 위한 장치 및 방법, 오디오신호 데이터베이스를 설정 및 운영하는 방법, 및 컴퓨터프로그램
US10565970B2 (en) Method and a system for decomposition of acoustic signal into sound objects, a sound object and its use
JP5127754B2 (ja) 信号処理装置
US11937040B2 (en) Information processing device, information processing method, and storage medium
CN111161752A (zh) 回声消除方法和装置
US8694314B2 (en) Voice authentication apparatus
BRPI0812029B1 (pt) método de recuperar dados ocultados, dispositivo de telecomunicações, aparelho de ocultar dados, método de ocultar dados e caixa de conjunto superior
KR101534346B1 (ko) 악곡 재생 장치, 악곡 재생 방법 및 기록 매체
CN111796790B (zh) 一种音效调节方法、装置、可读存储介质及终端设备
CN101345055A (zh) 语音处理器和通信终端设备
KR20110121883A (ko) 사용자의 음성을 보정하기 위한 장치 및 방법
JP3907194B2 (ja) 音声認識装置、音声認識方法及び音声認識プログラム
CN107452398B (zh) 回声获取方法、电子设备及计算机可读存储介质
EP1239458A2 (en) Voice recognition system, standard pattern preparation system and corresponding methods
CN106910494B (zh) 一种音频识别方法和装置
US8301284B2 (en) Feature extraction apparatus, feature extraction method, and program thereof
CN109741761B (zh) 声音处理方法和装置
US9215350B2 (en) Sound processing method, sound processing system, video processing method, video processing system, sound processing device, and method and program for controlling same
CN115410602A (zh) 一种语音情感识别方法、装置及电子设备
KR100604030B1 (ko) 오디오/비디오 동조화 장치
D'haes et al. Discrete cepstrum coefficients as perceptual features
CN110875050B (zh) 用于真实场景的语音数据收集方法、装置、设备及介质
CN114400022B (zh) 音质比对的方法、设备和存储介质
KR20100115849A (ko) 다중 해싱에 기초한 오디오 핑거프린팅 시스템
JP2002372982A (ja) 音響信号分析方法及び装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application