KR20150018194A - 모창 평가 방법 및 시스템 - Google Patents

모창 평가 방법 및 시스템 Download PDF

Info

Publication number
KR20150018194A
KR20150018194A KR1020130094819A KR20130094819A KR20150018194A KR 20150018194 A KR20150018194 A KR 20150018194A KR 1020130094819 A KR1020130094819 A KR 1020130094819A KR 20130094819 A KR20130094819 A KR 20130094819A KR 20150018194 A KR20150018194 A KR 20150018194A
Authority
KR
South Korea
Prior art keywords
data
frequency
sound source
unit
module
Prior art date
Application number
KR1020130094819A
Other languages
English (en)
Inventor
신대진
Original Assignee
주식회사 이드웨어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이드웨어 filed Critical 주식회사 이드웨어
Priority to KR1020130094819A priority Critical patent/KR20150018194A/ko
Publication of KR20150018194A publication Critical patent/KR20150018194A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/69—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for evaluating synthetic or decoded voice signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B31/00—Arrangements for the associated working of recording or reproducing apparatus with related apparatus
    • G11B31/02—Arrangements for the associated working of recording or reproducing apparatus with related apparatus with automatic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

본 발명은 원곡 AR(All Record)과 마이크를 통해 입력되는 소리데이터(사용자 노래음성 및 스피커로 출력되는 MIDI 반주음)를 직접 비교 가능한 상태로 가공하기 위해 각각의 주파수 특성과 크기를 Normalized Transformation 기법으로 변형하여 비교 기준 레퍼런스로서의 AR 주파수 시그널과 비교 대상으로서의 입력되는 소리데이터(사용자 노래음성 및 스피커로 출력되는 MIDI 반주음) 주파수 시그널 간의 유사도를 측정하여 원곡의 가수 음성과 사용자 노래음성의 유사도를 평가하는 모창 평가 방법 및 시스템에 관한 발명이다.

Description

모창 평가 방법 및 시스템{Evaluation Methods and System for mimicking song}
본 발명은 원곡 AR(All Record)과 마이크를 통해 입력되는 소리데이터(사용자 노래음성 및 스피커로 출력되는 MIDI 반주음)를 직접 비교 가능한 상태로 가공하기 위해 각각의 주파수 특성과 크기를 Normalized Transformation 기법으로 변형하여 비교 기준 레퍼런스로서의 AR 주파수 시그널과 비교 대상으로서의 입력되는 소리데이터(사용자 노래음성 및 스피커로 출력되는 MIDI 반주음) 주파수 시그널 간의 유사도를 측정하여 원곡의 가수 음성과 사용자 노래음성의 유사도를 평가하는 모창 평가 방법 및 시스템에 관한 발명이다.
근래 들어 노래방 문화가 확산됨에 따라 이제 노래방은 어디에서든 근처에서 쉽게 발견할 수 있을 만큼 수적으로 크게 확대되어 있다. 특히 노래 부르기를 좋아하는 사람의 경우에는 개인적으로 노래방 기기를 구입하거나 자신의 컴퓨터에 비디오 컴팩트디스크 플레이어 등을 연결함으로써 가정에서도 이러한 기기가 제공하는 반주를 배경으로 노래 부르기를 즐기고 있다.
이와 같은 노래방 기기는 이용하여 노래부르기를 즐기는 사람은 자신이 노래 부르는 장면에 대한 동영상과 노래를 함께 별도로 저장해둠으로써 노래부를 때의 감흥을 오랫동안 간직하거나 자신이 부른 노래를 원격지에 있는 타인에게 선물 또는 그 밖의 목적으로 전달할 수 있으며, 자신이 부르는 노래에 대하여 원곡과의 비교를 통한 평가를 받을 수 있게 된다.
자신의 노래에 대한 평가 방법에 있어 종래 대한민국 등록특허 제1094687호(노래학습 기능을 갖는 노래방 시스템 및 노래 학습 방법)가 제시된 바 있다.
그러나 종래 기술의 경우 원곡의 가수노래음성을 비교(음색(tone),음정(key),박자(beat)), 노래음성 유사도평가를 하여 유사도점수(모창점수)의 결과를 내고자할 때 원곡AR(원곡반주+가수노래음성), 원곡MR(원곡반주), MIDI음원(노래방 컨텐츠제작자의 제작음원) 및 사용자 노래음성이 모두 필요하게 된다.
특히, 비교 기준 레퍼런스인 원곡의 가수 노래음성을 추출하기 위해 원곡 AR에서 원곡 MR의 시그널을 제거해야되는 것으로, 이는 원곡 MR에 해당하는 시그널만 제거하기 어렵고 가공 과정에서 가수 노래음성의 시그널 부분까지 손상될 우려가 있다.
또한, 레퍼런스 제작 절차상의 번거로움 예를 들면, 원곡 AR과 원곡 MR이 모두 존재해야 해서 레퍼런스를 제작할 수 있는 곡의 범위에 한계가 있으며 원곡 AR은 있으나 원곡 MR이 없는 경우는 레퍼런스로 제작하지 못하는 문제는 물론 가수의 노래음성만을 추출하기 어려워 레퍼런스의 품질이 좋지 않기 때문에 유사도를 평가함에 있어서도 그 신뢰도가 높지않은 문제점이 있다.
대한민국 등록특허 제1094687호
따라서, 본 발명은 상술한 문제점을 해결하기 위한 것으로, 원곡의 AR과 입력되는 사용자 노래음성과 MIDI 반주음을 시그널 손실없이 직접적으로 비교하여 유사도 측정 및 평가할 수 있는 노래의 범위를 넓히고, 원곡의 가수 노래음성과 사용자 노래음성의 보다 높은 신뢰도를 가진 유사도를 측정 및 평가하도록 하는 모창 평가 방법 및 시스템을 제공함에 그 목적이 있다.
상기 목적을 이루기 위한 본 발명의 모창 평가 방법은, (a) 선택된 MIDI 음원 데이터를 재생하여 스피커로 출력하는 단계; (b) MIDI 음원과 마이크로 입력되는 사용자 노래음성을 녹음하여 녹음 데이터로 저장하는 단계; (c) 상기 녹음 데이터와 원곡의 AR 데이터를 정규화변환부로 입력하는 단계; (d) 상기 정규화변환부에서 상기 녹음데이터와 원곡 AR 데이터를 각각 소정의 기준에 의해 크기와 형태를 정규화시킨 비교 신호로 변환하고 이를 비교평가부로 전송하는 단계; (e) 상기 비교평가부에서 상기 비교 신호들을 비교 및 평가하여 유사도를 측정하고 측정한 유사도에 따라 스코어 데이터를 출력하는 단계; 및 (f) 상기 스코어 데이터에 매칭되는 평가점수를 디스플레이하는 단계;를 포함하는 것이 특징이다.
한편, 상기 목적을 이루기 위한 본 발명의 모창 평가 시스템은, 사용자 노래음성을 입력하는 마이크와 평가점수를 디스플레이하는 디스플레이부 및 MIDI 음원과 사용자 노래음성을 출력하는 스피커를 포함하는 모창 평가 시스템에 있어서, MIDI 음원 데이터가 저장된 MIDI음원부; 원곡 AR 데이터가 저장된 AR음원부; MIDI 음원과 마이크를 통해 입력되는 사용자 노래음성을 녹음하여 녹음데이터로 저장하는 녹음부; 상기 녹음부에 저장된 녹음 데이터와 상기 AR음원부에 저장된 원곡 AR 데이터를 전송받고 이를 소정의 기준에 의해 크기와 형태를 정규화시킨 비교신호로 변환하는 정규화변환부; 상기 정규화변환부에서 변환된 녹음 데이터에 대한 비교신호와 원곡 AR 데이터에 대한 비교신호를 전송받고 양 비교신호를 비교 및 평가하여 스코어 데이터를 출력하는 비교 평가부; 및 선택된 평가대상 노래에 대하여 상기 MIDI음원부로부터 MIDI 음원을 추출하여 재생시키며 상기 비교 평가부의 스코어 데이터에 매칭되는 평가점수를 디스플레이하도록 제어하는 중앙 제어부;를 포함하는 것이 특징이다.
본 발명의 모창 평가 방법 및 시스템에 따르면, 종래와는 달리 원곡의 AR 음원과의 비교 평가가 실시됨으로써 원곡 MR 파일이 불필요하여 노래음성 유사도평가를 수행함에 있어 모든 곡들이 가능하게 되어 방법적인 측면에서 활용성의 진보를 이룰 수 있는 효과가 있다.
또한 비교를 위한 가수 노래음성을 따로 추출해야 하는 단계가 필요 없고, 이러한 추출단계로 인한 비교기준 레퍼런스의 시그널 손실이 없어서 노래음성 유사도평가의 신뢰도를 향상시킬 수 있는 효과가 있다.
도 1은 본 발명의 모창 평가 시스템을 개략적으로 나타내는 블록도.
도 2는 본 발명의 모창 평가 시스템의 구성을 나타내는 블록도.
도 3은 본 발명의 일 실시 예에 따른 정규화변환부의 구성을 나타내는 블록도.
도 4는 본 발명의 일 실시 예에 따른 정규화변환부의 워크 플로우를 나타내는 블록도.
도 5는 본 발명의 모창 평가 방법을 나타내는 순서도.
이하 본 발명의 실시 예들을 첨부되는 도면을 통해 보다 상세히 설명하도록 한다.
도 1은 본 발명의 모창 평가 시스템을 개략적으로 나타내는 블록도이며, 도 2는 본 발명의 모창 평가 시스템의 구성을 나타내는 블록도이다. 그리고, 도 3은 본 발명의 일 실시 예에 따른 정규화변환부의 구성을 나타내는 블록도이며, 도 4는 본 발명의 일 실시 예에 따른 정규화변환부의 워크 플로우를 나타내는 블록도이다.
도 1에 도시된 바와 같이 본 발명에 따른 모창 평가 시스템은 원곡 AR(All Record)과 녹음데이터(사용자 노래음성 및 스피커로 출력되는 MIDI 반주음)를 직접 비교 가능한 상태로 만들어주기 위해 각각의 주파수 특성과 크기를 Normalized Transformation 기법으로 변형하여 비교 기준 레퍼런스로서의 AR 주파수 시그널과 비교 대상으로서의 상기 녹음데이터 주파수 시그널 간의 유사도를 측정하여 원곡의 가수 노래음성과 사용자 노래음성의 유사도를 평가함으로써, 비교를 위한 원곡 가수의 노래음성을 따로 추출하는 과정이 불필요하며 이러한 추출 과정으로 인한 비교기준 레퍼런스의 시그널 손실이 없어서 노래음성 유사도 평가의 신뢰도를 개선할 수 있게 된다.
이러한 모창 평가 시스템은 도 2에 도시된 바와 같이 사용자의 노래음성을 입력하기 위한 마이크(10)와, 사용자의 평가 점수를 디스플레이하기 위한 디스플레이부(20) 및 MIDI 음원과 사용자 노래음성을 출력하기 위한 스피커(30)를 필수적으로 포함한다.
그리고, 상기 모창 평가 시스템은 MIDI음원부(100), AR음원부(200), 녹음부(300), 정규화변환부(400), 비교평가부(500), 및 중앙제어부(600)를 포함하여 구성될 수 있다.
상기 MIDI음원부(100)은 MIDI(Musical Instrument Digital Interface) 음원 데이터를 저장한다. 여기서 상기 MIDI 음원은 노래음성이 제외된 노래방 콘텐츠 제작자의 제작 반주음원을 칭하는 것으로, 대중가요, 가곡, 동요 및 해외 가요 등 다양한 MIDI 음원들이 저장될 수 있으며, 이하에서 설명하는 중앙제어부(600)의 명령에 의해 선택된 MIDI 음원이 추출되어 재생될 수 있다.
상기 AR음원부(200)는 원곡 AR(All Record) 데이터가 저장되는 것으로, 상기 원곡 AR은 원곡의 반주음원과 원곡 가수의 노래음성을 포함한다.
상기 녹음부(300)는 MIDI 음원과 마이크(10)를 통해 입력되는 사용자 노래음성을 녹음하여 녹음데이터로 저장한다.
이때, 상기 MIDI 음원은 상기 MIDI음원부(100)에 저장된 음원 데이터가 녹음부(300)로 직접 전송된 것이거나 또는 상기 스피커(30)를 통해 출력되는 MIDI 반주음이 상기 마이크(10)를 통해 입력되는 것일 수 있다.
상기 정규화변환부(400)는 상기 녹음부(300)와 연결되며 사용자의 모창 평가 시 상기 녹음부(300)에 저장된 녹음 데이터가 전송되며, 이때 평가 대상 음악에 해당되는 원곡 AR 데이터를 상기 AR음원부(200)로부터 제공받아 상기 녹음 데이터와 동시에 원곡 AR 데이터가 입력된다.
그리고 상기 정규화변환부(400)는 Normalized Transformation 기법을 통하여 상기 녹음 데이터와 원곡 AR 데이터를 시그널의 손실없이 비교 평가할 수 있도록 각각 주파수 신호로 변환하고 이러한 주파수 신호의 크기 및 형태를 적절하게 변환하여 기준 대상 및 비교 대상 주파수 신호를 상호 비교하고 평가하게 된다.
일 예로써, 상기 정규화변환부(400)는 입력된 녹음 데이터와 원곡 AR 데이터를 각각 소정의 기준에 따라 크기와 형태를 정규화시킨 비교 신호로 변환하도록 한다.
도 3 및 도 4를 참조하여 본 발명의 일 실시 예에 따른 정규화변환부(400)를 구체적으로 설명하면, 상기 정규화변환부(400)는 주파수 변환모듈(410), Time Sync 보정모듈(420), 주파수대역 분리모듈(430), 변환함수 추출모듈(440) 및 변환함수 적용모듈(450)을 포함하여 구성될 수 있다.
상기 주파수 변환모듈(410)은 상기 MIDI음원부(100)로부터 MIDI 음원 데이터(a), AR음원부(200)로부터 원곡 AR 데이터(b) 및 녹음부(300)로부터 녹음 데이터(c)를 전송받고 각각의 데이터를 주파수 단위의 신호(a-1, b-1, c-1)로 변환한다.
상기 Time Sync 보정모듈(420)은 상기 주파수 변환모듈(410)에서 변환된 주파수 신호(a-1, b-1, c-1)들을 전송받고, 각각의 주파수 신호(a-1, b-1, c-1)들을 상기 MIDI 음원 데이터에 대한 주파수 신호 기준(a-1)으로 Time Sync을 맞추도록 주파수 신호(b-2, c-2)를 보정한다.
즉, 상기 Time Sync 보정모듈(420)은 입력된 주파수 신호(a-1, b-1, c-1)들에 대하여 시간을 동기화하는 것으로, 그 기준을 상기 MIDI 음원 데이터에 대한 주파수 신호(a-1)를 대상으로 하여 원곡 AR 데이터에 대한 주파수 신호(b-1)와 녹음 데이터에 대한 주파수 신호(c-1)를 동기화시킴으로써 주파수 간의 비교 구간이 동일하게 이루어질 수 있도록 한다.
상기 주파수대역 분리모듈(430)은 상기 Time Sync 보정모듈(420)로부터 Time Sync된 주파수 신호(b-2, c-2)들을 전송받고 기설정된 주파수 대역에 따라 상기 주파수 신호(b-2, c-2)들의 분리한다.
구체적으로 상기 주파수대역 분리모듈(430)은 입력된 주파수 신호(b-2, c-2)에서 high 대역만을 분리하는 것으로, 이때 주파수의 high 대역은 사람의 목소리가 입력될 수 없는 8khz 에서 22khz 사이의 주파수 대역으로 설정된다.
즉, 직접적으로 비교 대상이 되는 원곡 AR의 가수 노래음성과 녹음 데이터의 사용자 노래음성은 사람의 목소리가 입력될 수 있는 0khz에서 8khz 미만 사이의 주파수 대역을 사용함으로 이러한 주파수 신호는 이하에서 설명하는 변환함수 추출모듈(440)을 우회하도록 하며 상기 high 대역의 주파수 신호만을 변환함수 추출 요소로 사용하도록 한다.
이렇게 주파수 대역이 분리된 주파수 신호(b-2-H, c-2-H)들은 변환함수를 추출하기 위하여 변환함수 추출모듈(440) 또는 변환함수가 적용되기 위한 변환함수 적용모듈(450)로 전송되며, 이중 high 대역의 주파수 신호(b-2-H, c-2-H)들은 변환함수의 추출에 활용된다.
상기 변환함수 추출모듈(440)은 상기 주파수대역 분리모듈(430)에서 high대역으로 분리된 주파수 신호(b-2-H, c-2-H)만을 입력받도록 하고 이들을 동일한 크기 및 형태의 주파수로 가공하는 과정을 통해 변환함수(TF)를 추출하게 된다.
상기 변환함수 적용모듈(450)은 상기 변환함수 추출모듈(440)에서 추출된 변환함수(TF)와 상기 주파수대역 분리모듈(430)에서 우회한 주파수 신호(b-2, c-2)들이 입력되며, 전대역의 주파수 신호(b-2, c-2)에 상기 변환함수(TF)를 적용시켜 입력된 주파수 신호(b-2, c-2)가 상기 변환함수(TF)에 의해 동일한 크기 및 형태를 갖도록 변환되며, 이렇게 비교 평가하기에 적절한 형태로 변환이 완료된 상기 주파수 신호(b-3, c-3)를 상기 비교평가부(500)로 전송한다.
한편, 상기 비교평가부(500)는 상술한 정규화변환부(400)에서 변환된 녹음 데이터에 대한 비교신호 즉 변환함수가 적용된 주파수 신호(c-3)와 원곡 AR 데이터에 대한 비교신호(b-3)를 전송받고 양 비교신호(b-3, c-3)를 비교 및 평가하여 스코어 데이터를 출력한다.
이때, 상기 비교평가부(500)는 주파수 신호를 비교 분석하고 상대적 결과에 따라 비교 대상이 되는 주파수 신호를 평가하여 스코어 데이터를 출력하는 것으로, 이는 공지 기술에 의해 다양하게 실시될 수 있는 바, 이에 대한 구체적인 설명은 생략한다.
이와 같이 본 발명에 따른 모창 평가 시스템은 비교를 위한 원곡 가수의 노래음성을 따로 추출할 필요가 없을뿐더러 비교기준 레퍼런스의 시그널 손실이 없어서 보다 높은 신뢰도를 가진 노래음성의 유사도를 평가할 수 있게 되는 것이다.
뿐만 아니라, 종래와는 달리 원곡의 AR 음원과의 비교 평가가 실시됨으로써 원곡 MR 파일이 불필요하여 노래음성 유사도평가를 수행함에 있어 모든 곡들이 가능하게 된다.
상기 중앙제어부(600)는 선택된 평가대상 음악에 대하여 상기 MIDI음원부(100)로부터 MIDI 음원을 추출하여 재생시키며 상기 비교평가부(500)의 스코어 데이터에 매칭되는 평가점수를 디스플레이하도록 제어한다.
그리고 상기 중앙제어부(600)는 선택된 상기 MIDI 음원을 재생하여 상기 스피커(30)로 출력시키기 위한 MIDI재생부(610)를 포함할 수 있다.
이러한 중앙제어부(600)는 도면에 도시된 바 없으나, 사용자 인터페이스를 포함한다. 상기 사용자 인터페이스는 평가 대상의 음악을 선택하거나 변경하는 등 사용자의 요청 명령을 입력하고 그에 대한 처리결과를 출력한다.
또한 상기 중앙제어부(600)는 저장부를 더 포함하여 구성될 수 있는 바, MIDI 음원 데이터에 대응하는 가사 텍스트, 이미지 및 동영상을 포함한 미디어 콘텐츠를 저장하며, 이러한 미디어 콘텐츠 중 적어도 하나 이상을 상기 평가점수와 함께 디스플레이할 수 있도록 함이 바람직하다.
상술한 본 발명에 따른 모창평가 시스템은 기존의 노래 반주기는 물론 어플리케이션 형태로 제작되어 스피커(30)와 디스플레이부(20)가 구비되는 휴대용 모바일기기 및 퍼스널컴퓨터에서도 구현 가능함은 당연하다.
도 5는 본 발명의 모창 평가 방법을 나타내는 순서도이다.
한편, 본 발명의 모창 평가 방법을 도 5를 참조하여 설명하면, 사용자는 평가 대상 음악을 중앙제어부(600)의 인터페이스를 통해 입력하면 상기 중앙제어부(600)는 선택된 음악에 해당되는 MIDI 음원 데이터를 상기 MIDI음원부(100)로부터 추출하고 이를 MIDI재생부(610)에서 재생시켜 스피커(30)를 통해 출력되도록 한다.(S100)
사용자는 스피커(30)를 통해 출력되는 MIDI 음원 데이터의 반주 음원에 맞춰 노래를 실시하게 되며, 녹음부(300)에서는 MIDI 음원과 함께 마이크(10)로 입력되는 사용자 노래음성을 녹음하여 녹음 데이터로 저장한다.
여기서, 상기 녹음부로 입력되는 MIDI 음원은 앞서 설명한 바와 같이 상기 MIDI 음원 데이터가 스피커(30)로 출력된 MIDI 반주음이 상기 마이크(10)를 통해 사용자 노래음성과 함께 입력되는 것이거나, 직접적으로 상기 MIDI음원부(100)에 저장된 MIDI 음원 데이터가 녹음부(300)로 전송된 것일 수 있다.(S200)
이렇게 저장된 녹음 데이터는 상기 정규화변환부(400)로 전송되는데, 이때 AR음원부(200)에서는 저장된 AR 데이터 중 평가 대상이 되는 음악에 해당되는 원곡 AR 데이터를 추출하여 이를 상기 녹음 데이터와 함께 상기 정규화변환부(400)로 전송한다.(S300)
상기 정규화변환부(400)에서는 상기 녹음 데이터와 원곡 AR 데이터를 각각 소정의 기준에 의해 크기와 형태를 정규화시킨 비교 신호로 변환하고 이를 비교평가부(500)로 전송한다.
여기서 본 발명의 일 실시 예에 따른 정규화변환부(400)의 데이터 변환 과정을 살펴보면, 먼저, 상기 주파수 변환모듈(410)에서 입력된 상기 녹음 데이터와 원곡 AR 데이터를 주파수 가공을 위해 주파수 단위로 변환을 실시한다.
이후 주파수 단위로 변환된 주파수 신호들은 상기 Time Sync 보정모듈(420)에서 MIDI 음원 데이터의 주파수 신호를 기준으로 Time Sync를 맞추는 과정을 실시한다.
즉, 상기 녹음 데이터 및 원곡 AR 데이터에 해당되는 주파수 신호를 상기 MIDI 음원 데이터에 해당되는 주파수 신호를 기준으로 시간 동기화를 실시함으로써 각각의 주파수 신호의 비교 대상 구간을 동일하게 맞추도록 한다.
이렇게 Time Sync 보정된 주파수 신호들은 주파수대역 분리모듈(430)로 전송되고, 상기 주파수대역 분리모듈(430)에서 상기 Time Sync 보정된 주파수 신호들을 기설정된 주파수 대역에 따라 분리하게 되는데 그 분리 대상은 사람의 목소리가 입력될 수 없는 8khz에서 22khz 사이의 high 대역으로 설정될 수 있다.
이후, 상기 high 대역에 해당되는 주파수 신호들은 상기 변환함수 추출모듈(440)로 전송되며, 상기 변환함수 추출모듈(440)에서는 high대역으로 분리된 주파수 신호들을 동일한 크기 및 형태를 만드는 과정을 수행함으로써 변환함수를 추출하게 된다.
상기 변환함수 추출모듈(440)을 통해 추출된 변환함수와 상기 변환함수 추출모듈(440)을 bypass한 주파수 신호들을 변환함수 적용모듈(450)로 전송하게 된다.
이후, 상기 변환함수 적용모듈(450)에서는 전대역의 주파수 신호에 상기 변환함수를 적용시켜 비교 평가하기에 적절한 형태로 가공된 주파수 신호를 상기 비교평가부(500)로 전송하게 된다.(S400)
한편, 상기 비교평가부(500)에서 상기 비교 신호 즉 상기 변환함수 적용모듈(450)로부터 가공된 주파수 신호들을 비교 및 평가하여 유사도를 측정하고 측정한 유사도에 따라 스코어 데이터를 출력한다.(S500)
그리고, 상기 중앙제어부(600)에서 상기 비교평가부(500)에서 출력된 스코어 데이터에 매칭되는 평가점수를 산출하고 이를 디스플레이하는데, 이때 상기 중앙 제어부(600)에서는 선택된 MIDI 음원 데이터에 대응하는 텍스트, 이미지 및 동영상을 포함한 미디어 콘텐츠 중 어느 하나를 저장부로부터 추출하여 상기 평가점수와 함께 디스플레이하게 된다.(S600)
이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정해져야만 할 것이다.
10 : 마이크 20 : 디스플레이부
30 : 스피커 100 : MIDI음원부
200 : AR음원부 300 : 녹음부
400 : 정규화변환부 410 : 주파수 변환모듈
420 : Time Sync 보정모듈 430 : 주파수대역 분리모듈
440 : 변환함수 추출모듈 450 : 변환함수 적용모듈
500 : 비교평가부 600 : 중앙제어부
610 : MIDI재생부

Claims (9)

  1. (a) 선택된 MIDI 음원 데이터를 재생하여 스피커로 출력하는 단계;
    (b) MIDI 음원과 마이크로 입력되는 사용자 노래음성을 녹음하여 녹음 데이터로 저장하는 단계;
    (c) 상기 녹음 데이터와 원곡의 AR 데이터를 정규화변환부로 입력하는 단계;
    (d) 상기 정규화변환부에서 상기 녹음데이터와 원곡 AR 데이터를 각각 소정의 기준에 의해 크기와 형태를 정규화시킨 비교 신호로 변환하고 이를 비교평가부로 전송하는 단계;
    (e) 상기 비교평가부에서 상기 비교 신호들을 비교 및 평가하여 유사도를 측정하고 측정한 유사도에 따라 스코어 데이터를 출력하는 단계; 및
    (f) 상기 스코어 데이터에 매칭되는 평가점수를 디스플레이하는 단계;를 포함하는 것을 특징으로 하는 모창 평가 방법.
  2. 제 1항에 있어서,
    상기 (d) 단계는
    주파수 변환모듈에서 상기 녹음 데이터와 원곡 AR 데이터를 주파수 가공을 위해 주파수 단위로 변환하는 단계;
    주파수 단위로 변환된 주파수 신호들을 Time Sync 보정모듈에서 상기 MIDI 음원 데이터의 주파수 신호 기준으로 Time Sync를 맞추는 단계;
    주파수대역 분리모듈에서 Time Sync된 주파수 신호들을 입력받고 기설정된 high 대역의 주파수 신호들을 분리하는 단계;
    변환함수 추출모듈에서 상기 high대역으로 분리된 주파수 신호를 입력받고 이를 같은 크기 및 형태를 만드는 과정을 통해 변환함수를 추출하는 단계; 및
    상기 변환함수 추출모듈을 통해 추출된 변환함수와 상기 주파수 신호들을 변환함수 적용모듈로 전송하며, 전대역의 주파수 신호에 상기 변환함수를 적용시켜 상기 비교평가부로 전송하는 단계;를 포함하는 것을 특징으로 하는 모창 평가 방법.
  3. 제 2항에 있어서,
    상기 주파수대역 분리모듈에서
    상기 high 대역은 목소리가 입력될 수 없는 8khz에서 22khz 사이의 주파수 대역인 것을 특징으로 하는 모창 평가 방법.
  4. 제 1항에 있어서,
    상기 (f) 단계에서는
    상기 중앙제어부에서 상기 선택된 MIDI 음원 데이터에 대응하는 텍스트, 이미지 및 동영상을 포함한 미디어 콘텐츠 중 어느 하나를 저장부에서 추출하여 상기 평가점수와 함께 디스플레이하는 것을 특징으로 하는 모창 평가 방법.
  5. 사용자 노래음성을 입력하는 마이크와 평가점수를 디스플레이하는 디스플레이부 및 MIDI 음원과 사용자 노래음성을 출력하는 스피커를 포함하는 모창 평가 시스템에 있어서,
    MIDI 음원 데이터가 저장된 MIDI음원부;
    원곡 AR 데이터가 저장된 AR음원부;
    MIDI 음원과 마이크를 통해 입력되는 사용자 노래음성을 녹음하여 녹음데이터로 저장하는 녹음부;
    상기 녹음부에 저장된 녹음 데이터와 상기 AR음원부에 저장된 원곡 AR 데이터를 전송받고 이를 소정의 기준에 의해 크기와 형태를 정규화시킨 비교신호로 변환하는 정규화변환부;
    상기 정규화변환부에서 변환된 녹음 데이터에 대한 비교신호와 원곡 AR 데이터에 대한 비교신호를 전송받고 양 비교신호를 비교 및 평가하여 스코어 데이터를 출력하는 비교평가부; 및
    선택된 평가대상 노래에 대하여 상기 MIDI음원부로부터 MIDI 음원을 추출하여 재생시키며 상기 비교 평가부의 스코어 데이터에 매칭되는 평가점수를 디스플레이하도록 제어하는 중앙제어부;를 포함하는 것을 특징으로 하는 모창 평가 시스템.
  6. 제 5항에 있어서,
    상기 중앙제어부는
    선택된 상기 MIDI 음원을 재생하여 상기 스피커로 출력시키기 위한 MIDI 재생부를 포함하는 것을 특징으로 하는 모창 평가 시스템.
  7. 제 5항에 있어서,
    상기 중앙제어부는
    MIDI 음원 데이터에 대응하는 가사 텍스트, 이미지 및 동영상을 포함한 미디어 콘텐츠를 저장하는 저장부를 포함하는 것을 특징으로 하는 모창 평가 시스템.
  8. 제 5항에 있어서,
    상기 정규화변환부는
    상기 MIDI음원부의 MIDI 음원 데이터, AR음원부의 원곡 AR 데이터 및 녹음부의 녹음 데이터를 전송받고 각각의 데이터를 주파수 단위의 신호로 변환하는 주파수 변환모듈;
    상기 주파수 변환모듈에서 변환된 주파수 신호들을 전송받고, 각각의 주파수 신호들을 MIDI 음원 데이터에 대한 주파수 신호 기준으로 Time Sync을 맞추도록 주파수 신호를 보정하는 Time Sync 보정모듈;
    Time Sync된 주파수 신호들을 전송받고 기설정된 high 대역의 주파수 신호들을 분리하는 주파수대역 분리모듈;
    상기 주파수대역 분리모듈에서 high대역으로 분리된 주파수 신호만을 입력받고 이를 동일한 크기 및 형태를 만드는 과정을 통해 변환함수를 추출하는 변환함수 추출모듈; 및
    상기 변환함수 추출모듈에서 추출된 변환함수와 상기 주파수대역 분리모듈에서 우회한 주파수 신호들이 입력되며 전대역의 주파수 신호에 상기 변환함수를 적용시켜 가공된 주파수 신호를 상기 비교평가부로 전송하는 변환함수 적용모듈;을 포함하는 것을 특징으로 하는 모창 평가 시스템.
  9. 제 8항에 있어서,
    상기 주파수대역 분리모듈에서
    상기 high 대역은 목소리가 입력될 수 없는 8khz에서 22khz 사이의 주파수 대역인 것을 특징으로 하는 모창 평가 시스템.
KR1020130094819A 2013-08-09 2013-08-09 모창 평가 방법 및 시스템 KR20150018194A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130094819A KR20150018194A (ko) 2013-08-09 2013-08-09 모창 평가 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130094819A KR20150018194A (ko) 2013-08-09 2013-08-09 모창 평가 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20150018194A true KR20150018194A (ko) 2015-02-23

Family

ID=53046719

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130094819A KR20150018194A (ko) 2013-08-09 2013-08-09 모창 평가 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR20150018194A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018236015A1 (ko) * 2017-06-20 2018-12-27 한국과학기술원 가창 표현 이식 시스템
KR20180138129A (ko) * 2018-05-11 2018-12-28 한국과학기술원 가창 표현 이식 시스템
US20220277763A1 (en) * 2019-08-05 2022-09-01 National University Of Singapore System and method for assessing quality of a singing voice

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018236015A1 (ko) * 2017-06-20 2018-12-27 한국과학기술원 가창 표현 이식 시스템
US10885894B2 (en) 2017-06-20 2021-01-05 Korea Advanced Institute Of Science And Technology Singing expression transfer system
KR20180138129A (ko) * 2018-05-11 2018-12-28 한국과학기술원 가창 표현 이식 시스템
US20220277763A1 (en) * 2019-08-05 2022-09-01 National University Of Singapore System and method for assessing quality of a singing voice
US11972774B2 (en) * 2019-08-05 2024-04-30 National University Of Singapore System and method for assessing quality of a singing voice

Similar Documents

Publication Publication Date Title
US9847078B2 (en) Music performance system and method thereof
EP3224834B1 (en) Apparatus and method for generating visual content from an audio signal
US20160071429A1 (en) Method of Presenting a Piece of Music to a User of an Electronic Device
JP2004212473A (ja) カラオケ装置及びカラオケ再生方法
KR101944365B1 (ko) 콘텐츠 싱크 생성 방법, 그 장치 및 이를 위한 인터페이스 모듈
JP5151245B2 (ja) データ再生装置、データ再生方法およびプログラム
KR20150018194A (ko) 모창 평가 방법 및 시스템
JP2007264569A (ja) 検索装置、制御方法及びプログラム
JP2008047998A (ja) 動画再生装置及び動画再生方法
JP4327165B2 (ja) 楽曲再生装置
JP2022191521A (ja) 録音再生装置、録音再生装置の制御方法及び制御プログラム並びに電子楽器
JP2012018282A (ja) 演奏ファイル管理装置、演奏ファイル再生装置および演奏ファイル再生方法
JP6406273B2 (ja) カラオケ装置，及びプログラム
JP4595948B2 (ja) データ再生装置、データ再生方法およびプログラム
JP2014066922A (ja) 楽曲演奏装置
KR200447608Y1 (ko) 디에스피를 이용한 가라오케용 고음질 멀티채널 오디오 시스템
JP4994890B2 (ja) 録音した自分の歌声と模範歌唱とを厳しく比較できるカラオケ装置
JP5193654B2 (ja) デュエットパート歌唱生成システム
JP5338312B2 (ja) 自動演奏同期装置、自動演奏鍵盤楽器およびプログラム
JP4553013B2 (ja) カラオケ装置
KR102524870B1 (ko) 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치 및 방법과, 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록매체
KR102181618B1 (ko) 모바일기기의 노래 동영상콘텐츠의 생성 방법과 애플리케이션 및 그에 적용된 반주기의 운영 방법
WO2021157615A1 (ja) 音声補正装置、歌唱システム、音声補正方法、およびプログラム
JP2009244790A (ja) 歌唱指導機能を備えるカラオケシステム
WO2009002195A2 (en) Integrated television karaoke device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application