KR101094687B1 - 노래학습 기능을 갖는 노래방 시스템 - Google Patents
노래학습 기능을 갖는 노래방 시스템 Download PDFInfo
- Publication number
- KR101094687B1 KR101094687B1 KR1020080037008A KR20080037008A KR101094687B1 KR 101094687 B1 KR101094687 B1 KR 101094687B1 KR 1020080037008 A KR1020080037008 A KR 1020080037008A KR 20080037008 A KR20080037008 A KR 20080037008A KR 101094687 B1 KR101094687 B1 KR 101094687B1
- Authority
- KR
- South Korea
- Prior art keywords
- song
- user
- unit
- delete delete
- data
- Prior art date
Links
- 230000006870 function Effects 0.000 claims abstract description 51
- 230000000694 effects Effects 0.000 claims abstract description 7
- 238000001228 spectrum Methods 0.000 claims description 114
- 238000000034 method Methods 0.000 claims description 79
- 230000008569 process Effects 0.000 claims description 53
- 238000005259 measurement Methods 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 27
- 238000010183 spectrum analysis Methods 0.000 claims description 25
- 238000013500 data storage Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 230000005236 sound signal Effects 0.000 claims description 15
- 230000003595 spectral effect Effects 0.000 claims description 14
- 230000007423 decrease Effects 0.000 claims description 8
- 238000002156 mixing Methods 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 230000003111 delayed effect Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000007726 management method Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 4
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 238000013075 data extraction Methods 0.000 claims 1
- 239000011295 pitch Substances 0.000 description 134
- 238000010586 diagram Methods 0.000 description 27
- 239000013598 vector Substances 0.000 description 10
- 238000003780 insertion Methods 0.000 description 9
- 230000037431 insertion Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 7
- 230000007704 transition Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000003139 buffering effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000011524 similarity measure Methods 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 241001342895 Chorus Species 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000009527 percussion Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000001020 rhythmical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q99/00—Subject matter not provided for in other groups of this subclass
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B31/00—Arrangements for the associated working of recording or reproducing apparatus with related apparatus
- G11B31/02—Arrangements for the associated working of recording or reproducing apparatus with related apparatus with automatic musical instruments
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Multimedia (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
본 발명은 노래방 시스템에 관한 것으로, 특히 노래를 소절단위 또는 일정한 길이만큼씩 반복해서 듣고 또한 반주음에 따라 부를 수 있도록 하는 노래 학습 기능을 갖는 노래방 시스템에 관한 것이다.
본 발명에서는 전체 또는 소절별로 가수 노래를 일정단위로 사용자의 요구에 의해서 반복 재생하도록 하여, 사용자가 노래를 부르기 힘든 소절을 충분히 편리하게 연습할 수 있도록 하며, 또한 본 발명은 소절단위로 점수를 표시할 수 있도록 함으로써, 사용자가 어느 소절을 잘못 부르고 있다는 것을 인식시킬 수 있도록 하여 해당 부분을 상기에서와 같은 기능을 이용하여 집중적으로 연습할 수 있도록 함으로써, 사용자의 흥미를 배가시킬 수 있도록 함은 물론 효율적인 학습이 이루어질 수 있도록 한 것이다. 또한 본 발명은 프로그램 설정모드(노래학습모드, 모창 모드)에 따라서 그 점수 계산하는 방식을 달리하여 사용자의 흥미를 유도하고, 목적에 따른 학습효과를 증가시킬 수 있도록 한 것이다.
노래방, 노래연습, 노래반주, 노래점수, 모창, 신곡연습
Description
본 발명은 노래방 시스템에 관한 것으로, 특히 노래를 소절단위 또는 일정한 길이만큼씩 반복해서 듣고 또한 반주음을 따라 부를 수 있도록 하는 노래 학습 기능을 갖는 노래방 시스템에 관한 것이다.
컴퓨팅기술의 발전과 더불어 멀티미디어 기술의 발전은 다양한 형태의 미디어 서비스가 가능하게 하고, 또한 그로 인한 비즈니스 모델이 가능하게 하고 있다.
특히 음원, 동영상과 같은 콘텐트에 대한 편집 및 스트림 서비스 등 다양한 형태로 발전하고 있으며, PC를 기본으로 사용자 휴대용 단말장치를 통해서도 다양한 형태의 서비스를 제공받을 수 있도록 하고 있다.
이 중 하나가 사용자들에게 제공되는 노래반주시스템(노래방 시스템)이며, 이를 통해 사용자들이 가수의 노래를 연습할 수 있도록 하는 노래연습 시스템이 구현되고 있다.
이러한 기술의 하나로 종래 컴퓨터 가요 반주시스템의 신곡연습 제어방법(특허등록 제 0283800 호)이 있다.
여기서, 제시되는 상기 신곡연습 제어방법은 범용 미디 가요반주 시스템에 신곡의 가수 목소리만을 따로 별도의 오디오트랙에 저장하여 보관하고 있다가
사용자의 신곡연습 선택에 따라서 가수목소리 웨이브 또는 노래반주음의 재생이 선택적으로 이루어질 수 있도록 하는 것으로, 사용자가 신곡연습키이를 눌러서 노래를 재생한 경우에는 "가수목소리 웨이브"를 반주음과 함께 스피커로 내보내고 신곡 연습 키이가 눌리지 않고 재생한 경우에는 "코러스웨이브" 데이터를 함께 스피커로 내보내도록 하고 있다.
신곡을 연습하고자하는 사용자는 신곡 리스트에 올라와 있는 곡(가수 목소리가 별도 트랙에 존재하는 곡)중에서 선택하여 가수 목소리가 있는 노래를 들으면서 연습하도록 하고 있다.
그러나 이러한 방법에 따르면, 전곡에 대해서 따라 연습할 뿐이어서, 각 부분별로 부족한 부분을 따로 연습하거나, 자신의 연습된 부분을 선택하여 들어볼 수 없어서, 실질적인 노래 연습이 이루어진다고 보기 어렵다.
또한 이러한 방법을 구현하고자 하는 경우 가수의 목소리만을 따로 오디오트랙으로 저장된 정보가 있어야만 한다.
이는 가수의 목소리만을 따로 갖고 있어야하는 것으로, 신곡인 경우에는 노래 제작시 노래연습용으로 가수의 목소리만을 따로 저장해서 이용하면 되지만, 과거에 출시된 음반에서 가수의 목소리만을 따로 구분해내는 것은 복잡한 프로세스를 필요로 한다.
특히 음원, 동영상과 같은 콘텐트에 대한 편집 및 스트림 서비스 등 다양한 형태로 발전하고 있으며, PC를 기본으로 사용자 휴대용 단말장치를 통해서도 다양한 형태의 서비스를 제공받을 수 있도록 하고 있다.
이 중 하나가 사용자들에게 제공되는 노래반주시스템(노래방 시스템)이며, 이를 통해 사용자들이 가수의 노래를 연습할 수 있도록 하는 노래연습 시스템이 구현되고 있다.
이러한 기술의 하나로 종래 컴퓨터 가요 반주시스템의 신곡연습 제어방법(특허등록 제 0283800 호)이 있다.
여기서, 제시되는 상기 신곡연습 제어방법은 범용 미디 가요반주 시스템에 신곡의 가수 목소리만을 따로 별도의 오디오트랙에 저장하여 보관하고 있다가
사용자의 신곡연습 선택에 따라서 가수목소리 웨이브 또는 노래반주음의 재생이 선택적으로 이루어질 수 있도록 하는 것으로, 사용자가 신곡연습키이를 눌러서 노래를 재생한 경우에는 "가수목소리 웨이브"를 반주음과 함께 스피커로 내보내고 신곡 연습 키이가 눌리지 않고 재생한 경우에는 "코러스웨이브" 데이터를 함께 스피커로 내보내도록 하고 있다.
신곡을 연습하고자하는 사용자는 신곡 리스트에 올라와 있는 곡(가수 목소리가 별도 트랙에 존재하는 곡)중에서 선택하여 가수 목소리가 있는 노래를 들으면서 연습하도록 하고 있다.
그러나 이러한 방법에 따르면, 전곡에 대해서 따라 연습할 뿐이어서, 각 부분별로 부족한 부분을 따로 연습하거나, 자신의 연습된 부분을 선택하여 들어볼 수 없어서, 실질적인 노래 연습이 이루어진다고 보기 어렵다.
또한 이러한 방법을 구현하고자 하는 경우 가수의 목소리만을 따로 오디오트랙으로 저장된 정보가 있어야만 한다.
이는 가수의 목소리만을 따로 갖고 있어야하는 것으로, 신곡인 경우에는 노래 제작시 노래연습용으로 가수의 목소리만을 따로 저장해서 이용하면 되지만, 과거에 출시된 음반에서 가수의 목소리만을 따로 구분해내는 것은 복잡한 프로세스를 필요로 한다.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
본 발명에서는 전체 또는 소절별로 가수 노래를 일정단위로 사용자의 요구에 의해서 반복 재생하도록 하여, 사용자가 노래를 부르기 힘든 소절을 충분히 편리하게 연습할 수 있도록 한 것이다.
또한 본 발명은 소절단위로 점수를 표시할 수 있도록 함으로써, 사용자가 어느 소절을 잘못 부르고 있다는 것을 인식시킬 수 있도록 하여 해당 부분을 상기에서와 같은 기능을 이용하여 집중적으로 연습할 수 있도록 함으로써, 사용자의 흥미를 배가시킬 수 있도록 함은 물론 효율적인 학습이 이루어질 수 있도록 한 것이다.
또한 본 발명은 프로그램 설정모드(노래학습모드, 모창 모드)에 따라서 그 점수 계산하는 방식을 달리하여 사용자의 흥미를 유도하고, 목적에 따른 학습효과를 증가시킬 수 있도록 한 것이다.
또한 본 발명은 녹음기능을 제공하며, 녹음기능을 설정함에 있어서, 전체부분 또는 각 소절부분마다를 사용자가 지정할 수 있도록 하여 녹음모드를 진행할 수 있도록 하며, 소절단위로 녹음된 곡을 연결시켜 전체 곡으로 완성시킬 수 있도록 하는 기능을 제공하여 다양하게 사용자가 노래학습에 이용할 수 있도록 한 것이다.
또한 본 발명은 소절단위로 점수를 표시할 수 있도록 함으로써, 사용자가 어느 소절을 잘못 부르고 있다는 것을 인식시킬 수 있도록 하여 해당 부분을 상기에서와 같은 기능을 이용하여 집중적으로 연습할 수 있도록 함으로써, 사용자의 흥미를 배가시킬 수 있도록 함은 물론 효율적인 학습이 이루어질 수 있도록 한 것이다.
또한 본 발명은 프로그램 설정모드(노래학습모드, 모창 모드)에 따라서 그 점수 계산하는 방식을 달리하여 사용자의 흥미를 유도하고, 목적에 따른 학습효과를 증가시킬 수 있도록 한 것이다.
또한 본 발명은 녹음기능을 제공하며, 녹음기능을 설정함에 있어서, 전체부분 또는 각 소절부분마다를 사용자가 지정할 수 있도록 하여 녹음모드를 진행할 수 있도록 하며, 소절단위로 녹음된 곡을 연결시켜 전체 곡으로 완성시킬 수 있도록 하는 기능을 제공하여 다양하게 사용자가 노래학습에 이용할 수 있도록 한 것이다.
삭제
삭제
삭제
본 발명은 노래 연습을 위한 반주음(MR) 및 가수노래(AR) 데이터가 저장되는 콘텐트 저장수단과, 사용자가 곡 선택 및 재생/녹음 제어에 관련한 사용자의 키이입력을 위한 키이입력수단과, 사용자의 노래연습시의 사용자의 노래 데이터가 저장 되는 녹음데이터 저장수단과, 가사 자막 및 점수 등과 같이 텍스트로 표시되는 자막을 표시수단에 처리하기 위한 문자표시제어수단과, 가사, 점수, 노래연습에 필요한 화면을 표시하기 위한 표시수단과, 콘텐트 저장수단에 저장된 반주음, 가수노래의 출력 위해 디지털 신호를 아날로그신호로 변경 또는 마이크로 입력된 사용자의 음성 아날로그 신호를 디지털신호로 변경하기 위한 오디오 변환코덱과, 사용자의 음성을 전기적인 신호로 변환하기 위한 마이크와, 소정의 정해진 네트워크상에 접속하기 위한 네트워크 인터페이스와, 사용자의 선택에 따라 반주음 또는 가수노래를 제공하고, 사용자의 노래연습 을 위한 재생/녹음에 따른 일련의 제어 프로세스를 제공하는 제어수단을 포함하여 구성되는 것을 특징으로 하며, 상기 제어수단은 노래 연습을 위한 동작모드를 설정하기 위한 프로세스를 제공하고 사용자가 선택한 동작모드가 저장되는 모드설정수단과, 노래연습시 사용자의 연습결과에 대하여 점수를 산정하기 위한 점수연산수단과, 모드설정수단에 설정된 환경설정값에 따라 콘텐트저장수단에 저장된 반주음 또는 가수노래를 재생/녹음 제어하는 노래연습제어수단을 포함하여 구성되는 것을 특징으로 한다.
본 발명에 따르면, 사용자의 필요에 따라서 가수 노래와 반주음을 번갈아가면서 소절단위로 반복적인 연습이 가능하며, 노래교육 또는 모창연습 등의 목적에 따라 효과적인 노래학습이 가능하여 특히 신곡과 같은 노래를 손쉽게 사용자가 학습할 수 있는 효과가 있다.
소절단위의 점수 산정이 가능하여 사용자가 취약한 부분을 손쉽게 판단할 수 있음은 물론 녹음기능에 따라서 전체 또는 소절단위의 녹음을 통해 자신의 노래학습정도를 객관적으로 판단할 수 있어, 사용자의 흥미를 증가시킬 수 있다.
또한 사용자가 선택적으로 소절단위의 녹음이 가능하도록 하고, 또한 녹음된 곡들을 하나의 전체곡으로 연결시킬 수 있도록 하여, 사용자의 흥미를 배가시킬 수 있도록 한다.
소절단위의 점수 산정이 가능하여 사용자가 취약한 부분을 손쉽게 판단할 수 있음은 물론 녹음기능에 따라서 전체 또는 소절단위의 녹음을 통해 자신의 노래학습정도를 객관적으로 판단할 수 있어, 사용자의 흥미를 증가시킬 수 있다.
또한 사용자가 선택적으로 소절단위의 녹음이 가능하도록 하고, 또한 녹음된 곡들을 하나의 전체곡으로 연결시킬 수 있도록 하여, 사용자의 흥미를 배가시킬 수 있도록 한다.
삭제
삭제
본 발명의 구성을 첨부된 도면에 도시된 실시 예를 참조하여 상세히 설명하면 다음과 같다.
도 1은 본 발명 노래 학습 시스템의 제 1실시 예 구성을 나타낸다.
노래 연습을 위한 반주음(MR) 및 가수노래(AR) 데이터가 저장되는 콘텐트 저장부(100)와,
사용자가 곡 선택 및 재생/녹음 제어에 관련한 사용자의 키이입력을 위한 키이입력부(200)와,
사용자의 노래연습시의 사용자의 노래 데이터가 저장되는 녹음데이터 저장부(300)와,
가사 자막 및 점수 등과 같이 텍스트로 표시되는 자막을 표시부(500)에 처리하기 위한 문자표시제어부(400)와,
가사, 점수, 노래연습에 필요한 화면을 표시하기 위한 표시부(500)와,
콘텐트 저장부(100)에 저장된 반주음, 가수노래의 출력 위해 디지털 신호를 아날로그신호로 변경 또는 마이크(700)로 입력된 사용자의 음성 아날로그 신호를 디지털신호로 변경하기 위한 오디오 변환코덱(600)과,
사용자의 음성을 전기적인 신호로 변환하기 위한 마이크(700)와,
소정의 정해진 네트워크상에 접속하기 위한 네트워크 인터페이스(800)와,
사용자의 선택에 따라 반주음 또는 가수노래를 제공하고, 사용자의 노래연습 을 위한 재생/녹음에 따른 일련의 제어 프로세스를 제공하는 제어부(900)를 포함하여 구성된다.
상기 콘텐트 저장부(100)는 반주음이 저장된 반주음저장부(110)와, 가수노래가 포함된 반주음이 포함된 가수노래저장부(120)를 포함하여 구성된다.
그리고 상기 제어부(900)는 노래 연습을 위한 동작모드를 설정하기 위한 프로세스를 제공하고 사용자가 선택한 동작모드가 저장되는 모드설정부(910)와, 노래연습시 사용자의 연습결과에 대하여 점수를 산정하기 위한 점수연산부(920)와, 모드설정부(910)에 설정된 환경설정값에 따라 콘텐트저장부(100)에 저장된 반주음 또는 가수노래를 재생/녹음 제어하는 노래연습제어부(930)를 포함하여 구성된다.
그리고 상기 점수연산부(920)는 노래연습제어부(930)로부터 반주음 데이터에 포함되어 있는 가사자막표시를 위한 자막시간정보로부터 계산되는 시간동기정보를 기준으로 하여 콘텐츠제공자가 미리 각 반주음에 맞춰서 제공한 콘텐트 데이터내에 노래음정정보로 부터 기준음정정보를 추출하는 음정데이터 추출부(921)와,
상기 시간동기정보를 기준으로 하여 마이크(700)를 통해 입력된 사용자의 음성을 스펙트럼 분석하는 제 1스펙트럼 분석부(922)와,
가수노래데이터로부터 가수목소리 데이터를 추출하는 목소리추출부(923)와,
목소리추출부(923)로부터 추출된 목소리에 대하여 스펙트럼 분석하는 제 2스펙트럼 분석부(924)와,
상기 음정데이터추출부(921)로부터 기준음정정보를 입력받고, 제 1스펙트럼분석부(922)로부터 분석된 사용자 음정정보와의 비교 및 가사반전정보로부터 박자를 확인하여 노래학습 점수를 연산하는 노래학습점수연산부(925)와,
상기 가수노래데이터로부터 분석된 제 2스펙트럼분석부(924)의 기준스펙트럼정보와 사용자의 음성이 스펙트럼 분석된 제 1스펙트럼 분석부(922)의 사용자 음색을 비교하고, 가사반전정보로부터 박자를 확인하여 모창점수를 계산하는 모창점수연산부(926)를 포함하여 구성되고,
상기 노래학습점수연산부(925)는 상기 음정데이터추출부(921)로부터 기준음정정보를 입력받고, 제 1스펙트럼분석부(922)로부터 분석된 사용자 음정정보를 입력받아 기준음정정보와 사용자 음정정보를 비교하여 음정정확도를 측정하는 음정정확도측정부(925a)와, 이전 음정데이터를 저장하며 저장된 이전 과거의 음정데이터와 현재 제 1스펙트럼분석부(922)로부터 입력된 스펙트럼 분석정보와의 비교를 통해 음정추이를 계산하고 계산된 음정추이를 기준정보로 하여 사용자가 부른노래의 음정변화추이간의 유사한 정도를 측정하는 음정추이유사도 측정부(925b)와, 가사반전시간정보와 실제 입력되는 사용자의 입력데이터를 비교하여 박자점수를 계산하는 박자점수측정부(925c)와, 상기 음정정확도측정부(925a)와 음정추이유사도측정부(925b) 및 박자점수측정부(925c)의 점수산출값을 합산하여 노래학습점수를 산출하기 위한 합산기(925d)와 합산기(925d)를 통해 각 소절단위의 순간점수를 이용하여 모드설정부(910)에 설정된 환경설정값에 따라 점수를 연산 제공하는 점수제공부(925e)를 포함하여 구성된다.
상기 모창점수연산부(926)는 가수노래로부터 추출된 가수목소리에 대한 제 2스펙트럼 분석부(924)의 스펙트럼 분석정보를 기준스펙트럼 정보로 입력받고, 제 1스펙트럼 분석부(922)의 사용자의 음성에 대한 스펙트럼 정보를 입력받아 음색 유사도를 측정하는 음색유사도 측정부(926a)와, 제 1스펙트럼분석부(922)로부터 입력된 스펙트럼 분석정보와의 비교를 통해 음색추이를 계산하고 계산된 음색추이를 기준정보로 하여 사용자가 부른 노래의 음색 추이간의 유사도 정도를 측정하는 음색추이유사도 측정부(926b)와, 가사반전시간정보와 실제 입력되는 사용자의 입력데이터를 비교하여 박자점수를 계산하는 박자점수측정부(926c)와, 상기 음색유사도측정부(926a)와 음색추이유사도측정부(926b) 및 박자점수측정부(926c)의 점수산출값을 합산하여 노래학습점수를 산출하기 위한 합산기(926d)와, 합산기(926d)를 통해 각 소절단위의 순간점수를 이용하여 모드설정부(910)에 설정된 환경설정값에 따라 점수를 연산 제공하는 점수제공부(926e)를 포함하여 구성된다.
이와 같은 본 발명 노래방 시스템에서는, 반주음(AR)과 반주음에 가수목소리가 포함된 가수노래(MR) 콘텐트를 로컬(local) 시스템에 저장하여 사용하는 시스템이다.
콘텐트 저장부(100)는 CD(컴팩트디스크), 하드디스크 등 네트워크의 도움을 받지 않고 독자적으로 저장할 수 있는 저장수단을 의미한다.
콘텐트 저장부(100)는 반주음(MR;Music Recorded), 가수노래(AR; All Recorded)가 저장되며, MR과 AR은 미디(MIDI) 포맷이 아닌 디지털 음원(MP3, AAC, WMA, MP2, AC3 등)을 이용한다.
도 2에서와 같이, 반주음과 가수노래가 포함된 반주음을 각기 달리 구성하지 않고, 하나의 통합된 파일로 구성할 수 있다.
도2는 로컬에 저장된 콘텐츠서비스의 효율성 및 저장 관리의 효율성을 위해서 반주음과 가수노래 데이터를 하나의 파일로 만들어 새로운 통합 파일 형태로 저장시키기 위한 통합파일 구조를 나타낸다.
통합파일은 가수노래(AR) 데이터와 반주음 데이터(MR), 노래자막 데이터를 하나의 파일로 관리하기 위해서 구성된 것이다.
통합파일임을 알려주는 통합파일헤더가 위치하고, 노래자막 데이터, AR데이터, MR 데이터, 음정정보 데이터가 구성된다.
통합파일헤더에는 통합파일 헤더 이후의 데이터에 대한 포인터 값과 데이터 길이 정보 등이 포함된다.
이 정보를 이용하여 노래자막 데이터, AR데이터, MR 데이터, 음정정보 데이터가 통합 파일내에 존재하고 있는 위치를 알 수 있다.
여기서 사용되는 반주음(MR)과 가수노래(AR)는 노래의 동기를 일치시켜 주는 것이 좋다.
즉, 반주음과 가수노래를 동시에 재생했을 때 중간에 둘 중에 어느 하나를 선택해도 음의 끊김이나 반복됨이 없이 진행되기 위해서는 사용되는 반주음(MR)과 가수노래 반주음(AR)은 노래의 동기를 일치시켜 주어야 한다.
이렇게 구현했을 때 노래가사에 대한 정보를 각 각에 대하여 구성할 필요없이 반주음과 가수노래에 대하여 가사정보를 하나로 구성할 수 있다.
즉 반주음에 맞는 노래 가사정보, 가수노래에 맞는 노래가사정보를 별도로 구분하여 구성할 필요가 없다.
노래가사정보는 노래가사가 노래를 시작하고 언제 해당 가사를 화면에 표시해야하는지에 대한 시간 정보를 갖고 있다.
사용되는 반주음(MR)과 가수노래(AR)의 동기가 일치하지 않는 경우에는 별도의 자막정보를 반주음(MR)과 가수노래(AR)용 노래가사정보를 따로 구성해야한다.
보통 노래가사가 시작되는 시간이 반주음(MR) 과 가수노래(AR)가 다를 수 있기 때문에 소절단위의 반복을 원활하게 하기 위해서, 사용되는 노래가사정보에는 최소한 라인 단위 노래자막 데이터와 각 라인 단위 노래자막의 시작과 끝 시간에 대한 정보를 갖고 있어야 한다.
또한 가수노래(AR) 데이터 중에 많은 데이터가 별도의 노래자막데이터가 없을 수 있다.
이런 경우 가수노래(AR) 데이터에 맞는 노래자막의 라인단위 시작시간을 나타내는 시간정보만을 별도로 구성하여 소절반복에 사용할 수 있다.
상기와 같은 노래방 시스템은 PC(Personal Computer) 뿐 만 아니라 일반적으로 소프트웨어를 이용하여 시스템을 구현할 수 있는 핸드폰, 네비게이션, MP3 플레이어, PDA, PMP(Portable Multimedia Player),CD 플레이어, DVD플레이어 IPTV 셋탑박스 등에 적용 가능하다.(핸드 헬드시스템에서의 구현은 이후 본 발명의 다른 실시 예에서 설명하기로 한다.)
키이입력부(200)는 노래연습을 위해 사용자가 소정한 키이를 선택하기 위한 수단으로 곡선정 및 모드 선택 등 사용자 선택을 위한 수단이다.
문자표시제어부(400)는 가수노래나 반주음이 재생될 때, 해당하는 가사를 LCD 또는 TV와 같은 표시부(500)에 나타내기 위한 수단이다.
녹음데이터 저장부(300)는 사용자의 연습 상황 즉 사용자의 음성에 대한 녹음 데이터를 저장하기 위한 수단이며, 녹음데이터 저장부에는 선택된 반주음 과 함께 사용자의 녹음 데이터가 파일형태로 저장된다.
오디오변환코덱(600)은 아날로그 신호를 디지털 신호로 변환, 디지털 신호를 아날로그 신호로 변환하는 수단으로, 재생된 반주음을 스피커를 통해 출력하기 위하여 디지털신호를 아날로그신호로 변환하거나, 마이크(700)로 입력된 신호를 녹음 저장하기 위하여 아날로그 신호를 디지털 신호로 변환하기 위한 수단이다.
마이크(700)는 사용자의 입력된 음성을 전기적 신호로 변환하기 위한 수단이다.
사용자의 노래연습에 있어서 꼭 필요한 필수요소는 아니겠지만, 사용자의 음성을 스피커(1000)를 통해 들으면서 연습할 수 있도록 하거나, 사용자의 음성을 녹음하기 위하여 사용자의 음성을 입력받기 위한 것이다.
실제적으로 네비게이션과 같은 장치에 있어서는 마이크 또는 마이크의 연결단자를 구성하지 않는 경우가 대부분으로, 이러한 경우 사용자의 음성입력을 이용하는 기능보다는 노래연습기능 제공에 기술적 기반을 갖는다고 할 수 있다.
마이크(700)의 구성은 외장형으로 구성하고, 마이크를 연결시키기 위한 인터페이스수단으로 마이크 입력단자를 구성할 수 있다.
네트워크 인터페이스부(800)는 인터넷, 로컬 네트워크 등과 같은 네트워크를 통해 소정의 정해진 서버 또는 외부 사용자와의 데이터 공유가 가능하도록 하기 위한 수단이다.
제어부(900)는 사용자가 선택한 동작모드 및 기능선택에 따라 상기 각 부를 제어하기 위한 프로세스를 제공하는 수단이다.
제어부(900)의 모드설정부(910)는 시스템의 동작환경을 사용자가 설정할 수 있도록 하고, 그 설정된 데이터를 저장하기 위한 수단이다.
도 3은 모드설정부(910)에서 사용자에게 제공하는 모드설정화면의 일 예를 나타낸다.
모드설정정보는 학습콘텐트(100)를 최초 재생할 때 어떤 데이터(반주음 또는 가수노래)를 먼저 재생할지를 설정하기 위한 시작모드, 점수표시여부를 선택하기 위한 점수표시모드, 노래학습모드인지 모창연습모드인지를 설정하기 위한 연습모드, 전체단위로 재생 및 녹음할 것인지 소절단위로 재생 및 녹음할 것인지를 설정하기 위한 재생/녹음단위모드를 포함한다.
또한 묵음구간을 삽입하기 위한 시간설정모드와, 소절단위로 재생할 경우에 소절길이를 설정하기 위한 소절길이설정모드를 포함한다.
그리고 점수표시모드에는 소절단위로 점수를 표시할 것인지 여부설정 정보를 더 포함할 수 있다.
시작모드는 노래를 재생 시작할 때, MR/AR중에서 어떤 콘텐트를 재생할 것인 지를 결정하는 부분이다.
연습모드는 평가점수산정기준을 학습모드에 둘 것인지 아니면 모창모드로 둘 것인지를 결정하는 부분이다.
학습모드의 경우는 노래를 학습하고자 하는 데 그 목적이 있는 것으로, 이에 따라 점수의 평가기준은 박자, 음정, 음정추이가 원 노래와 어느 정도 비슷한 가를 갖고 평가한다.
모창모드 일 경우는 원 노래의 가수목소리를 얼마나 유사하게 따라하는 가에 그 목적이 있는 것으로, 점수의 평가기준은 박자, 음색, 음색추이가 가수의 목소리와 어느 정도 유사한가가 점수의 평가기준이 된다.
재생/녹음단위는 노래전체를 한번에 녹음할 지 혹은 소절단위로 녹음하여 최종하나의 녹음곡을 만들지 설정하는 부분이다.
묵음구간삽입은 소절 반복 시에 소절과 소절 사이에 묵음구간을 얼마 길이로 해야할 지를 결정하는 부분이다.
소절길이 설정부는 한 소절의 길이를 결정하는 부분이다.
기준(default)은 2라인이다.
이는 노래방에서 한 화면에 2개의 자막라인이 표시될 수 있기 때문이다.
사용자가 한 소절을 결정하는 자막라인수를 설정하는 것이 가능하다.
점수표시모드는 점수를 표시할 것인지를 나타내는 정보이며, 전체재생 중이더라도 각 소절단위로 점수를 표시할 것인 지를 결정하는 정보이다.
도 4 내지 도 8은 노래학습 및 모창정도를 점수로 나타내기 위한 이론적 배경을 설명하기 위한 도면이다.
노래학습모드의 경우 점수의 산정기준으로 노래의 박자, 음정 및 음정추이가 얼마나 정확한 가이며, 모창모드인 경우에는 박자, 음색 및 음색추이가 얼마나 가수와 비슷한 가를 기준으로 한다.
음정과 음색에 대한 정의를 알아보면 다음과 같다.
임의의 오디오 파형을 f(t)라 하면 시간(t)에 따라 기압, 기체 밀도 등이 어떻게 변화하는 지를 나타내는 함수이며 A,B,C,D는 진폭을 나타내는 상수들이며 a,b,c,d는 진동수를 나타내는 상수들이라고 할 때 다음의 수학식 1과 같이 표현할 수 있다.
어떤 형태의 파동이라도 사인파동들의 합이라고 생각할 수 있다.
파동의 형태에 따라서 A,B,C,D,..와 a,b,c,d,... 들의 값이 달라지게 된다.
여기서 A가 다른 값보다 훨씬 크다면 우리는 여기에 해당하는 진동수 a를 음정(音程, pitch)으로 느낀다.
그리고 f(t)에 포함된 다른 사인파동들은 우리가 음색을 느끼는데 공헌을 한다.
진동수 a,b,c,d,...들인 사인파동들의 세기인 A,B,C,D,...들의 비율에 따라 우리는 특정한 음색을 느끼는 것이다.
현악기나 관악기와 같은 악기들은 소리를 낼때 기본진동(Fundamental)과 그 기본진동의 자연수배가 되는 배진동(倍振動, overtones)들이 같이 나온다.
기본 진동의 진폭 또는 세기가 다른 배진동들의 세기보다 훨씬 크기 때문에 우리는 기본진동의 진동수를 음정으로 구별해낼 수 있다.
북과 같은 타악기들은 배진동의 크기가 기본진동에 맞먹을 정도이므로 음정을 알기 어렵다.
도 4는 스펙트럼신호의 시간평면에서의 파형도이다.
도 4에서 첫 번째 그림0은 임의의 진동파형을 나타낸다.
그림1은 진동수 f0이며 진폭 10인사인파이며,
그림2는 진동수 2f0이며 진폭 4인사인파,
그림3은 진동수 3f0이며 진폭 3인사인파,
그림4는 진동수 4f0이며 진폭 3인사인파,
그림5는진동수5f0 이며진폭 2인사인파이다.
여기서 그림1~5의사인파를 모두 더하면 그림0의 파동이 된다.
즉 진동수 f0, 2f0, 3f0, 4f0, 5f0의 사인파를 진폭 비율 10 : 4 : 3 : 3 : 2로 합쳤더니 그림0과 같은 복잡한 모양의 파동이 생긴 것이다.
이 진폭의 배합비율을 다르게 하면 합쳐진 파동의 모양이 달라진다.
이렇게 어떤 임의의 진동을 각 사인파로 갈라내고 각사인파의 진동수별 배합 비율을표나 그래프로 나타낸 것을 스펙트럼이라고 한다.
가장 크게 들어있는 사인파의 진동수가 그 소리의 음정을 결정한다.
그러므로 도 4의 그림0과 같은 소리 파동을 들으면 우리는 그 음정을 그림1의 진동수 f0로 듣는다.
나머지 사인파들의 배합비율은 파동의 모양, 즉 음색을 결정한다.
피아노의 가운데 라(La) 건반의 음정은 440Hz이다.
그런데 이 건반을 눌렀을 때 440Hz의 소리만 나오는 것이 아니라 그 진동수의 2,3,4,5,...배의 진동수를 가진 880Hz, 1760Hz, 3520Hz, 7040Hz,의 소리도 함께 나온다.
다만 진동수 440Hz의 소리 크기가 가장 크기 때문에 우리는 그 음정이 La 이라고 느끼는 것이다.
나머지 배진동들의 비율은 피아노의 음색을 결정한다.
기타로 치는 La와 바이올린의 La가 음정은 같지만 음색이 다른 이유는 이렇게 악기마다 배진동들의 배합비율이 다르기 때문이다.
같은 바이올린이라도 스트라디바리와 보통 바이올린의 소리가 다른것은 배진동의 배합비율이 약간 다르기 때문이라고 할 수 있다.
도 5는 서로 다른 악기가 같은 음정의 소리를 냈을 때의 파형도이다.
맨위의 파형은 바이올린의 소리와 흡사한 파형이며 가운데는 클라리넷, 맨아래쪽은 플루트와 흡사한 파형이다.
이 표를 보면 기본 진동과 배진동의 배합비율에 따라 파형이 달라지며 따라서 우리가 느끼는 음색도 달라진다는 것을 알 수있다.
본 발명에서는 상기와 같은 음색정보의 특징을 활용하여 노래점수를 계산하는 방법을 제공한다.
도 6, 도 7은 유사도 측정의 예를 설명하기 위한 스펙트럼파형으로, 도 6은 음색유사도 측정을 위해 입력되는 기준스펙트럼정보의 일 예이고, 도 7은 음색 유사도측정을 위해 입력되는 마이크로 입력되는 오디오신호의 입력 스펙트럼 정보의 일 예를 나타낸 것이다.
유사도 측정을 위해서 사용할 수 있는 수단은 여러 가지가 있다.
2개 벡터간의 유사도를 측정하는 방법과 유사하다.
예를 들어 상관도(Correlation value), 정규화된 상관도(Normalized Correlation value), 상관계수(Correlation coefficient), 두 벡터간의 거리를 측정하는 방식으로서 유클리디언 거리등을 유사도 측정을 위해서 사용할 수 있다.
본 발명에서는 예로서 상관계수를 사용하여 2개 음색의 유사도를 측정하였다.
여기서 음색은 주파수 스펙트럼으로써 나타낼 수 있기 때문에 스펙트럼간의 유사도를 측정하는 것과 같다.
상관계수의 특징은 두 벡터의 상관성을 계산하기 전에 평균값을 제거하고 두 개의 각각의 벡터크기로 정규화를 한다.
따라서 소리의 크기와 관계없이 유사도를 측정할 수 있다.
먼저 기준 음악정보 스펙트럼X=[1,1,4,3,1,0,0,0,0,0]이라고 하고 마이크로 입력된 사용자 오디오신호의 스펙트럼을 Y=[1,2,1,1, 1,0,0,0,0,0]라고 했을 때 두 스펙트럼간의 상관계수는 다음의 수학식 2와 같이 구한다.
도 6 및 도 7은 각각 X,Y를 주파수 평면에 나타낸 그림이다.
여기서,
각각 벡터에서 벡터의 평균값을 뺀 값, ㆍ: 두벡터의 내적(inner product)을 나타낸다. CC는 두 벡터의 상관계수를 나타낸다.
절대값이 크면 클수록 2개의벡터는 유사하다는 것을 나타낸다.
CC값의 범위는 수학식 3과 같다.
상기 수학식에 의해서 구한 X,Y의 상관계수 값은 0.56이다.
1에 가까운 상관계수의 값을 갖을수록 두 벡터는 유사성이 큰 것으로 판단한다.
스펙트럼이 유사하다는 것은 두 비교대상이 되는 오디오의 음색이 유사하다는 것을 나타낸다.
음색추이 유사도 값은 현재의 스펙트럼 값에서 이전 스펙트럼 값과의 차를 구한 값을 이용하여 유사도를 측정한 값이다.
위 수학식 2에서
를 이용하여 상관계수를 구한다.
여기서
를 나타낸다.
는 각각 현재의 기준음악정보 스펙트럼과 현재 마이크를 통해서 입력된 사용자 오디오의 스펙트럼을 나타내고 
는 각각 바로 이전 시간의 스펙트럼들을 나타낸다.
음색추이 유사도를 구하는 방식은 이전에 설명한 음색유사도 설명한 것과 같다.
음색추이 유사도를 측정하는 이유는 음악멜로디 변화의 유사성을 측정하기 위함이다.
유사도가 높으면 높을수록 멜로디 변화의 유사성이 큰 것이다.
이 값이 높으면 사용자가 노래를 잘 부르고 있다고 판단할 수 있다.
이 값 역시 1에 가까우면 가까울수록 가수의 멜로디 변화와 유사하게 사용자가 노래를 부르고 있다는 것을 나타낸다. 음정 추이 유사도를 구하는 방식도 이전에 설명한 음색유사도 설명한 것과 같다.
단지 시간에 따른 음정 변화 추이를 음색 스펙트럼과 바꿔서 계산을 하면 된다.
도 8은 상기한 기술적 내용을 기반으로 구성된 점수연산부의 상세 구성을 나타낸다.
노래학습점수는 박자, 음정정확도 및 음정추이 유사도를 기본으로 해서 산출되며, 모창점수는 박자, 음색유사도 및 음색추이 유사도를 기본으로 해서 산출된다.
점수를 계산해내는 주기는 시간동기정보에서 주워지며 시간동기정보는 반주음 데이터에 포함되어있는 가사자막표시를 위한 자막시간정보에 따라 정해진다.
시간동기정보에 의해서 스펙트럼 계산하는 주기가 결정되기 때문에 전체노래학습시스템의 성능에 따라서 주기는 가변적으로 변할 수 있다.
노래음정정보는 콘텐츠제공자가 미리 각 반주음(MR) 데이터에 맞춰서 음정정보를 산출하고 이것을 데이터정보로 제공한다.
일정시간에 해당되는 음정데이터추출부에서 필요한 음정데이터를 추출한다. 추출된 음정데이터는 기본음정데이터로 노래학습점수연산부(925)의 음정정확도측정부(925a)와 음정추이유사도측정부(925b)의 기준입력이 된다.
제 1스펙트럼 분석부(922)는 마이크(700)를 통해 입력된 사용자의 목소리를 분석하여 노래학습점수연산부(925)의 음정정확도측정부(925a)와 음정추이유사도측정부(925b)의 기준음정정보를 제공한다.
음정정확도측정부(925a)는 기준음정데이터와 사용자 목소리의 계산된 음정값을 비교하여 유사도를 측정하기 위한 수단이다.
마이크(700)를 통해 입력된 사용자의 음성에 대한 제 1스펙트럼 분석부(922)의 스펙트럼분석정보를 이용하여 사용자 목소리의 음정을 유추한다.
여기서, 가장 높은 에너지를 갖는 주파수 대역을 추출하여 이것을 사용자 목소리의 음정으로 간주한다.
이 순간적인 목소리 음정데이터와 기준음정데이터를 수치적으로 비교하여 얼마나 유사한지 측정한다.
비교결과 그 차이가 적으면 적을수록 정확한 음정으로 노래를 부른 것이다.
음정추이 유사도측정부(925b)는 사용자가 부른 노래의 음정변화추이가 실제기준 음정의 변화추이간의 유사한 정도를 정량적으로 측정한다.
음정추이를 계산하기 위해서는 이전의 음정데이터를 보관하고 이것을 유사도 측정에 이용한다.
박자점수측정부(925c)는 가사 글자 반전시간에 마이크(700)를 통해 사용자의 음성 데이터가 실제 들어오는지를 검사하여 박자점수를 계산한다.
합산기(925d)는 상기한 3가지에 대한 비교, 즉 음정정확도측정부(925a), 음정추이 유사도측정부(925b) 및 박자점수 측정부(925c)의 출력을 합하여 순간점수를 만들어내기 위한 수단이다.
점수제공부(925e)는 이와 같이 연산된 순간점수를 입력으로 하여 모드설정부(910)에 설정된 조건값에 따라서 소절단위로 점수를 제공하거나, 소절단위의 순간점수를 합산하여 전체 점수로 제공하기 위한 수단이다.
모창점수연산부(926)는 가수목소리의 스펙트럼정보와 사용자 목소리의 스펙트럼정보의 유사성을 비교하여 유사성이 높을수록 높은 점수를 주는 방식으로 동작한다.
목소리추출부(923)는 가수노래 데이터에서 가수 목소리만을 추출하기 위한 수단으로, 목소리추출 알고리즘을 사용하여 목소리를 추출한다.
일반적인 가수노래는 반주음+가수목소리의 형태로 이루어졌기 때문에 가수노래에서 가수 목소리만을 추출해서 기준 스펙트럼정보를 얻어야한다.
목소리만을 추출하는 알고리즘은 기존에 많이 연구되어 발표된 내용을 적용하며, 따라서 여기서는 자세히 언급하지 않는다.
제 2스펙트럼 분석부(924)는 목소리 추출부(923)에서 추출된 가수 목소리 데이터에 대하여 스펙트럼 분석하여, 음색유사도측정부(926a)와 음색추이 유사도측정부(926b)의 기준 스펙트럼정보를 제공하기 위한 수단이다.
제 2스펙트럼 분석부(924)는 일정시간 목소리 데이터를 버퍼링한 후에 시간동기정보에 맞춰서 스펙트럼정보를 계산한다.
음색유사도측정부(926a)는 상기한 제 2스펙트럼분석부(924)로부터 제공받은 기준스펙트럼정보와 상기 제 1스펙트럼분석부(922)에서 제공한 사용자 목소리에 대한 스펙트럼 정보를 비교하여 음색유사도를 측정하기 위한 수단이다.
음색유사도측정부(926a)는 2개의 입력스펙트럼 데이터간의 유사도를 측정하여 정량적으로 수치화한다.
음색추이 유사도측정부(926b)는 입력스펙트럼 데이터들의 시간에 따른 변화량이 얼마나 유사한지를 정량적으로 수치화한다.
박자점수측정부(926c)는 가사글자 반전시간에 마이크의 입력데이터가 실제 들어오는 지를 검사하여 박자점수를 계산한다.
합산기(926d)는 음색유사도측정부(926a), 음색추이유사도 측정부(926b) 및 박자점수측정부(926c)의 출력을 합산하여 모창 순간점수를 산출하기 위한 수단이다.
점수제공부(926e)는 모드설정부(910)의 설정된 값에 따라 각 소절단위로 생성된 모창 순간점수를 제공하거나, 각 소절단위의 순간점수를 합산하여 전체점수로 제공하기 위한 수단이다.
그러나, 음정정보는 많은 연산량을 필요로하기 때문에 대부분의 단말장치에서 구성하기 어려울 수 있다. 따라서 이러한 경우 간단하게 박자만을 고려하여 점수를 연산할 수 있게 되는 바, 가사반전정보와 마이크(700)로 입력되는 사용자의 음성을 비교하여 박자점수를 구하고 이를 이용하여 점수를 연산할 수 있도록 구성할 수 있다.
본 발명의 점수연산부(290)의 다른 실시예로 콘텐트 저장부(100)에 가수노래 스펙트럼정보를 미리 저장하고, 이의 정보로부터 스펙트럼 데이터를 추출하여 기준 스펙트럼 정보로 제공하는 스펙트럼 데이터 추출부를 더 포함하여 구성하여 모창점수를 제공할 수 있도록 구성할 수 있다.
이의 구성을 도 9에 도시한다.
시스템에 따라서 가수노래데이터로부터 목소리를 추출하고 이 정보로부터 기준 스펙트럼정보를 실시간으로 얻는 것이 어려운 시스템이 있을 수 있다.
이런 점을 극복하기 위해서 사전에 가수노래데이터로부터 가수목소리를 추출하고 추출된 가수목소리로부터 스펙트럼정보를 계산할 수 있다.
스펙트럼 데이터 추출부(927)는 가수노래스펙트럼정보로 부터 시간동기정보에 맞춰서 스펙트럼 정보를 추출하고 추출된 정보를 기준 스펙트럼정보로서 제공하여 순간점수를 계산하기 위한 수단이다.
스펙트럼분석은 시간 축 상의 오디오데이터를 주파수 스펙트럼정보로 변환시켜주는 부분이다.
많이 사용되는 알고리즘은 DFT(DiscreteFourier Transform),
FFT(Fast Fourier Transform), 웨이브렛변환(Wavelet Transform), DCT(Discrete Cosine Transform) 등이 올 수 있다.
보통 FFT알고리즘을 가장 많이 사용한다.
스펙트럼정보는 "시간, 스펙트럼, 부가정보"를 포함한다.
여기서 시간정보는 스펙트럼이 계산된 시간, 즉 노래시작시간으로 부터의 옵셋 시간으로 계산된다.
스펙트럼정보는 시간정보에 계산된 입력오디오신호의 스펙트럼정보로서 실제 가수가 부른 음성의 스펙트럼정보를 갖고 있다.
또한 부가정보는 순간점수를 계산하기 위해서 부가적으로 필요한 데이터를 보관하는 부분이다.
이와 같은 본 발명 제 1실시 예의 동작을 설명하면 다음과 같다.
사용자가 키이 입력부(200)를 통해 원하는 곡의 선곡 및 모드설정(동작모드와 기능)을 선택하게 됨에 따라서 제어부(900)에서는 콘텐트저장부(100)를 통해 반주음 또는 가수노래데이터를 제공하게 된다.
이때 제어부(900)에서는 문자표시제어부(400)를 통해 표시부(500)에 재생되는 노래에 따른 가사를 문자로 표시하여 사용자가 이를 통해 확인하여 노래를 부르거나 학습할 수 있도록 한다.
동작모드에는 일반재생모드와 연습모드로 구분할 수 있으며, 연습모드에는 노래학습과 모창모드가 있다.
사용자는 모드설정부(910)를 통해 노래학습모드와 모창모드중 하나를 선택할 수 있으며, 이때 재생/녹음단위를 전체 또는 소절단위중 하나를 선택하여 재생이 가능하게 된다.
연습모드에서는 노래의 전곡을 선택하게 되는 경우 노래의 전곡을 반복하여 재생하게 되고, 소절단위를 선택하게 되는 경우에는 모드설정부(910)에 설정된 소절길이에 따라서 재생하게 된다.
통상 소절길이는 2라인으로 설정된다.
도 10은 사용자가 학습하려고 하는 노래 선택했을 때, 노래학습 시스템에서 설정된 모드를 이용하여 노래를 재생하는 노래 학습방법의 과정을 나타낸다.
현재 진행모드가 MR 모드인지 AR 모드인 지를 판단하는 모드판단과정과,
사용자가 선택한 콘텐츠 파일이 통합파일인 지 아니면 가수노래(AR), 반주음(MR)이 구분된 별도의 파일인지를 확인하는 파일확인과정과,
통합파일인 경우 현재 진행모드가 MR 모드인 경우 통합파일 헤더를 통해 인식된 MR데이터 위치포인터 값을 계산하고, 현재 진행모드가 AR 모드인 경우 통합파일 헤더를 통해 인식된 AR 데이터 위치 포인터 값을 계산하는 과정과,
통합파일이 아닌 경우에는 현재 진행모드가 MR 모드인 경우 현재 선택한 파일 이름에 해당하는 MR 파일을 선택하여 파일 포인터를 계산하고, 현재 진행모드가 AR 모드인 경우 현재 선택한 파일 이름에 해당하는 AR 파일을 선택하여 파일 포인터를 계산하는 과정과,
상기에서 계산된 포인터를 기준포인터로 삼고, 현재 재생시간에 해당하는 데이터 옵셋값을 구하여 상기 기준포인터에 합산하는 재생포인트 산출과정과,
산출된 재생포인터 값을 이용하여 재생하는 재생과정과,
재생이 완료되었는 가를 판단하여 재생이 완료되면 반복모드가 설정되어있는 가를 확인하는 과정과,
반복모드가 설정되어 있으면, 상기한 재생포인터값을 이용하여 사용자가 지정한 반복회수에 따라 다시 재생 반복하고, 반복모드가 설정되어 있지 않으면, 완료하는 과정으로 이루어진다.
이와 같은 과정을 그 수순에 따라 동작을 설명하면 다음과 같다.
현재 진행모드가 MR 모드인지 AR 모드인 지를 판단한다.
사용자가 선택한 콘텐츠 파일이 통합파일인 지 아니면 가수노래(AR), 반주음(MR)이 구분된 별도의 파일인지를 확인한다.
통합파일인 경우 현재 진행모드가 MR 모드인 경우 통합파일 헤더를 통해 인식된 MR데이터 위치포인터 값을 계산하고, 현재 진행모드가 AR 모드인 경우 통합파일 헤더를 통해 인식된 AR 데이터 위치 포인터 값을 계산한다.
통합파일이 아닌 경우에는 현재 진행모드가 MR 모드인 경우 현재 선택한 파일 이름에 해당하는 MR 파일을 선택하여 파일 포인터를 계산하고, 현재 진행모드가 AR 모드인 경우 현재 선택한 파일 이름에 해당하는 AR 파일을 선택하여 파일 포인터를 계산한다.
상기에서 계산된 포인터를 기준포인터로 삼고, 현재 재생시간에 해당하는 데이터 옵셋값을 구하여 상기 기준포인터에 더한다.
이와 같이 구한 재생 데이터 포인터값을 이용하여 재생한다.
상기 현재진행 모드는 모드설정부(910)에 설정된 값을 따르며, MR반복이나 AR반복이 선택된 경우에는 반복모드로 현재 진행모드를 변경하고 재생한다.
도 11은 표시부에 표시되는 노래학습플레이어의 예를 나타낸다.
화면상단은 노래가사를 표시하는 부분이고 하단의 입력단은 사용자의 입력 선택 및 회수 표시를 위한 부분이다.
입력기능을 보면 재생버튼은 현재 선택된 곡을 재생하는 기능을 수행하고 다음 곡 버튼은 현재 재생 중인 곡을 멈추고 재생 목록 리스트에 있는 곡 중에서 현재 재생중인 곡 바로 다음에 위치한 곡을 선택해서 재생하도록 하는 기능이다.
AR반복버튼은 버튼을 누를 때, AR 반복재생중이 아닌 경우는 현재 재생중인 곡을 멈추고 바로 AR곡의 현재소절의 맨 앞으로 이동하여 재생한다.
AR 반복 재생 중 인 경우에는 AR 반복버튼을 또 누르면 반복 회수(D1)가 1씩 증가하면서 옆에 반복 회수를 표시한다.
이후, AR 반복이 한번 실행될 때마다 숫자(D1)가 1씩 감소한다.
여기서, MR 반복중에 AR 반복버튼을 누른 경우는 누르자마자 현재 재생중인 MR곡을 멈추고 MR반복회수표시(D2)를 0으로 표시하고 바로 AR곡의 해당소절의 맨앞으로 이동하여 AR반복을 진행한다.
MR반복버튼은 버튼을 누를 때, MR반복재생이 아닌 경우 현재 재생중인 곡을 멈추고 MR의 현재소절의 맨 앞으로 이동하여 재생한다.
MR반복재생 중일 때 MR반복버튼을 또 누르면 반복회수표시(D2)가 1씩 증가하면서 옆에 반복회수를 표시한다.
MR반복을 한 번 실행할 때마다 숫자가1씩 감소한다.
만일 AR 반복 중에 MR반복버튼을 누른 경우는 누르자마자 현재 재생중인 AR곡을 멈추고 AR반복회수표시(D1)를 0으로 표시하고 바로 MR곡의 해당소절의 맨 앞으로 이동하여 MR반복을 진행한다.
도 12는 AR소절, MR 소절 반복 재생 루틴의 상세동작 흐름도를 나타낸다.
AR(MR)반복키가 입력되면 현재 재생 중인 곡을 바로 멈추고 현재 선택된 AR(MR)곡의 현재 소절 맨 앞으로 이동하는 단계와,
현재소절의 AR(MR)데이터를 재생하는 단계와,
현재 소절의 AR(MR) 데이터재생이 완료되면 모드설정부에 묵음구간 삽입값이 설정되어 있는 가를 확인하는 묵음구간 확인단계와,
묵음구간이 설정되어 있는 경우 모드설정부에 설정된 모드 설정값을 이용하여 해당 길이만큼 묵음구간을 소절과 소절 재생사이에 삽입하는 묵음구간삽입단계와,
반복 회수가 종료 되었는 지 확인하고, 종료 되지 않았으면 현재소절의 맨앞으로 다시 이동하여 상기의 과정을 반복하여 반복재생하고, 반복 회수가 종료되었으면 AR(MR)소절 반복재생을 종료하는 단계로 소절반복재생과정이 이루어진다.
이와 같은 AR(MR) 소절 반복재생은 노래학습시스템이 선택된 곡을 재생 중에 AR(MR)반복키가 눌렸을 때 AR(MR)데이터의 현재 소절 구간을 반복하여 재생하는 기능을 수행한다.
AR(MR) 소절 반복 재생 루틴이 시작되면 이미 AR(MR) 반복 키 입력을 인식한 상태이기 때문에 현재 재생 중인 곡을 바로 멈추고 현재 선택된 AR(MR)곡의 현재 소절 맨 앞으로 이동한다.
현재소절의 AR(MR)데이터를 재생한다. 현재 소절의 AR(MR) 데이터재생이 완료되면 모드설정부(910)에 묵음구간 삽입값이 설정되어 있는 가를 확인한다.
설정되어 있는 경우 모드설정부(910)에 설정된 모드 설정값을 이용하여 해당 길이만큼 묵음구간을 소절과 소절 재생사이에 삽입한다.
반복 회수가 종료 되었는 지 확인하고, 종료 되지 않았으면 현재소절의 맨앞으로 다시 이동하여 상기의 과정을 반복하여 반복재생하고, 반복 회수가 종료되었으면 AR(MR)소절 반복재생을 종료한다.
한편 반복학습방법의 다른 실시 예로, 사용자가 임의로 반복될 구간을 지정할 수 있도록 하여 정해진 소절단위가 아닌 사용자가 지정한 구간에 대하여 반복적인 재생이 이루어질 수 있도록 한다.
도 13은 임의 구간 반복 학습방법에 대해 설명하고 있다.
AR(MR)반복키가 입력되면 현재 재생 중인 곡을 바로 멈추고 현재 선택된 AR(MR)곡의 현재 위치가 사용자가 지정한 구간인 가를 확인하는 단계와,
사용자가 지정한 구간인 경우 사용자가 지정한 구간의 맨 앞으로 이동하여 현재 구간의 AR(MR)데이터를 재생하고, 사용자가 지정한 구간이 아닌 경우 현재 위치에 대한 소절 맨 앞으로 이동하여 AR(MR)데이터를 재생하는 단계와,
현재 소절 또는 현재 구간의 AR(MR) 데이터재생이 완료되면 모드설정부에 묵음구간 삽입값이 설정되어 있는 가를 확인하는 묵음구간 확인단계와,
묵음구간이 설정되어 있는 경우 모드설정부에 설정된 모드 설정값을 이용하여 해당 길이만큼 묵음구간을 소절과 소절 재생사이에 삽입하는 묵음구간삽입단계와,
반복 회수가 종료 되었는 지 확인하고, 종료 되지 않았으면 현재소절 또는 사용자가 지정한 현재 구간의 맨 앞으로 다시 이동하여 상기의 과정을 반복하여 반복재생하고, 반복 회수가 종료되었으면 AR(MR) 반복재생을 종료하는 단계로 구간반복재생과정이 이루어진다.
소절반복학습방법은 MR반복키나 AR반복키를 사용자가 눌렀을때 누른시점에 해당하는 소절의 범위를 계산해서 소절의 시작점과 끝점까지의 시간을 구하고, 그 구해진 구간만큼 MR이나 AR곡을 재생해주는 방식이다.
이와 같은 방법에 따르면 여러 소절에 걸쳐있는 특정한 부분에 대해서 반복학습하려고 할 때 불편한 점이 있다.
임의 구간 반복학습은 사용자가 반복할 구간을 임의로 먼저 설정한 이후에 초기에는 현재 재생모드로 무한반복하고 반복중에 MR(AR) 반복키를 누르면 바로 해당(MR/AR)데이터를 선택해서 설정된 구간의 처음으로 가서 무한반복을 한다.
사용자가 임의 구간 반복모드를 해제하는 키를 누르면 임의구간 반복모드를 해제하고 현재재생을 그대로 유지하는 반복학습법이다.
도 13은 임의 구간 반복학습법의 동작구간을 시간그래프에서 보여주고 있다.
전체 노래재생시간은 3분57초 100밀리초를 나타내고 있다.
사용자가 노래학습 시작시간을 01분20초에 설정하고 다시 2분10초에 노래학습종료시간을 설정한 경우 반복학습구간이 설정되어 무한 반복 재생하게 된다.
이때 사용자가 MR(AR)반복키를 누르면 현재 재생중인 파일의 재생을 멈추고 MR(AR)파일을 선택해서 설정된 구간의 처음으로 이동한 후 설정구간을 반복 재생한다.
사용자가 임의구간 반복모드를 해제하는 키를 누르면 임의구간 반복모드를 해제하고 현재재생을 그대로 유지한다.
또한 노래학습 및 모창모드상태에서 녹음을 선택하면 제공되는 반주음과 마이크(700)로 입력되는 사용자의 음성을 녹음데이터로 생성하여 녹음데이터 저장부(300)에 저장하여 이후에 사용자가 이를 확인 재생해볼 수 있도록 한다.
녹음은 다음과 같은 과정으로 이루어진다.
사용자가 반주음(MR)을 선택하고, 선택된 반주음(MR)의 재생이 이루어지는 과정과,
녹음모드를 초기화 시키고, 모드설정부에 설정된 프로그램 환경 설정 값을 확인하여 현재 녹음모드가 설정 되었는 지 판단하는 모드판단과정과,
녹음모드가 설정된 경우 소절단위의 녹음기능설정을 확인하고, 소절단위로 설정 된 경우 소절단위의 녹음기능을 수행하고 소절단위녹음이 설정되어있지 않은 경우 전체녹음모드를 수행하는 과정과,
녹음모드가 설정되지 않았으면 녹음키가 입력 되는 지를 판단하여 녹음키이가 입력되면 반주음의 맨처음으로 이동하고, 녹음모드를 설정하여 전체녹음을 진행하도록 하는 과정과,
녹음키이가 입력되지 않으면 소절 재생모드를 계속 진행하는 과정과,
정해진 시간에 따라 주기적으로 노래가 종료되었는지 검사해서 종료되지 않은 경우는 모드판단과정을 반복 진행하는 과정과,
하나의 노래가 종료되면 프로그램 종료여부를 검사해서 사용자가 MR(반주음)에 맞춰서 녹음한 파일을 저장할 것인 지를 확인하는 과정과,
사용자가 녹음을 선택하게 되면, 소절단위로 녹음된 파일은 소절단위로 녹음한 노래데이터를 연결하여 하나의 녹음 데이터로 생성 저장하고 전체녹음은 그대로 파일로 저장하는 과정과,
프로그램 종료키가 입력된 경우에 프로그램을 종료하는 과정을 포함하여 이루어지는 것을 특징으로 한다.
또한 사용자가 반주음(MR)을 선택하고, 선택된 반주음(MR)의 재생이 이루어지는 과정에 있어서, 반주음 소절반복 재생인 경우
사용자가 녹음키이를 선택하는 경우 해당 소절의 첫 부분으로 이동하고 녹음모드를 설정하는 과정과,
현재 소절의 녹음을 진행하는 과정과,
현재 소절의 녹음이 완료된 경우에 사용자에게 확인하여 현재 녹음된 소절녹음데이터를 저장할 것인 지 판단하는 과정과,
사용자가 저장을 선택한 경우 녹음데이터를 저장하는 과정과,
모드설정부에 묵음구간삽입이 설정되었는 지 확인하고, 설정되어 있으면 설정된 값에 따라 묵음 구간을 삽입하는 과정과,
반복 회수가 종료되었는 지 확인하여 종료되지 않은 경우에는 다시 현재 소절의 맨 앞으로 이동하여 MR 소절 반복 녹음을 반복하고, 반복회수가 종료된 경우에는 MR 소절반복녹음을 종료하는 과정으로 이루어지는 것을 특징으로 한다.
도 14는 본 발명 노래방시스템에 있어서, 녹음모드가 한번에 노래전체를 녹음하는 방식으로 동작할 때의 방식을 나타낸다.
녹음 중에는 MR반복이나 AR반복 기능이 동작하지 않는다.
프로그램이 시작되면 먼저 모드설정부(910)의 프로그램 환경설정 데이터를 읽어 와서 프로그램 변수들을 초기화 하는 프로그램 환경설정 동작을 수행한다.
사용자가 배우고 싶은 노래를 노래리스트를 이용하여 선택하여 재생시키는 노래선택재생동작을 수행한다.
여기서 녹음모드를 초기화 시킨다.(모드초기화)
그 다음단계에서 현재 녹음모드가 설정되었는지 검사한다.
녹음모드가 설정 된 경우는 반주음+마이크입력데이터를 녹음한다.
녹음모드가 설정되지 않았으면 녹음키가 입력되는 지를 확인하여 녹음키가 입력되면, 반주음 맨처음으로 이동하여 녹음모드를 설정하고, 녹음키이가 입력되지 않으면 소절 재생모드를 진행한다.
소절 재생모드는 MR반복, AR 반복동작을 포함한 정상 재생모드로 동작한다.
소절 재생모드를 진행하면서 주기적으로 노래가 종료되었는 지 검사해서 종료되지 않은 경우는 위의 녹음모드검사(144) 부분부터 반복해서 진행한다.
하나의 노래가 종료되면 프로그램 종료여부를 검사해서 프로그램 종료가 아닌 경우 전체녹음모드로서 사용자가 MR(반주음)에 맞춰서 부른 노래를 파일로 저장할 지 여부를 묻는다.
노래 저장을 선택한 경우에는 녹음된 데이터를 파일로 저장한다.
프로그램 종료키가 입력된 경우에 프로그램을 종료한다.
도 15는 프로그램 기본환경설정에서 녹음단위가 소절단위로 선택된 경우의 동작흐름도이다.
소절 단위녹음은 사용자가 녹음을 하는 경우 소절단위로 녹음데이터를 저장하여 보관하고 있다가 노래가 끝나면 보관되어있던 소절 단위 녹음데이터들을 연결하여 하나의 녹음데이터를 생성하는 방법이다.
소절 단위 녹음데이터들을 연결할 때 불연속음의 처리는 기존의 오디오 처리방식을 이용해서 일반사용자들에게 거슬리지 않는 방식으로 처리한다.
오디오 처리 방식에 대한 내용은 본 발명의 내용을 벗어나기 때문에 생략한다.
프로그램이 시작되면 먼저 프로그램 환경설정데이터를 읽어와서 프로그램변수들을 초기화하는 프로그램 환경설정 동작을 수행한다.
사용자가 배우고 싶은 노래를 노래리스트를 이용하여 선택해서 재생하는 부분이 노래 선택 재생부분 이다.
여기서 녹음모드를 초기화 시킨다.
그 다음 단계에서 현재 녹음모드가 설정 되었는지 검사한다.
녹음모드가 설정된 경우는 소절단위의 녹음기능을 수행한다.
녹음모드가 설정되지 않았으면 녹음키가 입력 되었는 지 검사한다.
녹음키가 입력되었으면 현재 재생중인 반주음(MR)의 맨처음으로 바로이동하고 녹음모드로 설정한다.
녹음키가 입력되지 않았으면 소절 재생모드를 진행한다.
소절 재생모드는 MR반복,AR반복동작을 포함한 정상 재생모드로 동작한다.
재생모드를 진행하면서 주기적으로 노래가 종료되었는지 검사해서 종료되지 않은 경우는 위의 녹음모드검사 부분부터 반복해서 진행한다.
하나의 노래가 종료되면 프로그램 종료여부를 검사해서 프로그램 종료가 아닌 경우 전체 녹음모드로서 사용자가 MR(반주음)에 맞춰서 소절단위로 녹음한 노래를 파일로 저장할지 여부를 묻는다.
노래저장을 선택한 경우에는 소절단위로 녹음한 노래데이터를 파일로 저장한다.
프로그램 종료키가 입력된 경우에 프로그램을 종료한다.
도 16은 MR소절반복 녹음루틴의 상세동작 흐름도이다.
MR소절 반복 녹음루틴은 모드설정부(910)에 녹음단위가 소절로 설정되어있고, 녹음버튼, MR반복키이를 누른 경우에 소절단위의 녹음을 진행하는 역할을 한다.
MR소절반복 녹음을 시작하면 이미 MR 반복키이를 누른 경우이기 때문에 현재 재생중인 파일의 재생을 중단하고 MR데이터의 현재 소절 맨앞으로 이동한다.
현재 소절의 MR데이터와 마이크(700) 입력을 합성하여 녹음한다.
현재 소절의 녹음이 완료된 경우에 현재 녹음된 소절녹음데이터를 저장할 것인 지 판단한다.
저장한다고 판단한 경우에는 녹음데이터를 저장한다.
모드설정부(910)에 묵음구간삽입이 설정되었는 지 확인하고, 설정되어 있으면 설정된 값에 따라 묵음 구간을 삽입하여 MR소절 반복할 때에 소절간에 묵음을 삽입하여 사용자에게 준비할 시간을 준다.
반복 회수가 종료되었는 지 확인하여 종료되지 않은 경우에는 다시 현재 소절의 맨 앞으로 이동하여 MR 소절 반복 녹음을 반복하고, 반복회수가 종료된 경우에는 MR 소절반복녹음을 종료한다.
상기에서 사용자가 저장여부를 결정하게 될 때, 사용자가 저장을 선택하게 되면, 현재 소절에 해당하는 이전에 저장된 데이터가 현재 녹음된 데이터로 바뀌게 된다.
도 17은 소절 녹음데이터 저장 판단여부를 판단하기 위한 상세 동작 흐름도를 나타낸다.
녹음데이터 듣기 및 평가점수를 기초로 해서 임시데이터 메모리에 저장된 소절 녹음데이터를 사용자로 하여금 녹음데이터저장장치(300)에 저장여부를 판단하도록 한다.
먼저 소절녹음데이터를 다시 듣기를 할 것인지 사용자에게 확인한다.
다시 듣기를 선택한 경우에는 녹음된 반주음+마이크 입력 합성데이터를 재생한다.
이후, 사용자에게 저장여부를 요구하여, 사용자가 선택하도록 한다.
또는 소절 단위 평가점수를 제공하여 사용자가 소절 단위 평가점수를 확인하도록 하고, 소절녹음데이터를 저장할 것인 지 확인한다.
한편 사용자가 모드설정부(910)에 설정한 환경설정값에 따라서 제어부(900)에서는 점수를 산출 표시하게 되는 바,
노래연습제어부(930)에서는 점수연산부(920)를 통해 연산된 점수를 문자표시제어부(400)를 통해 표시부(500)에 표시하게 된다.
이때 점수연산부(920)에서는 소절단위로 점수를 연산하게 되며, 노래연습제어부(930)에서는 모드설정부(910)에 설정된 값에 따라서 소절단위로 점수를 표시 제어하거나, 또는 소절단위의 점수를 합산하여 전체점수로 제공하게 된다.
상기에서 설명한 바와 같이, 노래학습점수는 박자, 음정정확도 및 음정추이 유사도를 기본으로 해서 산출되며, 모창점수는 박자, 음색유사도 및 음색추이 유사도를 기본으로 해서 산출된다.
점수를 계산해내는 주기는 시간동기정보에따라 이루어지는 바,
음정데이터추출부(921)는 콘텐츠 정보에 포함된 음정데이터로부터 필요한 음정데이터를 추출한다.
이와 같이 추출된 음정데이터는 기본음정데이터로 노래학습점수연산부(925)의 음정정확도측정부(925a)와 음정추이유사도측정부(925b)의 입력이 된다.
또한 제 1스펙트럼 분석부(922)에서는 마이크(700)를 통해 입력된 사용자의 목소리를 분석하여 노래학습점수연산부(925)의 음정정확도측정부(925a)와 음정추이유사도측정부(925b)에 사용자 음정정보를 제공한다.
이에 따라 음정정확도측정부(925a)는 기준음정데이터와 사용자 목소리의 계산된 음정값을 비교하여 유사도를 측정하게 된다.
음정정확도측정부(925a)는 마이크(700)를 통해 입력된 사용자의 음성에 대한 제 1스펙트럼 분석부(922)의 스펙트럼분석정보를 이용하여 사용자 목소리의 음정을 유추한다.
음정추이 유사도측정부(925b)에서는 사용자가 부른 노래의 음정변화추이가 실제기준 음정의 변화추이간의 유사한 정도를 측정한다.
또한 박자점수측정부(925c)는 가사 글자 반전시간에 마이크(700)를 통해 사용자의 음성 데이터가 실제 들어오는지를 검사하여 박자점수를 계산한다.
합산기(925d)는 상기한 3가지에 대한 비교, 즉 음정정확도측정부(925a), 음정추이 유사도측정부(925b) 및 박자점수 측정부(925c)의 출력을 합하여 순간점수를 만들어낸다.
이후 점수제공부(925e)에서는 상기에서와 같이 연산된 순간점수를 노래학습제어부의 제어에 따라 소절단위의 순간점수 또는 순간점수의 합산 그리고 그 평균을 통한 전체점수를 제공하게 된다.
모창점수연산부(926)는 가수목소리의 스펙트럼정보와 사용자 목소리의 스펙트럼정보의 유사성을 비교하여 유사성이 높을수록 높은 점수를 주는 방식으로 동작한다.
목소리추출부(923)에서는 가수노래 데이터에서 가수 목소리만을 추출한다.
일반적인 가수노래는 반주음+가수목소리의 형태로 이루어졌기 때문에 가수노래에서 가수 목소리만을 추출해서 기준 스펙트럼정보를 얻어야 하기 때문이다.
이후 추출된 가수목소리 정보는 제 2스펙트럼 분석부(924)로 입력되고, 제 2스펙트럼 분석부(924)에서는 목소리 추출부(923)에서 추출된 가수 목소리 데이터에 대하여 스펙트럼 분석하여, 음색유사도측정부(926a)와 음색추이 유사도측정부(926b)의 기준 스펙트럼정보로 제공한다.
제 2스펙트럼 분석부(924)는 일정시간 목소리 데이터를 버퍼링한 후에 시간동기정보에 맞춰서 스펙트럼정보를 계산한다.
음색유사도측정부(926a)에서는 상기한 제 2스펙트럼분석부(924)로부터 제공받은 기준스펙트럼정보와 상기 제 1스펙트럼분석부(922)에서 제공한 사용자 목소리에 대한 스펙트럼 정보를 비교하여 음색유사도를 측정한다.
음색추이 유사도측정부(926b)에서는 입력스펙트럼 데이터들의 시간에 따른 변화량이 얼마나 유사한지를 측정한다.
박자점수측정부(926c)는 가사글자 반전시간에 마이크(700)의 입력데이터가 실제 들어오는 지를 검사하여 박자점수를 계산한다.
합산기(926d)에서는 상기 음색유사도측정부(926a), 음색추이유사도 측정부(926b) 및 박자점수측정부(926c)의 출력을 합산하여 모창 순간점수를 산출한다.
이와 같이 산출된 모창순간점수는 상기 노래학습점수연산부에서도 밝힌 바와 같이, 점수제공부에서 모드설정부의 설정된 값에 따라 각 소절단위로 생성된 모창 순간점수를 제공하거나, 각 소절단위의 순간점수를 합산하여 전체점수로 제공한다.
도 18은 본 발명에 있어서, 노래학습모드상태에서의 소절단위로 이루어지는 노래학습점수연산과정을 나타낸 플로우챠트이다.
한소절마다 소절단위의 노래학습점수를 계산하기 위해서 먼저 한소절 점수를 나타내는 변수를 초기화한다.
그 다음 시간동기정보를 기준으로 순간점수를 계산해야 할 시간인 지 검사한다.
만일 계산시간이 되지 않은 경우에는 마이크 및 가수 목소리 데이터를 계속해서 버퍼링한다.
계산시간이 된 경우에는 현재 시간에 맞는 기준음정정보를 추출하고 마이크를 통해 입력된 사용자 오디오의 스펙트럼을 계산한다.
사용자 음성 입력스펙트럼을 이용하여 사용자 입력 목소리의 음정을 측정하고 이것을 기준 음정값과 비교하여 음정정확도를 측정한다.
또한 기준 음정정보의 변화추이와 마이크입력신호의 음정정보변화추이를 비교하여 얼마나 유사한지 유사도를 측정한다.
또한 일정기간동안(순간점수계산주기)의 박자점수를 계산한다.
상기에서 구한 3개의 측정값(A,B,C)을 합산하여 순간점수를 계산한다.
다음은 한 소절 끝 인가 여부를 판단한다.
한 소절끝이 아닌 경우 한 소절 점수에 현재 얻은 순간점수를 더하여 새로운 한 소절점수를 얻을 수 있다.
만일 한 소절 시간이 흘러서 해당소절의 끝에 도달하면 지금까지 계산했던 한소절 점수를 출력한다.
여기서 상기 한 3가지 측정값 중 필요에 따라서 한 가지 혹은 2가지 값만을 선택해서 노래학습점수를 구할 수 있다.
따라서 구현되는 시스템의 성능에 따라서 3가지 값 전부를 사용할 수 없는 경우에는 선택적으로 사용가능 하다.
도 19는 모창점수를 계산하는 흐름도를 나타낸다.
모창점수는 노래소절 단위로 계산하여 사용한다.
한소절마다 소절단위의 모창점수를 계산하기 위해서 먼저 한소절 점수를 나타내는 변수를 초기화 한다.
그 다음 시간동기정보를 기준으로 순간점수를 계산해야할 시간인지 검사한다.
만일 계산 시간이 되지 않은 경우에는 마이크 및 가수 목소리 데이터를 계속해서 버퍼링한다.
계산 시간이 된 경우에는 가수 목소리의 스펙트럼을 계산하고 마이크 입력오디오의 스펙트럼을 계산한다.
위에서 구한 두 개의 스펙트럼간의 음색유사도측정과 음색추이 유사도측정 값을 구한다.
또한 일정 기간 동안(순간점수계산주기)의 박자점수를 계산한다.
위에서 구한 3개의 측정값을 더하여 순간 점수를 계산한다.
다음은 한 소절 끝인가 여부를 판단한다.
한 소절끝이 아닌 경우 한 소절 점수에 현재 얻은 순간점수를 더하여 새로운 한 소절점수를 얻을 수 있다.
만일 한 소절 시간이 흘러서 해당 소절의 끝에 도달하면 지금까지 계산했던 한 소절점수를 출력한다.
여기서 상기한 3가지 측정 값중 필요에 따라서 한 가지 혹은2 가지만을 선택해서 사용해도 구현 가능하다. 구현되는 시스템의 성능에 따라서 3가지 전부를 사용할 수 없는 경우에는 선택적으로 사용가능 하다.
도 20은 일정구간에서의 박자점수를 계산하는 흐름도를 나타낸다.
구간박자 점수변수 값을 0으로 초기화한다.
또한 마이크 음성입력이 있는 지 판단하기위한 기준값(Th)를 결정한다.
기준값은 음성이 없는 마이크 입력값(A)보다 크고 음성이 있을 때의 마이크 입력값보다 작은값을 적절히 설정한다.
그 다음 마이크 입력값의 절대값을 측정하여 보관한다.
가사의 자간 반전시간인지 검사하고 자간 반전시간이 아닐 때는 계속해서 마이크 입력값을 모니터링 한다.
만일 자간반전시간일 경우에는 위에서 구한 마이크입력값(A)이 음성입력판단기준값(Th)보다 큰지 판단한다.
기준값(Th)보다 큰경우는 순간점수에 1을 대입하고 기준값 보다 작은경우는 순간점수에 0을 대입한다.
구간 박자점수 출력시간 인지 검사한다.
구간 박자점수 출력시간이 아닌 경우는 구간 박자점수에 순간 박자점수를 누적시킨다.
구간 박자점수 출력시간인 경우에는 현재 일정구간 동안 자간 반전횟수로 현재의 구간 박자점수를 나눠서 백분율로 점수를 표시한다.
즉 총 박자 측정횟수에서 정확하게 마이크 입력된 회수가 얼마나 되는지 백분율 점수를 구할 수 있다.
도 21은 노래 한 곡 전체를 끝마쳤을 때 MR로 노래 부른 소절에 대해서 소절 단위 점수를 표시하는 예를 보여준다.
사용자는 여기에 나타난 소절점수를 보고 자신이 어느 소절에서 노래를 잘못 불렀는 지 를 판단할 수 있고 사용자가 특정 소절을 선택하면 해당 소절 데이터와 링크연결을 통해서 바로 선택된 소절로 이동하여 노래를 학습할 수 있는 구조로 되어있다.
또한 전체적인 소절 평균점수도 표시하고 있어서 노래 전체적인 평가점수를 확인할 수 있다.
한편, 도 22는 본 발명의 제 2실시 예를 나타낸 것으로, 재생하기 위한 반주음, 가수노래 콘텐트 데이터를 로컬 데이터로 구축하지 않고, 원격지의 네트워크상에 구성된 웹서버에 구축하고, 이를 통해 콘텐트 데이터를 제공받을 수 있도록 한 것이다.
사용자가 곡 선택 및 재생/녹음 제어에 관련한 사용자의 키이입력을 위한 키이입력부(200)와, 사용자의 노래연습시의 사용자의 노래 데이터가 저장되는 녹음데이터 저장부(300)와, 가사 자막 및 점수 등과 같이 텍스트로 표시되는 자막을 표시부(500)에 처리하기 위한 문자표시제어부(400)와, 가사, 점수, 노래연습에 필요한 화면을 표시하기 위한 표시부(500)와, 로컬데이터 저장부(100)에 저장된 반주음, 가수노래의 출력 위해 디지털 신호를 아날로그신호로 변경 또는 마이크(700)로 입력된 사용자의 음성 아날로그 신호를 디지털신호로 변경하기 위한 오디오 변환코덱(600)과, 사용자의 음성을 전기적인 신호로 변환하기 위한 마이크(700)와, 네트워크상에 접속하여 웹서버(1c)로부터 콘텐트 데이터를 제공받기 위한 네트워크 인터페이스(800)와, 사용자의 선택에 따라 반주음 또는 가수노래를 제공하고, 사용자의 노래연습을 위한 재생/녹음에 따른 일련의 제어 프로세스를 제공하는 제어부(900)와 스피커(1000)와, 사용자 노래방 장치에서 웹콘텐트서비스 시스템(10)으로부터 다운받아 처리되는 데이터의 저장을 위한 로컬 데이터 저장부(100)를 포함하는 사용자 노래방 장치와,
반주음 또는 가수노래 콘텐트 데이터를 네트워크를 통해 상기 사용자 노래방 장치에 제공하는 웹콘텐트 서비스 시스템(1)을 포함하여 구성되며,
웹콘텐트 서비스 시스템(1)은 노래 연습을 위한 반주음(MR) 및 가수노래(AR) 데이터가 저장되는 콘텐트 저장부(1a)와, 사용자가 사용자 노래방 장치를 통해 녹음하여 업로드한 노래데이터가 등록 저장되는 녹음노래저장부(1b)와, 사용자 노래방 장치의 접속 및 접속된 사용자 노래방 장치에 반주음, 가수노래 콘텐트 제공 및, 녹음된 노래데이터의 업로드저장, 재생 제어 프로세스를 제공하는 웹서버(1c)를 포함하여 구성된다.
이와 같은 본 발명 제 2실시 예는 제 1실시 예에서와 같이 로컬시스템이 아니라 웹서버(1c)를 통해 웹상에서 반주음 또는 가수노래를 제공받아 사용자 노래방 장치를 구동하는 실시 예를 나타낸다.
물론 본 발명 제 1실시 예 또한 네트워크 인터페이스(800)를 통해 상기에서와 같은 웹 콘텐트 서비스 시스템(10)에 접속하여 새로운 반주음, 가수노래의 콘텐츠를 제공받아 콘텐트저장부(100)에 저장하여 로컬로 운영할 수 있다.
콘텐트저장부(11)에 저장된 콘텐트 데이터 또한 도 2에 도시된 바에서와 같이, 콘텐츠의 서비스 효율성 및 저장관리의 효율성을 위해서 반주음과 가수노래 2개의 데이터를 하나의 파일로 통합하여 새로운 통합파일로 서비스할 수 있다.
본 발명의 다른 일 실시예로 노래반주 시스템이 적용된 네비게이션, MP3 플레이어, PDA, PMP(Portable Multimedia Player), 휴대전화 등의 휴대형 단말장치에 상기한 본 발명의 노래연습시스템을 적용할 수 있다.
도 23은 노래반주수단이 적용된 디지털 음원재생기에 본 발명 노래연습시스템이 적용된 구성을 나타낸 블록도이다.
제어프로그램 및 노래반주 데이터 및 노래 연습을 위한 반주음(MR) 및 가수노래(AR) 데이터가 저장되는 메모리부(100)와,
디지털 음원재생 및 노래연습에 필요한 곡 선택 및 재생/녹음 제어와 노래반주에 필요한 피치, 속도조절, 에코조절에 관련한 사용자의 키이입력을 위한 키이입력부(200)와,
사용자의 노래연습시의 사용자의 노래 데이터가 저장되는 녹음데이터 저장부(300)와,
가사 자막 및 점수 등과 같이 텍스트로 표시되는 자막을 표시부(500)에 처리하기 위한 문자표시제어부(400)와,
가사, 점수, 노래연습에 필요한 화면을 표시하기 위한 표시부(500)와,
디지털 데이터의 재생 출력을 위해 디지털 신호를 아날로그신호로 변경 또는 마이크(700)로 입력된 사용자의 음성 아날로그 신호를 디지털신호로 변경하기 위한 오디오 변환코덱(600)과,
사용자의 음성을 전기적인 신호로 변환하기 위한 마이크(700)와,
PC에 접속하기 위한 PC 인터페이스(800)와,
디지털 재생 제어를 위한 일련의 프로세스를 제어하며, 사용자의 선택에 따라 반주음 또는 가수노래를 제공하고, 사용자의 노래연습 을 위한 재생/녹음에 따른 일련의 제어 프로세스를 제공하는 연습제어부(900a), 노래반주의 피치, 속도조절과 에코조절의 조절 및 노래반주제어를 위한 프로세스를 제공하는 노래반주제어부(900b)를 포함하는 시스템제어부(900)와, 멀티미디어 음원 또는 동영상 재생을 위한 프로세스를 제공하는 디지털신호처리장치(DSP)(901)와, 디지털 신호처리를 위한 메모리장치인 램(RAM)(902)를 포함하는 디지털 음원재생기로 구성된다.
상기 연습제어부(900a)는,
노래 연습을 위한 동작모드를 설정하기 위한 프로세스를 제공하고 사용자가 선택한 동작모드가 저장되는 모드설정부(910a)와, 노래연습시 사용자의 연습결과에 대하여 점수를 산정하기 위한 점수연산부(920b)와, 모드설정부(910a)에 설정된 환경설정값에 따라 메모리부(100)에 저장된 반주음 또는 가수노래를 재생/녹음 제어하는 노래연습제어부(930a)를 포함하여 구성된다.
상기 노래반주제어부(900b)는,
노래반주음과 마이크(700)를 통해 입력된 사용자의 목소리를 혼합(mixing)한 오디오 데이터를 녹음데이터저장부(300)에 저장 또는 녹음데이터저장부(300)에 저장된 오디오 데이터를 PC 인터페이스(800)를 통해 PC에 업로드하거나, PC로부터 다운로드된 파일을 메모리부(100)에 저장하는 파일 입출력 처리부(910b)와, 디지털음원이 디코딩된 PCM데이터를 이용하여 사용자가 원하는 만큼의 음정(피치), 재생속도를 조절하는 피치속도 조절부(920b)와, 마이크 입력 오디오 신호에 반향효과를 주기 위해 피드백 시키는 에코생성부(930b)와, 상기 마이크(700)를 통해 입력되는 사용자 음성신호와 상기 피치속도 조절부(920b)를 통해서 입력되는 반주데이터를 믹싱하여 상기 오디오변환코덱(600) 또는 파일 입/출력 처리부(910b)로 출력하는 믹서(940b)를 포함하여 구성된다.
이와 같은 본 발명의 다른 실시 예는, 콘텐츠제공업자(Contents Provider)로부터 서비스되는 노래반주 콘텐트를 제공받아 재생할 수 있도록 하는 디지털음원재생기(예:MP3재생기, 윈도우미디어 재생기, 윈앰프, 미디어플레이어 등과 같이 디지털음원을 재생할 수 있는 재생기)에 노래연습 시스템을 적용한 것이다.
오프라인 노래방과 거의 같은 기능을 휴대용 단말에서 구현할 수 있도록 디지털음원 음악 반주음을 이용하여 음정변화, 속도변화 및 에코기능을 구현한 휴대용 또는 차량용 등의 디지털음원 재생기 또는 휴대폰을 이용한 디지털 음원 노래방 시스템을 제공하며 이러한 노래반주시스템 상에서 노래연습이 가능하도록 함에 그 기술적 특징이 있다.
디지털음원재생기내의 시스템제어부(900)내에 노래연습 제어를 위한 연습제어수단과, 노래반주제어수단을 포함하여 구성된 것으로, 노래반주제어부(900b)를 통해 피치속도 조절 및 에코생성 등과 같은 노래반주기능을 제공함은 물론 연습제어부(900a)를 통해 노래연습 기능을 제공하고, 노래연습 프로세스상에서 노래반주에 관련하여 노래반주제어부(900b)를 통해 상기한 노래반주기능을 제공할 수 있도록 하는 데 그 특징이 있다.
연습제어부(900a)는 상기한 본 발명의 제 1, 2실시 예에서와 동일한 구성을 갖는 것으로, 생략하기로 한다.
도 24는 본 발명 실시예에 있어서, 노래반주 제어부의 상세 구성을 나타낸 블록도.
파일입출력처리부(910b)는 노래반주음과 마이크(700)를 통해 입력된 사용자의 목소리를 혼합(mixing)한 오디오 데이터를 메모리(100)에 저장 또는 메모리(100)에 저장된 오디오 데이터를 PC 인터페이스(800)를 통해 PC에 업로드하거나, PC로부터 다운로드된 파일을 메모리부(100)에 저장하기 위한 수단이다.
노래반주 및 노래 연습상에서 발생되는 오디오 데이터를 메모리(100)에 저장 및 PC 인터페이스(800)를 통해 PC상에 업로드할 수 있도록 하여 콘텐트 데이터를 제공하는 서비스 시스템의 서버에 전달할 수 있도록 하거나, PC를 통해 서비스 시스템 서버로부터 콘텐트 데이터(노래반주 데이터)를 제공받을 수 있도록 하기 위한 수단이다.
피치속도조절부(920b)는 디지털음원이 디코딩된 오디오 데이터를 이용하여 사용자가 원하는 만큼의 음정(피치), 재생속도를 조절하기 위한 수단이다.
에코생성부(930b)는 마이크(700)로 입력되는 오디오 신호를 피드백 시켜 사용자 음성에 대한 반향효과를 주기위한 수단이다.
믹서(940b)는 마이크(700)를 통해 입력되는 사용자 음성신호와 상기 피치속도 조절부(920b)를 통해서 입력되는 반주데이터를 믹싱하기 위한 수단이다.
여기서, 상기에서 설명한 바와 같이, 마이크(700)의 구성은 필수 구성요소가 아니며, 마이크입력부와 에코생성부를 사용하지 않을 수 있다. 또한 마이크입력단자만을 구성하여 외부 마이크를 구성할 수 있으며, 이와 같은 경우 에코생성부(930b)대신에 에코기능이 있는 마이크를 이용할 수 도 있다.
이와 같이 구성되는 디지털음원재생기의 동작을 설명하면 다음과 같다.
사용자가 키이 입력부(200)를 통해 일반 원하는 곡의 선곡 및 모드설정(동작모드와 기능)을 선택하게 됨에 따라서 시스템제어부(900)에서는 메모리부(100)를 통해 반주음 또는 가수노래데이터를 제공하게 된다.
이때 시스템제어부(900)에서는 문자표시제어부(400)를 통해 표시부(500)에 재생되는 노래에 따른 가사를 문자로 표시하여 사용자가 이를 통해 확인하여 노래를 부르거나 학습할 수 있도록 한다.
동작모드에는 일반재생모드와 연습모드로 구분할 수 있으며, 일반재생모드에서는 사용자가 피치속도제어, 에코우 등의 노래반주에 관련된 제어가 가능해지며, 연습모드에는 상기한 실시 예에서와 같이, 노래학습과 모창모드가 있다.
실제 노래연습모드에 있어서는 목적이 노래연습에 있음으로, 피치속도제어, 에코우 등의 노래반주 기능의 제어가 실행되지 않도록 함을 기본으로 하며, 모드설정부(910)에서 사용자가 이에 대한 실행여부를 선택할 수 있도록 할 수 있다.
따라서 모드설정부(910)에서는 노래반주기능 온/오프 설정모드를 포함할 수 있다.
노래학습모드와 모창모드는 상기한 실시 예와 동일하게 동작하게 됨에 따라 이의 동작은 생략하기로 한다.
사용자가 노래를 선곡하고, 원하는 음정(pitch) 및 속도조절, 에코우 설정 등의 노래반주기능을 실행하게 된다.
피치 및 속도조절, 에코우 조절의 동작을 상세히 설명하면 다음과 같다.
도 25는 피치조절부(920b-1)의 구성 블록도를 나타낸다.
이에 도시된 바와 같이, 원신호를 시간평면상의 짧은 구간으로 나누기 위한 윈도우와, 그 짧은 구간의 신호를 퓨리에 변환시키는 퓨리에변환부(FFT)와, 퓨리에 변환부에서 얻어진 진폭스펙트럼에 대해 사용자가 원하는 만큼 쉬프트 시키는 스펙트럼 쉬프트와, 스펙트럼 쉬프트된 신호를 다시 역퓨리에변환하는 역퓨리에변환부(IFFT)와, 프레임간 불일치를 해소하기 위하여 필터링하여 변경된 신호를 출력하는 윈도우로 구성된다.
원리는 처리될 오디오 신호는 짧은 구간에서 스테이션어리(stationary)하다는 가정을 하고 단구간 퓨리에변환(이하, STFT ; Short Time Fourier Transform))를 이용하여 처리한다. 즉 넓은 범위의 오디오 신호는 변동(nonstationary)하다고 해도 짧은 구간(수십msec)에서는 정지상태에(stationary) 있다고 가정(시간에 따라서 통계적(평균, 분산등) 특성이 일정 하다는 가정)을 할 수 있다. 단구간 퓨리에변환(STFT)은 위상이나 주파수 성분이 시간에 따라 변화하는 신호를 해석하기 위해서 사용될 수 있다.
원신호는 음정조절을 위해서 처리해야 할 오디오 신호를 나타낸다.
윈도우는 시간평면의 데이터를 짧은 구간으로 나누기 위해서 사용된다. 또한 주파수 스펙트럼으로 변화했을 때 주파수 스펙트럼이 퍼지는 현상(Gibbs 현상)을 감쇠시키는 역할을 한다.
주파수 평면의 신호로 변환하기 위해서 FFT부에서 퓨리에 변환(FFT)을 수행한다.
여기서 진폭스펙트럼을 얻을 수 있다.
스펙트럼 쉬프트(spectrum shift)는 FFT부에서 얻어진 진폭스펙트럼을 이용하여 사용자가 원하는 만큼 스펙트럼을 이동시킨다.
도 26에 스펙트럼 이동의 예를 제시했다.
진폭스펙트럼의 크기는 변화시키지 않고 단지 주파수 대역만 1000Hz에서 700Hz 이동한 경우의 예를 들고 있다.
이동된 스펙트럼을 갖고 역퓨리에변환(IFFT)(206)을 수행하여 시간축의 신호를 만들어 낸다. 이웃한 데이터 프레임간의 갑작스런 불일치를 해소하기 위해서 윈도우(207) 처리를 한 후 전체 피치가 이동된 오디오 신호(107)를 생성한다.
도 27은 본 발명에 의한 속도 조절부(920b-2)의 구성도이다.
속도조절부(920-b)는 노래반주음의 재생속도를 가변하는 것으로 재생속도를 변화해도 피치(음정)는 변화가 없도록 제어하는 부분이다.
변화되지 않은 원신호가 입력되면 입력신호의 속도의 증감을 판별하는 속도증감판별부와, 속도 증가인 경우 원신호에서 일정부분 솎아내는 데시메이션부와, 속도 감소인 경우 원신호에 데이터 샘플을 중간중간 삽입하는 인터폴레이션부와, 상기 데시메이션부의 출력신호의 음정을 보정하기 위해 피치를 감소시켜 변경된 신호를 출력하는 피치(-)쉬프트부와, 상기 인터폴레이션부의 출력신호의 음정을 보정하기 위하여 피치를 증가시켜 변경된 신호를 출력하는 피치(+)쉬프트부로 구성된다.
변화되지 않은 원신호가 입력되고 입력신호의 속도를증가시킬 경우 원신호에서 일정부분의 신호만을 솎아내는 데시메이션(decimation)한 후에 원신호와 같은 속도로 DAC에 데이터를 보내어 스피커 출력으로 내 보내면 음의 재생속도는빨라지게 된다.
이때 음이 빨라지게 되면 음정이 올라가게 되는데 이것을 보정하기 위해서 피치를 감소하는 방향으로 처리를 수행한다.
재생속도를 감속하려는 경우는 데이터 샘플들을 원신호 중간중간에 삽입하는 인터폴레이션(interpolation)과정을 수행하고 얻어지는 데이터를 같은 샘플링속도로 DAC(digital analog converter)에 전달하여 출력신호를 내보내면 재생속도가 늦어진 것을 느낄 수 있다.
이때 음정도 같이 낮아지게 되는데 이 점을 보정하기 위해서 양(+)의 피치이동을 수행한다.
여기서 사용된 데시메이션과 인터폴레이션에 대한 설명은 도 28에 나타냈다.
원신호에서 일정주기로 데이터의 일부분만을 가져오는 과정을 도 28의 (a)에 도시된 바와 같이 데시메이션이라고 한다.
또한 원신호에 일정비율의 데이터를 주기적으로 삽입하는 과정을 도 28의 (b)에 도시된 바와 같이 인터폴레이션이라고 한다.
그림은 2배의 데이터 증감이 발생함을 알 수 있다.
에코생성부(930b)는, 마이크입력신호에 오프라인 노래방과 같은 반향(에코)를 삽입하기 위한 부분이다.
보통의 오프라인노래방인 경우 에코 삽입은 하드웨어 칩을 이용하여 구현되나, 본 실시 예에 있어서는 소프트웨어적으로 구현하고자 한다.
도 29는 본 발명에 의한 에코생성부(930b)기능을 나타낸 블록도.
입력신호와 지연시킨 피드백신호를 합성하는 제1합산기(M1)와, 그 제1합산기(M1)의 출력신호를 소정시간(τmSec)지연시키는 지연기(D1)와, 그 지연기(D1)의 출력신호를 상기 제1합산기(M1)로 피드백시키되 그 저항 크기에 의해 잔향시간을 조절하는 잔향 시간조절기(G2)와, 상기 지연기(D1)의 출력신호의 세기를 조절하여 잔향의 세기를 조절하기 위한 잔향세기 조절기(G1)와, 그 잔향세기 조절기(G1)의 출력신호와 상기 입력신호를 합성하여 에코가 제어된 신호를 출력하는 제2합산기(M2)로 구성된다.
이와 같이 구성되는 에코 생성부(930b)는, 잔향시간 조절기(G2)가 크면 잔향시간이 길고 잔향시간 조절기(G2)가 작으면 잔향시간이 짧아 진다.
또한 잔향세기 조절기(G1)의 값을 이용하여 잔향의 세기를 조절할 수 있다. 도 30은 에코생성부(930b)의 출력신호를 나타내고 있다.
크기가 1인 펄스를 입력에 인가하면 τmSec씩 늦어져서 규칙적으로 감쇠됨을 보여준다.
이와 같이 지연소자와 피드백 루프의 조합을 이용하여 에코생성부(930b)를 구현하였다.
이와 같은 본 발명은 디지털 음원재생기 또는 디지털 음원재생수단을 포함하는 휴대전화, 네비게이션 등에 적용 가능하다.
휴대전화에 적용하는 경우 휴대전화의 무선통신기능을 이용하여 노래반주 데이터 등의 콘텐트 데이터를 제공하는 콘텐트 데이터 서비스 시스템의 서버에 접속하여 콘텐트 데이터를 제공받거나, 녹음된 사용자의 오디오 데이터를 업로드할 수 있도록 할 수 있다.
또한, 이러한 시스템을 갖는 디지털 음원재생장치에 유무선 네트워크 연결 인터페이스 수단을 구성하여 소정의 제공되는 네트워크에 접속하여 상기한 콘텐트 데이터 서비스 시스템 서버에 접속할 수 있도록 할 수 있다.
휴대전화에 적용하는 경우 사용자는 통화중 필요에 따라서 노래반주에 따라 노래하는 노래반주기능 또는 노래연습을 함께 하거나 상대통화자에게 제공할 수 있도록할 수 있다.
도 31은 본 발명의 실시 예로써, 휴대전화에 본 발명 노래반주 및 노래연습 시스템을 적용한 것으로, 통화중 노래방 기능 제어 흐름도를 나타낸 것이다.
즉, 2명의 음성통화자 혹은 다중 음성통화자들 사이에서 한 사용자가 노래반주기에 맞추어서 노래를 불렀을 때 해당 노래반주음과 사용자의 음성을 합한 오디오 데이터를 통화 연결되어 있는 사용자들이 들을 수 있는 기능을 설명하고 있다.
이동통신 단말 A를 갖고 있는 사람이 이동통신단말B, C와 동시통화를 하는 도중 단말 A에서 메모리에 저장 되어 있는 디지털음원 노래 반주음에 맞추어서 노래를 부를 경우 해당 합성된 음성데이터는 기지국을 통하여 이동통신 단말B,C사용자에게 전달되는 시스템을 나타내고 있다.
먼저 휴대폰 간의 통화 연결이 이루어졌는지는 판단하는 제1단계는, 통화가 연결되어 있는지 확인한다.
만일 음성통화가 연결되었다면, 통화 연결 중에 노래방 기능을 선택하고 노래반주를 선택하게 되면, 휴대폰 내의 메모리에 선택된 노래반주에 대한 디지털음원 노래반주가 저장되어 있는지를 검색하는 제2단계를 수행한다.
노래반주 모드를 선택한 후 노래반주를 선택하면, 현재 핸드폰 단말에 디지털음원 노래반주 컨텐츠가 존재하는지 검사한다.
만일 디지털음원 노래반주 컨텐츠가 없다면 사용자의 선택에 따라 유/무선의 인터넷 망을 이용하여 해당 컨텐츠를 다운로드 받을 수 있다.
이어서, 제2단계에서 선택된 노래반주가 검색되는 경우 해당 디지털음원 노래반주 디코딩을 수행하여 플레이시키는 제3단계를 수행하는데, 노래반주 재생 중에 사용자가 속도조절을 요구할 경우는 속도변환 기능을 수행한다.
사용자가 음정(피치)변환을 원한다면 피치변환을 수행한다. 또한 사용자가 에코조절을 원한다면 마이크 입력 음성신호에 에코를 생성한다.
이후, 상기 제3단계에서 노래반주가 플레이 되는 중에서 입력되는 마이크 입력신호와 또는 통화 연결중인 다른 휴대폰으로부터 수신된 통화수신음과 상기 디지털음원 노래 반주음을 합성하여 스피커에 출력하는 제4단계를 수행하고, 상기 제4단계에서 합성된 노래반주 및 음성 오디오신호를 휴대폰 무선송신을 위한 통화송신음으로 변환 처리후 휴대폰의 음성 송출신호로서 RF송신하는 제5단계를 수행한다. 즉, 마이크 입력신호, 디지털음원의 노래반주음 그리고 통화수신음을 합성하여 스피커로 출력함과 아울러 합성된 오디오 신호는 통화 송신음처리 후 RF단을 거쳐 무선으로 데이터를 전송한다.
이와 동시에 사용자가 부른 노래는 파일로 저장될 수 있다. 사용자가 파일 저장 모드를 선택한 경우 합성된 오디오신호는 파일로 메모리에 저장된다.
저장된 데이터는 무선데이터 망을 이용하여 콘텐트 데이터를 서비스하는 시스템 서버에 저장 보관될 수 있다.
한편, 상기 속도조절은, 속도 증/감 입력에 따라 속도 증가시에 디지털음원 노래반주의 진폭신호에 대해 사이 사이의 음을솎아내는 데시메이션을 수행한 후 감소된 신호에 대응해서 피치를 감소시켜 속도를 증가한 노래반주신호를 생성하고, 속도 감소시에 디지털음원 노래반주의 진폭신호에 대해 사이 사이에 샘플음을 삽입하는 인터폴레이션을 수행한 후, 증가된신호에 대응해서 피치를 증가시켜 노래반주신호를 생성하는 속도조절모드를 수행한다.
또한, 피치조절신호가 입력되면, 원신호에 대해 시간평면상 짧은 구간으로 나누는 윈도우를 적용하여 원신호를 주파수 스펙트럼으로 변환하는 단계와; 주파수 스펙트럼으로 변화된 신호를 퓨리에 변환하여 진폭스펙트럼 신호를 구하는 단계와;
상기 진폭스펙트럼 신호의 크기는 변화하지 않고 상기 피치조절 입력에 대응해서 주파수 대역만을 이동시키는 단계와; 주파수 대역이 이동된 진폭스펙트럼 신호를 역퓨리에 변환시켜 시간축에 대한 주파수 스펙트럼신호로 복원하는 단계와; 그복원된 신호의 이웃한 데이터 프레임간의 불일치를 해소하기 위하여 윈도우 처리를 하여 전체 피치가 이동된 오디오신호를 생성하는 피치조절 모드를 수행한다.
또한, 에코조절모드가 선택되고 에코조절신호가 입력되면, 마이크 입력신호와 피드백신호와 합성시키는 단계와; 그 합성된 신호를 소정시간 지연시키는 단계와; 상기 지연된 신호에 대해 에코의 크기를 조절하여 상기 피드백신호로서 합성단계로 피드백시키는 단계와; 상기 지연시킨 신호에 대해 에코의 세기를 조절하는 단계와; 상기 마이크 입력신호와 상기 에코의 세기를 조절한 신호를 합성하여 에코가 포함된 마이크 입력신호를 상기 제4단계의 마이크 입력신호로서 입력하는 에코조절모드를 수행한다.
이와 같은 본 발명 실시 예에 따르면 디지털 음원을 이용한 노래 반주시스템과 노래연습 시스템을 구현할 수 있게 된다.
도 1은 본 발명 노래 학습 시스템의 제 1실시 예 구성을 나타낸다.
노래 연습을 위한 반주음(MR) 및 가수노래(AR) 데이터가 저장되는 콘텐트 저장부(100)와,
사용자가 곡 선택 및 재생/녹음 제어에 관련한 사용자의 키이입력을 위한 키이입력부(200)와,
사용자의 노래연습시의 사용자의 노래 데이터가 저장되는 녹음데이터 저장부(300)와,
가사 자막 및 점수 등과 같이 텍스트로 표시되는 자막을 표시부(500)에 처리하기 위한 문자표시제어부(400)와,
가사, 점수, 노래연습에 필요한 화면을 표시하기 위한 표시부(500)와,
콘텐트 저장부(100)에 저장된 반주음, 가수노래의 출력 위해 디지털 신호를 아날로그신호로 변경 또는 마이크(700)로 입력된 사용자의 음성 아날로그 신호를 디지털신호로 변경하기 위한 오디오 변환코덱(600)과,
사용자의 음성을 전기적인 신호로 변환하기 위한 마이크(700)와,
소정의 정해진 네트워크상에 접속하기 위한 네트워크 인터페이스(800)와,
사용자의 선택에 따라 반주음 또는 가수노래를 제공하고, 사용자의 노래연습 을 위한 재생/녹음에 따른 일련의 제어 프로세스를 제공하는 제어부(900)를 포함하여 구성된다.
상기 콘텐트 저장부(100)는 반주음이 저장된 반주음저장부(110)와, 가수노래가 포함된 반주음이 포함된 가수노래저장부(120)를 포함하여 구성된다.
그리고 상기 제어부(900)는 노래 연습을 위한 동작모드를 설정하기 위한 프로세스를 제공하고 사용자가 선택한 동작모드가 저장되는 모드설정부(910)와, 노래연습시 사용자의 연습결과에 대하여 점수를 산정하기 위한 점수연산부(920)와, 모드설정부(910)에 설정된 환경설정값에 따라 콘텐트저장부(100)에 저장된 반주음 또는 가수노래를 재생/녹음 제어하는 노래연습제어부(930)를 포함하여 구성된다.
그리고 상기 점수연산부(920)는 노래연습제어부(930)로부터 반주음 데이터에 포함되어 있는 가사자막표시를 위한 자막시간정보로부터 계산되는 시간동기정보를 기준으로 하여 콘텐츠제공자가 미리 각 반주음에 맞춰서 제공한 콘텐트 데이터내에 노래음정정보로 부터 기준음정정보를 추출하는 음정데이터 추출부(921)와,
상기 시간동기정보를 기준으로 하여 마이크(700)를 통해 입력된 사용자의 음성을 스펙트럼 분석하는 제 1스펙트럼 분석부(922)와,
가수노래데이터로부터 가수목소리 데이터를 추출하는 목소리추출부(923)와,
목소리추출부(923)로부터 추출된 목소리에 대하여 스펙트럼 분석하는 제 2스펙트럼 분석부(924)와,
상기 음정데이터추출부(921)로부터 기준음정정보를 입력받고, 제 1스펙트럼분석부(922)로부터 분석된 사용자 음정정보와의 비교 및 가사반전정보로부터 박자를 확인하여 노래학습 점수를 연산하는 노래학습점수연산부(925)와,
상기 가수노래데이터로부터 분석된 제 2스펙트럼분석부(924)의 기준스펙트럼정보와 사용자의 음성이 스펙트럼 분석된 제 1스펙트럼 분석부(922)의 사용자 음색을 비교하고, 가사반전정보로부터 박자를 확인하여 모창점수를 계산하는 모창점수연산부(926)를 포함하여 구성되고,
상기 노래학습점수연산부(925)는 상기 음정데이터추출부(921)로부터 기준음정정보를 입력받고, 제 1스펙트럼분석부(922)로부터 분석된 사용자 음정정보를 입력받아 기준음정정보와 사용자 음정정보를 비교하여 음정정확도를 측정하는 음정정확도측정부(925a)와, 이전 음정데이터를 저장하며 저장된 이전 과거의 음정데이터와 현재 제 1스펙트럼분석부(922)로부터 입력된 스펙트럼 분석정보와의 비교를 통해 음정추이를 계산하고 계산된 음정추이를 기준정보로 하여 사용자가 부른노래의 음정변화추이간의 유사한 정도를 측정하는 음정추이유사도 측정부(925b)와, 가사반전시간정보와 실제 입력되는 사용자의 입력데이터를 비교하여 박자점수를 계산하는 박자점수측정부(925c)와, 상기 음정정확도측정부(925a)와 음정추이유사도측정부(925b) 및 박자점수측정부(925c)의 점수산출값을 합산하여 노래학습점수를 산출하기 위한 합산기(925d)와 합산기(925d)를 통해 각 소절단위의 순간점수를 이용하여 모드설정부(910)에 설정된 환경설정값에 따라 점수를 연산 제공하는 점수제공부(925e)를 포함하여 구성된다.
상기 모창점수연산부(926)는 가수노래로부터 추출된 가수목소리에 대한 제 2스펙트럼 분석부(924)의 스펙트럼 분석정보를 기준스펙트럼 정보로 입력받고, 제 1스펙트럼 분석부(922)의 사용자의 음성에 대한 스펙트럼 정보를 입력받아 음색 유사도를 측정하는 음색유사도 측정부(926a)와, 제 1스펙트럼분석부(922)로부터 입력된 스펙트럼 분석정보와의 비교를 통해 음색추이를 계산하고 계산된 음색추이를 기준정보로 하여 사용자가 부른 노래의 음색 추이간의 유사도 정도를 측정하는 음색추이유사도 측정부(926b)와, 가사반전시간정보와 실제 입력되는 사용자의 입력데이터를 비교하여 박자점수를 계산하는 박자점수측정부(926c)와, 상기 음색유사도측정부(926a)와 음색추이유사도측정부(926b) 및 박자점수측정부(926c)의 점수산출값을 합산하여 노래학습점수를 산출하기 위한 합산기(926d)와, 합산기(926d)를 통해 각 소절단위의 순간점수를 이용하여 모드설정부(910)에 설정된 환경설정값에 따라 점수를 연산 제공하는 점수제공부(926e)를 포함하여 구성된다.
이와 같은 본 발명 노래방 시스템에서는, 반주음(AR)과 반주음에 가수목소리가 포함된 가수노래(MR) 콘텐트를 로컬(local) 시스템에 저장하여 사용하는 시스템이다.
콘텐트 저장부(100)는 CD(컴팩트디스크), 하드디스크 등 네트워크의 도움을 받지 않고 독자적으로 저장할 수 있는 저장수단을 의미한다.
콘텐트 저장부(100)는 반주음(MR;Music Recorded), 가수노래(AR; All Recorded)가 저장되며, MR과 AR은 미디(MIDI) 포맷이 아닌 디지털 음원(MP3, AAC, WMA, MP2, AC3 등)을 이용한다.
도 2에서와 같이, 반주음과 가수노래가 포함된 반주음을 각기 달리 구성하지 않고, 하나의 통합된 파일로 구성할 수 있다.
도2는 로컬에 저장된 콘텐츠서비스의 효율성 및 저장 관리의 효율성을 위해서 반주음과 가수노래 데이터를 하나의 파일로 만들어 새로운 통합 파일 형태로 저장시키기 위한 통합파일 구조를 나타낸다.
통합파일은 가수노래(AR) 데이터와 반주음 데이터(MR), 노래자막 데이터를 하나의 파일로 관리하기 위해서 구성된 것이다.
통합파일임을 알려주는 통합파일헤더가 위치하고, 노래자막 데이터, AR데이터, MR 데이터, 음정정보 데이터가 구성된다.
통합파일헤더에는 통합파일 헤더 이후의 데이터에 대한 포인터 값과 데이터 길이 정보 등이 포함된다.
이 정보를 이용하여 노래자막 데이터, AR데이터, MR 데이터, 음정정보 데이터가 통합 파일내에 존재하고 있는 위치를 알 수 있다.
여기서 사용되는 반주음(MR)과 가수노래(AR)는 노래의 동기를 일치시켜 주는 것이 좋다.
즉, 반주음과 가수노래를 동시에 재생했을 때 중간에 둘 중에 어느 하나를 선택해도 음의 끊김이나 반복됨이 없이 진행되기 위해서는 사용되는 반주음(MR)과 가수노래 반주음(AR)은 노래의 동기를 일치시켜 주어야 한다.
이렇게 구현했을 때 노래가사에 대한 정보를 각 각에 대하여 구성할 필요없이 반주음과 가수노래에 대하여 가사정보를 하나로 구성할 수 있다.
즉 반주음에 맞는 노래 가사정보, 가수노래에 맞는 노래가사정보를 별도로 구분하여 구성할 필요가 없다.
노래가사정보는 노래가사가 노래를 시작하고 언제 해당 가사를 화면에 표시해야하는지에 대한 시간 정보를 갖고 있다.
사용되는 반주음(MR)과 가수노래(AR)의 동기가 일치하지 않는 경우에는 별도의 자막정보를 반주음(MR)과 가수노래(AR)용 노래가사정보를 따로 구성해야한다.
보통 노래가사가 시작되는 시간이 반주음(MR) 과 가수노래(AR)가 다를 수 있기 때문에 소절단위의 반복을 원활하게 하기 위해서, 사용되는 노래가사정보에는 최소한 라인 단위 노래자막 데이터와 각 라인 단위 노래자막의 시작과 끝 시간에 대한 정보를 갖고 있어야 한다.
또한 가수노래(AR) 데이터 중에 많은 데이터가 별도의 노래자막데이터가 없을 수 있다.
이런 경우 가수노래(AR) 데이터에 맞는 노래자막의 라인단위 시작시간을 나타내는 시간정보만을 별도로 구성하여 소절반복에 사용할 수 있다.
상기와 같은 노래방 시스템은 PC(Personal Computer) 뿐 만 아니라 일반적으로 소프트웨어를 이용하여 시스템을 구현할 수 있는 핸드폰, 네비게이션, MP3 플레이어, PDA, PMP(Portable Multimedia Player),CD 플레이어, DVD플레이어 IPTV 셋탑박스 등에 적용 가능하다.(핸드 헬드시스템에서의 구현은 이후 본 발명의 다른 실시 예에서 설명하기로 한다.)
키이입력부(200)는 노래연습을 위해 사용자가 소정한 키이를 선택하기 위한 수단으로 곡선정 및 모드 선택 등 사용자 선택을 위한 수단이다.
문자표시제어부(400)는 가수노래나 반주음이 재생될 때, 해당하는 가사를 LCD 또는 TV와 같은 표시부(500)에 나타내기 위한 수단이다.
녹음데이터 저장부(300)는 사용자의 연습 상황 즉 사용자의 음성에 대한 녹음 데이터를 저장하기 위한 수단이며, 녹음데이터 저장부에는 선택된 반주음 과 함께 사용자의 녹음 데이터가 파일형태로 저장된다.
오디오변환코덱(600)은 아날로그 신호를 디지털 신호로 변환, 디지털 신호를 아날로그 신호로 변환하는 수단으로, 재생된 반주음을 스피커를 통해 출력하기 위하여 디지털신호를 아날로그신호로 변환하거나, 마이크(700)로 입력된 신호를 녹음 저장하기 위하여 아날로그 신호를 디지털 신호로 변환하기 위한 수단이다.
마이크(700)는 사용자의 입력된 음성을 전기적 신호로 변환하기 위한 수단이다.
사용자의 노래연습에 있어서 꼭 필요한 필수요소는 아니겠지만, 사용자의 음성을 스피커(1000)를 통해 들으면서 연습할 수 있도록 하거나, 사용자의 음성을 녹음하기 위하여 사용자의 음성을 입력받기 위한 것이다.
실제적으로 네비게이션과 같은 장치에 있어서는 마이크 또는 마이크의 연결단자를 구성하지 않는 경우가 대부분으로, 이러한 경우 사용자의 음성입력을 이용하는 기능보다는 노래연습기능 제공에 기술적 기반을 갖는다고 할 수 있다.
마이크(700)의 구성은 외장형으로 구성하고, 마이크를 연결시키기 위한 인터페이스수단으로 마이크 입력단자를 구성할 수 있다.
네트워크 인터페이스부(800)는 인터넷, 로컬 네트워크 등과 같은 네트워크를 통해 소정의 정해진 서버 또는 외부 사용자와의 데이터 공유가 가능하도록 하기 위한 수단이다.
제어부(900)는 사용자가 선택한 동작모드 및 기능선택에 따라 상기 각 부를 제어하기 위한 프로세스를 제공하는 수단이다.
제어부(900)의 모드설정부(910)는 시스템의 동작환경을 사용자가 설정할 수 있도록 하고, 그 설정된 데이터를 저장하기 위한 수단이다.
도 3은 모드설정부(910)에서 사용자에게 제공하는 모드설정화면의 일 예를 나타낸다.
모드설정정보는 학습콘텐트(100)를 최초 재생할 때 어떤 데이터(반주음 또는 가수노래)를 먼저 재생할지를 설정하기 위한 시작모드, 점수표시여부를 선택하기 위한 점수표시모드, 노래학습모드인지 모창연습모드인지를 설정하기 위한 연습모드, 전체단위로 재생 및 녹음할 것인지 소절단위로 재생 및 녹음할 것인지를 설정하기 위한 재생/녹음단위모드를 포함한다.
또한 묵음구간을 삽입하기 위한 시간설정모드와, 소절단위로 재생할 경우에 소절길이를 설정하기 위한 소절길이설정모드를 포함한다.
그리고 점수표시모드에는 소절단위로 점수를 표시할 것인지 여부설정 정보를 더 포함할 수 있다.
시작모드는 노래를 재생 시작할 때, MR/AR중에서 어떤 콘텐트를 재생할 것인 지를 결정하는 부분이다.
연습모드는 평가점수산정기준을 학습모드에 둘 것인지 아니면 모창모드로 둘 것인지를 결정하는 부분이다.
학습모드의 경우는 노래를 학습하고자 하는 데 그 목적이 있는 것으로, 이에 따라 점수의 평가기준은 박자, 음정, 음정추이가 원 노래와 어느 정도 비슷한 가를 갖고 평가한다.
모창모드 일 경우는 원 노래의 가수목소리를 얼마나 유사하게 따라하는 가에 그 목적이 있는 것으로, 점수의 평가기준은 박자, 음색, 음색추이가 가수의 목소리와 어느 정도 유사한가가 점수의 평가기준이 된다.
재생/녹음단위는 노래전체를 한번에 녹음할 지 혹은 소절단위로 녹음하여 최종하나의 녹음곡을 만들지 설정하는 부분이다.
묵음구간삽입은 소절 반복 시에 소절과 소절 사이에 묵음구간을 얼마 길이로 해야할 지를 결정하는 부분이다.
소절길이 설정부는 한 소절의 길이를 결정하는 부분이다.
기준(default)은 2라인이다.
이는 노래방에서 한 화면에 2개의 자막라인이 표시될 수 있기 때문이다.
사용자가 한 소절을 결정하는 자막라인수를 설정하는 것이 가능하다.
점수표시모드는 점수를 표시할 것인지를 나타내는 정보이며, 전체재생 중이더라도 각 소절단위로 점수를 표시할 것인 지를 결정하는 정보이다.
도 4 내지 도 8은 노래학습 및 모창정도를 점수로 나타내기 위한 이론적 배경을 설명하기 위한 도면이다.
노래학습모드의 경우 점수의 산정기준으로 노래의 박자, 음정 및 음정추이가 얼마나 정확한 가이며, 모창모드인 경우에는 박자, 음색 및 음색추이가 얼마나 가수와 비슷한 가를 기준으로 한다.
음정과 음색에 대한 정의를 알아보면 다음과 같다.
임의의 오디오 파형을 f(t)라 하면 시간(t)에 따라 기압, 기체 밀도 등이 어떻게 변화하는 지를 나타내는 함수이며 A,B,C,D는 진폭을 나타내는 상수들이며 a,b,c,d는 진동수를 나타내는 상수들이라고 할 때 다음의 수학식 1과 같이 표현할 수 있다.
어떤 형태의 파동이라도 사인파동들의 합이라고 생각할 수 있다.
파동의 형태에 따라서 A,B,C,D,..와 a,b,c,d,... 들의 값이 달라지게 된다.
여기서 A가 다른 값보다 훨씬 크다면 우리는 여기에 해당하는 진동수 a를 음정(音程, pitch)으로 느낀다.
그리고 f(t)에 포함된 다른 사인파동들은 우리가 음색을 느끼는데 공헌을 한다.
진동수 a,b,c,d,...들인 사인파동들의 세기인 A,B,C,D,...들의 비율에 따라 우리는 특정한 음색을 느끼는 것이다.
현악기나 관악기와 같은 악기들은 소리를 낼때 기본진동(Fundamental)과 그 기본진동의 자연수배가 되는 배진동(倍振動, overtones)들이 같이 나온다.
기본 진동의 진폭 또는 세기가 다른 배진동들의 세기보다 훨씬 크기 때문에 우리는 기본진동의 진동수를 음정으로 구별해낼 수 있다.
북과 같은 타악기들은 배진동의 크기가 기본진동에 맞먹을 정도이므로 음정을 알기 어렵다.
도 4는 스펙트럼신호의 시간평면에서의 파형도이다.
도 4에서 첫 번째 그림0은 임의의 진동파형을 나타낸다.
그림1은 진동수 f0이며 진폭 10인사인파이며,
그림2는 진동수 2f0이며 진폭 4인사인파,
그림3은 진동수 3f0이며 진폭 3인사인파,
그림4는 진동수 4f0이며 진폭 3인사인파,
그림5는진동수5f0 이며진폭 2인사인파이다.
여기서 그림1~5의사인파를 모두 더하면 그림0의 파동이 된다.
즉 진동수 f0, 2f0, 3f0, 4f0, 5f0의 사인파를 진폭 비율 10 : 4 : 3 : 3 : 2로 합쳤더니 그림0과 같은 복잡한 모양의 파동이 생긴 것이다.
이 진폭의 배합비율을 다르게 하면 합쳐진 파동의 모양이 달라진다.
이렇게 어떤 임의의 진동을 각 사인파로 갈라내고 각사인파의 진동수별 배합 비율을표나 그래프로 나타낸 것을 스펙트럼이라고 한다.
가장 크게 들어있는 사인파의 진동수가 그 소리의 음정을 결정한다.
그러므로 도 4의 그림0과 같은 소리 파동을 들으면 우리는 그 음정을 그림1의 진동수 f0로 듣는다.
나머지 사인파들의 배합비율은 파동의 모양, 즉 음색을 결정한다.
피아노의 가운데 라(La) 건반의 음정은 440Hz이다.
그런데 이 건반을 눌렀을 때 440Hz의 소리만 나오는 것이 아니라 그 진동수의 2,3,4,5,...배의 진동수를 가진 880Hz, 1760Hz, 3520Hz, 7040Hz,의 소리도 함께 나온다.
다만 진동수 440Hz의 소리 크기가 가장 크기 때문에 우리는 그 음정이 La 이라고 느끼는 것이다.
나머지 배진동들의 비율은 피아노의 음색을 결정한다.
기타로 치는 La와 바이올린의 La가 음정은 같지만 음색이 다른 이유는 이렇게 악기마다 배진동들의 배합비율이 다르기 때문이다.
같은 바이올린이라도 스트라디바리와 보통 바이올린의 소리가 다른것은 배진동의 배합비율이 약간 다르기 때문이라고 할 수 있다.
도 5는 서로 다른 악기가 같은 음정의 소리를 냈을 때의 파형도이다.
맨위의 파형은 바이올린의 소리와 흡사한 파형이며 가운데는 클라리넷, 맨아래쪽은 플루트와 흡사한 파형이다.
이 표를 보면 기본 진동과 배진동의 배합비율에 따라 파형이 달라지며 따라서 우리가 느끼는 음색도 달라진다는 것을 알 수있다.
본 발명에서는 상기와 같은 음색정보의 특징을 활용하여 노래점수를 계산하는 방법을 제공한다.
도 6, 도 7은 유사도 측정의 예를 설명하기 위한 스펙트럼파형으로, 도 6은 음색유사도 측정을 위해 입력되는 기준스펙트럼정보의 일 예이고, 도 7은 음색 유사도측정을 위해 입력되는 마이크로 입력되는 오디오신호의 입력 스펙트럼 정보의 일 예를 나타낸 것이다.
유사도 측정을 위해서 사용할 수 있는 수단은 여러 가지가 있다.
2개 벡터간의 유사도를 측정하는 방법과 유사하다.
예를 들어 상관도(Correlation value), 정규화된 상관도(Normalized Correlation value), 상관계수(Correlation coefficient), 두 벡터간의 거리를 측정하는 방식으로서 유클리디언 거리등을 유사도 측정을 위해서 사용할 수 있다.
본 발명에서는 예로서 상관계수를 사용하여 2개 음색의 유사도를 측정하였다.
여기서 음색은 주파수 스펙트럼으로써 나타낼 수 있기 때문에 스펙트럼간의 유사도를 측정하는 것과 같다.
상관계수의 특징은 두 벡터의 상관성을 계산하기 전에 평균값을 제거하고 두 개의 각각의 벡터크기로 정규화를 한다.
따라서 소리의 크기와 관계없이 유사도를 측정할 수 있다.
먼저 기준 음악정보 스펙트럼X=[1,1,4,3,1,0,0,0,0,0]이라고 하고 마이크로 입력된 사용자 오디오신호의 스펙트럼을 Y=[1,2,1,1, 1,0,0,0,0,0]라고 했을 때 두 스펙트럼간의 상관계수는 다음의 수학식 2와 같이 구한다.
도 6 및 도 7은 각각 X,Y를 주파수 평면에 나타낸 그림이다.
여기서,
각각 벡터에서 벡터의 평균값을 뺀 값, ㆍ: 두벡터의 내적(inner product)을 나타낸다. CC는 두 벡터의 상관계수를 나타낸다.
절대값이 크면 클수록 2개의벡터는 유사하다는 것을 나타낸다.
CC값의 범위는 수학식 3과 같다.
상기 수학식에 의해서 구한 X,Y의 상관계수 값은 0.56이다.
1에 가까운 상관계수의 값을 갖을수록 두 벡터는 유사성이 큰 것으로 판단한다.
스펙트럼이 유사하다는 것은 두 비교대상이 되는 오디오의 음색이 유사하다는 것을 나타낸다.
음색추이 유사도 값은 현재의 스펙트럼 값에서 이전 스펙트럼 값과의 차를 구한 값을 이용하여 유사도를 측정한 값이다.
위 수학식 2에서
여기서
음색추이 유사도를 구하는 방식은 이전에 설명한 음색유사도 설명한 것과 같다.
음색추이 유사도를 측정하는 이유는 음악멜로디 변화의 유사성을 측정하기 위함이다.
유사도가 높으면 높을수록 멜로디 변화의 유사성이 큰 것이다.
이 값이 높으면 사용자가 노래를 잘 부르고 있다고 판단할 수 있다.
이 값 역시 1에 가까우면 가까울수록 가수의 멜로디 변화와 유사하게 사용자가 노래를 부르고 있다는 것을 나타낸다. 음정 추이 유사도를 구하는 방식도 이전에 설명한 음색유사도 설명한 것과 같다.
단지 시간에 따른 음정 변화 추이를 음색 스펙트럼과 바꿔서 계산을 하면 된다.
도 8은 상기한 기술적 내용을 기반으로 구성된 점수연산부의 상세 구성을 나타낸다.
노래학습점수는 박자, 음정정확도 및 음정추이 유사도를 기본으로 해서 산출되며, 모창점수는 박자, 음색유사도 및 음색추이 유사도를 기본으로 해서 산출된다.
점수를 계산해내는 주기는 시간동기정보에서 주워지며 시간동기정보는 반주음 데이터에 포함되어있는 가사자막표시를 위한 자막시간정보에 따라 정해진다.
시간동기정보에 의해서 스펙트럼 계산하는 주기가 결정되기 때문에 전체노래학습시스템의 성능에 따라서 주기는 가변적으로 변할 수 있다.
노래음정정보는 콘텐츠제공자가 미리 각 반주음(MR) 데이터에 맞춰서 음정정보를 산출하고 이것을 데이터정보로 제공한다.
일정시간에 해당되는 음정데이터추출부에서 필요한 음정데이터를 추출한다. 추출된 음정데이터는 기본음정데이터로 노래학습점수연산부(925)의 음정정확도측정부(925a)와 음정추이유사도측정부(925b)의 기준입력이 된다.
제 1스펙트럼 분석부(922)는 마이크(700)를 통해 입력된 사용자의 목소리를 분석하여 노래학습점수연산부(925)의 음정정확도측정부(925a)와 음정추이유사도측정부(925b)의 기준음정정보를 제공한다.
음정정확도측정부(925a)는 기준음정데이터와 사용자 목소리의 계산된 음정값을 비교하여 유사도를 측정하기 위한 수단이다.
마이크(700)를 통해 입력된 사용자의 음성에 대한 제 1스펙트럼 분석부(922)의 스펙트럼분석정보를 이용하여 사용자 목소리의 음정을 유추한다.
여기서, 가장 높은 에너지를 갖는 주파수 대역을 추출하여 이것을 사용자 목소리의 음정으로 간주한다.
이 순간적인 목소리 음정데이터와 기준음정데이터를 수치적으로 비교하여 얼마나 유사한지 측정한다.
비교결과 그 차이가 적으면 적을수록 정확한 음정으로 노래를 부른 것이다.
음정추이 유사도측정부(925b)는 사용자가 부른 노래의 음정변화추이가 실제기준 음정의 변화추이간의 유사한 정도를 정량적으로 측정한다.
음정추이를 계산하기 위해서는 이전의 음정데이터를 보관하고 이것을 유사도 측정에 이용한다.
박자점수측정부(925c)는 가사 글자 반전시간에 마이크(700)를 통해 사용자의 음성 데이터가 실제 들어오는지를 검사하여 박자점수를 계산한다.
합산기(925d)는 상기한 3가지에 대한 비교, 즉 음정정확도측정부(925a), 음정추이 유사도측정부(925b) 및 박자점수 측정부(925c)의 출력을 합하여 순간점수를 만들어내기 위한 수단이다.
점수제공부(925e)는 이와 같이 연산된 순간점수를 입력으로 하여 모드설정부(910)에 설정된 조건값에 따라서 소절단위로 점수를 제공하거나, 소절단위의 순간점수를 합산하여 전체 점수로 제공하기 위한 수단이다.
모창점수연산부(926)는 가수목소리의 스펙트럼정보와 사용자 목소리의 스펙트럼정보의 유사성을 비교하여 유사성이 높을수록 높은 점수를 주는 방식으로 동작한다.
목소리추출부(923)는 가수노래 데이터에서 가수 목소리만을 추출하기 위한 수단으로, 목소리추출 알고리즘을 사용하여 목소리를 추출한다.
일반적인 가수노래는 반주음+가수목소리의 형태로 이루어졌기 때문에 가수노래에서 가수 목소리만을 추출해서 기준 스펙트럼정보를 얻어야한다.
목소리만을 추출하는 알고리즘은 기존에 많이 연구되어 발표된 내용을 적용하며, 따라서 여기서는 자세히 언급하지 않는다.
제 2스펙트럼 분석부(924)는 목소리 추출부(923)에서 추출된 가수 목소리 데이터에 대하여 스펙트럼 분석하여, 음색유사도측정부(926a)와 음색추이 유사도측정부(926b)의 기준 스펙트럼정보를 제공하기 위한 수단이다.
제 2스펙트럼 분석부(924)는 일정시간 목소리 데이터를 버퍼링한 후에 시간동기정보에 맞춰서 스펙트럼정보를 계산한다.
음색유사도측정부(926a)는 상기한 제 2스펙트럼분석부(924)로부터 제공받은 기준스펙트럼정보와 상기 제 1스펙트럼분석부(922)에서 제공한 사용자 목소리에 대한 스펙트럼 정보를 비교하여 음색유사도를 측정하기 위한 수단이다.
음색유사도측정부(926a)는 2개의 입력스펙트럼 데이터간의 유사도를 측정하여 정량적으로 수치화한다.
음색추이 유사도측정부(926b)는 입력스펙트럼 데이터들의 시간에 따른 변화량이 얼마나 유사한지를 정량적으로 수치화한다.
박자점수측정부(926c)는 가사글자 반전시간에 마이크의 입력데이터가 실제 들어오는 지를 검사하여 박자점수를 계산한다.
합산기(926d)는 음색유사도측정부(926a), 음색추이유사도 측정부(926b) 및 박자점수측정부(926c)의 출력을 합산하여 모창 순간점수를 산출하기 위한 수단이다.
점수제공부(926e)는 모드설정부(910)의 설정된 값에 따라 각 소절단위로 생성된 모창 순간점수를 제공하거나, 각 소절단위의 순간점수를 합산하여 전체점수로 제공하기 위한 수단이다.
그러나, 음정정보는 많은 연산량을 필요로하기 때문에 대부분의 단말장치에서 구성하기 어려울 수 있다. 따라서 이러한 경우 간단하게 박자만을 고려하여 점수를 연산할 수 있게 되는 바, 가사반전정보와 마이크(700)로 입력되는 사용자의 음성을 비교하여 박자점수를 구하고 이를 이용하여 점수를 연산할 수 있도록 구성할 수 있다.
본 발명의 점수연산부(290)의 다른 실시예로 콘텐트 저장부(100)에 가수노래 스펙트럼정보를 미리 저장하고, 이의 정보로부터 스펙트럼 데이터를 추출하여 기준 스펙트럼 정보로 제공하는 스펙트럼 데이터 추출부를 더 포함하여 구성하여 모창점수를 제공할 수 있도록 구성할 수 있다.
이의 구성을 도 9에 도시한다.
시스템에 따라서 가수노래데이터로부터 목소리를 추출하고 이 정보로부터 기준 스펙트럼정보를 실시간으로 얻는 것이 어려운 시스템이 있을 수 있다.
이런 점을 극복하기 위해서 사전에 가수노래데이터로부터 가수목소리를 추출하고 추출된 가수목소리로부터 스펙트럼정보를 계산할 수 있다.
스펙트럼 데이터 추출부(927)는 가수노래스펙트럼정보로 부터 시간동기정보에 맞춰서 스펙트럼 정보를 추출하고 추출된 정보를 기준 스펙트럼정보로서 제공하여 순간점수를 계산하기 위한 수단이다.
스펙트럼분석은 시간 축 상의 오디오데이터를 주파수 스펙트럼정보로 변환시켜주는 부분이다.
많이 사용되는 알고리즘은 DFT(DiscreteFourier Transform),
FFT(Fast Fourier Transform), 웨이브렛변환(Wavelet Transform), DCT(Discrete Cosine Transform) 등이 올 수 있다.
보통 FFT알고리즘을 가장 많이 사용한다.
스펙트럼정보는 "시간, 스펙트럼, 부가정보"를 포함한다.
여기서 시간정보는 스펙트럼이 계산된 시간, 즉 노래시작시간으로 부터의 옵셋 시간으로 계산된다.
스펙트럼정보는 시간정보에 계산된 입력오디오신호의 스펙트럼정보로서 실제 가수가 부른 음성의 스펙트럼정보를 갖고 있다.
또한 부가정보는 순간점수를 계산하기 위해서 부가적으로 필요한 데이터를 보관하는 부분이다.
이와 같은 본 발명 제 1실시 예의 동작을 설명하면 다음과 같다.
사용자가 키이 입력부(200)를 통해 원하는 곡의 선곡 및 모드설정(동작모드와 기능)을 선택하게 됨에 따라서 제어부(900)에서는 콘텐트저장부(100)를 통해 반주음 또는 가수노래데이터를 제공하게 된다.
이때 제어부(900)에서는 문자표시제어부(400)를 통해 표시부(500)에 재생되는 노래에 따른 가사를 문자로 표시하여 사용자가 이를 통해 확인하여 노래를 부르거나 학습할 수 있도록 한다.
동작모드에는 일반재생모드와 연습모드로 구분할 수 있으며, 연습모드에는 노래학습과 모창모드가 있다.
사용자는 모드설정부(910)를 통해 노래학습모드와 모창모드중 하나를 선택할 수 있으며, 이때 재생/녹음단위를 전체 또는 소절단위중 하나를 선택하여 재생이 가능하게 된다.
연습모드에서는 노래의 전곡을 선택하게 되는 경우 노래의 전곡을 반복하여 재생하게 되고, 소절단위를 선택하게 되는 경우에는 모드설정부(910)에 설정된 소절길이에 따라서 재생하게 된다.
통상 소절길이는 2라인으로 설정된다.
도 10은 사용자가 학습하려고 하는 노래 선택했을 때, 노래학습 시스템에서 설정된 모드를 이용하여 노래를 재생하는 노래 학습방법의 과정을 나타낸다.
현재 진행모드가 MR 모드인지 AR 모드인 지를 판단하는 모드판단과정과,
사용자가 선택한 콘텐츠 파일이 통합파일인 지 아니면 가수노래(AR), 반주음(MR)이 구분된 별도의 파일인지를 확인하는 파일확인과정과,
통합파일인 경우 현재 진행모드가 MR 모드인 경우 통합파일 헤더를 통해 인식된 MR데이터 위치포인터 값을 계산하고, 현재 진행모드가 AR 모드인 경우 통합파일 헤더를 통해 인식된 AR 데이터 위치 포인터 값을 계산하는 과정과,
통합파일이 아닌 경우에는 현재 진행모드가 MR 모드인 경우 현재 선택한 파일 이름에 해당하는 MR 파일을 선택하여 파일 포인터를 계산하고, 현재 진행모드가 AR 모드인 경우 현재 선택한 파일 이름에 해당하는 AR 파일을 선택하여 파일 포인터를 계산하는 과정과,
상기에서 계산된 포인터를 기준포인터로 삼고, 현재 재생시간에 해당하는 데이터 옵셋값을 구하여 상기 기준포인터에 합산하는 재생포인트 산출과정과,
산출된 재생포인터 값을 이용하여 재생하는 재생과정과,
재생이 완료되었는 가를 판단하여 재생이 완료되면 반복모드가 설정되어있는 가를 확인하는 과정과,
반복모드가 설정되어 있으면, 상기한 재생포인터값을 이용하여 사용자가 지정한 반복회수에 따라 다시 재생 반복하고, 반복모드가 설정되어 있지 않으면, 완료하는 과정으로 이루어진다.
이와 같은 과정을 그 수순에 따라 동작을 설명하면 다음과 같다.
현재 진행모드가 MR 모드인지 AR 모드인 지를 판단한다.
사용자가 선택한 콘텐츠 파일이 통합파일인 지 아니면 가수노래(AR), 반주음(MR)이 구분된 별도의 파일인지를 확인한다.
통합파일인 경우 현재 진행모드가 MR 모드인 경우 통합파일 헤더를 통해 인식된 MR데이터 위치포인터 값을 계산하고, 현재 진행모드가 AR 모드인 경우 통합파일 헤더를 통해 인식된 AR 데이터 위치 포인터 값을 계산한다.
통합파일이 아닌 경우에는 현재 진행모드가 MR 모드인 경우 현재 선택한 파일 이름에 해당하는 MR 파일을 선택하여 파일 포인터를 계산하고, 현재 진행모드가 AR 모드인 경우 현재 선택한 파일 이름에 해당하는 AR 파일을 선택하여 파일 포인터를 계산한다.
상기에서 계산된 포인터를 기준포인터로 삼고, 현재 재생시간에 해당하는 데이터 옵셋값을 구하여 상기 기준포인터에 더한다.
이와 같이 구한 재생 데이터 포인터값을 이용하여 재생한다.
상기 현재진행 모드는 모드설정부(910)에 설정된 값을 따르며, MR반복이나 AR반복이 선택된 경우에는 반복모드로 현재 진행모드를 변경하고 재생한다.
도 11은 표시부에 표시되는 노래학습플레이어의 예를 나타낸다.
화면상단은 노래가사를 표시하는 부분이고 하단의 입력단은 사용자의 입력 선택 및 회수 표시를 위한 부분이다.
입력기능을 보면 재생버튼은 현재 선택된 곡을 재생하는 기능을 수행하고 다음 곡 버튼은 현재 재생 중인 곡을 멈추고 재생 목록 리스트에 있는 곡 중에서 현재 재생중인 곡 바로 다음에 위치한 곡을 선택해서 재생하도록 하는 기능이다.
AR반복버튼은 버튼을 누를 때, AR 반복재생중이 아닌 경우는 현재 재생중인 곡을 멈추고 바로 AR곡의 현재소절의 맨 앞으로 이동하여 재생한다.
AR 반복 재생 중 인 경우에는 AR 반복버튼을 또 누르면 반복 회수(D1)가 1씩 증가하면서 옆에 반복 회수를 표시한다.
이후, AR 반복이 한번 실행될 때마다 숫자(D1)가 1씩 감소한다.
여기서, MR 반복중에 AR 반복버튼을 누른 경우는 누르자마자 현재 재생중인 MR곡을 멈추고 MR반복회수표시(D2)를 0으로 표시하고 바로 AR곡의 해당소절의 맨앞으로 이동하여 AR반복을 진행한다.
MR반복버튼은 버튼을 누를 때, MR반복재생이 아닌 경우 현재 재생중인 곡을 멈추고 MR의 현재소절의 맨 앞으로 이동하여 재생한다.
MR반복재생 중일 때 MR반복버튼을 또 누르면 반복회수표시(D2)가 1씩 증가하면서 옆에 반복회수를 표시한다.
MR반복을 한 번 실행할 때마다 숫자가1씩 감소한다.
만일 AR 반복 중에 MR반복버튼을 누른 경우는 누르자마자 현재 재생중인 AR곡을 멈추고 AR반복회수표시(D1)를 0으로 표시하고 바로 MR곡의 해당소절의 맨 앞으로 이동하여 MR반복을 진행한다.
도 12는 AR소절, MR 소절 반복 재생 루틴의 상세동작 흐름도를 나타낸다.
AR(MR)반복키가 입력되면 현재 재생 중인 곡을 바로 멈추고 현재 선택된 AR(MR)곡의 현재 소절 맨 앞으로 이동하는 단계와,
현재소절의 AR(MR)데이터를 재생하는 단계와,
현재 소절의 AR(MR) 데이터재생이 완료되면 모드설정부에 묵음구간 삽입값이 설정되어 있는 가를 확인하는 묵음구간 확인단계와,
묵음구간이 설정되어 있는 경우 모드설정부에 설정된 모드 설정값을 이용하여 해당 길이만큼 묵음구간을 소절과 소절 재생사이에 삽입하는 묵음구간삽입단계와,
반복 회수가 종료 되었는 지 확인하고, 종료 되지 않았으면 현재소절의 맨앞으로 다시 이동하여 상기의 과정을 반복하여 반복재생하고, 반복 회수가 종료되었으면 AR(MR)소절 반복재생을 종료하는 단계로 소절반복재생과정이 이루어진다.
이와 같은 AR(MR) 소절 반복재생은 노래학습시스템이 선택된 곡을 재생 중에 AR(MR)반복키가 눌렸을 때 AR(MR)데이터의 현재 소절 구간을 반복하여 재생하는 기능을 수행한다.
AR(MR) 소절 반복 재생 루틴이 시작되면 이미 AR(MR) 반복 키 입력을 인식한 상태이기 때문에 현재 재생 중인 곡을 바로 멈추고 현재 선택된 AR(MR)곡의 현재 소절 맨 앞으로 이동한다.
현재소절의 AR(MR)데이터를 재생한다. 현재 소절의 AR(MR) 데이터재생이 완료되면 모드설정부(910)에 묵음구간 삽입값이 설정되어 있는 가를 확인한다.
설정되어 있는 경우 모드설정부(910)에 설정된 모드 설정값을 이용하여 해당 길이만큼 묵음구간을 소절과 소절 재생사이에 삽입한다.
반복 회수가 종료 되었는 지 확인하고, 종료 되지 않았으면 현재소절의 맨앞으로 다시 이동하여 상기의 과정을 반복하여 반복재생하고, 반복 회수가 종료되었으면 AR(MR)소절 반복재생을 종료한다.
한편 반복학습방법의 다른 실시 예로, 사용자가 임의로 반복될 구간을 지정할 수 있도록 하여 정해진 소절단위가 아닌 사용자가 지정한 구간에 대하여 반복적인 재생이 이루어질 수 있도록 한다.
도 13은 임의 구간 반복 학습방법에 대해 설명하고 있다.
AR(MR)반복키가 입력되면 현재 재생 중인 곡을 바로 멈추고 현재 선택된 AR(MR)곡의 현재 위치가 사용자가 지정한 구간인 가를 확인하는 단계와,
사용자가 지정한 구간인 경우 사용자가 지정한 구간의 맨 앞으로 이동하여 현재 구간의 AR(MR)데이터를 재생하고, 사용자가 지정한 구간이 아닌 경우 현재 위치에 대한 소절 맨 앞으로 이동하여 AR(MR)데이터를 재생하는 단계와,
현재 소절 또는 현재 구간의 AR(MR) 데이터재생이 완료되면 모드설정부에 묵음구간 삽입값이 설정되어 있는 가를 확인하는 묵음구간 확인단계와,
묵음구간이 설정되어 있는 경우 모드설정부에 설정된 모드 설정값을 이용하여 해당 길이만큼 묵음구간을 소절과 소절 재생사이에 삽입하는 묵음구간삽입단계와,
반복 회수가 종료 되었는 지 확인하고, 종료 되지 않았으면 현재소절 또는 사용자가 지정한 현재 구간의 맨 앞으로 다시 이동하여 상기의 과정을 반복하여 반복재생하고, 반복 회수가 종료되었으면 AR(MR) 반복재생을 종료하는 단계로 구간반복재생과정이 이루어진다.
소절반복학습방법은 MR반복키나 AR반복키를 사용자가 눌렀을때 누른시점에 해당하는 소절의 범위를 계산해서 소절의 시작점과 끝점까지의 시간을 구하고, 그 구해진 구간만큼 MR이나 AR곡을 재생해주는 방식이다.
이와 같은 방법에 따르면 여러 소절에 걸쳐있는 특정한 부분에 대해서 반복학습하려고 할 때 불편한 점이 있다.
임의 구간 반복학습은 사용자가 반복할 구간을 임의로 먼저 설정한 이후에 초기에는 현재 재생모드로 무한반복하고 반복중에 MR(AR) 반복키를 누르면 바로 해당(MR/AR)데이터를 선택해서 설정된 구간의 처음으로 가서 무한반복을 한다.
사용자가 임의 구간 반복모드를 해제하는 키를 누르면 임의구간 반복모드를 해제하고 현재재생을 그대로 유지하는 반복학습법이다.
도 13은 임의 구간 반복학습법의 동작구간을 시간그래프에서 보여주고 있다.
전체 노래재생시간은 3분57초 100밀리초를 나타내고 있다.
사용자가 노래학습 시작시간을 01분20초에 설정하고 다시 2분10초에 노래학습종료시간을 설정한 경우 반복학습구간이 설정되어 무한 반복 재생하게 된다.
이때 사용자가 MR(AR)반복키를 누르면 현재 재생중인 파일의 재생을 멈추고 MR(AR)파일을 선택해서 설정된 구간의 처음으로 이동한 후 설정구간을 반복 재생한다.
사용자가 임의구간 반복모드를 해제하는 키를 누르면 임의구간 반복모드를 해제하고 현재재생을 그대로 유지한다.
또한 노래학습 및 모창모드상태에서 녹음을 선택하면 제공되는 반주음과 마이크(700)로 입력되는 사용자의 음성을 녹음데이터로 생성하여 녹음데이터 저장부(300)에 저장하여 이후에 사용자가 이를 확인 재생해볼 수 있도록 한다.
녹음은 다음과 같은 과정으로 이루어진다.
사용자가 반주음(MR)을 선택하고, 선택된 반주음(MR)의 재생이 이루어지는 과정과,
녹음모드를 초기화 시키고, 모드설정부에 설정된 프로그램 환경 설정 값을 확인하여 현재 녹음모드가 설정 되었는 지 판단하는 모드판단과정과,
녹음모드가 설정된 경우 소절단위의 녹음기능설정을 확인하고, 소절단위로 설정 된 경우 소절단위의 녹음기능을 수행하고 소절단위녹음이 설정되어있지 않은 경우 전체녹음모드를 수행하는 과정과,
녹음모드가 설정되지 않았으면 녹음키가 입력 되는 지를 판단하여 녹음키이가 입력되면 반주음의 맨처음으로 이동하고, 녹음모드를 설정하여 전체녹음을 진행하도록 하는 과정과,
녹음키이가 입력되지 않으면 소절 재생모드를 계속 진행하는 과정과,
정해진 시간에 따라 주기적으로 노래가 종료되었는지 검사해서 종료되지 않은 경우는 모드판단과정을 반복 진행하는 과정과,
하나의 노래가 종료되면 프로그램 종료여부를 검사해서 사용자가 MR(반주음)에 맞춰서 녹음한 파일을 저장할 것인 지를 확인하는 과정과,
사용자가 녹음을 선택하게 되면, 소절단위로 녹음된 파일은 소절단위로 녹음한 노래데이터를 연결하여 하나의 녹음 데이터로 생성 저장하고 전체녹음은 그대로 파일로 저장하는 과정과,
프로그램 종료키가 입력된 경우에 프로그램을 종료하는 과정을 포함하여 이루어지는 것을 특징으로 한다.
또한 사용자가 반주음(MR)을 선택하고, 선택된 반주음(MR)의 재생이 이루어지는 과정에 있어서, 반주음 소절반복 재생인 경우
사용자가 녹음키이를 선택하는 경우 해당 소절의 첫 부분으로 이동하고 녹음모드를 설정하는 과정과,
현재 소절의 녹음을 진행하는 과정과,
현재 소절의 녹음이 완료된 경우에 사용자에게 확인하여 현재 녹음된 소절녹음데이터를 저장할 것인 지 판단하는 과정과,
사용자가 저장을 선택한 경우 녹음데이터를 저장하는 과정과,
모드설정부에 묵음구간삽입이 설정되었는 지 확인하고, 설정되어 있으면 설정된 값에 따라 묵음 구간을 삽입하는 과정과,
반복 회수가 종료되었는 지 확인하여 종료되지 않은 경우에는 다시 현재 소절의 맨 앞으로 이동하여 MR 소절 반복 녹음을 반복하고, 반복회수가 종료된 경우에는 MR 소절반복녹음을 종료하는 과정으로 이루어지는 것을 특징으로 한다.
도 14는 본 발명 노래방시스템에 있어서, 녹음모드가 한번에 노래전체를 녹음하는 방식으로 동작할 때의 방식을 나타낸다.
녹음 중에는 MR반복이나 AR반복 기능이 동작하지 않는다.
프로그램이 시작되면 먼저 모드설정부(910)의 프로그램 환경설정 데이터를 읽어 와서 프로그램 변수들을 초기화 하는 프로그램 환경설정 동작을 수행한다.
사용자가 배우고 싶은 노래를 노래리스트를 이용하여 선택하여 재생시키는 노래선택재생동작을 수행한다.
여기서 녹음모드를 초기화 시킨다.(모드초기화)
그 다음단계에서 현재 녹음모드가 설정되었는지 검사한다.
녹음모드가 설정 된 경우는 반주음+마이크입력데이터를 녹음한다.
녹음모드가 설정되지 않았으면 녹음키가 입력되는 지를 확인하여 녹음키가 입력되면, 반주음 맨처음으로 이동하여 녹음모드를 설정하고, 녹음키이가 입력되지 않으면 소절 재생모드를 진행한다.
소절 재생모드는 MR반복, AR 반복동작을 포함한 정상 재생모드로 동작한다.
소절 재생모드를 진행하면서 주기적으로 노래가 종료되었는 지 검사해서 종료되지 않은 경우는 위의 녹음모드검사(144) 부분부터 반복해서 진행한다.
하나의 노래가 종료되면 프로그램 종료여부를 검사해서 프로그램 종료가 아닌 경우 전체녹음모드로서 사용자가 MR(반주음)에 맞춰서 부른 노래를 파일로 저장할 지 여부를 묻는다.
노래 저장을 선택한 경우에는 녹음된 데이터를 파일로 저장한다.
프로그램 종료키가 입력된 경우에 프로그램을 종료한다.
도 15는 프로그램 기본환경설정에서 녹음단위가 소절단위로 선택된 경우의 동작흐름도이다.
소절 단위녹음은 사용자가 녹음을 하는 경우 소절단위로 녹음데이터를 저장하여 보관하고 있다가 노래가 끝나면 보관되어있던 소절 단위 녹음데이터들을 연결하여 하나의 녹음데이터를 생성하는 방법이다.
소절 단위 녹음데이터들을 연결할 때 불연속음의 처리는 기존의 오디오 처리방식을 이용해서 일반사용자들에게 거슬리지 않는 방식으로 처리한다.
오디오 처리 방식에 대한 내용은 본 발명의 내용을 벗어나기 때문에 생략한다.
프로그램이 시작되면 먼저 프로그램 환경설정데이터를 읽어와서 프로그램변수들을 초기화하는 프로그램 환경설정 동작을 수행한다.
사용자가 배우고 싶은 노래를 노래리스트를 이용하여 선택해서 재생하는 부분이 노래 선택 재생부분 이다.
여기서 녹음모드를 초기화 시킨다.
그 다음 단계에서 현재 녹음모드가 설정 되었는지 검사한다.
녹음모드가 설정된 경우는 소절단위의 녹음기능을 수행한다.
녹음모드가 설정되지 않았으면 녹음키가 입력 되었는 지 검사한다.
녹음키가 입력되었으면 현재 재생중인 반주음(MR)의 맨처음으로 바로이동하고 녹음모드로 설정한다.
녹음키가 입력되지 않았으면 소절 재생모드를 진행한다.
소절 재생모드는 MR반복,AR반복동작을 포함한 정상 재생모드로 동작한다.
재생모드를 진행하면서 주기적으로 노래가 종료되었는지 검사해서 종료되지 않은 경우는 위의 녹음모드검사 부분부터 반복해서 진행한다.
하나의 노래가 종료되면 프로그램 종료여부를 검사해서 프로그램 종료가 아닌 경우 전체 녹음모드로서 사용자가 MR(반주음)에 맞춰서 소절단위로 녹음한 노래를 파일로 저장할지 여부를 묻는다.
노래저장을 선택한 경우에는 소절단위로 녹음한 노래데이터를 파일로 저장한다.
프로그램 종료키가 입력된 경우에 프로그램을 종료한다.
도 16은 MR소절반복 녹음루틴의 상세동작 흐름도이다.
MR소절 반복 녹음루틴은 모드설정부(910)에 녹음단위가 소절로 설정되어있고, 녹음버튼, MR반복키이를 누른 경우에 소절단위의 녹음을 진행하는 역할을 한다.
MR소절반복 녹음을 시작하면 이미 MR 반복키이를 누른 경우이기 때문에 현재 재생중인 파일의 재생을 중단하고 MR데이터의 현재 소절 맨앞으로 이동한다.
현재 소절의 MR데이터와 마이크(700) 입력을 합성하여 녹음한다.
현재 소절의 녹음이 완료된 경우에 현재 녹음된 소절녹음데이터를 저장할 것인 지 판단한다.
저장한다고 판단한 경우에는 녹음데이터를 저장한다.
모드설정부(910)에 묵음구간삽입이 설정되었는 지 확인하고, 설정되어 있으면 설정된 값에 따라 묵음 구간을 삽입하여 MR소절 반복할 때에 소절간에 묵음을 삽입하여 사용자에게 준비할 시간을 준다.
반복 회수가 종료되었는 지 확인하여 종료되지 않은 경우에는 다시 현재 소절의 맨 앞으로 이동하여 MR 소절 반복 녹음을 반복하고, 반복회수가 종료된 경우에는 MR 소절반복녹음을 종료한다.
상기에서 사용자가 저장여부를 결정하게 될 때, 사용자가 저장을 선택하게 되면, 현재 소절에 해당하는 이전에 저장된 데이터가 현재 녹음된 데이터로 바뀌게 된다.
도 17은 소절 녹음데이터 저장 판단여부를 판단하기 위한 상세 동작 흐름도를 나타낸다.
녹음데이터 듣기 및 평가점수를 기초로 해서 임시데이터 메모리에 저장된 소절 녹음데이터를 사용자로 하여금 녹음데이터저장장치(300)에 저장여부를 판단하도록 한다.
먼저 소절녹음데이터를 다시 듣기를 할 것인지 사용자에게 확인한다.
다시 듣기를 선택한 경우에는 녹음된 반주음+마이크 입력 합성데이터를 재생한다.
이후, 사용자에게 저장여부를 요구하여, 사용자가 선택하도록 한다.
또는 소절 단위 평가점수를 제공하여 사용자가 소절 단위 평가점수를 확인하도록 하고, 소절녹음데이터를 저장할 것인 지 확인한다.
한편 사용자가 모드설정부(910)에 설정한 환경설정값에 따라서 제어부(900)에서는 점수를 산출 표시하게 되는 바,
노래연습제어부(930)에서는 점수연산부(920)를 통해 연산된 점수를 문자표시제어부(400)를 통해 표시부(500)에 표시하게 된다.
이때 점수연산부(920)에서는 소절단위로 점수를 연산하게 되며, 노래연습제어부(930)에서는 모드설정부(910)에 설정된 값에 따라서 소절단위로 점수를 표시 제어하거나, 또는 소절단위의 점수를 합산하여 전체점수로 제공하게 된다.
상기에서 설명한 바와 같이, 노래학습점수는 박자, 음정정확도 및 음정추이 유사도를 기본으로 해서 산출되며, 모창점수는 박자, 음색유사도 및 음색추이 유사도를 기본으로 해서 산출된다.
점수를 계산해내는 주기는 시간동기정보에따라 이루어지는 바,
음정데이터추출부(921)는 콘텐츠 정보에 포함된 음정데이터로부터 필요한 음정데이터를 추출한다.
이와 같이 추출된 음정데이터는 기본음정데이터로 노래학습점수연산부(925)의 음정정확도측정부(925a)와 음정추이유사도측정부(925b)의 입력이 된다.
또한 제 1스펙트럼 분석부(922)에서는 마이크(700)를 통해 입력된 사용자의 목소리를 분석하여 노래학습점수연산부(925)의 음정정확도측정부(925a)와 음정추이유사도측정부(925b)에 사용자 음정정보를 제공한다.
이에 따라 음정정확도측정부(925a)는 기준음정데이터와 사용자 목소리의 계산된 음정값을 비교하여 유사도를 측정하게 된다.
음정정확도측정부(925a)는 마이크(700)를 통해 입력된 사용자의 음성에 대한 제 1스펙트럼 분석부(922)의 스펙트럼분석정보를 이용하여 사용자 목소리의 음정을 유추한다.
음정추이 유사도측정부(925b)에서는 사용자가 부른 노래의 음정변화추이가 실제기준 음정의 변화추이간의 유사한 정도를 측정한다.
또한 박자점수측정부(925c)는 가사 글자 반전시간에 마이크(700)를 통해 사용자의 음성 데이터가 실제 들어오는지를 검사하여 박자점수를 계산한다.
합산기(925d)는 상기한 3가지에 대한 비교, 즉 음정정확도측정부(925a), 음정추이 유사도측정부(925b) 및 박자점수 측정부(925c)의 출력을 합하여 순간점수를 만들어낸다.
이후 점수제공부(925e)에서는 상기에서와 같이 연산된 순간점수를 노래학습제어부의 제어에 따라 소절단위의 순간점수 또는 순간점수의 합산 그리고 그 평균을 통한 전체점수를 제공하게 된다.
모창점수연산부(926)는 가수목소리의 스펙트럼정보와 사용자 목소리의 스펙트럼정보의 유사성을 비교하여 유사성이 높을수록 높은 점수를 주는 방식으로 동작한다.
목소리추출부(923)에서는 가수노래 데이터에서 가수 목소리만을 추출한다.
일반적인 가수노래는 반주음+가수목소리의 형태로 이루어졌기 때문에 가수노래에서 가수 목소리만을 추출해서 기준 스펙트럼정보를 얻어야 하기 때문이다.
이후 추출된 가수목소리 정보는 제 2스펙트럼 분석부(924)로 입력되고, 제 2스펙트럼 분석부(924)에서는 목소리 추출부(923)에서 추출된 가수 목소리 데이터에 대하여 스펙트럼 분석하여, 음색유사도측정부(926a)와 음색추이 유사도측정부(926b)의 기준 스펙트럼정보로 제공한다.
제 2스펙트럼 분석부(924)는 일정시간 목소리 데이터를 버퍼링한 후에 시간동기정보에 맞춰서 스펙트럼정보를 계산한다.
음색유사도측정부(926a)에서는 상기한 제 2스펙트럼분석부(924)로부터 제공받은 기준스펙트럼정보와 상기 제 1스펙트럼분석부(922)에서 제공한 사용자 목소리에 대한 스펙트럼 정보를 비교하여 음색유사도를 측정한다.
음색추이 유사도측정부(926b)에서는 입력스펙트럼 데이터들의 시간에 따른 변화량이 얼마나 유사한지를 측정한다.
박자점수측정부(926c)는 가사글자 반전시간에 마이크(700)의 입력데이터가 실제 들어오는 지를 검사하여 박자점수를 계산한다.
합산기(926d)에서는 상기 음색유사도측정부(926a), 음색추이유사도 측정부(926b) 및 박자점수측정부(926c)의 출력을 합산하여 모창 순간점수를 산출한다.
이와 같이 산출된 모창순간점수는 상기 노래학습점수연산부에서도 밝힌 바와 같이, 점수제공부에서 모드설정부의 설정된 값에 따라 각 소절단위로 생성된 모창 순간점수를 제공하거나, 각 소절단위의 순간점수를 합산하여 전체점수로 제공한다.
도 18은 본 발명에 있어서, 노래학습모드상태에서의 소절단위로 이루어지는 노래학습점수연산과정을 나타낸 플로우챠트이다.
한소절마다 소절단위의 노래학습점수를 계산하기 위해서 먼저 한소절 점수를 나타내는 변수를 초기화한다.
그 다음 시간동기정보를 기준으로 순간점수를 계산해야 할 시간인 지 검사한다.
만일 계산시간이 되지 않은 경우에는 마이크 및 가수 목소리 데이터를 계속해서 버퍼링한다.
계산시간이 된 경우에는 현재 시간에 맞는 기준음정정보를 추출하고 마이크를 통해 입력된 사용자 오디오의 스펙트럼을 계산한다.
사용자 음성 입력스펙트럼을 이용하여 사용자 입력 목소리의 음정을 측정하고 이것을 기준 음정값과 비교하여 음정정확도를 측정한다.
또한 기준 음정정보의 변화추이와 마이크입력신호의 음정정보변화추이를 비교하여 얼마나 유사한지 유사도를 측정한다.
또한 일정기간동안(순간점수계산주기)의 박자점수를 계산한다.
상기에서 구한 3개의 측정값(A,B,C)을 합산하여 순간점수를 계산한다.
다음은 한 소절 끝 인가 여부를 판단한다.
한 소절끝이 아닌 경우 한 소절 점수에 현재 얻은 순간점수를 더하여 새로운 한 소절점수를 얻을 수 있다.
만일 한 소절 시간이 흘러서 해당소절의 끝에 도달하면 지금까지 계산했던 한소절 점수를 출력한다.
여기서 상기 한 3가지 측정값 중 필요에 따라서 한 가지 혹은 2가지 값만을 선택해서 노래학습점수를 구할 수 있다.
따라서 구현되는 시스템의 성능에 따라서 3가지 값 전부를 사용할 수 없는 경우에는 선택적으로 사용가능 하다.
도 19는 모창점수를 계산하는 흐름도를 나타낸다.
모창점수는 노래소절 단위로 계산하여 사용한다.
한소절마다 소절단위의 모창점수를 계산하기 위해서 먼저 한소절 점수를 나타내는 변수를 초기화 한다.
그 다음 시간동기정보를 기준으로 순간점수를 계산해야할 시간인지 검사한다.
만일 계산 시간이 되지 않은 경우에는 마이크 및 가수 목소리 데이터를 계속해서 버퍼링한다.
계산 시간이 된 경우에는 가수 목소리의 스펙트럼을 계산하고 마이크 입력오디오의 스펙트럼을 계산한다.
위에서 구한 두 개의 스펙트럼간의 음색유사도측정과 음색추이 유사도측정 값을 구한다.
또한 일정 기간 동안(순간점수계산주기)의 박자점수를 계산한다.
위에서 구한 3개의 측정값을 더하여 순간 점수를 계산한다.
다음은 한 소절 끝인가 여부를 판단한다.
한 소절끝이 아닌 경우 한 소절 점수에 현재 얻은 순간점수를 더하여 새로운 한 소절점수를 얻을 수 있다.
만일 한 소절 시간이 흘러서 해당 소절의 끝에 도달하면 지금까지 계산했던 한 소절점수를 출력한다.
여기서 상기한 3가지 측정 값중 필요에 따라서 한 가지 혹은2 가지만을 선택해서 사용해도 구현 가능하다. 구현되는 시스템의 성능에 따라서 3가지 전부를 사용할 수 없는 경우에는 선택적으로 사용가능 하다.
도 20은 일정구간에서의 박자점수를 계산하는 흐름도를 나타낸다.
구간박자 점수변수 값을 0으로 초기화한다.
또한 마이크 음성입력이 있는 지 판단하기위한 기준값(Th)를 결정한다.
기준값은 음성이 없는 마이크 입력값(A)보다 크고 음성이 있을 때의 마이크 입력값보다 작은값을 적절히 설정한다.
그 다음 마이크 입력값의 절대값을 측정하여 보관한다.
가사의 자간 반전시간인지 검사하고 자간 반전시간이 아닐 때는 계속해서 마이크 입력값을 모니터링 한다.
만일 자간반전시간일 경우에는 위에서 구한 마이크입력값(A)이 음성입력판단기준값(Th)보다 큰지 판단한다.
기준값(Th)보다 큰경우는 순간점수에 1을 대입하고 기준값 보다 작은경우는 순간점수에 0을 대입한다.
구간 박자점수 출력시간 인지 검사한다.
구간 박자점수 출력시간이 아닌 경우는 구간 박자점수에 순간 박자점수를 누적시킨다.
구간 박자점수 출력시간인 경우에는 현재 일정구간 동안 자간 반전횟수로 현재의 구간 박자점수를 나눠서 백분율로 점수를 표시한다.
즉 총 박자 측정횟수에서 정확하게 마이크 입력된 회수가 얼마나 되는지 백분율 점수를 구할 수 있다.
도 21은 노래 한 곡 전체를 끝마쳤을 때 MR로 노래 부른 소절에 대해서 소절 단위 점수를 표시하는 예를 보여준다.
사용자는 여기에 나타난 소절점수를 보고 자신이 어느 소절에서 노래를 잘못 불렀는 지 를 판단할 수 있고 사용자가 특정 소절을 선택하면 해당 소절 데이터와 링크연결을 통해서 바로 선택된 소절로 이동하여 노래를 학습할 수 있는 구조로 되어있다.
또한 전체적인 소절 평균점수도 표시하고 있어서 노래 전체적인 평가점수를 확인할 수 있다.
한편, 도 22는 본 발명의 제 2실시 예를 나타낸 것으로, 재생하기 위한 반주음, 가수노래 콘텐트 데이터를 로컬 데이터로 구축하지 않고, 원격지의 네트워크상에 구성된 웹서버에 구축하고, 이를 통해 콘텐트 데이터를 제공받을 수 있도록 한 것이다.
사용자가 곡 선택 및 재생/녹음 제어에 관련한 사용자의 키이입력을 위한 키이입력부(200)와, 사용자의 노래연습시의 사용자의 노래 데이터가 저장되는 녹음데이터 저장부(300)와, 가사 자막 및 점수 등과 같이 텍스트로 표시되는 자막을 표시부(500)에 처리하기 위한 문자표시제어부(400)와, 가사, 점수, 노래연습에 필요한 화면을 표시하기 위한 표시부(500)와, 로컬데이터 저장부(100)에 저장된 반주음, 가수노래의 출력 위해 디지털 신호를 아날로그신호로 변경 또는 마이크(700)로 입력된 사용자의 음성 아날로그 신호를 디지털신호로 변경하기 위한 오디오 변환코덱(600)과, 사용자의 음성을 전기적인 신호로 변환하기 위한 마이크(700)와, 네트워크상에 접속하여 웹서버(1c)로부터 콘텐트 데이터를 제공받기 위한 네트워크 인터페이스(800)와, 사용자의 선택에 따라 반주음 또는 가수노래를 제공하고, 사용자의 노래연습을 위한 재생/녹음에 따른 일련의 제어 프로세스를 제공하는 제어부(900)와 스피커(1000)와, 사용자 노래방 장치에서 웹콘텐트서비스 시스템(10)으로부터 다운받아 처리되는 데이터의 저장을 위한 로컬 데이터 저장부(100)를 포함하는 사용자 노래방 장치와,
반주음 또는 가수노래 콘텐트 데이터를 네트워크를 통해 상기 사용자 노래방 장치에 제공하는 웹콘텐트 서비스 시스템(1)을 포함하여 구성되며,
웹콘텐트 서비스 시스템(1)은 노래 연습을 위한 반주음(MR) 및 가수노래(AR) 데이터가 저장되는 콘텐트 저장부(1a)와, 사용자가 사용자 노래방 장치를 통해 녹음하여 업로드한 노래데이터가 등록 저장되는 녹음노래저장부(1b)와, 사용자 노래방 장치의 접속 및 접속된 사용자 노래방 장치에 반주음, 가수노래 콘텐트 제공 및, 녹음된 노래데이터의 업로드저장, 재생 제어 프로세스를 제공하는 웹서버(1c)를 포함하여 구성된다.
이와 같은 본 발명 제 2실시 예는 제 1실시 예에서와 같이 로컬시스템이 아니라 웹서버(1c)를 통해 웹상에서 반주음 또는 가수노래를 제공받아 사용자 노래방 장치를 구동하는 실시 예를 나타낸다.
물론 본 발명 제 1실시 예 또한 네트워크 인터페이스(800)를 통해 상기에서와 같은 웹 콘텐트 서비스 시스템(10)에 접속하여 새로운 반주음, 가수노래의 콘텐츠를 제공받아 콘텐트저장부(100)에 저장하여 로컬로 운영할 수 있다.
콘텐트저장부(11)에 저장된 콘텐트 데이터 또한 도 2에 도시된 바에서와 같이, 콘텐츠의 서비스 효율성 및 저장관리의 효율성을 위해서 반주음과 가수노래 2개의 데이터를 하나의 파일로 통합하여 새로운 통합파일로 서비스할 수 있다.
본 발명의 다른 일 실시예로 노래반주 시스템이 적용된 네비게이션, MP3 플레이어, PDA, PMP(Portable Multimedia Player), 휴대전화 등의 휴대형 단말장치에 상기한 본 발명의 노래연습시스템을 적용할 수 있다.
도 23은 노래반주수단이 적용된 디지털 음원재생기에 본 발명 노래연습시스템이 적용된 구성을 나타낸 블록도이다.
제어프로그램 및 노래반주 데이터 및 노래 연습을 위한 반주음(MR) 및 가수노래(AR) 데이터가 저장되는 메모리부(100)와,
디지털 음원재생 및 노래연습에 필요한 곡 선택 및 재생/녹음 제어와 노래반주에 필요한 피치, 속도조절, 에코조절에 관련한 사용자의 키이입력을 위한 키이입력부(200)와,
사용자의 노래연습시의 사용자의 노래 데이터가 저장되는 녹음데이터 저장부(300)와,
가사 자막 및 점수 등과 같이 텍스트로 표시되는 자막을 표시부(500)에 처리하기 위한 문자표시제어부(400)와,
가사, 점수, 노래연습에 필요한 화면을 표시하기 위한 표시부(500)와,
디지털 데이터의 재생 출력을 위해 디지털 신호를 아날로그신호로 변경 또는 마이크(700)로 입력된 사용자의 음성 아날로그 신호를 디지털신호로 변경하기 위한 오디오 변환코덱(600)과,
사용자의 음성을 전기적인 신호로 변환하기 위한 마이크(700)와,
PC에 접속하기 위한 PC 인터페이스(800)와,
디지털 재생 제어를 위한 일련의 프로세스를 제어하며, 사용자의 선택에 따라 반주음 또는 가수노래를 제공하고, 사용자의 노래연습 을 위한 재생/녹음에 따른 일련의 제어 프로세스를 제공하는 연습제어부(900a), 노래반주의 피치, 속도조절과 에코조절의 조절 및 노래반주제어를 위한 프로세스를 제공하는 노래반주제어부(900b)를 포함하는 시스템제어부(900)와, 멀티미디어 음원 또는 동영상 재생을 위한 프로세스를 제공하는 디지털신호처리장치(DSP)(901)와, 디지털 신호처리를 위한 메모리장치인 램(RAM)(902)를 포함하는 디지털 음원재생기로 구성된다.
상기 연습제어부(900a)는,
노래 연습을 위한 동작모드를 설정하기 위한 프로세스를 제공하고 사용자가 선택한 동작모드가 저장되는 모드설정부(910a)와, 노래연습시 사용자의 연습결과에 대하여 점수를 산정하기 위한 점수연산부(920b)와, 모드설정부(910a)에 설정된 환경설정값에 따라 메모리부(100)에 저장된 반주음 또는 가수노래를 재생/녹음 제어하는 노래연습제어부(930a)를 포함하여 구성된다.
상기 노래반주제어부(900b)는,
노래반주음과 마이크(700)를 통해 입력된 사용자의 목소리를 혼합(mixing)한 오디오 데이터를 녹음데이터저장부(300)에 저장 또는 녹음데이터저장부(300)에 저장된 오디오 데이터를 PC 인터페이스(800)를 통해 PC에 업로드하거나, PC로부터 다운로드된 파일을 메모리부(100)에 저장하는 파일 입출력 처리부(910b)와, 디지털음원이 디코딩된 PCM데이터를 이용하여 사용자가 원하는 만큼의 음정(피치), 재생속도를 조절하는 피치속도 조절부(920b)와, 마이크 입력 오디오 신호에 반향효과를 주기 위해 피드백 시키는 에코생성부(930b)와, 상기 마이크(700)를 통해 입력되는 사용자 음성신호와 상기 피치속도 조절부(920b)를 통해서 입력되는 반주데이터를 믹싱하여 상기 오디오변환코덱(600) 또는 파일 입/출력 처리부(910b)로 출력하는 믹서(940b)를 포함하여 구성된다.
이와 같은 본 발명의 다른 실시 예는, 콘텐츠제공업자(Contents Provider)로부터 서비스되는 노래반주 콘텐트를 제공받아 재생할 수 있도록 하는 디지털음원재생기(예:MP3재생기, 윈도우미디어 재생기, 윈앰프, 미디어플레이어 등과 같이 디지털음원을 재생할 수 있는 재생기)에 노래연습 시스템을 적용한 것이다.
오프라인 노래방과 거의 같은 기능을 휴대용 단말에서 구현할 수 있도록 디지털음원 음악 반주음을 이용하여 음정변화, 속도변화 및 에코기능을 구현한 휴대용 또는 차량용 등의 디지털음원 재생기 또는 휴대폰을 이용한 디지털 음원 노래방 시스템을 제공하며 이러한 노래반주시스템 상에서 노래연습이 가능하도록 함에 그 기술적 특징이 있다.
디지털음원재생기내의 시스템제어부(900)내에 노래연습 제어를 위한 연습제어수단과, 노래반주제어수단을 포함하여 구성된 것으로, 노래반주제어부(900b)를 통해 피치속도 조절 및 에코생성 등과 같은 노래반주기능을 제공함은 물론 연습제어부(900a)를 통해 노래연습 기능을 제공하고, 노래연습 프로세스상에서 노래반주에 관련하여 노래반주제어부(900b)를 통해 상기한 노래반주기능을 제공할 수 있도록 하는 데 그 특징이 있다.
연습제어부(900a)는 상기한 본 발명의 제 1, 2실시 예에서와 동일한 구성을 갖는 것으로, 생략하기로 한다.
도 24는 본 발명 실시예에 있어서, 노래반주 제어부의 상세 구성을 나타낸 블록도.
파일입출력처리부(910b)는 노래반주음과 마이크(700)를 통해 입력된 사용자의 목소리를 혼합(mixing)한 오디오 데이터를 메모리(100)에 저장 또는 메모리(100)에 저장된 오디오 데이터를 PC 인터페이스(800)를 통해 PC에 업로드하거나, PC로부터 다운로드된 파일을 메모리부(100)에 저장하기 위한 수단이다.
노래반주 및 노래 연습상에서 발생되는 오디오 데이터를 메모리(100)에 저장 및 PC 인터페이스(800)를 통해 PC상에 업로드할 수 있도록 하여 콘텐트 데이터를 제공하는 서비스 시스템의 서버에 전달할 수 있도록 하거나, PC를 통해 서비스 시스템 서버로부터 콘텐트 데이터(노래반주 데이터)를 제공받을 수 있도록 하기 위한 수단이다.
피치속도조절부(920b)는 디지털음원이 디코딩된 오디오 데이터를 이용하여 사용자가 원하는 만큼의 음정(피치), 재생속도를 조절하기 위한 수단이다.
에코생성부(930b)는 마이크(700)로 입력되는 오디오 신호를 피드백 시켜 사용자 음성에 대한 반향효과를 주기위한 수단이다.
믹서(940b)는 마이크(700)를 통해 입력되는 사용자 음성신호와 상기 피치속도 조절부(920b)를 통해서 입력되는 반주데이터를 믹싱하기 위한 수단이다.
여기서, 상기에서 설명한 바와 같이, 마이크(700)의 구성은 필수 구성요소가 아니며, 마이크입력부와 에코생성부를 사용하지 않을 수 있다. 또한 마이크입력단자만을 구성하여 외부 마이크를 구성할 수 있으며, 이와 같은 경우 에코생성부(930b)대신에 에코기능이 있는 마이크를 이용할 수 도 있다.
이와 같이 구성되는 디지털음원재생기의 동작을 설명하면 다음과 같다.
사용자가 키이 입력부(200)를 통해 일반 원하는 곡의 선곡 및 모드설정(동작모드와 기능)을 선택하게 됨에 따라서 시스템제어부(900)에서는 메모리부(100)를 통해 반주음 또는 가수노래데이터를 제공하게 된다.
이때 시스템제어부(900)에서는 문자표시제어부(400)를 통해 표시부(500)에 재생되는 노래에 따른 가사를 문자로 표시하여 사용자가 이를 통해 확인하여 노래를 부르거나 학습할 수 있도록 한다.
동작모드에는 일반재생모드와 연습모드로 구분할 수 있으며, 일반재생모드에서는 사용자가 피치속도제어, 에코우 등의 노래반주에 관련된 제어가 가능해지며, 연습모드에는 상기한 실시 예에서와 같이, 노래학습과 모창모드가 있다.
실제 노래연습모드에 있어서는 목적이 노래연습에 있음으로, 피치속도제어, 에코우 등의 노래반주 기능의 제어가 실행되지 않도록 함을 기본으로 하며, 모드설정부(910)에서 사용자가 이에 대한 실행여부를 선택할 수 있도록 할 수 있다.
따라서 모드설정부(910)에서는 노래반주기능 온/오프 설정모드를 포함할 수 있다.
노래학습모드와 모창모드는 상기한 실시 예와 동일하게 동작하게 됨에 따라 이의 동작은 생략하기로 한다.
사용자가 노래를 선곡하고, 원하는 음정(pitch) 및 속도조절, 에코우 설정 등의 노래반주기능을 실행하게 된다.
피치 및 속도조절, 에코우 조절의 동작을 상세히 설명하면 다음과 같다.
도 25는 피치조절부(920b-1)의 구성 블록도를 나타낸다.
이에 도시된 바와 같이, 원신호를 시간평면상의 짧은 구간으로 나누기 위한 윈도우와, 그 짧은 구간의 신호를 퓨리에 변환시키는 퓨리에변환부(FFT)와, 퓨리에 변환부에서 얻어진 진폭스펙트럼에 대해 사용자가 원하는 만큼 쉬프트 시키는 스펙트럼 쉬프트와, 스펙트럼 쉬프트된 신호를 다시 역퓨리에변환하는 역퓨리에변환부(IFFT)와, 프레임간 불일치를 해소하기 위하여 필터링하여 변경된 신호를 출력하는 윈도우로 구성된다.
원리는 처리될 오디오 신호는 짧은 구간에서 스테이션어리(stationary)하다는 가정을 하고 단구간 퓨리에변환(이하, STFT ; Short Time Fourier Transform))를 이용하여 처리한다. 즉 넓은 범위의 오디오 신호는 변동(nonstationary)하다고 해도 짧은 구간(수십msec)에서는 정지상태에(stationary) 있다고 가정(시간에 따라서 통계적(평균, 분산등) 특성이 일정 하다는 가정)을 할 수 있다. 단구간 퓨리에변환(STFT)은 위상이나 주파수 성분이 시간에 따라 변화하는 신호를 해석하기 위해서 사용될 수 있다.
원신호는 음정조절을 위해서 처리해야 할 오디오 신호를 나타낸다.
윈도우는 시간평면의 데이터를 짧은 구간으로 나누기 위해서 사용된다. 또한 주파수 스펙트럼으로 변화했을 때 주파수 스펙트럼이 퍼지는 현상(Gibbs 현상)을 감쇠시키는 역할을 한다.
주파수 평면의 신호로 변환하기 위해서 FFT부에서 퓨리에 변환(FFT)을 수행한다.
여기서 진폭스펙트럼을 얻을 수 있다.
스펙트럼 쉬프트(spectrum shift)는 FFT부에서 얻어진 진폭스펙트럼을 이용하여 사용자가 원하는 만큼 스펙트럼을 이동시킨다.
도 26에 스펙트럼 이동의 예를 제시했다.
진폭스펙트럼의 크기는 변화시키지 않고 단지 주파수 대역만 1000Hz에서 700Hz 이동한 경우의 예를 들고 있다.
이동된 스펙트럼을 갖고 역퓨리에변환(IFFT)(206)을 수행하여 시간축의 신호를 만들어 낸다. 이웃한 데이터 프레임간의 갑작스런 불일치를 해소하기 위해서 윈도우(207) 처리를 한 후 전체 피치가 이동된 오디오 신호(107)를 생성한다.
도 27은 본 발명에 의한 속도 조절부(920b-2)의 구성도이다.
속도조절부(920-b)는 노래반주음의 재생속도를 가변하는 것으로 재생속도를 변화해도 피치(음정)는 변화가 없도록 제어하는 부분이다.
변화되지 않은 원신호가 입력되면 입력신호의 속도의 증감을 판별하는 속도증감판별부와, 속도 증가인 경우 원신호에서 일정부분 솎아내는 데시메이션부와, 속도 감소인 경우 원신호에 데이터 샘플을 중간중간 삽입하는 인터폴레이션부와, 상기 데시메이션부의 출력신호의 음정을 보정하기 위해 피치를 감소시켜 변경된 신호를 출력하는 피치(-)쉬프트부와, 상기 인터폴레이션부의 출력신호의 음정을 보정하기 위하여 피치를 증가시켜 변경된 신호를 출력하는 피치(+)쉬프트부로 구성된다.
변화되지 않은 원신호가 입력되고 입력신호의 속도를증가시킬 경우 원신호에서 일정부분의 신호만을 솎아내는 데시메이션(decimation)한 후에 원신호와 같은 속도로 DAC에 데이터를 보내어 스피커 출력으로 내 보내면 음의 재생속도는빨라지게 된다.
이때 음이 빨라지게 되면 음정이 올라가게 되는데 이것을 보정하기 위해서 피치를 감소하는 방향으로 처리를 수행한다.
재생속도를 감속하려는 경우는 데이터 샘플들을 원신호 중간중간에 삽입하는 인터폴레이션(interpolation)과정을 수행하고 얻어지는 데이터를 같은 샘플링속도로 DAC(digital analog converter)에 전달하여 출력신호를 내보내면 재생속도가 늦어진 것을 느낄 수 있다.
이때 음정도 같이 낮아지게 되는데 이 점을 보정하기 위해서 양(+)의 피치이동을 수행한다.
여기서 사용된 데시메이션과 인터폴레이션에 대한 설명은 도 28에 나타냈다.
원신호에서 일정주기로 데이터의 일부분만을 가져오는 과정을 도 28의 (a)에 도시된 바와 같이 데시메이션이라고 한다.
또한 원신호에 일정비율의 데이터를 주기적으로 삽입하는 과정을 도 28의 (b)에 도시된 바와 같이 인터폴레이션이라고 한다.
그림은 2배의 데이터 증감이 발생함을 알 수 있다.
에코생성부(930b)는, 마이크입력신호에 오프라인 노래방과 같은 반향(에코)를 삽입하기 위한 부분이다.
보통의 오프라인노래방인 경우 에코 삽입은 하드웨어 칩을 이용하여 구현되나, 본 실시 예에 있어서는 소프트웨어적으로 구현하고자 한다.
도 29는 본 발명에 의한 에코생성부(930b)기능을 나타낸 블록도.
입력신호와 지연시킨 피드백신호를 합성하는 제1합산기(M1)와, 그 제1합산기(M1)의 출력신호를 소정시간(τmSec)지연시키는 지연기(D1)와, 그 지연기(D1)의 출력신호를 상기 제1합산기(M1)로 피드백시키되 그 저항 크기에 의해 잔향시간을 조절하는 잔향 시간조절기(G2)와, 상기 지연기(D1)의 출력신호의 세기를 조절하여 잔향의 세기를 조절하기 위한 잔향세기 조절기(G1)와, 그 잔향세기 조절기(G1)의 출력신호와 상기 입력신호를 합성하여 에코가 제어된 신호를 출력하는 제2합산기(M2)로 구성된다.
이와 같이 구성되는 에코 생성부(930b)는, 잔향시간 조절기(G2)가 크면 잔향시간이 길고 잔향시간 조절기(G2)가 작으면 잔향시간이 짧아 진다.
또한 잔향세기 조절기(G1)의 값을 이용하여 잔향의 세기를 조절할 수 있다. 도 30은 에코생성부(930b)의 출력신호를 나타내고 있다.
크기가 1인 펄스를 입력에 인가하면 τmSec씩 늦어져서 규칙적으로 감쇠됨을 보여준다.
이와 같이 지연소자와 피드백 루프의 조합을 이용하여 에코생성부(930b)를 구현하였다.
이와 같은 본 발명은 디지털 음원재생기 또는 디지털 음원재생수단을 포함하는 휴대전화, 네비게이션 등에 적용 가능하다.
휴대전화에 적용하는 경우 휴대전화의 무선통신기능을 이용하여 노래반주 데이터 등의 콘텐트 데이터를 제공하는 콘텐트 데이터 서비스 시스템의 서버에 접속하여 콘텐트 데이터를 제공받거나, 녹음된 사용자의 오디오 데이터를 업로드할 수 있도록 할 수 있다.
또한, 이러한 시스템을 갖는 디지털 음원재생장치에 유무선 네트워크 연결 인터페이스 수단을 구성하여 소정의 제공되는 네트워크에 접속하여 상기한 콘텐트 데이터 서비스 시스템 서버에 접속할 수 있도록 할 수 있다.
휴대전화에 적용하는 경우 사용자는 통화중 필요에 따라서 노래반주에 따라 노래하는 노래반주기능 또는 노래연습을 함께 하거나 상대통화자에게 제공할 수 있도록할 수 있다.
도 31은 본 발명의 실시 예로써, 휴대전화에 본 발명 노래반주 및 노래연습 시스템을 적용한 것으로, 통화중 노래방 기능 제어 흐름도를 나타낸 것이다.
즉, 2명의 음성통화자 혹은 다중 음성통화자들 사이에서 한 사용자가 노래반주기에 맞추어서 노래를 불렀을 때 해당 노래반주음과 사용자의 음성을 합한 오디오 데이터를 통화 연결되어 있는 사용자들이 들을 수 있는 기능을 설명하고 있다.
이동통신 단말 A를 갖고 있는 사람이 이동통신단말B, C와 동시통화를 하는 도중 단말 A에서 메모리에 저장 되어 있는 디지털음원 노래 반주음에 맞추어서 노래를 부를 경우 해당 합성된 음성데이터는 기지국을 통하여 이동통신 단말B,C사용자에게 전달되는 시스템을 나타내고 있다.
먼저 휴대폰 간의 통화 연결이 이루어졌는지는 판단하는 제1단계는, 통화가 연결되어 있는지 확인한다.
만일 음성통화가 연결되었다면, 통화 연결 중에 노래방 기능을 선택하고 노래반주를 선택하게 되면, 휴대폰 내의 메모리에 선택된 노래반주에 대한 디지털음원 노래반주가 저장되어 있는지를 검색하는 제2단계를 수행한다.
노래반주 모드를 선택한 후 노래반주를 선택하면, 현재 핸드폰 단말에 디지털음원 노래반주 컨텐츠가 존재하는지 검사한다.
만일 디지털음원 노래반주 컨텐츠가 없다면 사용자의 선택에 따라 유/무선의 인터넷 망을 이용하여 해당 컨텐츠를 다운로드 받을 수 있다.
이어서, 제2단계에서 선택된 노래반주가 검색되는 경우 해당 디지털음원 노래반주 디코딩을 수행하여 플레이시키는 제3단계를 수행하는데, 노래반주 재생 중에 사용자가 속도조절을 요구할 경우는 속도변환 기능을 수행한다.
사용자가 음정(피치)변환을 원한다면 피치변환을 수행한다. 또한 사용자가 에코조절을 원한다면 마이크 입력 음성신호에 에코를 생성한다.
이후, 상기 제3단계에서 노래반주가 플레이 되는 중에서 입력되는 마이크 입력신호와 또는 통화 연결중인 다른 휴대폰으로부터 수신된 통화수신음과 상기 디지털음원 노래 반주음을 합성하여 스피커에 출력하는 제4단계를 수행하고, 상기 제4단계에서 합성된 노래반주 및 음성 오디오신호를 휴대폰 무선송신을 위한 통화송신음으로 변환 처리후 휴대폰의 음성 송출신호로서 RF송신하는 제5단계를 수행한다. 즉, 마이크 입력신호, 디지털음원의 노래반주음 그리고 통화수신음을 합성하여 스피커로 출력함과 아울러 합성된 오디오 신호는 통화 송신음처리 후 RF단을 거쳐 무선으로 데이터를 전송한다.
이와 동시에 사용자가 부른 노래는 파일로 저장될 수 있다. 사용자가 파일 저장 모드를 선택한 경우 합성된 오디오신호는 파일로 메모리에 저장된다.
저장된 데이터는 무선데이터 망을 이용하여 콘텐트 데이터를 서비스하는 시스템 서버에 저장 보관될 수 있다.
한편, 상기 속도조절은, 속도 증/감 입력에 따라 속도 증가시에 디지털음원 노래반주의 진폭신호에 대해 사이 사이의 음을솎아내는 데시메이션을 수행한 후 감소된 신호에 대응해서 피치를 감소시켜 속도를 증가한 노래반주신호를 생성하고, 속도 감소시에 디지털음원 노래반주의 진폭신호에 대해 사이 사이에 샘플음을 삽입하는 인터폴레이션을 수행한 후, 증가된신호에 대응해서 피치를 증가시켜 노래반주신호를 생성하는 속도조절모드를 수행한다.
또한, 피치조절신호가 입력되면, 원신호에 대해 시간평면상 짧은 구간으로 나누는 윈도우를 적용하여 원신호를 주파수 스펙트럼으로 변환하는 단계와; 주파수 스펙트럼으로 변화된 신호를 퓨리에 변환하여 진폭스펙트럼 신호를 구하는 단계와;
상기 진폭스펙트럼 신호의 크기는 변화하지 않고 상기 피치조절 입력에 대응해서 주파수 대역만을 이동시키는 단계와; 주파수 대역이 이동된 진폭스펙트럼 신호를 역퓨리에 변환시켜 시간축에 대한 주파수 스펙트럼신호로 복원하는 단계와; 그복원된 신호의 이웃한 데이터 프레임간의 불일치를 해소하기 위하여 윈도우 처리를 하여 전체 피치가 이동된 오디오신호를 생성하는 피치조절 모드를 수행한다.
또한, 에코조절모드가 선택되고 에코조절신호가 입력되면, 마이크 입력신호와 피드백신호와 합성시키는 단계와; 그 합성된 신호를 소정시간 지연시키는 단계와; 상기 지연된 신호에 대해 에코의 크기를 조절하여 상기 피드백신호로서 합성단계로 피드백시키는 단계와; 상기 지연시킨 신호에 대해 에코의 세기를 조절하는 단계와; 상기 마이크 입력신호와 상기 에코의 세기를 조절한 신호를 합성하여 에코가 포함된 마이크 입력신호를 상기 제4단계의 마이크 입력신호로서 입력하는 에코조절모드를 수행한다.
이와 같은 본 발명 실시 예에 따르면 디지털 음원을 이용한 노래 반주시스템과 노래연습 시스템을 구현할 수 있게 된다.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
도 1은 본 발명 노래학습 기능을 갖는 노래방 시스템의 구성블록도.
도 2는 본 발명에 있어서, 로컬에 저장된 콘텐츠 데이터 반주음과 가수노래 데이터를 하나의 파일로 통합 시켜 저장시키기 위한 통합파일 구조를 나타낸 도면.
도 3은 본 발명에 있어서, 모드설정부에서 사용자에게 제공하는 모드설정화면의 일 예를 도면.
도 4 내지 도 8은 노래학습 및 모창정도를 점수로 나타내기 위한 이론적 배경을 설명하기 위한 도면으로,
도 4는 스펙트럼신호의 시간평면에서의 파형도.
도 5는 서로 다른 악기가 같은 음정의 소리를 냈을 때의 파형도.
도 6은 음색유사도 측정을 위해 입력되는 기준 스펙트럼정보의 일 예를 나타낸 도면.
도 7은 음색 유사도측정을 위해 입력되는 마이크로 입력되는 오디오신호의 입력 스펙트럼 정보의 일 예를 나타낸 도면.
도 8은 본 발명에 있어서, 점수연산부의 상세 구성을 나타낸 블록도.
도 9는 본 발명에 있어서, 점수연산부의 다른 실시 예 구성을 나타낸 블록도.
도 10은 본 발명에 있어서, 노래학습 시스템에서 설정된 모드를 이용하여 노래를 재생하는 노래 학습방법의 과정을 나타낸 플로우 챠트.
도 11은 본 발명에 있어서, 표시부에 표시되는 노래학습플레이어의 예를 나타낸 도면.
도 12는 본 발명에 있어서, AR소절, MR 소절 반복 재생 루틴의 상세 동작 흐름도를 나타낸 도면.
도 13은 본 발명에 있어서, 임의 구간 반복 학습방법에 대해 설명하기 위한 도면.
도 14는 본 발명에 있어서, 녹음모드가 한 번에 노래전체를 녹음하는 방식으로 동작할 때의 흐름을 나타낸 플로우 챠트.
도 15는 본 발명에 있어서, 프로그램 기본환경설정에서 녹음단위가 소절단위로 선택된 경우의 동작 흐름을 나타낸 플로우 챠트.
도 16은 본 발명에 있어서, MR소절반복 녹음루틴의 상세동작 흐름도
도 17은 본 발명에 있어서, 소절 녹음데이터 저장 판단여부를 판단하기 위한 상세 동작 흐름도를 나타낸 도면.
도 18은 본 발명에 있어서, 노래학습모드상태에서의 소절단위로 이루어지는 노래학습점수연산과정을 나타낸 플로우챠트.
도 19는 본 발명에 있어서, 모창점수를 계산하는 흐름을 나타낸 플로우 챠트.
도 20은 본 발명에 있어서, 일정구간에서의 박자점수를 계산하는 흐름을 나타낸 플로우 챠트.
도 21은 본 발명에 있어서, 노래 한 곡 전체를 끝마쳤을 때 MR로 노래 부른 소절에 대해서 소절 단위 점수를 표시하는 예를 나타낸 도면.
도 22는 본 발명 노래학습 기능을 갖는 노래방 시스템의 제 2실시 예 구성을 나타낸 블록도.
도 23은 본 발명에 있어서, 노래반주수단이 적용된 디지털 음원재생기에 본 발명 노래연습시스템이 적용된 실시 예 구성을 나타낸 블록도.
도 24는 본 발명 실시예에 있어서, 노래반주 제어부의 상세 구성을 나타낸 블록도.
도 25는 본 발명 실시예에 있어서, 피치조절부의 구성을 나타낸 블록도.
도 26은 본 발명 실시예에 있어서, 피치조절부의 스펙트럼쉬프트에 있어 스펙트럼 이동의 예를 나타낸 도면.
도 27은 본 발명 실시 예에 있어서, 속도 조절부의 구성을 나타낸 블록도.
도 28은 본 발명 실시 예에 있어서, 데시메이션과 인터폴레이션을 나타낸 도면.
도 29는 본 발명 실시 예에 있어서, 에코생성부 구성을 나타낸 블록도.
도 30은 본 발명 실시 예에 있어서, 에코생성부의 출력신호를 나타낸 파형도.
도 31은 본 발명의 실시 예로써, 휴대전화에 본 발명 노래반주 및 노래연습 시스템을 적용한 것으로, 통화중 노래방 기능 제어 흐름을 나타낸 플로우 챠트.
도 2는 본 발명에 있어서, 로컬에 저장된 콘텐츠 데이터 반주음과 가수노래 데이터를 하나의 파일로 통합 시켜 저장시키기 위한 통합파일 구조를 나타낸 도면.
도 3은 본 발명에 있어서, 모드설정부에서 사용자에게 제공하는 모드설정화면의 일 예를 도면.
도 4 내지 도 8은 노래학습 및 모창정도를 점수로 나타내기 위한 이론적 배경을 설명하기 위한 도면으로,
도 4는 스펙트럼신호의 시간평면에서의 파형도.
도 5는 서로 다른 악기가 같은 음정의 소리를 냈을 때의 파형도.
도 6은 음색유사도 측정을 위해 입력되는 기준 스펙트럼정보의 일 예를 나타낸 도면.
도 7은 음색 유사도측정을 위해 입력되는 마이크로 입력되는 오디오신호의 입력 스펙트럼 정보의 일 예를 나타낸 도면.
도 8은 본 발명에 있어서, 점수연산부의 상세 구성을 나타낸 블록도.
도 9는 본 발명에 있어서, 점수연산부의 다른 실시 예 구성을 나타낸 블록도.
도 10은 본 발명에 있어서, 노래학습 시스템에서 설정된 모드를 이용하여 노래를 재생하는 노래 학습방법의 과정을 나타낸 플로우 챠트.
도 11은 본 발명에 있어서, 표시부에 표시되는 노래학습플레이어의 예를 나타낸 도면.
도 12는 본 발명에 있어서, AR소절, MR 소절 반복 재생 루틴의 상세 동작 흐름도를 나타낸 도면.
도 13은 본 발명에 있어서, 임의 구간 반복 학습방법에 대해 설명하기 위한 도면.
도 14는 본 발명에 있어서, 녹음모드가 한 번에 노래전체를 녹음하는 방식으로 동작할 때의 흐름을 나타낸 플로우 챠트.
도 15는 본 발명에 있어서, 프로그램 기본환경설정에서 녹음단위가 소절단위로 선택된 경우의 동작 흐름을 나타낸 플로우 챠트.
도 16은 본 발명에 있어서, MR소절반복 녹음루틴의 상세동작 흐름도
도 17은 본 발명에 있어서, 소절 녹음데이터 저장 판단여부를 판단하기 위한 상세 동작 흐름도를 나타낸 도면.
도 18은 본 발명에 있어서, 노래학습모드상태에서의 소절단위로 이루어지는 노래학습점수연산과정을 나타낸 플로우챠트.
도 19는 본 발명에 있어서, 모창점수를 계산하는 흐름을 나타낸 플로우 챠트.
도 20은 본 발명에 있어서, 일정구간에서의 박자점수를 계산하는 흐름을 나타낸 플로우 챠트.
도 21은 본 발명에 있어서, 노래 한 곡 전체를 끝마쳤을 때 MR로 노래 부른 소절에 대해서 소절 단위 점수를 표시하는 예를 나타낸 도면.
도 22는 본 발명 노래학습 기능을 갖는 노래방 시스템의 제 2실시 예 구성을 나타낸 블록도.
도 23은 본 발명에 있어서, 노래반주수단이 적용된 디지털 음원재생기에 본 발명 노래연습시스템이 적용된 실시 예 구성을 나타낸 블록도.
도 24는 본 발명 실시예에 있어서, 노래반주 제어부의 상세 구성을 나타낸 블록도.
도 25는 본 발명 실시예에 있어서, 피치조절부의 구성을 나타낸 블록도.
도 26은 본 발명 실시예에 있어서, 피치조절부의 스펙트럼쉬프트에 있어 스펙트럼 이동의 예를 나타낸 도면.
도 27은 본 발명 실시 예에 있어서, 속도 조절부의 구성을 나타낸 블록도.
도 28은 본 발명 실시 예에 있어서, 데시메이션과 인터폴레이션을 나타낸 도면.
도 29는 본 발명 실시 예에 있어서, 에코생성부 구성을 나타낸 블록도.
도 30은 본 발명 실시 예에 있어서, 에코생성부의 출력신호를 나타낸 파형도.
도 31은 본 발명의 실시 예로써, 휴대전화에 본 발명 노래반주 및 노래연습 시스템을 적용한 것으로, 통화중 노래방 기능 제어 흐름을 나타낸 플로우 챠트.
Claims (34)
- 노래 연습을 위한 반주음(MR) 및 가수노래(AR) 데이터가 저장되는 콘텐트 저장수단과,사용자가 곡 선택, 재생 및 녹음의 제어에 관련한 사용자 제어값을 입력하기 위한 입력수단과,사용자의 노래연습시의 사용자의 노래 데이터가 저장되는 녹음데이터 저장수단과,가사 자막 및 점수 등과 같이 텍스트로 표시되는 자막을 표시수단에 처리하기 위한 문자표시제어수단과,가사, 점수, 노래연습에 필요한 화면을 표시하기 위한 표시수단과,콘텐트 저장수단에 저장된 반주음, 가수노래의 출력 위해 디지털 신호를 아날로그신호로 변경 또는 마이크로 입력된 사용자의 음성 아날로그 신호를 디지털신호로 변경하기 위한 오디오 변환코덱과,사용자의 음성을 전기적인 신호로 변환하기 위한 마이크와,네트워크상에 접속하기 위한 네트워크 인터페이스와,사용자의 선택에 따라 반주음 또는 가수노래를 제공하고, 사용자의 노래연습 을 위한 재생 및 녹음에 따른 일련의 제어 프로세스를 제공하는 제어수단과,상기 제어수단에 디지털 재생 제어를 위한 일련의 프로세스를 제어하며, 사용자의 선택에 따라 반주음 또는 가수노래를 제공하고, 노래반주의 피치, 속도조절과 에코조절의 조절 및 노래반주제어를 위한 프로세스를 제공하는 노래반주제어수단을 포함하되,상기 제어수단은 노래 연습을 위한 동작모드를 설정하기 위한 프로세스를 제공하고 사용자가 선택한 동작모드가 저장되는 모드설정부와, 노래연습시 사용자의 연습결과에 대하여 점수를 산정하기 위한 점수연산부와, 모드설정부에 설정된 환경설정값에 따라 콘텐트저장부에 저장된 반주음 또는 가수노래를 재생 및 녹음 제어하는 노래연습제어부를 포함하고,상기 콘텐트 저장수단에 저장된 콘텐트 데이터에는 가수노래 스펙트럼 정보를 포함하며,상기 콘텐트 저장수단에 저장되는 콘텐트 데이터는 반주음(MR)과 가수노래(AR)가 통합파일 구조로 이루어진 것을 특징으로 하는 노래학습 기능을 갖는 노래방 시스템.
- 사용자가 곡 선택, 재생 및 녹음의 제어에 관련한 사용자의 제어값 입력을 위한 사용자제어값입력부와, 사용자의 노래연습시의 사용자의 노래 데이터가 저장되는 녹음데이터 저장부와, 가사 자막 및 점수 등과 같이 텍스트로 표시되는 자막을 표시수단에 처리하기 위한 문자표시제어부와, 가사, 점수, 노래연습에 필요한 화면을 표시하기 위한 표시수단과, 로컬데이터 콘텐트저장수단에 저장된 반주음, 가수노래의 출력 위해 디지털 신호를 아날로그신호로 변경 또는 마이크로 입력된 사용자의 음성 아날로그 신호를 디지털신호로 변경하기 위한 오디오 변환코덱과, 사용자의 음성을 전기적인 신호로 변환하기 위한 마이크와, 네트워크상에 접속하여 웹서버로부터 콘텐트 데이터를 제공받기 위한 네트워크 인터페이스와, 사용자의 선택에 따라 반주음 또는 가수노래를 제공하고, 사용자의 노래연습을 위한 재생 및 녹음에 따른 일련의 제어 프로세스를 제공하는 제어수단과, 스피커와, 사용자 노래방 장치에서 웹서비스 시스템으로부터 다운받아 처리되는 데이터의 저장을 위한 로컬 데이터 저장수단을 포함하는 사용자 노래방 장치와,반주음 또는 가수노래 콘텐트 데이터를 네트워크를 통해 상기 사용자 노래방 장치에 제공하는 웹콘텐트 서비스 시스템과,상기 제어수단에 디지털 재생 제어를 위한 일련의 프로세스를 제어하며, 사용자의 선택에 따라 반주음 또는 가수노래를 제공하고, 노래반주의 피치, 속도조절과 에코조절의 조절 및 노래반주제어를 위한 프로세스를 제공하는 노래반주제어수단을 포함하여 구성되고,웹콘텐트 서비스 시스템은 노래 연습을 위한 반주음(MR) 및 가수노래(AR) 데이터가 저장되는 콘텐트 저장수단과, 사용자가 사용자 노래방 장치를 통해 녹음하여 업로드한 노래데이터가 등록 저장되는 녹음노래저장수단과, 사용자 노래방 장치의 접속 및 접속된 사용자 노래방 장치에 반주음, 가수노래 콘텐트 제공 및, 녹음된 노래데이터의 업로드저장, 재생 제어 프로세스를 제공하는 서버를 포함하되,상기 제어수단은 노래 연습을 위한 동작모드를 설정하기 위한 프로세스를 제공하고 사용자가 선택한 동작모드가 저장되는 모드설정부와, 노래연습시 사용자의 연습결과에 대하여 점수를 산정하기 위한 점수연산부와, 모드설정부에 설정된 환경설정값에 따라 콘텐트저장부에 저장된 반주음 또는 가수노래를 재생 및 녹음 제어하는 노래연습제어부를 포함하고,상기 콘텐트 저장수단에 저장된 콘텐트 데이터에는 가수노래 스펙트럼 정보를 포함하며,상기 콘텐트 저장수단에 저장되는 콘텐트 데이터는 반주음(MR)과 가수노래(AR)가 통합파일 구조로 이루어진 것을 특징으로 하는 노래학습 기능을 갖는 노래방 시스템.
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 제 1항 또는 제 2항에 있어서, 상기 점수연산부는 노래연습제어부로부터 반주음 데이터에 포함되어 있는 가사자막표시를 위한 자막시간정보로부터 계산되는 시간동기정보를 기준으로 하여 콘텐츠제공자가 미리 각 반주음에 맞춰서 제공한 콘텐트 데이터내에 노래음정정보로 부터 기준음정정보를 추출하는 음정데이터 추출부와,상기 시간동기정보를 기준으로 하여 마이크를 통해 입력된 사용자의 음성을 스펙트럼 분석하는 제 1스펙트럼 분석부와,가수노래데이터로부터 가수목소리 데이터를 추출하는 목소리추출부와,목소리추출부로부터 추출된 목소리에 대하여 스펙트럼 분석하는 제 2스펙트럼 분석부와,상기 음정데이터추출부로부터 기준음정정보를 입력받고, 제 1스펙트럼분석부로부터 분석된 사용자 음정정보와의 비교 및 가사반전정보로부터 박자를 확인하여 노래학습 점수를 연산하는 노래학습점수연산부와,상기 가수노래데이터로부터 분석된 제 2스펙트럼분석부의 기준스펙트럼정보와 사용자의 음성이 스펙트럼 분석된 제 1스펙트럼 분석부의 사용자 음색을 비교하고, 가사반전정보로부터 박자를 확인하여 모창점수를 계산하는 모창점수연산부를 포함하여 구성되는 것을 특징으로 하는 노래학습 기능을 갖는 노래방 시스템.
- 제 1항 또는 제 2항에 있어서, 상기 점수연산부는 마이크로 입력되는 사용자의 음성과 가사반전정보로 부터 박자를 확인하여 노래학습 점수를 연산하는 노래학습점수연산부로 구성되는 것을 특징으로 하는 노래학습 기능을 갖는 노래방 시스템.
- 삭제
- 제 1항 또는 제 2항에 있어서, 상기 점수연산부는 노래연습제어부로부터 반주음 데이터에 포함되어 있는 가사자막표시를 위한 자막시간정보로부터 계산되는 시간동기정보를 기준으로 하여 콘텐츠제공자가 미리 가수노래 콘텐트 데이터에 등록한 스펙트럼 정보를 추출하는 스펙트럼 추출부와,상기 시간동기정보를 기준으로 하여 마이크를 통해 입력된 사용자의 음성을 스펙트럼 분석하는 제 1스펙트럼 분석부와,가수노래데이터로부터 가수목소리 데이터를 추출하는 목소리추출부와,목소리추출부로부터 추출된 목소리에 대하여 스펙트럼 분석하는 제 2스펙트럼 분석부와,상기 스펙트럼추출부로부터 제공되는 기준음정정보를 입력받고, 제 1스펙트럼분석부로부터 분석된 사용자 음정정보와의 비교 및 가사반전정보로부터 박자를 확인하여 노래학습 점수를 연산하는 노래학습점수연산부와,상기 가수노래데이터로부터 분석된 제 2스펙트럼분석부의 기준스펙트럼정보와 사용자의 음성이 스펙트럼 분석된 제 1스펙트럼 분석부의 사용자 음색을 비교하고, 가사반전정보로부터 박자를 확인하여 모창점수를 계산하는 모창점수연산부를 포함하여 구성되는 것을 특징으로 하는 노래학습 기능을 갖는 노래방 시스템.
- 제 8항에 있어서, 상기 노래학습점수연산부는 상기 음정데이터추출부로부터 기준음정정보를 입력받고, 제 1스펙트럼분석부로부터 분석된 사용자 음정정보를 입력받아 기준음정정보와 사용자 음정정보를 비교하여 음정정확도를 측정하는 음정정확도측정부와, 이전 음정데이터를 저장하며 저장된 이전 과거의 음정데이터와 현재 제 1스펙트럼분석부로부터 입력된 스펙트럼 분석정보와의 비교를 통해 음정추이를 계산하고 계산된 음정추이를 기준정보로 하여 사용자가 부른 노래의 음정변화추이간의 유사한 정도를 측정하는 음정추이유사도 측정부와, 가사반전시간정보와 실제 입력되는 사용자의 입력데이터를 비교하여 박자점수를 계산하는 박자점수측정부와, 상기 음정정확도측정부와 음정추이유사도측정부 및 박자점수측정부의 점수산출값을 합산하여 노래학습점수를 산출하기 위한 합산기와 합산기를 통해 각 소절단위의 순간점수를 이용하여 모드설정부에 설정된 환경설정값에 따라 점수를 연산 제공하는 점수제공부를 포함하여 구성되는 것을 특징으로 하는 노래학습 기능을 갖는 노래방 시스템.
- 제 8항에 있어서, 상기 모창점수연산부는 가수노래로부터 추출된 가수목소리에 대한 제 2스펙트럼 분석부의 스펙트럼 분석정보를 기준스펙트럼 정보로 입력받고, 제 1스펙트럼 분석부의 사용자의 음성에 대한 스펙트럼 정보를 입력받아 음색 유사도를 측정하는 음색유사도 측정부와, 제 1스펙트럼분석부로부터 입력된 스펙트럼 분석정보와의 비교를 통해 음색추이를 계산하고 계산된 음색추이를 기준정보로 하여 사용자가 부른 노래의 음색 추이간의 유사도 정도를 측정하는 음색추이유사도 측정부와, 가사반전시간정보와 실제 입력되는 사용자의 입력데이터를 비교하여 박 자점수를 계산하는 박자점수측정부와, 상기 음색유사도측정부와 음색추이유사도측정부 및 박자점수측정부의 점수산출값을 합산하여 노래학습점수를 산출하기 위한 합산기와, 합산기를 통해 각 소절단위의 순간점수를 이용하여 모드설정부에 설정된 환경설정값에 따라 점수를 연산 제공하는 점수제공부를 포함하여 구성되는 것을 특징으로 하는 노래학습 기능을 갖는 노래방 시스템.
- 제 1항 또는 제 2항에 있어서, 상기 모드설정부는재생될 콘텐트 데이터(반주음 또는 가수노래)를 설정하기 위한 반주모드,점수표시여부를 선택하기 위한 점수표시모드,노래학습모드인지 모창연습모드인지를 설정하기 위한 연습모드,전체단위로 재생 및 녹음할 것인지 소절단위로 재생 및 녹음할 것인지를 설정하기 위한 재생 및 녹음 단위모드와,묵음구간을 삽입하기 위한 시간설정모드와,소절단위로 재생할 경우에 소절길이를 설정하기 위한 소절길이설정모드를,포함하는 모드설정정보로 이루어지는 것을 특징으로 하는 노래학습 기능을 갖는 노래방 시스템.
- 제 14항에 있어서, 상기 모드설정부의 점수표시모드정보에는 소절단위로 점수를 표시할 것인지 여부설정 정보를 더 포함하는 것을 특징으로 하는 노래학습 기능을 갖는 노래방 시스템.
- 삭제
- 제 1항에 있어서, 상기 제어수단은 노래연습시 반주음 또는 가수노래를 반복재생할 수 있도록 임의 구간을 설정하도록 하는 프로세스를 더 포함하며, 상기 입력수단은 사용자가 반복재생 원하는 임의 구간을 설정할 수 있도록 하는 입력수단을 포함하여 구성되는 것을 특징으로 하는 노래학습 기능을 갖는 노래방 시스템.
- 제 1항 또는 제 2항에 있어서, 상기 노래반주제어수단은,노래반주음과 마이크를 통해 입력된 사용자의 목소리를 혼합(mixing)한 오디오 데이터를 녹음데이터저장수단에 저장 또는 녹음데이터저장수단에 저장된 오디오 데이터를 입출력 관리하는 파일 입출력 처리부와, 디지털음원이 디코딩된 데이터를 이용하여 사용자가 원하는 만큼의 음정(피치), 재생속도를 조절하는 피치속도 조절부와, 마이크 입력 오디오 신호에 반향효과를 주기 위해 피드백 시키는 에코생성부와, 상기 마이크를 통해 입력되는 사용자 음성신호와 상기 피치속도 조절부를 통해서 입력되는 반주데이터를 믹싱하여 상기 오디오변환코덱으로 출력하는 믹서를 포함하여 구성되는 것을 특징으로 하는 노래학습 기능을 갖는 노래방 시스템.
- 제 1항 또는 제 2항에 있어서, 상기 노래반주제어수단은,노래반주음과 마이크를 통해 입력된 사용자의 목소리를 혼합(mixing)한 오디오 데이터를 녹음데이터저장수단에 저장 또는 녹음데이터저장수단에 저장된 오디오 데이터를 입출력 관리하는 파일 입출력 처리부와, 디지털음원이 디코딩된 데이터를 이용하여 사용자가 원하는 만큼의 음정(피치), 재생속도를 조절하는 피치속도 조절부와, 상기 마이크를 통해 입력되는 사용자 음성신호와 상기 피치속도 조절부를 통해서 입력되는 반주데이터를 믹싱하여 상기 오디오변환코덱으로 출력하는 믹서를 포함하여 구성되는 것을 특징으로 하는 노래학습 기능을 갖는 노래방 시스템.
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 멀티미디어 음원 또는 동영상 재생을 위한 프로세스를 제공하는 디지털신호처리수단을 포함하는 디지털 장치에 있어서,제어프로그램 및 노래반주 데이터 및 노래 연습을 위한 반주음(MR) 및 가수노래(AR) 데이터가 저장되는 메모리부와,디지털 음원재생 및 노래연습에 필요한 곡 선택 및 재생/녹음 제어와 노래반주에 필요한 피치, 속도조절, 에코조절에 관련한 사용자의 선택값을 입력하기 위한입력수단과,사용자의 노래연습시의 사용자의 노래 데이터가 저장되는 녹음데이터 저장부와,가사 자막 및 점수 등과 같이 텍스트로 표시되는 자막을 표시부(500)에 처리하기 위한 문자표시제어부와,가사, 점수, 노래연습에 필요한 화면을 표시하기 위한 표시부와,디지털 데이터의 재생 출력을 위해 디지털 신호를 아날로그신호로 변경 또는 마이크로 입력된 사용자의 음성 아날로그 신호를 디지털신호로 변경하기 위한 오디오 변환코덱과,사용자의 음성을 전기적인 신호로 변환하기 위한 마이크와,PC에 접속하기 위한 PC 인터페이스와,디지털 재생 제어를 위한 일련의 프로세스를 제어하며, 사용자의 선택에 따라 반주음 또는 가수노래를 제공하고, 사용자의 노래연습 을 위한 재생/녹음에 따른 일련의 제어 프로세스를 제공하는 연습제어부, 노래반주의 피치, 속도조절과 에코조절의 조절 및 노래반주제어를 위한 프로세스를 제공하는 노래반주제어부를 포함하는 시스템제어부를 포함하되,유무선의 네트워크에 접속하여 콘텐트 데이터 제공시스템으로부터 콘텐트 데이터를 제공받거나, 저장된 데이터를 외부 시스템에 제공할 수 있도록 하는 네트워크 접속수단을 포함하며,상기 노래반주제어부는,노래반주음과 마이크를 통해 입력된 사용자의 목소리를 혼합(mixing)한 오디오 데이터를 녹음데이터저장부에 저장 또는 녹음데이터저장부에 저장된 오디오 데이터를 외부로 출력 하거나, 외부로부터 데이터를 제공받아 메모리부에 저장하는 파일 입출력 처리부와, 디지털음원이 디코딩된 데이터를 이용하여 사용자가 원하는 만큼의 음정(피치), 재생속도를 조절하는 피치속도 조절부와, 마이크 입력 오디오 신호에 반향효과를 주기 위해 피드백 시키는 에코생성부와, 상기 마이크를 통해 입력되는 사용자 음성신호와 상기 피치속도 조절부를 통해서 입력되는 반주데이터를 믹싱하여 상기 오디오변환코덱으로 출력하는 믹서를 포함하여 구성되는 것을 특징으로 하는 노래학습 기능을 갖는 노래방 시스템.
- 삭제
- 삭제
- 제 28항에 있어서, 피치속도조절부에 있어, 상기 피치속도조절부는 피치조절부를 포함하고, 상기 피치조절부는,원신호를 시간평면상의 짧은 구간으로 나누기 위한 윈도우와, 그 짧은 구간의 신호를 퓨리에 변환시키는 퓨리에변환부(FFT)와, 퓨리에 변환부에서 얻어진 진폭스펙트럼에 대해 사용자가 원하는 만큼 쉬프트 시키는 스펙트럼 쉬프트와, 스펙트럼 쉬프트된 신호를 다시 역퓨리에변환하는 역퓨리에변환부(IFFT)와, 프레임간 불일치를 해소하기 위하여 필터링하여 변경된 신호를 출력하는 윈도우를 포함하여 구성되는 것을 특징으로 하는 노래학습 기능을 갖는 노래방 시스템.
- 제 28항에 있어서, 피치속도조절부에 있어, 상기 피치속도조절부는 속도조절부를 포함하고, 상기 속도조절부는,변화되지 않은 원신호가 입력되면 입력신호의 속도의 증감을 판별하는 속도증감판별부와, 속도 증가인 경우 원신호에서 일정부분 솎아내는 데시메이션부와, 속도 감소인 경우 원신호에 데이터 샘플을 중간중간 삽입하는 인터폴레이션부와, 상기 데시메이션부의 출력신호의 음정을 보정하기 위해 피치를 감소시켜 변경된 신호를 출력하는 피티(-)쉬프트부와, 상기 인터폴레이션부의 출력신호의 음정을 보정하기 위하여 피치를 증가시켜 변경된 신호를 출력하는 피치(+)쉬프트부를 포함하여 구성되는 것을 특징으로 하는 노래학습 기능을 갖는 노래방 시스템.
- 제 28항에 있어서, 상기 에코생성부는 입력신호와 지연시킨 피드백신호를 합성하는 제1합산기(M1)와, 그 제1합산기(M1)의 출력신호를 지연시키는 지연기(D1)와, 그 지연기(D1)의 출력신호를 상기 제1합산기(M1)로 피드백시키되 그 저항 크기에 의해 잔향시간을 조절하는 잔향 시간조절기(G2)와, 상기 지연기(D1)의 출력신호의 세기를 조절하여 잔향의 세기를 조절하기 위한 잔향세기 조절기(G1)와, 그 잔향세기 조절기(G1)의 출력신호와 상기 입력신호를 합성하여 에코가 제어된 신호를 출력하는 제2합산기(M2)를 포함하여 구성되는 것을 특징으로 하는 노래학습 기능을 갖는 노래방 시스템.
- 제 28항에 있어서,상기 연습제어부는,노래 연습을 위한 동작모드를 설정하기 위한 프로세스를 제공하고 사용자가 선택한 동작모드가 저장되는 모드설정부와, 노래연습시 사용자의 연습결과에 대하여 점수를 산정하기 위한 점수연산부와, 모드설정부에 설정된 환경설정값에 따라 메모리부에 저장된 반주음 또는 가수노래를 재생 및 녹음 제어하는 노래연습제어부를 포함하여 구성되는 것을 특징으로 하는 노래학습 기능을 갖는 노래방 시스템.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/KR2008/005422 WO2009038316A2 (en) | 2007-09-18 | 2008-09-12 | The karaoke system which has a song studying function |
| US12/678,896 US20100203491A1 (en) | 2007-09-18 | 2008-09-12 | karaoke system which has a song studying function |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070094481 | 2007-09-18 | ||
| KR1020070094481A KR20070099501A (ko) | 2007-09-18 | 2007-09-18 | 노래 학습 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20080053251A KR20080053251A (ko) | 2008-06-12 |
| KR101094687B1 true KR101094687B1 (ko) | 2011-12-22 |
Family
ID=38804875
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020070094481A KR20070099501A (ko) | 2007-09-18 | 2007-09-18 | 노래 학습 시스템 및 방법 |
| KR1020080037008A KR101094687B1 (ko) | 2007-09-18 | 2008-04-22 | 노래학습 기능을 갖는 노래방 시스템 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020070094481A KR20070099501A (ko) | 2007-09-18 | 2007-09-18 | 노래 학습 시스템 및 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20100203491A1 (ko) |
| KR (2) | KR20070099501A (ko) |
| WO (1) | WO2009038316A2 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150057302A (ko) * | 2013-11-19 | 2015-05-28 | 주식회사 알티캐스트 | 노래 예약 방법 및 그 장치 |
| KR20230164342A (ko) | 2022-05-25 | 2023-12-04 | 팍슨 주식회사 | 인공지능을 이용한 노래 추천방법 및 시스템 |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100660607B1 (ko) * | 2005-04-27 | 2006-12-21 | 김봉석 | 에코기능을 구비한 리모컨 |
| US20090314154A1 (en) * | 2008-06-20 | 2009-12-24 | Microsoft Corporation | Game data generation based on user provided song |
| US8484026B2 (en) * | 2009-08-24 | 2013-07-09 | Pi-Fen Lin | Portable audio control system and audio control device thereof |
| US9058797B2 (en) | 2009-12-15 | 2015-06-16 | Smule, Inc. | Continuous pitch-corrected vocal capture device cooperative with content server for backing track mix |
| US8983829B2 (en) | 2010-04-12 | 2015-03-17 | Smule, Inc. | Coordinating and mixing vocals captured from geographically distributed performers |
| US9866731B2 (en) | 2011-04-12 | 2018-01-09 | Smule, Inc. | Coordinating and mixing audiovisual content captured from geographically distributed performers |
| WO2013181414A1 (en) * | 2012-06-01 | 2013-12-05 | Songalbum, Llc | System and method for automatic synchronization of audio layers |
| EP2930714B1 (en) * | 2012-12-04 | 2018-09-05 | National Institute of Advanced Industrial Science and Technology | Singing voice synthesizing system and singing voice synthesizing method |
| DE102013011398B4 (de) | 2013-06-29 | 2018-08-09 | Audi Ag | Kraftwagen mit einem Unterhaltungssystem und Verfahren zum Betreiben eines Kraftwagens mit einem Unterhaltungssystem |
| KR101571746B1 (ko) * | 2014-04-03 | 2015-11-25 | (주) 엠티콤 | 유사도판별장치 및 그 동작 방법 |
| CN104966527B (zh) * | 2015-05-27 | 2017-04-19 | 广州酷狗计算机科技有限公司 | K歌处理方法、装置以及k歌处理系统 |
| US11488569B2 (en) | 2015-06-03 | 2022-11-01 | Smule, Inc. | Audio-visual effects system for augmentation of captured performance based on content thereof |
| US11310538B2 (en) | 2017-04-03 | 2022-04-19 | Smule, Inc. | Audiovisual collaboration system and method with latency management for wide-area broadcast and social media-type user interface mechanics |
| WO2018187360A2 (en) | 2017-04-03 | 2018-10-11 | Smule, Inc. | Audiovisual collaboration method with latency management for wide-area broadcast |
| TWM556913U (zh) * | 2017-10-30 | 2018-03-11 | Glorykylin International Co Ltd | Ktv智能盒子 |
| KR102112738B1 (ko) * | 2017-12-06 | 2020-05-19 | 김기석 | 노래방 기기의 가사 표시 방법 및 장치 |
| JP7035697B2 (ja) * | 2018-03-27 | 2022-03-15 | カシオ計算機株式会社 | 歌唱練習装置、歌唱練習方法、及びプログラム |
| KR101992572B1 (ko) * | 2018-08-30 | 2019-09-30 | 유영재 | 음향 리뷰 기능을 갖는 음향 편집 장치 및 이를 이용한 음향 리뷰 방법 |
| US11869467B2 (en) * | 2018-10-19 | 2024-01-09 | Sony Corporation | Information processing method, information processing apparatus, and information processing program |
| US20200218500A1 (en) * | 2019-01-04 | 2020-07-09 | Joseph Thomas Hanley | System and method for audio information instruction |
| CN113691841B (zh) * | 2020-05-18 | 2022-08-30 | 聚好看科技股份有限公司 | 一种演唱标签添加方法、快速试听方法及显示设备 |
| CN112596695B (zh) * | 2020-12-30 | 2024-03-12 | 北京达佳互联信息技术有限公司 | 歌曲导唱方法、装置、电子设备及存储介质 |
| CN113793578B (zh) * | 2021-08-12 | 2023-10-20 | 咪咕音乐有限公司 | 曲调生成方法、装置、设备及计算机可读存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030124499A1 (en) | 1998-01-07 | 2003-07-03 | David Kumar | Method and apparatus for providing interactive karaoke entertainment |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3324158B2 (ja) * | 1992-10-09 | 2002-09-17 | ヤマハ株式会社 | カラオケ装置 |
| JP3322275B2 (ja) * | 1992-10-09 | 2002-09-09 | ヤマハ株式会社 | カラオケ装置 |
| JPH09198071A (ja) * | 1996-01-24 | 1997-07-31 | Sony Corp | 遠隔操作装置 |
| JP3453248B2 (ja) * | 1996-05-28 | 2003-10-06 | 株式会社第一興商 | 通信カラオケシステム、カラオケ再生端末 |
| CN1248135C (zh) * | 1999-12-20 | 2006-03-29 | 汉索尔索弗特有限公司 | 基于网络的音乐演奏/歌曲伴奏服务系统和方法 |
| KR100401410B1 (ko) * | 2000-03-22 | 2003-10-11 | 정영근 | 인터넷을 이용한 노래실력 평가 및 가수 선발시스템과 그선발방법 |
-
2007
- 2007-09-18 KR KR1020070094481A patent/KR20070099501A/ko active Search and Examination
-
2008
- 2008-04-22 KR KR1020080037008A patent/KR101094687B1/ko not_active IP Right Cessation
- 2008-09-12 WO PCT/KR2008/005422 patent/WO2009038316A2/en active Application Filing
- 2008-09-12 US US12/678,896 patent/US20100203491A1/en not_active Abandoned
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030124499A1 (en) | 1998-01-07 | 2003-07-03 | David Kumar | Method and apparatus for providing interactive karaoke entertainment |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150057302A (ko) * | 2013-11-19 | 2015-05-28 | 주식회사 알티캐스트 | 노래 예약 방법 및 그 장치 |
| KR102137283B1 (ko) * | 2013-11-19 | 2020-07-29 | 주식회사 알티캐스트 | 노래 예약 방법 및 그 장치 |
| KR20230164342A (ko) | 2022-05-25 | 2023-12-04 | 팍슨 주식회사 | 인공지능을 이용한 노래 추천방법 및 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2009038316A2 (en) | 2009-03-26 |
| KR20080053251A (ko) | 2008-06-12 |
| KR20070099501A (ko) | 2007-10-09 |
| WO2009038316A3 (en) | 2009-05-07 |
| US20100203491A1 (en) | 2010-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101094687B1 (ko) | 노래학습 기능을 갖는 노래방 시스템 | |
| US8492637B2 (en) | Information processing apparatus, musical composition section extracting method, and program | |
| US7582824B2 (en) | Tempo detection apparatus, chord-name detection apparatus, and programs therefor | |
| US7563975B2 (en) | Music production system | |
| US8198525B2 (en) | Collectively adjusting tracks using a digital audio workstation | |
| US5703311A (en) | Electronic musical apparatus for synthesizing vocal sounds using format sound synthesis techniques | |
| JP5143569B2 (ja) | 音響的特徴の同期化された修正のための方法及び装置 | |
| JP4207902B2 (ja) | 音声合成装置およびプログラム | |
| US9892758B2 (en) | Audio information processing | |
| US20230402026A1 (en) | Audio processing method and apparatus, and device and medium | |
| JP2006251375A (ja) | 音声処理装置およびプログラム | |
| JP5229998B2 (ja) | コード名検出装置及びコード名検出用プログラム | |
| JP2019061135A (ja) | 電子楽器、電子楽器の楽音発生方法、及びプログラム | |
| KR100256718B1 (ko) | 음피치 변환 장치 | |
| JP6288197B2 (ja) | 評価装置及びプログラム | |
| JP6102076B2 (ja) | 評価装置 | |
| WO2014142200A1 (ja) | 音声処理装置 | |
| JP5005445B2 (ja) | コード名検出装置及びコード名検出用プログラム | |
| KR20090023912A (ko) | 음악 데이터 처리 시스템 | |
| WO2020158891A1 (ja) | 音信号合成方法およびニューラルネットワークの訓練方法 | |
| JP2013076887A (ja) | 情報処理システム，プログラム | |
| JPH11249674A (ja) | カラオケ装置における歌唱採点方式 | |
| JP2003015672A (ja) | 声域告知機能付きカラオケ装置 | |
| JP5125957B2 (ja) | 音域特定システム、プログラム | |
| JP2004326133A (ja) | 声域告知機能付きカラオケ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| G15R | Request for early opening | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| J201 | Request for trial against refusal decision | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| B701 | Decision to grant | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |