KR102225288B1 - 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 방법 - Google Patents
빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 방법 Download PDFInfo
- Publication number
- KR102225288B1 KR102225288B1 KR1020190111399A KR20190111399A KR102225288B1 KR 102225288 B1 KR102225288 B1 KR 102225288B1 KR 1020190111399 A KR1020190111399 A KR 1020190111399A KR 20190111399 A KR20190111399 A KR 20190111399A KR 102225288 B1 KR102225288 B1 KR 102225288B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- vocal
- guidance service
- vibration pattern
- vocal cord
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000010835 comparative analysis Methods 0.000 title claims abstract description 33
- 210000001260 vocal cord Anatomy 0.000 claims abstract description 120
- 230000001755 vocal effect Effects 0.000 claims description 96
- 238000004458 analytical method Methods 0.000 claims description 36
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 12
- 230000036541 health Effects 0.000 claims description 11
- WURBVZBTWMNKQT-UHFFFAOYSA-N 1-(4-chlorophenoxy)-3,3-dimethyl-1-(1,2,4-triazol-1-yl)butan-2-one Chemical compound C1=NC=NN1C(C(=O)C(C)(C)C)OC1=CC=C(Cl)C=C1 WURBVZBTWMNKQT-UHFFFAOYSA-N 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000007418 data mining Methods 0.000 claims description 4
- 230000033764 rhythmic process Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 2
- 238000007670 refining Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 10
- 210000000056 organ Anatomy 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 230000002688 persistence Effects 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 230000008451 emotion Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000003187 abdominal effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 210000004072 lung Anatomy 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 206010044565 Tremor Diseases 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 210000004877 mucosa Anatomy 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 206010023825 Laryngeal cancer Diseases 0.000 description 1
- 201000008197 Laryngitis Diseases 0.000 description 1
- 208000024770 Thyroid neoplasm Diseases 0.000 description 1
- 206010047675 Vocal cord polyp Diseases 0.000 description 1
- 206010047676 Vocal cord thickening Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 239000003651 drinking water Substances 0.000 description 1
- 235000020188 drinking water Nutrition 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 230000003054 hormonal effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 208000027866 inflammatory disease Diseases 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000004717 laryngeal muscle Anatomy 0.000 description 1
- 206010023841 laryngeal neoplasm Diseases 0.000 description 1
- 210000000867 larynx Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000003928 nasal cavity Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 208000014515 polyp of vocal cord Diseases 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000001584 soft palate Anatomy 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 210000005177 subglottis Anatomy 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 201000002510 thyroid cancer Diseases 0.000 description 1
- 210000001685 thyroid gland Anatomy 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B15/00—Teaching music
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/65—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/90—Pitch determination of speech signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
- G06F2216/03—Data mining
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Educational Administration (AREA)
- Human Computer Interaction (AREA)
- Educational Technology (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 방법이 제공되며, 사용자 단말로부터 성대진동 측정기로 측정된 발성 데이터를 수신하는 단계, 수신된 발성 데이터와 기 구축된 빅데이터에서 추출된 음원에 기 매핑되어 저장된 성대진동 데이터인 기준 데이터를 비교하는 단계, 및 발성 데이터와 기준 데이터의 진동 패턴, 파형, 및 세기를 비교한 비교 결과를 음원의 악보에 대응되도록 동기화시켜 시각화하고, 발성 데이터와 기준 데이터 간의 일치도를 실시간으로 점수로 수치화하여 출력하는 단계를 포함한다.
Description
본 발명은 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 방법에 관한 것으로, 기준 음원과 입력 음원의 성대진동패턴을 비교분석하여 실시간으로 악보상에 시간에 동기화하여 출력할 수 있는 방법을 제공한다.
음성의 물리적인 메커니즘은 폐의 공기 압력에서부터 시작되어 성대와 성도를 거쳐 연구개 부분에서 구강과 비강으로 나누어 배출된다. 이러한 일련의 물리적인 과정으로 인해 음성은 선천적인 신체특성을 반영한다. 음성 메커니즘은 폐에서 나온 백색잡음이 성대의 울림 특성을 통해 피치가 결정되고 성도의 공명을 통해 개인의 성문특성이 결정된다. 인간의 발성은 성대 주름을 진동시키거나 그 주름을 따라 입의 빈 공간을 통해 새어나오는 공기의 흐름으로 만들어지며 사람은 성대를 진동시킴으로써 소리를 낸다. 이러한 진동은 매질을 진동시키며 소리가 진행하는데, 소리를 내는 물질이 공기 중에 있다면, 물질이 진동함에 따라 그 주위의 공기분자를 밀기 때문에, 결과적으로 진동은 공기의 밀도를 한쪽은 증가시키고 다른 한쪽은 감소시키는데, 밀도가 높아진 부분은 밀한 부분, 즉 높은 압력 영역이고, 낮아진 부분은 소한 부분인 낮은 압력 영역이다.
이때, 성대 진동을 판단하기 위한 방법은 음성의 음향 에너지를 이용한 시뮬레이터를 이용하는 방법으로 이루어지고 있는데, 이와 관련하여, 선행기술인 한국공개특허 제2018-0038724호(2018년04월17일 공개)에는, 고속 비디오 내시경 (High-speed videoendoscopy, HSV), 후두 비디오 스트로보스코피 (Laryngeal videostroboscopy, LVS), 비디오 카이모그라피 (videokymography, VKG), 2차원 스캔 비디오 카이모그라피 (two-dimensional scanning videokymograpy, 2D VKG) 등과 같이 내시경 검사를 이용하는 직접적 관찰 방법과, 음성 신호 (voice signal), 전기성문파형(electroglottograpy, EGG), 사진 성문파형 (photoglottogram, PGG) 등을 이용하는 간접적 관찰 방법이 개시되고, 음성의 음향 에너지를 이용한 성대 오실레이션(vocal cord oscillation)에 관한 구성이 개시되어 있다.
다만, 상술한 구성들은 성대의 진동 및 파형만을 관찰할 뿐, 관찰된 데이터를 이용하는 구성은 전혀 기재되어 있지 않으며, 관련 연구 및 기술도 상대적으로 전무한 것이 현 실정이다. 관찰된 데이터를 어떻게 이용하는지에 따라 그 가능성은 무한하지만 실제적으로 성대의 진동이나 파형 분야는 의료분야인 인공성대분야에 편중되어 개발되고 있어 객관적인 사실을 즉각적이고 직관적으로 이해할 수 있는 정보의 시각화 분야는 상대적으로 큰 발전을 이루지 못하고 있다. 디지털 미디어의 기술의 발달로 인해 정확한 데이터의 측정과 표현이 가능해졌지만, 예술 분야는 예술가의 정신과 감성에 감히 기술의 잣대로 재단할 수 없는 성역으로 자리잡으며 기술의 침투를 거부하고 있다. 이에, 관찰된 데이터를 충분히 활용하면서도 예술 분야에 과학 기술을 접목시킨 융합이 요구된다.
본 발명의 일 실시예는, 기준 데이터와 발성 데이터 간의 성대 진동을 측정하고 진동 패턴을 비교함으로써 발성의 안정성 뿐만 아니라 성대접지정도와 성문분석까지 분석해줄 수 있고, 목소리의 피치 및 성문분석을 통하여 목소리에 어울리는 곡 및 가수를 추천해줄 수 있으며, 발성 데이터와 기준 데이터 간의 비교분석 데이터를 시각화함으로써 과학적인 데이터를 직관적으로 인지하도록 하고, 발성 데이터를 빅데이터로 수집하고 클러스터링(Clustering)함으로써 집단 간 비교를 수행하고, 성대 진동 및 성대 파동을 포함한 특성값으로 우수집단을 선정하여 발성자의 발성 데이터와 비교를 함으로써 차이점을 보완할 수 있도록 하는, 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 방법을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 사용자 단말로부터 성대진동 측정기로 측정된 발성 데이터를 수신하는 단계, 수신된 발성 데이터와 기 구축된 빅데이터에서 추출된 음원에 기 매핑되어 저장된 성대진동 데이터인 기준 데이터를 비교하는 단계, 및 발성 데이터와 기준 데이터의 진동 패턴, 파형, 및 세기를 비교한 비교 결과를 음원의 악보에 대응되도록 동기화시켜 시각화하고, 발성 데이터와 기준 데이터 간의 일치도를 실시간으로 점수로 수치화하여 출력하는 단계를 포함한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 기준 데이터와 발성 데이터 간의 성대 진동을 측정하고 진동 패턴을 비교함으로써 발성의 안정성 뿐만 아니라 성대접지정도와 성문분석까지 분석해줄 수 있고, 목소리의 피치 및 성문분석을 통하여 목소리에 어울리는 곡 및 가수를 추천해줄 수 있으며, 발성 데이터와 기준 데이터 간의 비교분석 데이터를 시각화함으로써 과학적인 데이터를 직관적으로 인지하도록 하고, 발성 데이터를 빅데이터로 수집하고 클러스터링(Clustering)함으로써 집단 간 비교를 수행하고, 성대 진동 및 성대 파동을 포함한 특성값으로 우수집단을 선정하여 발성자의 발성 데이터와 비교를 함으로써 차이점을 보완할 수 있다.
도 1은 본 발명의 일 실시예에 따른 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 발성 가이던스 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 도 1의 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.
도 2는 도 1의 시스템에 포함된 발성 가이던스 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 도 1의 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 시스템(1)은, 적어도 하나의 사용자 단말(100), 발성 가이던스 서비스 제공 서버(300), 및 적어도 하나의 음원 제공 서버(400)를 포함할 수 있다. 다만, 이러한 도 1의 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.
이때, 도 1의 각 구성요소들은 일반적으로 네트워크(network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 사용자 단말(100)은 네트워크(200)를 통하여 발성 가이던스 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 발성 가이던스 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 적어도 하나의 음원 제공 서버(400)와 연결될 수 있다. 또한, 적어도 하나의 음원 제공 서버(400)는, 네트워크(200)를 통하여 발성 가이던스 서비스 제공 서버(300)와 연결될 수 있다.
여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 RF, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5GPP(5th Generation Partnership Project) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, NFC 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.
적어도 하나의 사용자 단말(100)은, 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 발성 데이터를 발성 가이던스 서비스 제공 서버(300)로 전송하는 사용자의 단말일 수 있다. 이때, 발성 데이터는, 성대의 울림, 즉 진동 데이터를 의미하지만, 이에 한정되지는 않고 음원, 즉 소리 데이터도 포함될 수 있다. 그리고, 적어도 하나의 사용자 단말(100)은, 발성 가이던스 서비스 제공 서버(300)에서 음원을 선택하여 출력하면서 동시에 발성 데이터를 발성 가이던스 서비스 제공 서버(300)로 전송하는 단말일 수 있다. 또한, 적어도 하나의 사용자 단말(100)은, 발성 데이터를 측정할 수 있는 적어도 하나의 종류의 장비와 연동되는 단말일 수 있고, 적어도 하나의 종류의 장비는 진동을 측정하거나 성대의 열리고 닫히는 상태를 영상으로 촬영할 수 있는 장비일 수 있으며, 진동을 측정하는 장비로는 예를 들어 지진계일 수 있고, 소리를 입력받는 장비는 예를 들어 마이크 등일 수 있으나 이에 한정되는 것은 아니다. 또한, 적어도 하나의 사용자 단말(100)은, 음원의 악보(Note)를 화면에 출력하면서 자신의 발성 데이터의 진동 패턴과 기 저장된 기준 데이터의 진동 패턴을 악보의 시간 동기화를 시켜 출력하는 단말일 수 있다. 그리고, 적어도 하나의 사용자 단말(100)은, 발성 가이던스 서비스 제공 서버(300)에 기 구축된 빅데이터에 질의(Query)를 입력하여 출력하는 단말일 수 있는데, 질의는 예를 들어, 성량이나 성종 체크, 발성 관련 데이터, 예를 들어 호흡 안정성, 성대 접지율, 음정이나 박자의 정확도, 음색 등의 체크를 쿼리로 입력하여 출력값을 수신 및 디스플레이하는 단말일 수 있다. 이때, 쿼리의 종류는 나열된 것들로 한정되지는 않는다.
여기서, 적어도 하나의 사용자 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 노래방 장비, 녹음 장비, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 사용자 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
발성 가이던스 서비스 제공 서버(300)는, 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 발성 가이던스 서비스 제공 서버(300)는, 적어도 하나의 음원 제공 서버(400)로부터 음원 데이터를 수집하고, 음원에 포함된 발성 데이터를 추출하여 진동 데이터를 필터링해내는 서버일 수 있다. 또한, 발성 가이던스 서비스 제공 서버(300)는 진동 데이터의 패턴을 음원의 악보에 시간에 동기화되도록 싱크를 맞추는 서버일 수 있고, 성대 접지율, 음색, 호흡 안정성, 음정 및 박자 정확도 등의 다양한 변수로 빅데이터를 학습시키는 서버일 수 있으며, 이를 통하여 이후 쿼리로 상술한 변수 중 어느 하나 또는 적어도 하나의 조합이 입력된 경우, 입력된 데이터와의 차이를 비교함으로써 출력값을 생성해낼 수 있는 서버일 수 있다. 그리고, 발성 가이던스 서비스 제공 서버(300)는, 발성 데이터 뿐만 아니라 악기의 반주 데이터를 입력값으로 수신한 경우에는, 음원 데이터 중 반주 데이터를 추출하여 입력된 반주 데이터와 비교를 통하여 튠(Tune)을 맞추도록 하는 서버일 수 있다. 이는, 기준값이 반주 데이터인지 발성 데이터인지에 따라 달라지게 되는 원리이므로, 이를 이용한 분야는 상술한 분야에 한정되지 않는다. 그리고, 발성 가이던스 서비스 제공 서버(300)는 빅데이터를 구축할 때 진동 데이터, 반주 데이터, 발성 데이터 등을 분류하고, 각 성종(Voice Classification)에 따라 분류하며 상술한 다양한 특성별로 기준 데이터를 클러스터링하여 군집화함으로써 빅데이터를 구축하는 서버일 수 있다. 또한, 발성 가이던스 서비스 제공 서버(300)는, 실시간으로 기준 데이터와 입력된 발성 데이터 간의 유사도에 기반하여 일치도를 점수로 변환하여 사용자 단말(100)로 전송하는 서버일 수 있다. 이때, 기준 데이터는 진동 패턴을 포함하는 데이터이지만, 각 변수에 따라 기준 데이터는 반주 데이터일 수도 있고, 소리 데이터일 수도 있음은 상술한 바와 같다.
여기서, 발성 가이던스 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.
적어도 하나의 음원 제공 서버(400)는, 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하는 음원 제공자의 서버일 수 있다. 이때, 적어도 하나의 음원 제공 서버(400)는 발성 가이던스 서비스 제공 서버(300)에서 음원을 요청하는 경우 계약에 따라 무료 또는 유료로 음원을 응답으로 제공하는 서버일 수 있다.
여기서, 적어도 하나의 음원 제공 서버(400)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 음원 제공 서버(400)는, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 음원 제공 서버(400)는, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
도 2는 도 1의 시스템에 포함된 발성 가이던스 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3은 본 발명의 일 실시예에 따른 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 2를 참조하면, 발성 가이던스 서비스 제공 서버(300)는, 수신부(310), 비교부(320), 출력부(330), 분석부(340), 성대건강체크부(350), 추천부(360), 리스트 제공부(370), 및 빅데이터화부(380)를 포함할 수 있다.
본 발명의 일 실시예에 따른 발성 가이던스 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 사용자 단말(100), 및 적어도 하나의 음원 제공 서버(400)로 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 사용자 단말(100), 및 적어도 하나의 음원 제공 서버(400)는, 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 사용자 단말(100), 및 적어도 하나의 음원 제공 서버(400)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: world wide web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(hyper text mark-up language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(app)을 포함한다.
도 2를 참조하면, 수신부(310)는, 사용자 단말(100)로부터 성대진동 측정기로 측정된 발성 데이터를 수신할 수 있다. 이때, 성대진동 측정기는 예를 들어, 지진계일 수 있으나 이에 한정되는 것은 아니다. 지진계는 지진파를 기록하는 장치로 관성을 이용하여 지진으로 인한 한 방향의 변위를 측정할 수 있는 장치이다. 따라서 지진으로 인한 3차원 변위를 측정하기 위해서는 동서방향, 남북방향, 상하방향의 3개의 지진계 설치가 요구되고, 50Hz 이상의 고주파 지진에 대한 관측이 가능하지만 하지만 절대적인 관측이나 모니터링이 어려울 수 있고 소형화가 어려워서 최근 6축 가속도계가 지진계의 대용으로 사용되고 있다. 가속도계는 지진계와 원리가 완전히 다르지만 6개의 방향의 이동을 파악함으로써 지진계와 유사한 측정효과를 낼 수는 있다. 또는, 성대의 움직임을 초당 2000프레임(Frames)으로 더욱 정밀하게 촬영할 수 있는 초고속 성대촬영기(High-Speed Digital Imaging, HSDI)를 통하여 성대 진동 양상을 확인할 수 있도록 할 수도 있다. 또는, 음성 신호를 분석하여 진동을 알아낼 수도 있는데 이는 이하와 같다.
인간의 성대는 호흡을 할 때의 공기 흐름을 이용하여 개폐를 반복하면서 진동을 하게 된다. 이때 발생하는 압력이 반복적으로 공기에 전달되어 음파가 발생한다. 즉, 후두의 성문 위치에 있는 성대는 수십 및 수백 Hz로 빠르게 대칭적으로 진동하면서 성문하 구역에 생성된 유체역학적 에너지를 소리 에너지로 변환시켜주는 역할을 한다. 이렇듯 음성은 호흡, 발성, 공명, 구어 조음 메카니즘이 서로 결합하여 적절하게 기능할 때 정상적인 음성이 산출될 수 있다고 하며 소리의 구성요소인 음도, 강도, 음질, 유동성 등으로 이루어지는 것으로 정의한다. 이와 같은 음성을 표현하는 인체기관에는 호흡기관, 발성기관, 조음기관 및 공명기관으로 분류할 수 있다. 이러한 음성 관련 기관 중에서 성대는 발성기관에 포함된다. 성대는 좌측 진성대와 우측 진성대 사이의 공기통로를 의미하는 성문의 정중앙에 위치한다. 성대의 진동은 성대의 길이, 무게, 긴장의 정도에 따라 크게 달라진다. 즉 성대의 진동, 다시 말해 주파수는 성대의 질량과 길이에 반비례하고, 긴장의 정도에 비례한다. 여기서 긴장도 “t"는 긴장의 정도를 말하며 이는 예로서 거짓말을 할 경우나 흥분할 때 등과 같은 긴장의 정도를 의미하며 1/2승에 비례한다.
주파수는, f = 1/2L 루트 t/m으로 정의될 수 있는데, L은 길이, t는 긴장도, m은 단면적 질량(cross-sectional mass)이다. 길고 두꺼운 성대일수록 낮은 주파수로 진동하고 성대가 느슨하면 느리게 진동하게 된다. 따라서 상대적으로 큰 성대를 가진 성인 남성의 음성은 아이의 음성보다 더 낮은 것이다. 물론 성대뿐만 아니라 성도도 진동에 영향을 미치는데 성도가 길면 길수록 낮은 진동수로 진동하게 되어 유아(약 8.5cm)보다는 성인 여성(약 14.5cm)이, 성인 여성보다는 성인 남성(약 17cm)의 기본주파수가 더 낮은 것이다. 피치(Pitch)는 성대의 떨림을 의미하는 분석 요소로 목소리의 높이는 음향적으로 f0값으로 나타낸다. 보통 청각적으로 느끼는 음의 높이를 염두에 두고 피치가 높다 낮다라고 표현한다. 피치는 말하는 사람의 감정과 정서의 변화에 따라 달라지며 성대의 진동이 1초에 몇 번 있는가를 나타내는 것으로 성대의 크기와 길이, 질량 등에 영향을 받는다. 이와 같은 음성 분석 요소를 사용하기 위해 반복주기를 추출할 수 있는데, 즉 이산적인 샘플신호 x(k)가 정상 신호라고 할 때 샘플간의 자기상관계수가 산출될 수 있다. 음성신호의 경우에는 일정한 주기를 반복주기로 갖게 되므로 자기상관계수를 구하게 되면 일정한 반복주기 후에는 다시 자기 자신의 값과 매우 유사한 값을 갖는 주기적인 형태를 취하게 된다. 이때 반복되는 주기를 구하게 되면 통계적 특성에 바탕을 둔 반복주기가 추출되는 것이다.
이때, 피치 분석 알고리즘은 소음이 섞인 음성이나 자음 부분에 대한 측정상의 오류가 많기 때문에 구한 값을 해석할 때 매우 주의해야 한다. 특히, 성대 진동의 변화는 신체 구조상 서서히 변하는데 비해, 음성분석은 지정한 크기의 창안에 있는 자료를 앞뒤와는 별개로 분석하여 급작스럽게 변하는 오류 값을 나타내는 경우가 많기 때문에 주의하여야 한다. 이때, Intensity 분석요소는 음성파형에서 에너지의 크기를 측정하는 요소 기술이다. Intensity값은 일반적인 음성파형에 대한 진폭 값이 음수와 양수로 분류되어 나타나기 때문에 음수 값을 양수 값으로 변환하기 위해 진폭값을 모두 제곱하여 더한 후 다시 제곱근을 구하여 나타낸다. 음성 에너지의 크기 측정은 시간점에 대한 선형 간격의 적용으로 결과값을 추출할 수 있으나 이에 한정되는 것은 아니다.
그리고, Jitter는 단위시간 안의 발성 데이터에서 성대의 진동인 피치의 변화가 얼마나 많은지를 나타내준다. 피치 섭동(Perturbation)이라고 하며 기본주파수 내 진동시간을 백분율로 정규화하여 성대 진동의 규칙성을 측정한다. 즉, Jitter란 성대의 진동이 얼마나 규칙적인가를 측정하는 도구로서 성대의 진동이 규칙적일수록 여기서 만들어지는 발성도 규칙적으로 되어 발음의 정확도가 측정가능해진다. 이 Jitter의 수치가 높으면 높을수록 즉, 성대의 진동이 불규칙하면 불규칙할수록 여기서 만들어지는 노래도 우리 귀에는 보다 전달성이 떨어지게 된다. 이때 성대 진동이 얼마나 규칙적인가를 측정하기 위해서는 예를 들어, 측정 범위를 음성 파형 1회 진동부터 음성 파형 3회까지의 진동 길이까지로 잡고 이에 대한 비율을 Jitter값으로 산출한다. 아울러 기본 주파수내 진동 시간을 백분율로 표시하여 Jitter값의 산출시 그 값을 정규화하며 따라서 그 단위도 백분율로 표시한다. 마지막으로 Shimmer는 음성파형에서 각 지점의 진폭 값의 변화가 얼마나 규칙적인지를 나타내주는데 이는 성대진폭의 변이 양상을 보여주어 진폭의 정확도를 말하여 준다. 진폭값의 변화가 규칙적일수록 만들어진 노래 발음의 전달성이 올라가게 되며 진동 주기당 진폭의 변화를 dB로 평가하며 통상 진폭값 평균의 절대값을 측정한다. 물론, 음성을 이용하여 성대 진동을 추출하고 측정하는 방법은 나열된 것들로 한정되는 것은 아니고 다양한 방법이 이용가능함은 자명하다 할 것이다.
이렇게 발성 데이터를 수신하였으면, 비교부(320)는 수신된 발성 데이터와 기 구축된 빅데이터에서 추출된 음원에 기 매핑되어 저장된 성대진동 데이터인 기준 데이터를 비교할 수 있다. 이때, 진동측정이나 음성, 또는 촬영으로 인한 영상이더라도 상술한 방법에 의해서 진동 패턴을 추출할 수 있다. 여기서, 빅데이터에 저장된 음원의 발성 데이터인 기준 데이터와 사용자가 부른 노래의 발성 데이터를 비교하는 경우, 사용자는 자신이 어느 부분에서 기준 데이터에 미치지 못하고 있는지, 그 정도는 어느 정도인지, 어떻게 해야 원곡과 유사하게 부를 수 있을 것인지를 직관적으로 파악하게 된다. 물론, 예술이라는 영역에 과학기술의 수치화 및 객관화를 한다는 것이 난해할 수 있지만, 노래를 배우는 입장에서 또는 악기를 튜닝하는 경우에는 정확한 데이터에 기반하여 노래를 잘 부르는 사람을 따라하면서 또는 기준값을 제공하는 악기를 기준으로 튜닝을 해가면서 조절하기 때문에 이러한 수치적인 데이터를 비교하는 것은 유의미한 결과를 가져오게 된다.
출력부(330)는, 발성 데이터와 기준 데이터의 진동 패턴, 파형, 및 세기를 비교한 비교 결과를 음원의 악보에 대응되도록 동기화시켜 시각화하고, 발성 데이터와 기준 데이터 간의 일치도를 실시간으로 점수로 수치화하여 출력할 수 있다. 이때, 일치도는 유사도를 근거로 100분율로 표시할 수도 있으나 이에 한정되지는 않는다. 또한, 음원의 악보와 가사를 보여주면서 해당 악보의 음표에 대응되도록 각 진동 패턴을 동기화하여 출력하기 때문에 어느 음을 이상하게 발성하고 있는지, 어느 곳에서 음이탈이 나고 있는지, 어느 부분에서 성대를 제대로 사용하고 있지 못한지 등을 실시간으로 파악할 수 있다. 이때, 악보는 한 화면 내에 모든 악보가 다 포함되도록 출력될 수도 있고, 한 화면에 하나의 동기만이 출력되어 악보 상부면에 기준 데이터와 발성 데이터를 비교한 그래프를 실시간으로 출력할 수도 있으며, 현재 연주되고 있는 시간을 z축으로 하여 z축을 이동해가면서 현재 어느 곳을 부르고 있는지를 확인시켜줄 수도 있다. 이때, z축은 악보에만 표시되는 것이 아니라, 악보 상단에 위치한 그래프에 위치할 수도 있고, 음이탈이 기준허용범위를 초과하는 경우에는 이를 그래프 상에 오버레이하여 표시할 수도 있다.
이때, 기준 데이터는 발성 데이터의 성종(Voice Classification)과 동일한 성종의 데이터이고, 성종은, 테너, 카운터 테너, 바리톤, 베이스, 소프라노, 및 메조 소프라노를 포함할 수 있으나 나열된 것들로 한정되는 것은 아니다. 예를 들어, A 사용자가 노래를 불렀고 A 사용자의 성종이 테너라고 판단되거나 사용자가 직접 입력한 경우, 테너의 음역대를 가지는 가수가 부른 음원을 기준 데이터로 사용할 수 있다.
분석부(340)는, 출력부(330)에서 발성 데이터와 기준 데이터의 진동 패턴, 파형, 및 세기를 비교한 비교 결과를 음원의 악보에 대응되도록 동기화시켜 시각화하고, 발성 데이터와 기준 데이터 간의 일치도를 실시간으로 점수로 수치화하여 출력한 후, 발성 데이터를 분석하여 발성 분석 데이터를 출력할 수 있다. 이때, 발성 분석 데이터는, 음정, 박자, 및 리듬의 정확도, 호흡 안정성, 성대 접지율, 최고음과 최저음의 가성 또는 진성 여부, 및 음색 중 어느 하나 또는 적어도 하나의 조합을 빅데이터에 질의(Query)로 입력한 결과 데이터이고, 발성 분석 데이터는, 발성 데이터와 기준 데이터 간의 진동 패턴, 파형 및 세기를 비교한 결과일 수 있다.
일반적으로 청자에게 영향을 미치게 되는 음성 요소로는 크게 음성의 높이와 음색으로 나누고 음 높이 관련 요소로는 음의 평균값(Pitch mean), 중앙값(Pitch median), 최소치(Pitch min)와 최대치(Pitch max) 그리고 이에 대한 음 높이 편차(Bandwidth of pitch)가 있다. 또, 음색에서는 음의 세기(Energy[dB]), 주파수(Jitter[%])와 진폭의 변동률(Shimmer[dB]), 잡음대 배음비(NHR[%]) 그리고 여기에 발화속도(Speech Speed)와 조화로움(DoVB)을 알 수 있는 수치들을 음성 분석 요소로 사용될 수도 있으나 나열된 것들로 한정되지는 않는다. 예를 들어, 사용자 A가 가수 B의 곡을 부른다고 가정하자. 음성의 세기와 발화속도는 물론, 유성음과 무성음의 비율 또한 구할 수 있으며, 음색과 관련하여 사용자 A의 주파수 A'와 진폭의 변동률을 원곡자와 비교하면 작은 변동률을 가질 수도 있고 원곡자보다 청자로 하여금 조금 더 듣기 좋은 소리를 만들어낼 수도 있다. 음의 조화로움 부분도 측정가능하므로 이 또한 비교가능하다. 또한 노래를 부르는 속도와 숨 쉰 시간도 비교가 가능하고, 노래를 부르는 속도와 음성에 실리는 에너지도 비교가능하다. 주파수와 진폭의 변동률 또한 비교가능하며 주파수와 진폭의 변동률을 원곡자와 비교함으로써 어느 부분이 더 노력을 해야 하는지 또는 어느 부분이 원곡자보다 더 나은지를 알 수 있고, 기준 데이터는 모두 빅데이터에 존재하고 수치를 해석하는 방법도 존재하므로 이를 통하여 원곡자와 사용자 간의 비교가 가능해진다.
성대건강체크부(350)는, 출력부(330)에서 발성 데이터와 기준 데이터의 진동 패턴, 파형, 및 세기를 비교한 비교 결과를 음원의 악보에 대응되도록 동기화시켜 시각화하고, 발성 데이터와 기준 데이터 간의 일치도를 실시간으로 점수로 수치화하여 출력한 후, 빅데이터 내에서 성대 건강이 기 설정된 점수 이상을 받은 군집(Cluster)의 기준 데이터와 발성 데이터를 비교하여 차이값을 기준으로 성대 건강 데이터를 생성할 수 있다. 이때, 후술하겠지만 빅데이터의 군집화(Clustering)를 통하여 성대 건강이 좋지 못한 사람과 좋은 사람의 음원을 분류하여 집단 간 클러스터링을 실시한다. 그리고, 성대 건강이 좋지 못한 경우도, 폐활량, 기도, 후두 근육의 움직임, 성대 점막 상태가 나쁜 경우로 세분화하여 빅데이터를 구축함으로써, 사용자의 음성 신호 또는 성대진동 패턴이 수신된 경우 비교분석을 통하여 어느 경우에 해당하는지를 확인할 수 있도록 한다. 예를 들어, 성대 점막 상태가 나쁜 경우도, 성대 결절과 폴립, 후두염과 같은 염증성 질환, 갑상선과 같은 호르몬 이상, 후두암 등으로 나누어질 수 있으므로 이러한 데이터를 비교하여 어느 상태에 해당하는지를 확인할 수 있도록 한다. 또는 혈압 등이 나빠짐에 따라서 음성 특징이 변화하거나 물을 마시기 전후의 음성 특징이 변화한다는 연구결과에 기반하여 어느 이유로 성대 건강이 나빠지고 있는지를 확인할 수 있다. 예를 들어, 혈압 상승 전과 후의 음성을 수집하고 음성 분석 기술 중에서 초당 성대의 진동 횟수를 측정하는 피치 분석 기법과 음성 에너지의 크기를 측정하는 Intensity 분석기법을 적용하여 음성의 특징을 측정하고 상호간의 비교, 분석을 수행하여 혈압 상승에따른 음성변화를 정량화, 객관화시켜 빅데이터를 구축하는 경우, 사용자의 음성이 질의(Query)로 입력되는 경우, 입력된 사용자가 어느 군집에 해당하는지를 확인할 수 있고, 군집의 특성을 추출함으로써 사용자의 성대 건강이 어느 상태에 존재하는지를 확인할 수 있다. 물론, 상술한 방법 이외에도 다양한 방법이 이용가능함은 자명하다 할 것이다.
추천부(360)는, 수신부(310)에서 사용자 단말(100)로부터 성대진동 측정기로 측정된 발성 데이터를 수신한 후, 발성 데이터에 포함된 진동 패턴과 기 설정된 유사도를 가지는 진동 패턴을 검색하고, 검색된 진동 패턴과 기 매핑되어 저장된 메타 데이터로부터 곡명 및 가수명 리스트를 리스트업하고, 리스트를 사용자 단말(100)로 전송하여 추천할 수 있다. 예를 들어, 사용자가 A 음성 특징을 가지고 있다고 가정하면, A 음성 특징을 가진 B,C,D 등의 가수를 찾아서 해당 가수가 부른 곡 등을 추천하거나 A 음성 특징과 유사한 음원의 곡을 찾아서 추천하는 경우, 사용자가 자신의 A 음성 특징을 활용하여 가장 잘 부를 수 있는 곡을 추천받게 되므로 자신의 강점이 어느 곡에서 잘 활용될지를 알 수 있다.
리스트 제공부(370)는, 수신부(310)에서 사용자 단말(100)로부터 성대진동 측정기로 측정된 발성 데이터를 수신한 후, 소리 데이터로부터 발음, 음정, 및 박자 데이터를 추출할 수 있다. 그리고, 리스트 제공부(370)는, 발음, 음정 및 박자 데이터와 기 설정된 유사도를 가지는 음원 데이터를 추출하고, 추출된 음원 데이터에 기 매핑되어 저장된 메타 데이터로부터 곡명 및 가수명 리스트를 리스트업하며, 리스트를 사용자 단말(100)로 전송하여 추천할 수 있다. 추천부(360)에서 성대 진동을 이용하여 가수나 곡명을 추천했다면, 리스트 제공부(370)는 음성 데이터를 이용하여 가수나 곡명을 추천한다. 이를 위해, 사용자 단말(100)로부터 수신된 발성 데이터는 사용자 단말(100)의 마이크로부터 수신된 소리 데이터를 포함할 수 있다.
이때, 메타 데이터로 구분하는 방법 이외에도 화자 인덱싱(Speaker Indexing)을 더 이용할 수도 있다. 화자 인덱싱은 오디오 데이터에서 음성 구간을 대상으로 화자의 변화 위치를 검출해내고, 동일한 화자의 발성 구간을 찾아내는 기술로 화자별 발성 내용을 요약하고 이해하기 위해 필요한 기술이다. 이러한 화자 인덱싱 기술은 음성 구간을 대상으로 수행되기 때문에 음성과 비음성(음악, 노래, 배경음) 그리고 묵음 구간의 분류가 선행되어야 한다. 이때, 음성, 음악 분류를 위해 단구간 에너지(Short Term Energy)와 영교차율(Zero Crossing Ratio)이 주로 사용되었고 주파수(Frequency) 분석을 적용한 방법을 이용할 수도 있고 음성인식과 화자인식에서 사용하는 MFCC(Mel Frequency Cepstral Coefficient)와 음성과 음악의 주파수 특성을 분석한 스펙트럴 피크 트랙(Spectral Peak Track) 분석 방법도 오디오 내용 분석에 이용될 수 있다. 덧붙여서, 화자 인덱싱을 위한 전처리 과정으로 스펙트럴 피크 트랙 분석을 이용한 음성과 음악(가요)의 분류 방법을 이용할 수도 있는데, 이는 음성과 음악의 대표적인 차이인 특정 주파수 대역의 스펙트럴 피크 분포와 그 분포 대역의 지속성을 특징 파라미터로 사용한다. 그리고 분류 알고리즘으로는 피크 트랙의 지속성에 대해 임계값을 적용하여 음성과 음악으로 분류할 수 있다. 오디오 내용 분석을 위한 다양한 특징 파라미터 중에서 스펙트럴 피크 트랙은 음성에 대해서는 자음과 모음의 교차에 의해 짧게 나타나고, 음악에 대해서는 특정 주파수 대역에서 지속성을 가지고 길게 나타나며 리듬에 의해 반복적으로도 나타난다. 주파수 채널에서 92ms의 지속성을 갖는 스펙트럴 피크 트랙들의 누적을 세그먼트의 프레임수로 나눈 것으로 동일 주파수 채널에서의 지속성을 나타낼 수 있다. 음성과 음악의 분류는 지속성의 임계값(Threshold)을 결정하여, 결정된 임계값보다 큰 채널의 수가 N개 보다 같거나 적을 때는 음성, 채널의 수가 N개보다 많을 때는 음악으로 결정할 수 있다. 물론, 상술한 방법에 한정되지는 않고 실시예에 따라 다양한 방법이 이용될 수 있음은 자명하다 할 것이다.
빅데이터화부(380)는, 수신부(310)에서 사용자 단말(100)로부터 성대진동 측정기로 측정된 발성 데이터를 수신하기 이전에, 음원별로 성종에 따라 적어도 하나의 발성 데이터를 포함하는 로우 데이터(Raw Data)를 병렬 및 분산하여 저장할 수 있다. 그리고, 빅데이터화부(380)는, 저장된 로우 데이터 내에 포함된 비정형(Unstructed) 데이터, 정형(Structured) 데이터 및 반정형 데이터(Semi-structured)를 정제하고, 메타 데이터로 분류를 포함한 전처리를 실시하고, 전처리된 데이터를 데이터 마이닝(Data Mining)을 포함하는 분석을 실시하여 빅데이터를 구축할 수 있다. 이때, 데이터 마이닝은, 전처리된 데이터 간의 내재된 관계를 탐색하여 클래스가 알려진 훈련 데이터 셋을 학습시켜 새로운 데이터의 클래스를 예측하는 분류(Classification) 또는 클래스 정보 없이 유사성을 기준으로 데이터를 그룹짓는 군집화(Clustering)를 수행하는 것을 포함하지만, 이에 한정되지는 않는다. 이때, 적어도 하나의 발성 데이터는, 진동패턴 데이터, 소리 데이터, 및 성대촬영 데이터 중 어느 하나 또는 적어도 하나의 조합을 포함할 수 있으나 나열된 것들로 한정되지는 않는다.
덧붙여서, 본 발명의 일 실시예는, 음악적 공감대에 대한 평가 요소를 크게 네 가지로 나누고 이를 평가하는 방법을 제공할 수 있다. 가창력 부분은, 저음 부위부터 고음 부위까지의 처리를 얼마나 잘 해나가는가를 평가하는 요소이다. 특히 무엇보다도 저음 부분이나 고음 부분에 있어 음 높이의 고저에 관계없이 실리는 음성의 세기가 일정해야 부르는 노래에 대한 공감도가 상승하며 곡의 부위에 관계없이 감동이 전달되게 된다. 프레이즈(Phrase) 처리 부분은, 결국 호흡과 관련된 평가 요소인데 복식호흡을 통한 깊은 호흡으로 노래를 하여 프레이즈를 제대로 처리해야 음악적 공감대에 좋은 영향을 미친다. 다시 말해, 중간 중간에 끊어지는 것이 없도록 노래를 불러야 한다는 것을 의미한다. 음색과 가사전달력 부분은 음색이 풍부하고 가사전달력이 정확해야 한다는 것이다. 또한, 소리를 만드는 인체 기관을 적절히 잘 사용하여 얼마나 공명 잘 시키느냐하는 것이다. 이러한 평가 요소를 비교를 통해서가 아니라 사용자의 음성이나 진동 패턴만을 이용하여 절대적으로 평가할 수 있는 방법을 더 제공할 수 있다.
가창력의 경우, 음의 높이가 낮은 부위를 부르면서 음의 세기의 편차가 크게 나타나는 것은 음악적 공감대를 얻기가 대단히 어려운 요소가 된다. 다시 말해 저음 부분이나 고음 부분 모두에 동일한 음성의 힘이 실려야만 하며 이는 노래를 듣는 청중이나 일반인들이 저음 부분이 되었든 고음 부분이 되었든 노래에서 느끼는 공감대가 동일하게 형성이 된다는 것을 의미한다. 따라서 가창력 평가에 있어서는 음 높이의 편차를 측정하고, 노래에 실리는 음성 에너지의 균일성 부분을 궤적으로 시각화하여 이를 평가할 수 있다. 프레이즈 처리는, 예를 들어, 4/4박자 노래의 경우 작은 토막 한마디 즉, 4마디를 중간에 쉼 없이 이를 불러야 한다. 이를 위해 가수와 성악가들은 횡격막을 이용한 복식호흡을 통해 프레이즈 처리를 행한다.
음색이 풍부한 지 거친 지 등에 대해 이를 정량적 수치로 평가해 주는 것은 매우 중요한 작업이다. 이를 위하여, 상술한 음성 분석 요소 중 Jitter, Shimmer, NHR 등을 통해 노래의 음색이 얼마나 좋은 지를 수치적 자료로 나타낼 수 있다. 예를 들어, Jitter, Shimmer, NHR의 수치가 낮으면 낮을수록 음색이 풍부함을 뜻한다. 역으로 이 수치들이 높으면 높을수록 음색이 거친 것으로 판단한다. 아울러 가사의 전달력은 성대 떨림의 규칙성을 측정하는 도구인 Jitter를 통해 이를 수치적으로 나타낼 수 있다. 공명이란 횡경막을 이용하여 복식호흡으로 만들어진 소리 에너지를 신체 기관을 이용하여 이른 바 증폭시키는 작업을 말한다. 이 같은 공명이 제대로 되었을 때 청중들이 느끼는 음악적 공감대도 함께 중폭이 되게 된다. 통상 남성의 경우 가슴판을, 여성의 경우 얼굴에 있는 코 등을 공명 기관으로 사용하게 된다. 이를 위해, 스펙트로그램(Spectrogram)이나 음 높이와 에너지 분포(Distribution of pitch and energy), 포먼트 주파수(Formant frequency) 등을 더 이용할 수 있으나 이에 한정된 것은 아니다.
이하, 상술한 도 2의 발성 가이던스 서비스 제공 서버의 구성에 따른 동작 과정을 도 3을 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.
도 3a를 참조하면, (a) 발성 가이던스 서비스 제공 서버(300)는 적어도 하나의 음원 서버(400)로부터 음원을 수집하고 전처리를 수행 및 분류작업을 통하여 빅데이터를 구축한다. (b) 그리고, 발성 가이던스 서비스 제공 서버(300)는 사용자 단말(100)로부터 곡이 선택되면 음원을 스트리밍시키고 동시에 발성 데이터를 수집하여 빅데이터에 저장된 기준 데이터와 비교를 수행한다. 도 3b를 참조하면 (a)와 같이 악보와 진동 패턴 데이터를 함께 하나의 화면에 시간축에 동기화되도록 출력하고 (b) 사용자 단말(100)에서 원하는 요청(Query)에 따라 비교분석한 결과를 사용자 단말(100)로 피드백한다.
이와 같은 도 2 및 도 3의 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 4는 본 발명의 일 실시예에 따른 도 1의 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 4를 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 4에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.
도 4를 참조하면, 발성 가이던스 서비스 제공 서버(300)는, 적어도 하나의 음원 제공 서버(400)로부터 음원을 수집하고(S4100), 로우 데이터를 전처리를 통하여 정제하고(S4200), 군집화를 포함한 데이터마이닝을 실시함으로써(S4300) 빅데이터를 구축한다(S4400).
한편, 발성 가이던스 서비스 제공 서버(300)는, 사용자 단말(100)로부터 발성 데이터가 수집되는 경우(S4500), 발성 데이터와 기준 데이터를 비교하여 진동 패턴을 비교하고(S4600), 진동 패턴 비교 결과 악보에 실시간으로 시간에 동기화되도록 비교분석된 진동 패턴을 디스플레이하고(S4700), 이를 실시간으로 사용자 단말(100)과 공유한다(S4800).
그리고, 발성 가이던스 서비스 제공 서버(300)는, 사용자 단말(100)로부터 적어도 하나의 종류의 질의가 수신된 경우(S4900), 질의를 빅데이터에 입력하여(S4910) 결과를 출력값으로 리턴한다(S4920).
상술한 단계들(S4100~S4920)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S4100~S4920)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.
이와 같은 도 4의 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 3을 통해 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 5는 본 발명의 일 실시예에 따른 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 방법을 설명하기 위한 동작 흐름도이다. 도 5를 참조하면, 발성 가이던스 서비스 제공 서버는, 사용자 단말로부터 성대진동 측정기로 측정된 발성 데이터를 수신한다(S5100).
그리고, 발성 가이던스 서비스 제공 서버는, 수신된 발성 데이터와 기 구축된 빅데이터에서 추출된 음원에 기 매핑되어 저장된 성대진동 데이터인 기준 데이터를 비교하고(S5200) 발성 데이터와 기준 데이터의 진동 패턴, 파형, 및 세기를 비교한 비교 결과를 음원의 악보에 대응되도록 동기화시켜 시각화하고, 발성 데이터와 기준 데이터 간의 일치도를 실시간으로 점수로 수치화하여 출력한다(S5300).
이와 같은 도 5의 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 4를 통해 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 5를 통해 설명된 일 실시예에 따른 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 일 실시예에 따른 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
Claims (10)
- 발성 가이던스 서비스 제공 서버에서 실행되는 발성 가이던스 서비스 제공 방법에 있어서,
사용자 단말로부터 성대진동 측정기로 측정된 발성 데이터를 수신하는 단계;
상기 수신된 발성 데이터와 기 구축된 빅데이터에서 추출된 음원에 기 매핑되어 저장된 성대진동 데이터인 기준 데이터를 비교하는 단계;
상기 발성 데이터와 기준 데이터의 진동 패턴, 파형, 및 세기를 비교한 비교 결과를 음원의 악보에 대응되도록 동기화시켜 시각화하고, 상기 발성 데이터와 기준 데이터 간의 일치도를 실시간으로 점수로 수치화하여 출력하는 단계; 및
상기 빅데이터 내에서 성대 건강이 기 설정된 점수 이상을 받은 군집(Cluster)의 기준 데이터와 상기 발성 데이터를 비교하여 차이값을 기준으로 성대 건강 데이터를 생성하는 단계;
를 포함하는 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 방법.
- 제 1 항에 있어서,
상기 기준 데이터는 상기 발성 데이터의 성종(Voice Classification)과 동일한 성종의 데이터이고,
상기 성종은, 테너, 카운터 테너, 바리톤, 베이스, 소프라노, 및 메조 소프라노를 포함하는 것인, 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 방법.
- 제 1 항에 있어서,
상기 발성 데이터와 기준 데이터의 진동 패턴, 파형, 및 세기를 비교한 비교 결과를 음원의 악보에 대응되도록 동기화시켜 시각화하고, 상기 발성 데이터와 기준 데이터 간의 일치도를 실시간으로 점수로 수치화하여 출력하는 단계 이후에,
상기 발성 데이터를 분석하여 발성 분석 데이터를 출력하는 단계;
를 더 포함하고,
상기 발성 분석 데이터는, 음정, 박자, 및 리듬의 정확도, 호흡 안정성, 성대 접지율, 최고음과 최저음의 가성 또는 진성 여부, 및 음색 중 어느 하나 또는 적어도 하나의 조합을 상기 빅데이터에 질의(Query)로 입력한 결과 데이터이고,
상기 발성 분석 데이터는, 상기 발성 데이터와 기준 데이터 간의 진동 패턴, 파형 및 세기를 비교한 결과인 것인, 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 방법.
- 삭제
- 제 1 항에 있어서,
상기 사용자 단말로부터 성대진동 측정기로 측정된 발성 데이터를 수신하는 단계 이후에,
상기 발성 데이터에 포함된 진동 패턴과 기 설정된 유사도를 가지는 진동 패턴을 검색하는 단계;
상기 검색된 진동 패턴과 기 매핑되어 저장된 메타 데이터로부터 곡명 및 가수명 리스트를 리스트업하는 단계;
상기 리스트를 상기 사용자 단말로 전송하여 추천하는 단계;
를 더 포함하는 것인, 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 방법.
- 제 1 항에 있어서,
상기 사용자 단말로부터 수신된 발성 데이터는 상기 사용자 단말의 마이크로부터 수신된 소리 데이터를 포함하고,
상기 사용자 단말로부터 성대진동 측정기로 측정된 발성 데이터를 수신하는 단계 이후에,
상기 소리 데이터로부터 발음, 음정, 및 박자 데이터를 추출하는 단계;
상기 발음, 음정 및 박자 데이터와 기 설정된 유사도를 가지는 음원 데이터를 추출하는 단계;
상기 추출된 음원 데이터에 기 매핑되어 저장된 메타 데이터로부터 곡명 및 가수명 리스트를 리스트업하는 단계; 및
상기 리스트를 상기 사용자 단말로 전송하여 추천하는 단계;
를 더 포함하는 것인, 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 방법.
- 제 1 항에 있어서,
상기 사용자 단말로부터 성대진동 측정기로 측정된 발성 데이터를 수신하는 단계 이전에,
음원별로 성종에 따라 적어도 하나의 발성 데이터를 포함하는 로우 데이터(Raw Data)를 병렬 및 분산하여 저장하는 단계;
상기 저장된 로우 데이터 내에 포함된 비정형(Unstructed) 데이터, 정형(Structured) 데이터 및 반정형 데이터(Semi-structured)를 정제하고, 메타 데이터로 분류를 포함한 전처리를 실시하는 단계;
상기 전처리된 데이터를 데이터 마이닝(Data Mining)을 포함하는 분석을 실시하여 빅데이터를 구축하는 단계;
를 더 포함하는 것인, 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 방법.
- 제 7 항에 있어서,
상기 데이터 마이닝은,
상기 전처리된 데이터 간의 내재된 관계를 탐색하여 클래스가 알려진 훈련 데이터 셋을 학습시켜 새로운 데이터의 클래스를 예측하는 분류(Classification) 또는 클래스 정보 없이 유사성을 기준으로 데이터를 그룹짓는 군집화(Clustering)를 수행하는 것을 포함하는 것인, 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 방법.
- 제 7 항에 있어서,
상기 음원별로 성종에 따라 적어도 하나의 발성 데이터를 포함하는 로우 데이터(Raw Data)를 병렬 및 분산하여 저장하는 단계에서,
상기 적어도 하나의 발성 데이터는, 진동패턴 데이터, 소리 데이터, 및 성대촬영 데이터 중 어느 하나 또는 적어도 하나의 조합을 포함하는 것인, 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 방법.
- 제 1 항 내지 제 3 항 및 제 5 항 내지 제 9 항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190111399A KR102225288B1 (ko) | 2019-09-09 | 2019-09-09 | 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190111399A KR102225288B1 (ko) | 2019-09-09 | 2019-09-09 | 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102225288B1 true KR102225288B1 (ko) | 2021-03-10 |
Family
ID=75147719
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190111399A KR102225288B1 (ko) | 2019-09-09 | 2019-09-09 | 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102225288B1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113782038A (zh) * | 2021-09-13 | 2021-12-10 | 北京声智科技有限公司 | 一种语音识别方法、装置、电子设备及存储介质 |
| CN114120758A (zh) * | 2021-10-14 | 2022-03-01 | 深圳大学 | 一种基于智能穿戴设备的声乐训练辅助系统 |
| WO2023235499A1 (en) * | 2022-06-03 | 2023-12-07 | Texas Medical Center | Methods and systems for analyzing airway events |
| KR102668523B1 (ko) * | 2024-01-04 | 2024-05-22 | 박종혁 | 해부학 데이터 기반 발성 트레이닝 솔루션 및 커리큘럼 제공 방법, 장치 및 시스템 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101144948B1 (ko) * | 2011-02-25 | 2012-05-11 | (주)피지오랩 | Ｅｇｇ를 이용한 음정교정장치 |
| US20130177885A1 (en) * | 2010-09-21 | 2013-07-11 | Adam Kirkpatrick | Vocalization training method |
| KR20160056104A (ko) * | 2014-11-11 | 2016-05-19 | 주식회사 보쿠 | 사용자 음색 분석 장치 및 음색 분석 방법 |
| KR101944675B1 (ko) * | 2018-10-08 | 2019-01-31 | 박정순 | 호흡 측정을 통한 발성 훈련 시스템 |
-
2019
- 2019-09-09 KR KR1020190111399A patent/KR102225288B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130177885A1 (en) * | 2010-09-21 | 2013-07-11 | Adam Kirkpatrick | Vocalization training method |
| KR101144948B1 (ko) * | 2011-02-25 | 2012-05-11 | (주)피지오랩 | Ｅｇｇ를 이용한 음정교정장치 |
| KR20160056104A (ko) * | 2014-11-11 | 2016-05-19 | 주식회사 보쿠 | 사용자 음색 분석 장치 및 음색 분석 방법 |
| KR101944675B1 (ko) * | 2018-10-08 | 2019-01-31 | 박정순 | 호흡 측정을 통한 발성 훈련 시스템 |
Non-Patent Citations (3)
| Title |
|---|
| 공개특허공보 제10-2016-0056104호(2016.5.19. 공개) 1부.* |
| 등록특허공보 제10-1144948호(2012.5.11. 공고) 1부.* |
| 등록특허공보 제10-1944675호(2019.1.31. 공고) 1부.* |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113782038A (zh) * | 2021-09-13 | 2021-12-10 | 北京声智科技有限公司 | 一种语音识别方法、装置、电子设备及存储介质 |
| CN114120758A (zh) * | 2021-10-14 | 2022-03-01 | 深圳大学 | 一种基于智能穿戴设备的声乐训练辅助系统 |
| WO2023235499A1 (en) * | 2022-06-03 | 2023-12-07 | Texas Medical Center | Methods and systems for analyzing airway events |
| KR102668523B1 (ko) * | 2024-01-04 | 2024-05-22 | 박종혁 | 해부학 데이터 기반 발성 트레이닝 솔루션 및 커리큘럼 제공 방법, 장치 및 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102225288B1 (ko) | 빅데이터 기반 성대진동패턴의 비교분석을 이용한 발성 가이던스 서비스 제공 방법 | |
| Titze et al. | Nonlinear source–filter coupling in phonation: Vocal exercises | |
| Tokuda et al. | Biomechanical modeling of register transitions and the role of vocal tract resonators | |
| Chi et al. | Subglottal coupling and its influence on vowel formants | |
| JP2000504849A (ja) | 音響学および電磁波を用いた音声の符号化、再構成および認識 | |
| Caponetti et al. | Biologically inspired emotion recognition from speech | |
| Marolt | SONIC: Transcription of polyphonic piano music with neural networks | |
| Weirich et al. | Investigating the relationship between average speaker fundamental frequency and acoustic vowel space size | |
| Paroni et al. | Vocal drum sounds in human beatboxing: An acoustic and articulatory exploration using electromagnetic articulography | |
| CN112992109A (zh) | 辅助歌唱系统、辅助歌唱方法及其非瞬时计算机可读取记录媒体 | |
| WO2020145353A1 (ja) | コンピュータプログラム、サーバ装置、端末装置及び音声信号処理方法 | |
| CN105825868A (zh) | 一种演唱者有效音域的提取方法 | |
| MacIntyre et al. | Pushing the envelope: Evaluating speech rhythm with different envelope extraction techniques | |
| CN115050387A (zh) | 一种艺术测评中多维度唱奏分析测评方法及系统 | |
| Cummings et al. | Glottal models for digital speech processing: A historical survey and new results | |
| Mirbeygi et al. | Speech and music separation approaches-a survey | |
| Rilliard et al. | Paradigmatic variation of vowels in expressive speech: Acoustic description and dimensional analysis | |
| Proutskova | Investigating the Singing Voice: Quantitative and Qualitative Approaches to Studying Cross-Cultural Vocal Production | |
| Sahoo et al. | Analyzing the vocal tract characteristics for out-of-breath speech | |
| Siegel | Timbral Transformations in Kaija Saariaho's From the Grammar of Dreams | |
| CN113129923A (zh) | 一种艺术测评中多维度唱奏分析测评方法及系统 | |
| Gerhard | Computationally measurable differences between speech and song | |
| Wang et al. | Beijing opera synthesis based on straight algorithm and deep learning | |
| Poedjosoedarmo | A phonetic description of voice quality in Javanese traditional female vocalists | |
| Gerhard | Computationally measurable temporal differences between speech and song |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |