KR102343853B1

KR102343853B1 - 향상된 정확도를 갖는 소리 인식 방법 및 그의 응용방법

Info

Publication number: KR102343853B1
Application number: KR1020190165885A
Authority: KR
Inventors: 조길원; 정윤영; 이시영
Original assignee: 재단법인 나노기반소프트일렉트로닉스연구단; 포항공과대학교 산학협력단
Priority date: 2019-12-12
Filing date: 2019-12-12
Publication date: 2021-12-27
Also published as: KR20210074813A

Abstract

향상된 정확도를 갖는 소리 인식 방법 및 그의 응용방법이 개시된다. 본 발명의 소리 인식 방법은 (a) 소리를 발생하는 기관 표면의 진동 가속도를 시간에 따라 측정하는 단계; (b) 상기 진동 가속도를 시간에 따른 전기신호로 변환하는 단계; 및 (c) 상기 전기신호를 분석하여 상기 소리를 인식하는 단계;를 포함함으로써, 소리의 크기와 주파수 변화에 관계 없이 일정한 민감도로 소리의 압력을 인식할 수 있다. 또한, 본 발명의 소리 인식 방법은 음성 보안 인증, 음성 원격 조정 시스템 및 성대 건강 상태를 모니터링하기 위한 보이스 선량 측정에 적합하고, 이를 이용해 내장 건강 상태, 태아 상태 및 식습관에 대한 정보를 획득할 수 있다.

Description

향상된 정확도를 갖는 소리 인식 방법 및 그의 응용방법{METHOD OF RECOGNIZING SOUND WITH IMPROVED ACCURACY AND APPLICATION METHOD THEREOF}

본 발명은 소리 인식 방법 및 그의 응용방법에 관한 것으로, 상세하게는 진동에 의하여 정전용량이 변화하는 진동 감지센서를 이용해 소리를 발생하는 기관의 표면의 진동 가속도를 측정하고, 이를 전기신호로 변환 및 분석하여 소리를 인식하는 방법 및 그의 응용방법에 관한 것이다.

인체 체 내/외의 다양한 기계적 진동은 최근 대두되고 있는 휴먼 머신 인터페이스, 사물 인터넷, 헬스케어 모니터링 등 많은 기술 분야에서 중요하게 이용될 가능성이 있다. 먼저, 성대 부근의 피부 진동은 소음이 있거나 입을 가려야 될 때 등 외부 음향 환경이 좋지 않더라도 목소리를 감지할 수 있는 좋은 매개체이다. 그렇기 때문에 성대 부근의 피부 진동 감지 기술은 최근 삼성, Apple, 구글, Amazon 등 많은 기업에서 실시하고 있는 음성 원격 조종 시스템, 음성 비서 같은 음성 인식 산업이 주변이 시끄러울 수 있는 일상 생활 속에서도 가능케 하는데 핵심 요소가 될 수 있다. 음성은 사람의 의사를 표현하는 가장 유용한 생체 신호이기 때문에, 이러한 음성 인식 산업의 발전은 휴먼 머신 인터페이스와 사물 인터넷의 구현으로 이어질 가능성이 있다.

또한 성대 부근의 피부 진동을 분석할 경우, 얼마나 오랫동안, 높고, 큰 목소리로 말했는지 등의 평소 발화 습관을 점검할 수 있을 뿐 아니라, 성대의 사용량을 측정해 성대 건강을 진단할 수도 있다. 이 같은 응용 분야는 성대를 많이 사용하기 때문에 성대 건강을 고려해야 하는 직장인들에게 그들의 성대 사용에 대한 정확한 진단 자료를 제공해 줄 수 있다.

복부 부근의 피부 진동을 분석할 경우, 내장 소리를 인식할 수 있어 장운동이 어디서 활발한지 판단하고, 이상이 있는 곳은 없는 지 등을 주파수 영역을 한정해 관찰할 수 있다. 이 같은 분석 시스템은 염증성 장질환, 과민성 대장 증후군, 크론병, 수술 후 장폐착증 등의 병을 앓고 있는 환자들을 위한 실시간 장 건강 모니터링으로 활용될 수 있다. 또한 임신 중인 산모의 복부 부근의 피부 진동을 분석할 경우, 태아의 심장 박동이나 움직임에 의한 태동 소리를 인식할 수 있다. 이 같은 소리 인식은 산모를 비롯한 태아의 가족원들에게 태아의 상태에 대한 간단한 정보를 제공할 수 있다. 턱이나 구강 주변에서의 피부 진동을 분석할 경우, 구강 내 소리를 분석할 수 있고 이를 통해 어떤 종류의 음식을 얼마나 먹었는지 등을 조사해 대략적인 식습관을 조사를 할 수 있다.

기존의 마이크로폰들은 공기압의 변화를 통해 소리를 감지하기 때문에, 시끄럽거나 바람이 부는 환경에서는 사람의 목소리, 내장 소리, 태동 소리, 구강 내 소리 외에도 소음과 바람을 같이 감지하여, 목표하는 소리만 따로 인식하기 어렵다. 또한 목소리의 경우 정숙해야 하는 분위기나 마스크를 써야 할 때, 입을 가린 상태로 말을 하게 되면 말하는 사람의 목소리 정보를 왜곡하여 받아들이는 문제점이 있다. 이를 해결하기 위해 성대 마이크로폰과 같은 일부 센서들은 공기압의 변화보다 일반적으로 기계적인 힘이 훨씬 강한 기반 진동을 통해 소리를 감지한다. 그러면 주변의 소음 또는 사용자의 마스크 착용 등으로 공기압의 변화가 심하더라도, 기반 진동을 더욱 크게 받아들이기 때문에 피부 진동을 통한 소리만 선택적으로 감지할 수 있다. 하지만 이 센서들은 피부 부착을 위해 플라스틱 고정대로 피부를 압박하기 때문에 진동 신호를 왜곡하는 등 성능이 좋지 않고, 착용감과 심미성도 좋지 않은 문제점이 있다.

피부 부착성 문제를 해결하기 위해서 전자 피부 형태의 웨어러블 마이크로폰이 개발될 필요성이 대두되었으며 여러 연구 기관들에서 다양한 재료와 방법으로 관련 연구를 진행하였다. 하지만 개발된 일부 센서들은 피부 진동에 의한 미세한 압력을 감지할 뿐 인체 체 내/외의 다양한 진동을 구분할 만큼 주파수 해상도가 충분하지 않다. 또한, 소리 인식이 가능하더라도 대부분 센서의 감도가 충분하지 않아 인식한 음향 파형 결과와 소리의 양적 상관 관계를 제시하지 못했을 뿐만 아니라, 센서를 이루고 있는 고분자 재료의 높은 감쇠 효과와 구조적인 공진 및 감쇠 효과 인해 사람이 말하는 주파수 범위에서 균일한 감도를 거의 유지하지 못하였다.

따라서, 높은 민감도 및 일정한 주파수 응답률을 바탕으로 정량적으로 체 내/외 진동을 감지하면서, 외부 음향 환경의 영향을 받지 않으며 소리를 인식할 수 있는 방법에 관한 연구가 필요하다.

본 발명의 목적은 상기 문제점들을 해결하기 위한 것으로, 소리의 크기와 주파수 변화에 관계 없이 일정한 민감도로 소리의 압력을 인식할 수 있는 소리 인식 방법을 제공한다.

또한, 소음이 있는 환경에 영향을 받지 않고 일정한 민감도로 소리를 인식할 수 있는 소리 인식 방법을 제공한다.

또한, 음성 보안 인증 및 음성 원격 조정 시스템에 적합한 소리 인식 방법을 제공한다.

또한, 성대 건강 상태를 모니터링하기 위한 보이스 선량 측정에 적합한 소리 인식 방법을 제공한다.

또한, 염증성 장질환, 과민성 대장 증후군, 크론병, 수술 후 장폐착증 등 내장 관련 질병 모니터링을 하기 위한 소리 인식 방법을 제공한다.

또한, 태아의 심장 박동이나 움직임 등 태아의 상태에 대한 간단한 정보를 알기 위한 소리 인식 방법을 제공한다.

또한, 어떤 종류의 음식을 얼마나 먹었는지 등을 조사해 대략적인 식습관을 조사하기 위한 소리 인식 방법을 제공한다.

본 발명의 일 측면에 따르면, (a) 소리를 발생하는 기관 표면의 진동 가속도를 시간에 따라 측정하는 단계; (b) 상기 진동 가속도를 시간에 따른 전기신호로 변환하는 단계; 및 (c) 상기 전기신호를 분석하여 상기 소리를 인식하는 단계;를 포함하는 소리 인식 방법이 제공된다.

또한, 상기 단계 (a) 전에, (a') 진동에 의하여 정전용량이 변화하는 진동 감지센서를 공급하는 단계;를 추가로 포함하고, 상기 단계 (a)는 상기 진동 감지센서를 사용하여 소리를 발생하는 기관 표면의 진동 가속도를 시간에 따라 측정하는 단계일 수 있다.

또한, 상기 기관이 사람, 개, 고양이, 소, 말, 기계 및 로봇으로 이루어진 군으로부터 선택된 어느 하나의 기관일 수 있다.

또한, 상기 기관이 사람, 개, 고양이, 소 또는 말의 기관이고, 상기 소리가 목소리, 내장 소리, 태아의 심장 박동소리, 태아의 움직임 소리 및 구강 소리로 이루어진 군으로부터 선택된 어느 하나일 수 있다.

또한, 상기 표면이 목 피부, 복부 피부, 턱밑 삼각부 피부 및 관자놀이로 이루어진 군으로부터 선택된 어느 하나일 수 있다.

또한, 상기 전기신호가 전압신호일 수 있다.

또한, 상기 소리의 세기가 10 내지 140 dB_SPL일 수 있다.

또한, 상기 소리의 진동수가 1 내지 3,500 Hz일 수 있다.

또한, 상기 소리가 목소리이고, 1 내지 3,500 Hz의 진동수 범위에서 상기 목소리의 세기가 상기 진동 가속도에 일정한 비율로 선형 비례할 수 있다.

또한, 상기 진동 가속도는 상기 진동 감지센서가 소리를 발생하는 기관 표면 또는 기관 상의 피부에 부착된 상태에서 측정된 것일 수 있다.

또한, 상기 진동 감지센서는 패치형태일 수 있다.

또한, 상기 진동 감지센서는 기판; 상기 기판 상에 위치하는 제1 전극; 상기 제1 전극 상에 위치하고, 통형 중공을 포함하는 지지부; 및 상기 지지부 상에 위치하는 박막 및 상기 박막 상에 위치하는 제2 전극을 포함하는 진동판(diaphragm);을 포함할 수 있다.

본 발명의 다른 하나의 측면에 있어서, 소리를 발생하는 기관을 갖는 발성체의 인식방법에 있어서, (a) 소리를 발생하는 기관 표면의 진동 가속도를 시간에 따라 측정하는 단계; (b) 상기 진동 가속도를 시간에 따른 전기신호로 변환하는 단계; (c) 상기 전기 신호를 변환하여 시간에 따라 주파수 및 세기를 포함하는 소리파형을 구하는 단계; 및 (d) 상기 소리파형을 분석하여 상기 발성체를 인식하는 단계;를 포함하는 발성체 인식 방법이 제공된다.

또한, 상기 발성체가 사람이고, 상기 소리가 음성일 수 있다.

또한, 상기 변환이 푸리에 변환(Fourier transform)에 의해 수행될 수 있다.

또한, 상기 발성체 인식 방법이 음성 인식 보안 및 음성 원격 조정 시스템으로 이루어진 군으로부터 선택된 1종 이상에 사용하기 위한 것일 수 있다.

본 발명의 또 다른 하나의 측면에 있어서, 소리를 발생하는 기관을 갖는 사람의 신체 모니터링 방법에 있어서, (a) 소리를 발생하는 기관 표면의 진동 가속도를 시간에 따라 측정하는 단계; (b) 상기 진동 가속도를 시간에 따른 전기신호로 변환하는 단계; (c) 상기 전기 신호를 변환하여 시간에 따라 주파수 및 세기를 포함하는 소리파형을 구하는 단계; 및 (d) 상기 소리파형을 분석하여 상기 신체를 모니터링하는 단계;를 포함하는 신체 모니터링 방법이 제공된다.

또한, 상기 신체 모니터링 방법이 성대 건강 상태, 내장 건강 상태, 태아 상태 및 식습관으로 이루어진 군으로부터 선택된 어느 하나를 모니터링 하기 위한 것일 수 있다.

본 발명의 소리 인식 방법은 소리의 크기와 주파수 변화에 관계 없이 일정한 민감도로 소리의 압력을 인식할 수 있다.

또한, 본 발명의 소리 인식 방법은 소리를 발생하는 기관 표면의 진동 가속도를 전기신호로 변환하고, 상기 전기신호를 분석하여 소리를 인식함으로써, 소음이 있는 환경에 영향을 받지 않고 일정한 민감도로 소리를 인식할 수 있다.

또한, 본 발명은 음성 보안 인증 및 음성 원격 조정 시스템에 적합한 소리인식 방법을 제공할 수 있다.

또한, 본 발명은 성대 건강 상태를 모니터링하기 위한 보이스 선량 측정에 적합한 소리 인식 방법을 제공할 수 있다.

또한, 본 발명은 염증성 장질환, 과민성 대장 증후군, 크론병, 수술 후 장폐착증 등 내장 건강 상태 모니터링을 위한 소리 인식 방법을 제공할 수 있다.

또한, 본 발명은 태아의 심장 박동이나 움직임 등 태아의 상태에 대한 간단한 정보를 알기 위한 소리 인식 방법을 제공할 수 있다.

또한, 본 발명은 어떤 종류의 음식을 얼마나 먹었는지 등을 조사해 대략적인 식습관을 조사하기 위한 소리 인식 방법을 제공할 수 있다.

이 도면들은 본 발명의 예시적인 실시예를 설명하는데 참조하기 위함이므로, 본 발명의 기술적 사상을 첨부한 도면에 한정해서 해석하여서는 아니 된다.
도 1a는 본 발명 하나의 실시예에 따른 부착형 진동센서가 사람의 성대 부근 피부에 부착될 때의 모습, 상기 부착형 진동센서에서 피부 부착형 진동판의 구조 및 단면도를 나타낸 것이다.
도 1b는 본 발명 하나의 실시예에 따른 부착형 진동센서에서 진동판의 어레이, 단위 개체, 관통 구멍 및 횡단면도의 Z-프로필을 나타낸 것이다.
도 1c는 본 발명 하나의 실시예에 따른 부착형 진동센서에서 부착형 진동판을 포함하는 소자의 작동원리를 나타낸 개략도이다.
도 1d는 본 발명 하나의 실시예에 따른 부착형 진동센서에서 진동판의 편향(휨) 정도에 따른 전기용량 값을 나타낸 것이다.
도 2a는 본 발명 하나의 실시예에 따른 부착형 진동센서의 다양한 진동 세기에 대한 응답 신호 결과를 나타낸 것으로, 이때 부착형 진동센서에서 진동판의 직경이 400 μm이고, 각각 25, 100, 400개의 어레이 수를 가진다.
도 2b는 본 발명 하나의 실시예에 따른 부착형 진동센서가 진동판 직경이 400 μm이고, 400개 어레이 수를 가질 때 부착된 기반의 진동에 따른 주파수 응답 그래프를 나타낸 것이다.
도 2c는 본 발명 하나의 실시예에 따른 부착형 진동센서에서 부착된 기반의 진동에 따른 센서의 진동 측정 한계를 나타낸 것이다.
도 3a는 제조예 1에 따라 제조된 부착형 진동센서의 피아노 음계 주파수의 진동 인식 테스트 결과를 나타낸 것이다.
도 3b는 종래 진동 센서(PCB 352C33, 민감도: 100 mV/g)의 피아노 음계 주파수의 진동 인식 테스트 결과를 나타낸 것이다.
도 4a는 제조예 1에 따라 제조된 부착형 진동센서를 이용하여 다양한 악기의 합주곡을 진동으로 인식한 결과를 나타낸 것이다.
도 4b는 종래 진동 센서(PCB 352C33, 민감도: 100 mV/g)를 이용하여 다양한 악기의 합주곡을 진동으로 인식한 결과를 나타낸 것이다.
도 5a는 사람이 목소리를 낼 때의 소리압력과 피부 진동을 동시에 측정하는 방법을 촬영한 사진이다.
도 5b는 상기 도 5a에 따른 방법으로 측정 후에 소리 압력에 따른 피부 진동을 이동량(displacement), 속도 및 가속도로 나타낸 측정 결과를 나타낸 것이다.
도 6a는 제조예 1에 따라 제조된 부착형 진동센서를 사람의 목에 부착하여 말하는 소리 크기에 따른 아웃풋 전압 측정 결과를 나타낸 것이다.
도 6b는 제조예 1에 따라 제조된 부착형 진동센서와 종래 진동센서(PCB 325C33)의 피부 적합성에 따른 진동 신호 왜곡 감소를 분석한 결과이다.
도 7은 본 발명 하나의 실시예에 소리 인식 방법에 대한 플로우 차트를 나타낸 것이다.
도 8a는 다양한 사람으로 실시예 1을 수행할 때, 각각 사람에 따라 측정된 음향 파형과 주파수 스펙트럼을 비교한 결과를 나타낸 것이다.
도 8b는 동일한 사람이 실시예 1을 수행할 때, 마스크 착용 유무에 따라 측정된 음향 파형과 주파수 스펙트럼을 비교한 결과를 나타낸 것이다.
도 8c는 실시예 1에 따라 음성을 감지했을 때와, 종래 마이크로폰(microphone type 4192, Bruel & Kjaer사, sensitivity of 1 V/Pa)을 이용해 음성을 감지했을 때 주변 소리 환경에 따른 소리 감지 차이를 음향 파형 및 주파수 스펙트럼 분석 결과로 나타낸 것이다.
도 9a는 본 발명 하나의 실시예에 따른 소리 인식을 이용한 음성 보안, 음성 원격 조정 시스템의 플로우 차트이다.
도 9b는 본 발명 하나의 실시예에 따른 음성 보안 인증 및 음성 원격 조정을 수행할 때의 구성에 대한 예시를 나타낸 것이다.
도 9c는 실시예 2에 따른 소리 인식을 이용한 음성 보안, 음성 원격 조정 시스템을 구현하여 나타낸 것이다.
도 10은 본 발명 하나의 실시예에 따른 소리 인식 방법을 이용한 성대 건강 상태, 내장 건강 상태, 태아 상태 및 식습관의 모니터링 방법을 플로우 차트로 나타낸 것이다.
도 11a는 실시예 3의 소리 인식 방법을 이용한 성대 건강 상태 모니터링 과정을 전반적으로 설명하기 위한 모식도를 나타낸 것이다.
도 11b는 실험자 1(남자)가 실시예 3을 수행함에 따라 얻은 데이터를 나타낸 것이다.
도 11c는 실험자 2(여자)가 실시예 3을 수행함에 따라 얻은 데이터를 나타낸 것이다.

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하도록 한다.

그러나, 이하의 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 이하에서 사용될 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

또한, 어떤 구성요소가 다른 구성요소 상에 "형성되어" 있다거나 "적층되어" 있다고 언급된 때에는, 그 다른 구성요소의 표면 상의 전면 또는 일면에 직접 부착되어 형성되어 있거나 적층되어 있을 수도 있지만, 중간에 다른 구성요소가 더 존재할 수도 있다고 이해되어야 할 것이다.

이하, 본 발명의 부착형 진동센서를 이용한 소리 인식 방법 및 그의 응용방법에 대하여 상세히 설명하기로 한다. 다만, 이는 예시로서 제시되는 것으로, 이에 의해 본 발명이 제한되지는 않으며 본 발명은 후술할 청구범위의 범주에 의해 정의될 뿐이다.

도 7은 본 발명 하나의 실시예에 따른 소리 인식 방법에 대한 플로우 차트를 나타낸 것이다.

도 7을 참조하면, 본 발명은 (a) 소리를 발생하는 기관 표면의 진동 가속도를 시간에 따라 측정하는 단계; (b) 상기 진동 가속도를 시간에 따른 전기신호로 변환하는 단계; 및 (c) 상기 전기신호를 분석하여 상기 소리를 인식하는 단계;를 포함하는 소리 인식 방법을 제공한다.

또한, 상기 기관이 사람, 개, 고양이, 소, 말, 기계 및 로봇으로 이루어진 군으로부터 선택된 어느 하나의 기관일 수 있고, 바람직하게는 사람일 수 있다.

또한, 상기 기관이 사람, 개, 고양이, 소 또는 말의 기관이고, 상기 소리 인식 방법으로 인식된 소리가 소리, 내장 소리, 태아의 심장 박동소리, 태아의 움직임 소리 및 구강 소리로 이루어진 군으로부터 선택된 어느 하나일 수 있다.

상세하게는, 목소리를 인식 하기 위해 목 울대와 성대 사이의 목 전면부 피부의 진동 가속도를 측정하고, 내장 소리를 인식 하기 위해 복부(배꼽 중심으로 사분면으로 나눠 측정) 피부의 진동 가속도를 측정하고, 태아의 심장 박동소리 및 태아의 움직임 소리를 인식 하기 위해 임산부의 하복부 피부의 진동 가속도를 측정하고, 구강 소리를 인식하기 위해 턱밑 삼각부 피부의 진동 가속도를 측정할 수 있다.

또한, 상기 전기신호가 전압신호일 수 있다.

또한, 상기 소리의 세기가 10 내지 140 dB_SPL일 수 있다.

또한, 상기 소리의 진동수가 1 내지 3,500 Hz일 수 있다.

또한, 상기 진동 감지센서는 패치형태일 수 있다.

상기 진동센서는 전체 두께가 0.1 내지 10 μm 일 수 있다.

상기 통형 중공은 상기 진동판과 접할 수 있으며, 상기 통형 중공의 길이방향이 제1 전극의 면 방향과 수직일 수 있다.

상기 통형 중공이 상기 진동판과 접하고, 상기 진동판이 제1 전극의 표면과 평행일 수 있다.

상기 통형 중공의 직경은 100 내지 1000 μm이고, 바람직하게는 200 내지 800 μm이고, 더욱 바람직하게는 300 내지 500 μm일 수 있다.

상기 통형 중공의 높이는 0.5 내지 3.0 μm이고, 바람직하게는 0.8 내지 2.0 μm이고, 더욱 바람직하게는 1.0 내지 1.5 μm일 수 있다.

상기 통형은 원통형, 타원통형, 다각통형 및 별통형으로 이루어진 군으로부터 선택된 1종 이상을 포함할 수 있다.

상기 제2 전극이 상기 박막 상에 위치하고, 상기 박막과 제2 전극은 서로 상응하는 다수의 관통 구멍이 형성되고, 상기 관통 구멍이 상기 통형 중공 상에 형성될 수 있다.

상기 박막의 두께는 200 내지 800 nm, 바람직하게는 300 내지 700 nm, 더욱 바람직하게는 350 내지 500 nm일 수 있다.

상기 관통 구멍의 수는 2 내지 20개, 바람직하게는 3 내지 16개, 더욱 바람직하게는 4 내지 10개일 수 있다.

상기 관통 구멍의 직경은 10 내지 150 μm, 바람직하게는 20 내지 120 μm, 더욱 바람직하게는 40 내지 100 μm일 수 있다.

상기 기판은 폴리파라자일릴렌(파릴렌, poly(p-xylylene)), 폴리에틸렌테레프탈레이트, 폴리부틸렌테레프탈레이트, 폴리에틸렌나프탈레이트, 폴리에틸렌, 폴리프로필렌, 폴리스티렌, 폴리카보네이트, 폴리아미드, 폴리이미드, 폴리우레아, 폴리우레탄, 폴리디메틸실록산, 폴리스티렌부타디엔스티렌, 폴리스티렌에틸렌부틸렌스티렌, 폴리메틸메타크릴레이트, 아크릴로나이트릴뷰타다이엔스타이렌 수지, 에폭시 수지, 아크릴 수지, 노볼락수지 및 포름알데이드 수지 등을 사용할 수 있으며, 바람직하게는 폴리파라자일릴렌(파릴렌, poly(p-xylylene))을 사용할 수 있다.

상기 제1 전극 및 제2 전극은 각각 독립적으로 금, 티타늄, 백금, 니켈, 팔라듐, 구리, 아연, 카드뮴, 철, 코발트, 이리듐, 주석, 갈륨, 알루미늄, 망간, 크로뮴, 몰리브덴, 텅스텐, 그래핀, 카본나노튜브, 그래파이트 등을 포함할 수 있으며, 바람직하게는 금 및 티타늄일 수 있다.

상기 제1 전극 및 제2 전극이 각각 독립적으로 티타늄층 및 금층이 순서대로 적층된 티타늄층/금층이고, 상기 제1 전극의 티타늄층이 기판과 접하고, 상기 제2 전극의 티타늄층이 진동판과 접할 수 있다.

상기 티타늄층은 2 내지 10 nm의 두께일 수 있으며, 상기 티타늄층이 제2 전극의 금과 상기 지지부 사이의 접촉성이 약한 것을 보완하는 역할을 하므로, 3 nm 이상의 두께를 가지고 있어야 한다.

상기 기둥 및 박막이 각각 독립적으로 에폭시 수지, 아크릴 수지, 노볼락수지, 포름알데이드 수지, 폴리메틸메타크릴레이트, 폴리파라자일릴렌(파릴렌, poly(p-xylylene)), 폴리에틸렌테레프탈레이트, 폴리부틸렌테레프탈레이트, 폴리에틸렌나프탈레이트, 폴리에틸렌, 폴리프로필렌, 폴리스티렌, 폴리카보네이트, 폴리아미드, 폴리이미드, 폴리우레아, 폴리우레탄, 폴리디메틸실록산, 폴리스티렌부타디엔스티렌, 폴리스티렌에틸렌부틸렌스티렌 및 폴리아크릴로나이트릴뷰타다이엔스타이렌 등을 사용할 수 있으며, 바람직하게는 에폭시 수지를 사용할 수 있으며, 더욱 바람직하게는 SU-8을 사용할 수 있다.

상기 진동센서의 전체 두께가 0.1 내지 10 μm일 수 있다.

상기 통형 중공의 직경은 50 내지 1,000 μm 일 수 있다.

상기 진동센서가 부착형일 수 있으며, 피부에 부착가능하고, 성대피부(목피부)에 부착되어 진동을 통해 목소리를 인식할 수 있다.

상기 진동센서는 발성체(성대 및 조음기관)에 의해 생성되어 공기중으로 나오는 소리의 압력(Sound pressure)에 대해 선형 비례한 상기 발성체(성대 및 조음기관)피부 표면(목피부)의 진동가속도(Neck skin vibration acceleration)를 감지하여 소리를 인식할 수 있다.

진동판은 탄성이 있는 얇은 막의 판을 말한다. 천연 고무, 합성 고무, 금속판 등으로 만든다. 외력에 의해 휘는 특성을 이용해서 여러 기기 부품에 이용되고 있다.

상기 진동판은 하드베이킹(hard baking)된 에폭시 유도체를 포함하는 포토레지스트일 수 있다. 하드베이킹하여 포토레지스트를 완전히 크로스링크시켜 재료에 의해 발생되는 감쇠현상을 줄일 수 있다.

상기 진동센서는 70 내지 3,500 Hz 주파수를 감지할 수 있어 사람의 목소리를 효과적으로 감지할 수 있다.

상기 제1 전극과 상기 지지부 사이에 접착층을 추가로 포함할 수 있으며, 상기 접착층은 에폭시 수지, 아크릴 수지, 노볼락수지, 포름알데이드 수지, 폴리메틸메타크릴레이트, 폴리스티렌, 폴리아미드, 폴리이미드, 폴리우레아, 폴리우레탄 및 폴리디메틸실록산 등을 사용할 수 있으며, 바람직하게는 에폭시 수지를 사용할 수 있으며, 더욱 바람직하게는 SU-8을 사용할 수 있다.

상기 진동센서의 제조방법은 (a) 기판 상에 제1 전극을 형성하여 제1 전극/기판을 포함하는 하판을 제조하는 단계; (b) 기재 상에 희생층을 형성하고, 상기 희생층 상에 제2 전극을 형성하는 단계; (c) 상기 제2 전극 상에 박막을 형성하여 상기 제2 전극 및 박막을 포함하는 진동판(diaphragm)을 형성하는 단계; (d) 상기 진동판 상에 통형 중공을 갖는 지지층을 형성하여 기재/희생층/제2 전극/진동판/지지층을 제조하는 단계; (e) 상기 기재/희생층/제2 전극/진동판/지지층의 희생층을 에칭하여 제2 전극/진동판/지지층을 포함하는 상판을 제조하는 단계; 및 (f) 상기 하판의 제1 전극 상에 상기 상판의 지지층을 위치시키는 단계;를 포함한다.

상기 단계 (e)와 (f) 사이에, (d') 상기 하판의 제1 전극 상에 접착층을 형성하는 단계;를 추가로 포함할 수 있다.

상기 단계(b) 및 (c)에서, 상기 박막과 제2 전극은 서로 상응하는 다수의 관통 구멍이 형성되도록 패터닝될 수 있다.

도 9a는 본 발명 하나의 실시예에 따른 소리 인식을 이용해 음성 보안 및 음성 원격 조정 시스템으로 이루어진 군으로부터 선택된 1종 이상을 구현할 때의 플로우 차트이다.

도 9를 참조하면, 본 발명은 소리를 발생하는 기관을 갖는 발성체의 인식방법에 있어서, (a) 소리를 발생하는 기관 표면의 진동 가속도를 시간에 따라 측정하는 단계; (b) 상기 진동 가속도를 시간에 따른 전기신호로 변환하는 단계; (c) 상기 전기 신호를 변환하여 시간에 따라 주파수 및 세기를 포함하는 소리파형을 구하는 단계; 및 (d) 상기 소리파형을 분석하여 상기 발성체를 인식하는 단계;를 포함하는 발성체 인식 방법을 제공한다.

또한, 상기 발성체 인식 방법이 음성 인식 보안 및 음성 원격 조정 시스템으로 이루어진 군으로부터 선택된 1종 이상에 사용할 수 있다.

상세하게는 상기 발성체 인식 방법이 출입문 보안 및 전자기기 보안으로 이루어진 군으로부터 선택된 어느 하나에 사용하기 위한 것일 수 있다, 예를 들면, 사용자와 음성 인식 결과 여부에 따라 출입문을 여는 것, 전자기기를 작동시키는 것 등의 행위를 제한할 수 있다. 또한, 스피커를 통해 음성 인식 결과(승인 또는 비승인 여부)를 소리로 사용자에게 전달할 수 있고, 전등의 on/off를 통해 음성 인식 결과(승인 또는 비승인 여부)를 시각적으로 전달할 수 있다.

상세하게는 상기 발성체 인식 방법이 근/원거리에 있는 각종 전자기기의 작동 또는 블루투스 장비와의 연결을 위한 것일 수 있다. 예를 들면, TV, 라디오, 청소기, 전등 등을 켜고 끄는 것과 같은 각종 명령을 수행할 수 있다.

도 10은 본 발명 하나의 실시예에 따른 소리 인식 방법을 이용한 성대 건강 상태, 내장 건강 상태, 태아 상태 및 식습관의 모니터링 방법을 플로우 차트로 나타낸 것이다. 상세하게는, 목소리, 내장 소리, 태아의 심장 박동소리, 태아의 움직임 소리 및 구강 소리를 통해 성대 건강 상태, 내장 건강 상태, 태아 상태, 식습관의 의학적인 정보를 얻어 내기 위해 센서를 성대, 복부, 구강 주변 피부에 부착한 후 소리를 감지해 얻은 데이터를 가공하고, 이를 의학적으로 이용하는 플로우 차트를 나타낸 것이다.

도 10을 참조하면, 본 발명은 소리를 발생하는 기관을 갖는 사람의 신체 모니터링 방법에 있어서, (a) 소리를 발생하는 기관 표면의 진동 가속도를 시간에 따라 측정하는 단계; (b) 상기 진동 가속도를 시간에 따른 전기신호로 변환하는 단계; (c) 상기 전기 신호를 변환하여 시간에 따라 주파수 및 세기를 포함하는 소리파형을 구하는 단계; 및 (d) 상기 소리파형을 분석하여 상기 신체를 모니터링하는 단계;를 포함하는 신체 모니터링 방법을 제공한다.

상세하게는, 목 피부(목 울대와 성대 사이의 목 전면부)의 진동 가속도를 측정함으로써 성대 건강 상태를 모니터링 할 수 있고, 복부(배꼽 중심으로 사분면으로 나눠 측정) 피부의 진동 가속도를 측정함으로써 장 건강 상태를 모니터링 할 수 있으므로 상기 신체 모니터링 방법으로 성대와 장을 헬스 케어 할 수 있다.

또한, 임산부의 하복부 피부의 진동 가속도를 측정함으로써 태아의 심장박동 및/또는 태아의 움직임을 모니터링 할 수 있고, 턱밑 삼각부 피부의 진동 가속도를 측정함으로써 식습관을 모니터링 할 수 있으므로 상기 신체 모니터링 방법으로 태아 상태 및 식습관을 관찰할 수 있다.

이하, 실시예를 통하여 본 발명을 더욱 상세하게 설명한다. 그러나 이는 예시를 위한 것으로서 이에 의하여 본 발명의 범위가 한정되는 것은 아니다.

[실시예]

소리 인식을 위한 진동센서 제조

제조예 1: 부착형 진동센서

(진동판 및 진동판 어레이 제작)

먼저 유리 기판 위에 희생층 역할을 할 Cu/Ti(150/10 nm)를 증착한 후, Positive PR을 이용하여 제2 전극에 해당하는 Ti/Au/Ti(4/30/7 nm)를 포함하는 금속을 패터닝하여 전극패턴을 증착하였다. 그 후에 Negative PR인 SU-8(370 nm)을 이용해 패터닝된 8개의 관통 구멍을 포함하는 진동판을 만들고 하드베이킹(Hardbaking)을 수행하였다. 이때 관통 구멍의 직경은 약 80 μm이다. 이후, SU-8을 한 번 더 사용하여 패터닝하여 통형 중공을 포함하는 지지층(1.2 μm)을 제작한다. 이때, 통형 중공의 직경은 400 μm이다. 진동판 패터닝 시 단일 진동판의 패턴이 아닌 어레이 형태의 패턴을 이용할 경우 진동판 어레이를 제조할 수 있다.

(하판 제작)

먼저 유리 기판 위에 희생층 역할을 할 Al(100 nm)를 증착한 후, 파릴렌(3 μm)을 증착하고, 제1 전극인 Ti/Au(4/30 nm)를 증착한다.

(진동판 어레이를 포함하는 진동센서)

상기 어레이에서 희생층으로 사용한 구리를 에칭용액를 이용해 지우고 린싱과정을 통해 에칭용액를 깨끗이 닦아낸다. 이때 어레이(진동판 적층체)가 손상되기 쉽기 때문에 이를 방지하기 위해 물 베이스인 Cu etchant에 IPA를 섞고, 그 위에는 Hexane을 얹은 에칭용액을 사용하여 구리를 제거하였다.

이후, 내열성이 강한 폴리아릴레이트 필름을 뜰채 모양으로 만들어 희생층인 구리가 제거된 어레이를 건져서 건조한다. 그 후에 제조된 상기 하판에 SU-8 접착층(50 nm)을 코팅하고 어레이를 위에 전사하였다. 이 때 UV에 노출시켜서 전사될 진동판 적층체의 지지층과 하판의 접착층을 화학적으로 결합시킨다.

결합 후에는 하판의 파릴렌(Parylene)아래에 위치하는 Al(희생층)을 에칭시키고 린싱과정을 거친 뒤, 회로와 연결하여 부착형 진동센서를 제조하였다.

실시예 1: 부착형 진동센서를 이용한 소리 인식 방법

도 7을 참고하여, 제조예 1에 따라 제조된 부착형 진동센서를 사람의 목 울대와 성대 사이의 목 전면부 피부에 부착 후, 상기 부착형 진동센서의 출력 전압부를 음성 인식 모듈(EasyVR 3, VeeaR사)이 연결된 신호 처리 모듈(Uno R3, Arduino사)에 연결하였다.

사람이 발성함에 따라 상기 부착형 진동센서가 목 피부 표면의 진동 가속도를 시간에 따라 측정하고, 상기 신호 처리 모듈을 통해 진동 가속도를 전기신호로 변환하고 상기 전기 신호를 분석하여 소리를 인식함으로써 부착형 진동센서를 이용해 음성을 인식하였다.

실시예 2: 소리 인식 방법을 이용한 음성 보안 인증 및 음성 원격 조정 시스템

도 9a는 본 발명 하나의 실시예에 따른 소리 인식을 이용한 음성 보안, 음성 원격 조정 시스템을 구현할 때의 플로우 차트이다. 본 발명 하나의 실시예에 따른 음성 보안 인증 및 음성 원격 조정을 수행할 때의 구성에 대한 예시를 도 9b에 나타내었고, 이를 구현한 것을 도 9c에 나타내었다.

도 9a, 9b 및 9c를 참고하여 실시예 1에 따른 소리 인식 방법으로 음성 보안 인증 및 음성 원격 조정을 수행하였다. 상세하게는 제조예 1에 따라 제조된 부착형 진동센서를 목 울대와 성대 사이의 목 전면부 피부에 부착하였다. 상기 부착형 진동센서의 출력 전압부를 음성 인식 모듈(EasyVR 3, VeeaR사)이 연결된 신호 처리 모듈(Uno R3, Arduino사)에 연결하였다. 소리 인식 결과에 따라 작동시킬 기기들을 상기 신호 처리 모듈에 연결하는데, 상기 기기로는 소리 인식 결과를 소리로 알려주기 위한 스피커, 시각적으로 알려주기 위한 전등, 음성 보안 시스템을 구현하기 위해 문의 잠금장치를 해제하기 위한 모터가 있다.

승인된 사용자가 상기 부착형 진동센서를 착용하고 음성 암호를 설정하였다. 음성 암호와 명령 암호가 일치할 경우에는 전등이 푸른 빛이 나며, 모터를 작동시켜 문이 열리고, 스피커로 승인되었음을 알리도록 하였고, 반대로 일치하지 않을 경우에는 전등이 붉은 빛이 나며, 모터가 움직이지 않아 문이 잠겨 있는 상태를 유지하고, 스피커로 비승인 되었음을 알리도록 설정하였다.

실시예 3: 소리 인식 방법을 이용한 성대 건강 상태 모니터링

도 10은 본 발명 하나의 실시예에 따른 소리 인식 방법을 이용해 목소리, 내장 소리, 태아의 심장 박동소리, 태아의 움직임 소리 및 구강 소리를 통해 성대 건강 상태, 내장 건강 상태, 태아 상태, 식습관의 의학적인 정보를 얻어 내기 위해 센서를 성대, 복부, 구강 주변 피부에 부착한 후 소리를 감지해 얻은 데이터를 가공하고, 이를 의학적으로 이용하는 플로우 차트를 나타낸 것이다. 도 10을 참조하여 실시예 1에 따른 소리 인식 방법을 이용한 성대 건강 모니터링을 수행하였다.

제조예 1에 따라 제조된 부착형 진동센서를 사람의 목 울대와 성대 사이의 목 전면부 피부에 부착하였다. 목에 부착된 진동센서로 측정된 소리 데이터를 오실로스코프(oscilloscope) 또는 반도체 성분 분석기 등의 장비를 통해 저장한 후, 원하는 데이터를 분석하였다.

상기 데이터를 분석할 수 있는 방법은 크게 두 가지가 있는데, 전압 데이터 기반과 고속 푸리에 변환(Fast Fourier transform) 후 얻은 주파수 축 데이터 기반이다. 전압 데이터 기반으로는 소리의 유무, 소리 간의 간격, 소리 지속 시간 등을 분석할 수 있고, 이를 통해 발화시간 및 얼마나 말을 자주하는지 등을 조사할 수 있다. 주파수 축 데이터 기반으로는 측정된 소리의 크기를 주파수 별로 판단할 수 있고, 발화 주파수, 소리 음량을 파악할 수 있다.

상기 데이터를 분석함으로써 성대 건강 상태 모니터링을 수행할 수 있다.

[시험예]

시험예 1: 부착형 진동센서

시험예 1-1: 부착형 진동센서의 작동원리

도 1a는 제조예 1에 따라 제조된 부착형 진동센서가 사람의 목 울대와 성대 사이의 목 전면부 피부에 부착될 때의 모습, 상기 부착형 진동센서에서 피부 부착형 진동판의 구조 및 단면도를 나타낸 것이고, 도 1b는 제조예 1에 따라 제조된 부착형 진동센서에서 진동판의 어레이, 단위 개체, 관통 구멍 및 횡단면도의 Z-프로필을 나타낸 것이다.

도 1c는 제조예 1에 따라 제조된 부착형 진동센서에서 부착형 진동판을 포함하는 소자의 작동원리를 나타낸 개략도이고, 도 1d는 제조예 1에 따라 제조된 부착형 진동센서에서 진동판의 편향(휨) 정도에 따른 전기용량 값을 나타낸 것이다.

도 1a 내지 1d를 참고하면, 제조예 1에 따라 제조된 부착형 진동센서는 기반의 진동에 대한 관성력에 의해 진동판이 역동적으로 움직이며 위 아래 전극의 거리 변화에 따른 커패시턴스(Capacitance)가 변화하게 된다. 이때 일정 전압에서 커패시턴스 변화에 의해 전하가 흘러 어레이 구조에 의해 모이게 되며, Charge/Voltage amplifier를 이용해 출력신호를 전압 신호로 하여 민감도를 좋게 한다.

하기 식 1은 제조예 1에 따라 제조된 부착형 작동센서의 작동원리에 관한 것이다.

[식 1]

상기 식 1에서,

은 출력 전압이고,

는 기반의 진동가속도이고,

은 지지된 진동판(diaphragms)(

와 동등하며, 여기서 k는 진동판 및 진동판 아래 에어 필름의 강성이고, m은 진동판의 질량)의 고유 진동수이고,

은 고유 진동수에 대한 상대적 인가 주파수이고,

은 진동판의 중심 편향에 대한 용량 변화의 비율이고,

은 센서에 바이어스(biased)된 정전압이고,

,

및

는 각각 증폭 회로(amplifier circuit)에 대한 피드백 커패시턴스(capacitance), 피드백 저항 및 입력 저항이다.

상기 식 1을 참조하면, 진동의 가속도의 크기와 하부 전극-진동판 거리 변화는 선형적으로 비례한다. 이러한 경향성은 감쇠 계수(Damping Coefficient)를 조절함에 따라 공명 진동수(Resonance Frequency)때까지 유지하는데, 본 발명의 소자는 >80 kHz이므로, 피부를 통한 소리의 주파수 범위에서 민감도를 유지할 조건 지니고 있다.

따라서 도 1d에서 보듯이 원형 진동판이 움직일 때, 진동판이 처진 정도와 그에 따라 변하는 커패시턴스(Capacitance) 값은 비례 관계를 가진다. 또한 도 1c에서 보듯이, 변화된 커패시턴스는 회로를 통해 일정 비율로 Voltage로 변환되는 것을 확인할 수 있다.

시험예 1-2: 다양한 진동 세기에 대한 부착형 진동센서의 주파수 응답

도 2a는 제조예 1에 따라 제조된 부착형 진동센서의 다양한 진동 세기에 대한 응답 신호 결과를 나타낸 것으로, 이때 진동판의 어레이를 각각 25, 100, 400개로 조절하여 실험을 진행하였다.

도 2b는 제조예 1에 따라 제조된 부착형 진동센서가 400개 어레이 수를 가질 때 부착된 기반의 진동에 따른 주파수 응답 그래프를 나타낸 것이고, 도 2c는 제조예 1에 따라 제조된 부착형 진동센서의 부착된 기반의 진동에 따른 진동 측정 한계를 나타낸 것이다.

도 2a를 참조하면, 진동판 직경이 400 μm이고, 각각 25, 100, 400개 어레이 개수를 가질 때, 진동 가속에 따른 전압의 크기가 주파수에 관계없이 일정하고, 민감도가 진동 크기에 관계없이 일정한 것을 알 수 있다. 가해준 진동 크기 (~2 g)는 사람이 말할 때 목 피부 진동의 가속도 범위와 내장 소리, 태아의 심장 박동소리, 태아의 움직임 소리 및 구강 소리에 의한 진동까지도 반영한 것으로 본 발명의 부착형 진동센서가 성대, 복부, 구강 주변 피부 진동을 통해 사람의 목소리, 내장 소리, 태아의 심장 박동소리, 태아의 움직임 소리 및 구강 소리를 감지할 수 있음을 간접적으로 보여 준다.

도 2b를 참조하면, 제조예 1의 부착형 진동센서의 전압 아웃풋 민감도 측정 결과 소리 인식기기에서 목소리, 내장 소리, 태아의 심장 박동소리, 태아의 움직임 소리 및 구강 소리(70 ~ 3400 Hz)에 대해 270 mV/g으로 일정한 진동 민감도를 유지하는 것을 확인할 수 있다.

도 2c를 참조하면, 센서의 측정 한계를 분석하기 위해 센서가 부착된 기반의 진동을 0.02g으로 주었을 때, 센서는 각 주파수에 대해 10 dB 정도의 신호 대 잡음 비를 보이는 것으로 나타났다. 0.02g은 사람이 말할 때 떨리는 목 피부의 최소 진동 (0.03g) 보다 작으므로 사람이 성대를 떨어 말하는 것을 거의 모두 감지할 수 있는 것을 확인할 수 있다.

따라서, 제조예 1에 따라 제조된 부착형 진동센서는 주파수에 관계없이 일정한 높은 민감도를 가지며, 사람이 갖는 최소 목소리 진동까지 감지할 수 있어 민감도가 우수한 것을 확인할 수 있다.

시험예 1-3: 부착형 진동센서의 진동 인식 테스트

도 3a는 제조예 1에 따라 제조된 부착형 진동센서의 피아노 음계 주파수의 진동 인식 테스트(Vibration recognition test) 결과를 나타낸 것이고, 도 3b는 종래 진동센서(PCB 352C33, 민감도: 100 mV/g)의 피아노 음계 주파수의 진동 인식 테스트 결과를 나타낸 것이다.

도 4a는 제조예 1에 따라 제조된 부착형 진동센서를 이용하여 다양한 악기의 합주곡을 진동으로 인식한 결과를 나타낸 것이고, 도 4b는 종래 진동센서(PCB 352C33, 민감도: 100 mV/g)를 이용하여 다양한 악기의 합주곡을 진동으로 인식한 결과를 나타낸 것이다.

상세하게는 소자의 performance를 선보이기 위해, 진동 스피커로 음악을 튼 후에 이를 감지하였다. 본 발명의 부착형 진동센서의 녹음 품질(Recording quality)은 종래 진동센서(reference accelerometer; PCB 352C33)와 비교하여 나타낸 것이다.

도 3a, 3b, 4a 및 4b를 참조하면, 제조예 1에 따라 제조된 부착형 진동센서의 민감도가 종래 진동센서(기준 가속도계)에 대비하여 약 3배 높은 것으로 나타났다. 또한, 일정한 주파수 응답률(Flat frequency response)을 가지며, 주파수 해상도(Resolution)가 우수하고, 1/16도 안되는 박자를 구분할 수 있을 정도로 반응 속도가 높은 것을 알 수 있다. 또한, 다양한 주파수 스펙트럼(Frequency spectrum)을 왜곡 없이 인식하는 것을 확인할 수 있다.

시험예 1-4: 목소리 크기에 따른 피부의 진동 폭, 속도 및 가속도 측정

도 5a는 사람의 목소리를 정량적으로 인식하기 위해서 피부 진동의 어떤 요소를 센서가 받아들여야 하는 지를 알기 위해 사람이 목소리를 낼 때의 피부 진동을 측정하는 방법을 촬영한 사진이다. 도 5b는 측정 후에 소리 압력에 따른 피부 진동을 이동량(displacement), 속도 및 가속도로 나타낸 측정 결과를 나타낸 것이다.

도 5b를 참조하면, 소리압력을 피부 진동의 어떤 진동 요소로 나타내더라도 특정 주파수에 대해서는 압력과 진동요소가 선형관계에 있음을 알 수 있다. 하지만 모든 주파수에 대해서 민감도가 동일한 (일정한 선형관계를 가지는) 것은 진동 가속도라는 것을 확인 할 수 있었다.

그리고, 제조예 1에 따라 목 피부 진동의 가속도를 측정할 수 있는 부착형 진동센서를 제조하면, 피부 진동을 통해 사람의 목소리를 정량적으로 인식할 수 있는 것을 확인할 수 있다.

시험예 1-5: 부착형 진동 센서의 사람 목소리 크기에 따른 아웃풋 전압 분석

도 6a는 제조예 1에 따라 제조된 부착형 진동센서를 사람의 목에 부착하여 말하는 소리 크기에 따른 아웃풋 전압 측정 결과를 나타낸 것이고, 도 6b는 제조예 1에 따라 제조된 부착형 진동센서와 종래 진동센서(PCB 325C33)의 피부 적합성에 따른 진동 신호 왜곡 감소를 분석한 결과이다.

도 6a를 참조하면, 남성의 대표 기본 주파수에 해당하는 100, 150, 200 Hz와 일반적인 목소리 범위인 40~70 dB_SPL 에서의 목소리를 대상으로 실험을 진행했을 때, 제조예 1에 따라 제조된 부착형 진동센서는 사람이 말하는 모든 소리에 대해 음압 크기와 주파수에 관계없이 높고 일정한 음성 민감도(5.5 V/Pa)를 가지는 것을 확인할 수 있다.

이러한 결과는 말할 때 소리의 크기와 피부 진동의 가속도가 비례 하다는 것을 이용하여, 제조예 1에 따라 제조된 부착형 진동센서가 높고 일정한 진동 민감도를 가질 수 있도록 설계되었기 때문이다.

도 6b를 참조하면, 제조예 1에 따라 제조된 부착형 진동센서와 종래 진동센서(PCB 325C33)의 사람이 말할 때 피부 적합성 유무에 따른 진동 신호 왜곡 정도를 판단할 수 있다. 어떤 센서이든 피부에 부착할 경우 피부를 압박하기 때문에, 진동 신호의 왜곡이 필연적으로 발생해, 사람이 말할 때 실제 목 피부 진동값(검은색, 레이저(Laser dopper vibrometer, LDV)로 측정)에 비해 감소된 진동 신호를 얻을 수 밖에 없다. 예를 들어, 종래 진동센서를 피부에 부착 시 받아들이는 진동값(파란색) 은 실제의 40% 밖에 되지 않는데, 그 이유는 센서가 무기 물질로 되어 있고 무거워 피부 부착 시에 Tape을 사용해 피부를 압박하기 때문이다. 하지만 제조예 1에 따라 제조된 부착형 진동센서는 유기물질로 되어 있고, 총 두께가 5μm가 되지 않는 초박막 구조를 가지고 있어 피부 적합성이 높아 피부 부착 시 받아들이는 진동(빨간색)을 실제 값과 매우 근접하게 받아들일 수 있다(90% 이상).

따라서 제조예 1에 따라 제조된 부착형 진동센서는 피부 진동 감지 시에 진동 왜곡 현상을 최소화 할 수 있으며, 착용감이 우수하고 심미성이 있는 효과가 있다.

시험예 2: 소리 인식 확인

시험예 2-1: 사용자 분석 가능성 확인

도 8a는 다양한 사람으로 실시예 1을 수행하였을 때, 각각 사람에 따라 측정된 음향 파형과 주파수 스펙트럼을 비교한 결과를 나타낸 것이다.

도 8a를 참고하면, 다른 두 사람이 같은 단어를 이야기할 경우, 시간에 따른 소리의 유무나 크기의 정도 차이가 음향 파형으로 보듯이 비슷할 수 있다. 하지만, 같은 데이터를 푸리에 변환(Fourier transform)을 통해 주파수 스펙트럼으로 보게 되면 말할 때의 주파수가 다르며 소리를 낸 주파수에서의 소리 크기도 다른 것을 확인할 수 있다.

따라서, 실시예 1에 따라 음성을 인식할 경우 사용자의 목소리를 구분해 낼 수 있어 소리 인식의 정확도뿐만 아니라, 보안도 우수한 것을 확인할 수 있다.

시험예 2-2: 마스크를 착용하였을 때 사용자 인식 가능성 확인

도 8b는 동일한 사람이 실시예 1을 수행할 때, 마스크 착용 유무에 따라 측정된 음향 파형과 주파수 스펙트럼을 비교한 결과를 나타낸 것이다.

종래 마이크로폰의 경우, 입을 가리거나 마스크를 착용한 후 말을 하게 되면 말하는 사람의 목소리 정보를 왜곡하여 받아들인다. 이는 마이크로폰의 원리상 공기의 미세한 압력 변화를 통해 사람의 목소리를 감지하는데, 입을 가리거나 마스크를 착용하면 입에서부터 마이크로폰까지 전달되는 목소리의 공기압을 차단하기 때문이다.

도 8b를 참조하면, 마스크 착용 유무와 관계 없이 음형 파형과 주파수 스펙트럼이 매우 유사하게 측정된 것을 확인할 수 있다. 이는, 실시예 1에서 사용한 부착형 진동센서가 소리를 공기압의 변화가 아닌 피부 진동을 통해 인식하기 때문에 마스크의 유무가 크게 중요하지 않기 때문이다.

따라서, 실시예 1에 따라 음성을 인식할 경우, 마스크 착용 유무와 관계 없이 동일한 인물을 파악할 수 있는 것을 확인할 수 있다.

시험예 2-3: 주변의 소음이 존재할 때 사용자 인식 가능성 확인

도 8c는 실시예 1에 따라 음성을 감지했을 때와, 종래 마이크로폰(microphone type 4192, Bruel & Kjaer사, sensitivity of 1 V/Pa)을 이용해 음성을 감지했을 때 주변 소리 환경에 따른 소리 감지 차이를 음향 파형 및 주파수 스펙트럼 분석 결과로 나타낸 것이다.

도 8c를 참조하면, 종래 마이크로폰(오른쪽)은 65 dB의 노이즈가 있는 환경에서 노이즈 사운드를 필터 하지 못해 노이즈가 없는 분위기에서 목소리를 측정했을 때와 비교했을 때 다른 음향 파형과 주파수 스펙트럼을 보였다. 반면에 실시예 1에 따라 음성을 인식하면 주변 환경에 관계없이 일정한 음향과 주파수 스펙트럼을 유지하는 것을 확인할 수 있다.

따라서, 종래 마이크로폰은 공기의 미세한 압력 변화를 통해 사람의 목소리를 감지하기 때문에 노이즈가 있는 환경에서 사용이 어려우나, 실시예 1에 따라 음성을 인식하는 방법은 주변 환경에 영향을 받지 않으므로 노이즈가 있는 환경에서도 사용이 용이한 것을 확인할 수 있다.

시험예 3: 소리 인식 방법을 이용한 음성 보안 인증 및 음성 원격 조정

도 9c는 실시예 2를 구현한 것을 나타낸 것이다. 이때, 설정한 음성 암호는 "SIYOUNG log-in"이었다. 승인된 사용자와 비승인된 사용자가 제조예 1에 따라 제조된 부착형 진동센서를 착용한 후 동일하게 "SIYOUNG log-in"을 말하였다.

도 9c를 참조하면, 성문(Vocal print)의 차이로 인해 말할 때의 주파수와 음성 크기가 사람마다 다르기 때문에 이를 바탕으로 소리 인식 모듈이 사용자를 판단하였고, 미리 입력해놓은 대로 승인 여부에 따라 기기들이 작동을 하여 음성 보안 시스템이 가능함을 보였다. 또한 손을 쓰지 않고 목소리로만 전등을 작동시키고, 문의 잠금 장치를 풀어 음성 원격 조정 또한 가능함을 보였다.

시험예 4: 부착형 진동센서를 이용한 성대 건강 상태 모니터링

도 11a는 실시예 3의 소리 인식 방법을 이용한 건강 상태 모니터링 과정을 전반적으로 설명하기 위한 모식도를 나타낸 것이다.

도 11a를 참조하면, 보이스 정량 측정이란 사람의 목소리를 통해서 평소 발화 습관을 점검할 뿐 아니라, 성대의 사용량을 간접적으로 측정하여 성대 건강 진단을 하는 것이다. 사람의 목소리 정보를 바탕으로 말한 시간, 발화 주파수, 소리 음량 등을 파악하면 얼마나 '크고 작고/높고 낮게/자주 말하는지' 등의 발화 습관을 알 수 있다. 더욱이 이를 바탕으로 성대가 얼마나 움직였는지를 알고, 성대 조직을 필요 이상으로 사용하지 않았는지 확인할 수 있다. 결과적으로 보이스 정량 측정 과정을 통해 성대 건강을 지속적으로 체크하고 관리할 수 있다.

도 11b는 실험자 1(남자)이 실시예 3을 수행함에 따라 얻은 데이터(Vocal data)를 바탕으로 착용 기간 중 말한 시간(Phonation time)을 구분해 내고, 말한 목소리의 세기(sound pressure level, dB_SPL)의 분포와 주파수(Fundamental frequency) 분포를 다이어프램으로 나타낸 것이다. 도 11c는 실험자 2(여자)가 실시예 3을 수행함에 따라 얻은 데이터(Vocal data)를 바탕으로 착용 기간 중 말한 시간(Phonation time)을 구분해 내고, 말한 목소리의 세기(sound pressure level, dB_SPL)의 분포와 주파수(Fundamental frequency) 분포를 다이어프램으로 나타낸 것이다. 아래 표 1은 실험자 1 및 실험자 2가 실시예 2를 수행함에 따라 얻은 데이터(Vocal data)로 착용자의 성대 건강을 검진한 것을 나타낸 것이다

	실험자 1(남자)	실험자 2(여자)
총 측정 시간(s)	244	331
성대 주름이 진동한 시간(s)	192.3	41.7
음성 비율(%)	78.8	12.6
말할 때 기본 주파수의 평균(Hz)	121.1	222
평균 음압 레벨(dB_SPL)	67.3	35.6
성대 주름이 진동한 거리(m)	119.6	9.8

도 11b의 상단을 참조하면, 실험자 1(남자)이 실시예 3을 4분 동안 수행함에 따른 보컬 정보를 얻을 수 있다. 실험자 1은 의도적으로 크게 자주 소리를 내도록 하여 측정하였고, 실험자 1의 보컬 정보를 바탕으로 발성 유무를 확인하였다. 말한 시간(Phonatioin time, D_t)을 정량적으로 확인하기 위한 식은 아래 식 2와 같다.

[식 2]

상기 식 2에서,

는 착용 시간에 대해 100 ms 간격으로 나누어 발화 유무를 결정하는 스텝 함수이고, 발화시에는 1, 발화가 아닐 때는 0으로 나타낸다. 발화 유무를 결정하기 위한 출력 전압 신호의 크기는 목소리를 아주 작게 낼 때의 센서 출력 신호를 고려해 결정하였다.

도 11b의 하단을 참조하면, 실험자 1(남자)이 말했을 때의 기본 주파수와 음압 레벨(Sound pressure level, SPL)의 분포를 히스토그램으로 나타낸 것으로, 피실험자는 주로 60 내지 72 dB_SPL 및 110 내지 120 Hz의 목소리를 내는 것을 확인할 수 있었다. 보통 사람이 대화할 때의 목소리 크기는 40 내지 60 dB_SPL이고, 보통 남성의 목소리 주파수가 130 Hz임을 감안할 때, 실험자 1은 크고 낮은 목소리로 말한 것을 확인할 수 있었다.

말한 시간에서의 기본 주파수와 음압 레벨 정보를 통해 성대가 움직일 때의 움직인 거리를 예상할 수 있다. 먼저 말할 때의 주파수와 음압 레벨에 따른 성대 진동의 진폭 (Vibration amplitude, A [m]) 을 구할 수 있는 식은 아래 식 3과 같다.

[식 3]

상기 식 3에서,

는 성대 주름의 길이로 통계적으로 남자는 16 mm, 여자는 10mm로 잡는다.

은 입에서부터 1 m 거리에서의 목소리 음압 크기이며,

는 말할 때의 기본 주파수,

은 평균적인 기본 목소리 주파수로 남자는 120 Hz, 여자는 190 Hz로 잡는다.

성대 주름이 진동한 전체 거리(Total distance of the vocal fold vibration, D_d) 는 말했을 때의 성대 진동의 진폭과 그 때의 주파수의 곱을 통해 구할 수 있는데 하기 식 4로 나타낼 수 있다.

[식 4]

상기 식 4를 바탕으로 피실험자가 4분 동안 말했을 때의 성대 주름의 진동한 전체 거리를 나타내면 약 120 m로, 성대 조직을 보호하기 위한 의료 안전 제한 치인 520 m의 25 % 미만인 것으로 나타났다. 이러한 결과는 실험자 1이 동일한 목소리 상태에서 20분 이상 말할 경우, 성대 조직이 손상될 수 있음을 의미한다.

도 11c의 상단을 참조하면, 실험자 2(여자)가 실시예 3을 5분 동안 수행함에 따른 보컬 정보를 얻을 수 있다. 실험자 2는 의도적으로 작게 간헐적으로 소리를 내도록 하여 측정하였고, 실험자 2의 보컬 정보를 바탕으로 발성 유무를 확인하였다.

도 11c의 하단을 참조하면, 실험자 2는 주로 36 내지 40 dB_SPL 및 200 내지 240 Hz의 목소리를 내는 것을 확인할 수 있었다. 보통 사람이 대화할 때의 목소리 크기는 40 내지 60 dB_SPL이고, 보통 여자의 목소리 주파수가 220 Hz임을 감안할 때, 실험자 2는 평균적인 여성톤의 작은 목소리로 말한 것을 확인할 수 있었다.

또한, 성대 진동의 진폭을 구한 후, 성대 주름이 진동한 전체 거리를 상기 식들을 참고해 계산하게 되면 실험자 2의 성대 주름이 진동한 전체 거리는 9.8 m정도의 거리로 성대 조직을 보호하기 위한 의료 안전 제한 치인 520 m에 한참 못 미치기 때문에 성대 건강이 안정적임을 알 수 있었다.

따라서, 본 발명의 소리 인식 방법을 통해 목소리 사용에 대한 정량적 측정 및 성대 건강 진단이 가능할 것으로 판단된다. 피실험자들의 음성 데이터를 센서로 얻음과 동시에, 이를 기반으로 보이스 정량 측정을 위한 요인들을 계산하여 상기 표 1과 같이 성대 건강 검진표를 컴퓨터 프로그램을 통해 작성 가능하다. 이는 파일로 저장될 수 있을 뿐 아니라 자유롭게 송수신이 가능하기 때문에 성대 건강의 지속적인 관리를 위한 자료로 이용될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

(a') 진동에 의하여 정전용량이 변화하는 진동 감지센서를 공급하는 단계;
(a) 상기 진동 감지센서를 사용하여 소리를 발생하는 기관 표면의 진동 가속도를 시간에 따라 측정하는 단계;
(b) 상기 진동 가속도를 시간에 따른 전기신호로 변환하는 단계; 및
(c) 상기 전기신호를 분석하여 상기 소리를 인식하는 단계;를 포함하고,
상기 진동 감지센서는
기판;
상기 기판 상에 상부 방향으로 위치하는 제1 전극;
상기 제1 전극 상에 상부 방향으로 위치하고, 통형 중공을 포함하는 지지부; 및
상기 지지부 상에 상부 방향으로 위치하는 박막 및 상기 박막 상에 상부 방향으로 위치하는 제2 전극을 포함하는 진동판(diaphragm);을 포함하고,
상기 진동판은 상기 박막과 제2 전극을 서로 상응하여 관통하는 다수의 관통 구멍이 형성되고,
상기 관통 구멍이 상기 통형 중공과 접하여 상기 통형 중공 상에 형성되는 것인, 소리 인식 방법.
삭제
제1항에 있어서,
상기 기관이 사람, 개, 고양이, 소, 말, 기계 및 로봇으로 이루어진 군으로부터 선택된 어느 하나의 기관인 것을 특징으로 하는 소리 인식 방법.
제3항에 있어서,
상기 기관이 사람, 개, 고양이, 소 또는 말의 기관이고,
상기 소리가 목소리, 내장 소리, 태아의 심장 박동소리, 태아의 움직임 소리 및 구강 소리로 이루어진 군으로부터 선택된 어느 하나인 것을 특징으로 하는 소리 인식 방법.
제1항에 있어서,
상기 표면이 목 피부, 복부 피부, 턱밑 삼각부 피부 및 관자놀이로 이루어진 군으로부터 선택된 어느 하나인 것을 특징으로 하는 소리 인식 방법.
제1항에 있어서,
상기 전기신호가 전압신호인 것을 특징으로 하는 소리 인식 방법.
제1항에 있어서,
상기 소리의 세기가 10 내지 140 dB_SPL인 것을 특징으로 하는 소리 인식 방법.
제1항에 있어서,
상기 소리의 진동수가 1 내지 3,500 Hz인 것을 특징으로 하는 소리 인식 방법.
제1항에 있어서,
상기 소리가 목소리이고,
1 내지 3,500 Hz의 진동수 범위에서 상기 목소리의 세기가 상기 진동 가속도에 일정한 비율로 선형 비례하는 것을 특징으로 하는 소리 인식 방법.
제1항에 있어서,
상기 진동 가속도는 상기 진동 감지센서가 소리를 발생하는 기관 표면 또는 기관 상의 피부에 부착된 상태에서 측정된 것을 특징으로 하는 소리 인식 방법.
제1항에 있어서,
상기 진동 감지센서는 패치형태인 것을 특징으로 하는 소리 인식 방법.
삭제
소리를 발생하는 기관을 갖는 발성체의 인식방법에 있어서,
(a') 진동에 의하여 정전용량이 변화하는 진동 감지센서를 공급하는 단계;
(a) 상기 진동 감지센서를 사용하여 소리를 발생하는 기관 표면의 진동 가속도를 시간에 따라 측정하는 단계;
(b) 상기 진동 가속도를 시간에 따른 전기신호로 변환하는 단계;
(c) 상기 전기 신호를 변환하여 시간에 따라 주파수 및 세기를 포함하는 소리파형을 구하는 단계; 및
(d) 상기 소리파형을 분석하여 상기 발성체를 인식하는 단계;를 포함하고,
상기 진동 감지센서는
기판;
상기 기판 상에 상부 방향으로 위치하는 제1 전극;
상기 제1 전극 상에 상부 방향으로 위치하고, 통형 중공을 포함하는 지지부; 및
상기 지지부 상에 상부 방향으로 위치하는 박막 및 상기 박막 상에 상부 방향으로 위치하는 제2 전극을 포함하는 진동판(diaphragm);을 포함하고,
상기 진동판은 상기 박막과 제2 전극을 서로 상응하여 관통하는 다수의 관통 구멍이 형성되고,
상기 관통 구멍이 상기 통형 중공과 접하여 상기 통형 중공 상에 형성되는 것인, 발성체 인식 방법.
제13항에 있어서,
상기 발성체가 사람이고, 상기 소리가 음성인 것을 특징으로 하는 발성체 인식 방법.
제13항에 있어서,
상기 변환이 푸리에 변환(Fourier transform)에 의해 수행된 것을 특징으로 하는 발성체 인식 방법.
제13항에 있어서,
상기 발성체 인식 방법이 음성 인식 보안 및 음성 원격 조정 시스템으로 이루어진 군으로부터 선택된 1종 이상에 사용하기 위한 것을 특징으로 하는 발성체 인식 방법.
소리를 발생하는 기관을 갖는 사람의 신체 모니터링 방법에 있어서,
(a') 진동에 의하여 정전용량이 변화하는 진동 감지센서를 공급하는 단계;
(a) 상기 진동 감지센서를 사용하여 소리를 발생하는 기관 표면의 진동 가속도를 시간에 따라 측정하는 단계;
(b) 상기 진동 가속도를 시간에 따른 전기신호로 변환하는 단계;
(c) 상기 전기 신호를 변환하여 시간에 따라 주파수 및 세기를 포함하는 소리파형을 구하는 단계; 및
(d) 상기 소리파형을 분석하여 상기 신체를 모니터링하는 단계;를 포함하고,
상기 진동 감지센서는
기판;
상기 기판 상에 상부 방향으로 위치하는 제1 전극;
상기 제1 전극 상에 상부 방향으로 위치하고, 통형 중공을 포함하는 지지부; 및
상기 지지부 상에 상부 방향으로 위치하는 박막 및 상기 박막 상에 상부 방향으로 위치하는 제2 전극을 포함하는 진동판(diaphragm);을 포함하고,
상기 진동판은 상기 박막과 제2 전극을 서로 상응하여 관통하는 다수의 관통 구멍이 형성되고,
상기 관통 구멍이 상기 통형 중공과 접하여 상기 통형 중공 상에 형성되는 것인, 신체 모니터링 방법.
제17항에 있어서,
상기 신체 모니터링 방법이 성대 건강 상태, 내장 건강 상태, 태아 상태 및 식습관으로 이루어진 군으로부터 선택된 어느 하나를 모니터링 하기 위한 것을 특징으로 하는 신체 모니터링 방법.