KR20220133501A

KR20220133501A - 청각 장애인을 위한 소리 변환 시스템 및 방법

Info

Publication number: KR20220133501A
Application number: KR1020210038676A
Authority: KR
Inventors: 신수용; 유연길; 이찬형; 최현주
Original assignee: 금오공과대학교 산학협력단
Priority date: 2021-03-25
Filing date: 2021-03-25
Publication date: 2022-10-05
Also published as: KR102530185B1

Abstract

제안기술은 청각 장애인을 위한 소리 변환 시스템 및 방법에 관한 것으로, 더욱 상세하게는 소리를 촉각 및 시각적으로 변환하여 전달하는 소리 변환 시스템 및 방법에 관한 발명이다.

Description

청각 장애인을 위한 소리 변환 시스템 및 방법{Sound conversion system and method for the hearing impaired}

일반적으로 청각 장애인의 의사소통 보조기기에는 보청기와 인공와우가 있다. 두 장치 는 마이크를 통해 수신된 음향을 정해진 프로세스를 통해 사용자에게 비청각 장애인의 소리 전달방식과 다른 방식으로 소리를 전달한다.

인공와우 수술은 청신경(달팽이관)에 전극을 심어서 소리를 전달하는 수술이다. 인공와우 수술은 공간 제약으로 인해 심을 수 있는 전극의 개수가 한정되어 있기 때문에, 소리를 있는 그대로 전달하지 못하는 문제점이 있다. 의사소통 보조기기들은 대화의 의미 식별에 가장 큰 목표를 두고 설계된다. 설계 과정에서 음의 높낮이 정보인 피치 정보의 많은 부분이 소실된다.

인공와우 기술 분야에서 피치를 표현하기 위한 방법으로는 자극하는 전극의 위치를 주파수에 따라 분류하는 방식과 자극의 간격을 조정하여 주파수 범위를 표현하는 방식이 있다. 두 방식 모두 대화에서 피치 변화나 음악에서 음 변화를 커버할 수 있을 정도의 해상도를 제공하지 못하는 문제점이 있다. 또한, 현재의 의학 기술 수준으로는 피치 변화나 음 변화를 제공하기 위해 필요한 전극의 수를 달팽이관에 실장하기 어려운 문제점이 있다.

기술의 발전으로 의사소통 보조기기를 이용하여 음성 대화의 의미를 파악하는 수준이 많이 개선되었으나, 피치 정보의 부족으로 인해 대화에서 청각 장애인의 발성이 단조롭고 어색하고, 청각 장애인이 타인의 음성으로부터 감정을 읽기 어려운 문제점이 있다. 또한, 현재 기술 수준으로는 청각을 통해 활동할 수 있는 가장 대표적인 문화활동인 음악에 대한 청각 장애인의 진입이 어려운 문제점이 있다.

한국등록특허 제10-1888981호

본 발명은 상기와 같은 문제를 해결하기 위해 발명된 것으로서, 소리를 촉각 및 시각으로 변환하여 전달할 수 있는 장치 및 방법을 제공하는데 목적이 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 청각 장애인을 위한 소리 변환 장치에 있어서,

애플리케이션이 실행되는 사용자 단말기;

사용자 단말기에 내장되며, 소리 데이터가 입력되는 입력부;

사용자 단말기에 내장되며, 소리 데이터가 저장되는 제1저장부;

사용자 단말기에 내장되며, 소리 데이터는 주파수 신호로 변환하는 주파수변환부;

사용자 단말기에 내장되며, 주파수 신호를 대응되는 음계로 변환되는 음계변환부;

변환된 음계가 저장되는 제2저장부;

사용자 단말기의 일측면에 장착되며, 음계가 전달되어 음계에 따라 사용자에게 진동을 전달하는 진동전달부;를 포함하는 것을 특징으로 한다.

진동전달부는,

각각 7음계 중 어느 하나의 음계를 전달하는 7개의 음계 진동전달부와,

음계의 반음을 전달하는 샵 진동전달부 및 플랫 진동전달부와,

음계의 옥타브를 전달하는 4개의 옥타브 진동전달부를 포함하는 것

을 특징으로 한다.

진동전달부는 압력 센서, 리니어 액추에이터 및 진동 센서 중 어느 하나인 것을 특징으로 한다.

진동전달부는 평상 시 사용자 단말기의 일측면의 내부에 삽입된 상태인 것을 특징으로 한다.

진동전달부의 진동 전달 시 해당 진동전달부는 사용자 단말기의 일측면으로부터 돌출되는 것을 특징으로 한다.

애플리케이션의 실행 시 사용자 단말기의 화면에는 음계의 스펙트럼이 보여지는 것을 특징으로 한다.

애플리케이션의 실행 시 사용자 단말기의 화면에는 음계의 악보가 보여지는 것을 특징으로 한다.

소리 데이터는 사람의 목소리 및 노래 파일을 포함하는 것을 특징으로 한다.

상기와 같은 목적을 달성하기 위한 본 발명의 청각 장애인을 위한 소리 변환 방법에 있어서,

사용자 단말기에서 애플리케이션이 실행되는 단계;

소리 데이터를 준비하는 단계;

사용자 단말기의 주파수 변환부에서 소리 데이터가 주파수 신호로 변환되는 단계;

사용자 단말기의 음계 변환부에서 주파수 신호가 대응되는 음계로 변환되는 단계;

사용자 단말기의 진동전달부에서 음계에 따라 진동을 전달하는 단계;를 포함하는 것을 특징으로 한다.

소리 데이터를 준비하는 단계에서 소리 데이터가 기 저장된 소리 데이터가 아닌 경우,

사용자 단말기의 입력부에 소리 데이터가 입력되는 단계;

사용자 단말기의 제1저장부에 소리 데이터가 저장되는 단계;가 진행되는 것

을 특징으로 한다.

음계에 따라 진동을 전달하는 단계에서 음계의 진동은,

음계의 옥타브를 전달하는 4개의 옥타브 진동전달부를 통해 전달되는 것

을 특징으로 한다.

음계에 따라 진동을 전달하는 단계에서,

해당 진동전달부는 사용자 단말기의 일측면으로부터 돌출되는 것을 특징으로 한다.

주파수 신호가 대응되는 음계로 변환되는 단계에서 변환된 음계는 제2저장부에 저장되는 것을 특징으로 한다.

음계에 따라 진동을 전달하는 단계와 동시에 음계의 악보 또는 음계의 스펙트럼이 사용자 단말기의 화면에 보여지는 단계가 진행되는 것을 특징으로 한다.

본 발명에 따르면, 음악 및 사람의 목소리를 촉각 및 시각적으로 변환하여 청각 장애인에게 제공할 수 있는 효과가 있다.

따라서, 청각장애인에게 음악 및 사람의 목소리를 보다 감정적으로 느낄 수 있도록 하는 효과가 있다.

도 1은 본 발명에 따른 소리 변환 시스템의 구성도.
도 2는 본 발명에 따른 소리 변환 시스템이 적용된 사용자 단말기의 작동 전 개념도.
도 3은 본 발명에 따른 소리 변환 시스템이 적용된 사용자 단말기의 작동 시 개념도.
도 4는 본 발명에 따른 소리 변환 시스템의 소리 변환 방법 순서도.

상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 출원에서 사용되는 용어는 단지 특정한 실시 예들을 설명하기 위한 것으로, 본 발명을 한정하려는 의도가 아니다.

이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명한다.

본 발명은 청각 장애인을 위한 소리 변환 시스템 및 방법에 관한 것으로, 더욱 상세하게는 소리를 촉각 및 시각적으로 변환하여 전달하는 소리 변환 시스템 및 방법에 관한 발명이다.

도 1에는 본 발명에 따른 소리 변환 시스템의 구성도가 도시되어 있고, 도 2에는 본 발명에 따른 소리 변환 시스템이 적용된 사용자 단말기의 작동 전 개념도가 도시되어 있으며, 도 3에는 본 발명에 따른 소리 변환 시스템이 적용된 사용자 단말기의 작동 시 개념도가 도시되어 있다.

본 발명의 소리 변환 시스템은 애플리케이션이 실행되는 사용자 단말기(2)와, 상기 사용자 단말기(2)에 내장되며, 소리 데이터가 입력되는 입력부(4)와, 상기 사용자 단말기(2)에 내장되며, 상기 소리 데이터가 저장되는 제1저장부(6)와, 상기 사용자 단말기(2)에 내장되며, 상기 소리 데이터는 주파수 신호로 변환하는 주파수 변환부(8)와, 상기 사용자 단말기(2)에 내장되며, 상기 주파수 신호를 대응되는 음계로 변환되는 음계 변환부(10)와, 변환된 상기 음계가 저장되는 제2저장부(12)와, 상기 사용자 단말기(2)의 일측면에 장착되며, 상기 음계가 전달되어 상기 음계에 따라 사용자에게 진동을 전달하는 진동전달부;를 포함하여 구성된다.

상기 진동전달부는, 각각 7음계 중 어느 하나의 음계를 전달하는 7개의 음계 진동전달부(14)와, 상기 음계의 반음을 전달하는 샵 진동전달부(16) 및 플랫 진동전달부(18)와, 상기 음계의 옥타브를 전달하는 4개의 옥타브 진동전달부(20)를 포함하여 구성된다.

상기 진동전달부는 상기 사용자 단말기(2)를 손에 쥐거나 상기 사용자 단말기(2)에 손을 대고 있는 사용자에게 진동을 전달하기 위한 것으로, 진동을 발생시키기 위한 장치라면 어떤 장치가 적용되어도 무방하며, 바람직하게는 압력 센서, 리니어 액추에이터 및 진동 센서 중 어느 하나가 적용될 수 있다.

상기 진동전달부는 상기 사용자 단말기(2)의 일측면에 일체로 적용될 수도 있지만, 상기 사용자 단말기(2)가 수납되는 케이스에 적용될 수도 있다.

상기 진동전달부가 상기 케이스에 적용되는 경우, 상기 입력부(4), 상기 제1저장부(6), 상기 주파수 변환부(8), 상기 음계 변환부(10), 상기 제2저장부(12) 및 상기 애플리케이션은 무선 블루투스 등을 이용하여 상기 진동전달부와 연동된다.

상기 진동전달부는 상기 사용자 단말기(2)의 일측면 또는 상기 케이스에 대해 돌출될 수 있도록 구성된다.

즉, 상기 애플리케이션이 실행되지 않은 평상 시에는 도 1에 도시된 바와 같이, 상기 사용자 단말기(2)의 일측면 또는 상기 케이스의 내부에 삽입된 상태로 유지되다가 상기 애플리케이션이 실행되어 진동이 전달되면 도 2에 도시된 바와 같이, 상기 사용자 단말기(2)의 일측면 또는 상기 케이스로부터 돌출되어 상기 사용자에게 진동을 전달하게 된다.

상기 진동전달부가 상기 케이스에 구성되는 경우, 상기 케이스는 상기 사용자 단말기(2)와 연동되어 충전될 수 있다.

상기 진동전달부의 다른 실시예로는, 해당 진동전달부에 진동을 전달하여 상기 진동전달부의 돌출 없이 진동만을 상기 사용자에게 전달하게 된다.

상기 애플리케이션이 실행되어 상기 진동전달부를 통해 진동이 전달되면, 해당 진동의 음계는 상기 사용자 단말기(2)의 화면에서 스펙트럼으로 보여지거나, 악보로 보여지게 된다.

상기 소리 데이터는 사람의 목소리 거나 노래 파일을 포함할 수 있다.

하기에서는 상기 소리 변환 시스템의 소리 변환 방법에 대해 설명하도록 한다.

도 4에는 본 발명에 따른 소리 변환 시스템의 소리 변환 방법 순서도가 도시되어 있다.

본 발명의 소리 변환 시스템의 소리 변환 방법은,

상기 사용자 단말기(2)에서 애플리케이션이 실행되는 단계;(S100)

소리 데이터를 준비하는 단계;(S200)

상기 사용자 단말기(2)의 주파수 변환부(8)에서 상기 소리 데이터가 주파수 신호로 변환되는 단계;(S300)

상기 사용자 단말기(2)의 음계 변환부(10)에서 상기 주파수 신호가 대응되는 음계로 변환되는 단계;(S400)

상기 사용자 단말기(2)의 진동전달부에서 상기 음계에 따라 진동을 전달하는 단계;(S500)를 포함하여 진행된다.

상기 사용자에 의해 상기 애플리케이션이 실행(S100)되면, 음계로 변환될 상기 소리 데이터가 준비(S200)된다.

상기 소리 데이터는 상기 제1저장부(6)에 이미 저장되어 있는 파일이거나 상기 입력부(4)를 통해 입력되는 파일일 수도 있다.

상기 소리 데이터를 준비하는 단계(S200)에서 상기 소리 데이터가 상기 제1저장부(6)에 이미 저장되어 있는 파일인 경우, 상기 소리 데이터가 주파수 신호로 변환되는 단계가 바로 진행된다.

하지만, 상기 소리 데이터가 기 저장된 소리 데이터가 아닌 경우, 상기 사용자 단말기(2)의 입력부(4)에 소리 데이터가 입력되는 단계와 상기 사용자 단말기(2)의 제1저장부(6)에 상기 소리 데이터가 저장되는 단계가 차례로 진행된다. 이후 상기 소리 데이터가 주파수 신호로 변환되는 단계(S300)가 진행된다.

상기 제1저장부(6)에 저장되어있는 상기 소리 데이터의 리스트는 상기 사용자 단말기(2)의 화면에 보여지며, 상기 사용자가 선택한 상기 소리 데이터는 상기 주파수 변환부(8)에서 주파수 신호로 변환된다.

상기 주파수 신호는 상기 음계 변환부(10)에서 상기 주파수 신호와 대응되는 음계로 변환된다.

상기 주파수 신호가 대응되는 음계로 변환되는 단계(S400)에서 변환된 상기 음계는 상기 제2저장부(12)에 저장되며, 음계로 변환되어 저장된 상기 소리 데이터의 리스트는 상기 사용자 단말기(2)의 화면에 보여지게 된다.

상기 사용자가 상기 음계로 변환된 소리 데이터 중 원하는 소리 데이터를 선택하여 재생을 진행하면, 상기 음계는 해당 진동전달부로 전달되어 상기 사용자에게 진동을 전달(S500)하게 된다.

상기 음계는 상기 음계 진동전달부(14), 상기 샵 진동전달부(16), 상기 플랫 진동전달부(18) 및 상기 옥타브 진동전달부(20) 중 해당 음계에 해당하는 진동전달부를 통해 진동을 전달하게 된다.

예를 들어, 상기 음계에 따라 진동을 전달하는 단계에서 상기 음계가 1옥타브의 도#인 경우, 1옥타브 진동전달부, 도 음계 진동전달부 및 샵 진동전달부가 동시에 진동 및 돌출되어진다.

상기 음계에 따라 진동을 전달하는 단계(S500)와 동시에 상기 음계의 악보 또는 상기 음계의 스펙트럼이 상기 사용자 단말기(2)의 화면에 보여지는 단계가 진행될 수 있다.

상기 사용자가 상기 제2저장부(12)에 저장되어 있는 상기 음계의 재생을 선택하는 경우, 상기 사용자 단말기(2)에서 애플리케이션이 실행되는 단계(S100) 이후 다른 단계의 진행 없이 바로 상기 사용자 단말기(2)의 진동전달부에서 상기 음계에 따라 진동을 전달하는 단계(S500)가 진행된다.

또한, 상기 사용자가 사익 제1저장부(6)에 저장되어 있는 상기 소리 데이터의 재생을 선택하는 경우, 상기 사용자 단말기(2)에서 애플리케이션이 실행되는 단계(S100) 이후 바로 상기 사용자 단말기(2)의 주파수 변환부(8)에서 상기 소리 데이터가 주파수 신호로 변환되는 단계(S400)가 진행되고, 이후 단계가 순차적으로 진행된다.

앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술 분야에 통상의 지식을 갖는 자라면 후술 될 특허청구범위에 기재된 본 발명의 사상 및 기술영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

2 : 사용자 단말기
4 : 입력부
6 : 제1저장부
8 : 주파수 변환부
10 : 음계 변환부
12 : 제2저장부
14 : 음계 진동전달부
16 : 샵 진동전달부
18 : 플랫 진동전달부
20 : 옥타브 진동전달부
S100 : 애플리케이션 실행 단계
S200 : 소리 데이터 준비 단계
S300 : 소리 데이터가 주파수 신호로 변환되는 단계
S400 : 주파수 신호가 대응되는 음계로 변환되는 단계
S500 : 음계에 따라 진동을 전달하는 단계

Claims

애플리케이션이 실행되는 사용자 단말기;
상기 사용자 단말기에 내장되며, 소리 데이터가 입력되는 입력부;
상기 사용자 단말기에 내장되며, 상기 소리 데이터가 저장되는 제1저장부;
상기 사용자 단말기에 내장되며, 상기 소리 데이터는 주파수 신호로 변환하는 주파수변환부;
상기 사용자 단말기에 내장되며, 상기 주파수 신호를 대응되는 음계로 변환되는 음계변환부;
변환된 상기 음계가 저장되는 제2저장부;
상기 사용자 단말기의 일측면에 장착되며, 상기 음계가 전달되어 상기 음계에 따라 사용자에게 진동을 전달하는 진동전달부;를 포함하는 것
을 특징으로 하는 청각 장애인을 위한 소리 변환 시스템.
제1항에 있어서,
상기 진동전달부는,
각각 7음계 중 어느 하나의 음계를 전달하는 7개의 음계 진동전달부와,
상기 음계의 반음을 전달하는 샵 진동전달부 및 플랫 진동전달부와,
상기 음계의 옥타브를 전달하는 4개의 옥타브 진동전달부를 포함하는 것
을 특징으로 하는 청각 장애인을 위한 소리 변환 시스템.
제1항에 있어서,
상기 진동전달부는 압력 센서, 리니어 액추에이터 및 진동 센서 중 어느 하나인 것을 특징으로 하는 청각 장애인을 위한 소리 변환 시스템.
제1항에 있어서,
상기 진동전달부는 평상 시 상기 사용자 단말기의 일측면의 내부에 삽입된 상태인 것을 특징으로 하는 청각 장애인을 위한 소리 변환 시스템.
제4항에 있어서,
상기 진동전달부의 진동 전달 시 해당 진동전달부는 상기 사용자 단말기의 일측면으로부터 돌출되는 것을 특징으로 하는 청각 장애인을 위한 소리 변환 시스템.
제1항에 있어서,
상기 애플리케이션의 실행 시 상기 사용자 단말기의 화면에는 상기 음계의 스펙트럼이 보여지는 것을 특징으로 하는 청각 장애인을 위한 소리 변환 시스템.
제1항에 있어서,
상기 애플리케이션의 실행 시 상기 사용자 단말기의 화면에는 상기 음계의 악보가 보여지는 것을 특징으로 하는 청각 장애인을 위한 소리 변환 시스템.
제1항에 있어서,
상기 소리 데이터는 사람의 목소리 및 노래 파일을 포함하는 것을 특징으로 하는 청각 장애인을 위한 소리 변환 시스템.
제1항 내지 제8항 중 어느 한 항의 소리 변환 시스템을 이용한 소리 변환 방법에 있어서,
상기 사용자 단말기에서 애플리케이션이 실행되는 단계;
소리 데이터를 준비하는 단계;
상기 사용자 단말기의 주파수 변환부에서 상기 소리 데이터가 주파수 신호로 변환되는 단계;
상기 사용자 단말기의 음계 변환부에서 상기 주파수 신호가 대응되는 음계로 변환되는 단계;
상기 사용자 단말기의 진동전달부에서 상기 음계에 따라 진동을 전달하는 단계;를 포함하는 것
을 특징으로 하는 청각 장애인을 위한 소리 변환 방법.
제9항에 있어서,
상기 소리 데이터를 준비하는 단계에서 상기 소리 데이터가 기 저장된 소리 데이터가 아닌 경우,
상기 사용자 단말기의 입력부에 소리 데이터가 입력되는 단계;
상기 사용자 단말기의 제1저장부에 상기 소리 데이터가 저장되는 단계;가 진행되는 것
을 특징으로 하는 청각 장애인을 위한 소리 변환 방법.
제9항에 있어서,
상기 음계에 따라 진동을 전달하는 단계에서 상기 음계의 진동은,
각각 7음계 중 어느 하나의 음계를 전달하는 7개의 음계 진동전달부와,
상기 음계의 반음을 전달하는 샵 진동전달부 및 플랫 진동전달부와,
상기 음계의 옥타브를 전달하는 4개의 옥타브 진동전달부를 통해 전달되는 것
을 특징으로 하는 청각 장애인을 위한 소리 변환 방법.
제9항에 있어서,
상기 음계에 따라 진동을 전달하는 단계에서,
해당 진동전달부는 상기 사용자 단말기의 일측면으로부터 돌출되는 것을 특징으로 하는 청각 장애인을 위한 소리 변환 방법.
제9항에 있어서,
상기 주파수 신호가 대응되는 음계로 변환되는 단계에서 변환된 상기 음계는 제2저장부에 저장되는 것을 특징으로 하는 청각 장애인을 위한 소리 변환 방법.
제9항에 있어서,
상기 음계에 따라 진동을 전달하는 단계와 동시에 상기 음계의 악보 또는 상기 음계의 스펙트럼이 상기 사용자 단말기의 화면에 보여지는 단계가 진행되는 것을 특징으로 하는 청각 장애인을 위한 소리 변환 방법.