KR20220082440A

KR20220082440A - 소음 환경 하 언어인지 청능훈련방법 및 시스템

Info

Publication number: KR20220082440A
Application number: KR1020200172357A
Authority: KR
Inventors: 이효정; 김자희; 심이슬
Original assignee: 한림대학교 산학협력단
Priority date: 2020-12-10
Filing date: 2020-12-10
Publication date: 2022-06-17
Also published as: KR102535005B1

Abstract

본 발명은 소음 환경 하 언어인지 청능훈련방법 및 시스템에 관한 것이다. 상기 방법은, 가상현실 또는 증강현실 장치를 이용하여 청능훈련을 수행하기 위한, 소음 환경 하 언어인지 청능훈련방법으로서, (a) 미리 정해진 복수의 연습 환경 유형 중 피험자로부터 선택된 연습 환경 유형을 포함하는 훈련 세팅 정보를 수신하는 단계; (b) 상기 훈련 세팅 정보을 반영하여, 상기 피험자가 선택한 연습 환경 유형에 대한 환경음 및 음성이 녹음된 훈련음을 동시에 피험자에게 재생하는 단계; 및 (c) 피험자의 반응을 획득하고, 피험자가 상기 훈련음을 정확히 인식하였는지를 판단하여 훈련 결과 데이터를 생성하는 단계를 포함할 수 있다.

Description

소음 환경 하 언어인지 청능훈련방법 및 시스템{AUDITORY TRAINING METHOD AND SYSTEM IN NOISY ENVIRONMENT}

본 발명은 다양한 일상생활에서의 소음 환경을 반영하여 일상생활 내 청각의사소통능력을 증진시키기 위한, 소음 환경 하 언어인지 청능훈련방법 및 시스템에 관한 것이다.

난청은 우리나라 인구의 약 22.7%정도에서 관찰되며, 연령이 증가함에 따라 난청 인구가 증가하여 약 65세 이상의 노인층에서는 약 30% 정도가 청각 재활이 필요한 중등도 이상의 난청을 갖고 있다. 현대사회의 환경적 특성으로 인해, 소음 노출의 기간은 길어지고 대사성 질환을 가진 환자의 증가와 함께 인구의 고령화가 진행되면서 난청 환자는 점차 증가하고 있다. 그러나, 우리나라를 포함한 여러 나라에서는 난청 환자들의 보청기 착용률이 매우 낮다.

이는, 보청기 착용 후에도 여전히 소음 속 상황에서의 어음 인지도(speech recognition)가 저하되어 의사소통에 어려움이 있기 때문인데, 이러한 경우 보청기에 의해 증폭된 소리에 적응하기 어려워 청각 재활의 효과를 보기 힘들고, 보청기의 효과에 대한 나쁜 편견이 사회적으로 증가하는 원인이 되기도 한다.

기존 청각재활의 한계점은 다음과 같이 국내 청능 재활 훈련의 다양성 부재, 및 공간적 제약으로 나누어 볼 수 있다.

국내 청능 재활 훈련의 다양성 부재에 관하여, 청각의사소통의 증진을 위한 청능 재활 훈련은 해외에서 다양하게 개발되어 사용되고(예: LACE program, eARena, Hear Coach, i-Angel Sound 등) 있으며, 훈련의 효과를 검증하는 논문은 다수 개시되어 있다. 그러나, 국내의 경우, 2017년 한림대학교 국제대학원 청각언어연구소에서 개발한 청능 훈련 프로그램(Auditory Training Apps) 외에 청능훈련을 위한 도구 개발이 이루어지고 있지만, 개발된 청능 훈련 프로그램의 임상적 효과 검증이 미비한 실정이며, 이는 연구 및 훈련 도구 개발이 활발한 해외의 상황과는 대조적이다.

공간적 제약에 관하여, 현재까지 난청 환자를 위한 청능 재활은 주로 방문 훈련을 통해 이루어지는 것에 반해, 컴퓨터 및 앱 기반의 휴대용 훈련 도구 개발 및 사용은 활발하게 이루어지지 않고 있다. 그 이유는, 청능 훈련 시 제공되는 음원(소리)에 대하여 정확한 정보를 제공하기 위해 소음을 차단하는 방음 공간을 필수적으로 사용하여야 하는 공간적 요구의 필요성이 있는 한편, 일반적으로 실제 사용 가능한 공간에는 제약이 따르기 때문이다.

이에, 임상에서 기존에 사용하던 음장(sound field) 내 훈련 방식에서 벗어나, 공간의 제약 없이 훈련자를 만나지 않는 비대면 상황에서 정해진 훈련 장소를 방문하지 않고도 집과 같은 일상적인 공간에서 청능 훈련을 수행할 수 있도록 하는 언어인지 청능훈련방법의 필요성이 증대되고 있다.

대한민국 등록특허공보 제10-1420057호

본 발명의 목적은 공간의 제약 없이 훈련자를 만나지 않는 비대면 상황에서, 다양한 일상생활에서의 소음 환경을 반영하여 일상생활 내 청각의사소통능력을 증진시킬 수 있도록 하는, 소음 환경 하 언어인지 청능훈련방법 및 시스템을 제공함에 있다.

위와 같은 과제를 해결하기 위한 본 발명의 제1 측면은 소음 환경 하 언어인지 청능훈련방법에 관한 것이다. 상기 방법은, 가상현실 또는 증강현실 장치를 이용하여 청능훈련을 수행하기 위한, 소음 환경 하 언어인지 청능훈련방법으로서, (a) 미리 정해진 복수의 연습 환경 유형 중 피험자로부터 선택된 연습 환경 유형을 포함하는 훈련 세팅 정보를 수신하는 단계; (b) 상기 훈련 세팅 정보을 반영하여, 상기 피험자가 선택한 연습 환경 유형에 대한 환경음 및 음성이 녹음된 훈련음을 동시에 피험자에게 재생하는 단계; 및 (c) 피험자의 반응을 획득하고, 피험자가 상기 훈련음을 정확히 인식하였는지를 판단하여 훈련 결과 데이터를 생성하는 단계를 포함할 수 있다.

본 발명의 실시예에 따르면, 상기 (a) 단계 이전에, 미리 정해진 복수의 연습 환경 유형에 대한 환경음을 획득하는 단계; 및 외부로부터 수신되는 음성을 녹음하여 훈련음을 생성하는 단계를 더 포함할 수 있다.

본 발명의 실시예에 따르면, 상기 환경음 획득 단계는, 복수의 영상매체로부터 상기 복수의 연습 환경 유형에 해당하는 영상을 수집하고, 상기 수집된 영상으로부터 환경음을 추출하는 단계; 및 상기 추출된 환경음을 녹음하는 단계를 포함할 수 있다.

본 발명의 실시예에 따르면, 상기 훈련음 생성 단계는, 상기 녹음된 음성을 미리 정해진 크기만큼 증폭시키는 단계; 및 상기 증폭된 음성에서 노이즈를 제거하여 훈련음을 생성하는 단계를 포함할 수 있다.

본 발명의 실시예에 따르면, 상기 훈련 세팅 정보는 피험자로부터 선택된, 서로 다른 음절 길이를 갖는 어휘 및 문장을 포함하는 어음 유형, 서로 다른 크기의 신호 대 잡음비를 포함하는 잡음비 유형, 및 서로 다른 음원 강도 또는 재생 빈도를 포함하는 난이도 유형을 포함할 수 있다.

본 발명의 실시예에 따르면, 상기 (a) 단계는, (a-1) 피험자에게 상기 훈련 세팅 정보의 각 유형을 선택 가능하게 디스플레이하는 단계; 및 (a-2) 상기 피험자가 선택한 상기 훈련 세팅 정보의 유형 정보를 수신하는 단계를 포함할 수 있다.

본 발명의 실시예에 따르면, 상기 (c) 단계 이후에, (d) 상기 훈련 결과 데이터를 피험자에게 디스플레이하는 단계를 더 포함할 수 있다.

본 발명의 제2 측면은 소음 환경 하 언어인지 청능훈련시스템에 관한 것이다. 상기 시스템은, 디스플레이를 구비하는 가상현실 또는 증강현실 장치를 이용하여 청능훈련을 수행하기 위한, 소음 환경 하 언어인지 청능훈련시스템으로서, 미리 정해진 복수의 연습 환경 유형 중 피험자로부터 선택된 연습 환경 유형을 포함하는 훈련 세팅 정보를 수신하는 훈련 설정부; 상기 훈련 설정부로부터 상기 훈련 세팅 정보를 수신하고, 상기 훈련 세팅 정보을 반영하여, 상기 피험자가 선택한 연습 환경 유형에 대한 환경음 및 음성이 녹음된 훈련음을 동시에 피험자에게 재생하는 재생부; 및 피험자의 반응을 획득하고, 피험자가 상기 훈련음을 정확히 인식하였는지를 판단하여 훈련 결과 데이터를 생성하는 반응정보 판단부를 포함할 수 있다.

본 발명의 실시예에 따르면, 미리 정해진 복수의 연습 환경 유형 각각에 대한 환경음을 획득하는 환경음 획득부; 및 인체 모형 또는 사람의 양쪽 귀에 각각 착용된 마이크로폰을 이용하여, 외부로부터 수신되는 음성을 녹음하여 훈련음을 생성하는 훈련음 생성부를 더 포함할 수 있다.

본 발명의 실시예에 따르면, 상기 환경음 획득부는, 복수의 영상매체로부터 상기 복수의 연습 환경 유형에 해당하는 영상을 수집하고, 상기 수집된 영상으로부터 환경음을 추출하고, 상기 마이크로폰을 통해 상기 추출된 환경음을 녹음할 수 있다.

본 발명의 실시예에 따르면, 상기 훈련음 생성부는, 상기 녹음된 음성을 미리 정해진 크기만큼 증폭하고, 상기 증폭된 음성에서 노이즈를 제거하여 훈련음을 생성할 수 있다.

본 발명의 실시예에 따르면, 상기 훈련 설정부는, 상기 디스플레이를 통해 피험자에게 상기 훈련 세팅 정보의 각 유형을 선택 가능하게 디스플레이하고, 상기 피험자가 선택한 상기 훈련 세팅 정보의 유형 정보를 수신할 수 있다.

본 발명의 실시예에 따르면, 상기 반응정보 판단부로부터 상기 훈련 결과 데이터를 수신하고, 상기 디스플레이를 통해 상기 훈련 결과 데이터를 피험자에게 제공하는 훈련 결과 제공부를 더 포함할 수 있다.

본 발명에 따르면, 개인의 잔존 청각 능력에 따라 훈련의 수준(난이도)를 조절하여 진행하는 것이 가능하며, 다양한 듣기 환경을 반영한 컨텐츠를 사용하여 일상생활 내 청각의사소통능력을 증진시킬 수 있다.

또한, 임상에서 기존에 사용하던 음장(sound field) 내 훈련 방식에서 벗어나, 공간의 제약 없이 훈련자를 만나지 않는 비대면 상황에서 정해진 훈련 장소를 방문하지 않고도 집과 같은 일상적인 공간에서 청능 훈련을 수행할 수 있다.

또한, 가상현실(Virtual Reality) 및 증강현실(Augmented Reality)를 적용하여 사용자에게 시각적 화면을 제공하고, 사용자의 반응을 체크하여 사용자에게 즉각적인 시각적 피드백을 제공할 수 있다.

도 1은 본 발명에 따른 소음 환경 하 언어인지 청능훈련방법의 각 단계를 나타낸 순서도이다.
도 2의 (a), (b)는 각각 본 발명에 따른 소음 환경 하 언어인지 청능훈련방법에 적용되는 마이크로폰, 및 상기 마이크로폰을 착용한 인체 모형 또는 피험자를 통해 외부 스피커로부터 음성을 녹음하는 상태를 나타낸 도면이다.
도 3은 피험자가 가상현실 또는 증강현실 장치를 착용한 상태를 나타낸 도면이다.
도 4는 본 발명에 따른 소음 환경 하 언어인지 청능훈련방법의 각 단계 중, 훈련음 생성 단계의 음원 녹음 및 신호 처리 과정의 각 단계를 나타낸 순서도이다.
도 5는 본 발명에 따른 소음 환경 하 언어인지 청능훈련방법의 각 단계 중, 훈련 세팅 단계, 재생 단계, 및 평가 단계의 상세 단계를 나타낸 순서도이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 내용을 설명한다. 그리고 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

도 1은 본 발명에 따른 소음 환경 하 언어인지 청능훈련방법의 각 단계를 나타낸 순서도이다. 도 2의 (a), (b)는 각각 본 발명에 따른 소음 환경 하 언어인지 청능훈련방법에 적용되는 마이크로폰, 및 상기 마이크로폰을 착용한 인체 모형 또는 피험자를 통해 외부 스피커로부터 음성을 녹음하는 상태를 나타낸 도면이다.

도 1 및 도 2를 참조하면, 본 발명에 따른 소음 환경 하 언어인지 청능훈련방법은 마이크로폰(10), 환경음 획득부(20), 재생부(30), 반응정보 판단부(40), 및 훈련 설정부(50)를 포함하는 청능훈련시스템에 의해 수행될 수 있다. 마이크로폰(20)의 예로는 소음 차단 기능이 있는 양이녹음 마이크로폰(Sound professionals SP-TFB-2, Ultra low noise in-ear binaural microphones, sound professional Inc.)이 사용될 수 있다. 마이크로폰(20)은 사람의 외이도 입구에 고정 가능한 형태로 외부의 음원을 최대한 그대로 반영하여 녹음할 수 있도록 설계된다.

도 3은 피험자가 가상현실 또는 증강현실 장치를 착용한 상태를 나타낸 도면이다.

도 3을 참조하면, 상기 청능훈련시스템은 디스플레이를 구비하는 가상현실 또는 증강현실 장치(60)를 포함할 수 있다. 가상현실 또는 증강현실 장치를 통해, 난청 환자를 대상으로 공간적 제약 없이 방음 부스 밖에서 시청각 복합 자극을 더욱 용이하게 제공할 수 있다. 상기 가상현실 또는 증강현실 장치는 예를 들어 VIVA pro(HTC), Oculus lift, MS hololens 등과 같은 공지의 VR/AR 장치들이 사용될 수 있다.

가상현실 또는 증강현실 장치는 디스플레이를 통해 사용자에게 청능 훈련 화면을 제공할 수 있을 뿐만 아니라, 사용자에게 음성을 제공할 수 있는 스피커 등을 구비한 재생부, 및 사용자의 반응을 인식할 수 있는 센서 등을 구비한 반응정보 판단부를 추가로 포함할 수 있다.

본 발명에 따른 소음 환경 하 언어인지 청능훈련방법은 환경음 획득 단계(s10), 훈련음 생성 단계(s20), 훈련 세팅 단계(s30), 재생 단계(s40), 및 평가 단계(s50)를 포함할 수 있다.

환경음 획득 단계(s10)는 환경음 획득부(20)가 미리 정해진 복수의 연습 환경 유형 각각에 대한 환경음을 획득하는 단계이다. 연습 환경 유형에는 예를 들어, 카페, 운동 경기장, 버스 정류장, 지하철, 학교 등의 일상적으로 빈번하게 접하는 복수의 환경 유형이 포함된다.

환경음 획득 단계(s10)는 음성 추출 단계(s11), 음성 녹음 단계(s12)를 포함한다.

음성 추출 단계(s11)는 복수의 영상매체로부터 상기 복수의 연습 환경 유형에 해당하는 영상을 수집하고, 상기 수집된 영상으로부터 환경음을 추출하는 단계이다. 음성 추출 단계(s11)에서는 일상적으로 빈번하게 들을 수 있는 일상생활 환경음을 다양한 영상매체에서 수집할 수 있다. 이는, 영상매체에서 영상을 다운로드하여, wav 파일 등으로 환경음을 추출하는 방식으로 진행될 수 있다.

음성 녹음 단계(s12)는 마이크로폰(10)을 통해 추출된 환경음을 녹음하는 단계이다. 마이크로폰(10)을 착용한 정상 청력을 가진 청자(건청인: Normal hearing individual)를 방음 부스 또는 전문 음향 녹음 무음실에 입실하여 의자에 착석하도록 한 후, 스피커(11)를 통해 청자의 정면(스피커(11)와의 각도 0도)에서 상기 환경음을 들려주며 녹음을 진행한다.

훈련음 생성 단계(s20)는 훈련음 생성부가 인체 모형 또는 사람의 양쪽 귀에 각각 착용된 마이크로폰(10)을 이용하여, 외부에서 수신되는 음성을 녹음하여 훈련음을 생성하는 단계이다. 이는, 여성 및 남성 성우를 통해 목표 어음 음원을 동일한 강도로 대략 2번 반복하여 읽도록 하여, 인체 모형 또는 사람이 착용하고 있는 마이크로폰(10)을 통해 녹음을 진행할 수 있다. 한편, 1 내지 3음절 어휘(의미 및 무의미 음절) 및 일상생활 문장(의미 포함 또는 의미 미포함)을 포함하는 어음(Speech)의 경우, 기존 청능 재활 프로그램에서 사용한 음원 리스트 목록에서 발췌할 수 있다.

상기 환경음 획득 단계(s10) 및 훈련음 생성 단계(s20)는 순차적으로 수행되는데, 이를 위한 녹음 진행 과정을 설명하면 다음과 같다. 녹음 세팅 파라미터는 예를 들어 샘플링 레이트(Sampling rate) 48,000Hz, 스테레오 타입, 및 16-bit로 설정될 수 있다.

먼저, 인체 모형 또는 피험자가 스피커와 1 내지 1.5m 간격을 두고 배치되며, 인체 모형 또는 피험자는 머리가 고정된 채 앉아있는 자세를 취한다. 녹음에 필요한 스피커는 1개로 구성될 수 있으며, 스피커는 인체 모형 또는 피험자의 귀, 더욱 바람직하게는 마이크로폰(10)의 높이와 같은 높이에 배치된다. 그 다음, 인체 모형 또는 피험자가 스피커의 정면(0도)에 앉아서 음원을 듣게 한다. 음원은 환경음에서 훈련음의 순서로 제시된다. 음원 제시 강도는 사람이 충분히 들을 수 있는 75dB HL 수준으로 제시될 수 있다.

도 4는 본 발명에 따른 소음 환경 하 언어인지 청능훈련방법의 각 단계 중, 훈련음 생성 단계의 음원 녹음 및 신호 처리 과정의 상세 단계를 나타낸 순서도이다.

도 4를 참조하면, 훈련음 생성 단계(s20)는 녹음된 음원인 훈련음을 훈련 자극음(stimuli)으로 사용하기 위한 신호 처리 과정을 포함한다. 상기 신호 처리 과정은 증폭 단계(s21), 및 노이즈 제거 단계(s22)를 포함한다.

증폭 단계(s21)는 훈련음을 생성하기 위해 녹음된 음성을 미리 정해진 크기만큼 증폭시키는 단계이다. 증폭 단계(s21)에서는 마이크로폰(10)을 통해 녹음된 음원을 미리 정해진 크기만큼(예를 들어 15dB) 증폭시킨다.

노이즈 제거 단계(s22)는 상기 증폭된 음성에서 노이즈를 제거하여 훈련음을 생성하는 단계이다. 노이즈 제거 단계(s22)에서는 음원 외에 청자의 움직임과 부스 내에 존재하는 미세한 잡음 제거를 위해 소음 제거 후, 적응 노이즈 감소를 통해 신호만 추출한다. 소음 제거용 소프트웨어로는 예를 들어, Adobe Premium Pro 2020, Adobe Systems Inc. 등이 적용될 수 있다.

이를 통해, 청능 재활 프로그램용 자극음(stimuli)이 생성될 수 있다. 다만, 상기 신호 처리 과정은 훈련음 생성 단계(s20)뿐만 아니라 환경음 획득 단계(s10)에도 적용 가능하다. 이 경우, 증폭 대상인 음성은 복수의 영상매체에서 수집된 상기 영상의 음향으로 대체되며, 생성 대상은 훈련음이 아닌 환경음으로 대체된다.

도 5는 본 발명에 따른 소음 환경 하 언어인지 청능훈련방법의 각 단계 중, 훈련 세팅 단계, 재생 단계, 및 평가 단계의 상세 단계를 나타낸 순서도이다.

도 5를 참조하면, 훈련 세팅 단계(s30)는 훈련 설정부(50)가 복수의 연습 환경 유형 중 피험자로부터 선택된 연습 환경 유형을 포함하는 훈련 세팅 정보를 수신하는 단계이다.

상기 훈련 세팅 정보는 상기 연습 환경 유형뿐만 아니라, 피험자로부터 선택된, 서로 다른 음절 길이를 갖는 어휘 및 문장을 포함하는 어음 유형, 서로 다른 크기의 신호 대 잡음비를 포함하는 잡음비 유형, 서로 다른 음원 강도 또는 재생 빈도를 포함하는 난이도 유형, 객관식 및 주관식(정답 직접 입력) 답변 형태를 포함하는 반응 유형을 선택할 수 있다.

훈련 세팅 단계(s30)에서 피험자는 연습 환경 유형 선택 단계(s31), 어음 유형 선택 단계(s32), 잡음비 유형 성택 단계(s33), 난이도 유형 선택 단계(s34), 및 반응 유형 선택 단계(s35)를 차례로 거쳐 훈련을 세팅할 수 있다. 다만, 상기 순서는 변경 가능하다.

연습 환경 유형에는, 카페, 운동경기장, 버스 정류장, 지하철, 학교 등의 피험자가 평상시 마주할 수 있는 다양한 연습 상황이 포함된다.

어음 유형에는, 1 내지 3 음절 어휘 중 무의미 어휘, 1 내지 3 음절 어휘 중 의미 어휘, 문장 중 무의미 문장, 문장 중 의미 문장 등의 서로 다른 음절 길이, 및 의미 여부가 포함된다.

잡음비 유형에는, +20 내지 -20 신호 대 잡음비 레벨(SNR level) 사이에서 1 단위로 선택 가능한 서로 다른 크기의 신호 대 잡음비가 포함된다.

난이도 유형에는, 서로 다른 음원 강도 또는 재생 빈도에 따라 상, 중, 하로 나뉘어지는 서로 다른 난이도가 포함된다.

피험자가 상기 훈련 세팅 정보의 각 유형을 선택하면, 훈련 설정부(50)는 피험자에 의해 선택된 유형 정보를 수신할 수 있다. 훈련 설정부(50)는 상기 선택된 유형 정보를 재생부(30)에 송신할 수 있다.

이 경우, 훈련 세팅 단계(s30)는 디스플레이 단계(s31), 및 유형 수신 단계(s32)를 포함할 수 있다.

디스플레이 단계(s31)는 디스플레이를 통해 피험자에게 상기 훈련 세팅 정보의 각 유형을 선택 가능하게 디스플레이하는 단계이다.

유형 수신 단계(s32)는 훈련 설정부(50)가 상기 피험자가 선택한 훈련 세팅 정보의 유형 정보를 수신하는 단계이다. 피험자는 디스플레이된 훈련 세팅 정보의 각 유형을 본 후, 본인의 잔존 청력 능력을 고려하여 어떠한 세팅에서 훈련을 진행할 것인지를 선택하면, 이러한 정보는 훈련 설정부(50)에 송신된다.

피험자가 자신이 연습하고자 하는 훈련 세팅을 완료한 후, 재생 단계(40) 및 평가 단계(s50)가 수행된다.

재생 단계(s40)는 재생부(30)가 훈련 설정부(50)로부터 상기 훈련 세팅 정보를 수신하고, 상기 훈련 세팅 정보를 반영하여 환경음과 훈련음을 동시에 피험자에게 재생하는 단계이다.

예를 들어, 피험자가 연습 환경 유형 중 버스 정류장, 어음 환경 유형 중 3음절의 의미 어휘, 잡음비 유형 중 +10의 신호 대 잡음비 레벨, 난이도 상을 선택한 경우, 재생부(30)는 상기 피험자가 선택한 훈련 세팅 정보에 해당하는 환경음과 훈련음을 재생한다.

재생 단계(s40)에서 환경음과 훈련음을 동시에 피험자에게 재생함으로써 이루어지는 훈련은 다양한 기간, 주기, 및 횟수로 구성될 수 있으며, 훈련 시간 및 횟수는 피험자의 필요와 수행도 변화에 따라 조절이 가능하다.

평가 단계(s50)는 반응정보 판단부(40)가 피험자의 반응을 획득하여, 피험자가 상기 훈련음을 정확히 인식하였는지를 판단하여 훈련 결과 데이터를 생성하는 단계이다. 피험자는 상기 선택한 연습 상황에서의 환경음이 재생되는 상황 하에서, 훈련음을 이어폰을 통해 듣고 가상현실 또는 증강현실 장치의 디스플레이에 나타난 보기 중에 반응할 수 있다. 상기 반응은 예를 들어 별도의 입력 장치 또는 센싱 장치를 통해 장치에 입력될 수 있다. 한편, 상기 설정된 반응 유형에 따라 피험자는 답변 형식으로 객관식 또는 주관식 중 하나를 선택하여 답변할 수 있다.

평가 단계(s50) 이후에는, 피드백 단계(s60)가 후속적으로 수행될 수 있다.

피드백 단계(s60)는 훈련 결과 제공부가 상기 디스플레이를 통해 반응정보 판단부(40)로부터 상기 훈련 결과 데이터를 수신하고, 상기 훈련 결과 데이터를 피험자에게 제공하는 단계이다. 피험자의 정반응과 오반응에 따라 상기 디스플레이 화면을 통해 즉각적인 시각적 피드백(예: “O”/”X”와 같은 표시, 또는 “정답입니다”/”오답입니다”와 같은 문장 사용)이 제공되며, 피험자가 자신의 훈련 수행 경과에 대해 스스로 체크할 수 있도록 한다. 이때, 피험자의 훈련 결과는 로그 파일로 저장되어 피험자 스스로 훈련 진행 상황을 모니터할 수 있도록 한다.

상기와 같은 VR/AR 장치를 이용한 청능 재활 훈련은 일상의 다양한 환경에서 여러 언어적 범주, 듣기, 음량, 난이도, 및 반응 형태 등을 선택하여 진행하는 재활 프로그램으로서, 각 개인의 필요와 듣기 능력을 반영한 개별화된 청능 훈련을 수행할 수 있도록 한다.

이는, 궁극적으로 일상생활에서 피험자 스스로 청능 재활 훈련을 수행함으로써 훈련의 일반화를 이루려는 것을 목표로 하며, 상기 본 발명의 실시예들을 통해 피험자는 공간과 시간의 제약을 벗어나, 본인이 원하는 시간 및 공간에서 훈련을 진행할 수 있다. 이에 따라, 피험자의 훈련 시행에 대한 접근성이 높아지므로, 피험자의 자발적인 참여를 통한 향상된 훈련 효과를 기대할 수 있다.

이 분야의 보호범위가 이상에서 명시적으로 설명한 실시예의 기재와 표현에 제한되는 것은 아니다. 또한, 본 발명이 속하는 기술분야에서 자명한 변경이나 치환으로 말미암아 본 발명의 보호범위가 제한될 수도 없음을 다시 한 번 첨언한다.

Claims

가상현실 또는 증강현실 장치를 이용하여 청능훈련을 수행하기 위한, 소음 환경 하 언어인지 청능훈련방법으로서,
(a) 미리 정해진 복수의 연습 환경 유형 중 피험자로부터 선택된 연습 환경 유형을 포함하는 훈련 세팅 정보를 수신하는 단계;
(b) 상기 훈련 세팅 정보을 반영하여, 상기 피험자가 선택한 연습 환경 유형에 대한 환경음 및 음성이 녹음된 훈련음을 동시에 피험자에게 재생하는 단계; 및
(c) 피험자의 반응을 획득하고, 피험자가 상기 훈련음을 정확히 인식하였는지를 판단하여 훈련 결과 데이터를 생성하는 단계를 포함하는 것을 특징으로 하는, 소음 환경 하 언어인지 청능훈련방법.
제1항에 있어서,
상기 (a) 단계 이전에,
미리 정해진 복수의 연습 환경 유형에 대한 환경음을 획득하는 단계; 및
외부로부터 수신되는 음성을 녹음하여 훈련음을 생성하는 단계를 더 포함하는 것을 특징으로 하는, 소음 환경 하 언어인지 청능훈련방법.
제2항에 있어서,
상기 환경음 획득 단계는,
복수의 영상매체로부터 상기 복수의 연습 환경 유형에 해당하는 영상을 수집하고, 상기 수집된 영상으로부터 환경음을 추출하는 단계; 및
상기 추출된 환경음을 녹음하는 단계를 포함하는 것을 특징으로 하는, 소음 환경 하 언어인지 청능훈련방법.
제2항에 있어서,
상기 훈련음 생성 단계는,
상기 녹음된 음성을 미리 정해진 크기만큼 증폭시키는 단계; 및
상기 증폭된 음성에서 노이즈를 제거하여 훈련음을 생성하는 단계를 포함하는 것을 특징으로 하는, 소음 환경 하 언어인지 청능훈련방법.
제1항에 있어서,
상기 훈련 세팅 정보는 피험자로부터 선택된, 서로 다른 음절 길이를 갖는 어휘 및 문장을 포함하는 어음 유형, 서로 다른 크기의 신호 대 잡음비를 포함하는 잡음비 유형, 및 서로 다른 음원 강도 또는 재생 빈도를 포함하는 난이도 유형을 포함하는 것을 특징으로 하는, 소음 환경 하 언어인지 청능훈련방법.
제1항에 있어서,
상기 (a) 단계는,
(a-1) 피험자에게 상기 훈련 세팅 정보의 각 유형을 선택 가능하게 디스플레이하는 단계; 및
(a-2) 상기 피험자가 선택한 상기 훈련 세팅 정보의 유형 정보를 수신하는 단계를 포함하는 것을 특징으로 하는, 소음 환경 하 언어인지 청능훈련방법.
제1항에 있어서,
상기 (c) 단계 이후에,
(d) 상기 훈련 결과 데이터를 피험자에게 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는, 소음 환경 하 언어인지 청능훈련방법.
디스플레이를 구비하는 가상현실 또는 증강현실 장치를 이용하여 청능훈련을 수행하기 위한, 소음 환경 하 언어인지 청능훈련시스템으로서,
미리 정해진 복수의 연습 환경 유형 중 피험자로부터 선택된 연습 환경 유형을 포함하는 훈련 세팅 정보를 수신하는 훈련 설정부;
상기 훈련 설정부로부터 상기 훈련 세팅 정보를 수신하고, 상기 훈련 세팅 정보을 반영하여, 상기 피험자가 선택한 연습 환경 유형에 대한 환경음 및 음성이 녹음된 훈련음을 동시에 피험자에게 재생하는 재생부; 및
피험자의 반응을 획득하고, 피험자가 상기 훈련음을 정확히 인식하였는지를 판단하여 훈련 결과 데이터를 생성하는 반응정보 판단부를 포함하는 것을 특징으로 하는, 소음 환경 하 언어인지 청능훈련시스템.
제8항에 있어서,
미리 정해진 복수의 연습 환경 유형 각각에 대한 환경음을 획득하는 환경음 획득부; 및
인체 모형 또는 사람의 양쪽 귀에 각각 착용된 마이크로폰을 이용하여, 외부로부터 수신되는 음성을 녹음하여 훈련음을 생성하는 훈련음 생성부를 더 포함하는 것을 특징으로 하는, 소음 환경 하 언어인지 청능훈련시스템.
제9항에 있어서,
상기 환경음 획득부는, 복수의 영상매체로부터 상기 복수의 연습 환경 유형에 해당하는 영상을 수집하고, 상기 수집된 영상으로부터 환경음을 추출하고, 상기 마이크로폰을 통해 상기 추출된 환경음을 녹음하는 것을 특징으로 하는, 소음 환경 하 언어인지 청능훈련시스템.
제9항에 있어서,
상기 훈련음 생성부는, 상기 녹음된 음성을 미리 정해진 크기만큼 증폭하고, 상기 증폭된 음성에서 노이즈를 제거하여 훈련음을 생성하는 것을 특징으로 하는, 소음 환경 하 언어인지 청능훈련시스템.
제8항에 있어서,
상기 훈련 세팅 정보는 피험자로부터 선택된, 서로 다른 음절 길이를 갖는 어휘 및 문장을 포함하는 어음 유형, 서로 다른 크기의 신호 대 잡음비를 포함하는 잡음비 유형, 및 서로 다른 음원 강도 또는 재생 빈도를 포함하는 난이도 유형을 포함하는 것을 특징으로 하는, 소음 환경 하 언어인지 청능훈련시스템.
제8항에 있어서,
상기 훈련 설정부는, 상기 디스플레이를 통해 피험자에게 상기 훈련 세팅 정보의 각 유형을 선택 가능하게 디스플레이하고, 상기 피험자가 선택한 상기 훈련 세팅 정보의 유형 정보를 수신하는 것을 특징으로 하는, 소음 환경 하 언어인지 청능훈련시스템.
제8항에 있어서,
상기 반응정보 판단부로부터 상기 훈련 결과 데이터를 수신하고, 상기 디스플레이를 통해 상기 훈련 결과 데이터를 피험자에게 제공하는 훈련 결과 제공부를 더 포함하는 것을 특징으로 하는, 소음 환경 하 언어인지 청능훈련시스템.