KR20230021490A - 시각을 이용한 청각 보조 시스템 및 청각 보조 방법 - Google Patents

Abstract

본 발명의 청각 보조 시스템은, 적어도 하나의 글라스 및 소리 감지부를 포함하고, 상기 소리 감지부를 통해 착용자의 주변 소리를 감지하여 관리 서버로 전달하고, 상기 관리 서버로부터 전달받은 이미지를 출력하는 안경; 상기 관리 서버로부터 전달받은 이미지 또는 텍스트 중 적어도 하나를 출력하는 시계; 및 상기 안경으로부터 전송된 소리 중 기설정된 세기 이상의 소리인 소리 이벤트를 분석하고, 분석된 소리 이벤트에 대응되는 이미지 또는 텍스트 중 적어도 하나를 생성하여 상기 안경 또는 상기 시계로 전송하는 관리 서버를 포함한다. 이에 의해 청각 장애를 가진 사용자가 주변에서 발생한 소리를 시각적 도구를 통해 사용자가 주변의 상황 및 위험 요소를 명확하게 인지할 수 있도록 할 수 있다.

Description

시각을 이용한 청각 보조 시스템 및 청각 보조 방법{Hearing auxiliary system and hearing auxiliary method using sight}

본 발명은 시각을 이용한 청각 보조 시스템 및 청각 보조 방법에 관한 것으로 보다 상세하게는, 일상생활에서 청각 장애로 느끼는 불편함을 해소할 수 있도록 시각을 이용하는 시각을 이용한 청각 보조 시스템 및 청각 보조 방법에 관한 것이다.

청각장애인은 선천적 또는 후천적으로 청각에 문제가 발생하여 음성 및 음향 등의 소리를 듣지 못하는 사람으로서, 청각의 문제로 인해 일상생활 중 많은 불편함과 위험에 노출되어 있다. 예를 들어 청각장애인은 실내에서 전화벨, 초인종 및 비상벨 등의 일상생활에서 빈번하게 발생하는 기본적인 소리를 들을 수 없으며, 실외에서는 각종 다양한 정보를 제공하기 위한 공공장소 및 대중교통 등의 음향서비스, 자동차 경음기(크락션) 등의 소리를 들을 수 없고, 이에 따라 오로지 시각으로만 모든 위험상황 및 정보를 인식하여야 하기 때문에 무수한 불편함과 위험을 감수하고 살아가고 있다.

즉 청각장애인은 촉각 또는 시각을 통해서만 모든 정보를 인지할 수 밖에 없기 때문에 시각을 벗어난 범위에서 발생하는 상황을 인지할 수 없으며, 아울러 시각의 범위 내에서 돌발 상황이 발생하더라도 일반인에 비해 인지속도 및 정확도가 떨어지는 한계를 갖는다.

특히 청각장애인의 수가 증가함과 동시에 청각장애인을 포함하는 사회적 약자에 대한 관심이 급증함에 따라 청각장애인의 불편함을 절감하고, 편의성을 높이기 위한 안전보조장치 및 시스템에 대한 다양한 연구가 진행되고 있다.

그러나 종래의 방법은 단순히 주파수의 데시벨이 한계치를 초과하는지에 대한 여부에 따라 소리의 위험성을 판단하기 때문에 일상생활에서 발생하는 다양한 소리나 위험상황을 나타내는 소리는 인지하지 못하는 한계를 갖는다.

국내공개실용신안 제20-2012-0004931호

본 발명은 상기와 같은 문제를 해결하기 위해 안출된 것으로, 본 발명의 목적은 청각 장애를 가진 사용자가 주변에서 발생한 소리를 시각적 도구를 통해 사용자가 주변의 상황 및 위험 요소를 명확하게 인지할 수 있도록 하는 시각을 이용한 청각 보조 시스템 및 청각 보조 방법을 제공하는 것이다.

그리고 본 발명의 다른 목적은 일상생활에서 신체에 착용가능한 시계와 안경을 이용하여 사용자에게 정확하고 신속한 주변 상황을 안내할 수 있으며, 타인과의 의사소통에 있어 타인의 현재 감정 상태를 알려줄 수 있는 시각을 이용한 청각 보조 시스템 및 청각 보조 방법을 제공하는 것이다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 청각 보조 시스템은, 적어도 하나의 글라스 및 소리 감지부를 포함하고, 상기 소리 감지부를 통해 착용자의 주변 소리를 감지하고, 감지된 소리에 기초한 이미지를 출력하는 안경; 상기 감지된 소리에 기초한 이미지 또는 텍스트 중 적어도 하나를 출력하는 시계; 및 상기 안경으로부터 감지되어 전송된 소리 중 기설정된 세기 이상의 소리인 소리 이벤트를 분석하고, 분석된 소리 이벤트에 대응되는 이미지 또는 텍스트 중 적어도 하나를 생성하여 상기 안경 또는 상기 시계로 전송하여 상기 안경 또는 상기 시계에서 출력되도록 하는 관리 서버를 포함한다.

여기서 상기 관리 서버는, 상기 소리 이벤트의 세기 및 발생위치를 분석하고, 분석된 상기 소리 이벤트의 세기에 대한 제1 이미지를 생성하고, 분석된 상기 소리 이벤트의 발생위치에 기초하여 상기 제1 이미지가 출력되는 좌표정보를 생성하여 상기 안경으로 전송할 수도 있다.

한편, 상기 제1 이미지는, 상기 소리 이벤트의 세기에 대응되는 적어도 하나의 막대기를 포함하는 막대 그래프 이미지이고, 상기 소리 이벤트의 세기에 따라 상기 적어도 하나의 막대기의 길이 및 색상을 다르게 생성할 수도 있다.

또한 상기 관리 서버는, 상기 소리 이벤트의 주파수 특성에 따라 상기 소리 이벤트의 종류를 배경음 또는 유성음으로 분류하고, 상기 소리 이벤트의 종류가 배경음으로 분류되면, 상기 배경음의 발생대상에 대응되는 제2 이미지 및 상기 배경음의 발생대상에 대응되는 의성어 텍스트를 생성할 수도 있다.

그리고 상기 관리 서버는, 상기 소리 이벤트의 종류가 유성음으로 분류되면 상기 유성음에 기초하여 상기 유성의 발생대상인 화자의 감정 상태를 분석하고, 분석된 상기 화자의 감정상태에 대응되는 색상을 포함하는 제3 이미지 및 상기 화자의 유성음에 대응되는 음성텍스트를 생성할 수도 있다.

여기서 상기 관리 서버는, 상기 소리 이벤트의 종류가 유성음으로 분류되면 진동신호를 추가로 생성하고, 상기 제3 이미지는 상기 화자의 감정상태에 대응되는 색상을 포함하는 배경이미지일 수도 있다.

상기 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 신체에 착용가능한 안경 및 시계를 이용하여 착용자 주변에서 발생하는 소리에 기초한 소리 이벤트를 사용자에게 시각적으로 안내하는 청각 보조 시스템에서의 청각 보조 방법은, 안경이 착용자의 주변 소리를 감지하는 소리 감지단계; 상기 안경이 감지된 소리를 전송하는 제1 전송단계; 관리 서버가 상기 안경으로부터 전송된 소리 중 기설정된 세기 이상의 소리인 소리 이벤트를 분석하는 분석단계; 상기 관리서버가 분석된 소리 이벤트에 대응되는 이미지 또는 텍스트 중 적어도 하나를 생성하는 생성단계; 상기 관리 서버가 생성된 이미지 또는 텍스트를 상기 안경 또는 시계로 전송하는 제2 전송단계; 및 상기 제2 전송단계를 통해 전송된 이미지 또는 텍스트가 상기 안경 또는 상기 시계에서 출력되는 출력단계를 포함한다.

여기서 상기 분석단계는, 상기 소리 이벤트의 세기 및 발생위치를 분석하는 제1 분석단계를 포함하고, 상기 생성단계에서는, 상기 제1 분석단계에서 분석된 소리 이벤트의 세기에 대응되는 제1 이미지를 생성하고, 상기 소리 이벤트의 발생위치에 기초하여 상기 제1 이미지가 출력되는 좌표정보를 생성할 수도 있다.

또한, 상기 제1 이미지는, 상기 분석된 소리 이벤트의 세기에 대응되는 적어도 하나의 막대기를 포함하는 막대 그래프 이미지이고, 상기 소리 이벤트의 세기에 따라 상기 적어도 하나의 막대기의 길이 및 색상이 다르게 생성할 수도 있다.

상기 분석단계는, 상기 소리 이벤트의 주파수 특성에 따라 상기 소리 이벤트의 종류를 배경음 또는 유성음으로 분류하는 제2 분석단계를 더 포함하고, 상기 생성단계에서는, 상기 제2 분석단계에서 상기 소리 이벤트의 종류가 배경음으로 분류되면, 상기 배경음의 발생대상에 대응되는 제2 이미지 및 상기 배경음의 발생대상에 대응되는 의성어 텍스트를 생성 할 수도 있다.

상기 분석단계는, 상기 제2 분석단계에서 상기 소리 이벤트의 종류가 유성음으로 분류되면 상기 유성음에 기초하여 상기 유성음의 발생대상인 화자의 감정상태를 분석하는 제3 분석단계를 더 포함하고, 상기 생성단계에서는, 상기 제3 분석단계에서 분석된 상기 화자의 감정상태에 대응되는 색상을 포함하는 제3 이미지 및 상기 화자의 유성음에 대응되는 음성텍스트를 생성 할 수도 있다.

또한 상기 생성단계에서는, 상기 제2 분석단계에서 상기 소리 이벤트의 종류가 유성음으로 분류되면 진동신호를 추가로 생성하고, 상기 제2 전송단계에서는, 상기 생성된 이미지 또는 텍스트와 상기 진동신호를 함께 전송 할 수도 있다.

상술한 본 발명의 일측면에 따르면, 시각을 이용한 청각 보조 시스템 및 청각 보조 방법을 제공함으로써, 청각 장애를 가진 사용자가 주변에서 발생한 소리를 시각적 도구를 통해 사용자가 주변의 상황 및 위험 요소를 명확하게 인지할 수 있도록 할 수 있다.

그리고 일상생활에서 신체에 착용가능한 시계와 안경을 이용하여 사용자에게 정확하고 신속한 주변 상황을 안내할 수 있으며, 타인과의 의사소통에 있어 타인의 현재 감정 상태를 알려줄 수 있다.

도 1은 본 발명의 일 실시예에 따른 청각 보조 시스템의 구성을 설명하기 위한 도면,
도 2는 본 발명의 일 실시예에 따른 청각 보조 시스템의 구체적인 구성을 설명하기 위한 도면,
도 3은 본 발명의 일 실시예에 따른 청각 보조 시스템에서 출력되는 제1 이미지를 설명하기 위한 도면,
도 4는 본 발명의 일 실시예에 따른 청각 보조 시스템에서 이미지가 출력되는 모습을 설명하기 위한 도면,
도 5 (a) 및 도 5 (b)는 본 발명의 일 실시예에 따른 청각 보조 시스템에서 이미지 및 텍스트가 출력되는 모습을 설명하기 위한 도면, 그리고,
도 6은본 발명의 일 실시예에 따른 청각 보조 방법을 설명하기 위한 흐름도이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하에서는 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 청각 보조 시스템의 구성을 설명하기 위한 도면, 도 2는 본 발명의 일 실시예에 따른 청각 보조 시스템의 구체적인 구성을 설명하기 위한 도면이다.

본 실시예에 따른 청각 보조 시스템은 사용자 주변에서 발생하는 소리를 수집하여 소리의 발생 및 위치를 사용자에게 알려줌과 동시에 소리에 대응되는 이미지를 사용자에게 시각적으로 제공하여 일상생활에서 청각 장애인이 느낄 수 있는 불편함을 해소하기 위해 마련된다.

이를 위해 도시된 바와 같이 본 실시예에 따른 청각 보조 시스템은 관리 서버(100), 안경(200) 및 시계(300)를 포함하여 구성되며, 관리 서버(100), 안경(200) 및 시계(300)는 네트워크통신을 기반으로 하여 서로 연동될 수 있다.

그리고 본 발명의 청각 보조 시스템을 구성하는 관리 서버(100), 안경(200) 및 시계(300)에는 청각 보조 방법을 수행하기 위한 소프트웨어(어플리케이션)가(이) 각각 설치되어 실행될 수 있으며, 관리 서버(100), 안경(200) 및 시계(300)의 구성은 청각 보조 방법을 수행하기 위한 소프트웨어에 의해 제어될 수 있다.

관리 서버(100), 안경(200) 및 시계(300)는 도시된 바와 같이 각각 별도의 단말이거나 또는 단말의 일부 모듈 마련될 수 있으며, 관리 서버(100), 안경(200) 및 시계(300)를 이루는 각 구성은 통합 모듈로 형성되거나, 하나 이상의 모듈로 이루어질 수 있는 것은 물론, 이와 반대로 각 구성은 별도의 모듈로 이루어질 수도 있다.

이를 위해 관리 서버(100)는 이동성을 갖거나 고정될 수 있으며, 운영체제(Operation System; OS), 즉 시스템을 기반으로 다양한 소프트웨어를 실행하거나 제작할 수 있다. 운영체제는 소프트웨어가 장치의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, 안드로이드 OS, iOS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 컴퓨터 운영체제 및 윈도우 계열, 리눅스 계열, 유닉스 계열, MAC, AIX, HP-UX 등 컴퓨터 운영체제를 모두 포함할 수 있다.

먼저 관리 서버(100)는 안경(200)에서 감지되는 착용자 주변의 소리를 수집하여 분석하고 분석한 결과에 따른 이미지를 포함하는 각종 신호를 생성하여 안경(200) 및 시계(300)로 전송하기 위해 마련되며, 통신부(110), 저장부(120) 및 제어부(130)를 포함하여 마련될 수 있다.

통신부(110)는 안경(200) 및 시계(300)와 같은 외부 기기 또는 외부 네트워크로부터 필요한 정보를 송수신하기 위해 마련되는 것으로 이를 통해서 학습 데이터나 청각 보조 방법을 수행하기 위한 소프트웨어를 입력받을 수 있다.

저장부(120)는 청각 보조 방법을 수행하기 위한 프로그램이 기록되고, 제어부(130)가 동작함에 있어 필요한 저장공간을 제공하여 제어부(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하며, 휘발성 저장매체 또는 비휘발성 저장 매체를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

그리고 저장부(120)에는 청각 보조 방법을 수행하면서 누적되는 데이터가 저장되거나, 안경(200) 및 시계(300)를 착용하는 사용자에 대한 정보, 안경(200) 및 시계(300)를 식별할 수 있는 정보, 그리고, 제어부(130)에서 분석된 소리 이벤트에 대응되는 이미지, 텍스트 및 진동패턴 등이 저장될 수 있다.

그리고 저장부(120)에는 감정판단부(133)에서 딥 러닝을 통해 소리 이벤트를 배경음으로 분류함에 있어 다양한 배경음을 인식하기 위한 배경음에 대한 정보들과 감정 인식을 위한 각종 정보들이 저장될 수 있다. 이러한 정보는 사전에 저장부(120)에 저장되거나 통신부(110)를 통해 외부로부터 관리될 수도 있다.

한편 제어부(130)는 안경(200)으로부터 전송된 소리 중 기설정된 세기 이상의 소리인 소리 이벤트를 분석하고, 분석된 소리 이벤트에 대응되는 이미지, 텍스트, 진동신호 중 적어도 하나를 생성하여 안경(200) 또는 시계(300)로 전송할 수 있다.

이를 위해 제어부(130)는 소리분석부(131), 감정판단부(133), 생성부(135) 및 학습부(137)를 포함하여 마련될 수 있다.

소리분석부(131)는 안경(200)에 포함된 소리감지부(230)로부터 감지된 착용자 주변의 소리를 통신부(110)를 통해 전달받으면 안경(200)으로부터 전송된 소리 중 기설정된 세기 이상의 소리는 착용자에게 공지해야하는 유의미한 소리로 판단하여 소리 이벤트로 특정한다.

그리고 소리분석부(131)는 소리 이벤트가 발생한 것으로 판단되면 소리 이벤트의 세기 및 발생위치를 분석하게 된다. 여기서 기설정된 세기 이상이라 함은 사전에 사용자에 의해 설정된 데시벨(dB)로서 설정된 데시벨 이상의 데시벨을 갖는 소리가 감지되면 해당 소리는 소리 이벤트로 특정되고, 설정된 데시벨 미만의 세기를 갖는 소리는 수집은 하되 분석은 수행하지 않을 수 있다.

그리고 소리분석부(131)는 후술할 도 3에 도시된 바와 같이 소리 이벤트의 세기를 총 4개로 구분할 수 있다. 상술한 바와 같이 안경(200)으로부터 전송된 소리 중 소리 이벤트로 특정하기 위한 최소의 기설정된 세기를 제1 임계치로 정하고, 소리 이벤트의 세기가 제1 임계치 이상이고 제2 임계치 미만이면 매우 낮음, 소리 이벤트의 세기가 제2 임계치 이상이고 제3 임계치 미만이면 낮음, 소리 이벤트의 세기가 제3 임계치 이상이고 제4 임계치 미만이면 높음, 그리고 제4 임계치 이상의 세기를 갖는 소리 이벤트를 매우 높음으로 분류할 수 있다.

여기서 각 임계치들은 제1 임계치보다 15dB 내지 25dB 범위 이내에서 사용자가 선택한 데시벨(dB)씩 만큼 커지도록 설정될 수 있다. 만약 임계치 간의 차이가 15dB로 설정된 경우이면, 제2 임계치, 제3 임계치 및 제4 임계치는 각각 제1 임계치, 제2 임계치 및 제3 임계치보다 15dB만큼 큰 소리의 세기일 수 있다.

또한 소리분석부(131)는 소리이벤트가 발생된 위치를 분석하는데, 이는 안경(200)에 포함된 적어도 하나의 소리감지부(230)에서 소리가 수집되는 시간차에 기초하여 소리이벤트의 발생위치가 착용자의 오른쪽인지 왼쪽인지를 판단할 수 있다.

그리고 소리분석부(131)는 소리 이벤트의 주파수 특성에 따라 소리 이벤트를 분석하고 소리 이벤트의 종류를 분류할 수 있으며, 소리 이벤트의 종류는 배경음과 유성음일 수 있다.

배경음은 자동차 소리, 동물 소리, 초인종 소리, 화재 경보 소리 등과 같은 일상 생활에서 발생하는 생활 소리이고, 유성음은 착용자 주변에 위치한 사람들로부터 발생하는 음성일 수 있다.

소리분석부(131)가 소리 이벤트의 주파수 특성에 따라 유성음 또는 배경음으로 분류하는 것은 학습부(137)에서 딥러닝 기술을 통해 학습된 데이터를 기반으로 판단할 수 있다.

한편 감정판단부(133)는 청각장애인과 같은 착용자는 소리를 들을 수 없기 때문에 대화를 하는 상대방이 어떤 감정을 가지고 대화하는지를 판단함에 어려움을 느낄 수 있는 문제를 해결하기 위해 마련될 수 있다. 이를 위해 감정판단부(133)는 소리분석부(131)에서 소리 이벤트의 종류가 유성음인 것으로 분류하면 유성음으로 분류된 소리 이벤트를 분석하여 유성음의 발생대상인 화자의 감정상태를 분석할 수 있고, 이에 기반하여 생성부(135)에서 이미지 및 텍스트를 생성하게 되므로 착용자는 상대방을 대할 때 상대방의 감정을 인지하고 대화할 수 있게 된다.

감정판단부(133)에서 화자의 감정을 판단하는 것은 발성하는 화자에 따라 목소리의 크기, 주파수 영역이 달라지는 것에 기초하여 인식된 소리 이벤트에 포함된 소리 데이터를 스펙트로그램(spectrogram)으로 변환하고, 주파수 축 정보 벡터를 분리하여 화자의 감정상태를 분석하고, 분석된 감정상태에 대한 정보를 생성부(135)로 전달할 수 있다. 감정판단부(133)에서 유성음의 발생대상인 화자의 감정을 판단하는 것은 이미 일반화되어 있는 기술을 적용할 수 있다.

생성부(135)는 소리분석부(131) 및 감정판단부(133)에서 분석 및 판단된 정보에 기초하여 그에 대응되는 이미지, 텍스트 및 진동신호를 생성하기 위해 마련되고, 생성부(135)는 생성된 이미지, 텍스트 및 진동신호 중 적어도 하나를 통신부(110)를 통해 안경(200) 또는 시계(300)로 전송할 수 있다.

생성부(135)는 소리분석부(131)에서 분석된 소리 이벤트의 세기에 대한 제1 이미지를 생성하고, 소리분석부(131)에서 분석된 소리 이벤트의 발생위치에 기초하여 제1 이미지(I-1)가 출력되는 좌표정보를 생성하여 안경(200)으로 전송할 수 있다.

후술할 도 4 (a)에 도시된 바와 같이 소리분석부(131)에서 분석된 소리 이벤트의 세기가 낮음이고, 발생위치가 착용자의 왼쪽인 것으로 분석되면, 생성부(135)는 소리 이벤트의 세기가 낮음에 대응되는 제1 이미지(I-3)를 생성함과 동시에 제1 이미지(I-3)가 안경(200)의 왼쪽 글라스(200-L)에서 출력되도록 하는 좌표정보를 함께 생성할 수 있다. 좌표정보는 안경(200)의 출력부(260)를 통해 생성된 제1 이미지(I-1)가 표시되어야 하는 위치에 대한 좌표를 포함하는 정보이다.

본 실시예에서의 제1 이미지(I-3)는 소리 이벤트의 세기에 대응되는 적어도 하나의 막대기를 포함하는 막대 그래프 이미지이고, 도 3에 도시된 바와 같이 세기에 따라 적어도 하나의 막대기의 길이 및 색상은 서로 다르게 생성될 수 있다.

보다 구체적으로 소리의 세기가 상술한 바와 같이 제1 임계치 이상 제2 임계치 미만인 매우 낮음에 해당하는 경우에는 연노랑 색상의 길이가 가장 짧은 막대기의 이미지가 생성될 수 있다.

상술한 바와 같이 소리의 세기가 매우 낮음, 낮음, 높음 및 매우 높음에 해당하는 막대기는 각각 연노랑, 진노랑, 주황 및 빨강의 색상으로 구현되고, 매우 낮음에 해당하는 막대기는 길이가 가장 짧고, 매우 높음에 해당하는 막대기의 길이는 가장 길게 생성될 수 있다. 그리고 소기의 세기에 대응되는 막대기가 생성됨에 있어 분석된 소리의 세기에 대응되는 막대기와 함께 분석된 소리의 세기보다 낮은 단계의 소리에 대응되는 막대기를 함께 생성할 수 있다.

구체적으로 예를 들면, 제1 이미지(I-3)는 도 4에 도시된 바와 같이 소리의 세기가 낮음일 경우에는, 매우 낮음 및 낮음에 대응되는 막대기가 함께 생성되고, 매우 높음일 경우에는 매우 낮음, 낮음, 높음 및 매우 높음에 대응되는 모든 막대기가 함께 생성되는 것이다.

또한 이상의 제1 이미지(I-3)는 가상 이미지로 AR 이미지이고 안경에 투영되게 표시될 수 있으며, 막대기의 개수 및 크기가 커질수록 소리가 사용자에게 가까워짐을 의미할 수 있다.

그리고 생성부(135)는 소리분석부(131)에서 분석된 소리 이벤트의 종류가 배경음이면 배경음의 발생대상에 대응되는 제2 이미지(I-2)와 배경음의 발생대상에 대응되는 의성어 텍스트(T-1)를 생성하고, 생성된 제2 이미지(I-2)와 의성어 텍스트(T-1)를 시계(300)로 전송할 수 있다.

구체적으로 소리 이벤트가 배경음 중에서도 자동차의 경적소리인 것으로 분류되면 배경음의 발생대상은 자동차이므로, 제2 이미지(I-2)로 자동차 이미지를 생성하고, 의성어 텍스트(T-1)로는 "부릉부릉 빵빵!"과 같은 자동차에 대한 의성어 텍스트를 생성하여 시계(300)로 전송할 수 있다.

만약 소리 이벤트가 배경음 중에서도 강아지가 짖는 소리인 것으로 분류되면 배경음의 발생대상은 강아지이므로 제2 이미지(I-2)로 강아지 이미지를 생성하고, 의성어 텍스트(T-1)로는 "멍!멍!"과 같은 강아지에 대한 의성어 텍스트를 생성하여 시계(300)로 전송하는 것이다.

상술한 바와 같이 자동차 소리, 동물 소리 초인종 소리, 화재 경보 소리 등과 같은 일상 생활에서 발생하는 생활 소리에 대응되는 제2 이미지 및 의성어 텍스트(T-1)는 저장부(120)에 사전에 저장될 수 있다. 이에 생성부(135)는 저장부(120)에 저장된 제2 이미지(I-2) 및 의성어 텍스트(T-1)를 분석된 소리 이벤트와 매칭하여 제2 이미지(I-2) 및 의성어 텍스트(T-1)를 생성할 수 있다.

또한 생성부(135)는 소리 이벤트의 종류가 유성음인 경우에는 감정판단부(133)에서 분석된 화자의 감정상태에 대응되는 색상을 포함하는 제3 이미지(I-3)와 음성 텍스트(T-2)를 생성하여 시계(300)로 전송할 수 있다.

구체적으로 감정판단부(133)에서 판단된 유성음의 발생대상인 화자의 감정상태가 별다른 감정 없이 평이한 것으로 판단한 경우에는 생성부(135)는 하얀 색상의 테두리 또는 하얀 색상의 바탕을 갖는 제3 이미지(I-3)를 생성하고, 화자의 음성을 텍스트로 변환한 음성 텍스트(T-2)를 생성하여 시계(300)로 전송할 수 있다.

생성부(135)에서 생성되는 제3 이미지(I-3)는 화자의 감정 상태에 따라 정해진 색상을 테두리 또는 바탕색으로 하는 이미지로 감정 상태가 평상 시인 경우에는 하얀색, 분노 상태인 경우에는 빨간색, 슬픔 또는 우울 상태인 경우에는 파란색, 그리고 행복이나 즐거운 상태에서는 분홍색과 같이 감정 상태와 색상이 매칭되는 이미지이다.

이러한 감정 상태에 대응되는 색상의 제3 이미지(I-3)와 화자의 음성을 텍스트로 변환하기 위한 텍스트 역시 저장부(120)에 저장되어 있을 수 있고, 생성부(135)는 분석된 소리 이벤트와 매칭하여 제3 이미지 및 음성 텍스트를 생성할 수 있다. 이를 위해 생성부(135)는 유성음의 발생대상인 화자가 말하는 음성을 인식하여 음성을 텍스트로 변환하기 위한 음성인식부를 포함하여 마련될 수 있다.

그리고 생성부(135)는, 소리 이벤트의 종류가 유성음으로 분석된 상황에서 화자로부터 대화를 요청받는 경우와 같이 상호 대화가 요구되는 것으로 판단되면 진동신호를 추가로 생성할 수 있다. 여기서 화자로부터 대화를 요청받는 경우는 소리분석부(131)에서 소리의 세기가 제4 임계치 이상으로 착용자의 정면이 아닌 좌우 방향 또는 후방에서 발생하고, 유성음인 것으로 판단되는 경우일 수 있다.

한편 학습부(137)는 생성부(135)에서 이미지들(I-1, I-2, I-3) 및 텍스트(T-1, T-2)를 생성하기 위해 다양한 배경음 및 유성음을 학습 데이터로 하여 딥러닝 기술을 통해 학습하기 위해 마련되며, 감정 상태를 판단하기 위한 학습도 함께 수행하기 위해 마련될 수 있다.

이러한 제어부(130)를 통해 안경(200)으로부터 감지된 소리 이벤트를 분석하여 분석된 결과에 따라 안경(200) 및 시계(300)에서 출력되는 정보를 제어할 수 있고, 이에 의해 착용자는 주변의 소리를 시각적으로 인지할 수 있게 된다.

그리고 제어부(130)는 시계(300)의 입력부(320)를 통해 입력되는 모드 변경에 기초하여 감지모드 및 대기모드 중 하나의 설정이 입력되면 모드에 따라 안경(200) 및 시계(300)로 전송되는 정보를 제어할 수 있다.

보다 구체적으로 감지모드는 상술한 바와 같이 관리 서버(100)가 안경(200)으로부터 측정되는 소리 중에서 기설정된 세기 이상의 소리는 소리 이벤트로 분류하여 분석하고, 그에 기초하여 이미지 및 텍스트 중 적어도 하나를 생성하여 안경(200) 또는 시계(300)로 전송하는 것이다.

한편 대기 모드는 관리 서버(100)의 소리분석부(131) 및 감정판단부(133)를 통해 소리 이벤트를 분석하여 소리의 세기 및 주파수 특성을 분석하여 소리 이벤트의 종류를 분류하고, 유성음의 발생대상인 화자의 감정 상태를 판단하여 생성부(135)에서 이미지 및 텍스트 중 적어도 하나를 생성하였지만 전송은 하지 않는 모드일 수 있다.

이는 착용자가 생활하는 주거 시설이나 교육 시설 등과 같이 익숙한 장소에 있을 경우에 사용자에 의해 선택될 수 있는 모드이다.

그리고 제어부(130)는 사용자의 선택에 의해 청각 보조 시스템이 대기 모드로 설정되어 있는 상태에서 소리분석부(131)로부터 분석된 소리 이벤트의 세기가 제4 임계치 이상인 상태에서 일정 시간을 초과하여 해당 소리 이벤트가 유지되면 사용자의 별도의 명령을 입력받지 않더라도 자동으로 감지모드로 변경하여 소리분석부(131)에서 분석된 소리 이벤트에 대응되는 이미지 및 텍스트를 생성하여 안경(200) 및 시계(300)로 전송하도록 할 수 있다.

구체적인 예시적 사항으로, 사용자가 주거하는 주거 시설에 화재 경보가 발생하는 경우에는 착용자의 생명을 위협받을 수 있는 중대한 상황이기에 사용자에 선택된 대기모드보다 우선하여 자동으로 감지모드로 변경되는 것이다.

또한 제어부(130)는 이상에서와 같이 대기모드 중 소리분석부(131)로부터 분석된 소리 이벤트의 세기가 제1 임계치 이상이고 소리 이벤트의 종류가 유성음인 것으로 판단된 상태에서, 유성음으로부터 인식된 음성에 구조요청이나 대피안내에 대한 단어가 포함되는 경우에도 자동으로 감지모드로 변경하여 생성된 이미지 및 텍스트를 안경(200) 및 시계(300)로 전송할 수 있다. 이처럼 대기모드에서 감지모드로 자동변경되는 경우에 해당하는 소리 이벤트는 구체적으로 예를 들면, "불이야", "살려주세요"와 같은 문장이나 "위험", "대피", "신고", "지진", "화재", "산사태", "태풍" 등과 같은 단어가 포함되는 소리 이벤트일 수 있다.

한편, 안경(200)은 착용자의 얼굴에 착용되어 착용자 주변의 소리를 감지하고, 감지된 소리를 관리 서버(100)로 전송하고, 관리 서버(100)로부터 수신된 이미지를 출력할 수 있다.

이를 위해 안경(200)은 통신부(210), 조작부(220), 소리감지부(230), 저장부(240), 제어부(250) 및 출력부(260)를 포함하여 마련될 수 있으며, 각 구성은 청각 보조 방법을 수행하기 위한 프로그램에 기초하여 동작될 수 있다.

통신부(210)는 관리 서버(100) 및 시계(300)와 같은 외부 기기 또는 외부 네트워크로부터 필요한 정보를 송수신하기 위해 마련되는 것으로 이를 통해서 청각 보조 방법을 수행하기 위한 소프트웨어를 입력받을 수 있다.

조작부(220)는 사용자 명령을 입력받기 위한 입력 수단으로 안경(200)을 구성하는 프레임의 외부에 위치하는 버튼으로 마련되어 사용자에 의한 가압을 통해 명령을 입력받을 수 있고, 조작부(220)가 가압되는 시간에 기초하여 안경(200)의 전원이 켜지거나 꺼지도록 설정될 수 있다. 본 실시예에서의 전원의 온-오프를 위한 가압시간은 2초 이내로 설정되는 것이 바람직하다.

한편 소리감지부(230)는 안경(200)을 착용한 착용자의 주변 소리를 감지하고 수집하기 위해 마련되는 것으로, 적어도 하나의 마이크로폰을 포함하여 마련될 수 있다. 적어도 하나의 마이크로폰은 글라스(200-L, 200-R)에 각각 마련되되, 사용자의 안경(200)의 착용을 위한 안경테 주변에 위치할 수 있다. 이러한 소리감지부(230)에서 감지된 소리는 통신부(210)를 통해 관리 서버(100)로 전송되고, 관리 서버(100)에서 수집된 소리의 세기 및 방향을 분석할 수 있다.

저장부(240)는 청각 보조 방법을 수행하기 위한 프로그램이 기록되고, 제어부(250)가 동작함에 있어 필요한 저장공간을 제공하여 제어부(250)가 처리하는 데이터를 일시적 또는 영구적으로 저장하며, 휘발성 저장매체 또는 비휘발성 저장 매체를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

그리고 저장부(240)에는 청각 보조 방법을 수행하면서 누적되는 데이터가 저장되거나, 안경(200) 및 시계(300)를 착용하는 사용자에 대한 정보, 안경(200) 및 시계(300)를 식별할 수 있는 정보, 그리고, 관리 서버(100)에서 분석된 소리 이벤트에 대응되는 제1 이미지(I-1)가 저장될 수 있다.

제어부(250)는 통신부(210), 조작부(220), 소리감지부(230), 저장부(240) 및 출력부(260)를 제어하고, 관리 서버(100)로부터 수신되는 제1 이미지(I-3)와 제1 이미지(I-3)가 출력되어야 하는 좌표 정보에 따라 출력부(260)에서 제1 이미지(I-3)가 출력되도록 제어할 수 있다.

제어부(250)는 조작부(220)의 조작에 의해 전원을 온-오프(on-off)하고, 소리감지부(230)에서 감지되는 소리를 통신부(210)를 통해 관리 서버(100)로 전송되도록 하며, 제어부(250)는 저장부(240)에 저장된 청각 보조 방법을 수행하기 위한 소프트웨어에 따라 각 구성을 제어할 수 있다.

한편, 출력부(260)는 제어부(250)로부터 전달받은 제1 이미지(I-3)를 좌표정보에 따라 출력하기 위해 마련되며, 출력부(260)에서 출력되는 제1 이미지(I-3)는 AR 이미지로 투영되도록 출력되어 착용자의 시야를 방해하지 않도록 할 수 있다. 출력부(260)는 디스플레이부로써 좌우 글라스(200-R, 200-L)를 포함하여 마련될 수 있다.

도 3은 본 발명의 일 실시예에 따른 청각 보조 시스템의 관리 서버(100)에서 생성되는 제1 이미지(I-3)를 설명하기 위한 도면, 그리고 도 4는 본 발명의 일 실시예에 따른 청각 보조 시스템에 포함되는 안경(200)에서 이미지가 출력되는 모습을 설명하기 위한 도면이다.

이상의 관리 서버(100)의 생성부(135)에 대한 설명에서와 같이 본 실시예에 따른 생성부(135)에서는 분석된 소리 이벤트의 세기에 따라 적어도 하나 이상의 막대기를 포함하는 막대 그래프 이미지를 제1 이미지(I-3)로 하여 생성될 수 있다. 도 3 및 도 4에 도시된 바와 같이 생성부(135)로부터 생성된 제1 이미지(I-3)는 안경(200)의 통신부(210)를 통해 제1 이미지(I-3)와 좌표 정보가 함께 전달되고, 그러면 안경(200)의 제어부(250)는 출력부(260)를 통해 제1 이미지(I-3)가 좌표 정보에 대응되는 위치에 투영되도록 한다.

도 4 (a)는 소리 이벤트가 착용자의 왼쪽에서 발생하고, 소리 이벤트의 세기가 제1 임계치 이상이고 제2 임계치 미만인 낮음에 해당하는 소리 이벤트로 판단되면, 생성부(135)에서는 낮음에 대응되는 제1 이미지(I-3)와 제1 이미지(I-3)가 좌 글라스(200-L)상에 투영되도록 하는 좌표정보를 생성하여 전달하고, 안경(200)의 출력부(260)는 이에 대응되는 제1 이미지(I-3)가 좌 글라스(200-L)에 출력되도록 한다.

그리고 도 4 (b)에 도시된 바와 같이 소리 이벤트가 착용자의 오른쪽에서 발생하고, 소리 이벤트의 세기가 제4 임계치 이상인 것으로 판단되었을 때 안경(200)의 출력부(260)가 우 글라스(200-R)에 제일 높음에 해당하는 제1 이미지(I-3)가 출력되도록 한다.

시계(300)는 착용자의 손에 착용되어 관리 서버(100)로부터 수신된 이미지 또는 텍스트를 출력함으로써, 착용자가 듣지 못하는 소리를 시각적으로 인식할 수 있도록 하기 위한 것으로, 통신부(310), 입력부(320), 저장부(330), 제어부(340) 및 출력부(350)를 포함하여 마련될 수 있으며, 시계(300)의 각 구성은 청각 보조 방법을 수행하기 위한 프로그램에 기초하여 동작될 수 있다.

통신부(310)는 관리 서버(100) 및 안경(200)과 같은 외부 기기 또는 외부 네트워크로부터 필요한 정보를 송수신하기 위해 마련되는 것으로 이를 통해서 청각 보조 방법을 수행하기 위한 소프트웨어를 입력받을 수 있다.

입력부(320)는 사용자 명령을 입력받기 위한 입력 수단으로 입력부(320)로 개별 구비되는 것으로 기재하였으나 이는 설명의 편의를 위한 예시적 사항일 뿐, 후술할 출력부(350)의 디스플레이부(351)를 포함하는 터치스크린으로 구비되어 사용자로부터 정보를 직접 입력받거나 제어부(340)로부터 생성된 정보를 출력하는 입출력부로 마련될 수도 있다.

입력부(320)는 사용자의 조작을 통해 시계(300)의 전원을 온-오프하거나 상술한 바와 같이 청각 보조 시스템의 모드를 변경하는 신호를 생성하여 제어부(340)로 전달할 수 있다. 입력부(320)가 터치스크린으로 구비되는 경우에는 청각 보조 방법을 수행하기 위한 어플리케이션에 따라 모드를 선택할 수 있다.

입력부(320)가 터치스크린이 아닌 버튼 형태로 마련되는 경우에는, 2초 이상 사용자에 의한 가압이 지속되면 시계(300)의 전원은 온-오프되고, 모드변경은 시계(300)의 전원이 켜져있는 상태에서 입력부(320)의 버튼이 1초 이내에 2회 연속 가압하여 변경되도록 마련될 수 있으며, 1초 이내에 2회 연속 가압이 발생되면 감지모드와 대기모드 순서로 반복하여 변경될 수 있다.

한편, 저장부(330)는 청각 보조 방법을 수행하기 위한 프로그램이 기록되고, 제어부(340)가 동작함에 있어 필요한 저장공간을 제공하여 제어부(340)가 처리하는 데이터를 일시적 또는 영구적으로 저장하며, 휘발성 저장매체 또는 비휘발성 저장 매체를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

그리고 저장부(330)에는 청각 보조 방법을 수행하면서 누적되는 데이터가 저장되거나, 안경(200) 및 시계(300)를 착용하는 사용자에 대한 정보, 안경(200) 및 시계(300)를 식별할 수 있는 정보, 그리고, 관리 서버(100)에서 분석된 소리 이벤트에 대응되어 출력되는 제2 이미지(I-2), 제3 이미지(I-3), 의성어 텍스트(T-1) 및 음성 텍스트(T-2)가 저장될 수 있다.

제어부(340)는 통신부(310), 입력부(320), 저장부(330) 및 출력부(350)를 제어하고, 관리 서버(100)로부터 수신되는 제2 이미지(I-2), 제3 이미지(I-3), 의성어 텍스트(T-1) 및 음성 텍스트(T-2)에 따라 출력부(350)에서 제2 이미지(I-2), 제3 이미지(I-3), 의성어 텍스트(T-1) 및 음성 텍스트(T-2) 중 적어도 하나가 출력되도록 제어할 수 있다.

그리고 제어부(340)는 통신부(310)를 통해 관리 서버(100)로부터 진동신호가 수신되면 수신된 진동신호에 따라 출력부(350)에서 진동이 출력되도록 출력부(350)를 제어할 수 있다.

제어부(340)는 입력부(320)의 입력에 의해 전원을 온-오프하거나, 모드를 변경할 수 있으며, 입력부(320)를 통해 모드 변경에 대한 사용자 명령이 입력되면 모드변경에 대한 정보를 관리 서버(100)로 전송하도록 통신부(310)를 제어할 수도 있다.

한편 출력부(350)는 관리 서버(100)에서 전송된 제2 이미지(I-2), 제3 이미지(I-3), 의성어 텍스트(T-1) 및 음성 텍스트(T-2)를 출력하기 위해 마련되는 것으로, 디스플레이부(351) 및 진동부(353)를 포함하여 마련될 수 있다.

디스플레이부(351)는 소리 이벤트에 대응되는 이미지 또는 텍스트를 시각적으로 출력하기 위해 마련되는 것으로, 상술한 바와 같이 입력부(320)의 역할을 동시에 수행할 수 있는 터치스크린으로 구비될 수도 있다.

진동부(353)는 상술한 바와 같이 착용자에게 대화를 요청하는 상황이 발생하면 생성되는 진동신호를 제어부(340)로부터 전달받고, 이에 대응하는 진동을 출력하기 위해 마련된다.

도 5 (a) 및 도 5 (b)는 본 발명의 일 실시예에 따른 청각 보조 시스템에 포함되는 시계(300)에서 이미지 및 텍스트가 출력되는 모습을 설명하기 위한 도면이다.

관리 서버(100)의 생성부(135)에 대한 설명에서와 같이 본 실시예에 따른 생성부(135)에서는 분석된 소리 이벤트가 유성음인 경우에는 도 5 (a)에 도시된 바와 같이 제3 이미지(I-3)와 유성음의 음성을 인식하여 생성된 음성 텍스트(T-2)를 생성하며, 이렇게 생성된 제3 이미지(I-3)와 음성 텍스트(T-2)는 시계(300)의 디스플레이부(351)를 통해 출력될 수 있다.

도 5 (a)에서와 같이 소리분석부(131) 및 감정판단부(133)에서 판단된 유성음의 발생대상인 화자의 감정상태에 따라 출력되는 제3 이미지(I-3)는 평상 시인 경우에는 하얀색, 분노 상태인 경우에는 빨간색, 슬픔 또는 우울 상태인 경우에는 파란색, 그리고 행복이나 즐거운 상태에서는 분홍색의 테두리를 갖는 이미지일 수 있다.

이러한 제3 이미지(I-3)에 포함되는 감정에 대응되는 색상은 설정에 따라 얼마든지 변경 가능하고, 도면에서는 색상이 테두리에 표시되는 것으로 도시되었으나, 이는 설명의 편의를 위한 예시적 사항으로 제3 이미지(I-3)감정에 대응되는 색상을 바탕색으로 갖는 이미지이거나 감정에 대응되는 이모티콘을 포함하는 이미지일 수도 있을 것이다.

한편 도 5 (b)에서와 같이 소리 이벤트가 배경음인 경우에는 생성부(135)에서 생성된 제2 이미지(I-2)와 의성어 텍스트(T-1)가 디스플레이부(351)에서 출력될 수 있다. 도시된 바와 같이 배경음이 강아지 소리인 경우에는 제2 이미지(I-2)로 강아지 이미지가 출력되고, 의성어 텍스트(T-1)로 "멍!멍!"과 같은 강아지의 소리를 대표하는 의성어가 출력될 수 있다.

이상의 구성을 통해 본 발명의 청각 보조 시스템을 통해 착용자는 소리 이벤트에 대응되는 소리의 세기, 발생대상의 이미지와 의성어 또는 화자의 감정상태 및 음성을 시각적으로 제공받을 수 있게 된다.

따라서 의성어에 대한 공감이 부족한 청각 장애인들에게 의성어를 시각적으로 제공할 수 있는 것은 물론, 화자인 상대방의 감정 상태를 시각적으로 인지할 수 있음으로써 그에 대응하여 상대방과 자연스러운 대화를 유도할 수 있게 된다.

한편, 도 6은본 발명의 일 실시예에 따른 청각 보조 시스템에서 수행되는 청각 보조 방법을 설명하기 위한 흐름도이다.

먼저, 착용자의 주변 소리를 감지하는 소리 감지단계를 수행한다(S100). 해당 단계에서는 안경(200)을 구성하는 소리감지부(230)를 통해 착용자의 주변 소리를 감지할 수 있다.

안경(200)에 포함되는 소리감지부(230)는 안경(200)을 착용한 착용자의 주변 소리를 감지하고 수집하기 위해 마련되는 것으로, 적어도 하나의 마이크로폰을 포함하여 마련될 수 있다. 적어도 하나의 마이크로폰은 글라스(200-L, 200-R)에 각각 마련되되, 사용자의 안경(200)의 착용을 위한 안경테 주변에 위치할 수 있다.

그리고나면, 안경(200)은 감지된 소리를 전송하는 제1 전송단계를 수행할 수 있다(S200). 제1 전송단계에서는 안경(200)의 소리감지부(230)에서 감지된 소리는 통신부(210)를 통해 관리 서버(100)로 전송할 수 있다.

이후 관리 서버(100)는 안경(200)으로부터 전송된 소리 중 기설정된 세기 이상의 세기인 소리 이벤트를 분석하는 분석단계를 수행할 수 있다(S300).

분석단계(S300)는 관리 서버(100)가 소리분석부(131)를 통해 기설정된 세기 이상의 소리는 착용자에게 공지해야하는 유의미한 소리로 판단하여 소리 이벤트로 특정하고, 특정된 소리 이벤트를 분석하는 단계이다.

이러한 분석단계(S300)는 소리 이벤트의 세기 및 발생위치를 분석하는 제1 분석단계, 소리 이벤트의 주파수 특성에 따라 소리 이벤트의 종류를 배경음 또는 유성음으로 분류하는 제2 분석단계, 그리고 제2 분석단계에서 소리 이벤트의 종류가 유성음으로 분류되면 유성음에 기초하여 유성음의 발생대상인 화자의 감정상태를 분석하는 제3 분석단계를 더 포함할 수 있다.

먼저 제1 분석단계에서는 관리 서버(100)의 소리분석부(131)가 소리 이벤트가 발생한 것으로 판단되면 소리 이벤트의 세기 및 발생위치를 분석하게 된다. 여기서 기설정된 세기 이상이라 함은 사전에 사용자에 의해 설정된 데시벨(dB)로서 설정된 데시벨 이상의 데시벨을 갖는 소리가 감지되면 해당 소리는 소리 이벤트로 특정되고, 설정된 데시벨 미만의 세기를 갖는 소리는 수집은 하되 분석은 수행하지 않을 수 있다.

그리고 제1 분석단계에서 소리분석부(131)는 소리 이벤트의 세기를 총 4개로 구분할 수 있다. 상술한 바와 같이 안경(200)으로부터 전송된 소리 중 소리 이벤트로 특정하기 위한 최소의 기설정된 세기를 제1 임계치로 정하고, 소리 이벤트의 세기가 제1 임계치 이상이고 제2 임계치 미만이면 매우 낮음, 소리 이벤트의 세기가 제2 임계치 이상이고 제3 임계치 미만이면 낮음, 소리 이벤트의 세기가 제3 임계치 이상이고 제4 임계치 미만이면 높음, 그리고 제4 임계치 이상의 세기를 갖는 소리 이벤트를 매우 높음으로 분류할 수 있다.

또한 제1 분석단계에서 소리분석부(131)는 소리이벤트가 발생된 위치를 분석하는데, 이는 안경(200)에 포함된 적어도 하나의 소리감지부(230)에서 소리가 수집되는 시간차에 기초하여 소리이벤트의 발생위치가 착용자의 오른쪽인지 왼쪽인지를 판단할 수 있다.

한편 제2 분석단계에서 소리분석부(131)는 소리 이벤트의 주파수 특성에 따라 소리 이벤트를 분석하고 소리 이벤트의 종류를 분류할 수 있으며, 소리 이벤트의 종류는 배경음과 유성음일 수 있다. 여기서 배경음은 자동차 소리, 동물 소리, 초인종 소리, 화재 경보 소리 등과 같은 일상 생활에서 발생하는 생활 소리이고, 유성음은 착용자 주변에 위치한 사람들로부터 발생하는 음성일 수 있다. 이러한 소리 이벤트의 주파수 특성에 따라 유성음 또는 배경음으로 분류하는 것은 관리 서버(100)의 학습부(137)에서 딥러닝 기술을 통해 학습된 데이터를 기반으로 판단할 수 있을 것이다.

한편 제3 분석단계에서는, 제2 분석단계에서 소리 이벤트의 종류가 유성음으로 분류되면 수행되는 단계로써, 유성음으로 분류된 소리 이벤트를 분석하여 유성음의 발생대상인 화자의 감정상태를 분석할 수 있다.

이러한 제3 분석단계는, 청각장애인과 같은 착용자는 소리를 들을 수 없기 때문에 대화를 하는 상대방이 어떤 감정을 가지고 대화하는지를 판단함에 어려움을 느낄 수 있는 문제를 해결하기 위한 단계일 수 있다.

이를 위해 제3 분석단계에서는, 관리 서버(100)의 감정판단부(133)가 발성하는 화자에 따라 목소리의 크기, 주파수 영역이 달라지는 것에 기초하여 인식된 소리 이벤트에 포함된 소리 데이터를 스펙트로그램(spectrogram)으로 변환하고, 주파수 축 정보 벡터를 분리하여 화자의 감정상태를 분석할 수 있다.

이상에서의 분석단계(S300)를 통해 소리 이벤트의 분석이 완료되면, 관리 서버(100)는 분석단계(S300)에서 분석된 소리 이벤트에 대응되는 이미지 또는 텍스트 중 적어도 하나를 생성하는 생성단계를 수행할 수 있다(S400).

생성단계(S400)에서는 관리 서버(100)의 생성부(135)에서 소리 이벤트의 세기에 대응되는 제1 이미지(I-3)를 생성하고, 소리 이벤트의 발생위치에 기초하여 제1 이미지(I-3)가 출력되는 좌표정보를 함께 생성할 수 있다.

여기서 제1 이미지(I-3)는 소리 이벤트의 세기에 대응되는 적어도 하나의 막대기를 포함하는 막대 그래프 이미지이고, 소리 이벤트의 세기에 따라 적어도 하나의 막대기의 길이 및 색상이 다르게 생성할 수 있다.

도 4 (a)에 도시된 바와 같이 분석단계(S300)에서 분석된 소리 이벤트의 세기가 낮음이고, 발생위치가 착용자의 왼쪽인 것으로 분석되면, 생성단계(S400)에서 생성부(135)를 통해 소리 이벤트의 세기가 낮음에 대응되는 제1 이미지(I-3)를 생성함과 동시에 제1 이미지(I-3)가 안경(200)의 왼쪽 글라스(200-L)에서 출력되도록 하는 좌표정보를 함께 생성할 수 있다. 좌표정보는 안경(200)의 디스플레이부(351)를 통해 생성된 제1 이미지(I-3)가 표시되어야 하는 위치에 대한 좌표를 포함하는 정보이다.

제1 이미지(I-3)에 포함되는 막대기의 길이는, 소리 이벤트의 소리 세기가 매우 낮음, 낮음, 높음 및 매우 높음에 따라 서로 다르게 구현되되 매우 낮음은 가장 짧고, 매우 높음이 가장 길게 생성되며, 막대기의 색상은 각각 연노랑, 진노랑, 주황 및 빨강의 색상으로 생성될 수 있다.

그리고 생성단계(S400)에서는 분석단계(S300)에 포함되는 제2 분석단계에서 소리 이벤트의 종류가 배경음으로 분류되면, 배경음의 발생대상에 대응되는 제2 이미지(I-2) 및 배경음의 발생대상에 대응되는 의성어 텍스트(T-1)를 생성할 수 있다.

구체적으로 제2 분석단계에서 소리 이벤트가 배경음 중에서도 자동차의 경적소리인 것으로 분류되면 배경음의 발생대상은 자동차이므로, 생성단계(S400)에서 생성부(135)를 통해 제2 이미지(I-2)로 자동차 이미지를 생성하고, 의성어 텍스트(T-1)로는 "부릉부릉 빵빵!"과 같은 자동차에 대한 의성어 텍스트를 생성할 수 있다.

또한 생성단계(S400)에서는 분석단계(S300)에 포함되는 제3 분석단계에서 분석된 화자의 감정상태에 대응되는 색상을 포함하는 제3 이미지(I-3) 및 화자의 유성음에 대응되는 음성 텍스트(T-2)를 생성할 수 있다.

구체적으로 제3 분석단계에서 유성음의 발생대상인 화자의 감정상태가 별다른 감정 없이 평이한 것으로 판단한 경우, 생성단계(S400)에서는 생성부(135)가 하얀 색상의 테두리 또는 하얀 색상의 바탕을 갖는 제3 이미지(I-3)를 생성하고, 화자의 소리 이벤트의 음성을 텍스트로 변환한 음성 텍스트(T-2)를 생성할 수 있다.

그리고 생성단계(S400)에서는 소리 이벤트의 종류가 유성음으로 분류되고 화자로부터 대화를 요청받는 것으로 판단되면 진동신호를 추가로 생성할 수 있다.

이후 관리 서버(100)는 생성단계(S400)에서 생성된 이미지 또는 텍스트가 전송되는 제2 전송단계를 수행할 수 있다(S500).

제2 전송단계(S500)에서는 생성단계(S400)에서 생성된 제1 이미지(I-3), 제2 이미지(I-2), 제3 이미지(I-3), 의성어 텍스트(T-1) 및 음성 텍스트(T-2) 중 적어도 하나를 안경(200) 또는 시계(300)로 전송할 수 있다.

보다 구체적으로 제2 전송단계(S500)에서는 제1 이미지(I-3)는 안경(200)으로 전송하고, 제2 이미지(I-2), 제3 이미지(I-3), 의성어 텍스트(T-1) 및 음성 텍스트(T-2) 중 적어도 하나는 시계(300)로 전송할 수 있다.

그러면 제2 전송단계(S500)에서는 안경(200)으로 제1 이미지(I-3)를 전송하고, 시계(300)로는 제2 이미지(I-2)와 의성어 텍스트(T-1)를 전송하거나 제3 이미지(I-3)와 음성 텍스트(T-2)를 전송할 수 있다.

그리고 제2 전송단계(S500)에서는 생성단계(S400)에서 진동신호가 추가로 생성된 경우, 제3 이미지(I-3) 및 음성 텍스트(T-2)와 함께 진동신호를 함께 안경(200)으로 전송할 수 있다.

그리고 안경(200) 또는 시계(300)는 관리 서버(100)로부터 전송된 이미지 또는 텍스트가 출력되는 출력단계(S600)를 수행할 수 있다.

즉 출력단계(S600)에서 안경(200)은 관리 서버(100)로부터 수신된 제1 이미지(I-3)를 좌표정보에 기초하여 특정 글라스에 제1 이미지(I-3)가 투영되도록 출력할 수 있다.

또한 출력단계(S600)에서 시계(300)는 관리 서버(100)로부터 수신된 제2 이미지(I-2)와 의성어 텍스트(T-1)를 디스플레이부(351)를 통해 출력하거나 제3 이미지(I-3)와 음성 텍스트(T-2)를 디스플레이부(351)를 통해 출력하고, 경우에 따라 제3 이미지(I-3) 및 음성 텍스트(T-2)와 함께 진동신호를 진동부(353)를 통해 출력할 수도 있다.

이와 같은 본 발명의 청각 보조 방법은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.

프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서는 본 발명의 다양한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100 : 관리 서버 200 : 안경 300 : 시계

Claims (12)

1. 적어도 하나의 글라스 및 소리 감지부를 포함하고, 상기 소리 감지부를 통해 착용자의 주변 소리를 감지하고, 감지된 소리에 기초한 이미지를 출력하는 안경;
   상기 감지된 소리에 기초한 이미지 또는 텍스트 중 적어도 하나를 출력하는 시계; 및
   상기 안경으로부터 감지되어 전송된 소리 중 기설정된 세기 이상의 소리인 소리 이벤트를 분석하고, 분석된 소리 이벤트에 대응되는 이미지 또는 텍스트 중 적어도 하나를 생성하여 상기 안경 또는 상기 시계로 전송하여 상기 안경 또는 상기 시계에서 출력되도록 하는 관리 서버를 포함하는, 청각 보조 시스템.
2. 제1항에 있어서,
   상기 관리 서버는,
   상기 소리 이벤트의 세기 및 발생위치를 분석하고, 분석된 상기 소리 이벤트의 세기에 대한 제1 이미지를 생성하고, 분석된 상기 소리 이벤트의 발생위치에 기초하여 상기 제1 이미지가 출력되는 좌표정보를 생성하여 상기 안경으로 전송하는 것을 특징으로 하는, 청각 보조 시스템.
3. 제2항에 있어서,
   상기 제1 이미지는,
   상기 소리 이벤트의 세기에 대응되는 적어도 하나의 막대기를 포함하는 막대 그래프 이미지이고, 상기 소리 이벤트의 세기에 따라 상기 적어도 하나의 막대기의 길이 및 색상을 다르게 생성하는 것을 특징으로 하는, 청각 보조 시스템.
4. 제2항에 있어서,
   상기 관리 서버는,
   상기 소리 이벤트의 주파수 특성에 따라 상기 소리 이벤트의 종류를 배경음 또는 유성음으로 분류하고, 상기 소리 이벤트의 종류가 배경음으로 분류되면, 상기 배경음의 발생대상에 대응되는 제2 이미지 및 상기 배경음의 발생대상에 대응되는 의성어 텍스트를 생성하는 것을 특징으로 하는, 청각 보조 시스템.
5. 제4항에 있어서,
   상기 관리 서버는,
   상기 소리 이벤트의 종류가 유성음으로 분류되면 상기 유성음에 기초하여 상기 유성의 발생대상인 화자의 감정 상태를 분석하고, 분석된 상기 화자의 감정상태에 대응되는 색상을 포함하는 제3 이미지 및 상기 화자의 유성음에 대응되는 음성텍스트를 생성하는 것을 특징으로 하는, 청각 보조 시스템.
6. 제5항에 있어서,
   상기 관리 서버는,
   상기 소리 이벤트의 종류가 유성음으로 분류되면 진동신호를 추가로 생성하고, 상기 제3 이미지는 상기 화자의 감정상태에 대응되는 색상을 포함하는 배경이미지인 것을 특징으로 하는, 청각 보조 시스템.
7. 신체에 착용가능한 안경 및 시계를 이용하여 착용자 주변에서 발생하는 소리에 기초한 소리 이벤트를 사용자에게 시각적으로 안내하는 청각 보조 시스템에서의 청각 보조 방법에 있어서,
   안경이 상기 착용자의 주변 소리를 감지하는 소리 감지단계;
   상기 안경이 감지된 소리를 전송하는 제1 전송단계;
   관리 서버가 상기 안경으로부터 전송된 소리 중 기설정된 세기 이상의 소리인 소리 이벤트를 분석하는 분석단계;
   상기 관리서버가 분석된 소리 이벤트에 대응되는 이미지 또는 텍스트 중 적어도 하나를 생성하는 생성단계;
   상기 관리 서버가 생성된 이미지 또는 텍스트를 상기 안경 또는 시계로 전송하는 제2 전송단계; 및
   상기 제2 전송단계를 통해 전송된 이미지 또는 텍스트가 상기 안경 또는 상기 시계에서 출력되는 출력단계를 포함하는, 청각 보조 방법.
8. 제7항에 있어서,
   상기 분석단계는,
   상기 소리 이벤트의 세기 및 발생위치를 분석하는 제1 분석단계를 포함하고,
   상기 생성단계에서는,
   상기 제1 분석단계에서 분석된 소리 이벤트의 세기에 대응되는 제1 이미지를 생성하고, 상기 소리 이벤트의 발생위치에 기초하여 상기 제1 이미지가 출력되는 좌표정보를 생성하는 것을 특징으로 하는 청각 보조 방법.
9. 제8항에 있어서,
   상기 제1 이미지는,
   상기 분석된 소리 이벤트의 세기에 대응되는 적어도 하나의 막대기를 포함하는 막대 그래프 이미지이고, 상기 소리 이벤트의 세기에 따라 상기 적어도 하나의 막대기의 길이 및 색상이 다르게 생성되는 것을 특징으로 하는, 청각 보조 방법.
10. 제8항에 있어서,
    상기 분석단계는,
    상기 소리 이벤트의 주파수 특성에 따라 상기 소리 이벤트의 종류를 배경음 또는 유성음으로 분류하는 제2 분석단계를 더 포함하고,
    상기 생성단계에서는,
    상기 제2 분석단계에서 상기 소리 이벤트의 종류가 배경음으로 분류되면, 상기 배경음의 발생대상에 대응되는 제2 이미지 및 상기 배경음의 발생대상에 대응되는 의성어 텍스트를 생성하는 것을 특징으로 하는, 청각 보조 방법.
11. 제10항에 있어서,
    상기 분석단계는,
    상기 제2 분석단계에서 상기 소리 이벤트의 종류가 유성음으로 분류되면 상기 유성음에 기초하여 상기 유성음의 발생대상인 화자의 감정상태를 분석하는 제3 분석단계를 더 포함하고,
    상기 생성단계에서는,
    상기 제3 분석단계에서 분석된 상기 화자의 감정상태에 대응되는 색상을 포함하는 제3 이미지 및 상기 화자의 유성음에 대응되는 음성텍스트를 생성하는 것을 특징으로 하는, 청각 보조 방법.
12. 제11항에 있어서,
    상기 생성단계에서는,
    상기 제2 분석단계에서 상기 소리 이벤트의 종류가 유성음으로 분류되면 진동신호를 추가로 생성하고,
    상기 제2 전송단계에서는,
    상기 생성된 이미지 또는 텍스트와 상기 진동신호를 함께 전송하는 것을 특징으로 하는, 청각 보조 방법.

Images