KR101250951B1

KR101250951B1 - 위험요소 감지 기능을 가지는 양귀 삽입형 보청기 및 이를 이용한 위험요소 감지 시스템

Info

Publication number: KR101250951B1
Application number: KR1020120080088A
Authority: KR
Inventors: 정윤석
Original assignee: 정윤석
Priority date: 2012-07-23
Filing date: 2012-07-23
Publication date: 2013-04-09

Abstract

위험요소 감지 기능을 가지는 양귀 삽입형 보청기 및 이를 이용한 위험요소 감지 시스템이 개시된다. 본 발명의 일 실시예에 따른 위험요소 감지 기능을 가지는 양귀 삽입형 보청기는, 넥밴드 타입의 양귀 삽입형 보청기로서, 외부에서 감지된 소리를 신호처리하여 음향으로 출력하는 한 쌍의 보청기 모듈, 상기 한 쌍의 보청기 모듈을 연결하는 곡선형 프레임, 상기 한 쌍의 보청기 모듈의 외측면에 각각 배치되어 측방의 제1 외부영상을 획득하는 한 쌍의 카메라 모듈, 상기 곡선형 프레임의 중앙부에 배치되어 후방의 제2 외부영상을 획득하는 보조 카메라 모듈, 상기 한 쌍의 보청기 모듈의 외이도에 삽입되는 커널의 내측에 배치되어 착용자의 생체 데이터를 획득하는 생체 데이터 측정 모듈, 및 상기 생체 데이터를 수신하여 상기 착용자의 생체 상태를 수집하는 컨트롤 모듈을 포함하되, 상기 컨트롤 모듈은 주기적으로 상기 생체 데이터를 외부의 관리서버로 전송하고, 상기 컨트롤 모듈은 상기 제1 외부영상 및 상기 제2 외부영상을 수신하고 이를 분석하여 상기 착용자의 보행시에 시야 미확보 영역의 외부 위험 요소를 검출하고, 상기 컨트롤 모듈은 상기 외부 위험 요소가 검출되면 상기 한 쌍의 보청기 모듈로 알림음을 전송한다.

Description

위험요소 감지 기능을 가지는 양귀 삽입형 보청기 및 이를 이용한 위험요소 감지 시스템{TWO EARS INSERTABLE HEARING AID HAVING A DANGER DETECTING FUNCTION AND SYSTEM FOR DETECTING DANGEROUS FACTORS USING THEREOF}

본 발명은 위험요소 감지 기능을 가지는 양귀 삽입형 보청기 및 이를 이용한 위험요소 감지 시스템에 관한 것으로서, 보다 상세하게는 외부 환경에 대한 위험 감지 및 착용자 내부의 위험 감지가 가능한 양귀 삽입형 보청기 및 이를 이용한 위험요소 감지 시스템에 관한 것이다.

일반적으로, 난청(難聽, impaired hearing) 환자는 일상 생활에서 대화를 듣고 나누는데 이해가 곤란할 정도로 소리를 잘 듣지 못하는 사람, 즉 청각에 장애가 있는 사람을 말하며, 난청 정도에 따라 27 dB 내지 40 dB의 청력 손실은 경도 난청, 41 dB 내지 55 dB의 청력 손실은 중등도 난청, 56 dB 내지 70 dB의 청력 손실은 중고등 난청 및 70 dB 내지 90 dB의 청력 손실은 고도 난청으로 분류되며, 91 dB 이상의 청력 손실은 농으로 분류된다.

사람의 외이로부터 청신경에 이르기까지의 소리 또는 전기 에너지를 전달하기 위한 기능들이 원활하지 않아 청각이 저하되거나 또는 상실된 상태에 있는 난청인의 경우 소리 또는 전기 에너지를 보상해줄 수 있는 보청기(hearing aid)가 필수적이다.

일반적으로, 보청기는 화자음 및 주변음을 수집하여 전기적인 신호로 출력하는 송화기, 송화기로부터 출력된 신호를 입력받아 정류 및 증폭하는 증폭기, 상기 증폭기에서 증폭된 신호를 음파로 변환하여 난청인의 귀로 전달하는 수화기 및 송화기, 상기 수화기 및 증폭기로 전력을 공급하는 배터리를 포함하여 이루어진다. 이러한 보청기의 종류로는 상자형, 귀속형, 귀걸이형, 및 안경형이 있으며, 최근에는 귀속형을 더욱 발전시킨 것으로 귀속 깊숙이 넣을 수 있는 고막형이 추가되었다.

국내특허공개공보 제10-2009-0008612호

한편, 보청기를 착용한 사용자는 자신의 손실된 일부 청력을 전기적인 방법에 의해 손실된 소리를 인위적으로 재생함으로써 보완할 수 있으나, 정상적인 청력 수준으로 회복되기는 어려운 실정이다. 특히, 고도 난청인 또는 농아의 경우에는 인접하지 않은 음원으로부터 발생한 소리를 감지하기는 어려운 상황이다.

시각적인 정보 이외에도 청각적인 정보는 상황을 인식하는데 큰 비중을 차지하며, 특히 시야가 확보되지 않은 영역에서 위험한 상황이 발생하는 경우 해당 영역에서 발생하는 청각적인 요소는 위험상황을 인지하고 미리 대피하는게 결정적인 역할을 수행할 수 있다.

예를 들어 고도 난청 환자가 횡단보도를 보행하는 중에 급작스럽게 차량이 돌진하는 경우에는 이를 미리 인지하기 어려울 뿐만 아니라 돌진 차량으로부터 발생한 소음을 제대로 인식하지 못하는 경우 큰 인명피해가 발생할 수 있다. 특히, 해당 차량이 난청인의 좌우측 측면 또는 후방에서 돌진할 경우, 시각이 확보되지 않으므로 큰 위험에 처할 수 있다.

이와 같이, 난청인은 일반인에 비해 외부 환경에 대한 청각적인 정보를 획득하고 이에 대응하는데 곤란하거나 위험한 상황에 처하는 경우가 빈번하게 발생할 수 있으므로, 이에 대한 대응방안이 시급한 실정이다.

본 발명은 상기한 문제점을 해결하기 위한 것으로서, 본 발명의 이루고자 하는 기술적 과제는 위험 요소를 사전에 인지하고 이에 대한 정보를 난청인에게 제공하여 난청인이 사전에 대응할 수 있도록 하는 보청기 및 이를 이용한 위험요소 감지 시스템을 제공하는 것이다.

본 발명이 해결하고자 하는 다른 과제는, 외부 위험 요소를 실시간으로 감지하되 내부 위험 요소를 함께 고려하여 난청인에게 적절한 자극을 전달하는 보청기 및 이를 이용한 위험요소 감지 시스템을 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 과제는, 착용자의 내부 위험 요소를 고려하여, 위험 상황이 발견되면 외부의 타인에게 위험상황을 전파함으로써 착용자에 대한 신속한 조치가 이루어지도록 하는 보청기 및 이를 이용한 위험요소 감지 시스템을 제공하는 것이다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 위험요소 감지 기능을 가지는 양귀 삽입형 보청기는, 넥밴드 타입의 양귀 삽입형 보청기로서, 외부에서 감지된 소리를 신호처리하여 음향으로 출력하는 한 쌍의 보청기 모듈, 상기 한 쌍의 보청기 모듈을 연결하는 곡선형 프레임, 상기 한 쌍의 보청기 모듈의 외측면에 각각 배치되어 측방의 제1 외부영상을 획득하는 한 쌍의 카메라 모듈, 상기 곡선형 프레임의 중앙부에 배치되어 후방의 제2 외부영상을 획득하는 보조 카메라 모듈, 상기 한 쌍의 보청기 모듈의 외이도에 삽입되는 커널의 내측에 배치되어 착용자의 생체 데이터를 획득하는 생체 데이터 측정 모듈, 및 상기 생체 데이터를 수신하여 상기 착용자의 생체 상태를 수집하는 컨트롤 모듈을 포함하되, 상기 컨트롤 모듈은 주기적으로 상기 생체 데이터를 외부의 관리서버로 전송하고, 상기 컨트롤 모듈은 상기 제1 외부영상 및 상기 제2 외부영상을 수신하고 이를 분석하여 상기 착용자의 보행시에 시야 미확보 영역의 외부 위험 요소를 검출하고, 상기 컨트롤 모듈은 상기 외부 위험 요소가 검출되면 상기 한 쌍의 보청기 모듈로 알림음을 전송한다.

본 발명의 다른 실시예에 따른 위험요소 감지 기능을 가지는 양귀 삽입형 보청기는, 넥밴드 타입의 양귀 삽입형 보청기로서, 외부에서 감지된 소리를 신호처리하여 음향으로 출력하는 한 쌍의 보청기 모듈, 한 쌍의 보청기 모듈을 연결하는 곡선형 프레임, 한 쌍의 보청기 모듈의 외측면에 각각 배치되어 측방의 제1 외부영상을 획득하는 한 쌍의 카메라 모듈, 곡선형 프레임의 중앙부에 배치되어 후방의 제2 외부영상을 획득하는 보조 카메라 모듈, 한 쌍의 보청기 모듈의 외이도에 삽입되는 커널의 내측에 배치되어 착용자의 생체 데이터를 획득하는 생체 데이터 측정 모듈, 한 쌍의 보청기 모듈에 구비되어 소정의 진동제어신호에 의해 진동패턴을 형성하는 진동모터, 및 생체 데이터를 수신하여 착용자의 생체 상태를 수집하는 컨트롤 모듈을 포함하되, 컨트롤 모듈은 주기적으로 생체 데이터를 외부의 관리서버로 전송하고, 컨트롤 모듈은 제1 외부영상 및 제2 외부영상을 수신하고 이를 분석하여 착용자의 시야 미확보 영역의 외부 위험 요소를 검출하고, 컨트롤 모듈은 외부 위험 요소가 검출되면 진동모터에 진동제어신호를 전송하여 진동패턴을 생성한다.

본 발명의 일 실시예에 따른 보청기를 이용한 위험요소 감지 시스템은, 통신 모듈을 포함하여 외부와 무선으로 통신 가능한 보청기 장치, 상기 보청기 장치와 무선으로 통신하여 소정의 데이터를 송수신하는 중개 서버, 및 상기 중개 서버와 연결된 복수의 분산 안내 서버를 포함하되, 상기 보청기 장치는 외부 영상을 획득하는 카메라 모듈을 포함하고, 상기 보청기 장치는 상기 카메라 모듈로부터 획득한 영상 데이터를 상기 중개 서버로 전송하고, 상기 중개 서버는 상기 영상 데이터를 상기 복수의 분산 안내 서버 중 하나로 전달하고, 상기 복수의 분산 안내 서버 중 하나는 상기 영상 데이터를 분석하여 상기 보청기 장치를 착용하는 착용자의 시야 미확보 영역의 외부 위험 요소를 검출하여, 상기 외부 위험 요소가 검출되면 상기 보청기 장치로 제1 경고음을 전송한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

상기와 같은 본 발명의 위험요소 감지 기능을 가지는 양귀 삽입형 보청기 및 이를 이용한 위험요소 감지 시스템에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.

즉, 보청기의 외부에 카메라 모듈을 설치하고, 카메라 모듈을 통해 착용자의 좌우측방 및 후방의 외부 위험 요소를 사전에 인지하고 이에 대한 정보를 난청인에게 제공하여 난청인이 사전에 대응할 수 있으며, 이로 인해 발생할 수 있는 인명 피해를 예방할 수 있다.

또한, 외부 위험 요소를 실시간으로 감지하되 생체데이터를 분석하여 도출된 내부 위험 요소를 함께 고려하여, 난청인의 호흡, 체온 내지 맥박 등이 불안정한 상태인 경우, 위험을 알리는 알림음을 인지하지 못할 가능성이 높기 때문에 이를 고려하여 알림음의 패턴 주기 및 크기를 증폭시켜서 난청인에게 적절한 자극을 전달할 수 있다.

또한, 생체데이터를 분석하여 얻은 착용자의 내부 위험 요소를 고려하여, 위험 상황이 발견되면 외부 스피커 및/또는 LED 모듈을 작동시켜 외부의 타인에게 위험상황을 전파함으로써 착용자에 대한 신속한 조치가 이루어지도록 할 수 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 위험요소 감지 기능을 가지는 양귀 삽입형 보청기를 착용한 모습을 나타내는 도면이다.
도 2는 도 1의 반대편에서 도시한 모습을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 위험요소 감지 기능을 가지는 양귀 삽입형 보청기의 구조를 나타내는 사시도이다.
도 4는 도 3의 보청기의 좌우측 및 후방 카메라의 영상 획득 구조를 나타내는 도면이다.
도 5는 도 4의 영상 데이터로부터 감지된 외부 위험 요소를 나타내는 예시적인 도면이다.
도 6은 도 3의 보청기의 작동원리를 개략적으로 나타내는 블록도이다.
도 7 내지 도 9는 도 3의 보청기의 좌우측 및 후방 카메라의 영상에서 각각 외부 위험 요소가 감지된 경우의 작동원리를 나타내는 도면이다.
도 10은 도 3의 보청기의 좌우측 및 후방 카메라의 영상에서 각각 외부 위험 요소가 감지된 경우의 알림음 패턴을 나타내는 순서도이다.
도 11은 도 3의 보청기의 생체 데이터와 이에 따른 알림음의 패턴 주기 및 크기 변화를 나타내는 예시적인 도면이다.
도 12는 도 3의 보청기의 작동원리를 순차적으로 나타내는 순서도이다.
도 13은 도 3의 보청기의 외부 위험 요소를 결정하는 원리를 순차적으로 나타내는 순서도이다.
도 14는 본 발명의 일 실시예에 따른 보청기를 이용한 위험요소 감지 시스템을 개략적으로 나타내는 블록도이다.
도 15는 도 14의 시스템의 작동원리를 순차적으로 나타내는 순서도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

아래 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 내용을 상세히 설명한다. 도면에 관계없이 동일한 부재번호는 동일한 구성요소를 지칭하며, "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.

이하, 도 1 내지 도 3을 참조하여 본 발명의 일 실시예에 따른 위험요소 감지 기능을 가지는 양귀 삽입형 보청기에 대해 설명한다. 도 1은 본 발명의 일 실시예에 따른 위험요소 감지 기능을 가지는 양귀 삽입형 보청기를 착용한 모습을 나타내는 도면이고, 도 2는 도 1의 반대편에서 도시한 모습을 나타내는 도면이고, 도 3은 본 발명의 일 실시예에 따른 위험요소 감지 기능을 가지는 양귀 삽입형 보청기의 구조를 나타내는 사시도이다.

도 1 내지 도 3을 참조하면, 본 발명의 일 실시예에 따른 위험요소 감지 기능을 가지는 양귀 삽입형 보청기는, 넥밴드 타입의 양귀 삽입형 보청기로서, 외부에서 감지된 소리를 신호처리하여 음향으로 출력하는 한 쌍의 보청기 모듈(110), 상기 한 쌍의 보청기 모듈(110)을 연결하는 곡선형 프레임(120), 상기 한 쌍의 보청기 모듈(110)의 외측면에 각각 배치되어 측방의 제1 외부영상을 획득하는 한 쌍의 카메라 모듈(130a, 130b), 상기 곡선형 프레임(120)의 중앙부에 배치되어 후방의 제2 외부영상을 획득하는 보조 카메라 모듈(140), 상기 한 쌍의 보청기 모듈(110)의 외이도에 삽입되는 커널의 내측에 배치되어 착용자의 생체 데이터를 획득하는 생체 데이터 측정 모듈(150), 및 상기 생체 데이터를 수신하여 상기 착용자의 생체 상태를 수집하는 컨트롤 모듈(160)을 포함하되, 상기 컨트롤 모듈(160)은 주기적으로 상기 생체 데이터를 외부의 관리서버로 전송하고, 상기 컨트롤 모듈(160)은 상기 제1 외부영상 및 상기 제2 외부영상을 수신하고 이를 분석하여 상기 착용자의 보행시에 시야 미확보 영역의 외부 위험 요소를 검출하고, 상기 컨트롤 모듈(160)은 상기 외부 위험 요소가 검출되면 상기 한 쌍의 보청기 모듈(110)로 알림음을 전송한다.

도 1 및 도 2를 참조하면, 착용자의 양 귀에 사용 가능한 양귀 삽입형 보청기(100)가 착용된 상태가 도시된다. 한 쌍의 보청기 모듈(110)은 곡선형 프레임(120)에 의해 연결되며, 곡선형 프레임(120)은 예를 들어 착용자의 머리의 일부 예를 들어 후두부를 감싸는 형태로 후두부의 외형에 따라 유선형이 결정될 수 있다. 보청기 모듈(110)의 일측에는 외이의 후방에 거치될 수 있는 고리형의 거치부(미도시)가 더 구비될 수 있으나, 이에 한정되는 것은 아니다. 보청기 모듈(110)은 거치부가 없이 외이도에 소정 부압으로 삽입되어 고정 가능한 힘을 제공하는 커널형태일 수도 있다.

곡선형 프레임(120)의 재질 및 형상에는 제한이 없으며, 몇몇 실시예에서 곡선형 프레임(120)은 피복 코팅된 연결선으로 대체될 수 있다. 이러한 경우, 보청기 모듈(110)은 피복 코팅된 연결선에 의해 소정의 데이터를 송수신하여 동기화될 수 있다.

앞서 설명한 바와 같이, 한 쌍의 보청기 모듈(110)은 기존 보청기의 구성 예를 들어, 화자음 및 주변음을 수집하여 전기적인 신호로 출력하는 송화기, 송화기로부터 출력된 신호를 입력받아 정류 및 증폭하는 증폭기, 상기 증폭기에서 증폭된 신호를 음파로 변환하여 난청인의 귀로 전달하는 수화기, 상기 수화기 및 증폭기로 전력을 공급하는 배터리를 포함할 수 있다.

예를 들어 송화기는, 소정의 영역 내에서 발생한 음성을 추출하는 역할을 수행하며, 음성 데이터를 수신하기 위한 다양한 종류의 마이크 장치가 사용될 수 있다. 예를 들어, 마이크 구조에 따라 다이나믹 마이크, 콘덴서 마이크, 리본 마이크가 사용될 수 있으며, 지향성에 따라 지향성 마이크, 무지향성 마이크(Non-directional microphone), 단일 지향성 마이크(Uni-directional microphone), 초지향성 마이크(Super cardioid, Hyper cardioid) 등이 모두 사용될 수 있다.

수화기(112b)는 공지의 스피커 또는 이어폰의 구성과 동일할 수 있으며, 착용자에게 음성 데이터를 전달한다.

보청기 모듈(110)의 외측면에는 각각 보청기 모듈(110)이 이루는 평면과 수직한 방향의 외부영상을 획득하기 위한 카메라 모듈(130)이 구비된다. 카메라 모듈(130)은 보청기 모듈(110)의 외면에 구비되며, 착용자의 좌측 또는 우측의 외부의 영상을 획득하여 이를 영상 데이터화 한다.

카메라 모듈(130)은 실제 영상을 촬영하는 카메라 유닛과, 카메라 유닛에 연결되어 아날로그 또는 디지털 영상 데이터를 생성하는 인코더 유닛과, 영상 데이터를 컨트롤 모듈(160)로 전송하는 송수신 유닛을 포함할 수 있다.

카메라 모듈(130)은 공지의 구조 예를 들어, 하나 이상의 광학 렌즈로 구성된 촬영 장치를 모두 포함할 수 있으며, 반도체 소자 예를 들어 CCD등과 같은 촬상 소자 등으로 구성된 공지의 카메라 유닛을 모두 포함하는 개념일 수 있다.

카메라 모듈(130)로부터 획득된 외부 영상은 컨트롤 모듈(160)로 전송되며, 해당 영상을 분석하여 외부위험요소가 존재하는지 여부 및 외부위험요소가 착용자에게 접근하는지 여부를 판단할 수 있다.

이에 추가로, 한 쌍의 보청기 모듈(110)을 연결하는 곡선형 프레임(120)의 후방 즉, 곡선형 프레임(120)의 중앙부에는 착용자의 후방의 영상을 획득하는 보조 카메라 모듈(140)이 추가로 구비된다.

몇몇 다른 실시예에서는 후방의 보조 카메라 모듈(140)은 생략될 수도 있다.

보조 카메라 모듈(140)은 착용자의 시야의 사각(死角)인 후방의 영상을 획득할 수 있으며, 후방 영상도 마찬가지로 컨트롤 모듈(160)로 전송되어 후방 영상 내에 외부위험요소가 존재하는지 판단할 수 있다.

도 1 및 도 2에 도시된 예에서, 설명의 편의를 위해 한 쌍의 보청기 모듈(110)의 크기를 과장해서 도시되었으나, 이에 한정되는 것은 아니며, 착용자의 외이도에 삽입되는 종래의 보청기 형태와 같이 소형화될 수도 있다.

도 3을 참조하면, 본 실시예에 따른 보청기(100)는 생체 데이터 측정 모듈(150), 컨트롤 모듈(160), LED 모듈(170), 스피커 모듈(180)을 더 포함할 수 있으며, 후술하는 바와 같이 외부에 존재하는 서버와의 무선 통신을 위한 통신 모듈(도 13 참조, 190)을 더 포함할 수 있다.

생체 데이터 측정 모듈(150)은 한 쌍의 보청기 모듈(110)의 외이도에 삽입되는 커널의 내측에 배치되어 착용자의 생체 데이터를 획득한다. 생체 데이터 측정 모듈(150)은 착용자의 외이도에 삽입되어 신체 내부에 위치하게 된다. 생체 데이터 측정 모듈(150)은 한 쌍의 보청기 모듈(110) 중에서 한 쪽(110b)에만 구비되는 것으로 도시되었으나, 이에 한정되는 것은 아니며 착용자의 양측 귀에서 생체 데이터를 측정할 수 있도록 한 쌍의 보청기 모듈(110) 양쪽에 구비될 수도 있다.

생체 데이터 측정 모듈(150)로부터 측정된 생체 데이터는 컨트롤 모듈(160)로 전송되어 착용자의 상태를 모니터링할 수 있다. 생체 데이터는 심박수, 맥박 및 체온을 포함할 수 있다.

이를 위해 생체 데이터 측정 모듈(150)은 체온 감지부 및 맥박 감지부(미도시)를 포함하여 구성될 수 있다. 체온 감지부는 외이도에 삽입되는 커널 표면에 온도 센서를 부착하여 체온을 측정할 수 있으며, 지속적인 체온의 변화량을 측정할 수 있다. 맥박 감지부는 착용자의 맥박 변화량을 측정할 수 있으며, 압력 센서 또는 광 송수신 센서를 부착하여 혈액으로부터 전달되어오는 귀속 외이도의 압력 변화를 측정하여 맥박을 검출하거나, 광을 발생시키는 송신기, 광을 검출하는 수신기를 보청기에 장착하여 검출된 광의 세기 변화를 측정함으로써 맥박의 유무를 검출할 수 있다.

이와 같이 측정된 생체 데이터로부터 착용자의 상태가 정상 상태인지, 이상 상태인지를 판단할 수 있다. 예를 들어, 맥박 및/또는 체온이 급격하게 변화하는 경우 착용자의 상태를 이상 상태로 판단할 수 있다. 이와 같은 생체 데이터는 외부의 관리서버(미도시)로 전송되어 외부에서 이를 관리할 수도 있다.

컨트롤 모델(160)은, 카메라 모듈(130) 및 보조 카메라 모듈(140)로부터 외부영상에 관한 영상 데이터를 수신하고, 동시에 생체 데이터 측정 모듈(150)로부터 생체 데이터를 수신하며, 영상 데이터 및 생체 데이터를 모니터링하고 이를 분석하여 이상 상황 또는 위험 상황을 판단할 수 있다.

컨트롤 모듈(160)은 주기적으로 생체 데이터를 외부의 관리서버(미도시)로 전송할 수 있으며, 카메라 모듈(130) 및 보조 카메라 모듈(140)로부터 각각 획득한 제1 외부영상 및 제2 외부영상을 수신하고 이를 분석하여 착용자의 시야 미확보 영역의 외부 위험 요소를 검출할 수 있다. 또한, 컨트롤 모듈(160)은 외부 위험 요소가 검출되면 한 쌍의 보청기 모듈(110)로 알림음을 전송할 수 있다.

컨트롤 모듈(160) 내의 영상 분석 과정 및 생체 데이터 분석 과정에 대해서는 후술한다.

LED 모듈(170)은 곡선형 프레임(120)의 외측에 부착되어 컨트롤 모듈(160)의 신호에 의해 발광할 수 있다. 몇몇 다른 실시예에서 LED 모듈(170)은 다른 광원 예를 들어 벌브 타입의 광원 또는 다른 타입의 광학소자로 대체될 수 있다.

컨트롤 모듈(160)이 착용자의 생체 데이터를 분석하여 위험 상태라고 판단할 경우, 착용자 외부의 타인에게 착용자의 상태를 전파할 수 있도록, LED 모듈(170)을 발광할 수 있으며, 주간 또는 야간에는 해당되는 주변 광량에 따라 전원 공급을 달리하여 휘도를 제어할 수도 있다.

LED 모듈(170)은 비상 상황임을 주변에 전파할 수 있도록 점멸 동작이 반복될 수 있다.

스피커 모듈(180)은 곡선형 프레임(120)의 외측에 부착되어 컨트롤 모듈(160)의 제어로 인해 외부로 소정의 소리를 전달할 수 있다. LED 모듈(170)과 마찬가지로 컨트롤 모듈(160)이 착용자의 생체 데이터를 분석하여 위험 상태라고 판단할 경우, 착용자 외부의 타인에게 착용자의 상태를 전파할 수 있도록 스피커 모듈(180)을 통해 소정 데시벨 이상의 경고음을 발생시켜서 주변에 위치하는 타인의 시선을 환기시킬 수 있다.

통신 모듈(190)은 외부의 서버 또는 소정의 장치와 무선으로 통신 가능한 이동 통신 모듈일 수 있으며, 외부와 소정의 데이터를 송수신할 수 있다. 예를 들어, 보청기(100)에서 획득한 영상 데이터 및/또는 생체 데이터를 외부 서버로 전송하는 역할을 수행할 수 있으며, 외부로부터 음성 메시지 등을 수신하여 이를 착용자에게 전달할 수도 있다. 몇몇 다른 실시예에서 통신 모듈(190)은 외부의 서버로부터 제어 시그널을 수신할 수 있으며, 이를 컨트롤 모듈(160)에 전달하여 외부의 제어를 통해 한 쌍의 보청기 모듈(110)의 수화부(112b)의 볼륨 등을 원격으로 제어할 수도 있다.

이하, 도 4 내지 도 10을 참조하여, 본 발명의 일 실시예에 따른 위험요소 감지 기능을 가지는 양귀 삽입형 보청기의 동작원리 및 구조에 대해 상세히 설명한다. 도 4는 도 3의 보청기의 좌우측 및 후방 카메라의 영상 획득 구조를 나타내는 도면이고, 도 5는 도 4의 영상 데이터로부터 감지된 외부 위험 요소를 나타내는 예시적인 도면이고, 도 6은 도 3의 보청기의 작동원리를 개략적으로 나타내는 블록도이고, 도 7 내지 도 9는 도 3의 보청기의 좌우측 및 후방 카메라의 영상에서 각각 외부 위험 요소가 감지된 경우의 작동원리를 나타내는 도면이고, 도 10은 도 3의 보청기의 좌우측 및 후방 카메라의 영상에서 각각 외부 위험 요소가 감지된 경우의 알림음 패턴을 나타내는 순서도이다.

도 4를 참조하면, 예시적인 좌우측 및 후방의 영상 데이터가 도시된다. 카메라 모듈(130a, 130b)을 통해 착용자의 좌우측 영상 데이터(210, 220)를 획득할 수 있으며, 보조 카메라 모듈(140)을 통해 착용자의 후방 영상 데이터(230)를 획득할 수 있다.

획득된 영상 데이터(210, 220, 230)는 소정의 프레임을 가질 수 있으며, 소정의 저장 공간 또는 버퍼에 의해 임시 또는 일정 분량만큼 저장될 수도 있다. 예를 들어, 본 실시예에 따른 보청기는 플래시 메모리 타입의 저장장치(미도시)가 더 구비되고, 카메라 모듈 등에 의해 획득된 영상데이터는 상기 저장장치에 저장될 수 있다.

컨트롤 유닛(160)은 저장장치에 저장된 영상 데이터(210, 220, 230)의 메타데이터를 추출하여 이를 별도로 관리할 수 있다. 메타데이터를 추출하는 작업은 저장장치에 영상 데이터(210, 220, 230)가 저장되는 작업과 동시에 또는 이시에 수행될 수 있으며, 메타데이터는 영상 데이터(210, 220, 230)의 중요한 정보 예를 들어 크기 정보, 픽셀 좌표 정보 및 색상 정보 중 하나 이상을 포함할 수 있다.

컨트롤 유닛(160)에서 영상 데이터(210, 220, 230)를 신속하게 검색할 수 있도록 영상 데이터(210, 220, 230)의 픽셀에 대한 정보를 인덱싱하여 저장할 수 있다.

저장된 영상 데이터(210, 220, 230)는 소정 기간 동안 저장되어 추후에 이를 추출하여 조회할 수 있으며, 상기 소정 기간 전에 용량이 모두 소진된 경우에는 선입선출 방식으로 이전 데이터부터 자동 삭제되도록 구성될 수 있다.

도 5를 참조하면, 우측의 영상 데이터(220)에 외부 위험 요소(300) 예를 들어 착용자에게 돌진하는 자동차가 존재하는 경우를 도시한다. 외부 위험 요소(300)는 예시한 바와 같이, 착용자의 신변에 위협을 가할 수 있는 모든 객체 요소를 의미할 수 있으며, 예를 들어 착용자에게 돌진하는 차량, 자전거, 오토바이 또는 소정 속도 이상으로 접근하는 사람 등을 모두 포함할 수 있다.

카메라 모듈 등(130, 140)에 의해 획득된 영상 데이터는 컨트롤 모듈(160)에서 분석되며, 컨트롤 모듈(160)은 공지의 다양한 객체 인식 알고리즘 예를 들어 적응적 가우시안 혼합 모델(Adaptive Gaussian Mixture Model)을 기초로 외부 위험 요소(300)를 검출할 수 있다. 이외에도, 평면의 단색 배경 이미지를 이용하거나 사전에 정의된 고정 배경 이미지를 이용하여 통제된 배경 이미지 하에서 객체를 탐지하는 기법, 영상 데이터 상에서 움직이는 객체 영역을 단순 추출하는 기법, 통계적 클러스터 정보를 이용하는 신경회로망 접근 기법 등이 사용될 수 있으나 이에 한정되는 것은 아니다.

예를 들어, 배경분리기법을 통해 움직이는 객체를 배경에서 분리하는 방법을 적용하여 영상 데이터(210, 220, 230)에서 배경과 전경이미지를 추출한다. 이후, 배경을 모델링해서 명시적인 배경을 만들고 이진 전경 분할 마스크를 이용해서 움직이는 객체를 배경에서 분리할 수 있다. 전경이미지를 통해 움직이는 객체를 추출하고 객체의 중심점을 구해 방향정보를 판단한다. 방향은 상, 하, 좌, 우의 정보만을 추출할 수 있으며, 객체의 행동정보와 미리 설정된 프로파일링 정보를 판단해서 위험상황에 대해 인식한다.

또한, 외부 위험 요소(300)는, 제1 외부영상 및 제2 외부영상(210, 220, 230)의 인식된 객체 중에서 소정 크기 이상이고 소정 속도 이상으로 착용자 측으로 접근하는 객체로 결정될 수도 있다.

예를 들어, 영상 데이터(210, 220, 230)로부터 추출된 객체는 다른 객체와의 상대적인 비교에 의해 크기가 결정될 수도 있으며, 카메라 모듈 또는 보조 카메라 모듈(130, 140)의 배율 등을 고려하여 대략적인 객체의 크기를 결정할 수 있다. 예를 들어, 영상 데이터(210, 220, 230) 상의 면적이 50px 이상인 객체로 한정하여 외부 위험 요소(300)를 결정할 수 있다.

또한, 각 프레임 별로 객체의 이동 경로를 추적하여 객체가 착용자 측으로 접근하는지 여부를 결정하고, 착용자 측으로 접근하는 경우, 객체의 이동속도를 추적하여 소정 속도 이상으로 접근하는 경우 외부 위험 요소(300)로 결정할 수 있다.

예를 들어, 객체가 소정 프레임에서 면적이 150px이고, 프레임이 경과하면서 점진적으로 픽셀에서 차지하는 면적이 증가되는 경우 착용자 측으로 접근하는 것으로 판단할 수 있으며, 면적이 증가되는 속도를 고려하여 소정의 이동속도 이상인 경우에 해당 객체를 외부 위험 요소(300)로 결정할 수 있다.

도 6을 참조하면, 카메라 모듈(130) 및/또는 보조 카메라 모듈(140)로부터 획득된 영상 데이터는 컨트롤 모듈(160)로 전송되며, 생체 데이터 측정 모듈(150)로부터 측정된 생체 데이터도 마찬가지로 컨트롤 모듈(160)로 전송된다. 이와 같은 데이터를 수신한 컨트롤 모듈(160)은 위에서 설명한 알고리즘에 따라서 외부 위험 요소가 존재하는지 또는 내부 위험 요소가 존재하는지를 판단하고, 위험 요소가 존재하는 경우, 한 쌍의 보청기 모듈(110)로 위험을 알리는 알림음을 전송할 수 있다.

도 7 내지 도 9를 참조하면, 카메라 모듈(130) 및/또는 보조 카메라 모듈(140)로부터 획득된 영상 데이터(210, 220, 230) 상의 외부 위험 요소(300)의 위치에 따른 알림음 전송 패턴이 도시된다.

착용자가 외부 위험 요소(300)가 어느 위치에서 접근하는지 직관적으로 인식할 수 있도록, 외부 위험 요소(300)의 위치에 대응하여 외부 위험 요소(300)가 감지된 측의 카메라 모듈(130, 140) 방향의 보청기 모듈(110)로 알림음 내지 경고음이 출력될 수 있다.

예를 들어, 도 7에 도시된 바와 같이 우측(착용자의 왼쪽) 영상 데이터(220)에 외부 위험 요소(300)가 감지된 경우, 착용자의 왼쪽의 보청기 모듈(110)에서 알림음이 발생하도록 설정될 수 있다.

마찬가지로, 도 8에 도시된 바와 같이 좌측(착용자의 오른쪽) 영상 데이터(210)에 외부 위험 요소(300)가 감지된 경우, 착용자의 오른쪽의 보청기 모듈(110)에서 알림음이 발생하도록 설정될 수 있다.

또한, 도 9에 도시된 바와 같이, 상부측(착용자의 후방) 영상 데이터(230)에 외부 위험 요소(300)가 감지된 경우, 착용자의 양쪽 보청기 모듈(110)에서 동시에 알림음이 발생하도록 설정될 수 있다.

이와 같이, 외부 위험 요소(300)가 감지된 방향에서 알림음이 발생할 경우 착용자가 직관적으로 알림음이 발생한 방향측으로 방향을 전환하거나 시야를 전환하여 즉각적으로 외부 위험 요소(300)에 반응 및 대응할 수 있다.

몇몇 다른 실시예에서, 만약 착용자의 좌우측 및 후방 중에서 두 곳 이상의 복수의 영역에서 위험이 감지된 경우에는, 알림음에 패턴을 부여하여 착용자가 복수의 방위에서 접근하는 위험요소를 인식하도록 할 수 있다.

예를 들어, 착용자의 좌우측에서 동시에 위험요소가 접근할 경우, 보청기 모듈(110)의 좌측 및 우측에서 교대로 알림음이 발생하게 되고, 이로 인해 착용자가 좌측 및 우측에서 동시에 외부 위험 요소(300)가 존재한다는 점을 인식할 수 있다.

도 10을 참조하면, 외부 위험 요소(300)를 착용자 즉 난청인에게 알리는 알림음은 외부 위험 요소(300)가 존재하는 시야 미확보 영역의 위치에 따라 서로 다른 패턴을 가질 수 있다. 위와 같이, 감지된 방향에 대응하여 알림음의 위치를 제어하는 방법 이외에도 도시된 바와 같이, 미리 정해진 알림음 패턴에 따라 착용자에게 외부 위험 요소(300)의 위치를 알릴 수 있다. 예를 들어, 좌측(착용자의 오른쪽) 영상 데이터(210)에 외부 위험 요소(300)가 감지된 경우, 제1 패턴(410)에 따라 알림음이 재생될 수 있으며, 다른 측 영상 데이터(220, 230)에서도 각각 대응되는 제2 패턴(420) 및 제3 패턴(430)에 따라 알림음이 재생될 수 있다. 이러한 경우 보청기 모듈(110)의 양 측에서 동시에 재생될 수도 있다.

몇몇 다른 실시예에서, 난청인에게 직관적으로 위험한 방향을 인식시키기 위해, 미리 녹음한 경고문구를 재생할 수도 있다. 예를 들어, 외부 위험 요소(300)가 착용자의 왼쪽에서 감지된 경우 "왼쪽" 또는 "왼쪽이 위험합니다" 등의 경고 문구를 재생할 수 있으며, 다른 측에서 감지된 경우 이에 대응하는 경고 문구를 재생할 수도 있다.

또한, 몇몇 다른 실시예에서, 보청기(100)는 가속도 센서 및/또는 기울기 센서(미도시)를 구비할 수 있으며, 가속도 또는 기울기로 인해 착용자의 주시 방향을 검출할 수 있다. 컨트롤 모듈(160)에서 외부위험요소를 감지한 경우에, 이에 대응하여 즉각적으로 예를 들어 0.1초의 소정 시간 간격 내에 착용자가 외부위험요소가 존재하는 방향으로 주시 방향을 전환한 경우에는, 이미 위험을 감지한 상태이므로 알림음 재생 기능이 수행되지 않도록 설정될 수도 있다.

또한, 몇몇 다른 실시예에서, 보청기(100)는 보청기 모듈(110)의 일측에 진동모터(미도시)를 더 포함하고, 위험요소가 발생하면, 진동이 발생하여 외부위험요소를 착용자에게 알릴 수 있다. 앞서 설명한 바와 같이, 외부위험요소가 발생한 방향의 진동모터가 진동함으로써, 직관적으로 위험 방향을 착용자에게 알릴 수 있다. 즉, 진동모터로부터 발생한 진동패턴은 외부 위험 요소가 감지된 측의 카메라 모듈 방향의 보청기 모듈에 구비된 진동모터에 의해 생성될 수 있다.

특히, 난청 수준이 높은 사용자의 경우, 알림음 또는 경고음 내지 경고문구를 최대로 출력하더라도 주변환경의 소음 레벨이 높은 경우에는 이와 같은 위험을 인식하지 못할 위험성이 있다. 따라서, 컨트롤 모듈(160)에서 외부위험요소를 인식한 경우, 보청기 모듈(110)을 통해 소리를 출력하는 대신 진동모터를 진동시켜서 청각 대신 촉각으로 위험을 전파할 수 있다.

즉, 본 발명의 다른 실시예에 따른 보청기는, 넥밴드 타입의 양귀 삽입형 보청기로서, 외부에서 감지된 소리를 신호처리하여 음향으로 출력하는 한 쌍의 보청기 모듈, 한 쌍의 보청기 모듈을 연결하는 곡선형 프레임, 한 쌍의 보청기 모듈의 외측면에 각각 배치되어 측방의 제1 외부영상을 획득하는 한 쌍의 카메라 모듈, 곡선형 프레임의 중앙부에 배치되어 후방의 제2 외부영상을 획득하는 보조 카메라 모듈, 한 쌍의 보청기 모듈의 외이도에 삽입되는 커널의 내측에 배치되어 착용자의 생체 데이터를 획득하는 생체 데이터 측정 모듈, 한 쌍의 보청기 모듈에 구비되어 소정의 진동제어신호에 의해 진동패턴을 형성하는 진동모터, 및 생체 데이터를 수신하여 착용자의 생체 상태를 수집하는 컨트롤 모듈을 포함하되, 컨트롤 모듈은 주기적으로 생체 데이터를 외부의 관리서버로 전송하고, 컨트롤 모듈은 제1 외부영상 및 제2 외부영상을 수신하고 이를 분석하여 착용자의 시야 미확보 영역의 외부 위험 요소를 검출하고, 컨트롤 모듈은 외부 위험 요소가 검출되면 진동모터에 진동제어신호를 전송하여 진동패턴을 생성한다.

앞선 실시예에서와 마찬가지로, 생체 데이터는 맥박 및 체온을 포함하고, 컨트롤 모듈은 시야 미확보 영역의 외부 위험 요소 검출시에, 생체 데이터를 고려하여, 진동패턴의 크기 및 반복빈도를 결정할 수 있으며, 체온이 정상체온에서 제1 온도 이상 벗어나거나 맥박이 정상맥박에서 제1 수치 이상 벗어나는 조건하에서, 외부 위험 요소가 검출된 경우, 컨트롤 모듈은, 진동패턴의 크기 및 반복빈도를 소정 범위 이상으로 증가시킬 수 있다.

또한, 앞선 실시예에서와 마찬가지로 본 실시예에 따른 진동모터를 포함하는 보청기는, 곡선형 프레임의 외측에 부착되어 컨트롤 모듈의 신호에 의해 발광하는 복수의 LED 모듈, 및 곡선형 프레임의 외측에 부착되어 컨트롤 모듈의 제어로 인해 외부로 소정의 소리를 전달하는 스피커 모듈을 더 포함할 수 있으며, 체온이 정상체온에서 제1 온도보다 높은 제2 온도 이상 벗어나거나 맥박이 정상맥박에서 제1 수치보다 높은 제2 수치 이상 벗어나는 조건하에서, 외부 위험요소가 검출된 경우, 컨트롤 모듈은, 알림음을 스피커 모듈로 전달하여 착용자의 상태를 외부로 전파하고, 복수의 LED 모듈을 주기적으로 점멸할 수 있다.

이하, 도 11 내지 도 13을 참조하여, 본 발명의 일 실시예에 따른 위험요소 감지 기능을 가지는 양귀 삽입형 보청기의 위험 요소 감지 기능에 따른 제어 방식에 대해 설명한다. 도 11은 도 3의 보청기의 생체 데이터와 이에 따른 알림음의 패턴 주기 및 크기 변화를 나타내는 예시적인 도면이고, 도 12는 도 3의 보청기의 작동원리를 순차적으로 나타내는 순서도이고, 도 13은 도 3의 보청기의 외부 위험 요소를 결정하는 원리를 순차적으로 나타내는 순서도이다.

도 11을 참조하면, 생체 데이터에 따른 알림음의 변화에 대해 도시된다. 앞서 설명한 바와 같이, 생체 데이터는 맥박 및 체온을 포함할 수 있으며, 컨트롤 모듈(160)은 시야 미확보 영역의 외부 위험 요소(300)를 검출한 경우, 생체 데이터를 고려하여, 알림음의 크기 및 반복빈도를 자동으로 다르게 결정할 수 있다.

예를 들어, 착용자의 체온이 정상체온에서 제1 온도 이상 벗어나거나 맥박이 정상맥박에서 제1 수치 이상 벗어나는 조건하에서, 외부 위험 요소(300)가 검출된 경우, 컨트롤 모듈(160)은, 알림음의 크기 및 반복빈도를 소정 범위 이상으로 증가시킬 수 있다.

도 11을 참조하면, 상단의 그래프에서는 착용자로부터 측정한 시간에 대한 맥박 그래프(G1) 및 체온 그래프(G2)가 도시된다. 또한, 하단의 그래프에서는 외부 위험 요소가 감지된 상태에서 발생하는 알림음의 빈도 및 크기 그래프(G3, G4)가 도시된다. 즉, 도시된 그래프의 전 구간에서 외부 위험 요소(300)가 검출되어 착용자에게로 알림음이 전달되는 경우를 상정하여 설명한다.

본 착용자의 경우, A 구간과 E 구간은 맥박과 체온이 정상적으로 유지되며, 이로 인해 하단의 그래프에서와 같이, 해당 A 구간과 E 구간에서는 알림음의 빈도 및 크기가 일정하게 유지된다. 즉, 착용자의 상태가 정상인 경우로 판단하여 통상적인 패턴에 따라 알림음이 발생된다.

B 구간과 D 구간은 맥박과 체온이 일시적으로 상승한 구간이며, 이로 인해 하단의 그래프에서와 같이, 해당 B 구간과 D 구간에서는 알림음의 빈도 및 크기가 증가할 수 있다. 즉, 착용자의 상태가 초기 이상 상태인 경우로 판단하고, 초기 이상 상태의 경우 위험 발생을 알리는 알림음을 인식하지 못할 가능성이 정상 상태에 비해 높기 때문에, 알림음의 인식률을 향상시키기 위해 알림음의 빈도 및 크기를 제어하여 착용자의 선택과 무관하게 컨트롤 모듈(160)이 이를 제어할 수 있다.

C 구간의 경우, 맥박과 체온이 크게 상승한 구간이며, 이로 인해 하단의 그래프에서와 같이, 해당 C 구간에서는 알림음의 빈도 및 크기가 최대로 증가할 수 있다. 즉, 착용자의 상태가 이상 상태인 것으로 간주하고, 위험 발생을 알리는 알림음을 인식할 수 있도록 알림음의 크기 및 빈도를 최대로 증가시킬 수 있다.

몇몇 다른 실시예에서, C 구간의 경우에는 위와 같은 알림음 제어와 동시에 또는 별도로 LED 모듈(170) 및 스피커 모듈(180)의 제어가 수행될 수 있다. 즉, 체온이 정상체온에서 앞서 언급한 제1 온도보다 높은 제2 온도 이상 벗어나거나 맥박이 정상맥박에서 앞서 언급한 제1 수치보다 높은 제2 수치 이상 벗어나는 조건하에서, 외부 위험요소(300)가 검출된 경우, 컨트롤 모듈(160)은, 알림음을 스피커 모듈(180)로 전달하여 착용자의 상태를 외부로 전파하고, 복수의 LED 모듈(170)을 주기적으로 점멸할 수 있다.

즉, C 구간의 경우, 착용자에게 알림음을 최대로 전달하는 것뿐만 아니라, 착용자의 상태 여하에 따라서 외부 위험 요소(300)를 인식한 경우에도 의식 불명 등의 이유로 인해 대응하지 못하는 경우가 발생할 수 있다.

따라서, 이러한 경우를 대비하여, 미리 C 구간의 맥박 및 온도 수치를 설정해 둔 상태에서, 해당 범위를 상향 초과 또는 하향 이탈하는 경우에 착용자가 외부의 도움을 받을 수 있도록, LED 모듈(170) 및 스피커 모듈(180)을 통해 위험 상태를 외부로 전파할 수 있다.

몇몇 다른 실시예에서, C 구간의 경우, 외부로 착용자의 위험 상태를 전파하는 구성만 수행되고, 위험 인식이 어려운 상태의 착용자에게는 알림음을 전송하지 않도록 제어될 수도 있다.

또한, 몇몇 다른 실시예에서, 보청기(100)는 가속도 센서 및/또는 기울기 센서(미도시)를 구비할 수 있으며, 가속도 또는 기울기로 인해 착용자의 주시 방향을 검출할 수 있다. 컨트롤 서버(160)에서 외부위험요소를 감지한 경우에, 이에 대응하여 즉각적으로 예를 들어 0.1초의 소정 시간 간격 내에 착용자가 외부위험요소가 존재하는 방향으로 주시 방향을 전환한 경우에는, 착용자의 생체 데이터를 고려하여 초기 이상 상태 또는 위험 상태라고 하더라도, 이미 착용자가 위험을 감지한 것으로 판단하고, 알림음의 크기 및 반복주기를 변경시키지 않거나, 알림음을 재생하지 않도록 설정될 수도 있다. 다만, 이러한 경우에도 착용자가 정상적인 상태가 아니므로, LED 모듈(170) 및 스피커 모듈(180)을 통해 위험 상태를 외부로 전파하는 구성은 수행될 수 있다.

도 12를 참조하면, 본 실시예에 따른 생체 데이터를 분석한 결과에 대응하여 보청기(100)를 제어하는 동작 순서가 도시된다.

먼저, 카메라 모듈(130, 140)로부터 영상 데이터를 수집하고(S110), 생체 데이터 수집 모듈(150)을 통해 생체 데이터를 수집한다(S120). 수집된 각 데이터는 앞서 설명한 바와 같이, 컨트롤 모듈(160)로 전송되며, 컨트롤 모듈(160)에서 해당 데이터를 분석하게 된다.

컨트롤 모듈(160)에서 영상 데이터를 분석하여 착용자의 좌우측 또는 후방의 영상 데이터에서 외부 위험 요소가 존재하는지 판단하고(S130), 외부 위험 요소가 존재하는 것으로 판단될 경우 보청기 모듈(110)로 알림음을 발생시킨다(S140). 외부 위험 요소가 존재하지 않는 경우 다시 영상 데이터 수집 단계로 전환되어 영상 데이터 수집을 지속한다.

이와 별도로 컨트롤 모듈(160)에서 생체 데이터를 분석하여 착용자의 신체 상태를 확인할 수 있다. 생체 데이터 분석 결과 맥박 및/또는 체온이 소정의 제1 범위 예를 들어 맥박이 분당 100회, 체온이 38℃를 초과하거나, 맥박이 분당 40회, 체온이 35℃를 하회하는 경우에는, 착용자의 상태를 이상 상태로 판단하여, 보청기 모듈(110)의 알림음의 크기 및 반복 빈도를 증가시킨다(S160). 생체 데이터 분석 시점에서 외부 위험 요소가 존재하지 않는 경우에는, 알림음의 설정값을 변경하여 알림음이 발생하는 시점의 설정값에 의해 변경된 음의 크기 및 반복 빈도를 가질 수도 있다. 즉, 미리 변경된 알림음의 크기 및 반복 빈도가 바로 적용될 수 있다.

또한, 생체 데이터 분석 결과 맥박 및/또는 체온이 소정의 제1 범위보다 큰 제2 범위 예를 들어 맥박이 분당 120회, 체온이 40℃를 초과하거나, 맥박이 분당 20회, 체온이 33℃를 하회하는 경우에는, 착용자의 상태를 긴급 비상 상태로 판단하여, LED 모듈(170) 및 스피커 모듈(180)을 통해 외부로 착용자의 위험을 전파할 수 있다(S180).

도 13을 참조하면, 외부 위험 요소(300)를 결정하는 원리가 순차적으로 도시된다.

먼저, 카메라 모듈(130, 140)로부터 제1 및 제2 외부영상을 획득한다(S210). 예를 들어 제1 외부영상은 착용자의 좌우측 방향의 영상일 수 있으며, 제2 외부영상은 착용자의 후방의 영상일 수 있다.

이어서, 위와 같은 외부영상을 인코딩하여 디지털 미디어 파일 형태의 영상 데이터를 생성한다(S220). 이를 위해 공지의 영상 인코더가 사용될 수 있으며, 공지의 다양한 이미지 또는 동영상 파일 포맷이 사용될 수도 있다.

생성된 영상 데이터를 분석하여 특정 조건에 부합되는 객체를 추출한다. 앞서 설명한 바와 같이, 적응적 가우시안 혼합 모델 등 공지의 알고리즘을 사용하여 특정 객체를 추출한다(S230).

추출된 객체가 소정 크기 이상인지 판단하고, 소정 크기 이상인 경우, 특정 객체가 착용자 측으로 접근하는지 판단한다(S240). 판단 결과, 특정 객체가 착용자 측으로 접근하는 경우, 특정 객체의 접근 속도를 추출한다(S250). 접근속도 추출 결과(S260), 소정 범위 예를 들어 시속 30㎞ 이상인 경우 해당 객체를 외부 위험 요소(300)로 결정할 수 있다(S270).

이와 같이, 본 실시예에 따르면, 보청기(100)의 외부에 카메라 모듈(130, 140)을 설치하고, 카메라 모듈(130, 140)을 통해 착용자의 좌우측방 및 후방의 외부 위험 요소(300)를 사전에 인지하고 이에 대한 정보를 난청인에게 제공하여 난청인이 사전에 대응할 수 있으며, 이로 인해 발생할 수 있는 인명 피해를 예방할 수 있다.

또한, 외부 위험 요소(300)를 실시간으로 감지하되 생체데이터를 분석하여 도출된 내부 위험 요소를 함께 고려하여, 난청인의 호흡, 체온 내지 맥박 등이 불안정한 상태인 경우, 위험을 알리는 알림음을 인지하지 못할 가능성이 높기 때문에 이를 고려하여 알림음의 패턴 주기 및 크기를 증폭시켜서 난청인에게 적절한 자극을 전달할 수 있다.

이하, 도 14 및 도 15를 참조하여, 본 발명의 일 실시예에 따른 보청기를 이용한 위험요소 감지 시스템에 대해 설명한다. 도 14는 본 발명의 일 실시예에 따른 보청기를 이용한 위험요소 감지 시스템을 개략적으로 나타내는 블록도이고, 도 15는 도 14의 시스템의 작동원리를 순차적으로 나타내는 순서도이다.

본 발명의 일 실시예에 따른 보청기를 이용한 위험요소 감지 시스템은, 통신 모듈(190)을 포함하여 외부와 무선으로 통신 가능한 보청기 장치(100), 보청기 장치(100)와 무선으로 통신하여 소정의 데이터를 송수신하는 중개 서버(500), 및 중개 서버(500)와 연결된 복수의 분산 안내 서버(600)를 포함하되, 보청기 장치(100)는 외부 영상을 획득하는 카메라 모듈(130, 140)을 포함하고, 보청기 장치(100)는 카메라 모듈(130, 140)로부터 획득한 영상 데이터를 중개 서버(500)로 전송하고, 중개 서버(500)는 영상 데이터를 복수의 분산 안내 서버(600) 중 하나로 전달하고, 복수의 분산 안내 서버(600) 중 하나는 영상 데이터를 분석하여 보청기 장치(100)를 착용하는 착용자의 시야 미확보 영역의 외부 위험 요소를 검출하여, 외부 위험 요소가 검출되면 보청기 장치(100)로 제1 경고음을 전송한다.

본 실시예에 따른 보청기 장치(100)는 앞서 설명한 실시예에 따른 보청기와 동일하되, 원격모드와 로컬모드 중 하나를 선택적으로 수행할 수 있다는 점이 상이하다. 즉, 보청기 장치(100)는, 영상 데이터를 수신하는 컨트롤 모듈(160)을 더 포함하는데, 착용자가 스위치 버튼(미도시) 등을 이용하여 보청기 장치(100)의 모드를 로컬모드로 설정하는 경우, 앞서 설명한 실시예 따른 보청기와 동일하게 동작할 수 있다. 즉, 컨트롤 모듈(160)이 영상 데이터를 직접 분석하여 착용자의 보행시에 시야 미확보 영역의 외부 위험 요소를 검출하고, 외부 위험 요소가 검출되면 보청기 장치의 보청기 모듈(110)로 제1 경고음을 전송할 수 있다. 이 때, 컨트롤 모듈(160)은 영상 데이터가 중개 서버(500)로 전송되지 않도록 접속을 차단할 수도 있다.

반면, 원격모드로 선택될 경우, 보청기 장치(100)에서 위험 요소 검출 및 모니터링이 수행되지 않으며, 외부의 분산 안내 서버(600)에 의해 해당 분석 과정이 수행될 수 있다.

구체적으로, 보청기 장치(100)는 중개서버(500)와 통신하며, 중개서버(500)는 복수의 분산 안내 서버(600)와 연결된 상태를 유지한다. 보청기 장치(100)가 원격모드로 설정되어 중개서버(500)에 접속하면, 중개서버(500)는 복수의 분산 안내 서버(600) 중 하나를 선택하여 보청기 장치(100)와 연결시킬 수 있다. 이 때, 중개 서버(500)는, 복수의 분산 안내 서버(600)의 리소스 정보를 미리 수신할 수 있으며, 중개 서버(500)는 이와 같은 리소스 정보를 기초로 보청기 장치(100)와 연결될 분산 안내 서버(600)를 결정할 수 있다.

분산 안내 서버(600)가 결정되면, 중개 서버(500)는 영상 데이터를 복수의 분산 안내 서버(600) 중 가용 리소스가 가장 많은 해당 분산 안내 서버(600)로 전달할 수 있다.

몇몇 다른 실시예에서, 영상 데이터 또는 생체 데이터는 보청기 장치(100)로부터 중개 서버(500)를 거치지 않고, 상호 인증을 마친 보청기 장치(100)와 분산 안내 서버(600) 사이에서 직접 전송될 수 있다. 이러한 경우, 영상 데이터 또는 생체 데이터의 분석 결과에 따른 제어 시그널도 분산 안내 서버(600)로부터 보청기 장치(100)로 직접 전송될 수 있다.

본 실시예에 따른 중개 서버(500) 및 분산 안내 서버(600)는 일반적인 서버의 구성과 마찬가지로 클라이언트 즉, 보청기 장치(100)로부터 접속 요청 신호를 수신하고 소정의 인증 과정을 거쳐서 접속을 허용한 후 소정의 데이터를 송수신할 수 있다.

중개 서버(500)는 복수의 보청기 장치(100)와 연결될 수 있으며, 접속을 요청한 보청기 장치(100)를 적절한 분산 안내 서버(600)로 라우팅하는 기능을 수행한다.

분산 안내 서버(600)는 복수로 구비되며, 중개 서버(500)에 과도한 부하가 걸리지 않도록 트래픽을 분산하는 기능을 수행할 수 있다.

분산 안내 서버(600)는 로컬모드에서 수행하는 보청기 장치(100)의 기능을 수행하도록 구성될 수 있다. 즉, 보청기 장치(100)로부터 획득된 영상 데이터 및 생체 데이터를 중개 서버(500)를 거치거나 또는 직접 수신하고, 이를 분석하여 보청기 장치(100)를 착용하는 착용자의 시야 미확보 영역의 외부 위험 요소를 검출하여, 외부 위험 요소가 검출되면 보청기 장치(100)로 제1 경고음에 해당하는 시그널을 전송하고, 보청기 장치(100)는 이와 같은 시그널을 수신하여 착용자에게 제1 경고음을 재생할 수 있다.

분산 안내 서버(600)는 보청기 장치(100)에 비해 고사양의 중앙 처리 장치 및 고용량의 메모리 등이 채용될 수 있으며, 로컬모드에 비해 영상 데이터 및 생체 데이터의 처리 속도 및 정밀도가 크게 향상될 수 있다.

도시된 바와 같이, 보청기 장치(100)는, 착용자의 외이도에 삽입되는 커널의 내측에 배치되어 착용자의 생체 데이터를 획득하는 생체 데이터 측정 모듈(150)을 더 포함할 수 있으며, 보청기 장치(100)는 생체 데이터 측정 모듈(150)로부터 획득한 생체 데이터를 중개 서버(500)를 거쳐 전달받거나 또는 분산 안내 서버(600)에 직접 전송하고, 복수의 분산 안내 서버(600) 중 하나(610, 620, 630)는 생체 데이터를 분석하여 착용자의 내부 위험 요소를 모니터링하여 내부 위험 요소 검출시 보청기 장치(100)를 통해 제2 경고음을 전송할 수 있다. 즉, 외부 위험 요소뿐만 아니라, 착용자의 내부 위험 요소 즉 앞서 설명한 바와 같이 맥박, 호흡 내지 체온이 소정 범위를 벗어나는 경우, 이를 위험 요소로 감지하고 외부 위험 요소를 알리는 제1 경고음과 상이한 제2 경고음을 전송할 수 있다.

이와 같은 생체 데이터는 맥박 및 체온을 포함할 수 있으며, 복수의 분산 안내 서버(600) 중 하나는 시야 미확보 영역의 외부 위험 요소 검출시에, 생체 데이터를 고려하여, 제1 경고음의 크기 및 반복빈도를 결정하되, 체온이 정상체온에서 제1 온도 이상 벗어나거나 맥박이 정상맥박에서 제1 수치 이상 벗어나는 조건하에서, 외부 위험 요소가 검출된 경우, 복수의 분산 안내 서버(600) 중 하나는, 제1 경고음의 크기 및 반복빈도를 소정 범위 이상으로 증가시킬 수 있다.

또한 도시된 바와 같이, 보청기 장치(100)는 외부로 빛을 발광하는 복수의 LED 모듈(170) 및 외부로 소정의 소리를 전달하는 스피커 모듈(180)을 더 포함할 수 있으며, 체온이 정상체온에서 상기 제1 온도보다 높은 제2 온도 이상 벗어나거나 맥박이 정상맥박에서 상기 제1 수치보다 높은 제2 수치 이상 벗어나는 조건하에서, 외부 위험 요소가 검출된 경우, 복수의 분산 안내 서버(600) 중 하나는, 제1 경고음을 스피커 모듈로 전송하여 착용자의 상태를 외부로 전파하고, 복수의 LED 모듈을 주기적으로 점멸할 수 있다.

특히, 체온이 제2 온도를 벗어나거나 맥박이 제2 수치를 벗어나는 경우, 보청기 장치(100)의 착용자가 인식할 수 있도록 제1 경고음의 크기 및 반복빈도를 최대 범위로 증가시킬 수 있다.

앞선 실시예에서 설명한 바와 같이, 이와 같은 제1 경고음은 외부 위험 요소가 존재하는 시야 미확보 영역의 위치에 따라 서로 다른 패턴을 가질 수 있으며, 또한 제1 경고음은 외부 위험 요소가 감지된 측의 카메라 모듈 방향의 보청기 모듈(110)로 출력할 수 있다.

또한, 외부 위험 요소는, 카메라 모듈 및 보조 카메라 모듈(130, 140)로부터 획득한 제1 외부영상 및 제2 외부영상의 인식된 객체 중에서 소정 크기 이상이고 소정 속도 이상으로 착용자 측으로 접근하는 객체로 결정될 수 있으며, 이 과정에서 복수의 분산 안내 서버(600)는 적응적 가우시안 혼합 모델(Adaptive Gaussian Mixture Model)을 기초로 상기 외부 위험 요소를 검출할 수 있다.

이하, 도 15를 참조하여, 보청기 장치(100), 중개서버(500)와 분산 안내 서버(600)의 구성에 대해 설명한다.

중개서버(500)는 복수의 분산 안내 서버(600)와 연결되어 있으며, 복수의 분산 안내 서버(600)로부터 각 서버에 대한 리소스 정보를 수집한다(S302). 중개서버(500)는 이와 같은 리소스 정보를 주기적으로 수집할 수 있으며, 잔존하는 리소스 예를 들어 중앙 처리 장치의 점유율 또는 메모리 사용량 등을 고려하여 차회 접속 시도하는 보청기 장치(100)의 분배를 결정할 수 있다.

보청기 장치(100)는 카메라 모듈 및 생체 데이터 측정 모듈을 통해 영상 데이터 및 생체 데이터를 획득한다(S304). 이어서, 중개서버(500)로 분산 안내 서버 접속을 요청한다(S306). 요청을 받은 중개서버(500)는 소정의 인증 과정을 수행할 수 있으며, 인증 과정 수행 후에는 가용 리소스를 고려하여 보청기 장치(100)에 할당할 분산 안내 서버를 결정한다(S308). 결정된 분산 안내 서버에 대한 정보를 보청기 장치(100)로 전송한다(S310).

이어서, 보청기 장치(100)는 분산 안내 서버(600)로 접속을 시도할 수 있다(S312). 분산 안내 서버(600)는 소정의 인증 과정을 수행할 수 있으며(S314), 인증을 마친 보청기 장치(100)는 획득한 영상 데이터 및 생체 데이터를 분산 안내 서버(600)로 전송할 수 있다(S316).

데이터를 수신한 분산 안내 서버(600)는 앞서 설명한 바와 같이, 영상 데이터 및 생체 데이터를 분석하고, 외부 위험 요소를 검출한다(S318, S320). 외부 위험 요소가 검출될 경우, 보청기 장치(100)로 제1 경고음을 전송한다(S322). 생체 데이터를 분석한 결과 내부 위험 요소가 검출될 경우(S324), 제2 경고음을 전송한다(S326).

이어서, 외부 위험 요소가 존재할 경우, 내부 위험 요소의 범위에 따라 제1 경고음의 크기 및 반복빈도를 증가시킬 수 있다(S328). 또한, 내부 위험 요소의 범위에 따라 스피커 모듈 및 LED 모듈 구동을 위한 전기적인 시그널을 보청기 장치(100)로 전송할 수 있다(S330).

내부 위험 요소만 존재하고 외부 위험 요소가 존재하지 않을 경우, 즉 생체 데이터를 분석한 결과 맥박 또는 온도가 소정 범위를 벗어나는 경우에도 마찬가지로 외부인의 시선을 환기시킬 수 있도록 스피커 모듈 및 LED 모듈 구동을 위한 전기적인 시그널을 보청기 장치(100)로 전송할 수도 있다.

이와 같이, 본 실시예에 따르면, 보청기 장치(100)는 중개 서버(500) 및 분산안내서버(600)와 소정의 데이터를 송수신하며, 분산안내서버(600)의 제어에 의해서 보청기 장치(100)의 각 구성이 제어될 수 있으며, 착용자의 위험 인지도를 크게 향상시킬 수 있으며, 외부로 착용자의 위험을 전파하여 타인의 조력에 의해 위험 상황을 회피할 수도 있다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 보청기 장치
110: 보청기 모듈
120: 곡선형 프레임
130: 카메라 모듈
140: 보조 카메라 모듈
150: 생체 데이터 측정 모듈
160: 컨트롤 모듈
170: LED 모듈
180: 스피커 모듈
190: 통신 모듈

Claims

넥밴드 타입의 양귀 삽입형 보청기로서,
외부에서 감지된 소리를 신호처리하여 음향으로 출력하는 한 쌍의 보청기 모듈;
상기 한 쌍의 보청기 모듈을 연결하는 곡선형 프레임;
상기 한 쌍의 보청기 모듈의 외측면에 각각 배치되어 측방의 제1 외부영상을 획득하는 한 쌍의 카메라 모듈;
상기 곡선형 프레임의 중앙부에 배치되어 후방의 제2 외부영상을 획득하는 보조 카메라 모듈;
상기 한 쌍의 보청기 모듈의 외이도에 삽입되는 커널의 내측에 배치되어 착용자의 생체 데이터를 획득하는 생체 데이터 측정 모듈; 및
상기 생체 데이터를 수신하여 상기 착용자의 생체 상태를 수집하는 컨트롤 모듈을 포함하되,
상기 컨트롤 모듈은 주기적으로 상기 생체 데이터를 외부의 관리서버로 전송하고,
상기 컨트롤 모듈은 상기 제1 외부영상 및 상기 제2 외부영상을 수신하고 이를 분석하여 상기 착용자의 시야 미확보 영역의 외부 위험 요소를 검출하고,
상기 컨트롤 모듈은 상기 외부 위험 요소가 검출되면 상기 한 쌍의 보청기 모듈로 알림음을 전송하는, 위험요소 감지 기능을 가지는 양귀 삽입형 보청기.
제1항에 있어서,
상기 생체 데이터는 맥박 및 체온을 포함하고,
상기 컨트롤 모듈은 상기 시야 미확보 영역의 외부 위험 요소 검출시에, 상기 생체 데이터를 고려하여, 상기 알림음의 크기 및 반복빈도를 결정하되,
상기 체온이 정상체온에서 제1 온도 이상 벗어나거나 상기 맥박이 정상맥박에서 제1 수치 이상 벗어나는 조건하에서, 상기 외부 위험 요소가 검출된 경우, 상기 컨트롤 모듈은, 상기 알림음의 크기 및 반복빈도를 소정 범위 이상으로 증가시키는, 위험요소 감지 기능을 가지는 양귀 삽입형 보청기.
제2항에 있어서,
상기 곡선형 프레임의 외측에 부착되어 상기 컨트롤 모듈의 신호에 의해 발광하는 복수의 LED 모듈; 및
상기 곡선형 프레임의 외측에 부착되어 상기 컨트롤 모듈의 제어로 인해 외부로 소정의 소리를 전달하는 스피커 모듈을 더 포함하고,
상기 체온이 정상체온에서 상기 제1 온도보다 높은 제2 온도 이상 벗어나거나 상기 맥박이 정상맥박에서 상기 제1 수치보다 높은 제2 수치 이상 벗어나는 조건하에서, 상기 외부 위험요소가 검출된 경우, 상기 컨트롤 모듈은, 상기 알림음을 상기 스피커 모듈로 전달하여 상기 착용자의 상태를 외부로 전파하고, 상기 복수의 LED 모듈을 주기적으로 점멸하는, 위험요소 감지 기능을 가지는 양귀 삽입형 보청기.
제1항에 있어서,
상기 알림음은 상기 외부 위험 요소가 존재하는 상기 시야 미확보 영역의 위치에 따라 서로 다른 패턴을 가지는, 위험요소 감지 기능을 가지는 양귀 삽입형 보청기.
제1항에 있어서,
상기 알림음은 상기 외부 위험 요소가 감지된 측의 카메라 모듈 방향의 상기 보청기 모듈로 출력하는, 위험요소 감지 기능을 가지는 양귀 삽입형 보청기.
제1항에 있어서,
상기 외부 위험 요소는, 상기 제1 외부영상 및 상기 제2 외부영상의 인식된 객체 중에서 소정 크기 이상이고 소정 속도 이상으로 상기 착용자 측으로 접근하는 상기 객체로 결정되는, 위험요소 감지 기능을 가지는 양귀 삽입형 보청기.
제1항에 있어서,
상기 컨트롤 모듈은 적응적 가우시안 혼합 모델(Adaptive Gaussian Mixture Model)을 기초로 상기 외부 위험 요소를 검출하는, 위험요소 감지 기능을 가지는 양귀 삽입형 보청기.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제