KR102263535B1

KR102263535B1 - 식사 모니터링 방법, 장치 및 시스템

Info

Publication number: KR102263535B1
Application number: KR1020190086606A
Authority: KR
Inventors: 유희천; 최영근; 김민재; 김진원; 김향희; 이현정; 남석인; 이영호; 홍세원; 전호준; 양길태; 나덕렬
Original assignee: 포항공과대학교 산학협력단; 연세대학교 산학협력단; 디지탈에코 주식회사; 주식회사 시드테크; 사회복지법인 삼성생명공익재단; (주)휴머노피아
Priority date: 2019-07-17
Filing date: 2019-07-17
Publication date: 2021-06-11
Also published as: KR20210009708A; WO2021010645A1

Abstract

본 개시의 일 실시 예에 따를 때, 식사하는 상황을 모니터링하기 위해 영상 처리 방식을 이용한 모니터링과 복수의 센서를 이용한 모니터링 방식이 함께 이용될 수 있다. 영상 처리 방식을 이용한 모니터링과 복수의 센서를 이용한 모니터링 방식을 함께 이용함으로써, 사용자의 삼킴 상황이 보다 정확하게 결정하는 방법, 장치 및 시스템이 개시된다.

Description

식사 모니터링 방법, 장치 및 시스템 {METHOD, APPARATUS AND SYSTEM FOR MORNITORING EATING}

본 개시는 식사 모니터링 방법, 장치 및 시스템에 관한 것이다. 구체적으로 본 개시는 사용자가 식사하는 상황을 모니터링하여 사용자의 삼킴 상황을 결정하는 방법, 장치 및 시스템을 제공할 수 있다.

삼킴 장애는 삼키는 과정에 어려움이 있는 상태를 의미하며, 연하 곤란이라고 표현하기도 한다. 삼킴 장애는 신경계 질환의 환자에게 흔하게 발생하며, 음식물을 흘리거나 음식물을 물고 있는 증상 등을 보이기도 한다.

뇌졸중을 비롯하여 뇌손상 환자의 절반 가까이에서 삼킴 장애 증상을 보이고, 전체 재활의학과 입원 환자 3명 중 한 명이 삼킴 장애 증상을 동반한다고 알려지고 있으며, 많은 환자가 특별한 증상 없이 기도흡인이 일어나므로 적절하게 치료 및 관리를 하지 않는 경우 매우 치명적인 결과가 초래될 수 있다.

그에 따라, 최근 삼킴 장애 환자의 연하기능을 보다 효과적이고 정확하게 평가하고 진단하는 방법들이 개발되고 있으며 삼킴 장애 환자의 삼킴 기능을 회복시키려는 새로운 치료기법들이 다각도로 시도되고 있다.

환자가 건강한 식습관을 영위하는지 판단할 때에는 식습관 측정 정보가 필요하다. 예를 들어, 환자의 건강한 식습관 측정에는 삼킴 전 충분한 저작, 구강 개폐 후 저작 소음, 저작 중 대화 여부에 대한 정보가 사용될 수 있다. 이러한 종래 식습관 측정 정보는 환자를 돌보는 도우미에 의해 수동으로 측정되어지고 있고, 이러한 수동 측정 동작은 식습관 측정에 신뢰도를 떨어뜨리는 원인이 된다. 부정확한 식습관 측정 정보는 환자의 올바른 식습관 지도에 걸림돌로 작용할 수 있다.

등록번호 제10-1793816호, 연하장애 진단보조를 위한 모니터링 시스템

본 개시는 사용자가 식사하는 상황을 모니터링하여 사용자의 삼킴 상황을 결정하는 방법, 장치 및 시스템을 제공할 수 있다. 구체적으로 본 개시는 영상 처리 방식을 이용한 모니터링과 복수의 센서를 이용한 모니터링 방식을 함께 이용하여 식사하는 상황을 모니터링하는 방법, 장치 및 시스템을 제공할 수 있다.

본 개시의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.

제 1 측면에 따른 제품 식사 모니터링 시스템은 사용자의 저작 행태를 영상 처리 방식을 이용하여 모니터링하는 제 1 모니터링 디바이스; 상기 사용자의 삼킴 운동을 복수의 센서를 이용하여 모니터링하는 제 2 모니터링 디바이스; 및 상기 제 1 모니터링 디바이스로부터 수신한 제 1 모니터링 정보 및 상기 제 2 모니터링 디바이스로부터 수신한 제 2 모니터링 정보를 이용하여 상기 사용자의 삼킴 상황을 결정하는 프로세서;를 포함하고, 상기 복수의 센서는 초음파 센서, 가속도 센서, 지자기 센서, 자이로 센서 및 음성 센서 중 적어도 하나를 포함할 수 있다.

또한, 상기 제 1 모니터링 디바이스는 상기 사용자의 입을 포함하는 이미지를 획득하고, 상기 이미지를 이용하여 상기 입의 모양을 모니터링하고, 상기 모니터링 결과를 상기 프로세서로 전송할 수 있다.

또한, 상기 제 1 모니터링 디바이스로부터 획득되는 제 1 모니터링 정보 및 상기 제 2 모니터링 디바이스로부터 획득되는 제 2 모니터링 정보를 디스플레이하는 디스플레이를 더 포함할 수 있다.

또한, 상기 삼킴 상황은 상기 사용자가 음식물을 삼키는데 어려움을 느끼는 정도를 나타낼 수 있다.

또한, 상기 삼킴 상황에 따라 전기 자극을 가하는 전기 자극부를 더 포함할 수 있다.

또한, 상기 프로세서는 상기 초음파 센서로부터 획득된 정보에서 상기 사용자의 비삼킴 동작에 의한 노이즈를 필터링하여 상기 삼킴 상황을 결정하고, 상기 비삼킴 동작은 상기 가속도 센서, 상기 지자기 센서, 상기 자이로 센서 및 상기 음성 센서로부터 센싱되고, 상기 비삼킴 동작은 기침을 포함할 수 있다.

또한, 상기 제 1 모니터링 디바이스는 상기 사용자의 안면 이미지를 획득하고, 상기 안면 이미지를 이용하여 상기 사용자의 안면 근육을 모니터링하고, 상기 모니터링 결과를 상기 프로세서로 전송할 수 있다.

또한, 상기 사용자에게 알림을 제공하는 알림부를 더 포함하고, 상기 알림부는 상기 제 1 모니터링 정보 및 상기 제 2 모니터링 정보를 이용하여 상기 사용자가 입을 연 채로 식사하는 경우 알림을 제공할 수 있다.

또한, 상기 사용자에게 알림을 제공하는 알림부를 더 포함하고, 상기 알림부는 상기 제 1 모니터링 정보 및 상기 제 2 모니터링 정보를 이용하여 상기 사용자가 식사 중 기설정 크기 이상의 소리를 내는 경우, 알림을 제공할 수 있다.

또한, 상기 프로세서는 상기 제 1 모니터링 정보의 저작 행태에 기반하여 저작 중인지 판단하고, 상기 제 2 모니터링 정보의 삼킴 운동에 기반하여 삼킴 중인지 판단하고, 판단 정보에 따라 상기 사용자가 음식물을 저작하기 시작해서 삼킬 때까지의 시간을 계산하여 상기 사용자의 식사 속도를 계산할 수 있다.

또한, 상기 프로세서는 상기 제 1 모니터링 정보의 판단 정보에 따른 저작 행태일 때 상기 제 2 모니터링 정보에 대응한 센서에 의해 측정된 저작 소음이 기설정된 범위 내에 속하면 저작 소음의 지속 시간을 계산하여 상기 지속 시간이 기설정된 임계치를 초과하는지를 판단하고, 판단 결과에 따라 삼킴 전에 충분한 저작이 이루어지는지를 상기 사용자의 저작 습관으로 기록하거나 기록된 저작 습관을 상기 사용자의 보호자에게 알릴 수 있다.

또한, 상기 프로세서는 상기 제 1 모니터링 정보의 판단 정보에 따른 저작 행태일 때 상기 제 2 모니터링 정보에 대응한 센서에 의해 측정된 저작 소음이 기설정된 임계치를 초과하면 초과된 정보를 상기 사용자의 저작 습관으로 기록하거나 기록된 저작 습관을 상기 사용자의 보호자에게 알릴 수 있다.

또한, 상기 프로세서는 상기 센서의 저작 소음에 혼입될 수 있는 음성 소음을 필터링하여 필터링된 저작 소음에 기반한 상기 사용자의 저작 습관을 기록할 수 있다.

또한, 상기 프로세서는 상기 제 1 모니터링 정보의 판단 정보에 따른 저작 행태일 때 상기 제 2 모니터링 정보에 대응한 센서에 의해 측정된 음성 신호의 지속 시간을 계산하여 상기 지속 시간이 기설정된 임계치를 초과하면 저작 중 대화로 판단하고, 판단 결과를 상기 사용자의 저작 습관으로 기록하거나 기록된 저작 습관을 상기 사용자의 보호자에게 알릴 수 있다.

또한, 상기 프로세서는 상기 제 1 모니터링 정보와 상기 제 2 모니터링 정보에 대응한 판단 정보에 기반하여 상기 사용자의 하루에 식사하는 횟수, 식사 시간 및 식사량을 모니터링하여 상기 사용자의 보호자에게 알릴 수 있다.

또한, 식사 모니터링 시스템은 상기 사용자의 안면 부위에 장착되며 턱 저작 근육의 근전도 신호를 감지해서 저작 행태를 모니터링하는 제 3 모니터링 디바이스를 더 포함하고, 상기 프로세서는 상기 제 3 모니터링 디바이스로부터 상기 근전도 신호를 수신하여 상기 제 1 모니터링 디바이스의 저작 행태를 보완할 수 있다.

또한, 식사 모니터링 시스템은 상기 사용자의 턱 부위에 장착되며 가속도 센서, 자이로 센서, 지자기 센서 중 어느 하나 이상을 포함해서 턱의 움직임을 감지하는 제 3 모니터링 디바이스를 더 포함하고, 상기 프로세서는 상기 제 3 모니터링 디바이스로부터 상기 턱의 움직임 감지 정보를 수신하여 상기 제 1 모니터링 디바이스의 저작 행태를 보완할 수 있다.

제 2 측면에 따른 식사 모니터링 장치는 사용자의 저작 행태를 영상 처리 방식을 이용하여 모니터링하는 제 1 모니터링 디바이스로부터 상기 저작 행태를 나타내는 제 1 모니터링 정보를 수신하는 리시버; 상기 사용자의 삼킴 운동을 모니터링하는 복수의 센서; 및 상기 제 1 모니터링 정보 및 상기 복수의 센서로부터 수신한 제 2 모니터링 정보를 이용하여 상기 사용자의 삼킴 상황을 결정하는 프로세서; 를 포함하고, 상기 복수의 센서는 초음파 센서, 가속도 센서, 지자기 센서, 자이로 센서 및 음성 센서 중 적어도 하나를 포함할 수 있다.

제 3 측면에 따른 식사 모니터링 방법은 사용자의 저작 행태를 영상 처리 방식을 이용한 모니터링을 수행하여 제 1 모니터링 정보를 획득하는 단계; 상기 사용자의 삼킴 운동을 복수의 센서를 이용한 모니터링을 수행하여 제 2 모니터링 정보를 획득하는 단계; 및 상기 제 1 모니터링 정보 및 상기 제 2 모니터링 정보를 이용하여 상기 사용자의 삼킴 상황을 결정하는 단계;를 포함하고, 상기 복수의 센서는 초음파 센서, 가속도 센서, 지자기 센서, 자이로 센서 및 음성 센서 중 적어도 하나를 포함할 수 있다.

또한, 제 4 측면은, 제 3 측면의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.

본 개시의 일 실시 예에 따를 때, 영상 처리 방식을 이용한 모니터링과 복수의 센서를 이용한 모니터링 방식을 함께 이용하여 식사하는 상황을 모니터링하는 방법, 장치 및 시스템이 제공될 수 있다.

영상 처리 방식을 이용한 모니터링과 복수의 센서를 이용한 모니터링 방식을 함께 이용함으로써, 사용자의 삼킴 상황을 보다 정확하게 결정할 수 있다.

본 개시의 효과는 상기한 효과로 한정되는 것은 아니며, 본 개시의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.

도 1은 일 실시 예에 따른 식사 모니터링 시스템을 개괄적으로 도시한 도면이다.
도 2는 일 실시 예에 따른 식사 모니터링 시스템의 구성을 도시한 블록도이다.
도 3은 일 실시 예에 따른 제 1 모니터링 디바이스 및 제 2 모니터링 디바이스의 구성을 도시한 블록도이다.
도 4는 일 실시 예에 따라 유무선 통신 방식으로 구현되는 식사 모니터링 시스템을 도시한 도면이다.
도 5는 일 실시 예에 따라 제 1 모니터링 디바이스가 동작하는 일 예를 나타내는 도면이다.
도 6은 일 실시 예에 따라 스마트폰이 제 1 모니터링 디바이스로 이용되는 일 예를 나타내는 도면이다.
도 7은 일 실시 예에 따라 식사 모니터링 시스템이 동작하는 방법을 나타내는 흐름도이다.

실시 예들에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 “…부”, “…모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

이하 첨부된 도면을 참고하여 본 개시의 실시 예를 상세히 설명하기로 한다.

도 1은 일 실시 예에 따른 식사 모니터링 시스템(100)을 개괄적으로 도시한 도면이다.

도 1을 참조하면, 식사 모니터링 시스템(100)은 제 1 모니터링 디바이스(110) 및 제 2 모니터링 디바이스(120)를 포함할 수 있다.

그러나 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 식사 모니터링 시스템(100)에 더 포함될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 예를 들면, 식사 모니터링 시스템(100)는 프로세서를 더 포함할 수 있다. 또는 다른 실시 예에 따를 경우, 도 1에 도시된 구성요소들 중 일부 구성요소는 생략될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

제 1 모니터링 디바이스(110)는 이미지를 획득하고, 제 2 모니터링 디바이스(120)는 초음파, 음성, 가속도, 지자기 방위, 각속도 등에 대한 정보를 획득할 수 있다.

제 1 모니터링 디바이스(110)로부터 수신한 제 1 모니터링 정보 및 제 2 모니터링 디바이스(120)로부터 수신한 제 2 모니터링 정보를 이용하여 사용자의 삼킴 상황이 결정될 수 있다.

제 1 모니터링 디바이스(110)의 이미지 획득에 의한 저작 행태 모니터링에 부가적으로 제 2 모니터링 디바이스(120)에는 각종 센서에 더하여 저작 관련 근육 부위 안면 표피에 근육의 전기적 활동을 측정하는 근전도(EMG) 센서를 부착하여 제 2 모니터링 정보를 생성할 수 있다. 이는 저작 근육의 전기 신호를 근전도 센서로 측정해서 제 2 모니터링 정보를 생성함으로써 프로세서(도 2의 130)가 제 1 모니터링 정보에 의해 판단된 저작 행태를 보다 정확하게 판단할 수 있다. 일례로, 이러한 근전도 센서는 제 2 모니터링 디바이스(120)와 연동하여 프로세서(도 3의 130)로 감지된 저작 근육의 전기 신호를 전송하는 제 3 모니터링 디바이스(미도시)에 구성될 수 있다. 이는 제 2 모니터링 디바이스(120)는 목 부위에 장착되어 삼킴 동작을 모니터링하고, 제 3 모니터링 디바이스는 안면 부위에 장착되어 저작 행태를 모니터링할 수 있다. 제 3 모니터링 디바이스에 사용되는 근전도 센서는 안면 부위에 부착될 수 있다.

또한, 제 2 모니터링 디바이스(120)는 턱 부위에 가속도 센서, 자이로 센서, 지자기 센서를 부착하여 턱의 가속도, 지자기 방위, 각속도의 정보를 획득하여 턱의 움직임으로 저작 행태를 모니터링할 수 있다. 이는 사용자마다 턱의 움직임이 미세하게 차이가 있고, 이러한 미세한 차이는 사용자의 저작 행태에 대한 특징을 반영하며 이를 측정해서 제 1 모니터링 정보를 보다 정확하게 모사할 수 있다. 제 2 모니터링 디바이스(120)가 턱의 움직임을 모니터링할 수 있는 턱의 가속도, 지자기 방위, 각속도의 정보를 생성할 수 있도록 가속도 센서, 자이로 센서, 지자기 센서를 이용할 수 있다. 여기서, 턱의 움직임을 모니터링하고자 가속도 센서, 자이로 센서, 지자기 센서를 예시하였으나 이에 국한되지 않는다. 또한, 턱의 움직임을 모니터링하는 가속도 센서, 자이로 센서, 지자기 센서가 제 2 모니터링 디바이스(120)와 연동하여 프로세서(130)로 턱의 움직임 모니터링 정보를 전송하는 제 3 모니터링 디바이스(미도시)로 구현될 수도 있다. 제 3 모니터링 디바이스는 턱의 저작 근육을 감지하는 근전도 센서와, 턱의 움직임을 감지하는 가속도 센서, 자이로 센서, 지자기 센서를 포함할 수 있다.

도 2는 일 실시 예에 따른 식사 모니터링 시스템(100)의 구성을 도시한 블록도이다.

도 2를 참조하면, 식사 모니터링 시스템(100)은 제 1 모니터링 디바이스(110), 제 2 모니터링 디바이스(120) 및 프로세서(130)를 포함할 수 있다.

그러나 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 식사 모니터링 시스템(100)에 더 포함될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 예를 들면, 식사 모니터링 시스템(100)는 디스플레이, 메모리 등을 더 포함할 수 있다. 또는 다른 실시 예에 따를 경우, 도 2에 도시된 구성요소들 중 일부 구성요소는 생략될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

일 실시 예에 따른 제 1 모니터링 디바이스(110)는 사용자의 저작 행태를 영상 처리 방식을 이용하여 모니터링할 수 있다. 일 예로, 제 1 모니터링 디바이스(110)는 사용자의 입을 포함하는 이미지를 획득하고, 획득한 이미지를 이용하여 입의 모양 또는 턱의 위치 등을 모니터링하고, 모니터링 결과를 프로세서(130)로 전송할 수 있다.

일 실시 예에 따른 제 1 모니터링 디바이스(110)는 사용자의 안면 이미지를 획득하고, 안면 이미지를 이용하여 사용자의 안면 근육을 모니터링하고, 모니터링 결과를 프로세서(130)로 전송할 수 있다.

일 실시 예에 따른 제 2 모니터링 디바이스(120)는 사용자의 삼킴 운동을 복수의 센서를 이용하여 모니터링할 수 있다. 복수의 센서는 초음파 센서, 가속도 센서, 지자기 센서, 자이로 센서 및 음성 센서 중 적어도 하나를 포함할 수 있다.

제 2 모니터링 디바이스(120)는 사용자의 목 주변에 위치할 수 있으며, 사용자의 목 주변의 상황에 대한 정보를 획득할 수 있다. 예를 들면, 제 2 모니터링 디바이스(120)는 사용자의 목 주변에서 초음파, 음성, 가속도, 지자기 방위, 각속도 등의 정보를 획득할 수 있다.

일 실시 예에 따른 제 2 모니터링 디바이스(120)는 목젖의 움직임, 목 전체의 움직임, 목 표면의 흔들림 등을 구별하여 가속도, 지자기 방위, 각속도를 획득할 수 있다.

일 실시 예에 따른 제 2 모니터링 디바이스(120)는 소리를 획득할 수 있다. 이 경우, 제 2 모니터링 디바이스(120)는 음성의 주파수 대역의 신호를 획득할 수 있다. 예를 들면, 제 2 모니터링 디바이스(120)는 저작 소음, 말하는 음성, 음식물이 넘어갈 때 획득되는 소리 등을 획득할 수 있다.

일 실시 예에 따른 제 2 모니터링 디바이스(120)는 초음파를 획득할 수 있다. 제 2 모니터링 디바이스(120)는 초음파 센서 또는 초음파 도플러 센서를 포함할 수 있다.

일 예로, 제 2 모니터링 디바이스(120)는 초음파 발신부 및 초음파 수신부를 포함할 수 있다. 또한, 제 2 모니터링 디바이스(120)는 초음파 렌즈를 더 포함할 수 있으며, 이 경우, 초음파 렌즈는 초음파 수신부의 전면(초음파를 수신하는 방향)에 배치될 수 있다. 도플러 효과 및 초음파를 이용하여 사용자의 삼킴 운동이 모니터링될 수 있다.

일 실시 예에 따른 프로세서(130)는 제 1 모니터링 디바이스(110)로부터 수신한 제 1 모니터링 정보 및 제 2 모니터링 디바이스(120)로부터 수신한 제 2 모니터링 정보를 이용하여 사용자의 삼킴 상황을 결정할 수 있다.

삼킴 상황은 사용자가 음식물을 삼키는 상황을 나타낼 수 있다. 예를 들면, 사용자가 음식물을 삼키는데 어려움을 느끼는 정도를 나타낼 수 있다. 다른 예로, 삼킴 상황은 사용자가 음식물을 삼키는 전체 과정 중 현재 어떤 과정에 있는지 나타낼 수 있다. 구체적으로 삼킴 상황은 사용자가 음식물을 삼키는데 어려움을 느끼는 정도를 여러 단계(예: 1 내지 10) 중 하나로 표현될 수 있다. 또는 사용자가 음식물을 삼키는 전체 과정을 기설정 과정들로 구별될 때(예: 저작 단계, 삼킴 도입 단계, 삼킴 진행 단계, 식도 진행 단계, 삼킴 완료 단계 등), 삼킴 상황은 각 과정들 중 현재 사용자가 어떤 과정에 있는지 나타낼 수 있다.

일 예로, 삼킴 상황은 현재 사용자의 삼킴 과정 및 현재 사용자가 삼킴에 어려움에 느끼는 정도를 동시에 나타낼 수 있다. 예를 들면 삼킴 상황은 1)삼킴 진행 단계, 2)삼킴 어려움 단계 7과 같이 표현될 수 있다.

일 실시 예에 따를 때, 사용자가 음식물을 삼키는데 어려움을 느끼는 정도는 음식물을 삼키는데 걸리는 시간에 따라 결정될 수 있다. 예를 들면, 프로세서(130)는 사용자가 음식물의 삼킴에 착수한 후 삼킴이 완료될 때까지 걸리는 시간이 길수록 음식물을 삼키는데 어려움이 크다고 결정할 수 있다. 또한 이와 같은 방식으로 결정된 음식물을 삼키는데 어려움을 느끼는 정도는 기설정 표시 방식(예: 수치)으로 출력될 수 있다.

일 실시 예에 따른 프로세서(130)는 제 2 모니터링 디바이스(120)에 포함된 초음파 센서로부터 획득된 정보에서 사용자의 비삼킴 동작에 의한 노이즈를 필터링하여 삼킴 상황을 결정할 수 있다. 비삼킴 동작은 가속도 센서, 지자기 센서, 자이로 센서 및 음성 센서로부터 센싱되고, 비삼킴 동작은 기침, 말하기, 저작 시 발생하는 소음 등을 포함할 수 있다. 프로세서(130)는 비삼킴 동작이 수행되는 동안에 획득되는 정보를 삼킴 상황을 결정할 때 배제시킴으로써 보다 정확하게 삼킴 상황을 결정할 수 있다.

일 실시 예에 따른 프로세서(130)는 제 1 모니터링 디바이스(110)로부터 획득된 이미지를 이용하여 사용자의 입 모양 또는 턱의 위치 등을 결정할 수 있다. 또한, 프로세서(130)는 제 1 모니터링 디바이스(110)로부터 획득된 이미지를 이용하여 사용자가 입을 벌리고 있는지 여부, 사용자가 입을 벌리고 식사를 진행하는지 여부 등을 결정할 수 있다. 또한, 프로세서(130)는 제 1 모니터링 디바이스(110)로부터 획득된 이미지를 이용하여 턱의 움직임을 모니터링하고, 턱의 움직임에 기초하여 저작 활동을 모니터링할 수 있다. 예를 들면, 프로세서(130)는 저작 활동을 하고 있는지 여부, 삼킴이 일어날 때까지 저작 활동 횟수, 저작 활동의 빈도 등을 모니터링할 수 있다.

일 실시 예에 따른 프로세서(130)는 턱이 정지된 상황에서 획득되는 정보를 획득하여 삼킴 상황을 결정할 수 있다. 삼킴이 발생할 때에는 통상적으로 턱의 움직임이 정지되기 때문에, 프로세서(130)는 턱의 움직임이 정지하였는지 여부를 제 1 모니터링 정보를 이용하여 결정하고, 턱의 움직임이 정지되어 있는 동안 획득되는 제 2 모니터링 정보를 이용하여 삼킴 상황을 결정할 수 있다. 턱의 움직임이 정지되어 있는 동안 획득되는 제 2 모니터링 정보를 이용하여 삼킴 상황을 결정하기 때문에 보다 정확하게 삼킴 상황이 결정될 수 있다.

일 실시 예에 따른 프로세서(130)는 제 1 모니터링 정보의 저작 행태에 기반하여 저작 중인지 판단하고, 제 2 모니터링 정보의 삼킴 운동에 기반하여 삼킴 중인지 판단하고, 판단 정보에 따라 사용자가 음식물을 저작하기 시작해서 삼킬 때까지의 시간을 계산하여 사용자의 식사 속도를 계산할 수 있다. 프로세서(130)가 사용자의 식사 속도를 계산하기 위해 사용자가 음식물의 저작 행태에 대한 판단 정보가 필요하고, 사용자의 삼킴 운동에 대한 판단 정보가 필요하다. 식사 속도는 저작이 시작된 시점과 삼킴이 끝난 시점 간의 시간을 계산하여 측정될 수 있다. 저작 시점은 제 1 모니터링 정보의 저작 행태에 대한 판단 정보로부터 얻어질 수 있고, 삼킴 끝난 시점은 제 2 모니터링 정보의 삼킴 운동에 대한 판단 정보로부터 얻어질 수 있다. 식사 속도가 계산되면 평소 식사 속도와 비교될 수 있고, 이는 프로세서(130)가 억지로 너무 빠르게 식사하는 상황에 대한 경고 및 보호자 알림을 실행할 수 있다. 또한, 프로세서(130)는 알림부(도 3의 330)를 통해 식사 속도에 대한 정보를 사용자 본인에게 알리거나 원거리 통신을 통해 사용자의 보호자에게 알릴 수 있다.

일 실시 예에 따른 프로세서(130)는 제 1 모니터링 정보의 판단 정보에 따른 저작 행태일 때 제 2 모니터링 정보에 대응한 센서에 의해 측정된 저작 소음이 기설정된 범위 내에 속하면 저작 소음의 지속 시간을 계산하여 지속 시간이 기설정된 임계치를 초과하는지를 판단하고, 판단 결과에 따라 삼킴 전에 충분한 저작이 이루어지는지를 사용자의 저작 습관으로 기록하거나 기록된 저작 습관을 사용자의 보호자에게 알릴 수 있다. 제 1 모니터링 정보가 사용자의 저작 행태를 지시할 때 제 2 모니터링 정보의 센서에 의해 측정된 저작 소음의 지속 시간은 프로세서(130)가 삼킴 전에 충분한 저작이 이루어지는지를 판단하는 지표로 사용될 수 있다.

일 실시 예에 따른 프로세서(130)는 제 1 모니터링 정보의 판단 정보에 따른 저작 행태일 때 제 2 모니터링 정보에 대응한 센서에 의해 측정된 저작 소음이 기설정된 임계치를 초과하면 초과된 정보를 사용자의 저작 습관으로 기록하거나 기록된 저작 습관을 상기 사용자의 보호자에게 알릴 수 있다. 일례로, 저작 소음이 저작 습관 중 하나로 기록될 수 있다. 프로세서(130)는 제 2 모니터링 정보로부터 얻어지는 음성 센서에 의해 측정된 저작 소음이 기설정된 임계치를 초과하는지를 사용자의 저작 습관으로 기록할 수 있다.

일 실시 예에 따른 프로세서(130)는 센서의 저작 소음에 혼입될 수 있는 음성 소음을 필터링하여 필터링된 저작 소음에 기반한 사용자의 저작 습관을 기록할 수 있다. 저작 소음에는 사용자의 음성 소음이 혼입될 수 있고, 이러한 음성 소음은 정확한 저작 습관의 기록을 위해 제거될 필요가 있다. 프로세서(130)는 사용자의 음성 특징 정보를 가지는 음성 필터링 모듈을 통해 저작 소음을 처리해서 음성 소음을 필터링할 수 있다.

일 실시 예에 따른 프로세서(130)는 제 1 모니터링 정보의 판단 정보에 따른 저작 행태일 때 제 2 모니터링 정보에 대응한 센서에 의해 측정된 음성 신호의 지속 시간을 계산하여 지속 시간이 기설정된 임계치를 초과하면 저작 중 대화로 판단하고, 판단 결과를 사용자의 저작 습관으로 기록하거나 기록된 저작 습관을 사용자의 보호자에게 알릴 수 있다. 제 1 모니터링 정보가 사용자의 저작 행태를 지시할 때 제 2 모니터링 정보의 센서에 의해 측정된 음성 신호의 지속 시간은 프로세서(130)가 저작 중 대화를 판단하는 지표로 사용될 수 있다.

일 실시 예에 따른 프로세서(130)가 사용자의 저작 습관으로 삼킴 전에 충분한 저작이 이루어지는지, 저작 소음이 기설정된 임계치를 초과하는지, 저작 중 대화임을 출력할 수 있고, 이러한 저작 습관은 환자가 건강한 식습관을 영위하는지를 간접적으로 나타낼 수 있다.

일 실시 예에 따른 프로세서(130)는 제 1 모니터링 정보와 제 2 모니터링 정보에 대응한 판단 정보에 기반하여 사용자의 하루에 식사하는 횟수, 식사 시간 및 식사량을 모니터링하여 사용자의 보호자에게 알릴 수 있다. 앞서 식사 속도 계산에 대해 기술한 바와 유사한 방법을 사용해서 프로세서(130)는 저작이 시작된 시점과 삼킴 끝난 시점에 대응한 시간 기록에 기반하여 하루에 식사하는 횟수, 식사 시간 및 식사량을 모니터링할 수 있다. 이때, 프로세서(130)의 모니터링에는 시간 기록에 기반한 패턴 분석이 사용될 수 있다. 예를 들어, 하루에 식사하는 횟수는 하루 동안 시간 기록의 횟수를 계산함에 의해 얻어지고, 식사 시간은 시간 기록의 구간을 계산함에 의해 얻어지고, 식사량은 시간 기록의 횟수에 비례하는 음식물 섭취량을 계산함에 의해 얻어질 수 있다. 또한, 프로세서(130)가 모니터링을 통해 획득된 하루에 식사하는 횟수, 식사 시간 및 식사량에 대한 모니터링 정보에 기반하여 식사 빈도가 너무 낮은 사용자에 대해 보호자 알림을 처리할 수 있다.

도 3은 일 실시 예에 따른 제 1 모니터링 디바이스(110) 및 제 2 모니터링 디바이스(120)의 구성을 도시한 블록도이다.

도 3을 참조하면, 제 2 모니터링 디바이스(120)는 리시버(340), 복수의 센서(350), 프로세서(130), 전기 자극부(310), 디스플레이(320) 및 알림부(330)를 포함할 수 있다.

그러나 도 3에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 제 2 모니터링 디바이스(120)에 더 포함될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 예를 들면, 제 2 모니터링 디바이스(120)는 메모리 등을 더 포함할 수 있다. 또는 다른 실시 예에 따를 경우, 도 3에 도시된 구성요소들 중 일부 구성요소는 생략될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

일 실시 예에 따른 디스플레이(320)는 획득되는 정보 또는 획득된 정보의 처리 결과 등을 디스플레이할 수 있다.

예를 들면, 디스플레이(320)는 제 1 모니터링 디바이스(110)로부터 획득되는 제 1 모니터링 정보 및 제 2 모니터링 디바이스((120)로부터 획득되는 제 2 모니터링 정보를 디스플레이할 수 있다.

다른 예로, 디스플레이(320)는 제 1 모니터링 디바이스(110)로부터 획득한 제 1 모니터링 정보 및 제 2 모니터링 디바이스로(120)부터 획득한 제 2 모니터링 정보를 이용하여 결정된 사용자의 삼킴 상황을 디스플레이할 수 있다. 예를 들면, 1)삼킴 도입 단계, 2)삼킴 어려움 단계 3과 같은 정보가 디스플레이될 수 있다.

일 실시 예에 따른 전기 자극부(310)는 삼킴 상황에 따라 사용자에게 전기 자극을 인가할 수 있다. 예를 들면, 사용자가 음식물을 삼키는데 어려움이 크다고 결정된 경우, 전기 자극부(310)는 프로세서(130)의 제어에 따라 전기를 출력할 수 있다. 전기 자극부(310)가 출력하는 출력의 강도는 기설정될 수 있다. 예를 들면, 전기 자극부(310)가 출력하는 출력의 강도는 특정 값으로 일정할 수도 있고, 삼킴 상황에 따라 복수개의 값들 중 하나로 결정될 수도 있다.

도면에는 전기 자극부(310)가 도시되어 있으나, 그 외의 자극도 제공될 수 있다. 예를 들면, 진동 자극, 소리 자극 등도 제공될 수 있다.

일 실시 예에 따른 알림부(330)는 사용자에게 기설정된 방식으로 알림을 제공할 수 있다. 예를 들면, 알림부(330)는 진동, 소리, 메시지 등의 방식으로 알림을 제공할 수 있다.

예를 들면, 알림부(330)는 제 1 모니터링 정보 및 제 2 모니터링 정보를 이용하여 사용자가 입을 연 채로 식사하는 경우 알림을 제공할 수 있다.

다른 예로, 알림부(330)는 삼킴이 발생하기 전에 수행되는 저작 횟수가 기설정값보다 작으면 알림을 제공할 수 있다.

다른 예로, 알림부(330)는 제 1 모니터링 정보 및 제 2 모니터링 정보를 이용하여 사용자가 식사 중 기설정 크기 이상의 소리를 내는 경우, 알림을 제공할 수 있다.

일 실시 예에 따른 리시버(340)는 사용자의 저작 행태를 영상 처리 방식을 이용하여 모니터링하는 제 1 모니터링 디바이스(110)로부터 저작 행태를 나타내는 제 1 모니터링 정보를 수신할 수 있다.

일 실시 예에 따른 복수의 센서(350)는 초음파 센서, 가속도 센서, 지자기 센서, 자이로 센서 및 음성 센서 등을 포함할 수 있으나 이에 제한되지 않는다.

도 3에 도시된 제 2 모니터링 디바이스(120)는 식사 모니터링 장치로 동작할 수 있으며, 이 경우, 식사 모니터링 장치는 제 1 모니터링 디바이스(110)로부터 수신되는 정보 및 센싱되는 정보를 이용하여 삼킴 상황을 결정할 수 있다.

일 실시 예로, 제 1 모니터링 디바이스(100)와 제 2 모니터링 디바이스(120)를 포함하는 식사 모니터링 시스템은 사용자의 안면 부위에 장착되며 턱 저작 근육의 근전도 신호를 감지해서 저작 행태를 모니터링하는 제 3 모니터링 디바이스(미도시)를 더 포함할 수 있고, 이러한 일예의 경우, 프로세서(130)는 제 3 모니터링 디바이스로부터 근전도 신호를 수신하여 제 1 모니터링 디바이스(110)의 저작 행태를 보완할 수 있다. 여기서, 근전도 신호는 안면 부위에 부착되는 근전도 센서에 의해 감지될 수 있다.

또한, 일 실시 예로, 식사 모니터링 시스템은 사용자의 턱 부위에 장착되며 가속도 센서, 자이로 센서, 지자기 센서 중 어느 하나 이상을 포함해서 턱의 움직임을 감지하는 제 3 모니터링 디바이스를 더 포함할 수 있고, 이러한 일예의 경우, 프로세서(130)는 제 3 모니터링 디바이스로부터 턱의 움직임 감지 정보를 수신하여 제 1 모니터링 디바이스(110)의 저작 행태를 보완할 수 있다. 이때, 제 3 모니터링 디바이스에는 가속도 센서와 자이로 센서가 통합된 관성측정 센서가 포함될 수도 있다.

도 4는 일 실시 예에 따라 유무선 통신 방식으로 구현되는 식사 모니터링 시스템(100)을 도시한 도면이다.

도 4를 참조하면, 식사 모니터링 시스템(100)은 제 1 모니터링 디바이스(110), 제 2 모니터링 디바이스(120), 통신 디바이스(410), 연산 디바이스(420), 데이터 베이스(430), 출력 디바이스(440)를 포함할 수 있다.

그러나 도 4에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 식사 모니터링 시스템(100)에 더 포함될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있고, 다른 실시 예에 따를 경우, 도 4에 도시된 구성요소들 중 일부 구성요소는 생략될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

일 실시 예에 따른 통신 디바이스(410)는 유선 또는 무선 방식으로 제 1 모니터링 디바이스(110) 또는 제 2 모니터링 디바이스(120)와 연산 디바이스(420) 사이의 통신을 수행할 수 있다. 연산 디바이스(420)는 상술된 프로세서(130)를 포함할 수 있으며, 제 1 모니터링 디바이스(110)로부터 수신된 제 1 모니터링 정보 및 제 2 모니터링 디바이스(120)로부터 수신된 제 2 모니터링 정보를 처리할 수 있다.

일 실시 예에 따른 데이터 베이스(430)는 연산 디바이스(420)로부터 수신된 정보를 저장, 관리할 수 있다. 예를 들면, 데이터 베이스(430)는 특정 사용자의 삼킴과 관련된 히스토리 정보를 저장하고 있을 수 있다.

일 실시 예에 따른 출력 디바이스(440)는 연산 디바이스(420)의 제어에 따라 각종 출력을 제공할 수 있다. 예를 들면, 출력 디바이스(440)는 전기 자극부(310), 디스플레이(320), 알림부(330) 등을 포함할 수 있다.

도 5는 일 실시 예에 따라 제 1 모니터링 디바이스(110)가 동작하는 일 예를 나타내는 도면이다.

제 1 모니터링 디바이스(110)는 사용자의 입의 위치를 인식하고 입술 상의 점들을 연결시킨 형상의 움직임을 통해 입의 움직임을 모니터링할 수 있다.

도 6은 일 실시 예에 따라 스마트폰이 제 1 모니터링 디바이스(110)로 이용되는 일 예를 나타내는 도면이다.

제 1 모니터링 디바이스(110)는 카메라 등 이미지를 획득할 수 있는 디바이스가 이용될 수 있다. 예를 들면 제 1 모니터링 디바이스(110)로 스마트폰이 이용될 수 있다. 스마트폰에서 특정 애플리케이션이 구동될 경우, 스마트폰이 제 1 모니터링 디바이스(110)로 동작할 수 있기 때문에, 사용자는 제 2 모니터링 디바이스(120)와 스마트폰만으로 식사 모니터링 시스템(100)을 이용할 수 있다.

도 7은 일 실시 예에 따라 식사 모니터링 시스템(100)이 동작하는 방법을 나타내는 흐름도이다.

단계 S710에서 일 실시 예에 따른 식사 모니터링 시스템(100)은 사용자의 저작 행태를 영상 처리 방식을 이용한 모니터링을 수행하여 제 1 모니터링 정보를 획득한다.

일 예로, 식사 모니터링 시스템(100)은 사용자의 입을 포함하는 이미지를 획득하고, 획득한 이미지를 이용하여 입의 모양 또는 턱의 위치 등을 모니터링할 수 있다.

또한, 식사 모니터링 시스템(100)은 사용자의 안면 이미지를 획득하고, 안면 이미지를 이용하여 사용자의 안면 근육을 모니터링할 수 있다.

단계 S720에서 일 실시 예에 따른 식사 모니터링 시스템(100)은 사용자의 삼킴 운동을 복수의 센서를 이용한 모니터링을 수행하여 제 2 모니터링 정보를 획득한다.

식사 모니터링 시스템(100)은 사용자의 삼킴 운동을 복수의 센서를 이용하여 모니터링할 수 있다. 복수의 센서는 초음파 센서, 가속도 센서, 지자기 센서, 자이로 센서 및 음성 센서 중 적어도 하나를 포함할 수 있다.

단계 S730에서 일 실시 예에 따른 식사 모니터링 시스템(100)은 제 1 모니터링 정보 및 제 2 모니터링 정보를 이용하여 사용자의 삼킴 상황을 결정한다.

삼킴 상황은 사용자가 음식물을 삼키는 상황을 나타낼 수 있다. 예를 들면, 사용자가 음식물을 삼키는데 어려움을 느끼는 정도를 나타낼 수 있다. 다른 예로, 삼킴 상황은 사용자가 음식물을 삼키는 전체 과정 중 현재 어떤 과정에 있는지 나타낼 수 있다.

한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 램, USB, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.

본 실시 예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100 : 식사 모니터링 시스템 110: 제 1 모니터링 디바이스
120: 제 2 모니터링 디바이스 130: 프로세서
310: 전기 자극부 320: 디스플레이
330: 알림부 340: 리시버
350: 복수의 센서

Claims

사용자의 저작 행태를 영상 처리 방식을 이용하여 모니터링하는 제 1 모니터링 디바이스;
상기 사용자의 삼킴 운동을 복수의 센서를 이용하여 모니터링하는 제 2 모니터링 디바이스; 및
상기 제 1 모니터링 디바이스로부터 수신한 제 1 모니터링 정보 및 상기 제 2 모니터링 디바이스로부터 수신한 제 2 모니터링 정보를 이용하여 상기 사용자의 삼킴 상황을 결정하는 프로세서;를 포함하고,
상기 복수의 센서는 초음파 센서, 가속도 센서, 지자기 센서, 자이로 센서 및 음성 센서 중 적어도 하나를 포함하고,
상기 프로세서는 상기 제 1 모니터링 정보에 기초하여 턱의 움직임이 정지하였는지 여부를 결정하고, 상기 턱의 움직임이 정지되어 있는 기간 동안 획득되는 상기 제 2 모니터링 정보를 이용하여 상기 삼킴 상황을 결정하고,
상기 삼킴 상황은 상기 사용자가 음식물을 삼키는데 어려움을 느끼는 정도 및 삼킴 과정을 나타내고,
상기 삼킴 과정은 저작 단계, 삼킴 시작 단계, 삼킴 진행 단계, 식도 진행 단계 및 삼킴 완료 단계를 포함하고,
상기 프로세서는 상기 삼킴 상황에 기초하여 상기 삼킴 시작 시점 및 삼킴 종료 시점을 획득하고, 상기 삼킴 시작 시점으로부터 상기 삼킴 종료 시점까지 걸리는 시간에 비례하도록 상기 사용자가 음식물을 삼키는데 어려움을 느끼는 정도를 나타내는 삼킴 어려움 단계를 결정하는, 식사 모니터링 시스템.
제 1 항에 있어서,
상기 제 1 모니터링 디바이스는 상기 사용자의 입을 포함하는 이미지를 획득하고, 상기 이미지를 이용하여 상기 입의 모양을 모니터링하고, 상기 모니터링 결과를 상기 프로세서로 전송하는, 식사 모니터링 시스템.
제 1 항에 있어서,
상기 제 1 모니터링 디바이스로부터 획득되는 제 1 모니터링 정보 및 상기 제 2 모니터링 디바이스로부터 획득되는 제 2 모니터링 정보를 디스플레이하는 디스플레이를 더 포함하는, 식사 모니터링 시스템.
삭제
제 1 항에 있어서,
상기 삼킴 상황에 따라 전기 자극을 가하는 전기 자극부를 더 포함하는, 식사 모니터링 시스템.
제 1 항에 있어서,
상기 프로세서는
상기 초음파 센서로부터 획득된 정보에서 상기 사용자의 비삼킴 동작에 의한 노이즈를 필터링하여 상기 삼킴 상황을 결정하고,
상기 비삼킴 동작은 상기 가속도 센서, 상기 지자기 센서, 상기 자이로 센서 및 상기 음성 센서로부터 센싱되고,
상기 비삼킴 동작은 기침을 포함하는, 식사 모니터링 시스템.
제 1 항에 있어서,
상기 제 1 모니터링 디바이스는 상기 사용자의 안면 이미지를 획득하고, 상기 안면 이미지를 이용하여 상기 사용자의 안면 근육을 모니터링하고, 상기 모니터링 결과를 상기 프로세서로 전송하는, 식사 모니터링 시스템.
제 1 항에 있어서,
상기 사용자에게 알림을 제공하는 알림부를 더 포함하고,
상기 알림부는 상기 제 1 모니터링 정보 및 상기 제 2 모니터링 정보를 이용하여 상기 사용자가 입을 연 채로 식사하는 경우 알림을 제공하는, 식사 모니터링 시스템.
제 1 항에 있어서,
상기 사용자에게 알림을 제공하는 알림부를 더 포함하고,
상기 알림부는 상기 제 1 모니터링 정보 및 상기 제 2 모니터링 정보를 이용하여 상기 사용자가 식사 중 기설정 크기 이상의 소리를 내는 경우, 알림을 제공하는, 식사 모니터링 시스템.
제 1 항에 있어서,
상기 프로세서는 상기 제 1 모니터링 정보의 저작 행태에 기반하여 저작 중인지 판단하고, 상기 제 2 모니터링 정보의 삼킴 운동에 기반하여 삼킴 중인지 판단하고, 판단 정보에 따라 상기 사용자가 음식물을 저작하기 시작해서 삼킬 때까지의 시간을 계산하여 상기 사용자의 식사 속도를 계산하고,
상기 식사 속도 및 기 획득된 평소 식사 속도에 대한 비교 결과를 획득하고, 상기 비교 결과에 따라 획득되는 식사 상황에 대한 알림 및 상기 식사 속도에 대한 정보를 제공하는, 식사 모니터링 시스템.
제 10 항에 있어서,
상기 프로세서는 상기 제 1 모니터링 정보의 판단 정보에 따른 저작 행태일 때 상기 제 2 모니터링 정보에 대응한 센서에 의해 측정된 저작 소음이 기설정된 범위 내에 속하면 저작 소음의 지속 시간을 계산하여 상기 지속 시간이 기설정된 임계치를 초과하는지를 판단하고, 판단 결과에 따라 삼킴 전에 충분한 저작이 이루어지는지를 상기 사용자의 저작 습관으로 기록하거나 기록된 저작 습관을 상기 사용자의 보호자에게 알리는, 식사 모니터링 시스템.
제 10 항에 있어서,
상기 프로세서는 상기 제 1 모니터링 정보의 판단 정보에 따른 저작 행태일 때 상기 제 2 모니터링 정보에 대응한 센서에 의해 측정된 저작 소음이 기설정된 임계치를 초과하면 초과된 정보를 상기 사용자의 저작 습관으로 기록하거나 기록된 저작 습관을 상기 사용자의 보호자에게 알리는, 식사 모니터링 시스템.
제 12 항에 있어서,
상기 프로세서는 상기 센서의 저작 소음에 혼입될 수 있는 음성 소음을 필터링하여 필터링된 저작 소음에 기반한 상기 사용자의 저작 습관을 기록하는, 식사 모니터링 시스템.
제 10 항에 있어서,
상기 프로세서는 상기 제 1 모니터링 정보의 판단 정보에 따른 저작 행태일 때 상기 제 2 모니터링 정보에 대응한 센서에 의해 측정된 음성 신호의 지속 시간을 계산하여 상기 지속 시간이 기설정된 임계치를 초과하면 저작 중 대화로 판단하고, 판단 결과를 상기 사용자의 저작 습관으로 기록하거나 기록된 저작 습관을 상기 사용자의 보호자에게 알리는, 식사 모니터링 시스템.
제 10 항에 있어서,
상기 프로세서는 상기 제 1 모니터링 정보와 상기 제 2 모니터링 정보에 대응한 상기 판단 정보에 기반하여 상기 사용자의 하루에 식사하는 횟수, 식사 시간 및 식사량을 모니터링하여 상기 사용자의 보호자에게 알리는, 식사 모니터링 시스템.
제 1 항에 있어서,
상기 사용자의 안면 부위에 장착되며 턱 저작 근육의 근전도 신호를 감지해서 저작 행태를 모니터링하는 제 3 모니터링 디바이스를 더 포함하고,
상기 프로세서는 상기 제 3 모니터링 디바이스로부터 상기 근전도 신호를 수신하여 상기 제 1 모니터링 디바이스의 저작 행태를 보완하는, 식사 모니터링 시스템.
제 1 항에 있어서,
상기 사용자의 턱 부위에 장착되며 가속도 센서, 자이로 센서 및 지자기 센서 중 어느 하나 이상을 포함해서 상기 턱의 움직임을 감지하는 제 3 모니터링 디바이스를 더 포함하고, 상기 프로세서는 상기 제 3 모니터링 디바이스로부터 상기 턱의 움직임 감지 정보를 수신하여 상기 제 1 모니터링 디바이스의 저작 행태를 보완하는, 식사 모니터링 시스템.
사용자의 저작 행태를 영상 처리 방식을 이용하여 모니터링하는 제 1 모니터링 디바이스로부터 상기 저작 행태를 나타내는 제 1 모니터링 정보를 수신하는 리시버;
상기 사용자의 삼킴 운동을 모니터링하는 복수의 센서; 및
상기 제 1 모니터링 정보 및 상기 복수의 센서로부터 수신한 제 2 모니터링 정보를 이용하여 상기 사용자의 삼킴 상황을 결정하는 프로세서; 를 포함하고,
상기 복수의 센서는 초음파 센서, 가속도 센서, 지자기 센서, 자이로 센서 및 음성 센서 중 적어도 하나를 포함하고,
상기 프로세서는 상기 제 1 모니터링 정보에 기초하여 턱의 움직임이 정지하였는지 여부를 결정하고, 상기 턱의 움직임이 정지되어 있는 기간 동안 획득되는 상기 제 2 모니터링 정보를 이용하여 상기 삼킴 상황을 결정하고, 상기 삼킴 상황에 기초하여 상기 삼킴 시작 시점 및 삼킴 종료 시점을 획득하고, 상기 삼킴 시작 시점으로부터 상기 삼킴 종료 시점까지 걸리는 시간에 비례하도록 상기 사용자가 음식물을 삼키는데 어려움을 느끼는 정도를 나타내는 삼킴 어려움 단계를 결정하는, 식사 모니터링 장치
제 1 모니터링 디바이스가 사용자의 저작 행태를 영상 처리 방식을 이용한 모니터링을 수행하여 제 1 모니터링 정보를 획득하는 단계;
제 2 모니터링 디바이스가 상기 사용자의 삼킴 운동을 복수의 센서를 이용한 모니터링을 수행하여 제 2 모니터링 정보를 획득하는 단계; 및
프로세서가 상기 제 1 모니터링 정보 및 상기 제 2 모니터링 정보를 이용하여 상기 사용자의 삼킴 상황을 결정하는 단계;를 포함하고,
상기 복수의 센서는 초음파 센서, 가속도 센서, 지자기 센서, 자이로 센서 및 음성 센서 중 적어도 하나를 포함하고,
상기 프로세서는 상기 제 1 모니터링 정보에 기초하여 턱의 움직임이 정지하였는지 여부를 결정하고, 상기 턱의 움직임이 정지되어 있는 기간 동안 획득되는 상기 제 2 모니터링 정보를 이용하여 상기 삼킴 상황을 결정하는 단계; 및
상기 프로세서는 상기 삼킴 상황에 기초하여 상기 삼킴 시작 시점 및 삼킴 종료 시점을 획득하고, 상기 삼킴 시작 시점으로부터 상기 삼킴 종료 시점까지 걸리는 시간에 비례하도록 상기 사용자가 음식물을 삼키는데 어려움을 느끼는 정도를 나타내는 삼킴 어려움 단계를 결정하는 단계;를 포함하는, 식사 모니터링 방법.
제19항의 방법을 구현하기 위하여 기록매체에 저장된 컴퓨터 프로그램.