KR20200059626A

KR20200059626A - 섭식행위 및 섭식내용을 자동으로 인식하는 시스템, 사용자 디바이스 및 방법

Info

Publication number: KR20200059626A
Application number: KR1020180144593A
Authority: KR
Inventors: 정승은; 정현태; 김가규; 노경주; 임지연
Original assignee: 한국전자통신연구원
Priority date: 2018-11-21
Filing date: 2018-11-21
Publication date: 2020-05-29

Abstract

본 발명에 따른 섭식행위 자동인식 시스템에서의 섭식행위 자동인식 방법은 하나 이상의 센서 디바이스가 상체의 전방 방향으로의 기울어짐을 측정하여 관성 데이터를 생성하고, 음식물의 섭취와 연관된 소리인 오디오 데이터를 생성하는 단계; 상기 센서 디바이스로부터 관성 데이터 및 오디오 데이터를 수신하는 단계 및 상기 관성 데이터와 오디오 데이터를 미리 학습된 인공신경망 기반의 섭식행위 인식모델에 입력하여 사용자에 대응하는 섭식패턴 데이터를 생성하는 단계를 포함하되, 상기 오디오 데이터는 입속에서의 음식물 저작시 소리 및 음식물의 연하 운동 중 발생되는 소리 중 하나 이상을 포함한다.

Description

섭식행위 및 섭식내용을 자동으로 인식하는 시스템, 사용자 디바이스 및 방법{SYSTEM, USER DEVICE AND METHOD FOR AUTOMATICALLY RECOGNIZING EATING BEHAVIOR}

본 발명은 섭식행위 및 섭식내용을 자동으로 인식하는 시스템, 사용자 디바이스 및 방법에 관한 것으로서, 보다 구체적으로는 섭식행위를 자동으로 인식할 뿐 아니라 음식물의 양, 질감, 성질 등과 같은 섭식내용을 자동으로 인식함으로써 식사의 주기성, 속도, 시간대, 식사량 등으로 이루어진 섭식패턴 데이터를 생성할 수 있는 시스템, 디바이스 및 방법에 관한 것이다.

사용자의 섭식행위를 인식하는 방법과 관련하여, 종래 기술에는 위와 식도와 같은 내장 기관에 직접 이식하여 소화운동을 감지하여 섭식을 인식하는 방법이 있다. 이는 침습적인 방법으로 직접 소화액의 분비량 또는 위의 크기 변화 등을 측정함으로써 섭식행위 추정 정확도는 가장 높으나 의학적으로 필요하지 않는 일반 사용자들에게 도입하기에는 무리가 있다.

비침습적인 방법으로는 섭취한 음식물이 지나가는 목(식도)에 초음파 센서를 부착하여 해당 장기의 밀도 변화와 그 내용물을 간접적으로 측정하는 방법이 있다. 이는 비침습적이기는 하나, 해당 장치를 피부에 직접 부착하여야 한다는 불편함이 있고, 사용자의 움직임에 강건하지 못하다는 문제가 있다.

따라서, 종래 기술은 주로 손목 착용형 웨어러블 디바이스의 관성측정장치를 이용하여 손목이나 상박의 움직임을 감지하여 섭식행위를 인식하였으나, 이는 주로 사용하는 손과 웨어러블 디바이스를 착용하는 손이 반대(오른손과 왼손)인 경우가 많아 정확하고 구체적인 정보를 획득하는데는 무리가 있었다.

또한, 스마트워치나 스마트글래스 등의 웨어러블 장치나 스마트폰과 같은 휴대용 장치의 카메라를 이용하여 촬영한 음식사진을 통해 섭식행위를 인식하고 식사량과 음식물에 관한 정보를 분석하는 기술은, 섭식행위가 발생할 때마다 목표가 되는 음식물을 정확히 촬영해야 할뿐 아니라, 이미지 프로세싱 정확도를 높이기 위해 레이블링된 다양한 음식 사진 데이터를 포함하는 대용량 데이터베이스, 이미지 분석 기술 등이 별도로 필요하다는 단점이 있다.

이밖에, 화학 구성물 분석 센서, 저울, 카메라 등의 센서를 탑재하여 음식물의 종류와 질량 등을 측정 가능하도록 제작된 그릇이나 포크 또는 나이프와 같은 스마트 식기 도구를 사용하여 섭식패턴과 식사 관련 정보를 추출하는 방법이 있으나, 이는 식사 중에 해당 도구를 사용해야 하는 불편이 있다.

마지막으로, 현재 서비스 중인 대부분의 헬스 트래커 장치 및 소프트웨어들은 사용자가 직접 섭취한 음식의 종류 및 양을 수기로 입력하거나, 바코드가 있는 식품의 경우 이를 이용하여 섭취한 음식을 입력할 수 있다. 그러나 이는 단순 기록 용도로 쓰일뿐 자동으로 섭식행위를 인식하게끔 할 수 없다는 문제가 있다.

본 발명의 실시예는 마이크와 관성 측정 모듈이 구비된 센서 디바이스로부터 측정된 데이터를 미리 학습된 인공신경망 기반의 섭식행위 인식모델을 통해 분석하여 사용자의 섭식행위와 섭식내용(음식물의 양, 질감, 성질 등)을 자동으로 인식함으로써 식사의 주기성, 속도, 시간대, 식사량 등으로 구성된 섭식패턴 데이터를 생성할 수 있는 시스템, 사용자 디바이스 및 방법을 제공한다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 섭식행위 자동인식 시스템은 상체의 전방 방향으로의 기울어짐을 측정하는 관성 측정 모듈 및 음식물의 섭취와 연관된 소리를 측정하는 마이크를 포함하는 하나 이상의 센서 디바이스와, 상기 센서 디바이스로부터 상기 관성 측정 모듈에 의해 측정된 관성 데이터와 상기 음식물 섭취와 연관된 소리인 오디오 데이터를 수신하고, 상기 관성 데이터와 오디오 데이터를 인공신경망 기반의 섭식행위 인식모델에 입력하여 사용자에 대응하는 섭식패턴 데이터를 생성하는 사용자 디바이스를 포함한다.

상기 센서 디바이스는 인이어형, 클립형 및 의복 내장형 중 하나 이상의 형태로 구현될 수 있다.

상기 마이크는 상기 음식물의 섭취와 연관된 소리로, 입속에서의 음식물 저작시 소리 및 음식물의 연하 운동 중 발생되는 소리 중 하나 이상을 센싱할 수 있다.

상기 마이크는 센싱된 소리에 포함된 노이즈를 제거하여 상기 음식물의 섭취와 연관된 소리를 추출하고, 상기 음식물의 섭취와 연관된 소리를 증폭하여 상기 오디오 데이터로 제공할 수 있다.

상기 사용자 디바이스는 상기 관성 데이터를 분류기에 입력하여 추출된 제 1 상태벡터와 상기 오디오 데이터를 상기 분류기에 입력하여 추출된 제 2 상태벡터를 조합하고, 상기 조합된 벡터값을 입력으로 상기 분류기를 학습시켜 상기 섭식행위 인식모델을 생성할 수 있다.

상기 사용자 디바이스는 상기 오디오 데이터에 대응하는 시간 정보 및 음식물 섭취 여부를 레이블에 기록하고, 상기 오디오 데이터로부터 특징 벡터를 추출하며, 상기 레이블과 상기 특징 벡터를 입력으로 하여 상기 제 2 상태벡터를 추출하기 위한 분류기를 학습시킬 수 있다.

상기 사용자 디바이스는 상기 센서 디바이스로부터 상기 관성 데이터와 오디오 데이터를 수신하여 상기 분류기에 입력함에 따라, 이벤트와 발생 시각을 기준으로 분류된 시퀀스 데이터를 생성할 수 있다.

상기 이벤트는 음식물 섭취 이벤트 및 저작 작용 이벤트를 포함하고, 상기 시퀀스 데이터는 상기 각 이벤트의 발생 시각 엔트리로 구성되어 음식물의 섭취 중인지 여부에 관한 정보를 포함할 수 있다.

상기 사용자 디바이스는 상기 시퀀스 데이터를 상기 섭식행위 인식모델에 입력하여 사용자의 전체 식사량 정보 및 섭취한 음식물의 종류를 추정하고, 식사 시각, 식사 시간, 식사 속도 정보를 포함하는 상기 섭식패턴 데이터를 생성할 수 있다.

상기 사용자 디바이스는 음식물의 한 모금 섭취 횟수 및 섭취량 정보에 기초하여 상기 사용자의 전체 식사량 정보를 추정할 수 있다.

상기 음식물의 한 모금 섭취량 정보는 음식물의 한 모금에 대한 저작 행위의 횟수 정보와 분량 파라미터에 기초하여 산출되고, 상기 음식물의 한 모금 섭취하는 간격 정보는 상기 저작 행위의 횟수 정보와 시간 파라미터 및 음식물의 연하 운동 시간 정보에 기초하여 산출될 수 있다.

상기 음식물의 연하 운동 시간 정보는 음식물의 한 모금 섭취량 정보와 시간 파라미터에 기초하여 산출될 수 있다.

상기 사용자 디바이스는 음식물의 한 모금 섭취 횟수 및 간격 정보에 기초하여 상기 사용자의 식사 시간을 추정할 수 있다.

또한, 본 발명의 제 2 측면에 따른 섭식행위를 자동으로 인식하는 사용자 디바이스는 하나 이상의 센서 디바이스로부터 센싱된 데이터를 수신하는 통신모듈, 상기 센싱된 데이터에 기초하여 섭식행위를 자동으로 인식하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 통신모듈을 통해 상기 센서 디바이스로부터 측정된 관성 데이터와 음식물 섭취와 연관된 소리인 오디오 데이터를 수신하면, 상기 관성 데이터와 오디오 데이터를 인공신경망 기반의 섭식행위 인식모델에 입력하여 사용자에 대응하는 섭식패턴 데이터를 생성한다.

상기 센서 디바이스는 상체의 전방 방향으로의 기울어짐에 대한 상기 관성 데이터를 측정하는 관성 측정 모듈 및 상기 음식물 섭취와 연관된 소리를 측정하는 마이크를 포함할 수 있다.

또한, 본 발명의 제 3 측면에 따른 섭식행위 자동인식 시스템에서의 섭식행위 자동인식 방법은 하나 이상의 센서 디바이스가 상체의 전방 방향으로의 기울어짐을 측정하여 관성 데이터를 생성하고, 음식물의 섭취와 연관된 소리인 오디오 데이터를 생성하는 단계; 상기 센서 디바이스로부터 관성 데이터 및 오디오 데이터를 수신하는 단계 및 상기 관성 데이터와 오디오 데이터를 미리 학습된 인공신경망 기반의 섭식행위 인식모델에 입력하여 사용자에 대응하는 섭식패턴 데이터를 생성하는 단계를 포함한다. 이때, 상기 오디오 데이터는 입속에서의 음식물 저작시 소리 및 음식물의 연하 운동 중 발생되는 소리 중 하나 이상을 포함한다.

본 발명에 따른 섭식행위 자동인식 방법은 상기 인공신경망 기반의 섭식행위 인식모델을 학습하는 단계를 더 포함할 수 있다. 이때, 상기 인공신경망 기반의 섭식행위 인식모델을 학습하는 단계는, 상기 관성 데이터를 분류기에 입력하여 제 1 상태벡터를 추출하는 단계; 상기 오디오 데이터를 상기 분류기에 입력하여 제 2 상태벡터를 추출하는 단계; 상기 제 1 상태벡터와 제 2 상태벡터를 조합하는 단계; 상기 조합된 벡터값을 입력하여 상기 분류기를 학습시켜 상기 섭식행위 인식모델을 생성하는 단계를 포함할 수 있다.

상본 발명에 따른 섭식행위 자동인식 방법은 기 센서 디바이스로부터 상기 관성 데이터와 오디오 데이터를 수신하여 상기 분류기에 입력하는 단계 및 상기 입력에 대응하여 이벤트와 발생 시각을 기준으로 분류된 시퀀스 데이터를 생성하는 단계를 더 포함할 수 있다. 이때, 상기 이벤트는 음식물 섭취 이벤트 및 저작 작용 이벤트를 포함하고, 상기 시퀀스 데이터는 상기 각 이벤트의 발생 시각 엔트리로 구성되어 음식물의 섭취 중인지 여부에 관한 정보를 포함할 수 있다.

상기 사용자에 대응하는 섭식패턴 데이터를 생성하는 단계는, 상기 시퀀스 데이터를 상기 섭식행위 인식모델에 입력하여 사용자의 전체 식사량 정보 및 섭취한 음식물의 종류를 추정하고, 식사 시각, 식사 시간, 식사 속도 정보를 포함하는 상기 섭식패턴 데이터를 생성할 수 있다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사용자로부터 섭식 이벤트가 발생할 때마다 종래기술과 달리 수기로 입력할 필요 없이 자동으로 섭식 이벤트를 감지할 수 있다는 장점이 있다.

또한, 자동으로 섭식 이벤트 감지시 식사 지속시간, 식사량, 식사 속도 등과 같은 섭식패턴 데이터를 제공함으로써 사용자로 하여금 자신의 섭식패턴을 확인하도록 할 수 있다.

도 1은 본 발명의 일 실시예에 따른 섭식행위 자동인식 시스템의 블록도이다.
도 2는 센서 디바이스가 구현되는 일 예시를 설명하기 위한 도면이다.
도 3은 사용자 디바이스에서의 데이터 처리 과정을 설명하기 위한 도면이다.
도 4는 시퀀스 데이터를 처리하는 과정을 설명하기 위한 순서도이다.
도 5는 본 발명의 일 실시예에 따른 섭식행위 자동인식 방법의 순서도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 발명은 섭식행위를 자동으로 인식하는 시스템(1), 사용자 디바이스(200) 및 방법에 관한 것이다.

최근 건강한 식생활을 추구하기 위해 섭식과 관련된 내용을 기록하는 기술이 다양하게 시도되고 있지만, 대부분 개인의 기억에 의존해서 수기로 작성하는 방법들이 주를 이룬다.

섭식행위를 자동으로 인식하고 식사와 관련된 정보를 계산하여 기록할 수 있다면, 정해진 시간에 생활에 필요한 적절량의 음식물을 적당한 속도로 섭취했는지 여부를 바탕으로 사용자의 섭식 패턴을 추출하고, 이와 관련된 피드백이나 건강한 식생활을 위한 유용한 정보를 전달함으로써 섭식 습관을 개선하도록 도울 수 있다.

또한, 과도한 스트레스나 정신적으로 힘든 상황을 겪을 경우 섭식 행위에 영향을 받게 되어 거식이나 폭식 등과 같이 섭식 패턴의 변화가 발생하기도 하는데, 이러한 증상을 섭식 패턴의 변화를 기반으로 인식함으로써 위험 상황을 미연에 방지할 수 있다.

이를 위해 본 발명의 일 실시예는 관성 측정 모듈(110)과 마이크(120)가 구비된 센서 디바이스(100)로부터 측정된 데이터를 미리 학습된 인공신경망 기반의 섭식행위 인식모델을 통해 분석하여 사용자의 섭식행위를 자동으로 인식 및 분석할 수 있다.

이하에서는 도 1 내지 도 4를 참조하여 본 발명의 일 실시예에 따른 섭식행위 자동인식 시스템(1)에 대하여 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 섭식행위 자동인식 시스템(1)의 블록도이다. 도 2는 센서 디바이스(100)가 구현되는 일 예시를 설명하기 위한 도면이다. 도 3은 사용자 디바이스(200)에서의 데이터 처리 과정을 설명하기 위한 도면이다. 도 4는 시퀀스 데이터를 처리하는 과정을 설명하기 위한 순서도이다.

먼저 도 1을 참조하면, 본 발명의 일 실시예에 따른 섭식행위 자동인식 시스템(1)은 하나 이상의 센서 디바이스(100)와 사용자 디바이스(200)를 포함한다.

센서 디바이스(100)는 관성 측정 모듈(110) 및 마이크(120)를 포함하도록 구성된다.

관성 측정 모듈(110)은 사용자의 상체가 전방 방향으로 기울어짐을 측정한다. 음식을 섭취하기 위해서는 상체가 앞으로 기울어지는 행위가 반복적으로 발생하게 되는데, 본 발명의 일 실시예는 관성 측정 모듈(110)을 통해 이러한 상체의 전방 방향으로의 기울어짐을 측정하여 사용자의 음식물 섭취 행위 여부를 인식할 수 있다.

이러한 관성 측정 모듈(110)은 3축 가속도계, 지자계, 자이로스코프를 포함하는 9축 관성 측정 모듈일 수 있다.

마이크(120)는 음식물의 섭취와 연관된 소리를 측정한다. 이때, 음식물의 섭취와 연관된 소리는 입속에서의 음식물 저작시 소리, 음식물의 연하 운동 중 신체에서 발생되는 소리(body sound)일 수 있다.

이와 같이 본 발명의 일 실시예는 센서 디바이스(100)를 통해 섭식행위시 발생하는 움직임을 자동으로 감지하고, 이에 기반하여 사용자 디바이스(200)를 통해 식사 시간 및 식사량을 산출할 수 있다.

한편, 본 발명의 일 실시예에서 센서 디바이스(100)는 도 2에 도시된 예시와 같이 구현될 수 있다.

예를 들어, 도 2의 (a)와 같이 센서 디바이스(100)는 인이어형으로 구현되어 인이어 센싱이 가능하도록 형성될 수 있다. 센서 디바이스(100)가 인이어형으로 구현된 경우, 섭취한 음식물을 입속에서 저작하는 동안 발생되는 소리를 가까운 위치에서 센싱할 수 있다는 장점이 있다.

또한, 도 2의 (b)와 같이 센서 디바이스(100)는 클립형으로 구현되거나, 도 2의 (c)와 같이 의복 내장형으로 구현될 수 있다. 클립형의 경우 상의의 끝단이나 앞주머니 등에 손쉽게 꽂아 사용할 수 있으며, 의복 내장형의 경우 의복의 앞이나 뒷면에 내장되거나 부착되도록 구현될 수 있다. 도 2의 (b)나 (c)와 같이 센서 디바이스(100)가 클립형이나 의복 내장형으로 구현된 경우, 센서 디바이스(100)는 저작 후 음식물이 구강에서 인두와 식도를 거쳐 위로 수송되는 연하 운동 중에 발생하는 소리를 해당 장기와 가까운 위치에서 녹음 가능하다는 장점이 있다.

도 2에 도시된 센서 디바이스(100)의 형태는 상반신에 밀착한 상태로 고정적인 위치에 착용되어 일관되게 데이터를 측정 가능하면서 사용 편의성을 극대화하는 것을 목표로 한다.

이러한 센서 디바이스(100)는 착용의 용이성을 위해 한 개를 부착하는 것을 기본으로 하나, 반드시 이에 한정되는 것은 아니며 인이어형, 클립형 및 의복 내장형 중 복수개가 복합적으로 사용될 수 있음은 물론이다.

한편, 센서 디바이스(100)에 포함된 마이크(110)는 센싱된 소리에 포함된 노이즈를 제거하여 음식물의 섭취와 연관된 소리를 추출하고, 음식물의 섭취와 연관된 소리를 증폭하여 오디오 데이터로 제공할 수 있다.

즉, 본 발명의 일 실시예에서의 센서 디바이스(100)는 마이크(110)의 주변에서 발생하는 소음, 사용자 또는 주변인의 발화로 발생하는 음성을 분석하고, 해당 파장의 역위상의 파장을 연산하여 소음과 음성을 상쇄하는 노이즈 처리 기술을 적용할 수 있으며, 목표로 하는 음식 섭취와 관련된 소리(body sound)만을 증폭하여 필터링함으로써 오디오 데이터를 생성 및 제공할 수 있다.

다시 도 1을 참조하면, 사용자 디바이스(200)는 통신모듈(210), 메모리(220) 및 프로세서(230)를 포함한다.

통신모듈(210)은 하나 이상의 센서 디바이스(100)로부터 센싱된 관성 데이터와 오디오 데이터를 수신한다. 이때, 통신 모듈(210)은 무선 통신 모듈을 포함할 수 있다. 무선 통신 모듈은 WLAN(wireless LAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60GHz WPAN, Binary-CDMA, WiFi 무선 USB 기술 및 무선 HDMI 기술 등으로 구현될 수 있다.

메모리(220)에는 센서 디바이스(100)에 의해 센싱된 데이터에 기초하여 섭식행위를 자동으로 인식하기 위한 프로그램이 저장되며, 프로세서(230)는 메모리(220)에 저장된 프로그램을 실행시킨다. 이때, 메모리(220)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다.

예를 들어, 메모리(220)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.

이러한 사용자 디바이스(200)는 휴대용 단말기에 인터넷 통신과 정보 검색 등 컴퓨터 지원 기능을 추가한 지능형 단말기로서, 사용자가 원하는 다수의 응용 프로그램(즉, 애플리케이션)을 설치하여 실행할 수 있는 휴대폰, 스마트 폰(smart phone), 패드(Pad), 스마트 워치(Smart watch), 웨어러블(wearable) 단말, 기타 이동통신 단말 등으로 구현될 수 있다. 또한, 사용자 디바이스(200)는 네트워크를 통해 접속할 수 있는 컴퓨터로 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등으로 구현될 수 있다.

이러한 사용자 디바이스(200)는 센서 디바이스로(100)부터 관성 측정 모듈(110)에 의해 측정된 관성 데이터와, 음식물 섭취와 연관된 소리인 오디오 데이터를 수신하고, 관성 데이터와 오디오 데이터를 미리 학습된 인공신경망 기반의 섭식행위 인식모델에 입력하여 사용자에 대응하는 섭식패턴 데이터를 생성할 수 있다.

센싱된 데이터에 기초하여 섭식패턴 데이터를 생성하기 위해서는 인공신경망 기반의 섭식행위 인식모델을 미리 학습하는 과정을 거쳐야 한다.

이를 위해 사용자 디바이스(200)는 관성 데이터를 분류기에 입력하여 제 1 상태벡터를 추출하고, 또한 오디오 데이터를 분류기에 입력하여 제 2 상태벡터를 추출한다.

그 다음 제 1 상태벡터와 제 2 상태벡터를 조합하고, 조합된 벡터값을 입력으로 하여 상기 분류기를 학습시킴으로써 섭식행위 인식모델을 생성할 수 있다.

이때, 사용자 디바이스(200)는 오디오 데이터에 대응하는 시간 정보 및 음식물 섭취 여부를 레이블에 기록하고, 레이블과 함께 오디오 데이터로부터 추출한 다양한 측면의 특징 벡터(feature vector)를 입력으로 하여 상기 제 2 상태벡터를 추출하기 위한 분류기를 학습시킬 수 있다.

제 1 상태벡터를 추출하기 위한 분류기 학습 방법으로는 오디오 데이터 분석에 많이 사용되는 MFCC(Mel-Frequency Cepstral Coefficient), ZCR(Zero Crossing Rate), SC(Spectral Centroid) 등 시간 대역 및 주파수 대역 특징의 평균, 시분위수, 분산 등의 통계값들이 사용될 수 있다.

이와 더불어, 오디오 데이터에 대응되는 레이블로는 음식물 섭취 중인지 여부와 같은 이진 분류 레이블을 적용할 수 있으며, 이진 분류 레이블을 통해 분류기를 학습시킴으로써 음식물 섭취 중인지 여부를 판별할 수 있다. 또한, 한 모금을 섭취하는 음식물 양의 많고 적음, 더 나아가 음식물의 질감이나 성질(단단함, 질김 등)에 차이가 있는 데이터와 해당 레이블을 수집하여 분류기의 학습에 사용함으로써 섭취하는 음식물의 양이나 종류와 같은 구체적인 정보를 획득할 수 있다.

본 발명의 일 실시예는 이와 같은 시간 정보와 음식물 섭취 여부를 관성 데이터와 함께 수집하여 분류기를 학습하기 위한 입력 데이터로 사용할 수 있다.

실생활에서의 섭식행위시에는 큰 조각의 음식을 섭취할수록 아래 턱이 벌어지는 각도가 커지게되어 머리가 앞으로 기울게 되고, 머리의 방향(orientation)을 일정하게 유지시키기 위해 상체가 앞으로 기울어지는 각도 또한 커지게 된다.

마찬가지로 한 모금(mouthful)을 섭취하는 양에 따른 상체 움직임의 차이를 학습하기 위해 다양한 크기와 양의 음식을 섭취하는 경우에 대한 데이터와 그에 해당하는 레이블을 수집할 필요가 있다.

따라서, 본 발명의 일 실시예는 음식물의 섭취 중인지 여부를 판별하고, 음식물의 양이나 종류를 판별하기 위한 레이블을 관성 데이터와 함께 수집하여 분류기를 학습시킴으로써, 학습된 모델을 통해 식사 중 또는 저작행위 중 상체의 움직임 여부나 저작행위시의 움직임에 따른 음식물의 양이나 종류를 판별하고 이를 기초로 섭식패턴 데이터를 생성할 수 있다.

이하에서는 위 학습 과정을 통해 생성된 섭식행위 인식모델을 이용하여 섭식패턴 데이터를 생성하는 과정을 도 3을 참조하여 설명하도록 한다.

사용자 디바이스(200)는 섭식 행위 발생시 센서 디바이스(100)를 통해 관성 데이터와 오디오 데이터를 수신하면(S1), 데이터 전처리 과정을 수행하게 된다(S2). 이때, 데이터 전처리 과정으로는 데이터 필터링, 세계열 데이터의 분할, 센서값의 정규화 과정이 수행될 수 있다.

이후 전술한 바와 같이 데이터의 특성에 적합한 인공신경망(CNN, RNN, LSTM 등)을 사용하여 학습시킨 모델을 생성하거나, 이들 모델을 앙상블 기법을 사용하여 결합한 결합 모델을 생성할 수 있으며(S3), 그 결과 섭식행위 인식모델이 생성될 수 있다(S4).

한편, 전체 식사시간은 한 모금을 섭취하는 횟수, 간격, 양, 그리고 전체 식사 및 한 모금에 대한 저작 횟수와 양(+)의 상관관계를 가진다. 그리고 한 모금의 양은 식사 초반이 크고 후반으로 갈수록 작아지며, 섭취 간격도 식사 초반에 짧고 식사의 80%가 진행될 때까지 서서히 증가하게 된다. 본 발명의 일 실시예는 이와 같은 특성을 분류기를 통해 얻은 결과에 존재할 수 있는 에러를 보정하기 위한 피드백으로 사용할 수 있다.

본 발명의 일 실시예는 사용자 디바이스(200)가 센서 디바이스(100)로부터 원시 데이터인 관성 데이터와 오디오 데이터를 수신하여 분류기에 입력함에 따라, 이벤트와 발생 시각을 기준으로 분류된 시퀀스 데이터를 생성할 수 있다.

이때, 이벤트는 음식물 섭취 이벤트와 저작작용 이벤트를 포함하며, 시퀀스 데이터는 각 이벤트의 발생 시각 엔트리로 구성되어 음식물의 섭취 중인지 여부에 관한 정보를 포함할 수 있다.

이와 같이 생성된 시퀀스 데이터는 도 4와 같은 순서에 의해 처리될 수 있다.

먼저, 사용자 디바이스(200)는 이벤트와 발생시각을 기준으로 분류된 시퀀스 데이터를 섭식행위 인식모델에 입력한 다음(S11), 상체의 움직임에 따른 음식물 섭취 이벤트가 연속적으로 발생하는지 여부를 감지하여 식사의 시작과 종료 여부를 판단한다(S12, S19). 이때, 식사가 지속되는 동안 한 모금 섭취하는 횟수와 간격을 측정하여 저장할 수 있다.(S13, S14).

또한, 연속적인 저작 작용의 발생 여부로 한 모금에 대한 저작 작용의 시작과 종료(S15, S17), 그리고 저작 횟수를 측정할 수 있으며(S16), 이로부터 한 모금 섭취하는 양을 산출할 수 있다(S18).

사용자 디바이스(200)는 식사가 종료된 것으로 판단한 경우(S19), 한 모금 섭취 횟수와 한 모금 섭취량, 섭취 간격을 기반으로 식사량을 추정하게 되며(S20), 이를 기반으로 섭식패턴 데이터를 생성할 수 있다(S21).

이때, 사용자 디바이스(200)는 다음과 같은 관계식에 기초하여 식사시간, 음식물의 한 모금 섭취 간격, 연하 운동 소요 시간, 한 모금 섭취량 및 전체 식사량 정보를 산출할 수 있다.

먼저 사용자 디바이스(200)는 [관계식 1]에 따라 음식물의 한 모금 섭취 횟수 및 섭취량 정보에 기초하여 사용자의 전체 식사량 정보를 추정할 수 있다.

[관계식 1]

전체 식사량=음식물의 한 모금 섭취 횟수×한 모금 섭취량

이때, 음식물의 한 모급 섭취량 정보는 [관계식 2]에 따라 음식물의 한 모금에 대한 저작 행위의 횟수 정보와 분량 파라미터(γ)에 기초하여 산출될 수 있다.

[관계식 2]

음식물의 한 모금 섭취량=음식물의 한 모금에 대한 저작 행위의 횟수×γ

또한, 음식물의 한 모금 섭취 간격 정보는 이벤트를 통해 측정 가능하며, [관계식 3]에 따라 음식물의 한 모금에 대한 저작 횟수 정보와 시간 파라미터, 그리고 음식물의 연하 운동 시간 정보에 기초하여 산출될 수 있다.

[관계식 3]

음식물의 한 모급 섭취 간격=한 모금에 대한 저작 횟수×α+연하 운동 시간

음식물의 연하 운동에 소요되는 시간 정보는 [관계식 4]에 따라 음식물의 한 모금 섭취량 정보와 시간 파라미터에 기초하여 산출될 수 있다.

[관계식 4]

연하 운동 시간=음식물의 한 모금 섭취량×β

이러한 관계식 1 내지 관계식 4에 기초하여, 사용자 디바이스(200)는 관계식 5에 따라 음식물의 한 모금 섭취 횟수 및 간격 정보에 기초하여 사용자의 전체 식사 시간을 추정할 수 있다.

[관계식 5]

식사 시간= 한 모금 섭취 횟수×한 모금 섭취 간격

한편, 관계식 1 내지 관계식 5는 단순화된 모델링인바, 많은 데이터를 축적하여 학습에 사용할 경우 식사 진행에 나타나는 변화, 예를 들면 한 모금을 섭취하는 양이나 한 모금을 섭취하는 간격 등이 개선될 수 있음은 물론이다.

이와 같이 본 발명의 일 실시예에서의 사용자 디바이스(200)는 시퀀스 데이터를 섭식행위 인식모델에 입력하여 사용자의 전체 식사량 정보와 섭취한 음식물의 종류를 추정하고, 식사 시각(time), 식사 시간(duration), 식사 속도 정보를 포함하는 섭식패턴 데이터를 생성할 수 있다. 이러한 섭식패턴 데이터를 통해 사용자는 식사 행위가 발생하는 시간대(아침, 점심, 저녁, 간식, 야식 등)와 주기성(규칙적으로 발생하는지 여부), 식사 속도(빠름, 느림, 보통)와 식사량(보통, 많음, 적음), 섭취 음식물의 종류(저작 운동이 많이 필요한 음식, 음료 등) 등을 확인할 수 있다.

참고로, 본 발명의 실시예에 따른 도 1 내지 도 4에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.

그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.

따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.

구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.

이하에서는 도 5를 참조하여 본 발명의 일 실시예에 따른 섭식행위 자동인식 시스템(1)에서 수행되는 방법에 대하여 설명하도록 한다.

도 5는 본 발명의 일 실시예에 따른 섭식행위 자동인식 방법의 순서도이다.

본 발명의 일 실시예에 따른 섭식행위 자동인식 방법은 먼저, 하나 이상의 센서 디바이스(100)가 상체의 전방 방향으로의 기울어짐을 측정하여 관성 데이터를 생성하고, 음식물의 섭취와 연관된 소리인 오디오 데이터를 생성한다(S110). 이때, 오디오 데이터는 입속에서의 음식물 저작시 소리 및 음식물의 연하 운동 중 발생되는 소리 중 하나 이상을 포함할 수 있다.

다음으로, 사용자 디바이스(200)가 센서 디바이스로(100)부터 관성 데이터 및 오디오 데이터를 수신하면(S120), 상기 관성 데이터와 오디오 데이터를 미리 학습된 인공신경망 기반의 섭식행위 인식모델에 입력하여 사용자에 대응하는 섭식패턴 데이터를 생성한다(S130).

한편, 상술한 설명에서, 단계 S110 내지 S130은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1 내지 도 4에서 이미 기술된 내용은 도 5의 섭식행위 자동인식 방법에도 적용될 수 있다.

이와 같은 본 발명의 일 실시예에 따르면, 개선이 필요한 섭식패턴을 가진 사용자에게는 경고 알람과 함께 식생활 개선과 관련된 유용한 정보를 제공함으로써 건강한 섭식생활로 유도하는 서비스를 제공할 수 있다.

일례로, 아침을 거르거나 야식을 즐기는 사용자에게는 아침 식사의 장점이나 밤늦은 시간대의 음식물 섭취시의 단점과 관련된 정보 등을 제공할 수 있다. 또는 음식물 섭취 속도가 너무 빠르거나 식사량이 필요 이상으로 증가한 것으로 인식되는 사용자에게는 식사 중 실시간으로 알림을 전달하여 사용자의 주의를 환기시키고 음식물 섭취시의 행동 개선을 유도할 수 있다. 또한, 일정 시간 이상 음식물 섭취가 발생하지 않는 것으로 인식되는 사용자에게는 식사를 제안하거나 다른 의학적 조치를 취하도록 하는 알림을 제공할 수 있다.

한편, 본 발명의 일 실시예는 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

본 발명의 방법 및 시스템(1)은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

1: 섭식행위 자동인식 시스템
100: 센서 디바이스
110: 관성 측정 모듈
120: 마이크
200: 사용자 디바이스
210: 통신모듈
220: 메모리
230: 프로세서

Claims

섭식행위 자동인식 시스템에 있어서,
상체의 전방 방향으로의 기울어짐을 측정하는 관성 측정 모듈 및 음식물의 섭취와 연관된 소리를 측정하는 마이크를 포함하는 하나 이상의 센서 디바이스와,
상기 센서 디바이스로부터 상기 관성 측정 모듈에 의해 측정된 관성 데이터와 상기 음식물 섭취와 연관된 소리인 오디오 데이터를 수신하고, 상기 관성 데이터와 오디오 데이터를 인공신경망 기반의 섭식행위 인식모델에 입력하여 사용자에 대응하는 섭식패턴 데이터를 생성하는 사용자 디바이스를 포함하는 섭식행위 자동인식 시스템.
제 1 항에 있어서,
상기 센서 디바이스는 인이어형, 클립형 및 의복 내장형 중 하나 이상의 형태로 구현되는 것인 섭식행위 자동인식 시스템.
제 1 항에 있어서,
상기 마이크는 상기 음식물의 섭취와 연관된 소리로, 입속에서의 음식물 저작시 소리 및 음식물의 연하 운동 중 발생되는 소리 중 하나 이상을 센싱하는 것인 섭식행위 자동인식 시스템.
제 1 항에 있어서,
상기 마이크는 센싱된 소리에 포함된 노이즈를 제거하여 상기 음식물의 섭취와 연관된 소리를 추출하고, 상기 음식물의 섭취와 연관된 소리를 증폭하여 상기 오디오 데이터로 제공하는 것인 섭식행위 자동인식 시스템.
제 1 항에 있어서,
상기 사용자 디바이스는 상기 관성 데이터를 분류기에 입력하여 추출된 제 1 상태벡터와 상기 오디오 데이터를 상기 분류기에 입력하여 추출된 제 2 상태벡터를 조합하고, 상기 조합된 벡터값을 입력으로 상기 분류기를 학습시켜 상기 섭식행위 인식모델을 생성하는 것인 섭식행위 자동인식 시스템.
제 5 항에 있어서,
상기 사용자 디바이스는 상기 오디오 데이터에 대응하는 시간 정보 및 음식물 섭취 여부를 레이블에 기록하고, 상기 오디오 데이터로부터 특징 벡터를 추출하며, 상기 레이블과 상기 특징 벡터를 입력으로 하여 상기 제 2 상태벡터를 추출하기 위한 분류기를 학습시키는 것인 섭식행위 자동인식 시스템.
제 5 항에 있어서,
상기 사용자 디바이스는 상기 센서 디바이스로부터 상기 관성 데이터와 오디오 데이터를 수신하여 상기 분류기에 입력함에 따라, 이벤트와 발생 시각을 기준으로 분류된 시퀀스 데이터를 생성하는 것인 섭식행위 자동인식 시스템.
제 7 항에 있어서,
상기 이벤트는 음식물 섭취 이벤트 및 저작 작용 이벤트를 포함하고,
상기 시퀀스 데이터는 상기 각 이벤트의 발생 시각 엔트리로 구성되어 음식물의 섭취 중인지 여부에 관한 정보를 포함하는 것인 섭식행위 자동인식 시스템.
제 7 항에 있어서,
상기 사용자 디바이스는 상기 시퀀스 데이터를 상기 섭식행위 인식모델에 입력하여 사용자의 전체 식사량 정보 및 섭취한 음식물의 종류를 추정하고, 식사 시각, 식사 시간, 식사 속도 정보를 포함하는 상기 섭식패턴 데이터를 생성하는 것인 섭식행위 자동인식 시스템.
제 9 항에 있어서,
상기 사용자 디바이스는 음식물의 한 모금 섭취 횟수 및 섭취량 정보에 기초하여 상기 사용자의 전체 식사량 정보를 추정하는 것인 섭식행위 자동인식 시스템.
제 10 항에 있어서,
상기 음식물의 한 모금 섭취량 정보는 음식물의 한 모금에 대한 저작 행위의 횟수 정보와 분량 파라미터에 기초하여 산출되고, 상기 음식물의 한 모금 섭취하는 간격 정보는 상기 저작 행위의 횟수 정보와 시간 파라미터 및 음식물의 연하 운동 시간 정보에 기초하여 산출되는 것인 섭식행위 자동인식 시스템.
제 11 항에 있어서,
상기 음식물의 연하 운동 시간 정보는 음식물의 한 모금 섭취량 정보와 시간 파라미터에 기초하여 산출되는 것인 섭식행위 자동인식 시스템.
제 9 항에 있어서,
상기 사용자 디바이스는 음식물의 한 모금 섭취 횟수 및 간격 정보에 기초하여 상기 사용자의 식사 시간을 추정하는 것인 섭식행위 자동인식 시스템.
섭식행위를 자동으로 인식하는 사용자 디바이스에 있어서,
하나 이상의 센서 디바이스로부터 센싱된 데이터를 수신하는 통신모듈,
상기 센싱된 데이터에 기초하여 섭식행위를 자동으로 인식하기 위한 프로그램이 저장된 메모리 및
상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되,
상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 통신모듈을 통해 상기 센서 디바이스로부터 측정된 관성 데이터와 음식물 섭취와 연관된 소리인 오디오 데이터를 수신하면, 상기 관성 데이터와 오디오 데이터를 인공신경망 기반의 섭식행위 인식모델에 입력하여 사용자에 대응하는 섭식패턴 데이터를 생성하는 것인 사용자 디바이스.
제 14 항에 있어서,
상기 센서 디바이스는 상체의 전방 방향으로의 기울어짐에 대한 상기 관성 데이터를 측정하는 관성 측정 모듈 및 상기 음식물 섭취와 연관된 소리를 측정하는 마이크를 포함하는 것인 사용자 디바이스.
섭식행위 자동인식 시스템에서의 섭식행위 자동인식 방법에 있어서,
하나 이상의 센서 디바이스가 상체의 전방 방향으로의 기울어짐을 측정하여 관성 데이터를 생성하고, 음식물의 섭취와 연관된 소리인 오디오 데이터를 생성하는 단계;
상기 센서 디바이스로부터 관성 데이터 및 오디오 데이터를 수신하는 단계 및
상기 관성 데이터와 오디오 데이터를 미리 학습된 인공신경망 기반의 섭식행위 인식모델에 입력하여 사용자에 대응하는 섭식패턴 데이터를 생성하는 단계를 포함하되,
상기 오디오 데이터는 입속에서의 음식물 저작시 소리 및 음식물의 연하 운동 중 발생되는 소리 중 하나 이상을 포함하는 것인 섭식행위 자동인식 방법.
제 16 항에 있어서,
상기 인공신경망 기반의 섭식행위 인식모델을 학습하는 단계를 더 포함하되,
상기 인공신경망 기반의 섭식행위 인식모델을 학습하는 단계는,
상기 관성 데이터를 분류기에 입력하여 제 1 상태벡터를 추출하는 단계;
상기 오디오 데이터를 상기 분류기에 입력하여 제 2 상태벡터를 추출하는 단계;
상기 제 1 상태벡터와 제 2 상태벡터를 조합하는 단계;
상기 조합된 벡터값을 입력하여 상기 분류기를 학습시켜 상기 섭식행위 인식모델을 생성하는 단계를 포함하는 섭식행위 자동인식 방법.
제 17 항에 있어서,
상기 센서 디바이스로부터 상기 관성 데이터와 오디오 데이터를 수신하여 상기 분류기에 입력하는 단계 및
상기 입력에 대응하여 이벤트와 발생 시각을 기준으로 분류된 시퀀스 데이터를 생성하는 단계를 더 포함하되,
상기 이벤트는 음식물 섭취 이벤트 및 저작 작용 이벤트를 포함하고,
상기 시퀀스 데이터는 상기 각 이벤트의 발생 시각 엔트리로 구성되어 음식물의 섭취 중인지 여부에 관한 정보를 포함하는 것인 섭식행위 자동인식 방법.
제 18 항에 있어서,
상기 사용자에 대응하는 섭식패턴 데이터를 생성하는 단계는,
상기 시퀀스 데이터를 상기 섭식행위 인식모델에 입력하여 사용자의 전체 식사량 정보 및 섭취한 음식물의 종류를 추정하고, 식사 시각, 식사 시간, 식사 속도 정보를 포함하는 상기 섭식패턴 데이터를 생성하는 것인 섭식행위 자동인식 방법.