KR20210141415A - 식사 보조 서비스 제공 시스템 및 방법 - Google Patents

Abstract

본 발명은 식사 보조 서비스 제공 시스템 및 방법에 관한 것이다.

Description

식사 보조 서비스 제공 시스템 및 방법{METHOD AND SYSTEM FOR MEAL ASSISTANT}

본 발명은 식사 보조 서비스 제공 시스템 및 방법에 관한 것으로, 보다 상세하게는 이용자의 식사 상황을 실시간으로 모니터링 하여 이용자가 올바른 식습관을 유지할 수 있도록 하는 식사 보조 서비스 제공 시스템 및 방법에 관한 것이다.

최근 문화의 발달과 국제적인 교류의 증대로 인하여 급격한 식생활 변화, 불규칙한 식사 및 운동부족 등으로 비만, 각종 성인병 및 기타 만성 질환이 지속적인 증가를 보이고 있으며, 삶의 질이 높아지면서 생활양식이나 환경의 변화에 맞춘 건강관리에 대한 관심도 매우 높아지고 있다.

이에 따라 병원에서만 진행되는 건강관리가 아닌 일상생활에서 건강을 지키려는 사람들이 많아지면서 이에 가장 밀접한 식생활에도 매우 큰 관심을 가지기 시작했다. 그러나 식생활이 중요하다는 인식이 빠르게 정착되는 것에 비해 그 정보는 매우 열악한 실정이다.

또한, 일반인은 물론 환자들은 자기의 체질이나 건강에 도움을 주는 음식이나 영양분에 정보가 부족하여 영양을 충분히 고려하지 않는 식사를 하는 경우가 매우 많다.

한편, 어린 아이들의 경우에는 올바른 식습관을 유지하며 식사하는데 어려움이 있고, 더욱이 미디어(media)를 시청하며 식사하는 상황에서는 식사에 대한 집중도가 떨어져 저작 활동이 떨어져 식사 시간이 길어지게 되는 문제점이 있다.

따라서, 이용자의 식사 상황을 실시간으로 모니터링 하여 이용자가 올바른 식습관을 유지할 수 있도록 하는 기술이 개발될 필요가 있다.

한국공개특허공보 제10-2020-0099668호 (공개일: 2020년 08월 25일)

본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 이용자의 식사 상황을 실시간으로 모니터링 하여 식사를 가이드(지도)하는 동시에 식사 미션을 제공하여 시각 효과 이미지 및/또는 음향 효과를 함께 제공하여 식사에 흥미를 유발할 수 있도록 하는 식사 보조 서비스 제공 시스템 및 방법을 제공함에 있다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 식사 보조 서비스 제공 시스템은, 상기 식사 보조 서비스를 제공받는 적어도 하나의 이용자가 식사하는 식사공간, 상기 식사공간 내의 식기 및 상기 이용자의 식사 현황 중 적어도 하나가 포함된 적어도 하나의 영상을 획득하고, 상기 획득된 영상 내에 상기 이용자의 식사 현황이 포함된 경우, 상기 식사 현황에 따른 상기 이용자를 확인하고, 상기 확인된 이용자의 가이드 정보를 생성하여 제공하는 서비스 제공 장치; 및 복수의 다른 이용자들의 식사 관련 정보를 저장 및 관리하며, 상기 서비스 제공 장치의 요청에 따라 복수의 다른 이용자들 중 조건을 만족하는 적어도 하나의 이용자의 식사 관련 정보를 제공하는 서비스 서버;를 포함하며, 상기 서비스 제공 장치는, 상기 적어도 하나의 영상을 분석하여, 상기 식사공간, 상기 식기 및 상기 식사 현황 중 적어도 하나를 인식하고, 상기 인식된 결과를 기반으로 이용자의 섭취 정보 및 동작 정보를 확인하고, 상기 확인된 섭취 정보 및 동작 정보와 상기 조건을 만족하는 적어도 하나의 이용자의 식사 관련 정보를 기반으로 상기 가이드 정보를 생성하는 것을 특징으로 한다.

한편, 본 발명의 일 실시예에 따른 식사 보조 서비스 제공 방법은, 상기 식사 보조 서비스를 제공받는 적어도 하나의 이용자가 식사하는 식사공간, 상기 식사공간 내의 식기 및 상기 이용자의 식사 현황 중 적어도 하나가 포함된 적어도 하나의 영상을 획득하는 단계; 상기 획득된 영상 내에 상기 이용자의 식사 현황이 포함된 경우, 상기 식사 현황에 따른 상기 이용자를 확인하는 단계; 및 상기 확인된 이용자의 가이드 정보를 생성하여 상기 출력부를 통해 출력하는 단계;를 포함하며, 상기 출력부를 통해 출력하는 단계는, 상기 적어도 하나의 영상을 분석하여, 상기 식사공간, 상기 식기 및 상기 식사 현황 중 적어도 하나를 인식하는 단계; 상기 인식된 결과를 기반으로 이용자의 섭취 정보 및 동작 정보를 확인하는 단계; 상기 확인된 섭취 정보 및 동작 정보를 기반으로 상기 가이드 정보를 생성하는 단계;를 포함하는 것을 특징으로 한다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명에 의하면, 이용자의 식사 상황을 실시간으로 모니터링 하여 식사를 가이드(지도)하는 동시에 식사 미션을 제공하여 시각 효과 이미지 및/또는 음향 효과를 함께 제공하여 식사에 흥미를 유발할 수 있도록 한다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 실시예에 따른 식사 보조 서비스 제공 장치를 나타내는 사시도이다.
도 2a는 본 발명의 실시예에 따른 식사 보조 서비스 제공 장치의 촬상장치에 부착 가능한 촬상보조부재의 일 예를 나타내는 도면이고, 도 2b는 본 발명의 실시예에 따른 식사 보조 서비스 제공 장치의 촬상장치에 부착 가능 촬상보조부재가 부착된 일 예를 나타내는 도면이고, 도 2c는 본 발명의 실시예에 따른 식사 보조 서비스 제공 장치의 촬상장치에 부착 가능한 촬상보조부재의 다른 일 예를 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 식사 보조 서비스 제공 시스템의 구성을 나타내는 블록도이다.
도 4는 본 발명의 실시예에 따른 식사 보조 서비스 제공 장치가 사용되는 일 예를 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 식사 보조 서비스 제공 장치의 디스플레이부에 출력된 화면의 일 예를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 식사 보조 서비스 제공 방법을 나타내는 순서도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.

명세서에서 사용되는 "부" 또는 "모듈"이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 "모듈"은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 "모듈"은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 "모듈"은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 "모듈"은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 "모듈"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 "모듈"들로 결합되거나 추가적인 구성요소들과 "부" 또는 "모듈"들로 더 분리될 수 있다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1은 본 발명의 실시예에 따른 식사 보조 서비스 제공 장치를 나타내는 사시도이다.

도 1을 참조하면, 본 발명의 실시예에 따른 식사 보조 서비스 제공 장치(100)(이하, '서비스 제공 장치'라 칭함)는 본체부(110), 획득부(130), 디스플레이부(150) 및 입출력부(160)를 포함한다.

본체부(110)는 식사가 이뤄지는 공간에서 이용자의 식사 현황을 포함하는 영상을 획득할 수 있도록, 식사 공간의 특정 위치에 거치될 수 있는 구조를 갖는다.

다만, 도 1에 도시된 식사 보조 서비스 제공 장치(100)의 본체부(110)는 스탠딩 타입으로서, 안정적으로 바닥에 지지되도록 상대적으로 넓은 바닥면을 갖도록 형성하였으나, 그 형상 및 타입을 한정하지 않는다. 또한, 본체부(110)는 벽걸이 타입으로 형성될 수 있는데, 이 경우에는 벽에 고정하기 위한 고정 영역이 포함될 수 있다.

몇몇 실시예에서 본체부(110)는 도 1에 도시한 형상만으로 한정되지 않으며, 각도가 조절 가능하도록 형성되어, 이용자의 신체 조건 또는 식사 상황에 따라 이용자가 자유롭게 조절하여 사용하도록 할 수도 있다.

또한, 몇몇 실시예에서 서비스 제공 장치(100)는 도 1에 도시된 것과 같이 별도로 제작된 장치가 아니라 상용 제품일 수 있다. 예컨대, 서비스 제공 장치(100)는 컴퓨터, UMPC(Ultra Mobile PC), 워크스테이션, 넷북(net-book), PDA(Personal Digital Assistants), 포터블(portable) 컴퓨터, 웹 테블릿(web tablet), 무선 전화기(wireless phone), 모바일폰(mobile phone), 스마트폰(smart phone), e-북(e-book), PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 블랙 박스(black box) 또는 디지털 카메라(digital camera) 같은 전자 장치 중 하나로서, 식사 보조 서비스의 제공이 가능한 모든 장치를 포함할 수 있으며, 서비스 제공 장치(100)에 식사 보조 서비스의 제공을 위한 프로그램이 설치될 수 있으며, 필요에 따라 별도의 프로그램이 설치되지 않고 웹을 통해 식사 보조 서비스가 제공될 수도 있다.

획득부(130)는 적어도 하나의 촬상장치를 포함할 수 있다. 획득부(130)는 하나의 촬상장치를 포함할 수도 있지만, 도 1의 실시예에 따른 서비스 제공 장치(100)와 같이 제1 촬상장치(131) 및 제2 촬상장치(132)를 구비할 수 있다. 이때, 제1 촬상장치(131) 및 제2 촬상장치(132)는 서로 상이한 위치에 구비되어, 각기 다른 대상 또는 객체를 촬영하도록 할 수도 있다. 여기서, 획득부(130)에 포함된 촬상장치는 2D 카메라, 3D 카메라, ToF(Time of Flight) 카메라, 라이트 필드 카메라(light field camera), 스테레오 카메라, 이벤트 카메라, 적외선 카메라, 라이다(lidar) 센서, 어레이(array) 카메라 중 적어도 하나를 포함할 수 있으며, 영상(이미지) 정보와 깊이 정보를 측정할 수 있다면 그 구성에 제한이 없다. 또한, 복수의 카메라가 입체영상을 구현하기 위한 좌 영상 및 우 영상을 획득하도록 스트레오 구조로 배치될 수도 있다.

몇몇 실시예에서, 각각의 촬상장치(131, 132)는 이용자에 의해 그 촬상 각도가 조정될 수 있으며, 각각의 촬상장치가 구비되는 위치는 한정하지 않는다.

예를 들어, 제1 촬상장치(131)는 본체부(110)의 상부에 구비되어 식사 공간을 촬영함으로써, 식기와 그 식기에 담긴 음식물이 포함된 영상을 획득하고, 제2 촬상장치(132)는 본체부(110)의 하부에 구비되어 식사를 하는 이용자를 촬영함으로써, 이용자의 안면 또는 모션이 포함된 영상을 획득한다.

이때, 제1 촬상장치(131)는 식기 및 식기에 담긴 음식물에 대한 이미지 정보와 깊이 정보(거리 정보)를 획득할 수 있으며, 여기서 이미지 정보는 이차원 정보일 수 있지만, 이에 제한되지 않으며 삼차원 정보이더라도 무방하다. 여기서, 이미지 정보는 촬상된 대상의 종류를 파악하기 위해 이용되고, 깊이 정보는 촬상된 대상의 부피를 산출하기 위해 이용된다.

제1 촬상장치(131)는 이미지 정보와 깊이 정보를 얻을 수 있다면, 그 구성에는 제한이 없으며, 예컨대, 2D 카메라, 3D 카메라, ToF(Time of Flight) 카메라, 라이트 필드 카메라(light field camera), 스테레오 카메라, 이벤트 카메라, 적외선 카메라, 라이다(lidar) 센서 중 적어도 하나를 포함할 수 있으며, 이미지 정보와 깊이 정보를 측정할 수 있다면 그 구성에 제한이 없다.

디스플레이부(150)는 서비스 제공 장치(100)의 전면에 구비되어, 획득부(130)를 통해 촬영한 적어도 하나의 영상을 표시한다. 이때, 디스플레이부(150)의 화면은 복수의 영역으로 분할될 수 있으며, 그 분할된 각 영역에 서로 상이한 영상이 각각 표시될 수 있다.

입출력부(160)는 외부에서 발생되는 소리 정보를 입력받거나, 서비스 제공 장치(100)에서 발생되는 효과음, 안내 멘트 등의 소리 정보를 출력한다. 예를 들어, 입출력부(160)는 스피커(161) 및/또는 마이크(162)를 포함하여 구성될 수 있다.

앞서 설명한 서비스 제공 장치(100)는 일 실시예에 해당하는 것으로, 서비스 제공 장치(100)의 전면 및 후면이 도 1에 도시된 바와 같이 동일하게 구성되어, 복수의 이용자에 대한 식사 현황을 촬영함으로써, 식사 보조 서비스를 개별적으로 각각 제공받을 수 있도록 할 수도 있고, 상호 연계된 식사 미션을 수행하도록 하여 흥미를 더욱 높일 수 있다.

또한, 외부 기기와의 통신을 위한 통신부(미도시)를 더 포함하여 외부 장치로 식사 현황을 보고하도록 할 수 있으며, 필요에 따라 추가적인 다른 구성을 더 포함하도록 할 수 있다. 여기서, 통신부는 유선 또는 무선으로 통신을 수행할 수 있으며, 그 통신 방식에는 제한이 없다. 예를 들어, 통신부는 이용자 단말, 보호자 단말 등 외부 단말이나 식사 보조 서비스를 제공하는 서비스 서버 등의 외부 기기와 통신을 수행할 수 있으며, 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 한다.

무선 인터넷 기술로는, 예를 들어 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있으며, 서비스 제공 장치(100)는 앞에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신할 수 있다.

근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 이러한, 근거리 무선 통신망(Wireless Area Networks)을 식사 모니터링 장치(100)와 이용자 단말(200) 간 무선 통신을 지원할 수 있다. 이때, 근거리 무선 통신망은 근거리 무선 개인 통신망(Wireless Personal Area Networks)일 수 있다.

도 2a는 본 발명의 실시예에 따른 식사 보조 서비스 제공 장치의 획득부에 포함되는 촬상장치에 부착 가능한 촬상보조부재의 일 예를 나타내는 도면이고, 도 2b는 본 발명의 실시예에 따른 식사 보조 서비스 제공 장치의 획득부에 포함되는 촬상장치에 부착 가능 촬상보조부재가 부착된 일 예를 나타내는 도면이다.

앞서 설명한 서비스 제공 장치(100)의 획득부(130)에서 일부 촬상장치에는 도 2a에 도시된 촬상보조부재(180)가 부착(탈착, 거치 등)될 수 있으며, 촬상보조부재(180)에 의해 그 촬영 화각을 변경하도록 할 수 있다.

도 2a를 참조하면, 촬상보조부재(180)는 서비스 제공 장치(100)의 상단에 구비된 제1 촬상장치(131)에 대응하도록 거치될 수 있으며, 이를 위해 촬상보조부재(180)에는 거치를 위한 거치홈(181)이 형성될 수 있다. 그러나, 이는 일 실시예일 뿐, 부착을 위한 부착부재가 별도로 구비될 수도 있다.

한편, 촬상보조부재(180)에는 반사경(182)이 구비되어 제1 촬상장치(131)의 촬영 화각을 변경할 수 있다.

도 2b에 도시된 바와 같이, 서비스 제공 장치(100)의 상부 끝단에 거치홈(181)이 맞물려 끼워지도록 하고, 그 위치를 제1 촬상장치(131)에 대응하는 위치로 이동(조절)시킴으로써 촬상보조부재(180)를 서비스 제공 장치(100)에 부착할 수 있다.

이러한 촬상보조부재(180)를 통해 정면을 촬영하도록 구비된 제1 촬상장치(131)의 촬영 화각을 변경함으로써, 식사 공간을 보다 용이하게 촬영할 수 있다. 또는, 제1 촬상장치(131)에 촬상보조부재(180)를 부착한 상태에서 제1 촬상장치(131)와 제2 촬상장치(132) 모두를 통해 식기 및/또는 식기에 담긴 음식을 다양한 각도에서 촬영하도록 함으로써, 보다 정확한 섭취 정보를 획득하도록 할 수도 있다. 즉, 제1 촬상장치(131) 및 제2 촬상장치(132)의 촬상 대상은 상황에 따라 변경 가능하며, 특정 대상으로 한정되지 않는다.

도 2c는 본 발명의 실시예에 따른 식사 보조 서비스 제공 장치의 획득부에 포함되는 촬상장치에 부착 가능한 촬상보조부재의 다른 일 예를 나타내는 도면이다.

서비스 제공 장치(100)에 복수의 촬상장치가 포함된다면, 특정한 촬상장치에 촬상보조부재(180)가 부착되어 해당 촬상장치가 변경된 촬영 화각으로 촬영을 하도록 할 수 있다.

그러나 서비스 제공 장치(100)에 하나의 촬상장치가 있는 경우, 하나의 촬상장치를 통해 식기 및 식기에 담긴 음식물의 촬영은 물론 이용자에 대한 촬영도 이루어져야 하기 때문에, 촬영 화각의 주기적인 변경이 필요하다.

이를 위해, 촬상보조부재(180)는 촬상장치에 부착된 상태에서 촬상장치가 변경된 촬영 화각으로 촬영되도록 하는 제1 모드와 촬상장치가 고유의 촬영 화각으로 촬영되도록 하는 제2 모드를 지원할 수 있다.

예컨대, 도 2c를 참조하면, 촬상보조부재(180)는 힌지(183)를 더 포함할 수 있으며, 이를 통해 반사경(182)의 개폐가 가능하여 촬상장치에 부착된 상태에서 촬상장치가 변경된 촬영 화각으로 촬영되도록 하는 제1 모드와 촬상장치가 고유의 촬영 화각으로 촬영되도록 하는 제2 모드를 지원할 수 있다.

도 3은 본 발명의 실시예에 따른 식사 보조 서비스 제공 시스템의 구성을 나타내는 블록도이다. 도3에 도시된 식사 보조 서비스 제공 장치(200)는 도 1에 도시된 서비스 제공 장치(100)와 동일한 장치와 동일한 장치로서, 도 1은 서비스 제공 장치(100)의 외형적인 구성을 설명하기 위한 것이고, 도 3은 식사 보조 서비스를 제공하기 위한 동작 관련 구성을 설명하기 위한 것이다.

도 3을 참조하면, 식사 보조 서비스 제공 장치(200)(이하, '서비스 제공 장치'라 칭함)는 이용자에게 식사 보조 서비스를 제공하기 위해 식사 보조 서비스 서버(300)(이하, '서비스 서버'라 칭함), 스마트 홈 장치(400) 및 외부 단말(500)과 통신할 수 있으며, 식사 보조 서비스 시스템을 구성할 수 있다.

서비스 제공 장치(200)는 출력부(210), 저장부(230), 획득부(250), 통신부(260) 및 프로세서(270)를 포함한다.

출력부(210)는 식사 보조 서비스를 제공하기 위한 영상 또는 소리를 출력하기 위한 것으로, 디스플레이부(211)와 스피커(미도시)를 포함할 수 있다.

이때, 디스플레이부(211)의 화면은 복수의 영역으로 분할될 수도 있으며, 그 분할된 영역에 적어도 하나의 영상을 각각 표시할 수 있다.

몇몇 실시예에서 디스플레이부(211)는 터치 디스플레이를 포함할 수 있다. 출력부(210)는 이용자로부터 입력을 받는 것도 가능하며, 이를 위해 마이크(미도시)를 더 포함할 수 있다.

저장부(230)는 적어도 하나의 이용자 정보, 식사 보조 서비스를 제공하기 위한 각종 데이터 및 프로세스를 저장한다.

또한, 식기에 담긴 음식물의 부피에 대한 정보의 정확도를 높이기 위해서는 식기의 크기나 길이 등의 수치 정보가 필요하다. 저장부(230)는 이용자의 섭취 정보를 확인하기 위해 식기에 대한 정보를 저장하여 프로세서(270)가 이를 활용하도록 할 수 있다. 서비스 제공 장치(200)는 이용자에게 빈 식기을 촬영하는 메뉴를 제공함으로서, 이용자가 획득부(250)를 통해 빈 식기를 촬영하도록 유도하고, 이를 통해 빈 식기에 대한 정보를 얻을 수 있다.

획득부(250)는 식사 보조 서비스를 제공받는 적어도 하나의 이용자가 밥을 먹는 식사공간, 그 식사공간 내의 식기 및 이용자의 식사 현황 중 적어도 하나가 포함된 적어도 하나의 영상을 획득한다. 여기서, 이용자의 식사공간은 이용자의 거주지일 수 있지만, 이용자가 식사를 하면서 서비스 제공 장치(200)를 통해 식사 보조 서비스를 제공받을 수 있는 공간이라면 제한이 없다.

이를 위해, 획득부(250)는 적어도 하나의 촬상장치를 포함할 수 있다. 도 3에서는 획득부(250)가 제1 촬상장치(251) 및 제2 촬상장치(252)를 포함하여 구성된 일 예를 나타낸 것으로, 제1 촬상장치(251)를 이용하여 식기를 포함한 제1 영상을 획득하고, 제2 촬상장치(252)를 이용하여 이용자를 포함한 제2 영상을 획득한다. 여기서, 제1 영상은 도 2a 및 도 2b를 기반으로 설명한 촬상보조부재(180)를 부착함으로써 획득한 영상일 수 있다.

몇몇 실시예에서 서비스 제공 장치(200)의 획득부(250)에 대한 추가 기능이 필요한 경우, 이용자는 외부 장치(미도시)를 서비스 제공 장치(200)에 결합시켜 서비스 제공 장치(200)를 사용할 수도 있다. 예컨대, 이용자는 삼차원 정보를 수집할 수 있는 3D 카메라를 서비스 제공 장치(200)에 결합하여 식기를 촬영할 수도 있고, 별도의 안면인식 카메라를 서비스 제공 장치(200)에 결합하여 이용자, 식기 또는 음식물을 인식할 수 있다. 나아가, 스마트폰, 태블릿 PC, 노트북 등에 구비된 일반 카메라에 3D 카메라를 연동함으로써 식기 또는 음식물을 인식하도록 하고, 안면 인식 카메라를 연동함으로써 이용자를 인식하도록 할 수도 있다.

프로세서(270)는 획득부(250)에 의해 획득된 영상을 분석하여 이용자에게 식사 보조 서비스를 제공할 수 있다. 다만, 서비스 제공 장치(200)는 서비스 서버(300)와 식사 보조 서비스 시스템을 구성하여 식사 보조 서비스를 제공하기 때문에, 프로세서(270)가 수행하는 적어도 일부의 단계는 서비스 서버(300)에서 수행될 수도 있다.

우선, 프로세서(270)는 이용자를 확인한다. 해당 서비스 제공 장치(200)에 대하여 이용자가 이미 정해진 경우에는 이용자 확인 단계가 간소화될 수 있으며, 몇몇 실시예에서 프로세서(270)는 이용자 확인 단계를 생략하고 식사 보조 서비스를 제공하거나 이용자로부터 충분한 정보를 얻지 못한 채 식사 보조 서비스를 제공할 수도 있다.

프로세서(270)는 획득부(250)로부터 입력된 이용자에 대한 영상, 이용자의 식사 현황이 포함된 영상, 이용자의 지문 영상 또는 이용자의 음성을 분석하여 식사 보조 서비스를 제공받는 이용자를 특정할 수 있다. 이를 위해, 프로세서(270)는 저장부(230) 또는 서비스 서버(300)에 저장된 기존 이용자에 대한 정보를 이용할 수 있다.

여기서, 프로세서(270)는 획득부(250)로부터 입력된 이용자에 대한 정보 일치하는 정보가 저장부(230) 또는 서비스 서버(300)에 저장되어 있지 않은 경우, 출력부(210)를 통해 새로운 이용자 등록을 안내할 수 있다. 이 때, 프로세서(270)는 이용자에 대한 정보로서 연령 정보, 성별 정보, 체형 정보, 질병 정보 또는 알러지 정보를 입력하도록 이용자에게 요청할 수 있다.

또한, 프로세서(270)는 획득부(250)로부터 이용자에 대한 정보를 직접 입력받을 수도 있다. 예컨대, 프로세서(270)는 출력부(210)를 통해 저장부(230) 또는 서비스 서버(300)에 저장된 기존 이용자에 대한 정보를 출력하고, 이용자는 출력된 기존 이용자에 대한 정보 중에서 적합한 대상을 선택할 수 있다.

한편, 프로세서(270)는 식사 보조 서비스 시스템을 통해 수집되고 분석되는 정보를 바탕으로 이용자에 대한 정보를 지속적으로 갱신할 수 있다. 또한, 프로세서(270)는 서비스 제공 장치(200)를 통해 수집되는 정보 이외에 외부 단말(500)로부터 수집되어 전달되는 정보도 함께 분석할 수 있으며, 이에 따라 이용자에 대한 정보가 갱신될 수 있다.

따라서 본 실시예에 따른 식사 보조 서비스 시스템에 따르면, 주거지 내에서 식사가 이루어진 것이 아니라서 서비스 제공 장치(200)를 이용하지 못하는 상황이라고 하더라도, 외부 단말(500)을 통해 수집되어 전달되는 정보도 함께 분석될 수 있으므로, 시간과 장소에 무관하게 지속적인 분석이 가능할 수 있다.

식사 보조 서비스로서, 프로세서(270)는 가이드 정보를 생성하고, 그 생성된 가이드 정보를 출력부(210)를 통해 출력할 수 있다. 여기서, 프로세서(270)는 확인된 이용자에 대응하는 가이드 정보를 생성한다. 예를 들어, 이용자의 연령 정보, 성별 정보, 체형 정보, 질병 정보 또는 알러지 정보 등을 참고하여 올바른 식사를 유도할 수 있도록 하는 가이드 정보를 생성한다. 만약, 해당 이용자가 기 등록된 이용자인 경우, 그 이용자에 대한 기 저장된 이용자 정보를 기반으로 연령 정보, 성별 정보, 체형 정보, 질병 정보 또는 알러지 정보 등을 확인할 수 있고, 해당 이용자가 기 등록된 이용자가 아닌 경우, 그 이용자에 대한 연령, 성별, 체형 등을 예측(감지)하여 참고할 수 있다.

구체적으로, 이용자가 영유아 또는 성장기의 학생인 경우, 이용자의 현재까지의 식습관 정보를 분석하여 서비스 서버(300)로부터 해당 시기의 성장 정보와 같은 정보들을 전달받아 가이드 정보에 포함시켜 제공할 수 있다. 예를 들어, 다른 이용자로서 같은 또래 어린이들에 대한 섭취 정보, 식습관 정보, 식사 시간 정보, 식사 속도 정보 등을 서비스 서버(300)로부터 전달받아 이를 기반으로 해당 어린이 이용자가 편식을 하고 있는 음식 또는 영양분을 파악하고, 그 파악된 정보를 기반으로 해당 어린이 이용자가 해당 음식 또는 영양분을 포함하는 음식을 먹을 수 있도록 유도한다.

뿐만 아니라, 서비스 서버(300)에 저장된 복수의 이용자 중 같은 또래 영유아 또는 성장기의 학생들에 대한 성장 정보를 기반으로 이용자의 성장 현황을 확인 및 제공한다. 여기서, 성장 정보는 평균 키, 평균 몸무게, 머리 둘레, 허리 둘레 등 성장과 관련한 신체 정보일 수 있고, 성장 현황은 이러한 다른 이용자의 신체 정보와 해당 이용자의 신체 정보를 비교/분석하여 다른 이용자 대비 해당 이용자의 성장 수준 등을 수치 또는 그래프 등으로 나타낸 정보일 수 있다.

이때, 같은 또래 어린이들에 대한 섭취 정보, 식습관 정보, 성장 정보 등은 복수의 이용자 중 미리 설정된 상위 범위 이내에 해당하는 이용자에 대한 정보만을 이용하도록 할 수 있다.

한편, 프로세서(270)는 이용자에게 성장 정도가 좋은 성장기의 이용자의 식습관 정보 또는 이들의 공통점에 대한 정보를 제공함으로써, 이용자가 해당 정보를 바탕으로 식습관을 개선할 수 있는 방향을 제시할 수 있다.

또한, 체중 감량을 목표로 하는 이용자의 경우에는, 프로세서(270)가 촬영된 영상 또는 이미지를 기반으로 섭취하고 있는 음식 중 칼로리가 높거나 체중 감량에 도움이 되지 않는 음식을 파악하고, 다이어트 중인 다른 이용자의 식단을 참조하여 해당 이용자에게 적합한 식단 정보를 포함시켜 제공할 수도 있다. 예를 들어, 동일하게 체중 감량을 식사 보조 서비스의 목적으로 하는 다른 이용자들 중 체중을 감량한 적어도 하나의 이용자에 대한 섭취 정보, 식단 정보, 식사 패턴 정보, 식사 시간 정보, 식사 속도 정보, 운동 정보 등 체중 감량에 도움이 되는 정보들을 가이드 정보에 포함시켜 이용자가 이를 참고하도록 한다. 이때, 체중을 감량한 적어도 하나의 이용자는 해당 이용자와 성별, 연령, 체형이 유사하거나 동일한 질병을 앓고 있는 이용자들을 기반으로 선택될 수 있다.

또한, 당뇨나 고혈압 등의 질병을 앓고 있는 환자의 경우에는, 프로세서(270)가 촬영된 영상 또는 이미지를 기반으로 섭취하고 있는 음식 중 해당 질병 관련 데이터를 기반으로 해당 질병을 앓는 환자가 섭취하면 안되는 음식이 있는지 여부를 파악하고, 이를 섭취하지 않도록 하는 안내 정보는 물론, 해당 질병을 앓는 환자가 섭취하면 좋은 음식에 대한 정보를 가이드 정보에 포함시켜 제공할 수 있다.

아울러, 해당 이용자가 특정 음식에 대한 알러지가 있는 것으로 확인되는 경우, 촬영된 영상 또는 이미지에 포함된 음식 중 해당 알러지를 유발할 수 있는 음식이 있는지 여부를 확인하고, 우려되는 음식에 대한 안내 정보를 가이드 정보에 포함시켜 제공함으로써 주의하도록 할 수 있다.

즉, 다양한 이용자에 대한 기 등록된 데이터 또는 감지한 데이터를 기반으로 각각의 특성에 맞게 보다 적합한 가이드 정보를 제공할 수 있다.

식사 보조 서비스로서, 프로세서(270)는 촬상된 음식물의 상태 정보를 확인할 수 있는데, 예컨대, 해당 음식물이 상해서 섭취하기 어려운 상황인지 여부에 대한 정보(섭취시 식중독을 유발할 수 있는지 여부에 대한 정보), 또는 해당 음식물이 특정 알러지를 유발하는지에 대한 정보 등을 포함할 수 있다. 여기서, 서비스 제공 장치(200)는 음식물에 대한 이미지에 기초하여 해당 음식물의 상태 정보를 산출하며, 음식물의 상태 정보에 대한 정확도를 높이기 위해 스마트 홈 장치(400)로부터 이용자의 식료품/식재료 구매 품목 정보, 이용자의 식료품/식재료 구매 일자 정보 등을 더 활용할 수 있다. 또한, 서비스 제공 장치(100)는 그 식료품/식재료 구매 품목 정보, 이용자의 식료품/식재료 구매 일자 정보를 기반으로, 이용자의 구매 패턴과 주 섭취 음식을 파악하고, 해당 음식에 필요한 식료품/식재료 등의 사용량 및/또는 잔여량을 예측함으로써, 모두 소진되기 이전에 자동으로 주문이 이뤄지도록 할 수도 있다.

이용자는 서비스 서버(300)를 통해 다른 이용자의 식단을 확인할 수 있기 때문에, 서비스 제공 장치(200)를 통해 다른 이용자의 식단을 선택하여 향후 본인의 식단을 구성하거나 다른 이용자의 식단 그대로 주문하거나 다른 이용자의 식단을 꾸밀 수 있는 식재료를 주문하도록 할 수도 있다. 이러한 이용자의 식단은 이용자에 의해 구성될 수도 있고, 가이도 정보에 포함되어 제공될 수도 있는데, 프로세서(270)는 그 식단을 기반으로 식료품/식재료를 자동으로 주문할 수 있다. 이때, 해당 식단을 기반으로 식료품/식재료의 필요량을 산출함으로써, 주문량을 결정할 수 있다.

식사 보조 서비스로서, 프로세서(270)는 이용자의 연령 정보를 기초로 이용자가 학생에 해당하거나 이용자의 선택이 있는 경우, 이용자가 음식물을 섭취하는 과정에서 자연스럽게 학습을 할 수 있도록 출력부(210)를 통해 학습 콘텐츠를 출력할 수 있다.

예컨대, 프로세서(270)는 식기에 존재하는 음식물의 종류를 파악하고 출력부(210)를 통해 식기에 존재하는 음식물에 대응하는 외국어를 출력함으로써 이용자가 직접 경험을 통해 자연스럽게 언어 능력 증대를 위해 외국어 학습이 가능하도록 할 수 있다. 이 밖에, 프로세서(270)는 식기에 존재한 음식물의 개수와 양의 비율, 음식물 간의 양의 비교 등에 대한 학습 콘텐츠를 출력부(210)를 통해 출력함으로써 이용자가 직접 경험을 통해 자연스럽게 수리 능력 증대를 위한 수학 학습이 가능하도록 할 수 있다.

또한, 식사 보조 서비스로서, 프로세서(270)는 이용자가 섭취하는 음식물의 종류, 각 음식물의 영양 정보를 이용하여, 이용자의 시간별 섭취 정보를 기록하고 이용자 또는 기등록된 별도의 단말을 통해 해당 이용자의 섭취 정보를 확인하도록 할 수 있다.

한편, 서비스 제공 장치(200)의 프로세서(270)는 이용자의 음식물 섭취 내역을 분석하여 이용자의 식습관에 대한 정보를 산출할 수도 있다.

이때, 식사 보조 서비스를 제공하기 위한 서비스 서버(300)로 서비스 제공 장치(200)에 의해 수집된 정보를 전송하여 분석하도록 하거나 서비스 제공 장치(200)가 직접 그 수집된 정보를 기반으로 하여 이용자가 섭취하는 음식물의 종류, 각 음식물의 영양정보, 이용자의 식습관에 대한 정보 등을 포함하는 식사 정보를 산출할 수 있다.

나아가, 이용자의 식사 정보, 섭취 정보를 이용하여 이용자의 선호 음식에 대한 정보를 산출할 수 있으며, 이용자가 추가적으로 섭취해야 하는 음식 또는 영양소에 대한 정보를 산출하고, 이용자, 보호자 또는 의료진의 단말을 통해 해당 정보를 확인할 수 있도록 할 수 있다.

구체적으로, 서비스 제공 장치(200) 및/또는 이러한 서비스 제공을 위한 별도의 서비스 서버(300)는 영유아를 포함하는 노약자, 학생 또는 환자와 같이 보호자 또는 의료진의 돌봄을 받는 이용자에 대하여 이용자 단말 이외에 보호자 단말, 의료진 단말 등과 같은 외부 단말(500)에도 이용자가 섭취하는 음식물의 종류, 각 음식물의 영양정보, 이용자의 식습관에 대한 정보, 이용자의 섭취정보를 포함하는 식사 정보를 전송할 수 있다.

이를 통해, 보호자 또는 의료진은 보호자 단말 또는 의료진 단말을 통해 이용자의 식사 현황에 대하여 확인을 하고, 식사 정보를 파악할 수 있다. 몇몇 실시예에서, 서비스 제공 장치(200) 및/또는 서비스 서버(300)가 식사 후 식기에 대한 이미지를 수신함으로써 이용자가 식사를 마친 것을 확인한 경우, 이용자의 식사 종료에 대하여 보호자 단말 또는 의료진 단말을 통해 알려줄 수 있다. 이러한 경우, 보호자 또는 의료진은 이용자의 식사 현황에 대하여 보호자 단말 또는 의료진 단말을 통해 확인하고, 이용자에게 제공된 식사에 대하여 평가 정보를 제공할 수 있다.

이때, 식사 정보, 섭취 정보 등은 실시간으로 생성되어 제공될 수 있는 바, 이용자의 보호자 또는 의료진은 실시간으로 제공되는 이용자의 식사 정보, 섭취 정보를 확인함으로써 이용자의 식사 현황을 확인할 수 있다. 뿐만 아니라, 분석 및 저장되는 이용자의 식사 정보, 섭취 정보 등과, 서비스 서버(300)로부터 전달받은 다른 이용자들의 식사 정보, 섭취 정보 등을 통해 미리 설정된 기간 동안의 해당 이용자에 대한 영양 섭취 균형도, 편식 정도, 다른 이용자들의 평균치 등을 산출하여 이용자, 보호자 또는 의료진에게 제공하여 줄 수 있다. 뿐만 아니라, 이용자에 대한 최적의 식단, 식사 패턴 등을 스케줄링 하여 컨설팅 정보로서 제공하여 줄 수도 있다.

이용자 또는 보호자의 동의나 요청이 있는 경우, 이용자의 식사 정보는 학교나 병원 등의 외부 서버(미도시)에 제공될 수도 있다. 전문 영양사는 외부 서버(미도시)에 접속하여 이용자의 식사 정보를 확인하고 분석하여, 식단 분석 정보를 포함하는 식사 분석 정보를 생성하여 이용자 또는 보호자에게 제공할 수 있다. 그리고 의료진은 외부 서버(미도시)에 접속하여 이용자의 식사 정보를 확인하여 진료에 참고 자료로 이용할 수 있다. 예컨대, 의료진은 이용자에 대하여 원격 진료를 진행하는 과정에서 이용자의 식사 정보를 활용할 수 있으며, 식이 요법을 이용하여 처방을 해야 하는 경우 식사 처방 정보를 생성하여 이용자 또는 보호자에게 제공할 수 있으며, 필요에 따라 식사 미션을 입력할 수도 있다.

한편, 프로세서(270)는 혼자 식사를 하는 이용자의 경우, 여러 명이 함께 식사를 하는 기분을 느낄 수 있도록 디스플레이부(215)를 구성하여 줄 수 있다. 구체적으로, 이용자는 서비스 제공 장치(200)를 통해서 함께 식사를 진행할 수 있는 다른 이용자를 구할 수 있으며, 예컨대 특정 이용자는 서비스 제공 장치(200) 및 서비스 서버(300)를 통해 가상의 공간을 만들고 해당 공간에 접속하는 이용자에게 각자의 영상 및 소리 정보를 공유하여 같은 공간에서 함께 식사를 하는 분위기를 조성할 수 있다. 이 서비스 제공 장치(200)는 제1 촬상장치(251) 및 제2 촬상장치(252) 이외에 마이크 및 스피커를 포함할 수 있기 때문에, 이용자는 식사 과정에서 다른 이용자와 대화를 나눌 수도 있다.

이를 통해, 독거 노인과 같은 실버 세대나, 혼밥족과 같은 개인의 경우, 서비스 제공 장치(200)를 통하여 다른 이용자와 함께 식사를 즐길 수 있기 때문에, 식사 과정에서 외로움을 해소할 수 있다.

한편, 몇몇 실시예에서 서비스 제공 장치(200)가 이용자의 식사 과정을 지속적으로 트래킹하지 않을 수 있다. 예컨대, 이용자가 식사를 하기 전에 음식물이 담긴 식사 전 식기를 서비스 제공 장치(200)를 통해 촬영하고, 식사를 마친 후에 식사 후 식기를 서비스 제공 장치(200)를 통해 촬영할 수 있다. 즉, 식사 전과 식사 후의 식기의 음식물을 비교함으로써 서비스 제공 장치(200)는 이용자의 식사 정보, 섭취 정보를 얻을 수 있다.

여기서, 서비스 제공 장치(200)는 이용자가 식기를 촬영하는 동안 이용자에 대한 영상 정보(안면 인식 정보 등)나 음성 정보를 함께 획득하여 이용자를 식별하거나, 이용자로부터 이용자에 대한 정보를 직접 입력받아 이용자를 식별할 수도 있다.

또한, 이용자가 서비스 제공 장치(200)에 자신의 스마트폰 등의 모바일 디바이스를 포함하는 외부 단말(500)을 태깅하는 경우 이용자에 대한 정보를 획득하여 이용자를 식별할 수 있다. 그리고 이용자의 외부 단말(500)의 와이파이 또는 BLE 등의 근거리 통신과의 연결 강도를 바탕으로 이용자의 위치 정보를 확인함으로써 식사를 하는 이용자를 식별할 수도 있다.

이 프로세서(270)는 제1 촬상장치(251)를 통해 획득된 제1 영상을 기반으로 섭취 정보를 생성한다. 이 섭취 정보는 제1 영상 내의 식기에 담긴 음식물의 인식 결과를 기반으로 생성되는 것으로, 음식물의 종류, 음식물의 부피 정보, 섭취 칼로리 정보, 섭취 영상 성분 정보, 섭취량 정보 및 알러지 정보 중 적어도 하나를 포함한다. 한편, 프로세서(270)는 제2 촬상장치(252)를 통해 획득된 제2 영상을 기반으로 동작 정보를 생성한다. 이 동작 정보는 제2 영상 내의 이용자의 모션 변화를 기반으로 생성되는 것으로, 섭취와 관련된 손 동작 정보 및 저작 동작 정보 중 적어도 하나를 포함한다.

한편, 프로세서(270)는 이용자가 섭취하고 있다는 정보를 다양한 분석 방법을 통해 파악할 수 있다.

우선, 프로세서(270)는 음식물이 담긴 식기에 대한 영상을 시계열적으로 분석하여 식기에 담긴 음식물이 줄어든 경우 이용자가 섭취하고 있다고 판단할 수 있다. 또한, 프로세서(270)는 음식물이 담긴 식기에 대한 영상을 시계열적으로 분석함과 동시에 이용자의 안면 영상의 움직임 또는 이용자의 팔 또는 손의 움직임을 분석할 수 있다. 즉, 프로세서(270)는 이용자의 안면 연상의 움직임을 분석하여 이용자의 입이 오물오물 움직이고 있다고 판단되거나 이용자의 팔 또는 손의 움직임을 분석하여 이용자가 팔 또는 손을 얼굴 주변으로 움직이고 있다고 판단되면 이용자가 섭취하고 있다고 판단할 수 있다.

이 밖에, 프로세서(270)는 숟가락, 젓가락 또는 포크 등의 식사도구에 대한 영상을 분석하여 식사도구의 움직임이 있는 경우 이용자가 섭취하고 있다고 판단할 수 있다.

몇몇 실시예에서 프로세서(270)는 이용자의 안면 영상의 움직임을 분석하여 이용자가 음식을 뱉고 있다고 판단할 수 있으며, 이용자의 연령 정보가 낮은 경우 이러한 행위가 잘못된 식습관임을 알리기 위해 출력부(210)를 통해 이를 제재하기 위한 정보를 출력할 수도 있다.

앞서 설명한 바와 같이, 각 촬상장치 별로 촬영하고자 하는 대상이 구분되어 있는 경우에는 각 촬상장치로부터 영상을 입력받아 각 영상에 포함된 촬영 대상에 대한 분석 동작을 각각 수행한다. 그러나, 하나 또는 여러 개의 촬상장치로 각 촬상장치 별로 촬영하고자 하는 대상이 구분되어 있지 않은 경우에는 각 촬상장치로부터 영상을 입력받아 해당 영상을 분석하여 식사공간, 식기, 식사 현황 중 어느 것을 포함하고 있는지 여부를 먼저 판단한 후, 그 분석 결과에 따라 대상이 확인되면, 해당 대상에 대한 분석 동작을 각각 수행한다.

아울러, 프로세서(270)는 제1 촬상장치(251)를 통해 획득된 제1 영상 및 제2 촬상장치(252)를 통해 획득된 제2 영상을 명확히 구분하여 이용하지 않고, 필요에 따라 참고적으로 호환하여 이용할 수도 있다. 예를 들어, 제2 영상에 식기 또는 음식물이 포함되어 있다면 이를 참고하여 보다 정확한 섭취 정보를 생성하도록 할 수 있다.

한편, 프로세서(270)는 가이드 정보에 따라 식사할 수 있도록 유도하는 식사 미션 정보를 생성하여 출력부(210)를 통해 출력하고, 이용자가 그 식사 미션 정보를 기반으로 식사 미션을 성공한 것으로 판단된 경우에는 미리 설정된 보상을 제공할 수 있다.

예를 들어, 프로세서(270)는 이용자의 식사 속도가 미진한 것으로 파악되면, 이용자에게 식사를 완료하는 경우 얻을 수 있는 보상 정보를 디스플레이부(211)에 출력함으로써 이용자가 식사를 지속할 수 있도록 동기 부여를 할 수 있다.

이때, 프로세서(270)는 이용자가 식사를 시작한 이후의 현재까지의 식사 시간을 계산하고, 현재까지의 식사 시간이 권장 식사 시간을 도과한 경우 이용자의 식사 속도가 미진한 것으로 파악할 수 있다. 또한, 프로세서(270)는 이용자가 식사를 시작한 이후의 현재까지의 식사 시간을 계산하고, 현재까지의 식사 시간을 기초로 식기의 잔여 음식물을 식사하기까지 걸리는 이용자의 예상 식사 시간을 산출하고, 이용자의 예상 식사 시간이 권장 식사 시간을 도과한 경우 이용자의 식사 속도가 미진할 것으로 파악할 수도 있다.

한편, 앞서 설명한 바와 같이, 서비스 제공 장치(100) 또는 별도의 서버를 통해 이용자, 보호자 또는 의료진으로부터 사전에 이용자에 대한 식사 미션을 입력 받을 수도 있는데, 예를 들어, 식사 미션은 잔반을 남기지 않고 식사를 마치는 것이거나, 미리 정해진 양 또는 미리 정해진 칼로리 이상의 음식물을 섭취하는 것일 수 있지만, 이에 제한되지 않는다. 서비스 제공 장치(100) 또는 서버는 이용자가 미리 정해진 식사 미션을 달성하여 식사를 마친 경우 해당 이용자에게 미리 정해진 보상을 제공할 수 있다. 여기서, 미리 정해진 보상은 예컨대, 포인트, 쿠폰 등일 수 있지만, 이에 제한되지 않는다.

아울러, 도 3에 도시된 획득부(250) 이외에도 식사 공간에 구비되는 별도의 촬상장치를 통해 획득된 영상을 수신하여 이를 더 활용함으로써 보다 정확한 섭취 정보 및/또는 동작 정보를 생성하도록 할 수도 있다.

도 4는 본 발명의 실시예에 따른 식사 보조 서비스 제공 장치가 사용되는 일 예를 나타내는 도면이다.

도 4를 참조하면, 이용자는 서비스 제공 장치(100)를 식사 공간 내에 자신을 마주보도록 배치하고, 식사를 한다. 이때, 본체부(110)의 상부 끝단에서 제1 촬상장치(131)에 대응하는 위치에 촬상보조부재(180)를 거치하여 이용자가 섭취하는 음식을 촬영하도록 한다.

이로써, 이용자가 식사하는 동안 제1 촬상장치(131)를 통해 식기 또는 식기에 담긴 음식물을 촬영하여 제1 영상을 획득하고, 제2 촬상장치(132)를 통해 이용자의 모션 변화를 촬영하여 제2 영상을 획득한다.

서비스 제공 장치(100)는 제1 촬상장치(131)를 통해 획득된 제1 영상을 분석하여 섭취 정보를 생성하고, 제2 촬상장치(132)를 통해 획득된 제2 영상을 분석하여 동작 정보를 생성함으로써, 가이드 정보를 생성한다.

이후, 서비스 제공 장치(100)는 가이드 정보를 기반으로 식사 미션 정보가 생성하고, 디스플레이부(150)를 통해 제1 영상 및/또는 제2 영상을 표시하여 가이드 정보는 물론, 시각 효과 이미지 및/또는 음향 효과를 부가함으로써 이용자가 가이드 정보를 확인하는 동시에 그 식사 미션을 수행(달성)하도록 할 수 있다. 도 5는 이러한 디스플레이부에 출력된 화면의 일 예를 도시한 것이다.

도 5는 본 발명의 실시예에 따른 식사 보조 서비스 제공 장치의 디스플레이부에 출력된 화면의 일 예를 나타내는 도면이다.

도 5의 (a) 및 (b)와 같이, 디스플레이부(150)에 이용자가 표시된 제2 영상을 표시하고, 이용자의 섭취량 정보를 퍼센트로 표시하거나 그래프로 표시하여 시각적으로 용이하게 확인할 수 있도록 할 수도 있고, 시각 효과 이미지로서 스티커를 부가하고, 이용자의 섭취 동작 또는 저작 동작에 따라 다양한 음향 효과를 제공할 수 있다. 한편, 식사 점수를 별점으로 표시하여 만점을 달성하는 미션을 제공함으로써 이용자가 성취감을 느낄 수 있도록 한다.

도 6은 본 발명의 일 실시예에 따른 식사 보조 서비스 제공 방법을 나타내는 순서도이다.

도 6을 참조하면, 서비스 제공 장치(200)가 구동되면, 획득부(250)에 포함된 제1 촬상장치(251) 및 제2 촬상장치(252)를 통해 각각 제1 영상 및 제2 영상을 획득한다(S301).

이후, 제2 영상을 기반으로 이용자를 확인(감지)하고(S303), 제1 영상 및 제2 영상을 각각 분석하여 섭취 정보 및 동작 정보를 생성한다(S305).

이 섭취 정보 및 동작 정보를 기반으로 가이드 정보를 생성하여 디스플레이부(211)를 통해 출력하고(S307), 그 생성된 가이드 정보에 따라 식사 미션 정보를 생성하여 디스플레이부(211)를 통해 출력한다(S309). 여기서, 가이드 정보 및 식사 미션 정보는 제1 영상 및/또는 제2 영상을 배경으로 하여 그 영상에 시각 효과 이미지로서 부가될 수 있고, 필요에 따라 음향 효과가 더 부가될 수 있다.

이후, 이용자가 그 식사 미션을 성공하였는지 여부를 확인하고(S311), 식사 미션을 성공한 경우에는 기 설정된 보상을 제공한다(S313). 한편, 식사 미션을 성공하지 못한 경우에는 보상 없이 종료한다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

100: 서비스 제공 장치 110: 본체부
130: 획득부 131: 제1 촬상장치
132: 제2 촬상장치 150: 디스플레이부
160: 입출력부 161: 스피커
162: 마이크 180: 촬상보조부재
181: 거치홈 182: 반사경
183: 힌지 200: 서비스 제공 장치
210: 출력부 211: 디스플레이부
230: 저장부 250: 획득부
251: 제1 촬상장치 252: 제2 촬상장치
270: 프로세서 300: 식사 보조 서비스 서버
400: 스마트 홈 장치 500: 외부 단말

Claims (10)

1. 식사 보조 서비스 제공 시스템에 있어서,
   상기 식사 보조 서비스를 제공받는 적어도 하나의 이용자가 식사하는 식사공간, 상기 식사공간 내의 식기 및 상기 이용자의 식사 현황 중 적어도 하나가 포함된 적어도 하나의 영상을 획득하고, 상기 획득된 영상 내에 상기 이용자의 식사 현황이 포함된 경우, 상기 식사 현황에 따른 상기 이용자를 확인하고, 상기 확인된 이용자의 가이드 정보를 생성하여 제공하는 서비스 제공 장치; 및
   복수의 다른 이용자들의 식사 관련 정보를 저장 및 관리하며, 상기 서비스 제공 장치의 요청에 따라 복수의 다른 이용자들 중 조건을 만족하는 적어도 하나의 이용자의 식사 관련 정보를 제공하는 서비스 서버;를 포함하며,
   상기 서비스 제공 장치는, 상기 적어도 하나의 영상을 분석하여, 상기 식사공간, 상기 식기 및 상기 식사 현황 중 적어도 하나를 인식하고, 상기 인식된 결과를 기반으로 이용자의 섭취 정보 및 동작 정보를 확인하고, 상기 확인된 섭취 정보 및 동작 정보와 상기 조건을 만족하는 적어도 하나의 이용자의 식사 관련 정보를 기반으로 상기 가이드 정보를 생성하는 것을 특징으로 하는,
   식사 보조 서비스 제공 시스템.
2. 제1항에 있어서,
   상기 서비스 제공 장치는, 복수의 제1 및 제2 촬상 장치를 포함하고,
   상기 제1 촬상 장치는, 상기 식기를 포함한 제1 영상을 획득하고,
   상기 제2 촬상 장치는, 상기 이용자를 포함한 제2 영상을 획득하고,
   상기 섭취 정보는, 상기 제1 영상 내의 상기 식기에 담겨진 음식물의 인식 결과를 기반으로 생성되고,
   상기 동작 정보는, 상기 제2 영상 내의 상기 이용자의 모션 변화를 기반으로 생성되는,
   식사 보조 서비스 제공 시스템.
3. 제2항에 있어서,
   상기 섭취 정보는, 상기 음식물의 종류, 상기 음식물의 부피 정보, 섭취 칼로리 정보, 섭취 영양 성분 정보, 섭취량 정보 및 알러지 정보 중 적어도 하나를 포함하고,
   상기 동작 정보는, 섭취와 관련된 손 동작 정보 및 저작 동작 정보 중 적어도 하나를 포함하는 것을 특징으로 하는,
   식사 보조 서비스 제공 시스템.
4. 제2항에 있어서,
   상기 서비스 제공 장치는,
   상기 가이드 정보에 따라 이용자가 식사할 수 있도록 유도하는 식사 미션 정보를 생성하여 디스플레이부를 통해 출력하고, 상기 이용자가 상기 식사 미션 정보를 기반으로 식사 미션을 성공한 것으로 판단된 경우, 미리 설정된 보상을 제공하는 것을 특징으로 하는,
   식사 보조 서비스 제공 시스템.
5. 제4항에 있어서,
   상기 식사 미션은, 상기 제1 영상 및 상기 제2 영상 중 적어도 하나에 시각 효과 이미지 및 음향 효과 중 적어도 하나를 부가함으로써 제공되는 것을 특징으로 하는,
   식사 보조 서비스 제공 시스템.
6. 제1항에 있어서,
   상기 식사 관련 정보는, 섭취 정보, 식단 정보, 식사 패턴 정보, 식사 시간 정보, 식사 속도 정보, 운동 정보 중 적어도 하나를 포함하며,
   상기 가이드 정보는, 상기 확인된 이용자의 식사 현황 정보, 및 상기 식사 관련 정보를 기준으로 산출한 해당 이용자의 영양 섭취 균형도, 편식 정보, 다른 이용자의 평균치 및 식단 컨설팅 정보 중 적어도 하나를 포함하는 것을 특징으로 하는,
   식사 보조 서비스 제공 시스템.
7. 제2항에 있어서,
   상기 제1 영상은,
   상기 제1 촬상 장치에 촬영 화각 변경을 위한 반사경을 포함하는 촬상보조부재를 부착함으로써 획득 가능한 것을 특징으로 하는,
   식사 보조 서비스 제공 시스템.
8. 제1항에 있어서,
   상기 서비스 제공 장치는,
   상기 확인된 이용자가 기 등록된 이용자인 경우, 기 저장된 이용자 정보를 기반으로 상기 가이드 정보를 생성하고,
   상기 확인된 이용자가 기 등록된 이용자가 아닌 경우, 연령, 성별 및 체형에 대한 정보를 감지하고, 상기 감지된 정보를 기반으로 상기 가이드 정보를 생성하는 것을 특징으로 하는,
   식사 보조 서비스 제공 시스템.
9. 제6항에 있어서,
   상기 서비스 제공 장치는,
   스마트홈 장치로부터 식료품 및 식재료 구매 품목 정보, 구매 일자 정보를 제공받아 상기 식단 컨설팅 정보를 기반으로 필요한 식료품 및 식재료와 그 필요량을 확인하고, 확인된 필요량에 따라 식료품 및 식재료를 자동 주문하는 것을 특징으로 하는,
   식사 보조 서비스 제공 시스템.
10. 식사 보조 서비스 제공 방법에 있어서,
    상기 식사 보조 서비스를 제공받는 적어도 하나의 이용자가 식사하는 식사공간, 상기 식사공간 내의 식기 및 상기 이용자의 식사 현황 중 적어도 하나가 포함된 적어도 하나의 영상을 획득하는 단계;
    상기 획득된 영상 내에 상기 이용자의 식사 현황이 포함된 경우, 상기 식사 현황에 따른 상기 이용자를 확인하는 단계; 및
    상기 확인된 이용자의 가이드 정보를 생성하여 상기 출력부를 통해 출력하는 단계;를 포함하며,
    상기 출력부를 통해 출력하는 단계는,
    상기 적어도 하나의 영상을 분석하여, 상기 식사공간, 상기 식기 및 상기 식사 현황 중 적어도 하나를 인식하는 단계;
    상기 인식된 결과를 기반으로 이용자의 섭취 정보 및 동작 정보를 확인하는 단계;
    상기 확인된 섭취 정보 및 동작 정보를 기반으로 상기 가이드 정보를 생성하는 단계;를 포함하는 것을 특징으로 하는,
    식사 보조 서비스 제공 방법.

Images