KR102365894B1 - 냉장고 식재료 관리 장치 및 방법 - Google Patents

Abstract

냉장고 식재료 관리 장치에 관한 것으로서, 냉장고 식재료 관리 장치는, 몸체부; 상기 몸체부에 구비된 이미지 센서를 이용하여 냉장고에 보관된 보관 식재료에 관한 정보를 획득하여 저장부에 저장하는 획득부; 상기 저장부에 저장된 보관 식재료들 중 기 설정된 이상 감지 조건을 충족하는 이상 식재료가 존재하는지 여부를 판단하는 판단부; 및 상기 이상 식재료가 존재하는 것으로 판단되는 경우, 상기 이상 식재료에 관한 정보를 사용자 단말로 제공하여 화면에 표시하는 제어부를 포함할 수 있다.

Description

냉장고 식재료 관리 장치 및 방법 {APPARATUS AND METHOD FOR MANAGING REFRIGERATOR INGREDIENTS}

본원은 냉장고 식재료 관리 장치 및 방법에 관한 것이다.

일반적으로 냉장고는 고내 보관식품(혹은 식재료 등)을 종류나 크기에 따라 효율적으로 수납할 수 있도록 착탈 가능한 선반 등을 이용하여 다수의 수납 칸으로 구획되어 있으며, 이러한 냉장고에는 장기간 보관할 식품이나 수일 내 소비할 식품들이 보관된다.

그런데, 냉장고에는 다양한 종류의 식품들(식재료들 등)이 각 수납 칸마다 다수 보관되기 때문에, 사용자가 냉장고에 보관되는 식품에 대한 정보를 모두 기억하는 데에는 한계가 있다.

이에 따라, 사용자가 냉장고에 수납된 식품들의 종류나 유통기한 등을 확인하기 위해서는 냉장고 문을 자주 열게 되며, 이는 에너지가 낭비될 뿐만 아니라, 보관 중인 식품이 외기에 자주 노출되어 변질될 수 있으므로 유통기한이 단축되는 문제가 있다.

따라서, 냉장고에 보관되는 식품, 식재료 등을 효과적으로 관리할 수 있는 기술에 대한 개발이 요구된다.

본원의 배경이 되는 기술은 한국공개특허공보 제10-2007-0051790호에 개시되어 있다.

본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 냉장고에 보관되는 식재료, 식품 등을 효과적으로 관리할 수 있는 냉장고 식재료 관리 장치 및 방법을 제공하려는 것을 목적으로 한다.

본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 종래에 냉장고에 보관된 식재료/식품들의 종류나 유통기한 등을 확인하기 위해 냉장고 문을 자주 열게 됨에 따라 야기되는 에너지 낭비 문제, 냉장고에 보관된 식재료/식품들이 외기에 자주 노출되어 변질됨에 따라 유통기한이 단축되는 문제 등을 해소할 수 있는 냉장고 식재료 관리 장치 및 방법을 제공하려는 것을 목적으로 한다.

다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 냉장고 식재료 관리 장치는, 몸체부; 상기 몸체부에 구비된 이미지 센서를 이용하여 냉장고에 보관된 보관 식재료에 관한 정보를 획득하여 저장부에 저장하는 획득부; 상기 저장부에 저장된 보관 식재료들 중 기 설정된 이상 감지 조건을 충족하는 이상 식재료가 존재하는지 여부를 판단하는 판단부; 및 상기 이상 식재료가 존재하는 것으로 판단되는 경우, 상기 이상 식재료에 관한 정보를 사용자 단말로 제공하여 화면에 표시하는 제어부를 포함할 수 있다.

또한, 상기 기 설정된 이상 감지 조건은, 보관 식재료의 유통기한의 잔여일이 미리 설정된 잔여일 만큼 남아있는 조건인 제1 조건, 보관 식재료의 유통기한의 경과일이 미리 설정된 경과일 만큼 지난 조건인 제2 조건, 및 보관 식재료에 대한 곰팡이 발생 여부의 판단을 위해 상기 보관 식재료를 향하여 조사된 광에 대응하는 반사광량이 기설정된 기준 범위에 속하는 조건인 제3 조건을 포함할 수 있다.

또한, 본원의 일 실시예에 따른 냉장고 식재료 관리 장치는, 상기 보관 식재료에 관한 정보에 대응하는 보관 식재료 아이콘을 생성하고, 상기 냉장고를 모델링한 가상 냉장고 모델 내에 상기 보관 식재료 아이콘을 위치시킨 가상 냉장고 영상을 생성하여 상기 사용자 단말의 화면에 표시하기 위해 상기 제어부로 제공하는 모델링부를 더 포함할 수 있다.

또한, 상기 제어부는, 상기 화면에 표시된 상기 가상 냉장고 영상 상에서, 상기 가상 냉장고 모델 내에 위치한 보관 식재료 아이콘 중 이상 식재료에 대응하는 이상 식재료 아이콘의 표시 형태를 이상 식재료의 이상 유형에 따라 달리할 수 있다.

또한, 상기 몸체부는, 상기 몸체부의 하면에 배치되고, 상기 냉장고에 보관된 보관 식재료를 향하여 광을 조사하는 발광부; 및 상기 몸체부의 하면에 상기 발광부와 미리 설정된 간격을 두고 이격하여 배치되고, 상기 보관 식재료를 향하여 조사된 광에 대응하는 상기 보관 식재료로부터 반사되는 반사광을 수신하는 수광부를 포함할 수 있다.

또한, 상기 판단부는, 상기 수광부가 수신한 반사광의 반사광량이 기설정된 기준 범위에 속하는 경우 광 조사가 이루어진 상기 보관 식재료에 곰팡이가 발생한 것으로 판단하여 상기 곰팡이가 발생한 것으로 판단되는 보관 식재료를 이상 식재료인 것으로 인식할 수 있다.

또한, 상기 몸체부는, 상기 몸체부의 일영역에 배치되고 경고음을 발생시키는 스피커부를 더 포함할 수 있다. 또한, 상기 제어부는, 상기 반사광량이 기설정된 기준 범위 내 임계 기준 값 미만인 경우, 상기 냉장고 내에서 상기 반사광량에 대응하는 보관 식재료의 제거가 이루어질 수 있도록 경보음이 발생되도록 상기 스피커부의 동작을 제어할 수 있다.

또한, 상기 몸체부는, 상기 몸체부의 하면의 일영역에 배치되고, 상기 냉장고에 보관된 보관 식재료의 온도를 측정하는 온도 센서를 더 포함할 수 있다. 또한, 상기 제어부는, 상기 온도 센서를 통해 측정된 상기 보관 식재료의 온도가 기 설정된 온도 값 이상인 경우, 경보음이 발생되도록 상기 스피커부의 동작을 제어할 수 있다.

또한, 상기 몸체부는, 탈취제를 저장하는 탈취제 저장부; 및 상기 탈취제 저장부에 저장된 탈취제를 상기 냉장고 내에 분사하는 분사부를 더 포함할 수 있다. 또한, 상기 제어부는, 상기 반사광량에 따라 상기 분사부로부터 분사되는 탈취제의 분사 유형을 달리 제어할 수 있다.

또한, 상기 제어부는, 상기 반사광량이 기설정된 기준 범위 내 임계 기준 값 미만인 경우 상기 분사부로부터 분사되는 탈취제의 분사 유형을 제1 유형에서 제2 유형으로 변경되도록 제어할 수 있다.

또한, 상기 제어부는, 상기 냉장고의 내부의 내부 스캔 영상을 획득하기 위해 상기 이미지 센서의 각도를 제어하고, 상기 판단부는, 상기 이미지 센서를 통해 획득된 내부 스캔 영상에 대해 이미지 분석을 수행하여 상기 냉장고 내에서의 상기 보관 식재료의 보관 위치를 식별하며, 상기 모델링부는, 식별된 상기 보관 위치에 대응하는 상기 가상 냉장고 모델 내 대응 위치에 상기 보관 식재료 아이콘을 위치시킬 수 있다.

또한, 상기 판단부는, 사용자로부터 레시피 정보의 제공을 요청하는 요청 메시지가 수신된 경우, 상기 요청 메시지에 응답하여 상기 보관 식재료들 중에서 상기 레시피 정보와 관련된 관련 식재료가 존재하는지 판단하고, 상기 제어부는, 상기 관련 식재료가 존재하는 것으로 판단되면, 상기 레시피 정보와 상기 관련 식재료에 관한 정보를 상기 화면에 표시되도록 제어할 수 있다.

한편, 본원의 일 실시예에 따른 냉장고 식재료 관리 시스템은, 상술한 본원의 일 실시예에 따른 냉장고 식재료 관리 장치; 및 상기 냉장고 식재료 관리 장치와 연동되어 상기 냉장고 식재료 관리 장치의 동작 제어를 위한 제어 신호를 사용자로부터 입력받아 제공하는 사용자 단말을 포함할 수 있다.

또한, 본원의 일 실시예에 따른 냉장고 식재료 관리 방법은, 상술한 본원의 일 실시예에 따른 냉장고 식재료 관리 장치에 의한 냉장고 식재료 관리 방법으로서, (a) 몸체부에 구비된 이미지 센서를 이용하여 냉장고에 보관된 보관 식재료에 관한 정보를 획득하여 저장부에 저장하는 단계; (b) 상기 저장된 보관 식재료들 중 기 설정된 이상 감지 조건을 충족하는 이상 식재료가 존재하는지 판단하는 단계; 및 (c) 상기 이상 식재료가 존재하는 것으로 판단되는 경우, 상기 이상 식재료에 관한 정보를 화면에 표시하는 단계를 포함할 수 있다.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.

전술한 본원의 과제 해결 수단에 의하면, 냉장고 식재료 관리 시스템, 장치 및 방법을 제공함으로써, 냉장고에 보관되는 식재료, 식품 등을 효과적으로 관리할 수 있다.

전술한 본원의 과제 해결 수단에 의하면, 냉장고 식재료 관리 시스템, 장치 및 방법을 제공함으로써, 종래에 냉장고에 보관된 식재료/식품들의 종류나 유통기한 등을 확인하기 위해 냉장고 문을 자주 열게 됨에 따라 야기되는 에너지 낭비 문제, 냉장고에 보관된 식재료/식품들이 외기에 자주 노출되어 변질됨에 따라 유통기한이 단축되는 문제 등을 해소할 수 있다.

다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.

도 1은 본원의 일 실시예에 따른 냉장고 식재료 관리 시스템의 개략적인 구성을 나타낸 블록도이다.
도 2는 본원의 일 실시예에 따른 냉장고 식재료 관리 장치의 개략적인 구성을 나타낸 블록도이다.
도 3은 본원의 일 실시예에 따른 냉장고 식재료 관리 장치의 외부 형상을 개략적으로 나타낸 사시도이다.
도 4는 본원의 일 실시예에 따른 냉장고 식재료 관리 장치에 의해 사용자 단말의 화면에 표시되는 가상 냉장고 영상의 예를 나타낸 도면이다.
도 5는 본원의 일 실시예에 따른 냉장고 식재료 관리 장치에 포함된 발광부, 수광부 및 온도 센서의 구성을 설명하기 위한 도면이다.
도 6은 본원의 일 실시예에 따른 냉장고 식재료 관리 방법에 대한 동작 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

도 1은 본원의 일 실시예에 따른 냉장고 식재료 관리 시스템(1000)의 개략적인 구성을 나타낸 블록도이다. 도 2는 본원의 일 실시예에 따른 냉장고 식재료 관리 장치(100)의 개략적인 구성을 나타낸 블록도이다. 도 3은 본원의 일 실시예에 따른 냉장고 식재료 관리 장치(100)의 외부 형상을 개략적으로 나타낸 사시도이다. 도 4는 본원의 일 실시예에 따른 냉장고 식재료 관리 장치(100)에 의해 사용자 단말(1)의 화면에 표시되는 가상 냉장고 영상(23)의 예를 나타낸 도면이다. 도 5는 본원의 일 실시예에 따른 냉장고 식재료 관리 장치(100)에 포함된 발광부(122), 수광부(123) 및 온도 센서(125)의 구성을 설명하기 위한 도면이다.

이하에서는 설명의 편의상, 본원의 일 실시예에 따른 냉장고 식재료 관리 시스템(1000)을 본 시스템(1000)이라 하고, 본원의 일 실시예에 따른 냉장고 식재료 관리 장치(100)를 본 장치(100)라 하기로 한다.

도 1 내지 도 5를 참조하면, 본 시스템(1000)은 본 장치(100) 및 사용자 단말(1)을 포함할 수 있다.

본 장치(100)는 냉장고(200)의 일영역에 탈부착 가능한 형태로 마련될 수 있다. 본 장치(100)는 냉장고(200) 내부에 보관되는 식재료들의 스캔이 가능하도록, 냉장고(200)의 일영역으로서 냉장고(200)의 내부의 일영역에 마련(설치)될 수 있으며, 이에 한정되는 것은 아니다. 즉, 본 장치(100)는 냉장고(200)의 내부에 마련되되, 냉장고(200)에 보관되는 식재료들에 대한 스캔이 가능한 위치에 마련(부착, 설치)될 수 있다.

냉장고(200)는 기 개발되었거나 향후 개발되는 냉장고일 수 있다. 본 장치(100)는 이러한 기 개발되었거나 향후 개발되는 다양한 냉장고(200)에 탈부착 될 수 있으며, 부착된 냉장고(200)의 내부에 보관(수용)되는 식재료들의 정보를 획득하여 관리할 수 있다.

본 장치(100)는 부착된 냉장고(200)의 내부에 보관된 보관 식재료(11)들에 관한 정보를 획득하여 저장하고, 저장된 보관 식재료(11)들의 유통기한 등에 관한 정보의 관리를 수행할 수 있으며, 그 결과를 토대로 보관 식재료(11)들과 관련된 각종 정보를 사용자 단말(1)로 제공하여 사용자 단말(1)의 화면에 표시되도록 제공할 수 있다. 본 장치(100)에 대한 구체적인 설명은 후술하여 설명하기로 한다.

본 장치(100)는 네트워크(2)를 통해 사용자 단말(1)과 연동(연결)될 수 있다.

사용자 단말(1)은 일예로 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(WCode Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC, 노트북, 웨어러블 디바이스, 데스크탑 PC 등과 같은 모든 종류의 유무선 통신 장치를 포함할 수 있으며, 이에 한정되는 것은 아니다.

네트워크(2)는 일예로 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, NFC(Near Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등 모든 종류의 유/무선 네트워크가 포함될 수 있으며, 이에 한정된 것은 아니다.

사용자 단말(1)은 본 장치(100)와 연동되어, 본 장치(100)의 동작 제어를 위한 제어 신호를 사용자로부터 입력받아 본 장치(100)로 제공할 수 있다. 이에 따라, 본 장치(100)는 사용자 단말(1)로부터 입력받은 제어 신호에 기초하여, 본 장치(100)의 각 부의 동작을 제어할 수 있다. 이러한 본 장치(100)는 일예로 사용자 단말(1)로부터 입력받은 제어 신호에 기초하여 원격으로 제어될 수 있다.

다만, 이에만 한정되는 것은 아니고, 다른 일예로, 본 장치(100)는 도면에 도시하지는 않았으나, 본 장치(100)의 몸체부(110)의 외면 일영역에 마련된 입력부(미도시)를 통하여 본 장치(100)의 동작 제어와 관련된 제어 신호를 입력받을 수 있다. 이러한 입력부(미도시)는 몸체부(110)의 외면 일영역으로서, 일예로 몸체부(110)의 측면이나 하면의 일영역에 물리적인 형태로 마련될 수 있다. 물리적인 형태라 함은 버튼 형태, 혹은 터치 가능한 터치 패널 형태, 디스플레이 패널 형태 등으로 마련됨을 의미할 수 있다.

이처럼, 본 장치(100)는, 일예로 본 장치(100) 자체에 마련된 입력부(미도시)를 통해 입력받은 제어 신호에 기초하여 본 장치(100)의 각 부의 동작이 제어될 수 있다. 다른 일예로, 본 장치(100)는 사용자 단말(1)로부터 네트워크(2)를 통해 전달받은 제어 신호에 기초하여, 원격으로 본 장치(100)의 각 부의 동작이 제어될 수 있다.

본 장치(100)에 포함된 각 부의 구성은 크게 소프트웨어 구성과 하드웨어 구성으로 구분될 수 있다. 여기서, 소프트웨어 구성에는 일예로 획득부(111), 저장부(112), 판단부(113), 제어부(114) 및 모델링부(115)가 포함될 수 있다. 하드웨어 구성에는 일예로 이미지 센서(121), 발광부(122), 수광부(123), 스피커부(124), 온도 센서(125), 탈취제 저장부(126) 및 분사부(127)가 포함될 수 있다.

이때, 본원의 일예에서는 본 장치(100)에 소프트웨어 구성과 하드웨어 구성이 모두 포함된 것으로 예시하였으나, 이에만 한정되는 것은 아니다. 다른 일예로, 본 장치(100)에 포함된 일부 구성은 본 장치(100)와는 별도의 구성으로 마련될 수 있으며, 예시적으로 본 장치(100)에 포함된 일부의 구성으로서 소프트웨어 구성은, 본 장치(100)와는 별도의 구성으로서 서버 등의 형태로 별도로 마련될 수 있다.

이에 따르면, 일예로 본 장치(100)는 도 3에 도시된 것과 같은 형태의 몸체부(110)의 내부에 소프트웨어 구성과 하드웨어 구성을 모두 포함되도록 구성될 수 있으며, 이러한 경우 본 시스템(1000)은 도 1에 도시된 것과 같이 본 장치(100), 네트워크(2) 및 사용자 단말(1)을 포함하는 형태로 마련될 수 있다.

다른 일예로, 본 장치(100)는 도 3에 도시된 것과 같은 형태의 몸체부(110)의 내부에 하드웨어 구성만 포함되도록 구성될 수 있으며, 이러한 경우 본 시스템(1000)은 도 1에 도시된 것과 같이 본 장치(100), 네트워크(2) 및 사용자 단말(1)의 구성들 뿐만 아니라, 추가적으로 소프트웨어 구성을 포함하도록 구성되는 서버(미도시)의 구성을 포함하는 형태로 마련될 수 있다.

이러한 경우, 서버(미도시)는 본 장치(100) 및 사용자 단말(1) 각각과 네트워크(2)를 통해 연동(연결)될 수 있다. 이때, 서버(미도시)는 본 장치(100) 내 하드웨어 구성으로부터 획득된 냉장고 내 보관 식재료와 관련된 각종 정보들(각종 센싱 관련 정보들)을 본 장치(100)로부터 네트워크(2)를 통해 획득하고, 획득된 각종 정보들을 저장하고 저장된 정보를 토대로 냉장고 식재료 관리를 수행할 수 있으며, 각종 정보들 중 적어도 일부에 관한 정보를 네트워크(2)를 통해 사용자 단말(1)로 제공할 수 있다.

이러한 본 장치(100) 및/또는 서버(미도시)에 의한 냉장고 식재료 관리 방법은, 사용자 단말(1)에서 실행 가능한 프로그램 혹은 애플리케이션의 형태로 구현될 수 있다. 이를 통해, 사용자 단말(1)은 애플리케이션 등을 통하여 본 장치(100)의 각종 동작을 제어(원격으로 제어)할 수 있다. 이하에서는 본 장치(100)에 소프트웨어 구성과 하드웨어 구성이 모두 포함된 경우를 예로 들어 설명하기로 하며, 보다 상세한 설명은 다음과 같다.

이하에서는 본 장치(100)를 설명함에 있어서, 일예로 도 3의 도면을 기준으로 2시-8시 방향을 전후방향, 10시-4시 방향을 좌우방향, 12시-6시 방향을 상하방향이라 하기로 한다. 다만, 이러한 방향 설정은 본원의 이해를 돕기 위한 예시일 뿐, 이에만 한정되는 것은 아니다.

본 장치(100)는 몸체부(110), 획득부(111), 저장부(112), 판단부(113), 제어부(114), 모델링부(115), 이미지 센서(121), 발광부(122), 수광부(123), 스피커부(124), 온도 센서(125), 탈취제 저장부(126) 및 분사부(127)를 포함할 수 있다.

이때, 획득부(111), 저장부(112), 판단부(113), 제어부(114), 모델링부(115), 이미지 센서(121), 발광부(122), 수광부(123), 스피커부(124), 온도 센서(125), 탈취제 저장부(126) 및 분사부(127)는 모두 몸체부(110)의 내부에 포함될 수 있으며, 이에 한정되는 것은 아니다.

몸체부(110)는 본 장치(100)의 하우징을 의미하는 것으로서, 하우징, 하우징부, 하우징 부재 등으로 달리 지칭될 수 있다. 몸체부(110)는 일예로 플라스틱 등의 소재로 이루어질 수 있으나, 이에만 한정되는 것은 아니고, 다양한 소재, 재질 등으로 이루어질 수 있다. 즉, 몸체부(110)는 본 장치(100)의 전체 하우징을 의미할 수 있다.

획득부(111)는 몸체부(110)의 전면에 구비된 이미지 센서(121)를 이용하여 냉장고(200)에 보관된 보관 식재료(11)에 관한 정보를 획득하여 저장부(112)에 저장할 수 있다.

획득부(111)는 냉장고(200)에 이미 보관되어 있는 보관 식재료(11)에 관한 정보를 획득할 수 있으며, 이에만 한정되는 것은 아니고, 획득부(111)는 냉장고(200)에 식재료를 보관하기에 앞서 냉장고(200)에 보관하고자 하는 보관할 식재료에 관한 정보를 획득할 수 있다. 즉, 획득부(111)가 획득하는 보관 식재료(11)에 관한 정보라 함은, 이미 냉장고(200)에 보관되어 있는 식재료에 관한 정보 및/또는 혹은 냉장고(200)에 보관할 예정인 식재료에 관한 정보를 모두 포함하는 개념으로 이해될 수 있다.

획득부(111)는 냉장고(200)의 내부에 입출입되는 모든 식재료(11)에 관한 정보를 획득할 수 있다.

보관 식재료(11)는 음식의 재료와 관련된 것을 의미하는 것으로서, 채소, 야채, 과일 등을 의미할 수 있으나, 이에 한정되는 것은 아니다. 보관 식재료(11)로는 냉장고(200)에 보관 가능한 것이라면 무엇이든 적용 가능하다. 예시적으로, 보관 식재료(11)에는 사용자가 먹을 수 있는 채소, 야채, 과일 등 뿐만 아니라 조리된 음식, 요리 등을 포함할 수 있으며, 뿐만 아니라 이러한 조리된 음식, 요리 등을 저장하는 용기, 냄비, 그릇 등의 물체를 포함할 수도 있다. 본원에서 보관 식재료(11)는 보관 식품 등으로 달리 지칭될 수 있다.

본원의 일예에서는 도면 상에서 냉장고(200)에 보관되는 보관 식재료(11)로서 사과가 고려되는 것으로 예시되어 있다.

획득부(111)에서 획득하는 보관 식재료(11)에 관한 정보는, 보관 식재료(11)의 식품명, 유통기한, 이미지 정보 및 등록일(이는 보관 식재료에 관한 정보가 저장부에 등록/저장된 날짜에 관한 정보를 의미할 수 있음) 중 적어도 하나가 포함될 수 있다. 다만, 이에만 한정되는 것은 아니고, 보관 식재료(11)에 관한 정보에는 원료명, 함량, 섭취량, 섭취방법 등 보관 식재료(11)와 관련된 정보라면 무엇이든 포함될 수 있다.

일예로, 사용자는 보관 식재료(11)에 관한 정보를 획득하기 위해 이미지 센서(121)를 이용하여 냉장고(200)에 보관할 보관 식재료(11)를 촬영할 수 있다. 이때, 사용자는 일예로 보관 식재료(11)에 표기된 식품명, 유통기한 등의 정보가 보이도록 이미지 센서(121)를 이용하여 보관 식재료(11)를 촬영할 수 있다. 이러한 촬영에 의해, 이미지 센서(121)는 보관 식재료(11)의 촬영 이미지(촬영 영상)를 획득할 수 있다.

이후, 획득부(111)는 이미지 센서(121)에 의해 촬영/획득된 촬영 이미지에 대한 이미지 분석을 수행함으로써, 보관 식재료(11)에 관한 정보로서 식품명, 유통기한, 이미지 정보, 등록일 등의 정보를 획득할 수 있다. 여기서, 이미지 정보는 이미지 센서(121)에 의해 획득된 보관 식재료(11)에 대한 촬영 이미지 자체를 의미할 수도 있으나, 이에만 한정되는 것은 아니고, 촬영 이미지 내 보관 식재료(11)와 관련하여 그를 대표하는 대표 이미지를 의미할 수도 있다. 여기서, 대표 이미지라 함은, 보관 식재료(11)가 사과인 경우, 인터넷 상에 존재하는 사과의 이미지(사진)를 의미할 수 있으며, 이에 한정되는 것은 아니다.

이때, 획득부(111)는 촬영 이미지에 대한 이미지 분석시, 종래에 공지되었거나 향후 개발되는 다양한 이미지 분석 알고리즘을 적용할 수 있다.

상술한 본원의 일예에서는, 획득부(111)가 보관 식재료(11)에 관한 정보를 본 장치(100)에 자체 구비된 이미지 센서(121)로부터 획득된 보관 식재료(11)에 대한 촬영 이미지의 분석을 통해 획득하는 것으로 예시하였으나, 이에 한정되는 것은 아니다. 다른 일예로, 획득부(111)는, 사용자 단말(1)에 구비된 이미지 센서에 의해 획득된 보관 식재료(11)에 대한 촬영 이미지(즉, 사용자 단말의 이미지 센서로 보관 식재료를 촬영함으로써 획득된 촬영 이미지)를 사용자 단말(1)로부터 네트워크(2)를 통해 전달받고, 전달받은 촬영 이미지의 분석을 수행함으로써 보관 식재료(11)에 관한 정보를 획득할 수 있다. 또 다른 일예로, 획득부(111)는 사용자가 직접 보관 식재료(11)에 관한 정보를 사용자 단말(1)에 직접 입력(타이핑)함으로써, 사용자에 의해 직접 입력된 정보를 토대로 보관 식재료(11)에 관한 정보를 획득할 수 있다.

즉, 획득부(111)는 보관 식재료(11)에 관한 정보에 대한 획득을, 본 장치(100)의 이미지 센서(121) 및/또는 사용자 단말(1)의 이미지 센서로부터 획득된 촬영 이미지에 대한 이미지 분석을 수행함으로써 획득하거나, 혹은 사용자가 사용자 단말(1)에 직접 타이핑하여 입력한 정보를 기초로 획득할 수 있다.

저장부(112)는 획득부(111)에서 획득된 보관 식재료(11)에 관한 정보가 저장될 수 있다.

판단부(113)는 저장부(112)에 저장된 보관 식재료들 중 기 설정된 이상 감지 조건을 충족하는 이상 식재료가 존재하는지 여부를 판단할 수 있다. 이때, 이상 식재료의 존재 여부 판단은 저장부(112)에 저장된 보관 식재료들에 관한 정보의 분석을 통해 이루어질 수 있다.

여기서, 기 설정된 이상 감지 조건은, 보관 식재료의 유통기한의 잔여일이 미리 설정된 잔여일 만큼 남아있는 조건인 제1 조건, 보관 식재료의 유통기한의 경과일이 미리 설정된 경과일 만큼 지난 조건인 제2 조건, 및 보관 식재료에 대한 곰팡이 발생 여부의 판단을 위해 보관 식재료를 향하여 조사된 광에 대응하는 반사광량이 기설정된 기준 범위에 속하는 조건인 제3 조건을 포함할 수 있다. 여기서, 곰팡이 발생 여부의 판단과 관련된 내용은 후술하는 도 5를 참조하여 보다 쉽게 이해될 수 있다.

여기서, 미리 설정된 잔여일 및 미리 설정된 경과일은 일예로 3일로 설정될 수 있다. 다만, 이에만 한정되는 것은 아니고, 미리 설정된 잔여일 및 미리 설정된 경과일은 사용자 입력에 의해 다양하게 설정될 수 있으며, 일(day) 단위, 시간 단위, 분 단위, 초 단위 등 다양한 시간 단위로 설정될 수 있다.

판단부(113)는 저장부(112)에 저장된 보관 식재료들에 관한 정보 중 특히 보관 식재료들의 유통기한 정보를 분석함으로써, 저장부(112)에 저장된 보관 식재료들 중 제1 조건 및/또는 제2 조건을 충족하는 식재료가 존재하는지 여부를 판단할 수 있다. 이때, 판단부(113)는 제1 조건 및/또는 제2 조건을 충족하는 식재료가 존재하면, 해당 제1 조건 및/또는 제2 조건을 충족하는 식재료를 이상 식재료인 것으로 식별하여, 이상 식재료가 존재하는 것으로 판단할 수 있다. 이처럼, 판단부(113)는 저장부(112)에 저장된 보관 식재료들 중 제1 조건 및/또는 제2 조건을 충족하는 식재료인 이상 식재료가 존재하는지 여부를 판단할 수 있다.

또한, 판단부(113)는 후술하는 수광부(123)가 수신하는 반사광의 반사광량을 분석함으로써, 저장부(112)에 저장된 보관 식재료들 중 제3 조건을 충족하는 식재료가 존재하는지 여부를 판단할 수 있다. 반사광량 관련 내용은 후술하여 보다 자세히 설명하기로 한다. 이때, 판단부(113)는 제3 조건을 충족하는 식재료가 존재하면, 해당 제3 조건을 충족하는 식재료를 이상 식재료인 것으로 식별하여, 이상 식재료가 존재하는 것으로 판단할 수 있다. 이처럼, 판단부(113)는 저장부(112)에 저장된 보관 식재료들 중 제3 조건을 충족하는 식재료인 이상 식재료가 존재하는지 여부를 판단할 수 있다.

이에 따르면, 판단부(113)는 저장부(112)에 저장된 보관 식재료들에 관한 정보 중 기 설정된 이상 감지 조건(즉, 제1 조건 내지 제3 조건)을 충족하는 이상 식재료가 존재하는지를 판단함으로써, 냉장고(200)에 보관되고 있는 보관 식재료들 중에서 유통기한이 얼마 남지 않은(미리 설정된 잔여일 만큼 남은) 보관 식재료가 존재하는지, 유통기한이 얼마만큼 지난(미리 설정된 경과일 만큼 지난) 보관 식재료가 존재하는지, 및 곰팡이가 생긴 보관 식재료가 존재하는지를 판단(식별, 인식)할 수 있다.

제어부(114)는 판단부(113)에 의한 판단 결과, 저장부(112)에 저장된 보관 식재료들 중 이상 식재료가 존재하는 것으로 판단되는 경우, 이상 식재료에 관한 정보를 사용자 단말(1)로 제공하여 화면에 표시할 수 있다. 즉, 제어부(114)는 이상 식재료에 관한 정보를 네트워크(2)를 통해 사용자 단말(1)로 제공함으로써, 사용자 단말(1)의 화면 상에 표시할 수 있다.

제어부(114)는 본 장치(100)의 각 부의 동작을 제어할 수 있다. 또한, 제어부(114)는 사용자 단말(1)의 화면에 표시되는 정보를 제어할 수 있다. 즉, 제어부(114)는 사용자 단말(1)의 화면 표시를 제어할 수 있다.

모델링부(115)에 대한 설명은 도 4를 참조하여 보다 쉽게 이해될 수 있다.

도 4를 참조하면, 획득부(111)가 보관 식재료(11)에 관한 정보를 획득하면, 모델링부(115)는 획득된 보관 식재료(11)에 관한 정보에 대응하는 보관 식재료 아이콘(22)을 생성할 수 있다. 이후, 모델링부(115)는 본 장치(100)가 부착(설치)된 실제 냉장고(200)를 가상으로 모델링하여 생성된 가상 냉장고 모델(21) 내에 앞서 생성된 보관 식재료 아이콘(22)을 위치시킨 가상 냉장고 영상(23)을 생성할 수 있다. 이후, 모델링부(115)는 생성된 가상 냉장고 영상(23)을 사용자 단말(1)의 화면에 표시하기 위해 제어부(114)로 제공할 수 있다.

이후, 제어부(114)는 모델링부(115)로부터 제공받은 가상 냉장고 영상(23)을 네트워크(2)를 통해 사용자 단말(1)로 제공할 수 있으며, 이를 통해 가상 냉장고 영상(23)이 사용자 단말(1)의 화면 상에 표시(표출)되도록 제어할 수 있다.

본원의 도면에 도시된 일예에서는, 화면에 표시되는 보관 식재료 아이콘(22)의 개수가 1개인 것으로 예시(달리 표현해, 실제 냉장고에 보관되고 있는 보관 식재료의 개수가 1개인 것으로 예시)하였으나, 이는 본원의 이해를 돕기 위한 하나의 예시일 뿐, 이에만 한정되는 것은 아니다. 화면에 표시되는 보관 식재료 아이콘(22)의 개수는 실제 냉장고(200)에 보관되고 있는 식재료(보관 식재료)의 개수(전체 식재료의 개수)에 대응하는 수 이거나, 혹은 그 중 적어도 일부의 식재료에 대응하는 수일 수 있다. 여기서, 적어도 일부의 식재료는 일예로 실제 냉장고(200)에 보관되고 있는 식재료(보관 식재료)의 개수(전체 식재료의 개수) 중 사용자가 화면에 표시되길 희망함에 따라 선택한 사용자에 의해 선택된 적어도 일부의 식재료를 의미할 수 있다.

이러한 가상 냉장고 영상(23)에 의하면, 사용자는 실제 냉장고(200)에 보관되고 있는 각종 보관 식재료의 보관 현황(예를 들어, 각종 보관 식재료의 종류, 개수 등)을 사용자 단말(1)을 통해 확인할 수 있다. 즉, 사용자 단말(1)의 화면에 표출되는 가상 냉장고 영상(23)에 의하면, 사용자는 냉장고(200)를 실제 열어보지 않더라도(열어볼 필요 없이), 냉장고(200)에 보관되고 있는 보관 식재료의 보관 현황을 장소, 시간 등에 구애받지 않고 언제 어디서든 실시간으로 확인(모니터링)할 수 있다.

제어부(114)는 사용자 단말(1)의 화면에 표시된 가상 냉장고 영상(23) 상에서, 가상 냉장고 모델(21) 내에 위치한 보관 식재료 아이콘(22) 중 이상 식재료에 대응하는 이상 식재료 아이콘의 표시 형태를 이상 식재료의 이상 유형(제1 조건에 해당하는지, 제2 조건에 해당하는지 등)에 따라 달리할 수 있다.

여기서, 이상 식재료의 이상 유형이라 함은, 이상 식재료가 기 설정된 이상 감지 조건인 상술한 제1 조건 내지 제3 조건 중 어느 조건에 해당하는 식재료인지를 구분하는 유형을 의미할 수 있다. 즉, 이상 식재료의 이상 유형에는 복수의 유형으로서 제1 유형, 제2 유형 및 제3 유형이 포함될 수 있다. 제1 유형의 이상 식재료는 제1 조건에 속하는(해당하는) 이상 식재료를, 제2 유형의 이상 식재료는 제2 조건에 속하는 이상 식재료를, 제3 유형의 이상 식재료는 제3 조건에 속하는 이상 식재료를 의미할 수 있다.

후술하는 설명에서는, 설명의 편의상 제1 유형에 속하는 이상 식재료에 대응하는 이상 식재료 아이콘을 제1 이상 식재료 아이콘이라 하고, 제2 유형에 속하는 이상 식재료에 대응하는 이상 식재료 아이콘을 제2 이상 식재료 아이콘이라 하고, 제3 유형에 속하는 이상 식재료에 대응하는 이상 식재료 아이콘을 제3 이상 식재료 아이콘이라 하기로 한다.

제어부(114)는 이상 식재료의 이상 유형에 따라(즉, 제1 유형인지, 제2 유형인지 혹은 제3 유형인지에 따라) 이상 식재료 아이콘의 표시 형태를 달리할 수 있다. 즉, 제어부(114)는 이상 식재료의 이상 유형에 따라, 제1 이상 식재료 아이콘 내지 제2 이상 식재료 아이콘 각각의 표시 형태를 달리할 수 있다.

여기서, 제어부(114)는 제1 이상 식재료 아이콘 대비 제2 이상 식재료 아이콘이, 제2 이상 식재료 아이콘 대비 제3 이상 식재료 아이콘이, 보다 인식 또는 식별이 용이한 형태로 표시되도록 표시 형태를 제어할 수 있다.

여기서, 이상 식재료 아이콘을 인식 또는 식별이 용이한 형태로 표시한다는 것은, 해당 이상 식재료 아이콘의 표시가 시각적으로 강조된 형태, 크기가 확장된 형태, 청각적인 효과를 수반하는 형태 및 동적인 애니메이션 형태 중 적어도 하나로 표시하는 것을 의미할 수 있다.

이상 식재료 아이콘의 표시 형태를 달리하는 구체적인 예는 다음과 같다. 일예로 제어부(114)는 가상 냉장고 영상(23) 상에서 제1 이상 식재료 아이콘은 초록색으로, 제2 이상 식재료 아이콘은 주황색으로, 제3 이상 식재료 아이콘은 빨간색으로 표시되도록 제어할 수 있다.

다른 일예로, 제어부(114)는 가상 냉장고 영상(23) 상에서 제1 이상 식재료 아이콘은 제1 크기로, 제2 이상 식재료 아이콘은 제1 크기보다 큰 제2 크기로, 제3 이상 식재료 아이콘은 제2 크기보다 큰 제3 크기를 갖되 볼딕으로 강조된 형태로 표시되도록 제어할 수 있다.

또 다른 일예로, 제어부(114)는 가상 냉장고 영상(23) 상에서 제1 이상 식재료 아이콘은 제1 크기를 가지며 초록색으로, 제2 이상 식재료 아이콘은 제1 크기보다 큰 제2 크기를 가지며 빨간색으로, 제3 이상 식재료 아이콘은 제2 크기를 갖되 빨간색으로 강조된 볼딕 형태의 표시가 미리 설정된 시간 주기(일예로, 1초 주기)마다 점멸(깜빡깜빡)하는 형태로 표시되도록 제어할 수 있다.

이처럼, 본 장치(100)는 이상 식재료 아이콘의 이상 유형에 따라 가상 냉장고 영상(23) 상에 표시되는 이상 식재료 아이콘의 표시 형태를 달리 제어, 특히나 조건의 인덱스가 높아질수록(즉, 제1 조건보다는 제2 조건, 제2 조건보다는 제3 조건에 해당하는 이상 식재료 아이콘일수록) 보다 인식 또는 식별이 용이한 형태로 강조되도록 표시할 수 있다. 이를 통해, 본 장치(100)는 사용자로 하여금, 실제 냉장고(200)에 보관된 보관 식재료들 중에서 유통기한이 임박한 식재료, 유통기한이 지난 식재료, 및 곰팡이가 핀 식재료들 각각에 대한 인식이, 서로 간에 보다 직관적이며 구분되어 인지 가능하도록 제공할 수 있다. 즉, 본 장치(100)는 이상 식재료 아이콘의 표시 형태를 이상 유형에 따라 달리 제어함으로써, 냉장고(200)에 보관된 보관 식재료들 중 유통기한이 임박한 식재료보다는 유통기한이 지난 식재료가, 유통기한이 지난 식재료보다는 곰팡이가 핀 식재료가 사용자로 하여금 보다 직관적으로 인지될 수 있도록 할 수 있다.

이러한 본 장치(100)는, 사용자가 냉장고(200)에 보관된 보관 식재료들 중 제3 이상 식재료 아이콘에 대응하는 곰팡이가 핀 보관 식재료에 대하여, 냉장고(200)에서 즉시 제거하도록 유도할 수(도울 수) 있다. 또한, 본 장치(100)는, 사용자가 냉장고(200)에 보관된 보관 식재료들 중 제2 이상 식재료 아이콘에 대응하는 유통기한이 지난 보관 식재료에 대하여, 냉장고(200)에서 즉시 제거하거나 혹은 다른 유통기한이 지나지 않은 식재료들 대비 보다 빨리 소진(사용)할 수 있도록 유도할 수 있다. 본 장치(100)는 사용자가 냉장고(200)에 보관된 보관 식재료들 중 제1 이상 식재료 아이콘에 대응하는 유통기한이 임박한 보관 식재료에 대하여, 유통기한 내에 해당 보관 식재료를 소진(사용)할 수 있도록 유도할 수 있다.

또한, 제어부(114)는 사용자 단말(1)의 화면에 표시된 가상 냉장고 영상(23)에 포함된 보관 식재료 아이콘(22)들 중 어느 하나의 보관 식재료 아이콘에 대한 사용자 입력(일예로, 터치 입력)이 이루어진 경우, 사용자 입력에 응답하여 사용자 입력이 이루어진 어느 하나의 보관 식재료 아이콘에 대응하는 식재료에 관한 정보를 화면의 일영역에 표시(일예로 팝업 형태로 표시)할 수 있다.

이미지 센서(121)는 상술한 바와 같이 몸체부(110)의 전면의 일영역에 구비될 수 있다. 이미지 센서(121)는 카메라 등으로 달리 지칭될 수 있다. 이미지 센서(121)는 보관 식재료(11)에 관한 정보(특히, 보관 식재료를 촬영한 촬영 이미지)를 획득할 수 있다. 뿐만 아니라, 이미지 센서(121)는 후술하여 설명하는 냉장고(200)의 내부를 스캔하는 촬영을 통해 내부 스캔 영상을 획득할 수 있다. 내부 스캔 영상에 대한 설명은 후술하여 보다 자세히 설명하기로 한다.

이하 발광부(122), 수광부(123) 및 온도 센서(125)에 대한 설명은 도 5를 참조하여 보다 쉽게 이해될 수 있다.

도 5를 참조하면, 발광부(122)는 몸체부(110)의 하면에 배치되고, 냉장고(200)에 보관된 보관 식재료(11)를 향하여 광을 조사할 수 있다.

발광부(122)는 미리 설정된 파장을 갖는 광을 조사할 수 있다. 발광부(122)는 일예로 LED 광, 적외선 광, 가시광(가시광선) 등과 관련하여 미리 설정된 파장의 광을 조사할 수 있다. 발광부(122)는 발광소자로서 일예로 엘이디(LED)일 수 있다. 다만, 이에만 한정되는 것은 아니고, 발광부(122)는 다양한 발광소자로 이루어질 수 있다.

수광부(123)는 몸체부(110)의 하면에 발광부(122)와 미리 설정된 간격을 두고 이격하여 배치될 수 있다. 수광부(123)는 발광부(122)의 위치를 기준으로 몸체부(110)의 좌우방향에 대하여 간격을 두고 이격하여 배치될 수 있다. 발광부(122)와 수광부(123) 간에 이격된 간격(미리 설정된 간격)는 예시적으로 5cm, 10cm 등일 수 있으나, 이에 한정되는 것은 아니다. 수광부(123)는 발광부(122)로부터 냉장고(200)에 보관된 보관 식재료(11)를 향하여 조사된 광에 대응하는 보관 식재료(11)로부터 반사되는 반사광을 수신할 수 있다. 수광부(123)는 발광부(122)로부터 냉장고(200)에 보관된 보관 식재료(11)를 향하여 조사된 광에 대응하는 반사광(즉, 보관 식재료로부터 반사되는 반사광)을 수신할 수 있다.

판단부(113)는, 수광부(123)가 수신한 반사광의 반사광량이 기설정된 기준 범위에 속하는 경우, 광 조사가 이루어진 보관 식재료(11)에 곰팡이가 발생한 것으로 판단하여 곰팡이가 발생한 것으로 판단되는 보관 식재료(11)를 상술한 제3 조건을 충족하는 이상 식재료인 것으로 인식할 수 있다.

수광부(123)가 수신하는 반사광의 반사광량은, 보관 식재료(11)에 생기는 곰팡이의 정도(즉, 곰팡이의 양)에 따라 변화될 수 있다.

구체적으로, 냉장고(200) 내에 식재료를 장시간 보관하는 경우, 장시간 보관되는 냉장고(200) 내 보관 식재료(11)는 부패되어 곰팡이가 생길 수 있으며, 이러한 곰팡이는 일반적으로 어두운 색상(검은 색상)을 띄는 경향이 있다.

이에 따라, 보관 식재료(11)에 피는 곰팡이의 양이 많아질수록, 발광부(122)로부터 조사되는 광이 곰팡이에 의해 흡수됨에 따라 수광부(123)가 수신하는 반사광량은 줄어들 수 있다. 반면, 보관 식재료(11)에 곰팡이가 존재하지 않으면, 발광부(122)로부터 조사된 광은 보관 식재료(11)에 흡수되지 않고 대부분 반사됨에 따라, 수광부(123)가 수신하는 반사광량은 많을 수 있다. 또한, 보관 식재료(11)에 핀 곰팡이의 양이 적으면, 수광부(123)가 수신하는 반사광량은 상대적으로 보관 식재료(11)에 곰팡이가 많이 핀 경우보다는 많은 한편, 보관 식재료(11)에 곰팡이가 피지 않은 경우보다는 적을 수 있다.

이때, 수광부(123)가 수신하는 반사광량은, 보관 식재료(11)에, 곰팡이가 많이 존재하는 경우 < 곰팡이가 적게 존재하는 경우 < 곰팡이가 존재하지 않는 경우의 순일 수 있다.

판단부(113)는, 일예로 반사광량이 최소 0부터 최대 100까지의 값으로 표현 가능한 경우라 가정하였을 때, 반사광량이 0이상 30 미만의 값에 속하면 곰팡이가 많이 존재하는 경우로 판단하고, 반사광량이 30 이상 70 미만의 값에 속하면 곰팡이가 적게 존재하는 경우로 판단하며, 반사광량이 70이상 100 이하의 값에 속하면 곰팡이가 존재하지 않는 경우라 판단할 수 있다.

이에 따르면, 본원의 일예에서, 보관 식재료(11)에 곰팡이가 발생하였는지를 판단하는데 기준이 되는 기설정된 기준 범위는 일예로 반사광량이 제1 값 이상 제2 값 미만의 범위로 설정될 수 있다. 여기서, 앞서 말한 바와 같이, 반사광량이 일예로 최소 0부터 최대 100까지의 값으로 표현 가능한 경우라 가정하였을 때, 제1 값은 0이고, 제2 값은 70일 수 있으며, 이에 한정되는 것은 아니다.

이러한 판단부(113)는 수광부(123)가 수신하는 반사광의 반사광량에 기초하여, 수신된 반사광량의 분석을 통해 발광부(122)로부터 조사된 광에 대한 광 조사가 이루어진 보관 식재료(11)에 곰팡이가 존재하는지 여부, 및 보관 식재료(11)에 존재하는 곰팡이의 정도(곰팡이의 양)을 판단할 수 있다.

이에 판단부(113)는, 수광부(123)가 수신한 반사광의 반사광량이 기설정된 기준 범위에 속하는 경우, 광 조사가 이루어진 보관 식재료(11)에 곰팡이가 발생한 것으로 판단할 수 있다. 판단부(113)는 곰팡이가 발생한 것으로 판단되는 보관 식재료(11)를 제3 조건을 충족하는 이상 식재료인 것으로 인식할 수 있다.

판단부(113)에 의해 반사광량을 기반으로 냉장고(200)에 보관된 보관 식재료들 중 제3 조건을 충족하는 이상 식재료가 존재하는 것으로 인식되면(판단되면), 제어부(114)는 제3 조건을 충족하는 이상 식재료에 관한 정보를 사용자 단말(1)의 화면 상에 표시할 수 있다. 뿐만 아니라, 제어부(114)는 제3 조건을 충족하는 이상 식재료에 대응하는 이상 식재료 아이콘을, 다른 제1 조건과 제2 조건을 충족하는 이상 식재료 대비 보다 인식 또는 식별이 용이한 형태로 하여 가상 냉장고 영상 상에 표시할 수 있다.

이처럼, 냉장고(200)에 보관된 보관 식재료(11)에 곰팡이가 생겼는지 여부에 대한 판단은 수광부(123)가 수신한 반사광량에 기초하여 이루어질 수 있다.

스피커부(124)는 몸체부(110)의 일영역에 배치되고 경고음(알람, 소리)을 발생시킬 수 있다. 스피커부(124)는 일예로 몸체부(110)의 측면 중 일영역에 배치될 수 있으나, 이에 한정되는 것은 아니다.

스피커부(124)는 제어부(114)에 의해 동작이 제어될 수 있다. 이때, 제어부(114)는 스피커부(124)의 동작으로서, 스피커부(124)로부터 발생되는 경고음의 신호 크기, 발생 시간, 발생 패턴 및 종류 중 적어도 하나를 제어할 수 있다.

제어부(114)는, 수광부(123)가 수신한 반사광량이 기설정된 기준 범위 내 임계 기준 값 미만인 경우, 냉장고(200) 내에서 기설정된 범위 내 임계 기준 값 미만의 반사광량에 대응하는 보관 식재료의 제거가 이루어질 수 있도록 경보음이 발생되도록 스피커부(124)의 동작을 제어할 수 있다.

여기서, 기설정된 기준 범위는 앞서 말한 바와 같이 제1 값 이상 제2 값 미만의 범위(일예로, 0 이상 70 미만의 범위)를 의미할 수 있으며, 기설정된 기준 범위 내 임계 기준 값은 제3 값으로서 30으로 설정될 수 있다.

이에 따르면, 판단부(113)는 수신한 반사광량이 기설정된 기준 범위 내 임계 기준 값인 제3 값 미만인 경우, 해당 반사광량에 대응하는 보관 식재료에 곰팡이가 너무 많이 상당량 생긴 것으로 판단하고 그로 인하여 반사광량의 센싱 값이 낮은 수치(제3 값 미만에 속하는 수치)로 나타난 것임을 인식할 수 있다.

따라서, 제어부(114)는 수신한 반사광량이 기설정된 기준 범위 내 임계 기준 값인 제3 값 미만인 경우, 반사광량이 제3 값 미만의 값으로 나타나는 해당 보관 식재료(11)가 곰팡이가 심각하게 많이 발생해 냉장고(200) 내에서 해당 보관 식재료(11)의 제거가 즉시(시급하게) 필요한 것으로 판단하여, 이에 냉장고(200) 내에서 반사광량에 대응하는 보관 식재료(11)의 제거가 즉시 이루어질 수 있도록, 경보음 발생을 위해 스피커부(124)의 동작을 제어할 수 있다.

온도 센서(125)는 몸체부(110)의 하면의 일영역에 배치되고, 냉장고(200)에 보관된 보관 식재료(11)의 온도(특히, 표면 온도)를 측정할 수 있다. 이러한 온도 센서(125)는 비접촉 온도 센서로서, 일예로 적외선 온도 센서일 수 있다. 다만, 이에만 한정되는 것은 아니고, 본 장치(100)에 적용되는 온도 센서(125)로는 물체, 사물 등의 온도 측정이 가능한 다양한 종료의 온도 센서(125)가 적용될 수 있다.

온도 센서(125)는 몸체부(110)의 하면의 일영역으로서, 일예로 발광부(122)와 수광부(123)의 사이에 배치될 수 있으나, 이에만 한정되는 것은 아니고, 그 배치 위치는 다양하게 설정될 수 있다.

제어부(114)는, 온도 센서(125)를 통해 측정된 보관 식재료(11)의 온도가 기 설정된 온도 값 이상인 경우, 보관 식재료(11)에 의해 냉장고(200)가 손상될 가능성(혹은 냉장고의 수명이 단축될 가능성)이 있는 것으로 판단하여, 경보음이 발생되도록 스피커부(124)의 동작을 제어할 수 있다.

여기서, 기 설정된 온도 값은 일예로 40도로 설정될 수 있으나, 이에 한정되는 것은 아니고, 이는 사용자 입력에 의해 설정될 수 있다.

특히나, 판단부(113)는 온도 센서(125)를 통해 측정된 보관 식재료(11)의 온도가 기 설정된 온도 값 이상인 경우, 기 설정된 온도 값 이상으로 나타나는 보관 식재료(11)를 제4 조건을 충족하는 이상 식재료인 것으로 판단할 수 있다. 이후, 제어부(114)는 제4 조건을 충족하는 이상 식재료가 냉장고(200) 내에 존재하는 것으로 판단되면, 경보음이 발생되도록 스피커부(124)의 동작을 제어할 수 있다.

탈취제 저장부(126)는 탈취제를 저장할 수 있다. 탈취제 저장부(126)에 저장되는 탈취제는 일예로 액체 타입일 수 있고, 종래에 공지되었거나 향후 개발되는 탈취제가 적용될 수 있으며, 이에만 한정되는 것은 아니다

탈취제 저장부(126)는 몸체부(110)의 내부에 내장되어 마련되고, 탈취제의 리필이 가능하도록 마련될 수 있다. 이를 위해, 탈취제 저장부(126)에는 탈취제 주입구(미도시)가 연결되고, 탈취제 주입구(미도시)는 일단이 몸체부(110)의 외면에 노출되도록 마련될 수 있다.

분사부(127)는 탈취제 저장부(126)에 저장된 탈취제를 냉장고(200) 내에 분사할 수 있다. 이러한 분사부(127)는 일예로 노즐 형태로 마련됨에 따라 노즐부 등으로 달리 지칭될 수 있다. 분사부(127)는 탈취제 저장부(126)와 연결되고, 몸체부(110)의 일영역으로서 몸체부(110)의 측면 및/또는 하면 중 어느 하나의 일영역에 마련될 수 있다.

제어부(114)는 분사부(127)로부터 분사되는 탈취제의 분사 유형을 제어할 수 있다. 이때, 제어부(114)는 분사부(127)로부터 분사되는 탈취제의 분사 유형으로서, 탈취제의 분사 시간, 분사량, 분사 속도, 및 분사 패턴 중 적어도 하나를 제어할 수 있다.

특히나, 제어부(114)는 수광부(123)가 수신한 반사광의 반사광량에 따라 분사부(127)로부터 분사되는 탈취제의 분사 유형을 달리 제어할 수 있다.

제어부(114)는 수광부(123)가 수신한 반사광의 반사광량이 기설정된 기준 범위 내 임계 기준 값(일예로 제 3값인 30) 미만인 경우, 반사광량에 대응하는 보관 식재료(11)에 곰팡이가 상당량 많이 발생해 있는 것으로 판단하여, 냉장고(200) 내부의 탈취를 위해 분사부(127)로부터 분사되는 탈취제의 분사 유형을 제1 유형에서 제2 유형으로 변경되도록 제어할 수 있다.

여기서, 제2 유형은, 제1 유형과 대비하여 상대적으로 분사량이 많게 설정되거나 분사 시간이 길게 설정되는 유형을 의미할 수 있다. 혹은, 제2 유형은 제1 유형과 대비하여 상대적으로 분사 속도가 빠르게 설정되는 유형을 의미할 수 있다.

즉, 제어부(114)는, 수신한 반사광량이 기설정된 기준 범위 내 임계 기준 값 미만(일예로 30 미만)인 경우(이는 이하에서 설명의 편의상 제1 경우라 지칭하기로 한다) 분사부(127)로부터 분사되는 탈취제의 분사 유형을 제2 유형으로 제어할 수 있다. 한편, 제어부(114)는 수신한 반사광량이 임계 기준 값 이상(일예로, 30 이상 100 이하)인 경우(이는 이하에서 설명의 편의상 제2 경우라 지칭하기로 한다) 분사부(127)로부터 분사되는 탈취제의 분사 유형을 제1 유형으로 제어할 수 있다.

일예로, 제어부(114)는, 제1 경우일 때 분사부(127)로부터 분사되는 탈취제의 분사 유형을 제2 유형으로서 분사랑 50이 되도록 제어할 수 있다. 제어부(114)는, 제2 경우일 때 분사부(127)로부터 분사되는 탈취제의 분사 유형을 제1 유형으로서 분사량 10이 되도록 제어할 수 있다.

다른 일예로, 제어부(114)는, 제1 경우일 때 탈취제의 분사 유형을 제2 유형으로서 분사부(127)로부터 탈취제가 15초에 해당하는 분사 시간동안 분사되도록 제어할 수 있다. 제어부(114)는, 제2 경우일 때 탈취제의 분사 유형을 제1 유형으로서 분사부(127)로부터 분사되는 탈취제가 3초에 해당하는 분사 시간동안 분사되도록 제어할 수 있다.

이처럼, 제어부(114)는 수신한 반사광량이 임계 기준 값 이상(일예로, 30 이상 100 이하)인 경우에는 탈취제의 분사 유형을 제1 유형으로 제어하는 한편, 수신한 반사광량이 임계 기준 값 미만인 경우에는 탈취제의 분사 유형을 제1 유형에서 제2 유형으로 변경되도록 제어할 수 있다. 이러한 본 장치(100)는 곰팡이가 많이 발생하는 경우에 대하여, 곰팡이가 발생하지 않았거나 혹은 곰팡이가 적게 발생한 경우 대비 보다 많은 양의 탈취제가 분사되도록 자동으로 분사 유형(분사량 등)을 제어할 수 있는바, 냉장고(200) 내부가 보다 쾌적한 상태로 유지되도록 제공할 수 있다.

한편, 제어부(114)는 냉장고(200)의 내부의 내부 스캔 영상을 획득하기 위해 이미지 센서(121)의 각도를 제어할 수 있다. 이러한 이미지 센서(121)의 각도 제어를 위해, 도면에 도시하지는 않았으나 본 장치(100)는 이미지 센서(121)의 각도를 조절하는 각도 조절부(미도시)를 포함할 수 있다.

제어부(114)는 각도 조절부(미도시)의 동작을 제어함으로써, 이미지 센서(121)의 각도를 제어할 수 있다. 각도 조절부(미도시)는 이미지 센서(121)가 냉장고(200)의 내부의 공간을 전체 스캔할 수 있도록 이미지 센서(121)의 각도를 조절할 수 있다. 각도 조절부(미도시)는 이미지 센서(121)를 전후/상하/좌우 방향에 대하여 각도가 변경되도록 제어할 수 있으며, 뿐만 아니라 360도 회전 방향에 대하여 각도가 변경되도록 제어할 수 있다. 이러한 각도 조절부(미도시)에 의해, 이미지 센서(121)는 냉장고(200)의 내부의 전체 공간을 스캔한 내부 스캔 영상을 획득할 수 있다.

이미지 센서(121)는 내부 스캔 영상을 획득하는 것 이외에도, 앞서 말한 바와 같이 보관 식재료에 관한 정보를 획득하기 위한 보관 식재료(11)의 촬영 이미지(촬영 영상)를 획득할 수 있다.

판단부(113)는 이미지 센서(121)의 각도를 조절(제어)함으로써 이미지 센서(121)를 통해 획득된 내부 스캔 영상에 대하여 이미지 분석을 수행하여 냉장고(200) 내에서의 보관 식재료(11)의 보관 위치를 식별할 수 있다. 판단부(113)는 내부 스캔 영상에 대한 이미지 분석을 통해, 획득부(111)에서 획득된 보관 식재료(11)에 관한 정보에 대응하는 보관 식재료(11)가 실제 냉장고(200) 내에서 어느 위치해 보관되어 있는지 식별(즉, 냉장고 내에서의 보관 식재료의 보관 위치를 식별)할 수 있다.

이때, 내부 스캔 영상에 대한 이미지 분석시에는 상술한 바와 같이 종래에 공지되었거나 향후 개발되는 다양한 이미지 분석 알고리즘을 적용할 수 있다.

뿐만 아니라, 판단부(113)는 내부 스캔 영상에 대한 이미지 분석을 통해 냉장고(200)의 내부에 입출입되는 식재료(11)를 추적할 수 있다. 판단부(113)는 이러한 식재료(11)의 추적을 통해, 식재료(11)가 냉장고(200) 내 보관을 위해 외부에서 냉장고(200)의 내부로 유입되었는지(넣어졌는지), 혹은 냉장고(200)에 이미 보관되어 있는 식재료(11)가 외부로 유출되었는지(외부로 꺼내어 지는지)를 판단(실시간으로 판단)할 수 있다. 판단부(113)는 이러한 이미지 분석을 통해 냉장고(200)의 내부에 입출입(혹은 유입/유출)되는 식재료(보관 식재료, 11)의 이동을 실시간으로 추적할 수 있다.

또한, 본 장치(100)는 냉장고(200)에 보관된 보관 식재료(11)의 보관 위치를 식별함에 있어서 보다 정확한 보관 위치의 식별을 위해, 도 1에 도시된 바와 같이 본 장치(100)와 네트워크(2)를 통해 연결되는 복수개의 무선 이미지 센서(300)(301, 302, 303, …)를 포함할 수 있다.

복수개의 무선 이미지 센서(300)는 각각 냉장고(200)의 내부에 서로 간에 간격을 두고 이격 배치될 수 있다. 복수개의 무선 이미지 센서(300)는 냉장고(200)의 내부 스캔을 통해 내부 스캔 영상을 획득할 수 있다. 복수개의 무선 이미지 센서(300) 각각은 획득한 내부 스캔 영상을 본 장치(100)로 네트워크(2)를 통해 무선으로 전달(전송)할 수 있다.

이에, 본 장치(100)의 판단부(113)는 복수개의 무선 이미지 센서(300) 각각으로부터 전달받은 내부 스캔 영상 각각에 대한 이미지 분석을 수행하고, 그 결과에 기초하여 본 장치(100)의 이미지 센서(121)로부터 획득된 내부 스캔 영상에 대한 이미지 분석을 수행하여 식별된 보관 식재료(11)의 보관 위치의 정보에 대한 오차 보정을 수행할 수 있다. 이처럼, 복수개의 무선 이미지 센서(300)를 이용함으로써, 본 장치(100)는 냉장고(200) 내 보관된 보관 식재료(11)의 보관 위치를 보다 정확하게 식별하여 그에 대응하는 보관 식재료 아이콘을 가상 냉장고 영상(23) 상에 표시할 수 있다.

모델링부(115)는, 판단부(113)에 의해 식별된 보관 식재료(11)의 보관 위치를 기반으로 하여, 식별된 보관 식재료(11)의 보관 위치(실제 냉장고 내 보관 식재료의 보관 위치)에 대응하는 가상 냉장고 모델(21) 내 대응 위치에, 보관 식재료(11)에 대응하는 보관 식재료 아이콘(22)을 위치시킬 수 있다. 제어부(114)는 이러한 보관 식재료 아이콘(22)을 포함하는 가상 냉장고 영상(23)을 생성하여 사용자 단말(1)의 화면에 표시되도록 제어할 수 있다.

이러한 본 장치(100)는, 식별된 보관 식재료(11)의 보관 위치(실제 냉장고 내 보관 식재료의 보관 위치)에 대응하는 가상 냉장고 모델(21) 내 위치에 보관 식재료(11)에 대응하는 보관 식재료 아이콘(22)을 위치시켜 화면에 표시되도록 함으로써, 실제 냉장고(200)에 보관되고 있는 보관 식재료(11)의 위치와 동일하거나 그에 상응하는 형태의 것으로 화면에 동일하게 표시할 수 있는바, 사용자가 실제 냉장고(200)의 문을 열어보지 않더라도 사용자 단말(1)의 화면에 표시되는 가상 냉장고 영상(23)으로 하여금, 사용자가 실제 냉장고(200) 내부의 모습과 상당히 흡사한 모습을 화면으로 확인할 수 있도록 제공할 수 있다.

이러한 본 장치(100)는, 사용자가 냉장고(200) 내에 보관된 보관 식재료(11)들 중 원하는 특정 보관 식재료를 찾아 꺼내고자 할 때, 먼저 화면에 표시된 가상 냉장고 영상(23)을 통해 해당 특정 보관 식재료의 위치를 확인할 수 있도록 할 수 있으며, 이후 확인된 위치를 기초로 하여 사용자가 실제 냉장고(200)의 문을 열어 냉장고(200) 내에서 해당 특정 보관 식재료만을 선택적으로 빠르게 캐치하여 찾아 꺼낼 수 있도록 도울 수 있다.

종래의 냉장고의 경우에는 다양한 종류의 식품들(식재료들 등)이 각 수납 칸마다 다수 보관된다. 이러한 환경에서는 냉장고에 보관된 식재료들 중 원하는 특정 식재료를 찾아 꺼내고자 할 때, 해당 식재료가 어디에 위치해 있는지를 몰라 찾는데 시간이 오래 소요되며, 이에 따라 냉장고 문을 오래 열어두게 되어 에너지가 많이 낭비되는 문제가 있었다.

이에 반해, 본 장치(100)는 가상 냉장고 영상(23)을 제공함으로써, 사용자 단말(1)의 화면에 표시된 가상 냉장고 영상(23)을 통하여 찾고자 하는 보관 식재료가 실제 냉장고(200)의 내부에서 어느 위치에 위치해 있는지를 실제 냉장고 문을 열기 이전에 확인할 수 있도록 하고, 이에 따라 실제 냉장고(200) 내에서 원하는 보관 식재료를 빠르게 찾아 꺼낼 수 있도록 할 수 있으므로, 종래에 냉장고 문을 오래 열어두거나 자주 열게 됨으로써 야기되는 에너지 낭비 문제를 효과적으로 개선할 수 있다.

즉, 본 장치(100)는 보관된 보관 식재료들 중 특정 보관 식재료를 찾고자 함에 있어서, 종래 기술 대비 냉장고(200)의 문을 여는 횟수, 냉장고(200)가 열려있는 시간 등을 줄일 수 있으므로, 이에 따라 에너지의 낭비를 효과적으로 줄일 수 있다.

또한, 판단부(113)는, 사용자로부터 레시피 정보의 제공을 요청하는 요청 메시지가 수신된 경우, 수신된 요청 메시지에 응답하여 냉장고(200)에 보관된 보관 식재료들 중에서 레시피 정보와 관련된 관련 식재료가 존재하는지 판단할 수 있다.

이후, 제어부(114)는, 판단부(113)에 의해 레시피 정보와 관련된 관련 식재료가 존재하는 것으로 판단되면, 레시피 정보와 냉장고(200)에 보관된 관련 식재료에 관한 정보를 함께 사용자 단말(1)의 화면에 표시되도록 제어할 수 있다.

이때, 제어부(114)는 관련 식재료에 관한 정보를 화면에 표시되도록 할 때, 관련 식재료에 관한 정보를 화면의 일영역에 팝업 형태로 표시할 수 있으며, 여기서 팝업 형태로 표시되는 식재료에 관한 정보로는 저장부(112)에 저장되어 있는 식재료에 관한 정보 중 적어도 일부로서 텍스트 정보, 이미지 정보 등이 포함될 수 있다.

다른 일예로, 제어부(114)는 관련 식재료에 관한 정보를 화면에 표시되도록 할 때, 가상 냉장고 영상(23) 상에 표시되는 보관 식재료 아이콘들 중 관련 식재료에 대응하는 관련 식재료 아이콘이 관련 식재료와 관련 없는 미관련 식재료에 대응하는 미관련 식재료 아이콘 대비 보다 인식 또는 식별이 용이한 형태로 표시되도록 표시 형태를 제어할 수 있다.

이때, 관련 식재료 아이콘을 인식 또는 식별이 용이한 형태로 표시한다는 것은, 앞서 설명한 이상 식재료 아이콘을 인식 또는 식별이 용이한 형태로 표시하는 것에 대하여 설명된 내용과 동일하거나 유사하게 이해될 수 있는바, 이하 중복되는 설명은 생략하기로 한다.

예시적으로, 제어부(114)는, 가상 냉장고 영상(23) 상에 표시되는 보관 식재료 아이콘들 중 관련 식재료 아이콘은 빨간색으로 강조된 볼딕 형태의 표시가 미리 설정된 시간 주기(일예로, 1초 주기)마다 점멸(깜빡깜빡)하는 형태로 표시하는 한편, 미관련 식재료 아이콘은 아무런 강조 표시 효과가 적용되지 않은 형태로 표시되도록 할 수 있다.

이러한 본 장치(100)는 관련 식재료 아이콘을 화면 상에 보다 식별이 용이한 형태로 표시함으로써, 사용자가 특정 요리를 수행하고자 하는 경우, 냉장고(200)에 보관된 각종 보관 식재료들의 현황을 토대로 냉장고(200) 내에 사용자가 원하는 요리의 조리시 필요한 식재료(관련 식재료)가 존재하는지 여부를 보다 직관적으로 확인 가능하게 할 수 있다. 또한, 본 장치(100)는 가상 냉장고 영상(23) 상에서 표시되는 관련 식재료 아이콘의 표시 위치(배치 위치)가 실제 냉장고(200)에 보관된 식재료의 보관 위치와 상응하게 표시되는 것임에 따라, 관련 식재료 아이콘을 보다 식별 용이한 형태로 표시하는 경우, 사용자가 냉장고(200) 내에서 보관 식재료들 중 관련 식재료만을 찾는데 헤매지 않고 보다 빠르게 찾을 수 있도록 도울 수 있다. 이러한, 본 장치(100)는 냉장고(200) 내에서 필요로 하는 보관 식재료 혹은 관련 식재료를 찾을 때, 해당 식재료를 찾지 못해 헤맴에 따른 시간 낭비를 효과적으로 줄일 수 있다.

또한, 제어부(114)는 레시피 정보의 제공을 요청하는 요청 메시지가 수신되면, 그에 응답하여 일예로 온라인 웹 상에서 요청 메시지에 대응하는 레시피 정보를 검색하고, 검색된 레시피 정보들 중 대표 레시피 정보를 선정한 후 선정된 대표 레시피 정보를 화면에 표시되도록 제어할 수 있다. 여기서, 제어부(114)는 검색된 레시피 정보들 중 일예로 후기가 많거나 평점이 높은 레시피 정보를 대표 레시피 정보로서 선정할 수 있으며, 이에만 한정되는 것은 아니다. 이에 따르면, 제어부(114)에 의해 화면에 표시되는 레시피 정보는 대표 레시피 정보라 달리 지칭될 수 있다.

다른 일예로, 제어부(114)는 온라인 웹 상에서 검색된 레시피 정보들과 관련하여 복수개의 레시피 정보 선택 항목을 포함하는 레시피 리스트를 사용자 단말(1)의 화면에 표시하고, 이후 레시피 리스트에 포함된 복수개의 레시피 정보 선택 항목 중 어느 하나의 레시피 정보 선택 항목에 대한 사용자 입력이 이루어지면, 사용자 입력에 대응하는 어느 하나의 레시피 정보 선택 항목에 대응하는 레시피 정보를 대표 레시피로서 선정할 수 있다.

또한, 제어부(114)는 대표 레시피 정보를 사용자 단말(1)의 화면에 제공하는 경우, 추가적으로 화면에 표시된 레시피 정보(대표 레시피 정보)에 포함된 시간 관련 정보에 대응하는 타이머 알람을 생성하고, 생성된 타이머 알람이 화면에 표시되도록 제어할 수 있다. 이때, 제어부(114)는 레시피 정보(대표 레시피 정보)에 포함된 적어도 하나의 시간 관련 정보 각각에 대응하도록 적어도 하나의 타이머 알람을 생성하고, 생성된 적어도 하나의 타이머 알람이 화면 상에 표시되도록 제어할 수 있다.

예시적으로, 사용자 단말(1)에 표시된 레시피 정보(대표 레시피 정보)가 "step1. 당면을 10분간 불린다. step2. 불린 당면을 끓는 물에 넣고 5분간 삶는다. step3. 삶은 당면을 후라이팬에 넣고 2분 30초간 볶는다"와 같은 정보라고 가정하자.

이러한 경우, 제어부(114)는 레시피 정보에 포함된 적어도 시간 관련 정보에 대응하는 타이머 알람으로서, 3개의 타이머 알람을 생성할 수 있다. 즉, 제어부(114)는 3개의 타이머 알람으로서, '10분에 대응하는 타이머 알람', '5분에 대응하는 타이머 알람', 및 '2분 30초에 대응하는 타이머 알람'을 각각 생성할 수 있다. 제어부(114)는 이러한 생성된 타이머 알람을 사용자 단말(1)의 화면 상에 표시되도록 제어할 수 있다.

이후, 사용자는 화면 상에 표시된 타이머 알람을 기반으로, 레시피 정보를 따라 단계별로(step 별로) 요리를 진행할 수 있다. 이때, 단계별로(step 별로) 요리를 진행하는 과정에서 사용자는 일예로 화면 상에 표시된 적어도 하나의 타이머 알람 중 어느 하나의 타이머 알람에 대한 입력(예를 들어, 터치 입력)을 수행할 수 있다.

일예로, 사용자는 당면을 10분간 불리는 step1을 수행하는 과정에서, 화면 상에 표시된 '10분에 대응하는 타이머 알람'에 대한 터치 입력을 수행할 수 있다. 이러한 경우, 제어부(114)는 사용자 입력(사용자 터치입력)에 응답하여, '10분에 대응하는 타이머 알람'을 활성화시켜 10분 동안 타이머를 동작시킬 수 있다. 이후, '10분에 대응하는 타이머 알람'에 대응하는 시간(즉, 10분)이 경과되면, 제어부(114)는 시간이 경과되었음을 알리는 팝업 창이 화면 상에 표시되도록 제어하거나, 또는 시간이 경과되었음을 알리는 소리 알림이 사용자 단말(1)의 스피커부(미도시)를 통해 발생되도록 제어할 수 있다. 이후, 제어부(114)는 시간이 경과되었음을 알리는 팝업창 내지 소리 알림에 대한 사용자 확인 입력(터치입력)이 이루어진 경우, 해당 '10분에 대응하는 타이머 알람'을 종료(혹은, 비활성화)시킬 수 있다. 이러한 과정은 각각의 스텝들(step1 내지 step3 각각)에 대하여 반복 수행될 수 있다.

종래에는 사용자가 사용자 단말(1)로 레시피 정보를 보면서 요리시 타이머를 활용하는 경우, 각각의 요리 과정의 스텝 과정에서 '타이머의 시간을 맞추고 해당 시간이 경과되면 타이머를 끄고, 다음 스텝 과정의 수행을 위해 다시 타이머의 시간을 맞추고 해당 시간이 경과되면 타이머를 끄는 과정'을 반복적으로 수행하였다. 그런데, 이러한 방식은 각 스텝마다 타이머의 시간 설정이 사용자에 의한 수동 입력에 의해 이루어졌기 때문에, 많은 불편함이 존재하고 타이머 시간 설정으로 인해 많은 시간의 소요가 이루어지는 문제(타이머 시간 설정에 따른 시간 지체로 인해 전체 요리 시간이 증가하는 문제) 등이 있었다.

이에 반해, 본 장치(100)는, 화면에 표시되는 레시피 정보(대표 레시피 정보)와 관련하여, 레시피 정보에 포함된 데이터를 자동으로 분석하여 레시피 정보(대표 레시피 정보)에 포함된 적어도 하나의 시간 관련 정보 각각에 대응하도록 자동으로 적어도 하나의 타이머 알람을 생성하고 이를 화면에 표시하기 때문에, 사용자가 별도로 타이머 시간을 설정할 필요 없어 요리 시간을 단축시키고, 원활한 요리의 진행이 이루어지도록 제공할 수 있다. 즉, 본 장치(100)는 사용자가 요리(조리)를 수행함에 있어서, 자동으로 생성되는 복수의 타이머 알람을 포함한 레시피 정보를 화면에 제공함으로써, 원활한 요리의 수행이 이루어지도록 제공할 수 있다.

다시 말해, 레시피 정보 내 시간 정보를 준수하는 사용자(예를 들어, 요리 초보자)의 경우, 종래에는 사용자가 요리의 진행 단계별로(step별로) 일일이 타이머를 맞추며 요리를 했기 때문에 원활한 요리가 이루어지기 어려운 문제가 있었다. 반면, 본 장치(100)의 경우 레시피 정보에 포함된 적어도 하나의 시간 관련 정보에 대응하는 타이머 알람을 자동으로 생성하여 제공할 수 있기 때문에, 본 장치(100)는 사용자가 보다 원활하게 요리를 진행할 수 있도록 제공할 수 있다.

또한, 제어부(114)는 냉장고(200)에 보관된 보관 식재료들(혹은 저장부에 저장되어 관리되는 보관 식재료들) 중 레시피 정보와 관련된 관련 식재료가 복수개인 경우, 복수개의 관련 식재료를 화면에 제공할 수 있다. 이때, 제어부(114)는 복수개의 관련 식재료에 관한 정보를 화면에 제공함에 있어서, 복수개의 관련 식재료 중 빠른 소진(소비)이 필요하다고 판단되는 관련 식재료가 보다 화면의 상단에 표시되도록 할 수 있다. 즉, 제어부(114)는 복수개의 관련 식재료를 화면에 표시함에 있어서, 빠른 소진이 필요하다고 판단되는 관련 식재료의 순으로(순서로) 화면에 나열하여 표시할 수 있다. 달리 말해, 제어부(114)는 빠른 소진이 필요하다고 판단되는 관련 식재료를 우선 순으로 하여 화면에 표시할 수 있다.

이때, 빠른 소진이 필요하다고 판단되는 관련 식재료의 순서는, 예시적으로 제3 조건을 충족하는 관련 식재료(즉, 곰팡이가 발생한 것으로 감지된 관련 식재료) → 제2 조건을 충족하는 관련 식재료(즉, 유통기한이 이미 지난 것으로 감지된 관련 식재료) → 제1 조건을 충족하는 관련 식재료(즉, 유통기한이 임박한 것으로 감지된 관련 식재료)의 순일 수 있다.

이처럼, 본 장치(100)는 관련 식재료에 관한 정보를 화면에 제공할 때 뿐만이 아니라 냉장고(200)에 보관된 보관 식재료들 중 적어도 하나의 보관 식재료에 관한 정보를 화면에 제공할 때, 보다 빠른 소진(소비)이 필요하다고 판단되는 보관 식재료(혹은 관련 식재료)를 우선 순으로 하여(상위 순으로 하여) 제공함으로써, 냉장고(200)에 보관된 보관 식재료들 중 빠른 소진(소비)이 필요하다고 판단되는 시급한 보관 식재료들 먼저 우선으로 사용되도록 할 수 있어, 보관 식재료를 버리거나 하는 등의 낭비 없이 보관 식재료들을 효과적으로 사용하고 관리할 수 있도록 제공할 수 있다.

또한, 제어부(114)는 레시피 정보의 제공을 요청하는 요청 메시지의 수신이 이루어지면, 그에 응답하여, 웹 상에서 검색된 레시피 정보와 그에 관련된 관련 식재료에 관한 정보를 화면에 표시할 수 있다.

뿐만 아니라, 제어부(114)는 냉장고(200)에 보관된 보관 식재료(11)들 중 적어도 하나의 보관 식재료를 이용하여 요리할 수 있는(요리 가능한) 보관 식재료 기반 레시피 정보의 제공(추천)을 요청하는 보관 식재료 기반 레시피 정보 제공 요청 메시지를 사용자로부터 입력받을 수(수신할 수) 있다. 이러한 경우, 제어부(114)는 사용자로부터 입력(수신)된 보관 식재료 기반 레시피 정보 제공 요청 메시지에 응답하여, 저장부(112)에 저장된 보관 식재료들에 관한 정보 중 적어도 하나의 보관 식재료와 관련된 레시피 정보로서, 적어도 하나의 보관 식재료를 이용하여 요리(조리) 가능한 레시피 정보를 웹 상에서 검색하여 화면에 표시할 수 있다.

이때, 제어부(114)는 저장부(112)에 저장된 복수의 보관 식재료들에 관한 정보 중 적어도 하나의 보관 식재료를 식별하고, 이때 식별되는 적어도 하나의 보관 재료로서 냉장고(200)에 보관된 보관 식재료들 중 빠른 소진(소비)이 필요하다고 판단되는 시급한 보관 식재료들을 우선 순위로 하여 식별할 수 있다. 이후, 제어부(114)는 식별된 적어도 하나의 보관 식재료(빠른 소진이 필요하다고 판단된 적어도 하나의 보관 식재료)를 이용하여 요리(조리) 가능한 레시피 정보를 사용자 단말(1)의 화면 상에 표시할 수 있다.

이러한, 본 장치(100)는 냉장고(200)에 보관된 보관 식재료(11)들로 만들 수 있는 레시피 정보를 화면 상에 제공(추천)할 수 있으며, 특히나 빠른 소진이 필요하다고 판단된 적어도 하나의 보관 식재료를 우선으로 이용하여 만들 수 있는 레시피 정보를 제공함으로써, 빠른 소진이 필요한 보관 식재료가 우선 사용되도록 할 수 있어 보관 식재료를 버리거나 하는 등의 낭비 없이 보관 식재료들을 효과적으로 사용하고 관리할 수 있도록 제공할 수 있다.

한편, 제어부(114)는 저장부(112)에 저장된 보관 식재료들(달리 표현해, 냉장고(200)에 보관된 식재료들, 특히 냉장고(200)에 보관되어 본 장치(100)에 의해 데이터베이스화하여 관리되고 있는 보관 식재료들) 중 기 설정된 이상 감지 조건을 충족하는 이상 식재료가 존재하는지 여부를 판단함에 있어서, 이상 식재료의 존재 여부를 실시간 및/또는 주기적으로 판단하고자, 기 설정된 이상 감지 조건을 충족하는지 판단하는 센서들을 실시간으로 및/또는 주기적으로 동작시킬 수 있다.

여기서, 보관 식재료가 기 설정된 이상 감지 조건을 충족하는지를 판단하는 센서들에는 이미지 센서(121), 발광부(122), 수광부(123) 및 온도 센서(125)가 포함될 수 있으나, 이에 한정되는 것은 아니다. 제어부(114)는 이러한 센서들을 실시간으로 동작하도록 제어할 수 있으며, 또는 미리 설정된 시간 주기로 센싱하도록 동작을 제어할 수 있다. 이때, 미리 설정된 시간 주기는 일예로 3초, 5초 등일 수 있으나 이에 한정되는 것은 아니다.

이때, 제어부(114)는 보관 식재료가 기 설정된 이상 감지 조건을 충족하는지를 판단하는 센서들(121, 122, 123, 125)의 센싱 동작 주기를, 냉장고(200)의 문이 열린 상태인 것으로 감지된 이후 다시 문이 닫힌 상태인 것으로 감지된 시점으로부터 미리 설정된 시간 동안에는 제1 센싱 동작 주기로 설정하고, 냉장고(200)의 문이 닫힌 상태인 것으로 감지된 시점으로부터 미리 설정된 시간을 초과한 시간 이후 동안에는 제2 센싱 동작 주기로 설정할 수 있다.

이하에서는 설명의 편의상, 냉장고(200)의 문이 열린 상태인 것으로 감지된 이후 다시 문이 닫힌 상태인 것으로 감지된 시점으로부터 미리 설정된 시간 동안을 제1 상태의 시간 동안이라 표현하고, 냉장고(200)의 문이 닫힌 상태인 것으로 감지된 시점으로부터 미리 설정된 시간을 초과한 시간 이후 동안을 제2 상태의 시간 동안이라 표현하기로 한다. 일예로, 문이 닫힌 상태인 것으로 감지된 시점으로부터 미리 설정된 시간은 1시간으로 설정될 수 있으나, 이에 한정되는 것은 아니다.

다시 말하자면, 제1 상태의 시간 동안이라 함은, 냉장고(200)의 문이 열린 상태인 것으로 감지된 시점을 시작 시점으로 하고, 문이 열린 후 다시 닫히고 나서 미리 설정된 시간(일예로 1시간)이 경과된 시점을 종료 시점으로 하는 시간 구간을 의미할 수 있다. 반면, 제2 상태의 시간 동안이라 함은, 냉장고(200)의 문이 닫히고 미리 설정된 시간(일예로 1시간)이 경과된 시점을 시작 시점으로 하고, 문이 열린 상태인 것으로 감지된 시점을 종료 시점으로 하는 시간 구간을 의미할 수 있다.

제1 센싱 동작 주기는 제2 센싱 동작 주기보다 짧게 설정될 수 있다. 일예로, 제1 센싱 동작 주기는 1초로 설정되고, 제2 센싱 동작 주기는 1시간으로 설정될 수 있다. 다만, 이러한 시간 설정은 본원의 이해를 돕기 위한 하나의 예시일 뿐, 이에만 한정되는 것은 아니고 다양하게 설정될 수 있다.

예시적으로, 제어부(114)는 제1 상태의 시간 동안 센서들(121, 122, 123, 125)이 제1 센싱 동작 주기인 1초 주기(간격)마다 센싱값을 획득하도록 센서들(121, 122, 123, 125)의 동작을 제어하고, 제2 상태의 시간 동안 센서들(121, 122, 123, 125)이 제2 센싱 동작 주기인 1시간 주기(간격)마다 센싱값을 획득하도록 센서들(121, 122, 123, 125)의 동작을 제어할 수 있다.

이러한 본 장치(100)는, 제1 상태의 시간 동안이 제2 상태의 시간 동안과 대비하여 상대적으로 냉장고(200) 문의 오픈(열림)으로 인해 냉장고(200) 내에 보관된 보관 식재료들이 외부의 온도에 영향을 받아 변질될 가능성(실질적으로 사용 가능한 식재료의 유통기한이 짧아지거나, 곰팡이가 피는 등의 변질 가능성)이 더 높은 것으로 보고, 제1 상태의 시간 동안이 제2 상태의 시간 동안보다 더 자주 센싱이 이루어지도록 센서들(121, 122, 123, 125)의 동작을 제어할 수 있다. 이러한 본 장치(100)는 냉장고(200)에 보관되고 있는 보관 식재료들 중(혹은, 저장부에 데이터베이스화 되어 관리되고 있는 보관 식재료들 중) 이상 식재료가 존재하는지에 대한 판단이 보다 신속하고 효율적으로 이루어지도록 할 수 있다.

이때, 냉장고(200)의 문이 열렸는지 여부(혹은 닫혔는지 여부)에 대한 감지는, 도면에 도시하지는 않았으나 본 장치(100)의 측면의 일영역에 마련된 거리 감지 센서(미도시)를 이용하여 감지될 수 있다. 거리 감지 센서(미도시)는 냉장고(200) 내부에 설치된 본 장치(100)의 위치로부터 냉장고(200)의 문이 내면까지의 거리를 센싱할 수 있다.

이때, 판단부(113)는 거리 감지 센서(미도시)에 의해 감지된 거리 측정 값이 기준 값을 초과하는 것으로 감지되면, 냉장고(200)의 문이 열린 오픈 상태인 것으로 감지할 수 있다. 반면, 판단부(113)는 거리 감지 센서(미도시)에 의해 감지된 거리 측정 값이 기준 값인 것으로 감지되면, 냉장고(200)의 문이 닫힌 상태인 것으로 감지할 수 있다. 여기서, 기준 값은, 냉장고(200) 내부에 설치된 본 장치(100)의 위치로부터 냉장고(200)의 문이 닫힌 상태일 때를 기준으로 하였을 때 냉장고(200) 문의 내면까지의 거리로 설정될 수 있다.

이처럼, 판단부(113)는 거리 감지 센서(미도시)에 의해 감지된 거리 측정 값의 분석을 통해 냉장고(200)의 문 열림, 문 닫힘 등의 상태를 판단할 수 있으며, 제어부(114)는 판단부(113)에 의해 판단된 냉장고(200)의 문 열림 상태(문 닫힘 상태)를 고려하여 센서들(121, 122, 123, 125)의 센싱 동작 주기를 문 열림 상태에 따라 가변적으로 제어할 수 있다. 이를 통해, 본 장치(100)는 이상 식재료가 존재하는지에 대한 판단을 보다 신속하고 효율적으로 수행할 수 있다.

본 장치(100)는 몸체부(110)가 사용자의 손에 파지할 수 있는 소형의 크기의 형태로 마련될 수 있다.

몸체부(110)는, 냉장고(200)에 대한 본 장치(100)의 탈부착을 가능하게 하는 탁부착부(미도시)를 포함할 수 있다. 탈부착부(미도시)는 몸체부(110)의 상면의 적어도 일부 영역에 배치될 수 있다.

일예로 탈부착부(미도시)는 일예로 소정의 접착력을 가지는 형태(예를 들어, 끈끈이 형태 등)로 마련될 수 있다. 다른 일예로, 탈부착부(미도시)는 자성을 띠는 물질로 이루어진 자성체(일예로, 자석 등)로 마련될 수 있다. 이러한 예는, 본원의 이해를 돕기 위한 하나의 예시일 뿐, 이에 한정되는 것은 아니고, 탈부착부(미도시)는 냉장고(200)에 탈부착을 가능하게 하는 것이라면 무엇이든 적용 가능하다.

본 장치(100)는 냉장고(200)에 보관되는 보관 식재료(11)들을 스캔하여 냉장고 속 식재료를 데이터화하고, 이를 사용자 단말(1)의 화면을 통해 가상 화면으로 구현하여 제공함으로써, 냉장고(200)에 보관된 보관 식재료(11)들에 대한 관리가 보다 효과적이며 원격으로 관리 가능하도록 하며, 보관 식재료(11)들에 대한 효율적인 소진/소비가 가능하도록 제공할 수 있다. 또한, 본 장치(100)는 냉장고(200)에 보관된 보관 식재료(11)들로 만들 수 있는 레시피 정보를 제공할 수 있다.

또한, 본 장치(100)에서 획득되는 냉장고(200)에 보관된 보관 식재료들의 정보(구매일자, 유통기한 등)는, 일예로 냉장고(200)의 내부를 스캔, 촬영할 수 있는 소형 AI 기기의 형태로 마련되는 본 장치(100)의 이미지 센서(121)(및/또는 복수개의 무선 이미지 센서)를 이용하여 획득하거나, 다른 일예로 사용자 단말(1)의 이미지 센서를 이용하여 획득하거나, 또 다른 일예로 사용자 단말(1)에 대한 사용자의 직접 입력을 통해 획득될 수 있다. 즉, 본 장치(100)는 이미지 센서를 이용한 스캔, 촬영 방식 및 사용자에 의한 직접 입력(타이핑 등) 방식을 이용하여 보관 식재료(11)들에 관한 정보를 획득할 수 있다.

본 장치(100)가 획득한 냉장고(200)에 보관된 보관 식재료(11)들에 관한 정보는 사용자 단말(1)과 연동되어 사용자 단말(1)의 화면 상에 가상 화면(즉, 가상 냉장고 영상, 23)으로 구현되어 표시될 수 있다.

본 장치(100)는 온도 센서(125)를 이용하여 냉장고(200)에 보관할 식재료(혹은 음식, 해당 음식을 담은 그릇 등)의 온도(일예로 표면 온도)를 측정할 수 있으며, 측정된 온도 값이 기 설정된 온도 값 이상인 경우, 냉장고(200)가 해당 식재료에 의해 손상될 가능성이 있는 것으로 보고 스피커부(124)를 통해 경보음이 발생되도록 스피커부(124)의 동작을 제어할 수 있다.

본 장치(100)는 냉장고(200)에 탈부착 가능하게 마련되는 소형 AI 기기로 하여금 보관 식재료들의 유통기한 등을 관리할 수 있다. 뿐만 아니라, 본 장치(100)는 냉장고(200)에 보관된 보관 식재료를 향하여 광을 조사하고 조사된 광에 대응하는 반사광의 반사광량을 분석함으로써, 해당 보관 식재료의 변질 여부를 판단(일예로, 곰팡이가 발생되었거나 하는 등의 판단)할 수 있다.

이때, 본 장치(100)는 변질된 보관 식재료가 존재(일예로 곰팡이가 발생한 식재료가 존재)하는 것으로 판단되면, 곰팡이의 발생 정도에 따라 스피커부(124)의 경고음의 동작(일예로, 경고음의 신호 크기, 발생 시간, 발생 패턴 및 종류 등)을 달리 제어하거나, 및/또는 본 장치(100)에 마련된 분사부(127)로부터 분사되는 탈취제의 분사 유형(일예로, 탈취제의 분사 시간, 분사량, 분사 속도, 분사 패턴 등)을 달리 제어(조절)할 수 있다.

또한, 본 장치(100)는 실제 냉장고(200)의 내부를 스캔/촬영하여, 냉장고(200)에 보관된 각 보관 식재료들의 위치를 반영해 화면 상에 표출시킬 수 있다. 이때, 본 장치(100)는 일예로 특정 레시피 정보의 제공을 요청하는 사용자 입력이 이루어지면(특정 레시피 정보의 제공을 요청하는 요청 메시지의 수신이 이루어지면), 화면에 표출된 보관 식재료 아이콘들 중 레시피 정보에 대한 요리(조리)시 필요한 보관 식재료에 해당하는 아이콘들을 레시피 정보와 관련된 관련 식재료에 대응하는 관련 식재료 아이콘으로 식별할 수 있다. 이후, 본 장치(100)는 식별된 관련 식재료 아이콘을 관련되지 않은 미관련 식재료 아이콘과 대비하여 보다 인식 또는 식별이 가능한 형태(일예로, 색상을 달리하거나, 크기를 달리하거나 등)로 화면에 표시할 수 있다. 이러한 본 장치(100)는 레시피 정보와 관련된 관련 식재료들을 실제 냉장고(200) 내에서 보다 손쉽게 찾아 꺼낼 수 있도록 하는 사용자 편의를 제공할 수 있다.

또한, 본 장치(100)는 도면에 도시하지는 않았으나, 반사광량을 이용하여 곰팡이의 발생 여부를 판단하는 것에서 나아가, 보관 식재료의 부패로 인한 악취의 발생 여부를 감지하는 악취 발생 감지부(미도시)를 포함할 수 있다. 악취 발생 감지부(미도시)는 냄새 감지부 등으로 달리 지칭될 수 있다.

본 장치(100)는 악취 발생 감지부(미도시)에 의해 악취가 발생한 것으로 감지된 경우, 냉장고(200) 내부에 대한 내부 스캔 영상의 획득을 위해 이미지 센서(121) 및/또는 복수개의 무선 이미지 센서(300)의 동작을 제어할 수 있다. 이후, 본 장치(100)는 획득된 적어도 하나의 내부 스캔 영상에 대한 이미지 분석을 수행하여, 냉장고(200) 내 보관 식재료들 중 악취를 발생시키는 것으로 추정되는 악취 발생 추정 보관 식재료를 식별할 수 있으며, 식별된 악취 발생 추정 보관 식재료에 관한 정보를 화면에 표시할 수 있다. 이때, 악취 발생 추정 보관 식재료는 일예로 제2 조건 및/또는 제3 조건을 충족하는 보관 식재료를 의미하는 것으로서, 유통기한이 지났거나 곰팡이가 발생한 보관 식재료를 의미할 수 있다.

이러한 본 장치(100)는 포켓레시피 장치 등으로 달리 지칭될 수 있다. 본 장치(100)는 가상 공간에 사용자가 실제 사용하는 실제 냉장고(200)를 모델링하여 표시(즉, 사용자 단말의 화면 상에 가상 냉장고 모델을 표시)할 수 있으며, 이를 통해 냉장고(200)에 보관된 보관 식재료들을 관리할 수 있다. 본 장치(100)는 냉장고(200) 내 보관 식재료를 스캔하여 가상의 냉장고인 가상 냉장고 모델 상에서 관리할 수 있다. 본 장치(100)는 냉장고(200)에 보관된 보관 식재료들에 관한 정보를 데이터화하고, 사용자가 가진 보관 식재료들(즉, 냉장고에 보관된 보관 식재료들)로 만들 수 있는 레시피를 바로바로 화면에 표시하여 제시(추천)할 수 있다.

이러한 본 장치(100)는 종래에 냉장고(200) 내에 온갖 식재료와 음식으로 꽉 차있는 경우, 식재료의 구매 일자, 유통기한 등을 일일이 확인하기 어려웠던 문제를 해소하여 이러한 유통기한 등에 대한 효과적인 관리가 이루어지도록 제공할 수 있다. 또한, 본 장치(100)는 종래에 보관중인 식재료들이 유통기한이 지나거나 곰팡이 등이 생김에 따라, 해당 식재료를 처리하기 번거로웠던 문제, 이를 통해 음식물 쓰레기의 양이 많던 문제를 해소할 수 있다. 즉, 본 장치(100)는 음식물 쓰레기의 양을 줄일 수 있도록 하는 냉장고(200) 내 식재료 관리 기술을 제공할 수 있다.

또한, 종래에는 일례로 다량의 식재료를 사서 그 중 일부는 바로 사용하고, 나머지는 냉장고에 보관하였을 때, 냉장고에 보관된 식재료의 존재를 까먹거나(잊거나) 부지런히 활용하지 못함에 따라, 유통기한이 지나거나 곰팡이가 발생하는 등의 이유로 결국 못쓰고 버리게 되던 경우가 있었던 반면, 본 장치(100)는 이러한 문제를 해소할 수 있다.

또한, 본 장치(100)의 제어부(114)는 일예로 식재료와 관련하여 구매를 희망하는 구매 희망 식재료 항목을 사용자로부터 입력받은 경우(혹은, 구매 희망 식재료 항목에 대한 구매를 요청하는 사용자 입력이 이루어진 경우), 구매 희망 식재료 항목에 해당하는 식재료들의 구매를 위한 구매 요청 신호를 전송할 수 있다.

여기서, 구매 요청 신호는, 구매 희망 식재료 항목에 해당하는 식재료를 판매하는 온라인 쇼핑몰과 연계되어 구매 희망 식재료 항목에 해당하는 식재료의 자동 결제가 가능(혹은 자동 결제로 인한 자동 배송이 가능)하도록 제공하는 신호이거나 및/또는 구매 희망 식재료 항목에 해당하는 식재료에 대한 주문 장려를 위해 본 장치(100)와 연계된 사용자 단말(1)의 화면에 메시지 알림을 제공하는 신호일 수 있다.

이러한 본 장치(100)는 사용자로부터 입력받은 구매 희망 식재료 항목에 응답하여 구매 요청 신호를 전송함으로써, 구매를 희망하는 식재료들을 동시에 일괄적으로 구매할 수 있도록 제공할 수 있어, 식재료에 대한 사용자의 구매 편의성을 향상시킬 수 있다.

본 장치(100)는, 사용자 집의 냉장고(200)에 보관중인 식재료와 각 식재료의 정보(구매일자, 유통기한 등)를 사용자가 사용자 단말(1)을 통해 언제 어디서나 확인 가능하도록 제공할 수 있다. 이러한 본 장치(100)는 냉장고(200)의 정리, 음식 관리를 용이하게 하고, 냉장고 공간의 활용성을 향상시킬 수 있는 효과가 있다.

또한, 본 장치(100)는 사용자가 냉장고(200)에 있는 식재료들의 현황(종류나 개수, 상태, 유통기한 등)을 실시간으로 확인할 수 있도록 제공할 수 있으며, 냉장고(200) 내 보관 식재료로 만들 수 있는 레시피를 제시(추천)하는 기능을 가질 수 있다. 이러한 본 장치(100)는 자투리 식재료의 처리에 대한 고민을 감소시키고, 비효율적인 식재료 구매 등에 관한 소비를 효과적으로 감소시킬 수 있다.

본 장치(100)는 냉장고(200) 내 보관 식재료를 관리함에 있어서, 사용자가 그들의 특성과 선호도에 따른 맞춤형 경험을 원하고, 모든 사용자의 개별 특성에 대해 이해하고 이를 바탕으로 그들의 다양한 니즈를 충족시킬 수 있으면서 이를 자동화할 수 있는 툴을 요구하는 사용자 니즈를 고려하여, 이러한 사용자 니즈를 충족시킬 수 있는 냉장고 내 식재료들의 효과적인 관리 기술을 제공할 수 있다.

본 장치(100)는 가상의 공간에 나의 냉장고를 모델링하여 화면에 표시할 수 있다. 본 장치(100)는 실제 냉장고(200) 속 식재료들의 이미지와 식재료 정보를 스캔하여 가상의 냉장고(즉, 가상 냉장고 영상 내 가상 냉장고 모델)에 추가하여 표시할 수 있는바, 가상 냉장고 영상(23)으로 하여금 실제 냉장고(200)의 현실 정보를 가상화면에 구현할 수 있다. 본 장치(100)는 냉장고 정리 팁을 팝업 알림 형태로 제공하거나, 보관 식재료의 구매일자, 유통기한 등의 알림 기능을 제공할 수 있다.

본 장치(100)는 냉장고(200) 내 보관 식재료들에 관한 정보를 데이터화하여 저장부(112) 에 저장하고 관리할 수 있다. 본 장치(100)는 어플 속의 가상 냉장고(즉, 가상 냉장고 모델)에 대하여 식재료들을 데이터화하고, 그 안의 식재료들로 만들 수 있는 레시피들을 제시, 추천 할 수 있다.

일예로, 본 장치(100)는 만들고 싶은 음식이 정해져 있을 경우, 냉장고(200) 내에 보관된 보관 식재료들 이외에 추가적으로 사야 할(구매해야 할) 식재료가 존재하는지 판단하고, 추가적으로 사야 할 식재료가 존재하면 이를 화면을 통해 알릴 수 있다. 또한, 본 장치(100)는 만들고 싶은 음식이 정해져 있지 않을 경우, 냉장고(200) 내에 보관된 보관 식재료들만을 이용하여 만들 수 있는 요리에 관한 레시피 정보를 화면에 제공할 수 있다.

이러한 본 장치(100)는 냉장고(200)에 보관중인 보관 식재료들에 관한 정보나 구매 희망하는 식재료들에 관한 정보를 파악하고 관리할 수 있도록 하는 기능을 제공할 수 있다. 본 장치(100)는 실시간으로 냉장고(200) 내에 보관중인 보관 식재료들의 상태, 현황 등을 사용자가 장소에 구애받지 않고 언제 어디서나 사용자 단말(1)의 어플리케이션을 통해 확인 가능하도록 제공할 수 있다.

종래에는 냉장고(200)에 보관된 보관 식재료들을 디지털화하여 관리하고자 하는 경우, 기존의 아날로그 냉장고 제품을 버리고 사물 인터넷 기술이 적용된 냉장고 제품으로 구매하여 다시 설치해야 했다. 이는 사용자에게 있어서 경제적으로 부담을 야기하고, 많은 시간과 노력이 필요한 문제가 있다.

또한, 종래에는 냉장고 자체에 구비된 디스플레이를 통해 냉장고에 보관된 식재료들의 정보를 파악할 수 있도록 하는 냉장고 관리 기술이 존재하나, 이러한 종래의 냉장고 관리 기술은 냉장고를 새로 구입하지 않으면 그 누구에게도 사용이 불가능한 서비스일 뿐이며, 앞서 말한 바와 같이 경제적인 부담 등의 문제가 존재한다.

이에 반해, 본원은 냉장고(200)에 탈부착 가능한 형태로 마련되는 소형 기기의 형태인 본 장치(100)를 냉장고(200)에 간단히 부착 설치하는 것 만으로, 종래의 아날로그 냉장고 제품도 디지털 형식의 냉장고 제품으로 바꾸어 관리 가능하게 제공할 수 있다. 즉, 본 장치(100)는 기 존재하거나 향후 개발되는 다양한 냉장고 제품들에 적용(호환) 가능하다. 본 장치(100)는 일예로 아날로그 냉장고 제품이나 디지털 냉장고 제품 등과 같이 모든 종류의 냉장고에 적용(호환)될 수 있다.

본 장치(100)는 간단한 본 장치(100)의 설치(탈부착)만으로, 냉장고(200)에 보관중인 보관 식재료에 관한 정보를 원격으로 디지털화하여 관리할 수 있다. 본 장치(100)는 내장고의 내부를 스캔, 촬영하는 소형 AI 기기일 수 있다.

본 장치(100)는 냉장고에 들어가고 나가는(입출입되는) 식재료의 위치를 추적할 수 있다. 이러한 본 장치(100)는 냉장고 정리가 용이하고, 냉장고(200) 내에서 원하는 식재료를 찾는데 걸리는 시간을 감소시킬 수 있다.

또한, 본 장치(100)는 보관 식재료에 관한 정보의 획득을 통해 식재료 데이터를 인식하고, 획득된 보관 식재료에 관한 정보의 분석을 통해 유통기한, 구매일자 등의 관리를 수행할 수 있다. 이러한 보관 식재료에 관한 정보의 획득은 냉장고 내에 넣을 기기인 본 장치(100)가 냉장고의 내부를 스캔하거나, 본 장치(100)의 이미지 센서(121)가 촬영하거나, 혹은 사용자 단말(1)의 이미지 센서가 촬영함으로써 이루어질 수 있다.

본 장치(100)는 소형 AI 기기로서, 냉장고(200) 내에 부착 및 탈착이 가능하며, 사용자 단말(1)의 화면에 구현되는 가상의 냉장고 모델(가상 냉장고 모델, 21)과 연동될 수 있다.

본 장치(100)는 실제 냉장고(200)를 어플에 그대로 구현하여, 실시간으로 언제 어디서든 냉장고(200)에 보관중인 식재료를 확인할 수 있도록 제공할 수 있다. 또한, 본 장치(100)는 구매일자, 유통기한 등을 일일이 확인하기 번거로웠던 종래의 문제를 해소하고, 스캔/촬영을 통해 손쉽게 보관 식재료(11)와 관련된 각종 정보를 획득하고 저장, 관리할 수 있다.

본 장치(100)는 냉장고(200) 내 식재료들을 데이터화하여 현재 가지고 있는 보관 식재료들로 만들 수 있는 레시피 정보를 추천(제공)할 수 있다. 또한, 본 장치(100)는 레시피의 선택이 이루어졌으나, 해당 레시피의 요리를 수행함에 있어서 식재료가 부족하거나 없는 경우(즉, 냉장고에 식재료가 없거나 그 양이 부족한 경우), 필요한 식재료(즉, 상술한 구매 희망 식재료 항목에 해당하는 식재료)를 어플에서 바로 결제, 주문할 수 있도록 제공할 수 있다.

사용자는 사용자 단말(1)을 통해 본 장치(100)의 기기를 어플에 등록할 수 있다. 이를 통해 사용자 단말(1)의 화면에는 본 장치(100)의 기기와 관련하여, 본 장치(100)의 기기가 부착, 설치된 냉장고(200)를 모델링함으로써 생성된 가상 냉장고 모델(21)이 포함된 가상 냉장고 영상(23)이 표시될 수 있다. 화면에 표시되는 가상 냉장고 영상(23)을 통해, 사용자는 실제 냉장고(200)에 보관된 보관 식재료들의 현황, 상태 등을 확인하거나 모니터링하는 등의 관리를 수행할 수 있다.

사용자 단말(1)과 본 장치(100) 간에는 네트워크(2)를 통해 연결될 수 있다. 일예로, 사용자 단말(1)과 본 장치(100) 간에는 블루투스 페어링으로 연결될 수 있다.

일예로, 사용자가 본 장치(100)의 이미지 센서(121)를 문이 열린 상태의 냉장고(200)를 향하도록 하고 본 장치(100)의 일영역에 마련된 버튼(미도시)을 누르면, 그에 응답하여 냉장고(200)의 내부를 비춘 영상이 사용자 단말(1)의 화면에 표시될 수 있다. 이를 통해, 이미지 센서(121)를 이용한 냉장고(200) 내부를 스캔한 내부 스캔 영상이 획득될 수 있다. 즉, 본 장치(100)는 일예로 이미지 센서(121)를 이용하여 냉장고(200)의 내부의 구조 및 냉장고 내부에 보관된 보관 식재료들을 스캔할 수 있다.

본 장치(100)는 일예로, 사용자 단말(1)의 화면 일영역에, 유통기한이 얼마 남지 않은 식재료들을 확인할 수 있는 제1 확인 메뉴, 유통기한이 이미 지난 식재료들을 확인할 수 있는 제2 확인 메뉴, 및 필요한 식재료를 리스트에 담아 구매 가능하도록 하는 제3 확인 메뉴를 표시할 수 있으나, 이에 한정되는 것은 아니다.

본 장치(100)는 일예로 이미지 센서(121) 혹은 사용자 단말(1)의 이미지 센서를 통해 촬영한 특정 보관 식재료에 관한 촬영 이미지가 획득되면, 획득된 촬영 이미지에 대한 이미지 분석을 수행함으로써, 일예로 촬영 이미지 내에서 보관 식재료와 관련해 기재되어 있는 텍스트 정보를 스캔(인식, 식별, 추출)할 수 있다. 본 장치(100)는 보관 식재료에 관한 정보로서, 일예로 식품명, 등록일, 유통기한 등의 정보를 획득하여 저장부(112)에 저장할 수 있다.

본 장치(100)는 보관 식재료에 관한 정보를 이미지 센서(121) 및/또는 사용자 단말(1)의 이미지 센서를 이용해 촬영 이미지를 획득하여 이미지 분석을 수행함으로써 자동 획득할 수 있으며, 혹은 사용자가 직접 입력함으로써 보관 식재료에 관한 정보를 획득해 업로드 할 수 있다.

본 장치(100)는 저장부(112)에 저장된 보관 식재료들에 관한 정보 중 적어도 하나의 보관 식재료에 관한 정보에 대한 선택 입력이 이루어지면, 선택된 보관 식재료로 만들 수 있는 레시피 정보를 화면에 제공할 수 있다.

본 장치(100)는 다양한 레시피를 제공할 수 있다. 특히, 본 장치(100)는 상황별, 재료별, 방법별로 다양하게 필터링하여 사용자가 원하는 맞춤 레시피를 찾을 수 있도록 도울 수 있다.

이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.

도 6은 본원의 일 실시예에 따른 냉장고 식재료 관리 방법에 대한 동작 흐름도이다.

도 6에 도시된 냉장고 식재료 관리 방법은 앞서 설명된 본 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 본 장치(100)에 대하여 설명된 내용은 냉장고 식재료 관리 방법에 대한 설명에도 동일하게 적용될 수 있다.

도 6을 참조하면, 단계S11에서 획득부는, 몸체부에 구비된 이미지 센서를 이용하여 냉장고에 보관된 보관 식재료에 관한 정보를 획득하여 저장부에 저장할 수 있다.

다음으로, 단계S12에서 판단부는, 단계S11에서 저장된 보관 식재료들 중 기 설정된 이상 감지 조건을 충족하는 이상 식재료가 존재하는지 판단할 수 있다.

다음으로, 단계S13에서 제어부는, 단계S12에서 이상 식재료가 존재하는 것으로 판단되는 경우, 이상 식재료에 관한 정보를 화면에 표시할 수 있다.

상술한 설명에서, 단계 S11 내지 S13은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.

본원의 일 실시 예에 따른 냉장고 식재료 관리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

또한, 전술한 냉장고 식재료 관리 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.

전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

1000: 냉장고 식재료 관리 시스템
100: 냉장고 식재료 관리 장치
110: 몸체부 111: 획득부
112: 저장부 113: 판단부
114: 제어부 115: 모델링부
121: 이미지 센서 122: 발광부
123: 수광부 124: 스피커부
125: 온도 센서 126: 탈취제 저장부
127: 분사부

Claims (12)

1. 냉장고 식재료 관리 장치로서,
   몸체부;
   상기 몸체부에 구비된 이미지 센서를 이용하여 냉장고에 보관된 보관 식재료에 관한 정보를 획득하여 저장부에 저장하는 획득부;
   상기 저장부에 저장된 보관 식재료들 중 기 설정된 이상 감지 조건을 충족하는 이상 식재료가 존재하는지 여부를 판단하는 판단부; 및
   상기 이상 식재료가 존재하는 것으로 판단되는 경우, 상기 이상 식재료에 관한 정보를 사용자 단말로 제공하여 화면에 표시하는 제어부를 포함하되,
   상기 몸체부는,
   탈취제를 저장하는 탈취제 저장부; 및
   상기 탈취제 저장부에 저장된 탈취제를 상기 냉장고 내에 분사하는 분사부를 더 포함하고,
   상기 이상 감지 조건은, 보관 식재료의 유통기한의 잔여일이 미리 설정된 잔여일 만큼 남아있는 조건인 제1 조건, 보관 식재료의 유통기한의 경과일이 미리 설정된 경과일 만큼 지난 조건인 제2 조건, 및 보관 식재료에 대한 곰팡이 발생 여부의 판단을 위해 상기 보관 식재료를 향하여 조사된 광에 대응하는 반사광량을 기초하여 곰팡이 존재 여부 및 곰팡이의 정도를 판단하고 기설정된 기준 범위에 속하는 조건인 제3 조건을 포함하고,
   상기 판단부는 사용자로부터 레시피 정보의 제공을 요청하는 메시지가 수신된 경우, 상기 메시지에 응답하여 상기 식재료들 중에서 상기 레시피 정보와 관련된 관련 식재료가 존재하는지 판단하고,
   상기 제어부는 상기 관련 식재료가 존재하는 것으로 판단되면, 상기 제1조건 내지 상기 제3조건에 기초하여 소진이 필요하다고 판단되는 관련 식재료를 우선 순으로 이용하여 만들 수 있는 레시피 정보를 상기 사용자 단말의 화면에 표시되도록 제어하고,
   상기 제어부는 상기 반사광량에 따라 분사부로부터 분사되는 탈취제의 분사 유형을 다르게 제어하는 것인,
   냉장고 식재료 관리 장치.
2. 삭제
3. 제1항에 있어서,
   상기 보관 식재료에 관한 정보에 대응하는 보관 식재료 아이콘을 생성하고, 상기 냉장고를 모델링한 가상 냉장고 모델 내에 상기 보관 식재료 아이콘을 위치시킨 가상 냉장고 영상을 생성하여 상기 사용자 단말의 화면에 표시하기 위해 상기 제어부로 제공하는 모델링부를 더 포함하고,
   상기 제어부는,
   상기 화면에 표시된 상기 가상 냉장고 영상 상에서, 상기 가상 냉장고 모델 내에 위치한 보관 식재료 아이콘 중 이상 식재료에 대응하는 이상 식재료 아이콘의 표시 형태를 이상 식재료의 이상 유형에 따라 달리하는 것인, 냉장고 식재료 관리 장치.
4. 제1항에 있어서,
   상기 몸체부는,
   상기 몸체부의 하면에 배치되고, 상기 냉장고에 보관된 보관 식재료를 향하여 광을 조사하는 발광부; 및
   상기 몸체부의 하면에 상기 발광부와 미리 설정된 간격을 두고 이격하여 배치되고, 상기 보관 식재료를 향하여 조사된 광에 대응하는 상기 보관 식재료로부터 반사되는 반사광을 수신하는 수광부를 포함하고,
   상기 판단부는,
   상기 수광부가 수신한 반사광의 반사광량이 기설정된 기준 범위에 속하는 경우 광 조사가 이루어진 상기 보관 식재료에 곰팡이가 발생한 것으로 판단하여 상기 곰팡이가 발생한 것으로 판단되는 보관 식재료를 이상 식재료인 것으로 인식하는 것인, 냉장고 식재료 관리 장치.
5. 제4항에 있어서,
   상기 몸체부는,
   상기 몸체부의 일영역에 배치되고 경고음을 발생시키는 스피커부를 더 포함하고,
   상기 제어부는,
   상기 반사광량이 기설정된 기준 범위 내 임계 기준 값 미만인 경우, 상기 냉장고 내에서 상기 반사광량에 대응하는 보관 식재료의 제거가 이루어질 수 있도록 경보음이 발생되도록 상기 스피커부의 동작을 제어하는 것인, 냉장고 식재료 관리 장치.
6. 제5항에 있어서,
   상기 몸체부는,
   상기 몸체부의 하면의 일영역에 배치되고, 상기 냉장고에 보관된 보관 식재료의 온도를 측정하는 온도 센서를 더 포함하고,
   상기 제어부는, 상기 온도 센서를 통해 측정된 상기 보관 식재료의 온도가 기 설정된 온도 값 이상인 경우, 경보음이 발생되도록 상기 스피커부의 동작을 제어하는 것인, 냉장고 식재료 관리 장치.
7. 삭제
8. 제1항에 있어서,
   상기 제어부는,
   상기 반사광량이 기설정된 기준 범위 내 임계 기준 값 미만인 경우 상기 분사부로부터 분사되는 탈취제의 분사 유형을 제1 유형에서 제2 유형으로 변경되도록 제어하는 것인, 냉장고 식재료 관리 장치.
9. 제3항에 있어서,
   상기 제어부는,
   상기 냉장고의 내부의 내부 스캔 영상을 획득하기 위해 상기 이미지 센서의 각도를 제어하고,
   상기 판단부는, 상기 이미지 센서를 통해 획득된 내부 스캔 영상에 대해 이미지 분석을 수행하여 상기 냉장고 내에서의 상기 보관 식재료의 보관 위치를 식별하며,
   상기 모델링부는, 식별된 상기 보관 위치에 대응하는 상기 가상 냉장고 모델 내 대응 위치에 상기 보관 식재료 아이콘을 위치시키는 것인, 냉장고 식재료 관리 장치.
10. 제1항에 있어서,
    상기 제어부는,
    상기 관련 식재료가 존재하는 것으로 판단되면, 상기 레시피 정보와 상기 관련 식재료에 관한 정보를 상기 화면에 표시되도록 제어하는 것인, 냉장고 식재료 관리 장치.
11. 냉장고 식재료 관리 시스템으로서,
    제1항의 냉장고 식재료 관리 장치; 및
    상기 냉장고 식재료 관리 장치와 연동되어 상기 냉장고 식재료 관리 장치의 동작 제어를 위한 제어 신호를 사용자로부터 입력받아 제공하는 사용자 단말,
    을 포함하는 냉장고 식재료 관리 시스템.
12. 삭제

Images