KR102338337B1 - 냉장고 저장 물품 관리 방법 및 장치 - Google Patents

Abstract

본 명세서는 냉장고에 저장된 물품을 관리하는 방법 및 장치에 관한 것이다. 본 명세서의 일 실시예에서 저장 관리 이미지 정보는 현재 촬영 시점에 저장되어 있는 물품의 저장 상태 정보뿐만 아니라 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품의 저장 상태 정보 또한 포함한다. 따라서 사용자는 과거 시점의 저장 관리 이미지를 확인하지 않고 현재 시점의 저장 관리 이미지 정보만을 확인함으로써, 현재 시점뿐만 아니라 과거 시점에 저장되었던 물품의 이력까지 확인할 수 있다.

Description

냉장고 저장 물품 관리 방법 및 장치{METHOD AND APPRATUS FOR MANAGING ITEMS STORED IN REFRIGERATOR}

본 명세서는 냉장고에 저장된 물품을 관리하는 방법 및 장치에 관한 것이다.

냉장고는 물품이 부패하지 않도록 물품을 저온으로 보관하기 위한 장치이다. 냉장고는 물품을 저장하기 위한 저장실을 구비하며, 저장실은 냉장실 및 냉동실로 구분될 수 있다. 종래의 냉장고는 단순히 물품을 저장하는 기능만을 수행하였으나, 최근에는 사용자의 편의를 위한 다양한 기능들이 냉장고에 부가되고 있다.

냉장고의 저장실을 형성하는 캐비닛에는 저장실을 개폐하기 위한 도어가 연결된다. 대부분의 냉장고의 도어는 불투명한 소재로 이루어진다. 따라서 도어가 닫힌 상태에서 사용자는 냉장고 내부에 저장된 물품을 확인하기 어렵다. 또한 냉장고 내부에는 다양한 종류의 물품들이 저장된다. 따라서 사용자는 냉장고에 저장된 물품들의 저장 이력, 즉 각 물품의 누적 저장 시간이나 반입, 반출 여부 등을 확인하기 어렵다.

이러한 문제를 해결하기 위하여 촬영 장치를 통해 냉장고 내부를 촬영하고, 촬영에 의하여 획득된 이미지로붜 냉장고 내부에 저장된 물품의 보관 상태를 확인하는 기술이 개시되었다. 예컨대 국내공개특허공보 제10-2012-0117464호는 냉장고의 저장 공간 또는 도어에 수납되는 물품을 촬영하여 획득되는 제1 영상정보 및 제2 영상정보의 차이 영상에 기초하여 물품에 관한 정보 인식 및 물품 관리를 수행하는 냉장고의 제어 방법을 개시한다.

그러나 종래 기술에서는 영상정보에 포함된 물품이 개별적으로 인식되지 않고 두 영상정보의 차이를 기초로 물품에 관한 정보가 인식되므로 냉장고 내부에 저장된 물품에 대한 정확한 정보가 사용자에게 제공될 수 없다. 예를 들어 종래 기술에서는 두 영상정보에 동일하게 존재하는 물품에 대한 정보가 사용자에게 제공될 수 없다.

또한 종래 기술에서는 각각의 촬영 시점에서 촬영된 영상정보들이 그대로 사용자에게 제공된다. 따라서 사용자는 각각의 영상정보가 촬영된 촬영 시점 이외의 촬영 시점에서 반입되거나 반출된 물품에 대한 정보를 얻을 수 없다. 예를 들어 사용자는 냉장고 내부에 장기간 저장되며 빈번하게 반입 및 반출되는 물품이 언제부터 냉장고 내부에 저장되었는지 여부를 알기 어렵다. 따라서 사용자가 부패된 음식을 섭취할 가능성이 있으며 물품의 보관 또는 폐기 여부를 결정하기 어려운 문제가 있다.

또한 종래 기술에서는 저장실 전체가 아닌 일부분에 대한 영상정보만이 제공되므로 사용자가 저장실 내부의 물품 저장 현황을 직관적으로 그리고 용이하게 파악하기 어려운 문제가 있다.

본 명세서의 목적은 냉장고 내부에 저장된 각각의 물품을 정확하게 인식하고 인식된 각 물품의 상세한 저장 이력을 사용자에게 제공할 수 있는 냉장고 저장 물품 관리 방법 및 장치를 제공하는 것이다.

또한 본 명세서의 목적은 냉장고 내부에 장기간 저장되며 빈번하게 반입 및 반출되는 물품의 저장 이력을 제공함으로써 사용자가 물품의 보관 또는 폐기 여부를 용이하게 결정할 수 있도록 하는 냉장고 저장 물품 관리 방법 및 장치를 제공하는 것이다.

또한 본 명세서의 목적은 사용자가 저장실 내부의 물품 저장 현황을 직관적으로 그리고 용이하게 파악할 수 있는 냉장고 저장 물품 관리 방법 및 장치를 제공하는 것이다.

본 명세서의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 명세서의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 명세서의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 명세서의 목적 및 장점들은 특허 청구 범위에 기재된 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

본 명세서의 일 실시예에서, 냉장고 내부에 배치되는 촬영 장치에 의해서 냉장고 내부가 촬영된다. 촬영 장치는 저장실, 즉 냉장실 또는 냉장실을 촬영하거나 도어 내측면을 촬영할 수 있다. 촬영 장치에 의해서 생성되는 이미지, 즉 로우(raw) 이미지는 냉장고 저장 물품 관리에 전송된다.

본 명세서의 일 실시예에서 이미지 원본은 저장실 또는 도어 내측면 전체의 물품을 촬영한 이미지일 수 있다. 만약 촬영 장치가 다수개 배치될 경우, 이미지 원본은 각각의 촬영 장치가 촬영하여 생성되는 이미지를 합성한 이미지일 수 있다. 이처럼 본 명세서의 일 실시예에서는 저장실 또는 도어 내측면의 일부분이 아닌 전체를 촬영하여 생성되는 이미지 원본을 이용하여 저장 상태 정보 및 저장 관리 이미지 정보가 생성된다.

촬영 장치는 미리 정해진 주기에 따라서 또는 미리 정해진 이벤트가 발생할 때마다 이미지 원본을 생성한다. 본 명세서의 일 실시예에서, 냉장고 저장 물품 관리 장치는 각각의 촬영 시점마다 촬영 장치에 의해서 생성되는 이미지 원본을 입력받는다. 냉장고 저장 물품 관리 장치는 이미지 원본에 포함된 각각의 물품을 인식한다.

냉장고 저장 물품 관리 장치는 각각의 촬영 시점 별로 각각의 물품의 저장 상태 정보를 생성한다. 본 명세서의 일 실시예에서 저장 상태 정보는 물품 이미지, 물품 식별 정보, 위치 정보, 반입 시간 정보, 반출 시간 정보, 누적 저장 시간 정보, 반입 횟수 정보, 반출 횟수 정보 중 적어도 하나를 포함한다. 본 명세서의 일 실시예에서 현재 촬영 시점의 저장 상태 정보는 이전 촬영 시점의 저장 상태 정보를 기초로 생성될 수 있다.

냉장고 저장 물품 관리 장치는 이미지 원본 및 저장 상태 정보를 이용하여 각각의 촬영 시점 별로 저장 관리 이미지 정보를 생성한다. 본 명세서에서 저장 관리 이미지 정보는 촬영 장치에 의해서 생성되는 이미지 원본와 각 물품 별 저장 상태 정보가 합성된 이미지 데이터를 의미한다. 저장 관리 이미지 정보에는 각 물품의 물품 이미지가 각 물품의 위치에 대응되도록 표시된다. 저장 관리 이미지 정보에 표시되는 각 물품의 물품 이미지는 각 물품의 저장 상태 정보와 연동된다. 따라서 사용자 단말에 저장 관리 이미지 정보가 표시될 때, 사용자가 저장 관리 이미지 정보에 표시된 물품 이미지 중 하나를 선택하면, 선택된 물품 이미지와 대응되는 저장 상태 정보가 사용자 단말을 통해 사용자에게 제공될 수 있다.

냉장고 저장 물품 관리 장치는 저장 상태 정보 및 저장 관리 이미지 정보 중 적어도 하나를 사용자 단말로 제공한다. 예를 들어 사용자가 사용자 단말에 설치된 어플리케이션을 통해서 냉장고에 저장된 물품들의 저장 이력 조회를 요청하면, 냉장고 저장 물품 관리 장치는 각 촬영 시점 별로 생성된 저장 관리 이미지 정보를 사용자 단말로 제공한다. 사용자가 저장 관리 이미지 정보에 표시된 물품 이미지 중 하나를 선택하면, 냉장고 저장 물품 관리 장치는 선택된 물품 이미지와 대응되는 저장 상태 정보를 사용자 단말을 통해 사용자에게 제공한다.

본 명세서의 일 실시예에서, 저장 관리 이미지 정보는 현재 촬영 시점에 저장되어 있는 물품의 저장 상태 정보 및 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품의 저장 상태 정보를 포함한다.

종래 기술에 따르면, 냉장고 내부를 촬영하여 생성되는 영상 정보에는 촬영 시점에 냉장고 내부에 존재하는 물품의 이미지 및 촬영 시점에 냉장고 내부에 존재하는 물품의 이미지에 기초하여 생성되는 저장 이력만이 사용자에게 제공된다. 그러나 본 명세서의 일 실시예에서는 저장 관리 이미지 정보가 현재 촬영 시점에 저장되어 있는 물품의 저장 상태 정보뿐만 아니라 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품의 저장 상태 정보 또한 포함한다. 따라서 사용자는 과거 시점의 저장 관리 이미지를 확인하지 않고 현재 시점의 저장 관리 이미지 정보만을 확인함으로써, 현재 시점뿐만 아니라 과거 시점에 저장되었던 물품의 이력까지 확인할 수 있다.

본 명세서의 일 실시예에 따른 냉장고 저장 물품 관리 장치는, 냉장고의 내부를 촬영하는 촬영 장치에 의해서 생성되는 이미지 원본을 입력받는 입력부 및 상기 이미지 원본에 포함된 각각의 물품을 인식하여 각각의 촬영 시점 별로 상기 각각의 물품의 저장 상태 정보를 생성하고, 상기 이미지 원본 및 상기 저장 상태 정보를 이용하여 각각의 촬영 시점 별로 저장 관리 이미지 정보를 생성하며, 상기 저장 상태 정보 및 상기 저장 관리 이미지 정보 중 적어도 하나를 사용자 단말로 제공하는 저장 정보 관리부를 포함한다. 본 명세서의 일 실시예에서, 상기 저장 관리 이미지 정보는 현재 촬영 시점에 저장되어 있는 물품의 저장 상태 정보 및 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품의 저장 상태 정보를 포함한다.

본 명세서의 일 실시예에서, 상기 저장 상태 정보는 물품 이미지, 물품 식별 정보, 위치 정보, 반입 시간 정보, 반출 시간 정보, 누적 저장 시간 정보, 반입 횟수 정보, 반출 횟수 정보 중 적어도 하나를 포함한다.

또한 본 명세서의 일 실시예에서, 상기 저장 정보 관리부는 상기 현재 촬영 시점에 저장되어 있는 물품의 물품 이미지와 상기 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품의 물품 이미지를 현재 촬영 시점의 저장 관리 이미지 정보에 표시한다.

또한 본 명세서의 일 실시예에서, 상기 저장 정보 관리부는 상기 현재 촬영 시점에 저장되어 있는 물품의 물품 이미지와 상기 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품의 물품 이미지를 서로 다른 방식으로 표시한다.

또한 본 명세서의 일 실시예에서, 상기 저장 정보 관리부는 상기 현재 촬영 시점에 저장되어 있는 물품과 이전 촬영 시점에 저장된 물품이 서로 동일하고 상기 현재 촬영 시점에 저장되어 있는 물품의 위치와 상기 이전 촬영 시점에 저장된 물품의 위치가 서로 동일하면, 상기 이전 촬영 시점에 저장된 물품의 누적 저장 시간을 상기 현재 촬영 시점에 저장된 물품의 누적 저장 시간에 합산한다.

또한 본 명세서의 일 실시예에서, 상기 저장 정보 관리부는 상기 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되어 있지 않은 물품의 누적 저장 시간을 상기 이전 촬영 시점의 누적 저장 시간으로 설정한다.

또한 본 명세서의 일 실시예에서, 상기 저장 정보 관리부는 현재 촬영 시점에 저장되어 있는 물품이 상기 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품과 동일하나 상기 현재 촬영 시점에 저장되어 있는 물품의 위치와 상기 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품의 위치가 동일하지 않으면, 상기 현재 촬영 시점에 저장되어 있는 물품 및 상기 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품을 각각 별개의 물품으로 관리한다.

또한 본 명세서의 일 실시예에서, 상기 저장 정보 관리부는 현재 촬영 시점에 저장되어 있는 물품이 이전 촬영 시점에 저장되었다가 반출된 물품과 동일하고 상기 현재 촬영 시점에 저장되어 있는 물품의 위치와 상기 이전 촬영 시점에 저장되었다가 반출된 물품의 위치가 동일하면, 상기 이전 촬영 시점에 저장되었다가 반출된 물품의 누적 저장 시간을 상기 현재 촬영 시점에 저장된 물품의 누적 저장 시간에 합산한다.

또한 본 명세서의 일 실시예에서, 상기 저장 정보 관리부는 각각의 촬영 시점 별로 생성되는 저장 관리 이미지 정보를 비교하여 통계 정보를 생성하고, 상기 통계 정보를 상기 사용자 단말로 제공한다.

또한 본 명세서의 일 실시예에서, 상기 사용자 단말에서 상기 저장 관리 이미지 정보가 표시될 때, 사용자가 상기 저장 관리 이미지 정보에 표시된 물품 중 어느 하나를 선택하면 선택된 물품에 대한 메모 정보 입력 창 또는 상기 선택된 물품에 대하여 입력된 메모 정보가 상기 사용자 단말에 표시된다.

본 명세서의 일 실시예에 따른 냉장고 저장 물품 관리 방법은, 냉장고의 내부를 촬영하는 촬영 장치에 의해서 생성되는 이미지 원본을 입력받는 단계, 상기 이미지 원본에 포함된 각각의 물품을 인식하는 단계, 각각의 촬영 시점 별로 상기 각각의 물품의 저장 상태 정보를 생성하는 단계, 상기 이미지 원본 및 상기 저장 상태 정보를 이용하여 각각의 촬영 시점 별로 저장 관리 이미지 정보를 생성하는 단계 및 상기 저장 상태 정보 및 상기 저장 관리 이미지 정보 중 적어도 하나를 사용자 단말로 제공하는 단계를 포함한다. 본 명세서의 일 실시예에서, 상기 저장 관리 이미지 정보는 현재 촬영 시점에 저장되어 있는 물품의 저장 상태 정보 및 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품의 저장 상태 정보를 포함한다.

본 명세서의 일 실시예에서, 상기 저장 상태 정보는 물품 이미지, 물품 식별 정보, 위치 정보, 반입 시간 정보, 반출 시간 정보, 누적 저장 시간 정보, 반입 횟수 정보, 반출 횟수 정보 중 적어도 하나를 포함한다.

또한 본 명세서의 일 실시예에서, 상기 이미지 원본 및 상기 저장 상태 정보를 이용하여 각각의 촬영 시점 별로 저장 관리 이미지 정보를 생성하는 단계는 상기 현재 촬영 시점에 저장되어 있는 물품의 물품 이미지와 상기 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품의 물품 이미지를 현재 촬영 시점의 저장 관리 이미지 정보에 표시하는 단계를 포함한다.

또한 본 명세서의 일 실시예에서, 상기 이미지 원본 및 상기 저장 상태 정보를 이용하여 각각의 촬영 시점 별로 저장 관리 이미지 정보를 생성하는 단계는 상기 현재 촬영 시점에 저장되어 있는 물품의 물품 이미지와 상기 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품의 물품 이미지를 서로 다른 방식으로 표시하는 단계를 포함한다.

또한 본 명세서의 일 실시예에서, 상기 각각의 촬영 시점 별로 상기 각각의 물품의 저장 상태 정보를 생성하는 단계는 상기 현재 촬영 시점에 저장되어 있는 물품과 이전 촬영 시점에 저장된 물품이 서로 동일하고 상기 현재 촬영 시점에 저장되어 있는 물품의 위치와 상기 이전 촬영 시점에 저장된 물품의 위치가 서로 동일하면, 상기 이전 촬영 시점에 저장된 물품의 누적 저장 시간을 상기 현재 촬영 시점에 저장된 물품의 누적 저장 시간에 합산하는 단계를 포함한다.

또한 본 명세서의 일 실시예에서, 상기 각각의 촬영 시점 별로 상기 각각의 물품의 저장 상태 정보를 생성하는 단계는 상기 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되어 있지 않은 물품의 누적 저장 시간을 상기 이전 촬영 시점의 누적 저장 시간으로 설정하는 단계를 포함한다.

또한 본 명세서의 일 실시예에서, 현재 촬영 시점에 저장되어 있는 물품이 상기 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품과 동일하나 상기 현재 촬영 시점에 저장되어 있는 물품의 위치와 상기 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품의 위치가 동일하지 않으면, 상기 현재 촬영 시점에 저장되어 있는 물품 및 상기 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품은 각각 별개의 물품으로 관리된다.

또한 본 명세서의 일 실시예에서, 상기 각각의 촬영 시점 별로 상기 각각의 물품의 저장 상태 정보를 생성하는 단계는 현재 촬영 시점에 저장되어 있는 물품이 이전 촬영 시점에 저장되었다가 반출된 물품과 동일하고 상기 현재 촬영 시점에 저장되어 있는 물품의 위치와 상기 이전 촬영 시점에 저장되었다가 반출된 물품의 위치가 동일하면, 상기 이전 촬영 시점에 저장되었다가 반출된 물품의 누적 저장 시간을 상기 현재 촬영 시점에 저장된 물품의 누적 저장 시간에 합산하는 단계를 포함한다.

또한 본 명세서의 일 실시예에 따른 냉장고 저장 물품 관리 방법은, 각각의 촬영 시점 별로 생성되는 저장 관리 이미지 정보를 비교하여 통계 정보를 생성하는 단계 및 상기 통계 정보를 상기 사용자 단말로 제공하는 단계를 더 포함한다.

또한 본 명세서의 일 실시예에서, 상기 사용자 단말에서 상기 저장 관리 이미지 정보가 표시될 때, 사용자가 상기 저장 관리 이미지 정보에 표시된 물품 중 어느 하나를 선택하면 선택된 물품에 대한 메모 정보 입력 창 또는 상기 선택된 물품에 대하여 입력된 메모 정보가 상기 사용자 단말에 표시된다.

본 명세서의 일 실시예에 따른 냉장고 저장 물품 관리 방법 및 장치에 의하면, 냉장고 내부에 저장된 각각의 물품을 정확하게 인식하고 인식된 각 물품의 상세한 저장 이력을 사용자에게 제공할 수 있다.

또한 본 명세서의 일 실시예에 따른 냉장고 저장 물품 관리 방법 및 장치에 의하면, 냉장고 내부에 장기간 저장되며 빈번하게 반입 및 반출되는 물품의 저장 이력을 제공함으로써 사용자가 물품의 보관 또는 폐기 여부를 용이하게 결정할 수 있다.

본 명세서의 일 실시예에 따른 냉장고 저장 물품 관리 방법 및 장치에 의하면, 사용자가 저장실 내부의 물품 저장 현황을 직관적으로 그리고 용이하게 파악할 수 있다.

도 1은 본 명세서의 일 실시예에 따른 냉장고의 사시도이다.
도 2는 본 명세서의 일 실시예에 따른 냉장고의 전체 도어가 개방된 상태를 나타내는 도면이다.
도 3은 본 명세서의 일 실시예에 따른 냉장고 저장 물품 관리 장치, 냉장고 및 사용자 단말 간의 관계를 나타내는 도면이다.
도 4는 본 명세서의 일 실시예에서 냉장고 저장 물품 관리 장치에 의해서 생성되는 제1 시점의 저장 관리 이미지 정보를 나타낸다.
도 5는 본 명세서의 일 실시예에서 냉장고 저장 물품 관리 장치에 의해서 생성되는 제2 시점의 저장 관리 이미지 정보를 나타낸다.
도 6은 본 명세서의 일 실시예에서 냉장고 저장 물품 관리 장치에 의해서 생성되는 제3 시점의 저장 관리 이미지 정보를 나타낸다.
도 7은 본 명세서의 다른 실시예에서 냉장고 저장 물품 관리 장치에 의해서 생성되는 제3 시점의 저장 관리 이미지 정보를 나타낸다.
도 8은 본 명세서의 일 실시예에서 사용자가 냉장고의 저장 물품 관리를 위한 어플리케이션을 실행했을 때 사용자 단말에 표시되는 화면을 나타낸다.
도 9는 도 8의 실시예에서 사용자가 부모님 냉장고의 물품 저장 이력 조회를 요청할 때 사용자 단말에 표시되는 화면을 나타낸다.
도 10은 본 명세서의 일 실시예에 따른 냉장고 저장 물품 관리 장치에 의해서 생성되는 저장 관리 이미지 정보가 사용자 단말에서 실행되는 채팅 어플리케이션을 통해 공유되는 실시예를 나타낸다.
도 11은 본 명세서의 일 실시예에 따른 냉장고 저장 물품 관리 장치에 의해서 생성되는 저장 관리 이미지 정보가 사용자 단말에서 실행되는 SNS 어플리케이션을 통해 공유되는 실시예를 나타낸다.
도 12는 본 명세서의 일 실시예에 따른 냉장고 저장 물품 관리 방법의 흐름도이다.
도 13은 본 명세서의 다른 실시예에 따른 냉장고 저장 물품 관리 방법의 흐름도이다.

전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 통상의 지식을 가진 자가 본 명세서의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 명세서를 설명함에 있어서 본 명세서과 관련된 공지 기술에 대한 구체적인 설명이 본 명세서의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 명세서에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.

도 1은 본 명세서의 일 실시예에 따른 냉장고의 사시도이다. 또한 도 2는 본 명세서의 일 실시예에 따른 냉장고의 전체 도어가 개방된 상태를 나타내는 도면이다.

도시된 바와 같이, 본 명세서의 일 실시예에 따른 냉장고(1)는 캐비닛(102) 및 도어(112, 114, 116, 118)를 포함한다.

캐비닛(102)은 일면이 개방된 다면체 형상을 갖는다. 캐비닛(102)의 내부 공간은 물품이 저장되는 저장실로 사용된다. 캐비닛(102) 내부에 배치되는 배리어에 의해서 내부 공간이 상하로 구획될 수 있다. 도 1 및 도 2에는 캐비닛(102)의 상부가 냉장실(130)이고 하부가 냉동실(140)인 상냉하동 타입의 냉장고가 도시되어 있으나, 배리어의 위치, 저장실의 종류 및 위치는 실시예에 따라 달라질 수 있다.

저장실(130, 140)의 내부에는 물품을 올려 놓거나 수납할 수 있는 수납 부재(132)가 배치된다. 수납 부재(132)의 예시로 선반 또는 서랍을 들 수 있으나, 실시예에 따라서 다른 종류의 수납 부재(132)가 저장실(130, 140)의 내부에 배치될 수 있다.

캐비닛(102)의 개방된 일면에는 도어(112, 114, 116, 118)가 연결된다. 도 1 및 도 2의 실시예에서, 냉장실 도어(112, 114)는 냉장실(130)을 개폐할 수 있도록 캐비닛(102)에 회동 가능하게 연결된다. 또한 냉동실 도어(116, 118)는 냉동실(140)을 개폐할 수 있도록 캐비닛(102)에 회동 가능하게 연결된다.

이하에서는 도어(112, 114, 116, 118)가 각각 닫혔을 때 저장실(130, 140)을 향하는 면이 도어(112, 114, 116, 118)의 내측면으로 지칭되고, 냉장고(1)의 외부를 향하는 면이 도어(112, 114, 116, 118)의 외측면으로 지칭된다.

도어(112, 114, 116, 118)의 내측면(150, 160, 170, 180)에는 물품을 수납하기 위한 수납 부재(122)가 배치된다. 수납 부재(122)의 예시로 바스켓을 들 수 있으나, 실시예에 따라서 다른 종류의 수납 부재(122)가 저장실(130, 140)의 내부에 배치될 수 있다. 수납 부재(122)는 내부에 수납된 물품을 사용자가 쉽게 확인할 수 있도록 투명한 소재로 이루어질 수 있다.

한편, 도면에는 도시되지 않았으나 저장실(130, 140) 또는 도어(112, 114, 116, 118)의 내측면에는 촬영 장치가 배치될 수 있다. 도어(112, 114, 116, 118)의 내측면에 배치되는 촬영 장치는 저장실(130, 140)을 향하도록 배치되어 저장실(130, 140)을 촬영하여 이미지 원본을 생성할 수 있다. 또한 저장실(130, 140)에 배치되는 촬영 장치는 도어(112, 114, 116, 118)의 내측면을 향하도록 배치되어 도어(112, 114, 116, 118)의 내측면을 촬영하여 이미지 원본을 생성할 수 있다.

본 명세서의 일 실시예에서, 저장실(130, 140) 또는 도어(112, 114, 116, 118)의 내측면에는 하나 이상의 촬영 장치가 배치될 수 있다.

예를 들어 도어(112, 114, 116, 118)의 내측면에 촬영 장치가 배치될 경우, 냉장실(130) 전체를 촬영할 수 있는 1개의 촬영 장치가 냉장실 도어(112, 114)의 내측면에 배치되고, 냉동실(140) 전체를 촬영할 수 있는 1개의 촬영 장치가 냉동실 도어(116, 118)의 내측면에 배치될 수 있다.

만약 1개의 촬영 장치로 냉장실(130) 또는 냉동실(140) 전체를 촬영할 수 없다면, 냉장실 도어(112, 114)의 내측면에는 다수 개의 촬영 장치가 배치되고 냉동실 도어(116, 118)의 내측면에는 다수 개의 촬영 장치가 배치될 수 있다. 다수 개의 촬영 장치가 배치될 경우, 각각의 촬영 장치에 의해서 생성되는 이미지 원본이 1개의 이미지 원본으로 합성될 수도 있다. 예를 들어 냉장실 도어(112, 114)의 내측면에 냉장실(130)의 각 수납칸에 대응되는 다수 개의 촬영 장치가 배치될 경우, 각각의 촬영 장치에 의해서 생성되는 이미지 원본이 냉장실(130) 전체의 물품 보관 상태를 나타내는 1개의 이미지 원본으로 합성될 수 있다.

마찬가지로 저장실(130, 140)에도 실시예에 따라서 도어(112, 114, 116, 118)의 내측면 전체를 각각 촬영하기 위한 1개 또는 다수 개의 촬영 장치가 배치될 수 있다.

실시예에 따라서는 냉장실(130)을 촬영하여 생성되는 이미지 원본 및 냉동실(140)을 촬영하여 생성되는 이미지 원본이 저장실 전체를 나타내는 1개의 이미지 원본으로 합성될 수 있다. 마찬가지로 도어(112, 114, 116, 118)의 내측면 각각을 촬영하여 생성되는 이미지 원본 중 2개 이상의 이미지가 냉장실 도어(112, 114) 내측면, 냉동실 도어(116, 118) 내측면, 또는 도어(112, 114, 116, 118) 전체의 내측면을 나타내는 1개의 이미지 원본으로 합성될 수도 있다.

전술한 바와 같이 촬영 장치에 의해서 생성되는 각 저장 공간의 이미지 원본은 후술하는 바와 같이 본 명세서의 일 실시예에 따른 냉장고 저장 물품 관리 장치로 전송된다.

이처럼 본 명세서의 일 실시예에서는 저장실이나 도어 내측면에 형성되는 저장 공간의 일부분만이 아닌 저장 공간 전체에 대한 이미지 원본에 기초하여 냉장고에 저장된 물품에 대한 정보가 제공된다. 따라서 사용자가 보다 직관적이고 용이하게 냉장고에 저장된 물품에 대한 정보를 인식할 수 있다.

또한 도면에는 도시되지 않았으나, 도어(112, 114, 116, 118) 중 적어도 하나의 도어의 외측면에는 사용자 단말이 배치될 수 있다. 사용자는 도어의 외측면에 배치되는 사용자 단말을 통해서 냉장고(1)를 제어하거나 냉장고(1)와 관련된 정보를 얻을 수 있다. 도어의 외측면에 배치되는 사용자 단말의 예시로서 정보의 표시 및 터치 컨트롤이 가능한 터치 패널을 들 수 있다. 도어의 외측면에 배치되는 사용자 단말의 다른 예시로는 터치 컨트롤이 불가능한 디스플레이 패널 및 컨트롤 패널(물리적인 컨트롤러 또는 터치 패널)을 들 수 있다.

본 명세서의 일 실시예에서, 냉장고(1)의 내부에 저장된 각 물품의 저장 상태 정보 또는 저장 관리 이미지 정보가 도어의 외측면에 배치되는 사용자 단말에 표시될 수 있다. 또한 사용자는 도어의 외측면에 배치되는 사용자 단말을 조작하여 냉장고(1)의 내부에 저장된 각 물품의 저장 상태 정보 또는 저장 관리 이미지 정보의 조회를 요청할 수 있다.

도 3은 본 명세서의 일 실시예에 따른 냉장고 저장 물품 관리 장치, 냉장고 및 사용자 단말 간의 관계를 나타내는 도면이다.

도 3을 참조하면, 본 명세서의 일 실시예에 따른 냉장고(1)는 촬영 장치(12)를 포함한다. 전술한 바와 같이, 냉장고(1)의 저장실(130, 140) 또는 도어(112, 114, 116, 118)의 내측면에 하나 이상의 촬영 장치가 배치될 수 있다.

본 명세서의 일 실시예에 따른 냉장고 저장 물품 관리 장치(2)는 입력부(22) 및 저장 정보 관리부(24)를 포함한다.

입력부(22)는 냉장고(1)에 포함되는 촬영 장치(12)가 냉장고(1)의 내부 공간을 촬영하여 생성되는 이미지 원본을 입력받는다. 본 명세서의 일 실시예에서, 촬영 장치(12)는 미리 정해진 주기에 따라서 또는 미리 정해진 이벤트가 발생할 때마다 냉장고(1)의 내부 공간, 즉 저장실(130, 140) 또는 도어(112, 114, 116, 118)의 내측면을 촬영하여 이미지 원본을 생성한다. 예를 들어 촬영 장치(12)는 3시간 간격으로 냉장고(1)의 내부 공간을 촬영할 수도 있고, 도어(112, 114, 116, 118)가 열렸다가 닫힐 때마다 냉장고(1)의 내부 공간을 촬영할 수도 있다. 또 다른 예로 촬영 장치(12)는 사용자가 사용자 단말(3)을 통해 냉장고(1)의 내부 공간 촬영을 요청할 때 냉장고(1)의 내부 공간을 촬영할 수도 있다.

입력부(22)는 촬영 장치(12)가 냉장고(1)의 내부 공간을 촬영할 때마다, 즉 촬영 장치(12)의 촬영 시점마다 유선 또는 무선 네트워크를 통해 냉장고(1)와 통신을 수행하여 이미지 원본을 입력받을 수 있다.

저장 정보 관리부(24)는 입력부(22)가 입력받은 이미지 원본에 포함된 각각의 물품을 인식하고, 각각의 촬영 시점 별로 각각의 물품의 저장 상태 정보를 생성한다. 본 명세서의 일 실시예에서, 저장 정보 관리부(24)는 종래 알려진 이미지 상에서 객체를 인식하는 기술 또는 알고리즘을 이용하여 이미지 원본에 포함된 각각의 물품 이미지를 인식할 수 있다. 예컨대 저장 정보 관리부(24)는 딥러닝이나 머신 러닝을 통한 객체 인식 기술을 이용하여 이미지 원본으로부터 각각의 물품 이미지를 추출할 수 있다.

본 명세서의 일 실시예에서, 저장 상태 정보는 물품 이미지, 물품 식별 정보, 위치 정보, 반입 시간 정보, 반출 시간 정보, 누적 저장 시간 정보, 반입 횟수 정보, 반출 횟수 정보 중 적어도 하나를 포함한다.

물품 이미지는 이미지 원본에서 추출되는 각 물품의 이미지를 의미한다.

물품 식별 정보는 이미지 원본에서 인식되는 각 물품을 구별하기 위한 식별 정보를 의미한다. 각 물품의 물품 식별 정보는 저장 정보 관리부(24)에 의해서 임의로 부여될 수도 있고, 사용자에 의해서 정의될 수도 있다.

위치 정보는 이미지 원본 상에서 각 물품의 절대적인 위치를 나타낸다. 본 명세서의 일 실시예에서, 저장 정보 관리부(24)는 이미지 원본 상에 좌표계(예컨대, x-y 좌표계)를 설정하고 각 물품의 좌표값을 각 물품의 위치 정보로 저장할 수 있다.

반입 시간 정보는 이미지 원본에서 인식되는 각 물품이 냉장고(1) 내부 공간으로 반입된 시점을 의미한다. 또한 반출 시간 정보는 이미지 원본에서 인식되는 각 물품이 냉장고(1) 내부 공간으로부터 외부로 반출된 시점을 의미한다.

누적 저장 시간 정보는 이미지 원본에서 인식되는 각 물품이 냉장고(1) 내부 공간에 보관된 누적 시간을 의미한다.

반입 횟수 정보는 이미지 원본에서 인식되는 각 물품이 냉장고(1) 내부 공간으로 반입된 횟수를 의미한다. 반출 횟수 정보는 이미지 원본에서 인식되는 각 물품이 냉장고(1) 내부 공간으로부터 외부로 반출된 횟수를 의미한다.

또한 저장 정보 관리부(24)는 이미지 원본 및 저장 상태 정보를 이용하여 각각의 촬영 시점 별로 저장 관리 이미지 정보를 생성한다. 본 명세서의 일 실시예에서 저장 관리 이미지 정보는 촬영 장치에 의해서 생성되는 이미지 원본과 각 물품 별 저장 상태 정보가 합성된 이미지 데이터를 의미한다. 저장 관리 이미지 정보에는 각 물품의 물품 이미지가 각 물품의 위치에 대응되도록 표시된다. 저장 관리 이미지 정보에 표시되는 각 물품의 물품 이미지는 각 물품의 저장 상태 정보와 연동된다. 따라서 사용자 단말에 저장 관리 이미지 정보가 표시될 때, 사용자가 저장 관리 이미지 정보에 표시된 물품 이미지 중 하나를 선택하면, 선택된 물품 이미지와 대응되는 저장 상태 정보가 사용자 단말을 통해 사용자에게 제공될 수 있다.

저장 정보 관리부(24)는 저장 상태 정보 및 저장 관리 이미지 정보 중 적어도 하나를 사용자 단말(3)로 제공한다.

본 명세서의 일 실시예에서, 저장 정보 관리부(24)는 현재 촬영 시점에 저장되어 있는 물품의 물품 이미지와 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품의 물품 이미지를 현재 촬영 시점의 저장 관리 이미지 정보에 표시한다.

또한 본 명세서의 일 실시예에서, 저장 정보 관리부(24)는 현재 촬영 시점에 저장되어 있는 물품의 물품 이미지와 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품의 물품 이미지를 서로 다른 방식으로 표시한다.

또한 본 명세서의 일 실시예에서, 저장 정보 관리부(24)는 현재 촬영 시점에 저장되어 있는 물품과 이전 촬영 시점에 저장된 물품이 서로 동일하고 현재 촬영 시점에 저장되어 있는 물품의 위치와 이전 촬영 시점에 저장된 물품의 위치가 서로 동일하면, 이전 촬영 시점에 저장된 물품의 누적 저장 시간을 현재 촬영 시점에 저장된 물품의 누적 저장 시간에 합산한다.

또한 본 명세서의 일 실시예에서, 저장 정보 관리부(24)는 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되어 있지 않은 물품의 누적 저장 시간을 이전 촬영 시점의 누적 저장 시간으로 유지한다.

또한 본 명세서의 일 실시예에서, 저장 정보 관리부(24)는 현재 촬영 시점에 저장되어 있는 물품이 이전 촬영 시점에 반출된 물품과 동일하고 현재 촬영 시점에 저장되어 있는 물품의 위치와 이전 촬영 시점에 반출된 물품의 위치가 동일하면, 이전 촬영 시점에 반출된 물품의 누적 저장 시간을 현재 촬영 시점에 저장된 물품의 누적 저장 시간에 합산한다.

또한 본 명세서의 일 실시예에서, 저장 정보 관리부(24)는 현재 촬영 시점에 저장되어 있는 물품이 이전 촬영 시점에 반출된 물품과 동일하나 현재 촬영 시점에 저장되어 있는 물품의 위치와 이전 촬영 시점에 반출된 물품의 위치가 동일하지 않으면, 현재 촬영 시점에 저장되어 있는 물품 및 이전 촬영 시점에 반출된 물품을 각각 별개의 물품으로 관리한다.

또한 본 명세서의 일 실시예에서, 저장 정보 관리부(24)는 각각의 촬영 시점 별로 생성되는 저장 관리 이미지 정보를 비교하여 통계 정보를 생성하고, 통계 정보를 사용자 단말(3)로 제공한다.

한편, 도 3에는 냉장고 저장 물품 관리 장치(2)가 냉장고(1)와는 별개의 장치로서 구현되는 실시예가 도시되어 있다. 그러나 본 명세서의 다른 실시예에서, 냉장고 저장 물품 관리 장치(2)는 냉장고(1)의 일부 구성요소로서 냉장고(1)에 포함되도록 구현될 수도 있다.

사용자 단말(3)은 이동 단말, 데스크톱, 랩톱, 태블릿 등 유선 또는 무선 네트워크를 통해서 저장 정보 관리부(24)와 통신이 가능한 임의의 단말일 수 있다. 또한 본 발명의 일 실시예에서 사용자 단말(3)은 냉장고(1)의 도어 외측면에 배치될 수도 있다.

사용자는 냉장고(1) 내부 공간의 물품 저장 현황 및 이력을 확인하기 위해서 사용자 단말(3)을 통해서 냉장고 저장 물품 관리 장치(2)에 저장 상태 정보 또는 저장 관리 이미지 정보의 조회를 요청할 수 있다. 사용자의 요청에 따라서, 냉장고 저장 물품 관리 장치(2)는 사용자 단말(3)로 저장 상태 정보 또는 저장 관리 이미지 정보를 전송한다.

사용자는 사용자 단말(3)에 표시되는 저장 관리 이미지 정보를 통해서 물품의 저장 현황 및 이력을 확인하고, 필요한 경우 저장 관리 이미지 정보에 표시된 물품 이미지 중 어느 하나를 선택할 수 있다. 물품 이미지가 선택되면 선택된 물품 이미지와 대응되는 물품의 저장 상태 정보가 사용자 단말(3)에 표시된다.

본 명세서의 일 실시예에서, 사용자 단말(3)에서 저장 관리 이미지 정보가 표시될 때, 사용자가 저장 관리 이미지 정보에 표시된 물품 중 어느 하나를 선택하면 선택된 물품에 대한 메모 정보 입력 창 또는 선택된 물품에 대하여 입력된 메모 정보가 사용자 단말(3)에 표시된다.

이하에서는 도면을 참조하여 냉장고 저장 물품 관리 장치(2)가 이미지 원본을 기초로 각 물품의 저장 상태 정보 및 저장 관리 이미지 정보를 생성하는 실시예가 기술된다.

도 4는 본 명세서의 일 실시예에서 냉장고 저장 물품 관리 장치에 의해서 생성되는 제1 시점의 저장 관리 이미지 정보를 나타낸다. 또한 도 5는 본 명세서의 일 실시예에서 냉장고 저장 물품 관리 장치에 의해서 생성되는 제2 시점의 저장 관리 이미지 정보를 나타낸다. 또한 도 6은 본 명세서의 일 실시예에서 냉장고 저장 물품 관리 장치에 의해서 생성되는 제3 시점의 저장 관리 이미지 정보를 나타낸다.

이하에서는 냉장고(1)에 포함된 촬영 장치(12)가 2020년 4월 21일에 3시간 간격으로 냉장실(130)의 각 선반(402, 404, 406)에 배치된 물품들을 촬영한 경우를 예시로 들어 본 명세서의 일 실시예 따른 냉장고 저장 물품 관리 방법이 기술된다. 이 예시에서, 도 4는 제1 시점인 오후 3시에 촬영된 이미지 원본을 기초로 생성되는 저장 관리 이미지 정보(40)를 나타내고, 도 5는 제2 시점인 오후 6시에 촬영된 이미지 원본을 기초로 생성되는 저장 관리 이미지 정보(41)를 나타내며, 도 6은 제3 시점인 오후 9시에 촬영된 이미지 원본을 기초로 생성되는 저장 관리 이미지 정보(42)를 나타낸다. 그러나 촬영 간격 및 촬영 시점은 실시예에 따라 달라질 수 있음이 주지되어야 한다.

또한 이하에서는 설명의 편의를 위해 각 물품이 모두 2020년 4월 21일 오전 9시에 최초로 저장된 것으로 가정한다. 이에 따라서 모든 물품의 누적 저장 시간은 2020년 4월 21일 오후 3시를 기준으로 6시간으로 설정된다.

먼저 오후 3시에 촬영 장치(12)가 냉장실(130) 내부를 촬영하여 이미지 원본이 생성되면, 입력부(22)는 냉장고(1)로부터 촬영 시점이 오후 3시인 이미지 원본을 입력받는다. 저장 정보 관리부(24)는 입력부(22)가 입력받은 이미지 원본에 포함된 각각의 물품(AA, AB, AC, AD, BA, BB, CA)을 인식한다.

저장 정보 관리부(24)는 촬영 시점인 오후 3시를 기준으로 인식된 각각의 물품 별로 저장 상태 정보를 생성한다.

예를 들어 저장 정보 관리부(24)는 물품(AA)의 물품 이미지와 함께, 물품 식별 정보(예컨대, 2020042103-1), 위치 정보(예컨대, (1, 1)), 반입 시간 정보(예컨대, 2020년 4월 21일 오전 9시), 누적 저장 시간 정보(6시간), 반입 횟수 정보(1회)를 각각 물품(AA)의 저장 상태 정보로 생성한다. 전술한 바와 같이 물품(AA)는 2020년 4월 21일 오전 9시에 최초로 저장된 것으로 가정되었으므로, 물품(AA)의 반출 시간 정보는 0이고, 반출 횟수 정보는 0이다.

저장 정보 관리부(24)는 동일한 방식으로 다른 물품들(AB, AC, AD, BA, BB, CA)의 저장 상태 정보를 각각 생성한다. 다른 물품들(AB, AC, AD, BA, BB, CA)의 물품 이미지, 물품 식별 정보, 위치 정보는 각각 서로 다르게 설정된다. 또한 전술한 바와 같이 모든 물품이 2020년 4월 21일 오전 9시에 최초로 저장된 것으로 가정되었으므로, 다른 물품들(AB, AC, AD, BA, BB, CA)의 반입 시간 정보, 누적 저장 시간 정보, 반입 횟수 정보, 반출 시간 정보, 반출 횟수 정보는 물품(AA)와 동일하게 설정된다.

각 물품의 저장 상태 정보가 생성되면, 저장 정보 관리부(24)는 오후 3시 기준의 이미지 원본과 각 물품의 저장 상태 정보를 합성하여 오후 3시 기준의 저장 관리 이미지 정보(40)를 생성한다.

다음으로 오후 6시에 촬영 장치(12)가 냉장실(130) 내부를 촬영하여 이미지 원본이 생성되면, 입력부(22)는 냉장고(1)로부터 촬영 시점이 오후 6시인 이미지 원본을 입력받는다. 저장 정보 관리부(24)는 입력부(22)가 입력받은 이미지 원본에 포함된 각각의 물품(AA, AD, BB-1)을 인식한다. 도 5에서 점선으로 표시된 물품들(AB, AC, BA, BB, CA)은 오후 6시 이전에 냉장실(130)로부터 반출되어 현재 촬영 시점(오후 6시)에는 냉장실(130)에 저장되어 있지 않은 물품들이다.

저장 정보 관리부(24)는 이전 촬영 시점인 오후 3시의 이미지 원본에서 인식된 각각의 물품 이미지와, 현재 촬영 시점인 오후 6시의 이미지 원본에서 인식된 각각의 물품 이미지를 비교한다.

본 명세서의 일 실시예에서, 저장 정보 관리부(24)는 현재 촬영 시점에 저장되어 있는 물품과 이전 촬영 시점에 저장된 물품이 서로 동일하고 현재 촬영 시점에 저장되어 있는 물품의 위치와 이전 촬영 시점에 저장된 물품의 위치가 서로 동일한지 판별한다. 판별 결과 현재 촬영 시점에 저장되어 있는 물품과 이전 촬영 시점에 저장된 물품이 서로 동일하고 현재 촬영 시점에 저장되어 있는 물품의 위치와 이전 촬영 시점에 저장된 물품의 위치가 서로 동일하면, 저장 정보 관리부(24)는 이전 촬영 시점에 저장된 물품의 누적 저장 시간을 현재 촬영 시점에 저장된 물품의 누적 저장 시간에 합산한다.

예를 들어 도 4 및 도 5를 비교하면, 이전 촬영 시점(오후 3시)의 이미지 원본(도 4)에 포함된 물품(AA) 및 물품(AD)의 물품 이미지는 현재 촬영 시점(오후 6시)의 이미지 원본(도 5)에 포함된 물품(AA) 및 물품(AD)의 물품 이미지와 각각 동일하다. 또한 이전 촬영 시점(오후 3시)의 이미지 원본(도 4)에 포함된 물품(AA) 및 물품(AD)의 물품 이미지의 위치는 현재 촬영 시점(오후 6시)의 이미지 원본(도 5)에 포함된 물품(AA) 및 물품(AD)의 물품 이미지의 위치와 각각 동일하다. 따라서 저장 정보 관리부(24)는 이전 촬영 시점(오후 3시)의 물품(AA)의 누적 저장 시간(6시간)을 현재 촬영 시점(오후 6시)의 물품(AA)의 누적 저장 시간(3시간)에 합산한다. 이에 따라서 현재 촬영 시점(오후 6시)을 기준으로 물품(AA)의 누적 저장 시간 정보는 9시간으로 설정된다. 마찬가지로, 현재 촬영 시점(오후 6시)을 기준으로 물품(AD)의 누적 저장 시간 정보도 10시간으로 설정된다.

또한 물품(AA) 및 물품(AD)는 반출되거나 위치가 변하지 않고 계속해서 저장되고 있으므로, 저장 정보 관리부(24)는 물품(AA) 및 물품(AD)의 위치 정보, 반입 시간 정보, 반출 시간 정보, 반입 횟수 정보, 반출 횟수 정보를 이전 촬영 시점(오후 3시)의 정보와 동일하게 유지한다.

한편, 저장 정보 관리부(24)는 이전 촬영 시점에는 냉장실(130)에 보관되었으나 현재 촬영 시점에는 냉장실(130)에 보관되지 않은 물품을 검출한다. 본 명세서에서, 이전 촬영 시점에는 냉장실(130)에 보관되었으나 현재 촬영 시점에는 냉장실(130)에 보관되지 않은 물품은 '현재 촬영 시점에서 반출된 물품'으로 지칭될 수 있다. 예를 들어 도 4와 도 5를 비교하면, 물품(AB), 물품(AC), 물품(BA), 물품(BB), 물품(CA)는 각각 이전 시점(오후 3시)에는 냉장실(130)에 보관되었으나, 현재 촬영 시점(오후 6시)에는 냉장실(130)에 보관되어 있지 않다. 따라서 저장 정보 관리부(24)는 물품(AB), 물품(AC), 물품(BA), 물품(BB), 물품(CA)를 현재 촬영 시점에 반출된 물품으로 결정한다.

저장 정보 관리부(24)는 이전 시점(오후 3시)에는 냉장실(130)에 보관되었으나 현재 촬영 시점(오후 6시)에는 냉장실(130)에 보관되어 있지 않은 물품들(물품(AB), 물품(AC), 물품(BA), 물품(BB), 물품(CA))의 저장 상태 정보를 삭제하지 않고 계속 유지한다. 도 5의 실시예에서, 물품(AB), 물품(AC), 물품(BA), 물품(BB), 물품(CA)의 위치 정보, 반입 시간 정보, 누적 저장 시간 정보, 반입 횟수 정보는 이전 촬영 시점(오후 3시)과 동일하게 유지된다. 그러나 물품(AB), 물품(AC), 물품(BA), 물품(BB), 물품(CA)의 반출 시간 정보는 2020년 4월 21일 오후 6시로 설정되고, 물품(AB), 물품(AC), 물품(BA), 물품(BB), 물품(CA)의 반출 횟수는 1로 설정된다.

본 명세서의 일 실시예에서, 저장 정보 관리부(24)는 이전 촬영 시점에는 냉장실(130)에 보관되었으나 현재 촬영 시점에는 냉장실(130)에 보관되지 않은 물품의 물품 이미지를 현재 촬영 시점의 저장 관리 이미지 정보에 표시한다. 예를 들어 도 5에 도시된 바와 같이, 저장 정보 관리부(24)는 이전 시점(오후 3시)에는 냉장실(130)에 보관되었으나 현재 촬영 시점(오후 6시)에는 냉장실(130)에 보관되어 있지 않은 물품들인 물품(AB), 물품(AC), 물품(BA), 물품(BB), 물품(CA)의 물품 이미지를 각각 이전 시점(오후 3시)의 위치와 대응되도록 현재 촬영 시점(오후 6시)의 저장 관리 이미지 정보(41)에 표시한다.

이에 따라서 현재 촬영 시점(오후 6시)의 저장 관리 이미지 정보(41)에는 현재 촬영 시점(오후 6시)에 냉장실(130)에 저장되어 있는 물품들(물품(AA), 물품(AD), 물품(BB-1))의 물품 이미지 및 이전 시점(오후 3시)에는 냉장실(130)에 보관되었으나 현재 촬영 시점(오후 6시)에는 냉장실(130)에 보관되어 있지 않은 물품들(물품(AB), 물품(AC), 물품(BA), 물품(BB), 물품(CA))의 물품 이미지가 함께 표시된다.

이 때 저장 정보 관리부(24)는 현재 촬영 시점(오후 6시)에 냉장실(130)에 저장되어 있는 물품들(물품(AA), 물품(AD), 물품(BB-1))의 물품 이미지와 이전 시점(오후 3시)에는 냉장실(130)에 보관되었으나 현재 촬영 시점(오후 6시)에는 냉장실(130)에 보관되어 있지 않은 물품들(물품(AB), 물품(AC), 물품(BA), 물품(BB), 물품(CA))의 물품 이미지를 서로 다른 방식으로 표시한다.

예를 들어 저장 정보 관리부(24)는 물품(AB), 물품(AC), 물품(BA), 물품(BB), 물품(CA)의 물품 이미지를 물품(AA), 물품(AD), 물품(BB-1)보다 흐리게 표시하거나, 물품(AB), 물품(AC), 물품(BA), 물품(BB), 물품(CA)의 물품 이미지가 점멸되도록 표시할 수 있다. 또 다른 예로, 저장 정보 관리부(24)는 물품(AB), 물품(AC), 물품(BA), 물품(BB), 물품(CA)의 물품 이미지와 대응되는 위치에 미리 정해진 다른 이미지(예컨대, 박스 형태의 아이콘) 또는 미리 정해진 텍스트(예컨대, '반출됨')를 표시함으로써 물품(AB), 물품(AC), 물품(BA), 물품(BB), 물품(CA)가 저장되었던 위치에 현재 촬영 시점(오후 6시)에는 물품이 저장되어 있지 않음을 표시할 수 있다. 그러나 이전 시점에는 보관되었으나 현재 촬영 시점에는 보관되어 있지 않은 물품들의 표시 방식은 이에 한정되지 않는다.

이처럼 본 명세서의 일 실시예에서 현재 촬영 시점의 저장 관리 이미지 정보에는 현재 촬영 시점에 냉장고의 내부 공간에 저장된 물품뿐만 아니라 이전 촬영 시점에 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품도 표시된다. 이로 인해 사용자는 현재 냉장고에 저장되어 있는 물품에 대한 저장 상태 정보를 확인하는 것뿐만 아니라, 자신이 냉장고에서 반출한 물품에 대한 저장 상태 정보 또한 확인할 수 있다.

또한 사용자는 현재 촬영 시점의 저장 관리 이미지 정보에서 이전 촬영 시점에 저장되었던 물품을 확인함으로써 현재 부족한 물품 또는 신규로 구입해야 하는 물품을 손쉽게 판별할 수 있다.

한편, 본 명세서의 일 실시예에서 저장 정보 관리부(24)는 현재 촬영 시점에 저장되어 있는 물품이 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품과 동일하나, 현재 촬영 시점에 저장되어 있는 물품의 위치와 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품의 위치가 동일하지 않으면, 현재 촬영 시점에 저장되어 있는 물품 및 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품을 각각 별개의 물품으로 관리한다.

예를 들어, 도 5에 도시된 물품(BB-1)은 도 4에 도시된 물품(BB)와 동일한 물품이다. 즉, 사용자는 이전 촬영 시점(오후 3시) 이후에 물품(BB)를 반출했다가 현재 촬영 시점(오후 6시) 이전에 물품(BB)을 다시 냉장실(103)에 반입했다. 그러나 도 5에 도시된 바와 같이 사용자는 물품(BB)를 이전 촬영 시점(오후 3시)의 위치와 다른 위치에 저장했다. 따라서 도 4의 물품(BB)의 물품 이미지 및 도 5의 물품(BB-1)의 물품 이미지는 서로 동일하지만, 물품(BB)의 위치와 물품(BB-1)의 위치는 서로 다르다.

그러므로 저장 정보 관리부(24)는 현재 촬영 시점(오후 6시)을 기준으로 물품(BB)와 물품(BB-1)를 서로 다른 별개의 물품으로 관리한다. 이에 따라서 저장 정보 관리부(24)는 도 5에 도시된 저장 관리 이미지 정보(41)에서 물품(BB)의 물품 이미지와 물품(BB-1)의 물품 이미지를 서로 다른 방식으로 각각 별도로 표시한다.

또한 저장 정보 관리부(24)는 물품(BB)의 저장 상태 정보와 물품(BB-1)의 저장 상태 정보를 각각 별도로 유지한다. 예를 들어, 물품(BB)의 물품 식별 정보와 물품(BB-1)의 물품 식별 정보 및 위치 정보는 서로 다르게 설정된다. 또한 물품(BB)의 반입 시간 정보는 2020년 4월 21일 오전 9시로 설정되고, 물품(BB-1)의 반입 시간 정보는 2020년 4월 21일 오후 6시로 설정된다. 또한 물품(BB)의 반출 시간 정보는 2020년 4월 21일 오후 6시로 설정되고, 물품(BB)의 반출 시간 정보는 설정되지 않는다. 또한 물품(BB)의 누적 저장 시간 정보는 6시간으로 설정되고, 물품(BB-1)의 누적 저장 시간 정보는 0으로 설정된다. 또한 물품(BB) 및 물품(BB-1)의 반입 횟수 정보는 각각 1로 설정된다. 또한 물품(BB)의 반출 횟수 정보는 1로 설정되고, 물품(BB-1)의 반출 횟수 정보는 0으로 설정된다.

이처럼 실제로는 동일한 물품인 물품(BB)와 물품(BB-1)가 서로 다른 물품으로 관리되면, 사용자는 현재 촬영 시점(오후 6시)에서 저장 관리 이미지 정보(41)에 표시된 물품(BB)의 누적 저장 시간을 확인함으로써, 물품(BB-1)의 누적 저장 시간이 실제로는 0이 아닌 6시간임을 확인할 수 있다. 따라서 사용자가 현재 촬영 시점(오후 6시)에서 물품(BB-1)의 음용 여부를 결정하는데 도움이 될 수 있다.

각 물품의 저장 상태 정보가 생성되면, 저장 정보 관리부(24)는 오후 6시 기준의 이미지 원본과 각 물품의 저장 상태 정보를 합성하여 오후 6시 기준의 저장 관리 이미지 정보(41)를 생성한다.

다음으로 오후 9시에 촬영 장치(12)가 냉장실(130) 내부를 촬영하여 이미지 원본이 생성되면, 입력부(22)는 냉장고(1)로부터 촬영 시점이 오후 9시인 이미지 원본을 입력받는다. 저장 정보 관리부(24)는 입력부(22)가 입력받은 이미지 원본에 포함된 각각의 물품(AA, AC, BA-1, BB-2, CB)을 인식한다. 도 6에서 점선으로 표시된 물품들(AB, AD, BA, BB)은 오후 9시 이전에 냉장실(130)로부터 반출되어 현재 촬영 시점(오후 9시)에는 냉장실(130)에 저장되어 있지 않은 물품들이다.

저장 정보 관리부(24)는 이전 촬영 시점인 오후 6시의 이미지 원본에서 인식된 각각의 물품 이미지와, 현재 촬영 시점인 오후 9시의 이미지 원본에서 인식된 각각의 물품 이미지를 비교한다.

도 5 및 도 6을 비교하면, 이전 촬영 시점(오후 6시)의 이미지 원본(도 5)에 포함된 물품(AA)의 물품 이미지는 현재 촬영 시점(오후 9시)의 이미지 원본(도 6)에 포함된 물품(AA)의 물품 이미지와 동일하다. 또한 이전 촬영 시점(오후 6시)의 이미지 원본(도 5)에 포함된 물품(AA)의 물품 이미지의 위치는 현재 촬영 시점(오후 9시)의 이미지 원본(도 6)에 포함된 물품(AA)의 물품 이미지의 위치와 동일하다. 따라서 저장 정보 관리부(24)는 이전 촬영 시점(오후 6시)의 물품(AA)의 누적 저장 시간(9시간)을 현재 촬영 시점(오후 9시)의 물품(AA)의 누적 저장 시간(3시간)에 합산한다. 이에 따라서 현재 촬영 시점(오후 9시)을 기준으로 물품(AA)의 누적 저장 시간 정보는 12시간으로 설정된다.

또한 물품(AA)는 반출되거나 위치가 변하지 않고 계속해서 저장되고 있으므로, 저장 정보 관리부(24)는 물품(AA)의 위치 정보, 반입 시간 정보, 반출 시간 정보, 반입 횟수 정보, 반출 횟수 정보를 이전 촬영 시점(오후 6시)의 정보와 동일하게 유지한다.

한편, 이전 촬영 시점(오후 6시)에 저장되지 않았던 물품(AB), 물품(BA), 물품(BB)가 배치되었던 위치에 현재 촬영 시점(오후 9시)을 기준으로 다른 물품이 배치되지 않았으므로, 저장 정보 관리부(24)는 물품(AB), 물품(BA), 물품(BB)의 저장 상태 정보를 변경하지 않고 각각 그대로 유지한다.

본 명세서의 일 실시예에서, 저장 정보 관리부(24)는 현재 촬영 시점에 저장되어 있는 물품이 이전 촬영 시점에 저장되었다가 반출된 물품과 동일하고, 현재 촬영 시점에 저장되어 있는 물품의 위치와 이전 촬영 시점에 저장되었다가 반출된 물품의 위치가 동일하면, 이전 촬영 시점에 저장되었다가 반출된 물품의 누적 저장 시간을 상기 현재 촬영 시점에 저장된 물품의 누적 저장 시간에 합산한다.

예를 들어 도 6에 도시된 물품(AC)의 물품 이미지는 이전 촬영 시점인 오후 3시에 저장되었다가 이전 촬영 시점인 오후 6시에 반출된 물품인 도 5의 물품(AC)의 물품 이미지와 동일하다. 또한 도 6에 도시된 물품(AC)의 위치는 도 5에 도시된 물품(AC)의 위치와 동일하다. 따라서 저장 정보 관리부(24)는 도 5의 촬영 시점(오후 6시)에서 설정된 물품(AC)의 누적 저장 시간인 6시간을, 현재 촬영 시점(오후 9시)의 물품(AC)의 누적 저장 시간인 3시간과 합산한다. 이에 따라서 현재 촬영 시점(오후 9시)의 물품(AC)의 누적 저장 시간은 9시간으로 설정된다.

만약 현재 촬영 시점(오후 9시)에서 물품(AC)의 누적 저장 시간을 설정함에 있어서 이전 촬영 시점의 저장 이력이 고려되지 않는다면, 물품(AC)는 현재 촬영 시점(오후 9시)에서 새로 반입된 물품으로 인식되고 물품(AC)의 누적 저장 시간은 3시간으로 설정될 것이다. 그러나 본 명세서의 일 실시예에 따르면 물품(AC)의 누적 저장 시간을 설정함에 있어서 이전 촬영 시점의 저장 이력이 고려되므로, 물품(AC)의 누적 저장 시간은 9시간으로 설정된다. 따라서 사용자는 물품(AC)의 음용 여부를 결정할 때 현재 촬영 시점(오후 9시)의 저장 관리 이미지 정보(42)를 통해 물품(AC)의 누적 저장 시간이 9시간임을 확인할 수 있다.

또한 현재 촬영 시점(오후 9시)에서 물품(AC)의 반입 시간 정보는 오후 9시로 변경되고, 반입 횟수 정보는 2회로 변경된다.

이처럼 본 명세서의 일 실시예에서는 냉장고 내부로 반입되었다가 반출된 후 다시 반입된 물품에 대한 저장 상태 정보가 설정될 때 이전 촬영 시점의 저장 이력이 반영된다. 따라서 사용자는 냉장고 내부에 저장된 물품에 대한 보다 정확한 저장 이력을 확인할 수 있다.

한편, 저장 정보 관리부(24)는 이전 촬영 시점(오후 6시)에 저장되었다가 현재 촬영 시점(오후 9시)에는 저장되지 않은 물품(AD)의 저장 상태 정보를 이전 촬영 시점(오후 6)의 물품(AD)의 저장 상태 정보와 동일하게 유지한다.

또한 현재 촬영 시점(오후 9시)에서 물품(BA)의 위치에는 다른 물품이 반입되지 않았으므로, 저장 정보 관리부(24)는 이전 촬영 시점(오후 6시)의 물품(BA)의 저장 상태 정보를 변경하지 않고 그대로 유지한다.

한편, 도 6에 도시된 물품(BA-1)은 물품(BA)와 동일한 물품이다. 그러나 물품(BA-1)의 물품 이미지와 물품(BA)의 물품 이미지의 위치가 서로 다르므로, 저장 정보 관리부(24)는 물품(BA-1)과 물품(BA)를 각각 별개의 물품으로 관리한다. 따라서 물품(BA-1)는 현재 촬영 시점(오후 9시)에 신규로 반입된 물품으로 인식된다.

또한 현재 촬영 시점(오후 9시)에서 물품(BB)의 위치에는 다른 물품이 반입되지 않았으므로, 저장 정보 관리부(24)는 이전 촬영 시점(오후 6시)의 물품(BB)의 저장 상태 정보를 변경하지 않고 그대로 유지한다.

한편, 도 6에 도시된 바와 같이 현재 촬영 시점(오후 9시)에서 물품(BB)의 우측에는 물품(BB)와 동일한 물품인 물품(BB-2)가 반입된다. 그러나 물품(BB-2)의 물품 이미지와 물품(BB)의 물품 이미지의 위치가 서로 다르므로, 저장 정보 관리부(24)는 물품(BB-2)와 물품(BB)를 각각 별개의 물품으로 관리한다. 따라서 물품(BB-2)는 현재 촬영 시점(오후 9시)에 신규로 반입된 물품으로 인식된다.

또한 도 6에 도시된 바와 같이, 현재 촬영 시점(오후 9시)에서 이전 촬영 시점(오후 3시)에 물품(CA)가 저장되었던 위치에는 새로운 물품(CB)가 저장된다. 따라서 저장 정보 관리부(24)는 현재 촬영 시점(오후 9시)을 기준으로 새로운 물품(CB)에 대한 새로운 저장 상태 정보를 생성한다.

각 물품의 저장 상태 정보가 생성되면, 저장 정보 관리부(24)는 오후 9시 기준의 이미지 원본과 각 물품의 저장 상태 정보를 합성하여 오후 9시 기준의 저장 관리 이미지 정보(42)를 생성한다.

저장 정보 관리부(24)는 전술한 바와 같은 과정에 따라서 각각의 촬영 시점에서 각 물품의 저장 상태 정보를 생성하고, 각각의 촬영 시점의 이미지 원본과 각 물품의 저장 상태 정보를 합성하여 각각의 촬영 시점의 저장 관리 이미지 정보를 생성한다.

저장 정보 관리부(24)는 사용자의 요청에 따라서 각각의 촬영 시점의 저장 관리 이미지 정보를 사용자 단말(3)로 전송한다. 사용자는 특정 촬영 시점의 저장 관리 이미지 정보 전송을 요청할 수도 있고, 조회하고자 하는 기간을 설정하여 설정된 기간에 포함되는 다수의 촬영 시점의 저장 관리 이미지 정보들의 전송을 요청할 수도 있다.

사용자 단말(3)에 저장 관리 이미지 정보가 표시되면, 사용자는 포인터를 움직이거나 터치 동작을 통해서 저장 관리 이미지 정보에 표시된 물품 이미지중 어느 하나를 선택할 수 있다. 물품 이미지가 선택되면, 선택된 물품 이미지와 대응되는 저장 상태 정보를 조회하기 위한 메뉴창 또는 선택된 물품 이미지와 대응되는 저장 상태 정보가 사용자 단말(3)에 표시된다. 따라서 사용자는 각각의 촬영 시점에서 저장된 물품의 저장 상태 정보를 용이하게 확인할 수 있다.

특히 전술한 바와 같이 본 명세서의 일 실시예에 따른 저장 관리 이미지 정보에는 현재 촬영 시점에 저장된 물품의 물품 이미지와 함께 이전 시점에 저장되었던 물품의 물품 이미지가 표시된다. 따라서 사용자는 현재 촬영 시점에 냉장고에 저장되어 있는 물품의 누적 저장 시간 또는 냉장고에 저장되어 있다가 반출된 물품의 누적 저장 시간을 쉽고 정확하게 파악할 수 있다. 따라서 사용자는 냉장고에 저장된 물품 또는 반출되어 있는 물품을 음용할지 여부를 보다 편리하게 결정할 수 있다.

한편, 본 명세서의 일 실시예에서, 사용자 단말(3)에서 저장 관리 이미지 정보가 표시될 때, 사용자가 저장 관리 이미지 정보에 표시된 물품 중 어느 하나를 선택하면 선택된 물품에 대한 메모 정보 입력 창 또는 선택된 물품에 대하여 입력된 메모 정보가 사용자 단말(3)에 표시된다.

예를 들어 도 6에 도시된 저장 관리 이미지 정보(42)가 사용자 단말(3)에 표시될 때, 사용자가 물품(CB)의 물품 이미지를 선택하면 물품(CB)에 대한 메모 정보를 입력하기 위한 메모 정보 입력 창이 표시된다. 사용자는 물품(CB)와 관련된 정보, 예컨대 물품(CB)를 만들기 위한 재료나 레시피, 또는 물품(CB)의 구매 출처나 구매를 위한 인터넷 주소 등을 물품(CB)의 메모 정보로 입력할 수 있다.

사용자가 물품(CB)에 대한 메모 정보를 입력하면, 저장 관리 이미지 정보(42)에는 물품(CB)에 대한 메모 정보가 입력되어 있음을 알리기 위한 메모 아이콘(420)이 표시된다. 사용자가 메모 아이콘(420)을 선택하면 물품(CB)의 메모 정보가 사용자 단말(3)에 표시된다.

또한 본 명세서의 일 실시예에서, 사용자 단말(3)에서 저장 관리 이미지 정보가 표시될 때, 사용자가 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품을 선택하면 선택된 물품의 구매를 위한 구매 링크 정보가 사용자 단말(3)에 표시될 수 있다. 예를 들어 사용자 단말(3)에 도 6에 도시된 저장 관리 이미지 정보(42)가 표시될 때, 사용자가 현재 촬영 시점에 저장되지 않은 물품(AB)를 선택하면, 물품(AB)를 구매할 수 있는 사이트에 대한 인터넷 주소가 구매 링크 정보로서 사용자 단말(3)에 표시된다. 이에 따라서 사용자는 자주 음용하거나 재구매가 필요한 물품을 보다 편리하게 구매할 수 있다.

또한 본 명세서의 일 실시예에서, 저장 정보 관리부(24)는 각각의 촬영 시점 별로 생성되는 저장 관리 이미지 정보를 비교하여 통계 정보를 생성하고, 통계 정보를 사용자 단말(3)로 제공할 수 있다.

예를 들어 저장 정보 관리부(24)는 현재 촬영 시점에서 누적 저장 시간이 가장 오래된 순서대로 각 물품의 물품 이미지 및 물품 식별 정보를 정렬하여 통계 정보를 생성할 수 있다. 이러한 통계 정보가 제공되면 사용자는 현재 촬영 시점에서 냉장고에 오래 보관된 물품들을 손쉽게 확인하고 폐기할 수 있다.

또 다른 예로 저장 정보 관리부(24)는 현재 촬영 시점에서 반입 횟수 또는 반출 횟수가 가장 많은 순서대로 각 물품의 물품 이미지 및 물품 식별 정보를 정렬하여 통계 정보를 생성할 수 있다. 이러한 통계 정보가 제공되면 사용자는 냉장고에 저장된 물품 중 다른 사용자 또는 가족 구성원들이 선호하는 물품을 손쉽게 확인할 수 있다.

도 7은 본 명세서의 다른 실시예에서 냉장고 저장 물품 관리 장치에 의해서 생성되는 제3 시점의 저장 관리 이미지 정보를 나타낸다.

본 명세서의 다른 실시예에서, 저장 정보 관리부(24)는 오후 9시 기준의 이미지 원본과 각 물품의 저장 상태 정보를 기초로 도 7에 도시된 바와 같은 저장 관리 이미지 정보(43)를 생성할 수 있다.

도 7의 저장 관리 이미지 정보(43)에서, 현재 촬영 시점인 오후 9시에 냉장실(130)에 저장되어 있는 물품들(AA, AC, BA-1, BB2, CB)의 물품 이미지 주변에는 각 물품들(AA, AC, BA-1, BB2, CB)의 저장 상태 정보를 나타내는 정보 창(451, 452, 453, 454, 455)이 표시된다.

예컨대 물품(AA)의 하단에 표시되는 정보 창(451)에는 물품(AA)가 이전 촬영 시점(오후 6시)과 동일한 위치에 저장되어 있음을 의미하는 'not moved' 및 물품(AA)의 누적 저장 시간인 12시간을 나타내는 '12h'가 각각 표시된다. 마찬가지로, 물품(AC)의 정보 창(452)에는 물품(AC)가 이전 촬영 시점(오후 6시)과 동일한 위치에 저장되어 있음을 의미하는 'not moved' 및 물품(AC)의 누적 저장 시간인 9시간을 나타내는 '9h'가 각각 표시된다.

또한 물품(BA-1), 물품(BB-2), 물품(CB)의 하단에는 각각 물품(BA-1), 물품(BB-2), 물품(CB)가 이전 촬영 시점에는 저장되어 있지 않았으나 현재 촬영 시점에 새롭게 냉장실(130) 내부로 유입되었음을 나타내는 'new' 및 물품(BA-1), 물품(BB-2), 물품(CB)의 누적 저장 시간을 나타내는 '0h'가 표시된다.

도 7의 실시예에 정보 창(451, 452, 453, 454, 455)에는 각 물품이 이전 촬영 시점에 저장되어 있었는지 또는 새로 유입되었는지에 대한 정보 및 각 물품의 누적 저장 시간만이 표시된다. 그러나 다른 실시예에서 정보 창(451, 452, 453, 454, 455)에는 각 물품의 다른 저장 상태 정보들이 표시될 수 있다. 또한 다른 실시예에서 사용자가 각 물품의 물품 이미지를 클릭 또는 터치하여 선택하면 선택된 물품의 추가적인 저장 상태 정보들이 더 표시될 수도 있다.

이처럼 본 명세서의 다른 실시예에서는 현재 촬영 시점에 저장되어 있는 물품의 저장 상태 정보가 저장 관리 이미지 정보(43)에 표시된다. 따라서 사용자는 냉장고 내부에 저장된 각 물품의 저장 상태를 직관적으로 용이하게 확인할 수 있다.

또한 도 7의 저장 관리 이미지 정보(43)에서, 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품들, 즉 도 6의 물품(AB), 물품(AD), 물품(BA), 물품(BB)의 위치에는 각각 블랭크 이미지(441, 442, 443, 444)가 표시된다. 도 7의 실시예에서 블랭크 이미지(441, 442, 443, 444)는 사각형으로 도시되어 있으나, 블랭크 이미지의 형상 또는 색상은 실시예에 따라서 달라질 수 있다.

이처럼 본 명세서의 다른 실시예에서는 사용자가 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품들을 직관적으로 용이하게 확인할 수 있도록, 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품들이 별도의 이미지, 예컨대 블랭크 이미지로 표시된다.

본 명세서의 다른 실시예에서, 사용자가 저장 관리 이미지 정보(43)에 표시된 블랭크 이미지(441, 442, 443, 444) 중 어느 하나를 클릭 또는 터치하여 선택하면, 이전 촬영 시점에서 선택된 블랭크 이미지가 표시된 위치에 저장되었던 물품의 저장 상태 정보가 표시될 수 있다. 예를 들어 사용자가 블랭크 이미지(442)를 클릭 또는 터치하면, 이전 촬영 시점에 블랭크 이미지(442)의 위치에 저장되었던 물품인 물품(AD)의 물품 이미지가 블랭크 이미지(442)의 위치에 일정 시간 표시되거나, 물품(AD)의 저장 상태 정보가 표시될 수 있다. 따라서 사용자는 이전 촬영 시점에 저장되었던 물품에 대한 정보를 보다 용이하게 확인할 수 있다.

도 8은 본 명세서의 일 실시예에서 사용자가 냉장고의 저장 물품 관리를 위한 어플리케이션을 실행했을 때 사용자 단말에 표시되는 화면을 나타낸다. 또한 도 9은 도 8의 실시예에서 사용자가 부모님 냉장고의 물품 저장 이력 조회를 요청할 때 사용자 단말에 표시되는 화면을 나타낸다.

본 명세서의 일 실시예에서, 사용자는 사용자 단말(3)에 냉장고(1)의 저장 물품 관리를 한 어플리케이션을 설치할 수 있다. 도 8에는 사용자가 냉장고(1)의 저장 물품 관리를 위한 어플리케이션을 실행했을 때 사용자 단말(3)에 표시되는 화면이 도시된다.

냉장고(1)의 저장 물품 관리를 위한 어플리케이션이 실행되면, 사용자 단말(3)에는 미리 등록된 냉장고들의 목록이 표시된다. 도 8에 도시된 바와 같이 사용자 단말(3)에는 사용자의 냉장고에 대한 조회 버튼(71) 및 사용자의 부모님 댁에 설치된 냉장고에 대한 조회 버튼(72)이 각각 표시된다. 각각의 버튼 상에는 냉장고의 식별 정보와 함께 각 냉장고의 온도 정보(냉장실 온도, 냉동실 온도)가 표시된다.

도 9에는 사용자가 도 8에 도시된 화면에서 부모님 냉장고에 대한 조회 버튼(72)을 누르거나 클릭할 때 사용자 단말(3)에 표시되는 예시적인 화면이 도시된다. 도 9에서 사용자 단말(3)에는 각각의 촬영 시점에 대응되는 저장 상태 정보 및 저장 관리 이미지 정보를 조회하기 위한 조회 버튼(73, 74, 75)이 표시된다. 각각의 조회 버튼에는 저장 관리 이미지 정보의 일부 또는 전부가 썸네일(80, 81, 82)로 표시된다. 예를 들어 사용자가 조회 버튼(74)을 누르거나 클릭하면, 사용자 단말(3)에는 도 5에 도시된 2020년 4월 21일 오후 6시에 생성된 저장 관리 이미지 정보(41)가 표시된다.

사용자 단말(3)에 저장 관리 이미지 정보가 표시되면, 사용자는 저장 관리 이미지 정보에 포함된 물품 이미지를 누르거나 클릭하여 저장 상태 정보 조회를 요청한다. 이에 따라서 사용자가 선택한 물품의 저장 상태 정보가 사용자 단말(3)에 표시된다.

실시예에 따라서는 사용자의 선택과 관계없이 저장 상태 정보의 일부 또는 전부가 각각의 물품 이미지 주변에 표시될 수 있다. 예를 들어 사용자 단말(3)에 저장 관리 이미지 정보가 표시되면, 각각의 물품 이미지 주변에는 각각의 물품의 누적 저장 시간이 표시될 수 있다.

한편, 사용자는 도 9에 도시된 화면에서 공유 버튼(702)을 눌러 저장 관리 이미지 정보를 다른 어플리케이션으로 전달 또는 공유할 수 있다. 본 명세서의 일 실시예에서, 사용자는 누른 후 공유 버튼(702)을 누른 후 화면에 표시된 저장 관리 이미지 정보 목록 중 공유하고자 하는 저장 관리 이미지 정보를 선택함으로써 선택된 저장 관리 이미지 정보를 다른 어플리케이션으로 전달 또는 공유할 수 있다.

도 10는 본 명세서의 일 실시예에 따른 냉장고 저장 물품 관리 장치에 의해서 생성되는 저장 관리 이미지 정보가 사용자 단말에서 실행되는 채팅 어플리케이션을 통해 공유되는 실시예를 나타낸다.

도 10에 도시된 바와 같이, 사용자는 채팅 어플리케이션을 통해서 아들과 채팅을 수행한다. 대화 도중 사용자의 아들은 앞서 언급된 냉장고(1)의 저장 물품 관리를 위한 어플리케이션을 실행하고 도 9에 도시된 공유 버튼(702)을 누른 후 2020년 4월 21일 오후 3시의 저장 관리 이미지 정보 및 2020년 4월 21일 오후 6시의 저장 관리 이미지 정보를 선택한다. 사용자의 아들이 공유 대상 어플리케이션으로 채팅 어플리케이션을 선택하면, 도 10에 도시된 바와 같이 사용자의 아들이 선택한 2020년 4월 21일 오후 3시의 저장 관리 이미지 정보 및 2020년 4월 21일 오후 6시의 저장 관리 이미지 정보가 채팅 어플리케이션에 메시지(902)로 삽입된다.

이러한 기능을 이용하여 사용자는 채팅 어플리케이션을 이용한 대화 도중 냉장고에 저장된 물품에 관한 정보를 공유하거나 부족한 물품에 대한 구매를 대화 상대방에게 요청할 수 있다.

도 11은 본 명세서의 일 실시예에 따른 냉장고 저장 물품 관리 장치에 의해서 생성되는 저장 관리 이미지 정보가 사용자 단말에서 실행되는 SNS 어플리케이션을 통해 공유되는 실시예를 나타낸다.

사용자는 앞서 언급된 냉장고(1)의 저장 물품 관리를 위한 어플리케이션을 실행하고 도 9에 도시된 공유 버튼(702)을 누른 후 2020년 4월 21일 오후 3시의 저장 관리 이미지 정보를 선택한다. 사용자가 공유 대상 어플리케이션으로 SNS 어플리케이션을 선택하면, 사용자가 선택한 2020년 4월 21일 오후 3시의 저장 관리 이미지 정보(40)가 SNS 어플리케이션에 삽입된다. 이에 따라서 사용자는 원하는 저장 관리 이미지 정보를 SNS를 통해서 다른 사용자들과 편리하게 공유할 수 있다.

본 명세서의 일 실시예에서, SNS 어플리케이션에 삽입된 저장 관리 이미지 정보(40)에는 메모 정보가 입력되어 있음을 알리기 위한 메모 아이콘(420)이 표시된다. SNS 어플리케이션을 통해서 사용자의 계정에 접속하여 저장 관리 이미지 정보(40)를 확인하는 다른 사용자들은 메모 아이콘(420)을 눌러서 물품과 관련된 정보(예컨대, 재료, 레시피, 구매 링크 정보 등)를 확인할 수 있다.

도 12은 본 명세서의 일 실시예에 따른 냉장고 저장 물품 관리 방법의 흐름도이다.

냉장고 저장 물품 관리 장치(2)의 입력부(22)는 냉장고(1)의 내부를 촬영하는 촬영 장치(12)에 의해서 생성되는 이미지 원본을 입력받는다(1102).

본 명세서의 일 실시예에서 이미지 원본은 저장실 또는 도어 내측면 전체의 물품을 촬영한 이미지일 수 있다. 만약 촬영 장치가 다수개 배치될 경우, 이미지 원본은 각각의 촬영 장치가 촬영하여 생성되는 이미지를 합성한 이미지일 수 있다. 이처럼 본 명세서의 일 실시예에서는 저장실 또는 도어 내측면의 일부분이 아닌 전체를 촬영하여 생성되는 이미지 원본을 이용하여 저장 상태 정보 및 저장 관리 이미지 정보가 생성된다.

본 명세서의 일 실시예에서 촬영 장치(12)는 미리 정해진 주기에 따라서 또는 미리 정해진 이벤트가 발생할 때마다 이미지 원본을 생성한다. 예를 들어 촬영 장치(12)는 3시간 간격으로 이미지 원본을 생성하거나, 도어가 열렸다가 닫힐 때마다 이미지 원본을 생성할 수 있다.

다음으로, 냉장고 저장 물품 관리 장치(2)의 저장 정보 관리부(24)는 이미지 원본에 포함된 각각의 물품을 인식한다(1104). 본 명세서의 일 실시예에서, 저장 정보 관리부(24)는 종래 알려진 이미지 상에서 객체를 인식하는 기술 또는 알고리즘을 이용하여 이미지 원본에 포함된 각각의 물품 이미지를 인식할 수 있다. 예컨대 저장 정보 관리부(24)는 딥러닝이나 머신 러닝을 통한 객체 인식 기술을 이용하여 이미지 원본으로부터 각각의 물품 이미지를 추출할 수 있다.

다음으로, 냉장고 저장 물품 관리 장치(2)의 저장 정보 관리부(24)는 각각의 촬영 시점 별로 상기 각각의 물품의 저장 상태 정보를 생성한다(1106). 본 명세서의 일 실시예에서, 저장 상태 정보는 물품 이미지, 물품 식별 정보, 위치 정보, 반입 시간 정보, 반출 시간 정보, 누적 저장 시간 정보, 반입 횟수 정보, 반출 횟수 정보 중 적어도 하나를 포함한다.

다음으로, 냉장고 저장 물품 관리 장치(2)의 저장 정보 관리부(24)는 이미지 원본 및 상기 저장 상태 정보를 이용하여 각각의 촬영 시점 별로 저장 관리 이미지 정보를 생성한다(1108).

본 명세서의 일 실시예에서, 저장 관리 이미지 정보는 현재 촬영 시점에 저장되어 있는 물품의 저장 상태 정보 및 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품의 저장 상태 정보를 포함한다.

또한 본 명세서의 일 실시예에서, 이미지 원본 및 저장 상태 정보를 이용하여 각각의 촬영 시점 별로 저장 관리 이미지 정보를 생성하는 단계(1108)는 현재 촬영 시점에 저장되어 있는 물품의 물품 이미지와 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품의 물품 이미지를 현재 촬영 시점의 저장 관리 이미지 정보에 표시하는 단계를 포함한다.

또한 본 명세서의 일 실시예에서, 이미지 원본 및 저장 상태 정보를 이용하여 각각의 촬영 시점 별로 저장 관리 이미지 정보를 생성하는 단계(1108)는 현재 촬영 시점에 저장되어 있는 물품의 물품 이미지와 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품의 물품 이미지를 서로 다른 방식으로 표시하는 단계를 포함한다.

또한 본 명세서의 일 실시예에서, 각각의 촬영 시점 별로 상기 각각의 물품의 저장 상태 정보를 생성하는 단계(1106)는 현재 촬영 시점에 저장되어 있는 물품과 이전 촬영 시점에 저장된 물품이 서로 동일하고 현재 촬영 시점에 저장되어 있는 물품의 위치와 이전 촬영 시점에 저장된 물품의 위치가 서로 동일하면, 이전 촬영 시점에 저장된 물품의 누적 저장 시간을 현재 촬영 시점에 저장된 물품의 누적 저장 시간에 합산하는 단계를 포함한다.

또한 본 명세서의 일 실시예에서, 각각의 촬영 시점 별로 각각의 물품의 저장 상태 정보를 생성하는 단계(1106)는 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되어 있지 않은 물품의 누적 저장 시간을 이전 촬영 시점의 누적 저장 시간으로 설정하는 단계를 포함한다.

또한 본 명세서의 일 실시예에서, 현재 촬영 시점에 저장되어 있는 물품이 상기 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품과 동일하나 상기 현재 촬영 시점에 저장되어 있는 물품의 위치와 상기 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품의 위치가 동일하지 않으면, 현재 촬영 시점에 저장되어 있는 물품 및 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품은 각각 별개의 물품으로 관리된다.

또한 본 명세서의 일 실시예에서, 각각의 촬영 시점 별로 상기 각각의 물품의 저장 상태 정보를 생성하는 단계(1106)는 현재 촬영 시점에 저장되어 있는 물품이 이전 촬영 시점에 저장되었다가 반출된 물품과 동일하고 상기 현재 촬영 시점에 저장되어 있는 물품의 위치와 이전 촬영 시점에 저장되었다가 반출된 물품의 위치가 동일하면, 이전 촬영 시점에 저장되었다가 반출된 물품의 누적 저장 시간을 상기 현재 촬영 시점에 저장된 물품의 누적 저장 시간에 합산하는 단계를 포함한다.

다음으로, 냉장고 저장 물품 관리 장치(2)의 저장 정보 관리부(24)는 저장 상태 정보 및 상기 저장 관리 이미지 정보 중 적어도 하나를 사용자 단말로 제공한다.

또한 도면에는 도시되지 않았으나, 본 명세서의 일 실시예에 따른 냉장고 저장 물품 관리 방법은, 각각의 촬영 시점 별로 생성되는 저장 관리 이미지 정보를 비교하여 통계 정보를 생성하는 단계 및 상기 통계 정보를 사용자 단말로 제공하는 단계를 더 포함한다.

또한 본 명세서의 일 실시예에서, 사용자 단말에서 저장 관리 이미지 정보가 표시될 때, 사용자가 저장 관리 이미지 정보에 표시된 물품 중 어느 하나를 선택하면 선택된 물품에 대한 메모 정보 입력 창 또는 선택된 물품에 대하여 입력된 메모 정보가 상기 사용자 단말에 표시된다.

도 13은 본 명세서의 다른 실시예에 따른 냉장고 저장 물품 관리 방법의 흐름도이다.

사용자에 의하여 냉장고(1)의 도어(112, 114, 116, 118) 중 어느 하나가 열리면(1202), 냉장고(1)의 내부에 배치되는 촬영 장치(12)는 냉장고(1)의 내부, 예컨대 저장실(130, 140)을 촬영한다(1204). 본 명세서의 다른 실시예에서, 촬영 장치(12)는 미리 정해진 이벤트(예컨대, 도어 열림 또는 도어 닫힘, 또는 사용자의 요청)가 발생할 때 또는 미리 정해진 주기에 따라서 냉장고(1)의 내부를 촬영할 수 있다.

촬영 장치(12)가 냉장고(1)의 내부를 촬영하면 이미지 원본이 생성된다. 이미지 원본은 냉장고 저장 물품 관리 장치(2)의 입력부(22)로 전달된다.

입력부(22)를 통해 이미지 원본이 입력되면, 저장 정보 관리부(24)는 이미지 원본에 포함된 각각의 물품을 인식한다(1206). 또한 저장 정보 관리부(24)는 인식된 각각의 물품의 위치 정보를 획득한다(1208).

저장 정보 관리부(24)는 현재 촬영 시점의 이미지 원본에서 인식된 각 물품의 물품 이미지 및 위치 정보를 이전 촬영 시점의 이미지 원본에 포함된 각 물품의 물품 이미지 및 위치 정보와 비교한다.

보다 구체적으로, 저장 정보 관리부(24)는 현재 촬영 시점의 이미지 원본에서 인식된 물품의 물품 이미지 및 위치 정보가 이전 촬영 시점의 이미지 원본에 포함된 물품의 물품 이미지 및 위치 정보와 서로 동일한지 판단한다(1210). 현재 촬영 시점의 이미지 원본에서 인식된 물품의 물품 이미지 및 위치 정보가 이전 촬영 시점의 이미지 원본에 포함된 물품의 물품 이미지 및 위치 정보와 서로 동일하면, 저장 정보 관리부(24)는 해당 물품이 계속해서 동일한 위치에 저장되어 있는 것으로 판단하고, 해당 물품의 이전 촬영 시점의 누적 저장 시간을 현재 촬영 시점의 누적 저장 시간과 합산한다(1212).현재 촬영 시점의 이미지 원본에서 인식된 물품의 물품 이미지 및 위치 정보가 이전 촬영 시점의 이미지 원본에 포함된 물품의 물품 이미지 및 위치 정보와 서로 동일하지 않으면, 저장 정보 관리부(24)는 현재 촬영 시점의 이미지 원본에서 인식된 물품의 물품 이미지가 이전 촬영 시점의 이미지 원본에 포함된 물품의 물품 이미지와 서로 동일하지만 현재 촬영 시점의 이미지 원본에서 인식된 물품의 위치 정보가 이전 촬영 시점의 이미지 원본에 포함된 물품의 위치 정보와 상이한지 판단한다(1214). 현재 촬영 시점의 이미지 원본에서 인식된 물품의 물품 이미지가 이전 촬영 시점의 이미지 원본에 포함된 물품의 물품 이미지와 서로 동일하지만 현재 촬영 시점의 이미지 원본에서 인식된 물품의 위치 정보가 이전 촬영 시점의 이미지 원본에 포함된 물품의 위치 정보와 상이하면, 저장 정보 관리부(24)는 해당 물품이 현재 촬영 시점에서 현재 위치에 새롭게 저장된 물품인 것으로 판단하고 해당 물품의 누적 저장 시간을 0으로 리셋한다(1216).

또한 저장 정보 관리부(24)는 특정 위치에 물품 이미지가 존재하지 않는지 판단한다(1218). 만약 특정 위치에 물품 이미지가 존재하지 않으면 저장 정보 관리부(24)는 해당 위치를 빈 공간으로 인식한다(1220). 저장 정보 관리부(24)는 빈 공간에 아무런 이미지도 표시하지 않거나 블랭크 이미지를 표시할 수 있다. 만약 특정 위치에 물품 이미지가 존재하면 저장 정보 관리부(24)는 해당 물품 이미지를 새로운 물품으로 인식한다(1222).

본 명세서의 일 실시예에 따른 냉장고 저장 물품 관리 방법 및 장치에 의하면, 냉장고 내부에 저장된 각각의 물품을 정확하게 인식하고 인식된 각 물품의 상세한 저장 이력을 사용자에게 제공할 수 있다.

또한 본 명세서의 일 실시예에 따른 냉장고 저장 물품 관리 방법 및 장치에 의하면, 냉장고 내부에 장기간 저장되며 빈번하게 반입 및 반출되는 물품의 저장 이력을 제공함으로써 사용자가 물품의 보관 또는 폐기 여부를 용이하게 결정할 수 있다.

본 명세서의 일 실시예에 따른 냉장고 저장 물품 관리 방법 및 장치에 의하면, 사용자가 저장실 내부의 물품 저장 현황을 직관적으로 그리고 용이하게 파악할 수 있다.

이상과 같이 본 명세서에 대해서 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시 예와 도면에 의해 본 명세서가 한정되는 것은 아니며, 통상의 기술자에 의해 다양한 변형이 이루어질 수 있음은 자명하다. 아울러 앞서 본 명세서의 실시예를 설명하면서 본 명세서의 구성에 따른 효과를 명시적으로 기재하여 설명하지 않았을지라도, 해당 구성에 의해 예측 가능한 효과 또한 인정되어야 함은 당연하다.

Claims (20)

1. 냉장고의 내부를 촬영하는 촬영 장치에 의해서 생성되는 이미지 원본을 입력받는 입력부; 및
   상기 이미지 원본에 포함된 각각의 물품을 인식하여 각각의 촬영 시점 별로 상기 각각의 물품의 저장 상태 정보를 생성하고, 상기 이미지 원본 및 상기 저장 상태 정보를 이용하여 각각의 촬영 시점 별로 저장 관리 이미지 정보를 생성하며, 상기 저장 상태 정보 및 상기 저장 관리 이미지 정보 중 적어도 하나를 사용자 단말로 제공하는 저장 정보 관리부를 포함하고,
   상기 저장 관리 이미지 정보는
   현재 촬영 시점에 저장되어 있는 물품의 저장 상태 정보 및 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품의 저장 상태 정보를 포함하고,
   상기 저장 정보 관리부는
   상기 현재 촬영 시점에 저장되어 있는 물품의 물품 이미지와 상기 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품의 물품 이미지를 현재 촬영 시점의 저장 관리 이미지 정보에 함께 표시하는
   냉장고 저장 물품 관리 장치.
   
2. 제1항에 있어서,
   상기 저장 상태 정보는
   물품 이미지, 물품 식별 정보, 위치 정보, 반입 시간 정보, 반출 시간 정보, 누적 저장 시간 정보, 반입 횟수 정보, 반출 횟수 정보 중 적어도 하나를 포함하는
   냉장고 저장 물품 관리 장치.
   
3. 삭제
4. 제1항에 있어서,
   상기 저장 정보 관리부는
   상기 현재 촬영 시점에 저장되어 있는 물품의 물품 이미지와 상기 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품의 물품 이미지를 서로 다른 방식으로 표시하는
   냉장고 저장 물품 관리 장치.
   
5. 제1항에 있어서,
   상기 저장 정보 관리부는
   상기 현재 촬영 시점에 저장되어 있는 물품과 이전 촬영 시점에 저장된 물품이 서로 동일하고 상기 현재 촬영 시점에 저장되어 있는 물품의 위치와 상기 이전 촬영 시점에 저장된 물품의 위치가 서로 동일하면, 상기 이전 촬영 시점에 저장된 물품의 누적 저장 시간을 상기 현재 촬영 시점에 저장된 물품의 누적 저장 시간에 합산하는
   냉장고 저장 물품 관리 장치.
   
6. 제1항에 있어서,
   상기 저장 정보 관리부는
   상기 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되어 있지 않은 물품의 누적 저장 시간을 상기 이전 촬영 시점의 누적 저장 시간으로 설정하는
   냉장고 저장 물품 관리 장치.
   
7. 제1항에 있어서,
   상기 저장 정보 관리부는
   현재 촬영 시점에 저장되어 있는 물품이 상기 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품과 동일하나 상기 현재 촬영 시점에 저장되어 있는 물품의 위치와 상기 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품의 위치가 동일하지 않으면, 상기 현재 촬영 시점에 저장되어 있는 물품 및 상기 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품을 각각 별개의 물품으로 관리하는
   냉장고 저장 물품 관리 장치.
   
8. 제1항에 있어서,
   상기 저장 정보 관리부는
   현재 촬영 시점에 저장되어 있는 물품이 이전 촬영 시점에 저장되었다가 반출된 물품과 동일하고 상기 현재 촬영 시점에 저장되어 있는 물품의 위치와 상기 이전 촬영 시점에 저장되었다가 반출된 물품의 위치가 동일하면, 상기 이전 촬영 시점에 저장되었다가 반출된 물품의 누적 저장 시간을 상기 현재 촬영 시점에 저장된 물품의 누적 저장 시간에 합산하는
   냉장고 저장 물품 관리 장치.
   
9. 제1항에 있어서,
   상기 저장 정보 관리부는
   각각의 촬영 시점 별로 생성되는 저장 관리 이미지 정보를 비교하여 통계 정보를 생성하고, 상기 통계 정보를 상기 사용자 단말로 제공하는
   냉장고 저장 물품 관리 장치.
   
10. 제1항에 있어서,
    상기 사용자 단말에서 상기 저장 관리 이미지 정보가 표시될 때, 사용자가 상기 저장 관리 이미지 정보에 표시된 물품 중 어느 하나를 선택하면 선택된 물품에 대한 메모 정보 입력 창 또는 상기 선택된 물품에 대하여 입력된 메모 정보가 상기 사용자 단말에 표시되는
    냉장고 저장 물품 관리 장치.
    
11. 냉장고의 내부를 촬영하는 촬영 장치에 의해서 생성되는 이미지 원본을 입력받는 단계;
    상기 이미지 원본에 포함된 각각의 물품을 인식하는 단계;
    각각의 촬영 시점 별로 상기 각각의 물품의 저장 상태 정보를 생성하는 단계;
    상기 이미지 원본 및 상기 저장 상태 정보를 이용하여 각각의 촬영 시점 별로 저장 관리 이미지 정보를 생성하는 단계; 및
    상기 저장 상태 정보 및 상기 저장 관리 이미지 정보 중 적어도 하나를 사용자 단말로 제공하는 단계를 포함하고,
    상기 저장 관리 이미지 정보는
    현재 촬영 시점에 저장되어 있는 물품의 저장 상태 정보 및 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품의 저장 상태 정보를 포함하고,
    상기 이미지 원본 및 상기 저장 상태 정보를 이용하여 각각의 촬영 시점 별로 저장 관리 이미지 정보를 생성하는 단계는
    상기 현재 촬영 시점에 저장되어 있는 물품의 물품 이미지와 상기 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품의 물품 이미지를 현재 촬영 시점의 저장 관리 이미지 정보에 함께 표시하는 단계를 포함하는
    냉장고 저장 물품 관리 방법.
    
12. 제11항에 있어서,
    상기 저장 상태 정보는
    물품 이미지, 물품 식별 정보, 위치 정보, 반입 시간 정보, 반출 시간 정보, 누적 저장 시간 정보, 반입 횟수 정보, 반출 횟수 정보 중 적어도 하나를 포함하는
    냉장고 저장 물품 관리 방법.
    
13. 삭제
14. 제11항에 있어서,
    상기 이미지 원본 및 상기 저장 상태 정보를 이용하여 각각의 촬영 시점 별로 저장 관리 이미지 정보를 생성하는 단계는
    상기 현재 촬영 시점에 저장되어 있는 물품의 물품 이미지와 상기 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품의 물품 이미지를 서로 다른 방식으로 표시하는 단계를 포함하는
    냉장고 저장 물품 관리 방법.
    
15. 제11항에 있어서,
    상기 각각의 촬영 시점 별로 상기 각각의 물품의 저장 상태 정보를 생성하는 단계는
    상기 현재 촬영 시점에 저장되어 있는 물품과 이전 촬영 시점에 저장된 물품이 서로 동일하고 상기 현재 촬영 시점에 저장되어 있는 물품의 위치와 상기 이전 촬영 시점에 저장된 물품의 위치가 서로 동일하면, 상기 이전 촬영 시점에 저장된 물품의 누적 저장 시간을 상기 현재 촬영 시점에 저장된 물품의 누적 저장 시간에 합산하는 단계를 포함하는
    냉장고 저장 물품 관리 방법.
    
16. 제11항에 있어서,
    상기 각각의 촬영 시점 별로 상기 각각의 물품의 저장 상태 정보를 생성하는 단계는
    상기 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되어 있지 않은 물품의 누적 저장 시간을 상기 이전 촬영 시점의 누적 저장 시간으로 설정하는 단계를 포함하는
    냉장고 저장 물품 관리 방법.
    
17. 제11항에 있어서,
    상기 각각의 촬영 시점 별로 상기 각각의 물품의 저장 상태 정보를 생성하는 단계는
    현재 촬영 시점에 저장되어 있는 물품이 상기 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품과 동일하나 상기 현재 촬영 시점에 저장되어 있는 물품의 위치와 상기 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품의 위치가 동일하지 않으면, 상기 현재 촬영 시점에 저장되어 있는 물품 및 상기 이전 촬영 시점에는 저장되었으나 현재 촬영 시점에는 저장되지 않은 물품은 각각 별개의 물품으로 관리되는
    냉장고 저장 물품 관리 방법.
    
18. 제11항에 있어서,
    현재 촬영 시점에 저장되어 있는 물품이 이전 촬영 시점에 저장되었다가 반출된 물품과 동일하고 상기 현재 촬영 시점에 저장되어 있는 물품의 위치와 상기 이전 촬영 시점에 저장되었다가 반출된 물품의 위치가 동일하면, 상기 이전 촬영 시점에 저장되었다가 반출된 물품의 누적 저장 시간을 상기 현재 촬영 시점에 저장된 물품의 누적 저장 시간에 합산하는 단계를 포함하는
    냉장고 저장 물품 관리 방법.
    
19. 제11항에 있어서,
    각각의 촬영 시점 별로 생성되는 저장 관리 이미지 정보를 비교하여 통계 정보를 생성하는 단계; 및
    상기 통계 정보를 상기 사용자 단말로 제공하는 단계를 더 포함하는
    냉장고 저장 물품 관리 방법.
    
20. 제11항에 있어서,
    상기 사용자 단말에서 상기 저장 관리 이미지 정보가 표시될 때, 사용자가 상기 저장 관리 이미지 정보에 표시된 물품 중 어느 하나를 선택하면 선택된 물품에 대한 메모 정보 입력 창 또는 상기 선택된 물품에 대하여 입력된 메모 정보가 상기 사용자 단말에 표시되는
    냉장고 저장 물품 관리 방법.
    

Images