WO2020096235A2

WO2020096235A2 - 식품 관리 시스템, 서버 장치 및 냉장고

Info

Publication number: WO2020096235A2
Application number: PCT/KR2019/013989
Authority: WO
Inventors: 박성수; 한성주; 김명식; 이계영
Original assignee: 삼성전자주식회사
Priority date: 2018-11-05
Filing date: 2019-10-23
Publication date: 2020-05-14
Also published as: KR20200051283A; US20220003493A1; EP3852038A4; EP3852038B1; EP3852038A2; WO2020096235A3

Abstract

개시된 발명의 일 측면에 따르면, 사용자의 수동 입력 없이도 냉장고에서 일어나는 식품의 상태 변화를 추적함으로써, 냉장고에 저장되는 식품의 빈번한 상태 변화에 대처하고, 식품 구매와 같은 식품 관리의 연계 서비스의 확장이 가능하며, 사용자의 편의성 및 식품 관리의 정확성을 향상시키는 식품 관리 시스템, 서버 장치 및 냉장고에 관한 것이다.

Description

식품 관리 시스템, 서버 장치 및 냉장고

개시된 실시예는 냉장고 및 그 제어 방법에 관한 것으로, 냉장고에 저장된 식품을 식별하고, 식별된 식품에 태그를 생성하는 식품 관리 시스템, 서버 장치 및 냉장고에 관한 발명이다.

냉장고는 식품, 음료 등과 같이 저장물을 부패하지 않고 장기간 보관하기 위한 장치로서, 통상 저장물을 냉장 저장하는 냉장실과 저장물을 냉동 저장하는 냉동실이 마련된다.

냉장고는 냉매의 압축 - 응축 - 팽창 - 증발을 포함하는 냉각 사이클을 반복 수행하여 저장실의 온도를 설정된 목표 온도로 유지시킨다. 다시 말해, 냉장고는 각 저장실(냉장실 및/또는 냉동실)의 목표 온도에 기초하여 각 저장실에 대응되어 마련된 증발기에 의해 냉각된 공기를 각 저장실 내로 공급하여 저장실의 온도가 목표 온도로 유지되도록 한다.

최근 냉장고는 저장실의 온도 및 냉장고의 동작 모드를 표시하기 위한 디스플레이를 포함하기도 한다. 이러한 디스플레이는 사용자에게 그래픽 유저 인터페이스를 제공하고, 그래픽 유저 인터페이스와 터치 패널을 이용하여 사용자가 냉장고와 관련된 정보 및/또는 식품과 관련된 정보를 쉽게 획득할 수 있도록 하며, 또한 사용자가 직관적으로 제어 명령을 입력할 수 있도록 한다. 냉장고는 디스플레이를 통하여 입력된 사용자 입력에 응답하여 저장실에 저장된 식품의 정보를 디스플레이를 통하여 표시하고, 각각의 식품의 정보를 관리할 수 있다.

다만, 종래 냉장고는 저장실에 저장된 식품의 정보는 사용자가 직접 입력하는 것이 일반적이었다. 그로 인하여, 냉장고로 식품을 보관하거나 냉장고로부터 식품을 꺼낼 때마다 사용자는 저장실에 저장된 식품의 정보를 변경하여야 하는 불편이 있었다.

개시된 일 실시예에 따른 서버 장치는, 냉장고로부터 상기 냉장고의 저장실 영상을 수신하는 통신부; 학습 데이터, 상기 학습 데이터에 의하여 학습된 객체 식별 엔진 및 상기 저장실에 포함된 식품에 관한 리스트를 저장하는 저장부; 및 상기 학습된 객체 식별 엔진을 이용하여 상기 저장실 영상으로부터 식품을 식별하고, 상기 식별된 상품에 기초하여 생성되는 인식 데이터를 상기 리스트에 저장하는 처리부;를 포함하고, 상기 처리부는, 상기 식별된 상품에 관한 이미지를 생성하고, 상기 식별된 식품 및 상기 인식 데이터에 기초하여 상기 식품에 관한 태그 정보를 생성한다.

상기 처리부는, 상기 식별된 식품을 상기 리스트에 포함된 상기 인식 데이터와 매칭시키고, 상기 매칭 결과에 의해서 생성된 상기 태그 정보를 생성하고, 상기 통신부는, 상기 생성된 태그 정보 및 상기 생성된 이미지를 상기 냉장고로 전송할 수 있다.

상기 처리부는, 제1 시점에 상기 저장실의 제1 영상에 기초하여 생성된 제1 인식 데이터를 상기 리스트에 저장된 제2 인식 데이터와 비교하고, 상기 비교 결과에 기초하여 상기 태그 정보를 수정할 수 있다.

상기 처리부는, 상기 비교 결과에서 추출되는 신뢰도를 미리 설정된 기준값과 비교하고, 상기 비교 결과에 기초하여 상기 태그 정보에 포함된 태그의 활성화 여부를 결정할 수 있다.

상기 처리부는, 상기 신뢰도가 미리 설정된 제1 기준값 이상이면, 상기 제2 인식 데이터에 기초하여 생성된 상기 태그 정보를 상기 제1 인식 데이터에 포함된 식품에 관한 태그 정보로 수정할 수 있다.

상기 처리부는, 상기 신뢰도가 미리 설정된 상기 제1 기준값 미만 및 제2 기준값 이상이면, 상기 통신부를 통해 상기 냉장고가 사용자에게 팝업을 생성하도록 제어할 수 있다.

상기 처리부는, 상기 신뢰도가 제3 기준값 미만이면, 상기 통신부를 통해 상기 냉장고가 팝업을 생성하도록 제어하고, 사용자로부터 상기 통신부가 수신하는 팝업 결과에 기초하여 상기 태그를 비활성으로 변경할 수 있다.

상기 처리부는, 미리 설정된 시간 동안 상기 비활성화된 태그에 매칭되는 인식 데이터의 변화 여부를 판단하고, 상기 판단 결과에 기초하여 상기 비활성화된 태그에 매칭되는 상기 인식 데이터를 삭제할 수 있다.

상기 처리부는, 상기 통신부로부터 사용자가 입력하는 데이터를 수신하고, 상기 태그 정보에 상기 데이터를 추가하고, 상기 제2 인식 데이터에 포함된 상기 데이터를 상기 제1 인식 데이터에 포함된 상기 태그 정보로 이동시킬 수 있다.

개시된 다른 실시예에 따른 냉장고는 본체; 상기 본체 내부에 마련되는 저장실; 상기 본체에 마련되어 상기 저장실 내부를 촬영하는 카메라; 상기 본체 외부에 마련되는 터치 감지 디스플레이; 서버 장치와 통신하는 통신부; 및 상기 저장실을 촬영하도록 상기 카메라를 제어하고, 상기 카메라로부터 저장실 영상을 획득하고, 상기 통신부를 통하여 상기 저장실 영상을 상기 서버 장치로 전송하는 제어부;를 포함하고, 상기 제어부는 상기 통신부를 통하여 상기 서버 장치로부터 상기 저장실 영상에 포함된 식품에 관한 태그 정보를 수신하고, 상기 수신한 태그 정보에 기초하여 상기 태그의 그래픽 유저 인터페이스를 생성하고, 상기 그래픽 유저 인터페이스를 상기 저장실 영상에 중첩하여 상기 터치 감지 디스플레이에 표시할 수 있다.

상기 제어부는, 상기 터치 감지 디스플레이를 통하여 사용자로부터 식별된 식품과 관련된 데이터를 수신하고, 상기 데이터를 상기 통신부를 통하여 상기 서버에 전송할 수 있다.

상기 제어부는, 상기 서버 장치로부터 수신한 상기 태그 정보에 포함된 상기 데이터를 표시하는 제2 그래픽 유저 인터페이스를 생성하고, 상기 제2 그래픽 유저 인터페이스를 상기 태그의 그래픽 유저 인터페이스에 중첩하여 상기 터치 감지 디스플레이에 표시할 수 있다.

상기 제어부는, 상기 서버 장치로부터 수신한 요청에 기초하여 상기 태그 정보의 활성화 여부를 질문하는 팝업을 생성하고, 상기 팝업의 그래픽 유저 인터페이스를 생성하고, 상기 팝업의 그래픽 유저 인터페이스를 상기 터치 감지 디스플레이에 표시할 수 있다.

상기 제어부는, 상기 태그 정보에 기초하여 이미 생성된 상기 태그의 그래픽 유저 인터페이스의 활성화 여부를 결정하고, 상기 결정된 활성화 태그 또는 상기 결정된 비활성화 태그의 그래픽 유저 인터페이스를 상기 터치 감지 디스플레이에 표시할 수 있다.

개시된 또 다른 실시예에 따른 식품 관리 시스템은, 서버 장치; 상기 서버 장치와 통신하는 사용자 장치 및 저장실을 포함하고, 상기 저장실의 영상을 상기 서버 장치로 전송하는 냉장고를 포함하고, 상기 서버 장치는, 통신부; 학습 데이터, 상기 학습 데이터에 의하여 학습된 객체 식별 엔진 및 상기 저장실에 포함된 식품에 관한 리스트를 저장하는 저장부; 및 상기 학습된 객체 식별 엔진을 이용하여 상기 저장실 영상으로부터 식품을 식별하고, 상기 식별된 상품에 기초하여 생성되는 인식 데이터를 상기 리스트에 저장하는 처리부;를 포함하고, 상기 처리부는, 상기 식별된 상품에 관한 이미지를 생성하고, 상기 식별된 식품 및 상기 인식 데이터에 기초하여 상기 식품에 관한 태그 정보를 생성한다.

상기 처리부는, 상기 식별된 식품을 상기 리스트에 포함된 상기 인식 데이터와 매칭시키고, 상기 매칭 결과에 의해서 생성된 상기 태그 정보를 생성하고, 상기 통신부는, 상기 생성된 태그 정보 및 상기 생성된 이미지를 상기 냉장고 또는 상기 사용자 장치로 전송할 수 있다.

상기 처리부는, 상기 신뢰도가 미리 설정된 상기 제1 기준값 미만 및 제2 기준값 이상이면, 상기 통신부를 통해 상기 냉장고 또는 상기 사용자 장치가 사용자에게 팝업을 생성하도록 제어할 수 있다.

상기 처리부는, 상기 신뢰도가 제3 기준값 미만이면, 상기 통신부를 통해 상기 냉장고 또는 상기 사용자 장치가 팝업을 생성하도록 제어하고, 사용자로부터 상기 통신부가 수신하는 팝업 결과에 기초하여 상기 태그를 비활성으로 변경할 수 있다.

상기 사용자 장치 또는 상기 냉장고는, 상기 수정된 태그 정보에 기초하여 상기 태그의 그래픽 유저 인터페이스를 상기 저장실 영상과 함께 표시할 수 있다.

상기 처리부는, 상기 활성화 여부가 결정되는 횟수를 상기 리스트에 저장하고, 미리 설정된 시간 및 상기 횟수에 기초하여 상기 태그 정보와 매칭되는 상품의 구매 가이드를 진행할 수 있다.

개시된 일 측면에 따른 식품 관리 시스템, 서버 장치 및 냉장고는, 사용자의 수동 입력 없이도 냉장고에서 일어나는 식품의 상태 변화를 추적함으로써, 냉장고에 저장되는 식품의 빈번한 상태 변화에 대처할 수 있다.

다른 측면에 따른 식품 관리 시스템, 서버 장치 및 냉장고는 식품 구매와 같은 식품 관리의 연계 서비스의 확장이 가능하다.

또 다른 측면에 따른 식품 관리 시스템, 서버 장치 및 냉장고는 사용자의 편의성 및 식품 관리의 정확성을 향상시킬 수 있다.

도 1은 일 실시예에 의한 식품 관리 시스템을 도시한다.

도 2은 일 실시예에 의한 냉장고의 외관을 도시한다.

도 3는 일 실시예에 의한 냉장고의 전면을 도시한다.

도 4은 일 실시예에 의한 냉장고의 구성을 도시한다.

도 5는 일 실시예에 의한 냉장고에 포함된 터치 스크린 디스플레이를 도시한다.

도 6은 일 실시예에 의한 서버 장치의 구성을 도시한다.

도 7은 일 실시예에 의한 서버 장치에 포함된 객체 식별 엔진의 구성을 도시한다.

도 8은 일 실시예에 의한 서버 장치에 저장된 데이터를 도시한다.

도 9은 일 실시예에 의한 서버 장치에 포함된 객체 식별을 위한 학습 엔진의 일 예를 도시한다.

도 10은 일 실시예에 의한 서버 장치의 객체 식별을 위한 기계 학습의 일 예를 도시한다.

도 11는 일 실시예에 의한 서버 장치의 객체 식별 엔진의 구성을 도시한다.

도 12은 일 실시예에 의한 서버 장치에 포함된 객체 식별 엔진이 식품을 식별하는 일 예를 도시한다.

도 13은 일 실시예에 의한 서버 장치에 포함된 객체 식별 엔진이 식품을 식별하는 다른 일 예를 도시한다.

도 14는 일 실시예에 의한 서버 장치에 포함된 객체 식별 엔진이 식품을 식별하는 다른 일 예를 도시한다.

도 15은 식품 관리 시스템의 식품 식별 방법 및 태그 생성의 일 예를 도시한다.

도 16은 도 15에 도시된 식품 식별 방법에 의하여 촬영된 저장실 내부 영상을 도시한다.

도 17는 도 15에 도시된 식품 식별 방법에 의하여 식품 영역을 식별하는 일 예를 도시한다.

도 18은 도 15에 도시된 식품 식별 방법에 의하여 태그의 생성과 관련된 팝업을 표시하는 일 예를 도시한다.

도 19는 도 15에 도시된 태그 생성에 관한 구체적인 방법을 설명하는 일 예를 도시한다.

도 20은 태그 생성과 관련하여 냉장고가 표시하는 인터페이스의 일 예를 도시한다.

도 21은 일 실시예에 따러 태그를 트래킹하는 방법에 관한 순서도이다.

도 22 및 도 23은 도 21의 실시예에 따른 태래킹의 구체적인 예시를 도시한다.

도 24는 일 실시예에서 발생하는 다른 경우의 상황을 도시한다.

도 25는 다른 실시예에 따라 사용자가 식품을 꺼낸 상황에서 대해 태그를 비활성화로 변경하는 방법을 설명하는 순서도이다.

도 26은 제2 시점에 촬영한 내부의 변화를 도시한 것이다.

도 27은 도 25의 방법에 따라 태그 정보를 변경하는 예시에 관한 도면이다.

도 28은 다른 실시예에 따라 태그를 변경한 식품에 대한 처리 방법을 설명하기 위한 순서도이다.

도 29는 또 다른 실시예에 따라 사용자가 비활성화된 식품의 태그를 변경하는 방법을 설명하는 순서도이다.

도 30은 활성화로 변경되는 태그를 트래킹하는 방법을 설명하는 도면이다.

도 31은 팝업을 표시한 후, 태그를 이동시키는 그래픽 유저 인터페이스를 도시한 도면이다.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.

또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.

단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.

각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.

이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.

도 1은 일 실시예에 의한 식품 관리 시스템을 도시한다.

도 1에 도시된 바와 같이, 식품 관리 시스템(1)은 식품을 저장하는 냉장고(refrigerator) (100)와, 냉장고(100)에 저장된 식품을 식별(또는 인식)하는 서버 장치(computing apparatus) (200)와, 식별(또는 인식)된 식픔과 관련된 정보를 사용자에게 제공하는 사용자 장치(user equipment) (300)를 포함한다.

식품 관리 시스템(1)에 포함된 냉장고(100)와 서버 장치(200)와 사용자 장치(300)는 통신망(NET)을 통하여 연결될 수 있다. 이때, 통신망(NET)은 유선 통신망과 무선 통신망을 모두 포함할 수 있다. 유선 통신망은 케이블망이나 전화망 등의 통신망을 포함하며, 무선 통신망은 전파를 통하여 신호를 송수신하는 통신망을 포함할 수 있다. 유선 통신망과 무선 통신망은 서로 연결될 수 있다. 예를 들어, 유선 통신망은 인터넷 등의 광역 네트워크(WAN)를 포함할 수 있으며, 무선 통신망은 광역 네트워크(WAN)에 연결된 액세스 포인트(AP)를 포함할 수 있다.

냉장고(100)는 식품을 냉장 저장하거나 냉동 저장할 수 있다. 예를 들어, 냉장고(100)는 식품을 수용하는 저장실과 저장실을 냉각시키는 냉각 장치를 구비할 수 있다. 냉장고(100)는 저장실에 저장된 식품이 변질되는 것을 방지하기 위하여 냉각 장치를 이용하여 저장실에 냉각된 공기를 공급할 수 있다.

냉장고(100)는 사용자의 요구에 응답하여 저장실에 저장된 식픔과 관련된 정보를 사용자에게 제공할 수 있다. 예를 들어, 냉장고(100)는 식품이 저장된 저장실을 촬영하고, 저장실 내부의 영상을 획득할 수 있다. 저장실에 저장된 식품과 관련된 정보를 획득하기 위하여 냉장고(100)는 촬영된 저장실 내부의 영상을 통신망(NET)을 통하여 서버 장치(200)로 전송할 수 있다. 또한, 냉장고(100)는 서버 장치(200)로부터 저장실에 저장된 식픔과 관련된 정보(식품 관련 정보)를 수신하고, 수신된 식품 관련 정보를 표시하거나 사용자 장치(300)로 전송할 수 있다.

서버 장치(200)는 다른 장치로부터 통신망(NET)을 통하여 데이터를 처리하고, 처리된 데이터를 저장하거나 다른 장치로 전송할 수 있다. 예를 들어, 서버 장치(200)는 다른 장치와 통신할 수 있는 통신 유닛과, 데이터를 처리할 수 있는 처리 유닛과, 처리된 데이터를 저장할 수 있는 저장 매체를 포함할 수 있다. 이러한 서버 장치(200)는 서버(server), 클라이언트(client), 워크스테이션(workstation), 퍼스널 컴퓨터(personal computer), 클라우드(cloud), 데이터 드라이브(data drive), 데이터 스테이션(data station) 등 다양하게 호칭될 수 있다.

서버 장치(200)는 객체를 식별할 수 있는 객체 인식(Object Recognition)을 포함할 수 있다. 예를 들어, 서버 장치(200)는 기계 학습(machine learning)을 이용하여 영상에 포함된 객체를 식별할 수 있는 객체 인식을 포함할 수 있다.

서버 장치(200)는 냉장고(100)로부터 저장실 내부의 영상을 통신망(NET)을 통하여 수신하고, 저장실 내부의 영상에 포함된 식품(즉 저장실에 저장된 식품)을 식별할 수 있다. 또한, 서버 장치(200)는 식별된 식품과 관련된 정보를 저장하거나, 식별된 식품과 관련된 정보를 냉장고(100) 및/또는 사용자 장치(300)로 전송할 수 있다. 여기서, 식별된 식품과 관련된 정보는 식별된 식품의 영상, 식별된 식품의 명칭, 식별된 식품의 카테고리, 식별된 식품의 저장 기한 등을 포함할 수 있다.

사용자 장치(300)는 다른 장치로부터 통신망(NET)을 통하여 데이터를 처리하고, 처리된 데이터를 사용자에게 표시할 수 있다. 특히, 사용자 장치(300)는 사용자에 의하여 휴대되거나, 사용자의 가정 또는 사무실 등에 배치될 수 있으며, 사용자는 쉽게 사용자 장치(300)에 접근할 수 있다. 이러한 사용자 장치(300)는 워크스테이션(workstation), 퍼스널 컴퓨터(personal computer), 단말기(terminal), 휴대폰(portable telephone), 스마트 폰(smart phone), 휴대 장치(handheld device), 착용 장치(wearable device) 등 다양하게 호칭될 수 있다.

사용자 장치(300)는 냉장고(100) 및/또는 서버 장치(200)로부터 냉장고(100)에 저장된 식품과 관련된 정보를 수신하고, 냉장고(100)에 저장된 식품과 관련된 정보를 표시할 수 있다. 예를 들어, 사용자 장치(300)는 냉장고(100)에 저장된 식품의 명칭, 영상, 카테고리, 저장 기한 등을 표시할 수 있다.

이상에서 설명된 바와 같이 식품 관리 시스템(1)은 냉장고(100)의 저장실을 촬영하여 저장실 내부의 영상을 획득하고, 저장실 내부의 영상에 포함된 식품을 식별할 수 있다. 다시 말해, 식품 관리 시스템(1)은 저장실 내부의 영상을 이용하여 저장실에 저장된 식품을 식별할 수 있다. 또한, 식품 관리 시스템(1)은 식별 결과에 기초하여 저장실에 저장된 식품과 관련된 정보를 사용자에게 제공할 수 있다.

그 결과, 사용자가 냉장고(100)에 저장된 식품과 관련된 정보를 입력하지 아니하여도, 냉장고(100)는 서버 장치(200)를 이용하여 식품을 식별할 수 있으며 저장된 식품과 관련된 정보를 획득할 수 있다.

이하에서는, 식품 관리 시스템(1)에 포함된 냉장고(100)의 구성 및 동작이 설명된다.

도 2은 일 실시예에 의한 냉장고의 외관을 도시한다. 도 3는 일 실시예에 의한 냉장고의 전면을 도시한다. 도 4은 일 실시예에 의한 냉장고의 구성을 도시한다. 도 5는 일 실시예에 의한 냉장고에 포함된 터치 스크린 디스플레이를 도시한다.

도 2, 도 3, 도 4 및 도 5를 참조하면, 냉장고(100)는 전면(前面)이 개방된 본체(101)와, 본체(101) 내부에 형성되며 식품이 냉장 및/또는 냉동 보관되는 저장실(110)과, 본체(101)의 개방된 전면을 개폐하는 도어(120)를 포함할 수 있다.

본체(101)는 냉장고(100)의 외관을 형성할 수 있다. 본체(101)는 저장실(110)을 형성하는 내상(102)과, 내상(102)의 외측에 결합되어 외관을 형성하는 외상(103)을 포함할 수 있다. 본체(101)의 내상(102)과 외상(103) 사이에는 저장실(110)의 냉기 유출을 방지할 수 있는 단열재(미도시)가 충진될 수 있다.

저장실(110)은 수평 격벽(110a)과 수직 격벽(110b)에 의해 복수 개로 구획될 수 있다. 예를 들어, 도 2에 도시된 바와 같이 저장실(110)은 상부 저장실(111)과, 하부 제1 저장실(112)과, 하부 제2 저장실(113)로 구획될 수 있다.

저장실(110)에는 식품을 올려 놓을 수 있는 선반(110c)이 마련될 수 있다. 저장실(110) 내부의 저장 공간은 선반(110c)에 의하여 구획될 수 있다. 예를 들어, 상부 저장실(111)은 제1 저장 공간(111a)과 제2 저장 공간(111b)과 제3 저장 공간(111c)으로 구획될 수 있다.

저장실(110)은 도어(120)에 의하여 개폐될 수 있다. 예를 들어, 도 2에 도시된 바와 같이 상부 저장실(111)은 상부 제1 도어(121a)와 상부 제2 도어(121b)에 의하여 개폐될 수 있고, 하부 제1 저장실(112)은 하부 제1 도어(122)에 의하여 개폐될 수 있으며, 하부 제2 저장실(113)은 하부 제2 도어(123)에 의하여 개폐될 수 있다.

도어(120)를 용이하게 개폐할 수 있도록 도어(120)에는 핸들(120a)이 마련될 수 있다. 핸들(121)은 상부 제1 도어(121a)와 상부 제2 도어(121b)의 사이와 하부 제1 도어(122)와 하부 제2 도어(123)의 사이를 따라 상하방향으로 길게 형성될 수 있다. 그로 인하여, 도어(120)가 폐쇄된 경우, 핸들(120a)은 일체로 마련될 것과 같이 보여질 수 있다.

또한, 냉장고(1)는 도 4에 도시된 바와 같이 터치 스크린 디스플레이(touch screen display) (130), 온도 감지부(temperature sensor) (140), 카메라(camera) (150), 냉각부(cooler) (160), 냉장고 통신부(communicator) (170), 냉장고 저장부(storage) (180) 및 제어부(controller) (190)를 포함할 수 있다.

터치 스크린 터치 스크린 디스플레이(130)는 영상을 표시하는 디스플레이 패널(131)과, 터치 입력을 수신하는 터치 패널(132)을 포함할 수 있다.

디스플레이 패널(131)은 도 5에 도시된 바와 같이 제어부(190)로부터 수신된 영상 데이터를 사용자가 볼 수 있는 광학적 신호로 변환할 수 있다.

디스플레이 패널(131)은 액정 디스플레이(Liquid Crystal Display, LCD) 패널, 발광 다이오드(Light Emitting Diode, LED) 패널, 유기 발광 다이오드(Organic Light Emitting Diode, OLED) 패널, 마이크로 발광 다이오드(micro Light Emitting Diode, uLED) 패널, 플라즈마 디스플레이 패널(Plasma Display Panel, PDP) 등을 채용할 수 있다. 다만, 디스플레이 패널(131)은 이에 한정되지 않으며, 디스플레이 패널(131)은 영상 데이터에 대응하는 광학적 영상을 시각적으로 표시할 수 있는 다양한 디스플레이를 채용할 수 있다.

터치 패널(132)은 도 5에 도시된 바와 같이 사용자의 터치 입력을 수신하고, 수신된 터치 입력에 대응하는 전기적 신호를 제어부(190)로 출력할 수 있다.

예를 들어, 터치 패널(132)은 전기적 저항값의 변화 또는 정전용량의 변화로부터 터치 패널(132)에 대한 사용자의 터치를 감지하고, 사용자의 터치 지점의 좌표에 대응하는 전기적 신호를 제어부(190)로 출력할 수 있다. 제어부(190)는 터치 패널(132)로부터 수신된 전기적 신호에 기초하여 사용자의 터치 지점의 좌표를 식별할 수 있다. 또한, 제어부(190)는 사용자의 터치 지점의 좌표에 기초하여 사용자 입력을 식별할 수 있다.

터치 패널(132)은 디스플레이 패널(131)의 전면에 위치할 수 있다. 다시 말해, 터치 패널(132)은 영상이 표시되는 면 위에 마련될 수 있다. 그로 인하여, 터치 패널(132)은 디스플레이 패널(131)에 표시되는 영상이 왜곡되지 않도록 투명한 재질로 형성될 수 있다.

이러한 터치 패널(132)은 저항막 방식 터치 패널 또는 정전용량 방식 터치 패널을 채용할 수 있다. 다만, 터치 패널(132)은 이에 한정되지 않으며, 터치 패널(132)은 사용자의 터치 또는 접근을 감지하고, 감지된 터치 지점의 좌표 또는 접근 지점의 좌표에 대응하는 전기적 신호를 출력할 수 있는 다양한 터치 패널을 채용할 수 있다.

이처럼, 터치 스크린 터치 스크린 디스플레이(130)는 사용자로부터 터치 입력을 수신하여 제어부(190)로 전달하고, 사용자의 터치 입력에 응답한 제어부(190)의 영상을 표시할 수 있다. 다시 말해, 터치 스크린 터치 스크린 디스플레이(130)는 사용자와 상호 작용할 수 있다.

터치 스크린 터치 스크린 디스플레이(130)은 사용자의 편의를 위해 도어(120)에 설치될 수 있다. 예를 들어, 도 3에 도시된 바와 같이 터치 스크린 터치 스크린 디스플레이(130)는 상부 제2 도어(121b)에 설치될 수 있다. 이하에서는 상부 제2 도어(121b)에 설치된 터치 스크린 터치 스크린 디스플레이(130)가 설명되나, 터치 스크린 터치 스크린 디스플레이(130)의 설치 위치가 상부 제2 도어(121b)에 한정되는 것은 아니다. 예를 들어, 터치 스크린 터치 스크린 디스플레이(130)는 상부 제1 도어(121a), 하부 제1 도어(122), 하부 제2 도어(123) 및 본체(10)의 외상(103) 등 사용자가 볼 수 있는 위치라면 어디든지 설치될 수 있다.

또한, 터치 스크린 터치 스크린 디스플레이(130)은 사용자가 일정 범위 이내로 접근할 때 자동으로 활성화되는 웨이크 업(wake up) 기능을 구비할 수 있다. 예를 들어, 사용자가 일정 범위 이내로 접근하면 터치 스크린 터치 스크린 디스플레이(130)가 활성화될 수 있다. 다시 말해, 터치 스크린 터치 스크린 디스플레이(130)는 온(on)상태가 될 수 있다. 또한, 사용자가 일정 범위 이내에서 벗어난 이후 일정 시간이 경과하면 터치 스크린 터치 스크린 디스플레이(130)가 비활성화될 수 있다. 다시 말해, 터치 스크린 터치 스크린 디스플레이(130)는 오프(off)상태가 될 수 있다.

온도 감지부(140)는 저장실(110)의 내부에 마련되어, 저장실(110) 내부의 온도를 감지하는 내부 온도 센서들(inner temperature sensors) (141)을 포함할 수 있다.

내부 온도 센서들(141)은 복수의 저장실들(111, 112, 112) 각각에 설치되어 수의 저장실(111, 112, 113) 각각의 온도를 감지하고, 감지된 온도에 대응하는 전기적 신호를 제어부(190)로 출력할 수 있다. 내부 온도 센서들(141) 각각은 온도에 따라 전기적 저항이 변화하는 서미스터(thermistor)를 포함할 수 있다.

카메라(150)는 저장실(110) 내부에 설치되어 저장실(110)의 내부 영상을 획득할 수 있다. 예를 들어, 도 2에 도시된 바와 같이 카메라(150)는 도어(120)의 내측에 설치될 수 있으며, 도어(120)의 내측으로부터 저장실(110) 내부를 향하여 촬영할 수 있다. 따라서, 카메라(150)는 사용자의 시선 방향과 대략 동일한 방향으로 저장실(110) 내부를 촬영할 수 있다.

카메라(150)는 영상을 촬영하여 전기적 신호로 변환하는 이미저(imager) (151)를 포함할 수 있다. 이미저(151)는 광학 신호를 전기적 신호로 변환하는 복수의 광 다이오드들을 포함할 수 있으며, 복수의 광 다이오드들은 2차원으로 배치될 수 있다. 이미저(151)는 예를 들어 CCD (Charge-Coupled Device) 영상 센서 또는 CMOS (Complementary metal-oxide-semiconductor) 영상 센서를 포함할 수 있다.

카메라(150)는 선반(110c)에 의하여 구획된 저장실(110)의 내부를 촬영하기 위하여 복수의 이미저들(151a, 151b, 151c)을 포함할 수 있다. 예를 들어, 카메라(150)는 상부 저장실(111)의 제1 저장 공간(111a)을 촬영하는 제1 이미저(151a)와, 제2 저장 공간(111b)을 촬영하는 제2 이미저(151b)와, 제3 저장 공간(111c)을 촬영하는 제3 이미저(151c)를 포함할 수 있다.

특히, 저장실(110)에 식품에 저장된 경우, 카메라(150)에 의하여 촬영된 저장실(110)의 내부 영상은 저장실(110)에 저장된 식품의 영상을 포함할 수 있다.

카메라(150)는 촬영된 영상을 제어부(190)로 전달할 수 있다. 구체적으로, 카메라(150)는 식품의 영상이 포함된 저장실(110)의 내부 영상을 제어부(190)로 전달할 수 있다.

냉각부(160)는 저장실(110)에 냉기를 공급할 수 있다. 구체적으로, 냉각부(160)는 냉매의 증발을 이용하여 저장실(110)의 온도를 사용자에 의하여 지정된 범위 이내로 유지시킬 수 있다.

냉각부(160)는 기체 상태의 냉매를 압축하는 압축기(161)와, 압축된 기체 상태의 냉매를 액체 상태로 상태 변환시키는 응축기(162)와, 액체 상태의 냉매를 감압하는 팽창기(163)와, 감압된 액체 상태의 냉매를 기체 상태로 상태 변환시키는 증발기(164)를 포함할 수 있다.

냉각부(160)는 액체 상태의 냉매가 기체 상태로 상태 변환하면서 주위 공기의 열 에너지를 흡수하는 현상을 이용하여 저장실(110)의 공기를 냉각시킬 수 있다.

다만, 냉각부(160)가 압축기(161), 응축기(162), 팽창기(163) 및 증발기(164)를 포함하는 것에 한정되는 것은 아니다.

예를 들어, 냉각부(160)는 펠티어 효과(Peltier effect)를 이용한 펠티어 소자를 포함할 수도 있다. 펠티어 효과란 서로 다른 종류의 금속이 접하는 접촉면에 전류를 흐르게 하면 어느 하나의 금속에서는 발열 현상이 발생하고, 다른 하나의 금속에서는 흡열 현상이 발생하는 것을 의미한다. 냉각부(160)는 펠티어 소자를 이용하여 저장실(110)의 공기를 냉각할 수 있다.

다른 예로, 냉각부(160)는 자기 열효과(magneto-caloric effect)를 이용한 자기 냉각 장치를 포함할 수 있다. 자기 열효과란 특정한 물질(자기 열량 물질)이 자화되면 열을 방출하고, 특정한 물질(자기 열량 물질)이 탈자화되면 열을 흡수하는 것을 의미한다. 냉각부(160)는 자기 냉각 장치를 이용하여 저장실(110)의 공기를 냉각할 수 있다.

냉장고 통신부(170)는 서버 장치(200) 및/또는 사용자 장치(300)와 데이터를 주고받을 수 있다. 예를 들어, 냉장고 통신부(170)는 카메라(150)에 의하여 촬영된 저장실 내부 영상을 서버 장치(200)로 전송할 수 있으며, 저장실 내부 영상에 포함된 식품과 관련된 정보를 서버 장치(200)로부터 수신할 수 있다.

냉장고 통신부(170)는 서버 장치(200) 및/또는 사용자 장치(300)과 유선으로 데이터를 주고받는 유선 통신 모듈(172)과, 서버 장치(200) 및/또는 사용자 장치(300)과 무선으로 데이터를 주고받는 무선 통신 모듈(171)을 포함할 수 있다.

유선 통신 모듈(172)은 유선 통신망에 접속하고 유선 통신망을 통하여 서버 장치(200) 및/또는 사용자 장치(300)와 통신할 수 있다. 예를 들어, 유선 통신 모듈(172)은 이더넷(Ethernet, IEEE 802.3 기술 표준)을 통하여 유선 통신망에 접속하고, 유선 통신망을 통하여 서버 장치(200) 및/또는 사용자 장치(300)로부터 데이터를 수신할 수 있다.

무선 통신 모듈(171)은 기지국(base station) 또는 액세스 포인트(AP)와 무선으로 통신할 수 있으며, 기지국 또는 액세스 포인트를 통하여 유선 통신망에 접속할 수 있다. 무선 통신 모듈(171)은 또한 기지국 또는 액세스 포인트를 거쳐 유선 통신망에 접속된 서버 장치(200) 및/또는 사용자 장치(300)과 통신할 수 있다. 예를 들어, 무선 통신 모듈(171)은 와이파이(WiFi™, IEEE 802.11 기술 표준)을 이용하여 액세스 포인트(AP)와 무선으로 통신하거나, CDMA, WCDMA, GSM, LET(Long Term Evolution), 와이브로 등을 이용하여 기지국과 통신할 수 있다. 무선 통신 모듈(171)은 또한 기지국 또는 액세스 포인트를 거쳐 서버 장치(200) 및/또는 사용자 장치(300)로부터 데이터를 수신할 수 있다.

뿐만 아니라, 무선 통신 모듈(171)은 서버 장치(200) 및/또는 사용자 장치(300)과 직접 통신할 수 있다. 예를 들어, 무선 통신 모듈(171)은 와이파이, 블루투스 (Bluetooth™, IEEE 802.15.1 기술 표준), 지그비(ZigBee™, IEEE 802.15.4 기술 표준) 등을 이용하여 서버 장치(200) 및/또는 사용자 장치(300)으로부터 무선으로 데이터를 수신할 수 있다.

이처럼, 냉장고 통신부(170)는 서버 장치(200) 및/또는 사용자 장치(300)과 데이터를 주고 받을 수 있으며, 서버 장치(200) 및/또는 사용자 장치(300)로부터 수신된 데이터를 제어부(190)로 출력할 수 있다.

냉장고 저장부(180)는 프로그램 및/또는 데이터를 저장하는 저장 매체(181)와, 프로그램 및/또는 데이터가 저장된 외부 저장 매체와 접속될 수 있는 접속 단자(182)를 포함할 수 있다. 프로그램은 특정한 기능을 수행하기 위하여 조합된 복수의 명령어들을 포함하며, 데이터는 프로그램에 포함된 복수의 명령어들에 의하여 처리 및/또는 가공될 수 있다. 또한, 프로그램 및/또는 데이터는 냉장고(100)의 동작과 직접적으로 관련된 시스템 프로그램 및/또는 시스템 데이터와, 사용자에게 편의 및 재미를 제공하는 어플리케이션 프로그램 및/또는 어플리케이션 데이터를 포함할 수 있다.

저장 매체(181)는 파일의 형태로 프로그램 및/또는 데이터를 저장할 수 있다. 예를 들어, 저장 매체(181)는 "*.exe" 또는 "*.jpg" 또는 "*.mpg" 등의 파일 형태로 프로그램 및/또는 데이터를 저장할 수 있다.

저장 매체(181)는 컨텐츠 데이터를 전기적으로 또는 자기적으로 또는 광학적으로 저장할 수 있다. 예를 들어, 저장 매체(181)는 반도체 소자 드라이브(solid stat driver, SSD) 또는 하드 디스크 드라이브(hard disc drive, HDD) 또는 광 디스크 드라이브(optical disc drive, ODD) 등을 포함할 수 있다.

저장 매체(181)는 제어부(190)의 로딩 명령에 응답하여 프로그램 및/또는 데이터를 제어부(190)로 출력할 수 있다.

접속 단자(182)는 프로그램 및/또는 데이터를 저장하는 외부 저장 매체와 연결될 수 있다. 예를 들어, 접속 단자(182)는 범용 직렬 버스(Universal Serial Bus, USB) 단자를 포함할 수 있으며, 외부 USB 저장 매체와 연결될 수 있다.

외부 저장 매체는 냉장고(100)의 저장 매체(181)와 마찬가지로 파일의 형태로 프로그램 및/또는 데이터를 저장할 수 있으며, 프로그램 및/또는 데이터를 전기적으로 또는 자기적으로 또는 광학적으로 저장할 수 있다. 또한, 외부 저장 매체는 제어부(190)의 로딩 명령에 응답하여 접속 단자(182)를 통하여 프로그램 및/또는 데이터를 제어부(190)로 출력할 수 있다.

이처럼, 냉장고 저장부(180)는 프로그램 및/또는 데이터를 저장하고, 저장된 프로그램 및/또는 데이터를 제어부(190)로 출력할 수 있다. 다시 말해, 냉장고 저장부(180)는 제어부(190)가 아래에서 설명되는 동작을 수행하기 위하여 실행되는 프로그램 및/또는 데이터를 저장할 수 있다.

제어부(190)는 냉장고 저장부(180)에 저장된 프로그램 및/또는 데이터를 로딩하여 기억하는 메모리(192)와, 메모리(192)에 기억된 프로그램 및/또는 데이터에 따라 터치 스크린 터치 스크린 디스플레이(130)의 사용자 입력 데이터 및 냉장고 통신부(170)의 통신 데이터를 처리하는 프로세서(191)를 포함한다. 제어부(190)는 메모리(192)와 프로세서(191) 등의 하드웨어 뿐만 아니라, 메모리(192)에 기억되고 프로세서(191)에서 처리되는 프로그램 및/또는 데이터 등의 소프트웨어를 더 포함할 수 있다.

메모리(192)는 냉장고(100)에 포함된 구성들을 제어하기 위한 프로그램 및/또는 데이터를 기억하고, 냉장고(100)에 포함된 구성들을 제어하기 중에 발생하는 임시 데이터를 기억할 수 있다.

예를 들어, 메모리(192)는 온도 감지부(140)의 감지 결과에 기초하여 냉각부(160)의 동작을 제어하기 위한 프로그램 및/또는 데이터를 기억할 수 있으며, 온도 감지부(140)의 감지 결과를 임시로 기억할 수 있다. 메모리(192)는 터치 스크린 터치 스크린 디스플레이(130)의 동작을 제어하기 위한 프로그램 및/또는 데이터를 기억할 수 있으며, 터치 스크린 터치 스크린 디스플레이(130)에 표시된 영상과 터치 스크린 터치 스크린 디스플레이(130)를 통하여 입력된 터치 입력(사용자 입력)을 임시로 기억할 수 있다. 메모리(192)는 도어(120)의 개폐에 기초하여 카메라(150)의 촬영 동작을 제어하기 위한 프로그램 및/또는 데이터를 기억할 수 있으며, 카메라(150)에 의하여 촬영된 영상을 임시로 기억할 수 있다. 메모리(192)는 냉장고 통신부(170)의 통신 동작을 제어하기 위한 프로그램 및/또는 데이터를 기억할 수 있으며, 냉장고 통신부(170)에 의하여 송수신되는 통신 데이터를 임시로 기억할 수 있다. 또한, 메모리(192)는 냉장고(100)가 아래에서 설명되는 동작을 수행하기 위한 프로그램 및/또는 데이터를 기억할 수 있다.

메모리(192)는 데이터를 장기간 저장하기 위한 롬(Read Only Memory), 플래시 메모리(flash memory) 등의 비휘발성 메모리와, 데이터를 일시적으로 기억하기 위한 S-램(Static Random Access Memory, S-RAM), D-램(Dynamic Random Access Memory) 등의 휘발성 메모리를 포함할 수 있다.

프로세서(191)는 메모리(192)에 기억/저장된 프로그램 및/또는 데이터에 따라 터치 스크린 터치 스크린 디스플레이(130)의 터치 입력 및/또는 냉장고 통신부(170)의 통신 데이터를 처리하고, 카메라(150), 터치 스크린 터치 스크린 디스플레이(130)의 동작 및/또는 냉장고 통신부(170)의 동작을 제어하기 위한 제어 신호를 생성할 수 있다.

예를 들어, 프로세서(191)는 온도 감지부(140)로부터 저장실(110)의 온도 정보를 수신하고, 저장실(110)의 온도 정보에 기초하여 냉각부(160)의 동작을 제어하기 위한 냉각 제어 신호를 생성할 수 있다. 프로세서(191)는 터치 스크린 터치 스크린 디스플레이(130)로부터 사용자의 터치 입력을 수신하고, 사용자의 터치 입력에 응답하여 터치 스크린 터치 스크린 디스플레이(130)에 영상을 표시하기 위한 표시 제어 신호 및 영상 데이터를 터치 스크린 터치 스크린 디스플레이(130)에 전달할 수 있다. 프로세서(191)는 개방된 도어(120)가 폐쇄된 즉시 카메라(150)가 저장실(110)의 내부를 촬영하도록 촬영 제어 신호를 생성하고, 카메라(150)로부터 저장실(110)의 내부 영상을 수신할 수 있다. 프로세서(191)는 카메라(150)로부터 저장실(110)의 내부 영상의 수신에 응답하여 저장실(110)의 내부 영상을 서버 장치(200)로 전송하도록 냉장고 통신부(170)를 제어하기 위한 통신 제어 신호를 생성할 수 있다. 프로세서(191)는 냉장고 통신부(170)를 통하여 서버 장치(200)로부터 저장실(110)에 저장된 식품과 관련된 정보를 수신하는 것에 응답하여 식품 관련 정보를 터치 스크린 터치 스크린 디스플레이(130)에 표시하기 위한 표시 제어 신호를 생성할 수 있다. 또한, 프로세서(191)는 냉장고(100)가 아래에서 설명되는 동작을 수행하기 위한 제어 신호를 생성할 수 있다.

프로세서(191)는 논리 연산 및 산술 연산 등을 수행하는 코어(core)와, 연산된 데이터를 기억하는 레지스터(register) 등을 포함할 수 있다.

이처럼 제어부(190)는 온도 감지부(140)를 통한 저장실(110)의 온도, 터치 스크린 터치 스크린 디스플레이(130)를 통한 사용자의 터치 입력 및/또는 냉장고 통신부(170)를 통한 통신 데이터에 기초하여 냉각부(160), 터치 스크린 터치 스크린 디스플레이(130) 및 냉장고 통신부(170)를 제어할 수 있다.

이상에서 설명된 바와 같이 제어부(190)는 냉장고(100)에 포함된 구성들을 모두 제어하는 프로세서 및 메모리를 포함할 수 있을 뿐만 아니라, 제어부(190)는 복수의 프로세서들과 복수의 메모리들을 포함할 수 있다. 예를 들어, 제어부(190)는 온도 감지부(140)/냉각부(160)의 동작을 제어하는 프로세서 및 메모리와 터치 스크린 터치 스크린 디스플레이(130)의 동작을 제어하는 프로세서 및 메모리와 냉장고 통신부(170)의 동작을 제어하는 프로세서와 메모리를 별도로 구비할 수 있다.

이하에서는, 식품 관리 시스템(1)에 포함된 서버 장치(200)의 구성 및 동작이 설명된다.

도 6은 일 실시예에 의한 서버 장치의 구성을 도시한다. 도 7은 일 실시예에 의한 서버 장치에 포함된 객체 식별 엔진의 구성을 도시한다. 도 8은 일 실시예에 의한 서버 장치에 저장된 데이터를 도시한다. 도 9은 일 실시예에 의한 서버 장치에 포함된 객체 식별을 위한 학습 엔진의 일 예를 도시한다. 도 10은 일 실시예에 의한 서버 장치의 객체 식별을 위한 기계 학습의 일 예를 도시한다.

도 6, 도 7, 도 8, 도 9 및 도 10을 참조하면, 서버 장치(200)는 입출력부(210)와, 통신부(220)와, 저장부(230)와, 처리부(240)를 포함할 수 있다.

입출력부(210)는 사용자 및/또는 관리자로부터 서버 장치(200)에 대한 제어 명령을 수신하는 입력 장치와, 서버 장치(200)의 동작 정보를 표시하는 표시 장치를 포함할 수 있다.

예를 들어, 입출력부(210)는 사용자 및/또는 관리자의 입력을 위한 각종 버튼이나 스위치, 페달(pedal), 키보드, 마우스, 트랙볼(track-ball), 각종 레버(lever), 핸들(handle)이나 스틱(stick) 등과 같은 하드웨어적인 입력 장치(211) 또는 사용자 및/또는 관리자의 입력을 위한 터치 패드(touch pad) 등과 같은 GUI(Graphical User interface), 즉 소프트웨어인 입력 장치(211)를 포함할 수도 있다. 또한, 입출력부(210)는 서버 장치(200)의 동작을 표시하기 위한 디스플레이(212)을 포함할 수 있다.

특히, 입출력부(210)는 서버 장치(200)와 분리되어 마련된 단말기를 포함할 수 있다. 예를 들어, 입출력부(210)는 키보드, 모니터 등을 포함하는 고정형 단말기 또는 키보드, 터치 패드, 디스플레이, 터치 스크린 디스플레이 등을 포함하는 휴대형 단말기를 포함할 수 있다.

통신부(220)는 냉장고(100) 및/또는 사용자 장치(300)와 데이터를 주고받을 수 있다. 예를 들어, 통신부(220)는 냉장고(100)로부터 저장실 내부 영상을 수신할 수 있으며, 저장실 내부 영상에 포함된 식품과 관련된 정보를 냉장고(100) 및/또는 사용자 장치(300)로 전송할 수 있다.

통신부(220)는 냉장고(100) 및/또는 사용자 장치(300)과 유선으로 데이터를 주고받는 유선 통신 모듈(221)과, 냉장고(100) 및/또는 사용자 장치(300)과 무선으로 데이터를 주고받는 무선 통신 모듈(222)을 포함할 수 있다. 유선 통신 모듈(221)과 무선 통신 모듈(222)의 구성 및 동작은 냉장고(100)의 그것과 동일할 수 있다.

이처럼, 통신부(220)는 냉장고(100) 및/또는 사용자 장치(300)과 데이터를 주고 받을 수 있으며, 냉장고(100) 및/또는 사용자 장치(300)로부터 수신된 데이터를 처리부(240)로 출력할 수 있다.

저장부(230)는 냉장고(100) 및/또는 사용자 장치(300)의 요청을 처리하기 위한 프로그램 및/또는 데이터를 저장할 수 있다.

예를 들어, 저장부(230)는 영상으로부터 객체를 식별하기 위한 객체 식별 엔진(231)과, 객체 식별 엔진(231)을 학습하기 위한 학습 데이터(232)와, 객체 식별 엔진(231)을 사용자의 수정에 따라 객체 식별 엔진(231)을 다시 학습하기 위한 사용자 데이터(233) 및 식별된 상품에 대한 리스트(234)를 포함할 수 있다.

객체 식별 엔진(231)은 지도에 의한 학습 또는 지도 없는 학습을 이용하여 영상으로부터 객체를 식별할 수 있다. 예를 들어, 사전의 학습 또는 사후의 학습에 의하여 객체 식별 엔진(231)은 영상의 포함된 식품을 식별하고, 식별된 식품의 명칭 등 식품 관련 정보를 출력할 수 있다.

객체 식별 엔진(231)은 관리자의 지도에 의하여 학습하는 지도 학습(supervised learning), 관리자의 지도 없이 학습하는 비지도 학습(unsupervised learning), 관리자의 지도 없이 보상에 의하여 학습하는 강화 학습(reinforcement learning) 등을 포함할 수 있다. 이해를 돕기 위하여 이하에서는 객체 식별 엔진(231)은 지도 학습을 포함하는 것을 가정한다.

객체 식별 엔진(231)은 영상을 통한 객체 식별을 위한 다양한 학습 알고리즘을 포함할 수 있다. 예를 들어, 객체 식별 엔진(231)은 뉴럴 네트워크(Neural Network) 알고리즘, 서포트 벡터 머신(Support Vector Machine, SVM) 알고리즘, 에이다부스트(AdaBoost) 알고리즘, 랜덤포레스트(random forest) 알고리즘 등을 포함할 수 있다.

객체 식별 엔진(231)은 학습 데이터(232)에 의하여 사전에 학습될 수 있다. 또한, 객체 식별 엔진(231)은 사용자 데이터(233)에 의하여 사후에 재-학습될 수 있다.

학습 데이터(232)는 영상과, 영상에 대응되는 객체의 명칭을 포함할 수 있다. 예를 들어, 학습 데이터(232)는 "사과의 영상"이 담긴 파일과, 이에 대응되는 "사과"라는 식품 명칭을 포함할 수 있다.

또한, 사용자 데이터(233)는 객체의 영상과, 냉장고(100)의 사용자에 의하여 수정된 객체의 명칭을 포함할 수 있다. 예를 들어, 사용자 데이터(233)는 "사과의 영상"이 담긴 파일과, 사용자에 의하여 수정된 "사과"라는 식품 명칭을 포함할 수 있다.

예를 들어, 도 7 및 도 8에 도시된 바와 같이, 저장부(230)는 식품 데이터 베이스(232a)와, 사용자 입력 데이터 베이스(233a)을 포함할 수 있다.

식품 데이터 베이스(232a)는 객체 식별 엔진(231)을 학습하기 위한 학습 데이터(232)를 포함할 수 있다. 식품 데이터 베이스(232a)의 학습 데이터(232)는 설계자에 의하여 사전에 저장될 수 있으며, 초기에 객체 식별 엔진(231)은 식품 데이터 베이스(232a)의 학습 데이터(232)에 의하여 학습될 수 있다.

식품 데이터 베이스(232a)의 학습 데이터(232)는 식품의 명칭과, 해당 식품의 이미지들을 포함할 수 있다. 예를 들어, 도 8의 (a)에 도시된 바와 같이 식품 데이터 베이스(232a)는 파인애플과, 파인애플을 나타내는 적어도 하나의 이미지(pineapple_1.jpg, pineapple_2.jpg)를 포함할 수 있으며, 포도와 포도를 나타내는 적어도 하나의 이미지(Grape_1.jpg, Grapge_2.jpg)를 포함할 수 있으며, 사과와 사과를 나타내는 적어도 하나의 이미지(Apple_1)를 포함할 수 있다.

사용자 입력 데이터 베이스(233a)는 사용자에 의하여 입력 또는 수정된 사용자 데이터(233)을 포함할 수 있다. 사용자에 의하여 사용자 데이터(233)가 입력되면, 객체 식별 엔진(231)은 사용자 데이터(233)에 의하여 재학습될 수 있다.

사용자 입력 데이터 베이스(233a)의 사용자 데이터(233)는 사용자에 의하여 입력된 식품의 명칭과, 사용자에 의한 수정된 식품의 명칭에 대응하는 이미지들을 포함할 수 있다. 예를 들어, 도 8의 (b)에 도시된 바와 같이 사용자 입력 데이터 베이스(233a)는 사용자에 의하여 입력된 사과와, 수정된 사과에 대응하는 이미지(Apple_2.jpg)를 포함할 수 있다.

사용자 입력 데이터 베이스(233a)의 사용자 데이터(233)를 이용하여 객체 식별 엔진(231)을 재학습하기 위하여 저장부(230)는 객체 식별 엔진(231)은 학습 데이터 생성부(231a)와, 객체 식별 엔진 학습부(231b)와, 객체 식별 엔진 생성부(231c)를 더 포함할 수 있다.

학습 데이터 생성부(231a)는 기존의 학습 데이터(232)와 사용자에 의하여 입력된 사용자 데이터(233)를 이용하여 객체 식별 엔진(231)을 재학습하기 위한 학습 데이터를 생성할 수 있다. 예를 들어, 학습 데이터 생성부(231a)는 학습 데이터(232)와 사용자 데이터(233)를 혼합할 수 있으며, 학습 데이터(232)와 사용자 데이터(233) 사이의 비율을 조절할 수 있다.

객체 식별 엔진 학습부(231b)는 학습 데이터 생성부(231a)에 의하여 새롭게 생성된 학습 데이터를 이용하여 객체 식별 엔진(231)을 학습할 수 있다. 아래에서 설명하는 바와 같이, 객체 식별 엔진 학습부(231b)는 학습 데이터 중에 식품 이미지를 객체 식별 엔진(231)에 입력하고, 식품 이미지에 대응하는 식품 명칭과 객체 식별 엔진(231)로부터 출력된 식품 명칭을 비교하고, 비교 결과에 따라 객체 식별 엔진(231)에 포함된 계수들을 조정할 수 있다.

객체 식별 엔진 생성부(231c)는 객체 식별 엔진 학습부(231b)에 의하여 학습된 객체 식별 엔진(231)을 생성할 수 있다.

이처럼, 저장부(230)는 프로그램 및/또는 데이터를 저장하고, 저장된 프로그램 및/또는 데이터를 처리부(240)로 출력할 수 있다. 다시 말해, 저장부(230)는 처리부(240)가 아래에서 설명되는 동작을 수행하기 위하여 실행되는 프로그램 및/또는 데이터를 저장할 수 있다. 예를 들어, 저장부(230)는 객체 식별을 위한 객체 식별 엔진(231)학습 엔진을 학습하기 위한 학습 데이터(232), 사용자 데이터(233) 및 리스트(234)를 저장할 수 있다.

여기서 리스트(234)는 냉장고의 저장 영상으로부터 식별된 식품에 관한 명칭, 저장실(110)에서 식별된 식품이 위치하는 좌표 등과 같은 인식 데이터를 포함한다. 또한, 리스트(234)에는 이하의 다른 도면을 통해 후술하는 태그 정보를 더 포함할 수 있다. 여기서 태그 정보는, 처리부(240)에서 생성하는 식별된 식품의 이미지 및 태그의 활성화 여부에 관한 활성화 정보를 포함한다.

저장부(230)는 제1 시간에 촬영된 저장실(110) 내부의 영상으로부터 생성된 인식 데이터를 포함한 리스트(234)를 저장한 후, 제2 시간에 촬영된 저장실(110) 내부의 영상으로부터 생성된 인식 데이터와 비교할 수 있도록 리스트(234)를 처리부(240)로 제공한다.

처리부(240)는 저장부(230)에 저장된 프로그램 및/또는 데이터를 로딩하여 기억하는 메모리(242)와, 메모리(242)에 기억된 프로그램 및/또는 데이터에 따라 냉장고(100) 및/또는 사용자 장치(300)로부터 수신된 데이터를 처리하는 프로세서(241)를 포함할 수 있다. 처리부(240)는 메모리(242)와 프로세서(241) 등의 하드웨어 뿐만 아니라, 메모리(242)에 기억되고 프로세서(241)에서 처리되는 프로그램 및/또는 데이터 등의 소프트웨어를 더 포함할 수 있다.

메모리(242)는 냉장고(100) 및/또는 사용자 장치(300)로부터 수신된 데이터를 처리하기 위한 프로그램 및/또는 데이터를 기억하고, 냉장고(100) 및/또는 사용자 장치(300)로부터 수신된 데이터를 처리하는 중에 발생하는 임시 데이터를 기억할 수 있다.

예를 들어, 메모리(242)는 학습되지 아니한 객체 식별 엔진(231)을 기억할 수 있으며, 저장부(230)에 저장된 학습 데이터(232)를 이용하여 학습되지 아니한 객체 식별 엔진(231)을 학습하기 위한 프로그램 및/또는 데이터를 기억할 수 있다. 메모리(242)는 학습된 객체 식별 엔진(231)을 기억할 수 있으며, 학습된 객체 식별 엔진(231)을 이용하여 영상 데이터로부터 영상의 객체를 식별하기 위한 프로그램 및/또는 데이터를 기억할 수 있다. 또한, 메모리(242)는 서버 장치(200)가 아래에서 설명되는 동작을 수행하기 위한 프로그램 및/또는 데이터를 기억할 수 있다.

메모리(242)는 데이터를 장기간 저장하기 위한 롬, 플래시 메모리 등의 비휘발성 메모리와, 데이터를 일시적으로 기억하기 위한 S-램, D-램 등의 휘발성 메모리를 포함할 수 있다.

프로세서(241)는 메모리(242)에 기억/저장된 프로그램 및/또는 데이터에 따라 냉장고(100) 및/또는 사용자 장치(300)로부터 수신된 데이터를 처리하고, 처리된 결과를 냉장고(100) 및/또는 사용자 장치(300)로 전송하기 위한 제어 신호를 생성할 수 있다.

예를 들어, 프로세서(241)는 메모리(242)에 저장된 학습되지 않은 객체 식별 엔진(231)을 학습할 수 있다. 구체적으로, 프로세서(241)는 학습되지 않은 객체 식별 엔진(231)에 학습 데이터(232)를 입력하고, 객체 식별 엔진(231)의 출력과 학습 데이터(232)를 비교하여 객체 식별 엔진(231)을 갱신(학습)할 수 있다.

또한, 프로세서(241)는 메모리(242)에 저장된 학습된 객체 식별 엔진(231)을 이용하여 영상으로부터 객체를 식별할 수 있다. 구체적으로, 프로세서(241)는 학습된 객체 식별 엔진(231)에 냉장고(100)로부터 전송된 저장실 내부 영상을 입력하고, 객체 식별 엔진(231)의 출력에 기초하여 저장실 내부 영상을 포함된 식품들을 식별할 수 있다. 다시 말해, 프로세서(241)는 학습된 객체 식별 엔진(231)을 이용하여 냉장고(100)의 저장실(110)에 저장된 식품들을 식별하고, 식별된 식품들에 관한 정보를 출력할 수 있다. 또한, 프로세서(241)는 서버 장치(200)가 아래에서 설명되는 동작을 수행하기 위한 제어 신호를 생성할 수 있다.

프로세서(241)는 논리 연산 및 산술 연산 등을 수행하는 코어(core)와, 연산된 데이터를 기억하는 레지스터(register) 등을 포함할 수 있다.

이처럼, 처리부(240)는 학습되지 않는 객체 식별 엔진(231)을 학습할 수 있으며, 학습된 객체 식별 엔진(231)을 이용하여 입력 영상으로부터 객체를 식별할 수 있다.

예를 들어, 객체 식별 엔진(231)은 도 9에 도시된 바와 같이 뉴럴 네트워크를을 포함할 수 있다. 객체 식별 엔진(231)은 영상 데이터가 입력되는 입력 레이어(input)와, 식별된 객체에 관한 정보가 출력되는 출력 레이어(output)와, 입력 레이어(input)와 출력 레이어(output) 사이의 히든 레이어(hidden)를 포함할 수 있다.

입력 레이어(input)는 복수의 입력 노드들(i1, i2)을 포함하며, 복수 입력 노드(i1, i2) 각각에 영상 데이터가 입력될 수 있다. 예를 들어, 영상에 포함된 복수의 픽셀들의 휘도 값 및/또는 색상 값이 복수의 입력 노드들(i1, i2) 각각에 입력될 수 있다.

히든 레이어(hidden)는 복수의 히든 노드(h1, h2)를 포함하며, 복수의 히든 노드(h1, h2) 각각에는 가중치(w1, w2, w3, w4)가 적용된 복수의 입력 노드(i1, i2)의 출력 값의 합이 입력될 수 있다. 예를 들어, 처리부(240)는 제1 가중치(w1)가 적용된 제1 입력 노드(i1)의 출력 값과 제2 가중치(w2)가 적용된 제2 입력 노드(i2)의 출력 값의 합을 제1 히든 노드(h1)에 입력할 수 있다. 또한, 처리부(240)는 제3 가중치(w3)가 적용된 제1 입력 노드(i1)의 출력 값과 제4 가중치(w4)가 적용된 제2 입력 노드(i2)의 출력 값의 합을 제2 히든 노드(h2)에 입력할 수 있다.

처리부(240)는 히든 레이어(hidden)에 입력된 입력 값에 스텝 함수(step function) 또는 시그모이드 함수(sigmoid function)을 적용할 수 있다. 예를 들어, 처리부(240)는 제1 히든 노드(h1)의 입력 값을 시그모이드 함수에 입력하고, 시그모이드 함수의 출력 값을 출력 레이어(output)으로 출력할 수 있다. 또한, 처리부(240)는 제2 히든 노드(h2)의 입력 값을 시그모이드 함수에 입력하고, 시그모이드 함수의 출력 값에 가중치(w5, w6, w7, w8)를 적용하여 출력 레이어(output)으로 출력할 수 있다.

출력 레이어(output)는 복수의 출력 노드들(o1, o2)을 포함하며, 복수의 출력 노드(o1, o2) 각각에는 가중치(w5, w6, w7, w8)가 적용된 복수의 히든 노드(h1, h2)의 출력 값이 합이 입력될 수 있다. 예를 들어, 처리부(240)는 제5 가중치(w5)가 적용된 제1 히든 노드(h1)의 출력 값과 제6 가중치(w6)가 적용된 제2 히든 노드(h2)의 출력 값의 합을 제1 출력 노드(o1)에 입력할 수 있다. 또한, 처리부(240)는 제7 가중치(w7)가 적용된 제1 히든 노드(h1)의 출력 값과 제8 가중치(w8)가 적용된 제2 히든 노드(h2)의 출력 값의 합을 제2 출력 노드(o2)에 입력할 수 있다.

처리부(240)는 출력 레이어(output)에 입력된 입력 값에 스텝 함수 또는 시그모이드 함수를 적용할 수 있다. 예를 들어, 처리부(240)는 제1 출력 노드(o1)의 입력 값을 시그모이드 함수에 입력하고, 시그모이드 함수의 출력 값을 출력할 수 있다. 또한, 처리부(240)는 제2 출력 노드(o2)의 입력 값을 시그모이드 함수에 입력하고, 시그모이드 함수의 출력 값을 출력할 수 있다.

출력 레이어(output)에 포함된 복수의 출력 노드들(o1, o2) 각각에는 객체들이 할당되며, 복수의 출력 노드들(o1, o2)의 출력 값은 영상 이 복수의 출력 노드들(o1, o2)에 할당된 객체일 확률을 나타낼 수 있다. 처리부(240)는 복수의 출력 노드들(o1, o2)의 출력에 기초하여 영상에 포함된 객체를 식별할 수 있다.

뉴럴 네트워크 알고리즘에 의하면, 레이어들(input, hidden, output) 사이의 가중치(w1~w8)의 값에 따라 객체 식별 엔진(231)의 출력이 달라질 수 있다. 따라서, 처리부(240)는 객체를 정확하게 식별하기 위한 적절한 가중치(w1~w8)를 설정할 수 있으며, 학습 데이터(232)를 이용하여 객체 식별 엔진(231)의 적절한 가중치(w1~w8)를 설정할 수 있다. 이처럼, 학습 데이터(232)를 이용하여 객체 식별 엔진(231)을 학습하는 것을 "학습"이라 한다.

서버 장치(200)는 도 10의 (a)에 도시된 바와 같이 학습되지 않은 객체 식별 엔진(231)을 학습할 수 있다.

서버 장치(200)는 학습 데이터(232)를 획득한다(1010).

처리부(240)는 저장부(230)에 저장된 학습 데이터(232)를 로딩할 수 있다. 학습 데이터(232)는 복수의 영상들과, 복수의 영상들에 각각 대응되는 객체의 명칭을 포함할 수 있다.

또한, 서버 장치(200)는 광역 네트워크(WAN)에 연결된 다른 장치로부터 학습 데이터(232)를 획득할 수 있다.

서버 장치(200)는 학습 데이터(232)를 객체 식별 엔진(231)에 입력한다(1020).

처리부(240)는 학습 데이터(232)의 영상을 구성하는 복수의 픽셀들의 휘도 값 및/또는 RGB 값(적색 서브 픽셀의 데이터, 녹색 서브 픽셀의 데이터 및 청색 서브 픽셀의 데이터)을 객체 식별 엔진(231)에 입력할 수 있다. 예를 들어, 처리부(240)는 뉴럴 네트워크의 입력 레이어(input)의 입력 노드들(i1, i2)에 학습 데이터(232)의 영상을 구성하는 복수의 픽셀들의 RGB 값을 입력할 수 있다.

서버 장치(200)는 학습 데이터(232)와 객체 식별 엔진(231)의 출력을 비교한다(1030).

처리부(240)는 객체 식별 엔진(231)을 이용하여 학습 데이터(232)의 영상에 대한 객체 식별을 수행한다. 예를 들어, 처리부(240)는 뉴럴 네트워크의 입력 레이어(input)의 입력 노드들(i1, i2)의 출력에 가중치(w1-w4)를 적용하여 히든 레이어(hidden)의 히든 노드들(h1, h2)에 입력할 수 있다. 처리부(240)는 히든 노드들(h1, h2)의 입력을 시그모이드 함수에 입력하고, 시그모이드 함수의 출력에 가중치(w5-w8)를 적용하여 출력 레이어(ouput)의 출력 노드들(o1, o2)에 입력할 수 있다. 이후, 처리부(240)는 출력 노드들(o1, o2)의 입력을 시그모이드 함수에 입력하고, 시그모이드 함수의 출력을 출력할 수 있다.

처리부(240)는 객체 식별 엔진(231)의 출력에 기초하여 학습 데이터(232)의 영상에 포함된 객체를 식별할 수 있다. 예를 들어, 뉴럴 네트워크의 복수의 출력 노드들(o1, o2) 각각은 영상에 포함된 객체가 복수의 출력 노드들(o1, o2) 각각에 할당된 객체들과 일치할 확률을 출력할 수 있으며, 처리부(240)는 뉴럴 네트워크로부터 출력되는 확률에 기초하여 학습 데이터(232)의 영상에 포함된 객체를 식별할 수 있다.

또한, 처리부(240)는 객체 식별 엔진(231)의 출력에 의하여 식별된 객체와 학습 데이터(232)에 의한 객체를 비교할 수 있다.

서버 장치(200)는 객체 식별 엔진(231)의 출력과 학습 데이터(232)에 기초하여 객체 식별 엔진(231)을 갱신한다(1040).

처리부(240)는 객체 식별 엔진(231)의 출력에 의하여 식별된 객체와 학습 데이터(232)에 의한 객체가 동일한지를 판단할 수 있다.

객체 식별 엔진(231)의 출력에 의하여 식별된 객체와 학습 데이터(232)에 의한 객체가 동일하지 아니하면, 처리부(240)는 적절한 방법으로 객체 식별 엔진(231)을 갱신한다. 예를 들어, 학습 데이터(232)에 의한 객체에 대한 뉴럴 네트워크로부터 출력된 확률이 기준 값보다 작으면, 처리부(240)는 뉴럴 네트워크를 구성하는 가중치(w1-w8)를 변경할 수 있다.

이후, 서버 장치(200)는 학습 데이터(232)의 획득, 학습 데이터(232)의 입력, 객체 식별 엔진(231)의 출력 평가 및 객체 식별 엔진(231)의 갱신을 반복할 수 있다. 이러한 학습 동작에 의하여, 객체 식별 엔진(231)은 학습 데이터(232)의 영상에 포함된 객체를 식별할 수 있도록 학습된다. 예를 들어, 학습 동작에 의하여 학습 데이터(232)의 영상에 포함된 객체를 식별할 수 있도록 뉴럴 네트워크의 가중치(w1-w8)가 설정된다.

또한, 서버 장치(200)는 도 10의 (b)에 도시된 바와 같이 학습 된 객체 식별 엔진(231)을 이용하여 영상의 객체를 식별할 수 있다.

서버 장치(200)는 영상을 수신한다(1060).

처리부(240)는 통신부(220)를 통하여 외부 장치로부터 식별하고자 하는 객체를 포함하는 영상을 수신할 수 있다. 예를 들어, 처리부(240)는 통신부(220)를 통하여 냉장고(100)로부터 저장실(110)의 내부 영상을 수신할 수 있다.

서버 장치(200)는 수신 영상을 객체 식별 엔진(231)에 입력한다(1070).

처리부(240)는 영상을 구성하는 복수의 픽셀들의 휘도 값 및/또는 RGB 값(적색 서브 픽셀의 데이터, 녹색 서브 픽셀의 데이터 및 청색 서브 픽셀의 데이터)을 객체 식별 엔진(231)에 입력할 수 있다. 동작 1070은 동작 1020와 동일할 수 있다.

서버 장치(200)는 객체 식별을 수행한다(1080).

처리부(240)는 객체 식별 엔진(231)을 이용하여 수신 영상에 대한 객체 식별을 수생하고, 객체 식별 엔진(231)의 출력에 기초하여 학습 데이터(232)의 영상에 포함된 객체를 식별할 수 있다. 동작 1080은 동작 1030과 동일할 수 있다.

서버 장치(200)는 객체 식별 결과를 출력한다(1090).

처리부(240)는 수신 영상의 객체에 관한 정보를 다른 장치로 전송하도록 통신부(220)를 제어할 수 있다. 예를 들어, 처리부(240)는 저장실(110)의 내부 영상으로부터 식별된 식품과 관련된 정보를 통신부(220)를 통하여 냉장고(100)로 전송할 수 있다.

서버 장치(200)는 냉장고(100)의 저장실(110)에 저장된 식품을 식별하기 위하여 특별한 방법을 이용하여 식품을 식별할 수 있다.

도 11는 일 실시예에 의한 서버 장치의 객체 식별 엔진의 구성을 도시한다. 도 12은 일 실시예에 의한 서버 장치에 포함된 객체 식별 엔진이 식품을 식별하는 일 예를 도시한다. 도 13은 일 실시예에 의한 서버 장치에 포함된 객체 식별 엔진이 식품을 식별하는 다른 일 예를 도시한다. 도 14는 일 실시예에 의한 서버 장치에 포함된 객체 식별 엔진이 식품을 식별하는 다른 일 예를 도시한다.

도 11에 도시된 바와 같이 서버 장치(200)는 식품 식별을 위하여 서버 장치(200)는 식품 영역 검출 엔진(310)과 식품 영역 분류 엔진(320)와 식품 식별 엔진(330)을 포함할 수 있다. 식품 영역 검출 엔진(310)과 식품 영역 분류 엔진(320)와 식품 식별 엔진(330)은 각각 하드웨어 또는 소프트웨어로 구현될 수 있다. 예를 들어, 식품 영역 검출 엔진(310)과 식품 영역 분류 엔진(320)와 식품 식별 엔진(330)는 하드웨어로써 프로세서(241)의 일부이거나, 소프트웨어로써 저장부(230)에 저장된 프로그램의 일부일 수 있다.

식품 영역 검출 엔진(310)은 냉장고(100)의 저장실(110) 내부를 촬영한 저장실 내부 영상(500)을 획득하고, 저장실 내부 영상(500)에서 식품들(501, 502, 503, 504)이 위치하는 식품 영역들(510, 520, 530)을 식별할 수 있다.

식품 영역 검출 엔진(310)은 다양한 방향으로 식품이 위치하는 식품 영역들(510, 520, 530)을 식별할 수 있다.

예를 들어, 식품 영역 검출 엔진(310)은 빈 저장실(110)의 내부 영상과 식품이 놓여진 저장실(110)의 내부 영상 사이의 차이에 기초하여 식품 영역들(510, 520, 530)과 배경 영역을 분리할 수 있다. 식품 영역 검출 엔진(310)는 냉장고(100)로부터 저장실 내부 영상과 기준 영상(빈 저장실 내부 영상)을 함께 수신할 수 있으며, 식품 영역 검출 엔진(310)은 저장실 내부 영상과 기준 영상의 차이로부터 식품이 위치하는 식품 영역들(510, 520, 530)과 저장실(110)의 배경이 되는 배경 영역을 분리할 수 있다.

다른 예로, 식품 영역 검출 엔진(310)은 저장실 내부 영상으로부터 윤곽선을 추출하고(edge detection), 영상의 윤곽선에 기초하여 식품이 위치하는 식품 영역들(510, 520, 530)과 배경 영역을 분리할 수 있다.

다른 예로, 식품 영역 검출 엔진(310)은 저장실 내부 영상으로부터 색상의 변화에 관한 정보를 추출하고, 저장실 내부 영상 내에서 색상이 급격하는 변환하는 경계선에 기초하여 식품이 위치하는 식품 영역들(510, 520, 530)과 배경 영역을 분리할 수 있다.

또한, 식품 영역 검출 엔진(310)은 식품의 식별률을 향상시키기 위하여 식품 영역들(510, 520, 530)으로부터 선반(110c)의 영상 및/또는 식품의 반사 영상 등을 제거할 수 있다.

예를 들어, 식품 영역 검출 엔진(310)은 도 12의 (a)에 도시된 바와 같은 저장실 내부 영상(500)을 획득할 수 있으며, 저장실 내부 영상(500)으로부터 도 12의 (b)에 도시된 바와 같이 식품들(501, 502, 503, 504)이 위치하는 식품 영역들(510, 520, 530)을 식별할 수 있다. 식품 영역 검출 엔진(310)은 제1 식품 A (501)가 위치하는 제1 식품 영역(510)과, 제2 식품 B (502)가 위치하는 제2 식품 영역(520)과, 제3 식품 C (503)와 제4 식품 D (504)가 함께 위치하는 제3 식품 영역(530)을 식별할 수 있다.

식품 영역 분류 엔진(320)는 식품 영역 검출 엔진(310)에 의하여 식별된 식품 영역들(510, 520, 530)을 분류할 수 있다. 예를 들어, 식품 영역 분류 엔진(320)는 식품 영역들(510, 520, 530) 각각으로부터 식품을 식별하기 위한 난이도(어려운 정도)에 따라 식품 영역들(510, 520, 530)을 분류할 수 있다.

식품 영역 분류 엔진(320)은 식품 영역(510, 520, 530) 내에서 문자가 감지되는 문자 식별 영역과, 식품 영역(510, 520, 530) 내에서 단일의 식품이 감지되는 영상 식별 영역과, 식품 영역(510, 520, 530) 내에서 복수의 식품들이 감지되는 영상 분할 영역으로 분류할 수 있다.

식품 영역 분류 엔진(320)는 문자 추출 알고리즘을 이용하여 식품 영역(510, 520, 530)으로부터 문자가 추출되면 문자 식별 영역으로 분류할 수 있다. 예를 들어, 통조림, 햄 등의 가공 식품은 식품을 식별할 수 있는 고유의 형상을 가지지 아니하며, 식품의 외관에 식품을 식별하기 위한 문자가 마련된다. 문자 식별 영역의 식품은 문자 식별에 의하여 식별될 수 있다.

식품 영역 분류 엔진(320)는 문자 추출 알고리즘을 이용하여 문자가 추출되지 아니하면 식품 영역(510, 520, 530)에 대하여 에지 추출 및/또는 색상의 변화 추출 등을 이용하여 식품 영역(510, 520, 530)에 단일의 식품이 위치하는지 또는 복수의 식품들이 중첩되어 위치하는지를 판단할 수 있다.

특히, 식품 영역(510, 520, 530) 내에서 색상이 급격하게 변화하는 경계선이 발견되는 경우, 식품 영역 분류 엔진(320)는 식품 영역(510, 520, 530) 내에 복수의 식품들이 서로 중첩되어 위치하는 영상 분할 영역으로 분류할 수 있다. 또한, 식품 영역(510, 520, 530) 내에서 색상이 급격하게 변화하는 경계선이 발견되지 아니한 경우, 식품 영역 분류 엔진(320)는 식품 영역(510, 520, 530) 내에 단일의 식품이 위치하는 영상 인시 영역으로 분류할 수 있다.

예를 들어, 식품 영역 분류 엔진(320)는 도 12의 (b)에 도시된 제1 식품 영역(510)으로부터 문자 추출 알고리즘을 이용하여 문자 "A"를 추출할 수 있다. 따라서, 식품 영역 분류 엔진(320)는 제1 식품 영역(510)을 문자 식별 영역으로 분류할 수 있다.

또한, 식품 영역 분류 엔진(320)는 도 12의 (b)에 도시된 제2 식품 영역(520)으로부터 문자를 추출할 수 없으며 제2 식품 영역(520) 내에서 색상이 급격하게 변화하는 경계선을 발견할 수 없다. 따라서, 식품 영역 분류 엔진(320)는 제2 식품 영역(520)을 영상 식별 영역으로 분류할 수 있다.

또한, 식품 영역 분류 엔진(320)는 도 12의 (b)에 도시된 제3 식품 영역(530) 내에서 색상이 급격하게 변환하는 경계선을 발견할 수 있다. 따라서, 식품 영역 분류 엔진(320)는 제3 식품 영역(530)을 영상 분할 영역으로 분류할 수 있다.

식품 식별 엔진(330)은 식품 영역 분류 엔진(320)에 의하여 분류된 식품 영역들(510, 520, 530)에 대하여 서로 다른 식품 식별 방법(또는 식품 식별 엔진)을 이용하여 식품 영역들(510, 520, 530)의 식품을 식별할 수 있다. 구체적으로, 식품 식별 엔진(330)은 식품 영역들(510, 520, 530)에 대하여 문자 식별 엔진(331), 영상 식별 엔진(332) 및 영상 분할 엔진(333) 중 적어도 하나를 이용하여 식품 영역들(510, 520, 530)의 식품을 식별할 수 있다.

예를 들어, 식품 식별 엔진(330)은 문자 식별 엔진(331)을 이용하여 제1 식품 영역(510)으로부터 도 12의 (c)에 도시된 바와 같이 문자 "A"를 식별할 수 있으며, 문자 "A"에 기초하여 제1 식품 영역(510)의 식품 A (501)을 식별할 수 있다.

또한, 식품 식별 엔진(330)은 영상 식별 엔진(332)을 이용하여 제2 식품 영역(520)으로부터 도 12의 (c)에 도시된 바와 같이 식품 B (502)를 식별할 수 있다. 구체적으로, 영상 식별 엔진(332)은 제2 식품 영역(520)의 영상 그 자체로부터 식품 B (502)를 식별할 수 있다.

또한, 식품 식별 엔진(330)은 영역 분할 엔진(333)을 이용하여 서로 중첩된 식품의 영상을 분할할 수 있다. 예를 들어, 영역 분할 엔진(333)은 영상 분할 영역을 복수의 식품이 구별되는 색공간으로 변환한 이후 적절한 임계값을 기준으로 복수의 분할된 식품 영역으로 분할 수 있다. 또한, 영역 분할 엔진(333)은 영상 분할 영역 유사한 색상을 가지는 영역을 그룹화하여 복수의 분할된 식품 영역으로 분할할 수 있다.

영상 분할의 결과, 도 12의 (b)에 도시된 제3 식품 영역(530)은 도 12의 (c)에 도시된 바와 같이 제1 분할된 식품 영역(531)과 제2 분할된 식품 영역(532)으로 분할될 수 있다. 또한, 식품 식별 엔진(330)은 영상 식별 엔진(333)을 이용하여 제1 분할된 식품 영역(531)과 제2 분할된 식품 영역(532) 각각에 대하여 식품 식별을 수행할 수 있다. 식품 식별 엔진(330)은 제1 분할된 식품 영역(531)으로부터 식품 C (503)를 식별할 수 있으며, 제2 분할된 식품 영역(532)으로부터 식품 D (504)를 식별할 수 있다.

이상에서 설명된 바와 같이, 식품 영역 검출 엔진(310)은 빈 저장실(110)의 영상과 수신 영상을 비교하여, 식품들이 위치하는 식품 영역들(510, 520, 530)을 식별할 수 있다. 식품 영역 분류 엔진(320)는 식품 영역들(510, 520, 530)의 문자 포함 여부 및/또는 색상 경계 포함 여부에 기초하여 식품 영역들(510, 520, 530)을 분류할 수 있다.

식품 식별 엔진(330)은 서로 다른 그룹으로 분류된 식품 영역들(510, 520, 530)에 대하여 서로 다른 식별 알고리즘을 이용하여 식품을 식별할 수 있다. 예를 들어, 식품 식별 엔진(330)은 문자를 포함하는 식품 영역에 대하여 문자 식별 엔진(331)을 이용하여 식품 영역의 식품을 식별하고, 색상 경계를 포함하는 식품 영역에 대하여 영역 분할 엔진(333)을 이용하여 식품 영역을 분할할 수 있다. 또한, 식품 식별 엔진(330)은 영상 식별 엔진(332)을 이용하여 영상으로부터 식품을 식별할 수 있다.

또한, 도 13에 도시된 바와 같이 서버 장치(200)는 저장실 내부 영상(400)으로부터 식품들(410, 402, 403, 404)에 관한 정보를 포함하는 저장실 내부 영상(400)을 출력할 수 있다.

식품 영역 검출 엔진(310)은 저장실 내부 영상(400)을 획득할 수 있으며, 저장실 내부 영역(400)으로부터 제1 식품(401)가 위치하는 제1 식품 영역(410)과, 제2 식품(402)가 위치하는 제2 식품 영역(420)과, 제3 식품(403)와 제4 식품(404)가 함께 위치하는 제3 식품 영역(430)을 식별할 수 있다.

식품 영역 분류 엔진(320)는 문자가 추출되는 제1 식품 영역(410)을 문자 식별 영역으로 분류할 수 있으며, 문자가 추출되지 않는 제2 식품 영역(420)을 영상 식별 영역으로 분류할 수 있으며, 영상이 급격하게 변화하는 경계선을 포함하는 제3 식품 영역(430)을 영상 분할 영역으로 분류할 수 있다.

식품 식별 엔진(330)의 문자 식별 엔진(331)은 문자 식별을 이용하여 제1 식품 영역(410)의 제1 식품(401)을 식별할 수 있으며, 식품 식별 엔진(330)의 영상 식별 엔진(332)은 영상 식별을 이용하여 제2 식품 영역(420)의 제2 식품(402)을 식별할 수 있다. 식품 식별 엔진(330)의 영역 분할 엔진(333)은 제3 식품 영역(430)을 제3 식품(403)의 영상과 제4 식품(404)의 영상을 분할할 수 있으며, 문자 식별 엔진(331) 및/또는 영상 식별 엔진(332)은 제3 식품(403)의 영상과 제4 식품(404)의 영상으로부터 각각 제3 식품(403)과 제4 식품(404)를 식별할 수 있다.

식품 식별 엔진(330)은 제1 식품 영역(410)에 제1 식품(401)을 지정할 수 있으며, 제2 식품 영역(420)에 제2 식품(402)을 지정할 수 있으며, 제3 식품 영역(430)에 제3 식품(403) 및 제4 식품(404)를 지정할 수 있다. 또한, 식품 식별 엔진(330)은 제1 식품(401)이 드래그된 제1 식품 영역(410)과 제2 식품(402)가 지정된 제2 식품 영역(420)과 제3 식품(403) 및 제4 식품(404)이 지정된 제3 식품 영역(430)을 포함하는 저장실 내부 영상(400)을 출력할 수 있다.

또한, 도 14에 도시된 바와 같이 서버 장치(200)는 사전에 식품들(401, 402, 403, 404)이 식별된 저장실 내부 영상(400)을 이용하여 새로운 저장실 내부 영상(450)에 추가된 식품(461)을 식별할 수 있다.

식품 영역 검출 엔진(310)은 새로운 저장실 내부 영상(450)을 획득할 수 있으며, 기존 저장실 내부 영역(400)과 새로운 저장실 내부 영상(450) 사이의 차이를 기초로 제5 식품(461)이 위치하는 제4 식품 영역(460)을 식별할 수 있다.

식품 영역 분류 엔진(320)은 제4 식품 영역(460)을 문자 식별 영역, 영상 식별 영역 및 영상 분할 영역 중 어느 하나로 분류할 수 있다.

식품 식별 엔진(330)은 제4 식품 영역(460)의 분류(문자 식별 영역인지, 영상 식별 영역인지, 영상 분할 영역인지)에 따라 제4 식품 영역(460)의 제5 식품(461)을 식별할 수 있다.

식품 식별 엔진(330)은 제4 식품 영역(460)에 제5 식품(461)을 지정할 수 있다. 또한, 식품 식별 엔지(330)은 기존 저장실 내부 영상(400)에 제5 식품(461)이 지정된 제4 식품 영역(460)을 조합하여, 제5 식품(461)이 추가로 지정된 새로운 저장실 내부 영상(450)을 출력할 수 있다.

이하에서는 냉장고(100)와 서버 장치(200)와 사용자 장치(300)를 포함하는 식품 관리 시스템(1)의 동작이 설명된다.

도 15은 식품 관리 시스템의 식품 식별 방법 및 태그 생성의 일 예를 도시한다. 도 16은 도 15에 도시된 식품 식별 방법에 의하여 촬영된 저장실 내부 영상을 도시한다. 도 17는 도 15에 도시된 식품 식별 방법에 의하여 식품 영역을 식별하는 일 예를 도시한다. 도 18은 도 15에 도시된 식품 식별 방법에 의하여 태그의 생성과 관련된 팝업을 표시하는 일 예를 도시한다. 도 19는 도 15에 도시된 태그 생성에 관한 구체적인 방법을 설명하는 일 예를 도시한다. 도 20은 태그 생성과 관련하여 냉장고가 표시하는 인터페이스의 일 예를 도시한다.

도 15, 도 16, 도 17, 도 18, 도 19 및 도 20과 함께, 식품 관리 시스템(1)의 식품 식별 및 태그 생성이 설명된다

냉장고(100)는 저장실(110) 내부 영상을 획득한다(1110).

냉장고(100)는 카메라(150)를 통하여 저장실(110)의 내부를 촬영하고, 저장실(110)의 내부 영상을 획득할 수 있다.

제어부(190)는 개방된 도어(120)의 폐쇄가 감지되면 저장실(110)의 내부를 촬영하도록 카메라(150)를 제어할 수 있다. 카메라(150)는 선반(110c)에 의하여 구획된 복수의 공간을 촬영할 수 있다. 예를 들어, 카메라(150)의 제1 이미저(151)는 상부 저장실(111)의 제1 저장 공간(111a)을 촬영하고, 제2 이미저(151)는 제2 저장 공간(111b)을 촬영하고, 제3 이미저(151)는 제3 저장 공간(111c)을 촬영할 수 있다. 제어부(190)는 카메라(150)로부터 저장실(110)의 내부 영상을 획득할 수 있다.

다른 예로, 제어부(190)는 터치 스크린 터치 스크린 디스플레이(130)를 통한 사용자 입력에 응답하여 저장실(110)의 내부를 촬영하도록 카메라(150)를 제어할 수 있으며, 카메라(150)로부터 저장실(110)의 내부 영상을 획득할 수 있다.

또 다른 예로, 제어부(190)는 냉장고 통신부(170)를 통해 사용자 장치(300)로부터 수신되는 사용자의 입력에 응답하여 저장실(100)의 내부를 촬영하도록 카메라(150)를 제어할 수 있으며, 카메라(150)로부터 저장실(110)의 내부 영상을 획득할 수 있다.

제어부(190)는 도 16에 도시된 바와 같이 카메라(150)에 의하여 촬영된 저장실(110)의 내부 영상을 터치 스크린 터치 스크린 디스플레이(130)에 표시할 수 있다. 예를 들어, 제어부(190)는 제1 저장 공간(111a)의 내부 영상(610)과, 제2 저장 공간(111b)의 내부 영상(620)과, 제3 저장 공간(111c)의 내부 영상(630)을 각각 터치 스크린 터치 스크린 디스플레이(130)에 표시할 수 있다.

냉장고(100)는 저장실(110)의 내부 영상을 서버 장치(200)로 전송하며, 서버 장치(200)는 냉장고(100)로부터 저장실(110)의 내부 영상을 수신한다(1120).

냉장고(100)는 통신망(NET)을 통하여 저장실(110)의 내부 영상을 서버 장치(200)로 전송할 수 있다. 제어부(190)는 저장실(110)의 내부 영상을 서버 장치(200)로 전송하도록 냉장고 통신부(170)를 제어할 수 있다.

서버 장치(200)는 통신망(NET)을 통하여 냉장고(100)로부터 저장실(110)의 내부 영상을 수신할 수 있다. 처리부(240)는 통신부(220)를 통하여 저장실(110)의 내부 영상을 획득할 수 있다.

서버 장치(200)는 저장실(110)의 내부 영상에 포함된 식품을 식별한다(1130).

서버 장치(200)는 학습된 객체 식별 엔진(231)을 이용하여 저장실(110)의 내부 영상에 포함된 식품을 식별할 수 있다.

처리부(240)는 저장실 내부 영상(650)에서 식품들이 위치하는 식품 영역들(651, 652, 653)을 식별할 수 있다. 예를 들어, 처리부(240)는 도 17에 도시된 바와 같이 빈 저장실(110)의 내부 영상(640)과 식품이 놓여진 저장실(110)의 내부 영상(650) 사이의 차이에 기초하여 식품 영역들(651, 652, 653)과 배경 영역을 분리할 수 있다. 처리부(240)는 파인애플(621)이 위치하는 제1 식품 영역(651)과, 통조림(622)이 위치하는 제2 식품 영역(652)과, 포도(623) 및 사과(624)가 중첩되어 위치하는 제3 식품 영역(653)을 식별할 수 있다.

처리부(240)는 식품 영역들(651, 652, 653)을 분류할 수 있다. 예를 들어, 처리부(240)는 식품 영역들(651, 652, 653)을 식품 영역 내에서 문자가 감지되는 문자 식별 영역과, 식품 영역 내에서 단일의 식품이 감지되는 영상 식별 영역과, 식품 영역 내에서 복수의 식품들이 감지되는 영상 분할 영역으로 분류할 수 있다.

처리부(240)는 파인애플(621)이 위치하는 제1 식품 영역(651)을 영상 식별 영역으로 분류할 수 있으며, 통조림(622)이 위치하는 제2 식품 영역(652)을 문자 식별 영역으로 분류할 수 있으며, 포도(623) 및 사과(624)가 중첩되어 위치하는 제3 식품 영역(653)을 영상 분할 영역으로 분류할 수 있다.

처리부(240)는 제1 식품 영역(651)에 대하여 영상 식별 알고리즘을 이용하여 파인애플(621)을 식별할 수 있으며, 제2 식품 영역(652)에 대하여 문자 식별 알고리즘을 이용하여 통조림(622)을 참치로 식별할 수 있다. 또한, 처리부(240)는 제3 식품 영역(653)으로부터 포도의 영상과 사과의 영상을 분리하고, 포도의 영상과 사과의 영상 각각에 대하여 영상 식별 알고리즘을 이용하여 포도(623)와 사과(624)를 식별할 수 있다.

예를 들어, 처리부(240)는 뉴럴 네트워크를 이용한 객체 식별 엔진(231)을 포함할 수 있다. 처리부(240)는 뉴럴 네트워크의 복수의 입력 노드들(i1, i2) 각각에 영상에 포함된 복수의 픽셀들의 휘도 값 및/또는 색상 값을 입력할 수 있다. 처리부(240)는 복수의 입력 노드들(i1, i2)의 값에 가중치(w1-w4)에 적용하여 복수의 히든 노드들(h1, h2)에 출력할 수 있다. 처리부(240)는 복수의 히든 노드들(h1, h2)에 입력된 값을 시그모이드 함수에 입력하고, 시그모이드 함수의 출력 값에 가중치(w5-w8)를 적용하여 복수의 출력 노드들(o1, o2)에 출력할 수 있다. 처리부(240)는 복수의 출력 노드들(o1, o2)에 입력된 값을 시그모이드 함수에 입력하고, 시그모이드 함수의 출력 값이 뉴럴 네트워크의 출력이 된다. 이때, 복수의 출력 노드들(o1, o2) 각각에는 식품들이 할당되며, 복수의 출력 노드들(o1, o2)의 출력 값은 영상 이 복수의 출력 노드들(o1, o2)에 할당된 객체일 확률을 나타낼 수 있다. 처리부(240)는 복수의 출력 노드들(o1, o2)의 출력에 기초하여 식품을 식별할 수 있다.

처리부(240)는 인식 데이터를 리스트(234)에 저장한다(1131).

처리부(240)가 식별한 식품에 대한 정보(인식 데이터)는 식품의 종류, 식품의 위치 좌표(객체 좌표)를 포함한다. 도 18을 참조하면, 파인애플(621)에 대한 인식 데이터는 파인애플이라는 식품의 종류 및 제1 식품 영역(651)에 대한 위치 좌표(762)일 수 있다.

처리부(240)는 저장실(110)의 내부를 촬영한 영상으로부터 식별되는 모든 식품에 대해서 인식 데이터를 생성하고, 촬영된 시간과 함께 리스트(234)에 저장한다.

한편, 식별된 식품의 종류와 관련해서 처리부(240)는 식품 데이터 베이스(232a)에 포함된 식별된 식품의 이미지(671)를 식품과 매칭시킬 수 있다. 이러한 실시예에 따르면, 처리부(240)는 인식 데이터에 포함될 식품의 종류를 '파인애플'이라는 명칭 대신, 파인애플의 이미지(pineapple_1.jpg, 671)로 처리할 수 있다. 이 경우, 리스트(234)에는 식품의 명칭 대신, 이미지가 저장될 수 있다.

처리부(240)는 통신부(220)를 통해 인식 데이터를 냉장고(100) 또는 사용자 장치(300)로 전송한다(1140, 1141).

냉장고 또는 사용자 장치(300)는 수신한 인식 데이터를 변환한 후, 표시한다(1150, 1151).

도 18을 다시 참조하면, 냉장고(100)는 터치 스크린 디스플레이(130)에 View Inside를 표시할 수 있다. View Inside는 저장실(110) 내부의 촬영 영상을 표시하는 Inside Fridge 및 인식 데이터에 기초하여 생성된 식품 관련 정보를 표시하는 Food List를 포함한다.

구체적으로 Food List는 식별된 상품의 명칭, 예를 들어 Pineapple(662) 및 저장 기한(663)이 표시되고, 파인애플(621)과 매칭되는 태그 A(661)이 포함될 수 있다.

여기서 명칭(662)과 저장 기한(663)은 인식 데이터 또는 사용자의 입력 명령으로부터 생성되거나 변경될 수 있다. 또한, 태그 A(661)는 도 19와 같이, 냉장고(100)가 터치 스크린 디스플레이(130)를 통해 사용자에게 태그 A(661)의 생성에 관해서 팝업(700)을 표시하고, 사용자의 입력을 수신하여 생성될 수 있다.

냉장고(100) 또는 사용자 장치(300)는 사용자의 입력에 포함된 사용자 데이터를 수신한다(1160, 1161).

사용자 데이터는 전술한 바와 같이 Food List에 기입되는 식품의 명칭(662) 및 저장 기한(663) 및 태그를 생성하는지 여부에 관한 입력 명령을 포함할 수 있다.

냉장고(100) 또는 사용자 장치(300)는 사용자 데이터를 서버 장치(200)로 전달하고, 서버 장치(200)는 태그 정보를 생성한다(1170).

여기서 태그 정보는 수신한 사용자 데이터와 리스트(234)에 포함된 인식 데이터를 매칭시켜 생성하는 데이터로, 생성할 태그에 관한 이미지, 태그 좌표 및 태그에 포함될 인식 데이터를 포함한다.

한편, 처리부(240)는 식별된 식품의 명칭이 사용자가 입력한 정보와 다른 경우, 식품의 명칭을 사용자 데이터에 포함된 식품의 명칭으로 변경할 수 있다. 처리부(240)는 사용자의 데이터를 기초로 객체 식별 엔진을 다시 학습할 수 있다.

치리부(240)는 사용자 데이터에 포함된 저장 기한(663)을 저장하고, 생성된 태그 A(661)의 태그 좌표(673)를 리스트(234)에 저장한다. 즉, 태그 A의 생성이라는 입력 명형에 의해서 처리부(240)는 태그 좌표를 식별된 상품의 인식 데이터와 매칭시킨다. 예를 들어, 사용자 데이터에 파인애플에 대한 태그 A의 생성이 포함되면, 처리부(240)는 리스트(234)에 포함된 인식 데이터의 파인애플과 객체 좌표 등을 확인하여 일치 여부를 판단하고, 태그 A의 좌표(763)를 생성하고, 리스트(234)에 저장한다.

매칭이 완료된 후, 서버 장치(200)는 생성한 태그 정보를 냉장고(200) 또는 사용자 장치(300)로 전송한다(1180, 1181).

냉장고(200) 또는 사용자 장치(300)는 생성된 태그 정보를 표시한다(1190, 1191).

예를 들어, 냉장고(200)는 도 20과 같은 그래픽 유저 인터페이스를 터치 스크린 디스플레이(130)에 표시할 수 있다.

Inside Fridge에는 저장실(110) 내부의 촬영 영상과 함께 태그 A(661)가 파인애플(621) 영상 상측에 표시될 수 있으며, 태그 B(671)는 통조림(622)의 영상 상측에 표시될 수 있다.

일 예로, 사용자가 터치 스크린 디스플레이(130)의 통조림 영상이 표시된 식별 영역(652)를 터치하면, 냉장고(100)는 통조림(672)과 매칭된 태그 정보를 표시하도록 태그 B(671)의 그래픽 유저 인터페이스를 도 20과 같이 변경하여 표시할 수 있다. 태그 정보에는 통조림의 식품 명칭인 Tuna 및 저장 기한인 1 year가 포함될 수 있으며, 냉장고는 태그 B(671)를 변경시켜 태그 정보를 표시할 수 있다.

한편, 도 18 내지 도 20에 표시한 실시예는, 일 예에 불과하고, 다양한 방법을 통해 태그 및 태그 정보를 생성하고, 표시할 수 있다.

도 21은 일 실시예에 따러 태그를 트래킹하는 방법에 관한 순서도이고, 도 22 및 도 23은 도 21의 실시예에 따른 태래킹의 구체적인 예시를 도시한다. 도 24는 일 실시예에서 발생하는 다른 경우의 상황을 도시한다.

도 21을 참조하면, 처리부(240)는 리스트(234)에 제1 인식 데이터를 저장한다(1200).

여기서 제1 인식 데이터는 제1 시점에 저장실(110) 내부를 촬영한 영상을 기초로 식품을 식별하고, 식별한 식품의 종류, 위치 좌표를 포함한다.

통신부(220)가 수신한 저장실 영상으로부터 처리부(240)는 식품을 식별한다(1210).

구체적으로 개시된 냉장고(100)는 개방된 도어(120)의 폐쇄가 감지되면, 저장실(110)의 내부를 촬영하도록 카메라(150)를 제어할 수 있다. 통신부(220)는 도어(120)의 폐쇄로 인해 촬영한 저장실(110)의 영상을 냉장고(100)로부터 수신한다.

처리부(240)는 통신부(220)가 수신한 영상으로부터 학습된 객체 식별 엔진(231)을 이용하여 저장실(110)의 내부 영상에 포함된 식품을 식별한다. 즉, 식별된 식품에 관한 인식 데이터(이하 제2 인식 데이터)는 제1 인식 데이터를 생성한 제1 시점의 저장실(110) 내부의 영상보다 늦은 시점(이하 제2 시점)의 저장실(110) 내부의 영상을 기초로 생성된다.

도 22를 참조하면, 제1 시점에서 촬영된 저장실(110)의 영상에는 파인애플(621) 및 통조림(622)이 포함될 수 있다. 처리부(240)는 제1 시점에서 촬영된 영상에서 식별한 파인애플 및 통조림에 대해서 태그 A(661) 및 태그 B(671)를 포함한 태그 정보를 생성하고, 태그 정보를 냉장고(100)에 전달한다. 냉장고(100)는 도 22의 a)와 같이 태그 정보를 포함한 내부 영상을 터치 스크린 디스플레이(130)에 표시할 수 있다.

제2 시점에서 개방된 도어(120)가 폐쇄되고, 처리부(240)는 도 22의 b)와 같이 파인애플(621a)이 이동된 저장실 내부의 영상을 수신할 수 있다. 처리부(240)는 저장실 내부의 영상을 기초로 객체 식별 엔진(231)을 이용하여 파인애플(621a) 및 통조림(622)를 식별한다.

제2 시점에서 촬영된 영상을 기초로 생성된 인식 데이터는 도 23과 같이 리스트(234)에 저장될 수 있다. 구체적으로 도 23와 같이, 인식 데이터는 파인애플에 관한 객체 좌표가 1-223-342에서 1-123-342(762a)로 변경될 수 있다.

처리부(240)는 제2 인식 데이터 및 제1 인식 데이터를 비교한다(1220).

처리부(240)는 제1 인식 데이터 및 제2 인식 데이터를 비교한 후, 개별적인 상품이 서로 일치하는지 여부를 산출하는 신뢰도를 추출한다. 예를 들어, 처리부(240)는 식별된 상품의 종류가 파인애플인 두 식품을 서로 비교하고, 제1 인식 데이터에 포함된 파인애플과 제2 인식 데이터에 포함된 파인애플을 학습된 객체 인식 알고리즘에 입력한다. 객체 인식 알고리즘은, 두 식품이 서로 동일한 식품인지 여부를 판단하고, 신뢰도를 통해 판단 결과를 출력한다.

만약 신뢰도가 제1 기준값 이상이면, 처리부(240)는 태그를 트래킹한다(1231).

도 22를 참조하면, 처리부(240)는 태그 A(661)를 파인애플(621a)의 상측으로 이동시킨다. 또한, 처리부(240)는 도 23과 같이, 리스트(234)에 포함된 태그 좌표를 1-123-322(763a)로 변경시킨다. 변경된 태그 좌표를 포함한 태그 정보는 서버 장치(200)에서 냉장고(100)로 송신된다.

냉장고(100) 또는 사용자 장치(300)는 태그를 이동시켜 표시한다(1250).

냉장고(100)는 수신된 태그 정보에 따라 터치 스크린 디스플레이(140)에 도 22의 c)와 같이 태그A(661)가 이동된 영상을 표시한다.

만약 신뢰도가 제1 기준값 미만, 제2 기준값 이상이면(1240), 처리부(240)는 팝업을 생성하고, 상품의 동일성 여부를 사용자에게 질문한다(1241).

여기서 제1 기준값은 출력되는 신뢰도가 동일한 식품이라고 판단될 수 있을 만큼의 수치이다. 이와 비교하여 제2 기준값은 서버 장치(200)가 동일한 식품이나, 판단이 모호할 수 있는 식품이라 판단하는 수치를 의미한다. 제1 기준값 및 제2 기준값은 제조사의 설정 및 서버 장치(200)의 학습 결과에 따라서 다양할 수 있다.

도 24를 참조하면, 처리부(240)는 제2 시점의 저장 영상으로부터 사용자가 식음한 파인애플(621b)을 식별할 수 있다. 처리부(240)는 제2 인식 데이터와 제1 인식 데이터를 비교하였으나, 제1 기준값 및 제2 기준값 사이에 해당하는 신뢰도를 추출할 수 있다.

이 경우, 서버 장치(240)는 냉장고(100) 또는 사용자 장치(300)로 상품이 이동되었는지 확인을 구하는 팝업(710)을 표시하도록 요청할 수 있다.

만약 팝업(710)에 따라 사용자가 Yes라고 입력하면, 서버 장치(240)는 이를 수신한 후 도 22의 c)와 같이 태그 A(661)를 이동시키고, 태그 정보를 수정한다.

처리부(240)는 냉장고(100) 또는 사용자 장치(300)로 태그를 이동시킬 것을 요청하고, 냉장고(100) 또는 사용자 장치(300)는 파인애플(621b)로 이동시켜 표시한다.

이를 통해서 개시된 식품 관리 시스템(1)은 각각의 시점에서 촬영된 영상을 비교하여 태그를 트래킹시켜 사용자가 매번 수동으로 입력해야 하는 불편함을 감소시키고, 동일성 판단이 모호한 식품에 대해서 사용자에게 질문하여 판단의 신뢰성을 높일 수 있다.

도 25는 다른 실시예에 따라 사용자가 식품을 꺼낸 상황에서 대해 태그를 비활성화로 변경하는 방법을 설명하는 순서도이고, 도 26은 제2 시점에 촬영한 내부의 변화를 도시한 것이고, 도 27은 도 25의 방법에 따라 태그 정보를 변경하는 예시에 관한 도면이다.

도 25를 참조하면, 처리부(240)는 리스트(234)에 제1 인식 데이터를 저장하고(1300), 통신부(220)가 수신한 저장실 영상으로부터 식품을 식별하고(1310), 처리부(240)는 식별된 상품에 기초한 제2 인식 데이터 및 제1 인식 데이터를 비교한다(1320).

도 26을 참조하면, 제1 인식 데이터에 기초하여 생성된 태그 정보는, a)와 같이 태그 A(661) 및 태그 B(671)를 포함할 수 있다. 파인애플(621) 및 통조림(622)는 저장실(110)에 위치할 수 있다.

실시예에 따라 사용자는 냉장고(100)의 도어(120)를 개방하고, 파인애플(621)을 꺼낼 수 있으며, 도 26의 b)와 같이 통신부(220)는 파인애플(621)이 사라진 영상으로부터 제2 인식 데이터를 생성할 수 있다.

처리부(240)는 제1 인식 데이터 및 제2 인식 데이터를 비교하고, 파인애플(621)이 사라진 것을 판단할 수 있다.

만약 서로 다른 시점의 인식 데이터를 비교한 결과에 따라 출력되는 신뢰도가 제3 기준값 이상이면(1330), 처리부(240)는 태그A(661)의 활성화를 유지한다(1331).

여기서 제3 기준값은, 도 26과 달리, 파인애플로 인식되는 식품이 제2 인식 데이터에 포함되어 있고, 두 파인애플을 비교한 결과를 판단하는데 사용되는 기준값이다. 따라서 제3 기준값은 제1 기준값 및 제2 기준값과 다를 수 있다.

만약 서로 다른 시점의 인식 데이터를 비교한 결과에 따라 출력되는 신뢰도가 제3 기준값 미안이면, 처리부(240)는 팝업을 생성하고, 사용자에게 상품을 꺼낸 것을 확인 받을 수 있다(1340).

예를 들어, 처리부(240)는 냉장고(100) 또는 사용자 장치(300)에 요청하여, 도 27의 b)와 같이 팝업(720)을 생성할 수 있다. 이 경우, 처리부(240)는 사라진 것으로 확인된 파인애플(621)을 통조림(622)과 다른 이미지 처리를 통해 표시하고, 사용자가 사라진 식품을 확인할 수 있도록 그래픽 유저 인터페이스(621-1)를 제공할 수 있다.

사용자가 아니오(N)를 입력하면, 처리부(240)는 태그 A(661)를 유지한다(1350).

만약 사용자가 팝업을 통해 예(YES)를 입력하면, 처리부(240)는 태그를 비활성화로 변경한다(1341).

도 27의 a)를 참조하면, 일 예에 따라 처리부(240)는 비활성화된 태그 A(661-1) 및 사라진 파인애플(621-1)를 저장실 영상과 중첩시켜 표시할 수 있다.

처리부(240)는 사라진 식품이 미리 설정된 시간이 경과되어도 다시 식별되지 않는 경우(1342), 태그를 숨김으로 변경할 수 있다(1343).

여기서 미리 설정된 시간은 다양할 수 있으며, 사용자에 의해서 개별적 식품에 따라 다르게 설정될 수도 있다.

이를 통해서 개시된 식품 관리 시스템(1)은 각각의 시점에서 촬영된 영상을 비교하고, 사라진 식품에 대한 태그 정보를 변경함으로써, 사용자에게 사라진 식품의 식별 결과를 표시할 수 있으며, 태그 정보를 함께 수정시켜 사용자가 수동으로 꺼낸 식품의 정보를 변경해야 수고를 줄일 수 있다.

도 28을 참조하면, 처리부(240)는 인식 데이터를 비교하여 사라진 식품에 대해서 활성화 태그를 비활성화 태그로 변경할 수 있다(1400).

이후 처리부(240)는 미리 설정된 기간 동안 인식 데이터의 변화 여부를 판단한다(1410).

만약 미리 설정된 기간 이후에도 사리진 식품이 저장실(110)로 들어오지 않을 수 있다. 이 경우, 처리부(240)는 사라진 식품에 대한 인식 데이터를 삭제한다(1420).

인식 데이터가 삭제되면서, 리스트(234)에 포함된 인식 데이터도 함께 삭제될 수 있다.

한편, 개시된 처리부(240)는 인식 데이터를 삭제하면서, 빈번하게 활성화에서 비활성화되는 식품의 구매를 추천할 수도 있다. 예를 들어, 처리부(240)는 인식 데이터를 삭제하면서, 삭제된 식품이 비활성화된 횟수를 카운트하고, 냉장고(100) 또는 사용자 장치(300)를 통해 일정 횟수 이상으로 카운팅된 식품의 구매를 추천할 수 있다. 또한, 처리부(240)는 사용자의 동의에 따라 쇼핑몰을 연결하여 구매 진행을 가이드할 수도 있다.

도 29는 또 다른 실시예에 따라 사용자가 비활성화된 식품의 태그를 변경하는 방법을 설명하는 순서도이고, 도 30은 활성화로 변경되는 태그를 트래킹하는 방법을 설명하는 도면이고, 도 31은 팝업을 표시한 후, 태그를 이동시키는 그래픽 유저 인터페이스를 도시한 도면이다.

도 29를 참조하면, 처리부(240)는 리스트(234)에 제1 인식 데이터를 저장하고(1500), 통신부(220)가 수신한 저장실 영상으로부터 식품을 식별하고(1510), 처리부(240)는 식별된 상품에 기초한 제2 인식 데이터 및 제1 인식 데이터를 비교한다(1520).

제1 인식 데이터에 기초하여 생성된 저장실 영상 및 태그 정보는 도 30의 a와 같이 파인애플(621-1) 및 비활성된 태그 A(661-1)을 포함한 그래픽 유저 인터페이스를 포함할 수 있다.

제2 시점에서 촬영된 저장실의 영상으로부터 처리부(240)는 파인애플(621b)를 식별할 수 있다. 처리부(240)는 사라진 제1 인식 데이터에 포함된 파인애플(621-1)과 제2 인식 데이터에서 식별된 파인애플(621b)를 비교한다.

만약 인식 데이터의 비교 결과로 추출되는 신뢰도가 제1 기준값 이상이면(1530), 처리부(240)는 비활성화 태그를 활성화 태그로 변경하고(1550), 태그를 이동한다(1560).

도 30의 c)와 같이, 비활성화 태그 A(661-1)는 활성화 태그(661)로 변경되고, 식별된 파인애플(621b)의 상측으로 트래킹될 수 있다.

만약 인식 데이터의 비교 결과로 추출되는 신뢰도가 제1 기준값 미만 및 제2 기준값 이상이면, 처리부(240)는 팝업을 생성한다(1541).

도 31의a)와 같이, 처리부(240)는 냉장고(100) 또는 사용자 장치(300)에 동일한 상품이 이동되었는지 여부를 확인하는 팝업(730)을 표시하고, 사용자의 확인을 구할 수 있다.

만약 사용자가 예(YES)를 입력하면, 처리부(240)는 비활성화 태그 A(621-1)를 활성화 태그(621)로 변경하고, 저장실의 영상에 도 31의 b)와 같은 태그 정보를 중첩시켜 터치 스크린 디스플레이(130)에 표시할 수 있다.

이를 통해서 식품 관리 시스템(1)은 사용자의 수동 입력 없이도 냉장고에서 일어나는 식품의 상태 변화를 추적함으로써, 냉장고에 저장되는 식품의 빈번한 상태 변화에 대처할 수 있다. 또한, 식품 관리 시스템(1)은 식품 구매와 같은 식품 관리의 연계 서비스의 확장이 가능하며, 사용자의 편의성 및 식품 관리의 정확성을 향상시킬 수 있다.

한편, 전술한 실시예는 서버 장치(200)의 처리부(240)의 동작으로 설명하였다. 그러나 반드시 실시예가 서버 장치(200)의 처리부(240)에서만 동작하는 것은 아니고, 메모리 등의 하드웨어적 성능의 제한이 없는 경우, 냉장고(100)의 제어부(190)에서도 전술한 실시예가 동작하는 것 또한 가능하다.

Claims

냉장고로부터 상기 냉장고의 저장실 영상을 수신하는 통신부;

학습 데이터, 상기 학습 데이터에 의하여 학습된 객체 식별 엔진 및 상기 저장실에 포함된 식품에 관한 리스트를 저장하는 저장부; 및

상기 학습된 객체 식별 엔진을 이용하여 상기 저장실 영상으로부터 식품을 식별하고, 상기 식별된 상품에 기초하여 생성되는 인식 데이터를 상기 리스트에 저장하는 처리부;를 포함하고,

상기 처리부는, 상기 식별된 상품에 관한 이미지를 생성하고, 상기 식별된 식품 및 상기 인식 데이터에 기초하여 상기 식품에 관한 태그 정보를 생성하는 서버 장치.
제 1항에 있어서,

상기 처리부는,

상기 식별된 식품을 상기 리스트에 포함된 상기 인식 데이터와 매칭시키고, 상기 매칭 결과에 의해서 생성된 상기 태그 정보를 생성하고,

상기 통신부는,

상기 생성된 태그 정보 및 상기 생성된 이미지를 상기 냉장고로 전송하는 서버 장치.
제 2항에 있어서,

상기 처리부는,

제1 시점에 상기 저장실의 제1 영상에 기초하여 생성된 제1 인식 데이터를 상기 리스트에 저장된 제2 인식 데이터와 비교하고, 상기 비교 결과에 기초하여 상기 태그 정보를 수정하는 서버 장치.
제 3항에 있어서,

상기 처리부는,

상기 비교 결과에서 추출되는 신뢰도를 미리 설정된 기준값과 비교하고, 상기 비교 결과에 기초하여 상기 태그 정보에 포함된 태그의 활성화 여부를 결정하는 서버 장치.
제 4항에 있어서,

상기 처리부는,

상기 신뢰도가 미리 설정된 제1 기준값 이상이면, 상기 제2 인식 데이터에 기초하여 생성된 상기 태그 정보를 상기 제1 인식 데이터에 포함된 식품에 관한 태그 정보로 수정하는 서버 장치.
제 4항에 있어서,

상기 처리부는,

상기 신뢰도가 미리 설정된 상기 제1 기준값 미만 및 제2 기준값 이상이면, 상기 통신부를 통해 상기 냉장고가 사용자에게 팝업을 생성하도록 제어하는 서버 장치.
제 4항에 있어서,

상기 처리부는,

상기 신뢰도가 제3 기준값 미만이면, 상기 통신부를 통해 상기 냉장고가 팝업을 생성하도록 제어하고, 사용자로부터 상기 통신부가 수신하는 팝업 결과에 기초하여 상기 태그를 비활성으로 변경하는 서버 장치.
제 7항에 있어서,

상기 처리부는,

미리 설정된 시간 동안 상기 비활성화된 태그에 매칭되는 인식 데이터의 변화 여부를 판단하고, 상기 판단 결과에 기초하여 상기 비활성화된 태그에 매칭되는 상기 인식 데이터를 삭제하는 서버 장치.
제 7항에 있어서,

상기 처리부는,

상기 통신부로부터 수신되는 식품에 관한 구매 데이터에 기초하여 상기 비활성화된 태그에 매칭되는 인식 데이터를 삭제하는 서버 장치.
제 3항에 있어서,

상기 처리부는,

상기 통신부로부터 사용자가 입력하는 데이터를 수신하고, 상기 태그 정보에 상기 데이터를 추가하고,

상기 제2 인식 데이터에 포함된 상기 데이터를 상기 제1 인식 데이터에 포함된 상기 태그 정보로 이동시키는 서버 장치.
본체;

상기 본체 내부에 마련되는 저장실;

상기 본체에 마련되어 상기 저장실 내부를 촬영하는 카메라;

상기 본체 외부에 마련되는 터치 감지 디스플레이;

서버 장치와 통신하는 통신부; 및

상기 저장실을 촬영하도록 상기 카메라를 제어하고, 상기 카메라로부터 저장실 영상을 획득하고, 상기 통신부를 통하여 상기 저장실 영상을 상기 서버 장치로 전송하는 제어부;를 포함하고,

상기 제어부는 상기 통신부를 통하여 상기 서버 장치로부터 상기 저장실 영상에 포함된 식품에 관한 태그 정보를 수신하고, 상기 수신한 태그 정보에 기초하여 상기 태그의 그래픽 유저 인터페이스를 생성하고, 상기 그래픽 유저 인터페이스를 상기 저장실 영상에 중첩하여 상기 터치 감지 디스플레이에 표시하는 냉장고.
제 11항에 있어서,

상기 제어부는,

상기 터치 감지 디스플레이를 통하여 사용자로부터 식별된 식품과 관련된 데이터를 수신하고, 상기 데이터를 상기 통신부를 통하여 상기 서버에 전송하는 냉장고.
제 12항에 있어서,

상기 제어부는,

상기 서버 장치로부터 수신한 상기 태그 정보에 포함된 상기 데이터를 표시하는 제2 그래픽 유저 인터페이스를 생성하고, 상기 제2 그래픽 유저 인터페이스를 상기 태그의 그래픽 유저 인터페이스에 중첩하여 상기 터치 감지 디스플레이에 표시하는 냉장고.
제 11항에 있어서,

상기 제어부는,

상기 서버 장치로부터 수신한 요청에 기초하여 상기 태그 정보의 활성화 여부를 질문하는 팝업을 생성하고, 상기 팝업의 그래픽 유저 인터페이스를 생성하고, 상기 팝업의 그래픽 유저 인터페이스를 상기 터치 감지 디스플레이에 표시하는 냉장고.
제 11항에 있어서,

상기 제어부는,

상기 태그 정보에 기초하여 이미 생성된 상기 태그의 그래픽 유저 인터페이스의 활성화 여부를 결정하고, 상기 결정된 활성화 태그 또는 상기 결정된 비활성화 태그의 그래픽 유저 인터페이스를 상기 터치 감지 디스플레이에 표시하는 냉장고.