KR20210134092A

KR20210134092A - 냉장고 및 냉장고의 물품 관리 방법

Info

Publication number: KR20210134092A
Application number: KR1020197020769A
Authority: KR
Inventors: 맹지찬
Original assignee: 엘지전자 주식회사
Priority date: 2019-03-29
Filing date: 2019-03-29
Publication date: 2021-11-09
Also published as: WO2019125094A3; WO2019125094A2; US20200033052A1; US11499773B2

Abstract

본 발명에 따른 냉장고는, 물품을 저장하는 저장실과, 저장실 내부를 촬영하는 카메라와, 카메라를 통해 촬영된 제1물품영상을 비전인식하여 제1물품영상에 대응되는 물품 정보를 획득하는 제어부와, 획득된 물품 정보를 저장하여 물품 영상 히스토리를 생성하는 메모리와, 제어부와 전기적으로 연결된 디스플레이를 포함한다. 또, 제어부는, 카메라를 통해서 일부가 타 물품에 의해 가려진 상태의 제2물품영상을 획득하고, 제2물품영상에서 일부가 타 물품에 의해 가려진 부분 물품 이미지를 검출하고, 물품 영상 히스토리에 근거하여 부분 물품 이미지와 매칭되는 물품을 확인할 수 있다. 그리고, 해당 부분 물품 이미지를 물품 영상 히스토리에서 확인된 물품 정보와 연계하여서 디스플레이에 디스플레이하도록 제어할 수 있다.

Description

냉장고 및 냉장고의 물품 관리 방법

본 발명은 냉장고 및 냉장고의 물품 관리 방법에 관한 것이다.

냉장고는 압축기, 응축기, 팽창밸브, 증발기 등으로 이루어지는 냉동 사이클에 의해 생성된 냉기를 토출하여 고내의 온도를 저하시켜 음식물 등을 냉동시키거나 냉장 보관하는 장치이다.

일반적으로 냉장고의 도어는 불투명하게 제작되어 본체의 저장실을 개폐하도록 구비된다. 이러한 도어는 사용자가 냉장실이나 냉동실에 접근하기 위하여 개폐 가능하도록 형성될 수 있다. 따라서 사용자는 도어를 열기 전에는 냉장고에 저장된 음식물의 종류와 위치 등을 파악할 수 없는 것이 일반적이다.

이처럼 냉장고의 도어가 불투명하게 제작되는 경우, 사용자는 냉장고의 도어를 열지 않고서는 고내에 저장된 음식물을 확인할 수 없다는 문제점이 있다. 이러한 문제점을 해결하기 위해, 정해진 입력이 있는 경우 도어의 일부를 투명하게 전환시켜서 고내에 저장된 음식물 등을 확인할 수 있도록 구현한 예가 있다.

그러나, 이러한 경우에도 고내의 뒤쪽 또는 안쪽에 저장되거나 다른 보관 음식물에 의해 가려진 음식물을 모두 확인하는 것은 어렵다는 문제가 있다. 또, 경우에 따라서는 고내의 앞쪽에 저장된 음식물이라도 영상만으로 직관적으로 인식하기 어려운 경우도 있다.

이에, 본 발명의 일 목적은, 냉장고를 열지 않고도 저장실 내부에 보관된 물품을 영상으로 확인할 수 있는 냉장고 및 냉장고의 물품 관리 방법을 제공하는데 있다.

또한, 본 발명의 또 다른 목적은, 저장실 내부에 많은 물품이 보관됨에 따라 뒤쪽에 위치하여 타 물품에 의해 가려진 물품의 경우에도, 영상을 통해 관련 정보를 제공받을 수 있는 냉장고 및 냉장고의 물품 관리 방법을 제공하는데 있다. 즉, 저장된 물품의 위치에 관계 없이 관련 정보를 제공받을 수 있는 냉장고 및 냉장고의 물품 관리 방법을 제공하는데 있다.

또한, 본 발명의 또 다른 목적은, 저장실 내부에 보관되는 물품의 출입고 이력과 보관 위치의 변경 이력을 빠르게 확인할 수 있는 냉장고 및 냉장고의 물품 관리 방법을 제공하는데 있다.

또한, 본 발명의 또 다른 목적은, 냉장고를 열지 않고 저장실 내부에 보관된 물품의 영상을 이용하여, 특정 물품에 대한 추가 기능을 수행할 수 있는 냉장고 및 냉장고의 물품 관리 방법을 제공하는데 있다.

본 발명의 일 실시 예에 따른 냉장고는, 물품을 저장하는 저장실; 상기 저장실 내부를 촬영하는 카메라; 상기 카메라를 통해 촬영된 제1물품영상을 비전인식하여 상기 제1물품영상에 대응되는 물품 정보를 획득하는 제어부; 상기 획득된 물품 정보를 저장하여 물품 영상 히스토리를 생성하는 메모리; 및 상기 제어부와 전기적으로 연결된 디스플레이를 포함한다. 또한, 상기 제어부는, 상기 카메라를 통해 일부가 타 물품에 의해 가려진 상태의 제2물품영상을 획득하고, 상기 제2물품영상에서, 일부가 타 물품에 의해 가려진 부분 물품 이미지를 검출하고, 상기 물품 영상 히스토리에 근거하여 상기 검출된 부분 물품 이미지와 매칭되는 물품을 확인하고, 상기 검출된 부분 물품 이미지를 상기 물품 영상 히스토리에서 확인된 물품 정보와 연계하여 상기 디스플레이에 디스플레이하도록 제어하는 것을 특징으로 한다.

또한, 일 실시 예에서, 상기 제어부는, 상기 제2물품영상이 획득된 것에 응답하여, 인공지능 알고리즘에 따라 학습된 모델 및 상기 물품 영상 히스토리를 이용하여, 상기 부분 물품 이미지에 대한 물품 및 물품 정보를 결정하는 것을 특징으로 한다.

또한, 일 실시 예에서, 상기 제어부는, 저장된 물품의 영상 요청이 입력되면, 상기 물품 영상 히스토리에 저장된 최신 물품 영상을 검출하여 상기 디스플레이부에 디스플레이하고, 상기 디스플레이된 물품 영상에는, 상기 제1물품영상을 비전인식하여 획득된 제1군의 물품 정보와 상기 제2물품영상에 포함된 부분 물품 이미지에 매칭되는 제2군의 물품 정보를 서로 시각적으로 구별되게 표시하고, 상기 제1 및 제2군의 물품 정보는 물품 명칭 및 보관 기한 정보를 포함하는 것을 특징으로 한다.

또한, 일 실시 예에서, 본 발명에 따른 냉장고는 인공지능 서버와 통신하는 통신부를 더 포함하고, 상기 제어부는, 상기 통신부를 통해, 상기 제1물품영상을 상기 인공지능 서버로 전송하고, 상기 인공지능 서버로부터 상기 제1물품영상에 대한 비전인식을 통해 검색된 물품 정보를 수신하고, 상기 수신된 물품 정보를 상기 제1물품영상의 각 물품 이미지와 링크하여 상기 물품 영상 히스토리를 생성하는 것을 특징으로 한다.

또한, 일 실시 예에서, 상기 부분 물품 이미지에 매칭되는 물품은 상기 물품 영상 히스토리에 저장된 각 물품 이미지와의 비교를 통해 결정되고, 상기 부분 물품 이미지에 매칭되는 물품 정보는, 상기 비교 결과에 근거하여 선택된 물품 이미지와 링크된 물품 정보를 상기 물품 영상 히스토리에서 검출하여 획득되는 것을 특징으로 한다.

또한, 일 실시 예에서, 상기 제어부는, 상기 카메라를 통해 상기 저장실의 내부를 촬영한 제3물품영상을 획득하고, 상기 물품 영상 히스토리에 저장된 물품 정보와 상기 제3물품영상을 비교하여 출고 물품 및 출고 물품의 위치를 결정하고, 상기 디스플레이는, 상기 결정된 출고 물품의 위치를 나타내는 그래픽 이미지를 상기 제3물품영상에 연계하여 디스플레이하는 것을 특징으로 한다.

또한, 일 실시 예에서, 상기 제어부는, 상기 물품 영상 히스토리에 근거하여 상기 제2물품영상의 각 물품 이미지에 대응되는 물품의 위치 변경을 확인하고, 확인 결과에 근거하여, 각 물품에 매칭되는 물품 정보의 배열 저장 순서를 변경하는 것을 특징으로 한다.

또한, 일 실시 예에서, 상기 제어부는, 제2물품영상을 상기 디스플레이부에 디스플레이하고, 상기 물품 영상 히스토리에 근거하여 상기 부분 물품 이미지에 매칭되는 물품의 크기를 산출하고, 상기 디스플레이된 제2물품영상에서, 상기 부분 물품 이미지에 매칭되는 물품 정보는 해당 부문 물품 이미지에 인접하여 출력된 팝업창 내에 표시되고, 상기 부분 물품 이미지의 주변에는 상기 산출된 물품의 크기를 나타내는 그래픽객체가 다른 물품 이미지의 적어도 일부와 오버랩되어 표시되는 것을 특징으로 한다.

또한, 일 실시 예에서, 상기 부분 물품 이미지에 대응되는 후면 물품 표시 요청이 수신되면, 상기 물품 영상 히스토리에 근거하여 추출된 상기 부분 물품 이미지에 매칭되는 물품의 나머지 부분 이미지가 상기 그래픽객체 내에 삽입되고, 상기 제2물품영상에서 상기 후면 물품을 가리는 다른 물품 이미지는 반투명 상태로 표시되는 것을 특징으로 한다.

또한, 일 실시 예에서, 상기 제어부는, 상기 표시된 그래픽객체 내에 터치가 가해지면, 터치가 가해진 영역에 대응되는물품의 추가 정보와 관련된 제1기능을 실행하고, 상기 표시된 팝업창에 터치가 가해지면, 터치가 가해진 영역에 대응되는 물품의 구매와 관련된 제2기능을 실행하는 것을 특징으로 한다.

또한, 본 발명의 실시 예에 따른 냉장고는, 냉장고 도어의 개폐를 감지하는 도어 개폐 감지 센서를 더 포함하고, 상기 제어부는, 상기 도어 개폐 감지 센서를 통해 냉장고 도어의 열림이 감지되면, 상기 카메라에 구동신호를 출력하여 연속 촬영을 수행하도록 제어하고, 상기 도어 개폐 감지 센서를 통해 냉장고 도어의 닫힘이 감지되면, 상기 카메라에 구동정지신호를 출력하고, 연속 촬영된 복수의 물품 영상을 비전인식하여, 대응되는 물품의 위치 정보와 출고 정보를 획득하고, 획득된 정보들에 기초하여 상기 물품 영상 히스토리를 생성하는 것을 특징으로 한다.

또한, 일 실시 예에서, 상기 물품 영상 히스토리에는 상기 연속 촬영된 복수의 물품 영상 중에서 마지막 촬영된 물품 영상이 저장되는 것을 특징으로 한다.

또, 본 발명의 실시 예에 따른 냉장고의 물품 관리 방법은, 냉장고 저장실의 내부를 촬영하여, 제1물품영상을 획득하는 단계; 상기 제1물품영상의 비전인식을 통해 제1물품영상에 대응되는 물품 정보를 획득하는 단계; 획득된 물품 정보를 저장하여 물품 영상 히스토리를 생성하는 단계; 냉장고 저장실의 내부를 촬영하여, 일부가 타 물품에 의해 가려진 상태의 제2물품영상을 획득하는 단계; 상기 제2물품영상에서, 일부가 타 물품에 의해 가려진 부분 물품 이미지를 검출하는 단계; 상기 물품 영상 히스토리에 근거하여, 상기 검출된 부분 물품 이미지와 매칭되는 물품을 확인하는 단계; 및 상기 검출된 부분 물품 이미지를 상기 물품 영상 히스토리에서 확인된 물품 정보와 연계하여 디스플레이하는 단계를 포함하여 이루어질 수 있다.

본 발명의 실시 예에 따르면, 저장실의 내부에 구비된 카메라를 통해 획득된 물품 영상을 비전인식하여 보관된 물품의 물품정보를 획득할 수 있고, 이를 물품 영상 히스토리로 관리하여 후면에 위치한 물품의 동일성 확인을 빠르게 수행할 수 있다. 그에 따라, 저장실 내부의 뒤쪽에 위치하여 타 물품에 의해 가려진 부분 물품 이미지에 매칭되는 물품 및 관련 물품 정보를 물품 영상 히스토리에 기반하여 인식 및 디스플레이할 수 있다. 나아가, 저장실 내부에 보관 또는 출고되는 물품의 출입고 이력과 보관 위치의 변경 이력을 영상을 통해 확인함으로써, 출입고 순위를 확인하거나 물품의 보관 위치를 빠르게 시각적으로 쉽게 확인할 수 있다.

도 1은 본 발명의 실시 예에 따른 냉장고가 서버 및 단말기 등의 외부 디바이스와 통신하여 상호작용 동작하는 것을 설명하기 위한 개략도이다.
도 2는 본 발명의 실시 예에 따른 냉장고의 구성을 설명하기 위한 예시 블록도이다.
도 3은 본 발명의 실시 예에 따른 냉장고 물품 관리 방법을 설명하기 위한 대표 흐름도이다.
도 4는 본 발명의 실시 예에 따라, 물품 영상 히스토리에 근거하여, 타 물품에 의해 일부가 가려진 부분 물품 이미지에 대한 물품 정보를 디스플레이하는 과정을 보여주는 개념도들이다.
도 5a, 도 5b, 및 도 5c는 본 발명의 실시 예에 따라, 냉장고 물품 관리를 위한 데이터 저장방식 및 물품의 위치 인식방법을 설명하기 위한 도면들이다.
도 6a, 도 6b, 도 6c는 본 발명의 실시 예에 따라, 타 물품에 의해 일부가 가려진 부분 물품이미지와 관련된 표시를 제어하거나 추가 기능을 실행하는 방법을 설명하기 위한 개념도들이다.
도 7, 도 8은 본 발명의 또 다른 실시 예에 따른 냉장고 물품 관리 방법을 설명하기 위한 흐름도들이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

도 1은 본 발명의 실시 예에 따른 냉장고가 서버 및 단말기 등의 외부 디바이스와 통신하여 상호작용 동작하는 것을 설명하기 위한 개략도이다.

도 1을 참조하면, 본 발명에 따른 냉장고(100)는 네트워크 등을 통해 외부의 단말기 및/또는 서버와 통신할 수 있다. 본 발명에 따른 냉장고 본체의 도어(102)의 적어도 일측 또는 양측에는 정보가 출력되는 디스플레이(120)가 구비될 수 있다.

상기 디스플레이(120)는 터치 패드가 내장되어, 사용자의 터치입력을 수신할 수 있다. 냉장고(100) 내에 구비되고, 디스플레이(120)와 전기적으로 연결된 프로세서는, 디스플레이(120)를 통해 수신된 터치입력에 대응되는 제어명령을 출력할 수 있다. 그러면, 디스플레이(120)는 프로세서를 통해 전달된 제어명령에 대응되는 정보를 디스플레이한다.

냉장고 본체의 내부에는 음식물 등을 저장할 수 있는 저장실(101)이 구비된다. 저장실(101)은, 냉동실과 냉장실로 구분될 수 있으며, 각각 복수의 저장칸을 포함할 수 있다. 또, 복수의 저장칸 각각은 베리어 등에 의해 서로 독립적인 공간을 형성하도록 구획될 수 있다.

저장실(101)의 내부에는 저장실 내부를 촬영하기 위한 카메라(161)가 하나 이상 구비될 수 있다.

카메라(161)는, 도 1에 도시된 바와 같이 도어 양측이 만나는 제1지점에 구비되어, 냉장고에 접근한 사용자 등을 촬영할 수 있다. 또, 카메라(161)는, 도 1에 도시된 바와 같이 냉장고 내의 복수의 저장칸에 하나 이상 구비될 수 있다. 이때, 플래쉬 등이 카메라와 인접한 위치에 추가 배치될 수 있다. 플래쉬는, 예를 들어, 카메라(161)가 고내에 출입고되는 물품 또는 보관된 물품을 촬영하는 경우, 저장실 내부에 빛을 제공한다.

상기 디스플레이(120)에는 카메라(161)를 통해 촬영된 저장실 내부의 물품 영상이 디스플레이될 수 있다.

또, 냉장고의 프로세서(미도시)는, 상기 촬영된 물품 영상 또는 디스플레이된 물품 영상을, 통신모듈(미도시)을 통해 외부의 서버 또는 단말기로 전달할 수 있다.

이때, 냉장고와 통신하는 외부 서버 또는 단말기는 인공지능모듈을 이용하여 물품 영상에 대한 비전 인식을 수행할 수 있다. 인공지능모듈은, 인공 지능 기술에 기반하여 정보들을 처리하는 역할을 수행하는 것으로, 정보의 학습, 정보의 추론, 정보의 지각, 자연 언어의 처리 중 적어도 하나를 수행하는 하나 이상의 모듈을 포함할 수 있다.

이러한 머신 러닝 기술이 사용하는 알고리즘은 통계학에 기반한 알고리즘이 될 수 있으며, 예를 들어, 트리 구조 형태를 예측 모델로 사용하는 의사 결정 나무(decision tree), 생물의 신경 네트워크 구조와 기능을 모방하는 인공 신경망(neural network), 생물의 진화 알고리즘에 기반한 유전자 프로그래밍(genetic programming), 관측된 예를 군집이라는 부분집합으로 분배하는 군집화(Clustering), 무작위로 추출된 난수를 통해 함수값을 확률로 계산하는 몬테카를로 방법(Monter carlo method) 등이 될 수 있다.

머신 러닝 기술의 한 분야로써, 딥러닝(deep learning) 기술은 인공 신경망 알고리즘을 이용하여, 정보들을 학습, 판단, 처리 중 적어도 하나를 수행하는 기술이다. 인공 신경망은 레이어와 레이어 사이를 연결하고, 레이어와 레이어 사이의 데이터를 전달하는 구조를 가질 수 있다. 이러한 딥러닝 기술은 병렬 연산에 최적화된 GPU(graphic processing unit)를 이용하여 인공 신경망을 통하여 방대한 양의 정보를 학습할 수 있다.

특히, 비전인식을 위한 딥러닝 기술의 하나로, CNN(Convolutional Neural Network, 합성곱신경망)기술이 있다. 이는, 딥러닝 기반의 다양한 이미지 이해 기술들을 적용하며 이미지를 분류, 검색, 객체 감지하고, 여기서 더 나아가 이미지를 분석한 정보(또는, 기능)와 연결시키는 기술이다.

예를 들어, CNN 기술을 이용한 활용 기능으로, 카메라로 촬영된 영상에 포함된 텍스트를 분석하여 번역기능을 제공하거나, 카메라로 촬영된 영상에 포함된 물품을 온라인 구매할 수 있도록 쇼핑기능을 제공하는 예가 있다. 또, 카메라를 통해 연락처를 비추면, 전화 연결 기능을 수행하거나, 사용자를 촬영하면 개인에 맞춘 스타일링 제공기능을 수행하는 것이 그 예이다. 나아가, 얼굴 인식 API 등을 통해 영상에 포함된 얼굴 이미지를 3D 모델도 변환하여 다양한 각도의 얼굴을 가상으로 생성하는 기능을 수행할 수도 있다.

한편, 인공지능모듈은 특정 동작이 수행되면, 상기 머신 러닝 기술을 통하여, 특정 동작의 수행을 나타내는 이력 정보를 분석하고, 이러한 분석 정보를 바탕으로 기존의 학습된 정보에 대한 업데이트를 수행할 수 있다. 그에 따라 인공지능모듈은 정보 예측의 정확도를 향상시킬 수 있다.

본 명세서에서, 인공지능모듈은, 외부서버나 외부 단말기(또는, 냉장고)의 프로세서 또는 제어부와 동일한 구성요소로 이해될 수 있다.

다른 예에서는 냉장고 내에 인공지능모듈(미도시)이 독립적으로 구비될 수도 있다. 이러한 경우, 도 1처럼 촬영된 물품 영상을 외부의 서버 또는 단말기로 전송할 필요없이 고내 자체에서 비전인식을 수행할 수 있을 것이다.

이하, 도 2는 본 발명의 실시 예에 따른 냉장고의 구성을 설명하기 위한 예시 블록도이다.

도 2를 참조하면, 상기 냉장고(100)는 제어부(이하, '프로세서'와 혼용될 수 있음을 밝혀둔다)(180)를 포함할 수 있고, 제어부와 전기적으로 연결된 센싱부(160), 디스플레이부(120), 통신부(130), 메모리(150), 전원부(110), 음향 출력부(170)를 포함할 수 있다. 또, 전술한 바와 같이, 고내에 물품을 보관할 수 있도록 형성된 저장실(140)을 포함할 수 있다.

한편, 도 2에 도시된 구성요소들은 냉장고(100)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 냉장고(100)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.

보다 구체적으로, 상기 구성요소들 중, 전원부(110)는 제어부의 제어 하에, 외부로부터 전원을 인가 받아 냉장고(100)에 포함된 각 구성요소들에 전원을 공급할 수 있다.

한편, 비록 도시되지는 않았지만, 냉장고의 전면에 구비된 도어(door)는, 냉장고(100) 내부에 구비된 저장실(140)을 선택적으로 개폐할 수 있도록 형성되며, 복수 개로 형성될 수 있다.

도어(door)는 적어도 하나의 센서가 구비되어 사용자의 입력을 감지할 수 있도록 형성될 수 있다. 일 예로, 도어는 터치 센서와 상호 레이어 구조를 형성하여 도어에 대해 인가되는 사용자의 터치 입력을 감지할 수 있다. 또는, 음향 센서를 구비하여 도어를 두드리는 사용자의 노크 입력을 감지할 수 있다.

또, 비록 되지는 않았지만, 저장실(140) 내부에는 적어도 하나의 조명을 포함할 수 있다. 상기 조명은, 저장실의 복수의 저장칸 각각의 영역에 구비될 수 있으며, 도어의 오픈 여부에 따라 발광하도록 형성될 수 있다.

저장실(140)는, 음식물이 보관되는 저장실 및 상기 저장실 내부에 기 설정된 냉동 사이클에 따른 냉기를 토출할 수 있도록 형성되는 압축기, 응축기, 팽창밸브, 증발기 등을 포함할 수 있다. 상기 저장실(140)은 상기 토출되는 냉기로 냉장고(100) 내의 온도를 저하시켜 저장실 내에 저장된 음식물 등을 냉동시키거나 냉장 보관할 수 있다.

디스플레이부(120)는 사용자 입력을 수신할 수 있고, 사용자 입력에 대응되는 정보, 예를 들어 물품 영상을 디스플레이할 수 있다. 디스플레이부(120)는 물품 영상을 표시하기 위한 디스플레이 패널(미도시)를 포함할 수 있다. 이러한 디스플레이 패널은, 음극선관(CRT, Cathode Ray Tube) 디스플레이 패널, 액정 디스플레이(LCD, Liquid Crystal Display) 패널, 발광 다이오드(LED, Light Emitting Diode) 패널, 유기 발광 다이오드(OLED, Organic Light Emitting Diode) 패널, 플라즈마 디스플레이 패널(PDP, Plasma Display Panel), 전계 방출 디스플레이(FED, Field Emission Display) 패널 등을 채용할 수 있다.

또, 디스플레이부(120)는 사용자의 터치입력을 수신하고, 수신된 터치입력에 대응되는 전기적 신호를 생성하여 디스플레이부의 컨트롤러에 제공할 수 있다. 디스플레이부(120)는 사용자 편의를 위해 도 1에 도시된 바와 같이 도어의 일측 또는 양측에 설치될 수 있다.

한편 센싱부(160)는 냉장고(100) 내 정보, 냉장고(100)를 둘러싼 주변 환경을 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 냉장고(100) 저장실(140) 온도, 습도 등의 상태를 감지하는 환경 센서나, 냉장고 주변에 위치한 사용자를 감지할 수 있는 인체 감지 센서 등을 구비할 수 있다.

또, 센싱부(160)는 도어의 열림 및 닫힘을 감지하기 위한 도어 개폐 감지 센서(162), 저장실 내부를 촬영하기 위한 카메라(161)를 포함할 수 있다. 도어 개폐 감지 센서(162)와 카메라(161)에 대해서는 전술하였으므로, 여기서는 설명을 생략하겠다.

또한 센싱부(160)는, 상기 냉장고(100)의 다양한 기능과 관련된 센서로서, 자동 도어 기능과 관련된 센서를 포함할 수 있다. 예를 들어, 센싱부(160)는 냉장고(100)에 근접한 사용자를 감지할 수 있는 근접 센서를 더 포함할 수 있다. 이 경우, 상기 근접 센서는 근접한 사용자의 신체를 감지하도록 형성될 수 있다. 그리고 제어부는 상기 근접 센서에 의한 감지 결과에 따라 냉장고(100)의 도어 중 적어도 하나가 개방되도록 제어할 수 있다(자동 도어 기능).

또한, 메모리(150)는 냉장고(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(150)는 냉장고(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 냉장고(1)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다.

이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 냉장고(1)의 기본적인 기능(예를 들어, 각 저장 영역 별 온도 관리 기능)을 위하여 출고 당시부터 냉장고(100)상에 존재할 수 있다.

또, 메모리(150)에는 본 발명에 따른 물품 영상 히스토리와 관련된 정보가 저장된다. 또, 물품 영상 히스토리에 기록된 하나 이상의 물품 영상이 메모리(150)에 함께 저장된다.

통신부(130)는 냉장고의 프로세서가 외부의 서버 및/또는 단말기와 무선통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 통신부(130)는 근거리 통신 네트워크에 접속하기 위한 와이파이 모듈, 지그비(Zigbee) 모듈 등을 포함할 수 있다.

음향출력부(152)는 냉장고(100)에서 수행되는 기능(예를 들어, 문열림 물품 구매 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력부(152)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다. 예를 들어, 음향출력부(152)는 제어부(180)로부터 전달된 전기적 신호를 음향신호로 변환하여 스피커(speaker)를 통해 출력할 수 있다.

제어부(180)는 냉장고(100)의 전반적인 동작을 제어한다. 제어부(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(150)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.

또, 제어부(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 2와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(180)는 상기 응용 프로그램의 구동을 위하여, 냉장고(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.

또한, 제어부(180)는 연결된 각 구성요소들을 제어할 수 있다. 특히, 제어부(100)는 저장실(140) 내부를 촬영하도록 카메라(161)의 동작을 제어할 수 있다. 또, 카메라(161)를 통해 획득된 물품 영상을 CNN 딥러닝 기술 등을 이용하여 비전인식하도록, 외부의 서버 또는 단말로 전송하도록 통신부(130)의 동작을 제어할 수 있다. 또, 제어부(180)는 촬영된 물품 영상과 그 물품 영상의 비전인식을 통해 획득된 물품 정보를 메모리에 저장하여 물품 영상 히스토리를 생성하도록 제어한다. 또, 제어부(180)는 촬영된 물품 영상 및 물품 영상 히스토리에 근거하여 확인된 물품 정보를 연계시켜 디스플레이하도록 디스플레이(120)의 동작을 제어한다.

한편, 본 명세서에서 사용되는 "물품"이라는 용어는 사람 또는 기계에 의해 제조되어 거래되는 공산품, 사용자가 생산 또는 수렵한 생산품 등을 모두 포함할 수 있다. 이러한 "물품"은 별도의 보관통에 보관되어 고내에 보관될 수 있다.

이하, 도 3을 참조하여, 본 발명의 실시 예에 따른 냉장고 물품 관리 방법에 관하여 보다 구체적으로 살펴보겠다.

도 3을 참조하면, 먼저, 냉장고 저장실 내부에 구비된 카메라를 통해, 냉장고 저장실 내부를 촬영하여 제1물품영상을 획득하는 단계를 수행한다(S10).

상기 카메라는, 저장실의 각 저장칸의 전면, 후면, 좌면, 우면, 상면 중 하나 또는 둘 이상의 서로 다른 위치에 배치될 수 있다. 또, 제1물품영상은 단일의 촬영신호에 따라 생성된 스틸이미지일 수도 있고, 실시간 촬영에 따른 동영상 이미지일 수도 있다.

제1물품영상을 획득하기 위한 카메라의 구동신호는, 사용자 입력이 있거나 또는 냉장고의 도어 열림이 감지된 시점에 자동으로 생성될 수 있다.

이와 같이 냉장고 내 카메라를 통해 제1물품영상이 획득되면, 획득된 제1물품영상을 비전인식하여 대응되는 물품 정보를 획득한다(S20). 제1물품영상의 비전인식을 위해, 단계 S10을 통해 획득된 제1물품영상이 냉장고와 연동된 인공지능 서버로 전송될 수 있다.

구체적으로, 냉장고의 프로세서는, 통신부(130)를 통해, 제1물품영상을 인공지능 서버로 전송하고, 인공지능 서버로부터 제1물품영상에 대한 비전인식을 통해 검색된 물품 정보를 수신할 수 있다.

인공지능 서버는, 예를 들어 CNN 딥러닝 기술을 통해, 제1물품영상에 포함된 하나 이상의 물품 이미지에 매칭되는 실제 물품을 인지할 수 있다. 또, 상기 인공지능 서버는, 물품 이미지에 텍스트, 유통기한이 표시된 경우, 그러한 텍스트 분석의 결과를 해당 물품의 물품 정보로 연계시켜서 제공할 수 있다.

상기 '물품 정보'는 물품의 종류(카테고리), 명칭, 유통기한, 구매금액, 보관 기간과 같은 객관적 정보를 포함한다. 또, 상기 '물품 정보'는 남은 양 정보, 구매 빈도, 사용 빈도(출입고 빈도), 구매시기, 구매장소, 결제수단, 기타 사용자가 직접 입력한 정보 등과 같은 사용자 맞춤형 정보도 포함할 수 있다.

또한, 상기 '물품 정보'는 외부의 인공지능 서버로부터 획득된 정보를 분석한 정보나, 냉장고 내에 저장된 정보와 연계시켜서 가공 생성된 정보를 추가로 포함할 수 있다.

한편, 다른 예에서는 제1물품영상의 비전인식이 냉장고 자체에서 수행될 수도 있다. 이러한 경우, 냉장고의 프로세서가 전술한 인공지능 서버와 유사한 기능을 수행할 수 있다.

프로세서는, 이와 같이 획득된 물품 정보를 기초로 물품 영상 히스토리를 생성한다(S30).

구체적으로, 냉장고의 프로세서는, 통신부(130)를 통해 수신된 물품 정보를 제1물품영상의 각 물품 이미지와 링크하여, 물품 영상 히스토리를 생성한다. 예를 들어, 제1물품영상에 1-1물품이미지, 1-2물품이미지, 1-3물품이미지가 포함된 경우, 1-1물품이미지에 1-1물품정보를 링크시키고, 1-2물품이미지에 1-2물품정보를 링크시키고, 1-3물품이미지에 1-3물품정보를 링크시킨다.

물품 영상 히스토리는, 제1물품영상에 포함된 물품과 각 물품의 물품 정보를 포함하여 생성되며, 제1물품영상 자체 또는 제1물품영상의 대표 이미지(예, 스틸 이미지)가 냉장고내 메모리에 함께 저장된다.

예를 들어, 제1물품영상이 복수의 스틸 이미지로 이루어진 경우, 상기 대표 이미지는 가장 마지막에 촬영된 스틸 이미지일 수 있다. 또, 제1물품영상이 연결된 동영상 이미지인 경우, 상기 대표 이미지는 특정 구간의 캡쳐 이미지일 수 있다.

이와 같이 물품 영상 히스토리가 생성된 후, 다시 카메라를 통해 냉장고 저장실 내부를 촬영하여, 일부가 타 물품에 의해 가려진 상태의 제2물품영상을 획득한다(S40).

여기에서, 일부가 타 물품에 의해 가려진 상태란, 냉장고 내에 보관된 물품의 전면에 다른 물품이 추가로 보관됨에 따라, 일부는 앞쪽에 위치한 타 물품에 의해 가려지고 일부만 노출된 상태를 의미한다. 주로 저장실의 안쪽 또는 뒤쪽에 보관된 물품이 이에 해당된다.

제2물품영상을 획득하기 위한 카메라의 구동신호는, 제1물품영상을 획득하기 위한 카메라의 구동신호가 생성되는 조건과 유사하다. 다시 말해, 정해진 사용자 입력이 있거나 또는 도어의 열림이 감지된 경우 제2물품영상을 획득하기 위한 카메라 구동신호가 출력된다.

한편, 제2물품영상의 획득 시점은 제1물품영상이 획득된 시점 이전일 수도 있고 이후일 수도 있다. 예를 들어, 일부가 타 물품에 의해 가려진 상태의 제2물품영상이 획득된 후, 일부 물품이 냉장고에서 출고된 후, 제1물품영상이 다시 획득될 수도 있다.

또, 제1물품영상이 한번 획득된 후에도 제1물품영상이 추가로 획득될 수 있다. 즉, 일부가 타 물품에 의해 가려진 상태가 없는 동안은 제1물품영상이 계속 획득되며, 그에 따라 저장된 물품 영상 히스토리가 계속 업데이트된다.

예를 들어, 처음에 획득된 제1물품영상과 나중에 획득된 제1물품영상을 비교하여, 특정 물품의 사용 빈도(출입고 빈도) 이력이 수정될 수 있다. 이때, 처음에 획득된 제1물품영상의 대표 이미지와 나중에 획득된 제1물품영상의 대표 이미지가 누적적으로 저장된다.

일부가 타 물품에 의해 가려진 상태의 제2물품영상이 획득되면, 획득된 제2물품영상에서 부분 물품 이미지를 검출한다(S50). 제2물품영상에서, 일부가 타 물품에 의해 가려진 물품이 복수인 경우, 모두 그리고 각각 구별하여 검출한다.

이때, 부분 물품 이미지의 검출 조건으로, 부분 물품 이미지에 매칭되는 물품의 동일성을 확인할 수 있는 정도의 노출 정도를 요구할 수 있다.

예를 들어, 노출 정도가 25%~30% 이상인 경우에 한해 부분 물품 이미지로서 검출하도록 제한할 수 있다. 다만, 이러한 수치범위에 반드시 한정되는 것은 아니며, 인공지능 서버의 성능 및 사용되는 딥러닝 알고리즘의 종류에 따라 상기 수치범위는 가변될 수 있다.

한편, 부분 물품 이미지의 노출 정도가 정해진 수치범위 미만이더라도 비전인식을 통한 텍스트(예, 물품 명칭, 로고 등) 분석으로 물품의 동일성을 확인할 수 있는 경우라면, 부분 물품 이미지로서 검출될 수 있다.

다음, 저장된 물품 영상 히스토리에 근거하여, 검출된 부분 물품 이미지와 매칭되는 물품을 확인한다(S60). 구체적으로, 검출된 부분 물품 이미지와 물품 영상 히스토리에 저장된 하나 이상의 물품 영상을 비교하여, 부분 물품 이미지와 매칭되는 물품 이미지를 검색하여 동일성을 확인한다.

예를 들어, 냉장고 내 이미지 분석부 또는 프로세서를 통해, 부분 물품 이미지의 95& 이상이 물품 영상 히스토리에 기록된 물품영상의 특정 물품 이미지의 일부분과 동일한 것으로 판단되면, 검출된 부분 물품 이미지와 매칭되는 물품인 것으로 결정한다.

이와 같이, 본 발명에서는 부분 물품 이미지에 매칭되는 물품을 확인하기 위하여 인공지능서버로 물품 영상을 전송하여 비전인식을 수행할 필요가 없다. 또, 비록 위에 기술되지는 않았으나, 제2물품영상에서 다른 물품 이미지, 즉 일부가 타 물품에 의해 가려지지 않은 물품 이미지의 동일성 확인도, 저장된 물품 영상 히스토리의 검색을 통해 빠르게 확인할 수 있다.

다만, 제2물품영상에 새로 입고된 물품이 포함된 경우라면, 비전인식을 위해 해당 물품 이미지의 위치가 표시된 제2물품영상이 인공지능서버로 전송될 수 있을 것이다.

이와 같이 부분 물품 이미지와 매칭되는 물품이 확인되면, 검출된 부분 물품 이미지를 물품 영상 히스토리를 통해 확인된 물품 정보와 연계시켜서 디스플레이한다(70).

구체적으로, 일부가 타 물품에 의해 가려진 상태의 제2물품영상에서, 부분 물품 이미지의 주변에, 동일성 확인된 물품의 명칭, 유통기한 정보 등이 연계되어, 도어에 구비된 디스플레이부(120)에 디스플레이될 수 있을 것이다.

이상에서 살펴본 실시 예에 따라, 사용자는 고내 뒤쪽 또는 안쪽에 저장되어 영상을 통해 물품을 식별하기 어려운 경우에도, 디스플레이된 물품 정보를 통해서, 보관된 물품을 쉽고 빠르게 인지할 수 있다.

도 4는 본 발명의 실시 예에 따라, 물품 영상 히스토리에 근거하여 타 물품에 의해 일부가 가려진 상태의 제2물품영상에 대한 대한 물품 정보를 디스플레이하는 과정을 보여주고 있다.

도 4의 (a)에 도시된 바와 같이, 냉장고 도어 개폐 동안 촬영된 물품영상들(401, 402)을 통해, 순서대로 저장실 내에 입고된 제1물품(421) 및 제2물품(422)이 비전인식된다.

비전인식된 제1물품(421) 및 제2물품(422)에 대한 물품 정보, 예를 들어 물품명칭, 유통기한정보, 크기정보 등이 마지막 촬영된 물품영상(402)과 함께 물품 영상 히스토리(410)에 누적하여 저장된다.

이후, 제3물품(423)이 추가로 입고되면서 촬영되면, (c)에 도시된 바와 같이 제1물품(421)의 일부가 타 물품들(422, 423)에 의해 가려진 상태의 물품영상(403)이 획득된다. 이와 같이 제1물품(421)이 일부가 가려지면, 물품영상(403)을 통한 직접적인 이미지분석은 어렵다.

이에, 물품영상(403)에서 제1물품(421)의 부분 물품 이미지(볼드 테두리)를 추출하고, 추출된 부분 물품 이미지에 매칭되는 물품을, 물품 영상 히스토리에 기록된 영상들(401, 402)에서의 검색을 통해 확인한다.

이를 위해, 냉장고의 프로세서(또는, 제어부)는 제2물품영상이 획득된 것에 응답하여, 인공지능 알고리즘에 따라 학습된 모델 및 저장된 물품 영상 히스토리(410)를 함께 또는 순차적으로 이용하여, 부분 물품 이미지에 대한 물품 및 물품 정보를 결정할 수 있다.

이후, 냉장고의 제어부는, 물품의 영상 요청이 입력되면, 물품 영상 히스토리에 저장된 최신 물품 영상을 검출하여, 도어에 구비된 디스플레이부(120)에 디스플레이한다.

여기에서, 물품의 영상 요청이란, 사용자가 냉장고 도어를 열지 않고 냉장고 저장실 내부에 현재 보관된 물품을 영상으로 보기 위한 요청을 의미한다. 이러한 요청의 입력은 디스플레이부(120)에 대한 입력이나, 사용자의 음성명령 외에 사용자의 근접, 도어의 핸들에 대한 그립을 감지하여 자동으로 생성될 수 있다.

구체적으로, 물품의 영상 요청이 입력되면, (d)에 도시된 바와 같이, 최근 촬영된 물품영상(403), 즉 제1물품(421)의 일부가 가려진 상태의 영상을 디스플레이한다. 이때, 물품 영상 히스토리로부터 확인된 각 물품의 물품 정보를 함께 연계하여 표시해준다.

디스플레이된 물품 영상에는, 제1물품영상을 비전인식하여 획득된 제1군의 물품 정보와, 제2물품영상에 포함된 부분 물품 이미지에 매칭되는 제2군의 물품 정보가 서로 시각적으로 구별되게 표시된다. 또, 제1 및 제2군의 물품 정보는 물품 명칭 및 보관 기한 정보가 포함될 수 있다.

구체적으로, 부분 물품 이미지에 대한 물품 정보는 제2물품(422)이미지 및 제3물품(423)이미지와 서로 다른 형태로 제공될 수 있다. 예를 들어, 물품 명칭(예, 요거트)와 유통기한정보(예, -2일)가 표시된 말풍선 형태의 팝업창이 부분 물품 이미지에 인접되게 표시될 수 있다. 그리고, 제2물품(422)이미지 및 제3물품(423)이미지 각각에(on) 대응되는 물품명과 보관기한이 직접 표시될 수 있다.

이하에서는, 도 5a, 도 5b, 및 도 5c를 참조하여, 냉장고 물품 관리를 위한 데이터 저장방식 및 물품의 위치 인식방법을 설명하겠다.

먼저, 도 5a는 냉장고 물품 관리를 위한 데이터 저장방식을 보여준다. 도 5a에 도시된 바와 같이, 냉장고의 저장실을 냉장실, 도어, 냉동실로 구분하고, 냉장실, 도어, 냉동실 각각을 다시 3개의 층으로 세분화하여 구분한다.

그리고, 독립된 저장공간을 세분화된 각 층단위로 하여 2차원 그리드 형태로 매핑시킨다. 각 그리드 셀(grid cell)에는 비전인식을 통해 획득된 물품 정보와 관련된 데이터가 저장되어 관리된다. 한 층에 복수의 물품이 보관되는 경우, 복수의 물품 정보가 동일 그리드 셀(grid cell)에 스택(stack) 형태 저장될 수 있다. 물품의 출고 및 재입고 등에 따라, 동일 그리드 셀(grid cell)에 저장된 물품 정보라도 그 위치는 계속 변경될 수 있다.

저장실 내에 새롭게 입고된 물품이 있으면, 입고된 위치에 매칭되는 그리드 셀(grid cell)에 물품 명칭 및 유통기한 정보 등을 추가 입력하여, 물품 영상 히스토리를 업데이트한다.

저장실로부터 출고된 물품이 있으면, 출고된 위치에 매칭되는 그리드 셀(grid cell)에 입력된 물품 명칭 및 유통기한 정보 등을 삭제하여, 물품 영상 히스토리를 업데이트한다. 다만, 출고된 물품이 다시 입고되는 경우를 고려하여, 일정기간 동안은 다른 저장 공간이나 여분의 셀(cells)에 출고된 물품 정보가 저장될 수 있다.

도 5b는 물품영상을 이용하여, 출고된 물품의 이전 위치를 안내해주는 예시를 보여준다. 도 5b 를 참조하면, 본 발명에 따른 냉장고의 제어부는, 저장실 내부에 구비된 카메라를 통해 저장실 내부를 촬영한 제3물품영상을 더 획득할 수 있다. 여기에서, 제3물품영상은 하나 이상의 출고 물품이 있는 경우의 물품 영상을 의미한다.

제어부는, 물품 영상 히스토리(510)에 저장된 물품 정보(예, 물품의 보관 위치)와 제3물품영상을 비교하여 출고 물품 및 출고 물품의 위치를 결정할 수 있다. 촬영된 물품 영상(501)과, 물품 영상 히스토리(510)의 마지막 기록 영상의 비교 결과, 제어부는, a물품(522)과 b물품(523)은 그대로이고, c물품(521)은 출고된 것을 인지할 수 있다.

한편, 제어부는, 결정된 출고 물품의 위치를 나타내는 그래픽 이미지를 제3물품영상(501)에 연계하여 디스플레이하도록 디스플레이부(120)를 제어할 수 있다. 예를 들어, 물품 영상 히스토리(510)의 마지막 기록 영상에서 c물품(521)의 위치와 크기를 촬영된 물품 영상(501)에 매칭시켜서, 점선 형태의 박스 이미지를 표시해줄 수 있다.

이와 같이, 직전에 출고된 물품의 위치를 디스플레이해줌으로써, 사용자가 도어를 열어 해당 물품을 입고하기 전에, 이전의 보관 위치를 정확하게 확인하여 보관할 수 있다.

도 5c는 출고된 물품 없이, 물품의 보관 위치만 달라진 경우의 예시를 보여준다.

냉장고의 제어부는, 물품 영상 히스토리에 근거하여, 제1물품영상 또는 제2물품영상의 각 물품 이미지에 대응되는 물품의 위치 변경을 확인하고, 확인 결과에 근거하여, 각 물품에 매칭되는 물품 정보의 배열 저장 순서를 변경하여 저장할 수 있다. 그에 따라, 도 5a에서, 동일 그리드 셀(grid cell)에 저장된 물품 정보라도 그 위치는 계속 변경될 수 있다.

이와 같이, 물품의 보관 위치가 변경된 경우, 부분 물품 이미지에 매칭되는 물품정보가 달라질 수 있다. 예를 들어, 도 5c에서, 물품 영상 히스토리(510)의 마지막 기록 영상에 의하며, a물품(522)이 부분 물품 이미지로 검출된다. 그러나, 새롭데 위치 변경된 물품 영상(502)에 의하면 b물품(523')이 부분 물품 이미지로 검출되고, a물품(522')과 c물품(521')의 물품 정보의 배열 저장 순서가 변경된다.

이상에서 살펴본 바와 같이, 본 발명에 따르면 냉장고 저장실 내부에 보관 또는 출고된 물품의 이력과 보관 위치의 변경 이력을 영상을 통해 확인함으로써, 출입고 순위를 확인하거나 물품의 보관 위치를 빠르게 시각적으로 쉽게 확인할 수 있다.

다음으로, 도 6a, 도 6b, 도 6c는 본 발명의 실시 예에 따라, 타 물품에 의해 일부가 가려진 부분 물품이미지와 관련된 표시를 제어하거나 추가 기능을 실행하는 방법의 예시를 보여준다.

먼저, 도 6a를 참고하면, 물품영상(601)에서 앞쪽에 위치한 제1물품이미지(621)와 제2물품이미지(622)의 테두리에는 그래픽객체(630)가 표시된다. 그리고, 각 물품이미지들(621, 622) 내부에는 각 매칭되는 물품 정보(611, 612)가 표시된다.

또, 물품영상(601)에서 일부가 타 물품이미지들(621, 622)에 의해 가려진 뒤쪽에 위치한 제3물품이미지(623)와 제4물품이미지(624)의 테두리에도 그래픽객체(630)가 표시된다. 그리고, 부분 물품 이미지들(623, 624) 각각에 매칭되는 물품 정보는, 말풍선 형태로 출력될 수 있다.

한편, 비록 도시되지는 않았지만, 각 물품 정보(611, 612, 613, 614)에 터치입력이 가해지면, 사용자 입력을 통해 각 물품 정보를 수정할 수 있다. 이러한 경우, 수정된 물품 정보를 기초로 물품 영상 히스토리가 업데이트될 수도 있다.

또한, 제3물품이미지(623)와 제4물품이미지(624)는 부분 물품 이미지들의 형태로 표시되나, 테두리에는 물품 영상 히스토리를 참고하여 매칭되는 물품의 크기를 나타내는 그래픽객체가 표시될 수 있다.

이를 위해, 냉장고의 제어부는, 저장된 물품 영상 히스토리에 근거하여 부분 물품 이미지에 매칭되는 물품의 크기를 산출하고, 디스플레이된 제2물품영상에서, 부분 물품 이미지의 주변에 산출된 물품의 크기를 나타내는 그래픽객체를 표시해줄 수 있다. 이때, 표시되는 그래픽객체는 다른 물품 이미지들(621, 622)의 적어도 일부와 오버랩되어 표시되며, 반투명 형태로 형성될 수 있다.

다음, 도 6b는 냉장고내 뒤쪽에 보관된 물품들만 모아서 확인하는 방법의 예시이다. 도 6a에서, 부분 물품 이미지들(623, 624)에 연계된 물품 정보가 말풍선 형태의 팝업창들(613, 614)로 표시된 동안, 부분 물품 이미지에 대응되는 후면 물품 표시 요청이 수신될 수 있다.

후면 물품 표시 요청은, 예를 들어 부분 물품 이미지 또는 물품 영상의 배경 이미지에 대한 터치입력을 통해 생성될 수 있다.

그러면, 도 6b에 도시된 바와 같이, 뒤쪽에 위치한 물품들을 가리던, 전면에 위치한 물품 이미지들(621, 622)은 예를 들어 점선형태로 또는 반투명형태로 전환된다.

그리고, 부분 물품 이미지들(623, 624)은 물품 영상 히스토리에 근거하여 추출된 부분 물품 이미지에 매칭되는 물품의 나머지 부분 이미지가 그래픽객체(630) 내에 삽입되어, 노출 물품 이미지들(623', 624')로 전환된다. 다른 예에서는 나머지 부분 이미지가 삽입되지 않고 그래픽객체(630)의 테두리가 하이라이팅되고 전면에 위치한 물품 이미지들(621, 622)만 반투명 형태로 전환될 수도 있다.

또 다른 예로, 도 6c를 참고하면, 냉장고의 제어부는, 도 6b와 같이 후면 물품 표시 요청에 따른 영상(602)이 디스플레이된 동안, 부분 물품 이미지 주변에 표시된 그래픽객체 또는 그 내부에 터치가 가해지면, 터치가 가해진 영역에 대응되는 물품의 추가 정보와 관련된 제1기능을 실행한다.

여기서, 상기 제1기능은 물품에 대한 세부 정보의 표시 기능을 의미한다.

또, 상기 세부 정보는, 부분 물품 이미지에 매칭되는 물품의 남은 양 정보, 구매 빈도, 사용 빈도(출입고 빈도), 구매시기, 구매장소, 결제수단, 기타 사용자가 직접 입력한 정보 등을 포함할 수 있다.

또, 상기 세부 정보는, 부분 물품 이미지에 매칭되는 물품의 다각도 영상일 수 있다. 이를 위해, 냉장고 저장실 내부에는 각 칸마다 대각선 방향으로 복수의 카메가 설치되어, 제1물품영상에 대한 다각도 영상(예, 물품의 360도 영상)을 생성할 수 있다.

제1기능의 실행 예로, 도 6c를 참조하면, 부분 물품 이미지 주변의 그래픽객체의 이미지가 변경되고(630"), 부분 물품 이미지에 매칭되는 전체 물품 이미지가 출력된다. 이어서, 해당 물품에 대한 상세 정보 화면(604)으로 전환된다. 상세 정보 화면(604)에는 물품의 다른 각도를 확인할 수 있는 인디케이터 아이콘(641)과 상세 정보 화면(604)을 제거하기 위한 아이콘(642)이, 함께 표시될 수 있다.

또, 도 6b와 같이 후면 물품 표시 요청에 따른 영상(602)이 디스플레이된 동안, 부분 물품 이미지에 대한 물품 정보가 표시된 팝업창(613, 614)에 터치가 가해지면, 터치가 가해진 영역에 대응되는 물품의 구매와 관련된 제2기능을 실행한다.

여기서, 상기 제2기능은 물품을 온라인 구매하기 위한 온라인 쇼핑몰 연결 및 실행 기능일 수 있다. 그에 따라, 제2기능의 실행에 대응되는 화면에, 예를 들어 "즉시 구매" 버튼이 생성될 수 있다.

다음, 도 7은 본 발명의 또 다른 실시 예에 따른 냉장고 물품 관리 방법으로, 물품의 위치를 결정하는 방법을 설명하기 위한 흐름도이다.

도 7을 참조하면, 먼저, 냉장고의 도어에 구비된 도어 개폐 감지 센서를 통해, 도어를 열림을 감지하는 단계가 수행된다(S701). 도어 개폐 감지 센서는 사용자의 그립이 수행되는 도어의 핸들측에 위치하거나 또는 도어의 일측에 위치할 수 있다.

이와 같이 도어의 열림이 감지되면, 저장실 내부에 구비된 카메라를 통해, 저장실 내부를 연속으로 촬영하여, 복수의 물품 영상을 획득한다(S702).

복수의 물품 영상은, 카메라와 전기적으로 연결된 프로세서를 통해, 촬영신호를 주기적으로 생성하여 획득될 수 있다. 냉장고의 제어부는, 고내에 입고 및/또는 출고되는 물품의 영상을 비전인식하여, 출입고 이력을 순차적으로 인식할 수 있다.

한편, 냉장고 도어 열림뿐만 아니라, 냉장고와 통신하는 단말기를 통해 촬영명령이 수신될 수 있다. 이러한 경우, 냉장고의 도어 열림이 감지되지 않은 경우에도 저장실 내부의 촬영이 개시될 수 있다. 예를 들어, 단말기가 냉장고와 통신하는 동안, 단말기의 터치스크린에 표시된 "촬영" 아이콘을 터치하여 냉장고에 촬영명령이 전달될 수 있다.

또, 일 실시 예에서, 저장실 내부에 구비된 카메라가 복수이고 다각도 촬영이 가능한 경우, 정해진 순서에 따라 순차적으로 카메라가 구동되면서 하나의 물품에 대한 다각도 영상을 생성할 수도 있다.

다음, 사용자가 도어를 닫으면, 도어 개폐 센서를 통해 도어의 닫힘이 감지된다(S703). 그러면, 프로세서를 통해 카메라에 촬영중단신호가 전달된다.

이와 같이 촬영이 중단되면, 도어 열림 감지 후 촬영이 중단되기까지 획득된 복수의 물품영상을 비전인식하여 저장된 물품을 인식하고, 이와 함께 물품의 위치 정보와 출고 정보를 획득한다(S704).

구체적으로, 제1물품의 위치가 저장실 내의 복수의 저장칸 중에서 어디에 위치하고 있는지, 그리고 다른 물품과의 관계에서 상대적 위치(예, 위, 아래, 중간/사이 등)가 결정된다.

이와 같이 획득된 물품의 물품 정보, 위치 정보, 및 출고 정보를 기초로 물품 영상 히스토리를 생성한다(S705). 냉장고의 프로세서는, 생성된 물품 영상 히스토리를 냉장고의 메모리에 전달한다.

일 예에서, 상기 물품 영상 히스토리에는 연속 촬영된 복수의 물품 영상 중에서 마지막 촬영된 물품 영상만 저장될 수 있다. 이러한 경우, 도어가 열린 순간부터 닫히기 전까지 촬영된 다른 물품 영상은 삭제된다.

다시 말해서, 물품 영상 히스토리에는, 도어가 열리고 닫힌 제1구간에서 선택된 마지막 물품 영상(제1구간 물품 영상)과, 제1구간 이후에 도어가 열리고 닫힌 제2구간에서 선택된 마지막 물품 영상(제2구간 물품 영상)이 순차적으로 저장된다. 이 후, 일부가 타 물품에 의해 가려진 상태의 제2물품영상에서 부문 물품 이미지가 검출되면, 제1구간 물품 영상과 제2구간 물품 영상을 모두 이용하여 물품의 동일성 판단이 이루어진다.

이후, 일부가 타 물품에 의해 가려진 상태의 제2물품영상이 획득되면, 냉장고의 제어부는, 물품 영상 히스토리에 근거하여, 제2물품영상에서 검출된 부분 물품 이미지와 매칭되는 물품의 위치를 결정할 수 있다(S706).

다음, 도 8은 본 발명의 또 다른 실시 예에 따른 냉장고 물품 관리 방법으로, 물품 정보를 디스플레이하고 관련된 추가 기능을 제공하는 방법의 예시를 보여준다.

도 8을 참조하면, 저장실 내부의 영상을 요청하는 입력을 감지한다(S801).

여기에서, 상기 입력은 도어에 구비된 디스플레이에 대한 터치입력, 정해진 음성명령, 도어 노크온 등 다양한 형태로 수행될 수 있으며, 입력 방식에 대한 특별한 제한이 없다.

또, 일 예에서는 사용자의 명시적인 입력뿐만 아니라, 사용자의 냉장고 접근이 감지된 경우, 및/또는 도어의 핸들에 그립/터치가 감지된 경우와 같이 암묵적인 입력이 수행된 경우에도 영상을 요청하는 입력이 수신된 것으로 처리가능하다.

이와 같은 입력이 감지되면, 물품 영상 히스토리에 기록된 최근 물품 영상이 도어의 디스플레이에 디스플레이된다(S802).

디스플레이된 물품 영상에는, 일부가 타 물품에 의해 가려진 상태의 제1물품이미지('부분 물품 이미지')와 전부 노출된 상태의 제2물품 이미지('노출 물품 이미지')에 각각 서로 다른 그래픽객체가 표시된다(S803).

예를 들어, '부분 물품 이미지'의 둘레에는 반투명 형태의 사각 테두리가 표시되고, 노출 물품 이미지의 둘레에는 일반 테두리가 표시될 수 있다. 이때, 반투명 형태의 사각 테두리는 노출 물품 이미지 또는 노출 물품 이미지 주변의 테두리와 일부 중첩된 상태로 표시될 수 있다.

이와 같이 부분 물품 이미지와 노출 물품 이미지에 서로 다른 그래픽객체가 표시된 상태에서, 그래픽객체에 터치입력이 가해지면, 터치입력이 가해진 가해진 물품 이미지에 매칭되는 물품과 관련된 추가 기능이 실행된다(S804).

구체적으로, 표시된 그래픽객체에 제1터치가 가해지면, 터치가 가해진 영역에 대응되는 물품의 추가 정보와 관련된 제1기능을 실행할 수 있다. 그리고, 표시된 그래픽객체에 제2터치가 가해지면, 터치가 가해진 영역에 대응되는 물품의 구매와 관련된 제2기능을 실행할 수 있다.

한편, 위에서 설명한 본 발명의 실시 예들은 냉장고에 한정되지 않고, 시중에서 판매되는 물품을 수납, 보관, 저장 및 관리하는 기능을 갖는 다양한 전자 기기에도 적용될 수 있다. 예를 들어, 본 발명의 실시 예는 의류를 세탁 및 건조하는 세탁기, 건조기나, 의류를 수납 및 관리하는 스타일러스 등에도 적용될 수 있다.

이상에서 살펴본 바와 같이, 본 발명의 실시 예에 따르면, 본 발명의 실시 예에 따르면, 저장실의 내부에 구비된 카메라를 통해 획득된 물품 영상을 비전인식하여 보관된 물품의 물품정보를 획득할 수 있고, 이를 물품 영상 히스토리로 관리하여 후면에 위치한 물품의 동일성 확인을 빠르게 수행할 수 있다. 그에 따라, 저장실 내부의 뒤쪽에 위치하여 타 물품에 의해 가려진 부분 물품 이미지에 매칭되는 물품 및 관련 물품 정보를 물품 영상 히스토리에 기반하여 인식 및 디스플레이할 수 있다. 나아가, 저장실 내부에 보관 또는 출고되는 물품의 출입고 이력과 보관 위치의 변경 이력을 영상을 통해 확인함으로써, 출입고 순위를 확인하거나 물품의 보관 위치를 빠르게 시각적으로 쉽게 확인할 수 있다.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 제어부(250)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims

물품을 저장하는 저장실:
상기 저장실 내부를 촬영하는 카메라;
상기 카메라를 통해 촬영된 제1물품영상을 비전인식하여 상기 제1물품영상에 대응되는 물품 정보를 획득하는 제어부;
상기 획득된 물품 정보를 저장하여 물품 영상 히스토리를 생성하는 메모리; 및
상기 제어부와 전기적으로 연결된 디스플레이를 포함하고,
상기 제어부는,
상기 카메라를 통해 일부가 타 물품에 의해 가려진 상태의 제2물품영상을 획득하고, 상기 제2물품영상에서, 일부가 타 물품에 의해 가려진 부분 물품 이미지를 검출하고, 상기 물품 영상 히스토리에 근거하여 상기 검출된 부분 물품 이미지와 매칭되는 물품을 확인하고,
상기 검출된 부분 물품 이미지를 상기 물품 영상 히스토리에서 확인된 물품 정보와 연계하여 상기 디스플레이에 디스플레이하도록 제어하는 것을 특징으로 하는 냉장고.
제1항에 있어서,
상기 제어부는,
상기 제2물품영상이 획득된 것에 응답하여, 인공지능 알고리즘에 따라 학습된 모델 및 상기 물품 영상 히스토리를 이용하여, 상기 부분 물품 이미지에 대한 물품 및 물품 정보를 결정하는 것을 특징으로 하는 냉장고.
제1항에 있어서,
상기 제어부는,
저장된 물품의 영상 요청이 입력되면, 상기 물품 영상 히스토리에 저장된 최신 물품 영상을 검출하여 상기 디스플레이에 디스플레이하고,
상기 디스플레이된 물품 영상에는,
상기 제1물품영상을 비전인식하여 획득된 제1군의 물품 정보와 상기 제2물품영상에 포함된 부분 물품 이미지에 매칭되는 제2군의 물품 정보를 서로 시각적으로 구별되게 표시하고,
상기 제1 및 제2군의 물품 정보는 물품 명칭 및 보관 기한 정보를 포함하는 것을 특징으로 하는 냉장고.
제1항에 있어서,
인공지능 서버와 통신하는 통신부를 더 포함하고,
상기 제어부는,
상기 통신부를 통해, 상기 제1물품영상을 상기 인공지능 서버로 전송하고, 상기 인공지능 서버로부터 상기 제1물품영상에 대한 비전인식을 통해 검색된 물품 정보를 수신하고, 상기 수신된 물품 정보를 상기 제1물품영상의 각 물품 이미지와 링크하여 상기 물품 영상 히스토리를 생성하는 것을 특징으로 하는 냉장고.
제4항에 있어서,
상기 부분 물품 이미지에 매칭되는 물품은 상기 물품 영상 히스토리에 저장된 각 물품 이미지와의 비교를 통해 결정되고,
상기 부분 물품 이미지에 매칭되는 물품 정보는, 비교 결과에 근거하여 선택된 물품 이미지와 링크된 물품 정보를 상기 물품 영상 히스토리에서 검출하여 획득되는 것을 특징으로 하는 냉장고.
제1항에 있어서,
상기 제어부는,
상기 카메라를 통해 상기 저장실의 내부를 촬영한 제3물품영상을 획득하고, 상기 물품 영상 히스토리에 저장된 물품 정보와 상기 제3물품영상을 비교하여 출고 물품 및 출고 물품의 위치를 결정하고,
상기 디스플레이는,
상기 결정된 출고 물품의 위치를 나타내는 그래픽 이미지를 상기 제3물품영상에 연계하여 디스플레이하는 것을 특징으로 하는 냉장고.
제1항에 있어서,
상기 제어부는,
상기 물품 영상 히스토리에 근거하여 상기 제2물품영상의 각 물품 이미지에 대응되는 물품의 위치 변경을 확인하고, 확인 결과에 근거하여, 각 물품에 매칭되는 물품 정보의 배열 저장 순서를 변경하는 것을 특징으로 하는 냉장고.
제1항에 있어서,
상기 제어부는,
제2물품영상을 상기 디스플레이에 디스플레이하고, 상기 물품 영상 히스토리에 근거하여 상기 부분 물품 이미지에 매칭되는 물품의 크기를 산출하고,
상기 디스플레이된 제2물품영상에서,
상기 부분 물품 이미지에 매칭되는 물품 정보는 해당 부문 물품 이미지에 인접하여 출력된 팝업창 내에 표시되고,
상기 부분 물품 이미지의 주변에는 상기 산출된 물품의 크기를 나타내는 그래픽객체가 다른 물품 이미지의 적어도 일부와 오버랩되어 표시되는 것을 특징으로 하는 냉장고.
제8항에 있어서,
상기 부분 물품 이미지에 대응되는 후면 물품 표시 요청이 수신되면,
상기 물품 영상 히스토리에 근거하여 추출된 상기 부분 물품 이미지에 매칭되는 물품의 나머지 부분 이미지가 상기 그래픽객체 내에 삽입되고, 상기 제2물품영상에서 상기 후면 물품을 가리는 다른 물품 이미지는 반투명 상태로 표시되는 것을 특징으로 하는 냉장고.
제8항에 있어서,
상기 제어부는,
상기 표시된 그래픽객체 내에 터치가 가해지면, 터치가 가해진 영역에 대응되는물품의 추가 정보와 관련된 제1기능을 실행하고,
상기 표시된 팝업창에 터치가 가해지면, 터치가 가해진 영역에 대응되는 물품의 구매와 관련된 제2기능을 실행하는 것을 특징으로 하는 냉장고.
제1항에 있어서,
냉장고 도어의 개폐를 감지하는 도어 개폐 감지 센서를 더 포함하고,
상기 제어부는,
상기 도어 개폐 감지 센서를 통해 냉장고 도어의 열림이 감지되면, 상기 카메라에 구동신호를 출력하여 연속 촬영을 수행하도록 제어하고,
상기 도어 개폐 감지 센서를 통해 냉장고 도어의 닫힘이 감지되면, 상기 카메라에 구동정지신호를 출력하고,
연속 촬영된 복수의 물품 영상을 비전인식하여, 대응되는 물품의 위치 정보와 출고 정보를 획득하고, 획득된 정보들에 기초하여 상기 물품 영상 히스토리를 생성하는 것을 특징으로 하는 냉장고.
제11항에 있어서,
상기 물품 영상 히스토리에는 상기 연속 촬영된 복수의 물품 영상 중에서 마지막 촬영된 물품 영상이 저장되는 것을 특징으로 하는 냉장고.
냉장고 저장실의 내부를 촬영하여, 제1물품영상을 획득하는 단계;
상기 제1물품영상의 비전인식을 통해 제1물품영상에 대응되는 물품 정보를 획득하는 단계;
획득된 물품 정보를 저장하여 물품 영상 히스토리를 생성하는 단계;
냉장고 저장실의 내부를 촬영하여, 일부가 타 물품에 의해 가려진 상태의 제2물품영상을 획득하는 단계;
상기 제2물품영상에서, 일부가 타 물품에 의해 가려진 부분 물품 이미지를 검출하는 단계;
상기 물품 영상 히스토리에 근거하여, 상기 검출된 부분 물품 이미지와 매칭되는 물품을 확인하는 단계; 및
상기 검출된 부분 물품 이미지를 상기 물품 영상 히스토리에서 확인된 물품 정보와 연계하여 디스플레이하는 단계를 포함하여 이루어지는 것을 특징으로 하는 냉장고의 물품 관리 방법.