KR20240051573A

KR20240051573A - 냉장고 및 이의 제어방법

Info

Publication number: KR20240051573A
Application number: KR1020220131419A
Authority: KR
Inventors: 황성목; 김진옥; 최선화; 송지현
Original assignee: 엘지전자 주식회사
Priority date: 2022-10-13
Filing date: 2022-10-13
Publication date: 2024-04-22

Abstract

본 발명은 냉장고 및 이의 제어방법에 관한 것으로, 저장 공간이 형성된 캐비닛; 상기 캐비닛을 개폐하는 도어; 상기 캐비닛의 내부에 구비되며, 상기 저장 공간을 촬영하는 카메라 모듈; 상기 저장 공간 내에 마련된 포토존 영역; 및 상기 카메라 모듈에서 획득한 정보를 기초로 상기 포토존 영역에 위치된 식품에 대한 정보를 원격 기기 또는 디스플레이부에 표시하는 제어부;를 포함하고, 상기 제어부는, 상기 포토존 영역에 위치한 식품에 대한 식별 정보가 알림 품목에 해당하는 경우, 식별된 식품에 대한 정보를 상기 원격 기기 또는 상기 디스플레이부에 표시하는 것을 특징으로 한다.

Description

냉장고 및 이의 제어방법{Refrigerator and control method for the same}

본 발명은 냉장고 및 이의 제어방법에 관한 것이다.

일반적으로 냉장고는 도어에 의해 차폐되는 내부의 저장공간에 음식물을 저온 저장할 수 있도록 하는 가전 기기이다. 이를 위해 냉장고는 냉동사이클을 순환하는 냉매와의 열교환을 통해 발생하는 냉기를 이용하여 저장공간의 내부를 냉각함으로써 저장된 음식물들을 최적상태로 보관할 수 있도록 구성된다.

최근의 냉장고는 식생활의 변화 및 제품의 고급화의 추세에 따라 점차 대형화 다기능화되고 있는 추세이며, 사용자의 편의 및 내부 공간을 효율적으로 사용할 수 있도록 하는 다양한 구조 및 편의장치를 구비한 냉장고가 출시되고 있다

대한민국 공개특허공보 제10-2008-0108686호에는 냉장고 내부를 확인할 수 있는 투시창이 냉장고 내부 조명과 연동되고, 투시창의 투명상태를 일정시간 후에 불투명으로 자동 전환시키는 기술을 개시하고 있다.

또한, 대한민국 등록특허 제10-2273192호에는 냉장고 내부를 촬영하고, 촬영된 이미지에 기반하여 식품을 인식할 수 있는 기술을 개시하고 있다.

이러한 식품 인식기술은, 냉장고 내 수납된 식품들이 서로 중첩되게 배치되는 경우, 입고되어 선반에 놓여있는 식품을 정확하게 인식할 수 없은 문제점이 있다.

또한, 냉장고 내 마련된 카메라를 통해 획득된 영상 정보를 AI 장치를 통해 객체를 인식하여 객체의 식별정보를 출력하는데 걸리는 시간이 오래 걸리는 문제가 있다.

또한, AI 장치를 통해 식별된 객체의 정보와 실제 식품의 정보가 다른 경우, 즉 오인식 된 경우, 사용자는 반복적으로 식품을 인식시키기 위해 추가 행동을 하거나, 사용자의 원격기기 또는 냉장고에서 인식된 식품 정보를 삭제, 수정, 또는 취소 등 부가적인 행동을 하게 되어 불편함을 초래할 수 있다.

본 발명은 냉장고에 구비된 카메라를 이용하여 사용자가 설정된 영역에 식품을 위치시키면 식품을 식별하여 식품 수납 상태 정보를 사용자에게 제공할 수 있는 것을 목적으로 한다.

본 발명은 저장실에 입고된 식품을 빠른 시간 내 정확하게 식별할 수 있는 냉장고를 제공하는 것을 목적으로 한다.

본 발명은, 포토존 영역의 식품이 알림 품목으로 인식되면, 원격 기기에 표시하고, 미알림 품목으로 인식되면, 원격 기기에 표시하지 않는 것을 특징으로 한다.

상세히, 본 발명의 일 실시예에 따른 냉장고는, 저장 공간이 형성된 캐비닛; 상기 캐비닛을 개폐하는 도어; 상기 캐비닛의 내부에 구비되며, 상기 저장 공간을 촬영하는 카메라 모듈; 상기 저장 공간 내에 마련된 포토존 영역; 및 상기 카메라 모듈에서 획득한 정보를 기초로 상기 포토존 영역에 위치된 식품에 대한 정보를 원격 기기 또는 디스플레이부에 표시하는 제어부;를 포함하고, 상기 제어부는, 상기 포토존 영역에 위치한 식품에 대한 식별 정보가 알림 품목에 해당하는 경우, 식별된 식품에 대한 정보를 상기 원격 기기 또는 상기 디스플레이부에 표시하는 것을 특징으로 한다.

상기 제어부는, 상기 포토존 영역에 위치한 식품에 대한 식별 정보가 미알림 품목에 해당하는 경우, 식별된 식품에 대한 정보를 상기 원격 기기 또는 상기 디스플레이부에 표시하지 않는 것이 가능하다.

상기 저장 공간에는 복수개의 선반이 구비되고, 상기 포토존 영역은, 상기 선반 전단부에서 전방으로 연장된 영역인 것이 가능하다.

상기 냉장고는, 객체인식 모델이 저장되어 상기 포토존 영역에 위치한 식품을 식별하는 인공지능 프로세서를 포함하는 것이 가능하다.

상기 객체인식 모델은, 원-스테이지 디텍터(1-stage detector) 모델을 기반으로 한 것이 가능하다.

상기 객체인식 모델은, 싱글 샷 디텍터(SSD; single shot detector)인 것이 가능하다.

상기 인공지능 프로세서는, 상기 싱글 샷 디텍터에 의해 획득한 정보를 오인식 개선 모델에 입력하여 상기 획득한 정보가 정상 범주인지 여부를 확인하는 것이 가능하다.

상기 오인식 개선 모델은, 맥스풀링 기법으로 획득한 정보를 OOD 네트워크에 입력하는 것이 가능하다.

상기 알림 품목은 상기 획득한 정보가 정상 범주인 것이 가능하다.

상기 냉장고는, 스피커를 더 포함하고, 상기 제어부는, 상기 알림 품목에 해당하는 경우, 알림음이 출력되도록 상기 스피커를 제어하는 것이 가능하다.

상기 미알림 품목은, 상기 획득한 정보가 비정상 범주인 것이 가능하다.

상기 미알림 품목은, 미리 설정된 식품의 식별 정보인 것이 가능하다.

상기 저장 공간에는 인출입이 가능한 드로워가 구비되고, 상기 제어부는, 상기 도어가 개방된 후, 드로워가 인출되지 않은 상태에서 상기 포토존 영역에 위치한 식품을 식별하는 것이 가능하다.

상기 카메라 모듈은, 상기 캐비닛 전단으로 갈수록 하방으로 돌출되도록 경사진 경사면을 포함하는 것이 가능하다.

상기 도어는, 상기 저장 공간의 일측을 개폐하는 제1 도어와, 상기 저장 공간의 타측을 개폐하는 제2 도어를 포함하고, 상기 제어부는, 상기 제1 도어와 상기 제2 도어 중 어느 하나가 개방된 상태에서, 사용자가 상기 포토존 영역에 식품을 위치시키면, 상기 포토존 영역에 위치한 식품을 인식하여 상기 원격 기기 또는 상기 디스플레이부에 표시하는 것이 가능하다.

본 발명의 일 실시예에 따른 냉장고의 제어방법은, 저장 공간이 형성된 캐비닛; 상기 캐비닛을 개폐하는 도어; 및 상기 캐비닛의 내부에 구비되며, 상기 저장 공간을 촬영하는 카메라 모듈;을 포함하는 냉장고에 있어서, 상기 카메라 모듈로부터 영상 또는 이미지가 입력되는 단계; 상기 입력된 이미지 또는 영상을 기초로 이미지 변환을 수행하는 단계; 상기 변환된 이미지를 기초로, 포토존 영역에 위치한 식품을 식별하는 단계; 및 식별된 식품 정보를 원격 기기 또는 디스플레이부에 표시하는 단계;를 포함하고, 상기 표시하는 단계는, 상기 포토존 영역에 위치한 식품에 대한 식별 정보가 알림 품목에 해당하는 경우, 식별된 식품에 대한 정보를 상기 원격 기기 또는 상기 디스플레이부에 표시하는 것을 특징으로 한다.

상기 포토존 영역에 놓인 식품에 대한 식별 정보가 미알림 품목에 해당하는 경우, 식별된 식품에 대한 정보를 상기 원격 기기 또는 상기 디스플레이부에 표시하지 않는 것이 가능하다.

상기 식품을 식별하는 단계는 원-스테이지 디텍터(1-stage detector) 모델을 기반으로 식품을 식별하는 것이 가능하다.

상기 식품을 식별하는 단계는 오인식 개선 모델에 입력하여 획득한 정보가 정상 범주인지 여부를 확인하는 단계를 포함하는 것이 가능하다.

상기 알림 품목은 상기 획득한 정보가 정상 범주이고, 상기 미알림 품목은 상기 획득한 정보가 비정상 범주인 것이 가능하다.

본 발명은 냉장고에 구비된 카메라를 이용하여 사용자가 포토존 영역에 식품을 위치시키면 식품을 식별하여 식품 수납 상태 정보를 사용자에게 제공할 수 있다. 따라서, 사용자가 관리를 원하는 식품을 선택하여 식품에 대한 정보를 저장할 수 있는 이점이 있다.

또한, 본 발명은 포토존 영역에 위치한 식품을 빠른 시간 내 정확하게 식별할 수 있다. 따라서, 사용자는 원격 기기 또는 디스플레이부를 통해 인식된 식품에 대한 정보를 바로 확인할 수 있는 이점이 있다.

또한, 본 발명은 정확성이 높은 식품의 식별 정보만은 사용자의 원격 기기에 표시하여, 식품의 오인식으로 인한 사용자의 불편함을 방지할 수 있는 이점이 있다.

도 1은 본 발명의 일 실시예에 따른 냉장고를 보인 사시도이다.
도 2는 상기 냉장고의 도어가 개방된 상태를 보인 정면도이다.
도 3은 카메라가 구비된 위치에 따른 포토존 영역을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 카메라 모듈을 분리된 상태를 나타낸 분해도이다.
도 5는 카메라 모듈이 장착된 구조를 설명하기 위한 단면도이다.
도 6은 제1 도어와 제2 도어가 모두 개방된 상태에서 식품의 위치 및 포토존 영역을 설명하기 위한 도면이다.
도 7은 제1 도어가 개방된 상태에서 식품의 위치 및 포토존 영역을 설명하기 위한 도면이다.
도 8은 제2 도어가 개방된 상태에서 식품의 위치 및 포토존 영역을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 냉장고의 개략적인 블록도이다.
도 10은 입력된 이미지를 통해 식품을 식별하기 위한 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 객체인식 모델을 설명하기 위한 도면이다.
도 12는 SSD 모델을 설명하기 위한 도면이다.
도 13은 Score in & out density 비교 그래프이다.
도 14는 포토존 영역에 위치한 식품을 인식하는 제어 흐름도이다.
도 15은 포토존 영역에 식품이 위치된 상태를 나타낸 도면이다.
도 16은 원격 기기 또는 디스플레이에 식별된 식품 정보가 표시된 상태를 나타낸 도면이다.

이하에서는 본 발명의 구체적인 실시 예를 도면과 함께 상세히 설명하도록 한다. 그러나 본 발명은 본 발명의 사상이 제시되는 실시 예에 제한된다고 할 수 없으며, 또 다른 구성요소의 추가, 변경, 삭제 등에 의해서 퇴보적인 다른 발명이나 본 발명의 사상범위 내에 포함되는 다른 실시 예를 용이하게 제안할 수 있다.

설명에 앞서 방향을 정의한다. 본 발명의 실시 예는 도 1에서 보이는 캐비닛을 기준으로 도어를 향하는 방향을 전방, 도어를 기준으로 캐비닛을 향하는 방향을 후방 그리고, 냉장고가 설치되는 바닥면을 향하는 방향을 하방, 그리고 바닥면에서 멀어지는 방향을 상방으로 정의할 수 있다.

또한, 본 발명의 실시 예는 도 1을 기준으로 냉장고를 전방에서 바라본 모습을 기준으로 좌측 방향과, 우측 방향을 정의할 수 있다.

도 1은 본 발명의 일 실시예에 따른 냉장고를 보인 사시도이다. 그리고, 도 2는 상기 냉장고의 도어가 개방된 상태를 보인 정면도이다.

냉장고(1)는 적어도 하나 이상의 저장공간을 구비하는 캐비닛(10), 캐비닛(10) 전면에 구비되어 저장공간을 개폐하는 도어(121, 122), 카메라(121)를 포함할 수 있다.

캐비닛(10)은 전체적인 외관을 형성하는 아우터 케이스(101)와 내부에 식품이 보관되는 저장공간을 형성하는 인너 케이스(102)를 포함한다. 아우터 케이스(101)와 인너 케이스(102) 사이에는 단열재가 충진될 수 있다.

상기 저장공간은 냉장실(12) 또는 냉동실(13) 중에서 적어도 하나 이상이 포함될 수 있다. 일례로, 냉장실(12)은 저장 공간(12)의 상부에 배치되고, 냉동실(13)은 저장 공간(12)의 하부에 배치될 수 있다.

상기 저장공간은 베리어(53)가 설치되어 냉장실(12)과 냉동실(13)을 구분할 수 있다.

냉장고(1)는 제1 도어(21a) 내지 제4 도어(22b)에 의해 차폐되는 내부의 저장공간에 음식물을 저온 저장할 수 있다. 냉장고(1)는 냉동사이클을 순환하는 냉매와의 열교환을 통해 발생하는 냉기를 이용하여 저장공간의 내부를 냉각하여 저장된 음식물을 최적상태로 보관할 수 있다.

냉장고(1)의 제1 도어(21a)와 제2 도어(21b)는 냉장실을 개폐하는 냉장실 도어일 수 있다. 제3 도어(22a)와 제4 도어(22b)는 냉동실을 개폐하는 냉동실 도어일 수 있다.

제1 도어(21a) 내지 제4 도어(22b)는 냉장실 또는 냉동실의 개구된 전면을 회동에 의해 개폐하도록 구성될 수 있다. 또한, 필요에 따라서, 제3 도어(22a) 및/또는 제4 도어(22b)는 서랍식으로 인출 가능하게 구성될 수 있다.

저장 공간(12) 내부에는, 복수의 공간으로 구획된 상태에서 식품이 거치되는 복수개의 선반(50)이 구비될 수 있다. 선반(50)은 저장 공간의 내부를 수평 방향으로 구획될 수 있다.

저장 공간(12) 내부에는 캐비닛(10) 전방으로 인출할 수 있도록 마련된 드로워(51)가 구비될 수 있다. 이러한 드로워(51)에 의해 야채 및 과일 등을 저장하기 위한 저장실이 따로 마련될 수 있다.

드로워(51)는 저장공간 내에 좌우측으로 두개가 배치되는 것이 가능하다. 사용자는 좌측 또는 우측에 배치되는 드로워(51)에 접근하기 위해 제1 도어(21a) 또는 제2 도어(21b)를 독립적으로 개방할 수 있다.

도어 후면에는 음료 등을 배치할 수 있도록 마련된 바스켓(52)이 복수개 구비될 수 있다.

본 발명의 실시예에서는 냉동실이 하방에 구비되는 바텀 프리즈 타입 냉장고를 예를 들어 설명하고 있으나, 본 발명은 냉장고 형태에 구애받지 않고 도어가 구비되는 모든 타입의 냉장고에 적용될 수 있다.

냉장고(1)의 도어에는 디스플레이부가 구비될 수 있다. 이러한 디스플레이부(30)는 표시 장치로 제공될 수 있으며, 일례로 제1 도어(21a) 전면에 구비될 수 있다.

디스플레이부(30)는 냉장고(1)의 동작에 대한 정보, 저장 공간에 입고된 객체(식품) 정보, 사용자 정보 등의 다양한 정보를 출력할 수 있다.

냉장고(1)는 저장 공간(12)을 촬영할 수 있는 카메라(121)가 구비된다. 상기 카메라(121)는 캐비닛(10) 상면에 구비되어, 하방을 촬영하도록 배치될 수 있다.

카메라(121)에서 촬영된 사진이나 냉장고에 관한 다양한 정보는 냉장고 전면에 마련된 디스플레이부(30)를 통해서 사용자에게 제공될 수 있다.

이하에서는, 본 발명의 일 실시예에 따른 카메라 모듈(120)에 대해서 상세히 설명한다.

도 3은 카메라가 구비된 위치에 따른 포토존 영역을 설명하기 위한 도면이다. 그리고, 도 4는 일 실시예에 따른 카메라 모듈을 분리된 상태를 나타낸 분해도이다. 그리고, 도 5는 카메라 모듈이 장착된 구조를 설명하기 위한 단면도이다.

카메라 모듈(120)은 캐비닛(10) 상면에 고정된 상태에서 냉장실(12) 내부의 사진을 촬영할 수 있도록 마련된다.

카메라 모듈(120)은 도어가 개방된 상태에서, 상기 복수개의 선반(50)들 중에서 가장 상측에 위치한 선반(50)의 후단부와, 캐비닛(10)의 전단까지 촬영할 수 있도록 마련될 수 있다.

카메라 모듈(120)은 캐비닛(10) 후단에서 전단으로 갈수록, 하방으로 더 돌출되도록 경사지게 배치될 수 있다. 이 경우, 카메라 모듈(120)은 선반(50) 전단부와 캐비닛(10) 전단 까지의 영역을 포함하여 촬영할 수 있게 된다.

즉, 카메라(121)에 의해 촬영되는 촬영 영역(120a)은 가장 상측에 있는 선반(50a) 후단에서, 캐비닛(10) 전단까지 영역을 포함하여 정의될 수 있다.

카메라 모듈(120)은 카메라(121)가 수용되는 케이스(122)와, 카메라(121) 및 카메라(121)가 안착되는 베이스(124)를 포함한다.

상기 케이스(122)는 하면이 개구되고, 내부에 카메라(121)가 수용되는 공간을 제공한다. 상기 케이스(122)는 상기 카메라(121)가 베이스(124)에 안착된 상태에서 경사지게 배치된 상태를 유지할 수 있는 구조를 제공한다.

카메라(121)는 포토존 영역을 포함한 저장실 내부를 촬영할 수 있도록 경사진 상태로 배치될 수 있다. 카메라(121)는 캐비닛(10)의 전단에서 가장 상측에 위치한 선반(50)의 후단부까지 촬영할 수 있다. 카메라(121)는 캐비닛(10) 전단으로 갈수록 하방으로 돌출되도록 경사진 경사면(121a)을 포함한다.

베이스(124)는 상기 카메라(121) 적어도 일부가 외부로 노출될 수 있도록 마련된 개구(125)를 포함한다. 상기 베이스(124)는 상기 카메라(121)가 경사면(121a)과 대응하는 형상으로 마련된 안착부(126)를 포함할 수 있다. 상기 안착부(126)는 캐비닛(10) 전단으로 갈수록 하방으로 돌출되도록 마련될 수 있다.

카메라(121)는 베이스(124)의 개구부(125)를 통해 노출된 상태에서 저장 공간을 촬영할 수 다.

상기 베이스(124)에는 카메라(121)가 베이스(124)에 안착된 위치를 고정하는 고정부(127)를 더 포함할 수 있다.

베이스(124)에는 테두리부(128)를 따라 마련된 후크부(129)에 의해 상기 케이스(122)와 결합할 수 있다. 또한, 케이스(122)와 베이스(124)가 체결부재에 의해 서로 결합될 수 있도록 체결홀(123)이 상기 케이스(122)에 마련될 수 있다.

이와 같이, 카메라 모듈(120)은 상기 캐비닛 상면에 장착된 상태에서, 캐비닛 전방으로 갈수록 하방으로 더 돌출될 상태로 배치될 수 있다. 카메라 모듈(120)이 설정된 각도로 경사지게 배치됨에 따라, 카메라(121)는 캐비닛 전면 즉, 도어 후면에서 저장 공간 후면부까지 촬영할 수 있다.

상기 카메라(121)에 의해서 촬영되는 영역은, 복수개로 구분될 수 있다. 일례로, 카메라(121)는 드로워(51)의 외측 공간에 식품이 저장되는 제1 영역을 촬영할 수 있다. 또한, 카메라(121)는 드로워의 내측 공간에 식품이 저장되는 제2 영역을 촬영할 수 있다.

일례로, 카메라(121)는 도어가 개폐된 상태에서, 제1 영역을 촬영할 수 있다. 카메라(121)는 드로워(51)가 전방으로 인출된 상태에서 제2 영역을 촬영할 수 있다.

즉, 카메라(121)는 사진이 촬영되는 시점과 상기 도어 또는 드로워(51)의 위치 관계에 따라서 서로 다른 영역을 촬영할 수 있다.

한편, 본 발명의 일 실시예 따른 냉장고는, 사용자가 포토존 영역(40)에 식품을 위치키면, 카메라(121)가 포토존 영역(40)을 사진 촬영할 수 있다. 그리고, 제어부(14)는 카메라(121)에서 획득한 사진을 기초로, 포토존 영역(40)에 배치된 식품을 식별하여, 디스플레이부(30) 또는 사용자의 원격 기기에 식품에 관한 정보를 출력할 수 있다.

도 6은 제1 도어와 제2 도어가 모두 개방된 상태에서 식품의 위치 및 포토존 영역을 설명하기 위한 도면이다. 그리고, 도 7은 제1 도어가 개방된 상태에서 식품의 위치 및 포토존 영역을 설명하기 위한 도면이다. 그리고, 도 8은 제2 도어가 개방된 상태에서 식품의 위치 및 포토존 영역을 설명하기 위한 도면이다.

냉장고(1)는 냉장고의 전반적인 동작을 제어하는 제어부(14)를 포함한다.

제어부(14)는 포토존 영역(40)에 식품이 위치하면, 사진 촬영을 할 수 있도록 카메라(121)를 제어할 수 있다.

포토존 영역(40)은 상기 드로워(51)가 냉장실(12)에 인입된 상태에서, 상기 냉장실(12)에 구비된 복수개의 선반들 중에서 가장 하측에 위치한 선반(50b)과, 냉장실(12)의 하단 사이의 공간일 수 있다. 달리 설명하면, 포토존 영역(40)은 상기 드로워(51)가 저장 공간에 인입된 상태에서, 저장 공간 내 드로워(51)의 전면이 차지하는 영역으로 정의될 수 있다.

상기 드로워(51)가 인입된 상태에서, 상기 배리어(53) 전단은 상기 선반(50)의 전단보다 더 전방에 위치될 수 있다. 이에, 드로워(51)가 인입된 상태에서는, 드로워(51)의 전면과 배리어(53) 전단 사이에 공간이 마련될 수 있다.

상기 카메라(121)는 캐비닛(10) 상측에 구비되어, 상기 포토존 영역(40)을 포함하여 사진을 촬영할 수 있다.

포토존 영역(40)은 포토존 영역(40) 내에서 복수개의 공간으로 구획될 수 있다. 일례로, 포토존 영역(40)은 상기 드로워(51) 전면을 기준으로 상부에 3개의 영역(PZ1, PZ2, PZ3)으로 구획될 수 있다. 또한, 포토존 영역(40)은 상기 드로워(51) 전면을 기준으로 하부에 3개의 영역(PZ4, PZ5, PZ6)으로 구획될 수 있다.

사용자는 복수개의 영역들 중에서, 적어도 어느 하나의 영역 내에 식품을 위치시키면, 제어부(14)는 사진 촬영되도록 카메라(121)를 제어할 수 있다.

이와 같이, 식품이 인식가능한 영역을 포토존 영역(40) 내에서 복수개로 구획되어, 사용자가 저장공간 중앙부에서 일측으로 치우친 위치에 식품을 위치시키더라도, 카메라(121)는 식품을 촬영할 수 있다.

또한, 도 7 과 같이 제1 도어(21a)만 개방되고, 제2 도어(21b)가 닫힌 상태에서도 사용자가 포토존 영역(40)에 식품을 위치시키면, 제어부(14)는 포토존 영역에 위치된 식품을 식별하도록 상기 카메라 모듈에서 획득한 이미지 또는 영상을 제어할 수 있다.

또한, 도 8과 같이 제2 도어(21b)만 개방되고, 제1 도어(21a)가 닫힌 상태에서도 사용자가 포토존 영역(40)에 식품을 위치시키면, 제어부(14)는 포토존 영역에 위치된 식품을 식별하도록 상기 카메라 모듈에서 획득한 이미지 또는 영상을 제어할 수 있다.

따라서, 사용자가 제1 도어(21a)와 제2 도어(21b) 중에서 어느 하나의 도어만을 개방시킨 상태에서, 식품을 포토존 영역(40)에 위치시키더라도, 식품을 식별할 수 있다.

본 발명의 일 실시예에 따르면, 제어부(14)는 포토존 영역(40)에 위치된 식품을 식별하고, 식품에 대한 정보를 디스플레이부(30) 또는 원격 기기(400)에 디스플레이할 수 있다.

도 9는 본 발명의 일 실시예에 따른 냉장고의 개략적인 블록도이다.

원격 기기(400)는 사용자가 조작 가능한 데스크 탑 컴퓨터, 스마트폰, 노트북, 태블릿 PC, 스마트 TV, 휴대폰, PDA(personal digital assistant)일 수 있다.

서버(141)는 각종 인공지능 알고리즘을 적용하는데 필요한 빅데이터 및 냉장고(1)를 동작시키는 데이터를 제공하는 데이터베이스 서버일 수 있다.

서버(141)는 원격 기기(400)에 설치된 냉장고 구동 어플리케이션 또는 냉장고 구동 웹 브라우저를 이용하여 냉장고(1) 동작을 원격에서 제어할 수 있도록 하는 웹 서버 또는 애플리케이션 서버를 포함할 수 있다.

서버(141)는 냉장고(1)와의 신호 송수신을 수행할 수 있고, 특히 포토존 영역(40)에 위치한 식품을 인식하고 그 결과를 냉장고(1)로 전송할 수 있다.

여기서, 인공 지능(artificial intelligence, AI)은, 인간의 지능으로 할 수 있는 사고, 학습, 자기계발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 것을 의미할 수 있다.

머신 러닝(machine learning)은 인공지능의 한 분야로, 컴퓨터에 명시적인 프로그램 없이 배울 수 있는 능력을 부여하는 연구 분야를 포함할 수 있다. 구체적으로 머신 러닝은, 경험적 데이터를 기반으로 학습을 하고 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이라 할 수 있다. 머신 러닝의 알고리즘들은 엄격하게 정해진 정적인 프로그램 명령들을 수행하는 것이라기보다, 입력 데이터를 기반으로 예측이나 결정을 이끌어내기 위해 특정한 모델을 구축하는 방식을 취할 수 있다.

네트워크는 냉장고(1)와 원격 기기(400)와, 서버(141)를 연결하는 역할을 수행할 수 있다. 이러한 네트워크는 예를들어 LANs(local area networks), WANs(wide area networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크일 수 있다. 또는 네트워크는 블루투스(bluetooth), RFID(radio frequency identification), Wi-Fi (wireless fidelity) 등의 근거리 통신 기술을 포함할 수 있다.

냉장고는 메모리(142), 제어부(14) 및 통신부(143)를 포함할 수 있다.

냉장고(1)는 통신부(143)를 통해 딥러닝 모델을 포함하는 AI 장치에 필요한 데이터를 전송할 수 있다. 그리고, AI 장치는 딥러닝 모델을 이용한 AI 프로세싱 결과를 제어부(14)로 전송할 수 있다.

또는, 냉장고(1)는 인공지능 프로세서(15)가 구비될 수 있다. 이러한 인공지능 프로세서(15)는, 카메라(121)를 통해 획득한 정보를 기초로, 딥러닝 모델을 이용한 AI 프로세싱 결과를 제어부(14)로 전송할 수 있다.

이러한 인공지능 프로세서(15)는 상기 제어부(14)와 별도로 냉장고(1)에 구비될 수 있다.

일례로, 상기 제어부(14)는 캐비닛(10) 상면에 구비될 수 있으며, 상기 인공지능 프로세서(15)는 도어 내측에 구비될 수 있다.

냉장고(1)는, 냉매사이클을 수행하는데 필요한 동작을 제어하는 구동부(145)를 포함할 수 있다. 냉장고(1)는 소리를 출력하는 스피커(16)를 포함한다. 그리고, 사용자로 하여금 냉장고 동작을 설정할 수 있도록 마련된 조작부(146)를 포함한다.

제어부(14)는 통신부(143)를 통해, 인공지능 프로세서(15)를 업그레이드할 수 있다. 따라서, 필요에 따라 인공지능 프로세서(15)를 업그레이드함으로써, 사용자 편의를 증대시킬 수 있다.

또한, 냉장고(1)는 냉장고 내에 구비되는 적어도 하나의 전자 장치와 유선 또는 무선으로 연결되어 냉장고의 구동, 냉장고의 내부 온도 제어, 촬영된 촬영 이미지에 필요한 데이터 또는 메타 데이터를 교환할 수 있는 인터페이스부를 포함할 수 있다. 이러한 인터페이스부는 통신 모듈, 단자, 핀, 케이블, 포트, 회로, 소자 및 장치 중 적어도 어느 하나로 구성될 수 있다.

메모리(142)는 제어부(14)와 연결되어, 제어부(14)에서 처리된 데이터를 저장할 수 있다. 메모리(142)는 ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 중 적어도 어느 하나로 구성될 수 있다. 메모리(142)는 제어부(14)의 처리 또는 제어를 위한 프로그램 등, 냉장고(1) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.

일례로, 메모리(142)는 냉장고의 내부를 촬영한 촬영 이미지, 촬영 이미지와 관련된 다양한 데이터, 이와 관련된 AI 프로세싱된 데이터 등을 저장할 수 있다.

냉장고(1)는 카메라(121)를 통해 획득된 데이터를 통신부(143)를 통해 인공지능 프로세서(15)로 전송하고, 인공지능 프로세서(15)는 전달된 데이터에 딥러닝 모델에 적용하여 생성된 AI 프로세싱 데이터, 즉 일례로 식품에 대한 식별 정보를 냉장고(1)로 전송할 수 있다.

이하에서는, 냉장고(1)의 포토존 영역(40)에 위치한 식품을 인식하기 위한 방법에 대하여 상세히 설명한다.

도 10은 입력된 이미지를 통해 식품을 식별하기 위한 방법을 설명하기 위한 도면이다. 그리고, 도 11은 본 발명의 일 실시예에 따른 객체인식 모델을 설명하기 위한 도면이다. 그리고, 도 12는 SSD 모델을 설명하기 위한 도면이다. 그리고, 도 13은 Score in & out density 비교 그래프이다.

제어부(14)는 카메라(121)를 통해 획득한 영상이 입력될 수 있다(S10).

제어부(14)는 획득한 영상을 기초로, 객체인식 모델에 입력되기 위한 이미지 변환을 수행할 수 있다(S11).

그리고, 제어부(14)는, 인공 지능프로세서(15)에 변환된 이미지를 입력하여, 이미지에 대한 정보를 획득할 수 있다(S12).

이때, 인공지능 프로세서(15)는, 1-stage detector 모델을 기반으로한 객체인식 모델을 포함할 수 있다.

제어부(14)는 획득한 정보를 맥스 풀링기법을 통해 벡터값을 추출할 수 있다(S13).

제어부(14)는 추출된 벡터값을 OOD Neural Network에 입력하여, 객체 인식의 정확성을 개선할 수 있다(S14).

제어부(14)는 벡터값이 설정된 한계점 범위에 위치하는 경우, 원격 기기(400) 또는 디스플레이부(30)에 식별된 식품 정보를 표시할 수 있다(S15).

제어부(14)는 벡터값이 설정된 한계점 범위를 벗어나는 경우, 획득한 정보를 삭제하고, 원격 기기(400) 또는 디스플레이부(30)에 정보를 표시하지 않을 수 있다(S16).

이를 도 11을 참초하여 상세히 설명하면, 제어부(14)는 카메라(121)를 제어하여 냉장고의 내부에 저장 또는 보관되는 식품을 촬영할 수 있다.

상세히, 제어부(14)는 도어 개방 여부를 감지할 수 있다. 도어 스위치(144)를 통해, 도어가 개방되었음을 감지할 수 있다.

도어 개방이 감지되면 제어부(14)는 카메라(121)를 제어하여 포토존 영역(40)을 포함한 냉장고 내부를 촬영할 수 있다.

한편, 상기 제어부(14)는 도어가 개방된 후, 상기 드로워(51)가 인출된 것으로 감지되면, 상기 드로워(51) 내부에 위치된 식품을 식별하기 위해 촬영하도록 상기 카메라(121)를 제어할 수 있다. 또한, 상기 드로워(51)가 인출된 것으로 감지되면, 상기 제어부(14)는 상기 드로워(51) 내부 식품을 식별하기 위한 객체 식별 모델로 획득된 촬영 정보를 전송할 수 있다.

상기 제어부(14)는 상기 드로워(51)가 인입된 상태에서, 상기 포토존 영역(40)에 식품이 위치한 것으로 감지하면, 카메라(121)가 획득한 촬영 정보는 제어부 또는 메모리에 전송할 수 있다. 예를 들어, 촬영 정보는 촬영한 이미지, 촬영한 시간, 촬영시 조도 등을 포함할 수 있다.(S20)

제어부(14)는 생성된 촬영 정보를 메모리(142)에 저장할 수 있다. 이러한 촬영 정보는 제어부(14)의 제어 하에 시간 또는 날짜별로 구분되어 메모리에 저장될 수 있다.

제어부(14)는 사진이 입력되면, 전처리 과정을 통해 변환된 이미지를 생성할 수 있다.

이러한 전처리 과정은, 객체 인식 모델이 이미지 데이터가 입력되기 전 이미지를 변환하는 과정이라 할 수 있다.

제어부(14)는 촬영된 사진에서 포토존 영역(40)을 포함하는 이미지만을 남기고, 나머지 영역을 제거할 수 있다(S21).

제어부(14)는 포토존 영역(40)을 포함하는 이미지의 크기를 설정한 크기로 변환할 수 있다. 일례로, 제어부(14)는 최종 변환된 이미지의 크기를 300₁로 변환시킬 수 있다(S22).

제어부(14)는 상기 변환된 이미지를 정규화(regularization)시킬 수 있다(S23).

제어부(14)는 객체 인식 모델을 이용하여 이미지에 포함된 객체들을 인식할 수 있다.

객체 인식 모델은 이미지 데이터가 입력되면 입력된 이미지 데이터에 포함된 객체에 대한 객체 인식 정보를 출력하는 모델을 의미할 수 있다. 객체 인식 정보는 객체의 카테고리(category)나 종류(type)를 나타내는 정보나, 객체의 색상이나 크기와 같은 속성(attribute)을 나타내는 정보 등을 포함할 수 있다.

객체 인식 모델은 인공지능 프로세서(15)에 저장될 수 있다. 객체 인식 모델은 인공 신경망을 포함하며, 딥 러닝 알고리즘 또는 머신 러닝 알고리즘을 이용하여 학습될 수 있다.

이때, 객체 인식 모델은 딥러닝 모델을 포함할 수 있다. 딥 러닝 모델에서 복수의 네트워크 노드들은 서로 다른 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고받을 수 있다.

본 발명에 따른 객체 인식 모델은, 박스(box) 정보와 분류(classification) 정보를 동시에 하는 1-stage detector를 기초로 하여, 포토존 영역(40) 내 위치된 식품을 식별할 수 있다. (S24)

이러한 1-stage detector를 사용함으로써, 기존 CNN 기반의 2-stage detector를 사용한 객체 인식 모델보다 객체를 검출하는 속도가 빠른 이점이 있다. 따라서, 사용자가 식품을 포토존 영역(40)내 위치시켜 식품을 식별하는데 걸리는 시간을 단축시킬 수 있다.

1-stage detector는 일례로, 싱글 샷 디텍터(SSD; single shot detector)를 사용할 수 있다.

도 12를 참조하면, 이러한, SSD는 CNN 구조의 중간 몇 개의 컨볼루셔널 레이어(convolutional layer)에서 특징지도(Crop Feature Map)를 추출할 수 있다.

SSD는 객체 위치영역(Detection Box)과 클래스 정보(Class Label)를 획득할 수 있다. (S25, S26)

상기 클래스 정보는 이미지 안의 객체의 종류를 구분한 정보이다. 일례로, 검출된 이미지가 육류인지 생선류 인지, 닭고기, 또는 고등어 인지 등의 정보로 이해될 수 있다.

상기 객체 위치영역은 이미지안에 객체가 어느 위치에 있는지에 대한 정보이다. 주로 Bounding box를 많이 사용하며 bounding box의 left top, 혹은 right bottom 좌표 정보를 포함할 수 있다.

SSD는 특징지도(feature map)에 맞는 위치에 박스(box) 정보를 scale한 후 [N,M,T]에서 [1,T]로 맥스 풀링(Max Pool)기법을 통해 얻을 수 있다. 이러한 맥스 풀링 기법은 정해진 구역 안에서 가장 큰 값만 추출하는 방식으로 정의될 수 있다(S27, S28).

[1, T]로 얻은 벡터(vector)를 피쳐 스케일링(feature scaling) 적용하여 변환할 수 있다(S29).

한편, 1-stage detector 방식의 객체식별모델의 경우, 상대적으로 속도가 개선되나, 정확성이 다소 떨어질 수 있다.

상기 인공지능 프로세서(15)는, SSD 연산에 의해 획득한 정보를, OOD(out-of-distribution) Network에 입력하여, 식품의 식별 정보에 대한 정확성을 향상시킬 수 있다. (S30)

상기 OOD Detection은 In-distribution 데이터 셋으로 network를 학습시킨 뒤, test 단계에서 비정상 sample을 찾는 문제로 이해될 수 있다.

학습 외 분포 데이터(Out of distribution Data)는　학습 데이터의 분포와는 다른 분포를 갖는 데이터를 의미한다. 분류 문제에서 out of distribution은 학습 데이터에 포함되지 않은 class를 가진 데이터를 의미한다.

OOD Detection은 예를 들어, 딥러닝을 기반으로, One-Class Classification 방법론을 사용하는 DEEP SVDD 모델일 수 있다.

이때, 상기 DEEP SVDD 모델은, 2개의 Weight를 가지는 네트워크로 간소화된 모델을 사용할 수 있다.

도 13을 참조하면, 상기 인공지능 프로세서(15)는, 변환된 벡터를 OOD(out-of-distribution) Neural Network에 input을 넣은 후 나온 값(value)이 임의의 한계점(threshold) 사이에 있는지 여부를 확인한다. (S31)

상기 인공지능 프로세서(15)는, 변환된 벡터를 OOD(out-of-distribution) Neural Network에 input을 넣은 후 나온 값(value)이 임의의 한계점(threshold) 사이에 있으면 객체 정보(Object class)로 반환한다. (S32)

도 13에서, (a)부분이 Inlier(인식품목)에 대한 Score값의 value들이 모여있는 구간이다. 그리고, outlier(오동작)의 경우, 일정 분포를 따르지 않는 Uniform 분포이다.

해당 한계점(threshold)값은 (a)부분의 값들에서 실험적으로 증가혹은 감소를 통해서 값을 설정할 수 있다.

상기 인공지능 프로세서(15)는, 변환된 벡터를 OOD Neural Network에 input을 넣은 후 나온 값(value)이 임의의 한계점(threshold) 사이에 없으면, 결과 정보를 삭제할 수 있다. (S33)

이와 같이, 객체 인식 모델로, 싱글 샷 디텍터를 사용함으로써, 처리 속도를 향상시키고, OOD Neural Network를 통해서 학습되지 않은 타겟에 대해 오인식하는 것을 개선할 수 있다. 이러한 OOD Neural Network를 오인식 개선 모델이라고도 부를 수 있다.

예를들어, 객체 인식 모델로 싱글 샷 디텍터를 사용함으로써, 카메라(121)에서 획득한 영상에서 학습되지 않는 타겟의 영상이 나타나면, 이를 오인식하여 잘못된 식품 정보를 원격 기기(400)나 디스플레이부(30)에 표시할 수 있다. 일례로, 고기가 아닌 다른 식품을 포토존 영역(40)에 위치하였음에도 불구하고, 고기로 오인식하여 원격 기기(400)에 표시될 수 있다.

본 발명에서는 오인식 개선 모델을 적용하여, 싱글 샷 디텍터에서 획득된 데이터를 오감지 개선 모델에 입력하여, 데이터 값이 한계점 사이에 있는 경우에만 결과정보를 원격 기기(400) 또는 디스플레이부(30)에 표시할 수 있다. 따라서, 포토존 영역(40)에 위치한 식품에 대한 식별 정보의 신뢰성을 개선시킬 수 있다.

이와 같이, 상기 한계점 사이에 있는 데이터 값을 정상 범주에 있다고 할 수 있다.

상기 제어부(14)는 인공지능 프로세서(15)에 수신된 반환된 객체 정보에 대해 사용자의 원격 기기 또는 디스플레이부에 표시할 수 있다.

상기 원격 기기(400) 또는 디스플레이부(30)에 표시되는 정보는, 포토존 영역(40)에 위치한 식품이 무엇인지, 저장된 위치 및 입고날짜 등일 수 있다.

이때, 상기 제어부(14)는 스피커(16)를 통해 알림음을 출력하여, 식품이 인식되었음을 사용자에게 알릴 수 있다. 이러한 알림은 설정된 소리음일 수 있다. 또는, "식품이 인식되었습니다" 등과 같이 음성 발화 형식일 수 있다.

상기 인공지능 프로세서(15)는 OOD Neural Network에서 나온 값(value)이 임의의 한계점(threshold) 사이에 없는 경우, 결과 정보를 삭제할 수 있다.

이와 같이, 상기 한계점 사이를 벗어난 데이터 값을 비정상 범주에 있다고 할 수 있다.

이 경우, 제어부(14)는 스피커(16)에 알림음을 출력하지 않을 수 있다.

또는, 상기 제어부(14)는, 알림음을 출력하여, 식품이 인식되지 않았음을 사용자에게 알릴 수 있다. 이러한 알림음은 설정된 소리음이거나, 음성 발화 형식일 수 있다.

또는, 제어부(14)는 원격 기기(400) 또는 디스플레이부(30)에 식품이 인식되지 않았음을 표시할 수 있다.

이러한 인공지능 프로세서(15)를 통해 식별 가능한 품목으로는, 예를 들어 닭, 훈제오리, 돼지고기, 소고기 등의 육류, 갈치, 고등어, 꽁치, 삼치 등의 생선류, 오징어 낙지 등 오징어류일 수 있다. 이러한 식별 가능한 품목은 알림 품목에 해당한다.

인공지능 프로세서(15)를 통해 식별된 품목이 알림 품목에 해당하는 경우, 제어부(14)는 스피커(16)를 통해 알림음을 출력하여, 식품이 인식되었음을 사용자에게 알릴 수 있다.

또한, 제어부는, 인공지능 프로세서(15)에서 식별된 식품에 대한 정보를 사용자의 원격 기기(400) 또는 디스플레이부(30)에 표시할 수 있다.

한편, 인공지능 프로세서(15)는 미알림 품목에 대해서 학습된 데이터를 포함할 수 있다. 상기 제어부(14)는 SSD를 통해 식별된 식품이 미알림 품목에 해당하는 경우, 식별된 식품에 대한 정보를 디스플레이부(30) 또는 원격 기기(400)에 표시하지 않을 수 있다.

이러한 미알림 품목은, 장류, 소스류, 콩류, 물, 비닐류, 플라스틱류, 달걀류, 치즈류, 소시지류 및 신체 중에서 적어도 1이상을 포함할 수 있다.

구체적으로 미알림 품목은 일례로, 된장, 고추장, 쌈장, 파스타 소스, 두부, 요거트, 물 등 공산품일 수 있으며, 두부, 요거트, 물, 반찬통, 비닐, 사용자의 신체 등을 포함할 수 있다.

또한, 상기 미알림 품목은, 드로워(51) 하단에 위치한 멀티 수납칸에 주로 저장되는 달걀, 간식소시지, 슬라이스 치즈 등일 수 있다.

상기 미알림 품목은, 객체인식 모델에서 클래스 정보(Class label)로 저장될 수 있다. 이러한 미알림 품목은 상기 인공지능 프로세서(15)를 업데이트 함으로써, 필요에 따라 추가될 수 있음은 물론이다.

인공지능 프로세서(15)는 상기 포토존 영역(40)에 위치한 식품이 상기 미알림 품목에 해당하는 것으로 인식하면, 식별된 식품에 대한 정보를 삭제할 수 있다.

이와 같이, 본 발명의 인공지능 프로세서(15)는 객체인식 모델로, 1-stage detector에 입력되어 나온 결과값을 OOD(out-of-distribution) Network에 입력함으로써, 오인식 또는 오동작을 개선할 수 있다.

상기 인공지능 프로세서(15)의 인식률은 91% 이상일 수 있다.

상기 인공지능 프로세서(15)의 오동작률은 6% 미만일 수 있다.

여기서, 인식률은 인공지능 프로세서(15)가 인식한 식품의 식별정보가 실제 식품의 식별정보와 일치할 확률로 이해될 수 있다.

오동작률은 인공지능 프로세서(15)가 인식한 식품의 식별정보가 실제 식품의 식별정보와 일치하지 않을 확률로 이해될 수 있다.

이하에서, 포토존 영역(40)에 위치한 식품을 인식하는 제어 방법에 대해 상세히 설명한다.

도 14는 포토존 영역에 위치한 식품을 인식하는 제어 흐름도이다.

제어부(14)는 도어의 개방이 감지되면, 카메라(121)에서 촬영된 영상을 획득할 수 있다(S40).

상세히, 카메라(121)는 도어 개폐 여부와 관계없이 on된 상태가 유지될 수 있다. 또는, 카메라(121)는 도어 개방이 감지되면, 작동되어 저장실 내부를 촬영할 수 있다.

제어부(14)는 도어 스위치(144)에 의해 도어 개방을 감지할 수 있다. 제어부(14)는 도어 스위치(144)에 의해 냉장실 도어(21a, 21b)가 개방된 것을 감지하면, 카메라(121)에서 찰영된 영상 정보를 메모리(142)에 저장할 수 있다.

또는, 제어부(14)는 냉장실 도어(21a, 21b)가 개방된 것을 감지하면, 카메라(121)에서 촬영된 영상 정보를 인공지능 프로세서(15)에 전달할 수 있다.

상기 제어부(14)는 도어가 개방된 후, 카메라(121)가 on된 상태에서, 드로워(51)의 인출 여부를 감지할 수 있다(S41). 제어부(14)는 드로워(51)의 인출이 감지되면, 카메라(121)에서 촬영된 영상 정보를 드로워 내부 식품을 인식할 수 있다 (S42).

제어부(14)는 도어가 개방된 상태에서, 드로워(51)의 인출이 감지되지 않으면, 카메라(121)에서 촬영된 영상 정보를 객체 인식 모델에 입력하기 위한 이미지로 변환할 수 있다 (S43).

제어부(14)는 카메라(121)에서 촬영된 영상 정보를 획득하고, 촬영된 영상 영역 내에서 포토존 영역(40)을 포함하는 영역을 제외하고 나머지 부분을 삭제할 수 있다.

제어부(14)는 포토존 영역(40)을 포함하는 이미지를 객체인식모델에 입력하기 위한 이미지 크기로 변환할 수 있다.

이러한 이미지 변환은, 제어부(14)가 직접 처리하거나, 제어부(14)가 인공지능 프로세서(15)에 촬영된 영상 정보를 전송하여, 인공지능 프로세서(15)가 수행할 수 있다.

인공지능 프로세서(15)는 변환된 이미지 정보를 기초로, 포토존 영역(40)에 위치한 식품을 식별할 수 있다(S44).

인공지능 프로세서(15)는 변환된 이미지들을 1-stage detector에 입력하여 산출된 정보를, OOD(out-of-distribution) Network에 입력하여 데이터를 획득할 수 있다.

제어부(14)는 인공지능 프로세서(15)를 통해 식별된 식품이 알림 품목에 해당하는 경우, 식별된 식품 정보를 원격 기기(400) 또는 디스플레이부(30)에 표시할 수 있다(S45, S46).

이러한 알림 품목은, 미리 설정된 알림 품목의 식품에 해당하고, OD Neural Network에 입력 후 나온 값(value)이 임의의 한계점(threshold) 사이에 있는 정보일 수 있다.

이때, 제어부(14)는 식품이 인식되었음을 알리는 알림음을 출력하도록 스피커(16)를 제어할 수 있다.

인공지능 프로세서(15)는 획득된 데이터가 미알림 품목에 해당하는 경우, 획득된 데이터를 삭제할 수 있다(S47).

이러한 미알림 품목은, 미리 설정된 미알림 품목의 식품에 해당할 수 있다. 미알림 품목은, OOD Neural Network에 입력 후 나온 값(value)이 임의의 한계점(threshold) 사이에 있는 정보일 수 있다.

이 경우, 제어부(14)는 원격 기기(400) 또는 디스플레이부(30)에 식별 정보를 표시하지 않을 수 있다. 또는, 제어부(14)는 원격 기기(400) 또는 디스플레이부(30)에 식품이 식별되지 않았음을 알리는 메시지를 출력하도록 제어할 수 있다.

또는, 제어부(14)는 식품이 미인식되었음을 알리는 알림음을 출력하도록 스피커(16)를 제어할 수 있다.

인공지능 프로세서(15)는 OD Neural Network에 input을 넣은 후 나온 값(value)이 임의의 한계점(threshold) 사이를 벗어난 경우, 추출된 결과 정보를 삭제할 수 있다. 이러한 임의의 한계점(threshold) 사이를 벗어난 경우, 오동작 식품 품목으로 정의될 수 있다. 이러한 오동작 식품 품목은, 미알림 품목에 포함될 수 있다.

도 15은 포토존 영역에 식품이 위치된 상태를 나타낸 도면이다. 그리고, 도 16은 원격 기기 또는 디스플레이에 식별된 식품 정보가 표시된 상태를 나타낸 도면이다.

도 15와 같이, 본 발명의 일 실시예에 따르면, 사용자가 포토존 영역(40)에 식품을 위치시키면, 포토존 영역(40)에 위치된 식품을 식별하여, 사용자의 원격 기기(400) 또는 디스플레이부(30)에 출력할 수 있다.

이러한 포토존 영역(40)은 도 16과 같이, 저장실 하측에 구비된 드로워(51)가 인출되지 않은 상태에서, 선반(50) 전단과 캐비닛 전단 사이의 영역으로 정의될 수 있다.

사용자가 카메라(121)가 촬영할 수 있도록 포토존 영역(40)에 식품(60)의 전체적인 모습이 보이도록 위치시키면, 인공지능 프로세서(15)는 카메라(121)가 촬영한 영상 정보를 기초로, 식품을 인식할 수 있다.

제어부(14)는 인공지능 프로세서(15)를 통해 식별된 식품이 알림 품목에 해당하는 경우, 도 16 (a)와 같이, 사용자의 원격 기기(400) 또는 디스플레이부(30)에 식품의 식별 정보와, 식품이 수납된 날로부터 경과일자를 표시할 수 있다(40a).

제어부(14)는 인공지능 프로세서(15)를 통해 식별된 식품이 미알림 품목, 또는 오동작 식품 품목에 해당하는 경우, 도 16 (b)와 같이, 사용자의 원격 기기(400) 또는 디스플레이부(30)에 인식된 식품 정보를 표시하지 않을 수 있다(40b).

또는, 식품이 미인식되었다는 메세지를 출력할 수도 있다.

본 발명의 일 실시예에 따르면, 사용자가 식품을 포토존 영역에 위치시키면, 식품을 식별할 수 있다. 따라서, 사용자는 관리는 원하는 식품을 선별할 수 있는 이점이 있다.

본 발명의 일 실시예에 따르면, 포토존 영역이 선반 전단에서 전방으로 연장된 영역에 형성된다. 따라서, 선반 또는 야채칸 등에 복수의 식품이 오버랩되어 카메라가 식품을 정확하게 식별하지 못하는 것을 개선할 수 있다.

또한, 본 발명의 일 실시예에 따르면, 사용자의 원격 기기에 포토존 영역 내 위치한 식품에 대한 사진을 표시할 수 있게 되어, 사용자가 식별된 식품이 무엇인지 쉽게 확인할 수 있다.

본 발명의 일 실시예에 따르면, 사용자는 포토존 영역에 식품을 위치시키고, 인식된 식품 정보를 사용자 단말기를 통해 바로 확인할 수 있다. 따라서, 사용자는 식별된 식품이 오인식되었을 때, 바로 확인하여 정정 가능하며, 신속하게 식품에 대한 정보를 확인할 수 있다.

Claims

저장 공간이 형성된 캐비닛;
상기 캐비닛을 개폐하는 도어;
상기 캐비닛의 내부에 구비되며, 상기 저장 공간을 촬영하는 카메라 모듈;
상기 저장 공간 내에 마련된 포토존 영역; 및
상기 카메라 모듈에서 획득한 정보를 기초로 상기 포토존 영역에 위치된 식품에 대한 정보를 원격 기기 또는 디스플레이부에 표시하는 제어부;를 포함하고,
상기 제어부는,
상기 포토존 영역에 위치한 식품에 대한 식별 정보가 알림 품목에 해당하는 경우, 식별된 식품에 대한 정보를 상기 원격 기기 또는 상기 디스플레이부에 표시하는 냉장고.
제1항에 있어서,
상기 제어부는,
상기 포토존 영역에 위치한 식품에 대한 식별 정보가 미알림 품목에 해당하는 경우, 식별된 식품에 대한 정보를 상기 원격 기기 또는 상기 디스플레이부에 표시하지 않는 냉장고.
제1항에 있어서,
상기 저장 공간에는 복수개의 선반이 구비되고,
상기 포토존 영역은,
상기 선반 전단부에서 전방으로 연장된 영역인 냉장고.
제1항에 있어서,
상기 냉장고는,
객체인식 모델이 저장되어 상기 포토존 영역에 위치한 식품을 식별하는 인공지능 프로세서를 포함하는 냉장고.
제4항에 있어서,
상기 객체인식 모델은, 원-스테이지 디텍터(1-stage detector) 모델을 기반으로 한 냉장고.
제4항에 있어서,
상기 객체인식 모델은, 싱글 샷 디텍터(SSD; single shot detector)인 냉장고.
제6항에 있어서,
상기 인공지능 프로세서는,
상기 싱글 샷 디텍터에 의해 획득한 정보를 오인식 개선 모델에 입력하여 상기 획득한 정보가 정상 범주인지 여부를 확인하는 냉장고.
제7항에 있어서,
상기 오인식 개선 모델은,
맥스풀링 기법으로 획득한 정보를 OOD 네트워크에 입력하는 냉장고.
제7항에 있어서,
상기 알림 품목은 상기 획득한 정보가 정상 범주인 냉장고.
제1항에 있어서,
상기 냉장고는,
스피커를 더 포함하고,
상기 제어부는,
상기 알림 품목에 해당하는 경우, 알림음이 출력되도록 상기 스피커를 제어하는 냉장고.
제7항에 있어서,
상기 미알림 품목은, 상기 획득한 정보가 비정상 범주인 냉장고.
제1항에 있어서,
상기 미알림 품목은, 미리 설정된 식품의 식별 정보인 냉장고.
제2항에 있어서,
상기 저장 공간에는 인출입이 가능한 드로워가 구비되고,
상기 제어부는,
상기 도어가 개방된 후, 드로워가 인출되지 않은 상태에서 상기 포토존 영역에 위치한 식품을 식별하는 냉장고.
제1항에 있어서,
상기 카메라 모듈은,
상기 캐비닛 전단으로 갈수록 하방으로 돌출되도록 경사진 경사면을 포함하는 냉장고.
제1항에 있어서,
상기 도어는,
상기 저장 공간의 일측을 개폐하는 제1 도어와,
상기 저장 공간의 타측을 개폐하는 제2 도어를 포함하고,
상기 제어부는,
상기 제1 도어와 상기 제2 도어 중 어느 하나가 개방된 상태에서, 사용자가 상기 포토존 영역에 식품을 위치시키면,
상기 포토존 영역에 위치한 식품을 인식하여 상기 원격 기기 또는 상기 디스플레이부에 표시하는 냉장고.
저장 공간이 형성된 캐비닛; 상기 캐비닛을 개폐하는 도어; 및 상기 캐비닛의 내부에 구비되며, 상기 저장 공간을 촬영하는 카메라 모듈;을 포함하는 냉장고에 있어서,
상기 카메라 모듈로부터 영상 또는 이미지가 입력되는 단계;
상기 입력된 이미지 또는 영상을 기초로 이미지 변환을 수행하는 단계;
상기 변환된 이미지를 기초로, 포토존 영역에 위치한 식품을 식별하는 단계; 및
식별된 식품 정보를 원격 기기 또는 디스플레이부에 표시하는 단계;를 포함하고,
상기 표시하는 단계는,
상기 포토존 영역에 위치한 식품에 대한 식별 정보가 알림 품목에 해당하는 경우, 식별된 식품에 대한 정보를 상기 원격 기기 또는 상기 디스플레이부에 표시하는 냉장고의 제어방법.
제16항에 있어서,
상기 포토존 영역에 놓인 식품에 대한 식별 정보가 미알림 품목에 해당하는 경우, 식별된 식품에 대한 정보를 상기 원격 기기 또는 상기 디스플레이부에 표시하지 않는 냉장고의 제어방법.
제17항에 있어서,
상기 식품을 식별하는 단계는 원-스테이지 디텍터(1-stage detector) 모델을 기반으로 식품을 식별하는 냉장고의 제어방법.
제18항에 있어서,
상기 식품을 식별하는 단계는 오인식 개선 모델에 입력하여 획득한 정보가 정상 범주인지 여부를 확인하는 단계를 포함하는 냉장고의 제어방법.
제19항에 있어서,
상기 알림 품목은 상기 획득한 정보가 정상 범주이고,
상기 미알림 품목은 상기 획득한 정보가 비정상 범주인 냉장고의 제어방법.