KR20220105016A - 냉장고에 보관된 물품에 대한 정보를 제공하는 장치 및 냉장고에 보관된 물품에 대한 정보를 제공하는 프로그램을 기록한 저장매체 - Google Patents

냉장고에 보관된 물품에 대한 정보를 제공하는 장치 및 냉장고에 보관된 물품에 대한 정보를 제공하는 프로그램을 기록한 저장매체 Download PDF

Info

Publication number
KR20220105016A
KR20220105016A KR1020210007537A KR20210007537A KR20220105016A KR 20220105016 A KR20220105016 A KR 20220105016A KR 1020210007537 A KR1020210007537 A KR 1020210007537A KR 20210007537 A KR20210007537 A KR 20210007537A KR 20220105016 A KR20220105016 A KR 20220105016A
Authority
KR
South Korea
Prior art keywords
image
article
refrigerator
value
control unit
Prior art date
Application number
KR1020210007537A
Other languages
English (en)
Inventor
옥창석
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020210007537A priority Critical patent/KR20220105016A/ko
Publication of KR20220105016A publication Critical patent/KR20220105016A/ko

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • F25D29/005—Mounting of control devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F25D2400/361—Interactive visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/06—Sensors detecting the presence of a product

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Chemical & Material Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Finance (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Thermal Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

본 발명의 일실시예에 따르면, 냉장고 내부에 보관된 물품에 대한 정보를 제공하는 장치 및 방법이 제공된다. 본 발명의 일실시예에 따른 서버는 통신망과 접속하여, 냉장고의 보관 공간의 영상으로서 제1 시점에 촬영된 제1 영상과 상기 제1 시점과 상이한 제2 시점에 촬영된 제2 영상을 수신하는 통신부, 상기 제1 영상과 상기 제2 영상을 저장하는 저장부, 및 상기 제1 영상과 상기 제2 영상을 이용하여 상기 보관 공간에 방치된 물품이 있는지 여부를 파악하는 제어부를 포함하고, 상기 제어부는 상기 제1 영상과 제2 영상 각각을 k개(k는 2 이상의 자연수)의 구획들로 구분하고, 제1 영상의 제1-n 구획(n은 1 이상 k이하의 자연수)의 영상 데이터와 대응하는 제2 영상의 제2-n구획의 영상 데이터의 차이가 제1 기준값보다 적고, 제2-n 구획의 물품의 이동거리가 제2 기준값보다 작으면, 해당 물품이 방치된 물품이라고 판단하고, 방치된 물품에 대한 정보를 사용자에게 제공한다.

Description

냉장고에 보관된 물품에 대한 정보를 제공하는 장치 및 냉장고에 보관된 물품에 대한 정보를 제공하는 프로그램을 기록한 저장매체{An apparatus for providing information on items kept in the refrigerator, and a storage medium that records a program that provides information on items kept in the refrigerator}
본 발명은 냉장고 내부에 보관된 물품에 대한 정보를 제공하는 장치 및 방법에 관한 것이다.
냉장고는 음식물 및 물품을 보관하는 보관 공간을 포함하며, 냉매를 순환시켜 열교환을 하는 냉장 사이클에 의하여 음식물 및 물품을 저온으로 보관할 수 있도록 하는 장치를 말한다.
냉장고에 보관된 물품에 대한 정보를 제공하는 방법으로서, 냉장고 내부에 카메라를 설치하고, 설치된 카메라에 의해 획득한 영상을 단말기와 같은 외부의 장치로 전송하는 방법이 사용되고 있다(선행문헌1(대한민국 공개특허공보 제2020-0029615호) 등 참조).
그런데, 상기 선행문헌 1의 방법은 사용자 등에게 단순히 현재 시점에 보관된 물품에 대한 정보만 제공할 수 있을 뿐이다.
대한민국 공개특허공보 제2020-0029615호
본 발명의 목적은 냉장고 내에 보관된 물품들 중, 방치된 물품에 대한 정보를 제공할 수 있는 서버를 제공하는 것이다.
또한 본 발명의 목적은 고내에 보관된 물품들 중, 방치된 물품에 대한 정보를 제공할 수 있는 냉장고를 제공하는 것이다.
또한 본 발명의 목적은 냉장고 내에 보관된 물품들 중, 방치된 물품에 대한 정보를 제공하는 프로그램이 저장된 저장 매체를 제공하는 것이다.
또한, 본 발명의 목적은 냉장고 내에 보관된 물품들 중, 방치된 물품에 대한 정보를 보다 빠르고 간단하게 파악할 수 있는 장치 및/또는 방법을 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명의 일실시예에 따른 서버, 냉장고, 및 저장 매체 각각은, 서로 다른 시점에 획득한 영상들을 복수개의 구획들로 구분한 후, 구획별로 비교하여 각 구획에 방치된 식품이 있는지 여부를 판단한 후, 각 구획의 식품별로 방치 여부를 판단하고, 그 결과를 사용자에게 제공할 수 있다.
본 발명의 일실시예에 따른 서버는 통신망과 접속하여, 냉장고의 보관 공간의 영상으로서 제1 시점에 촬영된 제1 영상과 상기 제1 시점과 상이한 제2 시점에 촬영된 제2 영상을 수신하는 통신부, 상기 제1 영상과 상기 제2 영상을 저장하는 저장부, 및 상기 제1 영상과 상기 제2 영상을 이용하여 상기 보관 공간에 방치된 물품이 있는지 여부를 파악하는 제어부를 포함하고, 상기 제어부는 상기 제1 영상과 제2 영상 각각을 k개(k는 2 이상의 자연수)의 구획들로 구분하고, 제1 영상의 제1-n 구획(n은 1 이상 k이하의 자연수)의 영상 데이터와 대응하는 제2 영상의 제2-n구획의 영상 데이터의 차이가 제1 기준값보다 적고, 제2-n 구획의 물품의 이동거리가 제2 기준값보다 작으면, 해당 물품이 방치된 물품이라고 판단하고, 방치된 물품에 대한 정보를 사용자에게 제공한다.
본 발명의 일실시예에 따른 서버는 상기 통신부를 통하여 상기 방치된 물품에 대한 정보를 상기 냉장고 또는 단말기로 송신할 수 있다.
본 발명의 일실시예에 따른 서버의 상기 제어부는 상기 방치된 물품의 방치 기간이 설정된 기준 기간보다 길어진 경우에 상기 방치된 물품에 대한 정보를 사용자에게 제공할 수 있다.
본 발명의 일실시예에 따른 서버의 상기 제어부는 상기 제1-n 구획의 영상과 상기 제2-n 구획의 영상의 차이 정도를 나타내는 비교값을 계산하고, 상기 비교값이 제1 임계값보다 작으면, 상기 제2-n 구획 내의 물품에 대해 방치 여부를 판단할 수 있다.
본 발명의 일실시예에 따른 서버의 상기 제어부는 상기 제2-n 구획 내의 제1 물품이 이동한 정도를 나타내는 이동 크기를 획득하고, 상기 비교값과 상기 이동 크기에 기초하여 상기 제1 물품의 방치 정도를 나타내는 방치 수치를 계산하고, 상기 방치 수치와 제2 임계값을 비교하여 상기 제1 물품의 방치 여부를 판단할 수 있다.
본 발명의 일실시예에 따른 서버의 상기 제어부는 상기 제1 영상에서 상기 제1 물품의 위치를 나타내는 제1-1 대표 좌표값과, 상기 제2 영상에서 상기 제2 물품의 위치를 나타내는 제2-1 대표 좌표값을 기초로 상기 이동 크기를 획득할 수 있다.
본 발명의 일실시예에 따른 냉장고는 물품을 보관하는 보관 공간의 영상을 촬영하는 카메라, 상기 보관 공간의 영상으로서 제1 시점에 촬영된 제1 영상과 상기 제1 시점과 상이한 제2 시점에 촬영된 제2 영상을 저장하는 저장부, 상기 제1 영상과 상기 제2 영상을 이용하여 상기 보관 공간에 보관된 물품에 대한 정보를 파악하는 제어부, 및 상기 물품에 대한 정보를 표시하는 표시부를 포함하고, 상기 제어부는 상기 제1 영상과 제2 영상 각각을 k개(k는 2 이상의 자연수)의 구획들로 구분하고, 제1 영상의 제1-n 구획(n은 1 이상 k이하의 자연수)의 영상 데이터와 대응하는 제2 영상의 제2-n구획의 영상 데이터의 차이가 제1 기준값보다 적고, 제2-n 구획의 물품의 이동거리가 제2 기준값보다 작으면, 해당 물품이 방치된 물품이라고 판단하고, 방치된 물품에 대한 정보를 사용자에게 제공한다.
본 발명의 일실시예에 따른 냉장고는 통신망에 접속하여 방치된 물품에 대한 정보를 송신하는 통신부를 더 포함할 수 있다.
본 발명의 일실시예에 따른 냉장고의 상기 제어부는 상기 제2-n 구획 내의 제1 물품이 이동한 정도를 나타내는 이동 크기를 획득하고, 상기 비교값과 상기 이동 크기에 기초하여 상기 제1 물품의 방치 정도를 나타내는 방치 수치를 계산하고, 상기 방치 수치와 제2 임계값을 비교하여 상기 제1 물품의 방치 여부를 판단할 수 있다.
본 발명의 일실시예에 따른 냉장고의 상기 제어부는 상기 제1 영상에서 상기 제1 물품의 위치를 나타내는 제1-1 대표 좌표값과, 상기 제2 영상에서 상기 제2 물품의 위치를 나타내는 제2-1 대표 좌표값을 기초로 상기 이동 크기를 획득할 수 있다.
본 발명의 일실시예에 따른 냉장고의 상기 제어부는 상기 제1 영상에서 상기 제1 물품의 위치를 나타내는 제1-1 대표 좌표값과, 상기 제2 영상에서 상기 제2 물품의 위치를 나타내는 제2-1 대표 좌표값을 기초로 상기 이동 크기를 획득할 수 있다.
본 발명의 일실시예에 따른 저장매체는 프로세싱 유닛에 의해 냉장고의 보관 공간에 저장된 물품 중 방치된 물품이 있는지 여부를 파악하는 방법이 수행되도록 하는 프로그램을 저장하는 저장매체에 있어서, 상기 방치된 물품이 있는지 여부를 파악하는 방법은 상기 제1 영상과 제2 영상 각각을 k개(k는 2 이상의 자연수)의 구획들로 구분하고, 제1 영상의 제1-n 구획(n은 1 이상 k이하의 자연수)의 영상 데이터와 대응하는 제2 영상의 제2-n구획의 영상 데이터의 차이를 나타내는 비교값에 기초하여 상기 제2-n 구획 내에 방치된 물품이 있는지 여부를 판단하는 제1 단계, 및 상기 제2-n 구획 내의 제1 물품이 이동한 이동 크기를 계산하고, 상기 비교값과 상기 이동 크기에 기초하여 상기 제1 물품의 방치 여부를 판단하는 제2 단계를 포함한다.
본 발명의 일실시예에 따른 저장매체의 상기 제1 단계는 상기 제2-n 구획의 영상 데이터를 구성하는 픽셀들 중 대응하는 제1-n 구획의 영상 데이터를 구성하는 픽셀과 차이가 나는 픽셀의 수를, 상기 제2-n 구획의 영상 데이터를 구성하는 전체 픽셀수로 나누어 상기 비교값을 계산하는 단계, 및 상기 비교값이 제1 임계값보다 작으면, 상기 제2-n 구획에 방치된 물품이 있다고 판단하고, 상기 비교값이 상기 제1 임계값 이상이면, 상기 제2-n 구획에 방치된 물품이 없다고 판단하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 저장매체의 상기 방치된 물품이 있는지 여부를 파악하는 방법은 상기 제1 단계에서 판단한 결과, 상기 제2-n 구획 내에 방치된 물품이 있다고 판단된 경우에, 상기 제2 단계를 수행할 수 있다.
본 발명의 일실시예에 따른 저장매체의 상기 제2 단계는 상기 제2-n 구획의 상기 비교값과, 상기 제1 물품의 이동 크기에 기초하여 상기 제1 물품의 방치 정도를 나타내는 방치 수치를 계산하는 단계, 및 상기 방치 수치와 제2 임계값을 비교하여 상기 제1 물품의 방치 여부를 판단하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 저장매체의 상기 제2 단계는 상기 제1 영상에서 상기 제1 물품의 위치를 나타내는 제1-1 대표 좌표값과, 상기 제2 영상에서 상기 제2 물품의 위치를 나타내는 제2-1 대표 좌표값을 기초로 상기 이동 크기를 획득할 수 있다.
본 발명의 일실시예에 따른 서버, 냉장고, 및 저장 매체에 따르면, 냉장고 내에 방치된 물품이 있는지 여부 및/또는 물품이 방치된 위치에 대한 정보를 사용자에게 제공할 수 있다.
또한 본 발명의 일실시예에 따른 서버, 냉장고, 및 저장 매체에 따르면, 냉장고 내에 방치된 물품에 대한 정보를 보다 간단하고 빠르게 파악할 수 있다.
또한, 본 발명의 일실시예에 따른 서버, 냉장고, 및 저장 매체에 따르면, 사용자가 냉장고에 물품을 방치하지 않도록, 사용자에게 필요한 정보를 제공할 수 있다. 이를 통하여, 사용자는 냉장고를 보다 효과적으로 사용할 수 있다.
상술한 효과와 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.
도 1은 본 발명의 일실시예에 따라, 냉장고에 보관된 물품에 대한 정보를 제공하는 시스템을 계략적으로 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 제1 서버(100)의 구성을 개략적으로 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 냉장고(200)의 구성을 개략적으로 나타낸 블록도이다.
도 4는 본 발명의 일실시예에 따른 냉장고에 보관된 물품에 대한 정보를 제공하는 방법을 설명하기 위한 동작 흐름도이다.
도 5는 본 발명의 일실시예에 따른 냉장고에 보관된 물품에 대한 정보를 제공하는 방법에서, 물품별 방치 여부를 판단하는 방법을 설명하기 위한 동작 흐름도이다.
도 6은 제1 시점에서 촬영된 냉장고의 보관 공간의 이미지의 예시를 나타낸 것이다.
도 7은 제2 시점에서 촬영된 냉장고의 보관 공간의 이미지의 예시를 나타낸 것이다.
도 8은 본 발명의 일실시예에 따라 단말기를 통해 사용자에게 제공되는 정보의 일례를 나타낸 것이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것으로, 특별히 반대되는 기재가 없는 한, 제1 구성요소는 제2 구성요소일 수도 있음은 물론이다.
이하에서 구성요소의 "상부 (또는 하부)" 또는 구성요소의 "상 (또는 하)"에 임의의 구성이 배치된다는 것은, 임의의 구성이 상기 구성요소의 상면 (또는 하면)에 접하여 배치되는 것뿐만 아니라, 상기 구성요소와 상기 구성요소 상에 (또는 하에) 배치된 임의의 구성 사이에 다른 구성이 개재될 수 있음을 의미할 수 있다.
또한 어떤 구성요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 상기 구성요소들은 서로 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성요소 사이에 다른 구성요소가 "개재"되거나, 각 구성요소가 다른 구성요소를 통해 "연결", "결합" 또는 "접속"될 수도 있는 것으로 이해되어야 할 것이다.
명세서 전체에서, 특별히 반대되는 기재가 없는 한, 각 구성요소는 단수일 수도 있고 복수일 수도 있다.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
명세서 전체에서, "A 및/또는 B" 라고 할 때, 이는 특별한 반대되는 기재가 없는 한, A, B 또는 A 및 B 를 의미하며, "C 내지 D" 라고 할 때, 이는 특별한 반대되는 기재가 없는 한, C 이상이고 D 이하인 것을 의미한다.
이하에서는, 본 발명의 몇몇 실시예에 따른 냉장고에 보관된 물품에 대한 정보를 제공하는 장치 및 냉장고에 보관된 물품에 대한 정보를 제공하는 프로그램을 기록한 저장매체를 설명하도록 한다.
도 1은 본 발명의 일실시예에 따라, 냉장고에 보관된 물품에 대한 정보를 제공하는 시스템을 계략적으로 나타낸 도면으로서, 제1 서버(100), 냉장고(200), 제1 단말기(310), 제2 단말기(320), 및 제2 서버(400)를 포함할 수 있다.
제1 서버(100)는 통신망에 접속하여 냉장고(200)로부터 냉장고 내부의 영상을 수신할 수 있다. 또한, 본 발명의 일실시예에 따르면, 제1 서버(100)는 제1 시점에 수신한 제1 영상과 제1 시점으로부터 제1 시간이 경과한 제2 시점에 수신한 제2 영상을 비교하고, 비교 결과를 이용하여 냉장고(200)에 보관된 물품들 중, 방치된 물품이 있는지 여부를 판단하고, 방치된 물품에 대한 정보를 냉장고(200), 제1 단말기(310), 및 제2 단말기(320) 중 어느 하나로 송신함으로써, 상기 정보를 사용자에게 제공할 수 있다. 방치된 물품에 대한 정보는 방치된 물품이 있는지 여부 및 물품이 방치된 위치 중 적어도 하나 이상을 포함할 수 있다. 방치된 물품이 있는지 여부를 판단하는 구체적인 방법은 후술한다. 본 명세서에서, 방치된 물품은 사용자가 해당 물품을 정해진 시간 이상 사용하지 않는 등의 이유로, 냉장고 내에서 이동이 되지 않은 물품을 의미한다. 이때, 정해진 시간은 사용자에 의해 설정될 수 있다.
제1 서버(100)는 적어도 하나의 프로세싱 유닛 및 메모리를 포함할 수 있다. 여기서, 프로세싱 유닛은 예를 들어 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 주문형 반도체(Application Specific Integrated Circuit, ASIC), Field Programmable Gate Arrays (FPGA) 중 적어도 하나 이상을 포함할 수 있으며, 복수의 코어를 가질 수 있다. 메모리는 휘발성 메모리(예를 들어, RAM 등), 비휘발성 메모리(예를 들어, ROM, 플래시 메모리 등) 또는 이들의 조합일 수 있다.
또한, 제1 서버(100)는 추가적인 스토리지를 포함할 수 있다. 스토리지는 자기 스토리지, 광학 스토리지, 플래시 메모리 등을 포함하지만 이것으로 한정되지 않는다. 스토리지에는 본 명세서에 개진된 하나 이상의 실시예를 구현하기 위한 프로그램이 저장될 수 있고, 운영 시스템, 애플리케이션 프로그램 등을 구현하기 위한 다른 컴퓨터 판독 가능한 명령도 저장될 수 있다. 스토리지에 저장된 컴퓨터 판독 가능한 명령은 프로세싱 유닛에 의해 실행되기 위해 메모리에 로딩될 수 있다.
또한, 제1 서버(100)는 통신망에 접속하기 위한 통신접속(들)을 포함할 수 있다. 여기서, 통신 접속(들)은 모뎀, 네트워크 인터페이스 카드(NIC), 통합 네트워크 인터페이스, 무선 주파수 송신기/수신기, 적외선 포트, USB 접속 또는 제1 서버(100)가 다른 장치에 접속하기 위한 다른 인터페이스를 포함할 수 있다. 또한, 통신 접속(들)은 유선 접속 또는 무선 접속을 포함할 수 있다.
냉장고(200)는 내부에 보관 공간이 형성되며, 보관 공간에 음식물 및/또는 물품을 저온으로 보관할 수 있다. 냉장고(200)는 보관 공간의 영상을 획득할 수 있는 카메라를 포함할 수 있다.
또한, 냉장고(200)는 그래픽이나 문자 형태로 특정 정보를 디스플레이할 수 있는 표시부를 포함할 수 있다. 냉장고(200)의 표시부에는 냉장고 보관 공간의 영상 및 보관 공간 내에 방치된 물품에 대한 정보 등이 표시될 수 있다. 또한, 냉장고(200)는 통신망을 통해 제1 서버(100), 제1 단말기(310), 및 제2 단말기(320) 중 어느 하나와 접속할 수 있다. 이를 위해, 냉장고(200)는 통신 접속을 포함할 수 있다. 냉장고(200)의 통신 접속은 제1 서버(100)의 통신 접속과 동일할 수 있다.
또한, 본 발명의 일실시예에 따르면, 냉장고(200)는 제1 시점에 수신한 제1 영상과 제1 시점으로부터 제1 시간이 경과한 제2 시점에 수신한 제2 영상을 비교하고, 비교 결과를 이용하여 냉장고(200)에 보관된 물품들 중 방치된 물품이 있는지 여부를 판단하고, 방치된 물품에 대한 정보를 표시부에 디스플레이하거나, 제1 단말기(310), 및 제2 단말기(320) 중 어느 하나로 송신함으로써, 상기 정보를 사용자에게 제공할 수 있다. 이를 위해, 냉장고(200)는 제1 서버(100)와 유사하게 프로세싱 유닛, 메모리, 및 스토리지를 포함할 수 있다. 냉장고(200)의 프로세싱 유닛, 메모리, 및 스토리지의 기능 및 구성은 제1 서버(100)의 프로세싱 유닛, 메모리, 및 스토리지의 기능 및 구성과 동일할 수 있다.
제1 단말기(310) 및/또는 제2 단말기(320)는 통신망을 통해 제1 서버(100) 및/또는 냉장고(200)와 접속하여 냉장고(200) 내에 보관된 물품 중 방치된 물품에 대한 정보를 수신하고, 이를 디스플레이할 수 있다. 또한, 제1 단말기(310) 및 제2 단말기(320)는 통신망을 통해 제1 서버(100) 또는 제2 서버(400)와 접속하여 필요한 프로그램을 다운로드받을 수 있다. 이를 위해, 제1 단말기(310) 및 제2 단말기(320)는 제1 서버(100)와 유사하게 프로세싱 유닛, 메모리, 및 스토리지를 포함할 수 있다. 제1 단말기(310) 및 제2 단말기(320)의 프로세싱 유닛, 메모리, 및 스토리지의 기능 및 구성은 제1 서버(100)의 프로세싱 유닛, 메모리, 및 스토리지의 기능 및 구성과 동일할 수 있다. 제1 단말기(310) 및/또는 제2 단말기(320)는 다운로드받은 프로그램을 실행하여 냉장고의 보관 공간에 보관된 물품 중 방치된 물품이 있는지를 파악하고, 이를 디스플레이할 수 있다.
제2 서버(400)는 제1 단말기(310) 및/또는 제2 단말기(320)에서 실행될 프로그램을 저장할 수 있다. 또한, 제2 서버(400)는 통신망을 통해 접속한 제1 단말기(310) 및/또는 제2 단말기(320)로 프로그램을 다운로드할 수 있다. 상기 프로그램은 냉장고(200) 내부에 저장된 물품들 중 방치된 물품이 있는지 여부를 판단하고, 그에 대한 정보를 제공하기 위한 프로그램일 수 있다. 이를 위해 제2 서버(400)는 제1 서버(100)와 유사하게 프로세싱 유닛, 메모리, 및 스토리지를 포함할 수 있다. 제2 서버(400)의 프로세싱 유닛, 메모리, 및 스토리지의 기능 및 구성은 제1 서버(100)의 프로세싱 유닛, 메모리, 및 스토리지의 기능 및 구성과 동일할 수 있다.
도 2는 본 발명의 일실시예에 따른 제1 서버(100)의 구성을 개략적으로 나타낸 것으로서, 제1 서버(100)는 제어부(110), 저장부(120), 및 통신부(130)를 포함할 수 있다.
제어부(110)는 적어도 하나 이상의 프로세싱 유닛을 포함할 수 있다. 제어부(110)는 냉장고(200)에 보관된 물품 중 방치된 물품에 대한 정보를 파악할 수 있다. 방치된 물품에 대한 정보는 방치된 물품이 있는지 여부 및 물품이 방치된 장소 중 적어도 하나 이상을 포함할 수 있다. 방치된 물품에 대한 정보를 파악하는 구체적인 방법은 후술한다.
저장부(120)는 메모리 및 스토리지를 포함할 수 있다. 또한, 저장부(120)는 통신부(130)를 통해 냉장고(200)의 보관 공간의 영상을 수신하고 저장할 수 있다. 또한, 저장부(120)의 스토리지에는 본 발명의 일실시예에 따른 프로그램을 저장할 수 있다. 경우에 따라, 저장부(120)에 저장된 프로그램은 통신부(130)를 통하여 제1 단말기(310) 및/또는 제2 단말기(320)로 다운로드될 수 있다.
통신부(130)는 적어도 하나 이상의 통신 접속을 포함할 수 있다.
도 3은 본 발명의 일실시예에 따른 냉장고(200)의 구성을 개략적으로 나타낸 블록도로서, 냉장고(200)는 제어부(210), 저장부(220), 통신부(230), 카메라(240), 표시부(250) 및 냉각기(260)를 포함할 수 있다.
제어부(210)는 적어도 하나 이상의 프로세싱 유닛을 포함할 수 있다. 제어부(110)는 냉장고(200)에 보관된 물품 중 방치된 물품에 대한 정보를 파악할 수 있다. 방치된 물품에 대한 정보를 파악하는 구체적인 방법은 후술한다. 또한, 제어부(110)는 냉장고(200)의 각 구성요소들(저장부(220), 통신부(230), 카메라(240), 표시부(250) 및 냉각기(260))의 동작을 제어할 수 있다.
저장부(220)는 메모리 및 스토리지를 포함할 수 있다. 또한, 저장부(220)는 카메라(240)에 의해 획득된 냉장고(200)의 보관 공간의 영상을 저장할 수 있다. 또한, 저장부(220)의 스토리지에는 본 발명의 일실시예에 따른 프로그램을 저장할 수 있다. 경우에 따라, 저장부(120)에 저장된 프로그램은 통신부(230)를 통하여 냉장고(200)로 다운로드될 수 있다.
통신부(230)는 적어도 하나 이상의 통신 접속을 포함할 수 있다. 또한, 저장부(200)에 저장된 냉장고(200)의 보관 공간의 영상은 통신부(230)를 통해 제1 서버(100), 제1 단말기(310), 및 제2 단말기(320) 중 적어도 하나로 전송될 수 있다.
카메라(240)는 냉장고의 보관 공간의 영상을 획득하여 출력할 수 있다. 카메라(240)는 정해진 이벤트가 발생할 때마다 보관 공간의 영상을 획득하거나, 일정한 시간마다 보관 공간의 영상을 획득할 수 있다. 이때, 정해진 이벤트는 문의 개폐일 수 있다. 예를 들면, 카메라(240)는 문이 열린 후, 닫히는 순간의 보관 공간의 영상을 획득할 수 있다. 카메라(240)는 제어부(210)의 제어에 따라 작동할 수도 있다.
표시부(250)는 냉장고의 외관 중 일부분을 형성할 수 있으며, 냉장고에 저장된 물품의 순수 보관 시간에 대한 정보를 표시할 수 있다. 표시부(250)는 기타 냉장고의 운전과 관련된 정보나 냉장고에 저장된 물품에 대한 정보를 더 표시할 수 있다.
냉각기(260)는 보관 공간의 온도를 설정 온도로 유지할 수 있다. 냉각기(260)는 제어부(210)의 제어에 따라 작동할 수 있다.
도 4는 본 발명의 일실시예에 따른 냉장고에 보관된 물품에 대한 정보(보다 구체적으로는, 방치된 물품에 대한 정보)를 제공하는 방법을 설명하기 위한 동작 흐름도이다. 본 발명의 일실시예에 따르면, 냉장고에 보관된 물품에 대한 정보를 제공하는 방법은 컴퓨터에 의해 실행될 수 있는 명령들로 구성된 프로그램으로 구현될 수 있다. 상기 프로그램은 도 1의 제1 서버(100), 제2 서버(400), 제1 단말기(310), 제2 단말기(320), 및 냉장고(200) 중 적어도 어느 하나에 저장될 수 있다. 또한, 상기 프로그램은 제1 서버(100), 제1 단말기(310), 제2 단말기(320), 및 냉장고(200) 중 적어도 어느 하나에 의해 실행될 수 있다. 이하, 제어부는 제1 서버(100), 제1 단말기(310), 제2 단말기(320), 및 냉장고(200) 중 적어도 어느 하나의 제어부를 의미한다.
먼저, 제어부는 냉장고의 보관 공간의 영상을 획득할 수 있다(S100 단계).
본 발명의 일실시예에 따른 프로그램이 제1 서버(100)에 의해 실행되는 경우, S110 단계는 통신망을 통해 냉장고(200)로부터 상기 영상을 획득함으로써 수행될 수 있다. 또한, 본 발명의 일실시예에 따른 프로그램이 제1 단말기(310) 또는 제2 단말기(320)에 의해 실행되는 경우, S110 단계는 통신망을 통해 냉장고(200) 또는 제1 서버(100)로부터 상기 영상을 획득함으로써 수행될 수 있다. 이때, 제1 서버(100), 제1 단말기(310), 및/또는 제2 단말기(320)는 냉장고(200)의 카메라(240)가 제1 시점(이전 시점)에서 촬영한 영상과 제2 시점(현재 시점)에서 촬영한 영상을 획득할 수 있다.
본 발명의 일실시예에 따른 프로그램이 냉장고(200)에 의해 실행되는 경우, S100 단계는 카메라(240)를 작동시킴으로써 수행될 수 있다. S100 단계는 복수의 시점에서 수행될 수 있다. 예를 들면, S100 단계는 특정 이벤트(예를 들면, 냉장고의 문이 열린 후, 닫히는 이벤트)가 발생한 경우 마다 수행될 수 있다. 또는 S100 단계는 일정한 주기마다 수행될 수도 있다.
다음으로, 제어부는 제1 시점의 영상과 제2 시점의 영상 각각을 k개의 구획으로 구분하고, 제2 시점의 영상의 구획들 각각을 제1 시점의 영상의 구획들 중 대응하는 구획과 비교하여 비교값을 획득할 수 있다(S200 단계).
여기서, k는 2 이상의 자연수일 수 있으며, 필요에 따라 적절하게 설정될 수 있다. 또한, 구획은 영상을 a개의 행과 b개의 열을 가지는 매트릭스 형태로 구분한 것일 수 있다. 또는, 구획은 냉장고의 보관공간의 형태에 따라 분류된 것일 수도 있다. 예를 들면, 구획은 보관공간의 상하 칸을 분리하는 칸막이를 기준으로 영상이 분류된 것일 수 있다. 이때, 하나의 구획은 각 칸 전체가 될 수도 있고, 각 칸의 폭의 길이에 따라 적절하게 분류된 영역일 수도 있다. 즉, 각 칸은 하나의 구획일 수도 있고, 복수개의 구획일 수도 있다.
또한, 대응하는 구획은, 2개의 영상에서 냉장고의 보관공간 내에서의 동일한 위치에 해당하는 부분일 수 있다.
비교값은 제1 시점의 영상의 n구획과 제2 시점의 영상의 n구획이 차이가 나는 정도를 나타내는 값일 수 있다(n은 1 이상, k 이하의 자연수). 예를 들면, 비교값은 n구획을 구성하는 픽셀들 중 제1 시점의 영상에서의 픽셀값과 제2 시점의 영상에서의 픽셀값이 서로 다른 픽셀들의 수를, n구획을 구성하는 전체 픽셀의 수로 나눈 값일 수 있다.
다음으로, 제어부는 n구획의 비교값이 제1 임계값보다 작은지 여부를 판단할 수 있다(S300 단계).
S300 단계에서 판단한 결과, 비교값에 제1 임계값보다 작다면, 제어부는 n구획 내에 방치된 식품이 있는지 여부를 판단할 수 있다(S500 단계). 비교값이 제1 임계값보다 작다면, 이는 n구획에 변화가 별로 없다는 것을 의미하므로, n구획 내에 방치된 식품이 존재할 확률이 높다는 것을 나타내는 것일 수 있다.
S500 단계의 구체적인 방법은 도 5를 참고하여 후술한다.
S300 단계에서 판단한 결과, 비교값이 제1 임계값 이상이라면, 제어부는 n구획 내에 방치된 물품(식품)이 없다고 판단할 수 있다(S400 단계). 즉, n구획의 비교값이 제1 임계값 이상이라면, 사용자가 해당 구획의 물품(식품)을 사용하는 등, 해당 구획에 대해 인지하고 있다는 것을 의미하며, 이는 n구획에 사용자가 방치된 물품(식품)을 인지하지 못할 가능성이 낮다는 것을 나타내는 것일 수 있다.
다음으로, 제어부는 모든 구획에 대하여 점검이 완료되었는지 여부를 판단할 수 있다(S600 단계).
S600 단계에서 판단한 결과, 모든 구획에 대해 점검이 완료되지 않았다면, 제어부는 다음 구획에 대하여 S200 단계 내지 S500 단계를 수행할 수 있다. 제어부는 n을 1부터 k까지 순차적으로 증가시키면서 S200 내지 S600 단계를 수행함으로써, 모든 구획에 대해 방치된 물품(식품)이 존재하는지 여부를 판단할 수 있다.
S600 단계에서 판단한 결과, 모든 구획에 대해 점검이 완료되었다면, 방치된 물품(식품)에 대한 정보를 저장할 수 있다. 및/또는, 파악된 내용을 사용자에게 알려줄 수 있다(S700 단계).
실시예에 따라, 제어부는 S500 단계를 수행하기 전에, 제어부는 n 구획이 비어있는 공간인지 여부를 추가적으로 판단할 수도 있다. 보다 구체적으로, 본 발명의 일실시예에 따르면, 제어부는 냉장고가 완전히 비어있는 상태에서의 보관공간의 영상과, 제2 시점(현재 시점)에서 획득한 영상을 구획별로 비교하고, 비교 결과에 따라 해당 구획이 비어있는 공간인지 여부를 판단할 수 있다. 예를 들면, S200 단계에서 설명한 것과 유사하게 해당 구획의 비교값을 획득하고, 비교값이 제1 임계값보다 작으면, 해당 구획은 비어있는 공간이라고 판단할 수 있다. 해당 구획이 비어있는 공간이라고 판단되면, 제어부는 해당 구획에 방치된 물품(식품)이 없다고 판단할 수 있다.
도 4에서 설명한 각 단계의 순서는 필요에 따라 바뀔 수 있다.
도 5는 본 발명의 일실시예에 따른 냉장고에 보관된 물품에 대한 정보를 제공하는 방법에서, 물품별 방치 여부를 판단하는 방법을 설명하기 위한 동작 흐름도이다. 도 4에서 설명한 것과 같이, 도 5에 나타낸 방법은 프로그램으로 구현될 수 있고, 상기 프로그램은 도 1의 제1 서버(100), 제2 서버(400), 제1 단말기(310), 제2 단말기(320), 및 냉장고(200) 중 적어도 어느 하나에 저장될 수 있으며, 상기 프로그램은 제1 서버(100), 제1 단말기(310), 제2 단말기(320), 및 냉장고(200) 중 적어도 어느 하나에 의해 실행될 수 있다.
먼저, 제어부는 도 4의 S100 단계에서 획득된 영상을 이용하여 현재 냉장고의 보관 공간에 보관된 물품(식품)에 대한 인식 정보를 획득할 수 있다(S510 단계). 인식 정보는 특정 물품의 이미지의 특징 정보, 특정 물품의 위치에 관한 정보, 및 특정 물품이 사용되지 않고 보관된 기간에 대한 정보를 포함할 수 있다. 이러한 정보들은 서로 연계되어 저장될 수 있다.
특정 물품(제1 물품)의 이미지의 특징 정보는 제1 물품의 이미지의 특징점 중 적어도 하나 이상, 또는 제1 물품의 종류, 제1 물품의 크기, 및 제1 물품의 형태 중 적어도 하나 이상을 포함할 수 있다.
특정 물품(제1 물품)의 위치에 관한 정보는 특정 물품(제1 물품)의 대표 좌표값일 수 있다. 대표 좌표값은 제1 물품의 이미지의 시작 좌표일 수 있다. 여기서, 시작 좌표는 제1 물품의 위치를 나타내는 좌표값으로서, 제1 물품의 이미지로 판단된 이미지의 특정 지점(예를 들면, 물체가 냉장고의 선반과 닿은 부분의 중심점, 물체가 냉장고의 선반과 닿은 부분의 모서리, 이미지의 좌상단, 이미지의 무게중심, 및 이미지의 후하단 등의 특정 지점 중 하나일 수 있다)의 좌표를 의미한다.
실시예에 따라, S510 단계는 도 1의 100 단계가 수행된 직후에 수행될 수도 있다. 다만, S510 단계가 도 1의 S400 단계가 수행된 이후에 수행됨으로써, 물품을 인식하는 과정을 불필요하게 수행하는 것이 방지될 수 있다.
다음으로, 제어부는 n구획 내의 물품들 중 선택된 물품(제1 물품)이, 제1 시점에서도 인식되었었는지 여부를 판단함으로써, 해당 물품과 동일한 식품이 이전에도 존재하였었는지 여부를 판단할 수 있다(S520 단계).
보다 구체적으로, 제어부는 S510 단계에서 파악된 물품들 중 대표 좌표값이 n구획 내에 위치하는 물품들(구획 내 물품들)을 파악할 수 있다. 또한, 제어부는, 구획 내 물품들 중 하나를 선택하고, 선택된 물품의 이미지의 특징 정보와 동일한 특징 정보를 가지는 물품이, 제1 시점에서 획득한 영상을 기초로 파악한 물품 리스트에 포함되어 있는지 여부를 판단할 수 있다.
S520 단계에서 판단한 결과, 제1 물품이 이전에 존재하지 않았으면, 제어부는 해당 물품(제1 물품)은 방치 물품(식품)이 아니라고 판단할 수 있다(S570 단계).
S520 단계에서 판단한 결과, 제1 물품이 이전에 존재하였다면, 제어부는 제1 물품이 이동한 크기를 획득할 수 있다(S530 단계). 제1 물품이 이동한 크기는 제1 시점에서 획득한 영상에서의 제1 물품의 대표 좌표값과, 제2 시점에서 획득한 영상에서의 제2 물품의 대표 좌표값 사이의 거리일 수 있다.
다음으로, 제어부는 도 4의 S200 단계에서 획득한 비교값과, S530 단계에서 획득한 이동 크기에 기초하여 방치 수치를 획득할 수 있다(S540 단계).
방치 수치는 방치된 정도를 수치적으로 나타낸 값으로서, 비교값의 역수와, 이동 크기의 역수의 가중합일 수 있다. 즉, 비교값의 역수가 X1이고, 이동 크기의 역수가 X2라고 할 때, 방치 수치(Y)는 수학식 Y = aX1 + bX2에 의해 구해진 값일 수 있다. 상기 수학식에서, 가중치 a 및 b는 실험 등에 따라 적절한 값으로 미리 설정될 수 있다.
다음으로, 제어부는 방치 수치가 제2 임계값보다 큰지 여부를 판단할 수 있다(S550 단계). 제2 임계값은 실험 등에 따라 적절한 값으로 미리 설정될 수 있다.
S550 단계에서 판단한 결과, 방치 수치가 제2 임계값보다 크다면, 제어부는 해당 물품(제1 물품)이 방치된 것이라고 판단할 수 있다(S560 단계). 이때, 제어부는 해당 물품(제1 물품)의 방치 기간을 저장하거나 갱신할 수 있다. 예를 들면, 해당 물품(제1 물품)이 이전에 방치된 것이라고 판단된 적이 없었던 경우, 제어부는 제1 시점과 제2 시점 사이의 시간을 방치 기간으로 저장할 수 있다. 해당 물품(제1 물품)이 이전에 방치된 것이라고 판단된 적이 있었던 경우, 제어부는 기존의 방치 기간에 제1 시점과 제2 시점 사이의 시간을 가산함으로써, 방치 기간을 갱신할 수 있다.
S550 단계에서 판단한 결과, 방치 수치가 제2 임계값 이하라면, 제어부는 해당 물품(제1 물품)은 방치된 것이 아니라고 판단할 수 있다(S570 단계).
다음으로, 제어부는 n구획 내의 모든 식품에 대하여 점검이 완료되었는지를 판단할 수 있다(S580 단계).
S580 단계에서 판단한 결과, 모든 식품에 대한 점검이 완료되지 않았으면, 제어부는 S520 단계 내지 S570 단계를 반복적으로 수행할 수 있다.
S580 단계에서 판단한 결과, 모든 식품에 대한 점검이 완료되었다면, 제어부는 도 1의 S600 단계를 수행할 수 있다.
도 5에서 설명한 각 단계의 순서는 필요에 따라 바뀔 수 있다.
또한, 방치 수치는 다른 방법으로 계산될 수도 있다. 예를 들면, 방치 수치는 도 4의 S200 단계에서 획득한 비교값과, S530 단계에서 획득한 이동 크기의 가중합으로 계산될 수 있다. 이 경우, 제어부는 방치 수치가 소정의 임계값보다 작으면 방치로 판단하고, 소정의 임계값 이상이면 해당 식품이 방치가 아니라고 판단할 수도 있다.
도 6은 제1 시점에서 촬영된 냉장고의 보관 공간의 이미지의 예시를 나타낸 것이다.
본 발명의 일실시예에 따르면, 제1 서버(100), 냉장고(200), 제1 단말기(310) 및 제2 단말기 중 적어도 하나의 제어부(이하, 제어부)는 도 6에 나타낸 이미지를 2개의 구획(R1, R2)로 구분할 수 있다. 또한, 제어부는 도 6에 나타낸 이미지에서 3개의 물체의 이미지를 추출할 수 있다. 물체의 이미지를 추출하는 방법에는 영상에서 경계선을 추출하는 방법 등이 사용될 수 있다.
또한, 추출된 이미지들 각각에 대하여, 제어부는 이미지의 특징, 이미지의 대표 좌표값, 및 해당 물체의 방치 여부와 방치 기간 등을 연계하여 저장할 수 있다.
도 7은 제2 시점에서 촬영된 냉장고의 보관 공간의 이미지의 예시를 나타낸 것이다.
먼저, 도 6의 제1 구획(R1)과 도 7의 제1 구획(R1)을 비교하면, 전체적으로 변화가 거의 없다는 것을 알 수 있다. 이 경우, 도 4의 S200 단계에서 계산한 비교값은 매우 작은 값이 되고, 따라서, 제어부는 제1 구획 내에 방치 식품이 있는지 여부를 판단하게 된다.
제어부는 도 7의 제1 구획(R1) 내의 물품이 이전(즉, 도 6의 이미지)에서 인식한 물품과 동일한 물품임을 파악할 수 있고, 이 경우, 이동 크기는 상대적으로 작은 값일 수 있다. 이에 따라, 제어부는 도 5의 S540 단계에서 설명한 것과 같이 방치 수치를 계산하고, 이를 제2 임계값과 비교하여 도 7의 제1 구획(R1) 내의 물품이 방치된 것이라고 판단할 수 있다.
다음으로, 도 6의 제2 구획(R2)과 도 7의 제2 구획(R2)을 비교하면, 상당부분 변화가 있다는 것을 알 수 있다. 이 경우, 도 4의 S200 단계에서 계산한 비교값은 상대적으로 큰 값이 되고, 따라서 제어부는 제2 구획 내에 방치 식품이 없다고 판단할 수 있다.
경우에 따라(예를 들면, 도 4의 제1 임계값을 상대적으로 크게 설정할 경우), 제어부는 제2 구획(R2) 내에 방치 식품이 있는지 여부를 판단할 수도 있다.
도 7의 실시예의 경우, 제2 구획(R2)에 있는 물품은 새로운 물품이므로, 제어부는 제2 구획(R2)에 있는 물품이 방치된 물품이 아니라고 판단할 수 있다.
도시된 것과 다르게, 도 7의 실시예의 제2 구획(R2)에 있는 물품이 도 6의 실시예의 제1 구획(R1)에 있었던 물품이라고 한다면, 제어부는 해당 물품의 이동 크기를 계산하고, 그에 따라 방치 수치를 계산한 후, 이를 제2 임계값과 비교함으로써, 해당 물품의 방치 여부를 판단할 수 있다.
도 8은 본 발명의 일실시예에 따라 단말기를 통해 사용자에게 제공되는 정보의 일례를 나타낸 것이다.
본 발명의 일실시예에 따르면, 제어부는 도 4 내지 도 7에서 설명한 방법으로 냉장고의 보관 공간에 보관된 물품(식품)의 방치 여부를 판단하고, 방치 기간을 파악할 수 있다. 또한, 파악된 방치 기간이 설정된 기준값보다 커지면, 제어부는 사용자가 가진 단말기를 통해 도 8에 나타낸 것과 같은 영상 정보를 전송할 수 있다.
도시된 것과 다르게, 제어부는 문자로 냉장고 내에 방치된 식품이 있음을 사용자에게 통지할 수도 있다.
또한, 제어부는 사용자의 단말기가 아니라, 냉장고의 표시부를 통해서 동일한 정보를 사용자에게 제공할 수도 있다.
이상과 같이 본 발명에 대해서 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시 예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상의 범위 내에서 통상의 기술자에 의해 다양한 변형이 이루어질 수 있음은 자명하다. 아울러 앞서 본 발명의 실시 예를 설명하면서 본 발명의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을 지라도, 해당 구성에 의해 예측 가능한 효과 또한 인정되어야 함은 당연하다.
100 : 제1 서버 200 : 냉장고
310 : 제1 단말기 320 : 제2 단말기
400 : 제2 서버

Claims (16)

  1. 통신망과 접속하여, 냉장고의 보관 공간의 영상으로서 제1 시점에 촬영된 제1 영상과 상기 제1 시점과 상이한 제2 시점에 촬영된 제2 영상을 수신하는 통신부;
    상기 제1 영상과 상기 제2 영상을 저장하는 저장부; 및
    상기 제1 영상과 상기 제2 영상을 이용하여 상기 보관 공간에 방치된 물품이 있는지 여부를 파악하는 제어부를 포함하고,
    상기 제어부는
    상기 제1 영상과 제2 영상 각각을 k개(k는 2 이상의 자연수)의 구획들로 구분하고, 제1 영상의 제1-n 구획(n은 1 이상 k이하의 자연수)의 영상 데이터와 대응하는 제2 영상의 제2-n구획의 영상 데이터의 차이가 제1 기준값보다 적고, 제2-n 구획의 물품의 이동거리가 제2 기준값보다 작으면, 해당 물품이 방치된 물품이라고 판단하고, 방치된 물품에 대한 정보를 사용자에게 제공하는 서버.
  2. 제1항에 있어서, 상기 서버는
    상기 통신부를 통하여 상기 방치된 물품에 대한 정보를 상기 냉장고 또는 단말기로 송신하는 서버.
  3. 제1항에 있어서, 상기 제어부는
    상기 방치된 물품의 방치 기간이 설정된 기준 기간보다 길어진 경우에 상기 방치된 물품에 대한 정보를 사용자에게 제공하는 서버.
  4. 제1항에 있어서, 상기 제어부는
    상기 제1-n 구획의 영상과 상기 제2-n 구획의 영상의 차이 정도를 나타내는 비교값을 계산하고, 상기 비교값이 제1 임계값보다 작으면, 상기 제2-n 구획 내의 물품에 대해 방치 여부를 판단하는 서버.
  5. 제4항에 있어서, 상기 제어부는
    상기 제2-n 구획 내의 제1 물품이 이동한 정도를 나타내는 이동 크기를 획득하고, 상기 비교값과 상기 이동 크기에 기초하여 상기 제1 물품의 방치 정도를 나타내는 방치 수치를 계산하고, 상기 방치 수치와 제2 임계값을 비교하여 상기 제1 물품의 방치 여부를 판단하는 서버.
  6. 제5항에 있어서, 상기 제어부는
    상기 제1 영상에서 상기 제1 물품의 위치를 나타내는 제1-1 대표 좌표값과, 상기 제2 영상에서 상기 제2 물품의 위치를 나타내는 제2-1 대표 좌표값을 기초로 상기 이동 크기를 획득하는 서버.
  7. 물품을 보관하는 보관 공간의 영상을 촬영하는 카메라;
    상기 보관 공간의 영상으로서 제1 시점에 촬영된 제1 영상과 상기 제1 시점과 상이한 제2 시점에 촬영된 제2 영상을 저장하는 저장부;
    상기 제1 영상과 상기 제2 영상을 이용하여 상기 보관 공간에 보관된 물품에 대한 정보를 파악하는 제어부; 및
    상기 물품에 대한 정보를 표시하는 표시부를 포함하고,
    상기 제어부는
    상기 제1 영상과 제2 영상 각각을 k개(k는 2 이상의 자연수)의 구획들로 구분하고, 제1 영상의 제1-n 구획(n은 1 이상 k이하의 자연수)의 영상 데이터와 대응하는 제2 영상의 제2-n구획의 영상 데이터의 차이가 제1 기준값보다 적고, 제2-n 구획의 물품의 이동거리가 제2 기준값보다 작으면, 해당 물품이 방치된 물품이라고 판단하고, 방치된 물품에 대한 정보를 사용자에게 제공하는 냉장고.
  8. 제7항에 있어서,
    통신망에 접속하여 방치된 물품에 대한 정보를 송신하는 통신부를 더 포함하는 냉장고.
  9. 제7항에 있어서, 상기 제어부는
    상기 제1-n 구획의 영상과 상기 제2-n 구획의 영상의 차이 정도를 나타내는 비교값을 계산하고, 상기 비교값이 제1 임계값보다 작으면, 상기 제2-n 구획 내의 물품에 대해 방치 여부를 판단하는 냉장고.
  10. 제9항에 있어서, 상기 제어부는
    상기 제2-n 구획 내의 제1 물품이 이동한 정도를 나타내는 이동 크기를 획득하고, 상기 비교값과 상기 이동 크기에 기초하여 상기 제1 물품의 방치 정도를 나타내는 방치 수치를 계산하고, 상기 방치 수치와 제2 임계값을 비교하여 상기 제1 물품의 방치 여부를 판단하는 냉장고.
  11. 제10항에 있어서, 상기 제어부는
    상기 제1 영상에서 상기 제1 물품의 위치를 나타내는 제1-1 대표 좌표값과, 상기 제2 영상에서 상기 제2 물품의 위치를 나타내는 제2-1 대표 좌표값을 기초로 상기 이동 크기를 획득하는 냉장고.
  12. 프로세싱 유닛에 의해 냉장고의 보관 공간에 저장된 물품 중 방치된 물품이 있는지 여부를 파악하는 방법이 수행되도록 하는 프로그램을 저장하는 저장매체에 있어서, 상기 방치된 물품이 있는지 여부를 파악하는 방법은
    제1 시점에 촬영된 제1 영상과 상기 제1 시점과 상이한 제2 시점에 촬영된 제2 영상 각각을 k개(k는 2 이상의 자연수)의 구획들로 구분하고, 상기 제1 영상의 제1-n 구획(n은 1 이상 k이하의 자연수)의 영상 데이터와 대응하는 상기 제2 영상의 제2-n구획의 영상 데이터의 차이를 나타내는 비교값에 기초하여 상기 제2-n 구획 내에 방치된 물품이 있는지 여부를 판단하는 제1 단계; 및
    상기 제2-n 구획 내의 제1 물품이 이동한 이동 크기를 계산하고, 상기 비교값과 상기 이동 크기에 기초하여 상기 제1 물품의 방치 여부를 판단하는 제2 단계를 포함하는 저장매체.
  13. 제12항에 있어서, 상기 제1 단계는
    상기 제2-n 구획의 영상 데이터를 구성하는 픽셀들 중 대응하는 제1-n 구획의 영상 데이터를 구성하는 픽셀과 차이가 나는 픽셀의 수를, 상기 제2-n 구획의 영상 데이터를 구성하는 전체 픽셀수로 나누어 상기 비교값을 계산하는 단계; 및
    상기 비교값이 제1 임계값보다 작으면, 상기 제2-n 구획에 방치된 물품이 있다고 판단하고, 상기 비교값이 상기 제1 임계값 이상이면, 상기 제2-n 구획에 방치된 물품이 없다고 판단하는 단계를 포함하는 저장 매체.
  14. 제12항에 있어서, 상기 방치된 물품이 있는지 여부를 파악하는 방법은
    상기 제1 단계에서 판단한 결과, 상기 제2-n 구획 내에 방치된 물품이 있다고 판단된 경우에, 상기 제2 단계를 수행하는 저장매체.
  15. 제12항에 있어서, 상기 제2 단계는
    상기 제2-n 구획의 상기 비교값과, 상기 제1 물품의 이동 크기에 기초하여 상기 제1 물품의 방치 정도를 나타내는 방치 수치를 계산하는 단계; 및
    상기 방치 수치와 제2 임계값을 비교하여 상기 제1 물품의 방치 여부를 판단하는 단계를 포함하는 저장매체.
  16. 제15항에 있어서, 상기 제2 단계는
    상기 제1 영상에서 상기 제1 물품의 위치를 나타내는 제1-1 대표 좌표값과, 상기 제2 영상에서 상기 제2 물품의 위치를 나타내는 제2-1 대표 좌표값을 기초로 상기 이동 크기를 획득하는 저장매체.
KR1020210007537A 2021-01-19 2021-01-19 냉장고에 보관된 물품에 대한 정보를 제공하는 장치 및 냉장고에 보관된 물품에 대한 정보를 제공하는 프로그램을 기록한 저장매체 KR20220105016A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210007537A KR20220105016A (ko) 2021-01-19 2021-01-19 냉장고에 보관된 물품에 대한 정보를 제공하는 장치 및 냉장고에 보관된 물품에 대한 정보를 제공하는 프로그램을 기록한 저장매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210007537A KR20220105016A (ko) 2021-01-19 2021-01-19 냉장고에 보관된 물품에 대한 정보를 제공하는 장치 및 냉장고에 보관된 물품에 대한 정보를 제공하는 프로그램을 기록한 저장매체

Publications (1)

Publication Number Publication Date
KR20220105016A true KR20220105016A (ko) 2022-07-26

Family

ID=82609929

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210007537A KR20220105016A (ko) 2021-01-19 2021-01-19 냉장고에 보관된 물품에 대한 정보를 제공하는 장치 및 냉장고에 보관된 물품에 대한 정보를 제공하는 프로그램을 기록한 저장매체

Country Status (1)

Country Link
KR (1) KR20220105016A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102710057B1 (ko) * 2024-01-08 2024-09-26 농업회사법인 주식회사 신화농산 농산물의 신선도 유지를 위한 스마트 보관 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200029615A (ko) 2013-03-12 2020-03-18 도시바 라이프스타일 가부시키가이샤 냉장고 및 카메라 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200029615A (ko) 2013-03-12 2020-03-18 도시바 라이프스타일 가부시키가이샤 냉장고 및 카메라 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102710057B1 (ko) * 2024-01-08 2024-09-26 농업회사법인 주식회사 신화농산 농산물의 신선도 유지를 위한 스마트 보관 시스템

Similar Documents

Publication Publication Date Title
KR102217024B1 (ko) 냉장고, 그 제어 방법 및 시스템
CN112313684B (zh) 冰箱、服务器及其控制方法
WO2020010827A1 (zh) 一种基于开放式自动售货机的购物结算方法和装置
KR101112202B1 (ko) 냉장고의 보관 식품 관리 장치 및 방법
CN109241883B (zh) 一种基于自动售货机的退货控制方法及其装置
CN109869966A (zh) 冰箱
KR102145607B1 (ko) 전기제품
JP7113281B2 (ja) 冷蔵庫
EP3852038B1 (en) Food management system, server apparatus, and refrigerator
CN106203466B (zh) 食物识别的方法和装置
KR20220105016A (ko) 냉장고에 보관된 물품에 대한 정보를 제공하는 장치 및 냉장고에 보관된 물품에 대한 정보를 제공하는 프로그램을 기록한 저장매체
US20200404137A1 (en) Refrigerator and control method thereof
CN110929658A (zh) 图像识别方法、图像识别装置及冰箱
JP2023093716A (ja) 冷蔵庫、管理システム、及びプログラム
CN113566487A (zh) 食材贮存系统、冰箱、食材管理方法以及智能冰箱系统
KR20190090290A (ko) 인공지능을 이용하여 제품을 식별하고 구분된 이미지를 출력하는 냉장고 및 방법
US20220325946A1 (en) Selective image capture using a plurality of cameras in a refrigerator appliance
CN113137797A (zh) 冰箱控制方法、冰箱及计算机可读存储介质
CN113486689B (zh) 一种冰箱及食材体积估计方法
CN110543582A (zh) 基于图像的查询方法和装置
KR20220009182A (ko) 냉장고에 저장된 물품에 대한 정보를 제공하는 장치 및 냉장고에 저장된 물품에 대한 정보를 제공하는 프로그램을 기록한 저장매체
KR102017979B1 (ko) 인공지능을 이용하여 제품의 열용량을 추정하고 동작을 제어하는 냉장고 및 방법
KR102718827B1 (ko) 식품 관리 시스템, 서버 장치 및 냉장고
TWI787765B (zh) 冰箱
US20230375258A1 (en) Refrigerator appliances and image-based methods of detecting a door position