KR20220100408A - 냉장고 및 그 제어 방법 - Google Patents

냉장고 및 그 제어 방법 Download PDF

Info

Publication number
KR20220100408A
KR20220100408A KR1020210002797A KR20210002797A KR20220100408A KR 20220100408 A KR20220100408 A KR 20220100408A KR 1020210002797 A KR1020210002797 A KR 1020210002797A KR 20210002797 A KR20210002797 A KR 20210002797A KR 20220100408 A KR20220100408 A KR 20220100408A
Authority
KR
South Korea
Prior art keywords
user
refrigerator
diet
server device
information
Prior art date
Application number
KR1020210002797A
Other languages
English (en)
Inventor
박유나
강다님
신영선
안지윤
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210002797A priority Critical patent/KR20220100408A/ko
Priority to EP21917869.6A priority patent/EP4257903A1/en
Priority to PCT/KR2021/016779 priority patent/WO2022149707A1/ko
Publication of KR20220100408A publication Critical patent/KR20220100408A/ko
Priority to US18/340,425 priority patent/US20230332825A1/en

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D23/00—General constructional features
    • F25D23/02—Doors; Covers
    • F25D23/028—Details
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • F25D29/005—Mounting of control devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/16—Real estate
    • G06Q50/163—Property management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F25D2400/361—Interactive visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/04—Sensors detecting the presence of a person
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/06—Sensors detecting the presence of a product

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Human Resources & Organizations (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Primary Health Care (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

냉장고는, 저장실; 상기 저장실을 향하는 시야를 가지는 카메라; 디스플레이; 거리 센서; 및 제어부를 포함할 수 있다. 상기 제어부는, 상기 카메라로부터 상기 저장실의 영상 데이터를 획득하고, 상기 영상 데이터에 기초하여 상기 저장실에 저장된 식품을 식별하고, 상기 식별된 식품에 관한 정보에 기초한 식단을 획득하고, 상기 거리 센서의 출력에 기초한 사용자와의 거리가 미리 정해진 기준 거리 이상인 것에 응답하여, 상기 식단에 관한 알림을 포함하는 제1 윈도우 프레임을 표시하도록 상기 디스플레이를 제어하고, 상기 거리 센서의 출력에 기초한 사용자와의 거리가 상기 기준 거리 미만인 것에 응답하여, 상기 식단에 관한 알림을 포함하는 제2 윈도우 프레임을 표시하도록 상기 디스플레이를 제어할 수 있다. 상기 제2 윈도우 프레임의 크기는 상기 제1 윈도우 프레임의 크기와 상이할 수 있다.

Description

냉장고 및 그 제어 방법 {REFRIGERATOR AND CONTROL METHOD THEREOF}
개시된 발명은 냉장고 및 그 제어 방법에 관한 것으로써, 서버 장치 및 가전 기기들과 통신할 수 있는 냉장고 및 그 제어 방법에 관한 발명이다.
일반적으로 냉장고는, 식품, 음료 등과 같이 저장물을 부패 없이 장기간 보관하기 위한 장치로서, 통상 저장물을 냉장 저장하는 냉장실과 저장물을 냉동 저장하는 냉동실을 포함한다.
냉장고는, 냉매의 압축 - 응축 - 팽창 ?? 증발을 포함하는 냉각 사이클을 반복 수행하여 저장실의 온도를 설정된 목표 온도로 유지시킨다. 냉장고는, 각 저장실(냉장실 및/또는 냉동실)의 목표 온도에 기초하여 각 저장실에 대응되어 마련된 증발기에 의해 냉각된 공기를 각 저장실 내로 공급하여 저장실의 온도가 목표 온도로 유지되도록 한다.
최근 냉장고는, 저장실의 온도 및 냉장고의 동작 모드를 표시하기 위한 디스플레이를 포함하기도 한다. 이러한 디스플레이는, 사용자에게 그래픽 유저 인터페이스를 제공하고, 그래픽 유저 인터페이스와 터치 패널을 이용하여 사용자가 냉장고와 관련된 정보 및/또는 식품과 관련된 정보를 쉽게 획득할 수 있도록 하며, 또한 사용자가 직관적으로 제어 명령을 입력할 수 있도록 한다.
특히 냉장고는, 디스플레이를 통하여 입력된 사용자 입력에 응답하여 저장실에 저장된 식품의 정보를 디스플레이를 통하여 표시하고, 각각의 식품의 정보를 관리할 수 있다.
뿐만 아니라 냉장고는, 디스플레이를 통하여 물품의 구매를 위한 정보 및 식품 조리를 위한 조리법 등을 표시할 수 있다.
개시된 발명의 일 측면은, 저장실에 저장된 식품 및/또는 사용자의 구매 이력 및/또는 사용자의 취식 이력에 기초하여 사용자에게 식단(meal plan) 및/또는 그 조리법(recipe)을 제공하는 냉장고 및 그 제어 방법을 제공하고자 한다.
개시된 발명의 일 측면은, 저장실에 저장된 식품 및/또는 사용자의 구매 이력 및/또는 사용자의 취식 이력에 기초하여 사용자에게 상품의 구매를 추천하는 냉장고 및 그 제어 방법을 제공하고자 한다.
개시된 발명의 일 측면은, 서로 다른 사용자의 위치에 응답하여 디스플레이 상의 서로 다른 크기의 UI (User Interface) 프레임을 통하여 식단 및/또는 상품 정보를 제공하는 냉장고 및 그 제어 방법을 제공하고자 한다.
개시된 발명의 일 측면은, 서로 다른 사용자의 위치에 응답하여 서로 다른 전자 기기들을 통하여 식단 및/또는 상품 정보를 제공하는 냉장고 및 그 제어 방법을 제공하고자 한다.
개시된 발병의 일 측면에 의한 냉장고는, 저장실; 상기 저장실을 향하는 시야를 가지는 카메라; 디스플레이; 거리 센서; 및 제어부를 포함할 수 있다. 상기 제어부는, 상기 카메라로부터 상기 저장실의 영상 데이터를 획득하고, 상기 영상 데이터에 기초하여 상기 저장실에 저장된 식품을 식별하고, 상기 식별된 식품에 관한 정보에 기초한 식단을 획득하고, 상기 거리 센서의 출력에 기초한 사용자와의 거리가 미리 정해진 기준 거리 이상인 것에 응답하여, 상기 식단에 관한 알림을 포함하는 제1 윈도우 프레임을 표시하도록 상기 디스플레이를 제어하고, 상기 거리 센서의 출력에 기초한 사용자와의 거리가 상기 기준 거리 미만인 것에 응답하여, 상기 식단에 관한 알림을 포함하는 제2 윈도우 프레임을 표시하도록 상기 디스플레이를 제어할 수 있다. 상기 제2 윈도우 프레임의 크기는 상기 제1 윈도우 프레임의 크기와 상이할 수 있다.
개시된 발병의 일 측면에 의한, 저장실 및 상기 저장실을 향하는 시야를 가지는 카메라를 포함하는 냉장고의 제어 방법은, 상기 카메라로부터 상기 저장실의 영상 데이터를 획득하고; 상기 영상 데이터에 기초하여 상기 저장실에 저장된 식품을 식별하고; 상기 식별된 식품에 관한 정보에 기초한 식단을 획득하고; 상기 거리 센서의 출력에 기초한 사용자와의 거리가 미리 정해진 기준 거리 이상인 것에 응답하여, 상기 식단에 관한 알림을 포함하는 제1 윈도우 프레임을 표시하고; 상기 거리 센서의 출력에 기초한 사용자와의 거리가 상기 기준 거리 미만인 것에 응답하여, 상기 식단에 관한 알림을 포함하는 제2 윈도우 프레임을 표시하는 것을 포함할 수 있다. 상기 제2 윈도우 프레임의 크기는 상기 제1 윈도우 프레임의 크기와 상이할 수 있다.
개시된 발병의 일 측면에 의한 냉장고는, 저장실; 상기 저장실을 향하는 시야를 가지는 카메라; 디스플레이; 및 제어부를 포함할 수 있다. 상기 제어부는, 상기 카메라로부터 상기 저장실의 영상 데이터를 획득하고, 상기 영상 데이터에 기초하여 상기 저장실에 저장된 식품을 식별하고, 상기 식별된 식품에 관한 정보에 기초한 식단, 상기 식단의 조리법 및 상기 식단을 위한 상품의 구매 추천을 획득하고, 상기 디스플레이 상의 단일 스크린 상에 상기 식단, 상기 식단의 조리법 및 상기 식단을 위한 상품의 구매 추천을 동시에 표시할 수 있다.
개시된 발명의 일 측면에 따르면, 저장실에 저장된 식품 및/또는 사용자의 구매 이력 및/또는 사용자의 취식 이력에 기초하여 사용자에게 식단(meal plan) 및/또는 그 조리법(recipe)을 제공하는 냉장고 및 그 제어 방법을 제공할 수 있다.
개시된 발명의 일 측면에 따르면, 저장실에 저장된 식품 및/또는 사용자의 구매 이력 및/또는 사용자의 취식 이력에 기초하여 사용자에게 상품의 구매를 추천하는 냉장고 및 그 제어 방법을 제공할 수 있다.
개시된 발명의 일 측면에 따르면, 서로 다른 사용자의 위치에 응답하여 디스플레이 상의 서로 다른 크기의 UI 프레임을 통하여 식단 및/또는 상품 정보를 제공하는 냉장고 및 그 제어 방법을 제공할 수 있다.
개시된 발명의 일 측면에 따르면, 서로 다른 사용자의 위치에 응답하여 서로 다른 전자 기기들을 통하여 식단 및/또는 상품 정보를 제공하는 냉장고 및 그 제어 방법을 제공할 수 있다.
도 1은 일 실시예에 의한 식품 관리 시스템을 도시한다.
도 2은 일 실시예에 의한 냉장고의 외관을 도시한다.
도 3는 일 실시예에 의한 냉장고의 전면을 도시한다.
도 4은 일 실시예에 의한 냉장고의 구성을 도시한다.
도 5는 일 실시예에 의한 냉장고에 포함된 터치 스크린 디스플레이를 도시한다.
도 6은 일 실시예에 의한 냉장고에 의하여 촬영된 영상과 식품의 식별을 나타내는 화면의 일 예를 도시한다.
도 7은 일 실시예에 의한 냉장고에 포함된 터치 스크린 디스플레이에 표시되는 페이지의 일 예를 도시한다.
도 8은 일 실시예에 의한 냉장고에 포함된 터치 스크린 디스플레이에 표시되는 페이지의 다른 일 예를 도시한다.
도 9은 일 실시예에 의한 냉장고가 식단 및/또는 조리법을 획득하는 일 예를 도시한다.
도 10은 일 실시예에 의한 냉장고가 식단 및/또는 조리법을 획득하는 일 예를 도시한다.
도 11은 일 실시예에 의한 냉장고가 식단 및/또는 조리법을 획득하는 일 예를 도시한다.
도 12는 일 실시예에 의한 냉장고가 식단 및/또는 조리법을 획득하는 일 예를 도시한다.
도 13은 일 실시예에 의한 냉장고가 상품의 구매를 추천하는 일 예를 도시한다.
도 14는 일 실시예에 의한 냉장고가 식단 및/또는 조리법을 획득하는 일 예를 도시한다.
도 15는 일 실시예에 의한 냉장고가 식단 및/또는 조리법을 획득하고 상품의 구매를 추천하는 일 예를 도시한다.
도 16은 일 실시예에 의한 냉장고가 알림을 사용자에게 제공하는 일 예를 도시한다.
도 17은 일 실시예에 의한 냉장고가 제1 윈도우 프레임을 통하여 알림을 사용자에게 제공하는 일 예를 도시한다.
도 18은 일 실시예에 의한 냉장고가 제2 윈도우 프레임을 통하여 알림을 사용자에게 제공하는 일 예를 도시한다.
도 19는 일 실시예에 의한 냉장고가 식단 및/또는 조리법을 표시하는 일 예를 도시한다.
도 20은 일 실시예에 의한 냉장고가 알림을 사용자에게 제공하는 일 예를 도시한다.
도 21은 일 실시예에 의한 냉장고가 사용자 장치를 통하여 알림을 사용자에게 제공하는 일 예를 도시한다.
도 22는 일 실시예에 의한 냉장고가 디스플레이 장치를 통하여 알림을 사용자에게 제공하는 일 예를 도시한다.
도 23은 일 실시예에 의한 냉장고가 조리 장치를 제어하는 일 예를 도시한다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별 부호는 설명의 편의를 위하여 사용되는 것으로 식별 부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예에 대해 설명한다.
도 1은 일 실시예에 의한 식품 관리 시스템을 도시한다.
도 1에 도시된 바와 같이, 식품 관리 시스템(1)은 식품을 저장하는 냉장고(100)와, 냉장고(100)의 사용자의 사용자 정보를 관리하는 제1 서버 장치(10)와, 사용자에게 식단(meal plan) 및 그 조리법(recipe)을 제공하는 제2 서버 장치(20)와, 상품 구매를 위한 구매 인터페이스를 제공하는 제3 서버 장치(30)와, 사용자게 휴대할 수 있는 사용자 장치(50)와, 사용자에게 영상 정보를 제공하는 디스플레이 장치(60)와, 식품을 조리하는 조리 장치(70)를 포함할 수 있다.
식품 관리 시스템(1)에 포함된 장치들(10, 20, 30, 50, 60, 70, 100)은 통신망(NET)을 통하여 연결될 수 있다. 이때, 통신망(NET)은 유선 통신망과 무선 통신망을 모두 포함할 수 있다. 유선 통신망은 케이블망이나 전화망 등의 통신망을 포함하며, 무선 통신망은 전파를 통하여 신호를 송수신하는 통신망을 포함할 수 있다. 유선 통신망과 무선 통신망은 서로 연결될 수 있다. 예를 들어, 유선 통신망은 인터넷 등의 광역 네트워크(WAN)를 포함할 수 있으며, 무선 통신망은 광역 네트워크(WAN)에 연결된 액세스 포인트(AP)를 포함할 수 있다.
냉장고(100)는 식품을 냉장 저장하거나 냉동 저장할 수 있다. 예를 들어, 냉장고(100)는 식품을 수용하는 저장실과 저장실을 냉각시키는 냉각 장치를 구비할 수 있다. 냉장고(100)는 저장실에 저장된 식품이 변질되는 것을 방지하기 위하여 냉각 장치를 이용하여 저장실에 냉각된 공기를 공급할 수 있다.
냉장고(100)는 사용자의 요구에 응답하여 저장실에 저장된 식품과 관련된 정보(예를 들어, 식품 목록 및/또는 식품의 신선 보관 기한 등)를 사용자에게 제공할 수 있다. 예를 들어, 냉장고(100)는 식품이 저장된 저장실을 촬영하고, 저장실 내부의 영상을 획득할 수 있다. 냉장고(100)는, 촬영된 저장실 내부의 영상에 기초하여, 저장실에 저장된 식품과 관련된 정보를 획득할 수 있다. 또한, 냉장고(100)는, 식품 관련 정보를 표시하거나 디스플레이 장치(60) 및/또는 사용자 장치(50)로 전송할 수 있다.
서버 장치들(10, 20, 30)은 다른 장치로부터 통신망(NET)을 통하여 데이터를 처리하고, 처리된 데이터를 저장하거나 다른 장치로 전송할 수 있다. 예를 들어, 서버 장치들(10, 20, 30)은 다른 장치와 통신할 수 있는 통신 유닛과, 데이터를 처리할 수 있는 처리 유닛과, 처리된 데이터를 저장할 수 있는 저장 매체를 포함할 수 있다. 이러한 서버 장치들(10, 20, 30)은 서버(server), 클라이언트(client), 워크스테이션(workstation), 퍼스널 컴퓨터(personal computer), 클라우드(cloud), 데이터 드라이브(data drive), 데이터 스테이션(data station) 등 다양하게 호칭될 수 있다.
제1 서버 장치(10)는 통신망(NET)을 통하여 냉장고(100)로부터 사용자의 사용자 정보, 사용자의 식품 선호 정보 및 냉장고의 연결 정보를 수신하고, 수신된 정보를 저장 관리할 수 있다. 예를 들어, 제1 서버 장치(10)는 사용자의 식별 정보(예를 들어, 이름, 국적, 주소, 연락처 등)와 사용자의 인증 정보(예를 들어, ID, 비밀번호, 생체 정보(지문 또는 홍채) 등)를 저장/관리할 수 있다. 제1 서버 장치(10)는 냉장고(100)와 연결된 장치(예를 들어, 사용자의 입력에 의하여 연동된 장치들 또는 냉장고가 연결된 액세스 포인트에 연결된 장치들 등)에 관한 정보를 저장/관리할 수 있다. 또한, 제1 서버 장치(10)는 사용자의 식품 선호에 관한 정보(예를 들어, 선호 식품, 회피 식품, 선호 조리 방식 등)을 저장/관리할 수 있다.
또한, 제1 서버 장치(10)는, 정보 제공을 위한 사용자의 요청 및/또는 동의에 응답하여, 제2 서버 장치(20) 및/또는 제3 서버 장치(30)에 사용자의 사용자 정보 및/또는 냉장고(100)의 연결 정보 및/또는 사용자의 식품 선호 정보를 제공할 수 있다.
제2 서버 장치(20)는 사용자에게 식품 섭취를 위한 식단 및/또는 식품 조리를 위한 조리법을 제공할 수 있다.
예를 들어, 제2 서버 장치(20)는 제1 서버 장치(10)로부터 사용자의 사용자 정보 및/또는 냉장고(100)의 연결 정보 및/또는 사용자의 식품 선호 정보를 수신할 수 있다. 제2 서버 장치(20)는 냉장고(100)로부터 냉장고(100)에 저장된 식품의 식품 관련 정보를 수신하거나 제3 서버 장치(30)로부터 사용자의 구매 이력을 수신할 수 있다. 또한, 제2 서버 장치(20)는 제1 서버 장치(10)로부터 수신된 정보에 기초하여 사용자의 식품 섭취를 위한 식단 및/또는 식품 조리를 위한 조리법을 선택하고, 선택된 식단 및/또는 그 조리법을 냉장고(100)에 전송할 수 있다.
또한, 제2 서버 장치(20)는, 정보 제공을 위한 사용자의 요청 및/또는 동의에 응답하여, 제3 서버 장치(30)에 선택된 식단 및/또는 그 조리법을 제공할 수 있다.
제3 서버 장치(30)는 사용자에게 상품 구매를 위한 구매 인터페이스를 제공할 수 있다.
예를 들어, 제3 서버 장치(30)는 상품의 구매 정보(예를 들어, 상품 이미지, 상품 가격 등)을 포함하는 구매 인터페이스를 표시하도록 냉장고(100)에 상품의 구매 정보를 전송할 수 있다. 제3 서버 장치(30)는, 구매 인터페이스를 통하여 사용자 입력에 응답하여, 상품의 구매를 대행할 수 있다.
제3 서버 장치(30)는 냉장고(100)로부터 냉장고(100)에 저장된 식품의 식품 관련 정보를 수신하거나, 제2 서버 장치(20)로부터 사용자의 식단 및/또는 그 조리법을 수신할 수 있다. 제3 서버 장치(30)는 식품 관련 정보 및/또는 식단 및/또는 그 조리법에 기초하여 냉장고(100)에 상품 구매를 추천하는 알림을 전송할 수 있다.
또한, 제3 서버 장치(30)는, 정보 제공을 위한 사용자의 요청 및/또는 동의에 응답하여, 제2 서버 장치(20)에 사용자가 구매한 구매 이력을 제공할 수 있다.
사용자 장치(50)는 다른 장치로부터 통신망(NET)을 통하여 데이터를 처리하고, 처리된 데이터를 사용자에게 표시할 수 있다. 특히, 사용자 장치(50)는 사용자에 의하여 휴대되거나, 사용자의 가정 또는 사무실 등에 배치될 수 있으며, 사용자는 쉽게 사용자 장치(50)에 접근할 수 있다. 이러한 사용자 장치(50)는 워크스테이션(workstation), 퍼스널 컴퓨터(personal computer), 단말기(terminal), 휴대폰(portable telephone), 스마트 폰(smart phone), 휴대 장치(handheld device), 착용 장치(wearable device) 등 다양하게 호칭될 수 있다.
사용자 장치(50)는 냉장고(100)로부터 냉장고(100)에 저장된 식품과 관련된 정보를 수신하고, 냉장고(100)에 저장된 식품과 관련된 정보를 표시할 수 있다. 사용자 장치(50)는 제2 서버 장치(20)로부터 식단 및/또는 그 조리법을 수신하고, 식단 및/또는 그 조리법을 표시할 수 있다. 또한, 사용자 장치(50)는 제3 서버 장치(30)로부터 상품 구매를 위한 구매 인터페이스를 수신하고, 구매 인터페이스를 표시할 수 있다.
디스플레이 장치(60)는 외부로부터 수신되는 영상 신호를 처리하고, 처리된 영상을 시각적으로 표시할 수 있다. 디스플레이 장치(60)는 예를 들어 텔레비전(Television, TV), 모니터(Monitor), 휴대용 멀티미디어 장치, 휴대용 통신장치, 대형 디스플레이 장치(Large Format Display, LFD) 등을 포함할 수 있다.
디스플레이 장치(60)는 냉장고(100)로부터 냉장고(100)에 저장된 식품과 관련된 정보를 수신하고, 냉장고(100)에 저장된 식품과 관련된 정보를 표시할 수 있다. 디스플레이 장치(60)는 제2 서버 장치(20)로부터 식단 및/또는 그 조리법을 수신하고, 식단 및/또는 그 조리법을 표시할 수 있다. 또한, 디스플레이 장치(60)는 제3 서버 장치(30)로부터 상품 구매를 위한 구매 인터페이스를 수신하고, 구매 인터페이스를 표시할 수 있다.
조리 장치(70)는 사용자 입력에 응답하여 조리 대상을 가열/조리할 수 있다. 예를 들어, 조리 장치(70)는 조리 대상을 수용하는 챔버를 포함하며, 조리 대상을 신속히 가열/조리하기 위하여 챔버의 내부를 예열할 수 있다.
조리 장치(70)는 냉장고(100)와 동일한 액세스 포인트(AP)에 연결될 수 있으며, 액세스 포인트(AP) 또는 서버 장치를 통하여 냉장고(100)와 메시지 및 데이터를 주고 받을 수 있다. 조리 장치(70)는 예를 들어 가스 오븐, 전기 오븐, 마이크로파 오븐, 토스터, 밥솥 등 전기적으로 제어가 가능한 모든 조리 장치를 포함할 수 있다.
이상에서 설명된 바와 같이 식품 관리 시스템(1)은, 사용자의 사용자 정보 및/또는 냉장고(100)의 연결 정보 및/또는 사용자의 식품 선호 정보에 기초하여 식단 및/또는 그 조리법을 사용자에게 제공할 수 있다. 또한, 식품 관리 시스템(1)은, 사용자의 구매 이력 및/또는 식단 및/또는 그 조리법에 기초하여 상품의 구매를 추천할 수 있다.
이하에서는, 식품 관리 시스템(1)에 포함된 냉장고(100)의 구성 및 동작이 설명된다.
도 2은 일 실시예에 의한 냉장고의 외관을 도시한다. 도 3는 일 실시예에 의한 냉장고의 전면을 도시한다. 도 4은 일 실시예에 의한 냉장고의 구성을 도시한다. 도 5는 일 실시예에 의한 냉장고에 포함된 터치 스크린 디스플레이를 도시한다.
도 2, 도 3, 도 4 및 도 5를 참조하면, 냉장고(100)는 전면(前面)이 개방된 본체(101)와, 본체(101) 내부에 형성되며 식품이 냉장 및/또는 냉동 보관되는 저장실(110)과, 본체(101)의 개방된 전면을 개폐하는 도어(120)를 포함할 수 있다.
본체(101)는 냉장고(100)의 외관을 형성할 수 있다. 본체(101)는 저장실(110)을 형성하는 내상(102)과, 내상(102)의 외측에 결합되어 외관을 형성하는 외상(103)을 포함할 수 있다. 본체(101)의 내상(102)과 외상(103) 사이에는 저장실(110)의 냉기 유출을 방지할 수 있는 단열재(미도시)가 충진될 수 있다.
저장실(110)은 수평 격벽(110a)과 수직 격벽(110b)에 의해 복수 개로 구획될 수 있다. 예를 들어, 도 2에 도시된 바와 같이 저장실(110)은 상부 저장실(111)과, 하부 제1 저장실(112)과, 하부 제2 저장실(113)로 구획될 수 있다.
저장실(110)에는 식품을 올려 놓을 수 있는 선반(110c)이 마련될 수 있다. 저장실(110) 내부의 저장 공간은 선반(110c)에 의하여 구획될 수 있다. 예를 들어, 상부 저장실(111)은 제1 저장 공간(111a)과 제2 저장 공간(111b)과 제3 저장 공간(111c)으로 구획될 수 있다.
저장실(110)은 도어(120)에 의하여 개폐될 수 있다. 예를 들어, 도 2에 도시된 바와 같이 상부 저장실(111)은 상부 제1 도어(121a)와 상부 제2 도어(121b)에 의하여 개폐될 수 있고, 하부 제1 저장실(112)은 하부 제1 도어(122)에 의하여 개폐될 수 있으며, 하부 제2 저장실(113)은 하부 제2 도어(123)에 의하여 개폐될 수 있다.
도어(120)를 용이하게 개폐할 수 있도록 도어(120)에는 핸들(120a)이 마련될 수 있다. 핸들(121)은 상부 제1 도어(121a)와 상부 제2 도어(121b)의 사이와 하부 제1 도어(122)와 하부 제2 도어(123)의 사이를 따라 상하방향으로 길게 형성될 수 있다.
도 4에 도시된 바와 같이, 냉장고(100)는, 본체(101), 저장실(110) 및 도어(120)와 함께, 터치 스크린 디스플레이(130), 온도 센서(140), 카메라(150), 거리 센서(range sensor) (160), 냉각부(170), 통신부(180), 및 제어부(190)를 포함할 수 있다.
터치 스크린 디스플레이(130)는 영상을 표시하는 디스플레이 패널(131)과, 터치 입력을 수신하는 터치 패널(132)을 포함할 수 있다.
디스플레이 패널(131)은 도 5에 도시된 바와 같이 제어부(190)로부터 수신된 영상 데이터를 사용자가 볼 수 있는 광학적 신호로 변환할 수 있다.
디스플레이 패널(131)은 액정 디스플레이(Liquid Crystal Display, LCD) 패널, 발광 다이오드(Light Emitting Diode, LED) 패널, 유기 발광 다이오드(Organic Light Emitting Diode, OLED) 패널, 마이크로 발광 다이오드(micro Light Emitting Diode, uLED) 패널, 플라즈마 디스플레이 패널(Plasma Display Panel, PDP) 등을 채용할 수 있다. 다만, 디스플레이 패널(131)은 이에 한정되지 않으며, 디스플레이 패널(131)은 영상 데이터에 대응하는 광학적 영상을 시각적으로 표시할 수 있는 다양한 디스플레이를 채용할 수 있다.
터치 패널(132)은 도 5에 도시된 바와 같이 사용자의 터치 입력을 수신하고, 수신된 터치 입력에 대응하는 전기적 신호를 제어부(190)로 출력할 수 있다.
예를 들어, 터치 패널(132)은 전기적 저항값의 변화 또는 정전용량의 변화로부터 터치 패널(132)에 대한 사용자의 터치를 감지하고, 사용자의 터치 지점의 좌표에 대응하는 전기적 신호를 제어부(190)로 출력할 수 있다. 제어부(190)는 터치 패널(132)로부터 수신된 전기적 신호에 기초하여 사용자의 터치 지점의 좌표를 식별할 수 있다. 또한, 제어부(190)는 사용자의 터치 지점의 좌표에 기초하여 사용자 입력을 식별할 수 있다.
터치 패널(132)은 디스플레이 패널(131)의 전면에 위치할 수 있다. 다시 말해, 터치 패널(132)은 영상이 표시되는 면 위에 마련될 수 있다. 그로 인하여, 터치 패널(132)은 디스플레이 패널(131)에 표시되는 영상이 왜곡되지 않도록 투명한 재질로 형성될 수 있다.
이러한 터치 패널(132)은 저항막 방식 터치 패널 또는 정전용량 방식 터치 패널을 채용할 수 있다. 다만, 터치 패널(132)은 이에 한정되지 않으며, 터치 패널(132)은 사용자의 터치 또는 접근을 감지하고, 감지된 터치 지점의 좌표 또는 접근 지점의 좌표에 대응하는 전기적 신호를 출력할 수 있는 다양한 터치 패널을 채용할 수 있다.
이처럼, 터치 스크린 디스플레이(130)는 사용자로부터 터치 입력을 수신하여 제어부(190)로 전달하고, 사용자의 터치 입력에 응답한 제어부(190)의 영상을 표시할 수 있다. 다시 말해, 터치 스크린 디스플레이(130)는 사용자와 상호 작용할 수 있다.
터치 스크린 디스플레이(130)은 사용자의 편의를 위해 도어(120)에 설치될 수 있다. 예를 들어, 도 3에 도시된 바와 같이 터치 스크린 디스플레이(130)는 상부 제2 도어(121b)에 설치될 수 있다. 이하에서는 상부 제2 도어(121b)에 설치된 터치 스크린 디스플레이(130)가 설명되나, 터치 스크린 디스플레이(130)의 설치 위치가 상부 제2 도어(121b)에 한정되는 것은 아니다. 예를 들어, 터치 스크린 디스플레이(130)는 상부 제1 도어(121a), 하부 제1 도어(122), 하부 제2 도어(123) 및 본체(10)의 외상(103) 등 사용자가 볼 수 있는 위치라면 어디든지 설치될 수 있다.
온도 센서(140)는 저장실(110)의 내부에 마련되어, 저장실(110) 내부의 온도를 감지하는 복수의 온도 센서들을 포함할 수 있다.
복수의 온도 센서들은 복수의 저장실들(111, 112, 112) 각각에 설치되어 수의 저장실(111, 112, 113) 각각의 온도를 감지하고, 감지된 온도에 대응하는 전기적 신호를 제어부(190)로 출력할 수 있다. 복수의 온도 센서들 각각은 온도에 따라 전기적 저항이 변화하는 서미스터(thermistor)를 포함할 수 있다.
카메라(150)는 저장실(110) 내부에 설치되어 저장실(110)의 내부 영상을 획득할 수 있다. 예를 들어, 도 2에 도시된 바와 같이 카메라(150)는 도어(120)의 내측에 설치될 수 있으며, 도어(120)의 내측으로부터 저장실(110) 내부를 향하여 촬영할 수 있다. 따라서, 카메라(150)는 사용자의 시선 방향과 대략 동일한 방향으로 저장실(110) 내부를 촬영할 수 있다.
카메라(150)는 영상을 촬영하여 전기적 신호로 변환하는 영상 센서(151, 152, 153)를 포함할 수 있다. 영상 센서(151)는 광학 신호를 전기적 신호로 변환하는 복수의 광 다이오드들을 포함할 수 있으며, 복수의 광 다이오드들은 2차원으로 배치될 수 있다. 영상 센서(151)는 예를 들어 CCD (Charge-Coupled Device) 영상 센서 또는 CMOS (Complementary metal??oxide??semiconductor) 영상 센서를 포함할 수 있다.
카메라(150)는 선반(110c)에 의하여 구획된 저장실(110)의 내부를 촬영하기 위하여 복수의 영상 센서들(151a, 151b, 151c)을 포함할 수 있다. 예를 들어, 카메라(150)는 상부 저장실(111)의 제1 저장 공간(111a)을 촬영하는 제1 영상 센서(151a)와, 제2 저장 공간(111b)을 촬영하는 제2 영상 센서(151b)와, 제3 저장 공간(111c)을 촬영하는 제3 영상 센서(151c)를 포함할 수 있다.
특히, 저장실(110)에 식품에 저장된 경우, 카메라(150)에 의하여 촬영된 저장실(110)의 영상은 저장실(110)에 저장된 식품의 영상을 포함할 수 있다.
카메라(150)는 촬영된 영상을 제어부(190)로 전달할 수 있다. 구체적으로, 카메라(150)는 식품의 영상이 포함된 저장실(110)의 영상을 제어부(190)로 전달할 수 있다.
거리 센서(160)는, 냉장고(100)의 주변에 위치하는 물건 특히 사용자까지의 거리를 측정할 수 있다. 예를 들어, 도 3에 도시된 바와 같이 거리 센서(160)는 터치 스크린 디스플레이(130)의 인근에 마련될 수 있다.
거리 센서(160)는 예를 들어 적외선 송수신기를 포함할 수 있다. 적외선 발광 다이오드는 냉장고(100)의 전방을 향하여 적외선을 방출하고, 포토 다이오드는 냉장고(100)의 전방에 위치하는 물건 및/또는 사용자에 의하여 반사된 적외선을 수신할 수 있다. 거리 센서(160)는 수신된 적외선의 세기에 기초하여 물건 및/또는 사용자까지의 대략적인 거리를 식별하거나 또는, 적외선의 발신 시간과 적외선의 수신 시간 사이의 차이에 기초하여 물건 및/또는 사용자까지의 대략적인 거리를 식별할 수 있다.
또한, 거리 센서(160)는 예를 들어 초음파 송수신기를 포함할 수 있다. 초음파 송신기는 냉장고(100)의 전방을 향하여 초음파 방출하고, 초음파 수신기는 냉장고(100)의 전방에 위치하는 물건 및/또는 사용자에 의하여 반사된 초음파를 수신할 수 있다. 거리 센서(160)는 발신된 초음파의 위상과 수신된 초음파의 위상 사이의 차이에 기초하여 물건 및/또는 사용자까지의 대략적인 거리를 식별할 수 있다.
또한, 거리 센서(160)는 예를 들어 송수신 안테나를 포함할 수 있다. 송신 안테나는 냉장고(100)의 전방을 향하여 주파수 변조된 전파 방출하고, 수신 안테나는 냉장고(100)의 전방에 위치하는 물건 및/또는 사용자에 의하여 반사된 전파를 수신할 수 있다. 거리 센서(160)는 발신된 전파의 주파수와 수신된 전파의 주파수 사이의 차이에 기초하여 물건 및/또는 사용자까지의 대략적인 거리를 식별할 수 있다.
거리 센서(160)는 사용자까지의 거리와 관련된 정보를 제어부(190)에 제공할 수 있다.
냉각부(170)는 저장실(110)에 냉각된 공기를 공급할 수 있다. 구체적으로, 냉각부(170)는 냉매 회로에서의 냉매의 순환을 이용하여 저장실(110)의 온도를 사용자에 의하여 지정된 범위 이내로 유지시킬 수 있다.
냉각부(170)는 기체 상태의 냉매를 압축하는 압축기(171)와, 압축된 기체 상태의 냉매를 액체 상태로 상태 변환시키는 응축기(172)와, 액체 상태의 냉매를 감압하는 팽창기(173)와, 감압된 액체 상태의 냉매를 기체 상태로 상태 변환시키는 증발기(174)를 포함할 수 있다. 냉각부(170)는 액체 상태의 냉매가 기체 상태로 상태 변환하면서 주위 공기의 열 에너지를 흡수하는 현상을 이용하여 저장실(110)의 공기를 냉각시킬 수 있다.
다만, 냉각부(170)가 냉매 회로를 포함하는 것에 한정되는 것은 아니다. 예를 들어, 냉각부(170)는 펠티어 효과(Peltier effect)를 이용한 펠티어 소자를 포함하거나 또는 자기 열효과(magneto-caloric effect)를 이용한 자기 냉각 물질을 포함할 수 있다.
통신부(180)는 서버 장치들(10, 20, 30) 및/또는 사용자 장치(50) 및/또는 디스플레이 장치(60) 및/또는 조리 장치(70) 등의 외부 장치들(10, 20, 30, 50, 60, 70)과 데이터를 주고받을 수 있다.
통신부(180)는 외부 장치들(10, 20, 30, 50, 60, 70)과 유선으로 데이터를 주고받는 유선 통신 모듈(182)과, 외부 장치들(10, 20, 30, 50, 60, 70)과 무선으로 데이터를 주고받는 무선 통신 모듈(181)을 포함할 수 있다.
유선 통신 모듈(182)은 유선 통신망에 접속하고 유선 통신망을 통하여 외부 장치들(10, 20, 30, 50, 60, 70)와 통신할 수 있다. 예를 들어, 유선 통신 모듈(182)은 이더넷(Ethernet, IEEE 802.3 기술 표준)을 통하여 유선 통신망에 접속하고, 유선 통신망을 통하여 외부 장치들(10, 20, 30, 50, 60, 70)로부터 데이터를 수신할 수 있다.
무선 통신 모듈(181)은 기지국(base station) 또는 액세스 포인트(AP)와 무선으로 통신할 수 있으며, 기지국 또는 액세스 포인트를 통하여 유선 통신망에 접속할 수 있다. 무선 통신 모듈(181)은 또한 기지국 또는 액세스 포인트를 거쳐 유선 통신망에 접속된 외부 장치들(10, 20, 30, 50, 60, 70)과 통신할 수 있다. 예를 들어, 무선 통신 모듈(181)은 와이파이(WiFi™, IEEE 802.11 기술 표준)을 이용하여 액세스 포인트(AP)와 무선으로 통신하거나, CDMA, WCDMA, GSM, LET(Long Term Evolution), 와이브로 등을 이용하여 기지국과 통신할 수 있다. 무선 통신 모듈(181)은 또한 기지국 또는 액세스 포인트를 거쳐 외부 장치들(10, 20, 30, 50, 60, 70)로부터 데이터를 수신할 수 있다.
뿐만 아니라, 무선 통신 모듈(181)은 외부 장치들(10, 20, 30, 50, 60, 70)과 직접 통신할 수 있다. 예를 들어, 무선 통신 모듈(181)은 와이파이, 블루투스 (Bluetooth™, IEEE 802.15.1 기술 표준), 지그비(ZigBee™, IEEE 802.15.4 기술 표준) 등을 이용하여 외부 장치들(10, 20, 30, 50, 60, 70)로부터 무선으로 데이터를 수신할 수 있다.
이처럼, 통신부(180)는 외부 장치들(10, 20, 30, 50, 60, 70)과 데이터를 주고 받을 수 있으며, 외부 장치들(10, 20, 30, 50, 60, 70)로부터 수신된 데이터를 제어부(190)로 출력할 수 있다.
제어부(190)는 사용자 입력 및/또는 감지 데이터 및/또는 통신 데이터를 처리하고, 데이터 처리에 기초하여 냉장고(100)에 포함된 구성들을 제어할 수 있다.
제어부(190)는 프로그램 및/또는 데이터를 저장/기억하는 메모리(192)와, 메모리(192)에 기억된 프로그램 및/또는 데이터에 따라 사용자 입력 및/또는 감지 데이터 및/또는 통신 데이터를 처리하는 프로세서(191)를 포함한다. 제어부(190)는 메모리(192)와 프로세서(191) 등의 하드웨어 뿐만 아니라, 메모리(192)에 기억되고 프로세서(191)에서 처리되는 프로그램 및/또는 데이터 등의 소프트웨어를 더 포함할 수 있다.
메모리(192)는 프로그램 및/또는 데이터를 저장/기억할 수 있다. 프로그램은 특정한 기능을 수행하기 위하여 조합된 복수의 명령어들을 포함하며, 데이터는 프로그램에 포함된 복수의 명령어들에 의하여 처리 및/또는 가공될 수 있다. 또한, 프로그램 및/또는 데이터는 냉장고(100)의 동작과 직접적으로 관련된 시스템 프로그램 및/또는 시스템 데이터와, 사용자에게 편의 및 재미를 제공하는 어플리케이션 프로그램 및/또는 어플리케이션 데이터를 포함할 수 있다.
메모리(192)는 냉장고(100)에 포함된 구성들을 제어하기 위한 프로그램 및/또는 데이터를 저장하는 비휘발성 메모리와 냉장고(100)에 포함된 구성들을 제어하기 중에 발생하는 임시 데이터를 기억하는 휘발성 메모리를 포함할 수 있다.
비휘발성 메모리는 예를 들어 프로그램 및/또는 데이터를 전기적으로 또는 자기적으로 또는 광학적으로 저장할 수 있다. 비휘발성 메모리는 예를 들어 데이터를 장기간 저장하기 위한 롬(Read Only Memory), 플래시 메모리(flash memory)를 포함할 수 있다. 또한, 비휘발성 메모리는 반도체 소자 드라이브(solid stat driver, SSD) 또는 하드 디스크 드라이브(hard disc drive, HDD) 또는 광 디스크 드라이브(optical disc drive, ODD) 등을 포함할 수 있다.
휘발성 메모리는 예를 들어 비휘발성 메모리로부터 프로그램 및/또는 데이터를 로드하고, 프로그램 및/또는 데이터를 전기적으로 기억할 수 있다. 휘발성 메모리는 예를 들어 데이터를 일시적으로 기억하기 위한 S-램(Static Random Access Memory, S-RAM), D-램(Dynamic Random Access Memory) 등을 포함할 수 있다.
이러한 메모리(192)는 운영 체제(Operating System, OS), 미들 웨어 및 어플리케이션 등의 프로그램 및 데이터를 저장/기억할 수 있으며, 프로세서(191)의 요청에 응답하여 프로그램 및 데이터를 프로세서(191)에 제공할 수 있다.
프로세서(191)는 메모리(192)에 기억/저장된 프로그램 및/또는 데이터에 따라 터치 스크린 디스플레이(130)의 사용자 입력 및/또는 거리 센서(160)의 감지 데이터 및/또는 통신부(180)의 통신 데이터를 처리할 수 있다. 또한, 프로세서(191)는 데이터 처리에 기초하여 카메라(150), 터치 스크린 디스플레이(130) 및/또는 통신부(180)의 동작을 제어하기 위한 제어 신호를 생성할 수 있다.
예를 들어, 프로세서(191)는 온도 센서(140)로부터 저장실(110)의 온도 정보를 수신하고, 저장실(110)의 온도 정보에 기초하여 냉각부(170)의 동작을 제어하기 위한 냉각 제어 신호를 생성할 수 있다. 프로세서(191)는 터치 스크린 디스플레이(130)로부터 사용자의 터치 입력을 수신하고, 사용자의 터치 입력에 응답하여 터치 스크린 디스플레이(130)에 영상을 표시하기 위한 표시 제어 신호 및 영상 데이터를 터치 스크린 디스플레이(130)에 전달할 수 있다. 프로세서(191)는 개방된 도어(120)가 폐쇄된 즉시 카메라(150)가 저장실(110)의 내부를 촬영하도록 촬영 제어 신호를 생성하고, 카메라(150)로부터 저장실(110)의 내부 영상을 수신할 수 있다. 프로세서(191)는 카메라(150)로부터 저장실(110)의 내부 영상을 처리하고, 영상 처리에 기초하여 촬영된 영상에 포함된 식품들을 식별할 수 있다. 프로세서(191)는 식품들을 식별한 것에 기초하여 식품 관련 정보를 터치 스크린 디스플레이(130)에 표시하기 위한 표시 제어 신호를 생성할 수 있다.
프로세서(191)는 논리 연산 및 산술 연산 등을 수행하는 코어(core)와, 연산된 데이터를 기억하는 레지스터(register) 등을 포함할 수 있다.
이처럼 제어부(190)는 센서들로부터 수집된 데이터를 처리하고, 데이터 처리에 기초하여 냉장고(100)에 포함된 구성들을 제어할 수 있다. 특히, 제어부(190)는 터치 스크린 디스플레이(130)를 통하여 다양한 정보를 사용자에게 제공할 수 있다.
이하에서는 냉장고(100)가 터치 스크린 디스플레이(130)를 통하여 정보를 제공하는 것이 설명된다.
도 6은 일 실시예에 의한 냉장고에 의하여 촬영된 영상과 식품의 식별을 나타내는 화면의 일 예를 도시한다.
앞서 설명된 바와 같이, 냉장고(100)는, 저장실(110)의 내부를 촬영할 수 있다. 제어부(190)는, 도어(120)의 폐쇄 시에 저장실(110)의 내부를 촬영하도록 카메라(150)를 제어할 수 있으며, 카메라(150)로부터 영상 데이터를 획득할 수 있다.
제어부(190)는 카메라(150)로부터 획득된 영상을 포함하는 페이지(200)를 도 6에 도시된 바와 같이 터치 스크린 디스플레이(130)에 표시할 수 있다. 예를 들어, 제어부(190)는 제1 저장 공간(111a)의 내부 영상(210)과, 제2 저장 공간(111b)의 내부 영상(220)과, 제3 저장 공간(111c)의 내부 영상(230)을 각각 터치 스크린 디스플레이(130)에 표시할 수 있다.
제어부(190)는, 카메라(150)로부터 획득된 영상 데이터를 처리하는 것에 기초하여, 카메라(150)에 의하여 촬영된 식품(즉, 카메라에 의하여 촬영된 영상에 포함된 식품)을 식별할 수 있다.
예를 들어, 제어부(190)는 기계 학습을 위한 뉴럴 네트워크를 포함할 수 있다. 뉴럴 네트워크는 영상 데이터가 입력되는 입력 레이어와, 식별된 객체에 관한 정보가 출력되는 출력 레이어와, 입력 레이어와 출력 레이어 사이의 히든 레이어를 포함할 수 있다. 입력 레이어는 그 각각에 영상의 픽셀의 휘도 값이 입력되는 복수의 입력 노드들을 포함할 수 있다. 히든 레이어는 그 각각에 복수의 입력 노드들의 값들에 제1 가중치들이 적용된 값이 입력되는 복수의 히든 노드들을 포함할 수 있다. 출력 레이어는 그 각각에 복수의 히든 노드들의 값들에 제2 가중치들이 적용된 값이 입력되는 복수의 출력 노드들을 포함할 수 있다. 복수의 출력 노드들의 값에 기초하여 영상에 포함된 식품이 식별될 수 있다.
제어부(190)는, 카메라(150)로부터 획득된 영상과 함께, 도 6에 도시된 바와 같이 영상 데이터로부터 식별된 식품의 식별 정보(예를 들어, 명칭)를 표시할 수 있다. 예를 들어, 제어부(190)는 저장실(110)의 내부 영상(210, 220, 230) 상에 파인애플의 식별 정보(221)와, 통조림의 식별 정보(222)와, 포도의 식별 정보(223)와, 사과의 식별 정보(224)를 표시할 수 있다.
이상에서는 제어부(190)가, 카메라(150)로부터 획득된 영상 데이터를 처리하는 것에 기초하여, 카메라(150)에 의하여 촬영된 식품을 식별하는 것이 설명되었으나, 이에 한정되지 아니한다. 예를 들어, 제어부(190)는, 카메라(150)로부터 획득된 영상 데이터를 서버 장치로 전송하도록 통신부(180)를 제어하고, 통신부(180)를 통하여 서버 장치로부터 카메라(150)에 의하여 촬영된 식품의 식별 정보를 획득할 수 있다.
제어부(190)는, 카메라(150)에 의하여 촬영된 식품의 식별 정보를 제2 서버 장치(20) 및/또는 제3 서버 장치(30)에 전송하도록 통신부(180)를 제어할 수 있다. 제2 서버 장치(20)는, 수신된 식품의 식별 정보에 기초하여 식단 및/또는 그 조리법을 냉장고(100)에 제공할 수 있다. 또한, 제3 서버 장치(30)는, 수신된 식품의 식별 정보에 기초하여 식품 구매 추천을 냉장고(100)에 제공할 수 있다.
이처럼, 제어부(190)는 통신부(180)를 통하여 제2 서버 장치(20)로부터 식단 및/또는 그 조리법을 수신할 수 있으며, 통신부(180)를 통하여 제3 서버 장치(30)로부터 식품 구매 추천을 수신할 수 있다.
도 7은 일 실시예에 의한 냉장고에 포함된 터치 스크린 디스플레이에 표시되는 페이지의 일 예를 도시한다. 도 8은 일 실시예에 의한 냉장고에 포함된 터치 스크린 디스플레이에 표시되는 페이지의 다른 일 예를 도시한다.
제어부(190)는 제2 서버 장치(20)로부터 수신된 식단 및/또는 그 조리법과 제3 서버 장치(30)로부터 수신된 구매 추천을 하나의 페이지(또는 화면) (200)상을 통하여 터치 스크린 디스플레이(130) 상에 표시할 수 있다.
제어부(190)는, 터치 스크린 디스플레이(130)를 통한 사용자 입력(예를 들어, 터치 입력)에 응답하여, 식단 관리를 위한 어플리케이션을 런칭할 수 있다.
제어부(190)는 어플리케이션에 포함된 일련의 명령어를 처리할 수 있으며, 어플리케이션의 런칭에 응답하여 예를 들어 도 7에 도시된 바와 같은 페이지(300)를 터치 스크린 디스플레이(130)에 표시할 수 있다.
식단 관리를 위한 어플리케이션에 의한 페이지(300)는 제2 서버 장치(20)로부터 수신된 식단을 표시하는 식단 영역(310)과, 제2 서버 장치(20)로부터 수신된 조리법을 표시하는 조리법 영역(320)과, 제3 서버 장치(30)를 통하여 구매하기 위한 목록을 표시하는 구매 목록 영역(330)을 포함할 수 있다.
식단 영역(310)에는, 제2 서버 장치(20)로부터 수신된 식단(meal plan)이 표시될 수 있다. 예를 들어, 제어부(190)는, 식단 영역(310)에, 제2 서버 장치(20)로부터 수신된 식단(meal plan) 중에 해당일(오늘)의 식사(diet)를 표시할 수 있다. 또한, 제어부(190)는, 식단 영역(310)에, 제2 서버 장치(20)는 수신된 식단 중에 해당일(오늘)의 해당 시간대의 식사(아침 식사, 점심 식사, 저녁 식사 중 어느 하나)를 표시할 수 있다.
식단 영역(310)에는, 식사의 조리를 개시하기 위한 제1 조리 버튼(311)이 마련될 수 있다. 제1 조리 버튼(311)을 통한 사용자 입력에 응답하여, 제어부(190)는 조리 장치(70)에 조리 챔버의 예열을 위한 메시지를 전송하도록 통신부(180)를 제어할 수 있다.
조리법 영역(320)에는, 제2 서버 장치(20)로부터 수신된 조리법(recipe)이 표시될 수 있다. 예를 들어, 제어부(190)는, 조리법 영역(320)에, 해당일(오늘)의 식사에 대응하는 조리법을 표시할 수 있다. 또한, 제어부(190)는, 조리법 영역(320)에, 사용자에 의하여 선택된 조리법을 표시할 수 있다.
조리법 영역(320)에는, 조리법 영역(320)에 표시된 조리법에 따라 조리를 개시하기 위한 제2 조리 버튼(321)이 마련될 수 있다. 제2 조리 버튼(321)을 통한 사용자 입력에 응답하여, 제어부(190)는 조리 장치(70)에 조리 챔버의 예열을 위한 메시지를 전송하도록 통신부(180)를 제어할 수 있다.
조리법 영역(320)에는, 조리법 영역(320)에 표시된 조리법에 의한 식사를 식단에 추가하기 위한 식단 추가 버튼(322)이 마련될 수 있다. 식단 추가 버튼(322)을 통한 사용자 입력에 응답하여, 제어부(190)는, 식단 영역(310)에 조리법 영역(320)에 표시된 식사를 추가하고, 식단 영역(310)에 상기 식사가 추가된 식단을 표시할 수 있다.
조리법 영역(320)에는, 조리법 영역(320)에 표시된 식사의 준비를 위한 식품 재료들을 구매하기 위한 구매 추가 버튼(323)이 마련될 수 있다. 구매 추가 버튼(323)을 통한 사용자 입력에 응답하여, 제어부(190)는, 구매 목록 영역(330)에 식사의 준비를 위한 식품 재료들을 추가할 수 있다.
구매 목록 영역(330)에는, 제3 서버 장치(30)를 통하여 구매하기 위한 상품의 목록을 표시될 수 있다. 예를 들어, 제어부(190)는, 구매 목록 영역(330)에 제3 서버 장치(30)로부터 수신된 구매 추천 목록의 상품들 및/또는 제2 서버 장치(20)로부터 수신된 식사의 준비를 위한 식품들을 표시할 수 있다.
구매 목록 영역(330)에는, 구매 목록 영역(330)에 표시된 상품들을 구매하기 위한 구매 버튼(331)이 마련될 수 있다. 구매 버튼(331)을 통한 사용자 입력에 응답하여, 제어부(190)는 구매 목록 영역(330)에 표시된 상품들을 구매하기 위한 요청을 제3 서버 장치(30)에 전송할 수 있으며, 상품 구매를 위한 페이지를 터치 스크린 디스플레이(130)에 표시할 수 있다.
이처럼, 냉장고(100)는 식단, 조리법 및 구매 목록을 터치 스크린 디스플레이(130)의 단일 페이지(또는 단일 화면) 상에 표시할 수 있다. 그로 인하여, 사용자는, 식단을 확인하기 위한 페이지와 식사를 준비하기 위한 조리법을 확인하기 위한 페이지와 조리법에 의한 식품 재료를 구매하기 위한 페이지로 이동하는 불편없이, 단일 페이지에서 식단 확인, 조리법 확인 및 식품 재료 구매를 모두 실행할 수 있다.
식단 확인, 조리법 확인 및 식품 재료 구매를 제공하기 위한 단일 페이지는 도 7에 도시된 바에 한정되지 아니한다.
예를 들어, 제어부(190)는 식단 관리를 위한 어플리케이션의 런칭에 응답하여 도 8에 도시된 바와 같은 페이지(301)를 터치 스크린 디스플레이(130)에 표시할 수 있다.
식단 관리를 위한 어플리케이션에 의한 페이지(301)는 제2 서버 장치(20)로부터 수신된 조리법을 표시하는 조리법 영역(320)과, 제2 서버 장치(20)로부터 수신된 식단을 표시하는 식단 영역(310)과, 제3 서버 장치(30)를 통하여 구매하기 위한 목록을 표시하는 구매 목록 영역(330)을 포함할 수 있다. 또한, 페이지(301)는 사용자에게 의하여 선택된 조리법을 표시하는 선호 영역(340)을 더 포함할 수 있다.
조리법 영역(320)에는, 조리법(recipe)이 표시될 수 있다. 또한, 조리법 영역(320)에는, 조리법 영역(320)에 표시된 조리법에 따라 조리를 개시하기 위한 제2 조리 버튼(321)과 조리법 영역(320)에 표시된 조리법에 의한 식사를 식단에 추가하기 위한 식단 추가 버튼(322)이 마련될 수 있다.
식단 영역(310)에는, 날짜 별 식사(diet)가 표시될 수 있다. 예를 들어, 해당일(오늘)의 식사가 표시될 수 있다. 또한, 식단 영역(310)에는, 해당일(오늘)의 식사(diet)의 조리법을 확인하기 위한 조리법 버튼(312)이 마련될 수 있다.
구매 목록 영역(330)에는, 제3 서버 장치(30)를 통하여 구매하기 위한 상품의 목록을 표시될 수 있다. 또한, 구매 목록 영역(330)에는, 구매 목록에 상품을 추가하기 위한 구매 추가 버튼(332)과, 구매 목록 영역(330)에 표시된 상품들을 구매하기 위한 구매 버튼(331)이 마련될 수 있다.
선호 영역(340)에는, 사용자가 특별히 선택한 식품의 조리법이 표시될 수 있다. 사용자는 식단 영역(310)에 표시되는 식사의 조리법 또는 조리법 영역(320)에 표시되는 조리법을 선호 조리법(341)으로써 선택할 수 있다. 사용자에 의하여 선택된 조리법은 선호 영역(340) 상에 표시되며, 별도의 사용자 입력이 없는 이상 선호 조리법(341)은 시간이 흐르거나 날짜가 변경되더라도 여전히 선호 영역(340) 상에 표시될 수 있다. 다시 말해, 사용자는 언제든지 간단히 선호 영역(340)의 선호 조리법(341)을 확인할 수 있다.
이상에서 설명된 바와 같이, 냉장고(100)는 식단, 조리법 및 식품 구매 모두를 위한 페이지를 사용자에게 제공할 수 있으며, 그로 인하여 사용자는 페이지 이동 없이 하나의 페이지에서 식단, 조리법 및 식품 구매를 모두 수행할 수 있다.
도 9은 일 실시예에 의한 냉장고가 식단 및/또는 조리법을 획득하는 일 예를 도시한다.
도 9와 함께, 냉장고가 식단 및/또는 그 조리법을 획득하는 방법(1000)이 설명된다.
냉장고(100)는 사용자 입력에 응답하여 어플리케이션을 런칭한다(1010).
제어부(190)는, 터치 스크린 디스플레이(130)를 통하여 어플리케이션을 런칭하기 위한 사용자 입력을 획득할 수 있다. 제어부(190)는, 사용자 입력에 응답하여, 어플리케이션을 런칭할 수 있다.
냉장고(100)는 제2 서버 장치(20)에 식단 및 조리법을 요청한다(1015).
제어부(190)는, 런칭된 어플리케이션을 구성하는 명령어들에 따라, 제2 서버 장치(20)에 식단 및 조리법을 요청하는 메시지를 전송하도록 통신부(180)를 제어할 수 있다.
제2 서버 장치(20)는, 냉장고(100)로부터 수신된 식단 및 조리법을 요청하는 메시지에 응답하여, 식단 및 조리법을 선택한다(1020).
제2 서버 장치(20)는 다양한 식품들 및 그 식품들의 조리법으로 구성된 데이터 베이스를 포함할 수 있다. 예를 들어, 제2 서버 장치(20)의 데이터 베이스는 각 국가에서 주로 섭취되는 식품들과 그 식품들의 조리법을 포함할 수 있다. 제2 서버 장치(20)의 데이터 베이스는 또한 계절에 따라 주로 섭취되는 식품들과 그 식품들의 조리법을 포함할 수 있다. 제2 서버 장치(20)의 데이터 베이스는 또한 날씨에 따라 주로 섭취되는 식품들과 그 식품들의 조리법을 포함할 수 있다.
또한, 제2 서버 장치(20)는 식품과 식재료와 관련된 다양한 주제의 커뮤니티를 제공할 수 있으며, 사용자가 커뮤니티에서 조리법을 다운로드하거나 조리법을 업로드할 수 있는 인터페이스를 제공한다.
이처럼 제2 서버 장치(20)는 국가, 지리적 위치, 계절, 날씨, 시간대, 식재료, 조리법 등 다양한 항목에 따른 다양한 식품과 그 조리법으로 구성된 데이터 베이스를 포함할 수 있다.
제2 서버 장치(20)는, 사용자의 국가, 지리적 위치, 선호 식재료, 선호 조리법, 비선호 식재료, 비선호 조리법, 조리 경험 등에 기초하여, 데이터 베이스를 이용하여 식단을 만들고 식단에 포함된 식품들의 조리법을 선택할 수 있다. 예를 들어, 제2 서버 장치(20)는 사용자의 국가, 지리적 위치, 선호 식재료, 선호 조리법, 비선호 식재료, 비선호 조리법, 조리 경험 등 다양한 항목에 따라 식품과 그 조리법을 선택하기 위한 기계 학습 모델(또는 기계 학습 엔진)을 포함할 수 있다. 제2 서버 장치(20)는 기계 학습 모델(또는 기계 학습 엔진)을 이용하여 식품과 그 조리법을 선택하고, 선택된 식품과 그 조리법을 사용자에게 추천할 수 있다.
이때, 제2 서버 장치(20)는, 냉장고(100)의 식단 및 조리법을 요청하는 메시지를 수신할 뿐이다. 이에, 제2 서버 장치(20)는, 냉장고(100)의 메시지를 수신한 때의 환경 정보에 기초하여, 식단을 만들고 식단에 포함된 식품의 조리법을 선택할 수 있다. 예를 들어, 제2 서버 장치(20)는 요청 메시지를 수신한 시간대 및/또는 요청 메시지를 수신한 날짜(또는 계절) 및/또는 요청 메시지를 수신한 날의 날씨 및/또는 요청 메시지를 수신한 때의 식품 트렌드에 기초하여, 식단을 만들고 식단에 포함된 식품의 조리법을 선택할 수 있다.
제2 서버 장치(20)는 식단 및 그 조리법에 관한 정보를 냉장고(100)에 전송한다(1025).
냉장고(100)는, 제2 서버 장치(20)로부터 식단 및 그 조리법에 관한 정보를 수신한 것에 응답하여, 식단 및 그 조리법을 표시한다(1030).
제어부(190)는, 런칭된 어플리케이션을 구성하는 명령어들에 따라, 제2 서버 장치(20)로부터 식단 및 그 조리법을 표시하도록 터치 스크린 디스플레이(130)를 제어할 수 있다. 예를 들어, 제어부(190)는 도 7에 도시된 바와 같이 식단 영역(310)과 조리법 영역(320)을 포함하는 페이지(300)를 표시하도록 터치 스크린 디스플레이(130)를 제어할 수 있다. 식단 영역(310)에는 제2 서버 장치(20)로부터 수신된 식단이 표시되며, 조리법 영역(320)에는 제2 서버 장치(20)로부터 수신된 조리법이 표시될 수 있다. 뿐만 아니라, 제어부(190)는 도 8에 도시된 바와 같이 식단 영역(310)과 조리법 영역(320)을 포함하는 페이지(301)를 표시하도록 터치 스크린 디스플레이(130)를 제어할 수 있다.
이처럼, 냉장고(100)는, 사용자로부터 사용자에 관한 정보의 획득 없이, 저장실(110)에 저장된 식품(또는 식재료), 계절, 날씨, 시간대 등에 기초한 식단 및 그 조리법을 표시할 수 있다.
도 10은 일 실시예에 의한 냉장고가 식단 및/또는 조리법을 획득하는 일 예를 도시한다.
도 10과 함께, 냉장고가 식단 및/또는 그 조리법을 획득하는 방법(1100)이 설명된다.
냉장고(100)는 저장실(110)의 내부를 촬영한다(1110).
예를 들어, 제어부(190)는 개방된 도어(120)의 폐쇄가 감지되면 저장실(110)의 내부를 촬영하도록 카메라(150)를 제어할 수 있다. 카메라(150)는 저장실(110)을 촬영하고, 촬영된 영상 데이터를 제어부(190)에 제공할 수 있다. 제어부(190)는 카메라(150)로부터 저장실(110)의 영상 데이터를 획득할 수 있다.
다른 예로, 제어부(190)는 터치 스크린 디스플레이(130)를 통한 사용자 입력에 응답하여 저장실(110)의 내부를 촬영하도록 카메라(150)를 제어할 수 있으며, 카메라(150)로부터 저장실(110)의 영상 데이터를 획득할 수 있다.
또한, 제어부(190)는, 사용자 입력에 응답하여, 카메라(150)에 의하여 촬영된 저장실(110)의 영상을 터치 스크린 디스플레이(130)에 표시할 수 있다.
냉장고(100)는 카메라(150)에 의하여 촬영된 식품(또는 식재료)을 식별한다(1120).
예를 들어, 제어부(190)는 기계 학습을 위한 뉴럴 네트워크를 포함할 수 있다. 제어부(190)는 촬영된 영상을 뉴럴 네트워크에 입력하고, 뉴럴 네트워크의 출력에 기초하여 카메라(150)에 의하여 촬영된 식품(즉, 카메라에 의하여 촬영된 영상에 포함된 식품) (또는 식재료)을 식별할 수 있다.
다른 예로, 제어부(190)는 저장실(110)의 영상 데이터를 외부 서버 장치에 전송하도록 통신부(180)를 제어할 수 있다. 외부 서버 장치는 기계 학습을 위한 뉴럴 네트워크를 포함할 수 있으며, 뉴럴 네트워크를 이용하여 영상 데이터에 포함된 식품(또는 식재료)을 식별할 수 있다. 제어부(190)는 통신부(180)를 통하여 외부 서버 장치로부터 식품(또는 식재료)의 정보를 수신할 수 있다.
냉장고(100)는 저장실(110)에 저장된 식품(또는 식재료) 목록을 갱신한다(1130).
제어부(190)는, 기계 학습을 이용하여 식별된 식품(또는 식재료)에 기초하여, 식품(또는 식재료) 목록을 갱신할 수 있다. 또한, 제어부(190)는, 사용자 입력에 응답하여, 저장실(110)에 저장된 식품(또는 식재료) 목록을 터치 스크린 디스플레이(130)에 표시할 수 있다.
냉장고(100)는 사용자 입력에 응답하여 어플리케이션을 런칭한다(1140).
제어부(190)는, 터치 스크린 디스플레이(130)를 통하여 어플리케이션을 런칭하기 위한 사용자 입력을 획득할 수 있다. 제어부(190)는, 사용자 입력에 응답하여, 어플리케이션을 런칭할 수 있다.
냉장고(100)는 제2 서버 장치(20)에 식단 및 조리법을 요청한다(1145).
제어부(190)는, 런칭된 어플리케이션을 구성하는 명령어들에 따라, 제2 서버 장치(20)에 식품(또는 식재료) 목록과 함께 식단 및 조리법을 요청하는 메시지를 전송하도록 통신부(180)를 제어할 수 있다.
제2 서버 장치(20)는, 냉장고(100)로부터 수신된 식단 및 조리법을 요청하는 메시지에 응답하여, 식단 및 조리법을 선택한다(1150).
도 9의 동작 1020에서 설명된 바와 같이, 제2 서버 장치(20)는 다양한 식품들 및 그 식품들의 조리법을 저장할 수 있다.
제2 서버 장치(20)는, 식품(또는 식재료) 목록을 수신할 뿐이다. 제2 서버 장치(20)는, 수신된 식품(또는 식재료) 목록 및 환경 정보에 기초하여 식단을 만들고 식단에 포함된 식품의 조리법을 선택할 수 있다.
제2 서버 장치(20)는 현재의 식품 목록에 포함된 식품과 이전의 식품 목록에 포함된 식품 사이의 비교에 기초하여 식단을 만들 수 있다. 제2 서버 장치(20)는 이전의 식품 목록에 포함되고 현재의 식품 목록에서 제거된 식품을 포함하는 식단을 만들 수 있다. 여기서, 이전의 식품 목록에 포함되고 현재의 식품 목록에서 제거된 식품은 사용자가 섭취한 식품으로 판단될 수 있다.
나아가, 제2 서버 장치(20)는, 식품 목록의 연혁(history)에 기초하여 식단을 만들 수 있다. 제2 서버 장치(20)는, 식품 목록에 포함된 또는 포함되었던 식품 중에 추가 및 배제가 빈번한 식품을 포함하는 식단을 만들 수 있다. 여기서, 식품 중에 추가 및 배제가 빈번한 식품은 사용자가 자주 섭취하는 식품으로 판단될 수 있다.
제2 서버 장치(20)는, 수신된 식재료를 이용한 식단을 만들 수 있다. 특히, 제2 서버 장치(20)는, 식재료 중에 추가 및 배제가 빈번한 식재료를 이용한 식단을 만들 수 있다. 여기서, 식재료 중에 추가 및 배제가 빈번한 식재료는 사용자가 자주 섭취하는 식품으로 판단될 수 있다.
제2 서버 장치(20)는 식단 및 그 조리법에 관한 정보를 냉장고(100)에 전송한다(1155). 냉장고(100)는, 제2 서버 장치(20)로부터 식단 및 그 조리법에 관한 정보를 수신한 것에 응답하여, 식단 및 그 조리법을 표시한다(1160).
제어부(190)는, 런칭된 어플리케이션을 구성하는 명령어들에 따라, 제2 서버 장치(20)로부터 식단 및 그 조리법을 표시하도록 터치 스크린 디스플레이(130)를 제어할 수 있다.
이처럼, 냉장고(100)는, 저장실(110)에 저장된 식품(또는 식재료)를 식별하고, 식별된 식품(또는 식재료)에 기초한 식단 및 그 조리법을 사용자에게 제공할 수 있다.
도 11은 일 실시예에 의한 냉장고가 식단 및/또는 조리법을 획득하는 일 예를 도시한다.
도 11와 함께, 냉장고가 식단 및/또는 그 조리법을 획득하는 방법(1200)이 설명된다.
냉장고(100)는 사용자 정보를 획득한다(1210).
냉장고(100)는 사용자에게 보다 다양한 서비스를 제공하기 위하여 사용자에게 제1 서버 장치(10)에서 계정을 생성할 것을 추천할 수 있다. 예를 들어, 제1 서버 장치(10)는 서비스 가입된 사용자의 계정을 생성하고, 사용자의 식별 정보(예를 들어, 이름, 국적, 주소, 연락처 등)와 사용자의 인증 정보(예를 들어, ID, 비밀번호, 생체 정보(지문 또는 홍채) 등)를 저장/관리할 수 있다.
제어부(190)는 사용자의 식별 정보 및 인증 정보를 수집하기 위한 페이지를 표시하도록 터치 스크린 디스플레이(130)를 제어할 수 있다. 예를 들어, 제어부(190)는 터치 스크린 디스플레이(130)를 통하여 사용자의 이름, 국적, 주소, 연락처를 수집할 수 있으며, 사용자의 ID, 비밀번호, 생체 정보(지문 또는 홍채) 등을 수집할 수 있다.
또한, 냉장고(100)는 사용자의 식품 선호에 관한 정보를 수집할 수 있다.
구체적으로, 제어부(190)는 사용자의 식품 선호에 관한 정보를 수집하기 위한 페이지를 터치 스크린 디스플레이(130)에 표시하고, 터치 스크린 디스플레이(130)를 통한 사용자 입력에 기초하여 사용자의 식품 선호에 관한 정보를 획득할 수 있다.
예를 들어, 제어부(190)는 사용자 선호하는 식이 요법 및 식품 유형, 사용자가 회피하는 식품, 사용자의 가족 구성원의 수, 사용자가 선호하는 식재료, 사용자가 회피하는 식재료, 사용자가 선호하는 조리법, 사용자의 조리 경험 등을 수집할 수 있다.
제어부(190)는, 사용자가 선호하는 식이 요법에 관하여, 채식 주의(pescatarian, vegan, vegetarian 등), 비-유제품(dairy free), 저탄수화물(low-carb), 캐톤(ketogenic), 해독 식품(detox) 등 중 1 또는 그 이상을 선택할 수 있는 인터페이스를 터치 스크린 디스플레이(130)에 표시할 수 있다.
제어부(190)는, 사용자가 선호하는 식품 유형에 관하여, 건강식(healthy), 고단백질(high-protein), 저-설탕(low-sugars), 저염(low-sodium), 저지방(low-fat), 저-열량(low-energy), 저-섬유(low-fiber) 등 중 1 또는 그 이상을 선택할 수 있는 인터페이스를 터치 스크린 디스플레이(130)에 표시할 수 있다.
제어부(190)는, 사용자가 회피하는 식품에 관하여, 알콜, 카페인, 달걀, 생선, 글루텐, 견과, 겨자, 간장, 밀 등 중 1 또는 그 이상을 선택할 수 있는 인터페이스를 터치 스크린 디스플레이(130)에 표시할 수 있다.
제어부(190)는, 사용자의 가족 구성원의 수를 입력할 수 있는 인터페이스를 터치 스크린 디스플레이(130)에 표시할 수 있다.
제어부(190)는, 사용자가 회피하는 식품에 관하여, 소고기, 돼지고기, 닭고기, 생선, 토마토, 감자, 당근, 양파, 파, 마늘, 치즈, 달걀 등 중 1 또는 그 이상을 선택할 수 있는 인터페이스를 터치 스크린 디스플레이(130)에 표시할 수 있다.
제어부(190)는, 사용자가 회피하는 식재료를 입력할 수 있는 인터페이스를 터치 스크린 디스플레이(130)에 표시할 수 있다.
제어부(190)는, 사용자가 선호하는 조리법에 관하여, 미국식, 중국식, 일본식, 프랑스식, 인도식, 한국식, 태국식, 스페인식, 멕시코식 등 중 1 또는 그 이상을 선택할 수 있는 인터페이스를 터치 스크린 디스플레이(130)에 표시할 수 있다.
제어부(190)는, 사용자의 조리 경험에 관하여, 초급(amateur), 중급(intermediate), 상급(advanced) 중 하나를 선택할 수 있는 인터페이스를 터치 스크린 디스플레이(130)에 표시할 수 있다.
이처럼, 냉장고(100)가 수집하는 사용자 정보는 식별 정보, 인증 정보 및 식품 선호 정보를 포함할 수 있다.
냉장고(100)는, 수집된 사용자 정보를 제1 서버 장치(10)에 전송한다(1215).
제어부(190)는, 식별 정보, 인증 정보 및 식품 선호 정보를 제1 서버 장치(10)에 전송하도록 통신부(180)를 제어할 수 있다.
제1 서버 장치(10)는 수신된 사용자 정보를 저장한다(1220).
제1 서버 장치(10)는 수신된 식별 정보와 인증 정보에 기초하여 사용자의 계정을 생성할 수 있다. 또한, 제1 서버 장치(10)는 생성된 사용자 계정과 관련하여, 사용자의 식별 정보, 인증 정보 및 식품 선호 정보를 저장할 수 있다.
이후, 냉장고(100)는 저장실(110)에 저장된 식품 목록을 갱신한다(1230).
동작 1230은 도 10에 도시된 동작 1110, 동작 1120 및 동작 1130과 동일할 수 있다.
제어부(190)는 저장실(110)의 내부를 촬영하도록 카메라(150)를 제어하고, 카메라(150)로부터 획득된 영상 데이터에 기초하여 식품(또는 식재료)를 식별할 수 있다. 구체적으로, 제어부(190)는 기계 학습을 이용하여 식품(또는 식재료)를 식별할 수 있다. 제어부(190)는 식별된 식품(또는 식재료)에 기초하여 식품(또는 식재료) 목록을 갱신할 수 있다.
냉장고(100)는 사용자 입력에 응답하여 어플리케이션을 런칭한다(1240).
동작 1240의 설명은 도 10에 도시된 동작 1140의 설명으로 갈음할 수 있다.
냉장고(100)는 제2 서버 장치(20)에 식단 및 조리법을 요청한다(1242).
동작 1242의 설명은 도 10에 도시된 동작 1145의 설명으로 갈음할 수 있다.
냉장고(100)는 제1 서버 장치(10)에 사용자 정보의 제공을 요청하는 메시지 또는 제1 서버 장치(10)의 사용자 정보의 제공 요청에 동의하는 메시지를 전송한다(1244). 제1 서버 장치(10)는, 냉장고(100)의 메시지에 응답하여, 제2 서버 장치(20)에 사용자 정보를 전송한다(1246).
제2 서버 장치(20)는, 사용자의 취향에 적합한 식단 및 조리법을 제공하기 위하여, 제1 서버 장치(10) 또는 냉장고(100)에 사용자 정보를 요청할 수 있다.
냉장고(100)는, 제2 서버 장치(20)의 정보 요청에 응답하여, 사용자 정보의 제공에 동의하기 위한 페이지를 표시하고, 사용자 정보의 제공에 동의하는 사용자 입력에 응답하여 사용자 정보의 제공에 동의하는 메시지를 제1 서버 장치(10)에 전송할 수 있다. 제1 서버 장치(10)는, 냉장고(100)의 메시지에 응답하여, 사용자의 국적, 주소 등의 제한된 식별 정보와 사용자의 식품 선호 정보를 제2 서버 장치(20)에 전송할 수 있다.
또한, 제1 서버 장치(10)는, 제2 서버 장치(20)의 정보 요청에 응답하여, 냉장고(100)에 사용자 정보의 제공 동의를 요청할 수 있다. 냉장고(100)는, 사용자 정보의 제공에 동의하는 사용자 입력에 응답하여, 사용자 정보의 제공에 동의하는 메시지를 제1 서버 장치(10)에 전송할 수 있다. 제1 서버 장치(10)는, 냉장고(100)의 메시지에 응답하여, 사용자의 국적, 주소 등의 제한된 식별 정보와 사용자의 식품 선호 정보를 제2 서버 장치(20)에 전송할 수 있다.
제2 서버 장치(20)는, 냉장고(100)로부터 수신된 식단 및 조리법을 요청하는 메시지에 응답하여, 식단 및 조리법을 선택한다(1250).
제2 서버 장치(20)는 냉장고(100)로부터 식품(또는 식재료) 목록을 수신하고, 제1 서버 장치(10)로부터 사용자 정보를 획득할 수 있다. 사용자 정보는 사용자의 국적, 주소 등의 제한된 식별 정보와 사용자의 식품 선호 정보를 포함할 수 있다.
제2 서버 장치(20)는, 식품(또는 식재료) 목록과 사용자 정보와 환경 정보에 기초하여 식단을 만들고 식단에 포함된 식품의 조리법을 선택할 수 있다.
제2 서버 장치(20)는 사용자 정보에 포함된 국적 및 주소에 기초한 식품을 포함하는 식단을 만들 수 있다.
제2 서버 장치(20)는, 사용자 선호하는 식이 요법 및 식품 유형, 사용자가 회피하는 식품, 사용자의 가족 구성원의 수, 사용자가 선호하는 식재료, 사용자가 회피하는 식재료에 기초하여 식단을 만들 수 있다. 예를 들어, 제2 서버 장치(20)는 사용자가 회피하는 식품 및 식재료를 배제하고, 사용자 선호하는 식이 요법, 식품 유형 및 식재료를 포함하는 식품을 포함하는 식단을 만들 수 있다.
또한, 제2 서버 장치(20)는, 사용자가 선호하는 조리법, 사용자의 조리 경험에 기초하여, 식품의 조리법을 선택할 수 있다.
제2 서버 장치(20)는 식단 및 그 조리법에 관한 정보를 냉장고(100)에 전송한다(1255). 냉장고(100)는, 제2 서버 장치(20)로부터 식단 및 그 조리법에 관한 정보를 수신한 것에 응답하여, 식단 및 그 조리법을 표시한다(1260).
동작 1255 및 동작 1260의 설명은, 도 10에 도시된 동작 1155 및 동작 1160의 설명으로 갈음할 수 있다.
이처럼, 냉장고(100)는, 사용자로부터 사용자의 식별 정보 및 식품 선호 정보를 획득하고, 획득된 식별 정보 및 식품 선호 정보에 기초한 식단 및 그 조리법을 사용자에게 제공할 수 있다.
도 12는 일 실시예에 의한 냉장고가 식단 및/또는 조리법을 획득하는 일 예를 도시한다.
도 12와 함께, 냉장고가 식단 및/또는 그 조리법을 획득하는 방법(1300)이 설명된다.
냉장고(100)는 연결된 조리 장치(70)를 식별한다(1310).
제어부(190)는 냉장고(100)와 연동 가능한 조리 장치(70)를 식별할 수 있다. 예를 들어, 제어부(190)는 냉장고(100)와 동일한 액세스 포인트(AP)와 연결된 조리 장치(70)를 검색할 수 있다. 여기서, 조리 장치(70)는 예를 들어 가스 오븐, 전기 오븐, 마이크로파 오븐, 토스터, 밥솥 등 전기적으로 제어가 가능하고 액세스 포인트(AP)를 통하여 무선으로 또는 유선으로 통신 가능한 모든 조리 장치를 포함할 수 있다.
제어부(190)는 액세스 포인트(AP)에 연결된 장치들의 목록을 요청할 수 있다. 제어부(190)는 액세스 포인트(AP)로부터 수신된 목록에 기초하여 냉장고(100)와 동일한 액세스 포인트(AP)와 연결된 조리 장치(70)를 식별할 수 있다.
또한, 제어부(190)는 액세스 포인트(AP)를 통하여 다른 장치들에 장치 정보를 요청할 수 있다. 제어부(190)는 액세스 포인트(AP)를 통하여 다른 장치들로부터 수신된 장치 정보에 기초하여 냉장고(100)와 동일한 액세스 포인트(AP)와 연결된 조리 장치(70)를 식별할 수 있다.
제어부(190)는 식별된 조리 장치(70)의 목록을 포함하는 연결 정보를 생성할 수 있다. 연결 정보는 조리 장치(70)의 식별 정보와 조리 장치(70)의 가열 방법(예를 들어, 브로일, 그릴, 컨벡션, 마이크로파 등)을 포함할 수 있다.
냉장고(100)는 냉장고(100)의 연결 정보를 제1 서버 장치(10)에 전송한다(1315).
제어부(190)는, 조리 장치(70)의 식별 정보와 조리 장치(70)의 가열 방법을 제1 서버 장치(10)에 전송하도록 통신부(180)를 제어할 수 있다.
제1 서버 장치(10)는 냉장고(100)의 연결 정보를 저장한다(1320).
제1 서버 장치(10)는 생성된 사용자 계정과 관련하여, 냉장고(100)의 연결 정보를 함께 저장할 수 있다.
이후, 냉장고(100)는 저장실(110)에 저장된 식품 목록을 갱신한다(1330).
동작 1330의 설명은 도 10에 도시된 동작 1110, 동작 1120 및 동작 1130의 설명으로 갈음할 수 있다.
냉장고(100)는 사용자 입력에 응답하여 어플리케이션을 런칭한다(1340).
동작 1340의 설명은 도 10에 도시된 동작 1140의 설명으로 갈음할 수 있다.
냉장고(100)는 제2 서버 장치(20)에 식단 및 조리법을 요청한다(1342).
동작 1342의 설명은 도 10에 도시된 동작 1145의 설명으로 갈음할 수 있다.
냉장고(100)는 제1 서버 장치(10)에 연결 정보의 제공을 요청하는 메시지 또는 제1 서버 장치(10)의으로부터 수신된 연결 정보의 제공 요청에 동의하는 메시지를 전송한다(1344). 제1 서버 장치(10)는, 냉장고(100)의 메시지에 응답하여, 제2 서버 장치(20)에 연결 정보를 전송한다(1346).
동작 1344 및 동작 1346의 설명은 도 11에 도시된 동작 1244 및 동작 1246의 설명으로 갈음할 수 있다.
제2 서버 장치(20)는, 냉장고(100)로부터 수신된 식단 및 조리법을 요청하는 메시지에 응답하여, 식단 및 조리법을 선택한다(1350).
제2 서버 장치(20)는 냉장고(100)로부터 식품(또는 식재료) 목록을 수신하고, 제1 서버 장치(10)로부터 냉장고(100)의 연결 정보를 획득할 수 있다. 냉장고(100)의 연결 정보는 냉장고(100)와 동일한 액세스 포인트(AP)에 연결된 조리 장치(70)의 식별 정보와 가열 방법을 포함할 수 있다. 다시 말해, 냉장고(100)의 연결 정보는 냉장고(100)에 의하여 제어될 수 있는 조리 장치(70)의 식별 정보와 가열 방법을 포함할 수 있다.
제2 서버 장치(20)는, 식품(또는 식재료) 목록과 환경 정보에 기초하여 식단을 만들고, 냉장고(100)의 연결 정보에 기초하여 식품의 조리법을 선택할 수 있다.
제2 서버 장치(20)는, 냉장고(100)와 연결된 조리 장치(70)의 가열 방법에 기초하여 식단에 포함된 식품의 조리법을 선택할 수 있다.
예를 들어, 냉장고(100)와 연결된 조리 장치(70)가 가스 오븐(또는 전기 오븐)을 포함하면, 제2 서버 장치(20)는 오븐을 이용하여 식품을 조리할 수 있는 식품의 조리법을 선택할 수 있다. 또한, 조리 장치(70)가 브로일을 포함하면, 제2 서버 장치(20)는 브로일에 의한 가열을 포함하는 식품의 조리법을 선택할 수 있다.
제2 서버 장치(20)는 식단 및 그 조리법에 관한 정보를 냉장고(100)에 전송한다(1355). 냉장고(100)는, 제2 서버 장치(20)로부터 식단 및 그 조리법에 관한 정보를 수신한 것에 응답하여, 식단 및 그 조리법을 표시한다(1360).
동작 1355 및 동작 1360의 설명은, 도 10에 도시된 동작 1155 및 동작 1160의 설명으로 갈음할 수 있다.
이처럼, 냉장고(100)는, 냉장고(100)와 연결된 조리 장치(70)에 관한 정보를 획득하고, 조리 장치(70)에 관한 정보에 기초한 식단 및 그 조리법을 사용자에게 제공할 수 있다.
도 13은 일 실시예에 의한 냉장고가 상품의 구매를 추천하는 일 예를 도시한다.
도 13와 함께, 냉장고가 상품의 구매를 추천하는 방법(1400)이 설명된다.
제3 서버 장치(30)에서, 사용자에 의한 상품의 구매가 수행된다(1410).
사용자는, 제3 서버 장치(30)와 연결된 마트에서 직접 상품을 구매하거나, 냉장고(100)를 통하여 제3 서버 장치(30)에서 상품을 구매하거나, 또는 사용자 장치(50)를 통하여 상품을 제3 서버 장치(30)에서 구매하거나, 또는 디스플레이 장치(60)를 통하여 제3 서버 장치(30)에서 상품을 구매할 수 있다.
제3 서버 장치(30)는 사용자가 구매한 상품의 목록을 획득할 수 있으며, 사용자가 구매한 상품의 목록을 저장할 수 있다.
제3 서버 장치(30)는 구매 식품 목록을 냉장고(100)에 전송한다(1415).
이때, 제3 서버 장치(30)는 상품의 배송 정보에 기초하여 구매 식품 목록을 냉장고(100)에 전송할 수 있다. 예를 들어, 제3 서버 장치(30)는, 상품의 배송사 서버로부터 상품의 배송 완료를 나타내는 메시지를 수신하면, 구매 식품 목록을 냉장고(100)에 전송할 수 있다. 다른 예로, 제3 서버 장치(30)는, 상품의 배송 개시 이후 사용자의 배송지에 기초한 배송 예상 시간이 경과하면, 구매 식품 목록을 냉장고(100)에 전송할 수 있다. 다른 예로, 제3 서버 장치(30)는, 미리 정해진 배송 예상 시간이 경과하면, 구매 식품 목록을 냉장고(100)에 전송할 수 있다.
이처럼, 냉장고(100)는 사용자가 실제 상품을 구매한 시각보다 지연된 시각에 제3 서버 장치(30)로부터 구매 식품 목록을 수신할 수 있다.
이후, 냉장고(100)는 저장실(110)의 내부를 촬영하고(1420), 카메라(150)에 의하여 촬영된 식품(또는 식재료)을 식별하고(1430), 식품 목록을 갱신한다(1440).
예를 들어, 제어부(190)는 개방된 도어(120)의 폐쇄가 감지되면 저장실(110)의 내부를 촬영하도록 카메라(150)를 제어할 수 있다. 제어부(190)는 카메라(150)로부터 저장실(110)의 영상 데이터를 획득할 수 있다.
도어(120)가 개방된 동안, 구매 상품의 일부는 저장실(110)에 투입되어 냉장 보관될 수 있다. 또한, 구매 상품의 다른 일부는 냉장고(100)의 저장실(110)에 투입되지 아니한 채, 상온 보관될 수 있다. 또한, 저장실(110)에 투입되었으나 카메라(150)에 의하여 촬영되지 아니한 식품이 있을 수 있다.
제어부(190)는, 이전의 식품 목록과 저장실(110)의 영상 데이터로부터 식별된 식품들의 목록과 제3 서버 장치(30)로부터 수신된 구매 목록에 포함된 식품들의 목록에 기초하여, 식품 목록을 갱신할 수 있다. 예를 들어, 제어부(190)는, 영상 데이터로부터 식별된 식품들의 목록을 구매 목록에 포함된 식품들의 목록과 비교하고, 구매 목록에 포함되고 영상 데이터로부터 식별된 목록에 포함되지 않은 식품들을 식품 목록에 추가할 수 있다. 다른 예로, 제어부(190)는, 오직 영상 데이터로부터 식별된 식품들의 목록에 의존하여 식품 목록을 갱신할 수 있다. 다른 예로, 제어부(190)는, 이전의 식품 목록에 구매 목록에 포함된 식품들의 목록을 추가함으로써, 식품 목록을 갱신할 수 있다.
이후, 냉장고(100)는 사용자 입력에 응답하여 어플리케이션을 런칭한다(1450).
동작 1450의 설명은 도 10에 도시된 동작 1140의 설명으로 갈음할 수 있다.
냉장고(100)는 제3 서버 장치(30)에 상품 구매 추천을 요청한다(1455).
제어부(190)는, 런칭된 어플리케이션을 구성하는 명령어들에 따라, 제3 서버 장치(30)에 식품(또는 식재료) 목록과 함께 상품 구매 추천을 요청하는 메시지를 전송하도록 통신부(180)를 제어할 수 있다.
제3 서버 장치(30)는, 냉장고(100)로부터 수신된 상품 구매 추천을 요청하는 메시지에 응답하여, 구매 추천 상품을 선택한다(1460).
제3 서버 장치(30)는, 기존에 저장된 사용자의 구매 이력과 냉장고(100)로부터 수신된 식품(또는 식재료) 목록에 기초하여 구매 추천 상품을 선택할 수 있다.
예를 들어, 제3 서버 장치(30)는, 사용자의 구매 이력에 의한 식품 목록과 냉장고(100)로부터 수신된 식품 목록을 비교하고, 사용자의 구매 이력에 의한 식품 목록에 포함되고 냉장고(100)로부터 수신된 식품 목록에 포함되지 않은 식품을 선택할 수 있다. 다른 예로, 제3 서버 장치(30)는, 최근 사용자가 연속으로 2회 이상 구매한 식품을 선택할 수 있다.
제3 서버 장치(30)는 구매 추천 상품에 관한 정보를 냉장고(100)에 전송한다(1465).
냉장고(100)는, 제3 서버 장치(30)로부터 구매 추천 상품에 관한 정보를 수신한 것에 응답하여, 구매 추천 상품을 표시한다(1470).
제어부(190)는, 런칭된 어플리케이션을 구성하는 명령어들에 따라, 제3 서버 장치(30)로부터 구매 추천 상품을 표시하도록 터치 스크린 디스플레이(130)를 제어할 수 있다. 예를 들어, 제어부(190)는 도 7에 도시된 바와 같이 구매 목록 영역(330)을 포함하는 페이지(300)를 표시하도록 터치 스크린 디스플레이(130)를 제어할 수 있다. 구매 목록 영역(330)에는 제3 서버 장치(30)로부터 구매 추천 상품이 표시될 수 있다. 뿐만 아니라, 제어부(190)는 도 8에 도시된 바와 같이 식단 영역(310)과 조리법 영역(320)을 포함하는 페이지(301)를 표시하도록 터치 스크린 디스플레이(130)를 제어할 수 있다.
이처럼, 냉장고(100)는, 사용자의 상품 구매 이력 및 저장실(110)에 저장된 식품(또는 식재료)에 기초한 상품 구매 추천을 사용자에게 제공할 수 있다.
도 14는 일 실시예에 의한 냉장고가 식단 및/또는 조리법을 획득하는 일 예를 도시한다.
도 14와 함께, 냉장고가 식단 및/또는 그 조리법을 획득하는 방법(1500)이 설명된다.
제3 서버 장치(30)에서, 사용자에 의한 상품의 구매가 수행된다(1510).
동작 1510의 설명은 도 13에 도시된 동작 1410의 설명으로 갈음할 수 있다.
냉장고(100)는 사용자 입력에 응답하여 어플리케이션을 런칭한다(1520).
냉장고(100)가 제3 서버 장치(30)로부터 구매 목록을 수신하기 전 또는 사용자가 구매 상품을 수취하기 전에, 제어부(190)는 터치 스크린 디스플레이(130)를 통하여 어플리케이션을 런칭하기 위한 사용자 입력을 획득할 수 있다. 제어부(190)는, 사용자 입력에 응답하여, 어플리케이션을 런칭할 수 있다.
냉장고(100)는 제2 서버 장치(20)에 식단 및 조리법을 요청한다(1522).
동작 1522의 설명은 도 10에 도시된 동작 1145의 설명으로 갈음할 수 있다.
냉장고(100)는 제3 서버 장치(30)에 최근 구매 목록의 제공을 요청하는 메시지 또는 제3 서버 장치(30)으로부터 수신된 최근 구매 목록의 제공 요청에 동의하는 메시지를 전송한다(1524). 제3 서버 장치(30)는, 냉장고(100)의 메시지에 응답하여, 제2 서버 장치(20)에 사용자의 최근 구매 목록을 전송한다(1526).
제2 서버 장치(20)는, 사용자의 취향에 적합한 식단 및 조리법을 제공하기 위하여, 제3 서버 장치(30) 또는 냉장고(100)에 식품 구매 목록을 요청할 수 있다.
냉장고(100)는, 제2 서버 장치(20)의 정보 요청에 응답하여, 식품 구매 목록의 제공에 동의하는 사용자 입력을 획득하고 식품 구매 목록의 제공에 동의하는 메시지를 제3 서버 장치(30)에 전송할 수 있다. 또한, 제3 서버 장치(30)는, 제2 서버 장치(20)의 정보 요청에 응답하여, 냉장고(100)에 식품 구매 목록의 제공 동의를 요청할 수 있다. 냉장고(100)는, 식품 구매 목록의 제공에 동의하는 사용자 입력을 획득하고 식품 구매 목록의 제공에 동의하는 메시지를 제3 서버 장치(30)에 전송할 수 있다.
제3 서버 장치(30)는, 냉장고(100)의 메시지에 응답하여, 최근 구매 목록을 제2 서버 장치(20)에 전송할 수 있다.
제2 서버 장치(20)는, 냉장고(100)로부터 수신된 식단 및 조리법을 요청하는 메시지에 응답하여, 식단 및 조리법을 선택한다(1530).
제2 서버 장치(20)는, 냉장고(100)에 저장된 식품(또는 식재료) 목록 및 사용자가 구매한 구매 식품(또는 식재료) 목록에 기초하여 식단을 만들고 식단에 포함된 식품의 조리법을 선택할 수 있다. 제2 서버 장치(20)는, 냉장고(100)에 저장된 식품(또는 식재료) 목록 및 사용자가 구매한 구매 식품(또는 식재료) 목록을 병합함으로써 식단의 제작에 이용될 수 있는 식품(또는 식재료) 목록을 생성할 수 있으며, 생성된 식품(또는 식재료) 목록에 기초하여 식단을 만들고 식단에 포함된 식품의 조리법을 선택할 수 있다.
제2 서버 장치(20)는 식단 및 그 조리법에 관한 정보를 냉장고(100)에 전송한다(1535). 냉장고(100)는, 제2 서버 장치(20)로부터 식단 및 그 조리법에 관한 정보를 수신한 것에 응답하여, 식단 및 그 조리법을 표시한다(1540).
동작 1355 및 동작 1540의 설명은, 도 10에 도시된 동작 1155 및 동작 1160의 설명으로 갈음할 수 있다.
이처럼, 냉장고(100)는, 식품(또는 식재료)의 구매 즉시 구매한 식품(또는 식재료)에 기초한 식단 및 그 조리법을 사용자에게 제공할 수 있다.
도 15는 일 실시예에 의한 냉장고가 식단 및/또는 조리법을 획득하고 상품의 구매를 추천하는 일 예를 도시한다.
도 15와 함께, 냉장고가 식단 및/또는 조리법을 획득하고 상품의 구매를 추천하는 방법(1600)이 설명된다.
냉장고(100)는 저장실(110)에 저장된 식품 목록을 갱신한다(1610).
동작 1610의 설명은 도 10에 도시된 동작 1110, 동작 1120 및 동작 1130의 설명으로 갈음할 수 있다.
냉장고(100)는 사용자 입력에 응답하여 어플리케이션을 런칭한다(1620).
동작 1620의 설명은 도 10에 도시된 동작 1140의 설명으로 갈음할 수 있다.
냉장고(100)는 제2 서버 장치(20)에 식단 및 조리법을 요청한다(1625).
동작 1625의 설명은 도 10에 도시된 동작 1145의 설명으로 갈음할 수 있다.
제2 서버 장치(20)는, 냉장고(100)로부터 수신된 식단 및 조리법을 요청하는 메시지에 응답하여, 식단 및 조리법을 선택한다(1630).
동작 1630의 설명은 도 9에 도시된 동작 1020의 설명 및/또는 도 10에 도시된 동작 1150의 설명 및/또는 도 11에 도시된 동작 1250의 설명 및/또는 도 12에 도시된 동작 1350의 설명 및/또는 도 14에 도시된 동작 1530의 설명으로 갈음할 수 있다.
제2 서버 장치(20)는 식단 및 그 조리법에 관한 정보를 냉장고(100)에 전송한다(1635). 냉장고(100)는, 제2 서버 장치(20)로부터 식단 및 그 조리법에 관한 정보를 수신한 것에 응답하여, 식단 및 그 조리법을 표시한다(1640).
동작 1635 및 동작 1640의 설명은, 도 10에 도시된 동작 1155 및 동작 1160의 설명으로 갈음할 수 있다.
냉장고(100)는 제3 서버 장치(30)에 상품 구매 추천을 요청한다(1642).
동작 1642의 설명은 도 13에 도시된 동작 1455의 설명으로 갈음할 수 있다.
냉장고(100)는 제2 서버 장치(20)에 식단의 조리법을 위한 식재료의 제공을 요청하는 메시지 또는 제2 서버 장치(20)으로부터 수신된 식단의 조리법을 위한 식재료의 제공 요청에 동의하는 메시지를 전송한다(1644). 제2 서버 장치(20)는, 냉장고(100)의 메시지에 응답하여, 제3 서버 장치(30)에 식단의 조리법을 위한 식재료에 관한 정보를 전송한다(1646).
제3 서버 장치(30)는, 상품 구매 추천을 제공하기 위하여, 제2 서버 장치(20) 또는 냉장고(100)에 식단의 조리법을 위한 식재료에 관한 정보를 요청할 수 있다.
냉장고(100)는, 제3 서버 장치(30)의 정보 요청에 응답하여, 정보 제공에 동의하는 사용자 입력을 획득하고 정보 제공에 동의하는 메시지를 제2 서버 장치(20)에 전송할 수 있다. 또한, 제2 서버 장치(20)는, 제3 서버 장치(30)의 정보 요청에 응답하여, 냉장고(100)에 정보 제공의 동의를 요청할 수 있다. 냉장고(100)는, 정보 제공에 동의하는 사용자 입력을 획득하고 정보 제공에 동의하는 메시지를 제2 서버 장치(20)에 전송할 수 있다.
제2 서버 장치(20)는, 냉장고(100)의 메시지에 응답하여, 식단의 조리법을 위한 식재료에 관한 정보를 제3 서버 장치(30)에 전송할 수 있다.
제3 서버 장치(30)는, 냉장고(100)로부터 수신된 상품 구매 추천을 요청하는 메시지에 응답하여, 구매 추천 상품을 선택한다(1650).
제3 서버 장치(30)는, 기존에 저장된 사용자의 구매 이력과 냉장고(100)로부터 수신된 식품(또는 식재료) 목록과 식단의 조리법을 위한 식재료에 기초하여 구매 추천 상품을 선택할 수 있다. 예를 들어, 제3 서버 장치(30)는 사용자의 구매 이력에 의한 식품 목록에 포함되고 냉장고(100)로부터 수신된 식품 목록에 포함되지 않은 식품과, 식단의 조리법을 위한 식재료를 선택할 수 있다.
제3 서버 장치(30)는 구매 추천 상품에 관한 정보를 냉장고(100)에 전송한다(1655).
냉장고(100)는, 제3 서버 장치(30)로부터 구매 추천 상품에 관한 정보를 수신한 것에 응답하여, 구매 추천 상품을 표시한다(1660).
동작 1655 및 동작 1660의 설명은 도 13에 도시된 동작 1465 및 동작 1470의 설명으로 갈음할 수 있다.
이처럼, 냉장고(100)는, 식단 및 그 조리법을 사용자에게 제공하고, 식단 및 그 조리법에 기초한 상품 구매 추천을 사용자에게 제공할 수 있다.
도 16은 일 실시예에 의한 냉장고가 알림을 사용자에게 제공하는 일 예를 도시한다. 도 17은 일 실시예에 의한 냉장고가 제1 윈도우 프레임을 통하여 알림을 사용자에게 제공하는 일 예를 도시한다. 도 18은 일 실시예에 의한 냉장고가 제2 윈도우 프레임을 통하여 알림을 사용자에게 제공하는 일 예를 도시한다. 도 19는 일 실시예에 의한 냉장고가 식단 및/또는 조리법을 표시하는 일 예를 도시한다.
도 16, 도 17, 도 18 및 도 19와 함께, 냉장고가 알림을 사용자에게 제공하는 방법(1700)이 설명된다.
냉장고(100)는 식단/조리법 또는 구매 추천을 수신한다(1710).
제어부(190)는 통신부(180)를 통하여 제2 서버 장치(20)로부터 식단/조리법을 수신하거나 또는 제3 서버 장치(30)로부터 식품 구매 추천을 수신할 수 있다.
식단/조리법 또는 구매 추천을 수신은, 앞서 설명된 방법 1000, 방법 1100, 방법 1200, 방법 1300, 방법 1400, 방법 1500 및 방법 1600 중 어느 하나에 의하여 수행될 수 있다.
냉장고(100)는 현재 시간이 미리 정해진 시간 범위에 속하는지 여부를 식별한다(1720).
사용자의 편의를 위하여 냉장고(100)는 미리 정해진 시간대에 사용자에게 알림을 제공할 수 있다. 예를 들어, 냉장고(100)는 사용자가 식사를 준비하는 시간대에 식단/조리법에 관한 알림을 제공하며, 사용자가 댁내에 위치하는 시간대에 구매 추천에 관한 알림을 제공할 수 있다. 또한, 냉장고(100)는 늦은 밤 또는 이른 새벽에는 알림을 방지할 수 있다.
현재 시간이 미리 정해진 시간 범위에 속하지 아니하면(1720의 아니오), 냉장고(100)는 알림을 제공하지 아니하고 대기할 수 있다.
현재 시간이 미리 정해진 시간 범위에 속하면(1720의 예), 냉장고(100)는 사용자를 감지하고 사용자와의 거리를 식별한다(1730).
제어부(190)는, 사용자를 감지하고 사용자와의 거리에 관한 정보를 획득하도록, 거리 센서(160)를 제어할 수 있다.
거리 센서(160)는 예를 들어 적외선 송수신기, 초음파 송수신기 또는 송수신 안테나를 포함할 수 있다. 거리 센서(160)는 냉장고(100)의 전방을 향하여 적외선, 초음파 또는 전파를 발신하고, 사용자 또는 물체로부터 반사된 적외선, 초음파 또는 전파를 수신할 수 있다.
사용자의 존부는, 사용자에 의하여 반사된 적외선, 초음파 또는 전파에 기초하여 식별될 수 있다. 또한, 사용자까지의 거리는 적외선, 초음파 또는 전파의 지연 시간(time of flight, TOF)에 기초하여 식별되거나, 적외선, 초음파 또는 전파의 수신 세기에 기초하여 식별될 수 있다.
거리 센서(160)는 사용자의 감지 여부 및 사용자까지의 거리에 나타내는 전기적 신호를 제어부(190)에 제공할 수 있다. 예를 들어, 거리 센서(160)는 사용자의 미감지를 나타내는 감지 데이터를 제공하거나 사용자까지의 거리를 나타내는 감지 데이터를 제공할 수 있다. 구체적으로, 거리 센서(160)는, 적외선, 초음파 또는 전파의 지연 시간을 나타내는 감지 데이터를 제어부(190)에 제공하거나 또는 적외선, 초음파 또는 전파의 수신 세기를 나타내는 감지 데이터를 제어부(190)에 제공할 수 있다.
제어부(190)는 거리 센서(160)로부터 감지 데이터를 수신하고, 수신된 감지 데이터에 기초하여 냉장고(100)로부터 사용자의 감지 여부 및 사용자까지의 거리를 식별할 수 있다.
냉장고(100)는 사용자가 감지되는지 여부를 식별한다(1740).
제어부(190)는 거리 센서(160)로부터 수신된 감지 데이터에 기초하여 사용자가 냉장고(100)의 주변에 위치하는지 여부를 식별할 수 있다.
예를 들어, 거리 센서(160)는, 사용자가 감지되지 않는 것에 응답하여 사용자의 미감지를 나타내는 감지 데이터를 제어부(190)에 제공할 수 있으며, 사용자가 감지되는 것에 응답하여 사용자까지의 거리를 나타내는 감지 데이터를 제어부(190)에 제공할 수 있다.
제어부(190)는, 사용자의 미감지를 나타내는 감지 데이터에 기초하여 사용자가 냉장고(100)의 주변에 위치하지 않는 것을 식별하고, 사용자까지의 거리를 나타내는 감지 데이터에 기초하여 사용자가 냉장고(100)의 주변에 위치하는 것을 식별할 수 있다.
사용자가 감지되지 아니하면(1740의 아니오), 냉장고(100)는 사용자를 감지하고 사용자와의 거리를 식별한다(1730).
사용자가 감지되면(1740의 예), 냉장고(100)는 사용자와의 거리가 기준 거리 미만인지 여부를 식별한다(1750).
제어부(190)는 거리 센서(160)로부터 수신된 감지 데이터에 기초하여 사용자까지의 거리를 식별할 수 있다. 또한, 제어부(190)는 사용자와의 거리가 기준 거리 미만인지 여부를 식별할 수 있다.
예를 들어, 제어부(190)는 사용자까지의 거리를 나타내는 물리량(예를 들어, 전압 값)를 미리 정해진 기준 거리를 나타내는 물리량(예를 들어, 전압 값)과 비교하고, 비교에 기초하여 사용자와의 거리가 기준 거리 미만인지 여부를 식별할 수 있다.
여기서, 기준 거리는 예를 들어 경험적으로 또는 실험적으로 설정될 수 있으며, 사용자가 냉장고(100)에 표시된 컨텐츠를 확인할 수 있을 거리로 설정될 수 있다.
사용자와의 거리가 기준 거리 미만이 아니면(1750의 아니오), 냉장고(100)는 제1 윈도우 프레임(410)에 알림을 표시한다(1755).
제어부(190)는 사용자의 주의를 환기시키기 위하여, 제1 윈도우 프레임(410)에 식단/조리법 또는 구매 추천의 수신을 나타내는 알림을 표시할 수 있다. 예를 들어, 제어부(190)는 도 17에 도시된 바와 같이 터치 스크린 디스플레이(130)의 스크린보다 작은 팝업 윈도우 형태의 제1 윈도우 프레임(410)에 알림을 표시하도록 터치 스크린 디스플레이(130)을 제어할 수 있다. 그러나, 제1 윈도우 프레임(410)은 도 17에 도시된 팝업 윈도우에 한정되지 아니한다.
팝업 윈도우 형태의 제1 윈도우 프레임(410)에 의하여, 사용자는 알림 수신을 인지할 수 있으며, 알림의 내용을 확인하기 위하여 냉장고(100)에 접근할 수 있다.
사용자와의 거리가 기준 거리 미만이면(1750의 예), 냉장고(100)는 제2 윈도우 프레임(420)에 알림을 표시한다(1760).
제어부(190)는 사용자에게 알림의 내용을 제공하기 위하여, 제2 윈도우 프레임(420)에 식단/조리법 또는 구매 추천의 수신을 나타내는 알림을 표시할 수 있다. 제2 윈도우 프레임(420)은 제1 윈도우 프레임(410)보다 클 수 있다. 예를 들어, 제2 윈도우 프레임(420)의 대각선의 길이는 제1 윈도우 프레임(410)의 대각선의 길이보다 클 수 있다.
예를 들어, 제어부(190)는 도 18에 도시된 바와 같이 터치 스크린 디스플레이(130)의 스크린과 대략 동일한 커버 페이지 형태의 제2 윈도우 프레임(420)에 알림을 표시하도록 터치 스크린 디스플레이(130)을 제어할 수 있다. 그러나, 제2 윈도우 프레임(420)은 도 18에 도시된 커버 페이지에 한정되지 아니한다.
커버 페이지 형태의 제2 윈도우 프레임(420)에 의하여, 사용자는 수신된 알림의 내용(즉, 식단/조리법 또는 구매 추천의 수신)을 확인할 수 있다.
냉장고(100)는 터치 스크린 디스플레이(130)를 통한 사용자 입력이 수신되는지 여부를 식별한다(1770).
식단/조리법 또는 구매 추천의 수신을 나타내는 알림을 표시하는 동안, 제어부(190)는 터치 스크린 디스플레이(130)를 통한 사용자 입력이 수신되는지 여부를 식별할 수 있다.
여기서, 사용자 입력은 터치 스크린 디스플레이(130)를 통한 터치 입력을 포함한다. 그러나, 사용자 입력이 특정한 좌표에서의 터치 입력, 또는 특정한 패턴의 터치 입력, 또는 특정한 제스처에 의한 터치 입력에 한정되지 아니하며, 단지 터치 스크린 디스플레이(130)을 터치한 것으로 충분할 수 있다.
터치 스크린 디스플레이(130)를 통한 사용자 입력이 수신되지 아니하면(1770의 아니오), 냉장고(100)는 제2 윈도우 프레임(420)에 알림을 표시한 이후 기준 시간이 경과하였는지 여부를 식별한다(1775).
제어부(190)는, 그 내부 타이머를 이용하여 제2 윈도우 프레임(420)에 알림을 표시한 표시 시간을 계수할 수 있다. 제어부(190)는, 표시 시간을 기준 시간과 비교할 수 있으며, 알림의 표시 시간이 기준 시간보다 큰지 여부를 식별할 수 있다.
알림을 표시한 이후 기준 시간이 경과하지 아니하였으면(1775의 아니오), 냉장고(100)는 터치 스크린 디스플레이(130)를 통한 사용자 입력이 수신되는지 여부를 식별하고(1770) 제2 윈도우 프레임(420)에 알림을 표시한 이후 기준 시간이 경과하였는지 여부를 식별한다(1775).
알림을 표시한 이후 기준 시간이 경과하였으면(1775의 예), 냉장고(100)는 터치 스크린 디스플레이(130)를 오프한다(1780).
기준 시간 동안 사용자 입력이 입력되지 아니한 것은, 사용자가 냉장고(100)의 알림을 확인할 의사가 없는 것으로 판단될 수 있다.
제어부(190)는, 기준 시간 동안 사용자 입력이 입력되지 아니한 것에 응답하여, 터치 스크린 디스플레이(130)를 턴오프할 수 있다.
터치 스크린 디스플레이(130)를 통한 사용자 입력이 수신되면(1770의 예), 냉장고(100)는 식단/조리법 또는 구매 추천을 터치 스크린 디스플레이(130)에 표시한다(1790).
사용자 입력이 입력된 것은, 사용자가 냉장고(100)의 알림을 확인할 의사가 있는 것으로 판단될 수 있다.
제어부(190)는, 터치 스크린 디스플레이(130)를 통한 사용자 입력에 응답하여, 제2 서버 장치(20)로부터 수신된 식단 및 그 조리법을 터치 스크린 디스플레이(130)에 표시하거나 또는 제3 서버 장치(30)로부터 수신된 구매 추천 식품을 터치 스크린 디스플레이(130)에 표시할 수 있다. 예를 들어, 제어부(190)는 도 19에 도시된 바와 같이 터치 스크린 디스플레이(130)의 스크린(430) 전체에 식단 및 그 조리법을 나타내는 컨텐츠를 표시할 수 있다.
이처럼, 냉장고(100)는 사용자의 상황에 따라 다양한 방식으로 식단/조리법 또는 구매 추천의 알림을 표시할 수 있다. 그로 인하여, 사용자는 손쉽게 식단/조리법 또는 구매 추천의 알림을 인지하고, 식단/조리법의 컨텐츠 또는 구매 추천의 컨텐츠를 제공받을 수 있다.
도 20은 일 실시예에 의한 냉장고가 알림을 사용자에게 제공하는 일 예를 도시한다. 도 21은 일 실시예에 의한 냉장고가 사용자 장치를 통하여 알림을 사용자에게 제공하는 일 예를 도시한다. 도 22는 일 실시예에 의한 냉장고가 디스플레이 장치를 통하여 알림을 사용자에게 제공하는 일 예를 도시한다.
도 20, 도 21 및 도 22와 함께, 냉장고가 알림을 사용자에게 제공하는 방법(1800)이 설명된다.
냉장고(100)는 식단/조리법 또는 구매 추천을 수신한다(1810).
제어부(190)는 통신부(180)를 통하여 제2 서버 장치(20)로부터 식단/조리법을 수신하거나 또는 제3 서버 장치(30)로부터 식품 구매 추천을 수신할 수 있다.
식단/조리법 또는 구매 추천을 수신은, 앞서 설명된 방법 1000, 방법 1100, 방법 1200, 방법 1300, 방법 1400, 방법 1500 및 방법 1600 중 어느 하나에 의하여 수행될 수 있다.
냉장고(100)는 사용자가 댁내에 위치하는지 여부를 식별한다(1830).
제어부(190)는, 다양한 정보에 기초하여 사용자가 댁내에 위치하는지 여부를 식별할 수 있다. 여기서, 댁내는 통상적으로 사용자가 거주하는 미리 정해진 영역을 나타낼 수 있다.
예를 들어, 제어부(190)는, 사용자의 사용자 장치(50)가 냉장고(100)와 동일한 액세스 포인트(AP)에 접속되었는지 여부에 기초하여, 사용자가 댁내에 위치하는지 여부를 식별할 수 있다. 제어부(190)는, 액세스 포인트(AP) 또는 제1 서버 장치(10)에 사용자 장치(50)의 접속 정보를 요청할 수 있으며, 액세스 포인트(AP) 또는 제1 서버 장치(10)의 응답에 기초하여 사용자 장치(50)가 액세스 포인트(AP)에 접속되었는지 여부를 식별할 수 있다. 제어부(190)는, 사용자 장치(50)가 액세스 포인트(AP)에 접속된 것에 응답하여, 사용자가 댁내에 위치하는 것을 식별할 수 있다.
다른 예로, 제어부(190)는, 디스플레이 장치(60)의 동작 여부에 기초하여, 사용자가 댁내에 위치하는지 여부를 식별할 수 있다. 제어부(190)는, 액세스 포인트(AP) 또는 제1 서버 장치(10)를 통하여 디스플레이 장치(60)에 응답 신호를 요청할 수 있다. 제어부(190)는, 디스플레이 장치(60)로부터 수신된 응답 신호에 기초하여 디스플레이 장치(60)의 동작 여부를 식별할 수 있다. 제어부(190)는, 디스플레이 장치(60)가 동작 중인 것에 응답하여, 사용자가 댁내에 위치하는 것을 식별할 수 있다.
다른 예로, 제어부(190)는, 제1 서버 장치(10)에 사용자 장치(50)의 위치를 요청하고, 제1 서버 장치(10)의 응답에 기초하여 사용자가 댁내에 위치하는지 여부를 식별할 수 있다. 제1 서버 장치(10)는 사용자 장치(50)의 위치를 추적할 수 있으며, 냉장고(100)의 요청에 응답하여 사용자 장치(50)의 위치 정보를 냉장고(100)에 제공할 수 있다.
사용자가 댁내에 위치하지 아니하면(1830의 아니오), 냉장고(100)는 사용자 장치(50)에 식단/조리법 또는 구매 추천의 수신 알림을 요청한다(1835).
제어부(190)는 사용자 장치(50)의 알림을 요청하는 메시지를 제1 서버 장치(10)에 전송하도록 통신부(180)를 제어할 수 있다. 제1 서버 장치(10)는 사용자의 계정과 연동되는 장치들 예를 들어 냉장고(100), 사용자 장치(50), 디스플레이 장치(60) 및 조리 장치(70)에 관한 정보를 저장한다. 따라서, 제어부(190)는 제1 서버 장치(10)를 통하여 사용자 장치(50)에 식단/조리법 또는 구매 추천의 수신 알림을 요청하는 메시지를 전송할 수 있다.
사용자 장치(50)는 냉장고(100)의 요청에 응답하여 식단/조리법 또는 구매 추천의 수신 알림을 표시한다(1840).
사용자 장치(50)는 제1 서버 장치(10)로부터 냉장고(100)의 요청을 수신할 수 있으며, 디스플레이에 식단/조리법 또는 구매 추천의 수신 알림을 표시할 수 있다.
예를 들어, 사용자 장치(50)는 도 21에 도시된 바와 같이 디스플레이 상에 알림 윈도우(440)을 표시하고, 알림 윈도우(440)에 식단/조리법 또는 구매 추천의 수신을 나타내는 메시지를 표시할 수 있다. 또한, 알림 윈도우(440)에는, 구매 추천된 상품을 구매할 수 있는 어플리케이션을 구동하기 위한 구매 버튼(441)과, 식단 및 그 조리법을 확인할 수 있는 어플리케이션을 구동하기 위한 확인 버튼(442)이 마련될 수 있다.
사용자가 댁내에 위치하면(1830의 예), 냉장고(100)는 디스플레이 장치(60)가 동작 중인지 여부를 식별한다(1850).
제어부(190)는, 액세스 포인트(AP) 또는 제1 서버 장치(10)를 통하여 디스플레이 장치(60)에 응답 신호를 요청할 수 있다. 동작 중인 디스플레이 장치(60)는, 냉장고(100)의 요청에 응답하여 응답 신호를 제공할 수 있다.
제어부(190)는, 디스플레이 장치(60)로부터 응답 신호를 수신하는지 여부에 기초하여, 디스플레이 장치(60)가 동작 중인지 여부를 식별할 수 있다.
뿐만 아니라, 제어부(190)는 제1 서버 장치(10)로부터 사용자가 디스플레이 장치(60)를 시청하는 시간에 대한 정보를 획득할 수 있다. 제1 서버 장치(10)는 디스플레이 장치(60)의 동작 시간에 대한 정보를 수집할 수 있으며, 디스플레이 장치(60)의 동작 시간에 대한 정보를 냉장고(100)에 제공할 수 있다. 제어부(190)는 디스플레이 장치(60)의 동작 시간에 대한 정보에 기초하여 현재 디스플레이 장치(60)가 동작 중인지 여부를 식별할 수 있다.
디스플레이 장치(60)가 동작 중이면(1850의 예), 냉장고(100)는 디스플레이 장치(60)에 식단/조리법 또는 구매 추천의 수신 알림을 요청한다(1855).
제어부(190)는 디스플레이 장치(60)의 알림을 요청하는 메시지를 제1 서버 장치(10)에 전송하도록 통신부(180)를 제어할 수 있다. 제1 서버 장치(10)는 사용자의 계정과 연동되는 장치들 예를 들어 냉장고(100), 사용자 장치(50), 디스플레이 장치(60) 및 조리 장치(70)에 관한 정보를 저장한다. 따라서, 제어부(190)는 제1 서버 장치(10)를 통하여 디스플레이 장치(60)에 식단/조리법 또는 구매 추천의 수신 알림을 요청하는 메시지를 전송할 수 있다.
뿐만 아니라, 제어부(190)는 액세스 포인트(AP)를 통하여 디스플레이 장치(60)에 식단/조리법 또는 구매 추천의 수신 알림을 요청하는 메시지를 전송할 수 있다.
디스플레이 장치(60)는 냉장고(100)의 요청에 응답하여 식단/조리법 또는 구매 추천의 수신 알림을 표시한다(1860).
사용자 장치(50)는 제1 서버 장치(10) 또는 액세스 포인트(AP)로부터 냉장고(100)의 요청을 수신할 수 있으며, 디스플레이에 식단/조리법 또는 구매 추천의 수신 알림을 표시할 수 있다.
예를 들어, 디스플레이 장치(60)는 도 22에 도시된 바와 같이 디스플레이 상에 알림 윈도우(450)을 표시하고, 알림 윈도우(450)에 식단/조리법 또는 구매 추천의 수신을 나타내는 메시지를 표시할 수 있다. 또한, 알림 윈도우(450)에는, 구매 추천된 상품을 구매할 수 있는 어플리케이션을 구동하기 위한 구매 버튼(451)과, 식단 및 그 조리법을 확인할 수 있는 어플리케이션을 구동하기 위한 확인 버튼(452)이 마련될 수 있다.
디스플레이 장치(60)가 동작 중이 아니면(1850의 아니오), 냉장고(100)는 식단/조리법 또는 구매 추천의 수신 알림을 표시한다(1870).
동작 1870은 도 16에 도시된 방법 1700과 동일할 수 있다.
제어부(190)는, 냉장고(100)와 사용자 사이의 거리에 기초하여, 제1 윈도우 프레임(410) 또는 제2 윈도우 프레임(420)에 식단/조리법 또는 구매 추천의 수신 알림을 표시하도록 터치 스크린 디스플레이(130)를 제어할 수 있다.
이처럼, 냉장고(100)는 사용자의 상황에 따라 다양한 장치에 식단/조리법 또는 구매 추천의 알림을 표시하도록 요청할 수 있다. 그로 인하여, 사용자는 손쉽게 식단/조리법 또는 구매 추천의 알림을 인지하고, 식단/조리법의 컨텐츠 또는 구매 추천의 컨텐츠를 제공받을 수 있다.
도 23은 일 실시예에 의한 냉장고가 조리 장치를 제어하는 일 예를 도시한다.
도 23과 함께, 냉장고가 조리 장치를 제어하는 방법(1900)이 설명된다.
냉장고(100)는 식단 및 그 조리법을 표시한다(1910).
제어부(190)는 통신부(180)를 통하여 제2 서버 장치(20)로부터 식단 및 그 조리법을 수신하고 식단 및 그 조리법을 표시하도록 터치 스크린 디스플레이(130)를 제어할 수 있다.
식단 및 그 조리법의 표시는, 앞서 설명된 방법 1000, 방법 1100, 방법 1200, 방법 1300 및 방법 1500 중 어느 하나에 의하여 수행될 수 있다.
냉장고(100)는 조리 개시 여부를 식별한다(1920).
제어부(190)는 조리 개시를 위한 사용자 입력이 수신되는지 여부를 식별할 수 있다.
예를 들어, 도 7에 도시된 페이지(300)의 식단 영역(310)에는 제1 조리 버튼(311)이 마련되며, 조리법 영역(320)에는 제2 조리 버튼(321)이 마련될 수 있다. 제어부(190)는, 제1 조리 버튼(311) 또는 제2 조리 버튼(312)을 통한 사용자 입력에 응답하여, 조리 개시를 식별할 수 있다.
조리 개시가 식별되지 아니하면(1920의 아니오), 냉장고(100)는 식단 및 그 조리법의 표시를 계속한다.
조리 개시가 식별되면(1920의 예), 냉장고(100)는 조리 장치(70)에 예열 요청은 전송한다(1925).
제어부(190)는 액세스 포인트(AP) 또는 제1 서버 장치(10)를 통하여 조리 장치(70)에 예열을 요청하는 메시지를 전송하도록 통신부(180)를 제어할 수 있다.
냉장고(100)로부터 예열 요청을 수신한 조리 장치(70)는 챔버의 예열을 수행한다(1930).
조리 장치(70)는 챔버의 예열을 위하여, 브로일, 그릴 및/또는 컨벡션 등의 가열 수단을 가동할 수 있다.
이처럼, 냉장고(100)는, 식단 및 그 조리법을 표시하는 중에 사용자 입력에 응답하여, 식품을 가열하도록 조리 장치(70)를 제어할 수 있다.
일 실시예에 의한 냉장고는, 저장실; 상기 저장실을 향하는 시야를 가지는 카메라; 디스플레이; 거리 센서; 및 제어부를 포함할 수 있다. 상기 제어부는, 상기 카메라로부터 상기 저장실의 영상 데이터를 획득하고, 상기 영상 데이터에 기초하여 상기 저장실에 저장된 식품을 식별하고, 상기 식별된 식품에 관한 정보에 기초한 식단을 획득하고, 상기 거리 센서의 출력에 기초한 사용자와의 거리가 미리 정해진 기준 거리 이상인 것에 응답하여, 상기 식단에 관한 알림을 포함하는 제1 윈도우 프레임을 표시하도록 상기 디스플레이를 제어하고, 상기 거리 센서의 출력에 기초한 사용자와의 거리가 상기 기준 거리 미만인 것에 응답하여, 상기 식단에 관한 알림을 포함하는 제2 윈도우 프레임을 표시하도록 상기 디스플레이를 제어하는 제어부를 포함할 수 있다. 상기 제2 윈도우 프레임의 크기는 상기 제1 윈도우 프레임의 크기와 상이할 수 있다.
상기 제2 윈도우 프레임의 크기는 상기 제1 윈도우 프레임의 크기보다 클 수 있다.
상기 제어부는, 상기 식단에 관한 알림을 표시하는 중에 상기 디스플레이를 통한 사용자 입력에 응답하여, 상기 식단에 관한 정보를 표시하도록 상기 디스플레이를 제어할 수 있다.
상기 냉장고는, 통신부를 더 포함할 수 있다. 상기 제어부는, 상기 식단에 관한 정보를 표시하는 디스플레이를 통한 사용자 입력에 응답하여, 상기 조리 장치에 예열을 요청하는 메시지를 전송하도록 상기 통신부를 제어할 수 있다.
상기 제어부는, 현재 시간이 미리 정해진 시간대 이내인 것에 응답하여, 상기 식단에 관한 알림을 표시하도록 상기 디스플레이를 제어할 수 있다.
상기 제어부는, 상기 사용자 장치가 미리 정해진 영역 내에 위치하는지 여부에 기초하여, 상기 사용자 장치 및 상기 디스플레이 장치 중 적어도 하나에 상기 식단에 관한 알림을 표시하기 위한 메시지를 전송할 수 있다.
상기 제어부는, 상기 사용자 장치가 미리 정해진 영역 내에 위치하는 것에 기초하여 상기 디스플레이 장치에 상기 식단에 관한 알림을 표시하기 위한 메시지를 전송하고, 상기 사용자 장치가 미리 정해진 영역 내에 위치하지 아니한 것에 기초하여 상기 사용자 장치에 상기 식단에 관한 알림을 표시하기 위한 메시지를 전송할 수 있다.
상기 제어부는, 상기 통신부를 통하여 상기 서버 장치로부터 사용자가 구매한 상품에 관한 정보를 수신하고, 상기 상품에 관한 정보 및 상기 영상 데이터에 기초하여 상기 저장실에 저장된 식품을 식별할 수 있다.
상기 제어부는, 상기 식별된 식품에 관한 정보를 상기 서버 장치로 전송하도록 상기 통신부를 제어하고, 상기 통신부를 통하여 상기 서버 장치로부터 상기 식별된 식품에 관한 정보에 기초한 식단을 수신할 수 있다.
상기 제어부는, 상기 서버 장치에, 사용자 입력에 기초한 사용자 정보와 상기 식별된 식품에 관한 정보를 전송하도록 상기 통신부를 제어하고, 상기 통신부를 통하여 상기 서버 장치로부터, 상기 사용자 정보와 상기 식별된 식품에 관한 정보에 기초한 식단을 수신할 수 있다.
상기 제어부는, 상기 서버 장치에, 상기 조리 장치와의 연결을 나타내는 연결 정보와 상기 식별된 식품에 관한 정보를 전송하도록 상기 통신부를 제어하고, 상기 통신부를 통하여 상기 서버 장치로부터, 상기 연결 정보와 상기 식별된 식품에 관한 정보에 기초한 식단을 수신할 수 있다.
상기 제어부는, 상기 식별된 식품에 관한 정보를 상기 서버 장치로 전송하도록 상기 통신부를 제어하고, 상기 통신부를 통하여 상기 서버 장치로부터, 상기 식별된 식품에 관한 정보에 기초한 식단을 수신하고, 상기 통신부를 통하여 상기 다른 서버 장치로부터, 상기 식단에 기초하여 구매를 추천하는 상품 목록을 수신할 수 있다.
상기 제어부는, 상기 식별된 식품에 관한 정보를 상기 서버 장치로 전송하도록 상기 통신부를 제어하고, 상기 통신부를 통하여 상기 다른 서버 장치로부터, 상기 식별된 식품에 관한 정보에 기초하여 구매를 추천하는 상품 목록을 수신하고, 상기 통신부를 통하여 상기 서버 장치로부터, 상기 식별된 식품에 관한 정보 및 상기 상품 목록에 기초한 식단을 수신할 수 있다.
일 실시예에 의한 냉장고는, 저장실; 상기 저장실을 향하는 시야를 가지는 카메라; 디스플레이; 및 제어부를 포함할 수 있다. 상기 제어부는, 상기 카메라로부터 상기 저장실의 영상 데이터를 획득하고, 상기 영상 데이터에 기초하여 상기 저장실에 저장된 식품을 식별하고, 상기 식별된 식품에 관한 정보에 기초한 식단, 상기 식단의 조리법 및 상기 식단을 위한 상품의 구매 추천을 획득하고, 상기 디스플레이 상의 단일 스크린 상에 상기 식단, 상기 식단의 조리법 및 상기 식단을 위한 상품의 구매 추천을 동시에 표시할 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 게시된 실시예가 속하는 기술분야에서 통상의 지식을 가진 자는 게시된 실시예의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
1: 식품 관리 시스템 10: 제1 서버 장치
20: 제2 서버 장치 30: 제3 서버 장치
50: 사용자 장치 60: 디스플레이 장치
70: 조리 장치 100: 냉장고
101: 본체 110: 저장실
120: 도어 130: 터치 스크린 디스플레이
140: 온도 센서 150: 카메라
160: 거리 센서 170: 냉각부
180: 통신부 190: 제어부
200: 페이지 210, 220, 230: 내부 영상
300, 301: 페이지 310: 식단 영역
311: 제1 조리 버튼 320: 조리법 영역
321: 제2 조리 버튼 322: 식단 추가 버튼
323: 구매 추가 버튼 330: 구매 목록 영역
331: 구매 버튼 340: 선호 영역
341: 선호 조리법

Claims (20)

  1. 저장실;
    상기 저장실을 향하는 시야를 가지는 카메라;
    디스플레이;
    거리 센서; 및
    상기 카메라로부터 상기 저장실의 영상 데이터를 획득하고,
    상기 영상 데이터에 기초하여 상기 저장실에 저장된 식품을 식별하고,
    상기 식별된 식품에 관한 정보에 기초한 식단을 획득하고,
    상기 거리 센서의 출력에 기초한 사용자와의 거리가 미리 정해진 기준 거리 이상인 것에 응답하여, 상기 식단에 관한 알림을 포함하는 제1 윈도우 프레임을 표시하도록 상기 디스플레이를 제어하고,
    상기 거리 센서의 출력에 기초한 사용자와의 거리가 상기 기준 거리 미만인 것에 응답하여, 상기 식단에 관한 알림을 포함하는 제2 윈도우 프레임을 표시하도록 상기 디스플레이를 제어하는 제어부를 포함하고,
    상기 제2 윈도우 프레임의 크기는 상기 제1 윈도우 프레임의 크기와 상이한 냉장고.
  2. 제1항에 있어서,
    상기 제2 윈도우 프레임의 크기는 상기 제1 윈도우 프레임의 크기보다 큰 냉장고.
  3. 제1항에 있어서, 상기 제어부는,
    상기 식단에 관한 알림을 표시하는 중에 상기 디스플레이를 통한 사용자 입력에 응답하여, 상기 식단에 관한 정보를 표시하도록 상기 디스플레이를 제어하는 냉장고.
  4. 제1항에 있어서,
    상기 냉장고는, 조리 장치와 통신할 수 있는 통신부를 더 포함하고,
    상기 제어부는,
    상기 식단에 관한 정보를 표시하는 디스플레이를 통한 사용자 입력에 응답하여, 상기 조리 장치에 예열을 요청하는 메시지를 전송하도록 상기 통신부를 제어하는 냉장고.
  5. 제1항에 있어서, 상기 제어부는,
    현재 시간이 미리 정해진 시간대 이내인 것에 응답하여, 상기 식단에 관한 알림을 표시하도록 상기 디스플레이를 제어하는 냉장고.
  6. 제1항에 있어서,
    상기 냉장고는, 사용자 장치 및 디스플레이 장치와 통신할 수 있는 통신부를 더 포함하고,
    상기 제어부는, 상기 사용자 장치가 미리 정해진 영역 내에 위치하는지 여부에 기초하여, 상기 사용자 장치 및 상기 디스플레이 장치 중 적어도 하나에 상기 식단에 관한 알림을 표시하기 위한 메시지를 전송하는 냉장고.
  7. 제6항에 있어서, 상기 제어부는,
    상기 사용자 장치가 미리 정해진 영역 내에 위치하는 것에 기초하여 상기 디스플레이 장치에 상기 식단에 관한 알림을 표시하기 위한 메시지를 전송하고,
    상기 사용자 장치가 미리 정해진 영역 내에 위치하지 아니한 것에 기초하여 상기 사용자 장치에 상기 식단에 관한 알림을 표시하기 위한 메시지를 전송하는 냉장고.
  8. 제1항에 있어서,
    상기 냉장고는, 서버 장치와 통신할 수 있는 통신부를 더 포함하고,
    상기 제어부는,
    상기 통신부를 통하여 상기 서버 장치로부터 사용자가 구매한 상품에 관한 정보를 수신하고,
    상기 상품에 관한 정보 및 상기 영상 데이터에 기초하여 상기 저장실에 저장된 식품을 식별하는 냉장고.
  9. 제1항에 있어서,
    상기 냉장고는, 서버 장치와 통신할 수 있는 통신부를 더 포함하고,
    상기 제어부는,
    상기 식별된 식품에 관한 정보를 상기 서버 장치로 전송하도록 상기 통신부를 제어하고,
    상기 통신부를 통하여 상기 서버 장치로부터 상기 식별된 식품에 관한 정보에 기초한 식단을 수신하는 냉장고.
  10. 제1항에 있어서,
    상기 냉장고는, 서버 장치와 통신할 수 있는 통신부를 더 포함하고,
    상기 제어부는,
    상기 서버 장치에, 사용자 입력에 기초한 사용자 정보와 상기 식별된 식품에 관한 정보를 전송하도록 상기 통신부를 제어하고,
    상기 통신부를 통하여 상기 서버 장치로부터, 상기 사용자 정보와 상기 식별된 식품에 관한 정보에 기초한 식단을 수신하는 냉장고.
  11. 제1항에 있어서,
    상기 냉장고는, 서버 장치 및 조리 장치와 통신할 수 있는 통신부를 더 포함하고,
    상기 제어부는,
    상기 서버 장치에, 상기 조리 장치와의 연결을 나타내는 연결 정보와 상기 식별된 식품에 관한 정보를 전송하도록 상기 통신부를 제어하고,
    상기 통신부를 통하여 상기 서버 장치로부터, 상기 연결 정보와 상기 식별된 식품에 관한 정보에 기초한 식단을 수신하는 냉장고.
  12. 제1항에 있어서,
    상기 냉장고는, 서버 장치 및 다른 서버 장치와 통신할 수 있는 통신부를 더 포함하고,
    상기 제어부는,
    상기 식별된 식품에 관한 정보를 상기 서버 장치로 전송하도록 상기 통신부를 제어하고,
    상기 통신부를 통하여 상기 다른 서버 장치로부터, 상기 식별된 식품에 관한 정보에 기초하여 구매를 추천하는 상품 목록을 수신하고,
    상기 통신부를 통하여 상기 서버 장치로부터, 상기 식별된 식품에 관한 정보 및 상기 상품 목록에 기초한 식단을 수신하는 냉장고.
  13. 제1항에 있어서,
    상기 냉장고는, 서버 장치 및 다른 서버 장치와 통신할 수 있는 통신부를 더 포함하고,
    상기 제어부는,
    상기 식별된 식품에 관한 정보를 상기 서버 장치로 전송하도록 상기 통신부를 제어하고,
    상기 통신부를 통하여 상기 서버 장치로부터, 상기 식별된 식품에 관한 정보에 기초한 식단을 수신하고,
    상기 통신부를 통하여 상기 다른 서버 장치로부터, 상기 식단에 기초하여 구매를 추천하는 상품 목록을 수신하는 냉장고.
  14. 저장실 및 상기 저장실을 향하는 시야를 가지는 카메라를 포함하는 냉장고의 제어 방법에 있어서,
    상기 카메라로부터 상기 저장실의 영상 데이터를 획득하고;
    상기 영상 데이터에 기초하여 상기 저장실에 저장된 식품을 식별하고;
    상기 식별된 식품에 관한 정보에 기초한 식단을 획득하고;
    사용자와의 거리가 미리 정해진 기준 거리 이상인 것에 응답하여, 상기 식단에 관한 알림을 포함하는 제1 윈도우 프레임을 표시하고;
    상기 사용자와의 거리가 상기 기준 거리 미만인 것에 응답하여, 상기 식단에 관한 알림을 포함하는 제2 윈도우 프레임을 표시하는 것을 포함하고,
    상기 제2 윈도우 프레임의 크기는 상기 제1 윈도우 프레임의 크기와 상이한 냉장고의 제어 방법.
  15. 제14항에 있어서,
    상기 제2 윈도우 프레임의 크기는 상기 제1 윈도우 프레임의 크기보다 큰 냉장고의 제어 방법.
  16. 제14항에 있어서, 상기 제어 방법은,
    상기 식단에 관한 알림을 표시하는 중에 사용자 입력에 응답하여, 상기 식단에 관한 정보를 표시하는 것을 더 포함하는 냉장고의 제어 방법.
  17. 제14항에 있어서, 상기 제어 방법은,
    사용자 입력에 응답하여, 상기 냉장고와 통신 가능한 조리 장치에 예열을 요청하는 메시지를 전송하는 것을 더 포함하는 냉장고의 제어 방법.
  18. 제14항에 있어서, 상기 제어 방법은,
    사용자 장치 및 디스플레이 장치와 통신하고;
    상기 사용자 장치가 미리 정해진 영역 내에 위치하는지 여부에 기초하여, 상기 사용자 장치 및 상기 디스플레이 장치 중 적어도 하나에 상기 식단에 관한 알림을 표시하기 위한 메시지를 전송하는 것을 더 포함하는 냉장고의 제어 방법.
  19. 제18항에 있어서, 상기 식단에 관한 알림을 표시하기 위한 메시지를 전송하는 것은,
    상기 사용자 장치가 미리 정해진 영역 내에 위치하는 것에 기초하여 상기 디스플레이 장치에 상기 식단에 관한 알림을 표시하기 위한 메시지를 전송하고;
    상기 사용자 장치가 미리 정해진 영역 내에 위치하지 아니한 것에 기초하여 상기 사용자 장치에 상기 식단에 관한 알림을 표시하기 위한 메시지를 전송하는 것을 포함하는 냉장고의 제어 방법.
  20. 저장실;
    상기 저장실을 향하는 시야를 가지는 카메라;
    디스플레이; 및
    상기 카메라로부터 상기 저장실의 영상 데이터를 획득하고,
    상기 영상 데이터에 기초하여 상기 저장실에 저장된 식품을 식별하고,
    상기 식별된 식품에 관한 정보에 기초한 식단, 상기 식단의 조리법 및 상기 식단을 위한 상품의 구매 추천을 획득하고,
    상기 디스플레이 상의 단일 스크린 상에 상기 식단, 상기 식단의 조리법 및 상기 식단을 위한 상품의 구매 추천을 동시에 표시하는 냉장고.
KR1020210002797A 2021-01-08 2021-01-08 냉장고 및 그 제어 방법 KR20220100408A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020210002797A KR20220100408A (ko) 2021-01-08 2021-01-08 냉장고 및 그 제어 방법
EP21917869.6A EP4257903A1 (en) 2021-01-08 2021-11-16 Refrigerator and control method thereof
PCT/KR2021/016779 WO2022149707A1 (ko) 2021-01-08 2021-11-16 냉장고 및 그 제어 방법
US18/340,425 US20230332825A1 (en) 2021-01-08 2023-06-23 Refrigerator and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210002797A KR20220100408A (ko) 2021-01-08 2021-01-08 냉장고 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20220100408A true KR20220100408A (ko) 2022-07-15

Family

ID=82358025

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210002797A KR20220100408A (ko) 2021-01-08 2021-01-08 냉장고 및 그 제어 방법

Country Status (4)

Country Link
US (1) US20230332825A1 (ko)
EP (1) EP4257903A1 (ko)
KR (1) KR20220100408A (ko)
WO (1) WO2022149707A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100373094B1 (ko) * 2000-10-16 2003-02-25 삼성전자주식회사 냉장고의 식품관리시스템 및 그 관리방법
KR20090076124A (ko) * 2008-01-07 2009-07-13 엘지전자 주식회사 가전 기기 제어 방법 및 이를 이용한 장치
KR102010296B1 (ko) * 2013-01-07 2019-08-13 엘지전자 주식회사 냉장고를 이용한 식단제공방법 및 그를 이용한 냉장고
KR20160082308A (ko) * 2014-12-30 2016-07-08 한국외국어대학교 연구산학협력단 냉장고를 이용한 식단 관리 방법 및 장치
KR20190084913A (ko) * 2019-06-28 2019-07-17 엘지전자 주식회사 냉장고 및 냉장고의 동작 방법

Also Published As

Publication number Publication date
WO2022149707A1 (ko) 2022-07-14
EP4257903A1 (en) 2023-10-11
US20230332825A1 (en) 2023-10-19

Similar Documents

Publication Publication Date Title
KR102217024B1 (ko) 냉장고, 그 제어 방법 및 시스템
KR102619657B1 (ko) 냉장고와 서버 및 서버의 제어 방법
JP2019174106A (ja) システム、方法
US20140358287A1 (en) Refrigerator and method for controlling the same
EP3852038B1 (en) Food management system, server apparatus, and refrigerator
CN112005268B (zh) 冰箱和在冰箱上显示用户界面的方法、用户终端和在用户终端中执行功能的方法
KR101754372B1 (ko) 식재료 관리 시스템 및 식재료 관리 방법
JP7164296B2 (ja) 冷蔵庫
CN104197632A (zh) 一种智能调温冰箱
JP7398579B2 (ja) 冷蔵庫
US11134222B2 (en) Refrigerator and method of controlling the same
US20200404137A1 (en) Refrigerator and control method thereof
KR20220100408A (ko) 냉장고 및 그 제어 방법
JP2021089105A (ja) 食材管理システム
KR102595649B1 (ko) 인공지능 냉장고 및 이를 이용하는 물품 구매 방법
TWI638126B (zh) 冰箱系統
WO2021014930A1 (ja) 情報機器、制御方法
JP2014142142A (ja) 提示装置
WO2021210132A1 (ja) 冷蔵庫
US11800068B1 (en) Refrigerator camera modules and methods for conserving energy at the same
JP2023136970A (ja) 調理支援システムおよび調理支援装置
JP2022138049A (ja) 食材管理プログラム、および食材管理システム
CN116147254A (zh) 一种智能烹饪设备、智能保鲜设备及食材烹饪方法

Legal Events

Date Code Title Description
A201 Request for examination