KR102551358B1 - 냉장고 내 객체의 상태와 관련된 정보를 제공하는 방법 및 시스템 - Google Patents

냉장고 내 객체의 상태와 관련된 정보를 제공하는 방법 및 시스템 Download PDF

Info

Publication number
KR102551358B1
KR102551358B1 KR1020180114377A KR20180114377A KR102551358B1 KR 102551358 B1 KR102551358 B1 KR 102551358B1 KR 1020180114377 A KR1020180114377 A KR 1020180114377A KR 20180114377 A KR20180114377 A KR 20180114377A KR 102551358 B1 KR102551358 B1 KR 102551358B1
Authority
KR
South Korea
Prior art keywords
refrigerator
information
camera
camera image
information related
Prior art date
Application number
KR1020180114377A
Other languages
English (en)
Other versions
KR20200034903A (ko
Inventor
김재환
올렉산더 바이에브
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180114377A priority Critical patent/KR102551358B1/ko
Priority to CN201980061571.7A priority patent/CN112740229A/zh
Priority to EP19862517.0A priority patent/EP3824233A4/en
Priority to PCT/KR2019/011618 priority patent/WO2020060090A1/en
Priority to US16/572,075 priority patent/US11263498B2/en
Publication of KR20200034903A publication Critical patent/KR20200034903A/ko
Application granted granted Critical
Publication of KR102551358B1 publication Critical patent/KR102551358B1/ko

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/02—Food
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2600/00—Control issues
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/04—Sensors detecting the presence of a person
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/06—Sensors detecting the presence of a product
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/12—Sensors measuring the inside temperature
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0004—Gaseous mixtures, e.g. polluted air
    • G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
    • G01N33/0027—General constructional details of gas analysers, e.g. portable test equipment concerning the detector
    • G01N33/0031—General constructional details of gas analysers, e.g. portable test equipment concerning the detector comprising two or more sensors, e.g. a sensor array
    • G01N33/0034—General constructional details of gas analysers, e.g. portable test equipment concerning the detector comprising two or more sensors, e.g. a sensor array comprising neural networks or related mathematical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/02—Food
    • G01N33/025—Fruits or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Food Science & Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Combustion & Propulsion (AREA)
  • Thermal Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Medicinal Chemistry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

냉장고 안에 배치된 카메라를 통해서 냉장고 안에 보관된 적어도 하나의 객체를 포함하는 제 1 카메라 이미지를 획득하는 단계; 냉장고 안에 배치된 환경 센서를 통해서 냉장고 안의 환경 정보를 획득하는 단계; 적어도 하나의 객체를 포함하는 제 1 카메라 이미지 및 냉장고 안의 환경 정보를 인공 지능 모델에 적용하여, 적어도 하나의 객체의 현재 상태와 관련된 정보를 예측하는 단계; 및 적어도 하나의 객체의 현재 상태와 관련된 정보를 제공하는 단계를 포함하는 방법이 개시된다.

Description

냉장고 내 객체의 상태와 관련된 정보를 제공하는 방법 및 시스템{METHOD AND SYSTEM FOR PROVIDING INFORMATION RELATED TO A STATUS OF AN OBJECT IN A REFRIGERATOR}
본 개시는 딥러닝 등의 기계 학습 알고리즘을 활용하는 인공지능(AI) 시스템 및 그 응용에 관련된 것이다. 구체적으로, 본 개시는 인공지능(AI) 시스템을 이용하여 냉장고 안에 보관된 객체의 상태와 관련된 정보를 제공하는 방법 및 시스템에 관한 것이다.
인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 Rule 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 규칙(Rule) 기반 스마트 시스템은 점차 딥러닝 기반 인공지능 시스템으로 대체되고 있다.
인공지능 기술은 기계학습(예컨대, 딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.
기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
인공지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.
일 실시예에 의하면, 냉장고 안의 카메라 이미지 및 냉장고 안의 환경 정보(예컨대, 온도 정보, 습도 정보 또는 냄새 정보)를 인공지능 모델에 적용하여, 냉장고 안에 보관된 적어도 하나의 객체의 현재 상태와 관련된 정보(예컨대, 섭취 가능 기간 정보, 신선도, 숙성 등)를 제공하는 방법 및 시스템이 제공될 수 있다.
다른 실시예에 의하면, 카메라 및 환경 센서 외에 분광 센서를 더 이용하여, 냉장고 안에 보관된 적어도 하나의 객체의 현재 상태와 관련된 정보를 제공하는 방법 및 시스템이 제공될 수 있다.
일 실시예에 따른 냉장고 내 객체의 상태와 관련된 정보를 제공하는 방법은, 냉장고 안에 배치된 카메라를 통해서 냉장고 안에 보관된 적어도 하나의 객체를 포함하는 제 1 카메라 이미지를 획득하는 단계; 냉장고 안에 배치된 환경 센서를 통해서 냉장고 안의 환경 정보를 획득하는 단계; 적어도 하나의 객체를 포함하는 제 1 카메라 이미지 및 냉장고 안의 환경 정보를 인공 지능 모델에 적용하여, 적어도 하나의 객체의 현재 상태와 관련된 정보를 예측하는 단계; 및 적어도 하나의 객체의 현재 상태와 관련된 정보를 제공하는 단계를 포함할 수 있다.
일 실시예에 따른 냉장고는, 냉장고 안에 보관된 적어도 하나의 객체를 포함하는 제 1 카메라 이미지를 획득하는 카메라; 냉장고 안의 환경 정보를 획득하는 환경 센서; 및 제 1 카메라 이미지 및 냉장고 안의 환경 정보를 인공 지능 모델에 적용하여, 적어도 하나의 객체의 현재 상태와 관련된 정보를 예측하는 프로세서; 및 적어도 하나의 객체의 현재 상태와 관련된 정보를 제공하는 출력부를 포함할 수 있다.
일 실시예에 따른 컴퓨터 프로그램 제품은, 냉장고 안에 배치된 카메라를 통해서 상기 냉장고 안에 보관된 적어도 하나의 객체를 포함하는 제 1 카메라 이미지를 획득하는 동작; 냉장고 안에 배치된 환경 센서를 통해서 냉장고 안의 환경 정보를 획득하는 동작; 적어도 하나의 객체를 포함하는 제 1 카메라 이미지 및 냉장고 안의 환경 정보를 인공 지능 모델에 적용하여, 적어도 하나의 객체의 현재 상태와 관련된 정보를 예측하는 동작; 및 적어도 하나의 객체의 현재 상태와 관련된 정보를 제공하는 동작을 수행하도록 하는 프로그램이 저장된 기록매체를 포함할 수 있다.
도 1은 일 실시예에 따른 냉장고 내 객체의 상태와 관련 정보를 제공하는 시스템을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 냉장고 내 객체의 상태와 관련된 정보를 제공하는 방법을 설명하기 위한 순서도이다.
도 3은 일 실시예에 따른 딥러닝을 통해 인공 지능 모델을 생성하는 동작을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 폐기 시점을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 학습 데이터를 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 분광 이미지를 이용하여 적어도 하나의 객체의 현재 상태를 예측하는 방법을 설명하기 위한 순서도이다.
도 7은 일 실시예에 따른 냉장고가 인공 지능 모델을 이용하여 객체의 섭취 가능 기간을 예측하는 동작을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 냉장고가 인공 지능 모델을 이용하여 객체의 신선도 또는 숙성도를 예측하는 동작을 설명하기 위한 도면이다.
도 9 및 도 10은 일 실시예에 따른 냉장고가 적어도 하나의 객체의 섭취 가능 기간에 관한 정보를 제공하는 동작을 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 냉장고가 모바일 단말을 통해서 적어도 하나의 객체의 섭취 가능 기간에 관한 정보를 제공하는 동작을 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 냄새 정보 및 분광 스펙트럼 정보를 이용하여 적어도 하나의 객체의 현재 상태를 예측하는 방법을 설명하기 위한 순서도이다.
도 13은 일 실시예에 따른 카메라 이미지와 냄새 분포 맵을 비교하는 동작을 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 냉장고의 프로세서가 분광 스펙트럼 정보에 기초하여 제 1 객체의 변질 정도를 결정하는 동작을 설명하기 위한 도면이다.
도 15는 일 실시예에 따른 냉장고의 프로세서가 변질 식품의 위치에 관한 알림 정보를 제공하는 동작을 설명하기 위한 도면이다.
도 16은 일 실시예에 따른 냉장고의 프로세서가 변질 식품을 향하도록 카메라의 포즈를 제어하는 동작을 설명하기 위한 도면이다.
도 17은 일 실시예에 따른 카메라의 이미지 검출 간격을 조절하는 방법을 설명하기 위한 순서도이다.
도 18은 일 실시예에 따른 객체의 미래 상태 변화량을 예측하는 동작을 설명하기 위한 순서도이다.
도 19는 일 실시예에 따른 카메라의 이미지 검출 간격을 설명하기 위한 도면이다.
도 20은 일 실시예에 따른 냉장고와 서버가 연동하여, 적어도 하나의 객체의 상태와 관련된 정보를 제공하는 방법을 설명하기 위한 순서도이다.
도 21은 일 실시예에 따른 냉장고의 프로세서가 사용자 별로 냉장고 안의 식품을 추천하는 동작을 설명하기 위한 도면이다.
도 22는 일 실시예에 따른 냉장고가 실온 보관 식품에 관한 가이드 정보를 제공하는 동작을 설명하기 위한 도면이다.
도 23 및 도 24는 일 실시예에 따른 냉장고의 구조를 설명하기 위한 도면이다.
도 25 및 도 26은 일 실시예에 따른 냉장고의 기능을 설명하기 위한 블록구성도이다.
도 27는 일 실시예에 따른 프로세서의 블록 구성도이다.
도 28은 일 실시예에 따른 데이터 학습부의 블록 구성도이다.
도 29은 일 실시예에 따른 데이터 인식부의 블록 구성도이다
도 30은 일 실시예에 따른 전자 장치 및 서버가 서로 연동함으로써 데이터를 학습하고 인식하는 예시를 나타내는 도면이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명의 일 실시예에 대해 구체적으로 설명하기로 한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 일 실시예에 따른 냉장고 내 객체의 상태와 관련 정보를 제공하는 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 일 실시예에 따른 냉장고 내 객체의 상태와 관련 정보를 제공하는 시스템(이하 정보 제공 시스템)은 냉장고(1000), 서버 장치(2000), 모바일 단말(3000)을 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 정보 제공 시스템이 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 정보 제공 시스템이 구현될 수 있다. 예를 들어, 정보 제공 시스템은, 냉장고(1000)와 서버 장치(2000)로 구현될 수도 있고, 냉장고(1000)와 모바일 단말(3000)로 구현될 수도 있고, 냉장고(1000)만으로 구현될 수도 있다. 각 구성에 대해서 살펴보기로 한다.
일 실시예에 따른 냉장고(1000)는, 식품을 냉장 보관하거나 또는 냉동 보관하는 전자 장치(또는, 가전 장치)일 수 있다. 냉장고(1000)는 식품뿐만 아니라 약품(medicine), 주류(alcoholic liquor) 또는 화장품(cosmetics) 등을 보관할 수도 있다.
일 실시예에 따른 냉장고(1000)는, 냉장고(1000) 안에 보관되어 있는 객체의 상태와 관련된 정보를 제공할 수 있다. 본 명세서에서 객체는, 냉장고(1000)에 보관 가능한 요소로서, 예를 들어, 식품(예컨대, 과일, 채소 등과 같은 신선 식품, 조리된 음식, 가공 제품, 조미료, 레토르트 식품), 약품, 주류, 화장품 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 따르면, 냉장고(1000)는 냉장고(1000) 내부를 확인하기 위한 적어도 하나 이상의 카메라를 내장할 수 있다. 냉장고(1000)는 적어도 하나 이상의 카메라를 이용하여 각 선반에 보관 중인 객체의 이미지를 획득할 수 있다. 냉장고(1000)는 적어도 하나 이상의 카메라를 통해 획득된 이미지와 냉장고(1000) 내의 환경 정보를 이용하여 객체의 현재 상태를 예측하고, 객체의 현재 상태와 관련된 정보를 사용자에게 제공할 수 있다. 예를 들어, 냉장고(1000)는 사용자에게 객체의 섭취 가능 기간에 관한 정보(예컨대, 폐기 예정일 등), 객체의 신선도 또는 객체의 숙성도를 제공할 수 있다.
따라서, 일 실시예에 의하면, 냉장고(1000)는 해당 객체가 부패하기 전에 사용자에게 객체의 섭취 가능 기간에 관한 정보(예컨대, 폐기 예정일 등)를 제공함으로써, 객체가 폐기되기 전에 사용자가 객체를 섭취할 수 있도록 유도할 수 있고, 냉장고(1000)에 보관 중인 객체들의 활용도를 높일 수 있다. 일 실시예에 따른 냉장고(1000)가 객체의 상태와 관련된 정보를 제공하는 방법에 대해서는 도 2를 참조하여 후에 자세히 살펴보기로 한다.
일 실시예에 의하면, 냉장고(1000)는 디스플레이부를 포함할 수 있다. 이 경우, 냉장고(1000)는 디스플레이부를 통해서 냉장고(1000) 안에 보관 중인 객체의 상태와 관련된 정보를 사용자에게 제공할 수 있다. 다른 실시예에 의하면, 냉장고(1000)는 통신 링크가 형성된 모바일 단말(3000)을 통해서 객체의 상태와 관련된 정보를 사용자에게 제공할 수도 있다. 냉장고(1000)가 모바일 단말(3000)을 통해서 객체의 상태와 관련된 정보를 제공하는 동작에 대해서는 도 11을 참조하여 후에 자세히 살펴보기로 한다.
일 실시예에 의하면, 냉장고(1000)는, 객체의 상태를 예측하기 위한 인공 지능 모델을 포함할 수 있다. 일 실시예에 의하면, 냉장고(1000)는, 학습 데이터를 이용하여, 인공 지능 모델을 직접 생성하거나, 갱신(refine)할 수 있다. 또한, 냉장고(1000)는, 서버 장치(2000)에서 학습된 인공 지능 모델을 서버 장치(2000)로부터 수신하여, 저장할 수도 있다.
일 실시예에 의하면, 냉장고(1000)는, 외부의 장치와 통신을 수행하기 위한 통신 인터페이스를 포함할 수 있다. 일 실시예에 의하면, 냉장고(1000)는 통신 인터페이스를 통해 서버 장치(2000) 또는 모바일 단말(3000)과 통신을 수행할 수 있다. 통신 인터페이스는, 근거리 통신부, 이동 통신부 등을 포함할 수 있다. 근거리 통신부(short-range wireless communication interface)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication interface), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 서버 장치(2000)는, AI 프로세서를 포함할 수 있다. AI 프로세서는 인공신경망을 학습시켜, 객체의 상태를 예측하는 인공 지능 모델을 생성할 수 있다. 인공신경망을 ‘학습’시킨다는 것은 데이터를 바탕으로 가중치를 적절히 바꿔주면서 인공신경망을 구성하는 뉴런들의 연결이 최적의 의사결정을 할 수 있는 수학적 모델을 만드는 것을 의미할 수 있다. 서버 장치(2000) 또는 냉장고(1000)가 인공신경망을 학습시켜, 인공 지능 모델을 생성하는 동작에 대해서는 도 3을 참조하여 후에 자세히 살펴보기로 한다.
일 실시예에 의하면, 서버 장치(2000)는, 외부의 장치와 통신을 수행하기 위한 통신 인터페이스를 포함할 수 있다. 일 실시예에 의하면, 서버 장치(2000)는 통신 인터페이스를 통해 냉장고(1000) 또는 모바일 단말(3000)과 통신을 수행할 수 있다. 일 실시예에 의하면, 냉장고(1000)는, 냉장고(1000)의 식별 정보 또는 사용자의 식별 정보(로그인 정보)를 서버 장치(2000)로 전송하고, 냉장고(1000)의 식별 정보 또는 사용자의 식별 정보(로그인 정보)를 서버 장치(2000)로부터 인증 받음으로써, 서버 장치(2000)에 접근할 수 있다.
모바일 단말(3000)은, 냉장고(1000)와 동일한 계정 정보로 연결된 장치일 수 있다. 모바일 단말(3000)은 냉장고(1000)와 근거리 통신 링크를 통해서 직접 연결될 수도 있고, 서버 장치(2000)를 통해서 냉장고(1000)와 간접적으로 연결될 수도 있다.
일 실시예에 따른 모바일 단말(3000)은 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 모바일 단말(3000), 디지털 카메라, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어 등이 있을 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 모바일 단말(3000)은 사용자에 의해 착용될 수 있는 장치(wearable device)일 수 있다. 웨어러블 디바이스는 액세서리 형 장치(예컨대, 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈), 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형 장치(예: 전자 의복), 신체 부착형 장치(예컨대, 스킨 패드(skin pad)), 또는 생체 이식형 장치(예: implantable circuit) 중 적어도 하나를 포함할 수 있다. 이하에서는, 설명의 편의상, 모바일 단말(3000)이 스마트폰인 경우를 예로 들어 설명하기로 한다.
도 2는 일 실시예에 따른 냉장고 내 객체의 상태와 관련된 정보를 제공하는 방법을 설명하기 위한 순서도이다.
단계 S210에서, 냉장고(1000)는 냉장고(1000) 안에 배치된 카메라를 통해서 냉장고(1000) 안에 보관된 적어도 하나의 객체를 포함하는 카메라 이미지를 획득할 수 있다.
일 실시예에 의하면, 카메라 이미지는 RGB 이미지일 수 있다. 또한, 일 실시예에 의하면, 카메라 이미지는 하나의 객체를 포함할 수도 있고, 복수의 객체를 포함할 수도 있다.
일 실시예에 의하면, 냉장고(1000) 안에 카메라가 여러 개 배치될 수 있다. 예를 들어, 냉장고(1000)의 크기에 따라서 선반 마다 카메라가 설치될 수 있다. 카메라가 복수 개 배치된 경우, 냉장고(1000)는 복수의 카메라 이미지를 획득할 수 있다. 예를 들어, 냉장고(1000)는 제 1 카메라를 이용하여 첫 번째 선반에 보관되고 있는 제 1 객체들을 포함하는 제 1 카메라 이미지를 획득하고, 제 2 카메라를 이용하여 두 번째 선반에 보관되고 있는 제 2 객체들을 포함하는 제 2 카메라 이미지를 획득하고, 제 3 카메라를 이용하여 세 번째 선반에 보관되고 있는 제 3 객체들을 포함하는 제 3 카메라 이미지를 획득할 수 있다.
한편, 카메라 이미지는, 복수의 카메라 이미지를 연결한 이미지일 수도 있다. 예를 들어, 카메라 이미지는, 제 1 카메라 이미지, 제 2 카메라 이미지, 제 3 카메라 이미지를 연결한 파노라마 이미지일 수도 있다.
일 실시예에 의하면, 냉장고(1000)는, 사용자가 문을 개폐하고 소정 시간 경과 후(예컨대, 냉장고(1000) 문이 닫히고 3초 후)에 카메라를 이용하여 카메라 이미지를 획득할 수 있다. 이 경우, 냉장고(1000)는, 사용자가 문을 개폐함에 따라 냉장고(1000) 안에 보관 중인 객체들이 변경될 수 있으므로, 변경된 객체들의 실시간 이미지를 획득할 수 있다.
일 실시예에 의하면, 냉장고(1000)는 소정 시간 간격으로 카메라를 이용하여 카메라 이미지를 획득할 수 있다. 예를 들어, 냉장고(1000)는 3시간 간격으로 카메라를 이용하여 카메라 이미지를 획득할 수도 있다.
일 실시예에 의하면, 냉장고(1000)는, 객체의 상태에 따라서 카메라의 이미지 검출 간격을 조절할 수도 있다. 예를 들어, 냉장고(1000)는 객체의 변질이 시작되는 경우, 카메라 검출 간격을 짧게 조절(예컨대, 3시간에서 1시간으로 조정)할 수 있다. 카메라의 이미지 검출 간격에 대해서는 도 17 및 도 18을 참조하여 후에 자세히 살펴보기로 한다.
한편, 일 실시예에 의하면, 냉장고(1000) 안에 카메라가 복수 개 배치된 경우, 카메라 마다 이미지 검출 시점이 상이할 수도 있다. 예를 들어, 제 1 카메라는 문을 개폐하고 소정 시간이 경과한 후에 제 1 선반에 대한 제 1 카메라 이미지를 획득할 수 있고, 제 2 카메라는 소정 시간 간격으로 제 2 선반에 대한 제 2 카메라 이미지를 획득할 수 있다.
일 실시예에 의하면(1000), 냉장고(1000)는, 카메라 이미지를 분석한 결과에 기초하여, 적어도 하나의 객체를 식별할 수 있다. 예를 들어, 냉장고(1000)의 프로세서는, 카메라 이미지에 포함된 객체의 외곽선을 기 정의된 템플릿(template)과 비교하여, 객체의 종류, 객체의 명칭 등을 검출할 수 있다. 예컨대, 냉장고(1000)는, 객체의 외곽선이 바나나의 템플릿과 유사한 경우, 카메라 이미지에 포함된 객체를 바나나로 인식할 수 있다.
일 실시예에 의하면, 냉장고(1000)는, 객체 식별을 위한 인공 지능 모델에 카메라 이미지를 적용하여, 카메라 이미지에 포함된 적어도 하나의 객체를 식별할 수도 있다. 객체 식별을 위한 인공 지능 모델은, 객체의 상태를 예측하기 위한 인공 지능 모델과 동일한 모델일 수도 있고, 상이한 모델일 수도 있다.
단계 S220에서, 냉장고(1000)는, 냉장고(1000) 안에 배치된 환경 센서를 통해서 냉장고(1000) 안의 환경 정보를 획득할 수 있다.
일 실시예에 의하면, 환경 센서는, 온도 센서, 습도 센서 및 냄새 센서(odor sensor) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 일 실시예에 의하면, 냉장고(1000) 안에는 온도 센서, 습도 센서 및 냄새 센서 중 적어도 하나가 배치될 수 있다. 이때, 냉장고(1000) 안에는 온도 센서, 습도 센서, 냄새 센서가 각각 한 개씩 배치될 수 도 있고, 온도 센서, 습도 센서, 냄새 센서 각각이 복수 개 배치될 수도 있다. 예를 들어, 냉장고(1000)의 제 1 선반 안에 제 1 온도 센서, 제 1 습도 센서, 제 1 냄새 센서가 배치되고, 냉장고(1000)의 제 2 선반 안에 제 2 온도 센서, 제 2 습도 센서, 제 2 냄새 센서가 배치되고, 냉장고(1000)의 제 3 선반 안에 제 3 온도 센서, 제 3 습도 센서, 제 3 냄새 센서가 배치될 수 있다.
일 실시예에 의하면, 냉장고(1000) 안의 환경 정보는, 냉장고(1000) 안의 환경과 관련된 정보로서, 예를 들어, 온도 정보, 습도 정보 및 냄새 정보 중 적어도 하나를 포함할 수 있다. 온도 정보는, 객체 주변의 현재 온도, 냉장고(1000) 안의 평균 온도, 소정 시간 동안의 온도 변화량 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 습도 정보는 객체 주변의 현재 습도, 냉장고(1000) 안의 평균 순도, 소정 시간 동안의 습도 변화량 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 냄새 정보는 가스 검출량 정보, 가스 종류, 냉장고(1000) 안의 평균 가스 농도 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
따라서, 냉장고(1000)는, 온도 센서, 습도 센서 및 냄새 센서 중 적어도 하나를 이용하여, 냉장고(1000) 안의 온도 정보, 습도 정보 및 냄새 정보 중 적어도 하나를 획득할 수 있다.
단계 S230에서, 냉장고(1000)는, 적어도 하나의 객체를 포함하는 카메라 이미지 및 냉장고(1000) 안의 환경 정보를 인공 지능 모델에 적용하여, 적어도 하나의 객체의 현재 상태와 관련된 정보를 예측할 수 있다.
일 실시예에 의하면, 적어도 하나의 객체의 현재 상태와 관련된 정보는 적어도 하나의 객체의 현재 상태, 현재 상태에 기반한 섭취 가능 기간(또는 폐기 예정 시점), 현재로부터 소정 시간 후의 상태 변화 정보 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 적어도 하나의 객체의 현재 상태는 신선 상태, 숙성 상태, 변질 상태로 구분될 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 도 4를 참조하면, 객체가 관리 기준에 따라 잘 관리된다고 했을 때, 인공 지능 모델은, 제조일(출하일)로부터 유통기한까지의 객체 상태는 신선 상태로 판단하고, 유통기한부터 부패 시작일까지의 객체 상태는 숙성 상태로 판단하고, 부패 시작일 이후의 객체 상태는 변질 상태로 판단할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 인공 지능 모델은, 훈련에 의해 객체의 상태를 1단계부터 10단계로 분류하고, 1단계부터 4단계까지는 신선 상태로 판단하고, 5단계부터 7단계까지는 숙성 상태로 판단하고, 8단계 이후에는 변질 상태로 판단할 수도 있다.
일 실시예에 의하면, 냉장고(1000)는, 적어도 하나의 객체를 포함하는 카메라 이미지 및 적어도 하나의 객체 주변의 온도 정보(또는 습도 정보)를 인공 지능 모델에 적용하여, 적어도 하나의 객체의 현재 상태를 예측할 수 있다. 이때, 인공 지능 모델은, 카메라 이미지, 온도 정보(또는 습도 정보), 객체의 상태를 학습 데이터로 이용하여 학습된 인공 지능 신경망일 수 있다. 예를 들어, 카메라 이미지에 포함된 바나나 껍질의 10%가 검은색이고, 바나나 주변의 온도가 1 ℃인 경우, 인공 지능 모델은 바나나의 현재 상태를 숙성 상태로 결정할 수 있다. 또한, 카메라 이미지에 포함된 바나나 껍질의 90%가 검은색이고, 바나나 주변의 온도가 2 ℃인 경우, 인공 지능 모델은 바나나의 현재 상태를 변질 상태로 결정할 수 있다.
일 실시예에 의하면, 냉장고(1000)는, 적어도 하나의 객체를 포함하는 카메라 이미지 및 적어도 하나의 객체의 냄새 정보를 인공 지능 모델에 적용하여, 적어도 하나의 객체의 현재 상태를 예측할 수 있다. 예를 들어, 냉장고(1000)가 토마토를 포함하는 카메라 이미지 및 토마토의 냄새 정보(예컨대, 냄새 정도: 150μm, 냄새 종류: 지방산 냄새(Fatty acid odor))를 인공 지능 모델에 적용하는 경우, 인공 지능 모델은 토마토를 포함하는 카메라 이미지 및 토마토의 냄새 정보에 기초하여, 토마토의 현재 상태를 결정할 수 있다. 이때, 카메라 이미지 내에서 토마토가 다른 객체에 의해 일부 또는 전부가 가려진 경우라도 인공 지능 모델은 토마토의 냄새 정보를 이용하여 토마토의 현재 상태를 예측할 수 있다. 여기서, 인공 지능 모델은, 카메라 이미지, 냄새 정보, 객체의 상태를 학습 데이터로 이용하여 학습된 인공 지능 신경망일 수 있다.
일 실시예에 의하면, 냉장고(1000)는, 적어도 하나의 객체를 포함하는 카메라 이미지, 적어도 하나의 객체 주변의 온도 정보(또는 습도 정보) 및 적어도 하나의 객체의 냄새 정보를 인공 지능 모델에 적용하여, 적어도 하나의 객체의 현재 상태를 예측할 수도 있다. 또한, 냉장고(1000)는 적어도 하나의 객체를 포함하는 카메라 이미지, 적어도 하나의 객체 주변의 온도 정보, 적어도 하나의 객체 주변의 습도 정보 및 적어도 하나의 객체의 냄새 정보를 인공 지능 모델에 적용하여, 적어도 하나의 객체의 현재 상태를 예측할 수도 있다.
일 실시예에 의하면, 객체의 현재 상태가 변질 상태가 아닌 경우, 인공 지능 모델은 객체의 섭취 가능 기간(예컨대, 현재로부터 폐기 예정일까지 남은 기간)을 예측할 수 있다. 예를 들어, 인공 지능 모델은 바나나를 포함하는 카메라 이미지 및 바나나 주변의 환경 정보에 기초하여, 바나나의 현재 상태가 숙성 상태이고, 폐기 예정일까지 남은 기간이 3일이라고 판단할 수 있다. 이 경우, 인공 지능 모델은 바나나의 현재 상태(예컨대, 숙성 상태) 및 폐기 예정일까지 남은 기간(예컨대, 3일)에 대한 정보를 냉장고(1000)의 프로세서로 전달할 수 있다.
한편, 일 실시예에 의하면, 냉장고(1000)는 카메라 이미지 및 환경 정보 외에 분광 이미지를 인공 지능 모델에 더 적용하여, 객체의 현재 상태를 보다 정확하게 예측할 수 있다. 냉장고(1000)가 분광 이미지를 이용하는 동작에 대해서는 도 6을 참조하여 후에 자세히 살펴보기로 한다.
단계 S240에서, 냉장고(1000)는 적어도 하나의 객체의 현재 상태와 관련된 정보를 제공할 수 있다.
일 실시예에 의하면, 객체의 현재 상태와 관련된 정보는, 객체의 신선도, 객체의 숙성도, 객체의 섭취 가능 여부, 객체의 섭취 가능 기간에 관한 정보(예컨대, 폐기 예정일까지 남은 기간 정보) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 냉장고(1000)는, 적어도 하나의 객체의 현재 상태에 기초하여, 적어도 하나의 객체의 섭취 가능 기간에 관한 정보를 제공할 수 있다. 예를 들어, 냉장고(1000)는 냉장고(1000) 안에 보관 중인 신선 식품들(예컨대, 토마토, 바나나, 가지, 당근, 오이 등) 각각의 섭취 가능 기간에 관한 정보를 제공할 수 있다. 예컨대, 토마토가 아직 숙성이 덜된 상태인 경우, 냉장고(1000)는, 인공 지능 모델로부터 토마토의 섭취 가능 기간이 '3일 후부터 10일 전까지'라는 결과를 획득할 수 있다. 그리고 냉장고(1000)는 토마토의 섭취 가능 기간(예컨대, 3일~10일)을 문에 부착된 디스플레이부를 통해 표시할 수 있다.
일 실시예에 의하면, 냉장고(1000)는 적어도 하나의 객체를 포함하는 카메라 이미지 상에 섭취 가능 기간에 관한 정보를 중첩하여 표시할 수 있다. 예를 들어, 냉장고(1000)는, 카메라 이미지에 바나나, 오이, 가지가 포함되어 있는 경우, 바나나 이미지 위에 바나나의 폐기 예정일(예컨대, 5일 남음)을 표시하고, 오이 이미지 위에 오이의 폐기 예정일(예컨대, 7일 남음)을 표시하고, 가지 이미지 위에 폐기 예정일(3일 지남) 또는 '즉시 폐기(변질)'를 표시할 수 있다.
한편, 일 실시예에 의하면, 냉장고(1000)는, 섭취 가능 기간의 정도에 따라, 폐기 예정일의 색을 다르게 표시할 수 있다. 예를 들어, 냉장고(1000)는, 섭취 가능 기간이 남아있지 않은 경우(이미 변질된 경우), 폐기 예정일(예컨대, 3일 지남)을 빨간색으로 표시하고, 섭취 가능 기간이 2일 이내로 남아있는 경우, 폐기 예정일을 주황색으로 표시하고, 섭취 가능 기간이 3일 내지 7일 남아 있는 경우, 폐기 예정일을 노란색으로 표시하고, 섭취 가능 기간이 8일 이상 남은 경우, 폐기 예정일을 초록색으로 표시할 수 있다.
일 실시예에 의하면, 냉장고(1000)는 냉장고(1000)에 보관 중인 객체들의 섭취 가능 기간에 관한 정보를 리스트 형태로 표시할 수도 있다. 예를 들어, 냉장고(1000)는, 섭취 가능 기간이 얼마 남지 않은 객체가 상위에 표시되도록 객체 리스트를 정리하여 제공할 수 있다.
일 실시예에 의하면, 냉장고(1000)는 적어도 하나의 객체의 숙성도 또는 신선도에 관한 정보를 제공할 수 있다. 예를 들어, 냉장고(1000)는, 바나나가 적당하게 숙성이 잘된 상태인 경우, '바나나가 현재 최고의 상태입니다' 라는 알림을 디스플레이부를 통해서 제공할 수 있다. 또한, 냉장고(1000)는, 숙성도 또는 신선도에 관한 정보로서, 카메라 이미지 위에 '변질', '변질 우려', '섭취 가능', '신선' 등을 간단히 표시해 줄 수도 있다.
일 실시예에 의하면, 냉장고(1000)는, 냉장고(1000)의 디스플레이부 또는 모바일 단말을 통해서 적어도 하나의 객체의 현재 상태와 관련된 정보를 제공할 수 있다. 예를 들어, 냉장고(1000)는 냉장고(1000)의 외측에 설치된 카메라를 통해서 냉장고(1000)에 접근하는 사용자를 감지할 수 있다. 이때, 냉장고(1000)는 냉장고(1000)에 보관 중인 객체들의 현재 상태와 관련된 정보를 냉장고(1000)의 외측에 배치된 디스플레이부를 통해서 표시할 수 있다. 또한, 사용자가 냉장고(1000)와 연결된 모바일 단말(3000)에서, '냉장고 애플리케이션'을 실행시키는 경우, 모바일 단말(3000)은 냉장고(1000)에 보관 중인 객체들의 현재 상태와 관련된 정보를 표시할 수 있다.
이하에서는, 적어도 하나의 객체의 현재 상태를 예측하는 인공 지능 모델에 대해서 도 3을 참조하여 좀 더 자세히 살펴보기로 한다.
도 3은 일 실시예에 따른 딥러닝을 통해 인공 지능 모델을 생성하는 동작을 설명하기 위한 도면이다.
도 3을 참조하면, 일 실시예에 의하면, 냉장고(1000) 또는 서버 장치(2000)에 포함된 AI 프로세서는 인공신경망을 학습시켜, 냉장고(1000)에 보관 중인 객체의 현재 상태를 예측하는 인공 지능 모델(300)을 생성할 수 있다. 인공신경망을 ‘학습’시킨다는 것은 데이터를 바탕으로 가중치를 적절히 바꿔주면서 인공신경망을 구성하는 뉴런들의 연결이 최적의 의사결정을 할 수 있는 수학적 모델을 만드는 것을 의미할 수 있다.
일 실시예에 의하면, AI 프로세서는, 입력 값(311)과 결과 값(312)을 포함하는 학습 데이터(310) 세트를 획득할 수 있다. 이때, 입력 값(311)은, 카메라 이미지(RGB)이미지, 분광 이미지 및 환경 정보(예컨대, 온도 정보, 습도 정보, 냄새(가스) 정보) 중 적어도 하나를 포함할 수 있고, 결과 값(312)은 실제 폐기까지의 시간, 식품의 숙성도, 식품의 신선도 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 학습 데이터(310)로서 획득되는 카메라 이미지는 냉장고(1000)에서 보관 가능한 다양한 객체들을 RGB 이미지를 포함할 수 있다. 또한, 카메라 이미지는 동일 객체의 여러 상태의 RGB 이미지를 포함할 수 있다. 카메라 이미지는 2차원 이미지일 수도 있고, 3차원 이미지일 수도 있다.
일 실시예에 의하면, 학습 데이터(310)로서 획득되는 분광 이미지는 냉장고(1000)에서 보관 가능한 다양한 객체들에 대해 분광 분석을 통해 획득한 이미지일 수 있다. 분광 분석은 객체 내부 물질 성분의 변화를 비파괴적으로 검출할 수 있는 기술이다. 인공신경망이 객체의 분광 이미지를 학습하는 경우, 객체의 분광 이미지로부터 객체의 물리적 특성뿐만 아니라 생화학적 특성까지 종합적으로 분석할 수 있다. 일 실시예에 따르면, AI 프로세서는 동일 객체의 여러 상태에서의 분광 이미지를 학습 데이터(310)로 획득할 수 있다. 분광 이미지는 2차원 이미지일 수도 있고, 3차원 이미지일 수도 있다.
일 실시예에 의하면, 학습 데이터(310)로서 획득되는 환경 정보는, 카메라 이미지 또는 분광 이미지를 검출하는 시점에서의 냉장고(1000) 안의 환경과 관련된 정보일 수 있다. 예를 들어, 환경 정보는 온도 정보, 습도 정보 및 냄새(가스) 정보 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
결과 값(312)으로 수집되는 실제 폐기까지의 기간은 도 4를 참조하면, 객체가 실제 부패하기 시작하는 시점(즉, 폐기 시점, 400)까지 남은 기간일 수 있다. 실제 폐기까지의 기간은 객체의 보관 환경에 따라서 달라질 수 있으므로, 인공 지능 모델(300)은 실제 폐기까지의 기간을 환경 정보와 함께 학습(훈련)할 필요가 있다.
일 실시예에 의하면, 인공 지능 모델(300)은, 입력 값(311)으로서의 카메라 이미지, 분광 이미지 또는 환경 정보와 결과 값(312)으로서의 실제 폐기까지의 기간, 식품의 숙성도 또는 식품의 신선도를 학습(훈련)함으로써, 카메라 이미지, 분광 이미지, 환경 정보 중 적어도 하나가 입력되는 경우에 식품의 섭취 가능 기간 또는 식품의 숙성도 또는 신선도를 예측할 수 있다.
일 실시예에 의하면, AI 프로세서에서 학습 데이터(310)로 수집하는 카메라 이미지, 분광 이미지, 환경 정보가 늘어남에 따라, 인공 지능 모델(300)은 갱신(refine)될 수 있고, 갱신된 인공 지능 모델(300)에서 예측하는 섭취 가능 기간, 숙성도, 신선도는 정확도가 높아질 수 있다.
도 5를 참조하면, 학습 데이터(310)는, 카메라 이미지(501), 분광 이미지(502), 환경 정보(503), 섭취 가능 기간(504)의 세트로 구성될 수 있다. 예를 들어, AI 프로세서는, 숙성되지 않은 제 1 바나나를 포함하는 제 1 카메라 이미지, 제 1 바나나에 대한 제 1 분광 이미지, 제 1 바나나를 보관하는 냉장고 안의 제 1 가스 검출량(50μm), 제 1 온도(4℃), 제 1 습도(40%), 제 1 바나나의 섭취 가능한 기간(2일 후부터 9일 내)를 제 1 학습 데이터 세트로 획득할 수 있다. AI 프로세서는, 숙성된 제 2 바나나를 포함하는 제 2 카메라 이미지, 제 2 바나나에 대한 제 2 분광 이미지, 제 2 바나나를 보관하는 냉장고 안의 제 2 가스 검출량(125μm), 제 2 온도(3℃), 제 2 습도(35%), 제 2 바나나의 섭취 가능한 기간(현재부터 4일 내)를 제 2 학습 데이터 세트로 획득할 수 있다.
또한, AI 프로세서는, 잘 읽은 귤을 포함하는 제 3 카메라 이미지, 귤에 대한 제 3 분광 이미지, 귤을 보관하는 냉장고 안의 제 3 가스 검출량(70μm), 제 3 온도(4℃), 제 3 습도(21%), 귤의 섭취 가능한 기간(현재부터 16일 내)를 제 3 학습 데이터 세트로 획득할 수 있다. 또한, AI 프로세서는, 숙성되지 않은 토마토를 포함하는 제 4 카메라 이미지, 토마토에 대한 제 4 분광 이미지, 토마토를 보관하는 냉장고 안의 제 4 가스 검출량(0μm), 제 4 온도(2℃), 제 4 습도(42%), 토마토의 섭취 가능한 기간(8일 후부터 25일 내)를 제 4 학습 데이터 세트로 획득할 수 있다.
일 실시예에 의하면, AI 프로세서는 인공 지능 모델(300)의 예측 정확도를 높이기 위해 다양한 종류의 학습 데이터 세트를 생성할 수 있다.
일 실시예에 의하면, AI 프로세서는, 개인화 학습 데이터(320)를 획득할 수도 있다. 개인화 학습 데이터(320)는 개인의 객체 보관 환경에 관한 데이터, 개인이 선호하는 객체의 종류에 관한 데이터, 개인이 선호하는 객체의 숙성도에 관한 데이터, 개인의 건강 상태와 관련된 데이터 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. AI 프로세서는 개인화 학습 데이터(320)를 이용하여 인공 지능 모델(300)을 학습시킬 수 있다.
이하에서는, 인공 지능 모델(300)이 분광 이미지를 학습한 모델인 경우, 냉장고(1000)가 분광 이미지를 인공 지능 모델(300)에 더 적용하여 적어도 하나의 객체의 상태를 예측하는 동작에 대해서 자세히 살펴보기로 한다.
도 6은 일 실시예에 따른 분광 이미지를 이용하여 적어도 하나의 객체의 현재 상태를 예측하는 방법을 설명하기 위한 순서도이다.
단계 S610에서, 냉장고(1000)는 냉장고(1000) 안에 배치된 분광 센서를 이용하여, 적어도 하나의 객체에 대한 분광 이미지를 획득할 수 있다.
일 실시예에 의하면, 냉장고(1000) 안에 배치된 분광 센서는, 가시광선 및 근적외선 영역의 연속적인 파장을 선택적으로 조합하여, 객체에 빛을 조사함으로써, 객체가 가지고 있는 분광 스펙트럼 정보를 획득할 수 있다. 이때, 분광 센서는 분광 스펙트럼 정보를 이용하여, 객체가 가지고 있는 고유의 광학적 성질을 통해 물질적 및 생화학적 특징을 분석하고, 분광 이미지를 생성할 수 있다.
일 실시예에 의하면, 분광 센서는 냉장고(1000) 안에서 카메라 근처에 배치될 수 있다. 또한, 분광 센서는 냉장고(1000) 안에서 복수 개가 배치될 수 있다. 예를 들어, 분광 센서는, 제 1 선반에 보관된 제 1 객체들의 분광 이미지를 획득하는 제 1 분광 센서, 제 2 선반에 보관된 제 2 객체들의 분광 이미지를 획득하는 제 2 분광 센서, 제 3 선반에 보관된 제 3 객체들의 분광 이미지를 획득하는 제 3 분광 센서 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 냉장고(1000)는, 사용자가 문을 개폐하고 소정 시간 경과 후(예컨대, 냉장고(1000) 문이 닫히고 3초 후)에 분광 센서를 이용하여 분광 이미지를 획득할 수 있다. 이 경우, 냉장고(1000)는, 사용자가 문을 개폐함에 따라 냉장고(1000) 안에 보관 중인 객체들이 변경될 수 있으므로, 변경된 객체들의 실시간 분광 이미지를 획득할 수 있다.
일 실시예에 의하면, 냉장고(1000)는 소정 시간 간격으로 분광 센서를 이용하여 분광 이미지를 획득할 수 있다. 예를 들어, 냉장고(1000)는 3시간 간격으로 분광 센서를 이용하여 분광 이미지를 획득할 수도 있다.
일 실시예에 의하면, 분광 센서의 분광 이미지 검출 간격은 카메라의 이미지 검출 간격과 동기화될 수 있다. 예를 들어, 카메라의 이미지 검출 간격이 1시간인 경우, 냉장고(1000)의 프로세서는 분광 센서의 분광 이미지 검출 간격도 1시간으로 조절할 수 있다.
일 실시예에 의하면, 분광 센서는 특정 객체에 빛을 조사하여, 특정 객체 대한 분광 이미지를 획득할 수도 있다. 예를 들어, 분광 센서는, 가스 검출량이 임계 값보다 큰 제 1 객체에 빛을 조사하여, 제 1 객체의 분광 이미지를 획득할 수도 있다.
단계 S620에서, 냉장고(1000)는, 카메라 이미지, 분광 이미지 및 냉장고(1000) 안의 환경 정보를 인공 지능 모델(300)에 적용하여, 적어도 하나의 객체의 현재 상태와 관련된 정보를 예측할 수 있다.
여기서, 인공 지능 모델(300)은, 카메라 이미지, 분광 이미지, 환경 정보(예컨대, 온도 정보, 습도 정보 또는 냄새 정보), 객체의 상태를 학습 데이터로 이용하여 학습된 인공 지능 신경망일 수 있다.
일 실시예에 의하면, 냉장고(1000)는, 적어도 하나의 객체의 현재 상태, 현재 상태에 기반한 섭취 가능 기간(또는 폐기 예정 시점), 현재로부터 소정 시간 후의 상태 변화 정보 등을 예측할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 적어도 하나의 객체의 현재 상태는 신선 상태, 숙성 상태, 변질 상태로 구분될 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 인공 지능 모델(300)은 객체의 섭취 가능 기간(예컨대, 현재로부터 폐기 예정일까지 남은 기간)을 예측할 수 있다. 예를 들어, 인공 지능 모델(300)은 바나나를 포함하는 카메라 이미지, 바나나에 대한 분광 이미지 및 바나나 주변의 환경 정보에 기초하여, 바나나의 현재 상태가 숙성 상태이고, 폐기 예정일까지 남은 기간이 3일이라고 판단할 수 있다. 이 경우, 인공 지능 모델(300)은 바나나의 현재 상태(예컨대, 숙성 상태) 및 폐기 예정일까지 남은 기간(예컨대, 3일)에 대한 정보를 냉장고(1000)의 프로세서로 전달할 수 있다.
이하에서는 도 7 및 도 8을 참조하여, 인공 지능 모델(300)이 객체의 현재 상태와 관련된 정보를 출력하는 동작에 대해서 살펴보기로 한다.
도 7은 일 실시예에 따른 냉장고가 인공 지능 모델을 이용하여 객체의 섭취 가능 기간을 예측하는 동작을 설명하기 위한 도면이다.
도 7을 참조하면, 냉장고(1000)는 카메라를 이용하여 냉장고(1000)에 보관 중인 참외(700)에 대한 카메라 이미지(701)를 획득하고, 분광 센서를 이용하여 참외(700)의 분광 이미지(702)를 획득하고, 환경 센서를 이용하여, 참외(700) 주변의 냉장고 환경 정보(703)(예컨대, 냄새 종류: 지방산 냄새, 냄새 정도: 125μm, 온도 4℃, 습도: 21%)를 획득할 수 있다. 이때, 냉장고(1000)는, 카메라 이미지(701), 분광 이미지(702), 냉장고 환경 정보(703)를 인공 지능 모델(300)에 입력할 수 있다. 인공 지능 모델(300)은 카메라 이미지(701), 분광 이미지(702), 냉장고 환경 정보(703)를 기초로, 참외(700)의 현재 상태(예컨대, 섭취 가능) 및 참외(700)의 섭취 가능 기간(704)을 결과 값으로 도출할 수 있다.
도 8은 일 실시예에 따른 냉장고가 인공 지능 모델을 이용하여 객체의 신선도 또는 숙성도를 예측하는 동작을 설명하기 위한 도면이다.
도 8을 참조하면, 냉장고(1000)는 카메라를 이용하여 냉장고(1000)에 보관 중인 귤(800)에 대한 카메라 이미지(801)를 획득하고, 분광 센서를 이용하여 귤(800)의 분광 이미지(802)를 획득하고, 환경 센서를 이용하여, 귤(800) 주변의 냉장고 환경 정보(803)(예컨대, 냄새 종류: 지방산 냄새, 냄새 정도: 54μm, 온도 4℃, 습도: 36%)를 획득할 수 있다. 이때, 냉장고(1000)는, 카메라 이미지(801), 분광 이미지(802), 냉장고 환경 정보(803)를 인공 지능 모델(300)에 입력할 수 있다. 인공 지능 모델(300)은 카메라 이미지(801), 분광 이미지(802), 냉장고 환경 정보(803)를 기초로, 귤(800)의 현재 상태(예컨대, 섭취 가능), 신선도/숙성도(804)(예컨대, 신선도: 레벨 4, 숙성도: 레벨 8) 등을 결과 값으로 도출할 수 있다.
도 7 및 도 8에서는 냉장고(1000)가 카메라 이미지, 분광 이미지, 냄새 종류, 냄새 정도, 온도, 습도를 인공 지능 모델(300)에 입력하는 경우를 예로 들어 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 냉장고(1000)는, 카메라 이미지 및 온도를 인공 지능 모델(300)에 입력할 수도 있고, 카메라 이미지 및 습도를 인공 지능 모델(300)에 입력할 수도 있고, 카메라 이미지, 냄새 종류, 냄새 정도를 인공 지능 모델(300)에 입력할 수도 있고, 카메라 이미지 및 분광 이미지를 인공 지능 모델(300)에 입력할 수도 있다.
도 9 및 도 10은 일 실시예에 따른 냉장고가 적어도 하나의 객체의 섭취 가능 기간에 관한 정보를 제공하는 동작을 설명하기 위한 도면이다.
도 9를 참조하면, 냉장고(1000)는, 문에 배치된 디스플레이부(1411)를 통해서 냉장고(1000)에 보관 중인 객체들의 섭취 가능 기간에 관한 알림 정보를 표시하는 GUI(Graphical User Interface)(900)를 제공할 수 있다. 일 실시예에 의하면, 냉장고(1000)는, 냉장고(1000) 안에 보관 중인 객체들의 카메라 이미지를 분석하여, 객체들을 식별하고, 카메라 이미지 상에 객체 각각의 폐기 예정일을 표시할 수 있다. 예를 들어, 냉장고(1000)는 망고 사진 주변에 "망고 16일 남음"(901)을 표시하고, 바나나 사진 주변에 "바나나 4일 남음"(902)을 표시하고, 시금치 사진 주변에 "상함"(903)을 표시하고, 포도 사진 주변에 "포도 9일 남음"(904)을 표시하고, 가지 사진 주변에 "가지 7일 남음"(905)을 표시할 수 있다.
한편, 일 실시예에 의하면, 폐기 예정일을 나타내는 텍스트 및 마크는, 폐기 예정일까지 남은 기간에 따라서 다양한 색으로 표현될 수 있다. 예를 들어, 냉장고(1000)는, 시금치 사진 주변의 "상함"(903) 표시는 빨간색으로 표현하고, "바나나 4일 남음"(902) 표시는 주황색으로 표현하고, "포도 9일 남음"(904) 표시 및 "가지 7일 남음"(905) 표시는 노란색으로 표현하고, "망고 16일 남음"(901)은 녹색으로 표시할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 사용자는, 냉장고(1000)의 디스플레이부(1411)에 표시된 GUI(900)를 통해서, 어떤 식품을 빨리 섭취해야 하는지 빠르고 직관적으로 식별할 수 있다. 또한, 냉장고(1000)에 보관된 객체들의 활용도를 높이고, 냉장고(1000) 안의 환경을 청결히 할 수 있다.
도 10을 참조하면, 냉장고(1000)는 문에 배치된 디스플레이부(1411)를 통해서 냉장고(1000)에 보관 중인 객체들의 섭취 가능 기간(예컨대, 폐기 예정일까지 남은 기간)을 포함하는 객체 리스트(1010)를 표시할 수 있다. 이때, 객체 리스트(1010)는 객체의 식별 정보(예컨대, 객체 명칭, 객체의 이미지, 객체를 나타내는 아이콘 등), 객체의 상태, 폐기 예정일까지 남은 기간 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
한편, 일 실시예에 의하면, 폐기 예정일까지 남은 기간이 짧은 순서에 따라, 객체 리스트가 배열될 수 있다. 예를 들어, 시금치는 변질되고, 바나나는 폐기 예정일까지 4일 남고, 가지는 폐기 예정일까지 7일 남고, 포도는 폐기 예정일까지 9일 남고, 망고는 폐기 예정일까지 16일 남은 경우, '시금치 - 상함', '바나나 - 변질 우려 - 4일', '가지 - 섭취 가능 - 7일', '포도 - 섭취 가능 - 9일', '망고 - 신선 - 16일' 순서대로 표시될 수 있다.
일 실시예에 의하면, 객체 리스트(1010) 내에서 폐기 예정일까지 남은 기간에 따라 다양한 색상으로 객체들이 표시될 수 있다. 예를 들어, 시금치는 빨간색 바탕에 표시되고, 바나나는 주황색 바탕에 표시되고, 가지와 포도는 노란색 바탕에 표시되고, 망고는 녹색 바탕에 표시될 수 있다.
도 11은 일 실시예에 따른 냉장고가 모바일 단말을 통해서 적어도 하나의 객체의 섭취 가능 기간에 관한 정보를 제공하는 동작을 설명하기 위한 도면이다.
일 실시예에 의하면, 모바일 단말(3000)은 냉장고(1000) 또는 서버 장치(2000)로부터 냉장고(1000) 안에 보관되어 있는 객체들의 현재 상태 및/또는 섭취 가능 기간에 관한 정보를 획득하여 표시할 수 있다.
일 실시예에 의하면, 모바일 단말(3000)은 사용자가 냉장고 애플리케이션을 실행시키는 경우, 냉장고 애플리케이션의 실행 창을 통해서 제 1 GUI(1110) 또는 제 2 GUI(1120)를 제공할 수 있다.
제 1 GUI(1110)를 참조하면, 모바일 단말(3000)은, 냉장고(1000) 안에 보관 중인 객체들의 카메라 이미지 상에 객체 각각의 폐기 예정일을 표시할 수 있다. 이때, 일 실시예에 의하면, 폐기 예정일을 나타내는 텍스트 또는 마크는, 폐기 예정일까지 남은 기간에 따라서 다양한 색으로 표현될 수 있다.
제 2 GUI(1120)를 참조하면, 냉장고(1000)에 보관 중인 객체들의 섭취 가능 기간(예컨대, 폐기 예정일까지 남은 기간)을 포함하는 객체 리스트를 표시할 수 있다. 이때, 객체 리스트는 객체의 식별 정보(예컨대, 객체 명칭, 객체의 이미지, 객체를 나타내는 아이콘 등), 객체의 상태, 폐기 예정일까지 남은 기간 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
도 12는 일 실시예에 따른 냄새 정보 및 분광 스펙트럼 정보를 이용하여 적어도 하나의 객체의 현재 상태를 예측하는 방법을 설명하기 위한 순서도이다.
단계 S1210에서, 냉장고(1000)는, 복수의 냄새 센서를 이용하여, 냉장고(1000) 안의 가스 검출량을 모니터링할 수 있다. 복수의 냄새 센서는 냉장고(1000) 안의 여러 곳에 배치되어 있을 수 있다.
단계 S1220에서, 냉장고(1000)는 복수의 냄새 센서 중에서 적어도 하나의 냄새 센서(Odor sensor)에서 측정된 가스 검출량이 임계 값(예컨대, 100μm)을 초과하는지 판단할 수 있다.
일 실시예에 의하면, 냉장고(1000)는, 복수의 냄세 센서로부터 수신되는 냄새 정보(예컨대, 가스 검출량, 가스 종류 등)를 분석하여, 복수의 냄세 센서 중에서, 임계 값을 초과하는 가스 검출량을 측정한 냄새 센서를 식별할 수 있다. 또한, 일 실시예에 의하면, 냉장고(1000)는 임계 값을 초과하는 가스 검출량을 측정한 냄새 센서의 위치를 추적할 수도 있다.
한편, 임계 값을 초과하는 가스 검출량을 측정한 냄새 센서가 없는 경우, 냉장고(1000)는 복수의 냄새 센서를 이용하여, 냉장고(1000) 안의 가스 검출량을 계속 모니터링할 수 있다.
단계 S1230에서, 냉장고(1000)는, 가스 검출량이 임계 값을 초과하는 경우, 복수의 냄새 센서로부터 획득된 냄새 정보에 기초하여 냄새 분포 맵을 생성할 수 있다.
냄새 분포 맵은, 냉장고(1000) 안의 냄새 분포를 시각화한 것으로, 냄새가 나는 곳의 위치, 냄새의 강도, 냄새의 종류 등을 표현할 수 있다. 예를 들어, 냄새 분포 맵은 가스 검출량에 따라서 냄새 분포 영역의 색상, 명도 또는 넓이를 다르게 표현할 수 있다. 또한, 냄새 분포 맵은 냄새의 종류에 따라서 냄새 분포 영역의 색상을 다르게 표현할 수도 있다.
일 실시예에 의하면, 냄새 분포 맵은, 2차원 맵일 수도 있고, 3차원 맵일 수도 있으나, 이에 한정되는 것은 아니다. 예를 들어, 냉장고(1000)는, 냉장고(1000) 안에 선반이 여러 개 있는 경우, 선반 별로 2차원의 냄새 분포 맵을 생성할 수도 있고, 냉장고(1000) 안 전체 공간에 대해 하나의 3차원 냄새 분포 맵을 생성할 수도 있다.
단계 S1240에서, 냉장고(1000)는, 적어도 하나의 객체를 포함하는 카메라 이미지와 냄새 분포 맵을 비교하여, 변질 가능성이 기준 값보다 큰 제 1 객체를 식별할 수 있다.
예를 들어, 도 13을 참조하면, 냉장고(1000)는 냉장고(1000) 안에 보관 중인 객체들에 대한 카메라 이미지(1301)를 획득하고, 냉장고(1000) 안의 냄새 분포와 관련된 냄새 분포 맵(1302)을 생성할 수 있다. 이때, 냉장고(1000)는, 냄새 분포 맵(1302) 상에서 넓고 진하게 표시된 제 1 영역(1321) 및 제 2 영역(1322)에는 변질 가능성이 높은 객체가 존재한다고 판단할 수 있다. 냉장고(1000)는 냄새 분포 맵(1302)과 카메라 이미지(1301)를 대조하여, 카메라 이미지(1301) 상의 제 1 영역(1311)에 위치한 '시금치'와 제 2 영역(1312)에 위치한 객체의 변질 가능성이 높다고 판단할 수 있다. 다만, 제 2 영역(1312)에 위치한 객체는 카메라 이미지(1301) 상에서 가지에 의해서 가려져 있으므로, 냉장고(1000)가 정확하게 객체를 식별하기는 어려울 수 있다. 이하에서는 제 1 객체가 시금치인 경우를 예로 들어 설명하기로 한다.
도 12로 돌아오면, 단계 S1250에서, 냉장고(1000)는, 냉장고(1000) 안에 배치된 분광 센서를 이용하여, 제 1 객체에 대한 분광 스펙트럼 정보를 획득할 수 있다.
제 1 객체에 대한 분광 스펙트럼 정보는 분광 센서를 이용하여 제 1 객체에 광을 조사함으로써, 획득될 수 있다. 분광 스펙트럼 정보는, 스펙트럼 패턴을 포함할 수 있으며, 분광 스펙트럼 정보를 통해 어떤 파장에서의 객체 반사율이 큰지 알 수 있다.
단계 S1260에서, 냉장고(1000)는, 제 1 객체에 대한 분광 스펙트럼 정보를 이용하여, 제 1 객체의 변질 정도를 결정할 수 있다.
예를 들어, 도 14를 참조하면, 냉장고(1000)는, 카메라 이미지(1301)의 제 1 영역(1311)에 위치한 시금치가 변질 가능성이 높다고 판단하고, 분광 센서를 이용하여 시금치에 광을 조사할 수 있다. 그리고 냉장고(1000)는 분광 센서를 통해서 시금치의 분광 스펙트럼 정보(1410)를 획득할 수 있다. 냉장고(1000)는 시금치의 분광 스펙트럼 정보(1410)를 인공 지능 모델(300)에 적용할 수 있다. 이때, 인공 지능 모델(300)은 시금치의 분광 스펙트럼 정보(1410)를 분석하여, 시금치의 변질 정도(예컨대, 변질도: 98%)를 식별할 수 있다. 인공 지능 모델(300)은 시금치의 분광 스펙트럼 정보(1410)를 분석한 결과(1420)로서, 시금치의 변질 정도를 냉장고(1000)의 프로세서에 전달할 수 있다.
일 실시예에 의하면, 인공 지능 모델(300)은 분광 스펙트럼 정보(1410)의 분석 결과(1420)에 따라, 시금치의 섭취 가능 여부를 판단할 수도 있다. 예를 들어, 인공 지능 모델(300)은 시금치의 분광 스펙트럼 패턴이 섭취 불가능한 시금치의 분광 스펙트럼 패턴과 유사한 경우, 시금치가 섭취 불가능하다고 판단할 수 있다. 이 경우, 인공 지능 모델(300)은 시금치의 분광 스펙트럼 정보(1410)를 분석한 결과(1420)로서, 시금치의 섭취 가능 여부도 냉장고(1000)의 프로세서에 전달할 수 있다.
냉장고(1000)는, 제 1 객체의 변질 정도에 따라서, 제 1 객체가 섭취 불가능한 상태인 경우, 제 1 객체의 섭취에 대한 경고 메시지를 디스플레이부(1411)에 표시할 수 있다. 냉장고(1000)가 경고 메시지를 표시하는 동작에 대해서 도 15를 참조하여 좀 더 살펴보기로 한다.
도 15는 일 실시예에 따른 냉장고의 프로세서가 변질 식품의 위치에 관한 알림 정보를 제공하는 동작을 설명하기 위한 도면이다.
일 실시예에 의하면, 카메라 이미지 내에서 섭취 불가능하다고 판단된 제 1 객체가 제 2 객체에 의해 전부 또는 일부가 가려지는 경우, 냉장고(1000)는, 냉장고(1000) 내에서 제 1 객체가 저장된 위치에 관한 알림 정보를 제공할 수 있다. 예를 들어, 도 13을 참조하면, 카메라 이미지(1301)의 제 2 영역(1312)에 위치하는 딸기가 가지에 의해 가려져서 보이지 않고, 냄새 정보에 기초하여 딸기가 섭취 불가능하다고 판단된 경우, 냉장고(1000)는 딸기가 저장된 제 2 영역(1312)에 관한 알림 정보를 사용자에게 제공할 수 있다.
도 15를 참조하면, 냉장고(1000)는, 디스플레이부(1411)를 통해서, 경고 코멘트(1510)(예컨대, 아래 마크된 위치에 변질 식품이 있습니다. 확인해 주세요)와 함께 딸기가 저장된 제 2 영역(1312)에 식별 표시(1530)를 추가한 카메라 이미지(1520)를 표시할 수 있다.
도 16은 일 실시예에 따른 냉장고의 프로세서가 변질 식품을 향하도록 카메라의 포즈를 제어하는 동작을 설명하기 위한 도면이다.
일 실시예에 의하면, 냉장고(1000)의 프로세서는, 카메라 이미지 내에서 섭취 불가능하다고 판단된 제 1 객체가 제 2 객체에 의해 전부 또는 일부가 가려지는 경우, 카메라가 제 1 객체를 캡쳐할 수 있도록 카메라의 포즈를 제어할 수 있다. 예를 들어, 냉장고(1000)는 제 1 선반에 포함된 제 1 객체가 제 1 선반의 정면을 촬영하는 제 1 카메라에 의해서 캡쳐되지 않는 경우, 제 1 카메라 위에 배치된 제 2 카메라가 아래를 향하도록 하여 제 1 선반 안에 보관된 제 1 객체를 제 2 카메라가 캡쳐하게 할 수 있다.
도 16을 참조하면, 냉장고(1000)는 제 2 카메라를 통해서 획득된 카메라 이미지(1610)를 분석하여, 섭취 불가능하다고 판단된 제 1 객체가 딸기임을 식별하고, 카메라 이미지(1610) 상에 딸기가 위치하는 곳을 표시해 줄 수 있다. 또한, 냉장고(1000)는 '딸기가 변질되었습니다. 확인해 주세요'와 같은, 경고 코멘트(1611)를 함께 표시해 줄 수도 있다.
도 17은 일 실시예에 따른 카메라의 이미지 검출 간격을 조절하는 방법을 설명하기 위한 순서도이다.
단계 S1710에서, 냉장고(1000)는, 제 1 시점에 적어도 하나의 객체를 포함하는 제 1 카메라 이미지를 획득할 수 있다. 제 1 카메라 이미지는 RGB 이미지일 수 있다. 제 1 카메라 이미지는 하나의 객체를 포함할 수도 있고, 복수의 객체를 포함할 수도 DT다.
단계 S1720에서, 냉장고(1000)는, 제 2 시점에 적어도 하나의 객체를 포함하는 제 2 카메라 이미지를 획득할 수 있다. 이때, 제 2 시점은 제 1 시점보다 후의 시점일 수 있다. 한편, 제 1 카메라 이미지와 제 2 카메라 이미지는 동일한 카메라에 의해 캡쳐된 이미지로서, 동일한 객체를 포함할 수 있다.
단계 S1730에서, 냉장고(1000)는, 제 1 카메라 이미지, 제 2 카메라 이미지 및 제 2 시점의 환경 정보를 인공 지능 모델(300)에 적용하여, 적어도 하나의 객체의 제 2 시점에서의 상태와 관련된 정보 및 제 1 시점과 제 2 시점 사이의 적어도 하나의 객체의 상태 변화 정도를 획득할 수 있다.
일 실시예에 의하면, 냉장고(1000)는 제 1 시점에 획득된 제 1 카메라 이미지 및 제 2 시점에 획득된 제 2 카메라 이미지를 인공 지능 모델(300)에 적용하여, 제 1 카메라 이미지와 제 2 카메라 이미지에 공통적으로 포함된 객체(이하, 공통 객체라 함)의 상태 변화 정도(예컨대, 숙성도가 10%에서 80%로 변화)를 식별할 수 있다.
또한, 일 실시예에 의하면, 냉장고(1000)는, 제 2 카메라 이미지 및 제 2 시점의 환경 정보(예컨대, 온도 정보, 습도 정보 또는 냄새 정보)를 인공 지능 모델(300)에 적용하여, 공통 객체의 제 2 시점에서의 상태와 관련된 정보를 획득할 수 있다. 일 실시예에 의하면, 공통 객체의 제 2 시점에서의 상태와 관련된 정보는, 제 2 시점에서의 공통 객체의 신선도, 제 2 시점에서의 공통 객체의 숙성도, 제 2 시점에서의 공통 객체의 섭취 가능 여부, 제 2 시점에서의 공통 객체의 섭취 가능 기간에 관한 정보(예컨대, 폐기 예정일까지 남은 기간 정보) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
단계 S1740에서, 냉장고(1000)는, 적어도 하나의 객체의 제 2 시점에서의 상태와 관련된 정보 및 적어도 하나의 객체의 상태 변화 정도 중 적어도 하나에 기초하여, 카메라의 이미지 검출 간격을 조절할 수 있다.
일 실시예에 의하면, 냉장고(1000)는, 제 2 시점에서의 공통 객체의 상태와 관련된 정보에 기초하여, 카메라의 이미지 검출 간격을 조절할 수 있다. 예를 들어, 냉장고(1000)의 프로세서는, 공통 객체의 현재 상태가 신선 상태인 경우, 카메라의 이미지 검출 간격을 넓게 조절(예컨대, 1일)하고, 현재 상태가 변질 상태인 경우, 카메라의 이미지 검출 간격을 짧게 조절(예컨대, 30분)할 수 있다. 또한, 냉장고(1000)의 프로세서는, 폐기 예정일까지 남은 기간에 따라서 카메라의 이미지 검출 간격을 조절할 수도 있다. 예를 들어, 냉장고(1000)는, 폐기 예정일까지 남은 시간이 짧을수록 카메라의 이미지 검출 간격을 짧게 조절할 수 있다.
일 실시예에 의하면, 냉장고(1000)는, 제 1 시점과 제 2 시점 사이에 있어서 공통 객체의 상태 변화 정도에 기초하여, 카메라의 이미지 검출 간격을 조절할 수도 있다. 예를 들어, 제 1 시점과 제 2 시점 사이에 공통 객체의 상태 변화 정도가 큰 경우, 냉장고(1000)는 카메라의 이미지 검출 간격을 짧게 조절(예컨대, 1일에서 6시간)할 수 있다. 반면에, 제 1 시점과 제 2 시점 사이에 공통 객체의 상태 변화 정도가 작은 경우, 냉장고(1000)는 카메라의 이미지 검출 간격을 길게 조절(예컨대, 1일에서 3일)할 수 있다.
이하에서는 도 18 및 도 19를 참조하여, 냉장고(1000)가 카메라의 이미지 검출 간격을 조절하는 동작에 대해서 좀 더 자세히 살펴보기로 한다.
도 18은 일 실시예에 따른 객체의 미래 상태 변화량을 예측하는 동작을 설명하기 위한 순서도이다. 도 18에서는 객체가 바나나인 경우를 예로 들어 설명하기로 한다.
바나나의 섭취 적절 지수는 시간에 따라 달라질 수 있다. 예를 들어, 그래프(1810)를 참조하면, 바나나의 섭취 적절 지수는 미래 1 시점에 가장 높고, 미래 1 시점 이전인 과거 시점과 현재 시점에는 바나나가 덜 숙성된 상태일 수 있다. 미래 2 시점에서 미래 3 시점으로 갈수록 바나나는 숙성되다가 변질되며, 미래 3 시점의 바나나는 폐기되어야 하는 상태일 수 있다.
일 실시예에 의하면, 냉장고(1000)는, 과거 시점의 제 1 카메라 이미지(1820)를 저장하고 있다가, 현재 시점의 제 2 카메라 이미지(1830)가 획득되는 경우, 제 1 카메라 이미지(1810)와 제 2 카메라 이미지(1830)를 인공 지능 모델(300)에 적용할 수 있다. 이때, 인공 지능 모델(300)은 제 1 카메라 이미지(1810) 및 제 2 카메라 이미지(1830)를 기초로, 미래 시점의 바나나 변화를 예측(1840)할 수 있다.
따라서, 일 실시예에 의하면, 냉장고(1000)는, 인공 지능 모델(300)이 미래 시점의 바나나 변화를 예측한 값을 기초로, 현재 시점 이후에 바나나에 대한 다음 카메라 이미지를 획득할 시점을 결정할 수 있다. 예를 들어, 바나나의 상태가 빠르게 변화될 것으로 예측되는 경우, 냉장고(1000)는, 다음 카메라 이미지를 획득할 시점을 2시간 후로 결정하고, 바나나의 상태가 느리게 변질될 것으로 예측되는 경우, 냉장고(1000)는 다음 카메라 이미지를 획득할 시점을 1일 후로 결정할 수 있다.
도 19는 일 실시예에 따른 카메라의 이미지 검출 간격을 설명하기 위한 도면이다.
일 실시예에 의하면, 냉장고(1000)는 냉장고(1000) 문 개폐 시에 카메라 이미지를 검출하는 제 1 방식(1910)과 객체 상태에 따라 이미지 검출 간격을 조절하는 제 2 방식(1920)을 제공할 수 있다.
제 1 방식(1910)에 의면, 사용자가 냉장고(1000) 문을 자주 여닫는 경우 크게 문제가 없으나, 사용자가 냉장고(1000) 문을 드물게 여닫는 경우, 사용자가 객체의 섭취 가능 기간을 놓칠 수 있다. 예를 들어, 바나나가 숙성되기 전인 시점 1 및 시점 2에 사용자가 냉장고(1000) 문을 여닫는 후, 7일이 경과한 시점 3에 사용자가 냉장고(1000) 문을 여닫을 수 있다. 이 경우, 냉장고(1000)는 바나나를 섭취할 수 있는 기간 내에 사용자에게 섭취 가능에 대한 알림을 줄 수 없게 되는 문제가 발생할 수 있다.
하지만, 제 2 방식(1920)에 의하면, 냉장고(1000)는 바나나의 상태에 따라서 이미지 검출 간격을 조절할 수 있으므로, 바나나를 섭취할 수 있는 기간에 사용자에게 섭취 가능에 대한 알림을 제공할 수 있다. 예를 들어, 바나나가 숙성되기 전(예컨대, 시점 3 이전)에는 이미지 검출 간격을 넓게 조절하고, 바나나가 숙성된 이후에는 이미지 검출 간격을 점점 줄일 수 있다. 따라서, 시점 3과 시점 6 사이에 사용자가 냉장고(1000) 문을 개폐하지 않더라도, 냉장고(1000)는 사용자에게 바나나가 섭취 가능한 상태라는 알림을 제공함으로써, 바나나에 대한 사용자의 섭취를 유도할 수 있다.
일 실시예에 의하면, 냉장고(1000)는 제 1 방식(1910)과 제 2 방식(1920) 중에 하나를 선택할 수도 있다. 예를 들어, 냉장고(1000)는, 섭취 가능 기간이 긴 식품은 제 1 방식(1910)으로 카메라 이미지를 획득하고, 섭취 가능 기간이 짧은 식품은 제 2 방식(1920)으로 카메라 이미지를 획득할 수 있으나, 이에 한정되는 것은 아니다.
도 20은 일 실시예에 따른 냉장고와 서버가 연동하여, 적어도 하나의 객체의 상태와 관련된 정보를 제공하는 방법을 설명하기 위한 순서도이다.
단계 S2010에서, 냉장고(1000)는, 냉장고(1000) 안에 보관된 적어도 하나의 객체를 포함하는 카메라 이미지를 획득할 수 있다.
일 실시예예 의하면, 카메라 이미지는 RGB 이미지일 수 있다. 카메라 이미지는 하나의 객체를 포함할 수도 있고, 복수의 객체를 포함할 수도 있다. 단계 S2010은 도 2의 단계 S210에 대응하므로, 구체적인 설명은 생략하기로 한다.
단계 S2020에서, 냉장고(1000)는, 냉장고(1000) 안에 배치된 환경 센서를 통해서 냉장고(1000) 안의 환경 정보를 획득할 수 있다. 일 실시예에 의하면, 환경 센서는, 온도 센서, 습도 센서 및 냄새 센서(odor sensor) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 일 실시예에 의하면, 냉장고(1000) 안의 환경 정보는, 냉장고(1000) 안의 환경과 관련된 정보로서, 예를 들어, 온도 정보, 습도 정보 및 냄새 정보 중 적어도 하나를 포함할 수 있다. 단계 S2020은 단계 S220에 대응되므로, 구체적인 설명은 생략하기로 한다.
단계 S2030에서, 냉장고(1000)는, 카메라 이미지 및 냉장고(1000) 안의 환경 정보를 서버 장치(2000)로 전송할 수 있다.
이때, 일 실시예에 의하면, 냉장고(1000)는 냉장고(1000)의 식별 정보 또는 사용자의 식별 정보(예컨대, 계정 정보)를 서버 장치(2000)로 전송하면서, 카메라 이미지에 포함된 적어도 하나의 객체의 현재 상태와 관련된 정보를 요청할 수 있다.
단계 S2040에서, 서버 장치(2000)는, 카메라 이미지 및 냉장고(1000) 안의 환경 정보를 인공 지능 모델(300)에 적용하여, 적어도 하나의 객체의 현재 상태와 관련된 정보를 예측할 수 있다.
일 실시예에 의하면, 서버 장치(2000)는, 적어도 하나의 객체의 현재 상태, 현재 상태에 기반한 섭취 가능 기간(또는 폐기 예정 시점), 현재로부터 소정 시간 후의 상태 변화 정보 등을 예측할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 서버 장치(2000)는, 적어도 하나의 객체를 포함하는 카메라 이미지 및 적어도 하나의 객체 주변의 온도 정보(또는 습도 정보)를 인공 지능 모델(300)에 적용하여, 적어도 하나의 객체의 현재 상태를 예측할 수 있다. 이때, 인공 지능 모델(300)은, 카메라 이미지, 온도 정보(또는 습도 정보), 객체의 상태를 학습 데이터로 이용하여 학습된 인공 지능 신경망일 수 있다.
일 실시예에 의하면, 서버 장치(2000)는, 적어도 하나의 객체를 포함하는 카메라 이미지 및 적어도 하나의 객체의 냄새 정보를 인공 지능 모델(300)에 적용하여, 적어도 하나의 객체의 현재 상태를 예측할 수도 있다. 일 실시예에 의하면, 서버 장치(2000)는, 적어도 하나의 객체를 포함하는 카메라 이미지, 적어도 하나의 객체 주변의 온도 정보(또는 습도 정보) 및 적어도 하나의 객체의 냄새 정보를 인공 지능 모델(300)에 적용하여, 적어도 하나의 객체의 현재 상태를 예측할 수도 있다. 또한, 서버 장치(2000)는 적어도 하나의 객체를 포함하는 카메라 이미지, 적어도 하나의 객체 주변의 온도 정보, 적어도 하나의 객체 주변의 습도 정보 및 적어도 하나의 객체의 냄새 정보를 인공 지능 모델(300)에 적용하여, 적어도 하나의 객체의 현재 상태를 예측할 수도 있다.
일 실시예에 의하면, 객체의 현재 상태가 변질 상태가 아닌 경우, 인공 지능 모델(300)은 객체의 섭취 가능 기간(예컨대, 현재로부터 폐기 예정일까지 남은 기간)을 예측할 수 있다. 예를 들어, 인공 지능 모델(300)은 바나나를 포함하는 카메라 이미지 및 바나나 주변의 환경 정보에 기초하여, 바나나의 현재 상태가 숙성 상태이고, 폐기 예정일까지 남은 기간이 3일이라고 판단할 수 있다. 이 경우, 인공 지능 모델(300)은 바나나의 현재 상태(예컨대, 숙성 상태) 및 폐기 예정일까지 남은 기간(예컨대, 3일)에 대한 정보를 서버 장치(2000)의 프로세서로 전달할 수 있다.
한편, 일 실시예에 의하면, 서버 장치(2000)는 카메라 이미지 및 환경 정보 외에 분광 이미지를 인공 지능 모델(300)에 더 적용하여, 객체의 현재 상태를 보다 정확하게 예측할 수 있다. 인공 지능 모델(300)이 분광 이미지를 이용하는 동작에 대해서는 도 6을 참조하여 살펴보았으므로, 구체적인 설명은 생략하기로 한다.
단계 S2050에서, 서버 장치(2000)는, 적어도 하나의 객체의 현재 상태와 관련된 정보를 냉장고(1000)로 전송할 수 있다.
일 실시예에 의하면, 서버 장치(2000)는 냉장고(1000)로부터 수신된 냉장고(1000)의 식별 정보 또는 사용자의 식별 정보에 기초하여, 냉장고(1000)로 적어도 하나의 객체의 현재 상태와 관련된 정보를 전송할 수 있다. 예를 들어, 서버 장치(2000)는, 객체의 신선도, 객체의 숙성도, 객체의 섭취 가능 여부, 객체의 섭취 가능 기간에 관한 정보(예컨대, 폐기 예정일까지 남은 기간 정보) 중 적어도 하나를 냉장고(1000)로 전달할 수 있다.
한편, 일 실시예에 의하면, 서버 장치(2000)에 사용자의 모바일 단말(3000)이 등록되어 있는 경우, 서버 장치(2000)는 사용자의 모바일 단말(3000)로 냉장고(1000) 안에 보관된 적어도 하나의 객체의 현재 상태와 관련된 정보(예컨대, 신선도, 숙성도, 섭취 가능 여부, 섭취 가능 기간 등)를 제공할 수 있다.
단계 S2060에서, 냉장고(1000)는, 적어도 하나의 객체의 현재 상태와 관련된 정보를 출력할 수 있다.
일 실시예에 의하면, 냉장고(1000)는, 적어도 하나의 객체의 현재 상태에 기초하여, 적어도 하나의 객체의 섭취 가능 기간에 관한 정보를 제공할 수 있다. 일 실시예에 의하면, 냉장고(1000)는 적어도 하나의 객체를 포함하는 카메라 이미지 상에 섭취 가능 기간에 관한 정보를 중첩하여 표시할 수 있다. 한편, 일 실시예에 의하면, 냉장고(1000)는, 섭취 가능 기간의 정도에 따라, 폐기 예정일의 색을 다르게 표시할 수 있다.
일 실시예에 의하면, 냉장고(1000)는 냉장고(1000)에 보관 중인 객체들의 섭취 가능 기간에 관한 정보를 리스트 형태로 표시할 수도 있다. 예를 들어, 냉장고(1000)는, 섭취 가능 기간이 얼마 남지 않은 객체가 상위에 표시되도록 객체 리스트를 정리하여 제공할 수 있다.
일 실시예에 의하면, 냉장고(1000)는 적어도 하나의 객체의 숙성도 또는 신선도에 관한 정보를 제공할 수 있다. 일 실시예에 의하면, 냉장고(1000)는, 냉장고(1000)의 디스플레이부 또는 모바일 단말을 통해서 적어도 하나의 객체의 현재 상태와 관련된 정보를 제공할 수 있다.
단계 S2060은 도 2의 단계 S240에 대응되므로, 구체적인 설명은 생략하기로 한다.
도 21은 일 실시예에 따른 냉장고의 프로세서가 사용자 별로 냉장고 안의 식품을 추천하는 동작을 설명하기 위한 도면이다.
도 21을 참고하면, 냉장고(1000)는, 냉장고(1000)의 외부에 배치된 카메라(3080)를 통해서, 냉장고(1000)에 접근하는 사용자(2100)를 식별할 수 있다. 또한, 냉장고(1000)는 마이크로폰을 통해 인식되는 사용자(2100)의 음성에 기초하여, 사용자(2100)를 식별할 수도 있다.
냉장고(1000)가 사용자(2100)를 식별한 경우, 냉장고(1000)는, 냉장고(1000) 안에 보관된 식품들 중에서 식별된 사용자(2100)를 위한 식품을 추천해 줄 수 있다. 일 실시예에 의하면, 냉장고(1000)는, 사용자(2100)가 선호하는 식품 정보, 사용자(2100)의 건강 상태, 현재 시간 및 식품의 섭취 가능 기간 중 적어도 하나를 고려하여 사용자(2100)에게 식품을 추천해 줄 수 있다. 예를 들어, 현재 시간이 오후 3시이고, 사용자(2100)가 오후 3시에 간식으로 과일을 먹는 것을 선호하고, 사용자(2100)가 당뇨병이 있는 경우, 냉장고(1000)는 보관 중인 과일들 중에서 섭취 가능 기간 내에 있고, 혈당이 많이 올라가지 않는 과일 순으로 사용자(2100)에게 추천해 줄 수 있다. 예컨대, 냉장고(1000)는, 블루베리, 토마토, 오이, 사과, 바나나를 포함하는 추천 식품 리스트(2110)를 사용자(2100)에게 제공할 수 있다. 이때, 추천 식품 리스트(2110)는 식품명, 식품의 상태, 폐기 예정일까지 남은 기간을 포함할 수 있다.
사용자(2100)가 추천 식품 리스트(2110) 중에서 하나를 선택하는 경우, 냉장고(1000)는, 선택된 식품이 보관된 위치를 냉장고(1000) 내부 카메라 이미지 상에 표시할 수도 있다. 예를 들어, 사용자(2100)가 추천 식품 리스트(2110)에서 블루베리를 선택(예컨대, 터치)하는 경우, 냉장고(1000)는 블루베리가 오른쪽 하단 첫 번째 선반에 보관되어 있다는 정보를 사용자(2100)에게 제공할 수 있다. 예컨대, 냉장고(1000)는 내부 카메라 이미지 상에서 블루베리 위에 식별 마크를 표시할 수 있다.
도 21에서는 카메라(3080)가 디스플레이부(1411) 위에 배치된 경우를 예로 들어 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 카메라(3080)는 디스플레이부(1411) 아래에 있을 수도 있고, 카메라(3080)은 오른쪽 문에 배치될 수도 있다.
도 22는 일 실시예에 따른 냉장고가 실온 보관 식품에 관한 가이드 정보를 제공하는 동작을 설명하기 위한 도면이다.
일 실시예에 의하면(1000), 냉장고(1000)는, 카메라 이미지를 분석한 결과에 기초하여, 적어도 하나의 객체를 식별할 수 있다. 예를 들어, 냉장고(1000)의 프로세서는, 카메라 이미지에 포함된 객체의 외곽선을 기 정의된 템플릿(template)과 비교하여, 객체의 종류, 객체의 명칭 등을 검출할 수 있다. 일 실시예에 의하면, 냉장고(1000)는, 인공 지능 모델(300)에 카메라 이미지를 적용하여, 카메라 이미지에 포함된 적어도 하나의 객체를 식별할 수도 있다.
예를 들어, 냉장고(1000)는, 냉장고(1000)에 보관된 객체들을 포함하는 카메라 이미지(2220) 상에서 케이크, 감자, 양파, 무 등을 식별할 수 있다.
일 실시예에 의하면, 냉장고(1000)는, 식품 보관 가이드라인 정보에 기초하여, 카메라 이미지에서 식별된 객체들 중에서 실온에 보관해야 하는 객체를 선택할 수 있다. 예를 들어, 냉장고(1000)는, 실온에 보관해야 하는 객체로서, 감자, 양파, 무를 식별할 수 있다.
일 실시예에 의하면, 냉장고(1000)는, 카메라 이미지(2220)에 포함된 감자, 양파, 무 위에 경고 마크(2230)를 각각 표시할 수 있다. 그리고 냉장고(1000)는 보관 방법에 대한 가이드 정보(2210)(예컨대, 마크된 식품은 실온에 보관하는 것이 좋습니다)를 카메라 이미지(2220)와 함께 제공할 수 있다.
일 실시예에 의하면, 사용자가 객체 위에 표시된 경고 마크들 중 하나를 선택하는 경우, 냉장고(1000)는, 해당 객체의 보관 방법에 대해 상세한 정보를 제공할 수도 있다. 예를 들어, 사용자가 감자 위에 있는 마크를 선택(예컨대, 터치)하는 경우, 감자의 보관 방법에 대한 상세 정보(예컨대, 감자는 수분이 많은 채소이므로 냉장 보관 시 함께 저장된 다른 음식의 냄새를 흡수할 수 있습니다. 따라서 신문지 같은 종이로 감싸 실온에서 보관해야 합니다. 비닐은 수분을 가두어 부패 속도를 촉진시키므로 피해주세요!)를 제공할 수 있다.
도 23 및 도 24는 일 실시예에 따른 냉장고의 구조를 설명하기 위한 도면이다.
도 23 및 도 24를 참조하면, 냉장고(1000)는 본체(3010), 저장실(3011, 3012, 3013), 도어(3020, 3030, 3040, 3050) 및 각 도어(3020 내지 3050)를 본체(3010)에 연결하는 힌지(3060)를 포함한다. 복수의 도어(3020, 3030, 3040, 3050) 중 적어도 하나의 도어(예를 들어, 우측 도어(3030) 및 좌측 도어(3020) 중 적어도 하나)에 콘텐트를 표시하는 디스플레이부(1411)가 위치할 수 있다.
복수의 도어 중 적어도 하나의 도어(예를 들어, 우측 도어(3030) 및 좌측 도어(3020) 중 적어도 하나)에 카메라(또는, 전면 카메라, 3080)가 위치할 수 있다. 전면 카메라(3080)에 인접(예를 들어, 반경 500 ㎜ 이내)하여 근접 센서부(미도시)가 위치할 수 있다. 또한, 복수의 도어 중 적어도 하나의 도어(예를 들어, 우측 도어(3030) 및 좌측 도어(3020) 중 적어도 하나)에 마이크로폰(미도시)이 위치할 수 있다.
냉장고(1000)는 저장실과 도어의 형태에 따라 그 종류가 구분될 수 있다. TMP(top mounted freezer)형 냉장고는 상측에 냉동실이 형성되고 하측에 냉장실이 형성될 수 있다. 반면에, BMF(bottom mounted freezer)형 냉장고는 상측에 냉장실이 형성되고, 하측에 냉동실이 형성될 수 있다. SBS(side by side)형 냉장고는 좌측(또는 우측)에 냉동실이 형성되고, 우측(또는 좌측)에 냉장실이 형성될 수 있다. FDR(french door refrigerator)형 냉장고는 파티션에 의해 상하로 구획되고, 상측에 냉장실이 형성되고, 하측에 냉동실이 형성되고, 한 쌍의 도어에 의해 상측의 냉장실이 개폐될 수 있다. 또한, FDR형 냉장고는 상측 냉장실 및 하측 냉동실 모두 각각 한 쌍의 도어에 의해 개폐될 수도 있다.
본체(3010)는 저장실(3011 내지 3013)을 형성하는 내부 케이스(inner case, 도시되지 아니함), 냉장고의 외관을 형성하는 외부 케이스(outer case, 도시되지 아니함) 및 내부 케이스와 외부 케이스 사이에서 온도 차이를 유지하는 단열재(insulator, 도시되지 아니함)를 포함한다. 단열재는 저장실(3011 내지 3013) 내부의 냉기에 대한 외부 유출을 방지하고, 외부 온기의 저장실(3011 내지 3013) 내부 유입을 방지할 수 있다.
본체(3010)는 저장실(3011 내지 3013)에 냉기를 공급하는 냉기 공급 유닛을 포함한다. 냉기 공급 유닛은 냉매를 압축하는 압축기(compressor, 3181), 응축기(condenser, 도시되지 아니함), 팽창 밸브(expansion value, 도시되지 아니함), 증발기(evaporator, 도시되지 아니함) 및 파이프를 포함할 수 있다.
저장실(3011 내지 3013)은 파티션(3014)으로 구분된다. 저장실(3011 내지 3013)은 아래의 냉동 저장실(3012, 3013, 이하에서는 "냉동실"로 칭함)과 냉동실(3012, 3013)의 위에 있는 냉장 저장실(3011, 이하에서는 "냉장실"로 칭함)로 구분된다. 저장실(3012)은 영상(예를 들어, 7℃ 내지 0℃ 사이) 또는 영하(예를 들어 -1℃ 내지 -5℃ 사이)의 온도로 설정되어 물, 음료(beverage), 식재료, 냉장 또는 냉동 식품을 수납할 수 있다. 물 또는 음료는 음료 용기에 수납될 수 있다.
파티션(3014)으로 구분되는 저장실(3011 내지 3013) 중 냉장실(3011)은 하나 또는 복수의 선반(3015) 및 하나 또는 복수의 저장함(storage box, 3016)을 포함할 수 있다.
냉장실(3011)은 저장실(3011)의 일측(예를 들어, 왼쪽)의 제1 도어(3020) 및 제1 도어(3020)에 인접하고 저장실(3011)의 타측(예를 들어, 오른쪽)에 위치하는 제2 도어(3030)와 결합된다. 제1 도어(3020), 및/또는 제2 도어(3030)는 각각의 힌지(3060)에 의해 설정된 각도(예를 들어 300° 이하)로 회전하여 저장실(3011)의 전면을 개폐(예를 들어, 결합 또는 분리)할 수 있다. 제1 도어(3020)는 제2 도어(3030)의 회전 방향과 반대로 회전하여 저장실(3011)을 개폐할 수 있다. 제1 도어(3020) 및 제2 도어(3030)는 상호 위치가 변경될 수 있다.
제1 도어(3020)는 힌지(3060)에 의해 설정된 각도(예를 들어 300° 이하)로 회전하여 저장실(3011)의 전면 일부(예를 들어, 저장실(3011)의 전면의 35 내지 70% 사이)를 개폐한다.
제1 도어(3020)의 전면(예를 들어, + y 축 방향)에 물, 얼음 또는 탄산수(sparkling water)를 제공하는 디스펜서 및/또는 파지 가능한 손잡이(3021)가 위치할 수 있다.
제2 도어(3030)는 힌지(3060)에 의해 설정된 각도(예를 들어 300° 이하)로 회전하여 저장실(3011)의 전면 일부(예를 들어, 저장실(3011)의 전면의 35 내지 70% 사이)를 개폐한다. 제2 도어(3030)은 파지 가능한 손잡이(3031)를 포함할 수 있다. 제1 도어(3020)의 손잡이(3021) 및 제2 도어(3030)의 손잡이(3031)는 저장실(3011)의 중심 영역을 기준으로 좌측 및 우측으로 이격되게 위치한다.
제2 도어(3030)의 전면(예를 들어, + y 축 방향)에는 디스플레이부(또는, 터치 스크린, 1411)가 위치할 수 있다. 디스플레이부(1411)는 냉장고(1000)의 기능 및 저장된 설정을 표시할 수 있다. 디스플레이부(1411)는 사용자의 입력(예를 들어, 터치 또는 버튼(미도시)의 선택)을 수신할 수도 있다. 이때, 버튼은 디스플레이부(1411)에 포함될 수도 있고, 디스플레이부(1411)와 별개일 수도 있다. 버튼은 소프트웨어 버튼, 하드웨어 버튼을 포함할 수 있다. 디스플레이부(1411)는 어플리케이션(또는, 위젯 포함) 화면을 표시(또는, 실행)할 수도 있다.
야채 칸(3011d1, 3011d2)은 저장실(3011)의 아래에 위치할 수 있다. 야채 칸(3011d1, 3011d2)은 전방(예를 들어, y 축 방향)으로 인출(예를 들어, 슬라이딩, 또는 롤링)될 수 있다.
저장실(3012, 3013)은 일 측에 도어(3040, 3050)를 가질 수 있다. 저장실(3012, 3013)은 하나의 저장실(예를 들어, 저장실(3011)처럼)로 합쳐질 수 있다. 또한, 냉장고(1000)는 서랍을 가질 수 있다.
한편, 냉장고(1000)는, 냉장고(1000) 내부를 촬영하기 위한 내부 카메라(3150), 냉장고(1000) 안의 분광 이미지를 획득하기 위한 분광 카메라(3151), 환경 센서(1211)(예컨대, 냄새 센서, 온도 센서, 습도 센서)를 포함할 수 있다.
도 25 및 도 26은 일 실시예에 따른 냉장고의 기능을 설명하기 위한 블록구성도이다.
도 25에 도시된 바와 같이, 일 실시예에 따른 냉장고(1000)는, 카메라(1111), 환경 센서(1211), 프로세서(1300), 출력부(1400)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 냉장고(1000)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 냉장고(1000)는 구현될 수 있다. 예를 들어, 도 26에 도시된 바와 같이, 일 실시예에 따른 냉장고(1000)는, A/V 입력부(1100), 센싱부(1200), 프로세서(1300), 출력부(1400), 통신부(1500), 사용자 입력부(1600), 구동부(1700), 메모리(1800), 전원공급부(1900)를 포함할 수 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
A/V(Audio/Video) 입력부(1100)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1111), 마이크로폰(1112) 등이 포함될 수 있다. 카메라(1111)는 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 프로세서(1300) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
일 실시예에 의하면, 카메라(1111)는 외부 환경을 촬영하는 외부 카메라(3080) 및 내부 환경을 촬영하는 내부 카메라(3150)를 포함할 수 있다. 내부 환경을 촬영하는 내부 카메라(3150)는 복수 개일 수 있다. 카메라(1111)는 내부 카메라(3080)을 통해서 냉장고(1000) 안에 보관된 적어도 하나의 객체를 포함하는 카메라 이미지(예컨대, RGB)를 획득할 수 있다.
마이크로폰(1112)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(1112)은 외부 디바이스 또는 화자로부터 음향 신호(예컨대, 음성 명령)를 수신할 수 있다. 마이크로폰(1112)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
센싱부(1200)는, 환경 센서(1211), 근접 센서(1215) 및 분광 센서(1216) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 환경 센서(1211)는, 냉장고(1000) 안의 환경 정보를 획득하기 위한 센서로서, 냄새 센서(1212), 온도 센서(1213), 습도 센서(1214) 중 적어도 하나를 포함할 수 있다. 분광 센서(1216)는 도 24의 분광 카메라(3151)일 수 있다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
프로세서(1300)는, 통상적으로 냉장고(1000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1300)는, 메모리(1800)에 저장된 프로그램들을 실행함으로써, A/V 입력부(1100), 센싱부(1200), 출력부(1400), 통신부(1500), 사용자 입력부(1600), 구동부(1700), 메모리(1800), 전원공급부(1900)등을 전반적으로 제어할 수 있다.
일 실시예에 의하면, 프로세서(1300)는 학습 네트워크 모델을 생성하기 위한 AI 프로세서를 포함할 수 있으나, 이에 한정되는 것은 아니다. 일 실시예에 의하면, AI 프로세서는 프로세서(1300)와 별도의 칩으로 구현될 수도 있다. 일 실시예에 의하면, AI 프로세서는 범용 칩일 수도 있다.
일 실시예에 의하면, 프로세서(1300)는, 냉장고(1000) 안에 보관된 적어도 하나의 객체를 포함하는 카메라 이미지 및 냉장고(1000) 안의 환경 정보를 인공 지능 모델(300)에 적용하여, 적어도 하나의 객체의 현재 상태를 예측할 수 있다.
예를 들어, 프로세서(1300)는, 온도 센서(1213)를 이용하여, 적어도 하나의 객체 주변의 온도 정보를 획득하고, 적어도 하나의 객체를 포함하는 카메라 이미지 및 적어도 하나의 객체 주변의 온도 정보를 인공 지능 모델(300)에 적용하여, 적어도 하나의 객체의 현재 상태를 예측할 수 있다.
프로세서(1300)는, 적어도 하나의 객체에 인접하게 배치된 냄새 센서(1212)를 통해 상기 적어도 하나의 객체의 냄새 정보를 획득하고, 적어도 하나의 객체를 포함하는 카메라 이미지 및 적어도 하나의 객체의 냄새 정보를 인공 지능 모델(300)에 적용하여, 적어도 하나의 객체의 현재 상태를 예측할 수 있다.
프로세서(1300)는, 냉장고(1000) 안에 배치된 분광 센서(1216)를 이용하여, 적어도 하나의 객체에 대한 분광 이미지를 획득할 수 있다. 프로세서(1300)는, 적어도 하나의 객체를 포함하는 카메라 이미지, 분광 이미지 및 냉장고(1000) 안의 환경 정보를 인공 지능 모델(300)에 적용하여, 적어도 하나의 객체의 현재 상태를 예측할 수 있다.
프로세서(1300)는, 냉장고(1000) 안에 배치된 복수의 냄새 센서(1212) 중에서 적어도 하나의 냄새 센서(Odor sensor)에서 측정된 가스 검출량이 임계 값을 초과하는지 판단할 수 있다. 프로세서(1300)는, 가스 검출량이 임계 값을 초과하는 경우, 복수의 냄새 센서(1212)로부터 획득된 냄새 정보에 기초하여 냄새 분포 맵을 생성할 수 있다. 프로세서(1300)는, 적어도 하나의 객체를 포함하는 카메라 이미지와 냄새 분포 맵을 비교하여, 변질 가능성이 기준 값보다 큰 제 1 객체를 식별할 수 있다.
프로세서(1300)는, 냉장고(1000) 안에 배치된 분광 센서(1216)를 이용하여, 제 1 객체에 대한 분광 스펙트럼 정보를 획득할 수 있다. 프로세서(1300)는, 분광 스펙트럼 정보를 이용하여, 제 1 객체의 변질 정도를 결정할 수 있다.
출력부(1400)는, 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 이에는 디스플레이부(1411), 음향 출력부(1412), 진동 모터(미도시) 등이 포함될 수 있다.
디스플레이부(1411)와 터치패드가 레이어 구조를 이루어 터치스크린으로 구성되는 경우, 디스플레이부(1411)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(1411)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 냉장고(1000)의 구현 형태에 따라 냉장고(1000)는 디스플레이부(1411)를 2개 이상 포함할 수도 있다.
음향 출력부(1412)는 통신부(1500)로부터 수신되거나 메모리(1800)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(1412)는 냉장고(1000)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(1412)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
출력부(1400)는, 적어도 하나의 객체의 현재 상태와 관련된 정보를 제공할 수 있다. 출력부(1400)는 적어도 하나의 객체의 현재 상태와 관련된 정보를 디스플레이부(1411)를 통해 시각적으로 제공할 수도 있고, 음향 출력부(1412)를 통해 음성적으로 제공할 수도 있다. 여기서, 적어도 하나의 객체의 현재 상태와 관련된 정보는, 적어도 하나의 객체의 섭취 가능 기간에 관한 정보, 적어도 하나의 객체의 숙성도에 관한 정보 및 적어도 하나의 객체의 신선도에 관한 정보 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
통신부(1500)는, 냉장고(1000)와 서버 장치(2000), 냉장고(1000)와 모바일 단말(3000) 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(1500)는, 근거리 통신부(1511), 이동 통신부(1512) 및 방송 수신부(1513)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(1511)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(1512)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(1513)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 냉장고(1000)는 방송 수신부(1513)를 포함하지 않을 수도 있다.
사용자 입력부(1600)는, 사용자가 냉장고(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1600)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
구동부(1700)는 프로세서(1300)의 제어에 따라 동작하는 압축기(1711), 팬(1712), 필터(1713) 및 히터(1714) 중 적어도 하나를 포함할 수 있다. 구동부(1700)는 조명(또는, 냄새 탈취기)를 더 포함할 수 있다.
압축기(1711)는 프로세서(1300)의 제어에 의해 냉동 사이클의 작동 유체인 냉매를 압축한다. 냉동 사이클은 압축기(1711)에 의해 압축된 기체 상태의 냉매를 액체 상태의 냉매로 변환하는 응축기, 액체 상태의 냉매를 감압하는 팽창기 및 감압된 액체 상태의 냉매를 기화시키는 증발기를 포함한다. 프로세서(1300)는 액체 상태인 냉매의 기화를 통해 저장실에 온도를 제어할 수 있다. 또한, 냉장고(1000)는 펠티어 효과(peltier effect)를 이용하는 펠티어 소자, 자기 열 효과(magnetocaloric effect)를 이용하는 자기 냉각 장치를 통해 저장실의 온도를 제어할 수도 있다.
팬(1712)은 프로세서(1300)의 제어에 의해 외부 공기를 순환시킬 수 있다. 냉각 사이클에 의해 뜨거워진 공기는 외부 공기를 통해 열 교환되어 냉각될 수 있다.
공기 청정부(1713)는 프로세서(1300)의 제어에 의해 저장실 내 부유하거나 또는, 부착된 세균을 살균(또는, 제거)할 수 있다. 공기 청정부(1713)는 이온 살균 청정부를 포함할 수 있다.
히터(1714)는 프로세서(1300)의 제어에 의해 발생되는 서리를 제거한다. 히터(1714)는 제상 히터를 포함할 수 있다.
메모리(1800)는, 프로세서(1300)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 카메라 이미지, 분광 이미지, 환경 정보, 학습 데이터, 추천 식품 리스트, 사용자의 건강 정보, 사용자의 선호도 정보 등)을 저장할 수도 있다.
메모리(1800)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 메모리(1800)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있다.
전원 공급부(1900)는 프로세서(1300)의 제어에 의해 냉장고(1000)의 구성 요소에게 전원을 공급할 수 있다. 전원 공급부(1900)는 프로세서(1300)의 제어에 의해 전원 코드를 통해 외부의 전원 소스에서부터 입력되는 전원을 냉장고(1000)의 각 구성 요소들에게 공급할 수 있다.
이하에서는 인공 지능 모델(300)이 생성되는 과정에 대해서 도 27 내지 도 30을 참조하여 살펴보기로 한다. 도 27 내지 도 30에서는 인공 지능 모델(300)이 데이터 인식 모델로 표현될 수 있다.
도 27은 일 실시예에 따른 프로세서의 블록 구성도이다.
도 27을 참조하면, 일부 실시예에 따른 프로세서(1300)는 데이터 학습부(1310) 및 데이터 인식부(1320)를 포함할 수 있다.
데이터 학습부(1310)는 객체 상태 판단(예컨대, 섭취 가능 여부, 섭취 가능 기간, 폐기 예정일, 신선도, 숙성도, 변질 정도)을 위한 기준을 학습할 수 있다. 데이터 학습부(1310)는 객체 상태를 판단하기 위하여 어떤 데이터를 이용할 지, 데이터를 이용하여 객체 상태를 어떻게 판단할 지에 관한 기준을 학습할 수 있다. 데이터 학습부(1310)는 학습에 이용될 데이터(예컨대, 카메라 이미지, 분광 이미지, 환경 정보)를 획득하고, 획득된 데이터를 후술할 데이터 인식 모델에 적용함으로써, 객체 상태 판단을 위한 기준을 학습할 수 있다.
데이터 인식부(1320)는 데이터에 기초한 객체 상태를 판단할 수 있다. 데이터 인식부(1320)는 학습된 데이터 인식 모델을 이용하여, 검출된 데이터로부터 객체 상태를 인식할 수 있다. 데이터 인식부(1320)는 학습에 의한 기 설정된 기준에 따라 이미지 데이터를 획득하고(예컨대, 카메라 이미지 획득), 획득된 이미지 데이터를 입력 값으로 하여 데이터 인식 모델을 이용함으로써, 이미지 데이터에 기초한 객체 상태를 판단할 수 있다. 또한, 획득된 이미지 데이터를 입력 값으로 하여 데이터 인식 모델에 의해 출력된 결과 값은, 데이터 인식 모델을 갱신하는데 이용될 수 있다.
데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 냉장고(1000)에 탑재될 수 있다. 예를 들어, 데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 냉장고(1000)에 탑재될 수도 있다.
이 경우, 데이터 학습부(1310) 및 데이터 인식부(1320)는 하나의 냉장고(1000)에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(1310) 및 데이터 인식부(1320) 중 하나는 냉장고(1000)에 포함되고, 나머지 하나는 서버 장치(2000)에 포함될 수 있다. 또한, 데이터 학습부(1310) 및 데이터 인식부(1320)는 유선 또는 무선으로 통하여, 데이터 학습부(1310)가 구축한 모델 정보를 데이터 인식부(1320)로 제공할 수도 있고, 데이터 인식부(1320)로 입력된 데이터가 추가 학습 데이터로서 데이터 학습부(1310)로 제공될 수도 있다.
한편, 데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 28은 일 실시예에 따른 데이터 학습부(1310)의 블록 구성도이다.
도 28을 참조하면, 일 실시예에 따른 데이터 학습부(1310)는 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5)를 포함할 수 있다.
데이터 획득부(1310-1)는 객체 상태 판단에 필요한 데이터를 획득할 수 있다. 데이터 획득부(1310-1)는 객체 상태 판단을 위한 학습을 위하여 필요한 데이터(예컨대, 카메라 이미지, 분광 이미지, 환경 정보)를 획득할 수 있다. 일 실시예에 의하면, 데이터 획득부(1310-1)는 객체 상태 판단에 필요한 데이터를 직접 생성할 수도 있고, 외부 장치 또는 서버 장치(2000)로부터 객체 상태 판단에 필요한 데이터를 수신할 수도 있다.
일 실시예에 의하면, 데이터 획득부(1310-1)는 영상 데이터, 음성 데이터, 텍스트 데이터 또는 생체신호 데이터 등을 획득할 수 있다. 일 예로, 데이터 획득부(1310-1)는 냉장고(1000)의 입력 기기(예: 마이크로폰, 카메라 또는 센서 등)를 통해 데이터를 입력 받을 수 있다. 또는, 데이터 획득부(1310-1)는 냉장고(1000)와 통신하는 외부 장치를 통해 데이터를 획득할 수 있다.
전처리부(1310-2)는 객체 상태 판단을 위한 학습에 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(1310-2)는 후술할 모델 학습부(1310-4)가 객체 상태 판단을 위한 학습을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.
예를 들어, 전처리부(1310-2)는 입력된 동영상의 적어도 일부를 구성하는 복수의 이미지(또는 프레임(frame))들 각각에 포함된 공통 영역을 기초로, 복수의 이미지들의 적어도 일부를 중첩하여 하나의 합성 이미지를 생성할 수 있다. 이 경우, 하나의 동영상에서 복수 개의 합성 이미지들이 생성될 수도 있다. 공통 영역은, 복수의 이미지들 각각에서 동일 또는 유사한 공통 객체(예로, 물체, 동식물 또는 사람 등)를 포함한 영역이 될 수 있다. 또는, 공통 영역은, 복수의 이미지들 각각에서 색, 음영, RGB 값 또는 CMYK 값 등이 동일 또는 유사한 영역이 될 수 있다.
학습 데이터 선택부(1310-3)는 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 모델 학습부(1310-4)에 제공될 수 있다. 학습 데이터 선택부(1310-3)는 객체 상태 판단을 위한 기 설정된 기준에 따라, 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 또한, 학습 데이터 선택부(1310-3)는 후술할 모델 학습부(1310-4)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.
모델 학습부(1310-4)는 학습 데이터에 기초하여 객체 상태를 어떻게 판단할 지에 관한 기준을 학습할 수 있다. 또한, 모델 학습부(1310-4)는 객체 상태 판단을 위하여 어떤 학습 데이터를 이용해야 하는 지에 대한 기준을 학습할 수도 있다.
또한, 모델 학습부(1310-4)는 객체 상태 판단에 이용되는 데이터 인식 모델을 학습 데이터를 이용하여 학습시킬 수 있다. 이 경우, 데이터 인식 모델은 미리 구축된 모델일 수 있다. 예를 들어, 데이터 인식 모델은 기본 학습 데이터(예를 들어, 샘플 이미지 등)을 입력 받아 미리 구축된 모델일 수 있다.
데이터 인식 모델은, 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 데이터 인식 모델은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 예컨대, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 데이터 인식 모델로서 사용될 수 있으나, 이에 한정되지 않는다.
다양한 실시예에 따르면, 모델 학습부(1310-4)는 미리 구축된 데이터 인식 모델이 복수 개가 존재하는 경우, 입력된 학습 데이터와 기본 학습 데이터의 관련성이 큰 데이터 인식 모델을 학습할 데이터 인식 모델로 결정할 수 있다. 이 경우, 기본 학습 데이터는 데이터의 타입 별로 기 분류되어 있을 수 있으며, 데이터 인식 모델은 데이터의 타입 별로 미리 구축되어 있을 수 있다. 예를 들어, 기본 학습 데이터는 학습 데이터가 생성된 지역, 학습 데이터가 생성된 시간, 학습 데이터의 크기, 학습 데이터의 장르, 학습 데이터의 생성자, 학습 데이터 내의 오브젝트의 종류 등과 같은 다양한 기준으로 기 분류되어 있을 수 있다.
또한, 모델 학습부(1310-4)는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 데이터 인식 모델을 학습시킬 수 있다.
또한, 모델 학습부(1310-4)는, 예를 들어, 학습 데이터를 입력 값으로 하는 지도 학습(supervised learning) 을 통하여, 데이터 인식 모델을 학습시킬 수 있다. 또한, 모델 학습부(1310-4)는, 예를 들어, 별다른 지도 없이 객체 상태 판단을 위해 필요한 데이터의 종류를 스스로 학습함으로써, 객체 상태 판단을 위한 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다. 또한, 모델 학습부(1310-4)는, 예를 들어, 학습에 따른 객체 상태 판단의 결과가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다.
또한, 데이터 인식 모델이 학습되면, 모델 학습부(1310-4)는 학습된 데이터 인식 모델을 저장할 수 있다. 이 경우, 모델 학습부(1310-4)는 학습된 데이터 인식 모델을 데이터 인식부(1320)를 포함하는 냉장고(1000)의 메모리(1800)에 저장할 수 있다. 또는, 모델 학습부(1310-4)는 학습된 데이터 인식 모델을 후술할 데이터 인식부(1320)를 포함하는 냉장고(1000)의 메모리(1800)에 저장할 수 있다. 또는, 모델 학습부(1310-4)는 학습된 데이터 인식 모델을 냉장고(1000)와 유선 또는 무선 네트워크로 연결되는 서버 장치(2000)의 메모리에 저장할 수도 있다.
이 경우, 학습된 데이터 인식 모델이 저장되는 메모리(1800)는, 예를 들면, 냉장고(1000)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 함께 저장할 수도 있다. 또한, 메모리(1800)는 소프트웨어 및/또는 프로그램을 저장할 수도 있다. 프로그램은, 예를 들면, 커널, 미들웨어, 어플리케이션 프로그래밍 인터페이스(API) 및/또는 어플리케이션 프로그램(또는 "어플리케이션") 등을 포함할 수 있다.
모델 평가부(1310-5)는 데이터 인식 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 인식 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(1310-4)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 데이터 인식 모델을 평가하기 위한 기 설정된 데이터일 수 있다.
예를 들어, 모델 평가부(1310-5)는 평가 데이터에 대한 학습된 데이터 인식 모델의 인식 결과 중에서, 인식 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우 소정 기준을 만족하지 못한 것으로 평가할 수 있다. 예컨대, 소정 기준이 비율 2%로 정의되는 경우, 학습된 데이터 인식 모델이 총 1000개의 평가 데이터 중의 20개를 초과하는 평가 데이터에 대하여 잘못된 인식 결과를 출력하는 경우, 모델 평가부(1310-5)는 학습된 데이터 인식 모델이 적합하지 않은 것으로 평가할 수 있다.
한편, 학습된 데이터 인식 모델이 복수 개가 존재하는 경우, 모델 평가부(1310-5)는 각각의 학습된 데이터 인식 모델에 대하여 소정 기준을 만족하는지를 평가하고, 소정 기준을 만족하는 모델을 최종 데이터 인식 모델로서 결정할 수 있다. 이 경우, 소정 기준을 만족하는 모델이 복수 개인 경우, 모델 평가부(1310-5)는 평가 점수가 높은 순으로 미리 설정된 어느 하나 또는 소정 개수의 모델을 최종 데이터 인식 모델로서 결정할 수 있다.
한편, 데이터 학습부(1310) 내의 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 냉장고(1000)에 탑재될 수 있다. 예를 들어, 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 냉장고(1000)에 탑재될 수도 있다.
또한, 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5)는 하나의 냉장고(1000)에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 일부는 냉장고(1000)에 포함되고, 나머지 일부는 서버 장치(2000)에 포함될 수 있다.
또한, 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 29는 일 실시예에 따른 데이터 인식부(1320)의 블록 구성도이다.
도 29를 참조하면, 일 실시예에 따른 데이터 인식부(1320)는 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5)를 포함할 수 있다.
데이터 획득부(1320-1)는 객체 상태 판단에 필요한 데이터를 획득할 수 있으며, 전처리부(1320-2)는 객체 상태 판단을 위해 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(1320-2)는 후술할 인식 결과 제공부(1320-4)가 객체 상태 판단을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.
인식 데이터 선택부(1320-3)는 전처리된 데이터 중에서 객체 상태 판단에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 인식 결과 제공부(1320-4)에 제공될 수 있다. 인식 데이터 선택부(1320-3)는 객체 상태 판단을 위한 기 설정된 기준에 따라, 전처리된 데이터 중에서 일부 또는 전부를 선택할 수 있다. 또한, 인식 데이터 선택부(1320-3)는 후술할 모델 학습부(1310-4)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.
인식 결과 제공부(1320-4)는 선택된 데이터를 데이터 인식 모델에 적용하여 객체 상태를 판단할 수 있다. 인식 결과 제공부(1320-4)는 데이터의 인식 목적에 따른 인식 결과를 제공할 수 있다. 인식 결과 제공부(1320-4)는 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 입력 값으로 이용함으로써, 선택된 데이터를 데이터 인식 모델에 적용할 수 있다. 또한, 인식 결과는 데이터 인식 모델에 의해 결정될 수 있다.
예를 들어, 적어도 하나의 이미지의 인식 결과는 텍스트, 음성, 동영상, 이미지 또는 명령어(예로, 어플리케이션 실행 명령어, 모듈 기능 실행 명령어 등) 등으로 제공될 수 있다. 일 예로, 인식 결과 제공부(1320-4)는 적어도 하나의 이미지에 포함된 객체의 인식 결과를 제공할 수 있다. 인식 결과는, 예로, 적어도 하나의 이미지에 포함된 객체의 현재 상태 정보, 객체의 상태 변화 정보 등이 될 수 있다.
모델 갱신부(1320-5)는 인식 결과 제공부(1320-4)에 의해 제공되는 인식 결과에 대한 평가에 기초하여, 데이터 인식 모델이 갱신되도록 할 수 있다. 예를 들어, 모델 갱신부(1320-5)는 인식 결과 제공부(1320-4)에 의해 제공되는 인식 결과를 모델 학습부(1310-4)에게 제공함으로써, 모델 학습부(1310-4)가 데이터 인식 모델을 갱신하도록 할 수 있다.
한편, 데이터 인식부(1320) 내의 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 냉장고(1000)에 탑재될 수 있다. 예를 들어, 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 냉장고(1000)에 탑재될 수도 있다.
또한, 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5)는 하나의 냉장고(1000)에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 일부는 냉장고(1000)에 포함되고, 나머지 일부는 서버 장치(2000)에 포함될 수 있다.
또한, 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 30은 일 실시예에 따른 냉장고(1000) 및 서버 장치(2000)가 서로 연동함으로써 데이터를 학습하고 인식하는 예시를 나타내는 도면이다.
도 30을 참조하면, 서버 장치(2000)는 객체 상태 판단을 위한 기준을 학습할 수 있으며, 냉장고(1000)는 서버 장치(2000)에 의한 학습 결과에 기초하여 객체 상태를 판단할 수 있다.
이 경우, 서버 장치(2000)의 모델 학습부(2340)는 도 28에 도시된 데이터 학습부(1310)의 기능을 수행할 수 있다. 서버 장치(2000)의 모델 학습부(2340)는 객체 상태를 판단하기 위하여 어떤 데이터를 이용할 지, 데이터를 이용하여 객체 상태를 어떻게 판단할 지에 관한 기준을 학습할 수 있다. 모델 학습부(2340)는 학습에 이용될 데이터를 획득하고, 획득된 데이터를 후술할 데이터 인식 모델에 적용함으로써, 객체 상태 판단을 위한 기준을 학습할 수 있다.
또한, 냉장고(1000)의 인식 결과 제공부(1320-4)는 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 서버 장치(2000)에 의해 생성된 데이터 인식 모델에 적용하여 객체 상태를 판단할 수 있다. 예를 들어, 인식 결과 제공부(1320-4)는 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 서버 장치(2000)에 전송하고, 서버 장치(2000)가 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 인식 모델에 적용하여 객체 상태를 판단할 것을 요청할 수 있다. 또한, 인식 결과 제공부(1320-4)는 서버 장치(2000)에 의해 판단된 객체 상태에 관한 정보를 서버 장치(2000)로부터 수신할 수 있다.
또는, 냉장고(1000)의 인식 결과 제공부(1320-4)는 서버 장치(2000)에 의해 생성된 인식 모델을 서버 장치(2000)로부터 수신하고, 수신된 인식 모델을 이용하여 객체 상태를 판단할 수 있다. 이 경우, 냉장고(1000)의 인식 결과 제공부(1320-4)는 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 서버 장치(2000)로부터 수신된 데이터 인식 모델에 적용하여 객체 상태를 판단할 수 있다.
일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.　 또한, 일부 실시예는 컴퓨터에 의해 실행되는 컴퓨터 프로그램과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 컴퓨터 프로그램 또는 컴퓨터 프로그램 제품 (computer program product)으로도 구현될 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (20)

  1. 냉장고 내 객체의 상태와 관련된 정보를 제공하는 방법에 있어서,
    상기 냉장고 안에 배치된 카메라를 통해서 상기 냉장고 안에 보관된 적어도 하나의 객체를 포함하는 제 1 카메라 이미지를 획득하는 단계;
    상기 냉장고 안에 배치된 환경 센서를 통해서 상기 냉장고 안의 환경 정보를 획득하는 단계;
    상기 적어도 하나의 객체를 포함하는 상기 제 1 카메라 이미지 및 상기 냉장고 안의 환경 정보를 인공 지능 모델에 적용하여, 상기 적어도 하나의 객체의 현재 상태와 관련된 정보를 획득하고, 상기 적어도 하나의 객체의 미래 상태와 관련된 정보를 예측하는 단계; 및
    상기 적어도 하나의 객체의 현재 상태와 관련된 정보 및 상기 적어도 하나의 객체의 미래 상태와 관련된 정보를 제공하는 단계를 포함하고,
    상기 제 1 카메라 이미지를 획득하는 단계는,
    상기 카메라를 통해 제 1 시점에 상기 적어도 하나의 객체를 포함하는 상기 제 1 카메라 이미지를 획득하는 단계를 포함하고,
    상기 방법은,
    상기 카메라를 통해 상기 제 1 시점보다 후인 제 2 시점에 상기 적어도 하나의 객체를 포함하는 제 2 카메라 이미지를 획득하는 단계;
    상기 제 1 카메라 이미지, 상기 제 2 카메라 이미지 및 상기 제 2 시점의 환경 정보를 상기 인공 지능 모델에 적용하여, 상기 적어도 하나의 객체의 상기 제 2 시점에서의 상태와 관련된 정보 및 상기 제 1 시점과 상기 제 2 시점 사이의 상기 적어도 하나의 객체의 상태 변화 정도를 획득하는 단계; 및
    상기 적어도 하나의 객체의 상기 제 2 시점에서의 상태와 관련된 정보 및 상기 적어도 하나의 객체의 상태 변화 정도 중 적어도 하나에 기초하여, 기 설정된 상기 카메라의 이미지 검출 간격을 조절하는 단계를 더 포함하는, 방법.
  2. 제 1 항에 있어서, 상기 적어도 하나의 객체의 현재 상태와 관련된 정보 및 상기 적어도 하나의 객체의 미래 상태와 관련된 정보를 제공하는 단계는,
    상기 적어도 하나의 객체의 섭취 가능 기간에 관한 정보를 제공하는 단계를 포함하는, 방법.
  3. 제 1 항에 있어서, 상기 적어도 하나의 객체의 현재 상태와 관련된 정보 및 상기 적어도 하나의 객체의 미래 상태와 관련된 정보를 제공하는 단계는,
    상기 적어도 하나의 객체의 숙성도 또는 신선도에 관한 정보를 제공하는 단계를 포함하는, 방법.
  4. 제 1 항에 있어서, 상기 환경 센서는,
    온도 센서, 습도 센서 및 냄새 센서(odor sensor) 중 적어도 하나를 포함하고,
    상기 냉장고 안의 환경 정보를 획득하는 단계는,
    상기 냉장고 안의 온도 정보, 습도 정보 및 냄새 정보 중 적어도 하나를 획득하는 단계를 포함하는, 방법.
  5. 제 1 항에 있어서, 상기 냉장고 안의 환경 정보를 획득하는 단계는,
    온도 센서를 이용하여, 상기 적어도 하나의 객체 주변의 온도 정보를 획득하는 단계를 포함하고,
    상기 적어도 하나의 객체의 현재 상태와 관련된 정보를 획득하는 단계는,
    상기 적어도 하나의 객체를 포함하는 상기 제 1 카메라 이미지 및 상기 적어도 하나의 객체 주변의 온도 정보를 상기 인공 지능 모델에 적용하여, 상기 적어도 하나의 객체의 현재 상태와 관련된 정보를 획득하는 단계를 포함하는, 방법.
  6. 제 1 항에 있어서, 상기 냉장고 안의 환경 정보를 획득하는 단계는,
    상기 적어도 하나의 객체에 인접하게 배치된 냄새 센서를 통해 상기 적어도 하나의 객체의 냄새 정보를 획득하는 단계를 포함하고,
    상기 적어도 하나의 객체의 현재 상태와 관련된 정보를 획득하는 단계는,
    상기 적어도 하나의 객체를 포함하는 상기 제 1 카메라 이미지 및 상기 적어도 하나의 객체의 냄새 정보를 상기 인공 지능 모델에 적용하여, 상기 적어도 하나의 객체의 현재 상태와 관련된 정보를 획득하는 단계를 포함하는, 방법.
  7. 제 1 항에 있어서, 상기 적어도 하나의 객체의 현재 상태와 관련된 정보를 획득하는 단계는,
    상기 냉장고 안에 배치된 분광 센서를 이용하여, 상기 적어도 하나의 객체에 대한 분광 이미지를 획득하는 단계; 및
    상기 제 1 카메라 이미지, 상기 분광 이미지 및 상기 냉장고 안의 환경 정보를 상기 인공 지능 모델에 적용하여, 상기 적어도 하나의 객체의 현재 상태와 관련된 정보를 획득하는 단계를 포함하는, 방법.
  8. 제 1 항에 있어서, 상기 적어도 하나의 객체의 현재 상태와 관련된 정보를 획득하는 단계는,
    상기 냉장고 안에 배치된 복수의 냄새 센서 중에서 적어도 하나의 냄새 센서(Odor sensor)에서 측정된 가스 검출량이 임계 값을 초과하는지 판단하는 단계;
    상기 가스 검출량이 상기 임계 값을 초과하는 경우, 상기 복수의 냄새 센서로부터 획득된 냄새 정보에 기초하여 냄새 분포 맵을 생성하는 단계; 및
    상기 적어도 하나의 객체를 포함하는 상기 제 1 카메라 이미지와 상기 냄새 분포 맵을 비교하여, 변질 가능성이 기준 값보다 큰 제 1 객체를 식별하는 단계를 포함하는, 방법.
  9. 제 8 항에 있어서, 상기 제 1 객체를 식별하는 단계는,
    상기 냉장고 안에 배치된 분광 센서를 이용하여, 상기 제 1 객체에 대한 분광 스펙트럼 정보를 획득하는 단계; 및
    상기 분광 스펙트럼 정보를 이용하여, 상기 제 1 객체의 변질 정도를 결정하는 단계를 포함하는, 방법.
  10. 제 8 항에 있어서, 상기 방법은,
    상기 제 1 카메라 이미지 내에서 상기 제 1 객체가 제 2 객체에 의해 전부 또는 일부가 가려지는 경우, 상기 냉장고 내에서 상기 제 1 객체가 저장된 위치에 관한 알림 정보를 제공하는 단계를 더 포함하는, 방법.
  11. 제 8 항에 있어서, 상기 방법은,
    상기 식별된 제 1 객체를 캡쳐할 수 있도록 상기 카메라의 포즈를 제어하는 단계를 더 포함하는, 방법.
  12. 삭제
  13. 냉장고 안에 보관된 적어도 하나의 객체를 포함하는 제 1 카메라 이미지를 획득하는 카메라;
    상기 냉장고 안의 환경 정보를 획득하는 환경 센서; 및
    상기 제 1 카메라 이미지 및 상기 냉장고 안의 환경 정보를 인공 지능 모델에 적용하여, 상기 적어도 하나의 객체의 현재 상태와 관련된 정보를 획득하고 상기 적어도 하나의 객체의 미래 상태와 관련된 정보를 예측하는 프로세서; 및
    상기 적어도 하나의 객체의 현재 상태와 관련된 정보 및 상기 적어도 하나의 객체의 미래 상태와 관련된 정보를 제공하는 출력부를 포함하고,
    상기 프로세서는,
    상기 카메라를 통해 제 1 시점에 상기 적어도 하나의 객체를 포함하는 상기 제 1 카메라 이미지를 획득하고,
    상기 카메라를 통해 상기 제 1 시점보다 후인 제 2 시점에 상기 적어도 하나의 객체를 포함하는 제 2 카메라 이미지를 획득하는 단계;
    상기 제 1 카메라 이미지, 상기 제 2 카메라 이미지 및 상기 제 2 시점의 환경 정보를 상기 인공 지능 모델에 적용하여, 상기 적어도 하나의 객체의 상기 제 2 시점에서의 상태와 관련된 정보 및 상기 제 1 시점과 상기 제 2 시점 사이의 상기 적어도 하나의 객체의 상태 변화 정도를 획득하고,
    상기 적어도 하나의 객체의 상기 제 2 시점에서의 상태와 관련된 정보 및 상기 적어도 하나의 객체의 상태 변화 정도 중 적어도 하나에 기초하여, 기 설정된 상기 카메라의 이미지 검출 간격을 조절하는, 냉장고.
  14. 제 13 항에 있어서, 상기 적어도 하나의 객체의 현재 상태와 관련된 정보는,
    상기 적어도 하나의 객체의 섭취 가능 기간에 관한 정보, 상기 적어도 하나의 객체의 숙성도에 관한 정보 및 상기 적어도 하나의 객체의 신선도에 관한 정보 중 적어도 하나를 포함하는, 냉장고.
  15. 제 13 항에 있어서, 상기 환경 센서는 온도 센서를 포함하고,
    상기 프로세서는,
    상기 온도 센서를 이용하여, 상기 적어도 하나의 객체 주변의 온도 정보를 획득하는 동작; 및
    상기 적어도 하나의 객체를 포함하는 상기 제 1 카메라 이미지 및 상기 적어도 하나의 객체 주변의 온도 정보를 상기 인공 지능 모델에 적용하여, 상기 적어도 하나의 객체의 현재 상태와 관련된 정보를 획득하는 동작을 수행하는, 냉장고.
  16. 제 13 항에 있어서, 상기 환경 센서는 상기 적어도 하나의 객체에 인접하게 배치된 냄새 센서를 포함하고,
    상기 프로세서는,
    상기 냄새 센서를 통해 상기 적어도 하나의 객체의 냄새 정보를 획득하는 동작; 및
    상기 적어도 하나의 객체를 포함하는 상기 제 1 카메라 이미지 및 상기 적어도 하나의 객체의 냄새 정보를 상기 인공 지능 모델에 적용하여, 상기 적어도 하나의 객체의 현재 상태와 관련된 정보를 획득하는 동작을 수행하는, 냉장고.
  17. 제 16 항에 있어서, 상기 프로세서는,
    상기 냉장고 안에 배치된 분광 센서를 이용하여, 상기 적어도 하나의 객체에 대한 분광 이미지를 획득하는 동작; 및
    상기 제 1 카메라 이미지, 상기 분광 이미지 및 상기 냉장고 안의 환경 정보를 상기 인공 지능 모델에 적용하여, 상기 적어도 하나의 객체의 현재 상태와 관련된 정보를 획득하는 동작을 더 수행하는, 냉장고.
  18. 제 13 항에 있어서, 상기 프로세서는,
    상기 냉장고 안에 배치된 복수의 냄새 센서 중에서 적어도 하나의 냄새 센서(Odor sensor)에서 측정된 가스 검출량이 임계 값을 초과하는지 판단하는 동작;
    상기 가스 검출량이 상기 임계 값을 초과하는 경우, 상기 복수의 냄새 센서로부터 획득된 냄새 정보에 기초하여 냄새 분포 맵을 생성하는 동작; 및
    상기 적어도 하나의 객체를 포함하는 상기 제 1 카메라 이미지와 상기 냄새 분포 맵을 비교하여, 변질 가능성이 기준 값보다 큰 제 1 객체를 식별하는 동작을 더 수행하는, 냉장고.
  19. 제 18 항에 있어서, 상기 프로세서는,
    상기 냉장고 안에 배치된 분광 센서를 이용하여, 상기 제 1 객체에 대한 분광 스펙트럼 정보를 획득하는 동작; 및
    상기 분광 스펙트럼 정보를 이용하여, 상기 제 1 객체의 변질 정도를 결정하는 동작을 더 수행하는, 냉장고.
  20. 냉장고 안에 배치된 카메라를 통해서 상기 냉장고 안에 보관된 적어도 하나의 객체를 포함하는 제 1 카메라 이미지를 획득하는 동작;
    상기 냉장고 안에 배치된 환경 센서를 통해서 상기 냉장고 안의 환경 정보를 획득하는 동작;
    상기 적어도 하나의 객체를 포함하는 상기 제 1 카메라 이미지 및 상기 냉장고 안의 환경 정보를 인공 지능 모델에 적용하여, 상기 적어도 하나의 객체의 현재 상태와 관련된 정보를 획득하고, 상기 적어도 하나의 객체의 미래 상태와 관련된 정보를 예측하는 동작;
    상기 적어도 하나의 객체의 현재 상태와 관련된 정보 및 상기 적어도 하나의 객체의 미래 상태와 관련된 정보를 제공하는 동작;
    상기 카메라를 통해 제 1 시점에 상기 적어도 하나의 객체를 포함하는 상기 제 1 카메라 이미지를 획득하는 동작;
    상기 카메라를 통해 상기 제 1 시점보다 후인 제 2 시점에 상기 적어도 하나의 객체를 포함하는 제 2 카메라 이미지를 획득하는 동작;
    상기 제 1 카메라 이미지, 상기 제 2 카메라 이미지 및 상기 제 2 시점의 환경 정보를 상기 인공 지능 모델에 적용하여, 상기 적어도 하나의 객체의 상기 제 2 시점에서의 상태와 관련된 정보 및 상기 제 1 시점과 상기 제 2 시점 사이의 상기 적어도 하나의 객체의 상태 변화 정도를 획득하는 동작; 및
    상기 적어도 하나의 객체의 상기 제 2 시점에서의 상태와 관련된 정보 및 상기 적어도 하나의 객체의 상태 변화 정도 중 적어도 하나에 기초하여, 기 설정된 상기 카메라의 이미지 검출 간격을 조절하는 동작을 수행하도록 하는, 컴퓨터 프로그램이 저장된 기록매체.
KR1020180114377A 2018-09-21 2018-09-21 냉장고 내 객체의 상태와 관련된 정보를 제공하는 방법 및 시스템 KR102551358B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180114377A KR102551358B1 (ko) 2018-09-21 2018-09-21 냉장고 내 객체의 상태와 관련된 정보를 제공하는 방법 및 시스템
CN201980061571.7A CN112740229A (zh) 2018-09-21 2019-09-09 用于提供与冰箱中的物体的状态有关的信息的方法和系统
EP19862517.0A EP3824233A4 (en) 2018-09-21 2019-09-09 Method and system for providing information related to state of object in refrigerator
PCT/KR2019/011618 WO2020060090A1 (en) 2018-09-21 2019-09-09 Method and system for providing information related to state of object in refrigerator
US16/572,075 US11263498B2 (en) 2018-09-21 2019-09-16 Method and system for providing information related to a status of an object in a refrigerator

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180114377A KR102551358B1 (ko) 2018-09-21 2018-09-21 냉장고 내 객체의 상태와 관련된 정보를 제공하는 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20200034903A KR20200034903A (ko) 2020-04-01
KR102551358B1 true KR102551358B1 (ko) 2023-07-04

Family

ID=69883237

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180114377A KR102551358B1 (ko) 2018-09-21 2018-09-21 냉장고 내 객체의 상태와 관련된 정보를 제공하는 방법 및 시스템

Country Status (5)

Country Link
US (1) US11263498B2 (ko)
EP (1) EP3824233A4 (ko)
KR (1) KR102551358B1 (ko)
CN (1) CN112740229A (ko)
WO (1) WO2020060090A1 (ko)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017007913A1 (en) 2015-07-08 2017-01-12 Divert, Inc. System for tracking waste or recyclable material
US10373472B2 (en) * 2016-03-14 2019-08-06 Amazon Technologies, Inc. Scent-based spoilage sensing refrigerator
US10806177B2 (en) * 2016-09-26 2020-10-20 Erich Linus Birchler Apparatus and method for monitoring airing events in humidors
WO2019229949A1 (ja) * 2018-05-31 2019-12-05 三菱電機株式会社 冷蔵庫システム
WO2020089929A2 (en) * 2018-10-29 2020-05-07 Tata Consultancy Services Limited Apparatus and method for multimodal sensing and monitoring of perishable commodities
US20200143294A1 (en) * 2018-11-07 2020-05-07 International Business Machines Corporation Automatic classification of refrigeration states using in an internet of things computing environment
JPWO2020116490A1 (ja) * 2018-12-05 2021-10-21 株式会社レボーン 情報処理装置、情報処理方法、学習済みモデルの生成方法及びプログラム
US11386621B2 (en) * 2018-12-31 2022-07-12 Whirlpool Corporation Augmented reality feedback of inventory for an appliance
US11317176B2 (en) 2019-03-07 2022-04-26 Lizard Monitoring LLC Systems and methods for sensor monitoring and sensor-related calculations
KR102221535B1 (ko) * 2019-05-23 2021-03-02 엘지전자 주식회사 센서 어셈블리 및 그 제어방법
KR20190106944A (ko) * 2019-08-30 2019-09-18 엘지전자 주식회사 지능형 냉장고 및 그 제어 방법
US20210081867A1 (en) 2019-09-18 2021-03-18 Divert, Inc. Systems and methods for tracking product environment throughout a supply chain
JP7007605B2 (ja) * 2020-03-31 2022-01-24 ダイキン工業株式会社 出力装置、情報処理システムおよびプログラム
US11435135B2 (en) * 2020-05-28 2022-09-06 Haier Us Appliance Solutions, Inc. Refrigerator appliance guided food storage
KR102412651B1 (ko) * 2020-06-05 2022-06-22 한전케이디엔주식회사 인공지능 기반 특정공간 내 이벤트 감지 시스템 및 그 방법
KR20220021742A (ko) * 2020-08-14 2022-02-22 삼성전자주식회사 식품의 신선도를 식별하기 위한 전자 장치, 방법 및 비일시적 저장 매체
RU2767711C1 (ru) * 2020-10-29 2022-03-18 Автономная некоммерческая образовательная организация высшего образования "Сколковский институт науки и технологий" Способ определения состояния готовности и качества продуктов питания
KR20220083349A (ko) * 2020-12-11 2022-06-20 삼성전자주식회사 식품 모니터링 장치, 이를 포함하는 냉장고, 및 이의 동작 방법
EP4023968B1 (en) * 2020-12-31 2023-08-02 Arçelik Anonim Sirketi A refrigerator comprising odor sensor
KR20220111672A (ko) 2021-02-02 2022-08-09 트루 매뉴팩쳐링 코., 인크. 냉장 가전기기들의 지역적 제어를 가능하게 하는 시스템들, 방법들 및 가전기기들
WO2022197259A2 (en) * 2021-03-17 2022-09-22 Vispera Bilgi Teknolojileri̇ Sanayi Ic Ve Dis Ticaret A. S. System and method of monitoring units in a cabinet
WO2023004573A1 (zh) * 2021-07-27 2023-02-02 合肥华凌股份有限公司 应用于冰箱的净味控制方法、装置及冰箱
KR20230050988A (ko) * 2021-10-08 2023-04-17 삼성전자주식회사 냉장고 및 그 제어 방법
CN114043702B (zh) * 2021-10-11 2024-03-29 广东嘉星智能科技有限公司 一种塑料颗粒制造设备及制造工艺
US20230121318A1 (en) * 2021-10-20 2023-04-20 Haier Us Appliance Solutions, Inc. Refrigerator appliance with a meat aging compartment
CN113888526B (zh) * 2021-10-21 2022-09-23 北京实力伟业环保科技有限公司 基于微生物的废气处理方法及系统
CN113962638B (zh) * 2021-12-22 2022-03-18 广州骏天科技有限公司 一种智能果蔬质量检测方法及系统
CN115046363B (zh) * 2022-06-30 2024-05-07 桂林电子科技大学 基于机器视觉及光谱检测的智能冰箱及运行方法
TWI795340B (zh) * 2022-11-11 2023-03-01 台灣松下電器股份有限公司 冷櫃控制系統及溫度控制主機
WO2024122980A1 (ko) * 2022-12-06 2024-06-13 에스케이플래닛 주식회사 분광 이미지 기반의 식품 상태 추적 방법, 식품 관리 방법 및 이를 지원하는 식품 관리 장치
CN116934348B (zh) * 2023-09-14 2023-12-26 广州淘通科技股份有限公司 一种交易售后数据的分析方法、装置、设备以及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016133296A (ja) 2015-01-22 2016-07-25 三菱電機株式会社 冷蔵庫
JP2017133825A (ja) 2016-01-29 2017-08-03 エルジー エレクトロニクス インコーポレイティド 冷蔵庫と通信を行うセンサ及びそのセンサを含む冷蔵庫制御システム

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2282906B (en) * 1993-10-13 1996-11-06 Dataquill Ltd Data enty systems
US5691684A (en) * 1995-09-20 1997-11-25 Symbol Technologies, Inc. Article storage container with bar code scanning
US6050412A (en) * 1998-08-13 2000-04-18 The Sunblush Technologies Corporation Method and apparatus for packaging and shipping horticultural products including cut flowers
US6204763B1 (en) * 1999-03-22 2001-03-20 Jujitsu Limited Household consumable item automatic replenishment system including intelligent refrigerator
US7760905B2 (en) * 1999-06-29 2010-07-20 Digimarc Corporation Wireless mobile phone with content processing
US7445550B2 (en) * 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
GB2370709A (en) * 2000-12-28 2002-07-03 Nokia Mobile Phones Ltd Displaying an image and associated visual effect
KR20030068415A (ko) * 2002-02-14 2003-08-21 샤프 가부시키가이샤 표시장치, 전자기기 및 카메라
US20050134710A1 (en) * 2003-12-18 2005-06-23 Toshiaki Nomura Imaging systems for use with patrol cars and patrol cars having such imaging systems
CN100350792C (zh) * 2004-04-14 2007-11-21 奥林巴斯株式会社 摄像装置
US20100231506A1 (en) * 2004-09-07 2010-09-16 Timothy Pryor Control of appliances, kitchen and home
US9821344B2 (en) * 2004-12-10 2017-11-21 Ikan Holdings Llc Systems and methods for scanning information from storage area contents
US20070139529A1 (en) * 2005-06-02 2007-06-21 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Dual mode image capture technique
US20060274153A1 (en) * 2005-06-02 2006-12-07 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Third party storage of captured data
US9101279B2 (en) * 2006-02-15 2015-08-11 Virtual Video Reality By Ritchey, Llc Mobile user borne brain activity data and surrounding environment data correlation system
JP4869981B2 (ja) * 2007-02-28 2012-02-08 オリンパス株式会社 撮像システム及び撮像機器の認証方法
US8156748B2 (en) * 2007-04-27 2012-04-17 Whirlpool Corporation Ice quality sensing system employing digital imaging
US9032745B2 (en) * 2007-04-27 2015-05-19 Whirlpool Corporation Ice imaging system
US8713949B2 (en) * 2007-04-27 2014-05-06 Whirlpool Corporation Ice level and quality sensing system employing digital imaging
US8711102B2 (en) * 2007-06-15 2014-04-29 Microsoft Corporation Graphical communication user interface with graphical position user input mechanism for selecting a display image
KR20090007970A (ko) * 2007-07-16 2009-01-21 삼성전자주식회사 카메라를 구비한 휴대 단말기의 디지털 방송 출력 장치 및방법
JP2009094867A (ja) * 2007-10-10 2009-04-30 Fuji Xerox Co Ltd 情報処理装置、遠隔指示システム及び制御プログラム
US8248237B2 (en) * 2008-04-02 2012-08-21 Yougetitback Limited System for mitigating the unauthorized use of a device
KR101517083B1 (ko) * 2009-05-11 2015-05-15 엘지전자 주식회사 냉장고를 제어하는 휴대 단말기 및 그 동작 방법
CA2957195C (en) * 2009-11-02 2017-10-10 Infinity Laser Measuring Llc Laser measurement of a vehicle frame
US8467133B2 (en) * 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US20120061155A1 (en) * 2010-04-09 2012-03-15 Willow Garage, Inc. Humanoid robotics system and methods
CN107066776A (zh) * 2010-11-10 2017-08-18 耐克创新有限合伙公司 用于基于时间的运动活动测量和显示的系统和方法
KR101813030B1 (ko) * 2010-12-29 2017-12-28 엘지전자 주식회사 냉장고
US9055162B2 (en) * 2011-02-15 2015-06-09 Lg Electronics Inc. Method of transmitting and receiving data, display device and mobile terminal using the same
KR101821818B1 (ko) * 2011-09-22 2018-01-24 엘지전자 주식회사 전기제품의 제어방법
US8928783B2 (en) * 2011-09-26 2015-01-06 Ricoh Company, Ltd. Imaging apparatus including switchable edge extraction
KR101308620B1 (ko) * 2011-10-05 2013-09-23 한국식품연구원 실시간 물품 품질 모니터링 시스템
US20150018979A1 (en) * 2012-02-22 2015-01-15 Nikon Corporation Electronic apparatus
US20140310031A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Transfer of user profile data via vehicle agency control
WO2014172380A1 (en) * 2013-04-15 2014-10-23 Flextronics Ap, Llc Altered map routes based on user profile information
US10139985B2 (en) * 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
US10410177B2 (en) * 2012-06-30 2019-09-10 At&T Mobility Ii Llc Interactive inventory systems and methods
US20140095479A1 (en) * 2012-09-28 2014-04-03 Sherry S. Chang Device, method, and system for recipe recommendation and recipe ingredient management
JP6391943B2 (ja) * 2013-03-12 2018-09-19 東芝ライフスタイル株式会社 冷蔵庫、カメラ装置、庫内画像表示プログラム
EP2817170A4 (en) * 2013-04-15 2015-11-04 ACCESS TO USER PROFILES STORED IN THE FORM OF MODELS AND PORTABILITY OF THESE USER PROFILES
CN105222521B (zh) * 2013-04-23 2018-01-09 Lg电子株式会社 冰箱及其控制方法
KR102024595B1 (ko) * 2013-04-25 2019-09-24 엘지전자 주식회사 냉장고 및 그 제어방법
DE102013211097A1 (de) * 2013-06-14 2014-12-18 BSH Bosch und Siemens Hausgeräte GmbH Kältegerät mit einem Kameramodul
JP6313014B2 (ja) * 2013-08-27 2018-04-18 東芝ライフスタイル株式会社 カメラシステム、冷蔵庫
CN107873101B (zh) * 2014-11-21 2022-01-11 克里斯多夫·M·马蒂 用于对象辨识和评估的成像系统
JP2016148503A (ja) * 2015-02-05 2016-08-18 日本電産コパル株式会社 冷蔵庫、冷蔵庫管理方法及びプログラム
CN107615217B (zh) * 2015-06-12 2020-07-17 索尼互动娱乐股份有限公司 信息处理装置、信息处理方法和计算机可读存储介质
US10142822B1 (en) * 2015-07-25 2018-11-27 Gary M. Zalewski Wireless coded communication (WCC) devices with power harvesting power sources triggered with incidental mechanical forces
US11156970B2 (en) * 2015-08-05 2021-10-26 Whirlpool Corporation Foodstuff sensing appliance
KR20170098089A (ko) * 2016-02-19 2017-08-29 삼성전자주식회사 전자 장치 및 그의 동작 방법
US10034066B2 (en) * 2016-05-02 2018-07-24 Bao Tran Smart device
US20170337425A1 (en) * 2016-05-19 2017-11-23 Scenera, Inc. Scene marking
US10957083B2 (en) * 2016-08-11 2021-03-23 Integem Inc. Intelligent interactive and augmented reality based user interface platform
US20180053140A1 (en) * 2016-08-18 2018-02-22 Intel Corporation Food storage method and apparatus with sensors
KR101864252B1 (ko) * 2016-10-25 2018-06-04 계명대학교 산학협력단 인공지능 기반 식품부패예측 모델 개발 시스템 및 인공지능 기반 식품부패예측 모델을 이용한 식품부패예측 알림 시스템
KR102605622B1 (ko) * 2016-11-01 2023-11-23 엘지전자 주식회사 냉장고
CN206222781U (zh) * 2016-11-03 2017-06-06 Tcl集团股份有限公司 一种智能冰箱
KR102628210B1 (ko) * 2017-01-26 2024-01-24 삼성전자주식회사 식품 관리를 위한 전자 장치 및 이의 제어 방법
EP4046608B1 (en) * 2017-07-10 2023-09-27 Magic Leap, Inc. Method and system for integration of electronic sensors with thermal cooling system
US10655907B2 (en) * 2017-12-15 2020-05-19 International Business Machines Corporation Content and context aware microscopic cooling optimization for refrigerators

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016133296A (ja) 2015-01-22 2016-07-25 三菱電機株式会社 冷蔵庫
JP2017133825A (ja) 2016-01-29 2017-08-03 エルジー エレクトロニクス インコーポレイティド 冷蔵庫と通信を行うセンサ及びそのセンサを含む冷蔵庫制御システム

Also Published As

Publication number Publication date
EP3824233A4 (en) 2021-12-29
CN112740229A (zh) 2021-04-30
EP3824233A1 (en) 2021-05-26
WO2020060090A1 (en) 2020-03-26
KR20200034903A (ko) 2020-04-01
US11263498B2 (en) 2022-03-01
US20200097776A1 (en) 2020-03-26

Similar Documents

Publication Publication Date Title
KR102551358B1 (ko) 냉장고 내 객체의 상태와 관련된 정보를 제공하는 방법 및 시스템
KR102619657B1 (ko) 냉장고와 서버 및 서버의 제어 방법
US11353259B2 (en) Augmented-reality refrigerator and method of controlling thereof
KR102412202B1 (ko) 냉장고 및 이의 정보 표시 방법
US10110677B2 (en) Context-aware decision making
US20190034556A1 (en) Method, apparatus and refrigerator for recipe recommendation
KR102663888B1 (ko) 냉장고 및 그의 제어방법
US11499773B2 (en) Refrigerator and method for managing articles in refrigerator
US11425338B2 (en) Refrigerator, and system and method for controlling same
KR20190096851A (ko) 비전 인식 기반의 조리기 제어 방법 및 제어 장치
KR20190109640A (ko) 공조 장치 및 그 제어 방법
CN112005268B (zh) 冰箱和在冰箱上显示用户界面的方法、用户终端和在用户终端中执行功能的方法
KR20200046751A (ko) 냉장고 안의 객체에 관한 정보를 제공하는 방법 및 시스템
US20200327601A1 (en) Refrigerator and method for managing products in refrigerator
CN109416219A (zh) 冷链质量评价反馈管理器
JP2021165604A (ja) 保管容器、冷蔵庫及び熟成度推定装置
CN108766528A (zh) 一种饮食管理系统及其构建方法、一种食材管理方法
US20200371895A1 (en) Electronic device and method for controlling same
JP2022106679A (ja) 感情感知スマート冷蔵庫
CN114190823B (zh) 一种智慧家用机器人及控制方法
Thapa et al. A comprehensive review on artificial intelligence assisted technologies in food industry
US20230168027A1 (en) Control system and control method of refrigeration environment in closed space based on computer vision
Niu et al. Recognizing ADLs of one person household based on non-intrusive environmental sensing
Swathi et al. Survey on IoT based farm freshness mobile application
WO2023046040A1 (zh) 制冷电器中的库存管理系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant