KR102619657B1 - 냉장고와 서버 및 서버의 제어 방법 - Google Patents

냉장고와 서버 및 서버의 제어 방법 Download PDF

Info

Publication number
KR102619657B1
KR102619657B1 KR1020180069078A KR20180069078A KR102619657B1 KR 102619657 B1 KR102619657 B1 KR 102619657B1 KR 1020180069078 A KR1020180069078 A KR 1020180069078A KR 20180069078 A KR20180069078 A KR 20180069078A KR 102619657 B1 KR102619657 B1 KR 102619657B1
Authority
KR
South Korea
Prior art keywords
image
refrigerator
food
server
category
Prior art date
Application number
KR1020180069078A
Other languages
English (en)
Other versions
KR20200003299A (ko
Inventor
김태훈
빅터 포록혼스카이
올렉산드르 바이에브
미하일로 클라이멘코
예브헨 바힌
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180069078A priority Critical patent/KR102619657B1/ko
Priority to US16/433,107 priority patent/US11521391B2/en
Priority to PCT/KR2019/006850 priority patent/WO2019240432A1/en
Priority to CN201980040258.5A priority patent/CN112313684B/zh
Priority to EP23193284.9A priority patent/EP4254285A3/en
Priority to EP19819251.0A priority patent/EP3776435A4/en
Publication of KR20200003299A publication Critical patent/KR20200003299A/ko
Priority to KR1020230191696A priority patent/KR20240005650A/ko
Application granted granted Critical
Publication of KR102619657B1 publication Critical patent/KR102619657B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G06Q30/0271—Personalized advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0092—Nutrition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F25D2400/361—Interactive visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/06—Sensors detecting the presence of a product
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Library & Information Science (AREA)
  • Primary Health Care (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Public Health (AREA)
  • Human Resources & Organizations (AREA)
  • Educational Administration (AREA)
  • Software Systems (AREA)
  • Educational Technology (AREA)
  • Nutrition Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Combustion & Propulsion (AREA)

Abstract

식료품을 인식하는 방법이 제공된다. 제공 되는 제어 방법은, 냉장고에서 촬영 된 적어도 하나의 고내 이미지를 획득하는 동작, 기 저장된 비교 대상 이미지와 상기 고내 이미지를 이용하여, 상기 고내 이미지에서 변화가 발생된 변화 영역을 식별하는 동작, 상기 고내 이미지에 변화 영역이 없는 경우에, 상기 기 저장된 비교 대상 이미지의 인식 결과인 제1 보관 식료품 정보를 획득하고, 상기 고내 이미지에 변화 영역이 있는 경우에, 상기 고내 이미지에 포함된 객체를 인식한 결과와 상기 제1 보관 식료품 정보를 이용하여 제2 보관 식료품 정보를 획득하는 동작, 및 상기 고내 이미지 및, 상기 획득된 제1 보관 식료품 정보 또는 상기 제2 보관 식료품 정보를 상기 냉장고에게 전송하는 동작을 포함할 수 있다.
또한, 식료품을 인식하는 방법은, 이미지에서 변화 영역을 식별하거나, 또는 이미지에 포함된 식료품 또는 가공 식품의 카테고리를 인식하는 경우, 규칙 기반 또는 인공 지능 알고리즘을 이용하여 변화 영역을 검출하거나, 식료품 또는 가공 식품의 카테고리를 인식할 수 있다.
인공 지능 알고리즘을 이용하여 변화 영역을 식별하거나, 식료품 또는 가공 식품의 카테고리를 인식하는 경우, 상기 제어 방법은 기계 학습, 신경망 또는 딥러닝 알고리즘을 이용할 수 있다.

Description

냉장고와 서버 및 서버의 제어 방법{REFRIGERATOR, SERVER AND METHOD OF CONTROLLING THEREOF}
본 개시는 냉장고와 서버 및 냉장고와 서버를 이용하여 냉장고에 보관하는 식료품을 인식하는 방법에 대한 것이다.
냉장고는, 음식을 냉장 보관하거나 또는 냉동 보관하는 전자 장치(또는, 가전 장치)이다. 냉장고는 음식뿐만 아니라 약품(medicine), 주류(alcoholic liquor) 또는 화장품(cosmetics) 등을 보관할 수도 있다.
기술이 점차적으로 발전됨에 따라, 냉장고는 디스플레이를 이용하여 냉장고의 동작 모드를 표시할 수 있다. 또한, 냉장고는 디스플레이를 이용하여 사용자 인터페이스를 표시함으로써, 정보를 표시하거나 또는 사용자 입력을 수신할 수 있다. 뿐만 아니라, 최근의 냉장고는 외부 장치(예로, 인터넷에 접속된 서버)에 연결할 수 있는 통신부를 포함할 수 있다.
이와 같이, 냉장고는 디스플레이 및 통신부를 이용하여 다양한 서비스를 사용자에게 제공하고 있다.
냉장고에 포함되는 디스플레이를 활용하는 방법 중의 하나로서 냉장고가 디스플레이에 냉장고에 보관하는 식료품을 표시할 수 있다. 예를 들어, 냉장고는 냉장고의 저장실을 촬영하는 카메라를 이용하여 획득한 이미지를 디스플레이에 표시하고, 이미지에 포함된 식료품을 인식하여 식료품의 명칭 등을 디스플레이에 함께 표시할 수 있다.
저장실을 촬영한 이미지에 포함된 식료품을 인식하기 위해 카메라가 저장실을 촬영하여 고내 이미지를 생성할 때 마다 식료품 인식을 수행하는 비효율을 발생할 수 있다. 또한, 중첩되어 배치된 식료품을 정확하게 인식할 수 없는 상항이 발생될 수 있다.
이에 따라, 식료품 인식의 효율을 유지하고, 중첩되어 배치되는 식료품도 인식할 수 있는 방법이 요구된다.
일 실시예에 따른 서버는, 냉장고에서 촬영된 적어도 하나의 고내 이미지를 획득하는 데이터 획득부, 기 저장된 비교 대상 이미지와 상기 고내 이미지를 이용하여, 상기 고내 이미지에서 변화가 발생된 변화 영역을 식별하고, 상기 고내 이미지에 변화 영역이 없는 경우에, 상기 기 저장된 비교 대상 이미지의 인식 결과인 제1 보관 식료품 정보를 획득하고, 상기 고내 이미지에 변화 영역이 있는 경우에, 상기 고내 이미지에 포함된 객체를 인식한 결과와 상기 제1 보관 식료품 정보를 이용하여 제2 보관 식료품 정보를 획득하는 데이터 처리부, 및 상기 고내 이미지 및, 상기 제1 보관 식료품 정보 또는 상기 제2 보관 식료품 정보를 상기 냉장고에게 전송하는 데이터 출력부를 포함할 수 있다.
일 실시예에 따른 냉장고는, 식료품을 보관하는 저장실을 촬영하는 적어도 하나의 카메라, 통신부, 프로세서, 및 메모리를 포함하고, 상기 메모리는, 상기 프로세서가, 기 설정된 이벤트 발생에 대응하여 적어도 하나의 고내 이미지를 촬영하도록 상기 카메라를 제어하고, 상기 통신부를 제어하여, 상기 고내 이미지를 서버로 전송하고, 상기 서버로부터 상기 고내 이미지 및 제1 보관 식료품 정보 또는 제2 보관 식료품 정보를 수신하도록 설정된 명령어들을 저장할 수 있다.
일 실시예에 따른 냉장고는, 식료품을 보관하는 저장실을 촬영하는 적어도 하나의 카메라, 통신부, 프로세서, 및 메모리를 포함하고, 상기 메모리는, 상기 프로세서가, 기 설정된 이벤트 발생에 대응하여 적어도 하나의 고내 이미지를 촬영하도록 상기 카메라를 제어하고, 기 저장된 비교 대상 이미지와 상기 고내 이미지를 이용하여, 상기 고내 이미지에서 변화가 발생된 변화 영역을 식별하고, 상기 고내 이미지에 변화 영역이 없는 경우에, 상기 기 저장된 비교 대상 이미지의 인식 결과인 제1 보관 식료품 정보를 획득하고, 상기 고내 이미지에 변화 영역이 있는 경우에, 상기 통신부를 제어하여, 상기 고내 이미지를 서버로 전송하고, 상기 고내 이미지에 포함된 객체를 인식한 결과와 상기 제1 보관 식료품 정보를 이용하여 획득한 제2 보관 식료품 정보를 상기 서버로부터 수신하도록 설정된 명령어들을 저장할 수 있다.
일 실시예에 따른 서버의 제어 방법은, 냉장고에서 촬영 된 적어도 하나의 고내 이미지를 획득하는 동작, 기 저장된 비교 대상 이미지와 상기 고내 이미지를 이용하여, 상기 고내 이미지에서 변화가 발생된 변화 영역을 식별하는 동작, 상기 고내 이미지에 변화 영역이 없는 경우에, 상기 기 저장된 비교 대상 이미지의 인식 결과인 제1 보관 식료품 정보를 획득하고, 상기 고내 이미지에 변화 영역이 있는 경우에, 상기 고내 이미지에 포함된 객체를 인식한 결과와 상기 제1 보관 식료품 정보를 이용하여 제2 보관 식료품 정보를 획득하는 동작, 및 상기 고내 이미지 및, 상기 획득된 제1 보관 식료품 정보 또는 상기 제2 보관 식료품 정보를 상기 냉장고에게 전송하는 동작을 포함할 수 있다.
일 실시예에 따른 컴퓨터로 읽을 수 있는 기록 매체를 포함하는 컴퓨터 프로그램 제품은, 냉장고에서 촬영 된 적어도 하나의 고내 이미지를 획득하는 동작, 기 저장된 비교 대상 이미지와 상기 고내 이미지를 이용하여, 상기 고내 이미지에서 변화가 발생된 변화 영역을 식별하는 동작, 상기 고내 이미지에 변화 영역이 없는 경우에, 상기 기 저장된 비교 대상 이미지의 인식 결과인 제1 보관 식료품 정보를 획득하고, 상기 고내 이미지에 변화 영역이 있는 경우에, 상기 고내 이미지에 포함된 객체를 인식한 결과와 상기 제1 보관 식료품 정보를 이용하여 제2 보관 식료품 정보를 획득하는 동작, 및 상기 고내 이미지 및, 상기 획득된 제1 보관 식료품 정보 또는 상기 제1 보관 식료품 정보를 상기 냉장고에게 전송하는 동작을 컴퓨터에서 실행시키기 위한 명령어들을 저장할 수 있다.
본 개시에 따르면, 냉장고의 저장실을 촬영한 고내 이미지에 대하여 선별적으로 고내 이미지에 포함된 식료품을 인식하여 효율적으로 식료품 인식 방법을 수행할 수 있다.
또한, 복수 개의 고내 이미지를 이용하여 하나의 고내 이미지에서 인식 되지 않은 식료품에 대한 정보를 다른 고내 이미지에서 획득할 수 있다.
또한, 본 개시의 식료품 인식 방법에 따라 인식된 식료품이 속할 수 있는 후보 카테고리를 제공하여 사용자가 원하는 카테고리에 식료품을 매칭하여 저장할 수 있다.
또한, 본 개시의 식료품 인식 방법에 따라 인식된 식료품을 이용하여 냉장고는 요리법, 칼로리, 또는 쇼핑 사이트를 제공할 수 있다.
도 1a 및 도 1b는 본 개시의 일 실시예에 따른 식료품 인식 방법을 설명하기 위한 도면들이다.
도 2는 일 실시예에 따른 냉장고 및 서버의 개략적인 블록도이다.
도 3은 일 실시예에 따른 프로세서의 블록도이다.
도 4는 일 실시예에 따른 식료품 인식 방법에서 복수 개의 카메라를 활용하는 상황을 설명하는 도면들이다.
도 5는 일 실시예에 따른 식료품 인식 방법의 결과를 이용하여 식료품의 카테고리를 결정하는 상황을 설명하는 도면들이다.
도 6은 일 실시예에 따른 식료품 인식 방법의 결과를 이용하여 요리법을 획득하는 상황을 설명하는 도면들이다.
도 7은 일 실시예에 따른 식료품 인식 방법의 결과를 이용하여 물건을 구매하는 상황을 설명하는 도면들이다.
도 8은 일 실시예에 따른 식료품 인식 방법의 결과를 이용하여 건강 정보를 제공하는 상황을 설명하는 도면들이다.
도 9는 다양한 실시예에 따른 식료품 인식 방법을 설명하는 도면들이다.
도 10은 일 실시예에 따른 식료품 인식 방법을 실행하는 흐름도이다.
도 11은 다양한 실시예에 따른 식료품 인식 방법을 실행하는 흐름도이다.
도 12는 본 개시의 실시예에 따른 카메라 및 디스플레이를 가지는 냉장고를 나타내는 개략적인 사시도이다.
도 13은 본 개시의 실시예에 따른 모든 도어를 개방한 냉장고를 나타내는 개략적인 정면도이다.
도 14는 본 개시의 실시예에 따른 냉장고를 나타내는 개략적인 블럭도이다.
이하, 본 개시의 다양한 실시예가 첨부된 도면을 참조하여 기재된다. 그러나 이는 본 개시에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 개시에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
본 개시에서 사용된 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 개시에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 개시에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 개시에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 개시에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 개시에서 정의된 용어일지라도 본 개시의 실시예들을 배제하도록 해석될 수 없다.
도 1a 및 도 1b는 본 개시의 일 실시예에 따른 식료품 인식 방법을 설명하기 위한 도면들이다.
도 1a 및 도 1b에서, 식료품 인식 방법은, 하나 이상의 서버로 구성되는 서버(또는, 클라우드)(20) 또는 냉장고(10)에서 실행될 수 있다.
일 실시예에 따르면, 냉장고(10)와 서버(20)는 유선 또는 무선 통신 방법을 이용하여 통신망을 수립할 수 있다. 냉장고(10)와 서버(20)는 무선 통신부(예를 들면, 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신부(예를 들면, LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함하고, 그 중 해당하는 통신부 이용하여 제1 네트워크(예를 들면, 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(예를 들면, 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 통신할 수 있다.
일 실시예에 따르면, 냉장고(10)는 식품을 보관하는 저장실과 저장실에 냉기를 공급하는 냉기 공급 장치를 포함하는, 식품을 신선하게 보관할 수 있는 가전 기기이다. 냉장고(10)는 카메라를 더 포함할 수 있다. 일 실시예에 따르면, 냉장고(10)는 카메라를 이용하여 저장실에 저장된 식품을 촬영하여 이미지를 획득할 수 있다.
일 실시예에 따르면, 서버(20)는 제1 서버, 제2 서버 및 제3 서버 포함하는 복수 개의 서버들로 이루어질 수 있다. 예를 들어, 제1 서버는 복수 개의 이미지들을 비교하여 변화 영역을 식별할 수 있다. 제2 서버는, 예를 들면, 이미지에서 식료품을 식별할 수 있다. 제3 서버는, 예를 들면, 가공 식품을 식별할 수 있다.
다양한 실시예에 따르면, 서버(20)는 복수 개의 이미지들을 저장하는 저장 서버를 더 포함할 수 있다.
이하에서는, 서버(20)에서 식료품 인식 방법을 수행하는 것을 가정하여 설명한다.
도 1a에서 서버(20)는 비교 대상 이미지(120)를 기 저장한 상태일 수 있다. 도 1a에서 냉장고(10)는 고내 이미지(110)를 획득할 수 있다.
일 실시예에 따르면, 고내 이미지(110)는 냉장고(10)에 포함된 카메라를 이용하여 획득한 이미지일 수 있다. 예를 들어, 고내 이미지(110)는 냉장고에 포함된 카메라를 이용하여 냉장고(10) 내부의 저장실을 촬영한 이미지일 수 있다.
일 실시예에 따르면, 비교 대상 이미지(120)는 서버(20)가 냉장고(10)로부터 고내 이미지를 전송 받아서 고내 이미지에 포함된 객체를 검출하고, 인식한 이미지일 수 있다. 즉, 비교 대상 이미지(120)는 도 1a의 고내 이미지(110)가 획득되기 이전에 냉장고(10)에 있는 카메라에 의해 획득되고, 서버(20)로 전송되어 서버(20)가 객체 인식을 하고 저장한 이미지일 수 있다.
일 실시예에 따르면, 냉장고(10)는 특정한 이벤트의 발생이 감지 되면, 적어도 하나의 고내 이미지를 획득할 수 있다. 예를 들어, 냉장고(10)는 도어가 열렸다가 닫히는 이벤트가 발생되면, 적어도 하나의 고내 이미지를 획득할 수 있다. 그러나 이에 한정되지는 않는다. 예를 들면, 냉장고(10)는 일정 주기에 맞추어 적어도 하나의 고내 이미지를 촬영하거나, 냉장고(10)의 앞에 사람이 위치하는 것을 감지하여 적어도 하나의 고내 이미지를 촬영할 수도 있다.
일 실시예에 따르면, 냉장고(10)는 획득한 적어도 하나의 고내 이미지(110)를 서버(20)로 전송할 수 있다.
서버(20)는 기 저장된 비교 대상 이미지(120)와 고내 이미지(110)를 이용하여, 고내 이미지(110)에서 비교 대상 이미지(120)와 대비하여 변화가 발생된 변화 영역을 식별할 수 있다. 예를 들어, 서버(20)는 비교 대상 이미지(120)와 고내 이미지(110)를 에지 성분을 강조한 이미지로 변경한 후, 에지 성분에 기반하여 추출한 객체들의 형상을 비교하여 변화 영역을 식별할 수 있다.
일 실시예에 따르면, 서버(20)는 화소차값을 이용하여 변화 영역을 식별할 수 있다. 예를 들어, 서버(20)는 비교 대상 이미지(120)에 포함된 적색 화소값(R), 녹색 화소값(G), 청색 화소값(B)과 고내 이미지(110)의 R, G, B 값을 차분하여 변화 영역을 식별할 수 있다.
일 실시예에 따르면, 서버(20)는 인공 지능 알고리즘을 이용하여 변화 영역을 식별할 수 있다. 예를 들어, 서버(20)는 이미지, 상기 이미지와 동일하나 적어도 일부 영역에 변화가 있는 이미지, 및 변화가 있는 위치 정보를 학습용 데이터로 하여 학습된 식료품 변화 검출 모델에 적어도 하나의 고내 이미지(110)를 적용하여 비교 대상 이미지(120)와 비교하여 고내 이미지(110)에서 변화된 변화 영역을 식별할 수 있다.
도 1a를 참조하면, 식별 결과, 고내 이미지에 변화 영역이 없는 경우에, 서버(20)는 기 저장된 비교 대상 이미지의 인식 결과인 제1 보관 식료품 정보 및 고내 이미지(110)를 냉장고로 전송할 수 있다. 제1 보관 식료품 정보는, 예를 들면, 비교 대상 이미지(120)에서 객체를 검출한 결과를 이용하여 생성한 정보일 수 있다. 또한, 제1 보관 식료품 정보는, 예를 들면, 비교 대상 이미지(120)에서 검출한 식료품의 위치 정보, 식료품이 속하는 식료품의 카테고리 정보, 가공 식품이 속하는 가공 식품의 카테고리 정보, 및 가공 식품의 브랜드 명칭 중 적어도 하나를 포함할 수 있다.
도 1a를 참조하면, 서버(20)는 고내 이미지(110)에서 비교 대상 이미지(120)와 비교하여 변화가 발생된 변화 영역을 획득할 수 없다. 따라서 서버(20)는 제1 보관 식료품 정보를 냉장고(10)로 전송할 정보로 획득할 수 있다. 서버(20)는, 예를 들면, 식료품의 카테고리 정보로서 포도, 및 비교 대상 이미지(120)에서 포도(122)가 위치한 위치 정보를 제1 보관 식료품 정보로서 냉장고(10)로 전송할 수 있다. 또한, 서버(20)는 냉장고(10)로부터 수신했던 고내 이미지(110)를 냉장고(10)로 전송할 수 있다.
다양한 실시예에 따르면, 서버(20)는 냉장고(10)에서 전송된 고내 이미지(110)에 대하여 이미지 보정 처리를 수행한 후 냉장고(10)에 전송할 수 있다. 서버(20)는 카메라 촬영 시에 발생한 흔들림을 보정하는 영상 처리를 수행할 수 있다. 예를 들면, 서버(20)는 이전 이미지와 현재 이미지 사이에 cross-correction algorithm 을 이용하여 흔들림을 보정할 수 있다.
다양한 실시예에 따르면, 서버(20)는 고내 이미지(110)에 대하여 김서림에 의해 발생된 불투명한 영상의 선명도를 향상시키는 영상 처리 등을 고내 이미지(110)에 적용할 수 있다.
이러한 영상 처리를 수행하여, 서버는 고내 이미지(110)에서 높은 정밀도로 객체를 검출할 수 있다. 냉장고(10)는 항상 또는 선택적으로, 서버(20)가 보정한 고내 이미지(110)를 전송 받아서 디스플레이(11)에 표시할 수 있다.
일 실시예에 따르면, 서버(20)는 인공 지능 알고리즘을 이용하여 고내 이미지를 보정할 수 있다. 예를 들어, 서버(20)는 이미지, 상기 이미지에 대하여 김서림 효과를 추가한 이미지, 및 김서림 효과만 표현된 이미지를 학습용 데이터로 하여 학습된 식료품 변화 검출 모델에 적어도 하나의 고내 이미지(110)를 적용하여 김서림이 제거된 이미지를 획득할 수 있다.
일 실시예에 따르면, 냉장고(10)는 서버(20)로부터 수신된 고내 이미지(110) 및 제1 보관 식료품 정보를 디스플레이(11)에 표시할 수 있다.
도 1b에서 서버(20)는 비교 대상 이미지(140)를 기 저장한 상태일 수 있다. 도 1b에서 냉장고(10)는 고내 이미지(130)를 획득할 수 있다.
도 1a에서 상술한 바와 같이, 냉장고(10)는 특정한 이벤트(예를 들면, 도어가 열렸다가 닫히는 이벤트)가 발생되면 적어도 하나 이상의 고내 이미지(130)를 획득할 수 있다.
일 실시예에 따르면, 냉장고(10)는 적어도 하나 이상의 고내 이미지(130)를 서버(20)로 전송할 수 있다. 서버(20)는 기 저장된 비교 대상 이미지(140)와 고내 이미지(130)를 이용하여, 고내 이미지(130)에서 비교 대상 이미지(140)와 대비하여 변화가 발생된 변화 영역을 식별할 수 있다.
예를 들어, 서버(20)는 도 1a에서 상술한 변화 영역 식별 방법들을 이용하여 고내 이미지(130)와 비교 대상 이미지(140)를 비교하고, 고내 이미지(130)에 객체(134)가 추가된 것을 검출하여 변화 영역(132)을 식별할 수 있다.
일 실시예에 따르면, 식별 결과, 고내 이미지에 변화 영역이 있는 경우에, 서버(20)는 고내 이미지(130)에 포함된 객체를 인식한 결과와 제1 보관 식료품 정보를 이용하여 획득한 제2 보관 식료품 정보 및 고내 이미지(130)를 냉장고로 전송할 수 있다.
일 실시예에 따르면, 서버(20)는 비교 대상 이미지(140)와 고내 이미지(130)를 에지 성분을 강조한 이미지로 변경한 후, 에지 성분에 기반하여 추출한 객체의 형상을 찾고, 객체의 형상을 서버(20)에 저장된 데이터와 비교하여 객체가 속한 식료품의 카테고리를 인식할 수 있다. 식료품의 카테고리는, 예를 들면, 유사한 식료품을 대표할 수 있는 명칭일 수 있다.
일 실시예에 따르면, 서버(20)는 객체가 가공 식품으로 인식되면, 추가적으로 서버(20)에 저장된 별도의 가공 식품 데이터를 이용하여 가공 식품이 속한 가공 식품의 카테고리 및/또는 가공 식품의 브랜드 명칭을 인식할 수 있다.
일 실시예에 따르면, 서버(20)는 인공 지능 알고리즘을 이용하여 객체를 검출하고, 검출된 객체가 속한 식료품의 카테고리를 인식할 수 있다. 예를 들어, 서버(20)는 식료품이 있는 이미지, 식료품이 속하는 식료품의 카테고리, 및 상기 이미지에서 식료품이 있는 위치 정보를 학습용 데이터로 하여 학습된 식료품 인식 모델에 고내 이미지(130)를 적용하여 객체를 검출하고, 객체가 속하는 식료품 카테고리를 인식할 수 있다.
일 실시예에 따르면, 서버(20)는 식료품 식별 모델을 이용하여 객체를 인식한 결과, 객체가 가공 식품으로 인식되는 경우에, 가공 식품 인식 모델을 이용하여 객체가 속한 가공 식품의 카테고리 및/또는 가공 식품의 브랜드 명칭을 인식할 수 있다. 예를 들어, 서버(20)는 동일 가공 식품에 대한 여러 장의 이미지, 가공 식품의 카테고리 및 가공식품의 브랜드 명칭을 학습용 데이터로 하여 이미지 유사도 기반으로 학습된 가공 식품 인식 모델을 이용하여 가공 식품 데이터 베이스 안에서 고내 이미지(130) 안에서 검출된 가공 식품들의 카테고리 및/또는 가공 식품의 브랜드 명칭을 인식할 수 있다. 가공 식품 데이터 베이스는, 예를 들면, 다양한 가공 식품의 이미지를 이용하여 가공 식품의 카테고리 및 가공 식품의 브랜드 명칭을 저장한 데이터 베이스일 수 있다.
도 1b의 (b)를 참조하면, 서버(20)는 고내 이미지(130)에서 추가된 객체(134)를 검출하고 인식할 수 있다. 예를 들어, 서버(20)는 고내 이미지(130)에서 추가된 객체(134)의 카테고리 정보로서 커피 음료를 검출하고, 인식할 수 있다. 또한 서버(20)는 고내 이미지(130)에서 커피 음료(134)가 위치한 위치 정보를 획득할 수 있다.
다양한 실시예에 따르면, 서버(20)는 고내 이미지에서 객체를 검출하는 경우에, 변화 영역에서만 객체를 검출할 수 있다. 예를 들어, 서버(20)는 변화 영역(142)에서만 객체를 검출하고, 인식할 수 있다. 이로 인해, 서버(20)는 고내 이미지(130)의 전체 영역에 대하여 객체를 검출하고, 인식하는 것에 비하여 데이터 처리 부하를 줄일 수 있다.
전술한 바와 같이, 서버(20)는 고내 이미지에서 객체를 인식하고, 추가적으로 제1 보관 식료품 정보를 이용하여 제2 보관 식료품 정보를 획득할 수 있다.
일 실시예에 따르면, 서버(20)는 고내 이미지(130)에서 커피 음료(134)의 의해 가려지는 객체(142)가 있는 것을 식별할 수 있다. 서버(20)는 제1 보관 식료품 정보에서 검출된 객체들의 정보 및 각 객체들의 위치 정보를 획득할 수 있다. 예를 들어, 서버(20)는 비교 대상 이미지(140)에서 객체(142)가 놓여진 위치에 포도가 있는 것을 식별할 수 있다.
상술한 바와 같이, 서버(20)는 고내 이미지(130)에서 새롭게 객체를 검출한 결과(예: 커피 음료가 추가된 정보)와 제1 보관 식료품 정보에서 획득한 정보(예: 커피 음료가 놓인 자리에 포도가 있었던 정보)를 이용하여 제2 보관 식료품 정보를 획득할 수 있다. 서버(20)는 획득한 제2 보관 식료품 정보와 고내 이미지(130)를 냉장고(10)로 전송할 수 있다.
일 실시예에 따르면, 냉장고(10)는 서버(20)로부터 수신된 고내 이미지(130) 및 제2 보관 식료품 정보를 디스플레이(11)에 표시할 수 있다.
다양한 실시예에 따르면, 냉장고(10)는 복수 개의 카메라를 포함할 수 있다. 예를 들면, 냉장고(10)는 제1 저장실을 촬영하는 제1 카메라, 제2 저장실을 촬영하는 제2 카메라를 포함할 수 있다. 그러나 이에 한정되지는 않는다. 예를 들면, 냉장고(10)는 냉장고(10)에 포함된 저장실의 개수에 대응하는 개수의 카메라를 포함할 수 있다.
냉장고(10)는 제1 카메라와 제2 카메라를 이용하여 제1 고내 이미지와 제2 고내 이미지를 획득할 수 있다. 냉장고(10)는 제1 고내 이미지와 제2 고내 이미지를 서버(20)로 전송할 수 있다. 서버(20)는 도 1a 및 도 1b에서 상술한 과정을 이용하여 제1 고내 이미지 및 제2 고내 이미지에 대하여 변화 영역을 식별할 수 있다.
예를 들면, 제1 고내 이미지에 변화 영역이 없는 경우에, 서버(20)는 제1 저장실에 대하여는 제1-1 보관 식료품 정보(예를 들면, 제1 비교 대상 이미지에 포함된 객체를 이용하여 획득한 정보) 및 제1 고내 이미지를 냉장고로 전송할 수 있다. 또한 제2 고내 이미지에 변화 영역이 있는 경우에, 서버(20)는 제2 저장실에 대하여는 제2 고내 이미지에 포함된 객체를 인식한 결과와 제1-2 보관 식료품 정보(예를 들면, 제2 비교 대상 이미지에 포함된 객체를 이용하여 획득한 정보)를 이용하여 획득한 제2-2 보관 식료품 정보 및 제2 고내 이미지를 냉장고로 전송할 수 있다.
이와 같이, 본 개시의 일 실시예에 따른 식료품 인식 방법은 기 저장된 비교 대상 이미지와 새롭게 획득한 고내 이미지를 비교한 식별 결과에 따라서, 종래 저장된 데이터를 활용하거나 또는 새롭게 획득한 고내 이미지에서 추출한 데이터와 종래 저장된 데이터를 동시에 활용할 수 있다. 이로 인해, 본 개시의 일 실시예에 따른 식료품 인식 방법은 고내 이미지에 속한 객체의 인식률을 높이고, 서버(20)의 부하를 줄일 수 있다.
도 2는 일 실시예에 따른 냉장고 및 서버의 개략적인 블록도이다.
도 2의 (a)를 참조하면, 일 실시예에 따른 냉장고(10)는 프로세서(210), 통신부(220), 카메라(230) 및 메모리(240)를 포함할 수 있다. 그러나 이에 한정되는 것은 아니다. 예를 들어, 냉장고(10)는 구성 요소를 더 포함하거나, 일부 구성 요소를 포함하지 않을 수 있다.
일 실시예에 따르면, 프로세서(210)는 냉장고(10)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(210)는 통신부(220)를 통해 사용자의 입력을 수신할 수 있다. 프로세서(210)는 메모리(240)를 제어하여 저장된 프로그램을 실행시키고, 필요한 정보를 불러오거나 저장할 수 있다.
일 실시예에 따르면, 프로세서(210)는 기 설정된 이벤트가 발생되는 경우, 적어도 하나의 고내 이미지를 촬영하도록 카메라(230)를 제어할 수 있다. 프로세서(210)는 기 저장된 비교 대상 이미지와 고내 이미지를 이용하여 고내 이미지에서 비교 대상 이미지와 대비하여 변화가 발생된 변화 영역을 식별할 수 있다. 프로세서(210)는 고내 이미지에 변화 영역이 없는 경우에, 비교 대상 이미지의 인식 결과인 제1 보관 식료품 정보를 획득하고, 고내 이미지에 변화 영역이 있는 경우에, 통신부(220)를 제어하여 고내 이미지를 서버(20)로 전송하고, 서버(20)가 전송에 대응하여 고내 이미지에서 객체를 인식한 결과와 제1 보관 식료품 정보를 이용하여 획득한 제2 보관 식료품 정보를 수신할 수 있다.
일 실시예에 따르면, 통신부(220)는 프로세서(210)의 제어에 의해 냉장고(10)를 외부 장치와 연결할 수 있다. 통신부(220)는 냉장고(10)의 성능 및 구조에 대응하여 무선 랜, 블루투스 및 유선 이더넷(Ethernet) 등 다양한 유선 또는 무선 통신 방법을 구현하는 구성 요소들 중 하나를 포함할 수 있다.
일 실시예에 따르면, 메모리(240)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
일 실시예에 따르면, 메모리(240)는 기 설정된 이벤트가 발생되는 경우, 적어도 하나의 고내 이미지를 촬영하도록 카메라(230)를 제어하고, 기 저장된 비교 대상 이미지와 고내 이미지를 이용하여 고내 이미지에서 비교 대상 이미지와 대비하여 변화가 발생된 변화 영역을 획득하고, 고내 이미지에 변화 영역이 없는 경우에, 제1 보관 식료품 정보를 획득하고, 고내 이미지에 변화 영역이 있는 경우에, 통신부(220)를 제어하여 고내 이미지를 서버(20)로 전송하고, 서버(20)가 전송에 대응하여 고내 이미지에서 객체를 인식한 결과와 제1 보관 식료품 정보를 이용하여 획득한 보관 식료품 정보를 수신하도록 설정된 명령어들을 저장할 수 있다.
일 실시예에 따르면, 카메라(230)는 냉장고(10)에 포함되어 냉장고(10)의 저장실을 촬영할 수 있다. 그러나 이에 한정되지는 않는다. 예를 들어, 카메라(230)는 냉장고(10)의 내부인 저장실 및 냉장고(10)의 외부도 촬영할 수 있다. 카메라(230)는 제1 카메라, 제2 카메라 또는 제3 카메라를 포함할 수 있다. 예를 들어, 제1 카메라는 제1 저장실을 촬영할 수 있다. 제2 카메라는 제2 저장실을 촬영할 수 있고, 제3 카메라는 제3 저장실을 촬영할 수 있다.
다양한 실시예에 따르면, 카메라(230)는 냉장고(10)의 도어에 마련될 수 있다. 그러나 이에 한정되는 것은 아니다.
도 2의 (b)를 참조하면, 서버(20)는 데이터 획득부(250), 데이터 처리부(260) 및 데이터 출력부(270)를 포함할 수 있다.
일 실시예에 따르면, 데이터 획득부(250)는 냉장고에서 촬영된 적어도 하나의 고내 이미지를 획득할 수 있다.
일 실시예에 따르면, 데이터 처리부(260)는 기 저장된 비교 대상 이미지와 고내 이미지를 이용하여 고내 이미지에서 비교 대상 이미지와 대비하여 변화가 발생된 변화 영역을 식별할 수 있다.
일 실시예에 따르면, 데이터 출력부(270)는 변화 영역이 없는 경우에 기 저장된 비교 대상 이미지의 인식 결과인 제1 보관 식료품 정보 및 고내 이미지를 냉장고로 전송할 수 있다.
일 실시예에 따르면, 데이터 처리부(260)는 고내 이미지에 변화 영역이 있는 경우에, 고내 이미지에 포함된 객체를 인식한 결과와 제1 보관 식료품 정보를 이용하여 제2 보관 식료품 정보를 획득하고, 데이터 출력부(270)는 제2 보관 식료품 정보 및 고내 이미지를 냉장고로 전송할 수 있다.
도 3은 일 실시예에 따른 프로세서의 블록도이다.
도 3을 참조하면, 다양한 실시예에 따른 프로세서(310)는 데이터 학습부(320) 및 데이터 인식부(330)를 포함할 수 있다. 프로세서(310)는 도 2의 (a)의 프로세서(210) 및 도 2의 (b)의 데이터 처리부(260)를 포함할 수 있다.
일 실시예에 따르면, 데이터 학습부(320)는 식료품 변화 검출 모델이 이미지에서 변화 영역을 식별하는 기준을 갖도록 학습할 수 있다. 데이터 학습부(320)는 식료품 변화 검출 모델이 이미지에서 변화 영역을 식별하기 위해 어떤 학습용 데이터를 이용할 지, 또는 학습용 데이터를 이용하여 이미지에서 어떻게 변화 영역을 식별할 지에 관한 기준을 갖도록 학습할 수 있다.
일 실시예에 따르면, 데이터 학습부(320)는 학습용 데이터로서, 이미지, 상기 이미지와 동일하나 적어도 일부 영역에 변화가 있는 이미지, 및 변화가 있는 위치 정보를 이용하여 식료품 변화 검출 모델을 학습시킬 수 있다.
예를 들어, 학습용 데이터는, 우유와 사과가 있는 저장실 이미지, 상기 저장실에 오이가 추가된 이미지, 및 오이가 추가된 위치에 대한 정보일 수 있다.
다양한 실시예에 따르면, 데이터 학습부(320)는 식료품 변화 검출 모델이 고내 이미지를 보정하는 기준을 갖도록 학습할 수 있다. 데이터 학습부(320)는 식료품 변화 검출 모델이 이미지를 보정하기 위해 어떤 학습용 데이터를 이용할 지. 또는 학습용 데이터를 이용하여 이미지를 어떻게 보정할 지에 관한 기준을 갖도록 학습할 수 있다.
다양한 실시예에 따르면, 데이터 학습부(320)는 학습용 데이터로서, 이미지, 상기 이미지에 대하여 김서림 효과를 추가한 이미지, 및 김서림 효과만 표현된 이미지를 이용하여 식료품 변화 검출 모델을 학습시킬 수 있다.
일 실시예에 따르면, 데이터 인식부(330)는 다양한 종류의 인식용 데이터에 기초하여, 이미지에서 변화 영역을 식별할 수 있다. 데이터 인식부(330)는 학습된 식료품 변화 검출 모델을 이용하여 입력된 적어도 하나의 고내 이미지에서 비교 대상 이미지와 대비하여 변화된 영역을 식별할 수 있다.
일 실시예에 따르면, 데이터 인식부(330)는 입력된 적어도 하나의 고내 이미지와 비교 대상 이미지를 식료품 변화 검출 모델의 입력값으로 하여, 적어도 하나의 고내 이미지에서 변화 영역을 식별한 결과와 식별 결과에 대한 사용자의 응답(또는, 피드백)을 식료품 변화 검출 모델을 갱신하는데 이용할 수 있다. 이로 인해, 식료품 변화 검출 모델은 사용자의 성향에 맞추어 변화 영역을 식별할 확률을 높일 수 있다.
예를 들여, 귤과 사과가 포함된 비교 대상 이미지와 상기 이미지와 동일하나 멜론이 포함된 고내 이미지가 입력되는 경우, 데이터 인식부(330)는 멜론이 포함된 이미지에서 멜론이 추가된 영역을 식별할 수 있다.
다양한 실시예에 따르면, 데이터 인식부(330)는 다양한 종류의 인식용 데이터에 기초하여, 이미지를 보정할 수 있다. 데이터 인식부(330)는 학습된 식료품 변화 검출 모델을 이용하여 입력된 적어도 하나의 고내 이미지를 보정할 수 있다.
다양한 실시예에 따르면, 데이터 인식부(330)는 입력된 적어도 하나의 고내 이미지를 식료품 변화 검출 모델의 입려값으로 하여, 적어도 하나의 고내 이미지를 보정한 결과와 보정 결과에 대한 사용자의 응답(또는, 피드백)을 식료품 변화 검출 모델을 갱신하는데 이용할 수 있다. 이로 인해, 식료품 변화 검출 모델은 사용자의 성향에 맞추어 이미지를 보정할 수 있다.
예를 들어, 바나나가 있고 김서림이 발생된 이미지가 고내 이미지로 입력되는 경우, 데이터 인식부(330)는 김서림을 제거하고 바나나가 선명하게 보이는 이미지로 보정할 수 있다.
일 실시예에 따르면, 데이터 학습부(320)는 식료품 인식 모델이 이미지에서 식료품의 카테고리를 검출하고 인식하는 기준을 갖도록 학습할 수 있다. 데이터 학습부(320)는 식료품 인식 모델이 이미지에서 식료품의 카테고리를 검출하고 인식(또는, 식별)하기 위해 어떤 학습용 데이터를 이용할 지, 또는 학습용 데이터를 이용하여 이미지에서 어떻게 식료품의 카테고리를 검출하고 인식할 지에 관한 기준을 갖도록 학습할 수 있다.
일 실시예에 따르면, 데이터 학습부(320)는 학습용 데이터로서, 식료품이 있는 이미지, 식료품이 속하는 식료품의 카테고리, 및 상기 이미지에서 식료품이 있는 위치 정보를 이용하여 식료품 인식 모델을 학습시킬 수 있다.
예를 들어, 학습용 데이터는, 오이와 사과가 있는 저장실 이미지, 오이와 사과라는 식료품의 카테고리(예를 들면, 오이와 사과의 명칭), 및 상기 이미지에서 오이와 사과의 위치 정보일수 있다.
일 실시예에 따르면, 데이터 인식부(330)는 다양한 종류의 인식용 데이터에 기초하여, 이미지에 포함된 식료품의 카테고리를 인식할 수 있다. 데이터 인식부(330)는 학습된 식료품 인식 모델을 이용하여 입력된 이미지에 기초하여 이미지에 포함된 식료품의 카테고리를 검출하고, 인식(또는, 식별)할 수 있다.
일 실시예에 따르면, 데이터 인식부(330)는 입력된 이미지를 식료품 인식 모델의 입력값으로 하여 이미지에 포함된 식료품의 카테고리를 인식한 결과와 인식 결과에 대한 사용자의 응답을 식료품 인식 모델을 갱신하는데 이용할 수 있다. 이로 인해, 식료품 인식 모델은 사용자의 성향에 맞추어 객체를 인식할 확률을 높일 수 있다.
예를 들어, 오렌지와 사과가 포함된 이미지가 입력되는 경우, 데이터 인식부(330)는 오렌지와 사과를 검출하고, 인식하여 이미지에서 오렌지와 사과라는 식료품의 카테고리를 획득할 수 있다.
일 실시예에 따르면, 데이터 학습부(320)는 가공 식품 인식 모델이 같은 상품 이미지를 가공 식품 데이터베이스 안에서 찾을 수 있는 기준을 갖도록 학습할 수 있다. 데이터 학습부(320)는 가공 식품 인식 모델이 이미지에서 가공 식품을 검색(또는, 식별)하기 위해 어떤 학습용 데이터를 이용할 지, 또는 학습용 데이터를 이용하여 이미지에서 어떻게 식료품을 검색하고 인식할 지에 관한 기준을 갖도록 학습할 수 있다.
일 실시예에 따르면, 데이터 학습부(320)는 학습용 데이터로서, 동일 가공 식품에 대한 여러 장의 이미지, 가공 식품의 카테고리 및 가공 식품의 브랜드 명칭을 이용하여 가공 식품 검색 모델을 학습시킬 수 있다.
예를 들어, 학습용 데이터는, 다양한 종류의 우유 이미지들, 우유라는 가공 식품 카테고리, 및 각각의 우유들의 브랜드 명칭일 수 있다.
데이터 인식부(330)는 다양한 종류의 인식용 데이터에 기초하여, 이미지에 포함된 가공 식품의 카테고리를 인식할 수 있다. 데이터 인식부(330)는 학습된 가공 식품 인식 모델을 이용하여 입력된 이미지에 기초하여 이미지에 포함된 가공 식품의 카테고리를 검출하고 인식(또는, 식별)할 수 있다.
일 실시예에 따르면, 데이터 인식부(330)는 입력된 이미지를 가공 식품 인식 모델의 입력값으로 하여 이미지에 포함된 가공 식품의 카테고리를 인식한 결과와 인식 결과에 대한 사용자의 응답을 가공 식품 인식 모델을 갱신하는데 이용할 수 있다. 이로 인해, 가공 식품 인식 모델은 사용자의 성향에 맞추어 객체를 인식할 확률을 높일 수 있다.
예를 들어, 우유가 포함된 이미지가 입력되는 경우, 데이터 인식부(330)는 우유를 검출하고, 인식하여 이미지에서 우유라는 식료품의 카테고리 및 우유의 브랜드 명칭을 획득할 수 있다.
식료품 변화 검출 모델, 식료품 인식 모델, 및 가공 식품 인식 모델은 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 식료품 변화 검출 모델, 식료품 인식 모델, 및 가공 식품 인식 모델은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 식료품 변화 검출 모델, 식료품 인식 모델, 및 식료품 변화 검출 모델, 식료품 인식 모델, 및 가공 식품 인식 모델은, 일 예로, 신경망 모델, 또는 신경망 모델에서 발전한 딥 러닝 모델을 포함할 수 있다. 딥 러닝 모델에서 복수의 네트워크 노드들은 서로 다른 깊이(또는, 레이어)에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다. 예컨대, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 식료품 변화 검출 모델, 식료품 인식 모델, 및 가공 식품 인식 모델이 사용될 수 있으나, 이에 한정되지 않는다.
데이터 학습부(320) 및 데이터 인식부(330) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 학습부(320) 및 데이터 인식부(330) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
일 실시예에 따르면, 인공 지능을 위한 전용 하드웨어 칩은 확률 연산에 특화된 전용 프로세서로서, 기존의 범용 프로세서 보다 병렬처리 성능이 높아 기계 학습과 같은 인공 지능 분야의 연산 작업을 빠르게 처리할 수 있다.
데이터 학습부(320) 및 데이터 인식부(330)는 하나의 장치에 탑재될 수도 있으며, 또는 별개의 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(320) 및 데이터 인식부(330) 중 하나는 냉장고(10)에 포함되고, 나머지 하나는 서버(20)에 포함될 수 있다. 또는, 데이터 학습부(320) 및 데이터 인식부(330) 중 하나는 제1 서버에 포함되고, 하나는 제1 서버와 다른 제2 서버에 포함될 수 있다. 또한, 데이터 학습부(320) 및 데이터 인식부(330)는 유선 또는 무선으로 통하여, 데이터 학습부(320)가 구축한 식료품 변화 검출 모델, 식료품 인식 모델, 및 가공 식품 인식 모델 정보를 데이터 인식부(330)로 제공할 수도 있고, 데이터 인식부(330)로 입력된 데이터가 추가 학습용 데이터로서 데이터 학습부(320)로 제공될 수도 있다.
한편, 데이터 학습부(320) 및 데이터 인식부(330) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(320) 및 데이터 인식부(330) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 4는 일 실시예에 따른 식료품 인식 방법에서 복수 개의 카메라를 활용하는 상황을 설명하는 도면들이다.
일 실시예에 따르면, 냉장고(10)는 저장실을 촬영하는 복수 개의 카메라들을 포함할 수 있다. 예를 들어, 냉장고(10)는 저장실을 촬영하는 제1 카메라, 제2 카메라를 포함할 수 있다. 각각의 카메라는 대략 150도 내지 180도의 화각을 촬영할 수 있는 렌즈 모듈을 포함할 수 있다. 카메라가 마련되는 예시적인 위치는 도 13에서 설명한다.
일 실시예에 따르면, 제1 카메라는 제1 저장실(401)을 촬영하고, 제2 카메라는 제1 저장실의 아래에 위치하는 제2 저장실(402)을 촬영할 수 있다. 다양한 실시예에 따르면, 제1 저장실(401)과 제2 저장실 사이(402)의 선반(430)은 투명한 유리 또는 플라스틱 재질일 수 있다.
도 4의 (a)는 제1 고내 이미지(410)이다. 제1 고내 이미지(410)는, 예를 들면, 제1 카메라를 이용하여 제1 저장실(401)을 촬영한 이미지일 수 있다. 도 4의 (b)는 제2 고내 이미지(420)의 일부 영역이다. 제2 고내 이미지(420)는, 예를 들면, 제2 카메라를 이용하여 제2 저장실(402)을 촬영한 이미지일 수 있다. 특히, 도 4의 (b)는 제2 카메라에 의해 획득된 제2 고내 이미지(420) 중에서 투명한 선반(430)을 통하여 제1 저장실(401)이 보이는 영역을 표시한 제2 고내 이미지(420)의 일부 영역일 수 있다.
도 4의 (a)를 참조하면, 서버(20)는 제1 고내 이미지(410)에서 변화 영역(412)을 식별한 상태이다. 예를 들면, 서버(20)는 제1 고내 이미지(410)와 기 저장된 제1 비교 대상 이미지를 이용하여 제1 고내 이미지(410)에서 변화 영역을 식별할 수 있다.
다양한 실시예에 따르면, 냉장고(10)가 제1 고내 이미지(410)에서 변화 영역을 식별할 수도 있다. 예를 들면, 냉장고(10)는 카메라를 이용하여 획득한 제1 고내 이미지(410)와 냉장고(10)에 기 저장된 제1 비교 대상 이미지를 이용하여 제1 고내 이미지(410)에서 변화 영역을 식별할 수 있다. 이 경우, 제1 비교 대상 이미지는, 제1 카메라를 이용하여 촬영되고, 서버(20)로 전송되어 서버(20)가 식료품을 검출하고, 인식한 후 냉장고(10)로 전송한 이미지일 수 있다.
도 1b에서 상술한 바와 같이, 서버(20)는 고내 이미지에서 변화 영역을 획득한 경우에, 고내 이미지에 포함된 객체를 인식한 결과와 제1 보관 식료품 정보를 이용하여 획득한 제2 보관 식료품 정보 및 고내 이미지를 냉장고로 전송할 수 있다.
다양한 실시예에 따르면, 서버(20)가 복수 개의 고내 이미지들을 저장한 경우에는 서버(20)는 복수 개의 고내 이미지들을 이용하여 고내 이미지에 포함된 객체를 인식할 수 있다. 즉, 제1 고내 이미지에 포함된 객체를 인식할 때, 제2 고내 이미지를 이용할 수 있다.
예를 들어, 서버(20)는 제1 고내 이미지(410)에서 가공 식품의 카테고리 정보로서 와인(414)을 검출하고, 인식할 수 있다. 서버(20)는 제1 고내 이미지에서 와인(414)에 의해 가려지는 객체(422)가 있는 것을 식별할 수 있다.
서버(20)는 제2 고내 이미지(420)에서 객체(422)를 검출하고 인식할 수 있다. 예를 들어, 서버(20)는 제2 고내 이미지(420)에서 와인(414)과 사과(422)를 검출하고 인식할 수 있다. 서버(20)는 와인(414)과 사과(422)가 제2 고내 이미지(420)의 상측에서 인식된 것에 기반하여 와인(414)과 사과(422)는 제1 저장실(401)에 보관된 식료품 또는 가공 식품인 것으로 식별할 수 있다. 또는, 서버(20)는 선반(430)을 식별하고, 와인(414)과 사과(422)가 선반(430)위에 놓여진 것에 기반하여 와인(414)과 사과(422)는 제1 저장실(401)에 보관된 식료품인 것으로 식별할 수 있다.
일 실시예에 따르면, 서버(20)는 제2 고내 이미지(420)에서 사과(422)를 인식한 결과를 이용하여, 제1 고내 이미지(410)에서 와인(414)뒤에 놓여진 객체(422)가 사과인 것을 인식할 수 있다.
이와 같이, 본 개시의 일 실시예에 따른 식료품 인식 방법은 복수 개의 고내 이미지를 조합하여 다른 식료품에 의해 가려져 있는 식료품을 인식할 수 있다.
도 5는 일 실시예에 따른 식료품 인식 방법의 결과를 이용하여 식료품의 카테고리를 결정하는 상황을 설명하는 도면들이다.
도 5의 (a)를 참조하면, 냉장고(10)는 획득한 적어도 하나의 고내 이미지 및 보관 식료품 정보를 이용하여 디스플레이(510)에 냉장고(10)에 보관하고 있는 식료품들을 표시할 수 있다. 디스플레이(510)는 도 1a의 디스플레이(10)를 포함할 수 있다.
일 실시예에 따르면, 냉장고(10)는 식료품 인식 방법을 이용하여 인식된 식료품의 카테고리를 식료품과 함께 디스플레이(510)에 표시할 수 있다. 예를 들어, 냉장고(10)는 카테고리가 식별된 사과(501), 시금치(502), 포도(505)에 대하여는 각각의 식료품에 인접하여 “사과”, “시금치”, “포도”라고 카테고리를 함께 표시할 수 있다.
다양한 실시예에 따르면, 냉장고(10)는 식료품 인식 방법을 이용하여 인식된 식료품이 포함될 수 있는 후보 카테고리를 제공할 수 있다.
도 5의 (a)를 참조하면, 냉장고(10)는 디스플레이(501)에 표시된 식료품들 하나의 객체(520)를 선택하는 사용자의 입력(530)을 수신할 수 있다.
도 5의 (b)를 참조하면, 냉장고(10)는 선택된 객체(520)가 포함될 수 있는 후보 카테고리들(540)을 디스플레이(510)에 표시할 수 있다. 후보 카테고리들(540)은, 예를 들면, 도 1b에서 상술한 바와 같이, 서버(20)가 고내 이미지에서 객체를 검출하고, 인식한 카테고리들일 수 있다.
일 실시예에 따르면, 냉장고(10)는 후보 카테고리들(540) 중에서 하나를 선택하는 사용자의 입력을 수신할 수 있다. 즉, 사용자는 디스플레이(510)에 표시된 후보 카테고리들(540) 중에서 객체(520)가 포함되는 카테고리를 결정하고 선택할 수 있다.
도 5의 (c)를 참조하면, 냉장고(10)는 사용자가 입력한 카테고리(541)를 검출된 객체(520)의 카테고리로 결정하여 디스플레이(510)에 표시할 수 있다.
일 실시예에 따른 식료품 인식 방법은 사용자가 객체(520)에 대하여 선택한 카테고리(541)를 학습용 데이터로 이용할 수 있다. 예를 들어, 냉장고(10)는 객체(520)와 객체(520)에 대하여 사용자가 선택한 카테고리(541)를 서버(20)로 전송할 수 있다. 서버(20)는 수신된 데이터를 학습용 데이터로 하여 데이터 학습부(320)에 적용할 수 있다. 데이터 학습부(320)는 수신된 데이터를 이용하여 식료품 인식 모델을 학습시킬 수 있다. 사용자의 피드백으로 생성된 데이터가 식료품 인식 모델의 학습용 데이터로서 활용되는 회수가 늘어나면, 식료품 인식 모델은 사용자의 성향에 맞추어 객체를 인식할 확률을 높일 수 있다.
도 6은 일 실시예에 따른 식료품 인식 방법의 결과를 이용하여 요리법을 획득하는 상황을 설명하는 도면들이다.
도 6의 (a)를 참조하면, 냉장고(10)는 획득한 적어도 하나의 고내 이미지들을 이용하여 디스플레이(510)에 냉장고(10)에 보관하고 있는 식료품들을 표시할 수 있다. 냉장고(10)는 식료품 인식 방법을 이용하여 인식된 식료품의 카테고리를 식료품과 함께 디스플레이(510)에 표시할 수 있다.
일 실시예에 따르면, 냉장고(10)는 인식된 식료품의 카테고리를 이용하여 요리법을 제공할 수 있다.
도 6의 (a)를 참조하면, 냉장고(10)는 디스플레이(510)에 요리법을 제공하는 실행 객체(610)를 표시할 수 있다. 냉장고(10)는 요리법을 제공하는 실행 객체(610)를 선택하는 사용자의 입력(620)을 수신할 수 있다.
도 6의 (b)를 참조하면, 냉장고(10)는 실행 객체(620)를 선택하는 사용자의 입력에 따라서, 보관된 식료품을 이용하여 만들 수 있는 음식에 대한 요리법(630)을 디스플레이(510)에 표시할 수 있다.
예를 들어, 냉장고(10)는 요리법을 제공하는 서버에 보관된 식료품의 카테고리를 전송하고, 서버가 수신된 식료품의 카테고리를 이용하여 획득한 요리법(630)을 수신하여 디스플레이(510)에 표시할 수 있다.
다양한 실시예에 따르면, 냉장고(10)는 식료품의 카테고리에 우선순위를 정하여 서버로 전송할 수 있다. 예를 들면, 냉장고(10)는 냉장고(10)에 보관된 날짜가 오래된 식료품의 카테고리들의 우선순위를 높게 선정하여 서버로 전송할 수 있다. 이로 인해, 냉장고(10)는 식료품의 유통 기한이 오래된 식료품부터 사용할 수 있도록 사용자에게 제공할 수 있다.
다양한 실시예에 따르면, 냉장고(10)는 메모리(예: 도 2의 메모리(240))에 다양한 요리법을 저장할 수 있다. 이 경우, 냉장고(10)는 사용자의 요청에 따라서, 서버(20)로부터 수신된 식료품의 카테고리를 이용하여 만들 수 있는 음식에 대한 요리법(630)을 디스플레이(510)에 표시할 수 있다.
도 7은 일 실시예에 따른 식료품 인식 방법의 결과를 이용하여 물건을 구매하는 상황을 설명하는 도면들이다.
도 7의 (a)를 참조하면, 냉장고(10)는 획득한 적어도 하나의 고내 이미지들을 이용하여 디스플레이(510)에 냉장고(10)에 보관하고 있는 식료품들을 표시할 수 있다. 냉장고(10)는 식료품 인식 방법을 이용하여 인식된 식료품의 카테고리를 식료품과 함께 디스플레이(510)에 표시할 수 있다.
일 실시예에 따르면, 냉장고(10)는 인식된 식료품의 카테고리를 이용하여 사용자에게 식료품의 구매를 안내할 수 있다.
도 7의 (a)를 참조하면, 냉장고(10)는 디스플레이(510)에 식료품 구매 사이트에 연결하는 실행 객체(710)를 표시할 수 있다. 냉장고(10)는 식료품 구매 사이트에 연결하는 실행 객체(710)를 선택하는 사용자의 입력(720)을 수신할 수 있다.
도 7의 (b)를 참조하면, 냉장고(10)는 실행 객체(710)를 선택하는 사용자의 입력(720)에 따라서, 식료품 구매 사이트(730)를 디스플레이(510)에 표시할 수 있다.
예를 들어, 냉장고(10)는 냉장고(10)에 보관된 이력이 있으나 현재 보관되지 않은 식료품의 카테고리를 판매하는 식료품 구매 사이트에 접속할 수 있다. 또는, 냉장고(10)는 날짜 정보를 이용하여 현재의 계절에 적합한 식료품의 카테고리를 판매하는 식료품 구매 사이트에 접속할 수 있다.
다양한 실시예에 따르면, 냉장고(10)는 도 6에서 디스플레이(510)에 표시했던 요리법에 사용되는 식료품들의 정보를 이용하여, 사용자가 자주 선택한 요리법에 사용되는 식료품이지만 현재 냉장고(10)에 보관되지 않은 식료품의 카테고리를 판매하는 식료품 구매 사이트에 접속할 수 있다.
도 8은 일 실시예에 따른 식료품 인식 방법의 결과를 이용하여 건강 정보를 제공하는 상황을 설명하는 도면들이다.
도 8의 (a)를 참조하면, 냉장고(10)는 획득한 적어도 하나의 고내 이미지들을 이용하여 디스플레이(510)에 냉장고(10)에 보관하고 있는 식료품들을 표시할 수 있다. 냉장고(10)는 식료품 인식 방법을 이용하여 인식된 식료품의 카테고리를 식료품과 함께 디스플레이(510)에 표시할 수 있다.
일 실시예에 따르면, 냉장고(10)는 인식된 식료품의 카테고리를 이용하여 사용자의 건강 정보를 안내할 수 있다.
도 8의 (a)를 참조하면, 냉장고(10)는 디스플레이(510)에 건강 정보를 표시하는 실행 객체(810)를 표시할 수 있다. 냉장고(10)는 건강 정보를 표시하는 실행 객체(810)를 선택하는 사용자의 입력(820)을 수신할 수 있다.
도 8의 (b)를 참조하면, 냉장고(10)는 실행 객체(810)를 선택하는 사용자의 입력에 따라서, 건강 정보(830)를 디스플레이(510)에 표시할 수 있다.
예를 들어, 냉장고(10)는 냉장고(10)에 보관된 식료품이 가지고 있는 칼로리를 저장할 수 있다. 냉장고(10)는 식료품이 줄어들거나 또는 없어지는 상황에 따라서 사용자가 섭취한 칼로리를 추정하여 건강 정보로서 제공할 수 있다.
다양한 실시예에 따르면, 냉장고(10)는 식료품이 줄어들거나 또는 없어지는 시간을 이용하여 사용자가 아침, 점심, 및 저녁에 섭취한 칼로리를 추정하여 건강 정보로서 제공할 수 있다. 또는 냉장고(10)는 식료품이 줄어들거나 또는 없어지는 시간을 이용하여 사용자가 일주일, 또는 한달 동안 섭취한 칼로리를 추정하여 건강 정보로서 제공할 수 있다.
다양한 실시예에 따르면, 냉장고(10)는 사용자의 운동량을 측정할 수 있는 개인 디바이스 또는 웨어러블 디바이스로부터 운동량에 대한 정보를 수신할 수 있다. 냉장고(10)는 수신한 운동량 정보(예를 들면, 소모 칼로리 등)를 건강 정보(830)에 포함하여 제공할 수 있다.
상기 도 5 내지 도 8의 설명은 냉장고(10)에 포함된 디스플레이(510)를 이용하는 것을 가정하여 설명하였으나, 이에 한정되는 것은 아니다. 예를 들면, 서버(20)는 고내 이미지, 제1 보관 식료품 정보, 또는 제2 보관 식료품 정보를 냉장고(10)가 아닌 타 전자 장치(예를 들면, 스마트 폰 등)으로 전송할 수 있다. 이 경우, 사용자는 타 전자 장치에 포함되는 디스플레이를 이용하여 도 5 내지 도 8에서 상술한 동작을 수행할 수 있다.
도 9는 다양한 실시예에 따른 식료품 인식 방법을 설명하는 도면들이다.
도 9를 참조하면, 냉장고(10)는 연속적으로 획득되는 고내 이미지들을 이용하여 식료품의 카테고리를 인식하는 성능을 높일 수 있다.
도 9의 (a)를 참조하면, 냉장고(10)는 t 시점의 고내 이미지(901)를 획득할 수 있다. 예를 들어, 냉장고(10)는 도어가 열린 상태에서 t 시점의 고내 이미지(901)를 획득할 수 있다. 냉장고(10)는 t 시점의 고내 이미지(901)를 서버(20)로 전송하고, 서버(20)가 t 시점의 고내 이미지(901)에서 식료품을 인식한 보관 식료품 정보를 수신할 수 있다. 그러나 이에 한정되지는 않는다. 예를 들면, 냉장고(10)에 포함되는 프로세서(예: 도 2의 프로세서(210))를 이용하여 t 시점의 고내 이미지(901)에 포함된 식료품을 인식하여 보관 식료품 정보를 생성할 수 있다. 도 9에서는 냉장고(10)에서 식료품을 인식하는 것을 가정하여 설명한다.
일 실시예에 따르면, 냉장고(10)는 t 시점의 고내 이미지(901)에서 객체를 검출하고 인식할 수 있다. 예를 들어, 냉장고(10)는 우유(910)라는 가공 식품 카테고리를 검출할 수 있다. 이 경우, 냉장고(10)는 우유(910) 뒤에 놓여진 객체(920)를 검출하지 못할 수 있다.
도 9의 (b) 내지 도 9의 (c)는 사용자에 의하여 우유(910)가 이동한 상태를 촬영한 이미지들이다. 예를 들어, 냉장고(10)는 t+1 시점의 고내 이미지(903) 및 t+2 시점의 고내 이미지(905)를 획득할 수 있다. 냉장고(10)는 t+1 시점의 고내 이미지(903) 및 t+2 시점의 고내 이미지(905) 각각에서 우유(910)를 검출할 수 있다.
또한, 냉장고(10)는 t+1 시점의 고내 이미지(903)에서 우유(910) 뒤에 놓여진 객체(920)의 일부 형상과 t+2 시점의 고내 이미지(905)에서 우유(910) 뒤에 놓여진 객체(920)의 일부 형상을 조합하여 객체(920)의 완전한 형상을 획득할 수 있다.
냉장고(10)는 획득한 객체(920)의 형상을 이용하여 객체(920)가 사과라는 식료품 카테고리에 속하는 것을 인식할 수 있다.
이와 같이, 일 실시예에 따른 냉장고(10)는 카메라를 통해 획득되는 연속적인 이미지들을 이용하여 식료품의 카테고리를 인식할 수 있다.
도 10은 일 실시예에 따른 식료품 인식 방법을 실행하는 흐름도이다.
동작 1010을 참조하면, 서버(20)는 적어도 하나의 고내 이미지를 획득할 수 있다. 예를 들면, 서버(20)는 냉장고(10)에 포함된 카메라가 냉장고의 저장실을 촬영하여 획득한 고내 이미지를 수신 받을 수 있다. 냉장고(10)는, 예를 들면, 도어가 열렸다가 닫히는 이벤트가 발생되면, 고내 이미지를 촬영할 수 있다.
동작 1020을 참조하면, 서버(20)는 고내 이미지와 비교 대상 이미지를 이용하여 고내 이미지에서 변화된 영역을 식별할 수 있다.
예를 들어, 서버(20)는 비교 대상 이미지와 고내 이미지를 에지 성분을 강조한 이미지로 변경한 후, 에지 성분에 기반하여 추출한 객체들의 형상을 비교하여 변화 영역을 식별할 수 있다.
일 실시예에 따르면, 서버(20)는 화소차값을 이용하여 변화 영역을 획득할 수 있다. 예를 들어, 서버(20)는 비교 대상 이미지에 포함된 적색 화소값(R), 녹색 화소값(G), 청색 화소값(B)과 고내 이미지의 R, G, B 값을 차분하여 변화 영역을 식별할 수 있다.
일 실시예에 따르면, 서버(20)는 인공 지능 알고리즘을 이용하여 변화 영역을 획득할 수 있다. 예를 들어, 서버(20)는 이미지, 상기 이미지와 동일하나 적어도 일부 영역에 변화가 있는 이미지, 및 변화가 있는 위치에 대한 정보를 학습용 데이터로 하여 학습된 식료품 변화 검출 모델에 적어도 하나의 고내 이미지와 비교 대상 이미지를 적용하여 고내 이미지에서 변화된 변화 영역을 식별할 수 있다.
동작 1030에서, 서버(20)는 변화 영역의 유무를 식별할 수 있다.
동작 1040에서, 서버(20)는 변화 영역이 있는 경우에, 고내 이미지에 포함된 객체를 인식한 결과와 제1 보관 식료품 정보를 이용하여 제2 보관 식료품 정보를 획득할 수 있다.
일 실시예에 따르면, 서버(20)는 비교 대상 이미지와 고내 이미지를 에지 성분을 강조한 이미지로 변경한 후, 에지 성분에 기반하여 추출한 객체의 형상을 찾고, 객체의 형상을 서버(20)에 저장된 데이터와 비교하여 객체가 속한 식료품 카테고리를 인식할 수 있다.
일 실시예에 따르면, 서버(20)는 객체가 가공 식품으로 인식되면, 추가적으로 서버(20)에 저장된 별도의 데이터를 이용하여 가공 식품이 속한 카테고리 및/또는 가공 식품의 브랜드 명칭을 인식할 수 있다.
일 실시예에 따르면, 서버(20)는 인공 지능 알고리즘을 이용하여 객체를 검출하고, 검출된 객체가 속한 식료품 카테고리를 인식할 수 있다. 예를 들어, 서버(20)는 식료품이 있는 이미지, 식료품이 속하는 카테고리, 및 상기 이미지에서 식료품이 있는 위치 정보를 학습용 데이터로 하여 학습된 식료품 인식 모델에 고내 이미지를 적용하여 객체를 검출하고, 객체가 속하는 식료품 카테고리를 인식할 수 있다.
일 실시예에 따르면, 서버(20)는 식료품 식별 모델을 이용하여 객체를 인식한 결과, 객체가 가공 식품으로 인식되는 경우에, 가공 식품 인식 모델을 이용하여 객체가 속한 가공 식품의 카테고리 및/또는 가공 식품의 브랜드 명칭을 인식할 수 있다. 예를 들어, 서버(20)는 동일 가공 식품에 대한 여러 장의 이미지, 가공 식품의 카테고리 및 가공 식품의 브랜드 명칭을 학습용 데이터로 하여 이미지 유사도 기반 학습된 가공 식품 검색 모델을 이용하여 가공 식품 데이터베이스 안에서 고내 이미지에서 검출된 가공 식품들의 카테고리 및/또는 가공 식품의 브랜드 명칭을 인식할 수 있다.
일 실시예에 따르면, 서버(20)는 다른 식료품에 의해 가려져서 인식이 되지 않는 식료품이 검출되는 경우에 제1 보관 식료품 정보에서 획득한 식료품 정보를 함께 이용하여 새롭게 보관 식료품 정보를 획득할 수 있다.
동작 1050에서, 서버(20)는 보관 식료품 정보와 고내 이미지를 냉장고로 전송할 수 있다.
동작 1060에서, 서버(20)는 변화 영역이 없는 경우에, 제1 보관 식료품 정보를 획득할 수 있다.
제1 보관 식료품 정보는, 예를 들면, 비교 대상 이미지에서 객체를 검출한 결과를 이용하여 생성한 정보일 수 있다. 또한, 제1 보관 식료품 정보는, 예를 들면, 비교 대상 이미지에서 검출한 식료품의 위치 정보, 식료품의 카테고리 정보(또는, 가공 식품의 카테고리 정보), 및 가공 식품의 브랜드 명칭 중 적어도 하나를 포함할 수 있다.
동작 1070에서, 서버(20)는 제1 보관 식료품 정보 및 고내 이미지를 냉장고로 전송할 수 있다.
도 11은 다양한 실시예에 따른 식료품 인식 방법을 실행하는 흐름도이다.
동작 1110에서, 냉장고(10)는 제1 저장실을 촬영한 제1 고내 이미지, 제2 저장실을 촬영한 제2 고내 이미지를 획득할 수 있다.
동작 1120에서. 냉장고(10)는 제1 고내 이미지, 제2 고내 이미지와 제1 비교 대상 이미지, 제2 비교 대상 이미지를 이용하여 고내 이미지들에서 변화가 발생된 변화 영역을 식별할 수 있다.
제1 비교 대상 이미지, 제2 비교 대상 이미지는, 예를 들면, 제1 저장실 및 제2 저장실이 촬영된 이미지들로서, 서버(20)로 전송되어 서버(20)가 식료품을 검출하고, 인식한 후 냉장고(10)로 전송한 이미지들일 수 있다.
동작 1130에서, 냉장고(10)는 변화 영역의 유무를 식별할 수 있다.
동작 1140에서, 제2 고내 이미지에 변화 영역이 없으면, 냉장고(10)는 제2 저장실에 대한 제1-2 보관 식료품 정보를 획득할 수 있다.
동작 1150에서, 제1 고내 이미지에서 변화 영역을 획득하면, 냉장고(10)는 제1 고내 이미지를 서버(20)로 전송하면서, 객체 인식을 요청할 수 있다.
동작 1160에서, 서버(20)는 제1 고내 이미지에 포함된 객체를 인식한 결과와 제1 저장실에 대한 제1-1 보관 식료품 정보를 이용하여 제1 저장실에 대한 제2-1 보관 식료품 정보를 획득할 수 있다.
동작 1170에서, 서버(20)는 제1 저장실에 대한 제2-1 보관 식료품 정보를 냉장고(10)로 전송할 수 있다.
동작 1180에서, 냉장고(10)는 제1 저장실에 대한 제1 보관 식료품 정보 및 제2 저장실에 대한 제2-1 보관 식료품 정보를 저장할 수 있다.
도 12는 본 개시의 실시예에 따른 카메라 및 디스플레이를 가지는 냉장고를 나타내는 개략적인 사시도이다. 도 13은 본 개시의 실시예에 따른 모든 도어를 개방한 냉장고를 나타내는 개략적인 정면도이다.
도 12 및 도 13을 참조하면, 냉장고(10)는 본체(1210), 저장실(1211, 1212, 1213), 도어(1220, 1230, 1240, 1250) 및 각 도어(1220 내지 1250)를 본체(1210)에 연결하는 힌지(3060)를 포함한다. 복수의 도어 중 적어도 하나의 도어(예를 들어, 우측 도어(1230) 및 좌측 도어(1220) 중 적어도 하나)에 콘텐트를 표시하는 디스플레이(또는, 터치 스크린, 1270)가 위치할 수 있다.
복수의 도어 중 적어도 하나의 도어(예를 들어, 우측 도어(1230) 및 좌측 도어(1220) 중 적어도 하나)에 카메라가 위치할 수 있다. 카메라(1251)에 인접(예를 들어, 반경 500 ㎜ 이내)하여 근접 센서부(미도시)가 위치할 수 있다. 또한, 복수의 도어 중 적어도 하나의 도어(예를 들어, 우측 도어(1230) 및 좌측 도어(1220) 중 적어도 하나)에 마이크(미도시)가 위치할 수 있다.
냉장고(10)는 저장실과 도어의 형태에 따라 그 종류가 구분될 수 있다. TMP(top mounted freezer)형 냉장고는 파티션(또는, 격벽)에 의해 상하로 구획되는 저장실의 상측에 형성되는 냉동실 및 저장실의 하측에 형성되는 냉장실을 포함한다. BMF(bottom mounted freezer)형 냉장고는 파티션에 의해 상하로 구획되는 저장실의 상측에 형성되는 냉장실 및 저장실의 하측에 형성되는 냉동실을 포함한다.
SBS(side by side)형 냉장고는 파티션에 의해 좌우로 구획되는 저장실의 일 측에 형성되는 냉동실 및 저장실의 타 측에 형성되는 냉장실을 포함한다. FDR(french door refrigerator)형 냉장고는 파티션에 의해 상하로 구획되는 저장실의 상측에 형성되는 냉장실 및 저장실의 하측에 형성되는 냉동실을 포함하고, 한 쌍의 도어에 의해 상측의 냉장실이 개폐될 수 있다. 또한, FDR형 냉장고는 상측 냉장실 및 하측 냉동실 모두 각각 한 쌍의 도어에 의해 개폐될 수도 있다.
본체(1210)는 저장실(1211 내지 1213)을 형성하는 내부 케이스(inner case, 도시되지 아니함), 냉장고의 외관을 형성하는 외부 케이스(outer case, 도시되지 아니함) 및 내부 케이스와 외부 케이스 사이에서 온도 차이를 유지하는 단열재(insulator, 도시되지 아니함)를 포함한다. 단열재는 저장실(1211 내지 1213) 내부의 냉기에 대한 외부 유출을 방지하고, 외부 온기의 저장실(1211 내지 1213) 내부 유입을 방지할 수 있다.
본체(1210)는 저장실(1211 내지 1213)에 냉기를 공급하는 냉기 공급 유닛을 포함한다. 냉기 공급 유닛은 냉매를 압축하는 압축기(compressor, 미도시), 응축기(condenser, 미도시), 팽창 밸브(expansion value, 미도시), 증발기(evaporator, 미도시) 및 파이프를 포함할 수 있다.
저장실(1211 내지 1213)은 파티션(1214)으로 구분된다. 저장실(1211 내지 1213)은 아래의 냉동 저장실(1212, 1213, 이하에서는 “냉동실”로 칭함)과 냉동실(1212, 1213)의 위에 있는 냉장 저장실(1211, 이하에서는 “냉장실”로 칭함)로 구분된다. 저장실(1212)은 영상(예를 들어, 7℃ 내지 0℃ 사이) 또는 영하(예를 들어 -1℃ 내지 -5℃ 사이)의 온도로 설정되어 물, 음료(beverage), 식재료, 냉장 또는 냉동 식품을 수납할 수 있다. 물 또는 음료는 음료 용기에 수납될 수 있다.
파티션(1214)으로 구분되는 저장실(1211 내지 1213) 중 냉장실(1211)은 하나 또는 복수의 선반(1215) 및 하나 또는 복수의 저장함(storage box, 1216)을 포함할 수 있다.
냉장실(1211)은 저장실(1211)의 일측(예를 들어, 왼쪽)의 제1 도어(1220) 및 제1 도어(1220)에 인접하고 저장실(1211)의 타측(예를 들어, 오른쪽)에 위치하는 제2 도어(1230)와 결합된다. 제1 도어(1220), 및/또는 제2 도어(1230)는 각각의 힌지(3060)에 의해 설정된 각도(예를 들어 300° 이하)로 회전하여 저장실(1211)의 전면을 개폐(예를 들어, 결합 또는 분리)할 수 있다. 제1 도어(1220)는 제2 도어(1230)의 회전 방향과 반대로 회전하여 저장실(1211)을 개폐할 수 있다. 제1 도어(1220) 및 제2 도어(1230)는 상호 위치가 변경될 수 있다.
제1 도어(1220)는 힌지(1260)에 의해 설정된 각도(예를 들어 300° 이하)로 회전하여 저장실(1211)의 전면 일부(예를 들어, 저장실(1211)의 전면의 35 내지 70% 사이)를 개폐한다.
제1 도어(1220)의 전면(예를 들어, + y 축 방향)에 물, 얼음 또는 탄산수(sparkling water)를 제공하는 디스펜서 및/또는 파지 가능한 손잡이(미도시)가 위치할 수 있다.
제2 도어(1230)는 힌지(1260)에 의해 설정된 각도(예를 들어 300° 이하)로 회전하여 저장실(1211)의 전면 일부(예를 들어, 저장실(1211)의 전면의 35 내지 70% 사이)를 개폐한다. 제2 도어(1230)은 파지 가능한 손잡이(1231)를 포함할 수 있다. 제1 도어(1220)의 손잡이(1221) 및 제2 도어(1230)의 손잡이(1231)는 저장실(1211)의 중심 영역을 기준으로 좌측 및 우측으로 이격 되게 위치한다.
제2 도어(1230)의 전면(예를 들어, + y 축 방향)에 냉장고(10)의 기능 및 저장된 설정을 표시 가능하고, 사용자의 입력(예를 들어, 터치 또는 버튼(미도시)의 선택)을 수신 가능하고, 어플리케이션(또는, 위젯 포함) 화면을 표시(또는, 실행)가능한 디스플레이(또는, 터치 스크린, 1270)가 위치할 수 있다. 버튼은 디스플레이와 포함되거나 또는 디스플레이와 별개일 수 있다. 버튼은 터치 스크린에 표시되는 버튼, 터치 버튼, 또는, 물리 버튼일 수 있다.
야채 칸(1211d1, 1211d2)은 저장실(1211)의 아래에 위치한다. 야채 칸(1211d1, 1211d2)은 전방(예를 들어, y 축 방향)으로 인출(예를 들어, 슬라이딩, 또는 롤링)될 수 있다.
저장실(1212)은 일 측에 도어(1240)를 가질 수 있다. 저장실(1213)은 일 측에 도어(1250)를 가질 수 있다. 저장실(1212, 1213)은 하나의 저장실(예를 들어, 저장실(1211)처럼)로 합쳐질 수 있다. 하나의 저장실은 저장실(1211)처럼 왼쪽 및 오른쪽에 각각 도어를 가질 수 있다. 다양한 실시예에 따르면, 저장실(1211, 1212, 1213)은 선반 등에 의해 구분되어, 예를 들면, 제1 저장실(1211a), 제2 저장실(1211b), 또는 제3 저장실(1211c) 등으로 나누어 질 수 있다. 또한, 냉장고는 서랍을 가질 수 있다.
냉장고(10)는 제2 도어(1230)의 외측에 전면 카메라(1251)를 더 포함할 수 있다. 상기 전면 카메라(1251)를 이용하여 냉장고(10)는 냉장고(10)의 전면에 위치하는 사람을 인식할 수 있다. 또한, 냉장고(10)는 디스플레이(1270)을 더 포함할 수 있다. 디스플레이(1270)는 도 1a의 디스플레이(11) 및 도 5의 디스플레이(510)를 포함할 수 있다.
도 14는 본 개시의 실시예에 따른 냉장고를 나타내는 개략적인 블럭도이다.
도 14을 참조하면, 냉장고(10)는 통신부(1420)를 이용하여 외부 장치와 기능적으로 연결될 수 있다. 통신부(1420)는 도 2의 통신부(220)를 포함할 수 있다. 외부 장치는 사용자 단말(미도시), 또는 서버(20) 중 적어도 하나를 포함할 수 있다.
냉장고(10)는 통신부(1420)을 통해 냉장고의 동작(예를 들어, 각 저장실 온도 조절 등)에 대응되는 동작 정보, 또는, 냉장고(10)의 상태(예를 들어, 정상, 비정상 등)에 대응되는 상태 정보를 외부 장치로 송신하거나 또는 외부 장치로부터 제어 정보(예를 들어, 냉장고(10)의 급속 냉동에 대응되는 제어 명령 등)를 수신할 수 있다.
냉장고(10)는 프로세서(1410), 통신부(1420), 카메라(1250, 1251), 센서부(1460), 디스플레이(1270), 구동부(1480), 메모리(1490) 및 전원 공급부(1495)를 포함할 수 있다.
프로세서(1410)(또는, 제어부)는 하나 또는 복수 개의 프로세서로 구성될 수도 있다. 프로세서(1410)는 도 2의 프로세서(210)를 포함할 수 있다. 또한, 프로세서(1410)는 냉장고(10)의 제어를 위한 제어 프로그램이 저장된 롬을 포함하는 비-휘발성 메모리 및 냉장고(10)의 외부로부터 입력되는 신호 또는 데이터를 저장하거나, 냉장고(10)에서 수행되는 다양한 작업에 대한 저장 영역으로 사용되는 램을 포함하는 휘발성 메모리를 포함할 수 있다. 램은 외부에서부터 수신되는 제어 정보, 냉장고(10)의 동작 정보, 또는, 냉장고(10)의 상태 정보에 대한 저장 영역으로 사용될 수 있다.
프로세서(1410)는 냉장고(10)의 전반적인 동작 및 냉장고(10)의 내부 구성 요소들 간의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 프로세서(1410)는 전원 공급부(1495)를 이용하여 내부 구성 요소들에게 공급되는 전원을 제어한다.
프로세서(1410)는 통신부(1420), 카메라(1250), 센서부(1460), 디스플레이(1270), 구동부(1480), 메모리(1490) 및 전원 공급부(1495)를 제어할 수 있다.
통신부(1420)는 프로세서(1410)의 제어에 의해 하나 또는 둘 이상의 안테나를 이용하여 이동 통신망, 무선랜 통신망, 또는, 근거리 통신망을 통해 외부 장치와 연결할 수 있다. 무선랜 통신은 프로세서(1410)의 제어에 의해 AP(access point)가 설치된 장소에서 무선으로 AP와 연결될 수 있다. 예를 들어, 와이-파이(Wi-Fi) 통신을 포함할 수 있다. 근거리 통신은 블루투스(bluetooth) 통신, 블루투스 저 에너지(bluetooth low energy) 통신, 적외선 통신(IrDA, infrared data association), UWB(ultra-wideband) 통신, 마그네틱 보안 전송(MST) 통신 및/또는 NFC 통신 등을 포함할 수 있다. 본 개시의 다양한 실시예에서 ‘통신부’라는 용어는 이동 통신, 무선랜 통신 및/또는 근거리 통신을 통해 외부 장치와 연결할 수 있다.
카메라(1250, 1251)는 프로세서(1410)의 제어에 의해 정지 이미지 또는 동영상을 촬영할 수 있다. 카메라(1250, 1251)는 도 2의 카메라(230)를 포함할 수 있다. 카메라(1250, 1251)는 음식의 등록 및/또는 음식의 관리를 위해 정지 이미지 또는 동영상을 촬영할 수 있다. 카메라(1250, 1251)는 프로세서(1410)의 제어에 의해 사용자의 홍채(iris)를 촬영할 수 있다. 카메라(1250, 1251)는 냉장고(10)의 전면에 위치하는 전면 카메라(1251) 및 냉장고(10)의 내부에 위치하는 실내 카메라(1250)를 포함한다. 또한, 전면 카메라(1251)의 일 측에 사용자의 홍채를 촬영하는 홍채 촬영 카메라가 위치할 수도 있다.
전면 카메라(1251)는 냉장고(10)의 도어 전면(또는, 표면)을 기준으로 전방(예를 들어, + y 축 방향)으로 설정 각도(예를 들어 85° 이하)로 기울어질 수 있다. 상술된 설정 각도는 75° 이하이고, 35° 이상일 수 있다. 또한, 상술된 설정 각도는 65° 이하이고, 15° 이상일 수 있다.
전면 카메라(1251) 및 실내 카메라(1250) 중 하나는 촬영에 필요한 광량을 제공하는 보조 광원(예를 들어, 플래시)을 포함할 수 있다. 또한, 냉장고(10)의 전면에 홍채 촬영에 필요한 보조 광원(예를 들어, 홍채 인식용 LED, 도시되지 아니함)이 위치할 수 있다.
전면 카메라(1251)는 하나 또는 복수일 수 있다. 실내 카메라(1250)는 저장실의 넓이에 따라 저장실(1211 내지 1213)을 대면하는 도어(1220 내지 1250)의 배면에 하나 또는 복수 개 위치할 수 있다. 예를 들어, 실내 카메라는 저장실(1211)에 대면하는 도어(1220, 1230)의 배면에 하나 또는 복수 개 위치할 수 있다. 실내 카메라(1250)는 저장실(1212)에 대면하는 도어(1240)의 배면에 하나 또는 복수 개 위치할 수 있다. 또한, 실내 카메라는 저장실(1213)에 대면하는 도어(1250)의 배면에 하나 또는 복수 개 위치할 수 있다.
프로세서(1410)는 전면 카메라(1251) 및 실내 카메라(1250) 중 하나를 통해 촬영된 이미지를 메모리(1490)에 저장하도록 제어할 수 있다.
센서부(1460)는 하나 또는 복수의 센서를 통해 냉장고(10)의 주위 상태(예를 들어, 조도 등) 및/또는 냉장고(10)의 내부 상태(예를 들어, 저장실 온도 등)를 검출할 수 있다.
센서부(1460)는 사용자의 냉장고(10)에 대한 접근 여부를 검출하는 근접 센서부, 냉장고(10)의 저장실(예를 들어, 냉동실, 냉장실, 채소 칸 등)의 온도를 검출하는 하나 또는 복수의 온도 센서부 중 적어도 하나를 포함할 수 있다. 또한, 디스플레이(1270)의 밝기 변경에 대응되는 냉장고(10) 주변의 빛의 양을 검출하는 조도 센서부를 포함할 수 있다. 센서부(1460) 중 근접 센서부 및 조도 센서부 중 하나는 냉장고(10)의 도어 전면에 위치할 수 있다. 또한, 온도 센서부는 저장실에 대응하여 실내에 위치할 수 있다.
센서부(1460)에 포함되는 센서 종류는 냉장고(10)의 성능에 따라 추가, 변경, 또는, 삭제될 수 있다는 것은 해당 기술 분야의 통상의 지식을 가지는 자에게 용이하게 이해될 수 있다.
디스플레이(1270)는 다양한 서비스(예를 들어, 음성 통화, 영상 통화, 데이터 전송, 방송 수신, 사진 촬영, 동영상 콘텐트 보기, 또는, 모바일 결제를 포함하는 전자 결제 등)에 대응되는 GUI(graphical user interface)를 제공(또는, 표시)할 수 있다. 본 개시의 실시예에서 디스플레이(1270)는 터치 스크린을 포함하는 의미일 수 있다.
터치 스크린은 디스플레이 패널 및 터치 패널이 일체형(예를 들어, 인-셀(in-cell) 방식 터치 스크린, 또는 온-셀(on-cell) 방식 터치 스크린)으로 구현될 수 있다.
터치 스크린은 사용자 입력을 수신하는 에지 터치 패널 및 화면 표시를 위한 에지 디스플레이 패널을 포함할 수 있다. 에지 터치 패널 및 에지 디스플레이 패널도 상술된 일체형으로 구현될 수 있다.
터치 스크린은 홈 화면 또는 GUI를 통해 입력되는 싱글 터치 또는 멀티 터치에 대응되는 아날로그 신호를 터치 스크린 컨트롤러로 각각 전송할 수 있다. 터치 스크린은 사용자의 신체(예를 들어, 엄지를 포함하는 손가락) 또는 입력 펜(예를 들어, 스타일러스, 도시되지 아니함)을 통해 싱글 터치 또는 멀티 터치를 입력 받을 수 있다.
구동부(1480)는 프로세서(1410)의 제어에 따라 동작하는 압축기(미도시), 팬(미도시), 필터(미도시) 및 히터(미도시) 중 적어도 하나를 포함할 수 있다. 구동부(1480)는 조명(또는, 냄새 탈취기를 더 포함할 수 있다.
압축기(1481)는 프로세서(1410)의 제어에 의해 냉동 사이클의 작동 유체인 냉매를 압축한다. 냉동 사이클은 압축기(1481)에 의해 압축된 기체 상태의 냉매를 액체 상태의 냉매로 변환하는 응축기, 액체 상태의 냉매를 감압하는 팽창기 및 감압된 액체 상태의 냉매를 기화시키는 증발기를 포함한다. 프로세서(1410)는 액체 상태인 냉매의 기화를 통해 저장실에 온도를 제어할 수 있다. 또한, 냉장고(10)는 펠티어 효과(peltier effect)를 이용하는 펠티어 소자, 자기 열 효과(magnetocaloric effect)를 이용하는 자기 냉각 장치를 통해 저장실의 온도를 제어할 수도 있다.
팬(1482)은 프로세서(1410)의 제어에 의해 외부 공기를 순환시킬 수 있다. 냉각 사이클에 의해 뜨거워진 공기는 외부 공기를 통해 열 교환되어 냉각될 수 있다.
공기 청정부(1483)는 프로세서(1410)의 제어에 의해 저장실 내 부유하거나 또는, 부착된 세균을 살균(또는, 제거)할 수 있다. 공기 청정부(1483)는 이온 살균 청정부를 포함할 수 있다.
히터(1484)는 프로세서(1410)의 제어에 의해 발생되는 서리를 제거한다. 히터(1484)는 제상 히터를 포함할 수 있다.
메모리(또는, 저장부)(1490)는 프로세서(1410)의 제어에 의해 구성 요소의 동작에 대응되게 입/출력되는 신호 또는 데이터(예를 들어, 음식 관리(또는, 음식 인식)에 대응되는)를 저장할 수 있다. 메모리(1490)은 도 2의 메모리(240)를 포함할 수 있다. 본 개시의 일 실시예에 따른 메모리(1490)는, 냉장고(10)에 보관된 식료품에 대한 보관 식료품 정보를 저장할 수 있다.
본 개시에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 개시의 다양한 실시예들은 기기(machine)(예: 냉장고(10) 또는 서버(20)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 메모리())에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어로서 구현될 수 있다. 예를 들면, 기기(예: 냉장고(10))의 프로세서(예: 프로세서(210))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체 는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어™)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
10: 냉장고
20: 서버

Claims (20)

  1. 냉장고에 있어서,
    디스플레이;
    상기 냉장고 내부를 촬영하기 위한 카메라; 및
    이미지에 포함된 식료품의 카테고리에 대한 정보를 식별하도록 학습된 인식 모델이 저장된 서버와 통신하기 위한 통신부;
    상기 카메라를 통해 획득된 제1 이미지를 상기 통신부를 통해 상기 서버로 전송하여 상기 인식 모델에 의해 상기 제1 이미지에서 식별된 식료품의 카테고리에 대한 정보를 상기 서버로부터 획득하고,
    상기 제1 이미지 및 상기 식료품의 카테고리에 대한 정보를 표시하도록 상기 디스플레이를 제어하고,
    사용자 명령에 의해 입력된 상기 식료품의 카테고리에 대한 정보를 상기 통신부를 통해 상기 서버로 전송하여 상기 제1 이미지 및 상기 사용자 명령에 의해 입력된 카테고리에 대한 정보에 기초하여 상기 인식 모델이 학습되도록 하고,
    상기 카메라를 통해 획득된 제2 이미지를 상기 통신부를 통해 상기 서버로 전송하여 상기 학습된 인식 모델에 의해 상기 제2 이미지에서 식별된 식료품의 카테고리에 대한 정보를 상기 서버로부터 획득하는 프로세서;를 포함하는, 냉장고.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 식료품에 대응되는 복수의 후보 카테고리에 대한 정보를 표시하도록 상기 디스플레이를 제어하고, 상기 복수의 후보 카테고리 중 하나를 선택하는 사용자 명령이 입력되면, 상기 사용자 명령에 의해 입력된 카테고리에 대한 정보를 상기 통신부를 통해 상기 서버로 전송하는, 냉장고.
  3. 제1항에 있어서,
    상기 인식 모델은,
    상기 제1 이미지에 포함된 식료품에 대응되는 식료품이 상기 제2 이미지에 포함되어 있는 경우, 상기 학습에 따라 상기 제2 이미지에 포함된 식료품의 카테고리가 상기 사용자 명령에 의해 입력된 카테고리인 것으로 식별하는, 냉장고.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 냉장고에 보관된 적어도 하나의 식료품의 카테고리에 대한 정보에 기초하여 상기 냉장고에 보관된 적어도 하나의 식료품을 이용하여 만들 수 있는 음식에 대한 요리법을 획득하고, 상기 획득된 요리법을 표시하도록 상기 디스플레이를 제어하는, 냉장고.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 디스플레이에 표시된 식료품 구매 사이트에 연결을 위한 객체를 선택하는 사용자 명령이 입력되면, 상기 사용자 명령에 기초하여 식료품 구매 사이트를 표시하도록 상기 디스플레이를 제어하는, 냉장고.
  6. 디스플레이를 포함하며, 이미지에 포함된 식료품의 카테고리에 대한 정보를 식별하도록 학습된 인식 모델이 저장된 서버와 통신하는 냉장고의 제어 방법에 있어서,
    카메라를 통해 획득된 제1 이미지를 상기 서버로 전송하여 상기 인식 모델에 의해 상기 제1 이미지에서 식별된 식료품의 카테고리에 대한 정보를 상기 서버로부터 획득하는 단계;
    상기 제1 이미지 및 상기 식료품의 카테고리에 대한 정보를 상기 디스플레이에 표시하는 단계;
    사용자 명령에 의해 입력된 상기 식료품의 카테고리에 대한 정보를 상기 서버로 전송하여 상기 제1 이미지 및 상기 사용자 명령에 의해 입력된 카테고리에 대한 정보에 기초하여 상기 인식 모델이 학습되도록 하는 단계; 및
    상기 카메라를 통해 획득된 제2 이미지를 상기 서버로 전송하여 상기 학습된 인식 모델에 의해 상기 제2 이미지에서 식별된 식료품의 카테고리에 대한 정보를 획득하는 단계;를 포함하는, 제어 방법.
  7. 제6항에 있어서,
    상기 인식 모델이 학습되도록 하는 단계는,
    상기 식료품에 대응되는 복수의 후보 카테고리에 대한 정보를 상기 디스플레이에 표시하고, 상기 복수의 후보 카테고리 중 하나를 선택하는 사용자 명령이 입력되면, 상기 사용자 명령에 의해 입력된 카테고리에 대한 정보를 상기 서버로 전송하는, 제어 방법.
  8. 제6항에 있어서,
    상기 인식 모델은,
    상기 제1 이미지에 포함된 식료품에 대응되는 식료품이 상기 제2 이미지에 포함되어 있는 경우, 상기 학습에 따라 상기 제2 이미지에 포함된 식료품의 카테고리가 상기 사용자 명령에 의해 입력된 카테고리인 것으로 식별하는, 제어 방법.
  9. 제6항에 있어서,
    상기 냉장고에 보관된 적어도 하나의 식료품의 카테고리에 대한 정보에 기초하여 상기 냉장고에 보관된 적어도 하나의 식료품을 이용하여 만들 수 있는 음식에 대한 요리법을 획득하는 단계; 및
    상기 획득된 요리법을 상기 디스플레이에 표시하는 단계;를 더 포함하는, 제어 방법.
  10. 제6항에 있어서,
    상기 디스플레이에 표시된 식료품 구매 사이트에 연결을 위한 객체를 선택하는 사용자 명령이 입력되면, 상기 사용자 명령에 기초하여 식료품 구매 사이트를 상기 디스플레이에 표시하는 단계;를 더 포함하는, 제어 방법.
  11. 디스플레이를 포함하며, 이미지에 포함된 식료품의 카테고리에 대한 정보를 식별하도록 학습된 인식 모델이 저장된 서버와 통신하는 냉장고의 프로세서에 의해 실행되는 경우 상기 냉장고가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 상기 동작은,
    카메라를 통해 획득된 제1 이미지를 상기 서버로 전송하여 상기 인식 모델에 의해 상기 제1 이미지에서 식별된 식료품의 카테고리에 대한 정보를 상기 서버로부터 획득하는 단계;
    상기 제1 이미지 및 상기 식료품의 카테고리에 대한 정보를 상기 디스플레이에 표시하는 단계;
    사용자 명령에 의해 입력된 상기 식료품의 카테고리에 대한 정보를 상기 서버로 전송하여 상기 제1 이미지 및 상기 사용자 명령에 의해 입력된 카테고리에 대한 정보에 기초하여 상기 인식 모델이 학습되도록 하는 단계; 및
    상기 카메라를 통해 획득된 제2 이미지를 상기 서버로 전송하여 상기 학습된 인식 모델에 의해 상기 제2 이미지에서 식별된 식료품의 카테고리에 대한 정보를 획득하는 단계;를 포함하는, 비일시적 컴퓨터 판독 가능 매체.
  12. 제11항에 있어서,
    상기 인식 모델이 학습되도록 하는 단계는,
    상기 식료품에 대응되는 복수의 후보 카테고리에 대한 정보를 상기 디스플레이에 표시하고, 상기 복수의 후보 카테고리 중 하나를 선택하는 사용자 명령이 입력되면, 상기 사용자 명령에 의해 입력된 카테고리에 대한 정보를 상기 서버로 전송하는, 비일시적 컴퓨터 판독 가능 매체.
  13. 제11항에 있어서,
    상기 인식 모델은,
    상기 제1 이미지에 포함된 식료품에 대응되는 식료품이 상기 제2 이미지에 포함되어 있는 경우, 상기 학습에 따라 상기 제2 이미지에 포함된 식료품의 카테고리가 상기 사용자 명령에 의해 입력된 카테고리인 것으로 식별하는, 비일시적 컴퓨터 판독 가능 매체.
  14. 제11항에 있어서,
    상기 냉장고에 보관된 적어도 하나의 식료품의 카테고리에 대한 정보에 기초하여 상기 냉장고에 보관된 적어도 하나의 식료품을 이용하여 만들 수 있는 음식에 대한 요리법을 획득하는 단계; 및
    상기 획득된 요리법을 상기 디스플레이에 표시하는 단계;를 더 포함하는, 비일시적 컴퓨터 판독 가능 매체.
  15. 제11항에 있어서,
    상기 디스플레이에 표시된 식료품 구매 사이트에 연결을 위한 객체를 선택하는 사용자 명령이 입력되면, 상기 사용자 명령에 기초하여 식료품 구매 사이트를 상기 디스플레이에 표시하는 단계;를 더 포함하는, 비일시적 컴퓨터 판독 가능 매체.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020180069078A 2018-06-15 2018-06-15 냉장고와 서버 및 서버의 제어 방법 KR102619657B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020180069078A KR102619657B1 (ko) 2018-06-15 2018-06-15 냉장고와 서버 및 서버의 제어 방법
US16/433,107 US11521391B2 (en) 2018-06-15 2019-06-06 Refrigerator, server and method of controlling thereof
PCT/KR2019/006850 WO2019240432A1 (en) 2018-06-15 2019-06-07 Refrigerator, server and method of controlling thereof
CN201980040258.5A CN112313684B (zh) 2018-06-15 2019-06-07 冰箱、服务器及其控制方法
EP23193284.9A EP4254285A3 (en) 2018-06-15 2019-06-07 Refrigerator, server and method of controlling thereof
EP19819251.0A EP3776435A4 (en) 2018-06-15 2019-06-07 REFRIGERATOR, SERVER AND RELATED ORDERING PROCEDURE
KR1020230191696A KR20240005650A (ko) 2018-06-15 2023-12-26 냉장고와 서버 및 서버의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180069078A KR102619657B1 (ko) 2018-06-15 2018-06-15 냉장고와 서버 및 서버의 제어 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020230191696A Division KR20240005650A (ko) 2018-06-15 2023-12-26 냉장고와 서버 및 서버의 제어 방법

Publications (2)

Publication Number Publication Date
KR20200003299A KR20200003299A (ko) 2020-01-09
KR102619657B1 true KR102619657B1 (ko) 2023-12-29

Family

ID=68840013

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020180069078A KR102619657B1 (ko) 2018-06-15 2018-06-15 냉장고와 서버 및 서버의 제어 방법
KR1020230191696A KR20240005650A (ko) 2018-06-15 2023-12-26 냉장고와 서버 및 서버의 제어 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020230191696A KR20240005650A (ko) 2018-06-15 2023-12-26 냉장고와 서버 및 서버의 제어 방법

Country Status (5)

Country Link
US (1) US11521391B2 (ko)
EP (2) EP4254285A3 (ko)
KR (2) KR102619657B1 (ko)
CN (1) CN112313684B (ko)
WO (1) WO2019240432A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170011363A1 (en) 2015-07-08 2017-01-12 Divert, Inc. System for tracking waste or recyclable material including image documentation
KR102663888B1 (ko) 2018-09-18 2024-05-08 삼성전자주식회사 냉장고 및 그의 제어방법
WO2020096235A2 (ko) * 2018-11-05 2020-05-14 삼성전자주식회사 식품 관리 시스템, 서버 장치 및 냉장고
WO2020095131A1 (en) * 2018-11-07 2020-05-14 Foss Analytical A/S Milk analyser for classifying milk
US11386621B2 (en) * 2018-12-31 2022-07-12 Whirlpool Corporation Augmented reality feedback of inventory for an appliance
CN110399804A (zh) * 2019-07-01 2019-11-01 浙江师范大学 一种基于深度学习的食品检测识别方法
KR20210020702A (ko) * 2019-08-16 2021-02-24 엘지전자 주식회사 인공지능 서버
US20210081867A1 (en) * 2019-09-18 2021-03-18 Divert, Inc. Systems and methods for tracking product environment throughout a supply chain
CN111488831B (zh) * 2020-04-10 2023-11-03 海信集团有限公司 一种食材联想识别方法及冰箱
CN113834809A (zh) * 2020-06-08 2021-12-24 珠海格力电器股份有限公司 判断食材是否变质的方法、电子设备及食物储存装置
CN112954229B (zh) * 2021-02-08 2023-04-18 青岛海尔电冰箱有限公司 基于灰度值调节补光灯光强的方法、设备及冰箱
DE102021204149A1 (de) 2021-04-27 2022-10-27 BSH Hausgeräte GmbH Objekterkennung für ein Hausgerät
US11941876B2 (en) * 2021-05-21 2024-03-26 Haier Us Appliance Solutions, Inc. Door status verification using a camera and artificial intelligence
CN115682510B (zh) * 2021-07-30 2024-07-19 海信集团控股股份有限公司 一种智能冰箱、食材识别方法、设备及介质
CN113709380A (zh) * 2021-10-20 2021-11-26 广州微林软件有限公司 一种基于外置式摄像装置的控制方法
DE102022102061A1 (de) 2021-12-14 2023-06-15 Liebherr-Hausgeräte Ochsenhausen GmbH Verfahren zur Erkennung von Objekten
DE102022204985B3 (de) 2022-05-19 2023-11-09 BSH Hausgeräte GmbH Bereitstellen eines Bilds eines Objekts in einem Kühlgerät
CN117854064B (zh) * 2024-03-04 2024-05-28 江苏源坤电子科技有限公司 一种基于人工智能的冷柜货品识别系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012193873A (ja) * 2011-03-15 2012-10-11 Nikon Corp 収納装置
JP2014196846A (ja) * 2013-03-29 2014-10-16 パナソニック株式会社 冷蔵庫及び冷蔵庫システム
US20140313331A1 (en) * 2013-04-23 2014-10-23 Lg Electronics Inc. Refrigerator and operating method thereof
US20160088262A1 (en) * 2013-04-10 2016-03-24 Lg Electronics Inc. Method For Managing Storage Product In Refrigerator Using Image Recognition, And Refrigerator For Same
KR101756620B1 (ko) * 2017-02-03 2017-07-12 구영모 냉장고의 문자판독 인공지능에 의한 보관식품 유통기한 알림장치와 그 방법
US20170219276A1 (en) * 2016-02-03 2017-08-03 Multimedia Image Solution Limited Smart Refrigerator

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US313331A (en) * 1885-03-03 Carriage-seat iron
US88262A (en) * 1869-03-30 bag ley
US7769513B2 (en) * 2002-09-03 2010-08-03 Automotive Technologies International, Inc. Image processing for vehicular applications applying edge detection technique
JP2006064320A (ja) 2004-08-27 2006-03-09 Toshiba Corp 冷蔵庫
KR20080030173A (ko) 2006-09-29 2008-04-04 엘지전자 주식회사 냉장고의 내용물 감지장치 및 그 방법
KR20120117464A (ko) * 2011-04-15 2012-10-24 엘지전자 주식회사 냉장고 및 냉장고의 제어방법
DE202012013642U1 (de) * 2011-12-16 2018-11-13 Illinois Tool Works Inc. Tagging von Assets für die Content-Verteilung in einem Enterprise Management System
KR102003938B1 (ko) * 2012-08-10 2019-07-25 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR102023013B1 (ko) * 2013-04-18 2019-09-19 엘지전자 주식회사 냉장고 및 그 동작 방법
CN105222520B (zh) * 2013-04-23 2019-03-29 Lg电子株式会社 冰箱及其控制方法
JP6313014B2 (ja) * 2013-08-27 2018-04-18 東芝ライフスタイル株式会社 カメラシステム、冷蔵庫
US11030571B2 (en) 2013-12-20 2021-06-08 Ebay Inc. Managed inventory
DE102014203749A1 (de) * 2014-02-28 2015-09-17 Robert Bosch Gmbh Verfahren und Vorrichtung zum Überwachen mindestens eines Innenraums eines Gebäudes sowie Assistenzsystem für mindestens einen Innenraum eines Gebäudes
US9886710B2 (en) * 2014-03-25 2018-02-06 Ebay Inc. Data mesh visualization
US9730647B2 (en) * 2014-04-15 2017-08-15 Vivint, Inc. Systems and methods for measuring calorie intake
JP6386803B2 (ja) * 2014-06-13 2018-09-05 キヤノン株式会社 装置、方法、及びプログラム
JP6323279B2 (ja) 2014-09-22 2018-05-16 三菱電機株式会社 保冷保温庫、及び、その管理システム
US10956856B2 (en) * 2015-01-23 2021-03-23 Samsung Electronics Co., Ltd. Object recognition for a storage structure
JP6462493B2 (ja) * 2015-05-29 2019-01-30 株式会社デンソー 進入判定装置、進入判定方法
US20160358508A1 (en) 2015-06-05 2016-12-08 Elwha Llc Smart refrigerator
JP6324360B2 (ja) * 2015-11-04 2018-05-16 三菱電機株式会社 冷蔵庫及びそれを含むネットワークシステム
KR101830660B1 (ko) 2016-01-29 2018-02-21 엘지전자 주식회사 냉장고와 통신하는 센서 및 상기 센서를 포함하는 냉장고 제어 시스템
KR20170115699A (ko) 2016-04-08 2017-10-18 국민대학교산학협력단 스마트 냉장고 및 제어 방법
KR101899993B1 (ko) 2016-06-03 2018-09-18 성균관대학교산학협력단 시차 맵으로 한정된 영역에 기반한 객체 인식 방법
KR20180007232A (ko) * 2016-07-12 2018-01-22 삼성전자주식회사 건강 관리 서비스 제공 방법 및 장치
AU2016415984B2 (en) * 2016-07-21 2019-10-31 Mitsubishi Electric Corporation Refrigerator system
WO2018040105A1 (zh) * 2016-09-05 2018-03-08 合肥华凌股份有限公司 食材识别系统和方法、食材模型训练方法、冰箱和服务器
US11176423B2 (en) * 2016-10-24 2021-11-16 International Business Machines Corporation Edge-based adaptive machine learning for object recognition
US9965798B1 (en) * 2017-01-31 2018-05-08 Mikko Vaananen Self-shopping refrigerator
CN107423421A (zh) * 2017-07-31 2017-12-01 京东方科技集团股份有限公司 菜谱推荐方法、装置和冰箱
EP3719424B1 (en) * 2017-11-27 2023-09-20 Mitsubishi Electric Corporation Refrigerator and refrigerator system
US20190205821A1 (en) * 2018-01-03 2019-07-04 International Business Machines Corporation Automated identification, status monitoring and notification of stored items
US10860888B2 (en) * 2018-01-05 2020-12-08 Whirlpool Corporation Detecting objects in images
JP6892014B2 (ja) * 2018-05-31 2021-06-18 三菱電機株式会社 冷蔵庫及び冷蔵庫システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012193873A (ja) * 2011-03-15 2012-10-11 Nikon Corp 収納装置
JP2014196846A (ja) * 2013-03-29 2014-10-16 パナソニック株式会社 冷蔵庫及び冷蔵庫システム
US20160088262A1 (en) * 2013-04-10 2016-03-24 Lg Electronics Inc. Method For Managing Storage Product In Refrigerator Using Image Recognition, And Refrigerator For Same
US20140313331A1 (en) * 2013-04-23 2014-10-23 Lg Electronics Inc. Refrigerator and operating method thereof
US20170219276A1 (en) * 2016-02-03 2017-08-03 Multimedia Image Solution Limited Smart Refrigerator
KR101756620B1 (ko) * 2017-02-03 2017-07-12 구영모 냉장고의 문자판독 인공지능에 의한 보관식품 유통기한 알림장치와 그 방법

Also Published As

Publication number Publication date
WO2019240432A1 (en) 2019-12-19
EP3776435A4 (en) 2021-05-26
KR20200003299A (ko) 2020-01-09
EP4254285A3 (en) 2023-11-15
CN112313684B (zh) 2024-08-13
US20190384990A1 (en) 2019-12-19
US11521391B2 (en) 2022-12-06
KR20240005650A (ko) 2024-01-12
EP3776435A1 (en) 2021-02-17
EP4254285A2 (en) 2023-10-04
CN112313684A (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
KR102619657B1 (ko) 냉장고와 서버 및 서버의 제어 방법
CN110637204B (zh) 冰箱及其食物管理的方法
JP7211700B2 (ja) 冷蔵庫、表示システム
US11015859B2 (en) Refrigerator
CN112005268B (zh) 冰箱和在冰箱上显示用户界面的方法、用户终端和在用户终端中执行功能的方法
KR102637119B1 (ko) 냉장고 안의 객체에 관한 정보를 제공하는 방법 및 시스템
JP6305207B2 (ja) 冷蔵庫及びネットワークシステム
EP3745304A1 (en) Refrigerator, and system and method for controlling same
KR20140125105A (ko) 냉장고 및 그 동작 방법
KR20140139736A (ko) 냉장고 및 그 제어 방법
US11519660B2 (en) Refrigerator and method of controlling thereof
US11215392B2 (en) Refrigerator
US20200219606A1 (en) Refrigerator
JP2016200380A (ja) 冷蔵庫及びネットワークシステム
EP2843337A1 (en) Refrigerator and refrigerator system for monitoring food
KR20170023465A (ko) 네트워크를 통해 냉장고의 관리 정보를 제공하기 위한 냉장고 제어 시스템 및 그 방법
CN112889019B (en) Method and system for providing information on object stored in refrigerator
KR20150066708A (ko) 부식 재고 알림 기능을 갖는 냉장고 및 이를 이용한 부식 주문시스템
KR20180049716A (ko) 김치 냉장고 및 김치 냉장고의 제어 방법
KR20200051283A (ko) 식품 관리 시스템, 서버 장치 및 냉장고

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant