KR20190084913A - 냉장고 및 냉장고의 동작 방법 - Google Patents
냉장고 및 냉장고의 동작 방법 Download PDFInfo
- Publication number
- KR20190084913A KR20190084913A KR1020190077906A KR20190077906A KR20190084913A KR 20190084913 A KR20190084913 A KR 20190084913A KR 1020190077906 A KR1020190077906 A KR 1020190077906A KR 20190077906 A KR20190077906 A KR 20190077906A KR 20190084913 A KR20190084913 A KR 20190084913A
- Authority
- KR
- South Korea
- Prior art keywords
- refrigerator
- food
- door
- image
- recognition
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 44
- 235000013305 food Nutrition 0.000 claims abstract description 365
- 238000012545 processing Methods 0.000 claims description 41
- 238000013528 artificial neural network Methods 0.000 claims description 23
- 238000004891 communication Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 15
- 230000001939 inductive effect Effects 0.000 claims description 10
- 230000001174 ascending effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 230000003213 activating effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 abstract description 45
- 238000010801 machine learning Methods 0.000 abstract description 9
- 238000004422 calculation algorithm Methods 0.000 abstract description 7
- 238000013473 artificial intelligence Methods 0.000 abstract description 6
- 238000011017 operating method Methods 0.000 abstract 2
- 230000007774 longterm Effects 0.000 abstract 1
- 241000220225 Malus Species 0.000 description 13
- 238000007710 freezing Methods 0.000 description 13
- 230000008014 freezing Effects 0.000 description 13
- 238000010411 cooking Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 239000003507 refrigerant Substances 0.000 description 8
- 235000021016 apples Nutrition 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003796 beauty Effects 0.000 description 2
- 235000013361 beverage Nutrition 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000005057 refrigeration Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004781 supercooling Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D29/00—Arrangement or mounting of control or safety devices
- F25D29/008—Alarm devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D23/00—General constructional features
- F25D23/02—Doors; Covers
- F25D23/028—Details
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D29/00—Arrangement or mounting of control or safety devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
- G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
- F25D2400/36—Visual displays
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
- F25D2400/36—Visual displays
- F25D2400/361—Interactive visual displays
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2500/00—Problems to be solved
- F25D2500/06—Stock management
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2700/00—Means for sensing or measuring; Sensors therefor
- F25D2700/02—Sensors detecting door opening
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2700/00—Means for sensing or measuring; Sensors therefor
- F25D2700/06—Sensors detecting the presence of a product
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30128—Food products
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Thermal Sciences (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Mechanical Engineering (AREA)
- Quality & Reliability (AREA)
- Entrepreneurship & Innovation (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
Abstract
사물 인터넷을 위해 연결된 5G 환경에서 인공지능(artificial intelligence, AI) 알고리즘 및/또는 기계학습(machine learning) 알고리즘을 실행하여 동작을 제어하는 냉장고 및 냉장고의 동작 방법이 개시된다. 본 발명의 일 실시 예에 따른 냉장고의 동작 방법은, 냉장고에 투입되는 식품을 제1 인식하는 단계와, 냉장고로부터 추출되는 식품을 제2 인식하는 단계와, 제1 인식의 결과 및 제2 인식의 결과에 기초하여 냉장고 내의 식품에 대한 보관 상태 정보를 디스플레이 하는 단계를 포함할 수 있다.
본 발명에 의하면, 음성 및 영상 인식 기능을 이용하여 냉장고로의 식품 보관 및 냉장고로부터의 식품 추출을 용이하게 인지하여 사용자의 냉장고 이용에 대한 편리함을 향상시킬 수 있고, 냉장고 내부의 식품에 대한 보관 상태 정보를 출력하여 오랫동안 보관된 식품을 잊지 않고 소비하도록 할 수 있다.
본 발명에 의하면, 음성 및 영상 인식 기능을 이용하여 냉장고로의 식품 보관 및 냉장고로부터의 식품 추출을 용이하게 인지하여 사용자의 냉장고 이용에 대한 편리함을 향상시킬 수 있고, 냉장고 내부의 식품에 대한 보관 상태 정보를 출력하여 오랫동안 보관된 식품을 잊지 않고 소비하도록 할 수 있다.
Description
본 발명은 냉장고 및 냉장고의 동작 방법에 관한 것으로, 보다 상세하게는 음성 및 영상 인식을 이용하여 식품의 투입 및 추출을 포함하는 식품의 관리 상황을 확인할 수 있는 냉장고 및 냉장고의 동작 방법에 관한 것이다.
일반적으로 냉장고는 도어에 의해 차폐되는 내부의 저장공간에 음식물을 저온 저장할 수 있도록 하는 가전 기기이다. 이를 위해 냉장고는 냉동사이클을 순환하는 냉매와의 열교환을 통해 발생하는 냉기를 이용하여 저장공간의 내부를 냉각함으로써 저장된 음식물들을 최적상태로 투입되는 수 있도록 구성된다.
최근의 냉장고는 식생활의 변화 및 제품의 고급화의 추세에 따라 점차 대형화 다기능화되고 있는 추세이며, 사용자의 편의 및 내부 공간을 효율적으로 사용할 수 있도록 하는 다양한 구조 및 편의장치를 구비한 냉장고가 출시되고 있다.
냉장고의 저장 공간은 도어에 의해 개폐될 수 있다. 그리고, 저장 공간의 배치형태와 저장공간을 개폐하는 도어의 구조에 따라서 다양한 형태의 냉장고로 분류될 수 있다.
선행기술 1에는 냉장고 내부를 확인할 수 있는 투시창이 냉장고 내부 조명과 연동되고 투시창의 투명상태를 일정시간 후에 불투명으로 자동 전환시키는 기술을 개시하고 있다.
선행기술 2에는 냉장고에 저장된 액상음료의 과냉각도 정도를 조절할 수 있는 모드를 마련하여 사용자가 자신의 기호 또는 액상음료의 종류에 맞게 과냉각도를 선택하여 조절할 수 있도록 하는 기술을 개시하고 있다.
그러나 선행기술 1 및 선행기술 2의 경우 냉장고에 보관된 식품의 관리 정보(예를 들어, 식품의 종류, 식품의 보관 개시 일자, 보관된 식품의 경과 일자 및 식품의 제거 일자 등)을 사용자에게 전달하지 못하는 한계가 있다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 발명의 일 과제는, 음성 및 영상 인식 기능을 이용하여 냉장고에 투입되는 식품 및 냉장고로부터의 추출되는 식품을 용이하게 인지하는데 있다.
본 발명의 일 과제는, 냉장고 내부의 식품에 대한 보관 상태 정보를 출력하는데 있다.
본 발명의 일 과제는, 냉장고 내부의 식품에 대한 경과 일자를 출력하여, 신선한 식품의 섭취를 유도하는데 있다.
본 발명의 일 과제는, 냉장고 내부의 식품에 대한 보관 상태 정보를 사용자 단말기로 출력하여 사용자가 언제 어디서나 냉장고의 식품 보관 상태를 확인하도록 하는데 있다.
본 발명의 일 과제는, 냉장고에서 추출된 식품의 구매를 대행하여 사용자에게 편리함을 제공하는데 있다.
본 발명의 일 과제는, 냉장고에서 추출되는 식품을 기반으로 레시피를 제공하여 사용자의 편리함을 향상시키는데 있다.
본 발명의 일 과제는, 냉장고와 네트워크를 통하여 연동되는 전자 조리기구의 동작모드를 자동으로 설정하고 동작시켜 사용자의 편리함을 향상시키는데 있다.
본 발명의 목적은 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시 예에 의해보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.
본 발명의 일 실시 예에 따른 냉장고의 동작 방법은, 음성 및 영상 인식을 이용하여 식품의 투입 및 추출을 포함하는 식품의 관리 상황을 확인하는 단계를 포함할 수 있다.
구체적으로 본 발명의 일 실시 예에 따른 냉장고의 동작 방법은, 냉장고에 투입되는 식품을 제1 인식하는 단계와, 냉장고로부터 추출되는 식품을 제2 인식하는 단계와, 제1 인식의 결과 및 제2 인식의 결과에 기초하여 냉장고 내의 식품에 대한 보관 상태 정보를 디스플레이 하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 냉장고의 동작 방법을 통하여, 사용자가 냉장고에 투입되는 식품 및 냉장고로부터의 추출되는 식품을 용이하게 인지함으로써 냉장고 이용에 대한 편리함을 향상시킬 수 있다. 또한 사용자가 냉장고 내부의 식품에 대한 보관 상태 정보를 인지하여 오랫동안 보관된 식품을 잊지 않고 소비하도록 할 수 있다.
또한, 제1 인식하는 단계는, 냉장고의 도어 열림을 감지하고 영상 인식 기능 및 음성 인식 기능을 활성화 하는 단계와, 냉장고에 투입되는 식품에 대한 촬영 영상을 획득하는 단계와, 영상을 통해 식품의 종류를 판단하도록 미리 훈련된 제1 심층신경망을 이용하여 식품에 대한 촬영 영상이 나타내는 식품의 종류를 추정하는 단계와, 식품의 종류의 추정이 실패하는 경우, 음성 발화 유도 신호를 출력하는 단계와, 음성 발화 유도 신호에 대응하여 식품 종류에 대한 제1 발화 음성 신호를 수신하는 단계와, 냉장고의 도어 닫힘을 감지하는 단계와, 인식된 식품의 종류가 냉장고에 보관되었음을 출력하는 단계를 포함할 수 있다.
본 실시 예에 따른 제1 인식하는 단계를 통하여, 사용자는 음성 인식 및 영상 인식 기능을 이용하여 냉장고에 투입되는 식품을 정확하게 인식할 수 있다.
또한, 제1 인식하는 단계는, 냉장고의 도어 열림을 감지하는 단계와, 식품에 대한 촬영 영상을 획득하는 단계와, 냉장고의 도어 닫힘을 감지하는 단계와, 식품이 냉장고에 보관되었음을 출력하는 단계를 포함할 수 있다.
본 실시 예에 따른 제1 인식하는 단계를 통하여, 사용자는 영상 인식 기능을 이용하여 냉장고에 투입되는 식품을 정확하게 인식할 수 있다.
또한, 제1 인식하는 단계는, 냉장고의 도어 열림을 감지하는 단계와, 음성 인식 기능 활성화 상태 정보를 출력하는 단계와, 식품의 보관을 포함하는 사용자의 제1 발화 음성을 수신하는 단계와, 냉장고의 도어 닫힘을 감지하는 단계와, 식품이 냉장고에 보관되었음을 출력하는 단계를 포함할 수 있다.
본 실시 예에 따른 제1 인식하는 단계를 통하여, 사용자는 음성 인식 기능을 이용하여 냉장고로 투입되는 식품을 정확하게 인식할 수 있다.
또한, 제1 인식하는 단계는, 냉장고의 도어 열림을 감지하는 단계와, 냉장고의 도어들 중 복수의 도어가 열리는 경우, 하나의 도어만 열 것을 알리는 단계와, 냉장고에 투입되는 식품을 인식하는 단계와, 냉장고의 도어가 모두 닫혔음을 감지하는 단계와, 냉장고에서 마지막으로 닫힌 도어의 위치에 따라 식품이 투입된 위치에 대한 정보를 결정하는 단계를 포함할 수 있다.
본 실시 예에 따른 제1 인식하는 단계를 통하여, 양문형 냉장고의 경우에도 사용자는 도어 열림 위치에 따라 식품이 보관되는 정확한 위치를 인지할 수 있다.
또한, 제2 인식하는 단계는, 냉장고의 도어 열림을 감지하는 단계와, 식품의 추출을 포함하는 사용자의 제2 발화 음성을 수신하는 단계와, 냉장고의 도어 닫힘을 감지하는 단계와, 식품이 냉장고로부터 추출되었음을 출력하는 단계를 포함할 수 있다.
본 실시 예에 따른 제2 인식하는 단계를 통하여, 사용자가는 음성 인식 기능을 이용하여 냉장고로부터 추출되는 식품을 정확하게 인식할 수 있다.
또한, 제2 인식하는 단계는, 냉장고의 도어 열림을 감지하는 단계와, 냉장고의 도어가 열릴 때 냉장고 내부를 촬영한 제1 영상을 획득하는 단계와, 냉장고의 도어 닫힘을 감지하는 단계와, 냉장고의 도어가 닫힌 후 냉장고 내부를 촬영한 제2 영상을 획득하는 단계와, 제1 영상 및 제2 영상을 비교하는 단계와, 제1 영상 및 제2 영상의 비교를 통하여 확인된 차이점에 기초하여 냉장고로부터 추출된 식품을 판단하는 단계와, 식품이 냉장고로부터 추출되었음을 출력하는 단계를 포함할 수 있다.
본 실시 예에 따른 제2 인식하는 단계를 통하여, 사용자는 영상 인식 기능을 이용하여 냉장고로부터 추출되는 식품을 정확하게 인식할 수 있다.
또한, 제2 인식하는 단계는, 냉장고의 도어 열림을 감지하는 단계와, 음성 인식 기능 활성화 상태 정보를 출력하는 단계와, 식품의 추출을 포함하는 사용자의 제2 발화 음성을 수신하는 단계와, 냉장고의 도어 닫힘을 감지하는 단계와, 식품이 냉장고로부터 추출되었음을 출력하는 단계를 포함할 수 있다.
본 실시 예에 따른 제2 인식하는 단계를 통하여, 사용자는 음성 인식 기능을 이용하여 냉장고로부터 추출되는 식품을 정확하게 인식할 수 있다.
또한, 디스플레이 하는 단계는, 냉장고 내에서 식품의 보관 위치, 식품의 목록 및 식품의 보관을 개시한 날짜부터 카운트된 경과일자 중 하나 이상을 포함하는 식품에 대한 보관 상태 정보를 디스플레이 하는 단계를 포함할 수 있다.
본 실시 예에 따른 디스플레이 하는 단계를 통하여, 냉장고 내부의 식품에 대한 보관 상태 정보를 출력함으로써 오랫동안 보관된 식품을 잊지 않고 소비하도록 할 수 있다.
또한, 디스플레이 하는 단계는, 냉장고 내의 식품의 보관을 개시한 날짜부터 카운트된 경과일자를 오름차순 또는 내림차순으로 정렬한 식품에 대한 목록을 디스플레이 하는 단계를 포함할 수 있다.
본 실시 예에 따른 디스플레이 하는 단계를 통하여, 냉장고 내부의 식품에 대한 보관 경과 일자를 출력함으로써 신선한 식품의 섭취를 유도할 수 있다.
또한, 디스플레이 하는 단계는, 냉장고에 등록된 단말기와 통신하여 단말기가 미리 지정된 특정 장소에 위치한다는 신호 또는 단말기가 미리 지정된 특정 사이트에 접속한다는 신호를 수신하는 단계와, 단말기에 식품에 대한 보관 상태 정보를 송신하는 단계를 포함할 수 있다.
본 실시 예에 따른 디스플레이 하는 단계를 통하여, 사용자는 언제 어디서나 냉장고의 식품 보관 상태를 확인할 수 있다.
또한, 본 실시 예에 따른 냉장고의 동작 방법은, 제1 인식하는 단계 및 제2 인식하는 단계 중 적어도 하나의 수행이 완료되면, 식품에 대한 보관 상태 정보를 업데이트 하는 단계를 더 포함할 수 있다.
본 실시 예에 따른 업데이트 단계를 통하여, 사용자는 요청 시마다 최신의 식품에 대한 보관 상태 정보를 인지할 수 있어 식품의 관리를 편리하게 할 수 있다.
본 발명의 일 실시 예에 따른 냉장고는, 냉장고에 투입되는 식품을 제1 인식하는 제1 인식부와, 냉장고로부터 추출되는 식품을 제2 인식하는 제2 인식부와, 제1 인식의 결과 및 제2 인식의 결과에 기초하여 냉장고 내의 식품에 대한 보관 상태 정보를 디스플레이 하는 디스플레이 처리부를 포함할 수 있다.
본 발명의 일 실시 예에 따른 냉장고를 통하여, 사용자가 냉장고에 투입되는 식품 및 냉장고로부터의 추출되는 식품을 용이하게 인지함으로써 냉장고 이용에 대한 편리함을 향상시킬 수 있다. 또한 사용자가 냉장고 내부의 식품에 대한 보관 상태 정보를 인지하여 오랫동안 보관된 식품을 잊지 않고 소비하도록 할 수 있다.
또한, 제1 인식부는, 냉장고에 투입되는 식품에 대한 촬영 영상을 획득하여, 영상을 통해 식품의 종류를 판단하도록 미리 훈련된 제1 심층신경망을 이용하여 식품에 대한 촬영 영상이 나타내는 식품의 종류를 추정하는 동작과, 식품의 종류의 추정이 실패하는 경우, 음성 발화 유도 신호를 출력하는 동작과, 식품의 종류를 판단하도록 미리 훈련된 제2 심층신경망을 이용하여 수신된 음성 발화 유도 신호에 대응하는 제1 발화 음성 신호가 나타내는 식품의 종류를 인식하는 동작을 수행하도록 구성될 수 있다.
본 실시 예에 따른 제1 인식부를 통하여, 사용자는 음성 인식 및 영상 인식 기능을 이용하여 냉장고에 투입되는 식품을 정확하게 인식할 수 있다.
또한, 제1 인식부는, 냉장고의 도어 열림을 감지하는 동작과, 냉장고의 도어들 중 복수의 도어가 열리는 경우, 하나의 도어만 열 것을 알리는 동작과, 냉장고에 투입되는 식품을 인식하는 동작과, 냉장고의 도어가 모두 닫혔음을 감지하는 동작과, 냉장고에서 마지막으로 닫힌 도어의 위치에 따라 식품이 투입된 위치에 대한 정보를 결정하는 동작을 수행하도록 구성될 수 있다.
본 실시 예에 따른 제1 인식부를 통하여, 양문형 냉장고의 경우에도 사용자는 도어 열림 위치에 따라 식품이 보관되는 정확한 위치를 인지할 수 있다.
또한, 제2 인식부는, 냉장고의 도어가 열릴 때 냉장고 내부를 촬영한 제1 영상을 획득하는 동작과, 냉장고의 도어가 닫힌 후 냉장고 내부를 촬영한 제2 영상을 획득하는 동작과, 제1 영상 및 제2 영상의 비교하는 동작과, 제1 영상 및 제2 영상의 비교를 통하여 확인된 차이점에 기초하여 냉장고로부터 추출된 식품을 판단하는 동작을 수행하도록 구성될 수 있다.
본 실시 예에 따른 제2 인식부를 통하여, 사용자는 영상 인식 기능을 이용하여 냉장고로부터 추출되는 식품을 정확하게 인식할 수 있다.
또한, 디스플레이 처리부는, 냉장고 내에서 식품의 보관 위치, 식품의 목록 및 식품의 보관을 개시한 날짜부터 카운트된 경과일자 중 하나 이상을 포함하는 식품에 대한 보관 상태 정보를 디스플레이 할 수 있다.
본 실시 예에 따른 디스플레이 처리부를 통하여, 냉장고 내부의 식품에 대한 보관 상태 정보를 출력함으로써 오랫동안 보관된 식품을 잊지 않고 소비하도록 할 수 있다.
또한, 디스플레이 처리부는, 냉장고 내의 식품의 보관을 개시한 날짜부터 카운트된 경과일자를 오름차순 또는 내림차순으로 정렬한 식품에 대한 목록을 디스플레이 할 수 있다.
본 실시 예에 따른 디스플레이 처리부를 통하여, 냉장고 내부의 식품에 대한 보관 경과 일자를 출력함으로써 신선한 식품의 섭취를 유도할 수 있다.
본 실시 예에 따른 냉장고는, 냉장고에 등록된 단말기와 통신하는 통신부를 더 포함하고, 통신부는, 단말기로부터 단말기가 미리 지정된 특정 장소에 위치한다는 신호 또는 단말기가 미리 지정된 특정 사이트에 접속한다는 신호를 수신하면, 단말기에 식품에 대한 보관 상태 정보를 송신하도록 구성될 수 있다.
본 실시 예에 따른 통신부를 통하여, 사용자는 언제 어디서나 냉장고의 식품 보관 상태를 확인할 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 방법을 실행하기 위한 컴퓨터 프로그램이 더 제공될 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명에 의하면, 음성 및 영상 인식 기능을 이용하여 냉장고로 투입되는 식품 및 냉장고로부터의 추출되는 식품을 용이하게 인지하여 사용자의 냉장고 이용에 대한 편리함을 향상시킬 수 있다.
또한, 냉장고 내부의 식품에 대한 보관 상태 정보를 출력하여 오랫동안 보관된 식품을 잊지 않고 소비하도록 할 수 있다.
또한, 냉장고 내부의 식품에 대한 보관 경과 일자를 출력하여, 신선한 식품의 섭취를 유도할 수 있다.
또한, 냉장고 내부의 식품에 대한 보관 상태 정보를 사용자 단말기로 출력하여 사용자가 언제 어디서나 냉장고의 식품 보관 상태를 확인하도록 할 수 있다.
또한, 냉장고에서 추출된 식품의 구매를 대행하여 사용자에게 편리함을 제공할 수 있다.
또한, 냉장고에서 추출되는 식품을 기반으로 레시피를 제공하여 사용자의 편리함을 향상시킬 수 있다.
또한, 냉장고와 네트워크를 통하여 연동되는 전자 조리기구의 동작모드를 자동으로 설정하고 동작시켜 사용자의 편리함을 향상시킬 수 있다.
또한, 냉장고 자체는 대량 생산된 획일적인 제품이지만, 사용자는 냉장고를 개인화된 장치로 인식하므로 사용자 맞춤형 제품의 효과를 낼 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 냉장고, 사용자 단말기, 서버 및 이들을 서로 연결하는 네트워크를 포함하는 냉장고 제어 환경의 예시도이다.
도 2는 본 발명의 일 실시 예에 따른 냉장고의 전면도이다.
도 3은 본 발명의 일 실시 예에 따른 냉장고의 개략적인 블록도이다.
도 4 내지 도 6은 냉장고의 식품 보관 또는 구매를 설명하기 위한 예시도이다.
도 7은 본 발명의 다른 실시 예에 따른 냉장고, 사용자 단말기, 서버, 전자 조리기구 및 이들을 서로 연결하는 네트워크를 포함하는 냉장고 제어 환경의 예시도이다.
도 8은 본 발명의 일 실시 예에 따른 냉장고의 동작 방법을 도시한 흐름도이다.
도 2는 본 발명의 일 실시 예에 따른 냉장고의 전면도이다.
도 3은 본 발명의 일 실시 예에 따른 냉장고의 개략적인 블록도이다.
도 4 내지 도 6은 냉장고의 식품 보관 또는 구매를 설명하기 위한 예시도이다.
도 7은 본 발명의 다른 실시 예에 따른 냉장고, 사용자 단말기, 서버, 전자 조리기구 및 이들을 서로 연결하는 네트워크를 포함하는 냉장고 제어 환경의 예시도이다.
도 8은 본 발명의 일 실시 예에 따른 냉장고의 동작 방법을 도시한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 냉장고, 사용자 단말기, 서버 및 이들을 서로 연결하는 네트워크를 포함하는 냉장고 제어 환경의 예시도이고, 도 2는 본 발명의 일 실시 예에 따른 냉장고의 전면도이다. 도 1 및 도 2를 참조하면, 냉장고 제어 환경(1)은, 냉장고(100), 사용자 단말기(200), 서버(300) 및 네트워크(400)를 포함할 수 있다.
냉장고(100)는 제1 도어(101) 내지 제4 도어(104)에 의해 차폐되는 내부의 저장공간에 음식물을 저온 저장할 수 있도록 하는 가전 기기로서, 냉장고(100)는 냉동사이클을 순환하는 냉매와의 열교환을 통해 발생하는 냉기를 이용하여 저장공간의 내부를 냉각함으로써 저장된 음식물들을 최적상태로 투입되는 수 있다.
냉장고(100)의 제1 도어(우측 도어, 101) 및 제2 도어(좌측 도어, 102)는 냉장실을 열고 닫는 냉장실 도어일 수 있고, 제3 도어(우측 도어, 103) 및 제4 도어(좌측 도어, 104)는 냉동실을 열고 닫는 냉동실 도어일 수 있다. 냉장실 도어로서의 제1 도어(101) 및 제2 도어(102)는 냉장실의 개구된 전면을 회동에 의해 개폐하며, 냉동실 도어로서의 제3 도어(103) 및 제4 도어(104)는 냉동실의 개구된 전면을 회동에 의해 개폐하도록 구성될 수 있다. 본 실시 예에서 제3 도어(103) 및/또는 제4 도어(104)는 필요에 따라서 서랍식으로 인출 가능하게 구성될 수 있으며, 하나 또는 그 이상으로 구성될 수도 있다.
한편, 본 발명의 실시 예에서는 냉동실이 하방에 구비되는 바텀 프리즈 타입의 냉장고에 하나의 공간을 한 쌍의 도어가 회동되어 각각 개폐되는 프렌치 타입의 도어가 적용된 냉장고를 예를 들어 설명하고 있으나, 본 발명은 냉장고의 형태에 구애 받지 않고 도어가 구비되는 모든 타입의 냉장고에 적용될 수 있을 것이다.
제1 도어(101) 및 제2 도어(102) 중 일 측의 도어 즉, 제1 도어(101)에는 조작부(도 3의 120)와, 제1 영상센서(도 3의 131)와, 디스플레이부(도 3의 161)가 구비될 수 있다. 조작부(120)와 디스플레이부(161)는 단일 모듈인 표시 장치로 제공될 수 있으며, 제1 도어(101) 전면으로 노출되도록 배치될 수 있고, 디스플레이부(161)의 일 측에는 제1 영상센서(131)가 배치될 수 있다.
디스플레이부(161)는 냉장고(100)의 동작 정보를 표시하기 위한 것으로 고내의 온도 정보를 표시할 수도 있으며, 설정된 기능을 문자 또는 그림으로 표시할 수 있도록 구성될 수 있다. 조작부(120)는 디스플레이부(161)와 인접한 일 측에 제공되며, 사용자의 터치 또는 누름 조작을 인식할 수 있는 센서 또는 버튼, 스위치 구조로 구성될 수 있다. 조작부(120)의 조작에 의해 냉장고(100)의 온도 설정 및 각종 기능의 선택 설정이 가능하도록 구성될 수 있다.
한편, 제1 도어(101) 및 제2 도어(102) 중 다른 일 측의 도어 예를 들어, 제2 도어(102)에는 도어 배면의 저장공간 및/또는 냉장고(100) 내 공간의 투시가 가능한 영역인 투시부(미도시)가 형성될 수 있다. 투시부는 냉장실 도어의 전면 적어도 일부를 구성할 수 있다. 투시부는 사용자의 조작에 따라서 선택적으로 투명 또는 불투명 상태가 될 수 있으며, 투시부를 통해서 냉장고(100) 내에 수납된 식품을 정확하게 식별할 수 있다.
그리고 제1 도어(101) 및 제2 도어(102) 중 제1 도어(101)는 이중으로 개폐될 수 있도록 구성될 수 있다. 상세히, 제1 도어(101)는 냉장실을 개폐하는 메인 도어(미도시)와, 메인 도어에 회동 가능하게 배치되어 메인 도어에 형성된 개구부를 개폐하는 서브 도어(미도시)로 구성될 수 있다. 메인 도어는 제1 도어(101) 및 제2 도어(102) 중 제2 도어(102)와 동일한 크기로 형성될 수 있으며, 어퍼 힌지(미도시) 및 로어 힌지(미도시)에 의해 회동 가능하게 장착되어 냉장실의 적어도 일부를 개폐할 수 있다.
제1 도어(101) 내지 제4 도어(104)는 캐비닛에 회전 가능하게 구비되며, 제1 도어(101) 내지 제4 도어(104)와 캐비닛 사이에는 가스켓이 구비될 수 있다. 제1 도어(101) 내지 제4 도어(104)가 닫힌 상태에서는 가스켓이 제1 도어(101) 내지 제4 도어(104)와 캐비닛 사이에서 밀착되어 냉장실 및 냉동실의 냉기가 누설되는 것이 방지될 수 있다. 이러한 가스켓의 밀착력이 증가될 수록 냉기 누설 방지 효과가 증가될 수 있다. 가스켓의 밀착력을 증가시키기 위하여 가스켓은 고무 자석으로 형성될 수 있으며, 가스켓 내부에 자석이 구비될 수 있다. 사용자가 가스켓의 밀착력, 자력 그리고 스프링에 의한 탄성력 보다 큰 힘으로 도어를 당기면 제1 도어(101) 내지 제4 도어(104) 중 어느 한 도어를 열 수 있다.
선택적 실시 예로 제1 도어(101) 내지 제4 도어(104) 중 어느 한 도어에 대한 사용자의 단순 터치에 의해, 또는 사용자의 음성 명령에 의해 제1 도어(101) 내지 제4 도어(104) 중 어느 한 도어를 자동으로 열거나 닫을 수 있다. 도어를 자동으로 열거나 닫기 위해 제1 도어(101) 내지 제4 도어(104)는 도어 개방/폐쇄 모듈(미도시)을 더 포함할 수 있다. 도어 개방/폐쇄 모듈은 모터와, 복수의 기어와, 랙을 포함할 수 있다. 제어부(도 3의 180)의 제어에 의해 모터를 제1 방향 또는 제2 방향으로 구동하고, 모터의 구동에 의해 기어가 구동되며, 모터의 기동력이 기어를 통해 랙으로 전달되어 도어를 열거나 또는 닫을 수 있다.
제1 도어(101) 내지 제4 도어(104) 중 어느 한 도어에 대한 사용자의 단순 터치에 의해 도어를 자동으로 열거나 닫기 위해, 도어에 구비된 터치 센서(도 3의 132에 포함)의 동작을 감지한 제어부(180)는 도어 개방/폐쇄 모듈을 동작시킬 수 있다. 또한 사용자의 음성 명령에 의해 제1 도어(101) 내지 제4 도어(104) 중 어느 한 도어를 자동으로 열거나 닫기 위해, 사용자의 발화 음성(예를 들어, 좌측 냉장실 도어 열어줘, 또는 우측 냉동실 도어 열어줘 등)을 수신한 음성 인식 모듈(도 3의 190)이 제어부(180)로 음성 인식 결과 신호를 전송하고, 제어부(180)는 도어 개방/폐쇄 모듈을 동작시킬 수 있다.
본 실시 예에서 냉장고(100)는, 냉장고(100)에 투입되는 식품을 제1 인식하고, 냉장고(100)로부터 추출되는 식품을 제2 인식하며, 제1 인식의 결과 및 제2 인식의 결과에 기초하여 냉장고 내의 식품에 대한 보관 상태 정보를 디스플레이 할 수 있다. 여기서 식품에 대한 보관 상태의 디스플레이는 사용자의 요청에 의해 수행될 수 있다. 냉장고(100)는 제1 인식 및 제2 인식 중 적어도 하나의 수행이 완료되면 식품에 대한 보관 상태 정보를 업데이트 할 수 있다.
또한 냉장고(100)는 사용자의 요청에 의해, 또는 제1 인식의 결과 및 제2 인식의 결과에 기초하여, 주기적으로 투입 및 추출되는 식품에 대한 구매를 대행할 수 있으며, 이를 위해 냉장고(100)는 상품 정보를 제공하는 상품 정보 제공 서버(미도시)로부터 상품 정보를 수집하여 디스플레이부(161)에 디스플레이 할 수 있다. 이를 위해 냉장고(100)는 상품 정보 제공 서버와 네트워크(400)를 통하여 통신할 수 있다.
또한 냉장고(100)는 사용자 단말기(200)의 정보를 수신하여 사용자 단말기(200)를 등록하고, 사용자 단말기(200)로부터 사용자 단말기(200)가 미리 지정된 특정 장소(예를 들어, 마트, 시장 등)에 위치한다는 신호 또는 사용자 단말기(200)가 미리 지정된 특정 사이트(예를 들어, 식품 쇼핑몰 등)에 접속한다는 신호를 수신하면, 사용자 단말기(200)에 식품에 대한 보관 상태 정보를 송신하여, 사용자는 사용자 단말기(200)에 출력되는 식품에 대한 보관 상태 정보를 확인하면서 식품을 구매하도록 할 수 있다.
또한 사용자 단말기(200)는 냉장고 구동 어플리케이션 또는 냉장고 구동 사이트에 접속한 후 인증 과정을 통하여 냉장고(100)의 상태 정보 모니터링, 구동 또는 제어를 위한 서비스를 제공받을 수 있다. 본 실시 예에서 인증 과정을 마친 사용자 단말기(200)는 냉장고(100)를 구동하고, 냉장고(100)의 동작을 제어할 수 있다. 또한 사용자 단말기(200)는 냉장고(100)에 디스플레이 되는 정보를 동일하게 디스플레이 할 수 있는데, 일 예로 사용자(발화자 포함)의 명령 입력에 대응하는 정보, 사용자의 명령 입력에 대응하는 처리 결과와, 냉장고(100)의 동작모드, 동작상태, 에러상태, 냉장고(100) 내의 식품에 대한 보관 상태 등을 디스플레이 할 수 있다. 예를 들어, 사용자 단말기(200)를 이용하여 사용자가 냉장고(100)의 식품에 대한 보관 상태 정보 요청 신호를 요청하면, 냉장고(100)는 식품에 대한 보관 상태 정보를 생성하여 사용자 단말기(200)로 전송할 수 있다.
본 실시 예에서 사용자 단말기(200)는 사용자가 조작하는 데스크 탑 컴퓨터, 스마트폰, 노트북, 태블릿 PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라, 가전기기 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다. 또한, 사용자 단말기(200)는 통신 기능 및 데이터 프로세싱 기능을 구비한 시계, 안경, 헤어 밴드 및 반지 등의 웨어러블 단말기 일 수 있다. 사용자 단말기(200)는 상술한 내용에 제한되지 아니하며, 웹 브라우징이 가능한 단말기는 제한 없이 차용될 수 있다.
서버(300)는 각종 인공지능 알고리즘을 적용하는데 필요한 빅데이터 및 냉장고(100)를 동작시키는 데이터를 제공하는 데이터베이스 서버일 수 있다. 그 밖에 서버(300)는 사용자 단말기(200)에 설치된 냉장고 구동 어플리케이션 또는 냉장고 구동 웹 브라우저를 이용하여 냉장고(100)의 동작을 원격에서 제어할 수 있도록 하는 웹 서버 또는 애플리케이션 서버를 포함할 수 있다.
여기서 인공 지능(artificial intelligence, AI)은, 인간의 지능으로 할 수 있는 사고, 학습, 자기계발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 것을 의미할 수 있다.
또한, 인공지능은 그 자체로 존재하는 것이 아니라, 컴퓨터 과학의 다른 분야와 직간접으로 많은 관련을 맺고 있다. 특히 현대에는 정보기술의 여러 분야에서 인공지능적 요소를 도입하여, 그 분야의 문제 풀이에 활용하려는 시도가 매우 활발하게 이루어지고 있다.
머신 러닝(machine learning)은 인공지능의 한 분야로, 컴퓨터에 명시적인 프로그램 없이 배울 수 있는 능력을 부여하는 연구 분야를 포함할 수 있다. 구체적으로 머신 러닝은, 경험적 데이터를 기반으로 학습을 하고 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이라 할 수 있다. 머신 러닝의 알고리즘들은 엄격하게 정해진 정적인 프로그램 명령들을 수행하는 것이라기보다, 입력 데이터를 기반으로 예측이나 결정을 이끌어내기 위해 특정한 모델을 구축하는 방식을 취할 수 있다.
서버(300)는 냉장고(100)와의 신호 송수신을 수행할 수 있고, 특히 냉장고(100)에 투입되는 식품을 제1 인식하고 그 결과를 냉장고(100)로 전송하고, 냉장고(100)로부터 추출되는 식품을 제2 인식하고 그 결과를 냉장고(100)로 전송할 수 있다. 서버(300)는 제1 인식의 결과 및 제2 인식의 결과에 기초하여 냉장고 내의 식품에 대한 보관 상태 정보를 디스플레이 하도록 냉장고(100)를 제어할 수 있다. 서버(300)는 제1 인식 및 제2 인식 중 적어도 하나의 수행이 완료되면 식품에 대한 보관 상태 정보를 업데이트하도록 냉장고를 제어할 수 있다.
또한 서버(300)는 사용자의 요청에 의해, 또는 제1 인식의 결과 및 제2 인식의 결과에 기초하여, 주기적으로 투입 및 추출되는 식품에 대한 구매를 대행할 수 있으며, 이를 위해 서버(300)는 상품 정보를 제공하는 상품 정보 제공 서버(미도시)로부터 상품 정보를 수집하여 냉장고(100) 및/또는 사용자 단말기(200)에 디스플레이 할 수 있다. 이를 위해 서버(300)는 상품 정보 제공 서버와 네트워크(400)를 통하여 통신할 수 있다.
또한 서버(300)는 사용자 단말기(200)를 등록하고, 사용자 단말기(200)로부터 사용자 단말기(200)가 미리 지정된 특정 장소(예를 들어, 마트, 시장 등)에 위치한다는 신호 또는 사용자 단말기(200)가 미리 지정된 특정 사이트(예를 들어, 식품 쇼핑몰 등)에 접속한다는 신호를 수신하면, 사용자 단말기(200)에 냉장고(100)로부터 수신한 식품에 대한 보관 상태 정보를 송신하여, 사용자는 사용자 단말기(200)에 출력되는 식품에 대한 보관 상태 정보를 확인하면서 식품을 구매하도록 할 수 있다.
네트워크(400)는 냉장고(100)와, 사용자 단말기(200)와, 서버(300)를 연결하는 역할을 수행할 수 있다. 이러한 네트워크(400)는 예컨대 LANs(local area networks), WANs(wide area networks), MANs(metropolitan area networks), ISDNs(integrated service digital networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 또한 네트워크(400)는 근거리 통신 및/또는 원거리 통신을 이용하여 정보를 송수신할 수 있다. 여기서 근거리 통신은 블루투스(bluetooth), RFID(radio frequency identification), 적외선 통신(IrDA, infrared data association), UWB(ultra-wideband), ZigBee, Wi-Fi (wireless fidelity) 기술을 포함할 수 있고, 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 기술을 포함할 수 있다.
네트워크(400)는 허브, 브리지, 라우터, 스위치 및 게이트웨이와 같은 네트워크 요소들의 연결을 포함할 수 있다. 네트워크(400)는 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 네트워크(400)에의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다. 더 나아가 네트워크(400)는 사물 등 분산된 구성 요소들 간에 정보를 주고 받아 처리하는 IoT(Internet of Things, 사물인터넷) 망 및/또는 5G 통신을 지원할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 냉장고의 개략적인 블록도이다. 이하의 설명에서 도 1 및 도 2에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다. 도 3을 참조하면, 냉장고(100)는 통신부(110), 조작부(120), 센서부(130), 오디오 입력부(140), 구동부(150), 디스플레이부(161) 및 오디오 출력부(162)를 포함하는 출력부(160), 처리부(170), 제어부(180), 메모리(181) 및 프로세서(191)를 포함할 수 있다. 본 실시 예에서 통신부(110), 오디오 입력부(140), 오디오 출력부(162), 메모리(181) 및 프로세서(191)는 음성 인식 모듈(190)에 포함될 수 있다.
통신부(110)는 네트워크(400)와 연동하여 냉장고(100), 사용자 단말기(200) 및/또는 서버(300) 간의 송수신 신호를 패킷 데이터 형태로 제공하는데 필요한 통신 인터페이스를 제공할 수 있다. 또한, 통신부(110)는 각종 사물 지능 통신(IoT(internet of things), IoE(internet of everything), IoST(internet of small things) 등)을 지원할 수 있으며, M2M(machine to machine) 통신, V2X(vehicle to everything communication) 통신, D2D(device to device) 통신 등을 지원할 수 있다.
조작부(120)는 복수의 조작 버튼(미도시)을 구비하여, 입력되는 버튼에 대응하는 신호를 제어부(180)로 전송할 수 있다. 조작부(120)는 냉장고(100)의 온도 설정 및 각종 기능의 선택 설정이 가능하도록 구성될 수 있다. 이러한 조작부(120)는 사용자의 터치 또는 누름 조작을 인식할 수 있는 센서 또는 버튼, 스위치 구조로 구성될 수 있다. 본 실시 예에서 조작부(120)는 디스플레이부(161) 또는 사용자 단말기(200)에 표시되는 냉장고(100) 내의 식품에 대한 보관 상태 정보에 포함되는 식품에 대한 검색을 위해, 식품을 정렬하기 위해, 식품의 보관 위치를 이동하기 위해, 식품에 대한 상세 정보를 수정하기 위해, 식품의 구매를 위해, 사용자가 조작하는 조작 신호를 제어부(180)로 전송할 수 있다.
센서부(130)는 냉장고(100) 내부 상황 및 외부 상황을 센싱하는 제1 영상센서(131_1) 내지 제N 영상센서(131_N)와 그 밖의 복수개의 센서(132)를 포함할 수 있다. 제1 영상센서(131_1) 내지 제N 영상센서(131_N)는, 예컨대 COMS(complementary metal-oxide semiconductor) 모듈(미도시) 또는 CCD(charge coupled device) 모듈(미도시) 등을 이용하여 촬영영역 내의 피사체를 촬영하는 카메라를 의미하는 것으로, 입력되는 영상 프레임은 렌즈(미도시)를 통해 COMS 모듈 또는 CCD 모듈로 제공되고, COMS 모듈 또는 CCD 모듈은 렌즈를 통과한 피사체의 광신호를 전기적 신호로 변환하여 출력할 수 있다. 또한, 카메라는 팬(pan)/틸트(tilt)/줌(zoom) 기능을 구비한 PTZ 카메라 일 수 있다. 이와 같은 카메라 내부에는 영상 신호 처리부(미도시)가 구비되어 있어서, 촬영한 영상 프레임에 대하여 노이즈를 저감하고, 감마 보정(gamma correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행할 수 있다. 또한, 영상 신호 처리부는 기능적으로 색채 처리, 블러 처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 수행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 수행할 수 있다.
본 실시 예에서 제1 영상센서(131_1)는 냉장고(100)의 전면 즉, 디스플레이부(161) 상부에 구비되어 냉장고(100)의 주변을 촬영할 수 있다. 예를 들어, 제1 영상센서(131_1)는 식품을 들고 있는 사용자를 촬영할 수 있다. 또한 제2 영상센서(131_2) 내지 제N 영상센서(131_N)는 냉장고(100)의 내부에 구비되어 냉장고(100) 내부를 촬영할 수 있다. 예를 들어, 제2 영상센서(131_2) 내지 제N 영상센서(131_N)는 냉장실의 분리된 복수의 냉장칸 또는 냉동칸 각각의 측벽에 구비될 수 있다. 제2 영상센서(131_2)는 제1 도어 내부의 최상부 냉장칸 측벽에 구비될 수 있다. 제2 영상센서(131_2) 내지 제N 영상센서(131_N)는 냉장고(100) 내부를 촬영할 수 있는 경우 위치에 상관없이 구비될 수 있다. 제2 영상센서(131_2) 내지 제N 영상센서(131_N)가 촬영한 영상을 수신한 처리부(170) 또는 제어부(180)는 식품의 보관 위치 정보를 생성할 수 있다. 한편, 제1 영상센서(131_1) 내지 제N 영상센서(131_N)가 촬영한 영상은 메모리(181)에 저장될 수 있다.
센서(132)는 냉장고(100) 내의 정보, 냉장고(100)를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱할 수 있다. 예를 들어, 센서(132)는 장애물 센서(예를 들어, 근접센서(proximity sensor), 라이다 센서((lidar sensor) 등), 무게 감지 센서, 조도 센서(illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 실시 예에서 냉장고(100)는 이러한 센서(132)들 중 적어도 둘 이상의 센서(132)에서 센싱되는 정보들을 조합하여 활용할 수 있다. 한편, 센서(132)가 센싱한 신호는 메모리(181)에 저장될 수 있다.
오디오 입력부(140)는 사용자가 발화한 발화 음성(예를 들어 음성 명령)을 입력 받을 수 있다. 이를 위해 오디오 입력부(140)는 하나 이상의 마이크(미도시)를 구비할 수 있다. 또한 사용자의 발화 음성을 더 정확하게 수신하기 위해 복수의 마이크(미도시)를 구비할 수 있다. 여기서, 복수의 마이크 각각은 서로 다른 위치에 이격되어 배치될 수 있고, 수신한 사용자의 발화 음성을 전기적인 신호로 처리할 수 있다.
구동부(150)는 제어부(180)의 제어 하에 냉장고(100)에 구현된 동작을 수행할 수 있다. 이러한 구동부(150)는 압축기 구동부(미도시), 냉장실 팬 구동부(미도시) 및 냉동실 팬 구동부 등을 포함할 수 있다. 압축기 구동부는 제어부(180)의 제어명령에 대응하여 압축기가 동작하도록 동작전원을 공급하고, 압축기의 운전을 제어할 수 있다. 이때 압축기 구동부는 압축기제어를 위한 인버터(미도시) 및 인버터 구동부(미도시)로 구성될 수 있다. 냉장실 팬 구동부는 제어부(180)의 제어명령에 대응하여 냉장실로 열교환된 냉기가 공급되도록 냉장실 팬의 회전동작 및 회전속도를 제어할 수 있다. 냉동실 팬 구동부는 제어부(180)의 제어명령에 대응하여 냉동실로 열교환된 냉기가 공급되도록 냉동실 팬의 회전동작 및 회전속도를 제어할 수 있다. 여기서 압축기는 냉매를 압축하여 냉장고(100) 내에서 냉매가 순환되도록 하고 냉매를 조절하여 토출되는 냉기의 온도를 제어할 수 있다. 또한 냉장실 팬 및 냉동실 팬은 열교환기에 의해 냉매와 열교환된 냉기가 각각 냉장실과 냉동실로 각각 토출되도록 할 수 있다.
출력부(160)는 디스플레이부(161) 및 오디오 출력부(162)를 포함할 수 있다. 디스플레이부(261)는 사용자(발화자 포함)의 명령 입력에 대응하는 정보, 사용자의 명령 입력에 대응하는 처리 결과와, 냉장고(100)의 동작모드, 동작상태, 에러상태, 냉장고(100) 내의 식품에 대한 보관 상태 등을 디스플레이 할 수 있다. 실시 예에 따라서, 디스플레이부(161)는 터치패드와 상호 레이어 구조를 이루어 터치스크린으로 구성될 수 있다. 이 경우에, 디스플레이부(161)는 출력부 이외에 사용자의 터치에 의한 정보의 입력이 가능한 입력부로도 사용될 수 있다. 이를 위해 디스플레이부(161)는 터치 인식 디스플레이 제어기 또는 이외의 다양한 입출력 제어기로 구성될 수 있다. 일 예로, 터치 인식 디스플레이 제어기는 장치와 사용자 사이에 출력 인터페이스 및 입력 인터페이스를 제공할 수 있다. 터치 인식 디스플레이 제어기는 전기 신호를 제어부(180)와 송수신할 수 있다. 또한, 터치 인식 디스플레이 제어기는 사용자에게 시각적인 출력을 표시하며, 시각적 출력은 텍스트, 그래픽, 이미지, 비디오와 이들의 조합을 포함할 수 있다. 이와 같은 디스플레이부(161)는 예를 들어 터치 인식이 가능한 OLED(organic light emitting display) 또는 LCD(liquid crystal display) 또는 LED(light emitting display)와 같은 소정의 디스플레이 부재일 수 있다.
오디오 출력부(162)는 제어부(180)의 제어에 따라 경고음, 동작모드, 동작상태, 에러상태 등의 알림 메시지, 사용자의 명령 입력에 대응하는 정보, 사용자의 명령 입력에 대응하는 처리 결과 등을 오디오로 출력할 수 있다. 오디오 출력부(162)는 제어부(180)로부터의 전기 신호를 오디오 신호로 변환하여 출력할 수 있다. 이를 위해, 스피커 등을 구비할 수 있다.
처리부(170)는 냉장고(100)에 투입되는 식품을 제1 인식하고, 냉장고(100)로부터 추출되는 식품을 제2 인식하며, 제1 인식의 결과 및 제2 인식의 결과에 기초하여 냉장고 내의 식품에 대한 보관 상태 정보를 디스플레이 할 수 있다. 또한 처리부(170)는 냉장고(100)는 사용자의 요청에 의해, 또는 제1 인식의 결과 및 제2 인식의 결과에 기초하여, 주기적으로 투입 및 추출되는 식품에 대한 구매를 대행할 수 있다. 본 실시 예에서 처리부(170)는 제어부(180)와 연계하여 학습을 수행하거나, 제어부(180)로부터 학습 결과를 수신할 수 있다. 이를 위해 처리부(170)는 제1 인식부(171), 제2 인식부(172), 디스플레이 처리부(173), 업데이트부(174) 및 제공부(175)를 포함할 수 있다.
제1 인식부(171)는 냉장고(100)에 투입되는 식품을 제1 인식할 수 있다. 본 실시 예에서, 제1 인식부(171)가 인식한 식품의 제1 인식 결과는, 식품의 종류 정보, 식품의 관리 정보(예를 들어, 보관 상태 정보), 식품의 보관 위치 정보를 포함할 수 있다.
제1 인식부(171)는 냉장고(100)의 제1 도어(101) 내지 제4 도어(104) 중 하나 이상의 열림을 감지할 수 있다. 여기서 제1 인식부(171)는 상술한 가스켓의 밀착력, 자력 그리고 스프링에 의한 탄성력을 감지하여, 가스켓의 밀착력, 자력 그리고 스프링에 의한 탄성력 보다 큰 힘이 발생한 경우 제1 도어(101) 내지 제4 도어(104) 중 어느 한 도어의 열림을 감지할 수 있고, 상술한 바와 같이 사용자의 단순 터치에 의해 또는 사용자의 음성 명령에 의한 도어 개방/폐쇄 모듈의 동작 상황으로 제1 도어(101) 내지 제4 도어(104) 중 어느 한 도어의 열림을 감지할 수 있다.
제1 인식부(171)는 제1 도어(101) 내지 제4 도어(104) 중 어느 한 도어의 열림을 감지하고 영상 인식 기능 및 음성 인식 기능을 활성화시킬 수 있다. 여기서 영상 인식 기능의 활성화는 도어의 열림을 감지하고 난 후, 제1 인식부(171)의 제어에 의해 제2 영상센서(131_2) 내지 제N 영상센서(131_N) 중 하나 이상이 동작을 개시하도록 하는 상태를 포함할 수 있다. 또한 음성 인식 기능의 활성화는 음성 인식 모듈(190)의 동작을 개시하도록 하는 상태를 포함할 수 있으며, 사용자의 기동어 발화 여부로 판단할 수 있다. 본 실시 예에서 사용자가 냉장고(100)의 도어를 열기 전에 또는 열고 나서 기설정되어 있는 기동어(예를 들어, 하이 엘지)를 발화한 경우 음성 인식 기능이 활성화 될 수 있다. 또는 사용자가 냉장고(100)의 도어를 열면, 사용자가 기동어를 발화하지 않더라도 음성 인식 기능이 활성화 될 수 있다. 또는 사용자가 냉장고(100)를 바라보는 시간이 기설정된 시간(예를 들어, 3초)을 경과하는 경우 사용자가 기동어를 발화하지 않더라도 음성 인식 기능이 활성화 될 수 있다. 여기서 사용자의 영상을 촬영한 제1 영상센서(131_1)는 내부에 구비된 영상 신호 처리부를 통하여 사용자가 냉장고(100)를 바라보고 있는지 여부와 시간을 분석하여 음성 인식 기능을 활성화 여부를 결정할 수 있다.
제1 인식부(171)는 영상 인식 기능이 활성화 된 후, 냉장고(100)에 투입되는 식품에 대한 촬영 영상을 획득할 수 있다. 여기서, 식품에 대한 촬영 영상은 제1 영상센서(131_1) 내지 제N 영상센서(131_N) 중 하나 이상이 촬영한 영상을 포함할 수 있다. 제1 인식부(171)는 획득한 영상을 통해 식품의 종류를 판단하도록 미리 훈련된 제1 심층신경망을 이용하여 식품에 대한 촬영 영상이 나타내는 식품의 종류를 추정할 수 있다. 여기서, 영상을 통해 식품의 종류를 판단하도록 미리 훈련된 제1 심층신경망은 서버(300)로부터 수신할 수 있다.
제1 인식부(171)는 영상 인식 기능을 통한 식품의 종류의 추정이 실패하는 경우 음성 발화 유도 신호를 출력할 수 있다. 음성 발화 유도 신호를 출력에 대응하여 수신한 사용자의 제1 발화 음성은 제1 인식부(171)를 통하여 음성 인식 모듈(190)로 전송될 수 있다. 여기서, 제1 발화 음성은 냉장고(100)로 식품의 투입을 알리는 발화 음성(예를 들어, 사과 보관해줘 등)을 포함할 수 있다. 제1 인식부(171)와 음성 인식 모듈(190)은 음성 인식 관련 신호를 서로 송수신할 수 있다. 음성 인식 기능이 활성화된 상태에서, 제1 인식부(171)는 음성을 통해 식품의 종류를 판단하도록 미리 훈련된 제2 심층신경망을 이용하여 제1 발화 음성 신호가 나타내는 식품의 종류를 인식할 수 있다. 여기서, 음성을 통해 식품의 종류를 판단하도록 미리 훈련된 제2 심층신경망은 서버(300)로부터 수신할 수 있다.
제1 인식부(171)는 영상 인식 기능을 이용하여 식품의 종류를 추정하고 난 후, 또는 음성 인식 기능을 이용하여 식품의 종류를 인식하고 난 후, 도어의 닫힘을 감지할 수 있다. 제1 인식부(171)는 상술한 내용으로부터 열린 도어에 대한 가스켓의 밀착력, 자력 그리고 스프링에 의한 탄성력이 제로인 경우 도어의 닫힘을 감지할 수 있고, 사용자의 단순 터치에 의해 또는 사용자의 음성 명령에 의한 도어 개방/폐쇄 모듈의 동작 상황으로 도어의 닫힘을 감지할 수 있다. 제1 인식부(171)는 도어의 닫힘을 감지한 후, 냉장고(100)로의 식품의 보관이 완료되었음을 출력할 수 있다. 여기서 제1 인식부(171)는 디스플레이부(161) 및/또는 오디오 출력부(162)를 제어하여 냉장고(100)로의 식품의 보관이 완료되었음을 출력할 수 있다.
선택적 실시 예로 제1 인식부(171)는 냉장고(100)의 제1 도어(101) 내지 제4 도어(104) 중 하나 이상의 열림을 감지하고, 도어가 열린 후 식품에 대한 촬영 영상을 획득할 수 있다. 여기서 식품에 대한 촬영 영상은 제1 영상센서(131_1) 내지 제N 영상센서(131_N) 중 하나 이상이 촬영한 영상을 포함할 수 있다.
제1 인식부(171)는 상술한 제1 심층신경망을 이용하여 식품의 종류를 인식하거나, 식품에 대한 촬영 영상을 메모리(181)에 저장된 식품의 기준 종류 영상과 비교하여 식품의 종류를 인식할 수 있다. 또한, 메모리(181)에 저장된 이전에 촬영한 영상(히스토리 영상)과 현재 촬영한 영상의 비교를 통하여 식품의 관리 정보(예를 들어, 보관)을 인식할 수 있다. 즉 전후 촬영 영상이 서로 다른 경우 식품이 투입되었음을 인식할 수 있다. 예를 들어, 이전에 촬영한 영상에는 사과가 없었는데 현재 촬영한 영상에 사과가 존재하는 경우, 사과가 투입되었음을 인식할 수 있다. 또한 이전에 촬영한 영상에는 사과가 1개 있었는데 현재 촬영한 영상에 사과가 3개 존재하는 경우에도 사과가 추가 투입되었음을 인식할 수 있다. 여기서 제1 인식부(171)가 식품에 대한 촬영 영상을 인식하지 못한 경우, 제1 인식부(171)는 디스플레이부(161) 및/또는 오디오 출력부(162)를 제어하여 식품에 대한 촬영 영상을 인식하지 못하였음을 출력할 수 있다. 이러한 경우 제1 인식부(171)는 사용자에게 식품의 보관을 포함하는 발화 음성을 요청할 수 있고, 사용자로부터 식품의 보관을 포함하는 발화 음성을 수신하여 식품의 보관을 인식할 수 있다. 제1 인식부(171)는 식품에 대한 촬영 영상의 인식을 완료한 후, 도어의 닫힘을 감지하고, 냉장고(100)로의 식품의 보관이 완료되었음을 출력할 수 있다.
선택적 실시 예로 제1 인식부(171)는 냉장고(100)의 제1 도어(101) 내지 제4 도어(104) 중 하나 이상의 열림을 감지할 수 있다. 제1 인식부(171)는 도어가 열린 후, 디스플레이부(161) 및/또는 오디오 출력부(162)를 제어하여 음성 인식 기능 활성화 상태 정보를 출력할 수 있다. 여기서 음성 인식 기능 활성화 상태 정보는 일반적으로 기동어 수신 여부로 판단할 수 있는데, 본 실시 예에서는 사용자가 냉장고 도어를 열면, 사용자가 기동어를 발화하지 않더라도 음성 인식 모듈(190)이 음성 인식 기능 활성화 상태로 변경될 수 있다. 제1 인식부(171)는 음성 인식 기능 활성화 상태 정보를 출력한 후, 식품의 보관을 포함하는 사용자의 제1 발화 음성을 수신할 수 있다. 제1 인식부(171)의 제1 발화 음성 인식은 상술한 내용과 동일하므로 생략하기로 한다. 이후, 제1 인식부(171)는 도어의 닫힘을 감지한 후, 냉장고(100)로의 식품의 보관이 완료되었음을 출력할 수 있다.
선택적 실시 예로 제1 인식부(171)는 냉장고(100)의 제1 도어(101) 내지 제4 도어(104) 중 두 개 이상의 열림을 감지할 수 있다. 제1 인식부(171)는 두 개 이상의 도어가 열림을 감지하면, 디스플레이부(161) 및/또는 오디오 출력부(162)를 제어하여 하나의 도어만 열 것을 알릴 수 있다. 이를 인지한 사용자는 열린 도어들 중 하나를 남겨두고 나머지 도어를 닫을 수 있다. 제1 인식부(171)는 냉장고(100)에서 마지막으로 닫힌 도어의 위치에 따라 식품이 투입된 위치에 대한 정보를 결정하고, 냉장고(100)로의 식품의 보관이 완료되었음을 출력할 수 있다.
제2 인식부(172)는 냉장고(100)로부터 추출되는 식품을 제2 인식할 수 있다. 본 실시 예에서, 제2 인식부(172)가 인식한 식품의 제2 인식 결과는, 식품의 종류 정보, 식품의 관리 정보(예를 들어, 추출), 식품의 추출 위치 정보를 포함할 수 있다.
제2 인식부(172)는 냉장고(100)의 제1 도어(101) 내지 제4 도어(104) 중 하나 이상의 열림을 감지할 수 있다. 제2 인식부(172)는 도어가 열린 후, 식품의 추출을 포함하는 사용자의 제2 발화 음성을 수신할 수 있다. 여기서 제2 발화 음성은 냉장고(100)로부터 식품의 추출을 알리는 발화 음성(예를 들어, 사과 빼줘 등)을 포함할 수 있다. 사용자의 제2 발화 음성을 수신한 음성 인식 모듈(190)이 제2 인식부(172)와 음성 인식 관련 신호를 서로 송수신할 수 있다. 음성 인식 모듈(190)은 사용자의 제2 발화 음성을, 메모리(181)에 저장된 식품의 기준 종류(예를 들어, 텍스트에 대응하는 기계어 및/또는 영상) 및 식품의 관리 정보(예를 들어, 추출 또는 추출 등의 텍스에 대응하는 기계어)와 비교하여, 사용자의 제2 발화 음성에 대한 식품의 종류와 관리 정보를 인식해 낼 수 있다. 제2 인식부(172)는 음성 인식 모듈(190)로부터 사용자의 제2 발화 음성의 인식 결과를 수신한 후, 도어의 닫힘을 감지할 수 있다. 제2 인식부(172)는 도어의 닫힘을 감지한 후, 냉장고(100)로부터 식품의 추출이 완료되었음을 출력할 수 있다.
선택적 실시 예로 제2 인식부(172)는 냉장고(100)의 제1 도어(101) 내지 제4 도어(104) 중 하나 이상의 열림을 감지하고, 도어가 열릴 때 냉장고(100) 내부를 촬영한 제1 영상을 획득할 수 있다. 여기서 제1 영상은 도어가 열릴 때 제2 영상센서(131_2) 내지 제N 영상센서(131_N) 중 하나 이상이 촬영한 영상을 포함할 수 있다. 제2 인식부(172)는 열린 도어의 닫힘을 감지하고, 도어가 닫힌 후 냉장고(100) 내부를 촬영한 제2 영상을 획득할 수 있다. 여기서 제2 영상은 도어가 닫힌 후 제2 영상센서(131_2) 내지 제N 영상센서(131_N) 중 하나 이상이 촬영한 영상을 포함할 수 있다.
제2 인식부(172)는 제1 영상 또는 제2 영상을 메모리(181)에 저장된 식품의 기준 종류 영상과 비교하여 식품의 종류를 인식할 수 있다. 또한 제2 인식부(172)는 제1 영상 및 제2 영상의 비교를 통하여 차이점을 확인하고, 확인된 차이점에 기초하여 냉장고(100)로부터 추출된 식품을 판단할 수 있다. 즉, 제1 영상 및 제2 영상이 서로 다른 경우 냉장고(100)로부터 추출된 식품임을 판단할 수 있다. 예를 들어, 제1 영상에는 사과가 있었는데 제2 영상에는 사과가 존재하지 않는 경우, 냉장고(100)로부터 사과를 추출했음을 판단할 수 있다. 또한 제1 영상에는 사과가 3개 있었는데 제2 영상에는 사과가 1개 존재하는 경우에도, 냉장고(100)로부터 사과를 추출했음을 판단할 수 있다. 여기서 제2 인식부(172)가 식품에 대한 촬영 영상을 인식하지 못한 경우, 제2 인식부(172)는 디스플레이부(161) 및/또는 오디오 출력부(162)를 제어하여 식품에 대한 촬영 영상을 인식하지 못하였음을 출력할 수 있다. 이러한 경우 제2 인식부(172)는 사용자에게 식품의 추출을 포함하는 제2 발화 음성을 요청할 수 있고, 사용자로부터 식품의 추출을 포함하는 제2 발화 음성을 수신하여 식품의 추출을 인식할 수 있다. 제2 인식부(172)는 식품에 대한 촬영 영상의 인식을 완료한 후, 도어의 닫힘을 감지하고, 냉장고(100)로의 식품의 추출이 완료되었음을 출력할 수 있다.
선택적 실시 예로 제2 인식부(172)는 냉장고(100)의 제1 도어(101) 내지 제4 도어(104) 중 하나 이상의 열림을 감지할 수 있다. 제2 인식부(172)는 도어가 열린 후, 디스플레이부(161) 및/또는 오디오 출력부(162)를 제어하여 음성 인식 기능 활성화 상태 정보를 출력할 수 있다. 여기서 음성 인식 기능 활성화 상태 정보는 일반적으로 기동어 수신 여부로 판단할 수 있는데, 본 실시 예에서는 사용자가 냉장고 도어를 열면, 사용자가 기동어를 발화하지 않더라도 음성 인식 모듈(190)이 음성 인식 기능 활성화 상태로 변경될 수 있다. 제2 인식부(172)는 음성 인식 기능 활성화 상태 정보를 출력한 후, 식품의 추출을 포함하는 사용자의 제2 발화 음성을 수신할 수 있다. 제2 인식부(172)의 제2 발화 음성 인식은 상술한 내용과 동일하므로 생략하기로 한다. 이후, 제2 인식부(172)는 도어의 닫힘을 감지한 후, 냉장고(100)로의 식품의 추출이 완료되었음을 출력할 수 있다.
디스플레이 처리부(173)는 제1 인식부(171)의 제1 인식 결과 및 제2 인식부(172)의 제1 인식 결과에 기초하여 냉장고(100) 내의 식품에 대한 보관 상태 정보를 디스플레이부(161) 및/또는 사용자 단말기(200)에 디스플레이 할 수 있다.
디스플레이 처리부(173)는 사용자의 요청에 의해, 또는 주기적으로 냉장고(100) 내의 식품에 대한 보관 상태 정보를 디스플레이부(161) 및/또는 사용자 단말기(200)에 디스플레이 할 수 있다. 여기서, 식품에 대한 보관 상태 정보는, 현재 냉장고(100)의 식품의 보관 위치(냉장실 또는 냉동실), 식품의 목록(식품의 종류를 나타내는 텍스트 및 식품의 영상), 식품의 보관을 개시한 날짜부터 카운트된 경과일자를 포함할 수 있다.
더 나아가 디스플레이 처리부(173)는 냉장고(100) 내의 식품에 대한 보관 상태 정보의 편집(예를 들어, 삭제, 선택, 수정, 이동, 오름차순 정렬 또는 내림차순 정렬 등), 식품의 구매 상황(예를 들어, 장바구니 목록에 추가하기, 장바구니 목록에서 삭제하기, 주문하기 등) 등 냉장고(100)를 이용하여 발생하는 디스플레이 정보를 디스플레이부(161) 및/또는 사용자 단말기(200)에 디스플레이 할 수 있다.
업데이트부(174)는 제1 인식부(171)의 제1 인식 및 제2 인식부(172)의 제2 인식 중 적어도 하나의 인식이 완료되면, 식품에 대한 보관 상태 정보를 업데이트 할 수 있다. 이러한 업데이트부(174)의 업데이트를 통하여 사용자는 요청 시마다 최신의 식품에 대한 보관 상태 정보를 인지할 수 있어 식품의 관리를 편리하게 할 수 있다.
제공부(175)는 사용자의 선택에 의해 상품 정보 제공 서버에 접속하여 상품 정보가 디스플레이부(161) 및/또는 사용자 단말기(200)에 표시되도록 제공하고, 사용자가 구매하고자 선택한 식품에 대한 구매 및 배송과 관련한 정보를 제공할 수 있다. 선택적 실시 예로 제공부(175)는 사용자의 요청에 의해, 또는 제1 인식의 결과 및 제2 인식의 결과를 심층신경망을 이용하여 분석한 결과를 통해, 주기적으로 투입 및/또는 추출하는 식품에 대한 구매 추천 정보를 제공하고, 사용자의 구매 요청 정보에 대응하여 해당 식품을 구매할 수 있는 구매 대행을 수행할 수 있다.
또한 제공부(175)는 디스플레이부(161) 및/또는 사용자 단말기(200)에 표시되는 하나 이상의 식품에 대한 선택이 발생하면, 선택된 식품으로 만들어낼 수 있는 요리에 대한 레시피를 제공할 수 있고, 레시피에 따라 가정 내에서 이용할 수 있는 조리기구 정보를 제공할 수 있고, 더 나아가 조리기구를 예열하는 정보를 제공하여, 냉장고(100)가 네트워크(400)를 통하여 조리기구(예를 들어 전기오븐(도 7의 500) 또는 전자레인지(도 7의 600))를 예열할 수 있다. 또한 제공부(175)는 디스플레이부(161) 및/또는 사용자 단말기(200)에 건강/뷰티 정보와, 음악, 뉴스, 교통상황 정보를 제공할 수 있다.
또한 제공부(175)는 메신저 알림, 또는 유투브 재생, 또는 사용자가 좋아하는 음악이 재생되도록 소정의 정보를 제공할 수도 있고, 사용자의 발화 음성 예를 들어, 오늘 날씨는 어때와 같은 발화 음성에 대응하여 기상 서버(미도시)로부터 수신한 오늘의 날씨를 제공해 줄 수 있다.
본 실시 예에서 처리부(170)는 도 3에 도시된 바와 같이 제어부(180) 외부에 구비될 수도 있고, 제어부(180) 내부에 구비되어 제어부(180)처럼 동작할 수도 있고, 도 1의 서버(300) 내부에 구비될 수도 있다.
제어부(180)는 일종의 중앙처리장치로서 메모리(181)에 탑재된 제어 소프트웨어를 구동하여 냉장고(100) 전체의 동작을 제어할 수 있다. 제어부(180)는 디스플레이부(161) 및/또는 오디오 출력부(162)를 제어하여 냉장고 내의 식품에 대한 보관 상태 정보를 출력하거나, 식품의 구매를 위한 일련의 구매 정보를 출력하는 등의 다양한 기능을 제공할 수 있다.
여기서, 제어부(180)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
본 실시 예에서 제어부(180)는 냉장고(100)에 투입되는 식품을 제1 인식하고, 제1 인식을 완료한 식품을 포함하여, 냉장고(100) 내의 식품에 대한 보관 상태 정보를 디스플레이 하며, 냉장고(100)부터 추출되는 하나 이상의 식품을 제2 인식하기 위해, 딥러닝(Deep Learning) 등 머신 러닝(machine learning)을 수행할 수 있고, 메모리(181)는, 머신 러닝에 사용되는 데이터, 결과 데이터 등을 저장할 수 있다.
머신 러닝의 일종인 딥러닝(deep learning) 기술은 데이터를 기반으로 다단계로 깊은 수준까지 내려가 학습할 수 있다. 딥러닝은 단계를 높여갈수록 복수의 데이터들로부터 핵심적인 데이터를 추출하는 머신 러닝 알고리즘의 집합을 나타낼 수 있다.
딥러닝 구조는 인공신경망(ANN)을 포함할 수 있으며, 예를 들어 딥러닝 구조는 CNN(convolutional neural network), RNN(recurrent neural network), DBN(deep belief network) 등 심층신경망(DNN)으로 구성될 수 있다. 본 실시 예에 따른 딥러닝 구조는 공지된 다양한 구조를 이용할 수 있다. 예를 들어, 본 발명에 따른 딥러닝 구조는 CNN, RNN, DBN 등을 포함할 수 있다. RNN은, 자연어 처리 등에 많이 이용되고 있으며, 시간의 흐름에 따라 변하는 시계열 데이터(time-series data) 처리에 효과적인 구조로 매 순간마다 레이어를 쌓아올려 인공신경망 구조를 구성할 수 있다. DBN은 딥러닝 기법인 RBM(restricted boltzman machine)을 다층으로 쌓아 구성되는 딥러닝 구조를 포함할 수 있다. RBM 학습을 반복하여, 일정 수의 레이어가 되면 해당 개수의 레이어를 가지는 DBN을 구성할 수 있다. CNN은 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출되는 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델을 포함할 수 있다.
한편, 인공신경망의 학습은 주어진 입력에 대하여 원하는 출력이 나오도록 노드간 연결선의 웨이트(weight)를 조정(필요한 경우 바이어스(bias) 값도 조정)함으로써 이루어질 수 있다. 또한, 인공신경망은 학습에 의해 웨이트(weight) 값을 지속적으로 업데이트시킬 수 있다. 또한, 인공신경망의 학습에는 역전파(back propagation) 등의 방법이 사용될 수 있다.
한편, 제어부(180)에는 인공신경망(artificial neural network)이 탑재될 수 있고, 수신되는 음성 입력 신호를 입력 데이터로 하는 머신 러닝 기반의 사용자 인식 및 사용자의 음색 인식을 수행할 수 있다.
제어부(180)는 인공신경망, 예를 들어, CNN, RNN, DBN 등 심층신경망(deep neural network: DNN)을 포함될 수 있고, 심층신경망을 학습할 수 있다. 이러한 인공신경망의 머신 러닝 방법으로는 자율학습(unsupervised learning)과 지도학습(supervised learning)이 모두 사용될 수 있다. 제어부(280)는 설정에 따라 학습 후 음색 인식 인공신경망 구조를 업데이트시키도록 제어할 수 있다.
메모리(181)는 냉장고(100)의 동작에 필요한 각종 정보들을 기록하는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 여기서, 메모리(181)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 이러한 메모리(181)는 내장 메모리 및/또는 외장 메모리를 포함할 수 있으며, DRAM, SRAM, 또는 SDRAM 등과 같은 휘발성 메모리, OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, NAND 플래시 메모리, 또는 NOR 플래시 메모리 등과 같은 비휘발성 메모리, SSD. CF(compact flash) 카드, SD 카드, Micro-SD 카드, Mini-SD 카드, Xd 카드, 또는 메모리 스틱(memory stick) 등과 같은 플래시 드라이브, 또는 HDD와 같은 저장 장치를 포함할 수 있다.
본 실시 예에서 통신부(110), 오디오 입력부(140), 오디오 출력부(162), 메모리(181) 및 프로세서(191)는 음성 인식 모듈(190)에 포함될 수 있다.
본 실시 예에서, 음성 인식 모듈(190)은 음성 명령에 대응하는 구동 신호 및/또는 다양한 정보를 사용자 단말기(200) 및/또는 서버(300)로 전송하는 통신부(110), 음성 명령을 수신하는 오디오 입력부(140), 소정 정보를 오디오로 출력하는 오디오 출력부(162), 음성 인식 알고리즘을 이용하여 음성 명령을 분석하여 냉장고(100)의 구동 신호를 생성하는 프로세서(191)를 포함할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 처리부(170)에 의해 냉장고(100) 내의 식품에 대한 보관 상태 정보를 디스플레이부(161) 및/또는 사용자 단말기(200)에 디스플레이 한 예시도 이다. 도 4를 참조하면, 도 4a는 냉장실의 식품에 대한 보관 상태 정보를 도시하고 있고, 도 4b는 냉동실의 식품에 대한 보관 상태 정보를 도시하고 있다. 도 4a 및 도 4b에는 식품의 보관 위치(냉장실 또는 냉동실)와, 식품의 목록(식품의 종류를 나타내는 텍스트 및 식품의 영상)와, 식품의 보관을 개시한 날짜부터 카운트된 경과일자를 디스플레이 할 수 있다.
도 4로부터 제1 식별자(401)의 선택에 의해, 로그인 또는 로그아웃 처리와, 식품의 삭제이력 정보와, 장바구니 정보를 디스플레이 할 수 있다. 제2 식별자(402)의 선택에 의해 검색을 원하는 식품을 검색어로 입력하면, 식품의 검색 결과를 디스플레이 할 수 있다. 제3 식별자(403)의 선택에 의해, 냉장고(100)에 투입되는 식품을 추가할 수 있다. 제4 식별자(404)의 선택에 의해 냉장실 또는 냉동실에 있는 식품 목록을 내림차순 또는 오름차순으로 정렬하여 디스플레이 할 수 있다. 제5 식별자(405)의 선택에 의해 식품의 경과일자를 내림차순 또는 오름차순으로 정렬하여 디스플레이 할 수 있다. 제5 식별자(406)의 선택에 의해 선택된 식품의 정보를 편집할 수 있는 편집창이 팝업 되고, 편집창 내에서 식품에 대한 삭제, 선택, 수정, 이동 등의 편집을 수행할 수 있다. 또한 식품의 보관 위치(냉장실, 좌측 냉장실, 우측 냉장실, 냉동실, 좌측 냉동실, 우측 냉동실) 선택에 의해, 선택된 위치에 해당하는 식품 목록을 디스플레이 할 수 있다.
도 5는 본 발명의 다른 실시 예에 따른 처리부(170)에 의해 냉장고(100) 내의 식품에 대한 보관 상태 정보를 디스플레이부(161) 및/또는 사용자 단말기(200)에 디스플레이 한 예시도 이다. 도 5를 참조하면, 도 5a는 냉장실의 식품에 대한 보관 상태 정보를 도시하고 있고, 도 5b는 도 5a로부터 제6 식별자(406) 선택에 의해 편집창이 팝업된 상태를 도시하고 있다.
도 5a로부터 선택한 하나 이상의 식품은 다른 식품과 다르게 표시(하이라이트 등)하고, 하나 이상의 식품을 선택한 상태에서 제7 식별자(407)의 선택에 의해 선택한 식품을 삭제하고, 하나 이상의 식품을 선택한 상태에서 제8 식별자(408)의 선택에 의해 선택한 식품을 구매를 위한 장바구니로 이동시킬 수 있다.
도 5b의 편집창으로부터 사용자는 입력일자, 경고일자, 보관위치 및 메모란에 정보를 기입하고 제9 식별자(409)의 선택에 의해 편집 내용이 메모리(181)에 저장될 수 있다. 여기서 입력일자는 상술한 식품 보관 개시일자와 동일하고, 경고일자는 해당 식품의 유통 기한일과 동일할 수 있으며, 별다른 입력이 없는 경우 제1 인식의 결과를 이용하여 디폴트로 기입될 수 있다.
도 6은 본 발명의 또 다른 실시 예에 따른 처리부(170)에 의해 냉장고(100) 내의 식품에 대한 보관 상태 정보를 디스플레이부(161) 및/또는 사용자 단말기(200)에 디스플레이 한 예시도 이다. 도 6을 참조하면, 도 6a는 장바구니에 저장된 식품 정보를 도시하고 있고, 도 6b는 장바구니의 편집 상태를 도시하고 있다.
도 6a의 장바구니에는 선택한 식품과 장바구니에 저장한 일자가 디스플레이 될 수 있다. 제10 식별자(410)의 선택에 의해 검색을 원하는 식품을 검색어로 입력하면, 현재 장바구니에 담겨있는 식품 중 검색어로 입력한 식품을 검색 결과로 디스플레이 할 수 있다. 제11 식별자(411)의 선택에 의해 장바구니에 추가할 식품을 추가할 수 있다. 도 6b로부터 제12 식별자(412)의 선택에 의해 식품의 선택 상황을 디스플레이 할 수 있고, 제13 식별자(413)의 선택에 의해 선택된 식품을 장바구니에서 삭제할 수 있고, 제14 식별자(414)의 선택에 의해 선택된 상품을 주문할 수 있다. 본 실시 예에서, 제14 식별자(414)를 선택한 경우, 제휴한 쇼핑몰로 주문정보가 전송되고, 기설정된 결제방식으로 결제가 완료되면, 주문한 식품이 기설정된 주소로 배송될 수 있다.
도 7은 본 발명의 다른 실시 예에 따른 냉장고, 사용자 단말기, 서버, 전자 조리기구 및 이들을 서로 연결하는 네트워크를 포함하는 냉장고 제어 환경의 예시도이다. 이하의 설명에서 도 1 내지 도 6에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다. 도 7을 참조하면, 냉장고 제어 환경(2)은 냉장고(100), 사용자 단말기(200), 서버(300), 네트워크(400), 전기오븐(500) 및 전자레인지(600)를 포함할 수 있다.
냉장고(100)는, 냉장고(100)에 투입되는 하나 이상의 식품을 제1 인식하고, 냉장고(100)로부터 추출되는 하나 이상의 식품을 제2 인식하며, 제1 인식의 결과 및 제2 인식의 결과를 심층신경망을 이용하여 분석하여 냉장고 내의 식품에 대한 보관 상태 정보를 디스플레이 할 수 있다. 냉장고(100)는 제1 인식 및 제2 인식 중 적어도 하나의 수행이 완료되면 식품에 대한 보관 상태 정보를 업데이트 할 수 있다.
냉장고(100)는 식품에 대한 보관 상태 정보에 대응하여, 냉장고(100)와 연동된 전기오븐(500) 및/또는 전자레인지(600)의 동작을 제어할 수 있다. 여기서 전기오븐(500) 및/또는 전자레인지(600)가 냉장고(100)와 연동되었다 함은, 동일한 네트워크(400)로 서로 통신 가능하고, 냉장고(100)가 전기오븐(500) 및/또는 전자레인지(600)의 제어 코드를 저장하고 있어서, 전기오븐(500) 및/또는 전자레인지(600)의 동작을 제어할 수 있다는 것을 포함할 수 있다. 냉장고(100)는 식품에 대한 보관 상태 정보에 포함되는 하나 이상의 식품에 대한 선택이 발생하면, 선택된 식품으로 만들어낼 수 있는 요리에 대한 레시피를 제공할 수 있고, 레시피에 따라 조리기구로서 전기오븐(500) 및/또는 전자레인지(600)를 예열할 수 있다.
사용자 단말기(200)는 냉장고 구동 어플리케이션 또는 냉장고 구동 사이트에 접속한 후 인증 과정을 통하여 냉장고(100)의 상태 정보 모니터링, 구동 또는 제어를 위한 서비스를 제공받을 수 있다. 본 실시 예에서 인증 과정을 마친 사용자 단말기(200)는 냉장고(100)의 동작을 제어할 수 있으며, 더 나아가 냉장고(100)와 연동되어 있는 전기오븐(500) 및/또는 전자레인지(600)를 구동하고 그들의 동작을 제어할 수 있다.
서버(300)는 냉장고(100)와의 신호 송수신을 수행할 수 있고, 냉장고(100)로부터 식품에 대한 보관 상태 정보에 포함되는 하나 이상의 식품에 대한 선택을 수신하면, 선택된 식품으로 만들어낼 수 있는 요리에 대한 레시피를 제공할 수 있고, 레시피에 따라 조리기구로서 전기오븐(500) 및/또는 전자레인지(600)를 예열할 수 있는 정보를 생성하여 냉장고(100)로 전송하거나, 직접 전기오븐(500) 및/또는 전자레인지(600)로 전송할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 냉장고의 동작 방법을 도시한 흐름도이다. 이하의 설명에서 도 1 내지 도 7에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 8을 참조하면, S810단계에서, 냉장고(100)는, 냉장고(100)에 투입되는 식품을 제1 인식한다.
제1 인식을 위해 냉장고(100)는 냉장고(100)의 도어 열림을 감지하고 영상 인식 기능 및 음성 인식 기능을 활성화 하는 동작과, 냉장고(100)에 투입되는 식품에 대한 촬영 영상을 획득하는 동작과, 영상을 통해 식품의 종류를 판단하도록 미리 훈련된 제1 심층신경망을 이용하여 식품에 대한 촬영 영상이 나타내는 식품의 종류를 추정하는 동작과, 식품의 종류의 추정이 실패하는 경우, 음성 발화 유도 신호를 출력하는 동작과, 음성 발화 유도 신호에 대응하여 식품 종류에 대한 제1 발화 음성 신호를 수신하는 동작과, 음성을 통해 식품의 종류를 판단하도록 미리 훈련된 제2 심층신경망을 이용하여 제1 발화 음성 신호가 나타내는 식품의 종류를 인식하는 동작과, 냉장고(100)의 도어 닫힘을 감지하는 동작과, 인식된 식품의 종류가 냉장고(100)에 보관되었음을 출력하는 동작을 수행할 수 있다. 또한 제1 인식을 위해 냉장고(100)는 냉장고(100)의 도어 열림을 감지하는 동작과, 식품에 대한 촬영 영상을 획득하는 동작과, 냉장고(100)의 도어 닫힘을 감지하는 동작과, 식품이 냉장고(100)에 보관되었음을 출력하는 동작을 수행할 수 있다. 또한 제1 인식을 위해 냉장고(100)는 냉장고(100)의 도어 열림을 감지하는 동작과, 음성 인식 기능 활성화 상태 정보를 출력하는 동작과, 식품의 보관을 포함하는 사용자의 제1 발화 음성을 수신하는 동작과, 냉장고(100)의 도어 닫힘을 감지하는 동작과, 식품이 냉장고(100)에 보관되었음을 출력하는 동작을 수행할 수 있다. 더 나아가 제1 인식을 위해 냉장고(100)는 냉장고(100)의 도어 열림을 감지하는 동작과, 냉장고(100)의 도어들 중 복수의 도어가 열리는 경우, 하나의 도어만 열 것을 알리는 동작과, 냉장고(100)에 투입되는 식품을 인식하는 동작과, 냉장고(100)의 도어가 모두 닫혔음을 감지하는 동작과, 냉장고(100)에서 마지막으로 닫힌 도어의 위치에 따라 식품이 투입된 위치에 대한 정보를 결정하는 동작과, 식품이 냉장고(100)에 보관되었음을 출력하는 동작을 수행할 수 있다.
S820단계에서, 냉장고(100)는, 냉장고(100)로부터 추출되는 식품을 제2 인식한다.
제2 인식을 위해 냉장고(100)는 냉장고(100)의 도어 열림을 감지하는 동작과, 식품의 추출을 포함하는 사용자의 제2 발화 음성을 수신하는 동작과, 냉장고(100)의 도어 닫힘을 감지하는 동작과, 식품이 냉장고(100)로부터 추출되었음을 출력하는 동작을 수행할 수 있다. 또한 제2 인식을 위해 냉장고(100)는 냉장고(100)의 도어 열림을 감지하는 동작과, 냉장고(100)의 냉장고의 도어가 열릴 때 냉장고 내부를 촬영한 제1 영상을 획득하는 동작과, 냉장고(100)의 도어 닫힘을 감지하는 동작과, 냉장고(100)의 도어가 닫힌 후 냉장고 내부를 촬영한 제2 영상을 획득하는 동작과, 제1 영상 및 제2 영상을 비교하는 동작과, 제1 영상 및 제2 영상의 비교를 통하여 확인된 차이점에 기초하여 냉장고(100)로부터 추출된 식품을 판단하는 동작과, 식품이 냉장고(100)로부터 추출되었음을 출력하는 동작을 수행할 수 있다. 더 나아가 제2 인식을 위해 냉장고(100)는 냉장고(100)의 도어 열림을 감지하는 동작과, 음성 인식 기능 활성화 상태 정보를 출력하는 동작과, 식품의 추출을 포함하는 사용자의 제2 발화 음성을 수신하는 동작과, 냉장고(100)의 도어 닫힘을 감지하는 동작과, 식품이 냉장고(100)로부터 추출되었음을 출력하는 동작을 수행할 수 있다.
S830단계에서, 냉장고(100)는 제1 인식의 결과 및 제2 인식의 결과에 기초하여 냉장고(100) 내의 식품에 대한 보관 상태 정보를 디스플레이 한다.
냉장고(100)는 사용자의 요청에 의해, 또는 주기적으로 냉장고(100) 내의 식품에 대한 보관 상태 정보를 디스플레이부(161) 및/또는 사용자 단말기(200)에 디스플레이 할 수 있다. 여기서, 식품에 대한 보관 상태 정보는, 현재 냉장고(100)의 식품의 보관 위치(냉장실 또는 냉동실), 식품의 목록(식품의 종류를 나타내는 텍스트 및 식품의 영상), 식품의 보관을 개시한 날짜부터 카운트된 경과일자를 포함할 수 있다. 더 나아가 냉장고(100)는, 냉장고(100) 내의 식품에 대한 보관 상태 정보의 편집(예를 들어, 삭제, 선택, 수정, 이동, 오름차순 정렬 또는 내림차순 정렬 등), 식품의 구매 상황(예를 들어, 장바구니 목록에 추가하기, 장바구니 목록에서 삭제하기, 주문하기 등) 등 냉장고(100)를 이용하여 발생하는 디스플레이 정보를 디스플레이부(161) 및/또는 사용자 단말기(200)에 디스플레이 할 수 있다.
선택적 실시 예로 냉장고(100)는 제1 인식 및 제2 인식 중 적어도 하나의 인식이 완료되면, 식품에 대한 보관 상태 정보를 업데이트 할 수 있다.
선택적 실시 예로 냉장고(100)는 사용자의 선택에 의해 상품 정보 제공 서버에 접속하여 상품 정보가 디스플레이부(161) 및/또는 사용자 단말기(200)에 표시되도록 제공하고, 사용자가 구매하고자 선택한 식품에 대한 구매 및 배송과 관련한 정보를 제공할 수 있다.
선택적 실시 예로 냉장고(100)는 사용자의 요청에 의해, 또는 주기적으로 투입 및/또는 추출하는 식품에 대한 구매 추천 정보를 제공하고, 사용자의 구매 요청 정보에 대응하여 해당 식품을 구매할 수 있는 구매 대행을 수행할 수 있다.
선택적 실시 예로 냉장고(100)는 사용자 단말기(200)의 정보를 수신하여 사용자 단말기(200)를 등록하고, 사용자 단말기(200)로부터 사용자 단말기(200)가 미리 지정된 특정 장소(예를 들어, 마트, 시장 등)에 위치한다는 신호 또는 사용자 단말기(200)가 미리 지정된 특정 사이트(예를 들어, 식품 쇼핑몰 등)에 접속한다는 신호를 수신하면, 사용자 단말기(200)에 식품에 대한 보관 상태 정보를 송신하여, 사용자는 사용자 단말기(200)에 출력되는 식품에 대한 보관 상태 정보를 확인하면서 식품을 구매하도록 할 수 있다.
선택적 실시 예로 냉장고(100)는 디스플레이부(161) 및/또는 사용자 단말기(200)에 표시되는 하나 이상의 식품에 대한 선택이 발생하면, 선택된 식품으로 만들어낼 수 있는 요리에 대한 레시피를 제공할 수 있고, 레시피에 따라 가정 내에서 이용할 수 있는 조리기구 정보를 제공할 수 있고,
선택적 실시 예로 냉장고(100)는 조리기구를 예열하는 정보를 제공하여, 냉장고(100)가 네트워크(400)를 통하여 조리기구(예를 들어 전기오븐(500) 또는 전자레인지(600))를 예열할 수 있다.
선택적 실시 예로 냉장고(100)는 디스플레이부(161) 및/또는 사용자 단말기(200)에 건강/뷰티 정보와, 음악, 뉴스, 교통상황 정보를 제공할 수 있다.
선택적 실시 예로 냉장고(100)는 메신저 알림, 또는 유투브 재생, 또는 사용자가 좋아하는 음악이 재생되도록 소정의 정보를 제공할 수도 있고, 사용자의 발화 음성 예를 들어, 오늘 날씨는 어때와 같은 발화 음성에 대응하여 기상 서버로부터 수신한 오늘의 날씨를 제공해 줄 수 있다.
이상 설명된 본 발명에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 냉장고
200: 사용자 단말기
300: 서버
400: 네트워크
500: 전기오븐
600: 전자레인지
200: 사용자 단말기
300: 서버
400: 네트워크
500: 전기오븐
600: 전자레인지
Claims (20)
- 냉장고의 동작 방법으로서,
상기 냉장고에 투입되는 식품을 제1 인식하는 단계;
상기 냉장고로부터 추출되는 식품을 제2 인식하는 단계; 및
상기 제1 인식의 결과 및 상기 제2 인식의 결과에 기초하여 상기 냉장고 내의 식품에 대한 보관 상태 정보를 디스플레이 하는 단계를 포함하는,
냉장고의 동작 방법. - 제 1 항에 있어서,
상기 제1 인식하는 단계는,
상기 냉장고의 도어 열림을 감지하고 영상 인식 기능 및 음성 인식 기능을 활성화 하는 단계;
상기 냉장고에 투입되는 식품에 대한 촬영 영상을 획득하는 단계;
영상을 통해 식품의 종류를 판단하도록 미리 훈련된 제1 심층신경망을 이용하여 상기 식품에 대한 촬영 영상이 나타내는 식품의 종류를 추정하는 단계;
상기 식품의 종류의 추정이 실패하는 경우, 음성 발화 유도 신호를 출력하는 단계;
상기 음성 발화 유도 신호에 대응하여 식품 종류에 대한 제1 발화 음성 신호를 수신하는 단계;
음성을 통해 식품의 종류를 판단하도록 미리 훈련된 제2 심층신경망을 이용하여 상기 제1 발화 음성 신호가 나타내는 식품의 종류를 인식하는 단계;
상기 냉장고의 도어 닫힘을 감지하는 단계; 및
인식된 식품의 종류가 상기 냉장고에 보관되었음을 출력하는 단계를 포함하는,
냉장고의 동작 방법. - 제 1 항에 있어서,
상기 제1 인식하는 단계는,
상기 냉장고의 도어 열림을 감지하는 단계;
상기 식품에 대한 촬영 영상을 획득하는 단계;
상기 냉장고의 도어 닫힘을 감지하는 단계; 및
상기 식품이 상기 냉장고에 보관되었음을 출력하는 단계를 포함하는,
냉장고의 동작 방법. - 제 1 항에 있어서,
상기 제1 인식하는 단계는,
상기 냉장고의 도어 열림을 감지하는 단계;
음성 인식 기능 활성화 상태 정보를 출력하는 단계;
상기 식품의 보관을 포함하는 사용자의 제1 발화 음성을 수신하는 단계;
상기 냉장고의 도어 닫힘을 감지하는 단계; 및
상기 식품이 상기 냉장고에 보관되었음을 출력하는 단계를 포함하는,
냉장고의 동작 방법. - 제 1 항에 있어서,
상기 제1 인식하는 단계는,
상기 냉장고의 도어 열림을 감지하는 단계;
상기 냉장고의 도어들 중 복수의 도어가 열리는 경우, 하나의 도어만 열 것을 알리는 단계;
상기 냉장고에 투입되는 식품을 인식하는 단계;
상기 냉장고의 도어가 모두 닫혔음을 감지하는 단계; 및
상기 냉장고에서 마지막으로 닫힌 도어의 위치에 따라 상기 식품이 투입된 위치에 대한 정보를 결정하는 단계를 포함하는,
냉장고의 동작 방법. - 제 1 항에 있어서,
상기 제2 인식하는 단계는,
상기 냉장고의 도어 열림을 감지하는 단계;
상기 식품의 추출을 포함하는 사용자의 제2 발화 음성을 수신하는 단계;
상기 냉장고의 도어 닫힘을 감지하는 단계; 및
상기 식품이 상기 냉장고로부터 추출되었음을 출력하는 단계를 포함하는,
냉장고의 동작 방법. - 제 1 항에 있어서,
상기 제2 인식하는 단계는,
냉장고의 도어 열림을 감지하는 단계;
냉장고의 도어가 열릴 때 냉장고 내부를 촬영한 제1 영상을 획득하는 단계;
냉장고의 도어 닫힘을 감지하는 단계;
냉장고의 도어가 닫힌 후 냉장고 내부를 촬영한 제2 영상을 획득하는 단계;
제1 영상 및 제2 영상을 비교하는 단계;
상기 제1 영상 및 상기 제2 영상의 비교를 통하여 확인된 차이점에 기초하여 냉장고로부터 추출된 식품을 판단하는 단계; 및
식품이 냉장고로부터 추출되었음을 출력하는 단계를 포함하는,
냉장고의 동작 방법. - 제 1 항에 있어서,
상기 제2 인식하는 단계는,
상기 냉장고의 도어 열림을 감지하는 단계;
음성 인식 기능 활성화 상태 정보를 출력하는 단계;
상기 식품의 추출을 포함하는 사용자의 제2 발화 음성을 수신하는 단계;
상기 냉장고의 도어 닫힘을 감지하는 단계; 및
상기 식품이 상기 냉장고로부터 추출되었음을 출력하는 단계를 포함하는,
냉장고의 동작 방법. - 제 1 항에 있어서,
상기 디스플레이 하는 단계는,
상기 냉장고 내에서 상기 식품의 보관 위치, 상기 식품의 목록 및 상기 식품의 보관을 개시한 날짜부터 카운트된 경과일자 중 하나 이상을 포함하는 상기 식품에 대한 보관 상태 정보를 디스플레이 하는 단계를 포함하는,
냉장고의 동작 방법. - 제 1 항에 있어서,
상기 디스플레이 하는 단계는,
상기 냉장고 내의 상기 식품의 보관을 개시한 날짜부터 카운트된 경과일자를 오름차순 또는 내림차순으로 정렬한 상기 식품에 대한 목록을 디스플레이 하는 단계를 포함하는,
냉장고의 동작 방법. - 제 1 항에 있어서,
상기 디스플레이 하는 단계는,
상기 냉장고에 등록된 단말기와 통신하여 상기 단말기가 미리 지정된 특정 장소에 위치한다는 신호 또는 상기 단말기가 미리 지정된 특정 사이트에 접속한다는 신호를 수신하는 단계; 및
상기 단말기에 상기 식품에 대한 보관 상태 정보를 송신하는 단계를 포함하는,
냉장고의 동작 방법. - 제 1 항에 있어서,
상기 제1 인식하는 단계 및 상기 제2 인식하는 단계 중 적어도 하나의 수행이 완료되면, 상기 식품에 대한 보관 상태 정보를 업데이트 하는 단계를 더 포함하는,
냉장고의 동작 방법. - 컴퓨터를 이용하여 제 1 항 내지 제 12 항의 방법 중 어느 한 항의 방법을 실행시키기 위하여 상기 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
- 식품을 보관하는 냉장고로서,
상기 냉장고에 투입되는 식품을 제1 인식하는 제1 인식부;
상기 냉장고로부터 추출되는 식품을 제2 인식하는 제2 인식부; 및
상기 제1 인식의 결과 및 상기 제2 인식의 결과에 기초하여 상기 냉장고 내의 식품에 대한 보관 상태 정보를 디스플레이 하는 디스플레이 처리부를 포함하는,
냉장고. - 제 14 항에 있어서,
상기 제1 인식부는,
상기 냉장고에 투입되는 식품에 대한 촬영 영상을 획득하여, 영상을 통해 식품의 종류를 판단하도록 미리 훈련된 제1 심층신경망을 이용하여 상기 식품에 대한 촬영 영상이 나타내는 식품의 종류를 추정하는 동작,
상기 식품의 종류의 추정이 실패하는 경우, 음성 발화 유도 신호를 출력하는 동작, 및
식품의 종류를 판단하도록 미리 훈련된 제2 심층신경망을 이용하여 수신된 상기 음성 발화 유도 신호에 대응하는 제1 발화 음성 신호가 나타내는 식품의 종류를 인식하는 동작을 수행하도록 구성되는,
냉장고. - 제 14 항에 있어서,
상기 제1 인식부는,
상기 냉장고의 도어 열림을 감지하는 동작,
상기 냉장고의 도어들 중 복수의 도어가 열리는 경우, 하나의 도어만 열 것을 알리는 동작,
상기 냉장고에 투입되는 식품을 인식하는 동작,
상기 냉장고의 도어가 모두 닫혔음을 감지하는 동작, 및
상기 냉장고에서 마지막으로 닫힌 도어의 위치에 따라 상기 식품이 투입된 위치에 대한 정보를 결정하는 동작을 수행하도록 구성되는,
냉장고. - 제 14 항에 있어서,
상기 제2 인식부는,
상기 냉장고의 도어가 열릴 때 상기 냉장고 내부를 촬영한 제1 영상을 획득하는 동작,
상기 냉장고의 도어가 닫힌 후 상기 냉장고 내부를 촬영한 제2 영상을 획득하는 동작,
제1 영상 및 제2 영상을 비교하는 동작, 및
상기 제1 영상 및 상기 제2 영상의 비교를 통하여 확인된 차이점에 기초하여 냉장고로부터 추출된 식품을 판단하는 동작을 수행하도록 구성되는,
냉장고. - 제 14 항에 있어서,
상기 디스플레이 처리부는,
상기 냉장고 내에서 상기 식품의 보관 위치, 상기 식품의 목록 및 상기 식품의 보관을 개시한 날짜부터 카운트된 경과일자 중 하나 이상을 포함하는 상기 식품에 대한 보관 상태 정보를 디스플레이 하는,
냉장고. - 제 14 항에 있어서,
상기 디스플레이 처리부는,
냉장고 내의 식품의 보관을 개시한 날짜부터 카운트된 경과일자를 오름차순 또는 내림차순으로 정렬한 식품에 대한 목록을 디스플레이 하는,
냉장고. - 제 14 항에 있어서,
상기 냉장고에 등록된 단말기와 통신하는 통신부를 더 포함하고,
상기 통신부는, 상기 단말기로부터 상기 단말기가 미리 지정된 특정 장소에 위치한다는 신호 또는 단말기가 미리 지정된 특정 사이트에 접속한다는 신호를 수신하면, 상기 단말기에 식품에 대한 보관 상태 정보를 송신하도록 구성되는,
냉장고.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190077906A KR20190084913A (ko) | 2019-06-28 | 2019-06-28 | 냉장고 및 냉장고의 동작 방법 |
| US16/566,634 US10969162B2 (en) | 2019-06-28 | 2019-09-10 | Refrigerator and method for operating the refrigerator |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190077906A KR20190084913A (ko) | 2019-06-28 | 2019-06-28 | 냉장고 및 냉장고의 동작 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20190084913A true KR20190084913A (ko) | 2019-07-17 |
Family
ID=67512990
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190077906A KR20190084913A (ko) | 2019-06-28 | 2019-06-28 | 냉장고 및 냉장고의 동작 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10969162B2 (ko) |
| KR (1) | KR20190084913A (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111079746A (zh) * | 2019-12-12 | 2020-04-28 | 哈尔滨市科佳通用机电股份有限公司 | 铁路货车轴箱弹簧故障图像识别方法 |
| WO2021111148A1 (en) * | 2019-12-05 | 2021-06-10 | Lowe Rental Limited | Remote monitoring apparatus and system |
| EP3842719A1 (en) * | 2019-12-24 | 2021-06-30 | Gunitech Corp. | Smart refrigerator |
| CN113494803A (zh) * | 2020-05-29 | 2021-10-12 | 海信集团有限公司 | 智能冰箱及冰箱门体内储物的存取操作检测方法 |
| WO2022149707A1 (ko) * | 2021-01-08 | 2022-07-14 | 삼성전자주식회사 | 냉장고 및 그 제어 방법 |
| WO2024101676A1 (ko) * | 2022-11-09 | 2024-05-16 | 삼성전자주식회사 | 외부 객체의 유형에 기반하여 외부 객체 내에 포함된 아이템에 대한 정보를 제공하기 위한 웨어러블 장치 및 그 방법 |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11817194B2 (en) | 2019-04-30 | 2023-11-14 | Pixart Imaging Inc. | Smart control system |
| US11334042B2 (en) | 2019-04-30 | 2022-05-17 | Pixart Imaging Inc. | Smart home control system for monitoring leaving and abnormal of family members |
| US11411762B2 (en) | 2019-04-30 | 2022-08-09 | Pixart Imaging Inc. | Smart home control system |
| US11381418B2 (en) * | 2019-11-14 | 2022-07-05 | Pixart Imaging Inc. | Smart home control system |
| CN110399804A (zh) * | 2019-07-01 | 2019-11-01 | 浙江师范大学 | 一种基于深度学习的食品检测识别方法 |
| KR20190106944A (ko) * | 2019-08-30 | 2019-09-18 | 엘지전자 주식회사 | 지능형 냉장고 및 그 제어 방법 |
| US11388596B2 (en) * | 2019-09-03 | 2022-07-12 | International Business Machines Corporation | Secure transmittal of wireless local area network access codes |
| US11687778B2 (en) | 2020-01-06 | 2023-06-27 | The Research Foundation For The State University Of New York | Fakecatcher: detection of synthetic portrait videos using biological signals |
| CN113357867A (zh) * | 2020-03-06 | 2021-09-07 | 海信（山东）冰箱有限公司 | 一种冰箱的食材管理方法及冰箱 |
| US11908480B1 (en) * | 2020-03-23 | 2024-02-20 | Amazon Technologies, Inc. | Natural language processing using context |
| US11386887B1 (en) | 2020-03-23 | 2022-07-12 | Amazon Technologies, Inc. | Natural language processing using context |
| KR20210157151A (ko) * | 2020-06-19 | 2021-12-28 | 삼성전자주식회사 | 냉장고 및 그 제어 방법 |
| CN114253169A (zh) * | 2020-09-24 | 2022-03-29 | 原相科技股份有限公司 | 智能型家庭控制系统 |
| CN114383377B (zh) * | 2020-10-20 | 2023-09-19 | 合肥海尔电冰箱有限公司 | 冰箱置物空间的图像分区方法、冰箱和计算机可读存储介质 |
| CN113536989B (zh) * | 2021-06-29 | 2024-06-18 | 广州博通信息技术有限公司 | 基于摄像视频逐帧分析的制冷机结霜监控方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070075669A (ko) | 2006-01-14 | 2007-07-24 | 삼성전자주식회사 | 냉장고 및 그 냉각제어방법 |
| KR20080108686A (ko) | 2007-06-11 | 2008-12-16 | 주식회사 대우일렉트로닉스 | 냉장고 투시창 자동제어 시스템 및 그 자동제어 방법 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6679572B2 (en) * | 2001-02-14 | 2004-01-20 | Maytag Corporation | Lid or door for household appliances |
| KR102327848B1 (ko) * | 2017-05-18 | 2021-11-18 | 삼성전자주식회사 | 냉장고 및 냉장고의 음식 관리방법 |
| US11353259B2 (en) * | 2018-09-18 | 2022-06-07 | Samsung Electronics Co., Ltd. | Augmented-reality refrigerator and method of controlling thereof |
-
2019
- 2019-06-28 KR KR1020190077906A patent/KR20190084913A/ko not_active Application Discontinuation
- 2019-09-10 US US16/566,634 patent/US10969162B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070075669A (ko) | 2006-01-14 | 2007-07-24 | 삼성전자주식회사 | 냉장고 및 그 냉각제어방법 |
| KR20080108686A (ko) | 2007-06-11 | 2008-12-16 | 주식회사 대우일렉트로닉스 | 냉장고 투시창 자동제어 시스템 및 그 자동제어 방법 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021111148A1 (en) * | 2019-12-05 | 2021-06-10 | Lowe Rental Limited | Remote monitoring apparatus and system |
| CN111079746A (zh) * | 2019-12-12 | 2020-04-28 | 哈尔滨市科佳通用机电股份有限公司 | 铁路货车轴箱弹簧故障图像识别方法 |
| EP3842719A1 (en) * | 2019-12-24 | 2021-06-30 | Gunitech Corp. | Smart refrigerator |
| CN113494803A (zh) * | 2020-05-29 | 2021-10-12 | 海信集团有限公司 | 智能冰箱及冰箱门体内储物的存取操作检测方法 |
| WO2022149707A1 (ko) * | 2021-01-08 | 2022-07-14 | 삼성전자주식회사 | 냉장고 및 그 제어 방법 |
| WO2024101676A1 (ko) * | 2022-11-09 | 2024-05-16 | 삼성전자주식회사 | 외부 객체의 유형에 기반하여 외부 객체 내에 포함된 아이템에 대한 정보를 제공하기 위한 웨어러블 장치 및 그 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200003482A1 (en) | 2020-01-02 |
| US10969162B2 (en) | 2021-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20190084913A (ko) | 냉장고 및 냉장고의 동작 방법 | |
| US11353259B2 (en) | Augmented-reality refrigerator and method of controlling thereof | |
| US11732961B2 (en) | Augmented-reality refrigerator and method of controlling thereof | |
| US11263498B2 (en) | Method and system for providing information related to a status of an object in a refrigerator | |
| KR102327848B1 (ko) | 냉장고 및 냉장고의 음식 관리방법 | |
| US11544524B2 (en) | Electronic device and method of obtaining emotion information | |
| US9614690B2 (en) | Smart home automation systems and methods | |
| JP5060978B2 (ja) | 情報提示システム、プログラム、情報記憶媒体及び情報提示システムの制御方法 | |
| KR20240005650A (ko) | 냉장고와 서버 및 서버의 제어 방법 | |
| US11954626B2 (en) | Refrigerator and method for displaying user interface on refrigerator, user terminal, and method for performing function in user terminal | |
| KR102637119B1 (ko) | 냉장고 안의 객체에 관한 정보를 제공하는 방법 및 시스템 | |
| CN108023934A (zh) | 电子装置及其控制方法 | |
| EP3820369B1 (en) | Electronic device and method of obtaining emotion information | |
| US11599928B2 (en) | Refrigerator and method for managing products in refrigerator | |
| US20240095143A1 (en) | Electronic device and method for controlling same | |
| KR102309682B1 (ko) | 강화학습을 통해 진화하는 ai 개체를 제공하는 방법 및 플랫폼 | |
| KR20210053097A (ko) | 냉장고 및 이의 제어 방법 | |
| CN111102797A (zh) | 一种基于人工智能的智慧冰箱 | |
| KR102377971B1 (ko) | 디스플레이 장치를 갖는 인공지능 냉장고 | |
| US10891022B2 (en) | System and method for interfacing with a display device | |
| US11322144B2 (en) | Method and device for providing information | |
| US11032177B2 (en) | Network activity validation | |
| CN115086094B (zh) | 设备选择方法及相关装置 | |
| US20230216985A1 (en) | Method and home appliance device for generating time-lapse video | |
| US20230085087A1 (en) | Voice-Controlled Smart Device and Method of Use Thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal |