KR20140059978A - 지능형 냉장고 및 지능형 냉장고를 제어하는 방법 - Google Patents

지능형 냉장고 및 지능형 냉장고를 제어하는 방법 Download PDF

Info

Publication number
KR20140059978A
KR20140059978A KR1020120126512A KR20120126512A KR20140059978A KR 20140059978 A KR20140059978 A KR 20140059978A KR 1020120126512 A KR1020120126512 A KR 1020120126512A KR 20120126512 A KR20120126512 A KR 20120126512A KR 20140059978 A KR20140059978 A KR 20140059978A
Authority
KR
South Korea
Prior art keywords
user
refrigerator
food
information
recognized
Prior art date
Application number
KR1020120126512A
Other languages
English (en)
Other versions
KR101400730B1 (ko
Inventor
최재성
이수진
이동하
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020120126512A priority Critical patent/KR101400730B1/ko
Publication of KR20140059978A publication Critical patent/KR20140059978A/ko
Application granted granted Critical
Publication of KR101400730B1 publication Critical patent/KR101400730B1/ko

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00Arrangement or mounting of control or safety devices
    • F25D29/006Safety devices
    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05BLOCKS; ACCESSORIES THEREFOR; HANDCUFFS
    • E05B65/00Locks or fastenings for special use
    • E05B65/0042For refrigerators or cold rooms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36Visual displays
    • F25D2400/361Interactive visual displays
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00Problems to be solved
    • F25D2500/06Stock management
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00Means for sensing or measuring; Sensors therefor
    • F25D2700/04Sensors detecting the presence of a person
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00Means for sensing or measuring; Sensors therefor
    • F25D2700/08Sensors using Radio Frequency Identification [RFID]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Thermal Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

개시된 기술은 지능형 냉장고 및 이를 제어하는 방법에 관한 것으로, 보다 상세하지만 제한됨 없이는, 냉장고의 사용자를 자동으로 인식하여 사용자에 따라 적합한 동작을 자동으로 수행하는 냉장고 및 이를 제어하는 방법에 관한 것이다. 실시예들 중에서, 지능형 냉장고는 사용자의 얼굴을 포함하는 영상을 획득하는 촬영부; 상기 영상으로부터 얼굴 특징 정보를 추출하고, 상기 추출된 얼굴 특징 정보와 미리 저장된 적어도 하나의 얼굴 특징 정보를 비교하여 상기 사용자를 인식하는 영상 처리부; 및 상기 인식된 사용자에 대응되는 동작을 수행하는 제어부를 포함한다.

Description

지능형 냉장고 및 지능형 냉장고를 제어하는 방법{SMART REFRIGERATOR AND METHOD FOR CONTROLLING SMART REFRIGERATOR}
개시된 기술은 지능형 냉장고 및 이를 제어하는 방법에 관한 것으로, 보다 상세하지만 제한됨 없이는, 냉장고의 사용자를 자동으로 인식하여 사용자에 따라 적합한 동작을 자동으로 수행하는 냉장고 및 이를 제어하는 방법에 관한 것이다.
정보기술이 발전함에 따라 TV, 냉장고 등 가전제품을 지능형으로 제어하거나 관리하는 것이 가능하게 되었다. 일례로, 한국 공개 특허 제2007-0050234호(RFID 시스템이 구비된 냉장고 및 그 내용물 표시 방법)는 RFID 시스템을 이용하여 냉장고의 내용물을 효율적으로 관리하는 방법을 개시한다. 다른 일례로, 한국 공개 특허 제2010-0133895호(스마트 냉장고의 식품 품질 관리 방법)는 식품에 부착된 센서 태그로부터 식품 관리 정보, 유통 환경 정보, 현재 환경 정보를 획득하여 획득한 정보를 바탕으로 식품의 신선도를 계산하는 방법을 개시한다. 한편, 냉장고와 같은 가전 제품은 함께 생활하는 한 가족이 공유하여 사용하는 것이 일반적인 형태로서 사용자에 따라 적합한 제어, 관리 방법이 다를 수 있다.
개시된 기술이 이루고자 하는 기술적 과제는 냉장고의 사용자를 자동으로 인식하여 사용자에 따라 적합한 동작을 자동으로 수행하는 냉장고 및 이를 제어하는 방법을 제공하는 데 있다. 특히, 개시된 기술은 냉장고의 사용자를 자동으로 인식하여 사용자에 따라 냉장고의 사용을 제한하거나 사용자에 적합한 정보를 용이하게 제공할 수 있도록 한다.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 제1 측면은 사용자의 얼굴을 포함하는 영상을 획득하는 촬영부; 상기 영상으로부터 얼굴 특징 정보를 추출하고, 상기 추출된 얼굴 특징 정보와 미리 저장된 적어도 하나의 얼굴 특징 정보를 비교하여 상기 사용자를 인식하는 영상 처리부; 및 상기 인식된 사용자에 대응되는 동작을 수행하는 제어부를 포함하는 지능형 냉장고를 제공한다.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 제2 측면은 얼굴인식 기반으로 지능형 냉장고를 제어하는 방법으로, 사용자의 얼굴을 포함하는 영상을 획득하는 단계; 상기 영상으로부터 얼굴 특징 정보를 추출하고, 상기 추출된 얼굴 특징 정보와 미리 저장된 적어도 하나의 얼굴 특징 정보를 비교하여 상기 사용자를 인식하는 단계; 및 상기 인식된 사용자에 대응되는 동작을 수행하는 단계를 포함하는 지능형 냉장고를 제어하는 방법을 제공한다.
개시된 기술의 실시 예들은 다음의 장점들을 포함하는 효과를 가질 수 있다. 다만, 개시된 기술의 실시 예들이 이를 전부 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
개시된 기술에 따르면, 냉장고의 사용이 제한될 필요가 있는 사람이 접근한 경우, 냉장고 문을 잠금으로써 사용자의 체중조절, 건강관리 또는 인지능력이 미숙한 영유아의 냉장고 접근으로 인한 사고를 미연에 방지할 수 있다는 효과가 있다. 또한, 냉장고의 사용이 제한되지 않는 경우에는, 인식된 사용자에 따라 맞춤형 음식물 정보를 제공하여 사용자 편의가 증대되는 효과가 있다.
또한, 개시된 기술에 따르면, 복수의 RFID 리더 안테나를 사용하여 냉장고의 음식물 정보를 보다 구체적으로 저장, 관리할 수 있을 뿐 아니라 사용자가 RFID 태그 정보를 생성할 수 있도록 하여 냉장고 관리가 용이하다는 장점이 있다.
도 1은 개시된 기술의 일 실시예에 따른 지능형 냉장고를 설명하기 위한 블록도이다.
도 2는 개시된 기술의 일 실시예에 따른 RFID 모듈의 구조를 설명하기 위한 도면이다.
도 3은 개시된 기술의 일 실시예에 따른 음식물 보관용기를 설명하기 위한 도면이다.
도 4는 개시된 기술의 일 실시예에 따른 지능형 냉장고 제어방법을 설명하기 위한 순서도이다.
도 5는 개시된 기술의 일 실시예에 따라 지능형 냉장고가 RFID 모듈을 이용하여 음식물 정보를 저장하는 방법을 설명하기 위한 순서도이다.
개시된 기술에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
“제1”, “제2” 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
개시된 기술은 사용자에 따라 효율적으로 제어, 관리되는 지능형 냉장고에 관한 것이다. 일례로, 개시된 기술에 따른 지능형 냉장고는 냉동실 및 냉장실이 내부에 형성되도록 일면의 적어도 일부가 개방되고 내부를 냉각시키는 냉장고 본체 및 냉장고 본체에 개폐 가능하게 설치된 냉장고 문을 포함할 수 있으며 이러한 일반적인 냉장고에 관한 구조 및 설명은 이하 생략한다.
도 1은 개시된 기술의 일 실시예에 따른 지능형 냉장고를 설명하기 위한 블록도이다. 도 1을 참조하면, 지능형 냉장고(100)는 촬영부(110), 영상 처리부(120), 제어부(130), 입력부(140), 출력부(150), RFID 모듈(160) 및 저장부(170)를 포함한다.
촬영부(110)는 사용자의 얼굴을 포함하는 영상을 획득한다. 구현 예에 따라, 촬영부(110)는 CCD 또는 CMOS 이미지 센서를 포함하는 적어도 하나의 카메라로 구성될 수 있다. 촬영부(110)에서 획득한 영상은 지능형 냉장고(100)의 사용자를 인식하기 위한 정보로 사용된다.
영상 처리부(120)는 촬영부(110)에서 획득한 영상으로부터 얼굴 특징 정보를 추출하고, 추출된 얼굴 특징 정보와 미리 저장된 적어도 하나의 얼굴 특징 정보를 비교하여 지능형 냉장고(100)의 사용자를 인식한다. 일례로, 영상 처리부(120)가 소정의 얼굴 인식 알고리즘에 따라 사용자를 인식하는 과정은 다음과 같다. 우선, 영상 처리부(120)는 획득한 영상의 잡음을 제거하거나 영상을 분할하는 등 전처리 과정을 수행할 수 있다. 이후, 영상 처리부(120)는 PCA(Principal Component Analysis), SVM(Support Vector Machine), 기하학적 알고리즘 등을 기반으로 획득된 영상에서 얼굴의 윤곽선 또는 특징점 정보를 검출할 수 있다. 마지막으로, 영상 처리부(120)는 획득된 영상에서 검출된 정보를 사용자별로 미리 저장된 정보와 비교하여 지능형 냉장고의 사용자를 인식할 수 있다.
제어부(130)는 영상 처리부(120)가 인식한 사용자에 대응되는 동작을 수행한다. 일 실시예에 따라, 제어부(130)는 인식된 사용자가 제1 사용자인 경우 냉장고 문을 잠그는 동작을 수행할 수 있다. 이때, 제1 사용자는 건강 또는 안전 등의 이유로 냉장고의 사용이 제한되는 사용자로서 예컨대, 영유아 또는 비만 환자일 수 있다. 제어부(130)는 전자적 또는 기계적으로 냉장고 문의 잠금을 제어할 수 있다. 일례로 제어부(130)는 지능형 냉장고(100) 문에 내장된 전자석의 세기를 제어하여 미리 설정된 시간 동안 지능형 냉장고(100) 문을 잠그는 동작을 수행할 수 있다. 이러한 경우 제어부(130)는 전력 소비 절약을 위하여 제1 사용자가 인식된 경우에만 지능형 냉장고(100) 문을 잠그고, 소정 시간 이후에는 잠금을 해제하는 것이 바람직할 수 있다. 다른 일례로 제어부(130)는 냉장고 문을 기계적으로 잠글 수 있는 록킹(locking) 모듈의 온/오프를 제어하여 지능형 냉장고(100) 문을 잠그는 동작을 수행할 수 있다.
다른 일 실시예에 따라, 제어부(130)는 인식된 사용자가 제2 사용자인 경우, 입력부(140)를 통하여 미리 입력 받은 메모를 출력부(150)를 통하여 출력할 수 있다. 입력부(140)는 키보드, 터치 패널 또는 음성 인식을 위한 마이크 등으로 구현될 수 있고, 출력부(150)는 스피커 또는 디스플레이 장치 등으로 구현될 수 있다.
또 다른 일 실시예에 따라, 제어부(130)는, 인식된 사용자 및 지능형 냉장고(100) 내의 음식물에 대한 정보를 기반으로 추천 음식을 결정하고, 이를 출력할 수 있다. 일례로, 제어부(130)는 인식된 사용자의 선호음식, 건강상태, 지능형 냉장고(100) 내 음식물의 조합, 유통기한, 현재 시각 및 날씨 중 적어도 하나를 기반으로 추천 음식을 결정할 수 있다. 이때, 사용자의 선호음식, 건강상태 등은 지능형 냉장고(100)에 미리 저장되어 있을 수 있다.
RFID 모듈(160)은 냉장고 내 음식물 정보를 입력 받아 이를 관리하는 데 사용된다. 일 실시예에 따른 RFID 모듈(160)은 복수의 RFID 안테나들 및 RFID 리더를 포함하여 음식물들의 위치를 보다 구체적으로 관리할 수 있다. 예컨대, 냉장고의 각 선반에 복수의 RFID 리더 안테나들이 등 간격으로 설치되어 근접한 RFID 태그로부터 태그 식별 정보를 수신한다. 본 실시예에 따른 RFID 모듈(160)의 구조는 도 2를 참조하여 후술한다.
RFID 태그는 음식물의 생산, 유통 과정에서 음식물 또는 그 포장에 직접 부착될 수 있다. 또한 RFID 태그가 부착되지 않은 음식물의 경우에도, RFID 태그가 부착된 보관 용기를 사용하여 음식물에 대한 정보를 제공할 수 있다. 예를 들어, 보관 용기에 김치를 담은 후, 해당하는 RFID 태그에 사용자가 직접 음식물의 이름, 종류, 제조일자, 유통기한 등을 입력할 수 있다. 이러한 경우, 지능형 냉장고(100)는 수신된 RFID 태그 식별 정보에 음식물 정보가 포함되지 않은 RFID 태그가 새로이 인식되면 인식된 RFID 태그에 상응하는 음식물 정보를 입력부(140)를 통하여 사용자로부터 입력 받을 수 있다.
저장부(170)는 냉장고 내 음식물에 대한 정보를 저장한다. 일 실시예에 따라, 저장부(140)는 태그 식별 정보 및 태그 식별 정보를 수신한 각 RFID 리더 안테나의 식별자를 기초로 냉장고에 저장된 음식물의 이름, 종류, 유통기한, 냉장고 보관일자 및 냉장고 내 위치정보 중 적어도 하나를 저장할 수 있다. 저장된 음식물에 관한 정보(냉장고에 저장된 음식물들의 종류, 위치 정보, 유통기한 및 신선도 등)는 출력부(150)를 통하여 화면에 출력될 수 있다.
도 2는 개시된 기술의 일 실시예에 따른 RFID 모듈의 구조를 설명하기 위한 도면이다. 본 실시예에 따른 RFID 모듈은 냉장고에 위치한 각 음식물의 위치를 보다 정확히 인지하기 위한 복수의 RFID 리더 안테나들(210)을 포함한다. 복수의 RFID 리더 안테나들(210)은 도 2와 같이 냉장실 및 냉동실 선반(220)에 등 간격으로 설치될 수 있다. 각 RFID 리더 안테나(210)에는 고유의 식별자가 할당되어 어느 선반의 몇 번째 영역에 위치하고 있는지에 대한 정보를 제공하도록 한다. RFID 리더 안테나는 냉장고에 내장된 RFID 리더와 통신 케이블로 연결되어 수신한 정보를 전달한다.
도 3은 개시된 기술의 일 실시예에 따른 음식물 보관용기를 설명하기 위한 도면이다. RFID 태그(320)가 음식물 보관용기(310) 하단에 부착되어, 보관하고 있는 음식물에 대한 정보를 저장한다. 음식물 보관용기는 도2의 안테나 간격과 크기가 맞는 것이 바람직할 수 있다.
도 4는 개시된 기술의 일 실시예에 따른 지능형 냉장고 제어방법을 설명하기 위한 순서도이다. 본 실시 예는 지능형 냉장고(100)를 얼굴인식 기반으로 제어하는 방법에 관한 것으로 사용자에 따라 냉장고의 사용을 제한하거나 사용자에게 적합한 정보를 제공할 수 있도록 한다.
S410 단계에서, 우선, 지능형 냉장고(100)는 냉장고 내 음식물 정보를 저장한다. 음식물 정보는 입력부(140)를 통하여 사용자로부터 입력 받아 저장할 수도 있으며, RFID 모듈(160)을 이용하여 저장할 수도 있다. 또한 실시예에 따라 본 단계가 생략될 수도 있다. RFID 모듈(160)을 이용하여 음식물 정보를 저장하는 방법은 도 5를 참조하여 후술한다.
S420 단계에서, 지능형 냉장고(100)는 사용자의 얼굴을 포함하는 영상을 획득한다. S430 단계에서, 지능형 냉장고(100)는 전 단계에서 획득한 영상으로부터 얼굴 특징 정보를 추출하고, 추출된 얼굴 특징 정보와 미리 저장된 적어도 하나의 얼굴 특징 정보를 비교하여 냉장고의 사용자를 인식한다. 실시예에 따라, 지능형 냉장고(100)는 사용자의 얼굴 특징 정보와 함께 해당 사용자의 나이, 성별, 건강상태, 선호음식, 냉장고 사용 제한 여부 등을 저장할 수 있다.
이후, 지능형 냉장고(100)는 S430 단계의 결과 인식된 사용자에 대응되는 동작을 수행한다. 일 실시 예로, 지능형 냉장고(100)는 인식된 사용자가 제1 사용자인 경우 냉장고 문을 잠그는 동작을 수행한다(S440). 예컨대, 지능형 냉장고(100)는 문에 내장된 전자석의 세기를 제어하여 미리 설정된 시간 동안 냉장고 문을 잠그는 동작을 수행할 수 있다. 이 때, 제1 사용자는 냉장고의 사용이 제한되는 영유아 또는 비만 환자를 포함할 수 있다. 본 실시예에 따르면, 비만 환자의 체중 조절을 용이하게 하거나, 지능 발달이 완전하지 못한 영유아가 냉장고 내의 음식물을 무단으로 섭취하거나 음식물 또는 용기를 훼손하는 사고를 미연에 방지하는 효과가 있다.
다른 실시 예로, 인식된 사용자가 제2 사용자인 경우, 제2 사용자에 대하여 미리 입력 받은 메모를 출력하는 동작을 수행할 수 있다(S450). 본 실시예에 따르면, 타 사용자가 제2 사용자에게 전달하는 메모(예를 들어, “냉장고에 토마토 주스 만들어 놨으니까 마시고 출근해”)를 지능형 냉장고에 입력 하는 단계(미 도시)가 미리 수행된 뒤, 이후 제2 사용자가 인식되면 지능형 냉장고(100)는 미리 입력된 메모를 출력한다.
또 다른 실시 예로, 지능형 냉장고(100)는 인식된 사용자에 따라, 사용자 정보 또는 냉장고(100) 내 음식물에 대한 정보를 기반으로 사용자에 적합하도록 결정된 추천 음식을 출력할 수 있다(S460). 일례로, 지능형 냉장고(100)는 인식된 사용자의 성별, 나이, 선호음식, 건강상태, 냉장고 내 음식물의 조합, 유통기한, 현재 시각 및 날씨 중 적어도 하나를 기반으로 추천 음식을 결정할 수 있다.
도 5는 개시된 기술의 일 실시예에 따라 지능형 냉장고가 RFID 모듈을 이용하여 음식물 정보를 저장하는 방법을 설명하기 위한 순서도이다.
S510 단계에서, 지능형 냉장고의 각 선반에 설치된 각 RFID 리더 안테나가 근접한 RFID 태그로부터 태그 식별 정보를 수신한다. RFID 태그는 음식물의 생산, 유통과정에서 음식물 또는 그 포장에 부착된 태그일 수도 있으며, 별도의 음식물 보관 용기에 부착된 RFID 태그일 수도 있다. 음식물 보관 용기에 부착된 RFID 태그는 사용자로부터 직접 입력된 음식물에 관한 정보가 저장될 수 있다. 일례로, RFID 태그에 사용자가 음식물 정보를 입력, 저장하는 방법은 다음과 같다.
태그 식별 정보에 음식물 정보가 포함되지 않은 RFID 태그가 새로이 인식되면, 지능형 냉장고는 새로이 인식된 RFID 태그에 상응하는 음식물 정보를 입력부를 통하여 사용자로부터 입력 받는다(S520). 예컨대, 지능형 냉장고는 새로운 RFID 태그가 인식되면, 이를 사용자에게 알리고 음식물 정보를 입력할 수 있는 메뉴 항목을 제공할 수 있다. 사용자는 화면에 표시된 메뉴 항목에 따라 음식물 보관 용기에 들어있는 음식물에 대한 정보를 입력한다. 해당하는 RFID 태그는 입력된 음식물 정보를 메모리에 저장한다.
S530 단계에서 RFID 모듈은 S510 단계에서 수신되거나, S520 단계에서 입력된 태그 식별 정보 및 태그 식별 정보를 수신한 각 RFID 리더 안테나의 식별자를 기초로 냉장고 내 음식물의 이름, 종류, 유통기한, 냉장고 보관일자 및 냉장고 내 위치정보 중 적어도 하나를 저장한다. 냉장고 내 음식물에 대한 정보가 저장되면, 지능형 냉장고는 저장된 음식물에 관한 정보(냉장고에 저장된 음식물들의 종류, 유통기한 및 신선도 등)를 음식물의 위치 정보와 함께 화면에 출력할 수 있다. 예를 들어, 음식물의 신선도가 나쁜 경우 빨강색, 양호한 경우 주황색, 좋은 경우 녹색으로 신선도를 표시할 수 있다.
이러한 개시된 기술인 시스템 및 장치는 이해를 돕기 위하여 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 개시된 기술의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.

Claims (17)

  1. 사용자의 얼굴을 포함하는 영상을 획득하는 촬영부;
    상기 영상으로부터 얼굴 특징 정보를 추출하고, 상기 추출된 얼굴 특징 정보와 미리 저장된 적어도 하나의 얼굴 특징 정보를 비교하여 상기 사용자를 인식하는 영상 처리부; 및
    상기 인식된 사용자에 대응되는 동작을 수행하는 제어부를 포함하는 지능형 냉장고.
  2. 제1항에 있어서,
    냉장고 내 음식물에 대한 정보를 저장하는 저장부를 더 포함하고,
    상기 제어부는, 상기 인식된 사용자 및 상기 저장된 음식물에 대한 정보를 기반으로 추천 음식을 출력하는 동작을 수행하는 지능형 냉장고.
  3. 제2항에 있어서,
    냉장고의 각 선반에 설치되어 근접한 RFID 태그로부터 태그 식별 정보를 수신하는 복수의 RFID 리더 안테나들을 더 포함하고,
    상기 저장부는 상기 태그 식별 정보 및 상기 태그 식별 정보를 수신한 각 RFID 리더 안테나의 식별자를 기초로 냉장고에 저장된 음식물의 이름, 종류, 유통기한, 냉장고 보관일자 및 냉장고 내 위치정보 중 적어도 하나를 저장하는 지능형 냉장고.
  4. 제3항에 있어서,
    RFID 태그가 부착된 복수의 보관 용기들; 및
    상기 태그 식별 정보에 음식물 정보가 포함되지 않은 RFID 태그가 새로이 인식되면 상기 인식된 RFID 태그에 상응하는 음식물 정보를 사용자로부터 입력 받는 입력부를 더 포함하는 지능형 냉장고.
  5. 제2항에 있어서,
    상기 제어부는, 상기 사용자의 선호음식, 건강상태, 상기 저장된 음식물의 조합, 상기 저장된 음식물의 유통기한, 현재 시각 및 날씨 중 적어도 하나를 기반으로 추천 음식을 결정하는 지능형 냉장고.
  6. 제1항에 있어서, 상기 제어부는
    상기 인식된 사용자가 제1 사용자인 경우 냉장고 문을 잠그는 동작을 수행하는 지능형 냉장고.
  7. 제6항에 있어서, 상기 제1 사용자는 영유아 또는 비만 환자인 지능형 냉장고.
  8. 제6항에 있어서, 상기 제어부는
    상기 냉장고 문에 내장된 전자석의 세기를 제어하여 미리 설정된 시간 동안 상기 냉장고 문을 잠그는 동작을 수행하는 지능형 냉장고.
  9. 제1항에 있어서,
    제2 사용자에게 전달하는 메모를 입력 받는 입력부를 더 포함하고,
    상기 제어부는, 상기 인식된 사용자가 제2 사용자인 경우, 상기 입력 받은 메모를 출력하는 동작을 수행하는 지능형 냉장고.
  10. 얼굴인식 기반으로 지능형 냉장고를 제어하는 방법에 있어서,
    사용자의 얼굴을 포함하는 영상을 획득하는 단계;
    상기 영상으로부터 얼굴 특징 정보를 추출하고, 상기 추출된 얼굴 특징 정보와 미리 저장된 적어도 하나의 얼굴 특징 정보를 비교하여 상기 사용자를 인식하는 단계; 및
    상기 인식된 사용자에 대응되는 동작을 수행하는 단계를 포함하는 지능형 냉장고를 제어하는 방법.
  11. 제10항에 있어서, 상기 수행하는 단계는,
    상기 인식된 사용자의 성별, 나이, 선호음식, 건강상태, 상기 지능형 냉장고 내 음식물의 조합, 상기 지능형 냉장고 내 음식물의 유통기한, 현재 시각 및 날씨 중 적어도 하나를 기반으로 결정된 추천 음식을 출력하는 동작을 수행하는 지능형 냉장고를 제어하는 방법.
  12. 제10항에 있어서,
    상기 지능형 냉장고의 각 선반에 설치된 각 RFID 리더 안테나가 근접한 RFID 태그로부터 태그 식별 정보를 수신하는 단계; 및
    상기 태그 식별 정보 및 상기 태그 식별 정보를 수신한 각 RFID 리더 안테나의 식별자를 기초로 상기 지능형 냉장고에 저장된 음식물의 이름, 종류, 유통기한, 냉장고 보관일자 및 냉장고 내 위치정보 중 적어도 하나를 저장하는 단계를 더 포함하는 지능형 냉장고를 제어하는 방법.
  13. 제12항에 있어서,
    상기 태그 식별 정보에 음식물 정보가 포함되지 않은 RFID 태그가 새로이 인식되면 상기 인식된 RFID 태그에 상응하는 음식물 정보를 사용자로부터 입력 받는 단계를 더 포함하는 지능형 냉장고를 제어하는 방법.
  14. 제10항에 있어서, 상기 수행하는 단계는
    상기 인식된 사용자가 제1 사용자인 경우 냉장고 문을 잠그는 동작을 수행하는 지능형 냉장고를 제어하는 방법.
  15. 제14항에 있어서, 상기 제1 사용자는 영유아 또는 비만 환자인 지능형 냉장고를 제어하는 방법.
  16. 제14항에 있어서, 상기 수행하는 단계는
    상기 냉장고 문에 내장된 전자석의 세기를 제어하여 미리 설정된 시간 동안 상기 냉장고 문을 잠그는 동작을 수행하는 지능형 냉장고를 제어하는 방법.
  17. 제10항에 있어서,
    제2 사용자에게 전달하는 메모를 입력 받는 단계를 더 포함하고,
    상기 수행하는 단계는, 상기 인식된 사용자가 상기 제2 사용자인 경우, 상기 입력 받은 메모를 출력하는 동작을 수행하는 지능형 냉장고를 제어하는 방법.
KR1020120126512A 2012-11-09 2012-11-09 지능형 냉장고 및 지능형 냉장고를 제어하는 방법 KR101400730B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120126512A KR101400730B1 (ko) 2012-11-09 2012-11-09 지능형 냉장고 및 지능형 냉장고를 제어하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120126512A KR101400730B1 (ko) 2012-11-09 2012-11-09 지능형 냉장고 및 지능형 냉장고를 제어하는 방법

Publications (2)

Publication Number Publication Date
KR20140059978A true KR20140059978A (ko) 2014-05-19
KR101400730B1 KR101400730B1 (ko) 2014-05-29

Family

ID=50889563

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120126512A KR101400730B1 (ko) 2012-11-09 2012-11-09 지능형 냉장고 및 지능형 냉장고를 제어하는 방법

Country Status (1)

Country Link
KR (1) KR101400730B1 (ko)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104949465A (zh) * 2015-06-30 2015-09-30 合肥美的电冰箱有限公司 一种具有人脸识别功能的冰箱及物品存取方法
KR20180017741A (ko) * 2016-08-10 2018-02-21 엘지전자 주식회사 냉장고 및 냉장고의 제어방법
WO2018044091A1 (en) * 2016-09-01 2018-03-08 Samsung Electronics Co., Ltd. A refrigerator storage system having a display
CN109489332A (zh) * 2017-09-12 2019-03-19 合肥美的智能科技有限公司 投放内容的方法、智能冰箱、服务器、系统和存储介质
WO2019095518A1 (zh) * 2017-11-20 2019-05-23 上海绿联软件股份有限公司 基于服务器大数据分析的智能冰箱、健康管理方法及系统
WO2020060380A1 (en) * 2018-09-18 2020-03-26 Samsung Electronics Co., Ltd. Refrigerator and method of controlling thereof
KR20200054277A (ko) * 2017-11-03 2020-05-19 알리바바 그룹 홀딩 리미티드 무인 시나리오에서의 불법 행위를 인식하기 위한 방법 및 장치
CN112771901A (zh) * 2018-09-19 2021-05-07 伊莱克斯电器股份公司 可自定义的食物显示器
WO2021137345A1 (ko) 2020-01-03 2021-07-08 엘지전자 주식회사 인공 지능 냉장고 및 그의 동작 방법
KR20210137592A (ko) * 2019-04-10 2021-11-18 엘지전자 주식회사 냉장고 및 냉장고의 물품 관리 방법
US20220076237A1 (en) * 2018-12-20 2022-03-10 Stora Enso Oyj Method and arrangement for recycling a packaging purchased from a smart fridge
KR20220073885A (ko) * 2020-11-26 2022-06-03 변철원 도어 영상 분석 기반의 ai 비서 장치 및 시스템
US11353259B2 (en) 2018-09-18 2022-06-07 Samsung Electronics Co., Ltd. Augmented-reality refrigerator and method of controlling thereof

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160358508A1 (en) * 2015-06-05 2016-12-08 Elwha Llc Smart refrigerator
US20210359875A1 (en) * 2019-05-02 2021-11-18 Lg Electronics Inc. Artificial intelligent refrigerator and control method of the same
KR102225439B1 (ko) * 2019-08-06 2021-03-09 엘지전자 주식회사 지능형 냉장 장치 및 이를 제어하기 위한 방법
DE102019133301A1 (de) * 2019-09-30 2021-04-01 Liebherr-Hausgeräte Ochsenhausen GmbH Kühl- und/oder Gefriergerät

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040017978A (ko) * 2002-08-23 2004-03-02 삼성전자주식회사 냉장고 및 그 제어방법
KR20050092259A (ko) * 2004-03-15 2005-09-21 삼성전자주식회사 냉장고
KR100722490B1 (ko) * 2005-08-17 2007-06-04 박정일 냉장고의 내용물 표시장치 및 그 방법
KR20090043993A (ko) * 2007-10-30 2009-05-07 엘지전자 주식회사 냉장고의 도어 개폐 제어 장치 및 그 제어 방법

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104949465A (zh) * 2015-06-30 2015-09-30 合肥美的电冰箱有限公司 一种具有人脸识别功能的冰箱及物品存取方法
CN104949465B (zh) * 2015-06-30 2018-09-14 合肥美的电冰箱有限公司 一种具有人脸识别功能的冰箱及物品存取方法
KR20180017741A (ko) * 2016-08-10 2018-02-21 엘지전자 주식회사 냉장고 및 냉장고의 제어방법
WO2018044091A1 (en) * 2016-09-01 2018-03-08 Samsung Electronics Co., Ltd. A refrigerator storage system having a display
US11016634B2 (en) 2016-09-01 2021-05-25 Samsung Electronics Co., Ltd. Refrigerator storage system having a display
CN109489332A (zh) * 2017-09-12 2019-03-19 合肥美的智能科技有限公司 投放内容的方法、智能冰箱、服务器、系统和存储介质
US10990813B2 (en) 2017-11-03 2021-04-27 Advanced New Technologies Co., Ltd. Method and apparatus for recognizing illegal behavior in unattended scenario
KR20200054277A (ko) * 2017-11-03 2020-05-19 알리바바 그룹 홀딩 리미티드 무인 시나리오에서의 불법 행위를 인식하기 위한 방법 및 장치
KR20210057838A (ko) * 2017-11-03 2021-05-21 어드밴스드 뉴 테크놀로지스 씨오., 엘티디. 무인 시나리오에서의 불법 행위를 인식하기 위한 방법 및 장치
WO2019095518A1 (zh) * 2017-11-20 2019-05-23 上海绿联软件股份有限公司 基于服务器大数据分析的智能冰箱、健康管理方法及系统
US11486633B2 (en) 2017-11-20 2022-11-01 Shanghai Green Motive Technology Limited Smart refrigerator based on big data analysis of server, health management method, and system
KR20200032625A (ko) * 2018-09-18 2020-03-26 삼성전자주식회사 냉장고 및 그의 제어방법
US11353259B2 (en) 2018-09-18 2022-06-07 Samsung Electronics Co., Ltd. Augmented-reality refrigerator and method of controlling thereof
WO2020060380A1 (en) * 2018-09-18 2020-03-26 Samsung Electronics Co., Ltd. Refrigerator and method of controlling thereof
US11732961B2 (en) 2018-09-18 2023-08-22 Samsung Electronics Co., Ltd. Augmented-reality refrigerator and method of controlling thereof
CN112771901A (zh) * 2018-09-19 2021-05-07 伊莱克斯电器股份公司 可自定义的食物显示器
US20220076237A1 (en) * 2018-12-20 2022-03-10 Stora Enso Oyj Method and arrangement for recycling a packaging purchased from a smart fridge
KR20210137592A (ko) * 2019-04-10 2021-11-18 엘지전자 주식회사 냉장고 및 냉장고의 물품 관리 방법
WO2021137345A1 (ko) 2020-01-03 2021-07-08 엘지전자 주식회사 인공 지능 냉장고 및 그의 동작 방법
KR20220073885A (ko) * 2020-11-26 2022-06-03 변철원 도어 영상 분석 기반의 ai 비서 장치 및 시스템

Also Published As

Publication number Publication date
KR101400730B1 (ko) 2014-05-29

Similar Documents

Publication Publication Date Title
KR101400730B1 (ko) 지능형 냉장고 및 지능형 냉장고를 제어하는 방법
US11263498B2 (en) Method and system for providing information related to a status of an object in a refrigerator
US11657240B2 (en) Wireless device and selective user control and management of a wireless device and data
CN106403488B (zh) 智能冰箱及其管理方法
US20220383379A1 (en) Appliance network with a smart control, host multi-function and external appliance with food containers and methods
US11521391B2 (en) Refrigerator, server and method of controlling thereof
JP6336816B2 (ja) 冷蔵庫
KR102699484B1 (ko) 냉장고 및 냉장고의 물품 관리 방법
US20140021083A1 (en) Multifunction medicine chest
US10685269B2 (en) Systems and methods for predicting, identifying, and/or confirming presence of objects in a predefined space or otherwise associated with a container
CN104617988B (zh) 智能储物罐的工作处理方法、装置及智能储物罐
CN103714843B (zh) 电器产品及其控制方法
CN104949465A (zh) 一种具有人脸识别功能的冰箱及物品存取方法
US9953267B2 (en) Control method and non-transitory computer readable recording medium
JP6629912B2 (ja) 冷蔵庫
CN207693247U (zh) 一种智能设备存储柜
JP2015069301A (ja) 在庫管理システム
KR102543862B1 (ko) 저장 구조체를 위한 물체 인식
CN209297319U (zh) 一种基于光学标识视觉识别方法的无人售货柜
CN106918179A (zh) 一种草药箱及基于物联网由手机app监控该草药箱的系统及监控方法
WO2021057768A1 (zh) 制冷电器和用于选择性地锁定其中的子容器的方法
Alsanad et al. High Performance of Smart Refrigerator System Based on IoT Technique
Goel et al. IoT Based Smart Refrigerator and Shopping System Prototype
JP2022147979A (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
TR201616575A2 (tr) Yiyecek-içecek takibini ve besin önerisini sağlayan sistem ve yöntem

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170328

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190325

Year of fee payment: 6