KR20240055532A - 냉장고 및 그의 제어 방법 - Google Patents
냉장고 및 그의 제어 방법 Download PDFInfo
- Publication number
- KR20240055532A KR20240055532A KR1020220135944A KR20220135944A KR20240055532A KR 20240055532 A KR20240055532 A KR 20240055532A KR 1020220135944 A KR1020220135944 A KR 1020220135944A KR 20220135944 A KR20220135944 A KR 20220135944A KR 20240055532 A KR20240055532 A KR 20240055532A
- Authority
- KR
- South Korea
- Prior art keywords
- food
- ethylene
- stored
- refrigerator
- storage room
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 33
- 238000003860 storage Methods 0.000 claims abstract description 216
- 235000013305 food Nutrition 0.000 claims abstract description 175
- 239000000463 material Substances 0.000 claims abstract description 171
- VGGSQFUCUMXWEO-UHFFFAOYSA-N Ethene Chemical compound C=C VGGSQFUCUMXWEO-UHFFFAOYSA-N 0.000 claims abstract description 158
- 239000005977 Ethylene Substances 0.000 claims abstract description 158
- 235000012041 food component Nutrition 0.000 claims abstract description 156
- 239000005417 food ingredient Substances 0.000 claims abstract description 156
- 230000015654 memory Effects 0.000 claims abstract description 37
- 230000035945 sensitivity Effects 0.000 claims description 31
- 238000013473 artificial intelligence Methods 0.000 description 23
- 241000220225 Malus Species 0.000 description 16
- 238000004891 communication Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 16
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 13
- 240000003768 Solanum lycopersicum Species 0.000 description 13
- 235000021016 apples Nutrition 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 7
- 241000219109 Citrullus Species 0.000 description 6
- 235000012828 Citrullus lanatus var citroides Nutrition 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 240000008067 Cucumis sativus Species 0.000 description 4
- 240000009088 Fragaria x ananassa Species 0.000 description 4
- 244000025272 Persea americana Species 0.000 description 4
- 235000008673 Persea americana Nutrition 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000005070 ripening Effects 0.000 description 4
- 235000013311 vegetables Nutrition 0.000 description 4
- 241000219112 Cucumis Species 0.000 description 3
- 235000015510 Cucumis melo subsp melo Nutrition 0.000 description 3
- 235000009849 Cucumis sativus Nutrition 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 235000009434 Actinidia chinensis Nutrition 0.000 description 2
- 244000298697 Actinidia deliciosa Species 0.000 description 2
- 235000009436 Actinidia deliciosa Nutrition 0.000 description 2
- 240000004160 Capsicum annuum Species 0.000 description 2
- 235000008534 Capsicum annuum var annuum Nutrition 0.000 description 2
- 235000016623 Fragaria vesca Nutrition 0.000 description 2
- 235000011363 Fragaria x ananassa Nutrition 0.000 description 2
- 240000005561 Musa balbisiana Species 0.000 description 2
- 241000220324 Pyrus Species 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- FJJCIZWZNKZHII-UHFFFAOYSA-N [4,6-bis(cyanoamino)-1,3,5-triazin-2-yl]cyanamide Chemical group N#CNC1=NC(NC#N)=NC(NC#N)=N1 FJJCIZWZNKZHII-UHFFFAOYSA-N 0.000 description 2
- 235000021015 bananas Nutrition 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 235000021017 pears Nutrition 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 235000021012 strawberries Nutrition 0.000 description 2
- 241000167854 Bourreria succulenta Species 0.000 description 1
- 240000007124 Brassica oleracea Species 0.000 description 1
- 235000003899 Brassica oleracea var acephala Nutrition 0.000 description 1
- 235000011299 Brassica oleracea var botrytis Nutrition 0.000 description 1
- 235000011301 Brassica oleracea var capitata Nutrition 0.000 description 1
- 235000017647 Brassica oleracea var italica Nutrition 0.000 description 1
- 235000001169 Brassica oleracea var oleracea Nutrition 0.000 description 1
- 240000003259 Brassica oleracea var. botrytis Species 0.000 description 1
- 235000004936 Bromus mango Nutrition 0.000 description 1
- 235000007862 Capsicum baccatum Nutrition 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 235000010799 Cucumis sativus var sativus Nutrition 0.000 description 1
- 241000219130 Cucurbita pepo subsp. pepo Species 0.000 description 1
- 235000003954 Cucurbita pepo var melopepo Nutrition 0.000 description 1
- 244000000626 Daucus carota Species 0.000 description 1
- 235000002767 Daucus carota Nutrition 0.000 description 1
- 235000011511 Diospyros Nutrition 0.000 description 1
- 244000236655 Diospyros kaki Species 0.000 description 1
- 240000007228 Mangifera indica Species 0.000 description 1
- 235000014826 Mangifera indica Nutrition 0.000 description 1
- 244000018633 Prunus armeniaca Species 0.000 description 1
- 235000009827 Prunus armeniaca Nutrition 0.000 description 1
- 240000005809 Prunus persica Species 0.000 description 1
- 235000006040 Prunus persica var persica Nutrition 0.000 description 1
- 244000061458 Solanum melongena Species 0.000 description 1
- 235000002597 Solanum melongena Nutrition 0.000 description 1
- 244000061456 Solanum tuberosum Species 0.000 description 1
- 235000002595 Solanum tuberosum Nutrition 0.000 description 1
- 235000009184 Spondias indica Nutrition 0.000 description 1
- 241000219094 Vitaceae Species 0.000 description 1
- 241001247821 Ziziphus Species 0.000 description 1
- 230000001476 alcoholic effect Effects 0.000 description 1
- -1 alcoholic liquor Substances 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 235000019693 cherries Nutrition 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 235000012055 fruits and vegetables Nutrition 0.000 description 1
- 235000021021 grapes Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 235000021018 plums Nutrition 0.000 description 1
- 235000012015 potatoes Nutrition 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 239000003507 refrigerant Substances 0.000 description 1
- 238000005057 refrigeration Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D29/00—Arrangement or mounting of control or safety devices
- F25D29/005—Mounting of control devices
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D11/00—Self-contained movable devices, e.g. domestic refrigerators
- F25D11/02—Self-contained movable devices, e.g. domestic refrigerators with cooling compartments at different temperatures
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D29/00—Arrangement or mounting of control or safety devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
- F25D2400/36—Visual displays
- F25D2400/361—Interactive visual displays
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2700/00—Means for sensing or measuring; Sensors therefor
- F25D2700/06—Sensors detecting the presence of a product
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2700/00—Means for sensing or measuring; Sensors therefor
- F25D2700/12—Sensors measuring the inside temperature
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- Thermal Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
Abstract
냉장고가 개시된다. 일 실시예에 따른 냉장고는 복수의 저장실, 상기 냉장고 전면에 배치된 제1 카메라, 메모리 및 상기 제1 카메라를 통해 획득된 제1 영상에 기초하여 상기 냉장고에 추가될 식자재의 유형을 인식하고, 상기 식자재의 유형에 기초하여 상기 식자재와 관련된 에틸렌 정보를 획득하고, 상기 복수의 저장실에 저장된 다른 식자재와 관련된 정보를 획득하고, 상기 식자재와 관련된 에틸렌 정보 및 상기 다른 식자재와 관련된 정보에 기초하여, 상기 복수의 저장실 중 상기 식자재가 저장될 저장실에 대한 정보를 식별하고, 상기 식별된 저장실에 대한 정보를 제공하는 적어도 하나의 프로세서를 포함한다.
Description
아래 실시예들은 냉장고 및 그의 제어 방법에 관한 것이다. 상세하게는, 전면에 배치된 카메라로 냉장고에 추가될 식자재의 유형을 인식하고, 냉장고의 복수의 저장실 중, 인식한 식자재의 유형을 고려해 식자재가 저장될 저장실에 대한 정보를 제공할 수 있다.
냉매를 이용하는 냉동 사이클(refrigeration cycle)을 통해 냉장고는 먹고 마실 수 있는 음식(또는, 식품, food)을 냉장 보관 또는 냉동 보관 가능한 냉장고(또는, 가전 장치)이다. 냉장고는 음식뿐만 아니라 약품(medicine), 주류(alcoholic liquor) 또는 화장품(cosmetics)을 보관할 수도 있다.
기술의 발전으로 인해 냉장고는 보관뿐만 아니라 데이터 송/수신 또는 인스톨(또는, 다운로드 가능한) 어플리케이션을 통해 다양한 서비스를 제공할 수 있다.
본 개시의 일 실시예에 따른 냉장고에 있어서, 복수의 저장실, 상기 냉장고 전면에 배치된 제1 카메라, 메모리 및, 적어도 하나의 프로세서를 포함한다. 상기 적어도 하나의 프로세서는 상기 제1 카메라를 통해 획득된 제1 영상에 기초하여 상기 냉장고에 추가될 식자재의 유형을 인식하고, 상기 식자재의 유형에 기초하여 상기 식자재와 관련된 에틸렌 정보를 획득하고, 상기 복수의 저장실에 저장된 다른 식자재와 관련된 정보를 획득하고, 상기 식자재와 관련된 에틸렌 정보 및 상기 다른 식자재와 관련된 정보에 기초하여, 상기 복수의 저장실 중 상기 식자재가 저장될 저장실에 대한 정보를 식별하고, 상기 식별된 저장실에 대한 정보를 제공한다.
본 개시의 일 실시예에 따른 복수의 저장실을 포함하고, 전면에 제1 카메라가 배치되는 냉장고의 제어 방법은, 상기 제1 카메라를 통해 획득된 제1 영상에 기초하여 상기 냉장고에 추가될 식자재의 유형을 인식하는 단계, 상기 식자재의 유형에 기초하여 상기 식자재와 관련된 에틸렌 정보를 획득하는 단계, 상기 복수의 저장실에 저장된 다른 식자재와 관련된 정보를 획득하는 단계, 상기 식자재와 관련된 에틸렌 정보 및 상기 다른 식자재와 관련된 정보에 기초하여, 상기 복수의 저장실 중 상기 식자재가 저장될 저장실에 대한 정보를 식별하는 단계 및 상기 식별된 저장실에 대한 정보를 제공하는 단계를 포함한다.
본 개시의 일 실시예에 따른 냉장고의 제어 방법을 실행하기 위한 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체에 있어서, 상기 제1 카메라를 통해 획득된 제1 영상에 기초하여 상기 냉장고에 추가될 식자재의 유형을 인식하는 단계, 상기 식자재의 유형에 기초하여 상기 식자재와 관련된 에틸렌 정보를 획득하는 단계, 상기 복수의 저장실에 저장된 다른 식자재와 관련된 정보를 획득하는 단계, 상기 식자재와 관련된 에틸렌 정보 및 상기 다른 식자재와 관련된 정보에 기초하여, 상기 복수의 저장실 중 상기 식자재가 저장될 저장실에 대한 정보를 식별하는 단계 및 상기 식별된 저장실에 대한 정보를 제공하는 단계를 포함한다.
도 1은 본 개시의 일 실시 예에 따른 냉장고의 구성을 도시한 블록도이다.
도 2는 본 개시의 일 실시 예에 따른 냉장고냉장고의 저장실에 대한 정보를 제공하는 방식을 설명하기 위한 흐름도이다.
도 3은 본 개시의 일 실시 예에 따른 에틸렌 정보를 설명하기 위한 표이다.
도 4는 본 개시의 일 실시 예에 따른 식자재가 저장될 저장실에 대한 정보를 설명하기 위한 표이다.
도 5는 본 개시의 일 실시 예에 따른 냉장고의 세부 구성을 설명하기 위한 블록도이다.
도 6은 본 개시의 일 실시 예에 따른 냉장고의 제어 방법을 설명하기 위한 흐름도이다.
도 7은 본 개시의 일 실시 예에 따른 냉장고의 제어 방법을 설명하기 위한 시퀀스도이다.
도 2는 본 개시의 일 실시 예에 따른 냉장고냉장고의 저장실에 대한 정보를 제공하는 방식을 설명하기 위한 흐름도이다.
도 3은 본 개시의 일 실시 예에 따른 에틸렌 정보를 설명하기 위한 표이다.
도 4는 본 개시의 일 실시 예에 따른 식자재가 저장될 저장실에 대한 정보를 설명하기 위한 표이다.
도 5는 본 개시의 일 실시 예에 따른 냉장고의 세부 구성을 설명하기 위한 블록도이다.
도 6은 본 개시의 일 실시 예에 따른 냉장고의 제어 방법을 설명하기 위한 흐름도이다.
도 7은 본 개시의 일 실시 예에 따른 냉장고의 제어 방법을 설명하기 위한 시퀀스도이다.
본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.
덧붙여, 하기 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 개시의 기술적 사상의 범위가 하기 실시 예에 한정되는 것은 아니다. 오히려, 이들 실시 예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 개시의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.
본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다.
대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
한편, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명의 기술적 사상은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다.
이하에서는 첨부한 도면을 참고하여 본 개시에 따른 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 개시의 일 실시 예에 따른 냉장고의 구성을 도시한 블록도이다.
도 1을 참조하면, 냉장고(100)는 제1 카메라(110), 메모리(120) 및 적어도 하나의 프로세서(130)을 포함한다.
일 실시예에 따른 제1 카메라(110)는 피사체를 촬상하여 촬상 영상을 생성하기 위한 구성이며, 여기서 촬상 영상은 동영상과 정지 영상 모두를 포함하는 개념이다. 제1 카메라(110)는 적어도 하나의 외부 기기에 대한 영상을 획득할 수 있으며, 제1 카메라, 렌즈, 적외선 센서 등으로 구현될 수 있다.
제1 카메라(110)는 렌즈와 이미지 센서를 포함할 수 있다. 렌즈의 종류에는 일반적인 범용 렌즈, 광각 렌즈, 줌 렌즈 등이 있으며, 냉장고(100)의 종류, 특성, 사용 환경 등에 따라 결정될 수 있다. 이미지 센서로는 상보성 금속 산화물 반도체(Complementary Metal Oxide Semiconductor: CMOS)와 전하결합소자(Charge Coupled Device: CCD) 등이 사용될 수 있다.
제1 카메라(110)는 입사된 빛을 영상 신호로 출력한다. 구체적으로, 제1 카메라(110)는 렌즈, 화소 및 AD 컨버터를 구비할 수 있다. 렌즈는 피사체의 빛을 모아서 촬상 영역에 광학상이 맺히게 하며, 화소는 렌즈를 통해 입상되는 빚을 아날로그 형태의 영상 신호로 출력할 수 있다. 그리고 AD 컨버터는 아날로그 형태의 영상 신호를 디지털 형태의 영상 신호로 변환하여 출력할 수 있다. 특히, 제1 카메라(110)는 냉장고(100)의 전면 방향을 촬상하도록 배치되어, 냉장고(100)의 전면에 존재하는 사용자를 촬상하여 촬상 영상을 생성할 수 있다.
특히, 제1 카메라(110)는 냉장고(100) 전면에 부착되어, 냉장고(100)에 저장될 식자재를 촬영할 수 있다. 이와 같이 제1 카메라(110)에 의해 획득된 영상에 기초하여 냉장고(100)에 새로운 식자재가 저장됨이 인식될 수 있다. 또한, 제1 카메라(110)에 의해 획득된 영상에 기초하여 식자재의 유형이 인식 될 수 있다. 그리고, 제1 카메라(110)외 제2 카메라를 구비할 수 있다. 이 때, 제2 카메라는 제1 카메라(110)와 다른 위치에 부착되어 영상을 촬영하고, 제2 카메라를 통해 획득된 영상에 기초하여 다른 식자재와 관련된 정보가 획득될 수 있다.
일 실시 예에 따른 메모리(120)는 본 개시의 한 실시 예를 위해 필요한 데이터를 저장할 수 있다. 메모리(120)는 데이터 저장 용도에 따라 냉장고(100)에 임베디드된 메모리 형태로 구현되거나, 냉장고(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다.
예를 들어, 냉장고(100)의 구동을 위한 데이터는 냉장고(100)에 임베디드된 메모리에 저장되고, 냉장고(100)의 확장 기능을 위한 데이터는 냉장고(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 냉장고(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현될 수 있다. 또한, 냉장고(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다. 일 예에 따라 메모리(120)는 냉장고(100)를 제어하기 위한 적어도 하나의 인스트럭션(instruction) 또는 인스트럭션들을 포함하는 컴퓨터 프로그램을 저장할 수 있다.
특히, 메모리(120)는 냉장고(100)에 저장되는 식자재의 종류 및 영상을 저장할 수 있다. 그리고, 메모리(120)는 냉장고(100)에 저장된 다른 식자재의 종류 및 영상을 저장할 수 있다. 또한, 메모리(120)는 식자재에 관한 에틸렌 정보를 저장할 수 있다. 그리고, 메모리(120)는 식자재를 인식할 수 있는 훈련된 인공지능 모델을 저장할 수 있다.
본 개시의 일 실시 예에 따른 적어도 하나의 프로세서(130)는 전자 장치(100)의 전반적인 동작을 제어한다.
본 개시의 일 실시 예에 따라, 적어도 하나의 프로세서(130)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서, AI(Artificial Intelligence) 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 적어도 하나의 프로세서(130)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다. 적어도 하나의 프로세서(130)는 메모리에 저장된 컴퓨터 실행가능 명령어(computer executable instructions)를 실행함으로써 다양한 기능을 수행할 수 있다.
적어도 하나의 프로세서(130)는 CPU (Central Processing Unit), GPU (Graphics Processing Unit), APU (Accelerated Processing Unit), MIC (Many Integrated Core), DSP (Digital Signal Processor), NPU (Neural Processing Unit), 하드웨어 가속기 또는 머신 러닝 가속기 중 하나 이상을 포함할 수 있다. 적어도 하나의 프로세서(130)는 전자 장치의 다른 구성요소 중 하나 또는 임의의 조합을 제어할 수 있으며, 통신에 관한 동작 또는 데이터 처리를 수행할 수 있다. 적어도 하나의 프로세서(130)는 메모리에 저장된 하나 이상의 프로그램 또는 명령어(instruction)을 실행할 수 있다. 예를 들어, 적어도 하나의 프로세서(130)는 메모리에 저장된 하나 이상의 명령어를 실행함으로써, 본 개시의 일 실시 예에 따른 방법을 수행할 수 있다.
본 개시의 일 실시 예에 따른 방법이 복수의 동작을 포함하는 경우, 복수의 동작은 하나의 프로세서에 의해 수행될 수도 있고, 복수의 프로세서에 의해 수행될 수도 있다. 예를 들어, 일 실시 예에 따른 방법에 의해 제 1 동작, 제 2 동작, 제 3 동작이 수행될 때, 제 1 동작, 제 2 동작, 및 제 3 동작 모두 제 1 프로세서에 의해 수행될 수도 있고, 제 1 동작 및 제 2 동작은 제 1 프로세서(예를 들어, 범용 프로세서)에 의해 수행되고 제 3 동작은 제 2 프로세서(예를 들어, 인공지능 전용 프로세서)에 의해 수행될 수도 있다.
적어도 하나의 프로세서(130)는 하나의 코어를 포함하는 단일 코어 프로세서(single core processor)로 구현될 수도 있고, 복수의 코어(예를 들어, 동종 멀티 코어 또는 이종 멀티 코어)를 포함하는 하나 이상의 멀티 코어 프로세서(multicore processor)로 구현될 수도 있다. 적어도 하나의 프로세서(130)가 멀티 코어 프로세서로 구현되는 경우, 멀티 코어 프로세서에 포함된 복수의 코어 각각은 캐시 메모리, 온 칩(On-chip) 메모리와 같은 프로세서 내부 메모리를 포함할 수 있으며, 복수의 코어에 의해 공유되는 공통 캐시가 멀티 코어 프로세서에 포함될 수 있다. 또한, 멀티 코어 프로세서에 포함된 복수의 코어 각각(또는 복수의 코어 중 일부)은 독립적으로 본 개시의 일 실시 예에 따른 방법을 구현하기 위한 프로그램 명령을 판독하여 수행할 수도 있고, 복수의 코어 전체(또는 일부)가 연계되어 본 개시의 일 실시 예에 따른 방법을 구현하기 위한 프로그램 명령을 판독하여 수행할 수도 있다.
본 개시의 일 실시 예에 따른 방법이 복수의 동작을 포함하는 경우, 복수의 동작은 멀티 코어 프로세서에 포함된 복수의 코어 중 하나의 코어에 의해 수행될 수도 있고, 복수의 코어에 의해 수행될 수도 있다. 예를 들어, 일 실시 예에 따른 방법에 의해 제 1 동작, 제 2 동작, 및 제 3 동작이 수행될 때, 제 1 동작, 제2 동작, 및 제3 동작 모두 멀티 코어 프로세서에 포함된 제 1 코어에 의해 수행될 수도 있고, 제 1 동작 및 제 2 동작은 멀티 코어 프로세서에 포함된 제 1 코어에 의해 수행되고 제 3 동작은 멀티 코어 프로세서에 포함된 제 2 코어에 의해 수행될 수도 있다.
특히, 적어도 하나의 프로세서(130)는 제1 카메라를 통해 획득된 제1 영상에 기초하여 냉장고에 추가될 식자재의 유형을 인식할 수 있다.
그리고 적어도 하나의 프로세서(130)는 식자재의 유형에 기초하여 식자재와 관련된 에틸렌 정보를 획득할 수 있다.
그리고 적어도 하나의 프로세서(130)는 복수의 저장실에 저장된 다른 식자재와 관련된 정보를 획득할 수 있다.
이후, 적어도 하나의 프로세서(130)는 식자재와 관련된 에틸렌 정보 및 다른 식자재와 관련된 정보에 기초하여, 복수의 저장실 중 식자재가 저장될 저장실에 대한 정보를 식별할 수 있다.
그리고, 적어도 하나의 프로세서(130)는 식별된 저장실에 대한 정보를 제공할 수 있다.
여기에서 에틸렌 정보는 식자재의 에틸렌 발생 정도 및 식자재의 에틸렌에 민감한 정도를 포함할 수 있다.
그리고 적어도 하나의 프로세서(130)는 저장실을 향하도록 배치된 제2 카메라를 더 포함하고, 적어도 하나의 프로세서(130)는 제2 카메라를 통해 획득된 제2 영상에 기초하여, 다른 식자재가 저장된 저장실을 판단할 수 있다.
이후, 적어도 하나의 프로세서(130)는 다른 식자재의 유형을 인식하고, 인식된 다른 식자재의 유형에 기초하여, 다른 식자재와 관련된 에틸렌 정보를 획득할 수 있다.
그리고, 적어도 하나의 프로세서(130)는 다른 식자재가 저장된 저장실 및 다른 식자재와 관련된 에틸렌 정보에 기초하여, 다른 식자재와 관련된 정보를 획득할 수 있다.
여기에서, 다른 식자재와 관련된 에틸렌 정보는, 다른 식자재의 에틸렌 발생 정도 및 다른 식자재의 에틸렌에 민감한 정도를 포함할 수 있다.
한편, 적어도 하나의 프로세서(130)는 식자재와 관련된 에틸렌 정보, 다른 식자재가 저장된 저장실 및 다른 식자재와 관련된 에틸렌 정보에 기초하여, 식자재가 저장될 저장실에 대한 정보를 식별할 수 있다.
즉, 적어도 하나의 프로세서(130)는 식자재의 에틸렌에 민감한 정도 및 다른 식자재의 에틸렌 발생 정도에 기초하여, 식자재가 저장될 저장실에 대한 정보를 식별할 수 있다.
또는, 적어도 하나의 프로세서(130)는 식자재의 에틸렌 발생 정도 및 다른 식자재의 에틸렌에 민감한 정도에 기초하여, 식자재가 저장될 저장실에 대한 정보를 식별할 수 있다.
그리고, 적어도 하나의 프로세서(130)는 복수의 저장실의 온도 및 냉장고의 설정 온도에 기초하여 식자재가 저장될 저장실에 대한 정보를 식별할 수 있다.
또한, 디스플레이를 더 포함하고, 적어도 하나의 프로세서(130)는 식별된 저장실에 대한 정보를 디스플레이에 제공할 수 있다.
도 2는 본 개시의 일 실시 예에 따른 냉장고의 저장실에 대한 정보를 제공하는 방식을 설명하기 위한 흐름도이다. 이하의 냉장고의 저장실에 대한 정보를 제공하는 방식을 설명하기 위해 도 3 및 도 4를 참조하여 설명한다.
도 2를 참조하면, 적어도 하나의 프로세서(130)는 제1 카메라를 통해 획득된 제1 영상에 기초하여 냉장고에 추가될 식자재의 유형을 인식할 수 있다(S201).
이때, 적어도 하나의 프로세서(130)는 제1 영상에 포함된 물체를 인식하여 식자재의 유형을 먼저 인식할 수 있다. 즉, 적어도 하나의 프로세서(130)는 컴퓨터 비전 또는 인공지능 모델을 통해 제1 영상에 포함된 식자재의 유형을 인식 할 수 있다.
그리고, 적어도 하나의 프로세서(130)는 제1 영상에서 인식된 식자재의 이동 방향을 고려하여 냉장고에 추가될 식자재인지 판단할 수 있다. 즉, 식자재가 냉장고의 저장실 내부로 이동됨이 인식되면, 적어도 하나의 프로세서(130)는 저장실 내부로 이동되는 식자재를 냉장고에 추가될 식자재로 인식할 수 있다.
그리고 적어도 하나의 프로세서(130)는 식자재의 유형에 기초하여 식자재와 관련된 에틸렌 정보를 획득할 수 있다(S202). 여기에서 에틸렌 정보는 식자재의 에틸렌 발생 정도 및 식자재의 에틸렌에 민감한 정도를 포함할 수 있다.
식자재와 관련된 에틸렌 발생 정도는 식자재의 유형에 따라 에틸렌이 발생되는 정도에 해당하고, 에틸렌에 민감한 정도는 식자재의 유형에 따라 에틸렌에 영향을 받는 정도에 해당한다.
여기에서, 에틸렌은 식자재, 특히 과일이나 야채에서 발생될 수 있는 기체의 종류로, 식자재에 따라 식자재와 관련된 에틸렌 발생 정도가 차이가 있다.
또한, 에틸렌은 과일 또는 야채의 숙성 상태에 영향을 미칠 수 있다. 즉, 에틸렌은 식자재의 숙성을 촉진할 수 있는 화학 물질로, 에틸렌이 존재하는 환경에서 과일 또는 야채가 저장될 경우, 저장된 과일 또는 야채의 숙성이 진행될 수 있다. 여기에서, 저장된 과일 또는 야채의 유형에 따라 에틸렌이 숙성 상태에 미치는 영향이 다를 수 있다. 즉, 식자재에 따라 해당 식자재와 관련된 에틸렌에 민감한 정도에 차이가 있을 수 있다.
도 3은 본 개시의 일 실시 예에 따른 에틸렌 정보를 설명하기 위한 표이다.
도 3을 참조하면, 식자재의 유형에 따른 에틸렌 발생 정도 및 에틸렌에 민감한 정도를 높음, 중간 낮음으로 구분할 수 있다. 에틸렌 발생 정도가 높은 식자재는 사과, 복숭아, 자두, 살구, 아보카도가 포함될 수 있다. 그리고, 에틸렌 발생 정도가 중간인 식자재는 토마토, 망고 무화과, 바나나가 포함될 수 있다. 또한, 에틸렌 발생 정도가 낮은 식자재는 배, 양배추, 포도, 딸기, 감자가 포함될 수 있다.
그리고, 에틸렌에 민감한 정도가 높은 식자재는 키위, 감, 수박, 오이, 브로콜리가 포함될 수 있다. 그리고, 에틸렌에 민감한 정도가 낮은 식자재는 배, 대추, 바나나, 멜론, 가지, 애호박, 당근이 포함될 수 있다. 도한, 에틸렌에 민감한 정도가 낮은 식자재는 앵두, 피망, 토마토, 고추가 포함될 수 있다.
한편, 에틸렌 발생 정도 및 에틸렌에 민감한 정도에 따른 상술한 식자재는 예시적인 것으로, 도 3의 식자재 외의 다른 식자재가 포함될 수 있음은 물론이다.
즉, 적어도 하나의 프로세서(130)는 식자재의 유형을 파악하여 해당 식자재의 에틸렌 발생 정도 및 에틸렌에 민감한 정도를 도 3과 같이 기 정의된 기준에 따라 획득할 수 있다.
그리고 적어도 하나의 프로세서(130)는 복수의 저장실에 저장된 다른 식자재와 관련된 정보를 획득할 수 있다(S203). 이때, 다른 식자재와 관련된 정보를 획득하는 것은, 식자재와 관련된 에틸렌 정보를 이와 함께 고려하여 식자재가 저장될 저장실에 대한 정보를 식별하기 위함이다.
즉, 적어도 하나의 프로세서(130)는 저장실을 향하도록 배치된 제2 카메라를 통해 제2 영상을 획득하고, 제2 영상에 기초하여 다른 식자재가 저장된 저장실을 판단할 수 있다(S203). 여기에서 제2 카메라는 냉장고(100)에 포함된 복수의 저장실을 모두 촬영할 수 있도록 배치되어, 복수의 저장실 전체를 포함하는 제2 영상이 획득될 수 있다. 그리고, 제2 영상은 복수의 저장실에 포함된 다른 식자재를 포함할 수 있다. 여기에서, 제2 영상에 포함된 다른 식자재는 하나 이상일 수 있다. 즉, 제2 영상에 포함된 다른 식자재가 하나 이상인 경우, 적어도 하나의 프로세서(130)는 제2 영상에 기초하여 하나 이상의 다른 식자재가 포함된 하나 이상의 저장실을 판단할 수 있다.
이후, 적어도 하나의 프로세서(130)는 제2 영상에 기초하여 다른 식자재의 유형을 인식할 수 있다(S204). 즉, 적어도 하나의 프로세서(130)는 제2 영상에 포함된 사물 인식 알고리즘을 통해 다른 식자재의 유형을 판단할 수 있다. 여기에서, 사물 인식 알고리즘은 컴퓨터 비전 또는 인공지능 알고리즘일 수 있다. 제2 영상에 포함된 다른 식자재가 하나 이상인 경우, 하나 이상의 다른 식자재의 유형을 각각 판단할 수 있다. 또한, 하나 이상의 다른 식자재가 유형이 판단되면, 적어도 하나의 프로세서(130)는 식자재 리스트를 생성하고, 식자재 리스트에 하나 이상의 다른 식자재의 유형 및 저장된 저장실을 저장할 수 있다.
그리고, 적어도 하나의 프로세서(130)는 인식된 다른 식자재의 유형에 기초하여, 다른 식자재와 관련된 에틸렌 정보를 획득할 수 있다(S205).
여기에서, 다른 식자재와 관련된 에틸렌 정보는, 다른 식자재의 에틸렌 발생 정도 및 다른 식자재의 에틸렌에 민감한 정도를 포함할 수 있다.
즉, 적어도 하나의 프로세서(130)는 다른 식자재의 유형을 파악하여 다른 식자재의 에틸렌 발생 정도 및 에틸렌에 민감한 정도를 도 3과 같이 기 정의된 기준에 따라 획득할 수 있다.
이와 같이, 적어도 하나의 프로세서(130)는 다른 식자재가 저장된 저장실 및 다른 식자재와 관련된 에틸렌 정보에 기초하여, 다른 식자재와 관련된 정보를 획득할 수 있다. 즉, 다른 식자재와 관련된 정보에는 다른 식자재가 저장된 저장실 및 다른 식자재와 관련된 에틸렌 정보가 포함될 수 있다.
이후, 적어도 하나의 프로세서(130)는 식자재와 관련된 에틸렌 정보 및 다른 식자재와 관련된 정보에 기초하여, 복수의 저장실 중 식자재가 저장될 저장실에 대한 정보를 식별할 수 있다(S206). 따라서, 적어도 하나의 프로세서(130)는 식자재와 관련된 에틸렌 정보, 다른 식자재가 저장된 저장실 및 다른 식자재와 관련된 에틸렌 정보에 기초하여, 식자재가 저장될 저장실에 대한 정보를 식별할 수 있다.
예를 들어, 다른 식자재가 저장된 저장실이 냉장고(100)의 복수의 저장실 중 첫번째 저장실이고, 첫번째 저장실이 식자재가 저장될 저장실이라고 할 때, 식자재와 관련된 에틸렌 정보 및 첫번째 저장실에 저장된 다른 식자재와 관련된 에틸렌 정보에 기초하여 식자재가 저장될 저장실에 대한 정보를 식별할 수 있다. 즉, 식자재와 관련된 에틸렌 정보와 다른 식자재와 관련된 에틸렌 정보를 모두 고려하여, 식자재가 저장될 저장실이 첫번째 저장실인지 여부를 판단하여 식자재가 저장될 저장실에 대한 정보를 식별할 수 있다. 여기에서, 첫번째 저장실부터 마지막 저장실까지 식자재가 저장될 저장실로 두고, 순서대로 식자재가 최종적으로 저장될 저장실에 대한 정보를 식별할 수 있다.
즉, 적어도 하나의 프로세서(130)는 식자재의 에틸렌에 민감한 정도 및 다른 식자재의 에틸렌 발생 정도에 기초하여, 식자재가 저장될 저장실에 대한 정보를 식별할 수 있다.
또는, 적어도 하나의 프로세서(130)는 식자재의 에틸렌 발생 정도 및 다른 식자재의 에틸렌에 민감한 정도에 기초하여, 식자재가 저장될 저장실에 대한 정보를 식별할 수 있다. 이하에서, 도 4를 참조하여 식자재가 저장될 저장실에 대한 정보를 식별하는 방법을 설명한다.
도 4는 본 개시의 일 실시 예에 따른 식자재가 저장될 저장실에 대한 정보를 설명하기 위한 표이다.
도 4를 참조하면, 적어도 하나의 프로세서(130)는 에틸렌 발생 정도 및 에틸렌에 민감한 정도에 따라 저장실에 대한 정보로, 식자재가 다른 식자재와 동일한 저장실에 저장될 수 있는지 여부가 식별될 수 있다.
구체적으로, 식자재의 에틸렌 발생 정보가 높고, 다른 식자재의 에틸렌에 민감한 정도가 높은 경우, 적어도 하나의 프로세서(130)는 다른 식자재와 다른 저장실에 저장해야 함을 저장실에 대한 정보로 식별할 수 있다.
그리고, 식자재의 에틸렌 발생 정보가 높고, 다른 식자재의 에틸렌에 민감한 정도가 중간인 경우, 적어도 하나의 프로세서(130)는 다른 식자재와 다른 저장실에 저장해야 함을 저장실에 대한 정보로 식별할 수 있다.
그리고, 식자재의 에틸렌 발생 정보가 중간이고, 다른 식자재의 에틸렌에 민감한 정도가 중간 경우, 적어도 하나의 프로세서(130)는 다른 식자재와 다른 저장실에 저장해야 함을 저장실에 대한 정보로 식별할 수 있다.
그리고, 식자재의 에틸렌 발생 정보가 높고, 다른 식자재의 에틸렌에 민감한 정도가 낮은 경우, 적어도 하나의 프로세서(130)는 다른 식자재와 다른 저장실에 저장해야 함을 저장실에 대한 정보로 식별할 수 있다.
한편, 식자재의 에틸렌 발생 정보가 중간이고, 다른 식자재의 에틸렌에 민감한 정도가 낮은 경우, 적어도 하나의 프로세서(130)는 다른 식자재와 동일한 저장실에 저장할 수 있음을 저장실에 대한 정보로 식별할 수 있다.
또한, 식자재의 에틸렌 발생 정보가 낮고, 다른 식자재의 에틸렌에 민감한 정도가 낮은 경우, 적어도 하나의 프로세서(130)는 다른 식자재와 동일한 저장실에 저장할 수 있음을 저장실에 대한 정보로 식별할 수 있다.
예를 들어, 냉장고(100)에 저장될 식자재가 사과인 경우, 적어도 하나의 프로세서(130)는 식자재의 에틸렌 발생 정도가 높음으로 획득할 수 있다. 사과가 저장될 저장실이 첫번째 저장실이라고 가정할 때, 적어도 하나의 프로세서(130)는 첫번째 저장실에 저장된 다른 식자재인 수박과 관련된 에틸렌 정보를 획득할 수 있다. 즉, 적어도 하나의 프로세서(130)는 수박의 에틸렌에 민감한 정도가 높음으로 획득할 수 있다. 이러한 경우, 적어도 하나의 프로세서(130)는 저장될 식자재인 사과를 수박과 다른 저장실에 저장해야 함을 판단할 수 있다.
그리고, 사과가 저장될 저장실을 냉장고(100)의 두번째 저장실로 가정하여, 두번째 저장실에 저장된 다른 식자재와 관련된 정보를 획득할 수 있다. 여기에서 두번째 저장실에 저장된 다른 식자재가 토마토인 경우, 적어도 하나의 프로세서(130)는 토마토의 에틸렌에 민감한 정도가 낮음으로 획득할 수 있다. 이러한 경우, 적어도 하나의 프로세서(130)는 저장될 식자재인 사과를 두번째 저장실에 저장할 수 있음을 판단할 수 있다.
다른 예로, 냉장고(100)에 저장될 식자재가 토마토인 경우, 적어도 하나의 프로세서(130)는 토마토의 에틸렌에 민감한 정도가 낮음으로 획득할 수 있다. 토마토가 저장될 저장실이 첫번째 저장실이라고 가정할 때, 적어도 하나의 프로세서(130)는 첫번째 저장실에 저장된 다른 식자재인 아보카도와 관련된 에틸렌 정보를 획득할 수 있다. 즉, 적어도 하나의 프로세서(130)는 아보카도의 에틸렌 발생 정도가 높음으로 획득할 수 있다. 이러한 경우, 적어도 하나의 프로세서(130)는 저장될 식자재인 토마토를 아보카도와 다른 저장실에 저장해야 함을 판단할 수 있다.
그리고, 키위가 저장될 저장실을 냉장고(100)의 두번째 저장실로 가정하여, 두번째 저장실에 저장된 다른 식자재와 관련된 정보를 획득할 수 있다. 여기에서 두번째 저장실에 저장된 다른 식자재가 딸기인 경우, 적어도 하나의 프로세서(130)는 딸기의 에틸렌 발생 정도가 낮음으로 획득할 수 있다. 이러한 경우, 적어도 하나의 프로세서(130)는 저장될 식자재인 토마토를 두번째 저장실에 저장할 수 있음을 판단할 수 있다.
그리고, 적어도 하나의 프로세서(130)는 저장실에 대한 정보로, 우선 순위를 결정할 수 있다. 즉, 적어도 하나의 프로세서(130)는 저장될 식자재와 관련된 에틸렌 정보 및 냉장고(100)에 저장된 다른 식자재와 관련된 에틸렌 정보에 기초하여 우선 순위를 결정할 수 있다. 적어도 하나의 프로세서(130)는 결정된 우선 순위에 따라 식자재가 저장될 저장실에 대한 정보를 식별할 수 있다.
예를 들어, 냉장고(100)에 저장될 식자재가 사과인 경우, 적어도 하나의 프로세서(130)는 토마토의 에틸렌 발생 정도가 높음으로 획득할 수 있다. 토마토가 저장될 저장실이 첫번째 저장실이라고 가정할 때, 적어도 하나의 프로세서(130)는 첫번째 저장실에 저장된 다른 식자재인 오이와 관련된 에틸렌 정보를 획득할 수 있다. 즉, 적어도 하나의 프로세서(130)는 오이의 에틸렌에 민감한 정도가 높음으로 획득할 수 있다. 이러한 경우, 적어도 하나의 프로세서(130)는 저장될 식자재인 사과를 오이와 다른 저장실에 저장해야 함에 대한 우선 순위를 첫번째로 식별할 수 있다.
그리고, 사과가 저장될 저장실을 냉장고(100)의 두번째 저장실로 가정하여, 두번째 저장실에 저장된 다른 식자재와 관련된 정보를 획득할 수 있다. 여기에서 두번째 저장실에 저장된 다른 식자재가 멜론인 경우, 적어도 하나의 프로세서(130)는 멜론의 에틸렌 발생 정도가 중간으로 획득할 수 있다. 이러한 경우, 적어도 하나의 프로세서(130)는 저장될 식자재인 사과를 딸기와 다른 저장실에 저장해야 함에 대한 우선 순위를 두번째로 식별할 수 있다.
이 때, 두번째 저장실 외의 모든 저장실의 우선 순위가 첫번째인 경우, 적어도 하나의 프로세서(130)는 사과가 저장될 저장실에 대한 정보를 두번째 저장실로 식별할 수 있다.
이와 같이 저장될 식자재가 모든 저장실에서 다른 저장실에 저장할 것이 판단되면, 적어도 하나의 프로세서(130)는 우선 순위가 가장 낮은 저장실을 식자재가 저장될 저장실에 대한 정보로 식별할 수 있다.
이와 같이 저장될 식자재가 모든 저장실에서 다른 저장실에 저장할 것이 판단되면, 적어도 하나의 프로세서(130)는 저장 방법에 대해 제공할 수 있다. 예를 들어, 적어도 하나의 프로세서(130)는 저장될 식자재를 랩을 씌워 저장 할 수 있음을 제공하거나, 별도의 용기에 담아 저장 할 수 있음을 제공할 수 있다.
그리고, 적어도 하나의 프로세서(130)는 복수의 저장실의 온도 및 냉장고의 설정 온도에 기초하여 식자재가 저장될 저장실에 대한 정보를 식별할 수 있다(S207). 즉, 적어도 하나의 프로세서(130)는 복수의 저장실의 온도와 냉장고(100)의 설정 온도를 비교하여, 설정 온도와 기설정된 온도 차이 이하인 저장실을 식자재가 저장될 저장실에 대한 정보로 식별할 수 있다.
예를 들어, 냉장고(100)에 저장될 식자재가 사과인 경우, 높음으로 판단된 사과의 에틸렌 발생 정도에 따라, 적어도 하나의 프로세서(130)는 첫번째 저장실에 저장된 수박의 에틸렌에 민감한 정도가 높음으로 획득하여 사과를 수박과 다른 저장실에 저장해야 함을 판단할 수 있다.
그리고, 사과가 저장될 저장실을 냉장고(100)의 두번째 저장실로 가정하여, 두번째 저장실의 온도를 획득할 수 있다. 두번째 저장실의 온도와 냉장고(100)의 설정 온도 차이가 기설정된 온도 차이 이하라고 판단되면, 적어도 하나의 프로세서(130)는 두번째 저장실에 저장된 다른 식자재와 관련된 정보를 획득할 수 있다. 여기에서 두번째 저장실에 저장된 다른 식자재가 토마토인 경우, 적어도 하나의 프로세서(130)는 토마토의 에틸렌에 민감한 정도가 낮음으로 획득할 수 있다. 이러한 경우, 적어도 하나의 프로세서(130)는 저장될 식자재인 사과를 두번째 저장실에 저장할 수 있음을 판단할 수 있다.
그리고, 적어도 하나의 프로세서(130)는 식별된 저장실에 대한 정보를 제공할 수 있다. 특히, 냉장고(100)에 디스플레이를 더 포함하고, 적어도 하나의 프로세서(130)는 식별된 저장실에 대한 정보를 디스플레이에 제공할 수 있다. 즉, 적어도 하나의 프로세서(130)는 냉장고(100)에 식자재가 저장되어야 할 저장실의 번호를 디스플레이에 표시할 수 있다.
또는, 적어도 하나의 프로세서(130)는 오디오 출력부를 통해 식별된 저장실에 대한 정도를 제공할 수 있다. 즉, 적어도 하나의 프로세서(130)는 냉장고(100)에 식자재가 저장되어야 할 저장실의 번호를 오디오 출력부를 통해 사용자에게 전달할 수 있다.
도 5은 본 개시의 일 실시 예에 따른 냉장고의 세부 구성을 설명하기 위한 블록도이다.
도 5를 참조하면, 냉장고(100)는 제1 카메라(110), 제2 카메라(112), 메모리(120), 적어도 하나의 프로세서(130), 디스플레이(140), 마이크(150), 입력 인터페이스(160), 오디오 출력부(170), 통신 인터페이스(180) 및 적어도 하나의 센서(190)을 포함한다. 이하에서는 도 1에서의 설명과 중복되는 구성에 대한 자세한 설명은 생략하기로 한다.
디스플레이(140)는 LCD(Liquid Crystal Display) 패널, OLED(Organic Light Emitting Diodes) 패널, AM-OLED(Active-Matrix Organic Light-Emitting Diode), LcoS(Liquid Crystal on Silicon), QLED(Quantum dot Light-Emitting Diode) 및 DLP(Digital Light Processing), PDP(Plasma Display Panel) 패널, 무기 LED 패널, 마이크로 LED 패널 등 다양한 종류의 디스플레이 패널을 포함할 수 있으나, 이에 한정되는 것은 아니다. 한편, 디스플레이(140)는 터치 패널과 함께 터치스크린을 구성할 수도 있으며, 플렉서블(flexible) 패널로 이루어질 수도 있다. 특히, 디스플레이(140)는 식별된 저장실에 대한 정보를 제공할 수 있다. 예를 들어, 저장될 식자재가 복수의 저장실 중 두번째 저장실이 저장실에 대한 정보로 식별되면, 디스플레이(140)는 저장될 식자재를 두번째 저장실에 저장할 것을 제공할 수 있다.
마이크(150)는 소리를 획득하여 전기 신호로 변환하는 모듈을 의미할 수 있으며, 콘덴서 마이크, 리본 마이크, 무빙코일 마이크, 압전소자 마이크, 카본 마이크, MEMS(Micro Electro Mechanical System) 마이크일 수 있다. 또한, 무지향성, 양지향성, 단일지향성, 서브 카디오이드(Sub Cardioid), 슈퍼 카디오이드(Super Cardioid), 하이퍼 카디오이드(Hyper Cardioid)의 방식으로 구현될 수 있다. 특히, 마이크(150)는 식자재와 관련된 정보를 수신할 수 있다. 예를 들어, 마이크(150)는 사용자의 음성 입력에 의해 식자재의 유형을 수신하고, 수신한 음성 입력에 기초해 식자재 유형을 인식하고, 해당 식자재와 관련된 에틸렌 정보를 획득할 수 있다.
입력 인터페이스(160)는 회로를 포함하며, 냉장고(100)에서 지원하는 각종 기능을 설정 또는 선택하기 위한 사용자 명령을 입력받을 수 있다. 이를 위해, 입력 인터페이스(160)는 복수의 버튼을 포함할 수 있고, 디스플레이의 기능을 동시에 수행할 수 있는 터치 스크린으로 구현될 수도 있다.
이 경우, 적어도 하나의 프로세서(130)는 입력 인터페이스(160)를 통해 입력된 사용자 명령에 기초하여 냉장고(100)의 동작을 제어할 수 있다. 예를 들어, 적어도 하나의 프로세서(130)는 입력 인터페이스(160)를 통해 입력된 냉장고(100)의 온/오프 명령, 냉장고(100)의 기능의 온/오프 명령 등에 기초하여, 냉장고(100)를 제어할 수 있다. 특히, 입력 인터페이스(160)는 사용자로부터 대체 텍스트 이미지로 표시할 텍스트 이미지에 대한 정보를 수신할 수 있다.
오디오 출력부(170)는 오디오를 출력할 수 있다. 구체적으로, 적어도 하나의 프로세서(130)는 냉장고 (100)의 동작과 관련된 다양한 알림음 또는 음성 안내 메시지를 오디오 출력부(170)를 통해 출력할 수 있다. 특히, 오디오 출력부(170)가 부저(Buzzer)와 같이 알림음만 출력할 수 있는 구성으로 이루어진 경우, 적어도 하나의 프로세서(130)는 식자재가 획득되었음을 알리는 알림음을 출력하고, 획득된 식자재와 관련된 에틸렌 정보 또는 식별된 식자재가 저장될 저장실에 대한 정보를 외부 전자 장치로 전송할 수 있다. 이와 같이 전송된 정보는 외부 전자 장치에서 모바일 어플리케이션을 통해 확인될 수 있다.
한편, 오디오 출력부(170)가 음성을 출력할 수 있는 스피커로 이루어진 경우, 적어도 하나의 프로세서(130)는 획득된 식자재와 관련된 에틸렌 정보 또는, 식별된 식자재가 저장될 저장실에 대한 정보를 스피커를 통해 출력할 수 있다.
통신 인터페이스(180)는, 무선 통신 인터페이스, 유선 통신 인터페이스 또는 입력 인터페이스를 포함할 수 있다. 무선 통신 인터페이스는, 무선 통신 기술이나 이동 통신 기술을 이용하여 각종 외부 장치와 통신을 수행할 수 있다. 이러한 무선 통신 기술로는, 예를 들어, 블루투스(Bluetooth), 저전력 블루투스(Bluetooth Low Energy), 캔(CAN) 통신, 와이 파이(Wi-Fi), 와이파이 다이렉트(Wi-Fi Direct), 초광대역 통신(UWB, ultrawide band), 지그비(zigbee), 적외선 통신(IrDA, infrared Data Association) 또는 엔에프씨(NFC, Near Field Communication) 등이 포함될 수 있으며, 이동 통신 기술 로는, 3GPP, 와이맥스(Wi-Max), LTE(Long Term Evolution), 5G 등이 포함될 수 있다. 무선 통신 인터페이스는 전자기파를 외부로 송신하거나 또는 외부에서 전달된 전자기파를 수신할 수 있는 안테나, 통신 칩 및 기판 등을 이용하여 구현될 수 있다. 특히, 통신 인터페이스(180)를 통해 획득된 제1 영상을 서버로 전송하거나, 서버에서 식별된 저장실에 대한 정보를 수신할 수 있다.
적어도 하나의 센서(190)은 냉장고(100)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 특히, 적어도 하나의 프로세서(130)는 적어도 하나의 센서(190)를 통해 획득한 센싱값을 통해 냉장고(100)의 복수의 저장실의 온도를 각각 측정할 수 있다. 또는, 적어도 하나의 프로세서(130)는 적어도 하나의 센서(190)를 통해 사용자가 접근함을 인식하고, 제1 카메라(110)가 준비상태가 되도록 제어할 수 있다.
도 6은 본 개시의 일 실시 예에 따른 냉장고의 제어 방법을 설명하기 위한 흐름도이다.
도 6을 참조하면, 제1 카메라를 통해 획득된 제1 영상에 기초하여 냉장고에 추가될 식자재의 유형을 인식할 수 있다(S601).
그리고, 식자재의 유형에 기초하여 식자재와 관련된 에틸렌 정보를 획득할 수 있다(S602). 여기에서, 에틸렌 정보는 식자재의 에틸렌 발생 정도 및 식자재의 에틸렌에 민감한 정도를 포함할 수 있다.
이후, 복수의 저장실에 저장된 다른 식자재와 관련된 정보를 획득할 수 있다(S603).
그리고, 식자재와 관련된 에틸렌 정보 및 다른 식자재와 관련된 정보에 기초하여, 복수의 저장실 중 식자재가 저장될 저장실에 대한 정보를 식별할 수 있다(S604).
다음으로, 식별된 저장실에 대한 정보를 제공할 수 있다(S605).
S603단계는, 저장실을 향하도록 배치된 제2 카메라를 통해 획득된 제2 영상에 기초하여, 다른 식자재가 저장된 저장실을 판단할 수 있다.
그리고, 제2 영상에 기초하여, 다른 식자재의 유형을 인식할 수 있다.
다음으로, 인식된 다른 식자재의 유형에 기초하여, 다른 식자재와 관련된 에틸렌 정보를 획득할 수 있다.
그리고, 다른 식자재가 저장된 저장실 및 다른 식자재와 관련된 에틸렌 정보에 기초하여, 다른 식자재와 관련된 정보를 획득할 수 있다.
여기에서, 다른 식자재와 관련된 에틸렌 정보는, 다른 식자재의 에틸렌 발생 정도 및 다른 식자재의 에틸렌에 민감한 정도를 포함할 수 있다.
S604단계는, 식자재와 관련된 에틸렌 정보, 다른 식자재가 저장된 저장실 및 다른 식자재와 관련된 에틸렌 정보에 기초하여, 식자재가 저장될 저장실에 대한 정보를 식별할 수 있다.
그리고 S604 단계는, 식자재의 에틸렌에 민감한 정도 및 다른 식자재의 에틸렌 발생 정도에 기초하여, 식자재가 저장될 저장실에 대한 정보를 식별하는
또한, S604 단계는, 식자재의 에틸렌에 민감한 정도 및 다른 식자재의 에틸렌 발생 정도에 기초하여, 식자재가 저장될 저장실에 대한 정보를 식별하는
한편, S604 단계는, 복수의 저장실의 온도 및 냉장고의 설정 온도에 기초하여 식자재가 저장될 저장실에 대한 정보를 식별할 수 있다.
그리고, S605 단계는, 식별된 저장실에 대한 정보를 디스플레이를 통해 제공할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 냉장고의 제어 방법을 설명하기 위한 시퀀스도이다.
도 7을 참조하면, 냉장고(100)은 제1 카메라를 통해 제1 영상을 획득할 수 있다(S701).
그리고, 냉장고(100)는 제1 영상을 서버(200)로 전송할 수 있다(S702).
이후, 서버(200)는 제1 영상에 기초하여 냉장고에 추가될 식자재의 유형을 인식
할 수 있다(S703).
그리고, 서버(200)는 식자재의 유형에 기초하여 식자재와 관련된 에틸렌 정보를 획득할 수 있다(S704).
그리고, 서버(200)는 복수의 저장실에 저장된 다른 식자재와 관련된 정보를 획득할 수 있다(S705).
이후, 서버(200)는 식자재와 관련된 에틸렌 정보 및 다른 식자재와 관련된 정보에 기초하여, 복수의 저장실 중 식자재가 저장될 저장실에 대한 정보를 식별할 수 있다(S706).
그리고, 서버(200)는 저장실에 대한 정보를 외부 전자 장치(300)에 전송할 수 있다.
여기에서, 서버(200)는 저장실에 대한 정보를 냉장고(100)에 전송할 수도 있다.
그리고, 외부 전자 장치(300)는 식별된 저장실에 대한 정보를 제공할 수 있다(S708).
본 개시에 따른 인공지능과 관련된 기능은 전자 장치의 프로세서와 메모리를 통해 동작된다.
프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU(Central Processing Unit), GPU(Graphic Processing Unit), NPU(Neural Processing Unit) 중 적어도 하나를 포함할 수 있으나 전술한 프로세서의 예시에 한정되지 않는다.
CPU는 일반 연산뿐만 아니라 인공지능 연산을 수행할 수 있는 범용 프로세서로서, 다계층 캐시(Cache) 구조를 통해 복잡한 프로그램을 효율적으로 실행할 수 있다. CPU는 순차적인 계산을 통해 이전 계산 결과와 다음 계산 결과의 유기적인 연계가 가능하도록 하는 직렬 처리 방식에 유리하다. 범용 프로세서는 전술한 CPU로 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
GPU는 그래픽 처리에 이용되는 부동 소수점 연산 등과 같은 대량 연산을 위한 프로세서로서, 코어를 대량으로 집적하여 대규모 연산을 병렬로 수행할 수 있다. 특히, GPU는 CPU에 비해 컨볼루션(Convolution) 연산 등과 같은 병렬 처리 방식에 유리할 수 있다. 또한, GPU는 CPU의 기능을 보완하기 위한 보조 프로세서(co-processor)로 이용될 수 있다. 대량 연산을 위한 프로세서는 전술한 GPU로 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
NPU는 인공 신경망을 이용한 인공지능 연산에 특화된 프로세서로서, 인공 신경망을 구성하는 각 레이어를 하드웨어(예로, 실리콘)로 구현할 수 있다. 이때, NPU는 업체의 요구 사양에 따라 특화되어 설계되므로, CPU나 GPU에 비해 자유도가 낮으나, 업체가 요구하기 위한 인공지능 연산을 효율적으로 처리할 수 있다. 한편, 인공지능 연산에 특화된 프로세서로, NPU 는 TPU(Tensor Processing Unit), IPU(Intelligence Processing Unit), VPU(Vision processing unit) 등과 같은 다양한 형태로 구현 될 수 있다. 인공 지능 프로세서는 전술한 NPU로 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
또한, 하나 또는 복수의 프로세서는 SoC(System on Chip)으로 구현될 수 있다. 이때, SoC에는 하나 또는 복수의 프로세서 이외에 메모리, 및 프로세서와 메모리 사이의 데이터 통신을 위한 버스(Bus)등과 같은 네트워크 인터페이스를 더 포함할 수 있다.
전자 장치에 포함된 SoC(System on Chip)에 복수의 프로세서가 포함된 경우, 전자 장치는 복수의 프로세서 중 일부 프로세서를 이용하여 인공지능과 관련된 연산(예를 들어, 인공지능 모델의 학습(learning)이나 추론(inference)에 관련된 연산)을 수행할 수 있다. 예를 들어, 전자 장치는 복수의 프로세서 중 컨볼루션 연산, 행렬 곱 연산 등과 같은 인공지능 연산에 특화된 GPU, NPU, VPU, TPU, 하드웨어 가속기 중 적어도 하나를 이용하여 인공지능과 관련된 연산을 수행할 수 있다. 다만, 이는 일 실시예에 불과할 뿐, CPU 등과 범용 프로세서를 이용하여 인공지능과 관련된 연산을 처리할 수 있음은 물론이다.
또한, 전자 장치는 하나의 프로세서에 포함된 멀티 코어(예를 들어, 듀얼 코어, 쿼드 코어 등)를 이용하여 인공지능과 관련된 기능에 대한 연산을 수행할 수 있다. 특히, 전자 장치는 프로세서에 포함된 멀티 코어를 이용하여 병렬적으로 컨볼루션 연산, 행렬 곱 연산 등과 같은 인공 지능 연산을 수행할 수 있다.
하나 또는 복수의 프로세서는, 메모리에 저장된 기정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 기정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다.
여기서, 학습을 통해 만들어진다는 것은, 다수의 학습 데이터들에 학습 알고리즘을 적용함으로써, 원하는 특성의 기정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버/시스템을 통해 이루어 질 수도 있다.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 적어도 하나의 레이어는 적어도 하나의 가중치(weight values)dd을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 적어도 하나의 정의된 연산을 통해 레이어의 연산을 수행한다. 신경망의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks), Transformer가 있으며, 본 개시에서의 신경망은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
학습 알고리즘은, 다수의 학습 데이터들을 이용하여 소정의 대상 기기(예컨대, 로봇)을 훈련시켜 소정의 대상 기기 스스로 결정을 내리거나 예측을 할 수 있도록 하는 방법이다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으며, 본 개시에서의 학습 알고리즘은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 기기를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 센서
120 : 메모리
130 : 프로세서
130 : 프로세서
Claims (18)
- 냉장고에 있어서,
복수의 저장실;
상기 냉장고 전면에 배치된 제1 카메라;
메모리; 및
적어도 하나의 프로세서;를 포함하고,
상기 적어도 하나의 프로세서는,
상기 제1 카메라를 통해 획득된 제1 영상에 기초하여 상기 냉장고에 추가될 식자재의 유형을 인식하고,
상기 식자재의 유형에 기초하여 상기 식자재와 관련된 에틸렌 정보를 획득하고,
상기 복수의 저장실에 저장된 다른 식자재와 관련된 정보를 획득하고,
상기 식자재와 관련된 에틸렌 정보 및 상기 다른 식자재와 관련된 정보에 기초하여, 상기 복수의 저장실 중 상기 식자재가 저장될 저장실에 대한 정보를 식별하고,
상기 식별된 저장실에 대한 정보를 제공하는 냉장고. - 제1항에 있어서,
상기 에틸렌 정보는 상기 식자재의 에틸렌 발생 정도 및 상기 식자재의 에틸렌에 민감한 정도를 포함하는 냉장고. - 제1항에 있어서,
상기 저장실을 향하도록 배치된 제2 카메라를 더 포함하고,
상기 적어도 하나의 프로세서는,
상기 제2 카메라를 통해 획득된 제2 영상에 기초하여, 상기 다른 식자재가 저장된 저장실을 판단하고,
상기 제2 영상에 기초하여, 상기 다른 식자재의 유형을 인식하고,
상기 인식된 다른 식자재의 유형에 기초하여, 상기 다른 식자재와 관련된 에틸렌 정보를 획득하고,
상기 다른 식자재가 저장된 저장실 및 상기 다른 식자재와 관련된 에틸렌 정보에 기초하여, 상기 다른 식자재와 관련된 정보를 획득하는 냉장고. - 제4항에 있어서,
상기 다른 식자재와 관련된 에틸렌 정보는, 상기 다른 식자재의 에틸렌 발생 정도 및 상기 다른 식자재의 에틸렌에 민감한 정도를 포함하는 냉장고. - 제3항에 있어서,
상기 적어도 하나의 프로세서는,
상기 식자재와 관련된 에틸렌 정보, 상기 다른 식자재가 저장된 저장실 및 상기 다른 식자재와 관련된 에틸렌 정보에 기초하여, 상기 식자재가 저장될 저장실에 대한 정보를 식별하는 냉장고. - 제3항에 있어서,
상기 적어도 하나의 프로세서는,
상기 식자재의 에틸렌에 민감한 정도 및 상기 다른 식자재의 에틸렌 발생 정도에 기초하여, 상기 식자재가 저장될 저장실에 대한 정보를 식별하는 냉장고. - 제3항에 있어서,
상기 적어도 하나의 프로세서는,
상기 식자재의 에틸렌 발생 정도 및 상기 다른 식자재의 에틸렌에 민감한도정도에 기초하여, 상기 식자재가 저장될 저장실에 대한 정보를 식별하는 냉장고. - 제1항에 있어서,
상기 적어도 하나의 프로세서는,
상기 복수의 저장실의 온도 및 상기 냉장고의 설정 온도에 기초하여 상기 식자재가 저장될 저장실에 대한 정보를 식별하는 냉장고. - 제1항에 있어서,
디스플레이를 더 포함하고,
상기 적어도 하나의 프로세서는,
상기 식별된 저장실에 대한 정보를 디스플레이를 통해 제공하는 냉장고. - 복수의 저장실을 포함하고, 전면에 제1 카메라가 배치되는 냉장고의 제어 방법에 있어서,
상기 제1 카메라를 통해 획득된 제1 영상에 기초하여 상기 냉장고에 추가될 식자재의 유형을 인식하는 단계;
상기 식자재의 유형에 기초하여 상기 식자재와 관련된 에틸렌 정보를 획득하는 단계;
상기 복수의 저장실에 저장된 다른 식자재와 관련된 정보를 획득하는 단계;
상기 식자재와 관련된 에틸렌 정보 및 상기 다른 식자재와 관련된 정보에 기초하여, 상기 복수의 저장실 중 상기 식자재가 저장될 저장실에 대한 정보를 식별하는 단계; 및
상기 식별된 저장실에 대한 정보를 제공하는 단계;를 포함하는 냉장고의 제어 방법. - 제10항에 있어서,
상기 에틸렌 정보는 상기 식자재의 에틸렌 발생 정도 및 상기 식자재의 에틸렌에 민감한 정도를 포함하는 냉장고의 제어 방법. - 제10항에 있어서,
상기 다른 식자재와 관련된 정보를 획득하는 단계는,
상기 저장실을 향하도록 배치된 제2 카메라를 통해 획득된 제2 영상에 기초하여, 상기 다른 식자재가 저장된 저장실을 판단하는 단계;
상기 제2 영상에 기초하여, 상기 다른 식자재의 유형을 인식하는 단계;
상기 인식된 다른 식자재의 유형에 기초하여, 상기 다른 식자재와 관련된 에틸렌 정보를 획득하는 단계; 및
상기 다른 식자재가 저장된 저장실 및 상기 다른 식자재와 관련된 에틸렌 정보에 기초하여, 상기 다른 식자재와 관련된 정보를 획득하는 단계;를 포함하는 냉장고의 제어 방법. - 제12항에 있어서,
상기 다른 식자재와 관련된 에틸렌 정보는, 상기 다른 식자재의 에틸렌 발생 정도 및 상기 다른 식자재의 에틸렌에 민감한 정도를 포함하는 냉장고의 제어 방법. - 제12항에 있어서,
상기 식자재와 관련된 에틸렌 정보, 상기 다른 식자재가 저장된 저장실 및 상기 다른 식자재와 관련된 에틸렌 정보에 기초하여, 상기 식자재가 저장될 저장실에 대한 정보를 식별하는 냉장고의 제어 방법. - 제12항에 있어서,
상기 식자재의 에틸렌에 민감한 정도 및 상기 다른 식자재의 에틸렌 발생 정도에 기초하여, 상기 식자재가 저장될 저장실에 대한 정보를 식별하는 냉장고의 제어 방법. - 제12항에 있어서,
상기 식자재의 에틸렌 발생 정도 및 상기 다른 식자재의 에틸렌에 민감한 정도에 기초하여, 상기 식자재가 저장될 저장실에 대한 정보를 식별하는 냉장고의 제어 방법. - 제10항에 있어서,
상기 복수의 저장실의 온도 및 상기 냉장고의 설정 온도에 기초하여 상기 식자재가 저장될 저장실에 대한 정보를 식별하는 냉장고의 제어 방법. - 제10항에 있어서,
상기 식별된 저장실에 대한 정보를 디스플레이를 통해 제공하는 냉장고의 제어 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220135944A KR20240055532A (ko) | 2022-10-20 | 2022-10-20 | 냉장고 및 그의 제어 방법 |
| PCT/KR2023/014190 WO2024085474A1 (ko) | 2022-10-20 | 2023-09-19 | 냉장고 및 그의 제어 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220135944A KR20240055532A (ko) | 2022-10-20 | 2022-10-20 | 냉장고 및 그의 제어 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240055532A true KR20240055532A (ko) | 2024-04-29 |
Family
ID=90737843
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220135944A KR20240055532A (ko) | 2022-10-20 | 2022-10-20 | 냉장고 및 그의 제어 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20240055532A (ko) |
| WO (1) | WO2024085474A1 (ko) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10332259A (ja) * | 1997-05-29 | 1998-12-15 | Toshiba Corp | 冷蔵庫 |
| KR102009933B1 (ko) * | 2013-01-02 | 2019-08-12 | 엘지전자 주식회사 | 냉장고 |
| WO2017150216A1 (ja) * | 2016-02-29 | 2017-09-08 | 京セラ株式会社 | 冷蔵庫及び管理システム |
| US10373472B2 (en) * | 2016-03-14 | 2019-08-06 | Amazon Technologies, Inc. | Scent-based spoilage sensing refrigerator |
| KR20180009427A (ko) * | 2016-07-18 | 2018-01-29 | 서울바이오시스 주식회사 | 보관 시스템 및 이를 포함하는 보관 장치 |
-
2022
- 2022-10-20 KR KR1020220135944A patent/KR20240055532A/ko unknown
-
2023
- 2023-09-19 WO PCT/KR2023/014190 patent/WO2024085474A1/ko unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024085474A1 (ko) | 2024-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9864912B2 (en) | Large margin high-order deep learning with auxiliary tasks for video-based anomaly detection | |
| US10978093B1 (en) | Computer apparatus and method implementing sound detection to recognize an activity | |
| US20210381960A1 (en) | Wideband Sensing Apparatus and Method Thereof | |
| US20190219660A1 (en) | Method and system of acoustic angle of arrival detection | |
| CN110998607B (zh) | 用于神经网络的系统和方法 | |
| US11960655B2 (en) | Method of recognizing gesture by using wearable device and the wearable device | |
| US11151357B2 (en) | Electronic apparatus for object recognition and control method thereof | |
| KR20210061146A (ko) | 전자 장치 및 그 제어 방법 | |
| US11908175B2 (en) | Electronic device training image recognition model and operation method for same | |
| US11593637B2 (en) | Convolution streaming engine for deep neural networks | |
| US11430137B2 (en) | Electronic device and control method therefor | |
| KR20240055532A (ko) | 냉장고 및 그의 제어 방법 | |
| KR20200028089A (ko) | 전자 장치 및 그의 제어방법 | |
| US11710498B2 (en) | Electronic device and control method therefor | |
| EP4379505A1 (en) | Electronic device and electronic device control method | |
| US20210201142A1 (en) | Electronic device and control method thereof | |
| Lawal | Study on strawberry fruit detection using lightweight algorithm | |
| US20210297336A1 (en) | System and method for determining one or more actions according to input sensor data | |
| US20220405546A1 (en) | Electronic device for converting artificial intelligence model and operating method thereof | |
| US11842540B2 (en) | Adaptive use of video models for holistic video understanding | |
| US11218803B2 (en) | Device and method of performing automatic audio focusing on multiple objects | |
| US20240142167A1 (en) | Refrigerator and method for controlling thereof | |
| US20240111312A1 (en) | Electronic apparatus for identifying an operating state of a robot device and controlling method thereof | |
| KR20240073655A (ko) | 전자 장치 및 전자 장치의 제어 방법 | |
| KR20240048343A (ko) | 전자 장치 및 그 제어 방법 |