KR20190097903A - 입력 패턴에 따라 인공지능을 이용하여 정보를 처리하는 냉장고 및 방법 - Google Patents

입력 패턴에 따라 인공지능을 이용하여 정보를 처리하는 냉장고 및 방법 Download PDF

Info

Publication number
KR20190097903A
KR20190097903A KR1020180017901A KR20180017901A KR20190097903A KR 20190097903 A KR20190097903 A KR 20190097903A KR 1020180017901 A KR1020180017901 A KR 1020180017901A KR 20180017901 A KR20180017901 A KR 20180017901A KR 20190097903 A KR20190097903 A KR 20190097903A
Authority
KR
South Korea
Prior art keywords
product
information
pattern
refrigerator
image
Prior art date
Application number
KR1020180017901A
Other languages
English (en)
Other versions
KR102018454B1 (ko
Inventor
박윤식
김상윤
황성목
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020180017901A priority Critical patent/KR102018454B1/ko
Priority to PCT/KR2019/000926 priority patent/WO2019160251A1/ko
Publication of KR20190097903A publication Critical patent/KR20190097903A/ko
Application granted granted Critical
Publication of KR102018454B1 publication Critical patent/KR102018454B1/ko

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F25D2400/361—Interactive visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2600/00—Control issues
    • F25D2600/06—Controlling according to a predetermined profile
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/06—Sensors detecting the presence of a product
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/16—Sensors measuring the temperature of products

Abstract

본 발명은 입력 패턴에 따라 정보를 처리하는 냉장고 및 방법에 관한 것으로, 카메라부가 촬영한 캡쳐 이미지를 출력하고 캡쳐 이미지 중 제1영역을 선택하는 하나 이상의 선으로 구분하는 터치 입력을 수신하여 이를 표시하는 인터페이스부가 결합된 냉장고 및 이를 표시하는 방법을 포함한다.

Description

입력 패턴에 따라 정보를 처리하는 냉장고 및 방법{REFRIGERATOR PROCESSING INFORMATION BASED ON INPUT PATTERN AND METHOD OF PROCESSING THEREOF}
본 발명은 입력 패턴에 따라 정보를 처리하는 냉장고 및 방법에 관한 기술이다.
다양한 종류의 저장물의 온도를 낮은 온도로 유지하거나 혹은 냉각시키기 위한 장치인 냉장고는 다양한 종류와 형상의 제품들을 수납한다. 이들 제품들은 물질적, 제조적, 사용적인 면에서 상이한 특성을 가지므로 이들을 관리함에 있어서도 상이한 관리 방식이 필요하다. 그러나, 다양한 제품들에 대해 관리를 하기 위해서는 사용자가 일일이 이를 기록해야 하지만, 번거로운 절차로 인해 제대로 이루어지지 않는다.
도 1은 종래의 냉장고 내에 설정을 제어하는 기술에 대한 도면이다. 도 1에 제시된 기술은 출원번호 10-2015-0184542에서 제시된 내용으로 미리 설정된 조건을 만족하면 냉장고 맵을 포함하는 냉장고 관리 화면을 표시하는 기술이다. 냉장고의 외부 디스플레이는 고내에 배치된 제품들의 기한에 대한 정보가 1과 같이 표시된다. 그런데, 이러한 정보를 입력하는 것은 사용자가 쇼핑 정보를 업로드하거나 음성을 통해 제품의 정보를 입력하거나, 촬영된 이미지에 부가된 태그에 사용자가 정보를 입력하는 방식이다.
사용자가 쇼핑 정보를 업로드하는 것은 고내 냉장고와 제품의 일대일 대응에서 부정확할 수 있으며, 음성 역시 제품의 정보가 누락되거나 매칭되지 않을 수 있다. 또한, 고내 제품들이 중첩되에 지시되는 상태에서, 촬영 이미지에 개발 제품을 구분하는 절차가 제시되지 않은 상태에서는 고내 이미지에 태그를 입력하는 것 역시 정확도를 낮출 수 있다. 즉, 도 1의 종래 기술은 냉장고 내 식자재에 대한 촬영 이미지를 그대로 보여 주거나 간단한 관리 메뉴를 제공하지만, 냉장고 내 촬영이미지 및 이를 출력하는 UX(User eXperience)가 부재한 상태이다.
따라서, 다양한 방식으로 촬영 이미지를 제어하고, 이를 선택하는 다양한 입력의 종류에 따라 직관적이고 편리하게 식자재를 관리하는 기능을 제공하는 것이 필요하다.
본 명세서에서는 전술한 문제점을 해결하기 위한 것으로, 냉장고에 수납되는 제품의 이미지를 선택하여 제품에 대한 정보를 외부로부터 수신하거나 제품에 대한 정보를 설정하여 고내 제품의 관리를 가능하게 하는 방법 및 장치를 제공하고자 한다.
또한, 본 명세서에서는 제품의 이미지에 입력하는 터치 입력의 패턴을 다각화하여 패턴에 따라 제품에 대해 수행하는 동작을 다각화시키는 방법 및 장치를 제공하고자 한다.
또한, 본 명세서에서는 외부의 통신 장치에서도 고내 제품에 대한 정보를 수신하거나 설정하여 고내 제품을 어디에서나 관리할 수 있는 방법 및 장치를 제공하고자 한다.
또한, 본 명세서에서는 제품을 최적으로 사용할 수 있도록 사용자가 냉장고 외부의 인터페이스를 이용하여 제품을 선택할 경우 해당 제품의 최적 사용에 대한 정보를 서버로부터 수신하여 고내 제품을 이용하는 방법 및 장치를 제공하고자 한다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명의 일 실시예에 의하면 카메라부가 촬영한 캡쳐 이미지를 출력하고 캡쳐 이미지 중 제1영역을 선택하는 하나 이상의 선으로 구분하는 터치 입력을 수신하여 이를 표시하는 인터페이스부가 결합된 냉장고 및 이를 표시하는 방법을 포함한다.
본 발명의 일 실시예에 의하면 제품의 정보를 상이하게 구분하기 위한 둘 이상의 패턴 정보를 이용하여 터치 입력된 상기 선의 형태가 매칭되는 패턴에 따라 제품의 정보를 상이한 방식으로 인터페이스부에 출력하는 냉장고 및 이를 표시하는 방법을 포함한다.
본 발명의 일 실시예에 의하면 캡쳐 이미지를 통신 장치에 전송하는 통신부와, 캡쳐 이미지를 출력하여 이에 대한 터치 입력에 대응하여 클라우드 서버로부터 제품에 대한 정보를 수신하여 출력하는 통신 장치를 포함한다.
본 발명의 일 실시예에 의하면 통신부가 캡쳐 이미지에서 선택된 고내 제품에 대한 최적 사용 온도 정보를 클라우드 서버로부터 수신하고, 제어부가 최적 사용 온도 정보에 도달하도록 제품이 입고된 보관 공간의 온도를 제어 및 모니터링하여 제품의 온도가 최적 사용 온도에 도달한 경우 제품의 사용 가능 상태를 인터페이스부에 출력하는 냉장고 및 이를 표시하는 방법을 포함한다.
본 발명을 적용할 경우 냉장고에 수납되는 제품을 도어에 배치된 인터페이스나 외부의 통신 장치를 이용하여 제품의 이미지를 선택하여 제품에 대한 정보를 수신하거나 제품의 관리에 필요한 정보를 설정하여 고내 제품의 관리를 할 수 있다.
또한, 본 발명을 적용할 경우 제품의 이미지에 입력하는 터치 입력의 패턴을 다각화하여 패턴에 따라 제품에 대해 수행하는 동작을 다각화시켜 편리하며 직관적인 인터페이스를 제공할 수 있다.
또한 본 발명을 적용할 경우 외부의 통신 장치에서도 고내 제품에 대한 정보를 수신하거나 설정하여 고내 제품을 어디에서나 관리할 수 있다.
본 발명의 효과는 전술한 효과에 한정되지 않으며, 본 발명의 당업자들은 본 발명의 구성에서 본 발명의 다양한 효과를 쉽게 도출할 수 있다.
도 1은 종래의 냉장고 내에 설정을 제어하는 기술에 대한 도면이다.
도 2는 본 발명의 일 실시예가 적용되는 수납 제품을 식별하는 냉장고를 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 의한 냉장고가 내부의 제품에 대한 정보를 제공하기 위한 구성요소를 보여주는 도면이다.
도 4는 본 발명에 의한 클라우드 서버의 구성을 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 의한 도 3 및 도 4의 도 3에서 살펴본 구성 요소가 동작하는 과정을 보여주는 도면이다.
도 6은 본 발명의 일 실시예에 의한 고내 이미지를 터치 및 캡쳐 제스쳐를 통해 제품의 정보를 출력하는 도면이다.
도 7은 본 발명의 일 실시예에 의한 통신 장치에서 냉장고 내의 이미지를 이용하여 정보를 확인하는 과정을 보여주는 도면이다.
도 8은 본 발명의 일 실시예에 의한 통신 장치(500)가 냉장고 내 제품에 대해 클라우드 서버를 통해 수신한 정보를 표시하는 도면이다.
도 9는 본 발명의 일 실시예에 의한 사용자가 그리는 패턴 및 이들에 대응하는 동작이나 정보가 설정된 테이블을 보여주는 도면이다.
도 10은 도 9에서 살펴본 패턴을 이용하여 냉장고가 정보를 처리하는 과정을 보여주는 도면이다.
도 11은 본 발명의 일 실시예에 의한 사용자가 패턴으로 설정한 제품에 특정한 패턴으로 터치 입력을 수행한 경우 냉장고의 동작 과정을 보여주는 도면이다.
도 12는 본 발명의 일 실시예에 의한 고내 제품들에 대해 다양한 패턴을 설정한 도면이다.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 또한, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
또한, 본 발명을 구현함에 있어서 설명의 편의를 위하여 구성요소를 세분화하여 설명할 수 있으나, 이들 구성요소가 하나의 장치 또는 모듈 내에 구현될 수도 있고, 혹은 하나의 구성요소가 다수의 장치 또는 모듈들에 나뉘어져서 구현될 수도 있다.
본 명세서에서 저장물의 냉장 혹은 냉동을 위한 장치로 냉장고를 중심으로 설명하며, 이는 통상의 음식을 저장하는 냉장고와 김치 냉장고, 음료 냉장고, 가정용 냉장고, 업소용 냉장고, 그리고 냉동고 만으로 구성된 냉동장치 등 다양한 냉장 및 냉동 기능을 주로 하는 장치들을 모두 포함한다. 뿐만 아니라, 화장품 냉장고와 같이 음식이 아닌 저장물을 냉장하는 장치에도 적용되며, 또한, 고정식이 아닌 이동식, 예를 들어 대형 냉장 트레일러에 설치된 냉장장치 역시 본 명세서에서 언급하는 실시예에 포함된다.
본 명세서에서는 카메라로 냉장고 내 촬영이 가능하고 터치가 가능한 디스플레이 화면에서의 편리하고 직관적인 UX 제공을 통하여 다양한 식자재에 대한 간편하고 효율적인 관리가 가능하도록 기능을 제공한다. 즉, 촬영된 제품들에 대한 이미지에 별도의 정보를 부가하여 표기하고, 관리가 가능하도록 메뉴 적용을 할 수 있어 특정 제품들에 대해 관리할 수 있도록 한다.
특히, 디스플레이된 이미지에 대해 사용자가 행하는 상이한 패턴의 터치와 캡쳐 등의 제스처에 따라 제품에 대한 정보 처리 유형을 달리하여 관리 대상인 식자재에 대해 표기와 동시에 인식 및 자동 분류를 통해 간편하게 식자재 관리/활용이 가능하도록 한다.
사용자는 제품에 대해 필요한 정보를 얻기 위해 터치와 캡쳐 제스쳐를 미리 정의된 패턴에 따라 수행하여, 직관적이면서도 편리하게 제품들을 구분하여 필요한 정보를 확인할 수 있으며 관리 방식까지 자동으로 설정되므로, 빠르고 간편하게 냉장고 내 식자재를 관리할 수 있다. 또한 조리를 위한 식자재에 대해서 별도 표기를 할 수 있도록 하여 자동 분류가 가능하도록 한다.
본 명세서에서는 고내의 제품들을 카메라부가 촬영하여 냉장고의 외면에 배치되어 이미지를 출력하는 디스플레이 기능과 터치 입력을 수신하는 기능이 결합된 인터페이스부에서 촬영된 이미지를 출력한다. 그리고 인터페이스부가 사용자로부터 수신한 터치 입력의 궤적에 따라 선택된 제품을 궤적의 특성에 따라 상이하게 정보를 생성하여 저장한다. 이러한 작업은 냉장고와 통신을 통해 연결된 별도의 통신 장치에서도 이루어질 수 있다.
본 명세서에서는 고대의 제품을 촬영하지 않고, 투명하게 배치된 인터페이스부를 통해 외부에서 제품을 확인하고 제품을 선택하는 터치 입력의 궤적에 따라 선택된 제품을 궤적의 특성에 따라 상이하게 정보를 생성하여 저장한다. 이 경우, 터치 입력을 받을 때에는 별도의 촬영이 필요하지 않을 수 있으나, 제품의 정보를 추출하거나 저장하는 과정에서 고내 촬영된 이미지를 사용할 수도 있다.
사용자의 터치 표기 및 캡쳐를 통해 추출된 이미지는 제품 및 클라우드 서버에서 수행하는 비전 및 텍스트 인식 기능을 통하여 제품에 표기된 글자의 언어를 번역하고 해당 제품에 대한 사용 또는 조리 방법에 대한 설명과 제품이 이용된 사례 등의 다양한 정보와 연계하여 출력할 수 있으며 이에 대해 사용자가 별도의 추가적인 정보를 표기하고 이를 냉장고 내의 저장부에 저장할 수 있다.
도 2는 본 발명의 일 실시예가 적용되는 수납 제품을 식별하는 냉장고를 보여주는 도면이다. 10은 냉장고(100)가 닫힌 상태의 외관이며, 20은 냉장고(100)가 열린 상태의 외관이다. 냉장고(100)를 구성하는 다수의 도어(21, 31, 41, 51) 중 어느 하나의 도어(21)가 개폐를 관리하는 공간은 다수의 구분된 보관공간들(23, 24)로 나뉘어질 수 있으며, 각 보관공간들(23, 24)은 독립적으로 온도가 제어될 수 있다. 물론, 하나의 도어에 의해 개폐되는 공간들에 대해 동일하게 온도가 제어될 수도 있다. 그리고 각 보관공간들은 다시 내부에 선반으로 구분될 수 있다.
냉장고(100)의 도어 내부 또는 내부 보관 공간의 측면 또는 후면 등에는 카메라부(120)가 배치될 수 있다. 이는 다양한 각도에서 적층된 제품들을 확인하기 위한 것이다.
냉장고(100)에는 정보를 표시하거나, 혹은 냉장고(100)의 내부를 이미지로 또는 투명하게 보여주는 디스플레이 기능과 외부로부터 사용자의 터치 입력을 수신하는 기능을 제공하는 인터페이스부(110)를 더 포함할 수 있다. 투명 디스플레이 기능을 제공할 경우, 인터페이스부(110)는 냉장고의 도어에 배치되며 냉장고의 내부를 외부에서 확인할 수 있다.
인터페이스부(110)는 특정한 도어(31)의 전면에 배치될 수도 있고, 또한 냉장고(100)의 측면에 배치될 수도 있다. 인터페이스부(110)는 냉장고 내부를 카메라부(120)의 촬영 없이 확인할 수 있는 투명 디스플레이 패널을 포함할 수 있다. 또한, 디스플레이부(110)는 냉장고 내부에서 카메라부(120)가 촬영한 이미지를 표시하는 디스플레이 패널을 포함할 수 있다. 그리고 인터페이스부(110)는 외부의 터치 입력을 수신하는 터치 패널이 결합될 수 있다.
도 3은 본 발명의 일 실시예에 의한 냉장고가 내부의 제품에 대한 정보를 제공하기 위한 구성요소를 보여주는 도면이다.
인터페이스부(110)는 보관공간 내의 제품들을 이미지로 표시하거나 각 제품의 설명을 표시하는 기능을 제공한다. 인터페이스부는 냉장고의 도어 또는 냉장고의 측면 등에 배치될 수 있으며 카메라부(120)가 촬영한 캡쳐 이미지를 출력하고 캡쳐 이미지 중 특정 영역(제1영역)을 선택하는 하나 이성의 선으로 구분하는 터치 입력을 수신할 수 있다.
인터페이스부(110)가 냉장고의 내부를 별도의 이미지 처리 없이 그대로 보여주는 투명 디스플레이 기능을 제공할 경우에도 외부에서 보이는 특정 제품에 대해 사용자가 인터페이스부(110) 상에서 특정 영역(제1영역)을 선택하는 하나 이상의 선으로 구분하는 터치 입력을 수신할 수 있다.
여기서 특정 영역이란 사용자가 어느 하나의 제품의 영역을 의미하며, 사용자가 해당 제품의 주변 혹은 해당 제품의 많은 부분이 포함되도록 동그라미나 사각형과 같이 폐곡선의 패턴을 가지는 도형을 그리거나 또는 해당 제품의 중심부에 체크나 엑스 등과 같은 표기를 하는 것이 터치 입력이다.
카메라부(120)는 보관공간에 수납된 제품을 촬영한다. 보관공간을 촬영하여 인터페이스부(110)에서 출력할 수 있다. 또는 통신부(160)에 의해 촬영된 이미지가 외부의 통신 장치에게 전송될 수 있다.
이미지 추출부(130)는 인터페이스부(110)에서 특정한 영역을 선택하는 등의 터치 입력에 의해 결정된 제1영역에 해당하는 제품의 이미지를 추출한다. 인터페이스부(110)가 제품의 일부에만 걸쳐서 폐곡선 패턴으로 터치 입력을 수신하거나 혹은 체크/엑스표 등의 터치 입력을 수신할 경우에도 이미지 추출부(130)는 해당 제품의 전체 이미지를 추출한다.
한편, 투명 디스플레이 기능에 따라 터치 입력이 수신된 경우, 이미지 추출부(130)는 해당 터치 입력이 어떤 제품에 대응하는지 확인하여 카메라부(120)가 촬영한 이미지로부터 제1영역에 해당하는 제품의 이미지를 추출할 수 있다. 예를 들어, 카메라부(120)가 촬영한 이미지 상으로, 터치 입력이 발생한 위치 정보를 변환 및 적용할 경우, 터치 입력으로 사용자가 선택하고자 한 제품을 확인할 수 있다.
온도 센싱부(140)는 보관공간 내의 제품의 온도를 센싱한다. 온도 센싱부(140)는 특정 제품의 온도를 직접 센싱할 수 있다. 또는 특정 제품이 배치된 보관공간의 온도 변화를 센싱하여 해당 제품의 온도를 추정할 수 있다.
통신부(160)는 추출된 이미지를 클라우드 서버로 전송하여 해당 제품에 대한 정보를 수신한다. 제품에 대한 정보란 제품 이미지에 포함된 문자를 인식한 정보, 제품이 어떤 제품군에 해당하는지에 대한 정보, 또는 제품에 대한 관리 정보(유통기한, 주요 관리, 보관 온도 등) 등이 될 수 있다. 이때, 제품에 대한 정보가 전술한 터치 입력의 패턴에 따라 상이할 수 있다. 또는 제품에 대한 정보를 저장부(190)에 저장함에 있어서도 터치 입력의 패턴에 따라 상이하게 저장할 수 있다.
통신부(160)가 수신한 정보를 제어부(150)가 인터페이스부(110)에 출력한다. 즉, 제어부(150)는 추출된 제품의 이미지와 수신된 정보를 저장하고 인터페이스부(110)에 정보와 이미지를 출력한다. 이후, 사용자가 인터페이스부(110)에서 추가로 입력한 추가 정보 역시 저장부(190)에 저장할 수 있다.
저장부(190)는 제품의 이미지와 제품에 대한 정보를 저장한다. 특히, 제품에 대한 관리나 유통기한에 대한 정보가 저장될 수 있으며, 제어부(150)는 저장부(190)에 저장된 정보들을 일정 간격으로 검색하여 유통기한이 임박하거나 관리가 필요한 제품, 혹은 특정 시간에 조리를 하는 것으로 설정된 정보 등을 이용하여 사용자에게 알람을 제공할 수 있다.
도 4는 본 발명에 의한 클라우드 서버의 구성을 보여주는 도면이다. 클라우드 서버(200)의 통신부(26)는 다수의 냉장고들로부터 이미지를 수신한다. 그리고 이미지 인식부(230)는 수신된 제품 이미지에 포함된 라벨이나 설명문 등에서 문자를 인식하거나 이미지로부터 문자를 인식한다.
그 외에도 이미지 인식부(230)는 제품 이미지의 형상이나 색상 등에 대한 정보도 산출할 수 있다. 이후, 인식된 문자들과 산출된 정보들은 검색부(220)에서 정보를 검색하여 해당 제품에 대한 정보를 생성한다.
검색부(220)는 일종의 데이터베이스를 포함하되, 다수의 냉장고들이 전송한 제품 이미지 및 여기에서 인식된 정보를 분류하여 저장할 수 있다. 그외에도 검색부(220)는 외부의 인터넷에 연결하여 고내 입고가 가능한 다양한 제품들에 대한 이미지와 정보를 저장할 수 있다. 제어부(250)는 전술한 구성요소들을 제어한다.
도 5는 본 발명의 일 실시예에 의한 도 3 및 도 4의 도 3에서 살펴본 구성 요소가 동작하는 과정을 보여주는 도면이다.
냉장고(100)의 카메라부(120)는 냉장고 내를 촬영한다(S401). 이때, 카메라부(120)가 보관 공간에 대해 하나가 배치될 수도 있고 다수 배치될 수도 있다. 다수 배치된 경우, 이들 이미지들은 결합되거나 혹은 순차적으로 표시될 수 있다.
인터페이스부(110)는 촬영된 이미지를 출력하고, 사용자로부터 터치 및 제스쳐에 기반하여 특정한 패턴의 입력을 수신하여 입력된 패턴을 제품의 이미지에 표식 처리하며, 이미지 추출부(130)가 표식 처리된 제품의 이미지를 추출한다(S402). 제품의 이미지란 제품 전체의 이미지가 될 수도 있고, 제품의 일부 이미지가 될 수도 있다.
표식 처리란, 사용자가 특정한 제품에 대해 동그라미나 사각형 등의 형상을 터치-드래그 제스쳐로 터치 입력하면 인터페이스부(110)는 입력된 위치의 궤적에 따라 제품 주변에 동그라미나 사각형과 같은 윤곽선을 표시하여 식별되도록 디스플레이하는 것을 의미한다. 또는 인터페이스부(110)는 사용자가 체크 또는 엑스로 터치 입력한 경우 제품 상에 체크 또는 엑스를 표시하여 디스플레이할 수 있다.
이 과정에서 제어부(150)의 제어에 의해 입력된 위치의 궤적과 다소 상이하지만 보다 정확하게 동그라미나 사각형의 형상이 되도록 윤곽선의 비율을 조절하여 인터페이스부(110)가 출력할 수 있다.
사용자가 터치 입력을 수행하여 선택한 제품의 이미지는 추출되어 통신부(160)에 의해 클라우드 서버로 전송된다(S403). 클라우드 서버(200)는 사용자가 어떤 표식(동그라미, 사각형, 체크, 엑스표 등등)을 했는지에 대한 정보와 이미지를 인식한다(S404). 이미지의 인식은 텍스트 인식, 색상 인식, 사용자가 수행한 표식의 패턴 등에 기반하여 해당 제품에 대한 정보를 클라우드 서버(200)가 확인할 수 있다.
클라우드 서버(200)의 검색부(220)는 전술한 정보를 이용하여 해당 제품에 대한 정보 또는 해당 제품이 포함된 분류에 대한 정보, 또는 해당 제품에 관련된 정보를 내장된 데이터베이스에서 검색한다(S405). 해당 제품에 관련된 정보란, 조리 방식과 보관 온도, 섭취 온도 등이 될 수 있다.
일 실시예로, 해당 제품이 음료수인 경우, 해당 음료수가 마시기에 가장 적절한 온도 정보가 될 수 있다. 클라우드 서버(200)에서 검색된 정보는 냉장고(100)에게 전송된다(S406). 정보를 수신한 냉장고(100)는 수신된 정보를 인터페이스부(110)에 출력한다.
도 5의 프로세스는 냉장고 내 식품을 촬영하고 촬영된 이미지에 대해 터치 및 제스쳐를 통해 표식 및 필요 이미지 추출 후 해당 이미지를 클라우드로 전송하여 표식/텍스트/식품 인식을 통하여 식품 관리를 위한 분류 및 관련 정보를 검색한 후, 냉장고에게 정보를 전달하여 제품을 출력하여 보여주는 과정을 도시하였다.
도 6은 본 발명의 일 실시예에 의한 고내 이미지를 터치 및 캡쳐 제스쳐를 통해 제품의 정보를 출력하는 도면이다.
냉장고(100)의 인터페이스부(110)는 내부의 영상을 촬영하여 표시한다. 혹은 다른 실시예로 인터페이스부(110)는 투명 디스플레이 기능을 활성화시켜 사용자가 내부의 제품을 확인할 수 있도록 한다.
사용자는 촬영된 제품(301)의 이미지 상에 302에서 지시되는 바와 같이 터치 입력을 한다. 사용자가 터치 입력으로 인터페이스부(110)에 사각형 형상의 패턴을 그리면, 이미지 추출부(130)가 패턴이 그려진 제품(301)의 이미지를 추출한다. 그리고 통신부(160)가 추출된 이미지를 클라우드 서버(200)에게 전송한다(S310).
클라우드 서버(200)의 이미지 인식부(230) 및 검색부(220)가 전송된 이미지에서 문자를 인식 및 번역하여 해당 제품이 어떠한 제품인지를 인식한다. 그에 따라, 클라우드 서버(200)는 제품에 대한 다양한 정보, 예를 들어 제품의 분류, 제품을 관리하는데 필요한 정보, 제품의 주요 정보(적정 온도, 유통 기한 등), 제품의 사용 사례(조리 정보) 등을 검색하여 다시 냉장고(100)에게 전송한다(S320).
냉장고(100)의 인터페이스부(110)는 수신된 정보를 표시한다. 이때, 내용을 쉽게 확인할 수 있도록 해당 제품(301)에 인접하게 303과 같이 표시할 수 있다.
도 6에서 만약 투명 디스플레이 기능으로 내부의 제품을 확인하는 경우, 사용자는 내부의 제품에 대응하는 위치에서 302와 같이 패턴을 그릴 수 있다. 이때, 인터페이스부(110)는 입력된 패턴이 고내 어느 제품에 해당하는지를 판단하여 이미지 추출부(130)는 패턴이 지시하는 위치의 제품의 이미지를 클라우드 서버(200)에게 전송할 수 있다.
도 6의 실시예는 휴대폰과 같은 통신 장치를 이용하여 구현할 수도 있다. 도 6에 냉장고의 내부를 보여주는 이미지는 통신 장치로 전송될 수 있으며, 통신 장치에서 특정 제품의 이미지에 대해 소정 패턴의 터치 입력을 수행할 경우, 통신 장치와 클라우드 서버 사이에서도 정보를 송수신하여 제품에 대한 정보를 확인할 수 있다.
도 7은 본 발명의 일 실시예에 의한 통신 장치에서 냉장고 내의 이미지를 이용하여 정보를 확인하는 과정을 보여주는 도면이다. 통신장치(500)는 냉장고(100) 및 클라우드 서버(200)와 통신하며 정보를 송수신하는 특수 목적의 애플리케이션이 설치된 상태이다.
냉장고(100)의 통신부(160)는 카메리부(120)가 촬영한 캡쳐 이미지를 통신 장치(500)에게 전송한다. 통신 장치(500)는 캡쳐 이미지를 출력하고 캡쳐 이미지 중 특정한 영역을 선택하는 하나 이상의 선으로 구분하는 터치 입력을 수신한다. 그리고 통신 장치(500)는 터치 입력된 영역에 해당하는 제품의 이미지를 추출하여 클라우드 서버로 전송하고 제품에 대한 정보를 수신하여, 추출된 제품의 이미지와 정보를 출력할 수 있다.
냉장고(100)는 냉장고 내 제품들을 촬영하고(S411), 이를 통신 장치(500)에게 전송한다(S412). 통신장치(500)의 디스플레이부는 이미지를 표시하고, 사용자로가 터치 및 제스쳐로 소정의 패턴을 그리며 이미지를 표식하면 통신장치(500)의 애플리케이션이 이미지를 추출하고 이를 클라우드 서버(200)로 전송한다(S414).
클라우드 서버는 도 5의 S404 및 S405 프로세스와 동일하게 S415 및 S416 단계를 수행하고, 검색된 정보를 통신 장치(500)에게 전송한다. 통신 장치(500)는 검색된 정보를 표시하고(S418) 사용자는 원격에서 냉장고 내 배치된 제품의 상세한 정보를 확인할 수 있다.
도 8은 본 발명의 일 실시예에 의한 통신 장치(500)가 냉장고 내 제품에 대해 클라우드 서버를 통해 수신한 정보를 표시하는 도면이다.
앞서 도 6에서 도시한 냉장고 내의 이미지가 통신 장치(500)인 스마트폰의 화면(510)에 표시된다. 사용자가 301로 지시되는 제품에 302와 같은 패턴으로 선을 그리면, 통신장치(500)가 선을 그린 제품의 이미지(301)를 클라우드 서버(200)에 전송하여 303과 같이 정보가 출력된다.
스마트폰의 하단부에는 현재 보여지는 보관 공간(1st Box)의 이미지 외에 다른 보관 공간의 이미지를 확인할 수 있는 링크(2nd Box, 3rd Box)가 표시되어 있다. 각 링크를 사용자가 클릭할 경우, 냉장고의 다른 보관 공간에 배치된 카메라부가 고내 이미지를 촬영하여 통신 장치(500)에게 전송할 수 있다.
도 6 내지 도 8을 정리하면, 냉장고 내 촬영 이미지에 대해 캡쳐 제스쳐를 통해 추출된 이미지를 비전 인식하여, 인식된 이미지는 클라우드 서버(200)로 전송되어 식품을 인식하거나 텍스트를 인식 및 번역하여, 사용자가 외국어로 되어 확인하기 어려운 식품에 대해 식품 사용 방법이나 관리 방법 등에 대한 정보를 확인할 수 있다. 그리고 식품의 유통기한이나 즉시 조리를 위해 관리를 위한 분류를 설정하여 모니터링 될 수 있고 관련 내용은 냉장고(100) 또는 통신 장치(500)를 통해 표시될 수 있다.
도 9는 본 발명의 일 실시예에 의한 사용자가 그리는 패턴 및 이들에 대응하는 동작이나 정보가 설정된 테이블을 보여주는 도면이다. 이러한 테이블은 냉장고(100)의 저장부(190)에 저장될 수 있다. 냉장고(100)는 입력된 패턴에 대응하여 필요한 정보를 클라우드 서버에게 요청할 수 있다.
테이블(195)는 사용자가 제품의 이미지 상에 그릴 수 있는 패턴의 종류를 저장한 것이다. "Pattern" 항목에는 사용자가 그릴 수 있는 패턴들이 배치된다. 사각형과 동그라미, 체크, 엑스가 나열되어 있다.
"Action"은 해당 패턴이 입력되면 수행할 작업을 제시한다. 즉, 패턴에 대응하여 제어부(150)가 수행해야 하는 작업에 대한 카테고리 정보를 저장한다. 두 가지 경우로 나뉘어지는데 "GET_INFORMATION"은 클라우드 서버(200)에서 정보를 수신하며 수신된 정보에 서비스를 연동하는 것을 의미한다. "SET_CATEGORY"는 제품을 자동으로 분류하여 필요한 서비스를 연동한다.
"Parameter"은 요청할 정보의 종류 또는 설정할 카테고리의 종류가 나열된다. 즉, 작업을 수행하는데 필요한 파라미터 정보를 포함한다. 예를 들어 사각형 패턴에 대해서는 문자 인식(TEXT_RECOGNITION), 번역(TRANSLATION), 적정 온도나 유통기간이나 필요한 관리 방법 등에 대한 정보(RELATED_DATA), 그리고 이 제품을 사용하는 방법에 대한 정보(USAGE_INFORMATION) 등을 요청하는 것이 명시되어 있다.
"Parameter" 정보는 통신부에 의해 클라우드 서버(200)에 전송될 수 있다. 즉, 통신부(160)는 추출된 이미지 및 터치 입력에 대응하는 패턴의 파라미터 정보를 클라우드 서버(200)에 전송하여, 클라우드 서버(200)가 해당 제품에 대해 제공해야 하는 정보가 어떤 종류의 정보인지를 확인할 수 있다.
동그라미 패턴에 대해서는 제품을 활용한 조리법(RECIPE)을 요청하는 것이 명시되어 있다.
체크 패턴에 대해서는 유통 기한 관리가 필요한 식품으로 자동 분류하는 것(EXPIRATION_SETTING)을 의미한다. 엑스 패턴에 대해서는 조리할 때 들어갈 식재료(READY_FOR_COOK)로 분류한다.
"Sample_Pattern" 항목은 사용자가 입력했던 패턴을 저장한다. 이는 패턴에 대응하여 이전에 입력된 샘플 패턴을 의미한다. 사용자는 "Pattern"에 표시된 패턴과 같이 정확하게 사각형/원/체크/엑스 패턴을 그릴 수 없으며 이러한 저장된 패턴에 유사한 형상으로 그린다. 따라서, 사용자가 입력한 패턴을 정확하게 인식하기 위해 사용자가 이전에 입력한 패턴들을 저장하여 비교할 수 있다.
사용자가 패턴을 "Sample_pattern"과 같이 입력하여도 냉장고(100) 또는 통신 장치(500)는 이를 교정하여 "Pattern" 항목에 있는 패턴으로 출력할 수 있다.
예를 들어, 제어부(150)는 터치 입력된 선의 형태가 제품의 구분을 위해 저장부(190)에 저장된 테이블에서 정의하는 제1패턴(예를 들어 사각형)에 매칭될 경우, 제품의 주변에 제1패턴의 윤곽선의 비율을 조절하여 인터페이스부(110)에서 출력하도록 제어할 수 있다.
도 10은 도 9에서 살펴본 패턴을 이용하여 냉장고가 정보를 처리하는 과정을 보여주는 도면이다.
저장부(190)는 제품의 정보를 상이하게 구분하기 위한 둘 이상의 패턴 정보를 저장한다. 제품의 정보를 상이하게 구분한다는 것은, 제품에 표시하는 패턴에 따라 요청하는 정보 또는 적용하는 정보를 상이하게 구분하는 것을 의미한다. 제1패턴에 대해서는 텍스트인식을 요청하고, 제2패턴에 대해서는 조리법을 요청하고, 제3패턴에 대해서는 유통기한 관리를 설정하는 등과 같이 상이한 패턴을 적용하여 제품의 정보를 관리하거나 요청함에 있어서 상이하게 구분할 수 있도록 한다.
도 9의 테이블(195)을 일 실시예로 한다.
인터페이스부(110)는 고내 촬영된 이미지 상에서 혹은 투명 디스플레이 상에서 터치 입력된 하나 이상의 선들의 위치 정보를 생성한다(S421). 위치 정보란 선들의 시작점과 끝점 혹은 중간의 점들의 위치 정보가 될 수 있다. 입력된 위치정보들은 하나의 폐곡선을 구성할 수 있다. 또는 입력된 위치정보들은 폐곡선의 형태는 가지지만 일부가 개방된 하나의 선을 구성할 수 있다. 위치정보는 각각의 점에 대해 인터페이스부(110)의 x-y 좌표가 될 수 있다.
제어부(150)는 위치 정보들을 이용하여 터치 입력된 선의 형태가 매칭되는 패턴을 검색한다(S422). 패턴의 검색은 도 9와 같이 "Pattern" 항목 또는 과거 샘플링된 "Sample_Pattern"을 이용할 수 있다. 검색된 패턴이 없는 경우(S423) 사용자가 잘못 접촉하거나 터치한 것이므로 기존 이미지를 유지한다(S424). 혹은 투명 디스플레이 상태에서 터치 입력된 지점들을 표시하지 않을 수 있다.
한편, 검색된 패턴이 있는 경우 제어부는 패턴을 대응하는 제품 상에 표시한다(S425). 이때, 이미지 상에 터치 입력된 경우, 해당 이미지에서 이미지 추출부(130)가 제품 이미지를 추출할 수 있다. 투명 디스플레이 상에 터치 입력된 경우, 제어부(150)는 터치 입력된 위치에서 투명 디스플레이 뒤편에 배치된 제품을 대응 제품으로 판별한다.
이후, 제어부(150)는 패턴에 대응하는 "Action" 및 "Parameter"을 추출한다(S426). 앞서 도 9의 테이블(195)에서 확인된 패턴에 대응하는 정보를 추출할 수 있다.
그리고 제어부(150)는 추출된 "Action" 및 "Parameter"에 대응하여 처리한다(S427). 처리는 패턴에 따라 다양할 수 있으며, 처리된 정보는 저장부에 저장한다(S428).
S427은 앞서 도 9의 "Action" 및 "Parameter"에 대응하여, i) 제품의 정보를 상이한 방식으로 인터페이스부(110)에 출력하거나 ii) 상이하게 설정 또는 수신된 정보를 저장부에 저장하거나 iii) 또는 클라우드 서버에게 상이한 정보를 요청하는 것을 일 실시예로 한다. 제품의 정보를 상이하게 출력한다는 것은, 제품의 정보들을 클라우드 서버(200)로부터 수신하여 저장한 후, 이를 다른 방식으로 출력하는 것을 의미한다.
예를 들어 특정 제품에 사각형 패턴을 입력할 경우, 이미 해당 제품에 대해 텍스트 인식 및 관련 정보들이 저장부(190)에 저장되어 있으면, 제어부(150)는 텍스트 인식된 정보 및 관련 정보들을 인터페이스부(110)에 출력한다. 한편, 동그라미를 특정 제품에 입력한 경우, 제어부(150)는 해당 제품의 저장된 레시피를 인터페이스부(110)에 출력한다.
또한, 엑스 패턴과 체크 패턴이 설정되면 각각에 대응하여 저장부(190)에 상이학게 카테고리를 설정하여 저장할 수 있다. 또는 사각형/원형 패턴에 따라 클라우드 서버(200)로부터 제품에 대해 수신하는 정보가 상이할 수 있으므로, 제어부(150)는 상이하게 수신된 정보를 저장부(190)에 저장할 수 있다.
또한, 패턴에 따라 클라우드 서버(200)에게 요청하는 정보의 종류가 상이할 수 있으며, 제어부(150)는 패턴에 따라 클라우드 서버(200)에게 상이한 정보를 요청하는 메시지를 전송할 수 있다.
이미지 추출부(130)는 사용자가 입력한 패턴에 대응하여 패턴의 크기만큼 이미지를 추출할 수도 있고 패턴에 의해 적용되는 작업의 종류에 따라 추출하는 제품의 이미지를 패턴 보다 확장하거나 패턴 보다 작게할 수도 있다.
예를 들어, 패턴이 특정한 영역으로 설정되었는데, 이 영역이 제품의 일부 영역에만 해당하는 실시예에서 살펴본다. 패턴이 레시피를 요청하는 패턴인 경우, 제품 전체의 이미지가 필요할 수 있으므로, 이미지 추출부(130)는 제품의 전체 영역에서 이미지를 추출할 수 있다.
또한, 패턴이 특정한 영역으로 설정되었는데, 이 영역이 제1제품을 포함할 뿐만 아니라, 인접한 다른 제2제품의 일부를 포함한 경우, 이미지 추출부(130)는 제1제품 이미지의 추출의 정확성을 높이기 위해 제1제품에 대해서만 이미지를 추출할 수 있다.
또한, 패턴이 상표나 텍스트의 해석이나 내용 검색을 요청하는 패턴(예를 들어 사각형)인 경우, 이미지를 추출함에 있어서, 이미지 추출부(130)는 전체 제품의 이미지 대신 상표나 텍스트가 배치된 영역만을 한정하여 이미지를 추출할 수 있다.
도 11은 본 발명의 일 실시예에 의한 사용자가 패턴으로 설정한 제품에 특정한 패턴으로 터치 입력을 수행한 경우 냉장고의 동작 과정을 보여주는 도면이다.
사용자는 인터페이스부(110)에서 특정 제품에 대해 미리 설정된 패턴(별, 삼각형 등)을 터치 입력할 수 있다. 이러한 패턴을 쾌적 패턴라고 한다. 즉, 인터페이스부는 특정 제품에 대해 쾌적 패턴을 입력받는다(S431).
이미지 추출부(130)는 제품에 대한 이미지를 추출한다(S432). 제어부(150)는 추출된 이미지와 함께, 제품에 대한 최적 사용 온도 정보를 요청하는 메시지를 클라우드 서버(200)에게 전송한다(S433).
최적 사용 온도 정보란 해당 제품을 사용하거나 음용하는 등에 있어 가장 적합한 온도를 의미한다. 음료의 경우 음료의 종류마다 최적의 사용 온도가 설정될 수 있다.
클라우드 서버(200)는 수신된 메시지에 포함된 제품의 이미지를 인식하고 이미지 내의 텍스트를 인식하여 해당 제품을 분류하여 제품에 대한 최적 사용 온도 정보를 생성한다(S434). 제품의 카테고리나 제품의 세부적인 정보에 기반하여 최적 사용 온도 정보가 검색부(220) 내에 구축될 수 있다.
특히, 제품의 생산자들은 클라우드 서버(200)에 생산 제품에 대한 이미지와 명칭과 최적 사용 온도 정보를 제공하여 클라우드 서버(200)가 냉장고(100)로부터 전송된 제품의 이미지를 검색부(220) 내에서 검색하여 해당하는 최적 사용 온도 정보를 생성할 수 있다.
제어부는 제품에 대한 최적 사용 온도 정보를 클라우드 서버로부터 수신한다(S435). 그리고 제어부(150)는 제품의 온도가 최적 사용 온도 정보에 도달하도록 보관 공간 내의 온도를 조절할 수 있다.
그리고 제어부(150)는 제품에 대한 최적 냉장 온도 정보 및 최적 사용 온도 정보를 클라우드 서버로부터 수신한다(S435).
이후, 제어부(150)는 최적 냉장 온도 정보를 반영하여 보관 공간의 온도를 제어한다(S436). 일 실시예로 보관 공간에 대해 쾌속 냉장을 수행할 수 있다.
이후, 제어부(150)는 온도 센싱부(140)를 제어하여 제품의 사용 제품의 온도를 모니터링하여 제품의 온도가 상기 최적 사용 온도에 도달하였는지 확인한다(S436). 도달한 경우, 제어부(150)는 인터페이스부(110)를 제어하여 제품이 사용 가능한 상태임을 표시한다(S437).
사용자가 새로운 식재료나 음료, 과일 등을 냉장고(100)에 보관하고 인터페이스부(110)에서 표시된 이미지에 쾌적 패턴을 입력한다. 혹은 상요자는 투명 디스플레이 기능에 의해 고내 확인되는 식재료나 음료, 과일의 앞쪽의 인터페이스부(110)에서 쾌적 패턴을 입력한다.
도 11에 제시된 순서에 따라, 제품에 대응하는 최적 사용 온도를 클라우드 서버(200)로부터 수신하여 해당 제품의 온도가 신속하게 최적 사용 온도에 도달하도록 냉장고(100)가 동작한다. 이후 해당 온도에 도달하면 음성을 통해 혹은 인터페이스부(110)에 특정한 문양을 표시하거나 메시지를 출력하여 사용자가 해당 제품을 사용할 수 있다.
도 12는 본 발명의 일 실시예에 의한 고내 제품들에 대해 다양한 패턴을 설정한 도면이다. 냉장고(100) 내에서 첫번째 선반에는 311와 같이 사각형 패턴과 312와 같이 별 패턴이 적용된 상태이다. 사각형 패턴은 제품과 관련한 정보를 클라우드 서버(200)를 통해 수신하는 것의 일 실시예이다. 별 패턴(312)은 입고된 우유를 최적 사용 온도에서 음용할 수 있도록 냉장고(100)의 동작을 제어하는 쾌적 패턴이다.
두번째 선반에는 엑스 패턴(313)과 체크 패턴(314)이 배치되며, 세번째 선반은 원 패턴(315)과 엑스 패턴(316)이 표시된 상태이다. 각 패턴이 해당 제품에 설정하는 정보의 종류 또는 클라우드 서버(200)를 통해 요청하는 정보의 종류는 앞서 살펴보았다.
패턴은 사용자가 특정 제품을 지시하거나 제품의 특정 영역을 추출하여 정보를 취득하기 위함이다. 따라서, 패턴이 가지는 작업이나 필요한 정보의 종류에 따라, 제어부(150) 및 이미지 추출부(130)는 해당 패턴에 따라 부분 이미지를 추출하거나 혹은 패턴이 배치된 제품 전체의 이미지를 추출할 수 있다. 또는 패턴에 포함되지 않으나, 해당 패턴이 요청하는 정보가 제품의 이미지 내에 다른 부분에 있는 경우, 해당 부분도 추출할 수 있다.
사용자에 의해 입력된 패턴의 종류에 따라 이용 목적을 달리하여 텍스트 인식/번역, 유통 기한 관리 식료품 분류, 조리를 위한 재료 분류, 쇼핑 필요 식품 분류 등이 제스쳐와 동시에 자동으로 분류 될 수 있도록 한다. 예를 들어 고내 유통기한 관리가 필요한 제품들에 대해 일괄 체크 패턴으로 입력할 경우, 제어부(150)는 해당 제품들에 대해 유통기한을 관리하는 프로세스를 적용할 수 있다.
그리고 조리에 필요한 제품들에 대해 일괄 엑스 패턴으로 입력할 경우, 제어부(150)는 해당 제품들이 조리에 필요함을 지속적으로 인터페이스부(110)에서 출력할 수 있다. 또는 해당 제품이 고내에 계속 있을 경우, 인터페이스부(110)를 통해 반출되지 않았다는 메시지를 출력하여, 사용자가 특정 재료를 누락하여 조리하지 않도록 한다.
도 12에서 냉장고가 구현하는 기능이 엑스 패턴 및 체크 패턴만 포함된 경우, 도 3의 구성에서 통신부(100)가 제외될 수 있다. 즉, 인터페이스부(110가 캡쳐 이미지 중 제1영역을 선택하는 하나 이상의 선으로 구분하는 터치 입력을 수신하면, 제어부(150)는 제1영역에 해당하는 제품을 확인하여 터치 입력의 패턴(예를 들어 엑스 패턴, 체크 패턴)에 따라 제품에 적용될 작업을 설정할 수 있다. 여기서 제품의 확인은 제품의 이미지와 제품의 위치(선반 내 특정 위치)만을 사용할 수 있다. 그리고 저장부(190)는 제품에 대해 설정된 작업 정보를 저장한다.
작업 정보의 일 실시예로는 유통기한의 설정, 조리 재료의 설정, 혹은 일정 알람과 연계시키는 등 인터페이스부(110)를 통해 사용자가 특정 제품에 대해 알림을 받을 수 있는 종류를 설정하는 것을 일 실시예로 한다.
전술한 패턴과 이에 대응하는 정보, 작업 등은 구현에 따라 다양해질 수 있으며, 본 명세서에서 설명하는 사각/원/엑스/체크 패턴은 실시예일뿐이며, 본 발명이 이들에 한정되지 않는다.
본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니며, 본 발명의 목적 범위 내에서 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 반도체 기록소자를 포함하는 저장매체를 포함한다. 또한 본 발명의 실시예를 구현하는 컴퓨터 프로그램은 외부의 장치를 통하여 실시간으로 전송되는 프로그램 모듈을 포함한다.
이상에서는 본 발명의 실시예를 중심으로 설명하였지만, 통상의 기술자의 수준에서 다양한 변경이나 변형을 가할 수 있다. 따라서, 이러한 변경과 변형이 본 발명의 범위를 벗어나지 않는 한 본 발명의 범주 내에 포함되는 것으로 이해할 수 있을 것이다.
100: 냉장고 110: 인터페이스부
120: 카메라부 130: 이미지 추출부
140: 온도 센싱부 150: 제어부
160: 통신부 190: 저장부

Claims (14)

  1. 하나 이상의 구분된 보관공간;
    상기 보관공간에 수납된 제품을 촬영하는 카메라부;
    냉장고의 도어에 배치되며 상기 카메라부가 촬영한 캡쳐 이미지를 출력하고 상기 캡쳐 이미지 중 제1영역을 선택하는 하나 이상의 선으로 구분하는 터치 입력을 수신하는 인터페이스부;
    상기 제1영역에 해당하는 제품의 이미지를 추출하는 이미지 추출부;
    상기 추출된 이미지를 클라우드 서버로 전송하고 상기 제품에 대한 정보를 수신하는 통신부; 및
    상기 추출된 제품의 이미지와 상기 정보를 저장하고 상기 인터페이스부에 상기 정보를 출력하는 제어부;
    상기 제품의 이미지 및 상기 제품에 대한 정보를 저장하는 저장부를 포함하는, 입력 패턴에 따라 정보를 처리하는 냉장고.
  2. 제1항에 있어서,
    상기 저장부는 제품의 정보를 상이하게 구분하기 위한 둘 이상의 패턴 정보를 저장하며,
    상기 터치 입력된 상기 선의 형태가 매칭되는 패턴에 따라 상기 제품의 정보를 상이한 방식으로 상기 인터페이스부에 출력하거나 또는 상이하게 설정 또는 수신된 정보를 상기 저장부에 저장하거나 또는 상기 클라우드 서버에게 상이한 정보를 요청하는, 입력 패턴에 따라 정보를 처리하는 냉장고.
  3. 제2항에 있어서,
    상기 저장부는 상기 패턴, 상기 패턴에 대응하여 상기 제어부가 수행해야 하는 작업에 대한 카테고리 정보, 상기 작업과 필요한 파라미터 정보, 상기 패턴에 대응하여 입력된 샘플 패턴을 저장하는, 입력 패턴에 따라 정보를 처리하는 냉장고.
  4. 제3항에 있어서,
    상기 통신부는 상기 추출된 이미지 및 상기 터치 입력에 대응하는 패턴의 파라미터 정보를 상기 클라우드 서버에 전송하는, 입력 패턴에 따라 정보를 처리하는 냉장고.
  5. 제2항에 있어서,
    상기 제어부는 상기 터치 입력된 상기 선의 형태가 상기 제품의 구분을 위해 상기 저장부에 저장된 제1패턴에 매칭될 경우, 상기 제품의 주변에 상기 제1패턴의 윤곽선의 비율을 조절하여 상기 인터페이스부에 출력하는, 입력 패턴에 따라 정보를 처리하는 냉장고.
  6. 제1항에 있어서,
    상기 보관공간 내의 제품의 온도를 센싱하는 온도 센싱부를 더 포함하며,
    상기 통신부는 상기 제품에 대한 최적 사용 온도 정보를 상기 클라우드 서버로부터 수신하며,
    상기 제어부는 상기 제품이 상기 최적 사용 온도 정보에 도달하도록 상기 보관 공간의 온도를 제어하며,
    상기 제어부는 상기 온도 센싱부를 제어하여 상기 제품의 온도를 모니터링하여 상기 제품의 온도가 상기 최적 사용 온도에 도달한 경우, 상기 인터페이스부를 제어하여 상기 제품의 사용 가능 상태를 표시하는, 입력 패턴에 따라 정보를 처리하는 냉장고.
  7. 제1항에 있어서,
    상기 통신부는 상기 캡쳐 이미지를 통신 장치에게 전송하며,
    상기 통신 장치는 상기 캡쳐 이미지를 출력하고 상기 캡쳐 이미지 중 제2영역을 선택하는 하나 이상의 선으로 구분하는 터치 입력을 수신한 후, 상기 제2영역에 해당하는 제품의 이미지를 추출하여 상기 클라우드 서버로 전송하고 상기 제품에 대한 정보를 수신하여, 상기 추출된 제품의 이미지와 상기 정보를 출력하는, 입력 패턴에 따라 정보를 처리하는 냉장고.
  8. 하나 이상의 구분된 보관공간;
    상기 보관공간에 수납된 제품을 촬영하는 카메라부;
    냉장고의 도어에 배치되며 냉장고의 내부를 외부에서 확인할 수 있도록 투명 디스플레이 기능을 제공하며, 상기 외부에서 제1영역을 선택하는 하나 이상의 선으로 구분하는 터치 입력을 수신하는 인터페이스부
    상기 카메라부가 촬영한 이미지로부터 상기 제1영역에 해당하는 제품의 이미지를 추출하는 이미지 추출부;
    상기 추출된 이미지를 클라우드 서버로 전송하고 상기 제품에 대한 정보를 수신하는 통신부; 및
    상기 추출된 제품의 이미지와 상기 정보를 저장하고 상기 인터페이스부에 상기 정보를 출력하는 제어부;
    상기 제품의 이미지 및 상기 제품에 대한 정보를 저장하는 저장부를 포함하는, 입력 패턴에 따라 정보를 처리하는 냉장고.
  9. 제8항에 있어서,
    상기 저장부는 제품의 정보를 상이하게 구분하기 위한 둘 이상의 패턴 정보를 저장하며,
    상기 터치 입력된 상기 선의 형태가 매칭되는 패턴에 따라 상기 제품의 정보를 상이한 방식으로 상기 인터페이스부에 출력하거나 또는 상이하게 설정 또는 수신된 정보를 상기 저장부에 저장하거나 또는 상기 클라우드 서버에게 상이한 정보를 요청하는, 입력 패턴에 따라 정보를 처리하는 냉장고.
  10. 제8항에 있어서,
    상기 보관공간 내의 제품의 온도를 센싱하는 온도 센싱부를 더 포함하며,
    상기 통신부는 상기 제품에 대한 최적 사용 온도 정보를 상기 클라우드 서버로부터 수신하며,
    상기 제어부는 상기 제품이 상기 최적 사용 온도 정보에 도달하도록 상기 보관 공간의 온도를 제어하며,
    상기 제어부는 상기 온도 센싱부를 제어하여 상기 제품의 온도를 모니터링하여 상기 제품의 온도가 상기 최적 사용 온도에 도달한 경우, 상기 인터페이스부를 제어하여 상기 제품의 사용 가능 상태를 표시하는, 입력 패턴에 따라 정보를 처리하는 냉장고.
  11. 하나 이상의 구분된 보관공간;
    상기 보관공간에 수납된 제품을 촬영하는 카메라부;
    냉장고의 도어에 배치되며 상기 카메라부가 촬영한 캡쳐 이미지를 출력하고 상기 캡쳐 이미지 중 제1영역을 선택하는 하나 이상의 선으로 구분하는 터치 입력을 수신하는 인터페이스부;
    상기 제1영역에 해당하는 제품을 확인하여 상기 터치 입력의 패턴에 따라 상기 제품에 적용될 작업을 설정하는 제어부; 및
    상기 제품에 대해 설정된 작업 정보를 저장하는 저장부를 포함하는, 입력 패턴에 따라 정보를 처리하는 냉장고.
  12. 냉장고 내에 배치된 카메라부가 보관공간에 수납된 제품을 촬영하는 단계;
    상기 냉장고의 도어에 배치된 인터페이스부가 상기 카메라부가 촬영한 캡쳐 이미지를 출력하고 상기 캡쳐 이미지 중 제1영역을 선택하는 하나 이상의 선으로 구분하는 터치 입력을 수신하는 단계;
    상기 냉장고의 이미지 추출부가 상기 제1영역에 해당하는 제품의 이미지를 추출하는 단계;
    상기 냉장고의 통신부가 상기 추출된 이미지를 클라우드 서버로 전송하고 상기 제품에 대한 정보를 수신하는 단계; 및
    상기 냉장고의 제어부가 상기 추출된 제품의 이미지와 상기 정보를 상기 인터페이스부에 출력하는 단계를 포함하는, 입력 패턴에 따라 정보를 처리하는 방법.
  13. 제12항에 있어서,
    냉장고의 저장부는 상기 패턴, 상기 패턴에 대응하여 상기 제어부가 수행해야 하는 작업에 대한 카테고리 정보, 상기 작업과 필요한 파라미터 정보, 상기 패턴에 대응하여 입력된 샘플 패턴을 저장하며,
    상기 통신부는 상기 추출된 이미지 및 상기 터치 입력에 대응하는 패턴의 파라미터 정보를 상기 클라우드 서버에 전송하는 단계를 더 포함하는, 입력 패턴에 따라 정보를 처리하는 방법.
  14. 제12항에 있어서,
    냉장고의 온도 센싱부는 상기 보관공간 내의 제품의 온도를 센싱하며,
    상기 냉장고의 통신부가 상기 제품에 대한 정보를 수신하는 단계는
    상기 통신부가 상기 제품에 대한 최적 사용 온도 정보를 상기 클라우드 서버로부터 수신하는 단계를 포함하며,
    상기 냉장고의 제어부가 상기 추출된 제품의 이미지와 상기 정보를 상기 인터페이스부에 출력하는 단계는
    상기 제어부가 상기 제품이 상기 최적 사용 온도 정보에 도달하도록 상기 보관 공간의 온도를 제어하는 단계; 및
    상기 제어부가 상기 온도 센싱부를 제어하여 상기 제품의 온도를 모니터링하여 상기 제품의 온도가 상기 최적 사용 온도에 도달한 경우, 상기 인터페이스부를 제어하여 상기 제품의 사용 가능 상태를 표시하는 단계를 포함하는, 입력 패턴에 따라 정보를 처리하는 방법.
KR1020180017901A 2018-02-13 2018-02-13 입력 패턴에 따라 인공지능을 이용하여 정보를 처리하는 냉장고 및 방법 KR102018454B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180017901A KR102018454B1 (ko) 2018-02-13 2018-02-13 입력 패턴에 따라 인공지능을 이용하여 정보를 처리하는 냉장고 및 방법
PCT/KR2019/000926 WO2019160251A1 (ko) 2018-02-13 2019-01-22 입력 패턴에 따라 인공지능을 이용하여 정보를 처리하는 냉장고 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180017901A KR102018454B1 (ko) 2018-02-13 2018-02-13 입력 패턴에 따라 인공지능을 이용하여 정보를 처리하는 냉장고 및 방법

Publications (2)

Publication Number Publication Date
KR20190097903A true KR20190097903A (ko) 2019-08-21
KR102018454B1 KR102018454B1 (ko) 2019-09-04

Family

ID=67620174

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180017901A KR102018454B1 (ko) 2018-02-13 2018-02-13 입력 패턴에 따라 인공지능을 이용하여 정보를 처리하는 냉장고 및 방법

Country Status (2)

Country Link
KR (1) KR102018454B1 (ko)
WO (1) WO2019160251A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113124639A (zh) * 2020-01-15 2021-07-16 青岛海尔电冰箱有限公司 冰箱食材管理方法、冰箱以及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240048979A (ko) * 2022-10-07 2024-04-16 삼성전자주식회사 냉장고 및 이의 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150095042A (ko) * 2014-02-12 2015-08-20 엘지전자 주식회사 냉장고 및 냉장고의 제어 방법
KR20150118864A (ko) * 2014-04-15 2015-10-23 엘지전자 주식회사 냉장고 및 그 제어 방법
KR20170090894A (ko) * 2016-01-29 2017-08-08 엘지전자 주식회사 냉장고와 통신하는 센서 및 상기 센서를 포함하는 냉장고 제어 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170017326A (ko) * 2015-08-06 2017-02-15 인하대학교 산학협력단 카메라를 이용하여 내부 영상을 제공하는 냉장고 및 그 제어 방법
KR20170053248A (ko) * 2015-11-06 2017-05-16 자이로캠주식회사 조회 및 물품 주문 기능을 갖는 냉장고 보관 재료 관리용 디바이스 및 물품 주문 방법과 서비스

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150095042A (ko) * 2014-02-12 2015-08-20 엘지전자 주식회사 냉장고 및 냉장고의 제어 방법
KR20150118864A (ko) * 2014-04-15 2015-10-23 엘지전자 주식회사 냉장고 및 그 제어 방법
KR20170090894A (ko) * 2016-01-29 2017-08-08 엘지전자 주식회사 냉장고와 통신하는 센서 및 상기 센서를 포함하는 냉장고 제어 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113124639A (zh) * 2020-01-15 2021-07-16 青岛海尔电冰箱有限公司 冰箱食材管理方法、冰箱以及存储介质

Also Published As

Publication number Publication date
WO2019160251A1 (ko) 2019-08-22
KR102018454B1 (ko) 2019-09-04

Similar Documents

Publication Publication Date Title
CN107477971B (zh) 一种对冰箱内食物的管理方法和设备
US11367130B2 (en) Method for in-store object highlighting by a real world user interface
US11175790B2 (en) System and method for providing real-time product interaction assistance
US9013273B2 (en) Method of controlling electric device
KR102217024B1 (ko) 냉장고, 그 제어 방법 및 시스템
JP6950912B2 (ja) 映像検索情報提供方法、装置およびコンピュータプログラム
US11506448B2 (en) Method and device for managing food in refrigerator
JP2012193873A (ja) 収納装置
CN112005268B (zh) 冰箱和在冰箱上显示用户界面的方法、用户终端和在用户终端中执行功能的方法
US9224123B2 (en) Electric product and method of controlling the same
US20200134291A1 (en) Method and system for providing information about objects in refrigerator
CN102411478A (zh) 电子设备及其文本导读方法
TWI698198B (zh) 物件儲存裝置及其物件存取方法
KR101754372B1 (ko) 식재료 관리 시스템 및 식재료 관리 방법
KR102018454B1 (ko) 입력 패턴에 따라 인공지능을 이용하여 정보를 처리하는 냉장고 및 방법
KR20190093814A (ko) 추천 레시피에 따른 조리 지원이 가능한 주방 가전 시스템 및 그 지원 방법
CN107735636A (zh) 用于操作家用器具的方法、相应的家用器具以及包括家用器具的系统
US20200149797A1 (en) Food management system
KR20120118376A (ko) 냉장고의 제어방법
KR102017980B1 (ko) 인공지능을 이용하여 제품을 식별하고 구분된 이미지를 출력하는 냉장고 및 방법
KR102009933B1 (ko) 냉장고
EP4276657A1 (en) Object filtering and information display in an augmented-reality experience
CN116011474A (zh) 一种对象扫描方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant