KR102637119B1 - 냉장고 안의 객체에 관한 정보를 제공하는 방법 및 시스템 - Google Patents

냉장고 안의 객체에 관한 정보를 제공하는 방법 및 시스템 Download PDF

Info

Publication number
KR102637119B1
KR102637119B1 KR1020180128326A KR20180128326A KR102637119B1 KR 102637119 B1 KR102637119 B1 KR 102637119B1 KR 1020180128326 A KR1020180128326 A KR 1020180128326A KR 20180128326 A KR20180128326 A KR 20180128326A KR 102637119 B1 KR102637119 B1 KR 102637119B1
Authority
KR
South Korea
Prior art keywords
refrigerator
container
image
camera
camera image
Prior art date
Application number
KR1020180128326A
Other languages
English (en)
Other versions
KR20200046751A (ko
Inventor
김재환
김태훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180128326A priority Critical patent/KR102637119B1/ko
Priority to CN201980068090.9A priority patent/CN112889019A/zh
Priority to EP19875658.7A priority patent/EP3791251B1/en
Priority to PCT/KR2019/012599 priority patent/WO2020085665A1/en
Priority to US16/664,152 priority patent/US11508166B2/en
Publication of KR20200046751A publication Critical patent/KR20200046751A/ko
Application granted granted Critical
Publication of KR102637119B1 publication Critical patent/KR102637119B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D11/00—Self-contained movable devices, e.g. domestic refrigerators
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F25D2400/361—Interactive visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/06—Sensors detecting the presence of a product
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Thermal Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

냉장고 안의 객체에 관한 정보를 제공하는 방법이 개시된다. 구체적으로, 냉장고 안에 배치된 카메라를 통해서 냉장고 안에 보관된 복수의 객체를 촬영한 카메라 이미지를 획득하는 단계; 획득된 카메라 이미지를 디스플레이부에 표시하는 단계; 카메라 이미지에 포함된 복수의 객체 중에서 제 1 객체를 선택하는 제 1 사용자 입력을 수신하는 단계; 및 제 1 사용자 입력에 응답하여, 제 1 객체의 대체 이미지를 디스플레이부에 표시하는 단계를 포함하는 방법이 개시된다.

Description

냉장고 안의 객체에 관한 정보를 제공하는 방법 및 시스템{METHOD AND SYSTEM FOR PROVIDING INFORMATION REGARDING OBJECTS IN A REFRIGERATOR}
본 개시는 냉장고 안에 보관된 객체에 관한 정보를 제공하는 방법 및 시스템에 관한 것이다.
증강현실 연구는 1960년대 van Surtherland가 최초의 see-through HMD를 개발한 것에서 시작되었으며, 1990년대초 보잉사가 ‘Augmented Reality’라는 신조어를 등장시키면서 본격화되었다.
증강현실 플랫폼은 데스크탑 컴퓨터에서 출발하여 스마트폰으로 진화하고 있다. 초기 PC를 중심으로 이루어진 증강현실은 2000년 이후 PDA, UMPC, 모바일폰 등의 보급으로 모바일 증강현실의 플랫폼이 다양화되기 시작했고, 스마트폰의 보급이 본격화된 2009년 이후 모바일 증강현실의 현실 응용 가능성을 보여줬다. 스마트폰이 증강현실 플랫폼으로 주목받는 이유는 카메라 이외도 소형화와 경량화된 GPS, 나침반, 자기센서, 가속도센서, 터치센서, 근접센서, 조도센서, 와이파이, RFID 등 다양한 센서들이 내장되어 사용자의 위치 외에도 명령이나 의도를 파악할 수 있는 추가적인 정보를 실시간으로 제공하고 있기 때문이다.
증강현실의 플랫폼은 정보를 보기 위해 손에 스마트폰을 들고 있어야 하는 단점을 극복하기 위해 안경형으로 계속 진화하고 있다. 동시에 사물인터넷(IoT), 컴퓨터 비전, 실감콘텐츠, 인공지능 등 핵심기술의 진보로 다양한 활용 가능성에 대한 기대를 높여가고 있다.
일 실시예에 의하면, 사용자가 냉장고 문을 열지 않더라도 냉장고의 디스플레이부를 통해서 냉장고 안의 객체에 대한 정보를 확인할 수 있도록 하는 방법을 및 시스템이 제공될 수 있다. 일 실시예에 의하면, 증강현실(AR: augmented reality) 기술을 통해서 냉장고 안의 객체에 대한 다양한 정보를 제공하는 방법 및 시스템이 제공될 수 있다.
다른 실시예에 의하면, 냉장고 안에 보관된 용기들(예컨대, 반투명 용기) 각각의 내용물을 나타내는 식별 이미지들(예컨대, 아이콘)을 냉장고 안을 촬영한 카메라 이미지에 표시함으로써, 사용자가 냉장고 안의 용기들의 내용물을 쉽게 확인할 수 있도록 하는 방법 및 시스템이 제공될 수 있다.
일 실시예에 따른 냉장고 안의 객체에 관한 정보를 제공하는 방법은, 냉장고 안에 배치된 카메라를 통해서 냉장고 안에 보관된 복수의 객체를 촬영한 카메라 이미지를 획득하는 단계; 획득된 카메라 이미지를 디스플레이부에 표시하는 단계; 카메라 이미지에 포함된 복수의 객체 중에서 제 1 객체를 선택하는 제 1 사용자 입력을 수신하는 단계; 및 제 1 사용자 입력에 응답하여, 제 1 객체의 대체 이미지를 디스플레이부에 표시하는 단계를 포함할 수 있다.
일 실시예에 따른 냉장고는, 냉장고 안에 보관된 복수의 객체의 카메라 이미지를 획득하는 카메라; 획득된 카메라 이미지를 표시하는 디스플레이부; 카메라 이미지에 포함된 복수의 객체 중에서 제 1 객체를 선택하는 제 1 사용자 입력을 수신하는 사용자 입력부; 및 제 1 사용자 입력에 응답하여, 제 1 객체의 대체 이미지를 디스플레이부에 표시하는 프로세서를 포함할 수 있다.
일 실시예에 따른 냉장고 안의 용기(container)에 관한 정보를 제공하는 방법은, 냉장고 안에 배치된 카메라를 통해서 냉장고 안에 보관된 복수의 용기를 촬영한 제 1 카메라 이미지를 획득하는 단계; 제 1 카메라 이미지에 포함된 복수의 용기 각각에 저장된 내용물들을 식별하는 단계; 및 제 1 카메라 이미지 상에 내용물들 각각을 나타내는 식별 이미지들을 해당 용기와 관련하여 표시하는 단계를 포함할 수 있다.
일 실시예에 따른 냉장고는, 하나 이상의 인스트럭션을 저장하는 메모리; 및 메모리에 연결된 프로세서를 포함하고, 프로세서는, 하나 이상의 인스트럭션을 실행함으로써, 냉장고 안에 배치된 카메라를 통해서 냉장고 안에 보관된 복수의 용기를 촬영한 제 1 카메라 이미지를 획득하는 동작; 제 1 카메라 이미지에 포함된 복수의 용기 각각에 저장된 내용물들을 식별하는 동작; 및 제 1 카메라 이미지 상에 내용물들 각각을 나타내는 식별 이미지들을 해당 용기와 관련하여 표시하는 동작을 수행할 수 있다.
일 실시예에 따른 컴퓨터 프로그램 제품은, 냉장고 안에 배치된 카메라를 통해서 냉장고 안에 보관된 복수의 객체를 촬영한 카메라 이미지를 획득하는 동작; 획득된 카메라 이미지를 디스플레이부에 표시하는 동작; 카메라 이미지에 포함된 복수의 객체 중에서 제 1 객체를 선택하는 제 1 사용자 입력을 수신하는 동작; 및 제 1 사용자 입력에 응답하여, 제 1 객체의 대체 이미지를 디스플레이부에 표시하는 동작을 수행하도록 하는 프로그램이 저장된 기록매체를 포함할 수 있다.
일 실시예에 따른 컴퓨터 프로그램 제품은, 냉장고 안에 배치된 카메라를 통해서 냉장고 안에 보관된 복수의 용기를 촬영한 제 1 카메라 이미지를 획득하는 동작; 제 1 카메라 이미지에 포함된 복수의 용기 각각에 저장된 내용물들을 식별하는 동작; 및 제 1 카메라 이미지 상에 내용물들 각각을 나타내는 식별 이미지들을 해당 용기와 관련하여 표시하는 동작을 수행하도록 하는 프로그램이 저장된 기록매체를 포함할 수 있다.
도 1은 일 실시예에 따른 냉장고 안의 객체에 관한 정보를 제공하는 시스템을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 냉장고 안의 객체에 관한 정보를 제공하는 방법을 설명하기 위한 순서도이다.
도 3은 일 실시예에 따른 등록 객체 목록을 설명하기 위한 도면이다.
도 4a 내지 5는 일 실시예에 따른 냉장고가 객체의 대체 이미지를 디스플레이부에 표시하는 동작을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 냉장고 안의 객체에 관한 다양한 정보를 제공하는 방법을 설명하기 위한 순서도이다.
도 7은 일 실시예에 따른 냉장고가 대체 이미지의 다른 면을 제공하는 동작을 설명하기 위한 도면이다.
도 8 및 도 9는 일 실시예에 따른 냉장고가 객체에 관한 상세 정보를 제공하는 동작을 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 객체의 유통 기한에 관한 정보를 제공하는 방법을 설명하기 위한 순서도이다.
도 11은 일 실시예에 따른 냉장고가 객체의 유통 기한에 관한 정보를 제공하는 동작을 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 냉장고 안의 용기(container)에 관한 정보를 제공하는 방법을 설명하기 위한 순서도이다.
도 13은 일 실시예에 따른 냉장고가 내용물들 각각을 나타내는 식별 이미지들을 해당 용기와 관련하여 표시하는 동작을 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 용기의 등록과 관련된 GUI를 제공하는 방법을 설명하기 위한 순서도이다.
도 15는 일 실시예에 따른 냉장고가 용기의 이동 위치를 추적하는 동작을 설명하기 위한 도면이다.
도 16 및 도 17은 일 실시예에 따른 냉장고가 인식된 새로운 용기를 등록하는 동작을 설명하기 위한 도면이다.
도 18은 일 실시예에 따른 냉장고가 미인식된 새로운 용기를 등록하는 동작을 설명하기 위한 도면이다.
도 19는 일 실시예에 따른 용기의 등록일을 표시하는 방법을 설명하기 위한 순서도이다.
도 20은 일 실시예에 따른 냉장고가 용기의 등록일을 카메라 이미지 상에 표시하는 동작을 설명하기 위한 도면이다.
도 21은 일 실시예에 따른 모바일 단말이 냉장고 안의 객체에 관한 정보를 제공하는 동작을 설명하기 위한 도면이다.
도 22는 일 실시예에 따른 냉장고와 서버가 연동하여, 냉장고 안의 객체에 관한 정보를 제공하는 방법을 설명하기 위한 순서도이다.
도 23 및 도 24는 일 실시예에 따른 냉장고의 구조를 설명하기 위한 도면이다.
도 25 및 도 26은 일 실시예에 따른 냉장고의 기능을 설명하기 위한 블록구성도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명의 일 실시예에 대해 구체적으로 설명하기로 한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 일 실시예에 따른 냉장고 안의 객체에 관한 정보를 제공하는 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 일 실시예에 따른 냉장고 안의 객체에 관한 정보를 제공하는 시스템(이하, 정보 제공 시스템)은 냉장고(1000), 서버 장치(2000), 모바일 단말(3000)을 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 정보 제공 시스템이 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 정보 제공 시스템이 구현될 수 있다. 예를 들어, 정보 제공 시스템은, 냉장고(1000)와 서버 장치(2000)로 구현될 수도 있고, 냉장고(1000)와 모바일 단말(3000)로 구현될 수도 있고, 냉장고(1000)만으로 구현될 수도 있다. 각 구성에 대해서 살펴보기로 한다.
일 실시예에 따른 냉장고(1000)는, 식품을 냉장 보관하거나 또는 냉동 보관하는 전자 장치(또는, 가전 장치)일 수 있다. 냉장고(1000)는 식품뿐만 아니라 약품(medicine), 주류(alcoholic liquor) 또는 화장품(cosmetics) 등을 보관할 수도 있다.
일 실시예에 따른 냉장고(1000)는, 냉장고(1000) 안에 보관되어 있는 객체에 관한 정보를 제공할 수 있다. 본 명세서에서 객체는, 냉장고(1000)에 보관 가능한 요소로서, 예를 들어, 식품(예컨대, 과일, 채소 등과 같은 신선 식품, 조리된 음식, 가공 제품, 조미료, 레토르트 식품), 반찬이나 식품을 담기 위한 용기(예컨대, 반투명 통, 투명 통, 불투명 통), 음료수(예컨대, 생수, 탄산수, 요거트, 커피, 우유 등), 통조림, 소스(예컨대, 캐찹, 마요네즈, 샐러드 드레싱, 스테이크 소스 등), 약품, 주류, 화장품 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 따르면, 냉장고(1000)는 냉장고(1000) 내부를 확인하기 위한 적어도 하나 이상의 카메라를 내장할 수 있다. 냉장고(1000)는 적어도 하나 이상의 카메라를 이용하여 각 선반에 보관 중인 객체의 이미지를 획득할 수 있다. 일 실시예에 의하면, 냉장고(1000)는 디스플레이부를 포함할 수도 있다. 따라서, 냉장고(1000)는 적어도 하나 이상의 카메라를 통해 획득된 이미지를 디스플레이부에 표시할 수 있다. 이 경우, 사용자들은 냉장고(1000)의 문을 열지 않더라도 냉장고(1000) 안에 보관된 객체를 확인할 수 있다.
한편, 이미지 상에서 제 1 객체가 제 2 객체에 의해 일부 가려져 있는 경우, 사용자가 제 1 객체를 선택하면, 냉장고(1000)는 제 1 객체의 대체 이미지를 이미지 상에 표시할 수 있다. 이 경우, 사용자는 제 2 객체에 의해 일부 가려져 있던 제 1 객체를 명확히 식별할 수 있다. 냉장고(1000)가 객체의 대체 이미지를 표시하는 동작에 대해서는 도 2를 참조하여 후에 좀 더 자세히 살펴보기로 한다.
일 실시예에 의하면, 냉장고(1000)는 이미지에 포함된 용기들 각각의 내용물들을 식별하기 위한 식별 이미지들(예컨대, 아이콘)을 해당 용기와 관련하여 디스플레이부에 표시할 수도 있다. 냉장고(1000)가 식별 이미지들(예컨대, 아이콘)을 이미지 상에 표시하는 동작에 대해서는 도 12를 참조하여 후에 자세히 살펴보기로 한다.
다른 실시예에 의하면, 냉장고(1000)는 통신 링크가 형성된 모바일 단말(3000)을 통해서 객체에 관한 정보를 사용자에게 제공할 수도 있다. 냉장고(1000)가 모바일 단말(3000)을 통해서 냉장고(1000)에 보관 중인 객체에 관한 정보를 제공하는 동작에 대해서는 도 21을 참조하여 후에 자세히 살펴보기로 한다.
일 실시예에 의하면, 냉장고(1000)는 사용자로부터의 음성 입력 또는 터치 입력을 감지할 수 있다. 명세서 전체에서 "터치 입력"이란 사용자가 냉장고(1000)를 제어하기 위해 터치 스크린에 행하는 제스처 등을 의미한다. 예를 들어, 본 명세서에서 기술되는 터치 입력에는 탭, 터치&홀드, 더블 탭, 드래그, 핀치, 드래그 앤드 드롭 등이 있을 수 있다.
"탭(tap)"은 사용자가 손가락이나 터치 도구(예컨대, 전자 펜)를 이용하여 화면을 터치한 후 움직이지 않은 채 화면에서 즉시 들어올리는 동작을 나타낸다.
"터치&홀드(touch & hold)"는 사용자가 손가락이나 터치 도구(예컨대, 전자 펜)를 이용하여 화면을 터치한 후 임계 시간(예컨대, 2초) 이상 터치 입력을 유지하는 동작을 나타낸다. 예를 들어, 터치-인 시점과 터치-아웃 시점 간의 시간 차이가 임계 시간(예컨대, 2초) 이상인 경우를 의미한다. 터치 입력이 탭인지 터치&홀드인지를 사용자에게 인식시키도록 하기 위하여 터치 입력이 임계 시간 이상 유지되면 시각적 또는 청각적 또는 촉각적으로 피드백 신호를 제공할 수도 있다. 상기 임계 시간은 구현 예에 따라서 변경될 수 있다.
"더블 탭(double tap)"은 사용자가 손가락이나 터치 도구(stylus)를 이용하여 화면을 두 번 터치하는 동작을 나타낸다.
"드래그(drag)"는 사용자가 손가락이나 터치 도구를 화면에 터치한 후 터치를 유지한 상태에서 손가락이나 터치 도구를 화면 내의 다른 위치로 이동시키는 동작을 의미한다. 드래그 동작으로 인하여 오브젝트가 이동되거나 후술할 패닝 동작이 수행된다.
"드래그 앤드 드롭(drag & drop)"은 사용자가 손가락이나 터치 도구를 이용해 오브젝트를 화면 내 소정 위치에 드래그한 후 놓는 동작을 의미한다.
"핀치(pinch)"는 사용자가 두 손가락을 화면 위에 터치한 상태에서 서로 다른 방향으로 움직이는 동작을 나타낸다. 오브젝트 또는 페이지의 확대(Pinch Open) 또는 축소(Pinch Close)를 위한 제스처이며, 두 손가락의 거리에 따라 확대 값이나 축소 값이 결정된다.
"스와이프(swipe)"는 손가락이나 터치 도구로 화면 위의 오브젝트를 터치한 상태에서 수평 또는 수직 방향으로 일정 거리를 움직이는 동작이다.
일 실시예에 의하면, 냉장고(1000)는, 냉장고(1000) 안에서의 객체의 이동 위치를 추적하고, 새로운 객체를 인식하기 위한 인공 지능 모델을 포함할 수 있다. 일 실시예에 의하면, 냉장고(1000)는, 학습 데이터를 이용하여, 인공 지능 모델을 직접 생성하거나, 갱신(refine)할 수 있다. 또한, 냉장고(1000)는, 서버 장치(2000)에서 학습된 인공 지능 모델을 서버 장치(2000)로부터 수신하여, 저장할 수도 있다.
일 실시예에 의하면, 냉장고(1000)는, 외부의 장치와 통신을 수행하기 위한 통신 인터페이스를 포함할 수 있다. 일 실시예에 의하면, 냉장고(1000)는 통신 인터페이스를 통해 서버 장치(2000) 또는 모바일 단말(3000)과 통신을 수행할 수 있다. 통신 인터페이스는, 근거리 통신부, 이동 통신부 등을 포함할 수 있다. 근거리 통신부(short-range wireless communication interface)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication interface), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 서버 장치(2000)는, AI 프로세서를 포함할 수 있다. AI 프로세서는 인공신경망을 학습시켜, 객체의 이동 위치를 추적하고, 새로운 객체를 인식하기 위한 인공 지능 모델을 생성할 수 있다. 인공신경망을 ‘학습’시킨다는 것은 데이터를 바탕으로 가중치를 적절히 바꿔주면서 인공신경망을 구성하는 뉴런들의 연결이 최적의 의사결정을 할 수 있는 수학적 모델을 만드는 것을 의미할 수 있다.
일 실시예에 의하면, 서버 장치(2000)는, 외부의 장치와 통신을 수행하기 위한 통신 인터페이스를 포함할 수 있다. 일 실시예에 의하면, 서버 장치(2000)는 통신 인터페이스를 통해 냉장고(1000) 또는 모바일 단말(3000)과 통신을 수행할 수 있다. 일 실시예에 의하면, 냉장고(1000)는, 냉장고(1000)의 식별 정보 또는 사용자의 식별 정보(로그인 정보)를 서버 장치(2000)로 전송하고, 냉장고(1000)의 식별 정보 또는 사용자의 식별 정보(로그인 정보)를 서버 장치(2000)로부터 인증 받음으로써, 서버 장치(2000)에 접근할 수 있다.
모바일 단말(3000)은, 냉장고(1000)와 동일한 계정 정보로 연결된 장치일 수 있다. 모바일 단말(3000)은 냉장고(1000)와 근거리 통신 링크를 통해서 직접 연결될 수도 있고, 서버 장치(2000)를 통해서 냉장고(1000)와 간접적으로 연결될 수도 있다.
일 실시예에 따른 모바일 단말(3000)은 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 모바일 단말(3000), 디지털 카메라, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어 등이 있을 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 모바일 단말(3000)은 사용자에 의해 착용될 수 있는 장치(wearable device)일 수 있다. 웨어러블 디바이스는 액세서리 형 장치(예컨대, 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈), 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형 장치(예: 전자 의복), 신체 부착형 장치(예컨대, 스킨 패드(skin pad)), 또는 생체 이식형 장치(예: implantable circuit) 중 적어도 하나를 포함할 수 있다. 이하에서는, 설명의 편의상, 모바일 단말(3000)이 스마트폰인 경우를 예로 들어 설명하기로 한다.
도 2는 일 실시예에 따른 냉장고 안의 객체에 관한 정보를 제공하는 방법을 설명하기 위한 순서도이다.
단계 S210에서, 일 실시예에 따른 냉장고(1000)는, 냉장고(1000) 안에 배치된 카메라를 통해서 냉장고(1000) 안에 보관된 복수의 객체를 촬영한 카메라 이미지를 획득할 수 있다.
일 실시예에 의하면, 카메라 이미지는 RGB 이미지일 수 있다. 또한, 일 실시예에 의하면, 카메라 이미지는 흑백 이미지일 수도 있으나, 이에 한정되는 것은 아니다. 일 실시예에 의하면, 카메라 이미지는 2차원 이미지일 수도 있고, 3차원 이미지일 수도 있다.
일 실시예에 의하면, 냉장고(1000) 안에 카메라가 여러 개 배치될 수 있다. 예를 들어, 냉장고(1000)의 크기에 따라서 선반 마다 카메라가 설치될 수 있다. 카메라가 복수 개 배치된 경우, 냉장고(1000)는 복수의 카메라 이미지를 획득할 수 있다. 예를 들어, 냉장고(1000)는 제 1 카메라를 이용하여 첫 번째 선반에 보관되고 있는 제 1 객체들을 포함하는 제 1 카메라 이미지를 획득하고, 제 2 카메라를 이용하여 두 번째 선반에 보관되고 있는 제 2 객체들을 포함하는 제 2 카메라 이미지를 획득하고, 제 3 카메라를 이용하여 세 번째 선반에 보관되고 있는 제 3 객체들을 포함하는 제 3 카메라 이미지를 획득할 수 있다.
한편, 카메라 이미지는, 복수의 카메라 이미지를 연결한 이미지일 수도 있다. 예를 들어, 카메라 이미지는, 제 1 카메라 이미지, 제 2 카메라 이미지, 제 3 카메라 이미지를 연결한 파노라마 이미지일 수도 있다.
일 실시예에 의하면, 냉장고(1000)는, 사용자가 문을 개폐하고 소정 시간 경과 후(예컨대, 냉장고(1000) 문이 닫히고 3초 후)에 카메라를 이용하여 카메라 이미지를 획득할 수 있다. 이 경우, 냉장고(1000)는, 사용자가 문을 개폐함에 따라 냉장고(1000) 안에 보관 중인 객체들이 변경될 수 있으므로, 변경된 객체들의 실시간 이미지를 획득할 수 있다.
일 실시예에 의하면, 냉장고(1000)는 소정 시간 간격으로 카메라를 이용하여 카메라 이미지를 획득할 수 있다. 예를 들어, 냉장고(1000)는 3시간 간격으로 카메라를 이용하여 카메라 이미지를 획득할 수도 있다.
한편, 일 실시예에 의하면, 냉장고(1000) 안에 카메라가 복수 개 배치된 경우, 카메라 마다 이미지 검출 시점이 상이할 수도 있다. 예를 들어, 제 1 카메라는 문을 개폐하고 소정 시간이 경과한 후에 제 1 선반에 대한 제 1 카메라 이미지를 획득할 수 있고, 제 2 카메라는 소정 시간 간격으로 제 2 선반에 대한 제 2 카메라 이미지를 획득할 수 있다.
단계 S220에서, 일 실시예에 따른 냉장고(1000)는, 카메라 이미지를 디스플레이부에 표시할 수 있다.
일 실시예에 의하면, 냉장고(1000)는 냉장고(1000)의 디스플레이부에 카메라 이미지를 표시할 수 있다. 예를 들어, 냉장고(1000)는, 새로운 카메라 이미지가 획득되는 경우, 실시간으로 새로 획득된 카메라 이미지를 냉장고(1000)의 디스플레이부에 표시할 수 있다. 또한, 냉장고(1000)는, 사용자가 냉장고(1000) 안의 카메라 이미지를 요청하는 입력을 수신하는 경우, 가장 최근에 촬영된 카메라 이미지를 냉장고(1000)의 디스플레이부에 표시할 수 있다.
일 실시예에 의하면, 냉장고(1000)는, 냉장고(1000)에 연결된 모바일 단말(3000)을 통해서 카메라 이미지를 표시할 수도 있다. 예를 들어, 사용자가 모바일 단말(3000)에서 냉장고 관리 애플리케이션을 실행시키는 경우, 모바일 단말(3000)은 냉장고 관리 애플리케이션의 실행 창에 카메라 이미지를 표시할 수 있다. 모바일 단말(3000)에서 카메라 이미지를 표시하는 동작에 대해서는 도 21을 참조하여 후에 자세히 살펴보기로 한다.
단계 S230에서, 일 실시예에 따른 냉장고(1000)는, 카메라 이미지에 포함된 복수의 객체 중에서 제 1 객체를 선택하는 제 1 사용자 입력을 수신할 수 있다.
일 실시예에 의하면, 제 1 사용자 입력은 카메라 이미지 상의 제 1 객체를 터치하는 터치 입력일 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 제 1 객체는 사용자가 카메라 이미지 상에서 명확히 확인하기 어려운 객체일 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 제 1 객체는 다른 객체에 의해 일부가 가려진 객체일 수 있다. 또한, 제 1 객체는 쓰러져 있는 객체일 수도 있고, 선반 뒤쪽에 위치하여 카메라 이미지 상에 작게 표시되는 객체일 수도 있다.
일 실시예에 의하면, 냉장고(1000)는, 카메라 이미지를 분석한 결과에 기초하여, 적어도 하나의 객체를 식별할 수 있다. 예를 들어, 냉장고(1000)의 프로세서는, 카메라 이미지에 포함된 객체들 각각의 이미지를 기 등록된 객체들의 이미지들을 포함하는 등록 객체 목록과 비교하여, 카메라 이미지에 포함된 객체들 각각을 식별할 수 있다.
일 실시예에 의하면, 등록 객체 목록은 냉장고(1000)에 보관된 객체들의 목록일 수 있다. 냉장고(1000)에 새로운 객체가 추가되거나, 냉장고(1000)에서 특정 객체가 제거되는 경우, 등록 객체 목록은 업데이트될 수 있다. 본 명세서에서, 객체의 등록은 객체가 냉장고(1000)에서 보관되기 시작하고, 객체의 정보가 등록 객체 목록에 추가되는 것을 의미할 수 있다.
예를 들어, 도 3을 참조하면, 등록 객체 목록(300)은 객체 이미지(301), 품명(302), 유통 기한(303) 등의 정보를 포함할 수 있으나, 이에 한정되는 것은 아니다. 객체 이미지(301)는 객체가 냉장고(1000)에 보관될 때 냉장고(1000)에 배치된 카메라에 의해 촬영된 객체의 이미지일 수 있다. 또한, 객체 이미지(301)는 웹 서버에서 검색된 이미지이거나 사용자가 저장한 이미지일 수도 있으나, 이에 한정되는 것은 아니다. 객체의 품명(302) 및 유통 기한(303)은 객체 이미지(301)에 대한 광학 문자 인식 (OCR) 동작을 수행하여 등록될 수도 있고, 사용자로부터 입력 받아 등록될 수도 있다. 광학 문자 인식 (OCR, Optical Character Recognition)은 이미지 문서에 포함된 한글, 영문, 숫자 폰트 등을 편집 가능한 텍스트로 변환하는 기술을 의미한다.
일 실시예에 의하면, 냉장고(1000)의 프로세서는, 카메라 이미지를 등록 객체 목록(300)에 포함된 객체들의 이미지들과 비교함으로써, 객체의 종류, 객체의 명칭, 객체의 위치 등을 검출할 수 있다. 예를 들어, 사용자가 카메라 이미지 상에서 우유병이 표시된 제 1 위치를 터치하는 경우, 냉장고(1000)는, 제 1 위치에 존재하는 우유병의 이미지를 등록 객체 목록(300)의 객체 이미지들과 비교하여, 사용자가 복수의 객체 중에서 우유병을 선택한 것을 감지할 수 있다.
일 실시예에 의하면, 냉장고(1000)는, 객체 식별을 위한 인공 지능 모델에 카메라 이미지를 적용하여, 카메라 이미지에 포함된 적어도 하나의 객체를 식별할 수도 있다.
단계 S240에서, 일 실시예에 따른 냉장고(1000)는, 제 1 사용자 입력에 응답하여, 제 1 객체의 대체 이미지를 디스플레이부에 표시할 수 있다.
일 실시예에 의하면, 제 1 객체의 대체 이미지는 제 1 객체를 명확히 인식할 수 있는 전체 이미지일 수 있다. 일 실시예에 의하면, 제 1 객체의 대체 이미지는 2차원 이미지일 수도 있고, 3차원 이미지일 수도 있다.
일 실시예에 의하면, 제 1 객체의 대체 이미지는 제 1 객체에 대응하는 제품의 대표 면의 이미지(예컨대, 정면 이미지)를 포함할 수 있다. 이 경우, 냉장고(1000)는, 제 1 객체를 선택하는 제 1 사용자 입력에 응답하여, 제 1 객체에 대응하는 제품의 대표 면의 이미지를 검색할 수 있다. 예를 들어, 냉장고(1000)는 등록 객체 목록(300)에서 대표 면의 이미지를 검색할 수도 있고, 외부의 웹 서버 또는 서버 장치(2000)에서 대표 면의 이미지 검색할 수도 있다. 냉장고(1000)는, 검색된 대표 면의 이미지를 디스플레이부에 표시할 수 있다. 이때, 대표 면의 이미지는 등록 객체 목록(300)에 등록되어 있는 객체 이미지(301)일 수도 있고, 웹 서버에서 제품명을 키워드로 하여 검색된 이미지일 수도 있고, 서버 장치(3000)로부터 수신한 이미지일 수도 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 냉장고(1000)는, 제 1 객체의 대체 이미지를 카메라 이미지의 제 1 객체 위에 중첩하여 표시할 수 있다. 예를 들어, 냉장고(1000)는, 증강 현실(AR) 기술을 이용하여, 제 1 객체 위에 제 1 객체의 대체 이미지를 중첩하여 표시할 수 있다.
일 실시예에 의하면, 냉장고(1000)는, 카메라 이미지가 표시된 제 1 영역과 상이한 제 2 영역에 제 1 객체의 대체 이미지를 표시할 수도 있다. 이하에서는 도 4a 내지 도 5를 참조하여, 냉장고(1000)가 제 1 객체의 대체 이미지를 디스플레이부에 표시하는 동작에 대해서 좀 더 구체적으로 살펴보기로 한다.
도 4a 내지 5는 일 실시예에 따른 냉장고가 객체의 대체 이미지를 디스플레이부에 표시하는 동작을 설명하기 위한 도면이다.
도 4a를 참조하면, 냉장고(1000)는, 카메라를 이용하여, 냉장고(1000) 안의 객체들을 촬영한 카메라 이미지(410)를 디스플레이부(1411)에 표시할 수 있다. 사용자는 카메라 이미지(410)를 통해서 냉장고(1000)의 문을 열지 않더라도 냉장고(1000) 안의 객체들을 확인할 수 있다. 하지만, 제 1 객체(400)가 통조림과 음료수 캔에 가려 정확하게 식별되지 않는 경우, 사용자는 카메라 이미지(410) 내에서 제 1 객체(400)를 터치할 수 있다. 이때, 냉장고(1000)는 제 1 객체(400)를 터치하는 사용자 입력을 감지할 수 있다.
도 4b를 참조하면, 냉장고(1000)는 제 1 객체(400)를 터치하는 사용자 입력에 응답하여, 제 1 객체(400)의 대체 이미지(411)를 획득할 수 있다. 예를 들어, 제 1 객체(400)의 대체 이미지(411)는 등록 시 저장된 이미지(401)일 수도 있고, 웹 서버에서 검색된 이미지(402)일 수도 있고, 서버 장치(2000)에서 수신된 이미지(403)일 수도 있다. 냉장고(1000)는 증강현실(AR) 기술을 이용하여 제 1 객체(400)의 대체 이미지(411)를 제 1 객체(400) 위에 표시할 수 있다. 이때, 사용자는 제 1 객체(400)의 대체 이미지(411)를 통해서, 제 1 객체(400)가 스테이크 소스 병이라는 것을 명확히 인식할 수 있다. 일 실시예에 의하면, 제 1 객체(400)의 대체 이미지(411)가 표시되고 소정 시간(예컨대, 1분)이 경과하면, 냉장고(1000)는 제 1 객체(400)의 대체 이미지(411)를 카메라 이미지(410) 상에서 삭제할 수도 있다.
도 4c를 참조하면, 냉장고(1000)는, 제 1 객체(400)를 터치하는 사용자 입력에 응답하여, 카메라 이미지(410)가 표시된 제 1 영역과 상이한 제 2 영역(420)에 제 1 객체(400)의 대체 이미지(411)를 표시할 수도 있다. 이때, 냉장고(1000)는, 등록 객체 목록(300)에 기반하여, 제 2 영역(420)에 제 1 객체(400)의 품명(스테이크 소스), 제 1 객체(400)의 유통 기한(2020.12.31)을 더 표시할 수도 있다.
도 5의 500-1 화면을 참조하면, 사용자는 카메라 이미지(410) 내에서 쓰러져서 잘 보이지 않는 제 2 객체(500)를 터치할 수 있다. 이 경우, 냉장고(1000)는 사용자가 제 2 객체(500)를 터치하는 사용자 입력을 감지할 수 있다.
도 5의 500-2 화면을 참조하면, 냉장고(1000)는 제 2 객체(500)를 터치하는 사용자 입력에 응답하여, 제 2 객체(500)의 대체 이미지(510)를 검색할 수 있다. 예를 들어, 냉장고(1000)는 등록 객체 목록(300)에서 제 2 객체(500)에 대응하는 객체 이미지(예컨대, 대표 면의 이미지)를 검색할 수 있다. 제 2 객체(500)의 대체 이미지(510)는, 제 2 객체(500)가 똑바로 서 있는 모습의 이미지일 수 있다.
일 실시예에 의하면, 냉장고(1000)는 카메라 이미지(410) 내의 제 2 객체(500) 위에 제 2 객체(500)의 대체 이미지(510)를 표시할 수 있다. 이 경우, 사용자는 쓰러져서 식별할 수 없었던 제 2 객체(500)가 생수임을 확인할 수 있다.
도 6은 일 실시예에 따른 냉장고 안의 객체에 관한 다양한 정보를 제공하는 방법을 설명하기 위한 순서도이다.
단계 S610에서, 일 실시예에 따른 냉장고(1000)는, 카메라 이미지에 포함된 복수의 객체 중에서 제 1 객체와 관련된 사용자 입력을 수신할 수 있다. 제 1 객체와 관련된 사용자 입력은 음성 입력일 수도 있고 터치 입력일 도 있으나, 이에 한정되는 것은 아니다.
예를 들어, 제 1 객체와 관련된 사용자 입력은, 제 1 객체의 대체 이미지를 회전시키는 제 2 사용자 입력 및 제 1 객체에 관한 상세 정보를 요청하는 제 3 사용자 입력을 포함할 수 있다.
단계 S620에서, 일 실시예에 따른 냉장고(1000)는, 제 1 객체와 관련된 사용자 입력이 제 1 객체의 대체 이미지를 회전시키는 제 2 사용자 입력인지 판단할 수 있다. 예를 들어, 제 2 사용자 입력은, 제 1 객체의 대체 이미지 또는 제 1 객체의 대체 이미지의 인접 영역을 터치한 채 원을 그리는 입력 또는 제 1 객체의 대체 이미지를 회전시키라는 음성 입력(예컨대, 다른 면을 보여줘)일 수 있으나, 이에 한정되는 것은 아니다.
단계 S630에서, 일 실시예에 따른 냉장고(1000)는, 제 2 사용자 입력에 응답하여, 대체 이미지의 다른 면을 표시할 수 있다.
예를 들어, 표시된 대체 이미지가 제 1 객체에 대응하는 제품의 앞면 이미지인 경우, 냉장고(1000)는, 제 2 사용자 입력에 응답하여, 제품의 측면 이미지 또는 제품의 뒷면 이미지를 표시할 수 있다.
일 실시예에 의하면, 냉장고(1000)는, 제 1 객체의 대체 이미지의 인접 영역을 터치한 채 원을 그리는 입력이 수신되는 경우, 터치 시작점을 포함하는 수평선(이하, 제 1 라인)과 터치 시작점과 터치 종료점을 연결한 선(이하, 제 2 라인)이 이루는 각도에 따라 대체 이미지의 다른 면을 표시할 수도 있다. 예를 들어, 제 1 라인과 제 2 라인이 이루는 각도가 30도 미만인 경우, 제 1 객체에 대응하는 제품의 우측면 이미지를 표시하고, 제 1 라인과 제 2 라인이 이루는 각도가 30도에서 90도 사이인 경우, 제 1 객체에 대응하는 제품의 뒷면 이미지를 표시하고, 제 1 라인과 제 2 라인이 이루는 각도가 90도 이상인 경우, 제 1 객체에 대응하는 제품의 좌측면 이미지를 표시할 수 있다.
단계 S640에서, 일 실시예에 따른 냉장고(1000)는, 제 1 객체와 관련된 사용자 입력이 제 1 객체에 관한 상세 정보를 요청하는 제 3 사용자 입력인지 판단할 수 있다.
예를 들어, 제 3 사용자 입력은, 제 1 객체의 대체 이미지를 두 손가락으로 터치한 상태에서 서로 다른 방향으로 두 손가락을 움직이는 핀치 입력 또는 제 1 객체의 대체 이미지에 대한 더블 탭 입력일 수 있으나, 이에 한정되는 것은 아니다. 제 3 사용자 입력은 제 1 객체의 대체 이미지 중에서 제품 정보가 포함된 부분을 터치하는 입력일 수도 있고, 제 1 객체에 관한 상세 정보를 요청하는 음성 입력일 수 있다.
단계 S650에서, 일 실시예에 따른 냉장고(1000)는, 제 3 사용자 입력에 응답하여, 제 1 객체에 관한 상세 정보를 디스플레이부에 표시할 수 있다.
일 실시예에 의하면, 제 1 객체에 관한 상세 정보는, 예를 들어, 제 1 객체의 보관 방법, 제 1 객체의 제조사 정보, 제 1 객체의 성분 정보, 제 1 객체의 유통 기한, 제 1 객체의 용량, 제 1 객체의 원산지, 제 1 객체의 제조일, 제 1 객체의 식품 유형, 제 1 객체의 용도 및 용법 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 냉장고(1000)는, 제 1 객체에 관한 상세 정보를 카메라 이미지 위에 중첩하여 표시할 수 있다. 다른 실시예에 의하면, 냉장고(1000)는, 제 1 객체에 관한 상세 정보를 카메라 이미지가 표시된 제 1 영역과 상이한 제 2 영역에 표시할 수도 있다.
도 7 내지 도 9를 참조하여, 냉장고(1000)가 객체에 관한 다양한 정보를 제공하는 동작에 대해서 좀 더 살펴보기로 한다.
도 7은 일 실시예에 따른 냉장고가 대체 이미지의 다른 면을 제공하는 동작을 설명하기 위한 도면이다. 도 7에서는 제 1 객체가 스테이크 소스 병인 경우를 예로 들어 설명하기로 한다.
도 7의 700-1 화면을 참조하면, 냉장고(1000)는, 카메라 이미지(711) 상에 표시된 제 1 객체(스테이크 소스 병)의 대체 이미지를 회전시키는 제 2 사용자 입력(700)을 수신할 수 있다. 이때, 제 1 객체의 대체 이미지는 스테이크 소스 병의 정면 이미지(710)일 수 있다. 예를 들어, 냉장고(1000)는, 제 1 객체의 대체 이미지의 인접 영역을 터치한 채 원을 그리는 제 2 사용자 입력(700)을 수신할 수 있다.
도 7의 700-2 화면을 참조하면, 냉장고(1000)는, 제 2 사용자 입력(700)에 응답하여, 제 1 객체의 대체 이미지를 스테이크 소스 병의 정면 이미지(710)에서 스테이크 소스 병의 후면 이미지(720)로 변경하여 표시할 수 있다.
일 실시예에 의하면, 사용자는 제 1 객체의 대체 이미지에 대한 회전 입력(터치 입력)을 통해 쉽게 제 1 객체의 다른 면을 확인할 수 있다.
도 8 및 도 9는 일 실시예에 따른 냉장고가 객체에 관한 상세 정보를 제공하는 동작을 설명하기 위한 도면이다. 도 8 및 도 9에서는 제 1 객체가 스테이크 소스 병인 경우를 예로 들어 설명하기로 한다.
도 8의 800-1 화면을 참조하면, 냉장고(1000)는, 카메라 이미지(811) 상에 표시된 제 1 객체의 대체 이미지(800)에 대한 핀치 입력(810)을 수신할 수 있다. 예를 들어, 냉장고(1000)는, 두 손가락으로 제 1 객체의 대체 이미지(800)를 터치한 상태에서 두 손가락을 각각 다른 방향으로 이동시키는 입력을 수신할 수 있다.
도 8의 800-2 화면을 참조하면, 냉장고(1000)는, 제 1 객체의 대체 이미지(800)에 대한 핀치 입력(810)에 응답하여, 제 1 객체에 대한 상세 정보(820)(예컨대, 제품 설명서)를 카메라 이미지(811) 위에 표시할 수 있다. 예를 들어, 냉장고(1000)는, 제 1 객체의 제품명(스테이크 소스), 식품의 유형(소스류), 소비자 상담실, 원산지(미국), 내용량(849g), 제조회사, 원료명 및 함량, 용도 및 용법, 보관상 주의 사항 등을 표시할 수 있다.
일 실시예에 의하면, 냉장고(1000)는, 제 1 객체에 대한 상세 정보(820)를 냉장고(1000)의 내부 메모리에 저장된 등록 객체 데이터베이스로부터 획득할 수도 있고, 서버 장치(2000)로부터 수신할 수도 있으나, 이에 한정되는 것은 아니다.
도 9를 참조하면, 냉장고(1000)는 카메라 이미지(901)에 표시된 제 1 객체의 대체 이미지(900)에 대한 더블 탭 입력(910)을 감지할 수 있다. 이 경우, 냉장고(1000)는, 카메라 이미지(901)가 표시된 제 1 영역과 상이한 제 2 영역에 제 1 객체에 대한 상세 정보(902)(예컨대, 제품 설명서)를 표시할 수 있다.
이 경우, 사용자는 냉장고(1000) 문을 열고 제 1 객체를 꺼내서 제 1 객체의 표면에 기재되어 있는 제품 설명서를 읽지 않더라도, 제 1 객체의 대체 이미지(910)에 대한 더블 탭 입력(910)만으로 간단하게 제품에 대한 상세 정보를 확인할 수 있다.
도 10은 일 실시예에 따른 객체의 유통 기한에 관한 정보를 제공하는 방법을 설명하기 위한 순서도이다.
단계 S1010에서, 일 실시예에 따른 냉장고(1000)는, 복수의 객체 중에서 유통 기한이 기 설정된 기한 내인 적어도 하나의 객체를 선택할 수 있다.
예를 들어, 냉장고(1000)는, 기 설정된 기한이 일주일인 경우, 현재로부터 유통 기한이 일주일이 채 남지 않은 적어도 하나의 객체를 선택할 수 있다. 예컨대, 제 1 객체는 유통 기한이 1년이 남아있고, 제 2 객체는 유통 기한이 두 달이 남아있고, 제 3 객체는 유통 기한이 5일이 남아있는 경우, 냉장고(1000)는 복수의 객체 중에서 제 3 객체를 선택할 수 있다.
일 실시예에 의하면, 기 설정된 기한은 사용자의 입력에 의해 변경될 수도 있다. 예를 들어, 사용자가 유통 기한이 2주가 남지 않은 경우 알림을 받고 싶은 경우, 사용자는 기 설정된 기한을 2주로 변경할 수 있다.
일 실시예에 의하면, 객체의 초기 유통 기한의 길이 또는 객체의 사용 횟수에 따라 기 설정된 기한을 다르게 적용할 수도 있다. 예를 들어, 객체의 초기 유통 기한의 길이가 1년 이상으로 긴 경우, 기 설정된 기한을 한 달로 적용하고, 객체의 초기 유통 기한의 길이가 한 달 미만인 경우 기 설정된 기한을 1주일로 적용하고, 객체의 초기 유통 기한의 길이가 한달 이상 1년 미만인 경우, 기 설정된 기한을 2주일로 적용할 수 있다.
또한, 사용자가 자주 사용하는 객체인 경우, 기 설정된 기한을 짧게 적용하고, 사용자가 자주 사용하지 않는 객체인 경우에, 기 설정된 기한을 길게 적용할 수 있다. 예를 들어, 사용자가 제 1 객체를 하루에 한번씩 사용하는 경우, 제 1 객체에 대한 기 설정된 기한은 3일일 수 있고, 사용자가 제 2 객체를 한 달에 한번씩 사용하는 경우, 제 2 객체에 대한 기 설정된 기한은 한 달일 수 있다.
단계 S1020에서, 일 실시예에 따른 냉장고(1000)는, 적어도 하나의 객체 각각에 대응하는 유통 기한에 관한 정보를 카메라 이미지 상에 표시할 수 있다.
일 실시예에 의하면, 냉장고(1000)는, 해당 객체와 관련하여 유통 기한에 관한 정보를 카메라 이미지 상에 표시할 수 있다. 예를 들어, 냉장고(1000)는, 해당 객체 위에 유통 기한을 표시할 수도 있고, 해당 객체의 인접 영역에 유통 기한을 표시할 수도 있다. 또한, 냉장고(1000)는, 해당 객체와 유통 기한에 관한 정보를 선으로 연결하여 표시할 수도 있다.
도 11은 일 실시예에 따른 냉장고가 객체의 유통 기한에 관한 정보를 제공하는 동작을 설명하기 위한 도면이다.
도 11을 참조하면, 냉장고(1000)는 냉장고(1000) 안에 배치된 카메라를 통해서 냉장고(1000) 안을 촬영한 카메라 이미지(1110)를 획득할 수 있다. 냉장고(1000)는, 카메라 이미지(1110)를 분석하여, 카메라 이미지(1110)에 포함된 복수의 객체를 식별할 수 있다.
현재 날짜가 2018.10.20이고, 기 설정된 기한이 10일인 경우, 냉장고(1000)는, 식별된 복수의 객체 중에서 현재 날짜로부터 10일 이내에 유통 기한이 만료하는 제 3 객체(1120)를 선택할 수 있다. 그리고 냉장고(1000)는 카메라 이미지(1110) 위에 제 3 객체(1120)의 유통 기한에 관한 정보(1130)(예컨대, 유통기한: 2018/10/28)를 표시할 수 있다.
일 실시예에 의하면, 사용자는 유통 기한이 얼마 남지 않은 객체들을 쉽게 확인할 수 있으며, 유통 기한 내에 사용을 촉진할 수 있다.
도 12는 일 실시예에 따른 냉장고 안의 용기(container)에 관한 정보를 제공하는 방법을 설명하기 위한 순서도이다.
단계 S1210에서, 일 실시예에 따른 냉장고(1000)는, 냉장고(1000) 안에 배치된 카메라를 통해서 냉장고(1000) 안에 보관된 복수의 용기를 촬영한 제 1 카메라 이미지를 획득할 수 있다.
여기서, 용기(container)는 식재료를 넣어두기 위한 밀폐 용기를 의미할 수 있다. 용기는 플라스틱 용기, 유리 용기 등 다양할 수 있다. 또한, 용기는 투명한 용기일 수도 있고 반투명한 용기일 수도 있고 불투명한 용기일 수도 있다.
일 실시예에 의하면, 카메라 이미지는 RGB 이미지일 수 있다. 또한, 일 실시예에 의하면, 카메라 이미지는 흑백 이미지일 수도 있으나, 이에 한정되는 것은 아니다. 일 실시예에 의하면, 카메라 이미지는 2차원 이미지일 수도 있고, 3차원 이미지일 수도 있다.
일 실시예에 의하면, 냉장고(1000) 안에 카메라가 여러 개 배치될 수 있다. 예를 들어, 냉장고(1000)의 크기에 따라서 선반 마다 카메라가 설치될 수 있다. 카메라가 복수 개 배치된 경우, 냉장고(1000)는 복수의 카메라 이미지를 획득할 수 있다. 예를 들어, 냉장고(1000)는 제 1 카메라를 이용하여 첫 번째 선반에 보관되고 있는 제 1 용기들을 포함하는 제 1 카메라 이미지를 획득하고, 제 2 카메라를 이용하여 두 번째 선반에 보관되고 있는 제 2 용기들을 포함하는 제 2 카메라 이미지를 획득하고, 제 3 카메라를 이용하여 세 번째 선반에 보관되고 있는 제 3 용기들을 포함하는 제 3 카메라 이미지를 획득할 수 있다.
한편, 카메라 이미지는, 복수의 카메라 이미지를 연결한 이미지일 수도 있다. 예를 들어, 카메라 이미지는, 제 1 카메라 이미지, 제 2 카메라 이미지, 제 3 카메라 이미지를 연결한 파노라마 이미지일 수도 있다.
일 실시예에 의하면, 냉장고(1000)는, 사용자가 문을 개폐하고 소정 시간 경과 후(예컨대, 냉장고(1000) 문이 닫히고 3초 후)에 카메라를 이용하여 카메라 이미지를 획득할 수 있다. 이 경우, 냉장고(1000)는, 사용자가 문을 개폐함에 따라 냉장고(1000) 안에 보관 중인 용기들이 변경될 수 있으므로, 변경된 용기들의 실시간 이미지를 획득할 수 있다.
일 실시예에 의하면, 냉장고(1000)는 소정 시간 간격으로 카메라를 이용하여 카메라 이미지를 획득할 수 있다. 예를 들어, 냉장고(1000)는 3시간 간격으로 카메라를 이용하여 카메라 이미지를 획득할 수도 있다.
한편, 일 실시예에 의하면, 냉장고(1000) 안에 카메라가 복수 개 배치된 경우, 카메라 마다 이미지 검출 시점이 상이할 수도 있다. 예를 들어, 제 1 카메라는 문을 개폐하고 소정 시간이 경과한 후에 제 1 선반에 대한 제 1 카메라 이미지를 획득할 수 있고, 제 2 카메라는 소정 시간 간격으로 제 2 선반에 대한 제 2 카메라 이미지를 획득할 수 있다.
단계 S1220에서, 일 실시예에 따른 냉장고(1000)는, 제 1 카메라 이미지에 포함된 복수의 용기 각각에 저장된 내용물들을 식별할 수 있다.
일 실시예에 의하면, 냉장고(1000)는, 제 1 카메라 이미지를 분석하여, 제 1 카메라 이미지에 포함된 복수의 용기를 추출할 수 있다. 냉장고(1000)는, 추출된 복수의 용기 각각을 등록 용기 목록에 포함된 등록 용기들과 비교할 수 있다.
냉장고(1000)는, 복수의 용기 각각을 등록 용기들과 비교한 결과에 기초하여, 등록 용기 목록으로부터 복수의 용기 각각에 저장된 내용물들에 관한 정보를 획득할 수 있다. 일 실시예에 의하면, 등록 용기 목록은 등록된 용기의 이미지, 등록된 용기에 저장된 내용물에 관한 정보(예컨대, 식별 이미지), 등록일 등의 정보를 포함할 수 있다. 용기의 이미지는 용기가 냉장고(1000)에 보관될 때 냉장고(1000)에 배치된 카메라에 의해 촬영된 용기의 이미지일 수 있다. 용기에 저장된 내용물에 관한 정보(예컨대, 식별 이미지)는 등록 시 사용자로부터 입력받을 수 있다. 등록일은 용기가 냉장고(1000)에 보관되기 시작한 날짜를 의미할 수 있다.
따라서, 냉장고(1000)는 제 1 카메라 이미지에서 추출된 용기의 이미지를 등록 용기 목록에 포함된 등록 용기들의 이미지들과 비교하여, 추출된 용기를 식별하고, 추출된 용기에 저장된 내용물에 관한 정보를 등록 용기 목록으로부터 획득할 수 있다.
단계 S1230에서, 일 실시예에 따른 냉장고(1000)는, 제 1 카메라 이미지 상에 내용물들 각각을 나타내는 식별 이미지들을 해당 용기와 관련하여 표시할 수 있다.
일 실시예에 의하면, 용기의 내용물을 나타내는 식별 이미지는, 내용물의 주 재료를 나타내는 아이콘, 내용물을 대표하는 아이콘 등일 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 제 1 용기의 내용물이 호박 수프인 경우, 제 1 용기의 내용물을 나타내는 제 1 식별 이미지는 호박 아이콘일 수 있고, 제 2 용기의 내용물이 볶음밥인 경우, 제 2 용기의 내용물을 나타내는 제 2 식별 이미지는 볶음밥을 단순화한 아이콘일 수 있고, 제 3 용기의 내용물이 오이 김치인 경우, 제 3 용기의 내용물을 나타내는 제 3 이미지는 오이 아이콘일 수 있다. 일 실시예에 의하면, 용기의 내용물을 나타내는 식별 이미지는, 텍스트일 수도 있다. 예를 들어, 제 1 용기의 내용물이 호박 수프인 경우, 제 1 용기의 내용물을 나타내는 제 1 식별 이미지는 '호박 수프'이라는 텍스트를 포함하는 아이콘일 수 있다.
일 실시예에 의하면, 냉장고(1000)는 해당 용기의 내용물을 나타내는 식별 이미지를 해당 용기로부터 소정 거리 내에 표시할 수 있다. 예를 들어, 냉장고(1000)는, 제 1 용기의 내용물을 나타내는 제 1 식별 이미지를 제 1 용기 위에 표시할 수도 있고, 제 1 용기의 인접 영역에 표시할 수도 있다.
다른 실시예에 의하면, 냉장고(1000)는, 해당 용기의 내용물을 나타내는 식별 이미지를 해당 용기와 선으로 연결하여 제 1 카메라 이미지 상에 표시할 수도 있다. 예를 들어, 냉장고(1000)는, 제 1 용기의 내용물을 나타내는 제 1 식별 이미지를 제 1 용기와 선으로 연결하여 표시할 수도 있다.
일 실시예에 의하면, 사용자가 카메라 이미지를 통해서 용기 안에 저장된 내용물이 어떤 것인지 정확히 파악할 수 없는 경우에, 카메라 이미지 상에 용기 안의 내용물을 나타내는 식별 이미지를 표시해 줌으로써, 사용자가 냉장고(1000) 문을 열어서 용기를 꺼내지 않더라도, 용기 안에 어떤 내용물이 담겼는지 한눈에 파악할 수 있도록 할 수 있다.
일 실시예에 의하면, 냉장고(1000)는, 제 1 카메라 이미지를 획득한 이후, 냉장고 안에 보관된 복수의 용기를 촬영한 제 2 카메라 이미지를 획득할 수 있다. 예를 들어, 냉장고(1000)가 오후 1시에 냉장고(1000) 안을 촬영하여 제 1 카메라 이미지를 획득한 후, 오후 2시에 다시 냉장고(1000) 안을 촬영하여 제 2 카메라 이미지를 획득할 수 있다.
일 실시예에 의하면, 냉장고(1000)는, 제 2 카메라 이미지를 이용하여, 냉장고(1000) 안에서 복수의 용기 각각의 이동 위치를 추적할 수 있다. 그리고 냉장고(1000)는, 추적한 결과에 기초하여, 용기들의 내용물들 각각을 나타내는 식별 이미지들을 해당 용기의 이동 위치와 관련하여 표시할 수 있다.
예를 들어, 사용자가 오후 1시에 냉장고 문을 열어서 두 번째 선반에 제 1 용기를 놓아두었다가, 사용자가 오후 2시에 다시 냉장고 문을 열어서 제 1 용기를 두 번째 선반에서 세 번째 선반으로 이동시킨 경우를 가정하자. 이 경우, 냉장고(1000)는 오후 1시에 제 1 카메라 이미지를 분석하여 제 1 용기가 두 번째 선반에 위치하는 것을 확인하고, 제 1 카메라 이미지 안에서 두 번째 선반의 제 1 용기 위에 제 1 용기의 내용물을 나타내는 제 1 식별 이미지를 표시할 수 있다. 그리고, 냉장고(1000)는, 오후 2시에 제 2 카메라 이미지를 분석하여, 제 1 용기가 두 번째 선반이 아닌 세 번째 선반에 위치하는 것을 확인할 수 있다. 냉장고(1000)는, 제 2 카메라 이미지 안에서 세 번째 선반의 제 1 용기 위에 제 1 용기의 내용물을 나타내는 제 1 식별 이미지를 표시할 수 있다. 따라서, 일 실시예에 의하면, 냉장고(1000) 안에서 용기의 위치가 변경되더라도, 냉장고(1000)는 변경된 위치를 추적하고, 변경된 위치와 관련하여 식별 이미지를 표시해 줄 수 있다.
이하에서는, 냉장고(1000)가 용기의 내용물을 나타내는 식별 이미지를 표시하는 동작에 대해서 도 13을 참조하여 좀 더 살펴보기로 한다.
도 13은 일 실시예에 따른 냉장고가 내용물들 각각을 나타내는 식별 이미지들을 해당 용기와 관련하여 표시하는 동작을 설명하기 위한 도면이다.
도 13을 참조하면, 냉장고(1000)는 카메라 이미지에 포함된 용기들을 식별할 수 있다. 그리고 냉장고(1000)는, 식별된 용기들 각각의 내용물을 나타내는 식별이미지를 카메라 이미지 위에 표시할 수 있다. 예를 들어, 냉장고(1000)는, 제 1 용기의 내용물(예컨대, 가지)을 나타내는 가지 아이콘(1301)을 제 1 용기 위에 표시하고, 제 2 용기의 내용물(예컨대, 볶음밥)을 나타내는 볶음밥 아이콘(1302)을 제 2 용기 위에 표시하고, 제 3 용기의 내용물(예컨대, 오이 김치)을 나타내는 오이 아이콘(1303)을 제 3 용기 위에 표시하고, 제 4 용기의 내용물(예컨대, 파프리카)을 나타내는 파프리카 아이콘(1304)을 제 4 용기 위에 표시하고, 제 5 용기의 내용물(예컨대, 단무지)를 나타내는 단무지 아이콘(1305)을 제 5 용기 위에 표시하고, 제 6 용기의 내용물(예컨대, 콩)을 나타내는 콩 아이콘(1306)을 제 6 용기 위에 표시할 수 있다.
한편, 사용자가 아이콘 제거 버튼(1307)을 선택하는 경우, 냉장고(1000)는 아이콘들(1301~1306)을 카메라 이미지 상에서 표시하지 않을 수 있다.
도 14는 일 실시예에 따른 용기의 등록과 관련된 GUI를 제공하는 방법을 설명하기 위한 순서도이다.
단계 S1410에서, 일 실시예에 따른 냉장고(1000)는, 제 1 카메라 이미지에 포함된 복수의 용기 각각을 등록 용기 목록에 포함된 등록 용기들과 비교할 수 있다.
예를 들어, 냉장고(1000)는, 제 1 카메라 이미지에서 복수의 용기를 추출하고, 추출된 복수의 용기의 각 이미지를 등록 용기들의 이미지와 비교할 수 있다. 냉장고(1000)는, 비교 결과에 기초하여, 복수의 용기의 내용물, 최초 등록일 등을 식별할 수 있다.
단계 S1420에서, 일 실시예에 따른 냉장고(1000)는, 복수의 용기 중에서 제 1 용기를 미등록 용기로 결정할 수 있다. 예를 들어, 제 1 용기의 이미지가 등록 용기 목록에 존재하지 않는 경우, 냉장고(1000)는 제 1 용기를 미등록 용기로 결정할 수 있다.
단계 S1430에서, 일 실시예에 따른 냉장고(1000)는, 제 1 용기의 등록과 관련된 GUI(Graphical User Interface)를 표시할 수 있다.
일 실시예에 의하면, 제 1 용기의 등록과 관련된 GUI는, 제 1 용기의 내용물의 품명을 입력하기 위한 필드, 제 1 용기의 식별 이미지를 선택하기 위한 필드 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 냉장고(1000)는, GUI를 통해 제 1 용기의 제 1 내용물에 관한 정보를 사용자로부터 입력 받을 수 있다. 이때, 냉장고(1000)는, 제 1 용기의 이미지와 제 1 용기의 제 1 내용물에 관한 정보를 매칭하고, 매칭한 정보를 등록 용기 목록에 저장할 수 있다.
한편, 제 1 용기가 새롭게 등록된 경우, 냉장고(1000)는, 제 1 카메라 이미지 상에 제 1 용기와 관련하여 제 1 용기의 제 1 내용물을 나타내는 제 1 식별 이미지를 추가할 수 있다.
단계 S1440에서, 일 실시예에 따른 냉장고(1000)는, 복수의 용기 중에서 미등록된 제 2 용기를 터치하는 사용자 입력을 수신할 수 있다.
예를 들어, 냉장고(1000)가 미등록된 제 2 용기가 냉장고(1000) 안에 새롭게 추가됐는데 인식하지 못하는 경우, 사용자는 제 1 카메라 이미지 상에서 제 2 용기를 터치함으로써, 제 2 용기에 대한 등록 절차를 진행할 수 있다.
단계 S1450에서, 일 실시예에 따른 냉장고(1000)는, 제 2 용기의 등록과 관련된 GUI를 표시할 수 있다.
일 실시예에 의하면, 제 2 용기의 등록과 관련된 GUI는, 제 2 용기의 내용물의 품명을 입력하기 위한 필드, 제 2 용기의 식별 이미지를 선택하기 위한 필드 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 냉장고(1000)는, GUI를 통해 제 2 용기의 제 2 내용물에 관한 정보를 사용자로부터 입력 받을 수 있다. 이때, 냉장고(1000)는, 제 2 용기의 이미지와 제 2 용기의 제 2 내용물에 관한 정보를 매칭하고, 매칭한 정보를 등록 용기 목록에 저장할 수 있다.
한편, 제 2 용기가 새롭게 등록된 경우, 냉장고(1000)는, 제 1 카메라 이미지 상에 제 2 용기와 관련하여 제 2 용기의 제 2 내용물을 나타내는 제 2 식별 이미지를 추가할 수 있다.
도 15는 일 실시예에 따른 냉장고가 용기의 이동 위치를 추적하는 동작을 설명하기 위한 도면이다.
도 15를 참조하면, 냉장고(1000)는, 2018.10.1에 냉장고(1000) 안을 촬영한 제 n-2 이미지(1501)를 획득할 수 있다. 냉장고(1000)는, 제 n-2 이미지(1501)를 분석하여, A 용기와 B 용기를 추출할 수 있다. 그리고 A 용기와 B 용기를 등록 용기 목록(1503)에 추가할 수 있다. 이때, 냉장고(1000)는, A 용기의 이미지, A 용기의 내용물을 나타내는 아이콘, A 용기의 최초 등록일(2018.10.1)을 매칭하여 등록 용기 목록(1503)에 저장할 수 있다. 또한, 냉장고(1000)는, B 용기의 이미지, B 용기의 내용물을 나타내는 아이콘, B 용기의 최초 등록일(2018.10.1)을 매칭하여 등록 용기 목록(1503)에 저장할 수 있다.
냉장고(1000)는, 2018.10.2에 냉장고(1000) 안을 촬영한 제 n-1 이미지(1502)를 획득할 수 있다. 냉장고(1000)는, 제 n-1 이미지(1502)를 분석하여, C 용기와 B 용기를 추출할 수 있다. 그리고 C 용기를 등록 용기 목록(1503)에 추가할 수 있다. 이때, 냉장고(1000)는, C 용기의 이미지, C 용기의 내용물을 나타내는 아이콘, C 용기의 최초 등록일(2018.10.2)을 매칭하여 등록 용기 목록(1503)에 저장할 수 있다. 따라서, 등록 용기 목록(1503)에는 A 용기, B 용기, C 용기에 관한 정보가 저장되어 있을 수 있다.
냉장고(1000)는, 2018.10.3에 냉장고(1000) 안을 촬영한 제 n 이미지(1504)를 획득할 수 있다. 냉장고(1000)는, 제 n 이미지(1504)를 분석하여, B 용기와 C 용기와 D 용기를 추출할 수 있다. 그리고 냉장고(1000)는, B용기의 이미지와 C 용기의 이미지와 D 용기의 이미지를 등록 용기 목록(1503)에 저장된 등록 용기들의 이미지와 비교할 수 있다. 냉장고(1000)는, B 용기의 이미지와 C 용기의 이미지는 등록 용기 목록(1503)에 저장되어 있으므로, 등록 용기 목록(1503)으로부터 B 용기의 내용물을 나타내는 아이콘(예컨대, 가지 아이콘)과 C 용기의 내용물을 나타내는 아이콘(예컨대, 시금치 아이콘)을 획득할 수 있다. 일 실시예에 의하면, 등록 용기 목록(1503)에서 B 용기와 C 용기를 검색할 때, 냉장고(1000)는 메트릭 러닝(metric learning)을 이용할 수 있다. 일 실시예에 의하면, 냉장고(1000)는 제 n 이미지(2018.10.3) 상의 B 용기 위에 가지 아이콘을 표시하고, C 용기 위에 시금치 아이콘을 표시할 수 있다.
한편, D 용기의 이미지는 등록 용기 목록(1503)에 저장되어 있지 않으므로, 냉장고(1000)는 D 용기를 미등록 용기로 판단할 수 있다. 따라서, 냉장고(1000)는, D 용기의 등록과 관련된 GUI를 제 n 이미지(1504) 위에 표시할 수 있다.
냉장고(1000)가 용기의 등록과 관련된 GUI를 표시하는 동작에 대해서 도 16 내지 도 18을 참조하여 자세히 살펴보기로 한다.
도 16 및 도 17은 일 실시예에 따른 냉장고가 인식된 새로운 용기를 등록하는 동작을 설명하기 위한 도면이다.
도 16을 참조하면, 냉장고(1000)는 냉장고(1000) 안을 촬영한 카메라 이미지(1610)을 획득할 수 있다. 그리고 냉장고(1000)는 카메라 이미지(1610)를 분석하여, 기 등록된 용기들을 식별하고, 미 등록된 용기를 인식할 수 있다.
예를 들어, 냉장고(1000)는, 등록 용기 목록에 포함되어 있지 않은 새로운 용기(예컨대, 시금치 나물을 담은 통)(1620)를 인식할 수 있다. 이때, 냉장고(1000)는, 새로운 용기(1620)의 등록과 관련된 GUI(1630)를 카메라 이미지(1610) 위에 표시할 수 있으나, 이에 한정되는 것은 아니다. 새로운 용기(1620)의 등록과 관련된 GUI(1630)는 카메라 이미지(1610)가 표시된 영역과 상이한 영역에 표시될 수도 있다.
예를 들어, 냉장고(1000)는, '새로운 식품이 있습니다. 등록하시겠습니까?' 질의하는 내용을 포함하는 GUI(1630)를 표시할 수 있다. 이때, 사용자가 'ok'버튼을 선택하는 경우, 새로운 용기에 대한 등록 절차가 진행될 수 있다.
도 17을 참조하면, 냉장고(1000)는, 사용자가 'ok'버튼을 선택하는 것에 응답하여, 품명 필드(1731)와 식별 이미지 필드(17323)를 포함하는 창(1730)을 표시할 수 있다. 사용자는 창(1730) 안의 품명 필드(1731)에 직접 새로운 용기(1620)의 내용물을 나타내는 텍스트를 입력할 수 있다. 예를 들어, 사용자는 품명 필드(1731)에 '시금치'라고 입력할 수 있다.
한편, 사용자는 식별 이미지 필드(1732)를 통해서 새로운 용기(1620)의 내용물을 나타내는 식별 이미지를 선택할 수 있다. 예를 들어, 냉장고(1000)는 다양한 종류의 아이콘들의 목록을 식별 이미지 필드(1732)에 제공하고, 아이콘들의 목록 중에서 하나를 선택하는 사용자 입력을 수신할 수 있다. 예컨대, 냉장고(1000)는 시금치 아이콘(1733)을 선택하는 사용자 입력을 수신할 수 있다.
일 실시예에 의하면, 냉장고(1000)는 창(1730)을 통한 사용자 입력에 기초하여, 새로운 용기(1620)에 대한 정보를 등록 용기 목록에 저장할 수 있다. 예를 들어, 냉장고(1000)는, 새로운 용기(1620)의 이미지와 품명(예컨대, 시금치)과 식별 이미지(예컨대, 시금치 아이콘(1733))를 매칭하여 저장할 수 있다.
일 실시예에 의하면, 냉장고(1000)는, 새로운 용기(1620)에 대한 등록이 완료된 경우, 카메라 이미지 상의 새로운 용기(1620) 위에 식별 이미지(예컨대, 시금치 아이콘)를 추가할 수 있다.
한편, 이하에서는 냉장고(1000)가 새로운 용기를 자동으로 인식하지 못하는 경우, 사용자가 수동으로 새로운 용기를 등록하는 절차에 대해서 도 18을 참조하여 살펴보기로 한다.
도 18은 일 실시예에 따른 냉장고가 미인식된 새로운 용기를 등록하는 동작을 설명하기 위한 도면이다.
도 18을 참조하면, 냉장고(1000)는, 냉장고(1000) 안에 배치된 카메라를 이용하여 복수의 용기를 포함하는 카메라 이미지(1810)를 획득할 수 있다. 이때, 사용자가 새롭게 냉장고(1000)에 보관하기 시작한 제 1 용기(1820)의 이미지도 카메라 이미지(1810)에 포함될 수 있다.
하지만, 냉장고(1000)가 미등록된 제 1 용기(1820)를 인식하지 못하는 경우, 사용자는 수동으로 제 1 용기(1820)에 대한 등록 절차를 진행할 수 있다. 예를 들어, 사용자는 카메라 이미지(1810) 상에서 제 1 용기(1820)를 터치할 수 있다. 이 경우, 냉장고(1000)는, 식별 이미지가 표시되지 않은 제 1 용기(1820)의 등록과 관련된 GUI(1830)를 표시할 수 있다. 예를 들어, GUI(1830)는 '새로운 식품을 등록하시겠습니까?'하고 문의하는 내용을 포함할 수 있다. 사용자가 'ok'버튼을 선택하는 경우, 새로운 용기에 대한 등록 절차가 진행될 수 있다. 예를 들어, 도 17에서와 같이, 냉장고(1000)는, 사용자가 'ok'버튼을 선택하는 것에 응답하여, 품명 필드(1731)와 식별 이미지 필드(1732)를 포함하는 창(1730)을 표시할 수 있다. 사용자는 창(1730) 안의 품명 필드(1731)에 직접 새로운 용기(1620)의 내용물을 나타내는 텍스트를 입력할 수 있다. 예를 들어, 사용자는 품명 필드(1731)에 '시금치'라고 입력할 수 있다.
한편, 사용자는 식별 이미지 필드(1732)를 통해서 제 1 용기(1820)의 내용물을 나타내는 식별 이미지를 선택할 수 있다. 예를 들어, 냉장고(1000)는 다양한 종류의 아이콘들의 목록을 식별 이미지 필드(1732)에 제공하고, 아이콘들의 목록 중에서 하나를 선택하는 사용자 입력을 수신할 수 있다. 예컨대, 냉장고(1000)는 시금치 아이콘(1733)을 선택하는 사용자 입력을 수신할 수 있다.
일 실시예에 의하면, 냉장고(1000)는 창(1730)을 통한 사용자 입력에 기초하여, 제 1 용기(1820)에 대한 정보를 등록 용기 목록에 저장할 수 있다. 예를 들어, 냉장고(1000)는, 제 1 용기(1820)의 이미지와 품명(예컨대, 시금치)과 식별 이미지(예컨대, 시금치 아이콘(1733))를 매칭하여 저장할 수 있다.
도 19는 일 실시예에 따른 용기의 등록일을 표시하는 방법을 설명하기 위한 순서도이다.
단계 S1910에서, 일 실시예에 따른 냉장고(1000)는 식별 이미지들 중에서 제 1 용기의 제 1 식별 이미지를 터치하는 사용자 입력을 수신할 수 있다.
일 실시예에 의하면, 냉장고(1000)는, 제 1 카메라 이미지 상에서, 제 1 용기의 제 1 식별 이미지(예컨대, 제 1 아이콘)을 터치하는 사용자 입력을 감지할 수 있다. 제 1 식별 이미지를 터치하는 사용자 입력은 다양할 수 있다. 예를 들어, 사용자 입력은 임계 시간(예컨대, 3초) 이상 제 1 식별이미지를 터치하는 입력일 수도 있고, 제 1 식별 이미지를 소정 횟수(예컨대, 2회) 탭하는 입력일 수도 있으나, 이에 한정되는 것은 아니다.
단계 S1920에서, 일 실시예에 따른 냉장고(1000)는, 사용자 입력에 응답하여, 제 1 용기의 등록일을 제 1 카메라 이미지 상에 표시할 수 있다. 제 1 용기의 등록일은 제 1 용기가 냉장고(1000) 안에 보관되기 시작한 날짜를 의미할 수 있다.
일 실시예에 의하면, 냉장고(1000)는 제 1 용기의 등록일을 제 1 용기와 관련하여 표시할 수 있다. 예를 들어, 냉장고(1000)는, 제 1 용기 위에 제 1 용기의 등록일을 표시할 수도 있고, 제 1 용기의 인접 영역에 제 1 용기의 등록일을 표시할 수도 있다.
일 실시예에 의하면, 제 1 용기의 등록일의 표시는 제 1 식별 이미지가 터치되고 소정 시간 경과 후 제 1 카메라 이미지 상에서 사라질 수도 있다.
단계 S1930에서, 일 실시예에 따른 냉장고(1000)는, 등록일로부터 임계 시간을 경과한 제 2 용기를 선택할 수 있다. 예를 들어, 냉장고(1000)는, 등록일로부터 2주가 경과한 제 2 용기를 선택할 수 있다.
단계 S1940에서, 일 실시예에 따른 냉장고(1000)는, 제 2 용기의 등록일을 제 1 카메라 이미지 상에 표시할 수 있다.
일 실시예에 의하면, 냉장고(1000)는 제 2 용기의 등록일을 제 2 용기와 관련하여 표시할 수 있다. 예를 들어, 냉장고(1000)는, 제 2 용기 위에 제 2 용기의 등록일을 표시할 수도 있고, 제 2 용기의 인접 영역에 제 2 용기의 등록일을 표시할 수도 있다.
일 실시예에 의하면, 냉장고(1000)는 제 2 용기의 등록일이 부각되도록 강조 표시할 수 있다. 예를 들어, 냉장고(1000)는 제 2 용기의 등록일을 다른 용기의 등록일과 다른 색으로 표시할 수 있다. 예컨대, 냉장고(1000)는 제 2 용기의 등록일을 붉은 색으로 표시할 수 있다. 또한, 냉장고(1000)는 제 2 용기의 등록일을 굵게 표시할 수도 있다.
도 20을 참조하여, 냉장고(1000)가 용기의 등록일을 표시하는 동작을 좀 더 살펴보기로 한다.
도 20은 일 실시예에 따른 냉장고가 용기의 등록일을 카메라 이미지 상에 표시하는 동작을 설명하기 위한 도면이다.
도 20을 참조하면, 냉장고(1000)는 냉장고(1000) 안을 촬영한 카메라 이미지(2010)를 획득하고, 디스플레이부에 카메라 이미지(2010)를 표시할 수 있다. 이때, 사용자가 시금치 나물이 담긴 제 1 용기(2021)의 등록일이 알고 싶은 경우, 사용자는 제 1 용기(2021) 위의 시금치 아이콘(2020)을 터치할 수 있다. 이 경우, 냉장고(1000)는 시금치 아이콘(2020)을 터치하는 사용자 입력에 응답하여, 시금치 아이콘(2020) 주변에 제 1 용기(2021)의 등록일(예컨대, 등록일 2018/07/25)를 표시할 수 있다.
한편, 볶음밥이 담긴 제 2 용기(2031)의 등록일이 기 설정된 임계 시간(예컨대, 2주)을 경과한 경우, 냉장고(1000)는 제 2 용기(2031)의 볶음밥 아이콘(2030) 주변에 등록일(예컨대, 등록일: 2018/07/10)을 표시할 수 있다. 이때, 냉장고(1000)는, 등록일로부터 오래 경과하였다는 것을 경고하기 위해 경고 아이콘을 함께 표시할 수도 있고, 등록일(예컨대, 등록일: 2018/07/10)을 붉은 색으로 강조 표시할 수도 있다.
일 실시예에 의하면, 사용자는 카메라 이미지(2010) 상에 나타나는 용기의 등록일을 확인함으로써, 등록일이 오래된 용기를 쉽게 식별하고, 폐기할 수 있다.
도 21은 일 실시예에 따른 모바일 단말이 냉장고 안의 객체에 관한 정보를 제공하는 동작을 설명하기 위한 도면이다.
일 실시예에 의하면, 모바일 단말(3000)은 냉장고(1000) 또는 서버 장치(2000)로부터 냉장고(1000) 안에 보관되어 있는 객체에 관한 정보를 획득하여 표시할 수 있다.
일 실시예에 의하면, 모바일 단말(3000)은 사용자가 냉장고 애플리케이션을 실행시키는 경우, 냉장고 애플리케이션의 실행 창을 통해서 제 1 GUI(2110) 또는 제 2 GUI(2120)를 제공할 수 있다.
제 1 GUI(2110)를 참조하면, 모바일 단말(3000)은, 냉장고(1000) 안의 객체들을 촬영한 카메라 이미지를 표시할 수 있다. 이때, 카메라 이미지에서 제 1 객체가 통조림과 음료수 캔에 가려 정확하게 식별되지 않는 경우, 사용자는 제 1 객체를 터치할 수 있다. 이때, 모바일 단말(3000)은 제 1 객체를 터치하는 사용자 입력에 응답하여, 제 1 객체의 대체 이미지(411)를 증강 현실(AR) 기술을 이용하여 카메라 이미지 상에 표시할 수 있다.
제 2 GUI(2120)를 참조하면, 모바일 단말(3000)은, 냉장고(1000) 안의 용기들을 촬영한 카메라 이미지를 표시할 수 있다. 그리고 모바일 단말(3000)은, 용기들 각각의 내용물을 나타내는 식별이미지(예컨대, 아이콘)를 카메라 이미지 위에 표시할 수 있다. 예를 들어, 냉장고(1000)는, 제 1 용기의 내용물(예컨대, 가지)을 나타내는 가지 아이콘을 제 1 용기 위에 표시하고, 제 2 용기의 내용물(예컨대, 볶음밥)을 나타내는 볶음밥 아이콘을 제 2 용기 위에 표시하고, 제 3 용기의 내용물(예컨대, 오이 김치)을 나타내는 오이 아이콘을 제 3 용기 위에 표시하고, 제 4 용기의 내용물(예컨대, 파프리카)을 나타내는 파프리카 아이콘을 제 4 용기 위에 표시하고, 제 5 용기의 내용물(예컨대, 단무지)를 나타내는 단무지 아이콘을 제 5 용기 위에 표시하고, 제 6 용기의 내용물(예컨대, 콩)을 나타내는 콩 아이콘을 제 6 용기 위에 표시할 수 있다.
도 22는 일 실시예에 따른 냉장고와 서버가 연동하여, 냉장고 안의 객체에 관한 정보를 제공하는 방법을 설명하기 위한 순서도이다.
단계 S2210에서, 일 실시예에 따른 냉장고(1000)는, 냉장고(1000) 안에 보관된 복수의 용기를 촬영한 제 1 카메라 이미지를 획득할 수 있다.
일 실시예에 의하면, 제 1 카메라 이미지는 RGB 이미지일 수도 있고, 흑백 이미지일 수도 있으나, 이에 한정되는 것은 아니다. 일 실시예에 의하면, 카메라 이미지는 2차원 이미지일 수도 있고, 3차원 이미지일 수도 있다. 단계 S2210은 도 12의 단계 S1210에 대응하므로, 구체적인 설명은 생략하기로 한다.
단계 S2220에서, 일 실시예에 따른 냉장고(1000)는, 제 1 카메라 이미지를 서버 장치(2000)로 전송할 수 있다.
일 실시예에 의하면, 냉장고(1000)는, 냉장고(1000)의 식별 정보 또는 사용자의 식별 정보(예컨대, 계정 정보)를 서버 장치(2000)로 전송하면서, 제 1 카메라 이미지에 포함된 복수의 용기 각각에 저장된 내용물들에 관한 정보를 서버 장치(2000)에 요청할 수 있다.
단계 S2230에서, 일 실시예에 따른 서버 장치(2000)는, 제 1 카메라 이미지에 포함된 복수의 용기 각각에 저장된 내용물들 식별할 수 있다.
일 실시예에 의하면, 서버 장치(2000)는, 제 1 카메라 이미지를 분석하여, 제 1 카메라 이미지에 포함된 복수의 용기를 추출할 수 있다. 서버 장치(2000)는, 추출된 복수의 용기 각각을 등록 용기 목록에 포함된 등록 용기들과 비교할 수 있다. 예를 들어, 서버 장치(2000)는 제 1 카메라 이미지에서 추출된 용기의 이미지를 등록 용기 목록에 포함된 등록 용기들의 이미지들과 비교하여, 추출된 용기를 식별하고, 추출된 용기에 저장된 내용물에 관한 정보를 등록 용기 목록으로부터 획득할 수 있다.
단계 S2240에서, 일 실시예에 따른 서버 장치(2000)는, 복수의 용기 각각에 저장된 내용물들에 관한 정보를 냉장고(1000)로 전송할 수 있다.
일 실시예에 의하면, 서버 장치(2000)는 냉장고(1000)로부터 수신된 냉장고(1000)의 식별 정보 또는 사용자의 식별 정보에 기초하여, 냉장고(1000)로 복수의 용기 각각에 저장된 내용물들에 관한 정보를 전송할 수 있다. 예를 들어, 서버 장치(2000)는, 내용물들의 품명, 내용물들을 나타내는 식별 아이콘들을 냉장고(1000)로 전송할 수 있다.
한편, 일 실시예에 의하면, 서버 장치(2000)에 사용자의 모바일 단말(3000)이 등록되어 있는 경우, 서버 장치(2000)는 사용자의 모바일 단말(3000)로 복수의 용기 각각에 저장된 내용물들에 관한 정보를 전송할 수도 있다.
단계 S2250에서, 일 실시예에 따른 냉장고(1000)는, 제 1 카메라 이미지 상에 내용물들 각각을 나타내는 식별 이미지들을 해당 용기와 관련하여 표시할 수 있다.
일 실시예에 의하면, 냉장고(1000)는 해당 용기의 내용물을 나타내는 식별 이미지를 해당 용기로부터 소정 거리 내에 표시할 수 있다. 예를 들어, 냉장고(1000)는, 제 1 용기의 내용물을 나타내는 제 1 식별 이미지를 제 1 용기 위에 표시할 수도 있고, 제 1 용기의 인접 영역에 표시할 수도 있다.
다른 실시예에 의하면, 냉장고(1000)는, 해당 용기의 내용물을 나타내는 식별 이미지를 해당 용기와 선으로 연결하여 제 1 카메라 이미지 상에 표시할 수도 있다. 예를 들어, 냉장고(1000)는, 제 1 용기의 내용물을 나타내는 제 1 식별 이미지를 제 1 용기와 선으로 연결하여 표시할 수도 있다.
도 23 및 도 24는 일 실시예에 따른 냉장고의 구조를 설명하기 위한 도면이다.
도 23 및 도 24를 참조하면, 냉장고(1000)는 본체(3010), 저장실(3011, 3012, 3013), 도어(3020, 3030, 3040, 3050) 및 각 도어(3020 내지 3050)를 본체(3010)에 연결하는 힌지(3060)를 포함한다. 복수의 도어(3020, 3030, 3040, 3050) 중 적어도 하나의 도어(예를 들어, 우측 도어(3030) 및 좌측 도어(3020) 중 적어도 하나)에 콘텐트를 표시하는 디스플레이부(1411)가 위치할 수 있다.
복수의 도어 중 적어도 하나의 도어(예를 들어, 우측 도어(3030) 및 좌측 도어(3020) 중 적어도 하나)에 카메라(또는, 전면 카메라, 3080)가 위치할 수 있다. 전면 카메라(3080)에 인접(예를 들어, 반경 500 ㎜ 이내)하여 근접 센서부(미도시)가 위치할 수 있다. 또한, 복수의 도어 중 적어도 하나의 도어(예를 들어, 우측 도어(3030) 및 좌측 도어(3020) 중 적어도 하나)에 마이크로폰(미도시)이 위치할 수 있다.
냉장고(1000)는 저장실과 도어의 형태에 따라 그 종류가 구분될 수 있다. TMP(top mounted freezer)형 냉장고는 상측에 냉동실이 형성되고 하측에 냉장실이 형성될 수 있다. 반면에, BMF(bottom mounted freezer)형 냉장고는 상측에 냉장실이 형성되고, 하측에 냉동실이 형성될 수 있다. SBS(side by side)형 냉장고는 좌측(또는 우측)에 냉동실이 형성되고, 우측(또는 좌측)에 냉장실이 형성될 수 있다. FDR(french door refrigerator)형 냉장고는 파티션에 의해 상하로 구획되고, 상측에 냉장실이 형성되고, 하측에 냉동실이 형성되고, 한 쌍의 도어에 의해 상측의 냉장실이 개폐될 수 있다. 또한, FDR형 냉장고는 상측 냉장실 및 하측 냉동실 모두 각각 한 쌍의 도어에 의해 개폐될 수도 있다.
본체(3010)는 저장실(3011 내지 3013)을 형성하는 내부 케이스(inner case, 도시되지 아니함), 냉장고의 외관을 형성하는 외부 케이스(outer case, 도시되지 아니함) 및 내부 케이스와 외부 케이스 사이에서 온도 차이를 유지하는 단열재(insulator, 도시되지 아니함)를 포함한다. 단열재는 저장실(3011 내지 3013) 내부의 냉기에 대한 외부 유출을 방지하고, 외부 온기의 저장실(3011 내지 3013) 내부 유입을 방지할 수 있다.
본체(3010)는 저장실(3011 내지 3013)에 냉기를 공급하는 냉기 공급 유닛을 포함한다. 냉기 공급 유닛은 냉매를 압축하는 압축기(compressor, 3181), 응축기(condenser, 도시되지 아니함), 팽창 밸브(expansion value, 도시되지 아니함), 증발기(evaporator, 도시되지 아니함) 및 파이프를 포함할 수 있다.
저장실(3011 내지 3013)은 파티션(3014)으로 구분된다. 저장실(3011 내지 3013)은 아래의 냉동 저장실(3012, 3013, 이하에서는 "냉동실"로 칭함)과 냉동실(3012, 3013)의 위에 있는 냉장 저장실(3011, 이하에서는 "냉장실"로 칭함)로 구분된다. 저장실(3012)은 영상(예를 들어, 7℃ 내지 0℃ 사이) 또는 영하(예를 들어 -1℃ 내지 -5℃ 사이)의 온도로 설정되어 물, 음료(beverage), 식재료, 냉장 또는 냉동 식품을 수납할 수 있다. 물 또는 음료는 음료 용기에 수납될 수 있다.
파티션(3014)으로 구분되는 저장실(3011 내지 3013) 중 냉장실(3011)은 하나 또는 복수의 선반(3015) 및 하나 또는 복수의 저장함(storage box, 3016)을 포함할 수 있다.
냉장실(3011)은 저장실(3011)의 일측(예를 들어, 왼쪽)의 제1 도어(3020) 및 제1 도어(3020)에 인접하고 저장실(3011)의 타측(예를 들어, 오른쪽)에 위치하는 제2 도어(3030)와 결합된다. 제1 도어(3020), 및/또는 제2 도어(3030)는 각각의 힌지(3060)에 의해 설정된 각도(예를 들어 300° 이하)로 회전하여 저장실(3011)의 전면을 개폐(예를 들어, 결합 또는 분리)할 수 있다. 제1 도어(3020)는 제2 도어(3030)의 회전 방향과 반대로 회전하여 저장실(3011)을 개폐할 수 있다. 제1 도어(3020) 및 제2 도어(3030)는 상호 위치가 변경될 수 있다.
제1 도어(3020)는 힌지(3060)에 의해 설정된 각도(예를 들어 300° 이하)로 회전하여 저장실(3011)의 전면 일부(예를 들어, 저장실(3011)의 전면의 35 내지 70% 사이)를 개폐한다.
제1 도어(3020)의 전면(예를 들어, + y 축 방향)에 물, 얼음 또는 탄산수(sparkling water)를 제공하는 디스펜서 및/또는 파지 가능한 손잡이(3021)가 위치할 수 있다.
제2 도어(3030)는 힌지(3060)에 의해 설정된 각도(예를 들어 300° 이하)로 회전하여 저장실(3011)의 전면 일부(예를 들어, 저장실(3011)의 전면의 35 내지 70% 사이)를 개폐한다. 제2 도어(3030)은 파지 가능한 손잡이(3031)를 포함할 수 있다. 제1 도어(3020)의 손잡이(3021) 및 제2 도어(3030)의 손잡이(3031)는 저장실(3011)의 중심 영역을 기준으로 좌측 및 우측으로 이격되게 위치한다.
제2 도어(3030)의 전면(예를 들어, + y 축 방향)에는 디스플레이부(또는, 터치 스크린, 1411)가 위치할 수 있다. 디스플레이부(1411)는 냉장고(1000)의 기능 및 저장된 설정을 표시할 수 있다. 디스플레이부(1411)는 사용자의 입력(예를 들어, 터치 또는 버튼(미도시)의 선택)을 수신할 수도 있다. 이때, 버튼은 디스플레이부(1411)에 포함될 수도 있고, 디스플레이부(1411)와 별개일 수도 있다. 버튼은 소프트웨어 버튼, 하드웨어 버튼을 포함할 수 있다. 디스플레이부(1411)는 어플리케이션(또는, 위젯 포함) 화면을 표시(또는, 실행)할 수도 있다.
야채 칸(3011d1, 3011d2)은 저장실(3011)의 아래에 위치할 수 있다. 야채 칸(3011d1, 3011d2)은 전방(예를 들어, y 축 방향)으로 인출(예를 들어, 슬라이딩, 또는 롤링)될 수 있다.
저장실(3012, 3013)은 일 측에 도어(3040, 3050)를 가질 수 있다. 저장실(3012, 3013)은 하나의 저장실(예를 들어, 저장실(3011)처럼)로 합쳐질 수 있다. 또한, 냉장고(1000)는 서랍을 가질 수 있다.
한편, 냉장고(1000)는, 냉장고(1000) 내부를 촬영하기 위한 내부 카메라(3150), 냉장고(1000) 안의 분광 이미지를 획득하기 위한 분광 카메라(3151), 환경 센서(1211)(예컨대, 냄새 센서, 온도 센서, 습도 센서)를 포함할 수 있다.
도 25 및 도 26은 일 실시예에 따른 냉장고의 기능을 설명하기 위한 블록구성도이다.
도 25에 도시된 바와 같이, 일 실시예에 따른 냉장고(1000)는, 카메라(1111), 디스플레이부(1411), 프로세서(1300), 사용자 입력부(1600)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 냉장고(1000)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 냉장고(1000)는 구현될 수 있다. 예를 들어, 일 실시예에 따른 냉장고(1000)는, 프로세서(1300)와 메모리(1800)로 구현될 수 있다. 또한, 도 26에 도시된 바와 같이, 일 실시예에 따른 냉장고(1000)는, A/V 입력부(1100), 센싱부(1200), 프로세서(1300), 출력부(1400), 통신부(1500), 사용자 입력부(1600), 구동부(1700), 메모리(1800), 전원공급부(1900)를 포함할 수 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
A/V(Audio/Video) 입력부(1100)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1111), 마이크로폰(1112) 등이 포함될 수 있다. 카메라(1111)는 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 프로세서(1300) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
일 실시예에 의하면, 카메라(1111)는 외부 환경을 촬영하는 외부 카메라(3080) 및 내부 환경을 촬영하는 내부 카메라(3150)를 포함할 수 있다. 내부 환경을 촬영하는 내부 카메라(3150)는 복수 개일 수 있다. 카메라(1111)는 내부 카메라(3080)을 통해서 냉장고(1000) 안에 보관된 적어도 하나의 객체를 포함하는 카메라 이미지(예컨대, RGB)를 획득할 수 있다.
마이크로폰(1112)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(1112)은 외부 디바이스 또는 화자로부터 음향 신호(예컨대, 음성 명령)를 수신할 수 있다. 마이크로폰(1112)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
센싱부(1200)는, 환경 센서(1211), 근접 센서(1215) 및 분광 센서(1216) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 환경 센서(1211)는, 냉장고(1000) 안의 환경 정보를 획득하기 위한 센서로서, 냄새 센서(1212), 온도 센서(1213), 습도 센서(1214) 중 적어도 하나를 포함할 수 있다. 분광 센서(1216)는 도 24의 분광 카메라(3151)일 수 있다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
프로세서(1300)는, 통상적으로 냉장고(1000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1300)는, 메모리(1800)에 저장된 프로그램들을 실행함으로써, A/V 입력부(1100), 센싱부(1200), 출력부(1400), 통신부(1500), 사용자 입력부(1600), 구동부(1700), 메모리(1800), 전원공급부(1900)등을 전반적으로 제어할 수 있다.
일 실시예에 의하면, 프로세서(1300)는 학습 네트워크 모델을 생성하기 위한 AI 프로세서를 포함할 수 있으나, 이에 한정되는 것은 아니다. 일 실시예에 의하면, AI 프로세서는 프로세서(1300)와 별도의 칩으로 구현될 수도 있다. 일 실시예에 의하면, AI 프로세서는 범용 칩일 수도 있다.
일 실시예에 의하면, 프로세서(1300)는 복수의 객체 중에서 제 1 객체를 선택하는 제 1 사용자 입력에 응답하여, 제 1 객체의 대체 이미지를 디스플레이부(1411)에 표시할 수 있다. 프로세서(1300)는 사용자 입력부(1600)를 통해 대체 이미지를 회전시키는 제 2 사용자 입력을 수신하고, 제 2 사용자 입력에 응답하여, 대체 이미지의 다른 면을 디스플레이부(1411)에 표시할 수 있다. 프로세서(1300)는 사용자 입력부(1600)를 통해 제 1 객체에 관한 상세 정보를 요청하는 제 3 사용자 입력을 수신하고, 제 3 사용자 입력에 응답하여, 제 1 객체에 관한 상세 정보를 디스플레이부(1411)에 표시할 수 있다.
일 실시예에 의하면, 프로세서(1300)는, 메모리(1800)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 냉장고(1000) 안에 배치된 카메라(1111)를 통해서 냉장고(1000) 안에 보관된 복수의 용기를 촬영한 제 1 카메라 이미지를 획득하는 동작을 수행할 수 있다. 일 실시예에 의하면, 프로세서(1300)는, 제 1 카메라 이미지에 포함된 복수의 용기 각각에 저장된 내용물들을 식별하고, 제 1 카메라 이미지 상에 내용물들 각각을 나타내는 식별 이미지들을 해당 용기와 관련하여 표시할 수 있다.
일 실시예에 의하면, 프로세서(1300)는, 제 1 카메라 이미지를 획득한 이후, 냉장고(1000) 안에 보관된 복수의 용기를 촬영한 제 2 카메라 이미지를 획득하고, 제 2 카메라 이미지를 이용하여, 냉장고(1000) 안에서 복수의 용기 각각의 이동 위치를 추적할 수 있다. 프로세서(1300)는, 추적한 결과에 기초하여, 내용물들 각각을 나타내는 식별 이미지들을 해당 용기의 이동 위치와 관련하여 표시할 수 있다.
일 실시예에 의하면, 프로세서(1300)는, 제 1 카메라 이미지에 포함된 복수의 용기 각각을 등록 용기 목록에 포함된 등록 용기들과 비교하고, 비교한 결과에 기초하여, 복수의 용기 중에서 제 1 용기를 미등록 용기로 결정할 수 있다. 이때, 프로세서(1300)는, 제 1 용기의 등록과 관련된 GUI를 디스플레이부(1411)에 표시할 수 있다.
출력부(1400)는, 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 이에는 디스플레이부(1411), 음향 출력부(1412), 진동 모터(미도시) 등이 포함될 수 있다.
디스플레이부(1411)와 터치패드가 레이어 구조를 이루어 터치스크린으로 구성되는 경우, 디스플레이부(1411)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(1411)는 액정 디스플레이부(liquid crystal display), 박막 트랜지스터 액정 디스플레이부(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이부(flexible display), 3차원 디스플레이부(3D display), 전기영동 디스플레이부(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 냉장고(1000)의 구현 형태에 따라 냉장고(1000)는 디스플레이부(1411)를 2개 이상 포함할 수도 있다.
일 실시예 의하면, 디스플레이부(1411)는, 냉장고 안에 보관된 복수의 객체의 카메라 이미지를 표시할 수 있다. 디스플레이부(1411)는, 사용자에 의해 선택된 객체의 대체 이미지를 카메라 이미지 위에 표시할 수도 있고, 카메라 이미지의 인접 영역에 표시할 수도 있다. 디스플레이부(1411)는, 카메라 이미지 위에 용기의 내용물을 나타내는 식별 이미지를 표시할 수도 있다.
음향 출력부(1412)는 통신부(1500)로부터 수신되거나 메모리(1800)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(1412)는 냉장고(1000)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(1412)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
통신부(1500)는, 냉장고(1000)와 서버 장치(2000), 냉장고(1000)와 모바일 단말(3000) 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(1500)는, 근거리 통신부(1511), 이동 통신부(1512) 및 방송 수신부(1513)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(1511)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(1512)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(1513)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 냉장고(1000)는 방송 수신부(1513)를 포함하지 않을 수도 있다.
사용자 입력부(1600)는, 사용자가 냉장고(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1600)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
일 실시예에 의하면, 사용자 입력부(1600)는 카메라 이미지에 포함된 복수의 객체 중에서 제 1 객체를 선택하는 제 1 사용자 입력을 수신할 수 있다. 또한, 사용자 입력부(1600)는 대체 이미지를 회전시키는 제 2 사용자 입력을 수신하고, 제 1 객체에 관한 상세 정보를 요청하는 제 3 사용자 입력을 수신할 수 있다.
구동부(1700)는 프로세서(1300)의 제어에 따라 동작하는 압축기(1711), 팬(1712), 필터(1713) 및 히터(1714) 중 적어도 하나를 포함할 수 있다. 구동부(1700)는 조명(또는, 냄새 탈취기)를 더 포함할 수 있다.
압축기(1711)는 프로세서(1300)의 제어에 의해 냉동 사이클의 작동 유체인 냉매를 압축한다. 냉동 사이클은 압축기(1711)에 의해 압축된 기체 상태의 냉매를 액체 상태의 냉매로 변환하는 응축기, 액체 상태의 냉매를 감압하는 팽창기 및 감압된 액체 상태의 냉매를 기화시키는 증발기를 포함한다. 프로세서(1300)는 액체 상태인 냉매의 기화를 통해 저장실에 온도를 제어할 수 있다. 또한, 냉장고(1000)는 펠티어 효과(peltier effect)를 이용하는 펠티어 소자, 자기 열 효과(magnetocaloric effect)를 이용하는 자기 냉각 장치를 통해 저장실의 온도를 제어할 수도 있다.
팬(1712)은 프로세서(1300)의 제어에 의해 외부 공기를 순환시킬 수 있다. 냉각 사이클에 의해 뜨거워진 공기는 외부 공기를 통해 열 교환되어 냉각될 수 있다.
공기 청정부(1713)는 프로세서(1300)의 제어에 의해 저장실 내 부유하거나 또는, 부착된 세균을 살균(또는, 제거)할 수 있다. 공기 청정부(1713)는 이온 살균 청정부를 포함할 수 있다.
히터(1714)는 프로세서(1300)의 제어에 의해 발생되는 서리를 제거한다. 히터(1714)는 제상 히터를 포함할 수 있다.
메모리(1800)는, 프로세서(1300)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 카메라 이미지, 등록일, 등록 객체 목록, 등록 용기 목록 등)을 저장할 수도 있다.
메모리(1800)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 메모리(1800)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있다.
전원 공급부(1900)는 프로세서(1300)의 제어에 의해 냉장고(1000)의 구성 요소에게 전원을 공급할 수 있다. 전원 공급부(1900)는 프로세서(1300)의 제어에 의해 전원 코드를 통해 외부의 전원 소스에서부터 입력되는 전원을 냉장고(1000)의 각 구성 요소들에게 공급할 수 있다.
일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.　 또한, 일부 실시예는 컴퓨터에 의해 실행되는 컴퓨터 프로그램과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 컴퓨터 프로그램 또는 컴퓨터 프로그램 제품 (computer program product)으로도 구현될 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (20)

  1. 냉장고 안의 객체에 관한 정보를 제공하는 방법에 있어서,
    상기 냉장고 안에 배치된 카메라를 통해서 상기 냉장고 안에 보관된 복수의 객체를 촬영한 카메라 이미지를 획득하는 단계;
    상기 획득된 카메라 이미지를 디스플레이부에 표시하는 단계;
    상기 카메라 이미지에 포함된 상기 복수의 객체 중에서 제 1 객체를 선택하는 제 1 사용자 입력을 수신하는 단계 - 상기 제 1 객체의 일부는 상기 카메라 이미지에 포함된 상기 복수의 객체 중 적어도 하나에 의해 가려짐;
    상기 제 1 사용자 입력에 응답하여, 상기 제 1 객체의 제 1 면에 대응하는 제 1 대체 이미지를 상기 디스플레이부에 표시하는 단계 - 상기 제 1 객체의 제 1 면에 대응하는 제 1 대체 이미지는 상기 제 1 객체의 가려진 부분에 대응하는 객체 이미지를 포함함;
    상기 제 1 객체에 대한 제 2 사용자 입력을 수신하는 단계; 및
    상기 제 2 사용자 입력에 응답하여, 상기 제 1 객체의 제 2 면에 대응하는 제 2 대체 이미지를 표시하는 단계 - 상기 제 1 객체의 제 2 면은 상기 제 1 객체의 제 1 면과 상이함;
    를 포함하는, 방법.
  2. 제 1 항에 있어서, 상기 제 1 객체의 제 1 면에 대응하는 제 1 대체 이미지를 표시하는 단계는,
    상기 제 1 객체에 대응하는 제품의 대표 면의 이미지를 검색하는 단계; 및
    상기 검색된 대표 면의 이미지를 표시하는 단계를 포함하는, 방법.
  3. 제 1 항에 있어서, 상기 제 1 객체의 제 1 면에 대응하는 제 1 대체 이미지를 표시하는 단계는,
    상기 제 1 객체의 제 1 면에 대응하는 제 1 대체 이미지를 상기 카메라 이미지의 상기 제 1 객체 위에 중첩하여 표시하는 단계를 포함하는, 방법.
  4. 삭제
  5. 제 1 항에 있어서, 상기 방법은,
    상기 제 1 객체에 관한 상세 정보를 요청하는 제 3 사용자 입력을 수신하는 단계; 및
    상기 제 3 사용자 입력에 응답하여, 상기 제 1 객체에 관한 상세 정보를 상기 디스플레이부에 표시하는 단계를 더 포함하는, 방법.
  6. 제 1 항에 있어서, 상기 방법은,
    상기 복수의 객체 중에서 유통 기한이 기 설정된 기한 내인 적어도 하나의 객체를 선택하는 단계; 및
    상기 적어도 하나의 객체 각각에 대응하는 유통 기한에 관한 정보를 상기 카메라 이미지 상에 표시하는 단계를 더 포함하는, 방법.
  7. 냉장고 안에 보관된 복수의 객체의 카메라 이미지를 획득하는 카메라;
    상기 획득된 카메라 이미지를 표시하는 디스플레이부;
    상기 카메라 이미지에 포함된 상기 복수의 객체 중에서 제 1 객체를 선택하는 제 1 사용자 입력을 수신하는 사용자 입력부 - 상기 제 1 객체의 일부는 상기 카메라 이미지에 포함된 상기 복수의 객체 중 적어도 하나에 의해 가려짐; 및
    상기 제 1 사용자 입력에 응답하여, 상기 제 1 객체의 제 1 면에 대응하는 제 1 대체 이미지를 상기 디스플레이부에 표시하는 프로세서- 상기 제 1 객체의 제 1 면에 대응하는 제 1 대체 이미지는 상기 제 1 객체의 가려진 부분에 대응하는 객체 이미지를 포함함;
    를 포함하되,
    상기 프로세서는, 상기 사용자 입력부를 통해 상기 제 1 객체에 대한 제 2 사용자 입력을 수신하고, 상기 제 2 사용자 입력에 응답하여, 상기 제 1 객체의 제 2 면에 대응하는 제 2 대체 이미지를 상기 디스플레이부에 표시하고,
    상기 제 1 객체의 제 2 면은 상기 제 1 객체의 제 1 면과 상이한, 냉장고.
  8. 삭제
  9. 제 7 항에 있어서, 상기 프로세서는,
    상기 사용자 입력부를 통해 상기 제 1 객체에 관한 상세 정보를 요청하는 제 3 사용자 입력을 수신하고, 상기 제 3 사용자 입력에 응답하여, 상기 제 1 객체에 관한 상세 정보를 상기 디스플레이부에 표시하는, 냉장고.
  10. 냉장고 안의 용기(container)에 관한 정보를 제공하는 방법에 있어서,
    상기 냉장고 안에 배치된 카메라를 통해서 상기 냉장고 안에 보관된 복수의 용기를 촬영한 제 1 카메라 이미지를 획득하는 단계;
    상기 제 1 카메라 이미지에 포함된 상기 복수의 용기 각각에 저장된 내용물들을 식별하는 단계;
    상기 제 1 카메라 이미지 상에 상기 내용물들 각각을 나타내는 식별 이미지들을 해당 용기와 관련하여 표시하는 단계;
    상기 제 1 카메라 이미지를 획득한 이후, 상기 냉장고 안에 보관된 복수의 용기를 촬영한 제 2 카메라 이미지를 획득하는 단계;
    상기 제 2 카메라 이미지를 이용하여, 상기 냉장고 안에서 상기 복수의 용기 각각의 이동 위치를 추적하는 단계; 및
    상기 추적한 결과에 기초하여, 상기 내용물들 각각을 나타내는 식별 이미지들을 해당 용기의 이동 위치와 관련하여 표시하는 단계를 포함하는, 방법.
  11. 제 10 항에 있어서, 상기 복수의 용기 각각에 저장된 내용물들을 식별하는 단계는,
    상기 제 1 카메라 이미지를 분석하여, 상기 복수의 용기를 추출하는 단계;
    상기 복수의 용기 각각을 등록 용기 목록에 포함된 등록 용기들과 비교하는 단계; 및
    상기 비교한 결과에 기초하여, 상기 등록 용기 목록으로부터 상기 복수의 용기 각각에 저장된 내용물들에 관한 정보를 획득하는 단계를 포함하는, 방법.
  12. 삭제
  13. 제 10 항에 있어서, 상기 방법은,
    상기 제 1 카메라 이미지에 포함된 상기 복수의 용기 각각을 등록 용기 목록에 포함된 등록 용기들과 비교하는 단계;
    상기 비교한 결과에 기초하여, 상기 복수의 용기 중에서 제 1 용기를 미등록 용기로 결정하는 단계; 및
    상기 제 1 용기의 등록과 관련된 GUI를 표시하는 단계를 더 포함하는, 방법.
  14. 제 13 항에 있어서, 상기 제 1 용기의 등록과 관련된 GUI를 표시하는 단계는,
    상기 GUI를 통해 상기 제 1 용기의 제 1 내용물에 관한 정보를 사용자로부터 입력 받는 단계; 및
    상기 제 1 용기의 이미지와 상기 제 1 용기의 제 1 내용물을 매칭한 정보를 상기 등록 용기 목록에 저장하는 단계를 포함하는, 방법.
  15. 제 14 항에 있어서, 상기 방법은,
    상기 제 1 카메라 이미지 상에 상기 제 1 용기와 관련하여 상기 제 1 내용물을 나타내는 제 1 식별 이미지를 추가하는 단계를 더 포함하는, 방법.
  16. 제 10 항에 있어서, 상기 방법은,
    상기 식별 이미지들 중에서 제 1 용기의 제 1 식별 이미지를 터치하는 사용자 입력을 수신하는 단계; 및
    상기 사용자 입력에 응답하여, 상기 제 1 용기의 등록일을 상기 제 1 카메라 이미지 상에 표시하는 단계를 더 포함하는, 방법.
  17. 하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 연결된 프로세서를 포함하고,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    냉장고 안에 배치된 카메라를 통해서 상기 냉장고 안에 보관된 복수의 용기를 촬영한 제 1 카메라 이미지를 획득하는 동작;
    상기 제 1 카메라 이미지에 포함된 상기 복수의 용기 각각에 저장된 내용물들을 식별하는 동작;
    상기 제 1 카메라 이미지 상에 상기 내용물들 각각을 나타내는 식별 이미지들을 해당 용기와 관련하여 표시하는 동작;
    상기 제 1 카메라 이미지를 획득한 이후, 상기 냉장고 안에 보관된 복수의 용기를 촬영한 제 2 카메라 이미지를 획득하는 동작;
    상기 제 2 카메라 이미지를 이용하여, 상기 냉장고 안에서 상기 복수의 용기 각각의 이동 위치를 추적하는 동작; 및
    상기 추적한 결과에 기초하여, 상기 내용물들 각각을 나타내는 식별 이미지들을 해당 용기의 이동 위치와 관련하여 표시하는 동작을 수행하는, 냉장고.
  18. 삭제
  19. 제 17 항에 있어서, 상기 프로세서는,
    상기 제 1 카메라 이미지에 포함된 상기 복수의 용기 각각을 등록 용기 목록에 포함된 등록 용기들과 비교하는 동작;
    상기 비교한 결과에 기초하여, 상기 복수의 용기 중에서 제 1 용기를 미등록 용기로 결정하는 동작; 및
    상기 제 1 용기의 등록과 관련된 GUI를 표시하는 동작을 더 수행하는, 냉장고.
  20. 냉장고 안에 배치된 카메라를 통해서 상기 냉장고 안에 보관된 복수의 객체를 촬영한 카메라 이미지를 획득하는 동작;
    상기 획득된 카메라 이미지를 디스플레이부에 표시하는 동작;
    상기 카메라 이미지에 포함된 상기 복수의 객체 중에서 제 1 객체를 선택하는 제 1 사용자 입력을 수신하는 동작 - 상기 제 1 객체의 일부는 상기 카메라 이미지에 포함된 상기 복수의 객체 중 적어도 하나에 의해 가려짐;
    상기 제 1 사용자 입력에 응답하여, 상기 제 1 객체의 대체 이미지를 상기 디스플레이부에 표시하는 동작 - 상기 제 1 객체의 제 1 면에 대응하는 제 1 대체 이미지는 상기 제 1 객체의 가려진 부분에 대응하는 객체 이미지를 포함함;
    상기 제 1 객체에 대한 제 2 사용자 입력을 수신하는 동작; 및
    상기 제 2 사용자 입력에 응답하여, 상기 제 1 객체의 제 2 면에 대응하는 제 2 대체 이미지를 표시하는 동작 - 상기 제 1 객체의 제 2 면은 상기 제 1 객체의 제 1 면과 상이함;
    을 수행하도록 하는 프로그램이 저장된 기록매체.
KR1020180128326A 2018-10-25 2018-10-25 냉장고 안의 객체에 관한 정보를 제공하는 방법 및 시스템 KR102637119B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180128326A KR102637119B1 (ko) 2018-10-25 2018-10-25 냉장고 안의 객체에 관한 정보를 제공하는 방법 및 시스템
CN201980068090.9A CN112889019A (zh) 2018-10-25 2019-09-27 用于提供关于存储在冰箱中的对象的信息的方法和系统
EP19875658.7A EP3791251B1 (en) 2018-10-25 2019-09-27 Method and system for providing information about objects in refrigerator
PCT/KR2019/012599 WO2020085665A1 (en) 2018-10-25 2019-09-27 Method and system for providing information about objects in refrigerator
US16/664,152 US11508166B2 (en) 2018-10-25 2019-10-25 Method and system for providing information about objects in refrigerator

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180128326A KR102637119B1 (ko) 2018-10-25 2018-10-25 냉장고 안의 객체에 관한 정보를 제공하는 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20200046751A KR20200046751A (ko) 2020-05-07
KR102637119B1 true KR102637119B1 (ko) 2024-02-15

Family

ID=70325322

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180128326A KR102637119B1 (ko) 2018-10-25 2018-10-25 냉장고 안의 객체에 관한 정보를 제공하는 방법 및 시스템

Country Status (5)

Country Link
US (1) US11508166B2 (ko)
EP (1) EP3791251B1 (ko)
KR (1) KR102637119B1 (ko)
CN (1) CN112889019A (ko)
WO (1) WO2020085665A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11386621B2 (en) * 2018-12-31 2022-07-12 Whirlpool Corporation Augmented reality feedback of inventory for an appliance
US11374808B2 (en) 2020-05-29 2022-06-28 Corning Research & Development Corporation Automated logging of patching operations via mixed reality based labeling
US11295135B2 (en) * 2020-05-29 2022-04-05 Corning Research & Development Corporation Asset tracking of communication equipment via mixed reality based labeling
CN111860263B (zh) * 2020-07-10 2024-08-23 海尔优家智能科技（北京）有限公司 信息录入方法、装置及计算机可读存储介质
US20220136766A1 (en) * 2020-11-04 2022-05-05 Scott C Harris Smart Refrigerator
KR102313279B1 (ko) * 2021-01-18 2021-10-14 김현환 식재료 기반 최적 레시피 제공 장치
CN116202297A (zh) * 2023-01-17 2023-06-02 珠海格力电器股份有限公司 一种冰箱的控制方法、装置、设备及存储介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101517083B1 (ko) * 2009-05-11 2015-05-15 엘지전자 주식회사 냉장고를 제어하는 휴대 단말기 및 그 동작 방법
US8903167B2 (en) * 2011-05-12 2014-12-02 Microsoft Corporation Synthesizing training samples for object recognition
KR102152399B1 (ko) * 2014-04-15 2020-09-21 엘지전자 주식회사 냉장고 및 그 제어 방법
EP2995892B1 (en) 2013-04-23 2023-11-08 LG Electronics Inc. Refrigerator
KR20140139736A (ko) 2013-05-28 2014-12-08 삼성전자주식회사 냉장고 및 그 제어 방법
DE102013211097A1 (de) * 2013-06-14 2014-12-18 BSH Bosch und Siemens Hausgeräte GmbH Kältegerät mit einem Kameramodul
KR102212064B1 (ko) 2013-12-06 2021-02-05 삼성전자주식회사 냉장고에 의해 헬스 서비스를 제공하는 방법 및 이를 위한 냉장고
KR20160043588A (ko) * 2014-10-13 2016-04-22 삼성전자주식회사 컨텐츠 서비스 제공 방법 및 장치
US10956856B2 (en) * 2015-01-23 2021-03-23 Samsung Electronics Co., Ltd. Object recognition for a storage structure
JP2016192122A (ja) * 2015-03-31 2016-11-10 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2017036108A (ja) 2015-08-07 2017-02-16 東芝テック株式会社 表示装置及びプログラム
KR102349428B1 (ko) * 2015-08-12 2022-01-10 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자장치
KR102223627B1 (ko) * 2015-09-03 2021-03-05 삼성전자주식회사 냉장고
US10467584B2 (en) * 2016-01-25 2019-11-05 Sun Kyong Lee Food inventory systems and method
US11016634B2 (en) 2016-09-01 2021-05-25 Samsung Electronics Co., Ltd. Refrigerator storage system having a display
CN107796168A (zh) * 2016-09-07 2018-03-13 北京京东尚科信息技术有限公司 智能冰箱的食品信息管理方法
KR102366723B1 (ko) 2016-10-11 2022-02-23 삼성전자주식회사 운송 수단으로 시야 확보 영상을 제공하는 방법, 이를 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
US20180187969A1 (en) * 2017-01-03 2018-07-05 Samsung Electronics Co., Ltd. Refrigerator
KR102018639B1 (ko) * 2017-01-03 2019-09-05 삼성전자주식회사 식품 보관 장치 및 그 제어 방법
EP3343473A1 (en) * 2017-01-03 2018-07-04 Samsung Electronics Co., Ltd. Food storage apparatus and control method thereof
US9965798B1 (en) * 2017-01-31 2018-05-08 Mikko Vaananen Self-shopping refrigerator
KR102402096B1 (ko) * 2017-03-27 2022-05-26 삼성전자주식회사 이미지 내 오브젝트와 관련된 정보를 제공하는 전자 장치
CN107477971B (zh) * 2017-08-04 2020-09-18 三星电子（中国）研发中心 一种对冰箱内食物的管理方法和设备
JP7071086B2 (ja) * 2017-10-13 2022-05-18 キヤノン株式会社 画像処理装置、画像処理方法及びコンピュータプログラム

Also Published As

Publication number Publication date
WO2020085665A1 (en) 2020-04-30
EP3791251B1 (en) 2024-09-11
KR20200046751A (ko) 2020-05-07
EP3791251A1 (en) 2021-03-17
CN112889019A (zh) 2021-06-01
EP3791251A4 (en) 2021-07-07
US11508166B2 (en) 2022-11-22
US20200134291A1 (en) 2020-04-30

Similar Documents

Publication Publication Date Title
KR102637119B1 (ko) 냉장고 안의 객체에 관한 정보를 제공하는 방법 및 시스템
CN110637204B (zh) 冰箱及其食物管理的方法
US11263498B2 (en) Method and system for providing information related to a status of an object in a refrigerator
US11353259B2 (en) Augmented-reality refrigerator and method of controlling thereof
KR102619657B1 (ko) 냉장고와 서버 및 서버의 제어 방법
US11732961B2 (en) Augmented-reality refrigerator and method of controlling thereof
CN112005268B (zh) 冰箱和在冰箱上显示用户界面的方法、用户终端和在用户终端中执行功能的方法
CN107709911B (zh) 冰箱
KR20180080112A (ko) 냉장고 및 이의 정보 표시 방법
US11425338B2 (en) Refrigerator, and system and method for controlling same
KR20190084913A (ko) 냉장고 및 냉장고의 동작 방법
EP3852038B1 (en) Food management system, server apparatus, and refrigerator
US11599928B2 (en) Refrigerator and method for managing products in refrigerator
US11436558B2 (en) Refrigerator, operating method thereof and information providing system
CN118467804A (zh) 制冷系统和制冷系统的商品查找方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right