KR20190104495A - 식품 보관 장치 및 그 제어 방법 - Google Patents
식품 보관 장치 및 그 제어 방법 Download PDFInfo
- Publication number
- KR20190104495A KR20190104495A KR1020190107245A KR20190107245A KR20190104495A KR 20190104495 A KR20190104495 A KR 20190104495A KR 1020190107245 A KR1020190107245 A KR 1020190107245A KR 20190107245 A KR20190107245 A KR 20190107245A KR 20190104495 A KR20190104495 A KR 20190104495A
- Authority
- KR
- South Korea
- Prior art keywords
- food
- storage device
- input
- food storage
- application
- Prior art date
Links
- 235000013305 food Nutrition 0.000 title claims abstract description 540
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000010411 cooking Methods 0.000 claims description 41
- 239000000463 material Substances 0.000 claims description 30
- 238000007796 conventional method Methods 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 19
- 239000004615 ingredient Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 235000015927 pasta Nutrition 0.000 description 13
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 7
- 240000003768 Solanum lycopersicum Species 0.000 description 7
- 235000014347 soups Nutrition 0.000 description 7
- 239000012769 display material Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 239000008267 milk Substances 0.000 description 3
- 210000004080 milk Anatomy 0.000 description 3
- 235000013336 milk Nutrition 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D29/00—Arrangement or mounting of control or safety devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/12—Hotels or restaurants
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
- F25D2400/36—Visual displays
- F25D2400/361—Interactive visual displays
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2500/00—Problems to be solved
- F25D2500/06—Stock management
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- Human Computer Interaction (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Chemical & Material Sciences (AREA)
- Mechanical Engineering (AREA)
- Combustion & Propulsion (AREA)
- Thermal Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
식품 보관 장치 및 그 제어 방법이 개시된다. 본 발명에 따른 식품 보관 장치는 식품 보관 장치와 관련된 어플리케이션의 실행 화면을 디스플레이하는 디스플레이부 및 어플리케이션의 실행 화면이 표시되는 동안 어플리케이션의 실행 화면을 제어하기 위한 적어도 하나의 아이콘을 포함하는 UI를 어플리케이션 실행 화면의 사이드 영역에 표시하도록 디스플레이부를 제어하는 프로세서를 포함하며, 식품 보관 장치와 관련된 어플리케이션은 식품 보관 장치 내부를 촬영한 영상을 제공하는 뷰 인사이드 어플리케이션이며, 프로세서는, 식품 보관 장치 내부를 촬영한 영상에 UI를 표시하도록 상기 디스플레이부를 제어한다. 이에 따라, 식품 보관 장치는 종래에 보다 다양한 서비스를 제공할 수 있으며, 서비스 실행을 위한 UI를 사용자가 쉽게 빠르게 이용할 수 있는 형태로 제공할 수 있다.
Description
본 발명은 식품 보관 장치 및 그 제어 방법에 관한 것으로써, 보다 상세하게는, 식품 보관 장치를 통해 다양한 UI 환경을 제공하기 위한 식품 보관 장치 및 그 제어 방법에 관한 것이다.
최근 기술 발달로 인하여 스마트 냉장고와 같은 식품 보관 장치는 식품 보관 장치 내에 보관된 식품과 관련된 정보를 제공할 수 있다.
뿐만 아니라, 식품 보관 장치는 외부 기기 혹은 외부 서버와 통신을 수행하여 다양한 컨텐츠를 제공할 수 있다.
예를 들어, 식품 보관 장치는 식품을 보관하는 보관실을 개폐하는 도어의 전면에 부착된 디스플레이 화면을 통해 식품 보관 장치 내에 보관된 식품의 보관 가능 상태, 보관된 식품을 이용한 요리 정보를 제공하거나 혹은 외부로부터 수신된 컨텐를 재생하는 등의 서비스만을 제공한다.
즉, 종래의 식품 보관 장치는 사용자로부터 입력된 정보, 식품 보관 장치 내에서 감지된 정보, 외부로부터 수신된 데이터 등을 이용하여 다소 제한적인 서비스를 제공한다.
한편, 식품 보관 장치는 디스플레이 화면을 통해 UI를 디스플레이하고, 디스플레이된 UI에 대한 사용자의 선택 명령에 따라, 전술한 서비스를 제공할 수 있다.
이 같은 서비스 제공을 위한 UI는 디스플레이 화면의 상단 또는 하단에 배치되거나 혹은 디스플레이 화면의 중앙에 배치되어 디스플레이된다.
전술한 서비스 제공을 위한 UI가 디스플레이 화면의 상단 또는 하단에 배치될 경우, 특정 사용자(예를 들어 키가 크거나 작은 사용자 혹은 장애인)는 디스플레이 화면에 디스플레이된 UI를 쉽게 조작하지 못하는 문제가 있다.
뿐만 아니라, 해당 UI가 디스플레이 화면의 중앙에 배치될 경우, 사용자는 디스플레이 화면의 중앙에 디스플레이된 UI에 의해 디스플레이 화면을 통해 디스플레이되는 다양한 어플리케이션의 실행 화면 혹은 동영상과 같은 컨텐츠를 시청하는데 불편함을 감수해야 하는 문제가 있다.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은, 식품 보관 장치에서 수집되거나 입력된 다양한 정보를 이용하여 보다 다양한 서비스를 제공하도록 함을 목적으로 한다.
나아가, 본 발명은 서비스 실행을 위한 UI를 사용자가 쉽게 빠르게 이용할 수 있는 형태로 제공되도록 함을 목적으로 한다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 식품 보관 장치는 상기 식품 보관 장치와 관련된 어플리케이션의 실행 화면을 디스플레이하는 디스플레이부 및 상기 어플리케이션의 실행 화면이 표시되는 동안 상기 어플리케이션의 실행 화면을 제어하기 위한 적어도 하나의 아이콘을 포함하는 UI를 상기 어플리케이션 실행 화면의 사이드 영역에 표시하도록 상기 디스플레이부를 제어하는 프로세서를 포함하며, 상기 어플리케이션은 상기 식품 보관 장치 내부를 촬영한 영상을 제공하며, 상기 프로세서는, 상기 식품 보관 장치 내부를 촬영한 영상에 상기 UI를 표시하도록 상기 디스플레이부를 제어한다.
그리고, 상기 프로세서는, 상기 적어도 하나의 아이콘 중 하나가 선택되면, 상기 선택된 아이콘에 대응되는 실행 화면을 디스플레이하고, 상기 디스플레이된 실행 화면을 제어하기 위한 아이콘을 포함하는 서브 UI를 표시하도록 상기 디스플레이부를 제어할 수 있다.
또한, 상기 프로세서는, 상기 UI의 이동 가능 범위를 안내하는 가이드 UI를 더 표시하도록 상기 디스플레이부를 제어할 수 있다.
그리고, 상기 프로세서는, 상기 촬영된 영상 내 포함된 복수의 오브젝트 중 하나가 선택되면, 상기 선택된 오브젝트와 관련된 정보 입력을 위한 입력 UI를 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
또한, 상기 프로세서는, 상기 입력 UI에 포함된 제1 아이콘이 선택되면, 상기 오브젝트와 관련된 정보 입력을 위한 메모 UI를 디스플레이하며, 상기 메모 UI를 통해 사용자 명령이 입력되면, 상기 사용자 명령에 대응하는 메모를 포함하는 태그 UI를 생성하여 상기 촬영된 영상에 중첩시켜 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
그리고, 상기 프로세서는, 상기 태그 UI가 선택되면, 상기 선택된 태그 UI에 대응되는 오브젝트와 관련된 정보 입력을 위한 상기 메모 UI를 다시 디스플레이할 수 있다.
또한, 상기 프로세서는, 상기 입력 UI에 포함된 제2 아이콘이 선택되면, 상기 식품 보관 장치 내에 저장된 식품별 푸드 정보를 제공하기 위한 푸드 리스트 어플리케이션을 실행하고, 상기 오브젝트와 관련된 식품 정보가 입력되면, 상기 실행된 푸드 리스트 어플리케이션에 저장된 푸드 리스트에 상기 입력된 식품 정보를 등록할 수 있다.
그리고, 상기 프로세서는, 상기 입력 UI에 포함된 제3 아이콘이 선택되면, 식품 구매를 위한 쇼핑 리스트 어플리케이션을 실행하고, 상기 오브젝트와 관련된 식품 정보가 입력되면, 상기 쇼핑 리스트 어플리케이션에 저장된 쇼핑 리스트에 상기 입력된 식품 정보를 등록할 수 있다.
또한, 상기 프로세서는, 식품 구매를 위한 음성 명령이 입력되면, 쇼핑 리스트 어플리케이션을 실행하고, 상기 실행된 쇼핑 리스트 어플리케이션에 저장된 쇼핑 리스트에 상기 음성 명령과 관련된 식품 정보를 등록할 수 있다.
그리고, 상기 프로세서는, 요리별 조리 안내를 위한 레시피 어플리케이션이 실행된 상태에서, 특정 요리에 대한 사용자 명령이 입력되면, 상기 요리를 위한 재료 정보를 디스플레이하며, 상기 식품 보관 장치 내 보관된 식품에 대한 식품 정보를 제공하는 푸드 리스트 어플리케이션에 저장된 푸드 리스트에 기초하여 상기 디스플레이된 재료 중 상기 식품 보관 장치 내에 있는 식품 관련 재료와 나머지 재료를 상이하게 표시하여 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
한편, 본 발명의 또다른 실시 예에 따르면, 식품 보관 장치의 제어 방법은, 상기 식품 보관 장치와 관련된 어플리케이션의 실행 화면을 디스플레이하는 단계 및 상기 어플리케이션의 실행 화면이 표시되는 동안 상기 어플리케이션의 실행 화면을 제어하기 위한 적어도 하나의 아이콘을 포함하는 UI를 상기 어플리케이션 실행 화면의 사이드 영역에 표시하는 단계를 포함하며, 상기 어플리케이션은 상기 식품 보관 장치 내부를 촬영한 영상을 제공하며, 상기 사이드 영역에 표시하는 단계는, 상기 식품 보관 장치 내부를 촬영한 영상에 상기 UI를 표시한다.
그리고, 상기 디스플레이하는 단계는, 상기 적어도 하나의 아이콘 중 하나가 선택되면, 상기 선택된 아이콘에 대응되는 실행 화면을 디스플레이하며, 상기 사이드 영역에 표시하는 단계는, 상기 디스플레이된 실행 화면을 제어하기 위한 아이콘을 포함하는 서브 UI를 표시할 수 있다.
또한, 상기 UI의 이동 가능 범위를 안내하는 가이드 UI를 표시하는 단계를 더 포함할 수 있다.
그리고, 상기 촬영된 영상 내 포함된 복수의 오브젝트 중 하나가 선택되면, 상기 선택된 오브젝트와 관련된 정보 입력을 위한 입력 UI를 디스플레이하는 단계를 더 포함할 수 있다.
또한, 상기 입력 UI를 통해 입력된 사용자 명령에 따라, 태그 UI를 디스플레이하는 단계를 더 포함하며, 상기 태그 UI를 디스플레이하는 단계는, 상기 입력 UI에 포함된 제1 아이콘이 선택되면, 상기 선택된 오브젝트와 관련된 정보 입력을 위한 메모 UI를 디스플레이하는 단계, 상기 메모 UI를 통해 사용자 명령이 입력되면, 상기 사용자 명령에 대응하는 메모를 포함하는 태그 UI를 생성하는 단계 및 상기 생성된 태그 UI를 상기 촬영된 영상에 중첩시켜 디스플레이하는 단계를 포함할 수 있다.
그리고, 상기 태그 UI를 디스플레이하는 단계는, 상기 태그 UI가 선택되면, 상기 선택된 태그 UI에 대응되는 오브젝트와 관련된 정보 입력을 위한 상기 메모 UI를 다시 디스플레이할 수 있다.
또한, 상기 입력 UI를 통해 입력된 사용자 명령에 따라 식품 보관 장치 내에 저장된 식품에 대한 정보를 등록하는 단계를 더 포함하며, 상기 등록하는 단계는, 상기 입력 UI에 포함된 제2 아이콘이 선택되면, 상기 식품 보관 장치 내에 저장된 식품별 푸드 정보를 제공하기 위한 푸드 리스트 어플리케이션을 실행하는 단계 및 상기 오브젝트와 관련된 식품 정보가 입력되면, 상기 푸드 리스트 어플리케이션에 저장된 상기 푸드 리스트에 상기 입력된 식품 정보를 등록하는 단계를 포함하며, 상기 푸드 리스트는, 상기 식품 보관 장치 내에 보관된 식품에 대한 정보를 제공할 수 있다.
그리고, 상기 입력 UI를 통해 입력된 사용자 명령에 따라, 식품 구매를 위한 정보를 등록하는 단계를 더 포함하며, 상기 등록하는 단계는, 상기 입력 UI에 포함된 제3 아이콘이 선택되면, 쇼핑 리스트 어플리케이션을 실행하는 단계 및 상기 오브젝트와 관련된 식품 정보가 입력되면, 상기 쇼핑 리스트 어플리케이션에 저장된 상기 쇼핑 리스트에 상기 입력된 식품 정보를 등록하는 단계를 포함할 수 있다.
또한, 식품 정보를 등록하는 단계를 더 포함하며, 상기 등록하는 단계는, 식품 구매를 위한 음성 명령이 입력되면, 쇼핑 리스트 어플리케이션을 실행하고, 상기 실행된 쇼핑 리스트 어플리케이션에 저장된 쇼핑 리스트에 상기 음성 명령과 관련된 식품 정보를 등록할 수 있다.
그리고, 상기 디스플레이하는 단계는, 요리별 조리 안내를 위한 레시피 어플리케이션이 실행된 경우, 특정 요리에 대한 사용자 명령이 입력되면, 상기 요리를 위한 재료 정보를 디스플레이하며, 상기 식품 보관 장치 내 보관된 식품에 대한 식품 정보를 제공하는 푸드 리스트 어플리케이션에 저장된 푸드 리스트에 기초하여 상기 디스플레이된 재료 중 상기 식품 보관 장치 내에 있는 식품 관련 재료와 나머지 재료를 상이하게 표시하여 디스플레이할 수 있다.
이상과 같이, 본 발명에 따른 식품 보관 장치는 종래에 보다 다양한 서비스를 제공할 수 있으며, 서비스 실행을 위한 UI를 사용자가 쉽게 빠르게 이용할 수 있는 형태로 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 식품 보관 장치의 예시도,
도 2는 본 발명의 일 실시예에 따른 식품 보관 장치의 개략적인 블록도,
도 3은 본 발명의 일 실시예에 따른 식품 보관 장치의 세부 블록도,
도 4는 본 발명의 일 실시예에 따른 식품 보관 장치에서 디스플레이되는 UI의 예시도,
도 5는 본 발명의 일 실시예에 따른 식품 보관 장치에서 디스플레이되는 UI를 제어하는 제1 예시도,
도 6은 본 발명의 또다른 실시예에 따른 식품 보관 장치에서 디스플레이되는 UI를 제어하는 제2 예시도,
도 7은 본 발명의 일 실시예에 따른 식품 보관 장치에서 사이드 영역에 표시된 UI의 아이콘 선택에 따른 실행 화면을 디스플레이하는 예시도,
도 8은 본 발명의 일 실시예에 식품 보관 장치에서 실행 중인 어플리케이션 타입에 따른 입력 UI를 제공하는 예시도,
도 9는 본 발명의 일 실시예에 따른 식품 보관 장치에서 실행 중인 어플리케이션을 편집하는 제1 예시도,
도 10은 본 발명의 또다른 실시예에 따른 식품 보관 장치에서 실행 중인 어플리케이션을 편집하는 제2 예시도,
도 11 내지 도 15는 본 발명의 일 실시예에 따른 식품 보관 장치에서 뷰 인사이드 어플리케이션의 실행 동작을 나타내는 예시도,
도 16 본 발명의 일 실시예에 따른 식품 보관 장치에서 쇼핑 리스트 어플리케이션의 실행 동작을 나타내는 예시도,
도 17은 본 발명의 일 실시예에 따른 식품 보관 장치에서 복수의 어플리케이션을 연동시켜 동작하는 예시도,
도 18은 본 발명의 일 실시예에 따른 식품 보관 장치에서 쇼핑 리스트에 등록된 식품을 구매하는 예시도,
도 19 내지 도 22는 본 발명의 일 실시예에 따른 식품 보관 장치에서 레시피 어플리케이션의 실행 동작을 나타내는 예시도,
도 23은 본 발명의 일 실시예에 따른 식품 보관 장치의 제어 방법에 대한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 식품 보관 장치의 개략적인 블록도,
도 3은 본 발명의 일 실시예에 따른 식품 보관 장치의 세부 블록도,
도 4는 본 발명의 일 실시예에 따른 식품 보관 장치에서 디스플레이되는 UI의 예시도,
도 5는 본 발명의 일 실시예에 따른 식품 보관 장치에서 디스플레이되는 UI를 제어하는 제1 예시도,
도 6은 본 발명의 또다른 실시예에 따른 식품 보관 장치에서 디스플레이되는 UI를 제어하는 제2 예시도,
도 7은 본 발명의 일 실시예에 따른 식품 보관 장치에서 사이드 영역에 표시된 UI의 아이콘 선택에 따른 실행 화면을 디스플레이하는 예시도,
도 8은 본 발명의 일 실시예에 식품 보관 장치에서 실행 중인 어플리케이션 타입에 따른 입력 UI를 제공하는 예시도,
도 9는 본 발명의 일 실시예에 따른 식품 보관 장치에서 실행 중인 어플리케이션을 편집하는 제1 예시도,
도 10은 본 발명의 또다른 실시예에 따른 식품 보관 장치에서 실행 중인 어플리케이션을 편집하는 제2 예시도,
도 11 내지 도 15는 본 발명의 일 실시예에 따른 식품 보관 장치에서 뷰 인사이드 어플리케이션의 실행 동작을 나타내는 예시도,
도 16 본 발명의 일 실시예에 따른 식품 보관 장치에서 쇼핑 리스트 어플리케이션의 실행 동작을 나타내는 예시도,
도 17은 본 발명의 일 실시예에 따른 식품 보관 장치에서 복수의 어플리케이션을 연동시켜 동작하는 예시도,
도 18은 본 발명의 일 실시예에 따른 식품 보관 장치에서 쇼핑 리스트에 등록된 식품을 구매하는 예시도,
도 19 내지 도 22는 본 발명의 일 실시예에 따른 식품 보관 장치에서 레시피 어플리케이션의 실행 동작을 나타내는 예시도,
도 23은 본 발명의 일 실시예에 따른 식품 보관 장치의 제어 방법에 대한 흐름도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명의 실시 예에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 발명의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 발명된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시 예에서 ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 발명의 실시 예에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 물리적인 연결뿐만 아니라 무선 연결되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하에서는 도면을 참조하여 본 개시에 대해 상세히 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 식품 보관 장치의 예시도이다.
도 1에 도시된 바와 같이, 식품 보관 장치(100)는 스마트 냉장고와 같이, 식품이 변질되지 않도록 보관이 가능한 장치가 될 수 있다.
이 같은 식품 보관 장치(100)는 식품을 보관하는 보관실을 개폐하는 도어(10)의 전면에 부착된 디스플레이 화면(20)을 통해 식품과 관련된 다양한 어플리케이션에 대한 실행 화면을 디스플레이하거나, 혹은 각각의 어플리케이션 실행을 위한 UI를 제공한다.
여기서, 어플리케이션은 식품 보관 장치(100) 내부를 촬영한 영상을 제공하는 어플리케이션이 될 수 있다. 즉, 식품과 관련된 어플리케이션은 식품이 보관된 식품 보관 장치(100) 내부를 촬영한 영상을 제공하기 위한 뷰 인사이드 어플리케이션, 식품 구매를 위한 어플리케이션, 요리별 레시피를 제공하기 위한 어플리케이션 등이 될 수 있다.
뿐만 아니라, 식품 보관 장치(100)는 디스플레이 화면(20)을 통해 생활 정보, 컨텐츠, 스케줄 관리, 메모 등의 다양한 어플리케이션에 대한 실행 화면을 디스플레이하거나 혹은 각각의 어플리케이션 실행을 위한 적어도 하나의 아이콘을 포함하는 UI를 제공할 수 있다.
한편, 식품 보관 장치(100)는 어플리케이션 실행하거나 혹은 어플리케이션의 실행 화면을 제어하기 위한 적어도 하나의 아이콘을 포함하는 UI를 디스플레이 화면(20)의 사이드에 디스플레이할 수 있다.
이와 같이, 어플리케이션 실행하거나 혹은 어플리케이션의 실행 화면을 제어하기 위한 적어도 하나의 아이콘을 포함하는 UI가 디스플레이 화면(20)의 사이드에 디스플레이됨에 따라, 디스플레이 화면(20)에 디스플레이된 어플리케이션의 실행 화면이 해당 UI에 의해 방해되는 문제를 개선할 수 있다.
뿐만 아니라, 어플리케이션 실행하거나 혹은 어플리케이션의 실행 화면을 제어하기 위한 적어도 하나의 아이콘을 포함하는 UI가 디스플레이 화면(20)의 사이드에 디스플레이됨에 따라, 모든 사용자가 디스플레이 화면(20)에 디스플레이된 UI를 사용할 수 있다.
한편, 식품 보관 장치(100)는 디스플레이 화면(20)의 사이드 영역에 디스플레이된 적어도 하나의 아이콘을 포함하는 UI를 사용자 명령에 대응되는 방향으로 이동시킬 수 있다.
예를 들어, 식품 보관 장치(100)는 사용자 명령에 따라, 디스플레이 화면(20)의 사이드 영역에 디스플레이된 적어도 하나의 아이콘을 포함하는 UI를 상측 혹은 하측 방향으로 이동시킬 수 있다.
지금까지, 본 발명에 따른 식품 보관 장치(100)에 대해서 개략적으로 설명하였다. 이하에서는, 본 발명에 따른 식품 보관 장치(100)의 구성에 대해서 상세히 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 식품 보관 장치의 개략적인 블록도이다.
도 2에 도시된 바와 같이, 식품 보관 장치(100)는 디스플레이부(110) 및 프로세서(120)를 포함한다.
디스플레이부(110)는 식품 보관 장치(100)와 관련된 어플리케이션의 실행 화면을 디스플레이한다.
여기서, 식품 보관 장치(100)와 관련된 어플리케이션은 식품이 보관된 식품 보관 장치(100) 내부를 촬영한 영상을 제공하기 위한 뷰 인사이드 어플리케이션이 될 수 있다. 그러나, 본 발명은 이에 한정되지 않으며, 식품 보관 장치(100)와 관련된 어플리케이션은 식품 구매를 위한 어플리케이션, 요리별 레시피를 제공하기 위한 어플리케이션을 포함할 수 있다.
뿐만 아니라, 식품 보관 장치(100)에서 제공되는 어플리케이션은 생활 정보, 컨텐츠, 스케줄 관리, 메모 관련 어플리케이션을 포함할 수 있다.
프로세서(120)는 어플리케이션의 실행 화면이 디스플레이부(110)에 표시되는 동안, 해당 어플리케이션의 실행 화면을 제어하기 위한 적어도 하나의 아이콘을 포함하는 UI를 디스플레이 중인 어플리케이션의 실행 화면의 사이드 영역에 표시하도록 디스플레이부(110)를 제어한다.
이에 따라, 디스플레이부(110)는 디스플레이 중인 어플리케이션의 실행 화면의 사이드 영역에 해당 어플리케이션의 실행 화면을 제어하기 위한 적어도 하나의 아이콘을 포함하는 UI를 디스플레이할 수 있다.
한편, 프로세서(120)는 어플리케이션의 실행 화면의 사이드 영역에 디스플레이된 UI에 포함된 적어도 하나의 아이콘 중 하나가 선택되면, 선택된 아이콘에 대응되는 실행 화면을 디스플레이하고, 디스플레이된 실행 화면을 제어하기 위한 아이콘을 포함하는 서브 UI를 디스플레이하도록 디스플레이부(110)를 제어한다.
이때, 프로세서(120)는 서브 UI가 디스플레이된 실행 화면의 사이드 영역에 디스플레이되도록 디스플레이부(110)를 제어할 수 있다.
일 실시예에 따라, 프로세서(120)는 디스플레이된 실행 화면의 사이드 영역에 서브 UI를 중첩시켜 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
또다른 실시예에 따라, 프로세서(120)는 사이드 영역에 서브 UI를 디스플레이하고, 나머지 영역에 실행 화면을 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
본 발명의 추가적인 양상에 따라, 프로세서(120)는 사이드 영역에 표시된 UI의 이동 가능 범위를 안내하는 가이드 UI를 더 표시하도록 디스플레이부(110)를 제어할 수 있다.
그러나, 본 발명은 이에 한정되지 않으며, 프로세서(120)는 전술한 사이드 영역에 표시된 서브 UI의 이동 가능 범위를 안내하는 가이드 UI를 더 표시하도록 디스플레이부(110)를 제어할 수 있다.
구체적으로, 프로세서(120)는 사용자 명령이 입력되며, 입력된 사용자 명령에 대응되는 방향으로 전술한 사이드 영역에 표시된 UI 혹은 서브 UI를 이동시켜 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
실시예에 따라, 프로세서(120)는 사용자의 드래그 명령이 입력되면, 입력된 드래그 명령에 대응되는 상측 방향 또는 하측 방향으로 사이드 영역에 표시된 UI 혹은 서브 UI를 이동시켜 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
이때, 프로세서(120)는 가이드 UI가 표시된 경우, 가이드 UI가 표시된 지점까지 사이드 영역에 표시된 UI 혹은 서브 UI를 사용자 명령에 대응되는 방향으로 이동시켜 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
한편, 프로세서(120)는 전술한 바와 같이, 뷰 인사이드 어플리케이션이 실행된 경우, 식품이 보관된 식품 보관 장치(100)의 내부를 촬영한 영상을 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
따라서, 디스플레이부(110)는 식품이 보관된 식품 보관 장치(100)의 내부를 촬영한 영상을 디스플레이할 수 있다.
한편, 프로세서(120)는 촬영된 영상 내에 포함된 복수의 오브젝트 중 하나가 선택되면, 선택된 오브젝트와 관련된 정보 입력을 위한 입력 UI를 디스플레이하도록 디스플레이부(110)를 제어한다.
이에 따라, 디스플레이부(110)는 선택된 오브젝트 주위에 복수의 아이콘을 포함하는 입력 UI를 디스플레이할 수 있다.
따라서, 프로세서(120)는 디스플레이된 입력 UI에 포함된 아이콘에 대한 사용자의 선택 명령에 따라 다양한 동작을 수행한다.
실시예에 따라, 프로세서(120)는 디스플레이된 입력 UI에 포함된 복수의 아이콘 중 제1 아이콘에 대한 사용자 명령이 입력되면, 기선택된 오브젝트와 관련된 정보 입력을 위한 메모 UI를 디스플레이하도록 디스플레이부(110)를 제어한다.
이후, 프로세서(120)는 디스플레이된 메모 UI를 통해 사용자 명령이 입력되면, 입력된 사용자 명령에 대응하는 메모를 포함하는 태그 UI를 생성한다. 이후, 프로세서(120)는 식품이 보관된 식품 보관 장치(100)의 내부가 촬영된 영상에 태그 UI를 중첩시켜 디스플레이하도록 디스플레이부(110)를 제어한다.
이에 따라, 디스플레이부(110)는 식품이 보관된 식품 보관 장치(100)의 내부가 촬영된 영상에 태그 UI를 중첩시켜 디스플레이할 수 있다.
한편, 프로세서(120)는 태그 UI가 디스플레이된 상태에서, 태그 UI에 대한 선택 명령이 입력되면, 선택된 태그 UI에 대응되는 오브젝트와 관련된 정보 입력을 위한 메모 UI를 다시 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
한편, 프로세서(120)는 입력 UI에 포함된 복수의 아이콘 중 제2 아이콘에 대한 선택 명령이 입력되면, 식품 보관 장치(10) 내에 저장된 식품별 푸드 정보를 제공하기 위한 푸드 리스트 어플리케이션을 실행한다. 이에 따라, 디스플레이부(110)는 푸드 리스트 어플리케이션의 실행 화면을 디스플레이한다.
이 같이, 푸드 어플리케이션의 실행 화면이 디스플레이된 상태에서, 기선택된 오브젝트와 관련된 식품 정보가 입력되면, 프로세서(120)는 실행된 푸드 리스트 어플리케이션에 저장된 푸드 리스트에 기입력된 식품 정보를 등록한다.
한편, 프로세서(120)는 입력 UI에 포함된 복수의 아이콘 중 제3 아이콘에 대한 선택 명령이 입력되면, 식품 구매를 위한 쇼핑 리스트 어플리케이션을 실행한다. 이에 따라, 디스플레이부(110)는 쇼핑 리스트 어플리케이션의 실행 화면을 디스플레이한다.
이 같이, 쇼핑 리스트 어플리케이션의 실행 화면이 디스플레이된 상태에서, 기선택된 오브젝트와 관련된 식품 정보가 입력되면, 프로세서(120)는 실행된 쇼핑 리스트 어플리케이션에 저장된 쇼핑 리스트에 기입력된 식품 정보를 등록한다.
본 발명의 추가적인 양상에 따라, 프로세서(120)는 식품 구매를 위한 음성 명령이 입력되면, 쇼핑 리스트 어플리케이션을 실행할 수 있다. 이후, 프로세서(120)는 실행된 쇼핑 리스트 어플리케이션에 저장된 쇼핑 리스트에 기입력된 음성 명령과 관련된 식품 정보를 등록할 수 있다.
그러나, 본 발명은 이에 한정되지 않으며, 프로세서(120)는 식품 보관 장치(100) 내에 보관된 식품에 대한 음성 명령이 입력되면, 푸드 리스트 어플리케이션을 실행하고, 실행된 푸드 리스트 어플리케이션에 저장된 푸드 리스트에 기입력된 음성 명령과 관련된 식품 정보를 등록할 수 있다.
본 발명의 추가적인 양상에 따라, 프로세서(120)는 사용자 명령에 따라 요리별 조리 안내를 위한 레시피 어플리케이션을 실행할 수 있다. 이후, 프로세서(120)는 특정 요리에 대한 사용자 명령이 입력되면, 해당 요리를 위한 재료 정보를 디스플레이하도록 디스플레이부(110)를 제어한다.
이에 따라, 디스플레이부(110)는 사용자가 요청한 요리에 대한 재료 정보를 디스플레이할 수 있다.
한편, 프로세서(120)는 식품 보관 장치(100) 내 보관된 식품에 대한 식품 정보를 제공하는 푸드 리스트 어플리케이션에 저장된 푸드 리스트에 기초하여 화면상에 디스플레이된 재료 중 상기 식품 보관 장치(100) 내에 있는 식품 관련 재료와 나머지 재료를 상이하게 표시하여 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
이에 따라, 디스플레이부(110)는 사용자가 요청한 요리를 위한 재료 중 식품 보관 장치(100) 내에 저장된 재료와 나머지 재료가 상이하게 표시된 재료 정보를 디스플레이할 수 있다.
그러나, 본 발명은 이에 한정되지 않으며, 프로세서(120)는 식품 보관 장치(100) 내 보관된 식품에 대한 식품 정보를 제공하는 푸드 리스트 어플리케이션에 저장된 푸드 리스트에 기초하여 사용자가 요청한 요리의 재료 중 식품 보관 장치(100) 내 보관된 식품을 제외한 나머지 재료에 대한 정보를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
이에 따라, 디스플레이부(110)는 사용자가 요청한 요리를 위한 재료 중 식품 보관 장치(100) 내에 저장된 재료를 제외한 나머지 재료에 대한 재료 정보를 디스플레이할 수 있다.
도 3은 본 발명의 일 실시예에 따른 식품 보관 장치의 세부 블록도이다.
도 3에 도시된 바와 같이, 식품 보관 장치(100)는 전술한 디스플레이부(110) 및 프로세서(120) 구성 외에 입력부(130), 통신부(140), 냉기 공급부(150), 촬영부(160), 감지부(170), 오디오 출력부(180) 및 저장부(190)를 더 포함할 수 있다.
입력부(130)는 다양한 사용자 명령을 입력받는다. 이 같은 입력부(130)는 조작부, 터치 입력부, 사용자 입력부 및 마이크 중 적어도 하나를 포함할 수 있다.
조작부는 각종 기능키, 숫자키, 특수키, 문자키 등을 구비한 키패드(Key Pad)로 구현될 수 있으며, 터치 입력부는 전술한 디스플레이부(110)가 터치 스크린 형태로 구현될 경우, 디스플레이부(110)와 상호 레어어 구조를 이루는 터치 패드로 구현될 수 있다. 이 경우, 터치 입력부는 전술한 디스플레이부(110)를 통해 디스플레이된 다양한 UI에 포함된 아이콘에 대한 터치 명령을 입력받을 수 있다.
사용자 입력부는 식품 보관 장치(100)를 제어하는 원격 제어 장치(미도시)로부터 IR 신호 혹은 RF 신호를 입력받으며, 마이크는 사용자의 음성 명령을 입력받는다.
통신부(140)는 컨텐츠를 제공하는 웹 서버(미도시), 기등록된 스마트 폰과 같은 사용자 단말 장치(미도시) 및 다양한 제품을 판매하는 매장의 서버(미도시) 등과 데이터 통신을 수행한다.
이 같은 통신부(140)는 근거리 통신 모듈, 무선 랜 모듈 등의 무선 통신 모듈과, HDMI(High-Definition Multimedia Interface), USB(Universal Serial Bus), IEEE(Institute of Electrical and Eletronics Engineers) 1394 등의 유선 통신 모듈 중 적어도 하나를 포함하는 커넥터를 포함할 수 있다.
근거리 통신 모듈은 식품 보관 장치(100)와 사용자 단말 장치(미도시) 사이에 무선으로 근거리 통신을 수행하는 구성이다. 이 같은 근거리 통신 모듈은 블루투스(Bluetooth)모듈, 적외선 통신(IrDA, infrared data association)모듈, NFC(Near Field Communication)모듈, 와이파이(WIFI)모듈, 지그비(Zigbee) 모듈 중 적어도 하나를 포함할 수 있다.
또한, 무선 통신 모듈이란 IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 통신을 수행하는 모듈이다. 이 밖에 무선 통신 모듈은 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신 망에 접속하여 통신을 수행하는 이동 통신 모듈을 더 포함할 수도 있다.
이처럼 통신부(140)는 상술한 다양한 근거리 통신 방식에 의해 구현될 수 있고, 필요에 따라 본 명세서에 언급되지 않은 다른 통신 기술을 채용할 수 있다.
한편, 커넥터는 USB 2.0, USB 3.0, HDMI, IEEE 1394 등 다양한 소스 장치와의 인터페이스를 제공하는 구성이다. 이 같은 커넥터는 커넥터에 연결된 유선 케이블을 통해 웹 서버(미도시)로부터 전송된 컨텐츠 데이터를 수신할 수 있다. 또한, 커넥터는 커넥터와 물리적으로 연결된 유선 케이블을 통해 전원 소스로부터 전원을 입력받을 수 있다.
냉기 공급부(150)는 식품 보관 장치(100) 내에서 식품을 보관하는 보관실에 기설정된 온도가 유지되도록 냉기를 공급하는 구성이다. 특히, 각 영역별로 상이한 온도가 설정된 경우, 냉기 공급부(160)는 각 영역별로 설정된 온도로 유지될 수 있도록 상이한 세기의 냉기를 각 영역에 공급할 수 있다.
촬영부(160)는 식품 보관 장치(100) 내부를 촬영하며, 감지부(170)는 사용자가 식품 보관 장치(100)와 근접하는지 여부를 감지하거나, 식품 보관 장치(100) 내보 온도를 감지할 수 있다. 뿐만 아니라, 감지부(170)는 식품 보관 장치(100) 내에 보관된 식품에 대한 상태를 판단하기 위한 센싱값을 측정할 수 있다.
오디오 출력부(180)는 디스플레이부(110)를 통해 디스플레이되는 컨텐츠에 포함된 오디오 데이터 혹은 후술할 레시피 어플리케이션을 통해 제공되는 요리별 레시피 정보를 가청음 형태로 출력한다.
저장부(190)는 후술할 각종 어플리케이션에 저장된 리스트 관련 정보를 저장할 수 있다. 뿐만 아니라, 저장부(190)는 식품 보관 장치(100)의 동작을 제어하기 위한 다양한 운영 프로그램을 더 저장할 수 있다. 여기서, 운용 프로그램은 식품 보관 장치(100)가 턴 온(Turn On)되는 경우, 저장부(190)에서 읽혀지고, 컴파일되어 식품 보관 장치(100)의 각 구성을 동작시키는 프로그램이 될 수 있다.
한편, 전술한 프로세서(120)는 CPU(121), GPU(122), ROM(123) 및 RAM(124)을 포함할 수 있으며, CPU(121), GPU(122), ROM(123) 및 RAM(124)는 버스(125)를 통해 서로 연결될 수 있다.
CPU(121)는 저장부(190)를 액세스하여, 저장부(190)에 저장된 OS를 이용하여 부팅을 수행한다. 또한 CPU(121)는 저장부(190)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
GPU(122)는 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 디스플레이 화면을 생성한다. 구체적으로, GPU(122)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산하고, 연상된 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 디스플레이 화면을 생성한다.
ROM(123)은 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, CPU(121)는 ROM(123)에 저장된 명령어에 따라 저장부(140)에 저장된 OS를 RAM(124)에 복사하고, OS를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(121)는 저장부(190)에 저장된 각종 프로그램을 RAM(124)에 복사하고, RAM(124)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다.
이 같은 프로세서(120)는 전술한 각 구성들과 결합되어 단일칩 시스템(System-on-a-chip 또는 System on chip, SOC, SoC)으로 구현될 수 있다.
한편, 상술한 프로세서(120)의 동작은 저장부(190)에 저장된 프로그램에 의해 이루어질 수 있다. 여기서, 저장부(190)는 ROM(123), RAM(124) 또는 식품 보관 장치(100)에 탈착/장착 가능한 메모리 카드(예, SD 카드, 메모리 스틱), 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나로 구현될 수 있다.
지금까지, 본 발명에 따른 식품 보관 장치(100)를 구성하는 각 구성에 대해서 상세히 설명하였다. 이하에서는, 본 발명에 따른 식품 보관 장치(100)의 동작에 대해서 상세히 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 식품 보관 장치에서 디스플레이되는 UI의 예시도이다.
도 4에 도시된 바와 같이, 식품 보관 장치(100)는 사용자가 요청한 어플리케이션의 실행 화면(410)을 디스플레이할 수 있다. 또한, 식품 보관 장치(100)는 어플리케이션의 실행 화면(410)이 디스플레이된 일측 사이드 영역에 해당 어플리케이션의 실행 화면을 제어하기 위한 UI(420)를 표시할 수 있다. 여기서, 일측 사이드 영역에 표시된 UI(420)는 실행 중인 어플리케이션과 관련하여 기설정된 적어도 하나의 아이콘을 포함할 수 있다.
예를 들어, 실행 중인 어플리케이션이 뷰 인 사이드 어플리케이션인 경우, 일측 사이드 영역에 표시된 UI(420)는 뷰 인 사이드 어플리케이션 내에서의 이전 실행 화면으로 복귀하기 하기 위한 제1 아이콘, 뷰 인 사이드 어플리케이션의 현재 실행 화면을 편집 혹은 제어하기 위한 제2 아이콘 및 실행 중인 뷰 인 사이드 어플리케이션의 실행 화면을 부가적으로 편집 혹은 제어하기 위한 서브 UI를 제공하기 위한 제3 아이콘을 포함할 수 있다.
한편, 실행 중인 어플리케이션이 레시피 어플리케이션인 경우, 일측 사이드 영역에 표시된 UI(420)는 요리 검색을 위한 아이콘을 포함할 수 있다.
그리고, 실행 중인 어플리케이션이 푸드 리스트 어플리케이션 혹은 쇼핑 리스트 어플리케이션인 경우, 일측 사이드 영역에 표시된 UI(420)는 식품 보관 장치(100)에 보관된 식품에 대한 정보를 등록하거나 구매할 식품에 대한 정보를 등록하기 위한 제1 아이콘 및 실행 중인 푸드 리스트 혹은 쇼핑 리스트 어플리케이션의 실행 화면을 부가적으로 편집하거나 제어하기 위한 서브 UI를 제공하기 위한 제2 아이콘을 포함할 수 있다.
한편, 식품 보관 장치(100)는 어플리케이션의 실행 화면(410)이 디스플레이된 타측 사이드 영역에 항상 디스플레이되도록 설정된 고정 UI(430)를 더 포함할 수 있다. 여기서, 고정 UI(430)는 예를 들어, 이전 화면으로 복귀하거나 초기 화면으로 복귀하기 위한 UI가 수 있다.
이 같이, 일측 사이드 영역에 표시된 UI(420) 및 타측 사이드 영역에 표시된 고정 UI(430)는 기설정된 위치에 표시될 수 있다.
도시된 바와 같이, 일측 사이드 영역에 표시된 UI(420) 및 타측 사이드 영역에 표시된 고정 UI(430)는 각각의 사이드 영역의 중심 위치에 표시될 수 있다.
한편, 식품 보관 장치(100)는 사용자 명령에 따라 화면의 일측 및 타측 사이드 영역에 각각 표시된 UI(420) 및 고정 UI(430)를 이동시킬 수 있다.
도 5는 본 발명의 일 실시예에 따른 식품 보관 장치에서 디스플레이되는 UI를 제어하는 제1 예시도이며, 도 6은 본 발명의 또다른 실시예에 따른 식품 보관 장치에서 디스플레이되는 UI를 제어하는 제2 예시도이다.
식품 보관 장치(100)는 화면의 일측 사이드 영역에 표시된 UI(420) 및 타측 사이드 영역에 표시된 고정 UI(430)를 사용자 명령에 대응되는 방향으로 이동시킬 수 있다.
도 5의 (a)에 도시된 바와 같이, 식품 보관 장치(100)는 사용자의 드래그 명령에 따라, 화면의 일측 사이드 영역에 표시된 UI(420) 및 타측 사이드 영역에 표시된 고정 UI(430)를 상측 방향으로 이동시킬 수 있다.
또한, 도 5의 (b)에 도시된 바와 같이, 식품 보관 장치(100)는 사용자의 드래그 명령에 따라, 화면의 일측 사이드 영역에 표시된 UI(420) 및 타측 사이드 영역에 표시된 고정 UI(430)를 하측 방향으로 이동시킬 수 있다.
그러나, 본 발명은 이에 한정되지 않으며, 식품 보관 장치(100)는 사용자의 드래그 명령에 따라, 화면의 일측 사이드 영역에 표시된 UI(420) 및 타측 사이드 영역에 표시된 고정 UI(430) 중 적어도 하나를 상측 혹은 하측 방향으로 이동시킬 수 있다.
예를 들어, 화면의 일측 사이드 영역에 표시된 UI(420)가 터치된 상태에서 사용자의 드래그 명령이 입력되면, 식품 보관 장치(100)는 화면의 일측 사이드 영역에 표시된 UI(420)를 상측 혹은 하측 방향으로 이동시킬 수 있다.
한편, 화면의 타측 사이드 영역에 표시된 고정 UI(430)가 터치된 상태에서 사용자의 드래그 명령이 입력되면, 식품 보관 장치(100)는 화면의 타측 사이드 영역에 표시된 고정 UI(430)를 상측 혹은 하측 방향으로 이동시킬 수 있다.
한편, 식품 보관 장치(100)는 기설정된 이동 가능 범위 내에서 화면의 일측 사이드 영역에 표시된 UI(420) 및 타측 사이드 영역에 표시된 고정 UI(430) 중 적어도 하나를 상측 혹은 하측 방향으로 이동시킬 수 있다.
일 실시예에 따라, 식품 보관 장치(100)는 도 6의 (a)에 도시된 바와 같이, 상측 및 하측 영역 각각에 제1 및 제2 가이드 UI(610,620)를 표시할 수 있다. 따라서, 식품 보관 장치(100)는 사용자의 드래그 명령이 입력되면, 제1 및 제2 가이드 UI(610,620)가 표시된 이동 범위 내에서 사이드 영역에 표시된 UI(420) 및 고정 UI(430)를 드래그 명령에 대응되는 방향으로 이동시킬 수 있다.
또다른 실시예에 따라, 식품 보관 장치(100)는 도 6의 (b)에 도시된 바와 같이, 사용자 명령에 따라 화면 전체에 디스플레이 중인 어플리케이션의 실행 화면(410)을 화면의 제1 영역에 표시하고, 실행 중인 어플리케이션에 대한 사용자 명령을 입력받기 위한 입력 UI(630)를 나머지 제2 영역에 표시할 수 있다. 그리고, 식품 보관 장치(100)는 어플리케이션의 실행 화면(410)이 표시되는 제1 영역과 입력 UI(630)가 표시되는 제2 영역의 경계 지점에 가이드 UI(610)를 표시할 수 있다. 따라서, 식품 보관 장치(100)는 사용자의 드래그 명령이 입력되면, 가이드 UI(610)가 표시된 이동 범위 내에서 사이드 영역에 표시된 UI(420) 및 고정 UI(430)를 드래그 명령에 대응되는 방향으로 이동시킬 수 있다.
즉, 식품 보관 장치(100)는 어플리케이션의 실행 화면(410)이 표시되는 제1 영역 내에서 사이드 영역에 표시된 UI(420) 및 고정 UI(430)를 드래그 명령에 대응되는 방향으로 이동시킬 수 있다.
한편, 본 발명은 이에 한정되지 않으며, 식품 보관 장치(100)는 어플리케이션의 실행 화면(410)이 표시되는 제1 영역과 입력 UI(630)가 표시된 제2 영역의 경계 영역에 제1 가이드 UI(610)를 표시하고, 제1 영역의 상측 영역에 제2 가이드 UI(610,620)를 표시할 수 있다.
이 경우, 식품 보관 장치(100)는 사용자의 드래그 명령이 입력되면, 제1 및 제2 가이드 UI(610,620)가 표시된 이동 범위 내에서 사이드 영역에 표시된 UI(420) 및 고정 UI(430)를 드래그 명령에 대응되는 방향으로 이동시킬 수 있다.
이하에서는, 식품 보관 장치(100)에서 사이드 영역에 표시된 UI(420)에 포함된 아이콘이 선택된 경우, 선택된 아이콘에 대응되는 실행 화면을 디스플레이하는 동작에 대해서 상세히 설명하도록 한다.
도 7은 본 발명의 일 실시예에 따른 식품 보관 장치에서 사이드 영역에 표시된 UI의 아이콘 선택에 따른 실행 화면을 디스플레이하는 예시도이다.
전술한 바와 같이, 식품 보관 장치(100)는 사용자가 요청한 어플리케이션의 실행 화면(410)을 디스플레이할 수 있다. 또한, 식품 보관 장치(100)는 어플리케이션의 실행 화면(410)이 디스플레이된 일측 사이드 영역에 해당 어플리케이션의 실행 화면을 제어하기 위한 UI(420)를 표시할 수 있다. 여기서, 일측 사이드 영역에 표시된 UI(420)는 실행 중인 어플리케이션과 관련하여 기설정된 적어도 하나의 아이콘을 포함할 수 있다.
이 같이, 어플리케이션의 실행 화면(410)이 디스플레이된 일측 사이드 영역에 해당 어플리케이션의 실행 화면을 제어하기 위한 UI(420)가 표시된 상태에서, 식품 보관 장치(100)는 일측 사이드 영역에 표시된 UI(420)에 포함된 적어도 하나의 아이콘 중 하나에 대한 선택 명령을 입력받을 수 있다.
일측 사이드 영역에 표시된 UI(420)에 포함된 적어도 하나의 아이콘 중 하나가 선택되면, 식품 보관 장치(100)는 선택된 아이콘에 대응되는 실행 화면을 디스플레이하고, 디스플레이된 실행 화면을 제어하기 위한 아이콘을 포함하는 서브 UI(710)를 디스플레이할 수 있다.
구체적으로, 도 7의 (a)에 도시된 바와 같이, 식품 보관 장치(100)는 일측 사이드 영역에 표시된 UI(420)에 포함된 적어도 하나의 아이콘 중 하나가 선택되면, 선택된 아이콘에 대응되는 실행 화면(710)을 디스플레이한다. 또한, 식품 보관 장치(100)는 디스플레이된 실행 화면(710)의 일부 영역에 적어도 하나의 아이콘을 포함하는 서브 UI(720)를 디스플레이한다.
즉, 식품 보관 장치(100)는 선택된 아이콘에 대응되는 실행 화면(710)을 디스플레이하고, 디스플레이된 실행 화면의 일부 영역에 해당 실행 화면(710)을 제어하기 위한 적어도 하나의 아이콘을 포함하는 서브 UI(720)를 중첩시켜 디스플레이할 수 있다.
또한, 식품 보관 장치(100)는 도 7의 (b)에 도시된 바와 같이, 일측 사이드 영역에 표시된 UI(420)에 포함된 적어도 하나의 아이콘 중 하나가 선택되면, 선택된 아이콘에 대응되는 실행 화면(710)을 제1 영역에 디스플레이한다. 그리고, 식품 보관 장치(100)는 제1 영역에 디스플레이된 실행 화면(710)을 제어하기 위한 적어도 하나의 아이콘을 포함하는 서브 UI(720)를 제2 영역에 디스플레이할 수 있다.
이하에서는, 전술한 식품 보관 장치(100)에서 실행 중인 어플리케이션의 타입에 따라, 사용자 명령을 입력받기 위한 입력 UI(630)를 상이하게 제공하는 동작에 대해서 상세히 설명하도록 한다.
도 8은 본 발명의 일 실시예에 식품 보관 장치에서 실행 중인 어플리케이션 타입에 따른 입력 UI를 제공하는 예시도이다.
식품 보관 장치(100)는 실행 중인 어플리케이션의 타입에 따라, 사용자 명령을 입력받기 위한 입력 UI(630)를 상이하게 제공할 수 있다.
구체적으로, 식품 보관 장치(100)는 도 8의 (a)에 도시된 바와 같이, 쇼핑 리스트 어플리케이션의 실행 화면(810)을 디스플레이할 수 있다. 이 경우, 식품 보관 장치(100)는 편집을 위한 사용자 명령이 입력되면, 제1 영역에 실행 중인 쇼핑 리스트 어플리케이션의 실행 화면(810)을 디스플레이하고, 또다른 제2 영역에 사용자 명령을 입력받기 위한 키보드 관련 입력 UI(630-1)를 디스플레이할 수 있다.
따라서, 식품 보관 장치(100)는 제2 영역에 디스플레이된 키보드 관련 입력 UI(630-1)를 통해 사용자 명령이 입력되면, 입력된 사용자 명령에 대응되는 텍스트 정보를 제1 영역에 디스플레이된 쇼핑 리스트 어플리케이션의 실행 화면(810) 상에 표시할 수 있다.
한편, 식품 보관 장치(100)는 도 8의 (b)에 도시된 바와 같이, 메모 어플리케이션의 실행 화면(820)을 디스플레이할 수 있다. 이 경우, 식품 보관 장치(100)는 편집을 위한 사용자 명령이 입력되면, 제1 영역에 실행 중인 메모 어플리케이션의 실행 화면(820)을 디스플레이하고, 또다른 제2 영역에 사용자 명령을 입력받기 위한 이모티콘 관련 입력 UI(630-2)를 디스플레이할 수 있다.
따라서, 식품 보관 장치(100)는 제2 영역에 디스플레이된 이모티콘 관련 입력 UI(630-1)를 통해 사용자 명령이 입력되면, 입력된 사용자 명령에 대응되는 이모티콘을 제1 영역에 디스플레이된 메모 어플리케이션의 실행 화면(820) 상에 표시할 수 있다.
한편, 식품 보관 장치(100)는 도 8의 (c)에 도시된 바와 같이, 화이트보드 어플리케이션의 실행 화면(830)을 디스플레이할 수 있다. 이 경우, 식품 보관 장치(100)는 편집을 위한 사용자 명령이 입력되면, 제1 영역에 실행 중인 화이트보드 어플리케이션의 실행 화면(830)을 디스플레이하고, 또다른 제2 영역에 사용자 명령을 입력받기 위한 드로잉 작업 관련 입력 UI(630-3)를 디스플레이할 수 있다.
따라서, 식품 보관 장치(100)는 제2 영역에 디스플레이된 드로잉 작업 관련 입력 UI(630-3)를 통해 사용자 명령이 입력되면, 입력된 사용자 명령에 대응되는 작업툴 이미지를 제1 영역에 디스플레이된 화이트보드 어플리케이션의 실행 화면(830) 상에 표시할 수 있다.
이하에서는, 식품 보관 장치(100)에서 실행 중인 어플리케이션을 편집하는 동작에 대해서 상세히 설명하도록 한다.
도 9는 본 발명의 일 실시예에 따른 식품 보관 장치에서 실행 중인 어플리케이션을 편집하는 제1 예시도이다.
식품 보관 장치(100)는 사용자 명령에 따라, 쇼핑 리스트 어플리케이션을 실행한다.
이에 따라, 식품 보관 장치(100)는 도 9의 (a)에 도시된 바와 같이, 복수의 쇼핑 리스트(이하 제1 및 제2 쇼핑 리스트라 함)(911,912)를 포함하는 쇼핑 리스트 어플리케이션의 실행 화면(910)을 디스플레이할 수 있다.
이후, 식품 보관 장치(100)는 디스플레이된 제1 및 제2 쇼핑 리스트(911,912) 중 제2 쇼핑 리스트(912)에 대한 선택 명령이 입력되면, 도 9의 (b)에 도시된 바와 같이 제2 쇼핑 리스트(912)의 실행 화면(920)을 디스플레이한다. 여기서, 제2 쇼핑 리스트(912)의 실행 화면(920)은 제2 쇼핑 리스트(912)에 등록된 제품들 각각에 대응되는 오브젝트를 포함할 수 있다.
이후, 식품 보관 장치(100)는 제2 쇼핑 리스트(912)의 실행 화면(920)에 포함된 복수의 오브젝트 중 'Shower gel' 제품에 대응되는 오브젝트(921)에 대한 선택 명령이 입력되면, 선택된 오브젝트(921)를 제2 쇼핑 리스트(912)의 실행 화면(920) 상에서 삭제하는 편집 동작을 수행한다.
따라서, 식품 보관 장치(100)는 도 9의 (c)에 도시된 바와 같이, 'Shower gel' 제품에 대응되는 오브젝트(921)가 삭제된 제2 쇼핑 리스트(912)의 실행 화면(930)을 디스플레이할 수 있다.
이후, 식품 보관 장치(100)는 좌측 사이드 영역에 표시된 고정 UI(931)에 대한 선택 명령이 입력되면, 도 9의 (d)에 도시된 바와 같이, 제1 쇼핑 리스트(911)와 함께 편집된 제2 쇼핑 리스트(912')를 포함하는 쇼핑 리스트 어플리케이션의 실행 화면(940)을 디스플레이할 수 있다.
도 10은 본 발명의 또다른 실시예에 따른 식품 보관 장치에서 실행 중인 어플리케이션을 편집하는 제2 예시도이다.
전술한 바와 같이, 식품 보관 장치(100)는 도 10의 (a)에 도시된 바와 같이, 제1 및 제2 쇼핑 리스트(1011,1012)를 포함하는 쇼핑 리스트 어플리케이션의 실행 화면(1010)을 디스플레이할 수 있다.
이후, 식품 보관 장치(100)는 디스플레이된 제1 및 제2 쇼핑 리스트(1011,1012) 중 제2 쇼핑 리스트(1012)에 대한 선택 명령이 입력되면, 도 10의 (b)에 도시된 바와 같이 제2 쇼핑 리스트(1012)의 실행 화면(1020)을 디스플레이한다. 여기서, 제2 쇼핑 리스트(1012)의 실행 화면(1020)은 제2 쇼핑 리스트(1012)에 등록된 제품들 각각에 대응되는 오브젝트를 포함할 수 있다.
이후, 식품 보관 장치(100)는 제2 쇼핑 리스트(1012)의 실행 화면(1020)에 포함된 복수의 오브젝트 중 'Shower gel' 제품에 대응되는 오브젝트(1021)에 대한 선택 명령이 입력되면, 도 10의 (c)에 도시된 바와 같이 제1 영역에 제2 쇼핑 리스트(1012)의 실행 화면(1030)을 디스플레이하고, 제2 영역에 사용자 명령을 입력받기 위한 키보드 관련 입력 UI(1040)를 디스플레이한다.
또한, 식품 보관 장치(100)는 오브젝트(1021)에 대한 선택 명령이 입력된 지점에 커서(1031) 및 해당 오브젝트(1021)가 표시된 일 측면에 제1 삭제 아이콘(1032)를 표시할 수 있다.
이후, 식품 보관 장치(100)는 오브젝트(1021)가 표시된 일 측면에 위치한 제1 삭제 아이콘(1032)에 대한 선택 명령이 입력되면, 해당 오브젝트(1021)를 제2 쇼핑 리스트(1012)의 실행 화면(1020) 상에서 삭제하는 편집 동작을 수행한다.
이후, 식품 보관 장치(100)는 도 10의 (d)에 도시된 바와 같이, 'Shower gel' 제품에 대응되는 오브젝트(1021)가 삭제된 제2 쇼핑 리스트(1012)의 실행 화면(1050)을 디스플레이할 수 있다.
한편, 식품 보관 장치(100)는 제2 영역에 디스플레이된 키보드 관련 입력 UI(1040)에 표시된 제2 삭제 아이콘(1041)을 통해 제2 쇼핑 리스트(1012)의 실행 화면(1030)에 포함된 오브젝트를 편집할 수 있다.
구체적으로, 식품 보관 장치(100)는 'Shower gel' 제품에 대응되는 오브젝트(1021)에 커서(1031)가 표시된 상태에서 입력 UI(1040)에 표시된 제2 삭제 아이콘(1041)에 대한 선택 명령이 입력되면, 입력된 선택 명령에 따라, 오브젝트(1021)를 삭제하는 편집 동작을 수행할 수 있다.
뿐만 아니라, 식품 보관 장치(100)는 'Shower gel' 제품에 대응되는 오브젝트(1021)에 커서(1031)가 표시된 상태에서 입력 UI(1040)에 포함된 제2 삭제 아이콘(1041) 및 문자 아이콘(미도시)에 대한 선택 명령이 입력되면, 입력된 선택 명령에 따라, 오브젝트(1021)를 구성하는 복수의 문자 중 적어도 하나의 문자를 삭제하고, 새로운 문자를 표시하는 편집 동작을 수행할 수 있다.
이하에서는, 본 발명에 따른 식품 보관 장치(100)에서 뷰 인사이드 어플리케이션의 실행 동작에 대해서 상세히 설명하도록 한다.
도 11 내지 도 15는 본 발명의 일 실시예에 따른 식품 보관 장치에서 뷰 인사이드 어플리케이션의 실행 동작을 나타내는 예시도이다.
도 11의 (a)에 도시된 바와 같이, 식품 보관 장치(100)는 사용자 요청에 따라, 뷰 인사이드 어플리케이션을 실행하여 뷰 인사이드 어플리케이션의 실행 화면을 디스플레이할 수 있다. 여기서, 뷰 인사이드 어플리케이션의 실행 화면은 식품이 보관된 식품 보관 장치(100)의 내부를 촬영한 영상(1110)이 될 수 있다.
이 같은 식품 보관 장치(100)의 내부를 촬영한 영상(1110)이 디스플레이되는 동안, 식품 보관 장치(10)는 촬영된 영상(1110) 내에 포함된 복수의 오브젝트 중 적어도 하나의 오브젝트에 대한 선택 명령을 입력받을 수 있다.
도시된 바와 같이, 식품 보관 장치(100)는 케이크에 해당하는 오브젝트(1111)에 대한 선택 명령을 입력받을 수 있다.
이 같은 오브젝트(1111)에 대한 선택 명령이 입력되면, 식품 보관 장치(100)는 도 11의 (b)에 도시된 바와 같이, 식품 보관 장치(100)의 내부를 촬영한 영상(1110)이 디스플레이된 화면상에 오브젝트(1111)와 관련된 정보 입력을 위한 입력 UI(1120)를 디스플레이한다.
여기서, 입력 UI(1120)는 선택된 오브젝트(1111)를 캡쳐한 캡쳐 이미지(1121) 및 선택된 오브젝트(1111)와 관련된 정보 입력을 위한 복수의 아이콘(이하 a,b,c 아이콘이라 함)(1122~1124)를 포함할 수 있다.
이후, 식품 보관 장치(100)는 디스플레이된 입력 UI(1120)를 통해 입력된 사용자 명령에 따라, 선택된 오브젝트(1111)와 관련된 다양한 동작을 수행할 수 있다.
구체적으로, 식품 보관 장치(100)는 사용자 명령에 따라, 캡쳐 이미지(1121)를 편집할 수 있다.
도 12의 (a)에 도시된 바와 같이, 식품 보관 장치(100)는 캡쳐 이미지(1121) 주위에 표시된 가이드 라인(미도시)이 선택된 상태에서 외측 방향으로 이동하는 사용자 명령을 입력받을 수 있다.
이 같은 사용자 명령이 입력되면, 식품 보관 장치(100)는 도 12의 (b)에 도시된 바와 같이 입력된 사용자 명령에 대응되는 외측 방향으로 캡쳐 이미지(1121)를 확대시켜 디스플레이한다.
한편, 식품 보관 장치(100)는 외측 방향으로 캡쳐 이미지(1121)가 확대된 상태에서 내측 방향으로 이동하는 사용자 명령이 입력되면, 입력된 사용자 명령에 대응되는 내측 방향으로 캡쳐 이미지(1121)를 축소시켜 디스플레이한다.
또한, 식품 보관 장치(100)는 도 13의 (a)에 도시된 바와 같이, 캡쳐 이미지(1121)가 표시된 영역이 선택된 상태에서 일측 방향으로 이동하는 사용자 명령을 입력받을 수 있다.
이 경우, 식품 보관 장치(100)는 도 13의 (b)에 도시된 바와 같이, 사용자 명령에 대응되는 방향으로 이동된 캡쳐 이미지(1121')를 화면상에 디스플레이할 수 있다.
한편, 식품 보관 장치(100)는 전술한 도 11의 (b)에서 입력 UI(1120)에 포함된 a,b,c 아이콘(1122~1124) 중 c 아이콘(1124)에 대한 선택 명령을 입력받을 수 있다.
이 같은 c 아이콘(1124)에 대한 선택 명령이 입력되면, 식품 보관 장치(100)는 기선택된 오브젝트(1121)에 대한 태그 UI(1420)를 생성하기 위한 편집 화면(1410)를 디스플레이한다.
구체적으로, 식품 보관 장치(100)는 도 14의 (a)에 도시된 바와 같이, 화면의 제1 영역에 기선택된 오브젝트(1121)를 캡쳐한 캡쳐 이미지(1121)를 디스플레이하고, 또다른 제2 영역에 키보드 관련 입력 UI를 디스플레이한다.
따라서, 식품 보관 장치(100)는 제2 영역에 디스플레이된 입력 UI를 통해 입력된 사용자 명령에 대응하는 이모티콘 혹은 텍스트를 제1 영역에 디스플레이된 캡쳐 이미지(1121) 상에 표시할 수 있다.
이후, 식품 보관 장치(100)는 사용자 명령에 따라, 기선택된 오브젝트(1121)에 대한 태그 UI(1420)를 생성한다. 이후, 식품 보관 장치(100)는 식품 보관 장치(100)의 내부를 촬영한 영상(1110)에 기선택된 오브젝트(1121)에 대한 태그 UI(1420)를 중첩시켜 디스플레이한다.
이때, 식품 보관 장치(100)는 기설정된 조건에 따라, 기선택된 오브젝트(1121)가 위치하는 지점에 태그 UI(1420)를 중첩시켜 디스플레이할 수 있다.
한편, 식품 보관 장치(100)는 사용자 명령에 따라, 식품 보관 장치(100)의 내부를 촬영한 영상(1110)에 중첩되어 디스플레이된 태그 UI(1420)를 이동시켜 디스플레이할 수 있다.
구체적으로, 도 15의 (a)에 도시된 바와 같이, 식품 보관 장치(100)는 기선택된 오브젝트(1121)에 대한 태그 UI(1420)를 A 지점으로 이동시키는 사용자 명령을 입력받을 수 있다.
이 같은 사용자 명령이 입력되면, 식품 보관 장치(100)는 태그 UI(1420)를 반투명 상태로 변경하고, 반투명 상태의 태그 UI(1420')를 식품 보관 장치(100)의 내부를 촬영한 영상(1110)에 중첩시켜 디스플레이한다.
이후, 도 15의 (c)에 도시된 바와 같이, 식품 보관 장치(100)는 반투명 상태의 태그 UI(1420')가 A 지점으로 이동되면, A 지점으로 이동된 반투명 상태의 태그 UI(1420')를 기존의 태그 UI(1420)로 변경시켜 디스플레이할 수 있다.
이하에서는, 식품 보관 장치(100)에서 식품 정보를 쇼핑 리스트에 등록하는 동작에 대해서 상세히 설명하도록 한다.
도 16 본 발명의 일 실시예에 따른 식품 보관 장치에서 쇼핑 리스트 어플리케이션의 실행 동작을 나타내는 예시도이다.
도 16에 도시된 바와 같이, 식품 보관 장치(100)는 사용자 명령에 따라, 쇼핑 리스트 어플리케이션의 실행 화면(1610)를 디스플이할 수 있다.
일 실싱예에 따라, 식품 보관 장치(100)는 복수의 어플리케이션 각각에 대응되는 아이콘 중 쇼핑 리스트 어플리케이션 실행 관련 아이콘에 대한 선택 명령이 입력되면, 쇼핑 리스트 어플리케이션을 실행하여 그에 따른 실행 화면(1610)을 디스플레이할 수 있다.
또다른 실시예에 따라, 도 11의 (b)에 도시된 바와 같이, 입력 UI(1120)에 포함된 a,b,c 아이템(1122~1124) 중 b 아이템(1123)에 대한 선택 명령이 입력되면, 쇼핑 리스트 어플리케이션을 실행하여 그에 따른 실행 화면(1610)을 디스플레이할 수 있다.
이 같은 쇼핑 리스트 어플리케이션의 실행 화면(1610)이 디스플레이된 상태에서, 식품 보관 장치(100)는 사용자로부터 발화된 음성 명령이 입력되면, 쇼핑 리스트 어플리케이션에 저장된 쇼핑 리스트에 음성 명령과 관련된 식품 정보를 등록한다.
예를 들어, 식품 보관 장치(100)는 사용자로부터 "Add milk"라는 음성 명령을 입력받을 수 있다. 이 같은 음성 명령이 입력되면, 식품 보관 장치(100)는 입력된 음성 명령을 분석하여 "Add"와 "milk"라는 발화 요소를 추출한다. 이후, 식품 보관 장치(100)는 추출된 발화 요소에 기초하여 "milk"라는 식품 정보를 쇼핑 리스트에 등록할 수 있다.
도 17은 본 발명의 일 실시예에 따른 식품 보관 장치에서 복수의 어플리케이션을 연동시켜 동작하는 예시도이다.
도 17에 도시된 바와 같이, 식품 보관 장치(100)는 사용자 명령에 따라, 레시피 어플리케이션을 실행한다. 여기서, 레시피 어플리케이션은 각종 음식에 대한 조리법을 제공하거나, 사용자에게 적합한 요리를 추천하는 어플리케이션이 될 수 있다.
이 같은 레시피 어플리케이션이 실행된 상태에서, 식품 보관 장치(100)는 "Basil Pasta" 음식에 대한 사용자 명령이 입력되면, "Basil Pasta" 음식을 조리하기 위한 조리법을 안내하는 레시피 화면(1710)을 제공할 수 있다.
또한, 식품 보관 장치(100)는 "Basil Pasta" 음식에 대한 사용자 명령이 입력되면, "Basil Pasta"에 대한 음식을 조리하는데 필요한 재료를 제공할 수 있다.
뿐만 아니라, 식품 보관 장치(100)는 "Basil Pasta" 음식을 조리하는데 필요한 재료를 쇼핑 리스트 어플리케이션의 저장된 쇼핑 리스트에 등록할 수 있다.
구체적으로, 식품 보관 장치(100)는 "Basil Pasta" 음식에 대한 사용자 명령이 입력되면, 도시된 바와 같이, 쇼핑 리스트 어플리케이션에 저장된 쇼핑 리스트(1710')에 "Basil Pasta" 음식과 관련하여 필요한 재료를 등록할 수 있다.
한편, 식품 보관 장치(100)는 "Tomato Soup" 음성에 대한 사용자 명령이 추가로 입력되면, "Tomato Soup" 음식을 조리하기 위한 조리법을 안내하는 레시피 화면(1720)을 제공할 수 있다.
또한, 식품 보관 장치(100)는 "Tomato Soup" 음식에 대한 사용자 명령에 따라, "Tomato Soup"에 대한 음식을 조리하는데 필요한 재료를 제공할 수 있다.
뿐만 아니라, 식품 보관 장치(100)는 "Tomato Soup" 음식을 조리하는데 필요한 재료를 쇼핑 리스트 어플리케이션의 저장된 쇼핑 리스트에 등록할 수 있다.
구체적으로, 식품 보관 장치(100)는 "Tomato Soup" 음식에 대한 사용자 명령이 입력되면, 도시된 바와 같이, "Basil Pasta" 음식과 관련하여 필요한 재료가 등록된 쇼핑 리스트(1720')에 "Tomato Soup" 음식과 관련하여 필요한 재료를 추가로 등록할 수 있다.
한편, 식품 보관 장치(100)는 사용자가 요청한 음식 관련 재료 중 식품 보관 장치(100) 내에 보관된 재료를 제외한 나머지 재료에 대해서만 쇼핑 리스트에 등록할 수 있다.
구체적으로, 전술한 예와 같이, "Basil Pasta" 음식에 대한 사용자 명령이 입력되면, 식품 보관 장치(100)는 푸드 리스트 어플리케이션에 저장된 푸드 리스트를 참조하여 "Basil Pasta" 음식을 조리하는데 필요한 재료 중 푸드 리스트에 등록된 재료가 있는지를 판단한다.
여기서, 푸드 리스트는 식품 보관 장치(100) 내에 저장된 식품별 푸드 정보를 저장할 수 있다. 따라서, 식품 보관 장치(100)는 푸드 리스트에 저장된 푸드 정보를 참조하여 "Basil Pasta" 음식을 조리하는데 필요한 재료 중 푸드 리스트에 등록된 재료가 있는지를 판단한다. 이후, 식품 보관 장치(100)는 "Basil Pasta" 음식을 조리하는데 필요한 재료 중 푸드 리스트에 등록된 재료를 제외한 나머지 재료를 쇼핑 리스트에 등록할 수 있다.
도 18은 본 발명의 일 실시예에 따른 식품 보관 장치에서 쇼핑 리스트에 등록된 식품을 구매하는 예시도이다.
도 18의 (a)에 도시된 바와 같이, 식품 보관 장치(100)는 사용자 명령에 따라 쇼핑 리스트 어플리케이션의 실행 화면(1810)을 디스플레이할 수 있다.
여기서, 쇼핑 리스트 어플리케이션의 실행 화면(1810)은 쇼핑 리스트에 등록된 식품 목록을 나열한 화면이 될 수 있다.
또한, 식품 보관 장치(100)는 쇼핑 리스트 어플리케이션의 실행 화면(1810)의 일측 사이드 영역에 쇼핑 리스트 어플리케이션의 실행을 제어하기 위한 a,b 아이콘을 포함하는 UI(1811)를 디스플레이할 수 있다. 뿐만 아니라, 식품 보관 장치(100)는 쇼핑 리스트 어플리케이션의 실행 화면(1810)의 타측 사이드 영역에 이전 화면으로 복귀를 위한 고정 UI(미도시)를 추가로 디스플레이할 수 있다.
이 같은 쇼핑 리스트 어플리케이션의 실행 화면(1810)이 디스플레이된 상태에서 UI(1811)에 포함된 a 아이콘이 선택되면, 식품 보관 장치(100)는 도 18의 에 도시돈 바와 같이, 디스플레이된 실행 화면(181)을 세부적으로 제어하기 위한 서브 UI(1820)를 일측 사이드 영역에 디스플레이한다.
이후, 식품 보관 장치(100)는 서브 UI(1820)에 포함된 A 내지 E 아이콘 중 식품 구매을 위한 D 아이콘(1821)에 대한 선택 명령을 입력받을 수 있다. 이 같은 D 아이콘(1821)에 대한 선택 명령이 입력되면, 식품 보관 장치(100)는 도 18의 (c)에 도시된 바와 같이, 쇼핑 리스트에 등록된 식품을 구매할 수 있는 매장을 선택하기 위한 스토어 UI(1830)를 디스플레이한다.
이후, 식품 보관 장치(100)는 스토어 UI(1830)에 포함된 복수의 매장 중 하나(Store1)가 선택되면, 선택된 매장(Store1)의 서버(미도시)로 쇼핑 리스트에 등록된 식품 정보 및 배송 정보를 포함하는 주문 요청 정보를 전송한다. 이후, 식품 보관 장치(100)는 매장(Store1)의 서버(미도시)의 결제 요청에 따라, 기등록된 결제 정보에 기초하여 주문을 요청한 식품에 대한 결제를 수행한다.
여기서, 식품 보관 장치(100)와 매장(Store1)의 서버(미도시) 간의 전자 결제를 수행하는 방식은 공지된 기술이므로 본 발명에서는 상세한 설명을 생략하도록 한다. 이후, 식품 보관 장치(100)는 주문을 요청한 식품에 대한 결제가 완료되면, 도 18의 (d)에 도시된 바와 같이, 주문이 완료되었음을 안내하는 결제 완료 화면(1840)을 디스플레이할 수 있다.
도 19 내지 도 22는 본 발명의 일 실시예에 따른 식품 보관 장치에서 레시피 어플리케이션의 실행 동작을 나타내는 예시도이다.
식품 보관 장치(100)는 사용자 명령에 따라 레시피 어플리케이션을 실행할 수 있다. 이 같은 레시피 어플리케이션이 실행되면, 식품 보관 장치(100)는 실행된 레시피 어플리케이션의 실행 화면을 통해 다음과 같은 서비스를 제공할 수 있다.
일 실시예에 따라, 식품 보관 장치(100)는 레시피 어플리케이션의 실행 화면을 통해 사용자에게 적합한 음식을 추천하는 서비스를 제공할 수 있다.
또다른 실시예에 따라, 식품 보관 장치(100)는 레시피 어플리케이셔의 실행 화면을 통해 사용자가 요청한 음식의 조리법을 안내하는 서비스를 제공할 수 있다.
먼저, 사용자에게 적합한 음식을 추천하는 서비스를 제공하는 동작과 관련하여, 식품 보관 장치(100)는 도 19에 도시된 바와 같이 사용자에게 적합한 음식을 추천하는 추천 서비스 화면(1910)을 디스플레이할 수 있다.
구체적으로, 식품 보관 장치(100)는 디스플레이된 추천 서비스 화면(1910)의 제1 영역에 시간대별로 추천하는 음식에 대한 정보를 포함하는 음식 추천 UI(1911)를 제공하고, 제2 영역에 기설정된 기간 동안 사용자가 선택한 음식에 대한 정보를 포함하는 선호 음식 UI(1912)를 제공하며, 제3 영역에 사용자를 위해 추천된 음식들에 대한 레시피 정보를 포함하는 레시피 UI(1913)를 제공할 수 있다.
따라서, 사용자는 추천 서비스 화면(1910)의 제1 영역에 디스플레이된 음식 추천 UI(1911)를 통해 현재 시간 혹은 특정 시간대에 적합한 음식에 대한 정보를 제공받을 수 있다.
또한, 사용자는 추천 서비스 화면(1910)의 제2 영역에 디스플레이된 선호 음식 UI(1912)를 통해 자신이 최근에 선택한 음식에 대한 종류를 확인할 수 있다.
또한, 사용자는 추천 서비스 화면(1910)의 제3 영역에 디스플레이된 레시피 UI(1913)를 통해 자신이 요리할 음식에 대한 조리법을 제공받을 수 있다.
이하에서는, 사용자가 선택한 음식에 대한 조리법을 제공하는 동작에 대해서 상세히 설명하도록 한다.
전술한 바와 같이, 식품 보관 장치(100)는 추천 서비스 화면(1910)의 제3 영역에 디스플레이된 레시피 UI(1913)를 통해 제공된 음식별 조리법 중 적어도 하나에 대한 선택 명령을 입력받을 수 있다. 이 같은 선택 명령이 입력되면, 식품 보관 장치(100)는 입력된 선택 명령에 대응되는 음식의 조리법을 제공할 수 있다.
그러나, 본 발명은 이에 한정되지 않으며, 식품 보관 장치(100)는 입력창(미도시)을 통해 사용자로부터 입력된 음식에 대한 조리법을 검색하여 제공할 수 있다.
구체적으로, 도 20에 도시된 바와 같이, 식품 보관 장치(100)는 사용자가 요청한 음식에 대한 조리법을 제공하는 레시피 화면(2010)을 디스플레이한다.
예를 들어, 식품 보관 장치(100)는 사용자 명령에 따라, "Pasta" 음식에 대한 레시피 화면(2010)를 디스플레이할 수 있다.
구체적으로, 식품 보관 장치(100)는 디스플레이된 레시피 화면(2010)의 제1 영역(2020)을 통해 "Pasta" 음식에 대한 조리법을 안내하는 동영상을 디스플레이할 수 있다. 이때, 식품 보관 장치(100)는 동영상이 디스플레이되는 제1 영역(2020) 상에 해당 동작을 제어하기 위한 제어 UI를 디스플레이할 수 있다.
또한, 식품 보관 장치(100)는 디스플레이된 레시피 화면(2010)의 제2 영역(2030)을 통해 "Pasta" 음식 조리법 제공과 관련 UI을 디스플레이하며, 제3 영역(2040)을 통해 "Pasta" 음식 조리를 위한 조리 단계별 레시피를 텍스트 형태로 디스플레이한다.
한편, 제2 영역(2030)을 통해 디스플레이된 UI은 "Read Aloud" 아이콘, "Large Text" 아이콘 및 "Add Time" 아이콘을 포함할 수 있다.
"Read Aloud" 아이콘은 제3 영역에 디스플레이된 "Pasta" 음식 조리 관련 텍스트를 오디오로 출력하기 위한 아이콘이다.
그리고, "Large Text"은 제3 영역에 디스플레이된 "Pasta" 음식 조리 관련 텍스트의 사이즈를 조정하기 위한 아이콘이다.
그리고, "Add Time" 아이콘은 제3 영역에 디스플레이된 "Pasta" 음식 조리를 위한 각 단계별 조리 시간을 설정하기 위한 아이콘이다.
이 같은 식품 보관 장치(100)는 제1 영역(2020)을 통해 "Pasta" 음식 조리를 위한 동영상이 디스플레이되면, 제3 영역을 통해 디스플레이된 텍스트 형태의 조리 단계별 레시피 중 현재 디스플레이되는 동영상과 관련된 조리 단계의 레시피를 나머지 조리 단계의 레시피와 상이하게 표시한다.
이에 따라, 사용자는 제1 영역을 통해 현재 디스플레이 중인 동영상이 어느 조리 단계의 레시피에 해당되는지를 쉽게 확인할 수 있다.
한편, 식품 보관 장치(100)는 전술한 제2 영역(2030)을 통해 디스플레이된 UI에 포함된 아이콘 중 "Read Aloud" 아이콘이 선택되면, "Pasta" 음식과 관련하여 제3 영역을 통해 디스플레이된 조리 단계별 레시피를 오디오을 통해 출력한다.
이때, 식품 보관 장치(100)는 제3 영역을 통해 디스플레이된 조리 단계별 레시피 중 오디오로 출력되는 조리 단계의 레시피를 나머지 조리 단계의 레시피와 상이하게 표시할 수 있다.
이에 따라, 사용자는 오디오로 출력 중인 레시피가 어느 조리 단계에 해당되는지를 쉽게 확인할 수 있다.
한편, 식품 보관 장치(100)는 전술한 제2 영역(2030)을 통해 디스플레이된 UI에 포함된 아이콘 중 "Add Time" 아이콘이 선택되면, 다음과 같은 동작을 수행할 수 있다.
도 21에 도시된 바와 같이, 식품 보관 장치(100)는 전술한 제2 영역(2030)을 통해 디스플레이된 UI에 포함된 아이콘 중 "Add Time" 아이콘이 선택되면, "Pasta" 음식 조리를 위한 동영상을 디스플레이하는 제1 영역(2020)에 각 조리 단계별 시간을 설정하기 위한 타이머 UI(2110)를 디스플레이할 수 있다.
따라서, 사용자는 제1 영역(2020)에 디스플레이된 타이머 UI(2110)를 통해 각 조리 단계별 조리 시간을 설정 및 확인할 수 있다.
한편, "Pasta" 음식과 관련하여 제3 영역(2040)에 디스플레이된 조리 단계별 레시피 중 적어도 하나에는 각 조리 단계별 시간 정보를 포함할 수 있다.
이 경우, 식품 보관 장치(100)는 레시피에 포함된 시간 정보에 대한 선택 명령이 입력되면, 해당 레시피에 포함된 시간 정보에 대한 타이머 UI(2110)를 제1 영역(2020)에 디스플레이할 수 있다.
따라서, 사용자는 제1 영역(2020)에 디스플레이된 타이머 UI(2110)를 통해 각 조리 단계별 조리 시간을 확인할 수 있다.
한편, 식품 보관 장치(100)는 전술한 제2 영역(2030)을 통해 디스플레이된 UI에 포함된 아이콘 중 "Large Text" 아이콘이 선택되면, 다음과 같은 동작을 수행할 수 있다.
도 22에 도시된 바와 같이, 식품 보관 장치(100)는 제2 영역(2030)을 통해 디스플레이된 UI에 포함된 아이콘 중 "Large Text" 아이콘이 선택되면, 제3 영역(2040)을 통해 디스플레이된 "Pasta" 음식에 대한 조리 단계별 레시피의 텍스트의 사이즈를 확대시켜 디스플레이할 수 있다.
이에 따라, 사용자는 식품 보관 장치(100)와 멀리 떨어져 있는 상황에서도 식품 보관 장치(100)를 통해 디스플레이된 "Pasta" 음식에 대한 조리 단계별 레시피를 쉽게 확인할 수 있다.
지금까지, 본 발명에 따른 식품 보관 장치(100)에 대한 다양한 동작에 대해서 상세히 설명하였다. 이하에서는, 본 발명에 따른 식품 보관 장치(100)의 제어 방법에 대해서 상세히 설명하도록 한다.
도 23은 본 발명의 일 실시예에 따른 식품 보관 장치의 제어 방법에 대한 흐름도이다.
도 23에 도시된 바와 같이, 식품 보관 장치(100)는 식품 보관 장치(100)와 관련된 어플리케이션의 실행 화면을 디스플레이한다(S2310).
또한, 식품 보관 장치(100)는 어플리케이션의 실행 화면이 디스플레이되는 동안, 해당 어플리케이션의 실행 화면을 제어하기 위한 적어도 하나의 아이콘을 포함하는 UI를 해당 어플리케이션의 실행 화면의 사이드 영역에 디스플레이한다(S2320).
여기서, 식품 보관 장치(100)와 관련된 어플리케이션은 식품 보관 장치(100) 내부를 촬영한 영상을 제공하는 뷰 인사이드 어플리케이션이 될 수 있다. 따라서, 식품 보관 장치(100)는 식품 보관 장치(100) 내부를 촬영한 영상의 사이드 영역에 해당 영상의 실행 화면을 제어하기 위한 UI를 디스플레이할 수 있다.
본 발명의 추가적인 양상에 따라, 식품 보관 장치(100)는 어플리케이션의 실행 화면의 사이드 영역에 디스플레이된 UI의 이동 가능 범위를 안내하는 가이드 UI를 더 디스플레이할 수 있다.
한편, 식품 보관 장치(100)는 사이드 영역에 디스플레이된 UI에 포함된 적어도 하나의 아이콘 중 하나가 선택되면, 선택된 아이콘에 대응되는 실행 화면을 디스플레이한다. 또한, 식품 보관 장치(100)는 선택된 아이콘에 대응하는 실행 화면의 사이드 영역에 해당 실행 화면을 제어하기 위한 아이콘을 포함하는 서브 UI를 디스플레이할 수 있다.
한편, 식품 보관 장치(100)는 식품 보관 장치(100) 내부를 촬영한 영상이 디스플레이되는 동안, 디스플레이된 영상 내 포함된 오브젝트에 대한 선택 명령이 입력되는지 여부를 판단한다(S2330).
판단 결과, 디스플레이된 영상 내 포함된 복수의 오브젝트 중 하나가 선택된 것으로 판단되면, 식품 보관 장치(100)는 선택된 오브젝트와 관련된 정보 입력을 위한 입력 UI를 디스플레이한다(S2340).
이후, 식품 보관 장치(100)는 디스플레이된 입력 UI를 통해 제1 사용자 명령이 입력되는지 여부를 판단하여, 제1 사용자 명령이 입력된 것으로 판단되면, 태그 UI를 생성하여 디스플레이한다(S2340,S2350).
한편, 식품 보관 장치(100)는 디스플레이된 입력 UI를 통해 또다른 사용자 명령이 입력된 것으로 판단되면, 푸드 리스트 또는 쇼핑 리스트에 식품 정보를 등록한다(S2360).
구체적으로, 식품 보관 장치(100)는 입력 UI에 포함된 복수의 아이콘 중 제1 아이콘이 선택되는 사용자 명령이 입력되면, 선택된 오브젝트와 관련된 정보 입력을 위한 메모 UI를 디스플레이한다. 이후, 식품 보관 장치(100)는 디스플레이된 메모 UI를 통해 사용자 명령이 입력되면, 입력된 사용자 명령에 대응되는 메모를 포함하는 태그 UI를 생성한다. 이후, 식품 보관 장치(100)는 식품 보관 장치(100) 내부를 촬영한 영상에 해당 태그 UI를 중첩시켜 디스플레이한다.
한편, 식품 보관 장치(100)는 디스플레이된 태그 UI에 대한 선택 명령이 입력되면, 선택된 태그 UI에 대응되는 오브젝트와 관련된 정보 입력을 위한 메모 UI를 디스플레이할 수 있다.
한편, 식품 보관 장치(100)는 입력 UI에 포함된 복수의 아이콘 중 제2 아이콘이 선택되는 사용자 명령이 입력되면, 식품 보관 장치(100) 내에 저장된 식품별 푸드 정보를 제공하기 위한 푸드 리스트 어플리케이션을 실행한다.
이후, 식품 보관 장치(100)는 선택된 오브젝트와 관련된 식품 정보가 입력되면, 실행된 푸드 리스트 어플리케이션에 저장된 푸드 리스트에 기선택된 오브젝트와 관련하여 입력된 식품 정보를 등록할 수 있다. 여기서, 푸드 리스트는 식품 보관 장치(100) 내에 보관된 식품에 대한 정보를 제공하기 위한 정보가 될 수 있다.
한편, 식품 보관 장치(100)는 입력 UI에 포함된 복수의 아이콘 중 제3 아이콘이 선택되는 사용자 명령이 입력되면, 쇼핑 리스트 어플리케이션을 실행한다.
이후, 식품 보관 장치(100)는 기선택된 오브젝트와 관련된 식품 정보가 입력되면, 실행된 쇼핑 리스트 어플리케이션에 저장된 쇼핑 리스트에 해당 식품 정보를 등록할 수 있다.
본 발명의 추가적인 양상에 따라, 식품 보관 장치(100)는 식품 구매을 위한 사용자의 음성 명령이 입력되면, 쇼핑 리스트 어플리케이션을 실행한다. 이후, 식품 보관 장치(100)는 실행된 쇼핑 리스트 어플리케이션에 저장된 쇼핑 리스트에 기입력된 음성 명령과 관련된 식품 정보를 등록할 수 있다.
한편, 식품 보관 장치(100)는 사용자 명령에 따라 요리별 조리 안내를 위한 레시피 어플리케이션을 실행 할 수 있다. 이 같은 레시피 어플리케이션이 실행된 상태에서 특정 요리에 대한 사용자 명령이 입력되면, 식품 보관 장치(100)는 해당 요리를 위한 재료 정보를 디스플레이할 수 있다.
이때, 식품 보관 장치(100)는 식품 보관 장치(100) 내 보관된 식품에 대한 식품 정보를 제공하는 푸드 리스트 어플리케이션에 저장된 푸드 리스트에 기초하여 사용자가 요청한 요리를 위한 재료 중 식품 보관 장치(100) 내에 있는 식품 관련 재료와 나머지 재료를 상이하게 표시하여 디스플레이할 수 있다.
본 발명의 일 실시예로 수행되는 프로세스는 프로그램이 형태로 비일시적 판독 가능 매체에 저장될 수 있으며, 이는 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 식품 보관 장치
110 : 디스플레이부
120 : 프로세서 130 : 입력부
140 : 통신부 150 : 냉기 공급부
160 : 촬영부 170 : 감지부
180 : 오디오 출력부 190 : 저장부
120 : 프로세서 130 : 입력부
140 : 통신부 150 : 냉기 공급부
160 : 촬영부 170 : 감지부
180 : 오디오 출력부 190 : 저장부
Claims (20)
- 식품 보관 장치에 있어서,
상기 식품 보관 장치와 관련된 어플리케이션의 실행 화면을 디스플레이하는 디스플레이부; 및
상기 어플리케이션의 실행 화면이 표시되는 동안 상기 어플리케이션의 실행 화면을 제어하기 위한 적어도 하나의 아이콘을 포함하는 UI를 상기 어플리케이션 실행 화면의 사이드 영역에 표시하도록 상기 디스플레이부를 제어하는 프로세서;를 포함하며,
상기 어플리케이션은 상기 식품 보관 장치 내부를 촬영한 영상을 제공하며,
상기 프로세서는,
상기 식품 보관 장치 내부를 촬영한 영상에 상기 UI를 표시하도록 상기 디스플레이부를 제어하는 식품 보관 장치. - 제 1 항에 있어서,
상기 프로세서는,
상기 적어도 하나의 아이콘 중 하나가 선택되면, 상기 선택된 아이콘에 대응되는 실행 화면을 디스플레이하고, 상기 디스플레이된 실행 화면을 제어하기 위한 아이콘을 포함하는 서브 UI를 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 식품 보관 장치. - 제 1 항에 있어서,
상기 프로세서는,
상기 UI의 이동 가능 범위를 안내하는 가이드 UI를 더 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 식품 보관 장치. - 제 1 항에 있어서,
상기 프로세서는,
상기 촬영된 영상 내 포함된 복수의 오브젝트 중 하나가 선택되면, 상기 선택된 오브젝트와 관련된 정보 입력을 위한 입력 UI를 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 식품 보관 장치. - 제 4 항에 있어서,
상기 프로세서는,
상기 입력 UI에 포함된 제1 아이콘이 선택되면, 상기 오브젝트와 관련된 정보 입력을 위한 메모 UI를 디스플레이하며,
상기 메모 UI를 통해 사용자 명령이 입력되면, 상기 사용자 명령에 대응하는 메모를 포함하는 태그 UI를 생성하여 상기 촬영된 영상에 중첩시켜 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 식품 보관 장치. - 제 5 항에 있어서,
상기 프로세서는,
상기 태그 UI가 선택되면, 상기 선택된 태그 UI에 대응되는 오브젝트와 관련된 정보 입력을 위한 상기 메모 UI를 다시 디스플레이하는 것을 특징으로 하는 식품 보관 장치. - 제 4 항에 있어서,
상기 프로세서는,
상기 입력 UI에 포함된 제2 아이콘이 선택되면, 상기 식품 보관 장치 내에 저장된 식품별 푸드 정보를 제공하기 위한 푸드 리스트 어플리케이션을 실행하고,
상기 오브젝트와 관련된 식품 정보가 입력되면, 상기 실행된 푸드 리스트 어플리케이션에 저장된 푸드 리스트에 상기 입력된 식품 정보를 등록하는 것을 특징으로 하는 식품 보관 장치. - 제 4 항에 있어서,
상기 프로세서는,
상기 입력 UI에 포함된 제3 아이콘이 선택되면, 식품 구매를 위한 쇼핑 리스트 어플리케이션을 실행하고,
상기 오브젝트와 관련된 식품 정보가 입력되면, 상기 쇼핑 리스트 어플리케이션에 저장된 쇼핑 리스트에 상기 입력된 식품 정보를 등록하는 것을 특징으로 하는 식품 보관 장치. - 제 1 항에 있어서,
상기 프로세서는,
식품 구매를 위한 음성 명령이 입력되면, 쇼핑 리스트 어플리케이션을 실행하고, 상기 실행된 쇼핑 리스트 어플리케이션에 저장된 쇼핑 리스트에 상기 음성 명령과 관련된 식품 정보를 등록하는 것을 특징으로 하는 식품 보관 장치. - 제 1 항에 있어서,
상기 프로세서는,
요리별 조리 안내를 위한 레시피 어플리케이션이 실행된 상태에서, 특정 요리에 대한 사용자 명령이 입력되면, 상기 요리를 위한 재료 정보를 디스플레이하며,
상기 식품 보관 장치 내 보관된 식품에 대한 식품 정보를 제공하는 푸드 리스트 어플리케이션에 저장된 푸드 리스트에 기초하여 상기 디스플레이된 재료 중 상기 식품 보관 장치 내에 있는 식품 관련 재료와 나머지 재료를 상이하게 표시하여 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 식품 보관 장치. - 식품 보관 장치의 제어 방법에 있어서,
상기 식품 보관 장치와 관련된 어플리케이션의 실행 화면을 디스플레이하는 단계; 및
상기 어플리케이션의 실행 화면이 표시되는 동안 상기 어플리케이션의 실행 화면을 제어하기 위한 적어도 하나의 아이콘을 포함하는 UI를 상기 어플리케이션 실행 화면의 사이드 영역에 표시하는 단계;를 포함하며,
상기 어플리케이션은 상기 식품 보관 장치 내부를 촬영한 영상을 제공하며,
상기 사이드 영역에 표시하는 단계는,
상기 식품 보관 장치 내부를 촬영한 영상에 상기 UI를 표시하는 것을 특징으로 하는 제어 방법. - 제 11 항에 있어서,
상기 디스플레이하는 단계는,
상기 적어도 하나의 아이콘 중 하나가 선택되면, 상기 선택된 아이콘에 대응되는 실행 화면을 디스플레이하며,
상기 사이드 영역에 표시하는 단계는,
상기 디스플레이된 실행 화면을 제어하기 위한 아이콘을 포함하는 서브 UI를 표시하는 것을 특징으로 하는 제어 방법. - 제 11 항에 있어서,
상기 UI의 이동 가능 범위를 안내하는 가이드 UI를 표시하는 단계;
를 더 포함하는 것을 특징으로 하는 제어 방법. - 제 11 항에 있어서,
상기 촬영된 영상 내 포함된 복수의 오브젝트 중 하나가 선택되면, 상기 선택된 오브젝트와 관련된 정보 입력을 위한 입력 UI를 디스플레이하는 단계;
를 더 포함하는 것을 특징으로 하는 제어 방법. - 제 14 항에 있어서,
상기 입력 UI를 통해 입력된 사용자 명령에 따라, 태그 UI를 디스플레이하는 단계;를 더 포함하며,
상기 태그 UI를 디스플레이하는 단계는,
상기 입력 UI에 포함된 제1 아이콘이 선택되면, 상기 선택된 오브젝트와 관련된 정보 입력을 위한 메모 UI를 디스플레이하는 단계;
상기 메모 UI를 통해 사용자 명령이 입력되면, 상기 사용자 명령에 대응하는 메모를 포함하는 태그 UI를 생성하는 단계; 및
상기 생성된 태그 UI를 상기 촬영된 영상에 중첩시켜 디스플레이하는 단계;
를 포함하는 것을 특징으로 하는 제어 방법. - 제 15 항에 있어서,
상기 태그 UI를 디스플레이하는 단계는,
상기 태그 UI가 선택되면, 상기 선택된 태그 UI에 대응되는 오브젝트와 관련된 정보 입력을 위한 상기 메모 UI를 다시 디스플레이하는 것을 특징으로 하는 제어 방법. - 제 14 항에 있어서,
상기 입력 UI를 통해 입력된 사용자 명령에 따라 식품 보관 장치 내에 저장된 식품에 대한 정보를 등록하는 단계;를 더 포함하며,
상기 등록하는 단계는,
상기 입력 UI에 포함된 제2 아이콘이 선택되면, 상기 식품 보관 장치 내에 저장된 식품별 푸드 정보를 제공하기 위한 푸드 리스트 어플리케이션을 실행하는 단계; 및
상기 오브젝트와 관련된 식품 정보가 입력되면, 상기 푸드 리스트 어플리케이션에 저장된 상기 푸드 리스트에 상기 입력된 식품 정보를 등록하는 단계;를 포함하며,
상기 푸드 리스트는,
상기 식품 보관 장치 내에 보관된 식품에 대한 정보를 제공하기 위한 것을 특징으로 하는 제어 방법. - 제 14 항에 있어서,
상기 입력 UI를 통해 입력된 사용자 명령에 따라, 식품 구매를 위한 정보를 등록하는 단계;를 더 포함하며,
상기 등록하는 단계는,
상기 입력 UI에 포함된 제3 아이콘이 선택되면, 쇼핑 리스트 어플리케이션을 실행하는 단계; 및
상기 오브젝트와 관련된 식품 정보가 입력되면, 상기 쇼핑 리스트 어플리케이션에 저장된 상기 쇼핑 리스트에 상기 입력된 식품 정보를 등록하는 단계;
를 포함하는 것을 특징으로 하는 제어 방법. - 제 11 항에 있어서,
식품 정보를 등록하는 단계;를 더 포함하며,
상기 등록하는 단계는,
식품 구매를 위한 음성 명령이 입력되면, 쇼핑 리스트 어플리케이션을 실행하고, 상기 실행된 쇼핑 리스트 어플리케이션에 저장된 쇼핑 리스트에 상기 음성 명령과 관련된 식품 정보를 등록하는 것을 특징으로 하는 제어 방법. - 제 11 항에 있어서,
상기 디스플레이하는 단계는,
요리별 조리 안내를 위한 레시피 어플리케이션이 실행된 경우, 특정 요리에 대한 사용자 명령이 입력되면, 상기 요리를 위한 재료 정보를 디스플레이하며,
상기 식품 보관 장치 내 보관된 식품에 대한 식품 정보를 제공하는 푸드 리스트 어플리케이션에 저장된 푸드 리스트에 기초하여 상기 디스플레이된 재료 중 상기 식품 보관 장치 내에 있는 식품 관련 재료와 나머지 재료를 상이하게 표시하여 디스플레이하는 것을 특징으로 하는 제어 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762441806P | 2017-01-03 | 2017-01-03 | |
| US62/441,806 | 2017-01-03 | ||
| KR1020170177311A KR102018639B1 (ko) | 2017-01-03 | 2017-12-21 | 식품 보관 장치 및 그 제어 방법 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170177311A Division KR102018639B1 (ko) | 2017-01-03 | 2017-12-21 | 식품 보관 장치 및 그 제어 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190104495A true KR20190104495A (ko) | 2019-09-10 |
| KR102295628B1 KR102295628B1 (ko) | 2021-08-31 |
Family
ID=62917875
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170177311A KR102018639B1 (ko) | 2017-01-03 | 2017-12-21 | 식품 보관 장치 및 그 제어 방법 |
| KR1020190107245A KR102295628B1 (ko) | 2017-01-03 | 2019-08-30 | 식품 보관 장치 및 그 제어 방법 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170177311A KR102018639B1 (ko) | 2017-01-03 | 2017-12-21 | 식품 보관 장치 및 그 제어 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (2) | KR102018639B1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020080753A1 (ko) * | 2018-10-18 | 2020-04-23 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 제어 방법 |
| KR20200043902A (ko) | 2018-10-18 | 2020-04-28 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 제어 방법 |
| KR102637119B1 (ko) * | 2018-10-25 | 2024-02-15 | 삼성전자주식회사 | 냉장고 안의 객체에 관한 정보를 제공하는 방법 및 시스템 |
| KR102377971B1 (ko) * | 2018-11-16 | 2022-03-25 | 엘지전자 주식회사 | 디스플레이 장치를 갖는 인공지능 냉장고 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110096775A (ko) * | 2010-02-23 | 2011-08-31 | 엘지전자 주식회사 | 단말기를 구비하는 냉장고 및 그 제어방법 |
| KR20120109151A (ko) * | 2011-03-28 | 2012-10-08 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
| KR20130010980A (ko) * | 2011-07-20 | 2013-01-30 | 엘지전자 주식회사 | 디스플레이부를 구비하는 냉장고 |
| KR20150118864A (ko) * | 2014-04-15 | 2015-10-23 | 엘지전자 주식회사 | 냉장고 및 그 제어 방법 |
| KR20150135056A (ko) * | 2014-05-23 | 2015-12-02 | 삼성전자주식회사 | 컨텐트를 재생하는 방법 및 이를 위한 디바이스 |
-
2017
- 2017-12-21 KR KR1020170177311A patent/KR102018639B1/ko active IP Right Grant
-
2019
- 2019-08-30 KR KR1020190107245A patent/KR102295628B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110096775A (ko) * | 2010-02-23 | 2011-08-31 | 엘지전자 주식회사 | 단말기를 구비하는 냉장고 및 그 제어방법 |
| KR20120109151A (ko) * | 2011-03-28 | 2012-10-08 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
| KR20130010980A (ko) * | 2011-07-20 | 2013-01-30 | 엘지전자 주식회사 | 디스플레이부를 구비하는 냉장고 |
| KR20150118864A (ko) * | 2014-04-15 | 2015-10-23 | 엘지전자 주식회사 | 냉장고 및 그 제어 방법 |
| KR20150135056A (ko) * | 2014-05-23 | 2015-12-02 | 삼성전자주식회사 | 컨텐트를 재생하는 방법 및 이를 위한 디바이스 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180080109A (ko) | 2018-07-11 |
| KR102295628B1 (ko) | 2021-08-31 |
| KR102018639B1 (ko) | 2019-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108266960B (zh) | 食物储存装置及其控制方法 | |
| KR102295628B1 (ko) | 식품 보관 장치 및 그 제어 방법 | |
| US10708534B2 (en) | Terminal executing mirror application of a peripheral device | |
| EP3098526B1 (en) | Customized control method and system for air conditioner operation mode | |
| US20160098154A1 (en) | Display apparatus and control method thereof | |
| US9285953B2 (en) | Display apparatus and method for inputting characters thereof | |
| US20140089847A1 (en) | Method of displaying data in display device using mobile communication terminal, the display device, and the mobile communication terminal | |
| US20160147390A1 (en) | Image display apparatus, image display method, and non-transitory computer readable recording medium | |
| KR20190038669A (ko) | 디스플레이를 가진 냉장 저장 시스템 | |
| KR20150032066A (ko) | 화면 미러링 방법 및 그에 따른 소스 기기 | |
| US20180255363A1 (en) | Method, System and Device for Implementation of Video Shopping | |
| KR20160035447A (ko) | 디스플레이 장치 및 이의 디스플레이 방법 | |
| WO2016041469A1 (zh) | 触控方法、触控装置、触控终端及计算机可读存储介质 | |
| KR20190021016A (ko) | 전자 장치 및 그 제어 방법 | |
| KR20170069600A (ko) | 전자 장치 및 그 동작 방법 | |
| US20140195980A1 (en) | Display apparatus and method for providing user interface thereof | |
| CN107015735A (zh) | 一种浏览器操作栏的控制方法及触控设备 | |
| CN108920266A (zh) | 程序切换方法、智能终端及计算机可读存储介质 | |
| KR20170037795A (ko) | 휴대용 단말 장치 및 그 제어 방법 | |
| CN105425943B (zh) | 处理手势指令的方法及装置 | |
| KR102412076B1 (ko) | 스마트 벤치 관리 시스템, 스마트 벤치 관리 시스템의 제어 방법 및 스마트 벤치 관리를 위한 프로그램이 저장된 컴퓨터가 판독가능한 기록매체 | |
| US20160349945A1 (en) | Display apparatus and method for controlling the same | |
| KR20150135039A (ko) | 사용자 단말 장치 및 이의 정보 제공 방법 | |
| KR20190018845A (ko) | 전자 장치 및 그의 제어 방법 | |
| US20160313879A1 (en) | Display device and method for controlling same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |