JP7425621B2 - 情報表示装置 - Google Patents
情報表示装置 Download PDFInfo
- Publication number
- JP7425621B2 JP7425621B2 JP2020022908A JP2020022908A JP7425621B2 JP 7425621 B2 JP7425621 B2 JP 7425621B2 JP 2020022908 A JP2020022908 A JP 2020022908A JP 2020022908 A JP2020022908 A JP 2020022908A JP 7425621 B2 JP7425621 B2 JP 7425621B2
- Authority
- JP
- Japan
- Prior art keywords
- food
- user
- display
- information
- ingredients
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000013305 food Nutrition 0.000 claims description 239
- 239000004615 ingredient Substances 0.000 claims description 192
- 235000012041 food component Nutrition 0.000 claims description 66
- 239000005417 food ingredient Substances 0.000 claims description 66
- 238000012545 processing Methods 0.000 claims description 65
- 238000000034 method Methods 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 39
- 230000004044 response Effects 0.000 claims description 24
- 230000007423 decrease Effects 0.000 claims description 8
- 230000010365 information processing Effects 0.000 description 63
- 230000006870 function Effects 0.000 description 54
- 239000010813 municipal solid waste Substances 0.000 description 32
- 235000013311 vegetables Nutrition 0.000 description 29
- 230000003993 interaction Effects 0.000 description 28
- 230000004048 modification Effects 0.000 description 26
- 238000012986 modification Methods 0.000 description 26
- 239000000463 material Substances 0.000 description 21
- 238000010586 diagram Methods 0.000 description 18
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 17
- 240000003768 Solanum lycopersicum Species 0.000 description 17
- 238000012217 deletion Methods 0.000 description 17
- 230000037430 deletion Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 15
- 238000007710 freezing Methods 0.000 description 15
- 230000008014 freezing Effects 0.000 description 15
- 230000004913 activation Effects 0.000 description 14
- 235000013601 eggs Nutrition 0.000 description 9
- 238000012790 confirmation Methods 0.000 description 8
- 241001504592 Trachurus trachurus Species 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 235000015277 pork Nutrition 0.000 description 5
- 238000010079 rubber tapping Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 235000013330 chicken meat Nutrition 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 3
- 235000015219 food category Nutrition 0.000 description 3
- 240000004160 Capsicum annuum Species 0.000 description 2
- 235000008534 Capsicum annuum var annuum Nutrition 0.000 description 2
- 240000008067 Cucumis sativus Species 0.000 description 2
- 235000009849 Cucumis sativus Nutrition 0.000 description 2
- 244000000626 Daucus carota Species 0.000 description 2
- 235000002767 Daucus carota Nutrition 0.000 description 2
- 239000004278 EU approved seasoning Substances 0.000 description 2
- 241000287828 Gallus gallus Species 0.000 description 2
- 244000046052 Phaseolus vulgaris Species 0.000 description 2
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 2
- 235000003953 Solanum lycopersicum var cerasiforme Nutrition 0.000 description 2
- 240000003040 Solanum lycopersicum var. cerasiforme Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000001511 capsicum annuum Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 235000011194 food seasoning agent Nutrition 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 235000013599 spices Nutrition 0.000 description 2
- 241001474374 Blennius Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 235000008429 bread Nutrition 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 235000013365 dairy product Nutrition 0.000 description 1
- 235000013611 frozen food Nutrition 0.000 description 1
- 230000006266 hibernation Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 235000012149 noodles Nutrition 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 235000021067 refined food Nutrition 0.000 description 1
- 239000003507 refrigerant Substances 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 235000014102 seafood Nutrition 0.000 description 1
- 235000012046 side dish Nutrition 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
- H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L2012/2847—Home automation networks characterised by the type of home appliance used
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
図1は、実施形態の情報処理システム1の全体構成を示す図である。情報処理システム1は、「食材管理システム」の一例であり、ユーザが保有する食材の在庫量を管理するためのシステムである。情報処理システム1は、例えば、冷蔵庫100、スマートスピーカ200、家庭内のルータ300、端末機器400、およびサーバシステム500を含む。後述するネットワークNWは、例えば、インターネット、セルラー網、Wi-Fi網、WAN(Wide Area Network)、LAN(Local Area Network)、公衆回線、電話回線、無線基地局などのうち1つ以上を含む。ルータ300は、例えば無線ルータであるが、これに限定されない。
図2は、冷蔵庫100を示す正面図である。冷蔵庫100は、例えば、筐体110、複数の扉130、表示装置140、アクチュエータ150、および制御部160を含む。筐体110の内部には、複数の貯蔵室(保存部屋)120が設けられている。複数の貯蔵室120は、例えば、冷蔵室121、チルド室122、野菜室123、製氷室124、小冷凍室125、および主冷凍室126を含む。本実施形態では、最上部に冷蔵室121が配置され、冷蔵室121の下方に野菜室123が配置され、野菜室123の下方に製氷室124および小冷凍室125が配置され、製氷室124および小冷凍室125の下方に主冷凍室126が配置されている。ただし、貯蔵室120の配置は、上記例に限定されない。これら複数の貯蔵室120は、複数の扉130によってそれぞれ開閉可能に閉じられる。
図3は、スマートスピーカ200の機能構成を示すブロック図である。スマートスピーカ200は、例えば、マイク210、スピーカ220、無線通信モジュール230、記憶部240、および情報処理部250を有する。
図4は、端末機器400の機能構成を示すブロック図である。端末機器400は、例えば、表示装置410、無線通信モジュール420、記憶部430、および情報処理部440を有する。表示装置410は、液晶ディスプレイまたは有機ELディスプレイなどであり、画像および/または映像を表示可能な表示画面411を含む。表示装置410は、表示画面411に重ねて設けられたタッチセンサ412を含む。無線通信モジュール420は、高周波回路およびアンテナなどを含み、ネットワークNWと接続可能である。
図5は、サーバシステム500の機能構成を示すブロック図である。以下では、サーバシステム500によって、「情報表示装置」である端末機器400と、「音声対話装置」であるスマートスピーカ200とが制御される例について説明する。ただし、サーバシステム500によって制御される「情報表示装置」は、冷蔵庫100でもよい。この場合、以下の説明における「端末機器400」は「冷蔵庫100」と読み替えられる。サーバシステム500によって制御される「音声対話装置」は、端末機器400または冷蔵庫100でもよい。この場合、以下の説明における「スマートスピーカ200」は「端末機器400」または「冷蔵庫100」と読み替えられる。
情報処理部520は、例えば、指示受付部521、登録情報管理部522、表示制御部523、音声処理部524、制御モード変更部525、制御指示生成部526、および応答生成部527を含む。ただし、これら機能部の一部または全部は、サーバシステム500に代えて、端末機器400または冷蔵庫100に設けられてもよい。情報処理部520は、「処理部」の一例である。
記憶部530には、在庫リストDB601、買い物リストDB602、ゴミ箱DB603、候補リストDB604、食材DB605、ユーザ設定DB606、常備品DB607、履歴DB608、遠隔操作登録DB609、および音声DB610が記憶されている。在庫リストDB601、買い物リストDB602、ゴミ箱DB603、候補リストDB604、ユーザ設定DB606、常備品DB607、履歴DB608は、ユーザ毎に準備されている。
図6は、在庫リストDB601の内容の一例を示す図である。「在庫リスト」とは、ユーザが保有する食材が管理されるリストである。「在庫リスト」は、「第1リスト」の一例である。以下の説明では「在庫リスト」を「食材リスト」と称することがある。在庫リストDB601には、ユーザの家庭に在庫として存在する食材が登録される。在庫リストDB601には、冷蔵庫100の内部に保存される食材に限らず、冷蔵庫100の外部で保存(例えば常温で保存)される食材も登録される。在庫リストDB601は、ユーザが保有する食材の保有数量を示す「保有情報」の一例である。
図7は、買い物リストDB602の内容の一例を示す図である。「買い物リスト」とは、買い忘れを防止するためにユーザが買い物時に参照可能なリストであり、ユーザの購入予定(例えば明示の購入意思)が確認された食材のリストである。「買い物リスト」は、「第3リスト」の一例であり、後述する候補リストと比べて購入可能性が高いリストである。ただし、「買い物リスト」は、ユーザの明示の購入意思に限らず、ユーザの常備意思(ある食材を常備品として保有する意思)に基づく推定で登録された食材を含んでもよい。「買い物リスト」に登録される食材は、例えば、後述する「候補リスト」に一度登録された後、ユーザの意思(ユーザの操作)に基づいて「候補リスト」から「買い物リスト」に移動されることで「買い物リスト」に登録される。ただし、「買い物リスト」に登録される食材は、候補リストを経由せずに、ユーザの操作に基づいて「買い物リスト」に直接登録されてもよい。「買い物リスト」は、サーバシステム500の制御によって、端末機器400の表示画面411に表示される。「買い物リスト」の表示例については詳しく後述する。
図8は、ゴミ箱DB603の内容の一例を示す図である。ゴミ箱DB603には、在庫リストDB601から削除された食材が一時的に登録される。例えば、ゴミ箱DB603には、在庫リストDB601に登録されていた食材が消費され、ユーザの操作に基づいて在庫リストDBから削除された食材が登録される。本実施形態では、ゴミ箱DB603には、在庫リストDBに登録されていた食材のなかで賞味期限(または消費期限)が徒過することで登録管理部522によって在庫リストDBから自動で削除された食材も登録される。ゴミ箱DB603に登録された食材は、ユーザの操作によって在庫リストDBに再登録可能である。ゴミ箱DB603に登録された食材は、ゴミ箱DB603に登録された登録日から所定期間(例えば3日間)が経過することでゴミ箱DB603から自動で削除される。なお、在庫リストDB601に賞味期限(または消費期限)が過ぎた食材が登録されていても、在庫リストDB601から自動では削除することなく、ユーザの操作を待って削除するようにしてもよい。同様に、ゴミ箱DB603に登録された食材も、自動削除までの期間を設けることなく、ユーザの操作を待って削除するようにしてもよい。ゴミ箱DB603では、食材毎に、「管理ID」、「食材名」、「食材分類」、ゴミ箱DB603への登録日」が対応付けられて登録されている。
図9は、候補リストDB604の内容の一例を示す図である。「候補リスト」とは、買い忘れを防止するためにユーザが補助的に参照可能なリストであり、ユーザの購入予定(例えば明示の購入意思)が確認されていない購入候補の食材のリストである。「候補リスト」は、「第2リスト」の一例である。「候補リスト」は、食材の在庫が減少したことに基づき、ユーザに対して食材の購入を促す情報の一例である。「候補リスト」は、購入の提案情報であり、例えば在庫リストDB601に登録された食材の削除操作を利用して生成される。「候補リスト」は、サーバシステム500の制御によって、端末機器400の表示画面411に表示される。「候補リスト」の表示例については詳しく後述する。候補リストDB604には、「候補リスト」として表示させる食材が登録される。候補リストDB604では、食材毎に、「管理ID」、「食材名」、「食材分類」、候補リストDB604への登録日」が対応付けられて登録されている。下記のように、在庫リストDB601に登録された特定の食材の数量がゼロになる前に、所定の数量まで減ったことをもってその食材を候補リストDB604に登録されるようにする場合は、その食材の「数量」(在庫の数量)についても、その食材に対応づけて候補リストDB604に登録するようにしてもよい。
図10は、食材DB605の内容の一例を示す図である。食材DB605は、複数のユーザに対して共通して設定されたデフォルトのDBである。食材DB605は、後述する食材情報の自動入力に用いられる。食材DBに登録されている食材は、一般的に流通する多数の食材が登録されている。食材DB605では、食材毎に、「食材名」、「食材名の受付候補」、「食材分類」、「食材分類のアイコン」、「デフォルトの保存場所(推奨される保存場所)」、「賞味期限(または消費期限)」が対応付けられて登録されている。「食材分類」、「食材分類のアイコン」、「デフォルトの保存場所」、「賞味期限(または消費期限)」の各々は、「付随情報」の一例である。食材DB605は、食材名と付随情報とが関連付けられた「関係情報」の一例であり、「第1情報」の一例である。ただしここで言う「第1情報」とは、後述する「第1情報I1」とは別の概念である。本実施形態では、付随情報の一つとして食材分類のアイコンが登録されているが、これに代えて食材分類を示す画像が用いられてもよい。食材DB605は、食材と当該食材の保存場所との一般的な対応関係(個々のユーザによって異ならせるのではなく、ユーザによる特別の指定が無い限り各ユーザ共通に適用されるものとして予め設定しておいた標準的な対応関係)が登録された情報である。当該対応関係は、「第1対応関係」の一例である。
次に、端末機器400を用いて冷蔵庫100の食材管理を行う場合に、端末機器400の表示画面411に表示される画面表示について説明する。以下に説明する画面表示は、サーバシステム500から送信される表示用データおよび制御指示に基づき、端末機器400の表示装置制御部442が制御を実行することで実現される。
図11は、表示画面411に表示される画像を示す図である。図11中の左方は、端末機器400でアプリケーションプログラムが起動された場合に表示されるトップページを示す画像S1である。画像S1は、冷蔵庫100を模式的に示す絵柄R0と、複数の表示D11~D16を含む。絵柄R0は、模式的に示された冷蔵庫100の各貯蔵室120の絵柄R0a~R0fを含む。絵柄R0a~R0fは、それぞれ順に、冷蔵室121、チルド室122、野菜室123、製氷室124、小冷凍室125、および主冷凍室126を示す絵柄である。表示D11~D16は、各貯蔵室120に関する設定内容(運転状態)を示す。
図12は、食材管理のトップページの画像S3を示す。画像S3は、第1絵柄R1、第2絵柄R2、第1から第4の表示ボックスD1~D4、および第1から第4のアイコンK1~K4を含む。
図14は、全食材リストL0が表示された画像S4である。全食材リストL0は、在庫リストDB601に登録された全ての食材(冷蔵庫100の内部および外部で保存された全ての食材)が表示されるリストである。全食材リストL0では、食材毎に、食材分類を示すアイコン、食材名、購入日、賞味期限(または消費期限)、数量、および単位が表示される。食材は、どの保存場所に保存されているかは関係なく、所定の順序で並べられている。「所定の順序」は、例えば、食事の名称順(あいうえお順)、購入日の古い順(または新しい順)、賞味期限(消費期限)の近い順(または遠い順)である。ユーザは、画像S4に含まれる操作部G0を操作する(例えばタップする)ことで、上記所定の順序を変更する(食材の表示順序を並び替える)ことができる。これに限られず、ユーザの設定操作に応じて、保存場所ごとに並び替える機能を併せて設けてもよい。
図17は、食材リスト(在庫リストDB601)への食材の新規登録を行う場合に表示される画像S6を示す。本実施形態では、登録情報管理部522は、例えばユーザによる食材名の入力があった場合に、食材分類、保存場所、購入日、賞味期限(または消費期限)、食材分類のアイコン、および単位を自動入力する。食材分類、保存場所、購入日、賞味期限、食材分類のアイコン、および単位の各々は、「付随情報」の一例である。
図19は、食材リストの変更(削除・移動)を行う場合の画像S7を示す。図19は、野菜室123の食材リストL2を例示している。ユーザは、食材リストL2のなかで選択対象の食材の表示を操作する(例えばタップする)ことで、食材を選択することができる。食材が選択されると、画像S7の下端部に第1から第3のアイコンK5~K7が表示される。
図20は、ゴミ箱リストL5を含む画像S8を示す。ゴミ箱リストL5は、ゴミ箱DB603に登録された食材が表示されるリストである。ゴミ箱リストL5では、食材毎に、食材分類を示すアイコン、食材名、購入日、賞味期限(または消費期限)、数量、および単位が表示される。画像S8は、ゴミ箱リストL5に移動された食材が移動から所定日数(例えば3日)が経過すると自動削除されることユーザに知らせる表示D21が表示される。
図21は、買い物リストL6および候補リストL7を含む画像S9を示す。買い物リストL6は、買い物リストDB602に登録された食材が表示されるリストである。買い物リストL6では、食材毎に、食材分類を示すアイコン、食材名、購入予定数量、および単位が表示される。表示制御部523は、買い物リストDB602に基づき、買い物リストL6を含む表示用データを生成して端末機器400に送信する。
本実施形態では、買い物リストL6および候補リストL7は、表示画面411において、同一の画面に表示される。例えば、買い物リストL6および候補リストL7は、上下に並べて表示される。「同一の画面」とは、ユーザが同時に見ることができる画面を意味する。ただし、「同一画面」とは、常に同時に表示される場合に限定されない。「同一画面」とは、例えば、買い物リストK6に登録された食材が多く、買い物リストL6によって表示画面411が占有されている場合、買い物リストL6を下方にスクロールすることで、買い物リストL6の続きに候補リストL7が表示される場合も含む。言い換えると、「同一画面」とは、買い物リストL6の一部(例えば下端部)のみと、候補リストL7が同時に表示される場合なども含む。
<7.1 制御の全体構成>
次に、本実施形態のサーバシステム500による音声対話機能について説明する。本実施形態では、サーバシステム500の情報処理部520は、音声対話機能の1回の受付終了までに複数の食材を登録または削除可能である。言い換えると、音声処理部524は、ユーザの1纏まりの発話(一連の発話、一連の対話)に含まれる複数の指示を連続して受付可能である。なお、音声対話機能(上述の通り、「音声認識機能」と表現することがある)の起動とは、ユーザによる任意の内容の発話を受け付け可能な状態に移行することをいう。音声対話機能が起動された状態では、ユーザの発話内容に含まれる指示を実行したり、ユーザの発話に対して応答したりする。音声対話機能を終了すると、音声対話機能を開始する合図であるトリガワードを除き、ユーザの発話を受け付けない状態となる。一度、音声対話機能を起動してから、その音声対話機能を終了させるまでの間を「音声対話機能の1回の受付」と呼ぶ。
図23は、音声対話機能に関する処理の流れを示すフローチャートを示す。以下では、ユーザの発話に所定のワードが含まれる場合、第2モードが実行される例である。
情報処理部520は、音声対話機能の1回の受付終了までに、第1食材と第1保存場所とが関係を持って発話され、第2食材と第2保存場所とが関係を持って発話された場合、第1食材と第1保存場所とを関連付けて処理し、第2食材と第2保存場所とを関連付けて処理する。例えば、ユーザの発話が「冷蔵室に卵を3個追加、冷凍室にアジの開きを1枚追加、野菜室からパプリカを1つ削除」である場合、登録情報管理部522は、「卵」の保存場所として「冷蔵室」を関連付けて処理し、「アジ」の保存場所として「冷凍室」を関連付けて処理し、「パプリカ」の保存場所として「野菜室」を関連付けて処理する。
(発話例1)
U:「ハロー〇〇(トリガワード)、△△(アプリの名称)を開いて」
S:「はい、なんでしょう?」
U:「食材管理」
S:「はい」
U:「人参3個登録」
S:「人参3個登録します」
U:「きゅうり3本登録」
S:「きゅうり3本登録します」
U:「以上」
S:「食材登録を終わります」(トリガワード以外の)音声対話機能停止
少なくとも食材名と、その食材の数量との情報が揃ったことをもって食材登録を受け付けることとし、不足情報があればユーザに尋ねる。
U:「ハロー〇〇(トリガワード)、△△(アプリの名称)を開いて」
S:「はい」
U:「食材登録おねがい」
S:「はい」
U:「トマト3個」
S:「トマト3個」
U:「卵」
(所定時間経過)
S:「卵いくつ?」
U:「10」
S:「卵を10個登録しました。」
S:「他には?」
U:「ない」
S:「食材登録を終了します」
(実施例1)
食材名と、その食材の数量とを対応付けて食材登録するようになっており、食材登録指示時の発話内容に数量の情報が無くても、音声認識機能側から数量を問い合わせることなく、食材名の登録を受け付ける。例えば、数量の情報が無かった食材については、空欄で登録する。または、数量の情報が無かった食材については、所定量で登録する。この場合、所定量はユーザが設定可能とする登録する、あるいは、数量の情報が無かった食材については、最小単位量で登録する。
音声認識により食材登録を受け付けたら、その後、受け付けた内容を読み上げる。受付内容の読み上げは、食材の1つずつの登録毎に、読み上げる復唱式とする。この場合、受け付けた内容の読み上げは食材名のみとする。登録時、不明な食材の数量についてはユーザによる入力を促す音声案内をする(前提として、音声認識による食材登録機能と、手入力による食材登録機能との両方を備える場合)。
食材登録は、食材登録の旨を音声認識で事前に受け付けたら、その後その一連の音声認識機能で認識される食材名の情報は全て食材登録指示として受け付ける。例えば、食材の登録である旨を動詞Vで、、登録の対象となる食材の名称を目的語Oでそれぞれ表すと、ユーザの発話が「V(O1、O2、O3、O4)」の場合、スマートスピーカ200の応答は「O1、O2、O3、O4をVしました」とさせる。
Claims (10)
- 冷蔵庫を示す第1絵柄に含まれる各保存場所の絵柄と、その保存場所に保存された食材に関する第1情報とが対応付けられた第1表示を表示画面に表示させる処理部、
を備え、
ユーザが常備品としての食材を登録可能であり、
前記処理部は、前記ユーザに購入を促す食材が表示される特別表示を表示画面に表示させるように構成されていて、
前記処理部は、
前記ユーザが常備品として登録した食材の量が減少して所定条件が満たされた場合に、該食材を特別表示に表示させる、
情報表示装置。 - 前記特別表示には、食材に関する前記ユーザの購入意思が明示される買い物リストと、前記買い物リストの食材に比べて前記ユーザの購入意思が弱いまたは購入意思が明示されない食材を示す候補リストとが表示される、
請求項1に記載の情報表示装置。 - 前記処理部は、
前記常備品として登録した食材を前記特別表示に表示させる場合、前記ユーザの購入意思によらず前記買い物リストに表示させる、
請求項2に記載の情報表示装置。 - 前記処理部は、
前記特別表示に表示される前記候補リストから食材が選択されたことに応じて前記買い物リストに登録する、
請求項2に記載の情報表示装置。 - 前記処理部は、
在庫として登録された食材が削除された場合、または在庫として登録された食材の量が減少して所定条件が満たされた場合に、該食材を前記特別表示の候補リストに表示させ、
前記処理部は、
該食材が常備品として登録された場合、該食材を特別表示の買い物リストに表示させる、
請求項1から請求項4のうちいずれか1項に記載の情報表示装置。 - 前記処理部は、前記第1絵柄に対して前記第1絵柄に含まれる第1保存場所を指定するユーザの操作が受け付けられた場合、前記第1保存場所に保存された食材に関して前記第1情報よりも詳細な第2情報を表示させる、
請求項1から請求項5のうちいずれか1項に記載の情報表示装置。 - 前記処理部は、前記表示画面に前記第1表示が表示された状態で、前記第1絵柄に対して前記第1絵柄に含まれる第1保存場所を指定するユーザの操作が受け付けられた場合、前記表示画面の表示を、前記第1保存場所に保存された食材に関して前記第1情報よりも詳細な第2情報を含む第2表示に切り替える、
請求項1から請求項5のうちいずれか1項に記載の情報表示装置。 - 前記第2表示は、第3表示へ切り替えるための第1操作部の表示を含み、
前記第3表示は、前記第1保存場所に保存された食材に関する前記第2情報に代えて、前記冷蔵庫の第2保存場所に保存された食材に関する前記第2情報を含む、
請求項7に記載の情報表示装置。 - 前記第1表示では、前記第1絵柄と前記第1情報とが対応付けられて表示されることに加えて、前記第1絵柄の外側に配置された第2絵柄と、前記冷蔵庫に収容されない食材に関する庫外情報とが対応付けられて表示される、
請求項1から請求項8のうちいずれか1項に記載の情報表示装置。 - 前記処理部は、前記第1絵柄に含まれる第1保存場所に対してユーザの第1態様の操作が受け付けられた場合、前記第1保存場所に保存された食材に関して前記第1情報よりも詳細な第2情報を表示させ、前記第1絵柄に含まれる前記第1保存場所に対してユーザの第2態様の操作が受け付けられた場合、前記第1保存場所に保存された全ての食材に対して一括した所定の処理を行う、
請求項1から請求項9のうちいずれか1項に記載の情報表示装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020022908A JP7425621B2 (ja) | 2020-02-13 | 2020-02-13 | 情報表示装置 |
CN202011549876.3A CN113253886A (zh) | 2020-02-13 | 2020-12-24 | 信息显示装置 |
JP2024004828A JP2024026794A (ja) | 2020-02-13 | 2024-01-16 | プログラムおよび情報表示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020022908A JP7425621B2 (ja) | 2020-02-13 | 2020-02-13 | 情報表示装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024004828A Division JP2024026794A (ja) | 2020-02-13 | 2024-01-16 | プログラムおよび情報表示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021128558A JP2021128558A (ja) | 2021-09-02 |
JP7425621B2 true JP7425621B2 (ja) | 2024-01-31 |
Family
ID=77180652
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020022908A Active JP7425621B2 (ja) | 2020-02-13 | 2020-02-13 | 情報表示装置 |
JP2024004828A Pending JP2024026794A (ja) | 2020-02-13 | 2024-01-16 | プログラムおよび情報表示方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024004828A Pending JP2024026794A (ja) | 2020-02-13 | 2024-01-16 | プログラムおよび情報表示方法 |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP7425621B2 (ja) |
CN (1) | CN113253886A (ja) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002183559A (ja) | 2000-12-19 | 2002-06-28 | Asahi Kasei Corp | 常備品の管理システム及び常備品の発注システム |
JP2003222460A (ja) | 2002-01-31 | 2003-08-08 | Toshiba Corp | 食材管理システムにおける操作装置 |
JP2006090646A (ja) | 2004-09-24 | 2006-04-06 | Nippon Telegr & Teleph Corp <Ntt> | 冷蔵庫 |
JP2010257183A (ja) | 2009-04-24 | 2010-11-11 | Tomonori Irimajiri | 情報通信を利用した食品管理システム |
JP2015068525A (ja) | 2013-09-27 | 2015-04-13 | 三菱電機株式会社 | 冷蔵庫 |
JP2016080232A (ja) | 2014-10-15 | 2016-05-16 | 三菱電機株式会社 | 冷蔵庫及びそれを備えたネットワークシステム |
JP2017036108A (ja) | 2015-08-07 | 2017-02-16 | 東芝テック株式会社 | 表示装置及びプログラム |
JP2018039270A (ja) | 2017-11-15 | 2018-03-15 | シャープ株式会社 | 画像形成装置及びプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120118376A (ko) * | 2011-04-18 | 2012-10-26 | 엘지전자 주식회사 | 냉장고의 제어방법 |
AU2016415984B2 (en) * | 2016-07-21 | 2019-10-31 | Mitsubishi Electric Corporation | Refrigerator system |
-
2020
- 2020-02-13 JP JP2020022908A patent/JP7425621B2/ja active Active
- 2020-12-24 CN CN202011549876.3A patent/CN113253886A/zh active Pending
-
2024
- 2024-01-16 JP JP2024004828A patent/JP2024026794A/ja active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002183559A (ja) | 2000-12-19 | 2002-06-28 | Asahi Kasei Corp | 常備品の管理システム及び常備品の発注システム |
JP2003222460A (ja) | 2002-01-31 | 2003-08-08 | Toshiba Corp | 食材管理システムにおける操作装置 |
JP2006090646A (ja) | 2004-09-24 | 2006-04-06 | Nippon Telegr & Teleph Corp <Ntt> | 冷蔵庫 |
JP2010257183A (ja) | 2009-04-24 | 2010-11-11 | Tomonori Irimajiri | 情報通信を利用した食品管理システム |
JP2015068525A (ja) | 2013-09-27 | 2015-04-13 | 三菱電機株式会社 | 冷蔵庫 |
JP2016080232A (ja) | 2014-10-15 | 2016-05-16 | 三菱電機株式会社 | 冷蔵庫及びそれを備えたネットワークシステム |
JP2017036108A (ja) | 2015-08-07 | 2017-02-16 | 東芝テック株式会社 | 表示装置及びプログラム |
JP2018039270A (ja) | 2017-11-15 | 2018-03-15 | シャープ株式会社 | 画像形成装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2024026794A (ja) | 2024-02-28 |
JP2021128558A (ja) | 2021-09-02 |
CN113253886A (zh) | 2021-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2024038399A (ja) | 食材管理システムおよび食材管理方法 | |
US11263498B2 (en) | Method and system for providing information related to a status of an object in a refrigerator | |
US11353259B2 (en) | Augmented-reality refrigerator and method of controlling thereof | |
US11521606B2 (en) | Refrigerator and information display method thereof | |
JP2024036515A (ja) | 情報処理システムおよび情報処理方法 | |
JP7407010B2 (ja) | 食材管理システム | |
KR102663888B1 (ko) | 냉장고 및 그의 제어방법 | |
WO2019169907A1 (en) | Voice-assisted restocking method and system | |
US20190281878A1 (en) | Method and system for providing action recommendations associated with kitchen appliances | |
CN112344619A (zh) | 冰箱及食材信息编辑方法 | |
US20200134291A1 (en) | Method and system for providing information about objects in refrigerator | |
KR20120118376A (ko) | 냉장고의 제어방법 | |
KR20120116751A (ko) | 냉장고의 제어방법 | |
JP7425621B2 (ja) | 情報表示装置 | |
KR20120118641A (ko) | 냉장고의 제어방법 | |
WO2022041992A1 (zh) | 冰箱、显示设备、服务器、推荐方法及消息提醒方法 | |
WO2024057563A1 (ja) | 食材管理システム | |
KR20120116750A (ko) | 냉장고의 제어방법 | |
JP2024036949A (ja) | 貯蔵庫システム、貯蔵庫、及び情報端末用プログラム | |
CN215490565U (zh) | 无屏语音冰箱系统 | |
CN113483518B (zh) | 冰箱及界面显示方法 | |
KR20130012624A (ko) | 컴포넌트의 제어방법 | |
CN114061228A (zh) | 食材管理系统 | |
CN114061229A (zh) | 食材管理系统 | |
KR101135895B1 (ko) | 냉장고 및 그 제어방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221007 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231027 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7425621 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |