JP7433959B2 - 情報処理システム - Google Patents

Description

本発明の実施形態は、情報処理システムに関する。

冷蔵庫に保存された食材を管理するための情報処理システムが提案されている。このような食材管理システムは、使い勝手の向上が期待されている。

特開２０１７－２０４７７０号公報

本発明が解決しようとする課題は、使い勝手の向上を図ることができる情報処理システムを提供することである。

実施形態の情報処理システムは、処理部を持つ。前記処理部は、音声対話機能の１回の受付終了までに複数種類の食材を登録可能である。前記処理部は、１回の起動において１つの指示を受け付けたら起動状態を終了する第１モードと、１回の起動において１つの指示を受け付けても起動状態を継続する第２モードとを実行可能であり、食材の登録に関しては前記第２モードを実行する。前記処理部は、ユーザの発話に冷蔵庫の機能に関するワードが含まれる場合、前記第１モードを実行し、前記ユーザの発話に食材に関するワードが含まれる場合、前記第２モードを実行する。

実施形態の情報処理システムの全体構成を示す図。 実施形態の冷蔵庫を示す正面図。 実施形態のスマートスピーカの機能構成を示すブロック図。 実施形態の端末機器の機能構成を示すブロック図。 実施形態のサーバシステムの機能構成を示すブロック図。 実施形態の在庫リストＤＢの内容の一例を示す図。 実施形態の買い物リストＤＢの内容の一例を示す図。 実施形態のゴミ箱ＤＢの内容の一例を示す図。 実施形態の候補リストＤＢの内容の一例を示す図。 実施形態の食材ＤＢの内容の一例を示す図。 実施形態の表示画面に表示される画像を示す図。 実施形態の食材管理のトップページの画像を示す図。 実施形態の食材管理のトップページの変形例の画像を示す図。 実施形態の全食材リストが表示された画像を示す図。 実施形態の貯蔵室毎の食材リストが表示された画像を示す図。 実施形態の食材リストが表示された変形例の画像を示す図。 実施形態の食材リストへの食材の新規登録を行う場合の画像を示す図。 実施形態の食材リストへの食材の新規登録を行う変形例の画像を示す図。 実施形態の食材リストの変更を行う場合の画像を示す図。 実施形態のゴミ箱リストを含む画像を示す図。 実施形態の買い物リストおよび候補リストを含む画像を示す図。 実施形態の買い物リストを含む別の画像を示す図。 実施形態の音声対話機能に関する処理の流れを示すフローチャート。 実施形態の表示画面に表示される画像の変形例を示す図。 実施形態の表示画面に表示される画像の変形例を示す図。 実施形態の表示画面に表示される画像の変形例を示す図。 実施形態の表示画面に表示される画像の変形例を示す図。 実施形態の表示画面に表示される画像の変形例を示す図。 実施形態の表示画面に表示される画像の変形例を示す図。 実施形態の表示画面に表示される画像の変形例を示す図。 実施形態の表示画面に表示される画像の変形例を示す図。 実施形態の表示画面に表示される画像の変形例を示す図。 実施形態の表示画面に表示される画像の変形例を示す図。 実施形態の表示画面に表示される画像の変形例を示す図。 実施形態の表示画面に表示される画像の変形例を示す図。 実施形態の表示画面に表示される画像の変形例を示す図。 実施形態の表示画面に表示される画像の変形例を示す図。 実施形態の表示画面に表示される画像の変形例を示す図。

以下、実施形態の情報処理システムを、図面を参照して説明する。以下の説明では、同一または類似の機能を有する構成に同一の符号を付す。そして、それら構成の重複する説明は省略する場合がある。「ＸＸに基づく」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含み得る。「ＸＸに基づく」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含み得る。「ＸＸまたはＹＹ」とは、ＸＸとＹＹのうちいずれか一方の場合に限定されず、ＸＸとＹＹの両方の場合も含み得る。「ＸＸ」および「ＹＹ」は、任意の要素（例えば任意の情報）である。以下では「データベース」を「ＤＢ」と表記する。以下では、音声対話機能が実現される場合について説明するが、機器側からの発話は必須ではない。このため以下の説明における「音声対話」は「音声認識」と読み替えられてもよい。以下で説明する「賞味期限」および「消費期限」の各々は、「摂取期限」または「第１期限」のそれぞれ一例である。

＜１．全体構成＞
図１は、実施形態の情報処理システム１の全体構成を示す図である。情報処理システム１は、「食材管理システム」の一例であり、ユーザが保有する食材の在庫量を管理するためのシステムである。情報処理システム１は、例えば、冷蔵庫１００、スマートスピーカ２００、家庭内のルータ３００、端末機器４００、およびサーバシステム５００を含む。後述するネットワークＮＷは、例えば、インターネット、セルラー網、Ｗｉ－Ｆｉ網、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、公衆回線、電話回線、無線基地局などのうち１つ以上を含む。ルータ３００は、例えば無線ルータであるが、これに限定されない。

冷蔵庫１００は、ユーザの家庭に配置される。冷蔵庫１００は、例えばルータ３００を介してネットワークＮＷと接続され、サーバシステム５００と通信可能である。本実施形態では、冷蔵庫１００は、後述する表示装置１３０を備える。この場合、冷蔵庫１００は「情報表示装置」の一例に該当する。冷蔵庫１００は、マイクとスピーカを備え、スマートスピーカ２００と同様の音声対話機能を有してもよい。この場合、冷蔵庫１００は「音声対話装置（または音声認識装置）」の一例に該当する。

スマートスピーカ２００は、ユーザの家庭に配置される。スマートスピーカ２００は、例えばルータ３００を介してネットワークＮＷと接続され、サーバシステム５００と通信可能である。スマートスピーカ２００は、例えばルータ３００を介して、冷蔵庫１００と通信可能でもよい。スマートスピーカ２００は、「音声対話装置（または音声認識装置）」の一例である。

端末機器４００は、例えば、ユーザが所有する携帯端末機器であり、スマートフォンまたはタブレット端末機器などである。端末機器４００は、ネットワークＮＷと接続され、サーバシステム５００と通信可能である。端末機器４００には、食材管理や冷蔵庫１００の遠隔操作を行うためのアプリケーションプログラム（以下「アプリ」と称する場合がある）がインストールされている。端末機器４００は、「情報表示装置」の一例である。ただし、端末機器４００は、上記例に限定されず、パーソナルコンピュータや、入力機能を有したテレビジョン受像機などでもよい。端末機器４００は、マイクとスピーカを備え、スマートスピーカ２００と同様の音声対話機能を有してもよい。この場合、端末機器４００は「音声対話装置（または音声認識装置）」の一例に該当する。

サーバシステム５００は、食材管理のための各種データを記録しておくサーバシステムであり、例えば複数のサーバ装置５０１，５０２により構成される。サーバ装置５０１，５０２は、ネットワークＮＷに接続されたクラウドサーバである。例えば、サーバシステム５００は、スマートスピーカ２００を制御する音声対話用の第１サーバ装置５０１と、冷蔵庫１００を制御する機器制御用の第２サーバ装置５０２とを含む。ただし、サーバシステム５００は、１台のサーバ装置で構成されてもよく、３台以上のサーバ装置で構成されてもよい。サーバシステム５００は、ルータ３００に含まれる情報処理部、および／またはネットワークＮＷ中のルータに含まれる情報処理部など、エッジコンピューティングやフォグコンピューティングを行う情報処理部を含んでもよい。サーバシステム５００に含まれる後述する各種機能部は、２つ以上の装置に分かれて存在してもよい。

以下、冷蔵庫１００、スマートスピーカ２００、端末機器４００、およびサーバシステム５００について詳しく説明する。

＜２．冷蔵庫＞
図２は、冷蔵庫１００を示す正面図である。冷蔵庫１００は、例えば、筐体１１０、複数の扉１３０、表示装置１４０、アクチュエータ１５０、および制御部１６０を含む。筐体１１０の内部には、複数の貯蔵室（保存部屋）１２０が設けられている。複数の貯蔵室１２０は、例えば、冷蔵室１２１、チルド室１２２、野菜室１２３、製氷室１２４、小冷凍室１２５、および主冷凍室１２６を含む。本実施形態では、最上部に冷蔵室１２１が配置され、冷蔵室１２１の下方に野菜室１２３が配置され、野菜室１２３の下方に製氷室１２４および小冷凍室１２５が配置され、製氷室１２４および小冷凍室１２５の下方に主冷凍室１２６が配置されている。ただし、貯蔵室１２０の配置は、上記例に限定されない。これら複数の貯蔵室１２０は、複数の扉１３０によってそれぞれ開閉可能に閉じられる。

表示装置１４０は、液晶ディスプレイまたは有機ＥＬ（Electro Luminescence）ディスプレイなどであり、画像および／または映像を表示可能な表示画面１４１を含む。表示装置１４０は、表示画面１４１に重ねて設けられたタッチセンサ１４２を含む。アクチュエータ１５０は、冷却用の冷媒を圧縮して冷却器に送る圧縮機と、冷却器により冷却された冷気を各貯蔵室１２０に送る送風機などを含む。

制御部１６０は、表示装置１４０およびアクチュエータ１５０を制御する。例えば、制御部１６０は、タッチセンサ１４２を介して、表示画面１４１に対するユーザの操作を受け付け可能である。制御部１６０は、アクチュエータ１５０を制御することで、冷蔵庫１００の各貯蔵室１２０の設定温度帯の変更、チルド室１２２の制御モードの変更、通常運転と比べて冷凍庫１２６，１２６を急速に冷却する「急速冷凍」、通常運転と比べて速く氷を作る「急速製氷」などの冷蔵庫１００の機能を実行可能である。

ただし、冷蔵庫１００の構成は、上記例に限定されない。冷蔵庫１００は、筐体１１０の内部または扉１３０に設けられたカメラ１７０を有してもよい。この場合、カメラ１７０により撮影された食材の画像は、サーバシステム５００に送信されて食材管理に用いられてもよい。これについては後述する。

＜３．スマートスピーカ＞
図３は、スマートスピーカ２００の機能構成を示すブロック図である。スマートスピーカ２００は、例えば、マイク２１０、スピーカ２２０、無線通信モジュール２３０、記憶部２４０、および情報処理部２５０を有する。

マイク２１０は、スマートスピーカ２００に対して発話されたユーザの音声を取得する。スピーカ２２０は、スマートスピーカ２００の外部に向けて音声を出力する。無線通信モジュール２３０は、高周波回路およびアンテナなどを含み、例えばルータ３００と無線通信可能である。

記憶部２４０は、音声ＤＢ２４１を格納している。音声ＤＢ２４１は、例えば、簡易音声認識ＤＢ２４１ａを含む。簡易音声認識ＤＢ２４１ａには、スマートスピーカ２００を起動させる音声コマンドであるトリガワードが登録されている。「起動」とは、消費電力が所定以下に抑えられた休止状態（トリガワード以外のユーザの発話には反応しない状態）から、トリガワード以外のユーザの発話にも反応可能（対話可能）な待機状態（音声コマンドを受信可能な状態）に変化することを意味する。「待機状態」は、「起動状態」と称されてもよい。トリガワードは、「ハロー、〇〇」のような予め決められた特定のワードまたはフレーズである。

情報処理部２５０は、例えば、音声受信部２５１、起動判定部２５２、データ送受信部２５３、および音声出力部２５４を有する。音声受信部２５１は、マイク２１０に対して入力された音声（ユーザの発話）を、音声データとして受信する。起動判定部２５２は、音声対話機能の起動の要否を判定する。起動判定部２５２は、音声受信部２５１により受信された音声データに、簡易音声認識ＤＢ２４１ａに登録されたトリガワードが含まれる場合、起動が必要と判定し、音声対話機能を起動させる。

データ送受信部２５３は、無線通信モジュール２３０を制御することで、サーバシステム５００との間で制御信号およびデータを送受信する。データ送受信部２５３は、音声受信部２５１により取得されたトリガワード以外の音声データをサーバシステム５００に送信する。データ送受信部２５３は、サーバシステム５００により準備された応答用の音声データをサーバシステム５００から受信する。データ送受信部２５３は、受信した応答用の音声データを、音声出力部２５４に出力する。音声出力部２５４は、データ送受信部２５３から受け取る音声データを、スピーカ２２０を通じて音声（スマートスピーカ２００の発話）として外部に出力する。

＜４．端末機器＞
図４は、端末機器４００の機能構成を示すブロック図である。端末機器４００は、例えば、表示装置４１０、無線通信モジュール４２０、記憶部４３０、および情報処理部４４０を有する。表示装置４１０は、液晶ディスプレイまたは有機ＥＬディスプレイなどであり、画像および／または映像を表示可能な表示画面４１１を含む。表示装置４１０は、表示画面４１１に重ねて設けられたタッチセンサ４１２を含む。無線通信モジュール４２０は、高周波回路およびアンテナなどを含み、ネットワークＮＷと接続可能である。

記憶部４３０は、食材管理や冷蔵庫１００の遠隔操作などを行うためのアプリケーションプログラムを記憶する。情報処理部４４０の全部または一部は、端末機器４００に搭載されたＣＰＵ（Central Processing Unit）のようなハードウェアプロセッサによって上記アプリケーションプログラムが実行されることで実現される。

情報処理部４４０は、例えば、操作受付部４４１、表示装置制御部４４２、およびデータ送受信部４４３を含む。情報処理部４４０は、「処理部」の一例である。

操作受付部４４１は、タッチセンサ４１２を介して、表示画面４１１に対するユーザの操作を受け付ける。データ送受信部４４３は、無線通信モジュール４２０を制御することで、サーバシステム５００との間で制御信号およびデータを送受信する。データ送受信部４４３は、操作受付部４４１により受け付けられたユーザの操作内容を示す情報を、サーバシステム５００に送信する。データ送受信部４４３は、サーバシステム５００から受信する表示に関する制御指示および表示用データを、表示装置制御部４４２に出力する。表示装置制御部４４２は、サーバシステム５００から受信した制御指示に基づき、サーバシステム５００から受信した表示用データに含まれる画像または映像を、表示画面４１１に表示させる。

ただし、端末機器４００の構成は、上記例に限定されない。例えば、上記のスマートスピーカ２００と同様な音声対話装置としての機能を備えていてもよい。また端末機器４００は、カメラ４５０を有してもよい。この場合、カメラ４５０により撮影された食材の画像は、サーバシステム５００に送信されて食材管理に用いられてもよい。これについては後述する。

＜５．サーバシステム＞
図５は、サーバシステム５００の機能構成を示すブロック図である。以下では、サーバシステム５００によって、「情報表示装置」である端末機器４００と、「音声対話装置」であるスマートスピーカ２００とが制御される例について説明する。ただし、サーバシステム５００によって制御される「情報表示装置」は、冷蔵庫１００でもよい。この場合、以下の説明における「端末機器４００」は「冷蔵庫１００」と読み替えられる。サーバシステム５００によって制御される「音声対話装置」は、端末機器４００または冷蔵庫１００でもよい。この場合、以下の説明における「スマートスピーカ２００」は「端末機器４００」または「冷蔵庫１００」と読み替えられる。

サーバシステム５００は、通信モジュール５１０、情報処理部５２０、および記憶部５３０を含む。ここでは便宜上、音声対話とは別の機能部について先に説明し、続いて音声対話に関する機能部について説明する。通信モジュール５１０は、通信用回路などを含み、ネットワークＮＷと接続可能である。

＜５．１ 情報処理部の構成＞
情報処理部５２０は、例えば、指示受付部５２１、登録情報管理部５２２、表示制御部５２３、音声処理部５２４、制御モード変更部５２５、制御指示生成部５２６、および応答生成部５２７を含む。ただし、これら機能部の一部または全部は、サーバシステム５００に代えて、端末機器４００または冷蔵庫１００に設けられてもよい。情報処理部５２０は、「処理部」の一例である。

指示受付部５２１は、端末機器４００の操作受付部４４１によって受け付けられたユーザの操作（表示画面４１１に対するユーザの操作）を示す情報を、通信モジュール５１０を介して端末機器４００から受け取る。指示受付部５２１は、端末機器４００から受け取る情報を、登録情報管理部５２２に出力する。

登録情報管理部５２２は、指示受付部５２１から受け取る情報に基づき、後述する各種ＤＢ（在庫リストＤＢ６０１、買い物リストＤＢ６０２、候補リストＤＢ６０４、ゴミ箱ＤＢ６０３、常備品ＤＢ６０７、ユーザ設定ＤＢ６０６、遠隔操作登録ＤＢ６０９など）を更新する。加えて本実施形態では、登録情報管理部５２２は、後述する音声処理部５２４により解析された内容（発話によるユーザの指示）を示す情報を、音声処理部５２４から受け取る。登録情報管理部５２２は、音声処理部５２４から受け取る情報に基づき、上記各種ＤＢを更新する。登録情報管理部５２２については詳しく後述する。以下の説明で「ユーザの操作」または「ユーザの入力」とは、指示受付部５２１によって受け付けられたユーザの操作（端末機器４００に対するユーザの操作）、または後述する音声処理部５２４によって分析されたユーザの操作（スマートスピーカ２００に対する発話による操作）を意味する。

表示制御部５２３は、各種ＤＢの内容に基づき、端末機器４００の表示画面４１１に表示させる画像または映像を含む表示用データおよび制御信号を生成する。表示制御部５２３は、生成した表示用データおよび制御信号を、通信モジュール５１０を介して端末機器４００に送信する。表示制御部５２３により生成される制御信号は、端末機器４００の表示装置制御部４４２を動作させる制御信号である。ここで「表示画面に表示させる」とは、端末機器４００の表示装置制御部４４２によって画像や映像を表示画面４１１に表示させる意味に限定されず、端末機器４００に対して外部から表示用データおよび／または制御信号を与えることで、画像や映像を表示画面４１１に表示させることも含み得る。

音声処理部５２４は、スマートスピーカ２００によって取得された音声データを、通信モジュール５１０を介してスマートスピーカ２００から受け取る。例えば、音声処理部５２４は、スマートスピーカ２００によって取得された音声データのなかで、トリガワード以外の音声データを受け取る。音声処理部５２４は、スマートスピーカ２００から受け取る音声データを分析する。例えば、音声処理部５２４は、音声認識処理を行うことで音声データをテキスト化し、テキスト化された音声データに対して自然言語処理を行うことで意味解釈を行う。音声処理部５２４は、音声データの分析結果を、制御モード変更部５２５、制御指示生成部５２６、および応答生成部５２７に出力する。

制御モード変更部５２５は、音声処理部５２４による音声データの分析結果に基づき、スマートスピーカ２００の動作状態を変更する。制御モード変更部５２５については詳しく後述する。

制御指示生成部５２６は、音声処理部５２４による音声データの分析結果に基づき、ユーザの発話に冷蔵庫１００に対する指示（例えば、各貯蔵室１２０の設定温度帯の変更、チルド室１２２の制御モードの変更、「急速冷凍」、または「急速製氷」などの指示）が含まれる場合、その指示を受け付ける。制御指示生成部５２６は、受け付けた冷蔵庫１００に対する指示に対応する制御指示を生成する。制御指示生成部５２６は、生成した制御指示を、通信モジュール５１０を介して冷蔵庫１００に送信する。冷蔵庫１００の制御部１６０は、制御指示生成部５２６により生成された制御指示に基づきアクチュエータ１５０を駆動することで、ユーザが所望する制御を実現する。

応答生成部５２７は、音声処理部５２４により分析されたユーザの発話に対して回答すべき内容がある場合や、ユーザに報知すべき内容がある場合、音声ＤＢ６１０（後述）を参照し、スマートスピーカ２００から出力させる音声データを生成する。応答生成部５２７は、生成した音声データを、通信モジュール５１０を介してスマートスピーカ２００に送信する。スマートスピーカ２００は、応答生成部５２７により生成された音声データに基づきスピーカ２２０を駆動することで、ユーザに対して音声で回答や報知を行う。

＜５．２ 各種ＤＢ＞
記憶部５３０には、在庫リストＤＢ６０１、買い物リストＤＢ６０２、ゴミ箱ＤＢ６０３、候補リストＤＢ６０４、食材ＤＢ６０５、ユーザ設定ＤＢ６０６、常備品ＤＢ６０７、履歴ＤＢ６０８、遠隔操作登録ＤＢ６０９、および音声ＤＢ６１０が記憶されている。在庫リストＤＢ６０１、買い物リストＤＢ６０２、ゴミ箱ＤＢ６０３、候補リストＤＢ６０４、ユーザ設定ＤＢ６０６、常備品ＤＢ６０７、履歴ＤＢ６０８は、ユーザ毎に準備されている。

以下では、説明の便宜上、食材管理用のＤＢとして上記複数のＤＢが存在する例を示すが、これらＤＢは一体に設けられるとともに、後述する特定のリスト（買い物リストや候補リスト）に表示させることを示す識別情報（例えばタグ）が各食材の登録に付与されることで管理されてもよい。なお以下に説明する各種ＤＢに対する処理（例えば食材の登録、削除、確認）は、登録情報管理部５２２により実行される。

＜５．２．１ 在庫リストＤＢ＞
図６は、在庫リストＤＢ６０１の内容の一例を示す図である。「在庫リスト」とは、ユーザが保有する食材が管理されるリストである。「在庫リスト」は、「第１リスト」の一例である。以下の説明では「在庫リスト」を「食材リスト」と称することがある。在庫リストＤＢ６０１には、ユーザの家庭に在庫として存在する食材が登録される。在庫リストＤＢ６０１には、冷蔵庫１００の内部に保存される食材に限らず、冷蔵庫１００の外部で保存（例えば常温で保存）される食材も登録される。在庫リストＤＢ６０１は、ユーザが保有する食材の保有数量を示す「保有情報」の一例である。

在庫リストＤＢ６０１では、食材毎に、「管理ＩＤ」、「食材名」、「食材分類」、「保存場所」、「購入日」、「賞味期限」（または「消費期限」）、「数量」、「単位」、および「履歴」が対応付けられて登録される。「食材毎」とは、例えば同時に購入された同じ食材を意味する。言い換えると、同じ種類であっても、ある日時に購入された食材と、別の日時に購入された食材は、別の食材として登録される。なお、ここでいう「購入日」とは、特定の食材が新たに登録された登録日、すなわち在庫量が増えた日を指し、その食材の入手経路が購入ではなかった場合も含む意味で用いる。

「食材分類」は、食材の区分を意味する。本実施形態では、「食材分類」として、「野菜」、「果物」、「肉類」、「魚介・海藻類」、「卵・乳製品」、「豆・豆製品」、「加工食品」、「ごはん・パン類」、「麺類」、「飲料」、「冷凍食品」、「甘味類」、「調味料」、「香辛料」、「お惣菜」、および「その他」である１６種類の食材分類が設定されている。ただし、上記区分は例であり、食材分類の区分は適宜設定可能である。

「保存場所」は、食材が保存された場所を意味する。本実施形態では、「保存場所」として、「冷蔵室」、「野菜室」、「冷凍室」、および「その他」である４種類の保存場所が設定されている。「冷蔵室」は、冷蔵室１２１とチルド室１２２とを纏めた領域に対応する。「野菜室」は、野菜室１２３に対応する。「冷凍室」は、小冷凍室１２５と主冷凍室１２６とを纏めた領域に対応する。「その他」は、冷蔵庫１００の外部の保存場所に対応する。

ただし、上記区分は例であり、保存場所の区分は適宜設定可能である。例えば、冷蔵室１２１とチルド室１２２とは互いに別の保存場所として区分されてもよい。小冷凍室１２５と主冷凍室１２６とは互いに別の保存場所として区分されてもよい。さらに言えば、保存場所の区分は、「冷蔵室の最上段」、「冷蔵室の右扉ポケット」のように細かく区分されてもよい。「保存場所」は、「保存部屋」または「保存領域」と称されてもよい。以下では説明の便宜上、「冷蔵室１２１」という場合、チルド室１２２を含み得る概念であり、冷凍室１２６という場合、小冷凍室１２５を含み得る概念である。

「数量」には、食材の最新の数量が登録される。「履歴」には、食材が減少した場合に、減少後の数量および減少した日時などを示す情報が登録される。

登録情報管理部５２２は、例えばユーザの操作に基づき、在庫リストＤＢ６０１に対する食材の登録、削除、確認を行う。本実施形態では、登録情報管理部５２２は、在庫リストＤＢ６０１に登録された食材の賞味期限（または消費期限）の所定日数前（例えば１日前）に、賞味期限（または消費期限）が近い食材があることを端末機器４００に通知する。この通知は、プッシュ通知として端末機器４００の表示画面４１１に表示される。登録情報管理部５２２は、在庫リストＤＢ６０１に登録された食材の賞味期限（または消費期限）が経過した場合、賞味期限（または消費期限）が経過した食材を在庫リストＤＢ６０１から自動で削除し、後述するゴミ箱ＤＢ６０３および候補リストＤＢ６０４に食材の登録を移す。「在庫リスト」は、サーバシステム５００の制御によって、端末機器４００の表示画面４１１に「食材リスト」として表示される。「在庫リスト（食材リスト）」の表示例については詳しく後述する。

＜５．２．２ 買い物リストＤＢ＞
図７は、買い物リストＤＢ６０２の内容の一例を示す図である。「買い物リスト」とは、買い忘れを防止するためにユーザが買い物時に参照可能なリストであり、ユーザの購入予定（例えば明示の購入意思）が確認された食材のリストである。「買い物リスト」は、「第３リスト」の一例であり、後述する候補リストと比べて購入可能性が高いリストである。ただし、「買い物リスト」は、ユーザの明示の購入意思に限らず、ユーザの常備意思（ある食材を常備品として保有する意思）に基づく推定で登録された食材を含んでもよい。「買い物リスト」に登録される食材は、例えば、後述する「候補リスト」に一度登録された後、ユーザの意思（ユーザの操作）に基づいて「候補リスト」から「買い物リスト」に移動されることで「買い物リスト」に登録される。ただし、「買い物リスト」に登録される食材は、候補リストを経由せずに、ユーザの操作に基づいて「買い物リスト」に直接登録されてもよい。「買い物リスト」は、サーバシステム５００の制御によって、端末機器４００の表示画面４１１に表示される。「買い物リスト」の表示例については詳しく後述する。

買い物リストＤＢ６０２には、「買い物リスト」として表示させる食材が登録される。買い物リストＤＢ６０２では、食材毎に、「管理ＩＤ」、「食材名」、「食材分類」、「数量」、および「単位」が対応付けられて登録されている。登録情報管理部５２２は、ユーザの操作に基づき、買い物リストＤＢ６０２に対する食材の登録、削除、確認を行う。

＜５．２．３ ゴミ箱ＤＢ＞
図８は、ゴミ箱ＤＢ６０３の内容の一例を示す図である。ゴミ箱ＤＢ６０３には、在庫リストＤＢ６０１から削除された食材が一時的に登録される。例えば、ゴミ箱ＤＢ６０３には、在庫リストＤＢ６０１に登録されていた食材が消費され、ユーザの操作に基づいて在庫リストＤＢから削除された食材が登録される。本実施形態では、ゴミ箱ＤＢ６０３には、在庫リストＤＢに登録されていた食材のなかで賞味期限（または消費期限）が徒過することで登録管理部５２２によって在庫リストＤＢから自動で削除された食材も登録される。ゴミ箱ＤＢ６０３に登録された食材は、ユーザの操作によって在庫リストＤＢに再登録可能である。ゴミ箱ＤＢ６０３に登録された食材は、ゴミ箱ＤＢ６０３に登録された登録日から所定期間（例えば３日間）が経過することでゴミ箱ＤＢ６０３から自動で削除される。なお、在庫リストＤＢ６０１に賞味期限（または消費期限）が過ぎた食材が登録されていても、在庫リストＤＢ６０１から自動では削除することなく、ユーザの操作を待って削除するようにしてもよい。同様に、ゴミ箱ＤＢ６０３に登録された食材も、自動削除までの期間を設けることなく、ユーザの操作を待って削除するようにしてもよい。ゴミ箱ＤＢ６０３では、食材毎に、「管理ＩＤ」、「食材名」、「食材分類」、ゴミ箱ＤＢ６０３への登録日」が対応付けられて登録されている。

＜５．２．４ 候補リストＤＢ＞
図９は、候補リストＤＢ６０４の内容の一例を示す図である。「候補リスト」とは、買い忘れを防止するためにユーザが補助的に参照可能なリストであり、ユーザの購入予定（例えば明示の購入意思）が確認されていない購入候補の食材のリストである。「候補リスト」は、「第２リスト」の一例である。「候補リスト」は、食材の在庫が減少したことに基づき、ユーザに対して食材の購入を促す情報の一例である。「候補リスト」は、購入の提案情報であり、例えば在庫リストＤＢ６０１に登録された食材の削除操作を利用して生成される。「候補リスト」は、サーバシステム５００の制御によって、端末機器４００の表示画面４１１に表示される。「候補リスト」の表示例については詳しく後述する。候補リストＤＢ６０４には、「候補リスト」として表示させる食材が登録される。候補リストＤＢ６０４では、食材毎に、「管理ＩＤ」、「食材名」、「食材分類」、候補リストＤＢ６０４への登録日」が対応付けられて登録されている。下記のように、在庫リストＤＢ６０１に登録された特定の食材の数量がゼロになる前に、所定の数量まで減ったことをもってその食材を候補リストＤＢ６０４に登録されるようにする場合は、その食材の「数量」（在庫の数量）についても、その食材に対応づけて候補リストＤＢ６０４に登録するようにしてもよい。

本実施形態では、候補リストＤＢ６０４には、在庫リストＤＢ６０１に登録されていた食材の数量が減少して所定条件が満たされた場合、その減少した食材が自動で登録される。「所定条件」は、例えば、減少後の食材の数が予め定められた閾値未満になることである。本実施形態では、「所定条件」は、減少後の食材の数がゼロとなる（すなわち、食材の在庫が無くなる）ことである。「所定条件」は、「第１条件」の一例である。

例えば、候補リストＤＢ６０４には、在庫リストＤＢ６０１に登録されていた食材が削除されてゴミ箱ＤＢ６０３に登録される場合、ゴミ箱ＤＢ６０３に登録される食材と同一の食材が自動で登録される。「登録の削除」とは、特定の食材の在庫が無くなった（有る状態から無い状態へと変化した）ことである。すなわち、候補リストＤＢ６０４には、在庫リストＤＢ６０１に登録されていた食材が消費されてユーザの操作に基づいて在庫リストＤＢから削除された食材、および、在庫リストＤＢに登録されていた食材のなかで賞味期限（または消費期限）が徒過することで登録情報管理部５２２によって在庫リストＤＢから自動で削除された食材が自動で登録される。買い物リストＤＢ６０２および候補リストＤＢ６０４は、両方とも在庫が無くなった（または減少した）食材が登録される。買い物リストＤＢ６０２および候補リストＤＢ６０４は、互いに更新タイミングが異なる。本実施形態のサーバシステム５００は、ある食材について食べた／捨てたことに応じてユーザが在庫リストＤＢ６０１の登録を削除操作する場合、本来であればその食材の表示はその後不要のはずであるが、買い物を推奨するデータとして活用するものである。

登録情報管理部５２２は、候補リストＤＢ６０４に登録された食材を、買い物リストＤＢ６０２に移動させるユーザの操作を受け付け可能である。例えば、ユーザは、後述する候補リストにおいて移動対象の食材の表示をタップ（単押し）して選択し、選択した食材を買い物リストに移動させることができる。選択した食材が買い物リストＤＢ６０２に登録された場合、移動元である候補リストＤＢ６０４から当該食材の登録が削除される。

ここで、ある食材が候補リストＤＢ６０４に既に登録されている状態で、ユーザの操作によって同じ食材が買い物リストＤＢ６０２に直接登録される場合（すなわち、候補リストＤＢ６０４を経由せずに買い物リストＤＢ６０２に食材が登録される場合）がある。この場合、登録情報管理部５２２は、上記食材を買い物リストＤＢ６０２に登録するとともに、候補リストＤＢ６０４から上記食材の登録を削除する。すなわち、既に買い物リストＤＢ６０２に登録された食材については、在庫リストＤＢ６０１における在庫の数量が上記「所定条件」を満たした場合であっても、候補リストＤＢ６０４に登録されないこととなる。

登録情報管理部５２２は、在庫リストＤＢ６０１に登録された食材が減少して上記所定条件が満たされた場合であって、その食材がユーザによって事前に登録された特別食材（例えば常備品ＤＢ６０７に登録された食材）である場合、候補リストＤＢ６０４に対する上記食材の登録は行わず、買い物リストＤＢ６０２に上記食材を直接登録してもよい。

本実施形態では、候補リストＤＢ６０４に登録可能な食材の最大数（例えば２０個）が定められている。登録情報管理部５２２は、候補リストＤＢ６０４に既に所定数（例えば最大数）の食材が登録されている場合、候補リストＤＢ６０４に新しい食材の登録を追加することに応じて、候補リストＤＢ６０４の古い登録を順次削除する。

登録情報管理部５２２は、候補リストＤＢ６０４の古い登録の削除を、候補リストＤＢ６０４への登録日、食材の購入日、食材の賞味期限、または食材の消費期限のうち１つ以上に基づく優先順位に従って行う。例えば、登録情報管理部５２２は、候補リストＤＢ６０４に登録されている食材のうち、食材の購入日が古い順、食材の賞味期限が古い順、または食材の消費期限が古い順で、古い登録の削除を行う。なお、上記のように在庫リストＤＢ６０１に登録された特定の食材の数量がゼロになる前に所定の数量まで減ったことをもってその食材を候補リストＤＢ６０４に登録されるようにする場合、在庫リストＤＢ６０１に未だ在庫が残っている食材の中では、食材の賞味期限が新しい順、または食材の消費期限が新しい順で優先して削除するようにしてもよい。

登録情報管理部５２２は、上記優先順位に代えて／加えて、候補リストＤＢ６０４の古い登録の削除を、食材が属する食材分類に基づく優先順位に従って行う。例えば、登録情報管理部５２２は、食材が特定の食材分類に属する場合、その食材を削除する優先順位を下げ（または削除対象から外し）、当該食材が候補リストＤＢ６０４から削除されにくくする。「特定の食材分類」は、常備品に近い性格を持つ食材分類であり、例えば調味料や香辛料である。

登録情報管理部５２２は、上記優先順位に代えて／加えて、候補リストＤＢ６０４の古い登録の削除を、食材の過去の在庫頻度、および／または食材がユーザによって指定された食材群に含まれるか否かに基づく優先順位に従って行う。登録情報管理部５２２は、食材の過去の在庫頻度が閾値以上である場合、その食材を削除する優先順位を下げ（または削除対象から外し）、当該食材が候補リストＤＢ６０４から削除されにくくする。過去の在庫頻度は、後述する履歴ＤＢ６０８に基づいて得ることができる。登録情報管理部５２２は、食材がユーザによって指定された食材群に含まれる場合、その食材を削除する優先順位を下げ（または削除対象から外し）、当該食材が候補リストＤＢ６０４から削除されにくくする。「指定された食材群」は、例えば、常備品ＤＢ６０７に登録された食材群である。

候補リストが設けられることで、買い物リストへの登録忘れの軽減を図ることができる。また候補リストが買い物リストへの登録のアシスト機能を果たすことで、買い物リストへの登録作業の作業負担も軽減することができる。

＜５．２．４ 食材ＤＢ＞
図１０は、食材ＤＢ６０５の内容の一例を示す図である。食材ＤＢ６０５は、複数のユーザに対して共通して設定されたデフォルトのＤＢである。食材ＤＢ６０５は、後述する食材情報の自動入力に用いられる。食材ＤＢに登録されている食材は、一般的に流通する多数の食材が登録されている。食材ＤＢ６０５では、食材毎に、「食材名」、「食材名の受付候補」、「食材分類」、「食材分類のアイコン」、「デフォルトの保存場所（推奨される保存場所）」、「賞味期限（または消費期限）」が対応付けられて登録されている。「食材分類」、「食材分類のアイコン」、「デフォルトの保存場所」、「賞味期限（または消費期限）」の各々は、「付随情報」の一例である。食材ＤＢ６０５は、食材名と付随情報とが関連付けられた「関係情報」の一例であり、「第１情報」の一例である。ただしここで言う「第１情報」とは、後述する「第１情報Ｉ１」とは別の概念である。本実施形態では、付随情報の一つとして食材分類のアイコンが登録されているが、これに代えて食材分類を示す画像が用いられてもよい。食材ＤＢ６０５は、食材と当該食材の保存場所との一般的な対応関係（個々のユーザによって異ならせるのではなく、ユーザによる特別の指定が無い限り各ユーザ共通に適用されるものとして予め設定しておいた標準的な対応関係）が登録された情報である。当該対応関係は、「第１対応関係」の一例である。

「食材名の受付候補」としては、食材の名称の入力ブレを考慮した１つ以上の受付候補が登録されている。例えば、食材がプチトマトである場合、「プチトマト（片仮名表記）」に加え、「ぷちとまと（平仮名表記）」、「トマト」などが登録されている。「デフォルトの保存場所」は、冷蔵庫１００の内部または冷蔵庫１００の外部の保存場所であって、食材の保存に適した保存場所が登録されている。上述したように、「保存場所」は、冷蔵室１２１が棚を有する場合、「冷蔵室１２１の最上段」のような特定の貯蔵室１２０の中で他の場所と区別される一部の場所を示す区分でもよい。なお、「食材名の受付候補」は、「付随情報」との対応付け（すなわち「関係情報」の利用）のために用いることに留め、ユーザに示す食材の名称としては、「食材名の受付候補」により変換することなく、ユーザが登録した名称そのものを利用するようにしてもよい。例えば、ユーザが「○○産のとまと」と入力した場合、「食材名の受付候補」により「トマト」が登録されたとして、「トマト」に対応付けて用意しておいた食材分類「野菜」や保存場所「野菜室」などの付随情報を在庫リストＤＢ６０１に登録する一方で、端末機器４００の表示画面４１１などでユーザに示す食材の名称としては「○○産のとまと」などと、ユーザが入力した名称を加工することなくそのまま使用するようにしてもよい。あるいはこれに代えて「○○産のトマト」などと、表記ゆれと考えられる一部分のみを変更して表示に使用するようにしてもよい。

ここで、冷蔵庫１００は、機種によって貯蔵室１２０の配置が異なる。このため、食材に対して推奨される保存場所が機種によって異なる場合がある。そこで本実施形態では、食材ＤＢ６０５は、例えば冷蔵庫１００の機種毎に準備されている。言い換えると、食材ＤＢ６０５は、冷蔵庫１００の機種によって異なる。登録情報管理部５２２は、後述する遠隔操作登録情報ＤＢ６０９を参照して得られる冷蔵庫１００の機種情報に基づき、ユーザの冷蔵庫１００の機種を特定し、特定した機種に対応する食材ＤＢ６０５を選択する。なお、冷蔵庫１００の機種毎に異なった情報を準備するのは、食材ＤＢ６０５全体ではなく、食材ＤＢ６０５のうち保存場所を示す情報など一部の情報だけに限ってもよい。

図２に戻り説明を続ける。記憶部５３０には、上述したＤＢの他に、ユーザ設定ＤＢ６０６、常備品ＤＢ６０７、履歴ＤＢ６０８、遠隔操作登録ＤＢ６０９、および音声ＤＢ６１０が記憶されている。

ユーザ設定ＤＢ６０６は、ユーザによって登録された情報である。ユーザ設定ＤＢ６０６には、後述する食材情報の自動入力に柔軟性を持たせるため、食材ＤＢに対するユーザ固有の変更設定が登録される。例えば、ユーザ設定ＤＢ６０６には、食材と保存場所とのユーザ固有の対応関係が登録されている。当該対応関係は、「第２対応関係」の一例である。具体的には、食材ＤＢ６０５では、「鶏肉」に対するデフォルトの保存場所として「冷蔵室」が登録されている。ユーザは、鶏肉を購入した際に冷蔵室に保存するよりも冷凍室に保存するほうが多い場合、「鶏肉」と「冷凍室」とを対応付けてユーザ設定ＤＢ６０６に登録することができる。ユーザ設定ＤＢ６０６は、食材名と付随情報とが関連付けられた「関係情報」の別の一例であり、「第２情報」の一例である。ただしここで言う「第２情報」とは、後述する「第２情報Ｉ２」とは別の概念である。登録情報管理部５２２は、ユーザの操作に基づき、ユーザ設定ＤＢ６０６の登録、削除、確認を行う。

常備品ＤＢ６０７には、ユーザがよく利用する食材（例えば在庫を切らしたくない食材）が登録されている。常備品ＤＢ６０７には、ユーザによって常備を希望する旨が「宣言」された食材（特別食材）が登録される。登録情報管理部５２２は、ユーザの操作に基づき、常備品ＤＢ６０７の登録、削除、確認を行う。

履歴ＤＢ６０８は、ユーザ設定ＤＢ６０６に代えて、またはユーザ設定ＤＢ６０６と組み合わせて利用可能である。履歴ＤＢ６０８は、例えばユーザの明示的な登録によらず、食材の保存に関するユーザの履歴（冷蔵庫１００の使用履歴）が登録される。登録情報管理部５２２は、履歴ＤＢ６０８を参照することで、ある食材に対して、どの貯蔵室１２０がよく利用されるかという情報が得ることができる。履歴ＤＢ６０８は、在庫リストＤＢ６０１に対するユーザの登録結果、および／または、冷蔵庫１００のカメラ１７０の撮影結果などに基づいて生成される。

遠隔操作登録ＤＢ６０７には、冷蔵庫１００毎に、「管理ＩＤ」、「機種」、および「遠隔操作用に登録された端末機器の管理ＩＤ」とが対応付けられて登録されている。表示制御部５２３は、端末機器４００から受信する端末機器４００の管理ＩＤに基づいて遠隔操作登録ＤＢ６０７からユーザの冷蔵庫１００の機種を特定し、特定した冷蔵庫１００の機種に基づき端末機器４００の表示画面４１１に表示させる冷蔵庫１００の絵柄を変更する。これについては詳しく後述する。

音声ＤＢ６１０には、ユーザの発話の意味解釈を行うための辞書、および応答用の音声データを生成するための音声情報などが登録されている。さらに、記憶部５３０には、食材分類のアイコンの画像データが記憶されている。

＜６．画面表示＞
次に、端末機器４００を用いて冷蔵庫１００の食材管理を行う場合に、端末機器４００の表示画面４１１に表示される画面表示について説明する。以下に説明する画面表示は、サーバシステム５００から送信される表示用データおよび制御指示に基づき、端末機器４００の表示装置制御部４４２が制御を実行することで実現される。

＜６．１ 冷蔵庫の管理画面のトップページ＞
図１１は、表示画面４１１に表示される画像を示す図である。図１１中の左方は、端末機器４００でアプリケーションプログラムが起動された場合に表示されるトップページを示す画像Ｓ１である。画像Ｓ１は、冷蔵庫１００を模式的に示す絵柄Ｒ０と、複数の表示Ｄ１１～Ｄ１６を含む。絵柄Ｒ０は、模式的に示された冷蔵庫１００の各貯蔵室１２０の絵柄Ｒ０ａ～Ｒ０ｆを含む。絵柄Ｒ０ａ～Ｒ０ｆは、それぞれ順に、冷蔵室１２１、チルド室１２２、野菜室１２３、製氷室１２４、小冷凍室１２５、および主冷凍室１２６を示す絵柄である。表示Ｄ１１～Ｄ１６は、各貯蔵室１２０に関する設定内容（運転状態）を示す。

表示制御部５２３は、画像Ｓ１の右上に位置する「設定」を示す表示Ｄ１７がユーザによって押されることで、画像Ｓ１に重畳してメニューを示す画像Ｓ２を表示させる。表示制御部５２３は、画像Ｓ２に含まれる「食材管理」がユーザによって操作される（例えばタップされる）ことで、食材管理のトップページの画像Ｓ３（図１３）を表示画面４１１に表示させる。

＜６．２ 食材管理のトップページ＞
図１２は、食材管理のトップページの画像Ｓ３を示す。画像Ｓ３は、第１絵柄Ｒ１、第２絵柄Ｒ２、第１から第４の表示ボックスＤ１～Ｄ４、および第１から第４のアイコンＫ１～Ｋ４を含む。

本実施形態では、画像Ｓ３において、冷蔵庫１００を模式的に示す第１絵柄Ｒ１に含まれる各貯蔵室（保存場所）１２０を示す絵柄Ｒ１ａ～Ｒ１ｅと、その貯蔵室１２０に保存された食材に関する第１情報Ｉ１とが対応付けられて表示される。画像Ｓ３は、「第１表示」の一例である。第１から第４の表示ボックスＤ１～Ｄ４の各々に含まれる情報は、「第１情報Ｉ１」の一例である。第１情報Ｉ１は、各貯蔵室１２０に保存された食材全体に関する情報を含む。例えば、第１情報Ｉ１は、各貯蔵室１２０に保存された食材の数である。

ただし、第１情報Ｉ１は、各貯蔵室１２０の充填の程度（使用の程度）を示す情報でもよい。「充填の程度」は、各貯蔵室１２０に保存された食材の数を、各貯蔵室１２０の満充填時の食材の数で除算した算出結果に基づく情報であり、充填率（使用率）または充填量（「多」、「普通」、「少」））などで表現される。各貯蔵室１２０の充填率は、食品の種類ごとに、その食材が占有する体積や寸法を定めておけば、現在、保管中として登録されている食材の種類と数量に応じてより精度良く推定可能である。食材の体積や寸法に代えて、各貯蔵室１２０に保管可能な食材の種類と数量との各組み合わせを予め定めておくようにしてもよい。第１情報Ｉ１は、食材の数や充填の程度に代えて／加えて、各貯蔵室１２０に保存された食材の名称などを含んでもよい。

以下では、本実施形態に関する一例について詳しく説明する。第１絵柄Ｒ１は、冷蔵庫１００を模式的に示す絵柄である。第１絵柄Ｒ１は、冷蔵庫１００の外形に加え、冷蔵庫１００の各貯蔵室１２０を模式的に示す絵柄Ｒ１ａ～Ｒ１ｅを含む。第１絵柄Ｒ１は、例えば、冷蔵庫１００の外形を示す線と、複数の貯蔵室１２０の間の境界を示す線とにより構成されている。第１絵柄Ｒ１は、冷蔵室１２１を示す絵柄Ｒ１ａ、野菜室１２３を示す絵柄Ｒ１ｂ、製氷室１２４を示す絵柄Ｒ１ｃ、小冷凍室１２５を示す絵柄Ｒ１ｄ、および主冷凍室１２６を示す絵柄Ｒ１ｅを含む。

本実施形態では、第１絵柄Ｒ１は、チルド室１２２を示す絵柄は含まず、冷蔵室１２１およびチルド室１２２に対応する１つの絵柄Ｒ１ａを含む。本実施形態では、第１絵柄Ｒ１は、観音開き式の冷蔵庫１００であっても、左右の冷蔵室扉の境界線は省略されている。これらにより、第１絵柄Ｒ１は、すっきりとした絵柄になっている。ただし、第１絵柄Ｒ１は、チルド室１２２を示す絵柄を含んでもよいし、観音開き式の冷蔵庫１００において左右の冷蔵室扉１３０の間の境界線を有してもよい。第１絵柄Ｒ１の変形例については、詳しく後述する。第１絵柄Ｒ１は、実際の冷蔵庫１００の各扉の寸法を正確に表す必要はなく、見やすいように、あるいは情報を表示しやすいように、寸法比率を適宜調整してもよい。

表示制御部５２３は、遠隔操作登録ＤＢ６０９に基づき、ユーザの冷蔵庫１００の機種を特定し、ユーザの冷蔵庫１００の機種に対応する貯蔵室１２０の配置の第１絵柄Ｒ１を画像Ｓ３に含める。この場合、表示制御部５２３は、冷蔵庫１００の扉１３０の配置が同じであれば、多少の寸法比率の違いがあっても、同じ第１絵柄Ｒ１を使用してもよい。

第２絵柄Ｒ２は、第１絵柄Ｒ１の外側に配置されている。例えば、第２絵柄Ｒ２は、第１絵柄Ｒ１の側方に配置される。本実施形態では、第２絵柄Ｒ２は、第１絵柄Ｒ１に含まれる冷蔵庫の底部の高さと同じ高さにおいて、第１絵柄Ｒ１の側方に配置される。第２絵柄Ｒ２は、冷蔵庫１００の外部の保存場所を模式的に示す。第２絵柄Ｒ２は、例えば、箱状の収納部を示す絵柄を含む。

第１から第４の表示ボックスＤ１～Ｄ４は、例えば、吹き出しを示す絵柄を含む。第１表示ボックスＤ１は、冷蔵室１２１およびチルド室１２２に保存された食材に関する第１情報Ｉ１を含む。例えば、第１表示ボックスＤ１には、冷蔵室１２１およびチルド室１２２に保存された食材の数を示す情報が表示される。第１表示ボックスＤ１は、第１絵柄Ｒ１に含まれる冷蔵室の絵柄Ｒ１ａの側方に配置される。別の観点で見ると、第１表示ボックスＤ１は、第１絵柄Ｒ１に含まれる冷蔵室の絵柄Ｒ１ａと同じ高さに配置される。

第２表示ボックスＤ２は、野菜室１２３に保存された食材に関する第１情報Ｉ１を含む。例えば、第２表示ボックスＤ２には、野菜室１２３に保存された食材の数を示す情報が表示される。第２表示ボックスＤ２は、第１絵柄Ｒ１に含まれる野菜室１２３の絵柄Ｒ１ｂの側方に配置される。別の観点で見ると、第２表示ボックスＤ２は、第１絵柄Ｒ１に含まれる野菜室１２３の絵柄Ｒ１ｂと同じ高さに配置される。

第３表示ボックスＤ３は、冷凍室１２５，１２６に保存された食材に関する第１情報Ｉ１を含む。例えば、第３表示ボックスＤ３には、冷凍室１２５，１２６に保存された食材の数を示す情報が表示される。第３表示ボックスＤ３は、第１絵柄Ｒ１に含まれる冷凍室１２５，１２６の絵柄Ｒ１ｄ，Ｒ１ｅの側方に配置される。別の観点で見ると、第３表示ボックスＤ３は、第１絵柄Ｒ１に含まれる冷凍室１２５，１２６の絵柄Ｒ１ｄ，Ｒ１ｅと同じ高さに配置されている。

第４表示ボックスＤ４は、冷蔵庫１００の外部で保管される食材（冷蔵庫１００に収容されない食材）に関する第１情報Ｉ１を含む。例えば、第４表示ボックスＤ４には、冷蔵庫１００の外部に保存された食材の数を示す情報が表示される。第４表示ボックスＤ４は、第２絵柄Ｒ２の直上に配置される。第４表示ボックスＤ４に含まれる第１情報Ｉ１は、「庫外情報」の一例である。

これら第１から第４表示ボックスＤ１～Ｄ４に表示される情報は、例えば表示制御部５２３が在庫リストＤＢ６０１に基づいて生成する。このような構成によれば、冷蔵庫１００の各貯蔵室１２０と食材情報とを視覚的にリンクさせることで、在庫管理システムの使い勝手を向上させることができる。

本実施形態では、表示制御部５２３は、第１絵柄Ｒ１に対して第１絵柄Ｒ１に含まれる第１保存場所（第１保存部屋）を指定するユーザの操作が受け付けられた場合、第１保存場所に保存された食材に関して第１情報Ｉ１よりも詳細な第２情報Ｉ２（図１５参照）を表示画面４１１に表示させる。「第１保存場所を指定するユーザの操作」とは、例えば、第１絵柄Ｒ１において第１保存場所を示す絵柄）をタップすることであるが、これに限定されず、各貯蔵室１２０に対応する表示ボックスＤ１～Ｄ４をタップすることでもよく、スマートスピーカ２００を通じた発話による指定などでもよい。

表示制御部５２３は、第１絵柄Ｒ１においてタップされた貯蔵室１２０に対応する保存場所の絵柄、色、大きさのいずれかを変化させてもよい。このような構成によれば、タップしたことが分かりやすくなる。

本実施形態では、第１絵柄Ｒ１に対して第１絵柄Ｒ１に含まれる第１保存場所を指定するユーザの操作が受け付けられた場合、第１保存場所に保存された食材の食材リストが表示画面４１１に表示される。本実施形態では、表示制御部５２３は、表示画面４１１に画像Ｓ３が表示された状態で、第１絵柄Ｒ１に対して第１絵柄Ｒ１に含まれる第１保存場所を指定するユーザの操作が受け付けられた場合、表示画面４１１の表示を、第１保存部屋に保存された食材に関して第１情報Ｉ１よりも詳細な第２情報Ｉ２（図１４参照）を含む画像Ｓ５に切り替える。画像Ｓ５は、「第２表示」の一例である。

詳しく述べると、表示制御部５２３は、第１絵柄Ｒ１に対して冷蔵室１２１を指定するユーザの操作が受け付けられた場合（絵柄Ｒ１ａまたは第１表示ボックスＤ１がユーザによってタップされた場合）、冷蔵室１２１に保存された食材の食材リストを表示する。同様に、表示制御部５２３は、第１絵柄Ｒ１に対して野菜室１２３を指定するユーザの操作が受け付けられた場合（絵柄Ｒ１ｂまたは第２表示ボックスＤ２がユーザによってタップされた場合）、野菜室１２３に保存された食材の食材リストを表示する。表示制御部５２３は、第１絵柄Ｒ１に対して冷凍室１２５，１２６を指定するユーザの操作が受け付けられた場合（絵柄Ｒ１ｄ，Ｒ１ｅまたは第３表示ボックスＤ３がユーザによってタップされた場合）、冷凍室１２５，１２６に保存された食材の食材リストを表示する。表示制御部５２３は、第１絵柄Ｒ１に対して外部保存場所を指定するユーザの操作が受け付けられた場合（第２絵柄Ｒ２または第４表示ボックスＤ４がユーザによってタップされた場合）、冷蔵庫１００の外部に保存された食材の食材リストを表示する。これら食材リストの各々は、「第２情報Ｉ２」の一例である。食材リストについては詳しく後述する。

本実施形態では、登録情報管理部５２２および表示制御部５２３は、第１絵柄Ｒ１に含まれる各貯蔵室１２０（絵柄Ｒ１ａ～Ｒ１ｅまたは第１から第４の表示ボックスＤ１～Ｄ４）に対してユーザの第１態様の操作が受け付けられた場合と、第１絵柄Ｒ１に含まれる各貯蔵室１２０（絵柄Ｒ１ａ～Ｒ１ｅまたは第１から第４の表示ボックスＤ１～Ｄ４）に対してユーザの第２態様の操作が受け付けられた場合とで、異なる制御指示を受け付けてもよい。例えば、表示制御部５２３は、第１絵柄Ｒ１に含まれる各貯蔵室１２０に対してユーザの第１態様の操作が受け付けられた場合、例えば画面遷移により、選択された貯蔵室１２０に保存された食材に関する第２情報Ｉ２を表示させる。一方で、登録情報管理部５２２および表示制御部５２３およびは、第１絵柄Ｒ１に含まれる各貯蔵室１２０に対してユーザの第２態様の操作が受け付けられた場合、選択された貯蔵室１２０に保存された全ての食材に対して一括した所定の処理を行う。

「第１態様の操作」は、例えば、表示画面４１１に対するタップ（単押し）である。「第２態様の操作」は、例えば、表示画面４１１に対する長押し、二重タップ、強押し（感圧ディスプレイの場合）、スワイプ、フリックなどである。「所定の処理」は、「第１態様の操作」に応じた処理とは異なる処理であればよいが、選択された貯蔵室１２０に保存された食材に共通する一括の操作を設定することがより好適である。例えば、選択された貯蔵室１２０に保存された全ての食材の登録を一括削除する処理、または、一括削除のための受付窓を開く処理などである。一括削除する機能が設けられることで、冷蔵庫１００の中身を簡単に整理することができる。また一括削除の機能が、第１絵柄Ｒ１に含まれる各貯蔵室１２０の絵柄または表示ボックスと対応付けられていると、操作性が向上する。

別の観点では、登録情報管理部５２２および表示制御部５２３は、第１絵柄Ｒ１に含まれる各貯蔵室１２０に対してユーザの第１態様の操作が受け付けられた場合、選択された貯蔵室１２０の食材管理画面（登録画面・表示画面）を開くこととし、同じ場所に対する第２態様の操作であってもそれが長押しであるなら、その保管場所における食材登録の一括削除に関する処理を行ってもよい。

第１アイコンＫ１は、例えば矢印状の絵柄を含み、第１絵柄Ｒ１の側方に配置される。第１アイコンＫ１がユーザによって操作される（例えばタップされる）と、在庫状態にある全食材のリストを表示する画面に切り替わる。これについては詳しく後述する。

第２～第４のアイコンＫ２～Ｋ４は、画像Ｓ３の下端部に配置される。第２アイコンＫ２がユーザによって操作される（例えばタップされる）と、在庫の食材を検索可能な検索画面に切り替わる。第３アイコンＫ３がユーザによって操作される（例えばタップされる）と、買い物リストを表示する画面に切り替わる。第３アイコンＫ３は、「ユーザに購入を促す食材が表示される画面への切り替えのための操作部の表示」の一例である。これについては後述する。第４アイコンＫ４がユーザによって操作される（例えばタップされる）と、ゴミ箱リストを表示する画面に切り替わる。ゴミ箱リストは、ゴミ箱ＤＢ６０３に登録された食材のリストである。ゴミ箱リストは、例えば表示制御部５２３がゴミ箱ＤＢ６０３を参照することで生成される。

本実施形態では、第２～第４のアイコンＫ２～Ｋ４は、第１絵柄Ｒ１の下方に配置される。これに代えて、第２から第４のアイコンＫ２～Ｋ４は、第１絵柄Ｒ１の上方に配置されてもよい。例えば、第３アイコンＫ３は、第１絵柄Ｒ１の右上に配置されてもよい。第３アイコンＫ３は、「第２操作部」の一例である。第３アイコンＫ３が操作されることで表示される買い物リストを含む画面は、「第４表示」の一例である。

第１絵柄Ｒ１における冷蔵庫１００の扉配置や、第１から第４の表示ボックスＤ１～Ｄ４の絵柄は、適宜色分けして表示し、見分けやすく表示してもよい。

図１３は、食材管理のトップページの変形例の画像Ｓ３Ａを示す。本変形例では、表示制御部５２３は、第１絵柄Ｒ１に代えて、第１絵柄Ｒ１Ａを表示させる。第１絵柄Ｒ１Ａは、左右の冷蔵室扉が開かれ、冷蔵室１２１の内部が見える状態の冷蔵庫１００を模式化した絵柄である。第１絵柄Ｒ１Ａは、チルド室１２２を示す絵柄Ｒ１ａａを含む。

表示制御部５２３は、例えば、食材管理のトップページの画像として、（すなわち、上述した画像Ｓ３に代えて）画像Ｓ３Ａを表示させる。別の例では、表示制御部５２３は、食材管理のトップページの画像としては、上述した画像Ｓ３を表示させるとともに、画像Ｓ３において冷蔵室１２１を示す絵柄Ｒ１ａまたは第１表示ボックスＤ１がユーザによって操作される（例えばタップされる）ことで、本変形例の画像Ｓ３Ａに切り替えてもよい。この場合、第１絵柄Ｒ１Ａは、冷蔵庫１００の全体に対応した絵柄に限定されず、冷蔵室１２１およびチルド室１２２を拡大して表示した絵柄（他の貯蔵室１２０が省略された絵柄）を表示させてもよい。

＜６．３ 食材リスト＞
図１４は、全食材リストＬ０が表示された画像Ｓ４である。全食材リストＬ０は、在庫リストＤＢ６０１に登録された全ての食材（冷蔵庫１００の内部および外部で保存された全ての食材）が表示されるリストである。全食材リストＬ０では、食材毎に、食材分類を示すアイコン、食材名、購入日、賞味期限（または消費期限）、数量、および単位が表示される。食材は、どの保存場所に保存されているかは関係なく、所定の順序で並べられている。「所定の順序」は、例えば、食事の名称順（あいうえお順）、購入日の古い順（または新しい順）、賞味期限（消費期限）の近い順（または遠い順）である。ユーザは、画像Ｓ４に含まれる操作部Ｇ０を操作する（例えばタップする）ことで、上記所定の順序を変更する（食材の表示順序を並び替える）ことができる。これに限られず、ユーザの設定操作に応じて、保存場所ごとに並び替える機能を併せて設けてもよい。

表示制御部５２３は、画像Ｓ３（図１２参照）の第１アイコンＫ１がユーザによって操作された場合、画像Ｓ４を表示させる。すなわち、表示制御部５２３は、在庫リストＤＢ６０１に基づき、全食材リストＬ０を含む表示用データを生成して端末機器４００に送信する。

図１５は、貯蔵室１２０毎の食材リストが表示された画像Ｓ５である。例えば、図１５は、野菜室１２３の食材リストＬ２が表示された画像である。野菜室１２３の食材リストＬ２は、在庫リストＤＢ６０１に登録された食材のなかで野菜室１２３に保存された食材が選らばれて表示されるリストである。食材リストＬ２では、食材毎に、食材分類を示すアイコン、食材名、購入日、賞味期限（または消費期限）、数量、および単位が表示される。食材は、全食材リストＬ０と同様に、所定の順序で並べられている。ユーザは、画像Ｓ５に含まれる操作部Ｇ０を操作する（例えばタップする）ことで、上記所定の順序を変更する（食材の表示順序を並び替える）ことができる。

表示制御部５２３は、画像Ｓ３（図１２参照）の第１絵柄Ｒ１に含まれる野菜室１２３の絵柄Ｒ１ｂまたは第２表示ボックスＤ２がユーザによって操作された（例えばタップされた）場合、画像Ｓ５を表示させる。すなわち、表示制御部５２３は、在庫リストＤＢ６０１に基づき、野菜室１２３の食材リストＬ２を含む表示用データを生成して端末機器４００に送信する。これは、冷蔵室１２１の食材リスト、および冷凍室１２５，１２６の食材リストについても同様である。

図１６は、食材リストが表示された変形例の画像Ｓ５Ａである。本変形例では、画像Ｓ５Ａは、別の表示へ切り替えるための操作部Ｏ１，Ｏ３，Ｏ４の表示を含む。切替先となる別の表示は、野菜室１２３に保存された食材に関する第２情報Ｉ２に代えて、別の保存場所に保存された食材に関する第２情報Ｉ２を含む。

例えば、画像Ｓ５Ａは、冷蔵室１２１の食材リストＬ１、野菜室１２３の食材リストＬ２、冷凍室１２５，１２６の食材リストＬ３、その他（冷蔵庫１００の外部での保存）の食材リストＬ４を切り替えるための操作部Ｏ１，Ｏ２，Ｏ３，Ｏ４を含む。野菜室１２３の食材リストＬ２が表示されている場合において、冷蔵室１２１の食材リストＬ１、冷凍室１２５，１２６の食材リストＬ３、およびその他の食材リストＬ４の各々は、「第３表示」の一例である。ユーザが操作部Ｏ１，Ｏ２，Ｏ３，Ｏ４を操作することで、４つの食材リストＬ１，Ｌ２，Ｌ３，Ｌ４が切り替わる。この操作部Ｏ１，Ｏ２，Ｏ３，Ｏ４の表示は、いずれの貯蔵室１２０の食材リストが表示されている画像においても、共通に設定されている。

＜６．４ 食材リストへの新規登録＞
図１７は、食材リスト（在庫リストＤＢ６０１）への食材の新規登録を行う場合に表示される画像Ｓ６を示す。本実施形態では、登録情報管理部５２２は、例えばユーザによる食材名の入力があった場合に、食材分類、保存場所、購入日、賞味期限（または消費期限）、食材分類のアイコン、および単位を自動入力する。食材分類、保存場所、購入日、賞味期限、食材分類のアイコン、および単位の各々は、「付随情報」の一例である。

詳しく述べると、登録情報管理部５２２は、入力された食材名に基づき、食材ＤＢ６０５において食材名に対応付けられて登録されている食材分類、デフォルト保存場所、および単位をそれぞれ「食材分類」、「保存場所」、および「単位」として自動で入力する。登録情報管理部５２２は、食材の名称の入力に伴い付随情報を登録するユーザの入力を受け付けた場合、食材ＤＢ６０５よりもユーザの入力内容を優先し、上記食材とユーザによって設定された付随情報とを対応付けて登録する。

本実施形態では、登録情報管理部５２２は、ユーザ設定ＤＢ６０６において、入力された食材名に対応して登録されている情報（例えば設定変更された保存場所）がある場合、食材ＤＢ６０５よりもユーザ設定ＤＢ６０６の情報を優先して入力する。すなわち、登録情報管理部５２２は、食材と保存場所との一般的な対応関係を示す食材ＤＢ６０５と、食材と保存場所とのユーザ固有の対応関係を示すユーザ設定ＤＢ６０６とを参照可能である。登録情報管理部５２２は、ユーザ設定ＤＢ６０６が存在する場合、ユーザ設定ＤＢ６０６の内容に基づいて保存場所が入力された状態とし、ユーザ設定ＤＢ６０６が存在しない場合、食材ＤＢ６０５に基づいて保存場所が入力された状態とする。登録情報管理部５２２は、食材ＤＢを参照することで得られた食材分類に基づき、対応する食材分類のアイコンを示す情報を記憶部５３０から取得して自動で登録する。登録情報管理部５２２は、食材名の入力が行われた日付を「購入日時」として自動で登録し、購入日時に基づいて推定される賞味期限（または消費期限）の日時を自動で登録する。このような構成によれば、食材を登録するときの手間を軽減することができる。

登録情報管理部５２２は、ユーザ設定ＤＢ６０６に代えて、またはユーザ設定ＤＢ６０６と組み合わせて、履歴ＤＢ６０８に基づき付随情報を自動登録してもよい。すなわち、登録情報管理部５２２は、対象となる食材の履歴ＤＢ６０８が存在する場合、履歴ＤＢ６０８に基づいて保存場所が入力された状態とし、対象となる食材の履歴ＤＢ６０８が存在しない場合、食材ＤＢ６０５に基づいて保存場所が入力された状態としてもよい。このように、特定の食材の登録において、食材ＤＢ６０５ではなく履歴ＤＢ６０８に従って付随情報が入力された状態とする場合は、その食材の登録の頻度が所定以上であることを条件にしてもよい。もちろん、特定の食材の登録の頻度は履歴ＤＢ６０８を参照すれば取得できる。

登録情報管理部５２２は、ある食材に関して、所定条件が満たされた場合、付随情報として第１保存場所が入力された状態とし、上記所定条件が満たされた場合、付随情報として第２保存場所が入力された状態とする。「所定条件」は、第１保存場所あるいは第２保存場所の充填の程度、または、在庫として登録する食材の量に関する条件である。例えば、食材ＤＢ６０５において「豚肉」に対して「冷蔵室」が対応付けられている場合において、冷蔵室１２１の充填率が閾値よりも高い場合、ユーザは冷蔵室１２１に入れることを止めて冷凍室１２６に入れると推測し、当該豚肉に対する付随情報として「冷凍室」を登録する。別の例では、食材ＤＢ６０５において「豚肉」に対して「冷蔵室」が対応付けられている場合において、豚肉の量が閾値よりも高い場合、冷凍保存されるものとして当該豚肉に対する付随情報として「冷凍室」を登録する。

登録情報管理部５２２は、同じ食材であっても、冷蔵室１２１に保存される場合と、冷凍室１２５，１２６に保存される場合とで、自動入力される賞味期限（または消費期限）を変更してもよい。例えば、登録情報管理部５２２は、同じ食材であっても、冷蔵室１２１に保存される場合は賞味期限（または消費期限）までの日数を第１日数（例えば３日）とし、冷凍室１２５，１２６に保存される場合は賞味期限（または消費期限）までの日数を第１日数よりも長い第２日数（例えば１週間）としてもよい。

登録情報管理部５２２は、食材ＤＢ６０５に基づいて付随情報が入力された後に付随情報を変更するユーザの操作を受け付け可能である。登録情報管理部５２２は、このようなユーザの操作を受け付けた場合、在庫リストＤＢ６０１に自動登録された付随情報をユーザの操作に基づく内容に置き換える。

以上説明した例では、登録情報管理部５２２は、例えた端末機器４００に対するユーザによる食材名の入力があった場合に、食材名以外の情報が外部から入力されなくても、食材ＤＢ６０５および／またはユーザ設定ＤＢ６０６に基づき、付随情報を自動入力する。端末機器４００に対するユーザによる食材名の入力は、「外部からの食材の名称を示す情報の入力」の一例である。

ただし、「外部からの食材の名称を示す情報の入力」は、ユーザによる手入力に限定されない。例えば、登録情報管理部５２２は、冷蔵庫１００のカメラ１７０または端末機器４００のカメラ４５０で撮影された画像を受け取り、受け取った画像に基づき食材を特定し、特定した食材に対応する食材名、食材分類、保存部屋、購入日、賞味期限（または消費期限）、食材分類のアイコン、単位などを自動入力してもよい。この場合、登録情報管理部５２２は、例えば食材の画像認識用に機械学習された学習済みモデルに基づき、受け取る画像から食材を特定してもよい。さらに、登録情報管理部５２２は、ユーザによる食材名の手入力に代えて、スマートスピーカ２００に対するユーザの発話による食材名の入力を受け付け、受け付けた食材名に対応する食材分類、保存部屋、購入日、賞味期限（または消費期限）、食材分類のアイコン、単位などを自動入力してもよい。

１つの観点では、食材ＤＢ６０５は、食材名と食材分類とが関連付けられた第１ＤＢと、食材分類と保存場所とが関連付けられた第２ＤＢとを含んでもよい。この場合、登録情報管理部５２２は、外部から入力された食材名を示す情報と第１ＤＢとに基づいて食材に対応する食材分類を特定し、特定した食材分類と第２ＤＢとを用いて保存場所を特定し、特定した保存場所を付随情報として自動入力してもよい。

図１８は、食材リストへの食材の新規登録を行う変形例の画像Ｓ６Ａを示す。本変形例では、ユーザによって入力された内容を示す文字と、登録情報管理部５２２によって自動入力された内容を示す文字とは異なる態様で表示される。例えば、ユーザによって入力された内容を示す文字は黒文字で示され、登録情報管理部５２２によって自動入力された内容を示す文字は、仮登録状態として黒文字とは異なる態様（青文字または灰色文字など、図１８中では破線で記載）で表示される。この場合、登録情報管理部５２２は、上記異なる態様で表示された内容に対するユーザの確認操作に基づいて、それら内容を本登録状態としてもよい。このような変形例によれば、ユーザが自分で入力した内容と、自動された内容とを容易に区別して確認することができる。

＜６．４ 食材リストの変更＞
図１９は、食材リストの変更（削除・移動）を行う場合の画像Ｓ７を示す。図１９は、野菜室１２３の食材リストＬ２を例示している。ユーザは、食材リストＬ２のなかで選択対象の食材の表示を操作する（例えばタップする）ことで、食材を選択することができる。食材が選択されると、画像Ｓ７の下端部に第１から第３のアイコンＫ５～Ｋ７が表示される。

第１アイコンＫ５は、選択された食材の登録を別の保存部屋へ移動させるためのアイコンである。表示制御部５２３は、第１アイコンＫ５がユーザによって操作された（例えばタップされた）場合、画像Ｓ７に重畳して、移動先の部屋を選択させる表示Ｓ８を表示させる。登録情報管理部５２２は、表示Ｓ８に対するユーザの選択結果に基づき、在庫リストＤＢ６０１において食材と対応付ける保存場所を変更する。これにより、選択された食材は、移動前の保存場所の食材リストから削除される。

第２アイコンＫ６は、後述する買い物リスト（買い物リストＤＢ６０２）への食材の追加を行うためのアイコンである。表示制御部５２３は、第２アイコンＫ６がユーザによって操作された（例えばタップされた）場合、選択された食材が買い物リストＤＢ６０２に追加される。この場合は、食材リスト中の食材の登録はそのままである。

第３アイコンＫ７は、選択された食材の登録をゴミ箱へ移動させるためのアイコンである。登録情報管理部５２２、第３アイコンＫ７がユーザによって操作された（例えばタップされた）場合、選択された食材を在庫リストＤＢ６０１から削除するとともに、削除した食材をゴミ箱ＤＢ６０３に登録する。上述したように本実施形態では、在庫リストＤＢ６０１から削除された食材がゴミ箱ＤＢ６０３に登録され場合、同一の食材が候補リストＤＢ６０４にも登録される。

＜６．５ ゴミ箱リスト＞
図２０は、ゴミ箱リストＬ５を含む画像Ｓ８を示す。ゴミ箱リストＬ５は、ゴミ箱ＤＢ６０３に登録された食材が表示されるリストである。ゴミ箱リストＬ５では、食材毎に、食材分類を示すアイコン、食材名、購入日、賞味期限（または消費期限）、数量、および単位が表示される。画像Ｓ８は、ゴミ箱リストＬ５に移動された食材が移動から所定日数（例えば３日）が経過すると自動削除されることユーザに知らせる表示Ｄ２１が表示される。

＜６．６ 買い物リストおよび候補リスト＞
図２１は、買い物リストＬ６および候補リストＬ７を含む画像Ｓ９を示す。買い物リストＬ６は、買い物リストＤＢ６０２に登録された食材が表示されるリストである。買い物リストＬ６では、食材毎に、食材分類を示すアイコン、食材名、購入予定数量、および単位が表示される。表示制御部５２３は、買い物リストＤＢ６０２に基づき、買い物リストＬ６を含む表示用データを生成して端末機器４００に送信する。

一方で、候補リストＬ７は、候補リストＤＢ６０４に登録された食材が表示されるリストである。候補リストＬ７では、食材毎に、食材分類を示すアイコンおよび食材名が表示される。表示制御部５２３は、候補リストＤＢ６０４に基づき、候補リストＬ７を含む表示用データを生成して端末機器４００に送信する。

本実施形態では、買い物リストＬ６および候補リストＬ７は、表示画面４１１において、同一の画面に表示される。例えば、買い物リストＬ６および候補リストＬ７は、上下に並べて表示される。「同一の画面」とは、表示内容が連続しており、外部操作に応じた表示内容全体の切替えを伴うことなく表示可能な一続きの画面を意味する。「同一画面」は、常に同時に表示される場合に限定されず、ユーザの画面上を滑らせる操作に応じて表示内容全体の切替えを伴わず一部ずつ順次に表示内容が変化する態様の操作（いわゆるスクロール操作）を受けて表示される画面についても、ここでいう「同一画面」に相当する。例えば、買い物リストＫ６に登録された食材が多く、買い物リストＬ６によって表示画面４１１が占有されている場合、買い物リストＬ６を下方にスクロールすることで、買い物リストＬ６の続きに候補リストＬ７が表示される場合も含む。言い換えると、「同一画面」とは、買い物リストＬ６の一部（例えば下端部）のみと、候補リストＬ７が同時に表示される場合なども含む。
本実施形態では、買い物リストＬ６および候補リストＬ７は、表示画面４１１において、同一の画面に表示される。例えば、買い物リストＬ６および候補リストＬ７は、上下に並べて表示される。「同一の画面」とは、ユーザが同時に見ることができる画面を意味する。ただし、「同一画面」とは、常に同時に表示される場合に限定されない。「同一画面」とは、例えば、買い物リストＫ６に登録された食材が多く、買い物リストＬ６によって表示画面４１１が占有されている場合、買い物リストＬ６を下方にスクロールすることで、買い物リストＬ６の続きに候補リストＬ７が表示される場合も含む。言い換えると、「同一画面」とは、買い物リストＬ６の一部（例えば下端部）のみと、候補リストＬ７が同時に表示される場合なども含む。

登録情報管理部５２２は、例えば、買い物リストＬ６と候補リストＬ７とが同時に表示された状態で、候補リストＬ７に含まれる食材の登録を、買い物リストＬ６に移動させるユーザの操作を受け付ける。すなわち、ユーザは、候補リストＬ７に表示された食材を、買い物リストＬ６に移動させることができる。

図２２は、買い物リストＬ６を含む別の画像Ｓ１０を示す図である。表示制御部５２３は、買い物リストＬ６および候補リストＬ７を並べて表示可能な画面において、候補リストＬ７を非表示にする、または買い物リストＬ６と比べて候補リストＬ７を目立たなくする（例えば色を薄くする）ユーザの操作を受け付け可能である。本実施形態では、候補リストＬ７は、ユーザの操作に基づき、閉じることができる。例えば、表示制御部５２３は、画像Ｓ９における候補リストＬ７を示す項目の表示がユーザによって操作された（例えばタップされた）場合、買い物リストＬ６と候補リストＬ７の両方を含む画像Ｓ０を、候補リストＬ７が閉じられた状態で買い物リストＬ６を表示させる画像Ｓ１０に切り替える。これにより、ユーザは、買い物リストＬ６のみを確認しながら買い物を行うことができ、候補リストＬ７が表示されている場合と比べて買い間違いなどを抑制することができる。

＜７．音声対話機能＞
＜７．１ 制御の全体構成＞
次に、本実施形態のサーバシステム５００による音声対話機能について説明する。本実施形態では、サーバシステム５００の情報処理部５２０は、音声対話機能の１回の受付終了までに複数の食材を登録または削除可能である。言い換えると、音声処理部５２４は、ユーザの１纏まりの発話（一連の発話、一連の対話）に含まれる複数の指示を連続して受付可能である。なお、音声対話機能（上述の通り、「音声認識機能」と表現することがある）の起動とは、ユーザによる任意の内容の発話を受け付け可能な状態に移行することをいう。音声対話機能が起動された状態では、ユーザの発話内容に含まれる指示を実行したり、ユーザの発話に対して応答したりする。音声対話機能を終了すると、音声対話機能を開始する合図であるトリガワードを除き、ユーザの発話を受け付けない状態となる。一度、音声対話機能を起動してから、その音声対話機能を終了させるまでの間を「音声対話機能の１回の受付」と呼ぶ。

詳しく述べると、音声処理部５２４は、スマートスピーカ２００に対してトリガワードが発話されて音声対話機能が起動された後、所定の終了条件が満たされることで音声対話機能を終了する。制御モード変更部５２５は、ユーザの動作に基づいて、第１終了条件で音声対話機能を終了する第１モードと、第１終了条件とは異なる第２終了条件で音声対話機能を終了する第２モードとを選択可能である。

第１モードは、ユーザの発話による１つの指示を受け付ける制御モードである。第１モードは、音声対話機能の１回の起動において１つの指示を実行したら起動モードを終了する。「起動モードを終了する」とは、例えば、サーバシステム５００からスマートスピーカ２００に対して、待機状態を終了させる制御信号、または待機状態を続ける必要が無いことを示す制御信号が送信されることを意味する。第１モードで受け付けるものとして設定される制御としては、例えば、冷蔵庫１００の機能に関する制御が挙げられる。冷蔵庫１００の機能に関する制御は、例えば、各貯蔵室１２０の設定温度帯の変更、チルド室１２２の制御モードの変更、「急速冷凍」、または「急速製氷」などである。第１終了条件は、ユーザの発話内容に応じて１つの制御を実行したこと、または音声対話機能の起動後、ユーザの発話が一定時間以上無いこと（いわゆるタイムアウトであり、この一定時間が本発明における「第１待機時間」に相当する）である。第１モードでは、複数の指示を入力するためには、指示を行う毎にトリガワードを発話して音声対話機能を１回ずつ起動させる必要がある。

第２モードは、音声対話機能の１回の起動においてユーザの発話による複数の指示を受け付け可能な制御モードである。すなわち、第２モードは、１回の起動において１つの指示を受け付けても起動状態を継続する制御モードである。また第２モードでは、ユーザの１纏まりの発話内容において、複数の処理対象が含まれる場合であっても、それら複数の処理対象に対する指示を実行可能とするために記憶を保持しておく機能がある。ここでいう「ユーザの１纏まりの発話」とは、スマートスピーカ２００の応答や、発話内容に基づく制御の実行を間に挟むことなく、ユーザが継続する一連の発話を意味する。本実施形態では、第２モードで受け付ける指示は、食材管理に関する指示である。食材管理に関する指示は、例えば、複数の食材に関する登録、削除、または在庫の確認である。第２終了条件は、発話などユーザの動作に基づいて音声対話機能の終了指示の旨を受け付けたことである。本実施形態では、第２モードを実行している時に、所定時間、ユーザの発話が無い場合に、追加の指示の有無を尋ねる音声（終了確認の音声）をスマートスピーカ２００から出力させ、その音声に対するユーザの応答が所定条件を満たす場合に第２終了条件が満たされたと扱う。第２終了条件について詳しくは後述する。本実施形態では、制御モード変更部５２５は、各種ＤＢに対する食材の登録、削除、確認に関しては第２モードを実行してユーザの指示を受け付ける。

本実施形態では、制御モード変更部５２５は、ユーザが所定の動作を行うことに基づいて、第２モードを実行する。一方で、制御モード変更部５２５は、ユーザが所定の動作を行わない場合は、第１モードを実行する。「所定の動作」は、例えば、ユーザが所定のワードを含む発話を行うこと、スマートスピーカ２００（または、端末機器４００、冷蔵庫１００）に設けられた所定の操作部（例えば所定のボタン）が操作されること、または、冷蔵庫１００の扉１３０が開かれる（および／または閉じられる）ことなどである。

「所定のワード」は、食材に関するワードである。「食材に関するワード」とは、食材の名称そのものに限定されず、類語などを含む。「所定のワード」は、食材名そのものを示すワード、「野菜」や「果物」のような食材分類を示すワード、「食材管理」や「食材登録」、「在庫管理」、「在庫登録」、「新規購入」のような食材管理に関するワード、または連続スキルであることをユーザに指定してもらうワードなどである。

以上を言い換えると、制御モード変更部５２５は、ユーザの発話に冷蔵庫１００の機能に関するワードが含まれる場合、第１モードを実行し、ユーザの発話に食材または食材の類語に関するワードが含まれる場合、第２モードを実行する。

本実施形態では、音声処理部５２４は、第１モードでは、ユーザによる発話の待機中に第１待機時間が経過したら起動状態を終了し、第２モードでは、ユーザによる発話の待機中に第１待機時間よりも長い第２待機時間が経過するまでは、起動状態を継続する。例えば、音声処理部５２４は、第１モードでは、ユーザの音声が停止してから第１待機時間に亘り待機した後に起動状態を終了し、第２モードでは、ユーザの音声が停止してから第１待機時間よりも長い第２待機時間に亘り待機した後に起動状態を終了する。第１待機時間は、例えば数秒である。第２待機時間は、例えば第１待機時間の倍以上の時間であり、例えば３０秒以上であり、例えば１分以上である。ユーザは、冷蔵庫１００の扉１３０を開いて内部を確認しながら食材管理の発話を行う可能性があるため、第２待機時間は、第１待機時間よりも長く設定されている。

別の観点では、音声処理部５２４は、第１モードではユーザの発話内容に応じた処理を実行した後、第３待機時間に亘り待機してから次の処理に移行し、第２モードでは、ユーザの発話内容に応じた処理を実行した後、第３待機時間よりも長い第４待機時間に亘り待機してから次の処理に移行する。例えば、音声処理部５２４は、第１モードでは、ユーザの発話内容に応じた処理を実行してから、第３待機時間に亘り待機した後に次の処理に移行し、第２モードでは、前記ユーザの音声が停止してから第３待機時間よりも長い第４待機時間に亘り待機した後に次の処理に移行してもよい。第１モードでの「次の処理」は、例えば、ユーザの指示に基づく処理が完了した（または開始された）ことを音声にて案内する処理（例えば「急速冷凍を開始しました」を示す音声の出力）である。第２モードでの「次の処理」は、ユーザの指示に基づく処理が完了したことを音声にて案内する処理（例えば「登録を完了しました」を示す音声を出力させる処理）でもよく、食材管理に関する追加の指示の有無を尋ねる音声（後述する終了確認の音声）を出力させる処理でもよい。

変形例では、音声処理部５２４は、第１モードでは、ユーザの発話に応じた処理を実行してから待機時間を有さずに次の処理に移行し、第２モードでは、ユーザの音声が停止してから所定の待機時間に亘り待機してから次の処理に移行する。第１モードでの「次の処理」は、上記と同様に、例えばユーザの指示に基づく処理が完了した（または開始された）ことを音声にて案内する処理である。第２モードでの「次の処理」は、上記と同様に、ユーザの指示に基づく処理が完了したことを音声にて案内する処理（例えば「登録を完了しました」を示す音声を出力させる処理）でもよく、食材管理に関する追加の指示の有無を尋ねる音声（後述する終了確認の音声）を出力させる処理でもよい。

本実施形態では、音声処理部５２４は、第２モードが実行される場合、ユーザの音声が停止した後に食材管理に関する追加の指示の有無を尋ねる音声を出力させ、音声の出力に対するユーザの応答が所定条件を満たした場合に起動状態を終了する。「所定条件」は、例えば、上記ユーザの応答として、追加指示が無いことを示す発話がある、音声対話機能の終了を肯定する発話がある、またはユーザの発話が一定時間以上無い（いわゆるタイムアウト）場合である。

＜７．２ 制御の流れ＞
図２３は、音声対話機能に関する処理の流れを示すフローチャートを示す。以下では、ユーザの発話に所定のワードが含まれる場合、第２モードが実行される例である。

まず、スマートスピーカ２００の情報処理部２５０は、ユーザが発話した場合、ユーザの発話にトリガワードが含まれるか否かを判定する（Ｓ１０１）。スマートスピーカ２００の情報処理部２５０は、ユーザの発話にトリガワードが含まれない場合（Ｓ１０１：ＮＯ）、休止状態を続ける。一方で、スマートスピーカ２００の情報処理部２５０は、ユーザの発話にトリガワードが含まれる場合（Ｓ１０１：ＹＥＳ）、スマートスピーカ２００の音声対話機能を起動させる（Ｓ１０２）。これにより、スマートスピーカ２００は、ユーザの発話の音声データを取得し、取得した音声データをサーバシステム５００に送信する。

サーバシステム５００の情報処理部５２０（以下では単に「情報処理部５２０」と称する）は、スマートスピーカ２００から受け取る音声データを分析し、ユーザの発話に所定のワード（例えば、食材または食材の類語に関するワード）が含まれるか否かを判定する（Ｓ１０３）。

情報処理部５２０は、ユーザの発話に所定のワードが含まれない場合（Ｓ１０３：ＮＯ）、第１モードでユーザの指示を受け付け（Ｓ１０４）、受け付けた指示に対応する処理を実行する（Ｓ１０５）。例えば、情報処理部５２０は、冷蔵庫１００の機能に関する指示を受け付けた場合、当該機能を冷蔵庫１００に実行させるための制御指示を生成し、生成した制御指示を冷蔵庫１００に送信する。

そして、情報処理部５２０は、送信した制御指示に対する冷蔵庫１００の応答を受信し、応答が正常であった場合、ユーザから受け付けた指示を実行した（または開始した）ことを示す音声を生成し、スマートスピーカ２００から出力させる。その後、情報処理部５２０は、スマートスピーカ２００に対して、待機状態を終了させる制御信号、または待機状態を続ける必要が無いことを示す制御信号を送信することでスマートスピーカ２００の起動状態を終了させ、スマートスピーカ２００を休止状態に移行させる（Ｓ１０６）。

一方で、情報処理部５２０は、ユーザの発話に所定のワードが含まれる場合（Ｓ１０３：ＹＥＳ）、制御モードを第１モードから第２モードに切り替え、第２モードでユーザの指示を受け付け（Ｓ１１１）、受け付けた指示に対応する処理を実行する（Ｓ１１２）。例えば、情報処理部５２０は、ユーザの指示に基づき、各種ＤＢ（例えば在庫リストＤＢ６０１）に対する複数の食材の登録、削除、確認を実行する。例えば、情報処理部５２０は、ユーザに対して追加の指示の有無を確認せずに、ユーザの１つ以上の指示のなかで内容を確定できた指示から順次処理を実行する。これに代えて、情報処理部５２０は、ユーザに対して追加の指示の有無を尋ね、追加の指示がないことを確認してから、それまでに受け付けた複数の指示を纏めて実行してもよい。

次に、情報処理部５２０は、ユーザから終了指示があるかを判定する（Ｓ１１３）。終了指示は、例えば、追加の指示がないことを示すユーザの発話であり、「終わり」、「以上」、「これで全部」、「よろしく」などのワードまたはフレーズである。これに代えて／加えて、上記終了指示は、スマートスピーカ２００（または、端末機器４００、冷蔵庫１００）に設けられた所定の操作部（例えば所定のボタン）が操作されること（または、押されていた操作部が離されること）、冷蔵庫１００の開かれていた扉１３０が閉じられること、などでもよい。

情報処理部５２０は、ユーザから終了指示がある場合（Ｓ１１３：ＹＥＳ）、スマートスピーカ２００に対して、待機状態を終了させる制御信号、または待機状態を続ける必要が無いことを示す制御信号を送信することでスマートスピーカ２００の起動状態を終了させ、スマートスピーカ２００を休止状態に移行させる（Ｓ１０６）。

一方で、情報処理部５２０は、ユーザから終了指示がない場合（Ｓ１１３：ＮＯ）、ユーザに対して追加の指示の有無を尋ねる終了確認の音声（例えば「他に何かありますか？」という音声）をスマートスピーカ２００から出力させる（Ｓ１１４）。そして、情報処理部５２０は、ユーザから追加の指示の発話があるか判定する（Ｓ１１５）。言い換えると、情報処理部５２０は、ユーザから１つ以上の指示を受け付けた場合であっても、ユーザから終了指示がない場合は、音声対話機能を終了させず、待機状態を継続させる。

情報処理部５２０は、ユーザから追加の指示がある場合（Ｓ１１５：ＹＥＳ）、Ｓ１１２に戻り、追加の指示に対応する処理を実行する。一方で、情報処理部５２０は、ユーザから追加の指示がある場合（Ｓ１１５：ＮＯ）、Ｓ１１３に戻り、ユーザの終了指示がないか改めて確認する。そして、情報処理部５２０は、上記終了確認の音声を１回以上（例えば複数回）出力した後でもユーザの終了指示がない場合、タイムアウトにより音声対話機能を終了させる。

＜７．３ 処理例＞
情報処理部５２０は、音声対話機能の１回の受付終了までに、第１食材と第１保存場所とが関係を持って発話され、第２食材と第２保存場所とが関係を持って発話された場合、第１食材と第１保存場所とを関連付けて処理し、第２食材と第２保存場所とを関連付けて処理する。例えば、ユーザの発話が「冷蔵室に卵を３個追加、冷凍室にアジの開きを１枚追加、野菜室からパプリカを１つ削除」である場合、登録情報管理部５２２は、「卵」の保存場所として「冷蔵室」を関連付けて処理し、「アジ」の保存場所として「冷凍室」を関連付けて処理し、「パプリカ」の保存場所として「野菜室」を関連付けて処理する。

情報処理部５２０は、音声対話機能の１回の受付終了までに、複数の食材に関する発話が行われ、複数の食材に関する発話の前または後に１つの保存場所が発話された場合、複数の食材と上記１つの保存場所とを関連付けて処理する。例えば、ユーザの発話が「冷蔵室に、卵を３個追加、アジの開きを１枚追加」である場合、または、「卵を３個、アジの開きを１枚、冷蔵室に追加」である場合、登録情報管理部５２２は、「卵」および「アジ」の保存場所として「冷蔵室」を関連付けて処理する。

本実施形態では、ユーザの発話内容に基づいて食材の名称が認識できる場合は、食材の保存場所および／または数量に関する発話は必須ではない。例えば、情報処理部５２０は、保存場所や数量について発話がない場合、それらの情報を空欄として登録を進めてもよい。これに代えて、情報処理部５２０は、保存場所については、食材ＤＢ６０５に登録されているデフォルトの保存場所を自動入力してもよい。これに代えて、情報処理部５２０は、不足している情報については、ユーザに尋ねる音声をスマートスピーカ２００から出力させてもよい。

本実施形態では、音声対話機能により管理される食材の保有状況は、端末機器４００器に表示された表示画面４１１の内容に対する入力操作によっても変更することが可能である。情報処理部５２０は、表示画面４１１の内容に対する入力操作により食材の保有状況が変更されたら、該変更後の保有状況に基づいて、音声対話機能による食材の保有状況の管理を行う。

食材の保有状況の管理は、少なくとも食材の名称と、該食材の数量との情報を含む。情報処理部５２０は、音声対話機能において、ユーザの発話に基づいて食材の名称を受け付けた一方で、該食材の数量については発話内容に含まれなかった場合、予め定められた規則に基づいた所定数量（例えば１個や１パック）が登録されたと扱って該食材の登録を受け付ける。変形例では、情報処理部５２０は、音声対話機能において、ユーザの発話に基づいて食材の名称を受け付けた一方で、該食材の数量については発話内容に含まれなかった場合、該食材の数量を問う音声を出力した上、ユーザの発話に基づいて該食材の数量を示す情報が取得できなかった場合には、該食材の登録は受け付けない。

本実施形態では、情報処理部５２０は、ユーザに食材の在庫を報知する場合であって、在庫の食材数が第１所定数以上（例えば６点以上）の場合、まず在庫として何点の食材が存在するかを音声で出力し、その後、第１所定数よりも少ない第２所定数（例えば５点）の食材の名称を音声で出力し、その後、残りの食材の名称についても読み上げるか否かを尋ねる音声を生成して出力する。例えば、情報処理部５２０は、２０点の食材が存在する場合、まず「全部で２０点の食材があります」と音声で出力し、その後、所定の優先順位（例えば、購入日、賞味期限、消費期限）で優先順位が高い５点の食材の名称を音声で出力し、その後、残りの食材についても読み上げるかユーザに確認する音声を出力する。すなわち、多くの食材が登録されている場合は、一度に全部聞くのは大変なので、数点区切って発話させる。

本実施形態では、登録情報管理部５２２は、在庫リストＤＢ６０１に登録されている食材を削除する場合であって、同一名称の食材が複数存在する場合、購入日、賞味期限、または消費期限に基づき、削除する登録を選択する。例えば、登録情報管理部５２２は、同一名称の食材が複数存在する場合、購入日が古い食材、賞味期限が近い食材、または消費期限が近い食材から優先して登録を削除する。例えば、２月１５日にトマトが３個登録され、これとは別に２月１６日にトマトが２個登録されている場合において、ユーザが「トマト４個を削除して」と発話したら、２月１５日のトマトを３個、２月１６日のトマトを１個で合計４個を削除することとなる。削除の仕方についてはこれに限られない。例えば「野菜室からトマトを消して」といったように保存場所が指定された場合には、その保存場所の食材のみを対象に削除するとよい。同様に、食材の在庫確認についても、ユーザから保存場所が指定された場合には、その保存場所の食材のみを対象に食材の数量を返答するようにしてもよい。また、食材削除において、ユーザが数量を発話しなかった場合には、その食材自体を削除するようにしてもよい。

本実施形態では、応答生成部５２７は、在庫が存在しないまたは在庫が所定量以下の不足食材がある場合、不足食材を買い物リストに追加することを促す音声を生成して出力する。これにより、買い物リストへの食材の追加の手間を省くことができる。

以下、発話例を示す。Ｕはユーザを示し、Ｓはスマートスピーカ２００を示す。
（発話例１）
Ｕ：「ハロー〇〇（トリガワード）、△△（アプリの名称）を開いて」
Ｓ：「はい、なんでしょう？」
Ｕ：「食材管理」
Ｓ：「はい」
Ｕ：「人参３個登録」
Ｓ：「人参３個登録します」
Ｕ：「きゅうり３本登録」
Ｓ：「きゅうり３本登録します」
Ｕ：「以上」
Ｓ：「食材登録を終わります」（トリガワード以外の）音声対話機能停止

（発話例２）
少なくとも食材名と、その食材の数量との情報が揃ったことをもって食材登録を受け付けることとし、不足情報があればユーザに尋ねる。
Ｕ：「ハロー〇〇（トリガワード）、△△（アプリの名称）を開いて」
Ｓ：「はい」
Ｕ：「食材登録おねがい」
Ｓ：「はい」
Ｕ：「トマト３個」
Ｓ：「トマト３個」
Ｕ：「卵」
（所定時間経過）
Ｓ：「卵いくつ？」
Ｕ：「１０」
Ｓ：「卵を１０個登録しました。」
Ｓ：「他には？」
Ｕ：「ない」
Ｓ：「食材登録を終了します」

＜７．３ 実施例＞
（実施例１）
食材名と、その食材の数量とを対応付けて食材登録するようになっており、食材登録指示時の発話内容に数量の情報が無くても、音声認識機能側から数量を問い合わせることなく、食材名の登録を受け付ける。例えば、数量の情報が無かった食材については、空欄で登録する。または、数量の情報が無かった食材については、所定量で登録する。この場合、所定量はユーザが設定可能とする登録する、あるいは、数量の情報が無かった食材については、最小単位量で登録する。

（実施例２）
音声認識により食材登録を受け付けたら、その後、受け付けた内容を読み上げる。受付内容の読み上げは、食材の１つずつの登録毎に、読み上げる復唱式とする。この場合、受け付けた内容の読み上げは食材名のみとする。登録時、不明な食材の数量についてはユーザによる入力を促す音声案内をする（前提として、音声認識による食材登録機能と、手入力による食材登録機能との両方を備える場合）。

（実施例３）
食材登録は、食材登録の旨を音声認識で事前に受け付けたら、その後その一連の音声認識機能で認識される食材名の情報は全て食材登録指示として受け付ける。例えば、食材の登録である旨を動詞Vで、、登録の対象となる食材の名称を目的語Oでそれぞれ表すと、ユーザの発話が「V（O1、O2、O3、O4）」の場合、スマートスピーカ２００の応答は「O1、O2、O3、O4をVしました」とさせる。

一方で、食材登録である旨の指示を事前に聞くことなく食材名の発話が始まったら、食材名を一旦記憶しておき、その後の指示（登録／削除／在庫有無）を待つ（または尋ねる）。例えば、ユーザの発話が「O1、O2、O3、O4」の場合、スマートスピーカ２００の応答は「・・・O1、O2、O3、O4ですね。これらをV1しますか？それともV2しますか」とさせる。

以上説明した冷蔵庫１００の制御部１６０、スマートスピーカ２００の情報処理部２５０、端末機器４００の情報処理部４４０、およびサーバシステム５００の情報処理部５２０の各々は、例えば、各機器に搭載されたＣＰＵ（Central Processing Unit）またはＧＰＵ(Graphics Processing Unit)のようなハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。ただし、制御部１６０、情報処理部２５０、情報処理部４４０、および情報処理部５２０の各々の全部または一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアとの協働によって実現されてもよい。

以上、実施形態について説明したが、実施形態の内容は、上記例に限定されない。例えば、図２４から図３８は、端末機器４００の表示画面４１１（または冷蔵庫１００の表示画面１４１）に表示される画像の変形例を示す。例えば、図２４および図２５は、第１から第４の表示ボックスＤ１～Ｄ４に代えて、異なる態様で第１情報Ｉ１が表示される例である。また図２５は、各扉１３０の手掛け部分も図示された絵柄である。

図２６から図３１は、第１絵柄Ｒ１の変形例を示す。すなわち、冷蔵庫１００を模式的に示す絵柄Ｒ１は、冷蔵庫１００の形状や扉配置などに応じて変更されてよい。これら図２６から図３１中にも図１２および図１３で示される表示ボックスＤ１～Ｄ４または同様の表示が付されることで、各貯蔵室１２０と各貯蔵室１２０の食材情報とをリンクさせて表示させることができる。

図３２から図３８は、第１から第４の表示ボックスＤ１～Ｄ４の絵柄の変形例を示す。すなわち、第１から第４の表示ボックスＤ１～Ｄ４は、長方形に限らず、丸形状、楕円形上、長円形状などが適宜採用される。また、第１から第４の表示ボックスＤ１～Ｄ４の配置位置についても、冷蔵庫の絵柄の側方に限らず、上方や斜め上方、下方、斜め下方などでもよい。例えば、図３５は、表示ボックスの一部が冷蔵庫の絵柄に対して一部重畳されて表示される例である。また、図１２、図１３、図２４から図３８に示された内容は、互いに適宜組み合わせて採用可能である。

以上説明した少なくともひとつの実施形態によれば、音声対話機能の１回の受付終了までに複数種類の食材を登録可能な処理部を持つことにより、使い勝手の向上を図ることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…情報処理システム（食材管理システム）、１００…冷蔵庫、２００…スマートスピーカ、２５０…情報処理部、４００…端末機器、４４０…情報処理部（処理部）、５００…サーバシステム、５２０…情報処理部（処理部）。

Claims (6)

1. 音声対話機能の１回の受付終了までに複数種類の食材を登録可能な処理部、
   を備え、
   前記処理部は、１回の起動において１つの指示を受け付けたら起動状態を終了する第１モードと、１回の起動において１つの指示を受け付けても起動状態を継続する第２モードとを実行可能であり、食材の登録に関しては前記第２モードを実行し、
   前記処理部は、ユーザの発話に冷蔵庫の機能に関するワードが含まれる場合、前記第１モードを実行し、前記ユーザの発話に食材に関するワードが含まれる場合、前記第２モードを実行する、
   情報処理システム。
2. 音声対話機能の１回の受付終了までに複数種類の食材を登録可能な処理部、
   を備え、
   前記処理部は、１回の起動において１つの指示を受け付けたら起動状態を終了する第１モードと、１回の起動において１つの指示を受け付けても起動状態を継続する第２モードとを実行可能であり、食材の登録に関しては前記第２モードを実行し、
   前記処理部は、前記第１モードでは、ユーザによる発話の待機中に第１待機時間が経過したら起動状態を終了し、前記第２モードでは、ユーザによる発話の待機中に前記第１待機時間よりも長い第２待機時間が経過するまでは、起動状態を継続する
   情報処理システム。
3. 音声対話機能の１回の受付終了までに複数種類の食材を登録可能な処理部、
   を備え、
   前記処理部は、１回の起動において１つの指示を受け付けたら起動状態を終了する第１モードと、１回の起動において１つの指示を受け付けても起動状態を継続する第２モードとを実行可能であり、食材の登録に関しては前記第２モードを実行し、
   前記処理部は、前記第１モードではユーザの発話内容に応じた処理を実行した後、第３待機時間に亘り待機してから次の処理に移行し、前記第２モードでは、ユーザの発話内容に応じた処理を実行した後、前記第３待機時間よりも長い第４待機時間に亘り待機してから次の処理に移行する、
   情報処理システム。
4. 前記処理部は、前記第２モードが実行される場合、ユーザの音声が停止した後に食材管理に関する追加の指示がないか尋ねる音声を出力させ、前記音声の出力に対する前記ユーザの応答が所定条件を満たした場合に起動状態を終了する、
   請求項１から請求項３のうちいずれか１項に記載の情報処理システム。
5. 前記音声対話機能により管理される食材の保有状況は、所定機器に表示された表示画面の内容に対する入力操作によっても変更することが可能であり、
   前記表示画面の内容に対する入力操作により食材の保有状況が変更されたら、該変更後の保有状況に基づいて、前記音声対話機能による食材の保有状況の管理を行う、
   請求項１から請求項４のうちいずれか１項に記載の情報処理システム。
6. 前記処理部は、在庫が存在しないまたは在庫が所定量以下の不足食材がある場合、前記不足食材を所定のリストに追加することを促す音声を出力する、
   請求項１から請求項５のうちいずれか１項に記載の情報処理システム。

Images