JP7300631B2 - 撮影装置、及び撮影装置の制御方法 - Google Patents

Description

本開示は、撮影装置、及び撮影装置の制御方法に関する。

特許文献１は、冷蔵庫の上部にカメラを設け、冷蔵庫の開口部を通過する物体を検出した際に撮影を実行し、撮影結果に基づいて冷蔵庫に収容される食品を管理する技術を開示する。

特開２０１９－０７０４７６号公報

本開示は、貯蔵庫に入出庫される物品を精度良く撮影できる撮影装置、及び撮影装置の制御方法を提供する。

本開示における撮影装置は、貯蔵庫の前上方から前記貯蔵庫を動画像により撮影するカメラと、前記貯蔵庫の周辺に人が存在するか否かを検出するセンサーが前記貯蔵庫の周辺に人が存在すると検出した場合、前記カメラに撮影を開始させる撮影制御部と、前記撮影制御部が前記カメラに撮影を開始させた後、前記貯蔵庫のドア又は引出が開いた場合に、前記カメラの撮影結果の録画を開始する録画制御部と、を備える。

また、本開示における撮影装置の制御方法は、貯蔵庫の前上方から前記貯蔵庫を動画像により撮影するカメラを備える撮影装置の制御方法であって、前記貯蔵庫の周辺に人が存在するか否かを検出するセンサーが前記貯蔵庫の周辺に人が存在すると検出した場合、前記カメラに撮影を開始させ、前記カメラに撮影を開始させた後、前記貯蔵庫のドア又は引出が開いた場合に、前記カメラの撮影結果の録画を開始する。

本開示における撮影装置、及び撮影装置の制御方法は、センサーが貯蔵庫の周辺に人が存在すると検出した場合にカメラに撮影を開始させることで、貯蔵庫のドア又は引出が開く前に貯蔵庫に入出庫される物品をカメラの撮影結果に含められる可能性を高めることができる。そのため、貯蔵庫に入出庫される物品を精度良く撮影できる。

実施の形態１における食品管理システムの構成を示す図 実施の形態１における冷蔵庫に設置されたカメラユニットを右方側から見た側面図 実施の形態１における主箱体の前端縁に当接している位置規制部材を左前方側から見た斜視図 実施の形態１における冷蔵庫及びカメラユニットを前方側から見た正面図 実施の形態１における冷蔵庫及びカメラユニットを右側から見た平面図 実施の形態１におけるカメラユニットの構成を示すブロック図 実施の形態１における端末装置及び食品管理サーバーの構成を示すブロック図 実施の形態１における冷蔵室管理データベースの一例を示す図 実施の形態１における冷蔵室庫内画像の一例を示す図 実施の形態１における引出管理データベースの一例を示す図 実施の形態１における調整用画面の一例を示す図 実施の形態１における中央位置記録用紙の一例を示す図 実施の形態１におけるカメラユニットの動作を示すフローチャート 実施の形態１における食品管理システムの動作を示すフローチャート 実施の形態１における入出庫判定画像を説明するための図 実施の形態１における冷蔵室ホーム画面の一例を示す図 実施の形態１におけるメモの入力手順を示す図 実施の形態１における収容リスト画面の一例を示す図 実施の形態１における新規追加リスト画面の一例を示す図 実施の形態１における食品情報の追加手順を説明するための図 実施の形態１における削除対象リスト画面の一例を示す図 実施の形態１における食品管理システムの動作を示すフローチャート 実施の形態１における野菜室ホーム画面の一例を示す図 実施の形態１における食品画像リスト画面の一例を示す図 実施の形態１における食品管理システムの動作を示すフローチャート 実施の形態２における端末装置及び食品管理サーバーの構成を示すブロック図

（本開示の基礎となった知見等）
発明者らが本開示に想到するに至った当時、貯蔵庫に入出庫される物品を撮影する技術があった。しかしながら、特許文献１のような従来の技術は、貯蔵庫のドア又は引出が開いてからカメラに撮影を開始させる。そのため、従来の技術では、入出庫される物品の速度や、ドア又は引出が開いてからカメラが撮影を開始するまでのタイムラグ等によっては、入出庫される物品がカメラの撮影結果に含まれない虞がある、と言う課題を発明者らは発見し、その課題を解決するために、本開示の主題を構成するに至った。
そこで、本開示は、貯蔵庫に入出庫される物品を精度良く撮影できる撮影装置、及び撮影装置の制御方法を提供する。

以下、図面を参照しながら実施の形態を詳細に説明する。但し、必要以上に詳細な説明を省略する場合がある。例えば、既によく知られた事項の詳細説明、または、実質的に同一の構成に対する重複説明を省略する場合がある。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することを意図していない。

（実施の形態１）
まず、実施の形態１について説明する。
［１－１．構成］
［１－１－１．食品管理システムの構成］
図１は、食品管理システム１０００の構成を示す図である。

食品管理システム１０００は、冷蔵庫１が収容する食品について、冷蔵庫１に収容された収容日時等を管理するシステムである。
冷蔵庫１は、本開示の貯蔵庫の一例に対応する。食品は、本開示の物品の一例に対応する。

食品管理システム１０００は、冷蔵庫１を備える。冷蔵庫１は、前面が開口した主箱体１０を備える。主箱体１０には、冷蔵室１１、製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５が形成されている。冷蔵室１１の前面の開口部には、回転式の左ドア１１Ａ及び右ドア１１Ｂが設けられている。製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５のそれぞれには、食品を収容する引出１２Ａ、１３Ａ、１４Ａ、１５Ａが設けられている。本開示の引出１４Ａ、１５Ａは、上段ケースＪＣＡと下段ケースＧＣＡとの２つのケースＣＡを備えている。
上段ケースＪＣＡは、本開示の第１ケースの一例に対応する。下段ケースＧＣＡは、本開示の第２ケースの一例に対応する。

以下の説明において、左ドア１１Ａ及び右ドア１１Ｂを区別しない場合、「ドア」といい「１１Ｃ」の符号を付す。また、以下の説明において、引出１２Ａ、１３Ａ、１４Ａ、１５Ａを区別しない場合、「引出」といい「１６Ａ」の符号を付す。

食品管理システム１０００は、カメラユニット２を備える。カメラユニット２は、撮影を行い、撮影画像から冷蔵庫１に入出庫される食品を検出する装置である。カメラユニット２は、冷蔵庫１の主箱体１０の上面１０Ｂに設けられる。
カメラユニット２は、本開示の撮影装置の一例に対応する。

食品管理システム１０００は、端末装置３を備える。端末装置３は、例えばスマートフォンやタブレット端末である。端末装置３は、冷蔵庫１の食品を管理するためのアプリケーションプログラムがインストールされており、このアプリケーションプログラムの機能によって食品管理サーバー４と通信する。
以下の説明では、このアプリケーションプログラムを、「食品管理アプリ」といい「３１１」の符号を付す。
食品管理アプリ３１１は、本開示のプログラム及びアプリケーションプログラムの一例に対応する。

図１では、在宅するユーザーＰを実線で示し、自宅Ｈから外出したユーザーＰを点線で示している。端末装置３は、在宅するユーザーＰに使用される場合、食品管理アプリ３１１の機能によって、通信装置５を介して、或いは通信装置５を介さずに、食品管理サーバー４と通信する。また、端末装置３は、自宅Ｈから外出したユーザーＰに使用され、且つ、通信装置５と通信接続を確立できない場合、食品管理アプリ３１１の機能によって、通信装置５を介すことなく食品管理サーバー４と通信する。

通信装置５は、インターネット、電話網、その他の通信網を含むグローバルネットワークＧＮに接続し、グローバルネットワークＧＮに接続する食品管理サーバー４と通信する。通信装置５は、端末装置３をグローバルネットワークＧＮに接続するためのインターフェイス装置である。

食品管理システム１０００は、食品管理サーバー４を備える。食品管理サーバー４は、冷蔵庫１の食品を管理するサーバー装置であり、グローバルネットワークＧＮに接続する。なお、各図では、食品管理サーバー４を、１つのブロックによって表現するが、これは必ずしも食品管理サーバー４が単一のサーバー装置により構成されることを意味していない。例えば、食品管理サーバー４は、処理内容が異なる複数のサーバー装置を含んで構成されたものでもよい。

次に、カメラユニット２、端末装置３、及び食品管理サーバー４の構成について説明する。

［１－１－２．カメラユニットの構成］
図２－図４を参照してカメラユニット２について説明する。
図２－図４では、Ｘ軸、Ｙ軸、及びＺ軸を図示している。Ｘ軸、Ｙ軸、及びＺ軸は互いに直交する。Ｚ軸は、上下方向を示す。Ｘ軸及びＹ軸は、水平方向と平行である。Ｘ軸は左右方向を示し、また、冷蔵庫１及びカメラユニット２の幅方向を示す。Ｙ軸は前後方向を示し、また、冷蔵庫１及びカメラユニット２の奥行き方向を示す。Ｘ軸の正方向は右方向を示す。Ｙ軸の正方向は前方向を示す。Ｚ軸の正方向は上方向を示す。

図２は、冷蔵庫１に設置されたカメラユニット２を右方側から見た側面図である。図３は、主箱体１０の前端縁１０Ａに当接している位置規制部材２０５を左前方側から見た斜視図である。

図２及び図３で示すように、カメラユニット２は、主箱体１０の上面１０Ｂに設置される外観箱状の本体２０１を備える。さらに、カメラユニット２は、本体２０１の前部上方に、本体２０１から前方に延在する撮影部材２０２を備える。撮影部材２０２は、冷蔵室用カメラ２０３及び引出用カメラ２０４を備える。冷蔵室用カメラ２０３及び引出用カメラ２０４の各々は、撮影部材２０２の下部において本体２０１より前方に設けられる。

本体２０１は、主箱体１０の前端縁１０Ａに当接することで、冷蔵庫１の前後方向における撮影部材２０２の位置を規制する位置規制部材２０５を備える。位置規制部材２０５は、設置状態において本体２０１の底面２０６から下方に延びる位置規制片である。位置規制部材２０５は、本体２０１の前面において本体２０１の左右方向に延在し、本体２０１の左右方向の中央にマーク２０７を有する。このマーク２０７は、カメラユニット２の左右方向における中央の位置を示す。

位置規制部材２０５の長さは、設置状態において、主箱体１０の上面１０Ｂから冷蔵庫１とドア１１Ｃとの間に設けられるパッキンまでの長さより短く形成されている。より詳細には、位置規制部材２０５の長さは、設置状態において、主箱体１０の上面１０Ｂから、ドア１１Ｃの内面上部において上面１０Ｂと略並行に設けられたドアパッキンまでの長さより短く形成されている。

本体２０１は、内蔵するマグネット２０８によって、位置規制部材２０５により規制された位置で固定される。本体２０１を固定する手段は、マグネット２０８に限定されず、両面テープ等の他の手段でもよい。

図４は、冷蔵庫１及びカメラユニット２を前方側からみた正面図である。図４に示す冷蔵庫１は、左ドア１１Ａ及び右ドア１１Ｂが開状態である。図５は、冷蔵庫１及びカメラユニット２を右側からみた平面図である。図５に示す冷蔵庫１は、引出１５Ａが、開状態、すなわち引き出された状態である。図４及び図５に示すカメラユニット２は、冷蔵庫１の左右方向の略中央にマーク２０７が位置し、前端縁１０Ａに位置規制部材２０５が当接している。

カメラユニット２は、冷蔵室用カメラ２０３及び引出用カメラ２０４を有する。
冷蔵室用カメラ２０３は、冷蔵庫１の前上方から下方を撮影することで、冷蔵室１１に入出庫される食品を撮影する。

例えば、冷蔵室用カメラ２０３の撮影範囲は、前面視において、図４に示す範囲Ａ１を含む。範囲Ａ１は、ドア１１Ｃが開状態において、ドア１１Ｃに設けられるドアポケット１１１、及び冷蔵室１１の前面の開口部を含む範囲である。また、冷蔵室用カメラ２０３の撮影範囲は、側面視において、図５に示す範囲Ａ３を含む。範囲Ａ３は、前後方向において、開状態のドア１１Ｃから、棚１１２の前端部までを含む範囲であり、且つ、上下方向において冷蔵室１１の開口部を含む範囲である。

引出用カメラ２０４は、冷蔵庫１の前上方から下方を撮影することで、引き出し式収容室に入出庫される食品を撮影する。

例えば、引出用カメラ２０４の撮影範囲は、前面視において、図４に示す範囲Ａ２を含む。範囲Ａ２は、冷蔵庫１の前面視において、引出１６Ａを含む範囲である。また、引出用カメラ２０４の撮影範囲は、側面視において、図５に示す範囲Ａ４を含む。範囲Ａ４は、前後方向において、最も引き出された状態の引出１６Ａを含む範囲である。

カメラユニット２は、左ドア用測距センサー２０９、右ドア用測距センサー２１０、及び引出用測距センサー２１１を有する。

左ドア用測距センサー２０９は、左ドア１１Ａの開閉状態を検出するための測距センサーである。左ドア用測距センサー２０９は、左ドア１１Ａの開閉状態として、左ドア１１Ａとの離間距離を検出する。

右ドア用測距センサー２１０は、右ドア１１Ｂの開閉状態を検出するための測距センサーである。右ドア用測距センサー２１０は、右ドア１１Ｂの開閉状態として、右ドア１１Ｂとの離間距離を検出する。

引出用測距センサー２１１は、引出１６Ａの開閉状態を検出するための測距センサーである。なお、引出１６Ａが開状態であるとは、対応する引き出し式収容室から引き出された状態である。また、引出１６Ａが閉状態であるとは、対応する引き出し式収容室に収容された状態である。引出用測距センサー２１１は、引出１６Ａの開閉状態として、引出１６Ａとの離間距離を検出する。
本実施の形態では、引出用測距センサー２１１は、引出１４Ａ、１５Ａの各々の開閉状態を検出する。

カメラユニット２は、人感センサー２１２を有する。人感センサー２１２は、検出値をカメラユニット制御部２０に出力する。人感センサー２１２は、撮影部材２０２の所定の位置に設けられる。
人感センサー２１２は、本開示の「センサー」の一例に対応する。

なお、図４及び図５における各センサー及び各カメラの並び順及び設置位置は、カメラユニット２の説明便宜のための図示されたものであり、これらの並び順及び設置位置は、図４及び図５が示す並び順及び設置位置に限定されない。

図６は、カメラユニット２の構成を示すブロック図である。
カメラユニット２は、カメラユニット制御部２０、カメラユニット通信部２１、センサー部２２、撮影部２３、及び電力供給部２４を備える。

カメラユニット制御部２０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro-processing unit）等のプロセッサーであるカメラユニットプロセッサー２２０、及びカメラユニット記憶部２３０を備える。カメラユニット制御部２０は、カメラユニットプロセッサー２２０が、カメラユニット記憶部２３０が記憶する制御プログラムを読み出して実行することにより、カメラユニット２の各部を制御する。カメラユニットプロセッサー２２０は、カメラユニット記憶部２３０に記憶された制御プログラムを実行することで、カメラユニット通信制御部２２１、検出値処理部２２２、撮影制御部２２３、録画制御部２２４、及び食品検出部２２５として機能する。

カメラユニット記憶部２３０は、カメラユニットプロセッサー２２０が実行するプログラムや、カメラユニットプロセッサー２２０に処理されるデータを記憶するメモリーを備える。カメラユニット記憶部２３０は、カメラユニットプロセッサー２２０が実行する制御プログラム、カメラユニット２の識別情報であるカメラユニットＩＤ４１１２、その他の各種データを記憶する。カメラユニット記憶部２３０は、不揮発性の記憶領域を有する。また、カメラユニット記憶部２３０は、揮発性の記憶領域を備え、カメラユニットプロセッサー２２０のワークエリアを構成してもよい。

カメラユニット通信部２１は、所定の通信規格に従った通信回路やコネクタ等を備える通信インターフェイスであり、カメラユニット制御部２０の制御で食品管理サーバー４及び端末装置３と通信する。本実施の形態では、カメラユニット通信部２１が使用する通信規格は、無線通信規格を例示するが、有線通信規格でもよい。

センサー部２２は、左ドア用測距センサー２０９、右ドア用測距センサー２１０、引出用測距センサー２１１、及び人感センサー２１２を備え、センサーごとに検出値をカメラユニット制御部２０に出力する。

撮影部２３は、冷蔵室用カメラ２０３と引出用カメラ２０４とを備える。撮影部２３は、冷蔵室用カメラ２０３及び引出用カメラ２０４の各々の撮影結果をカメラユニット制御部２０に出力する。冷蔵室用カメラ２０３及び引出用カメラ２０４は、動画像を撮影する。
以下、冷蔵室用カメラ２０３及び引出用カメラ２０４を区別しない場合、「カメラ」といい「２１３」の符号を付す。

電力供給部２４は、電力供給回路等のハードウェアを備え、カメラユニット２の各部に電力を供給する。本実施の形態では、カメラユニット２の電源ケーブル７が商用交流電源８に接続されており、電力供給部２４は、外部の商用交流電源８から供給された電力に基づいて、カメラユニット２の各々に電力を供給する。

なお、電力供給部２４に電力を供給する供給元は、外部の商用交流電源８に限定されず、冷蔵庫１或いはバッテリーでもよい。供給元が前者の場合、電力供給部２４及び冷蔵庫１は、ＵＳＢ給電が可能な規格に従ったポート等のハードウェアを備える。そして、供給元が前者の場合では、カメラユニット２のＵＳＢケーブルが冷蔵庫１のＵＳＢポートに接続し、ＵＳＢケーブルを介して冷蔵庫１が電力供給部２４に電力を供給する。供給元が後者の場合、カメラユニット２は、バッテリーを備える。

上述したように、カメラユニット制御部２０は、カメラユニット通信制御部２２１、検出値処理部２２２、撮影制御部２２３、録画制御部２２４、及び食品検出部２２５として機能する。
食品検出部２２５は、物品検出部の一例に対応する。

カメラユニット通信制御部２２１は、カメラユニット通信部２１を介して、食品管理サーバー４と通信する。

検出値処理部２２２は、センサー部２２から出力される各センサーの検出値に基づいて、左ドア１１Ａ、右ドア１１Ｂ、引出１４Ａ、１５Ａの各々について開状態か閉状態かを判定する。検出値処理部２２２は、左ドア１１Ａ、右ドア１１Ｂのいずれかが開状態であると判定した場合、ドア１１Ｃが開状態であることを示すドア開状態情報を、録画制御部２２４及び食品検出部２２５に出力する。また、検出値処理部２２２は、左ドア１１Ａ、右ドア１１Ｂのいずれも閉状態であると判定した場合、ドア１１Ｃが閉状態であることを示すドア閉状態情報を、録画制御部２２４及び食品検出部２２５に出力する。検出値処理部２２２は、引出１４Ａ、１５Ａのいずれかが開状態であると判定した場合、引出１４Ａ、１５Ａのいずれかが開状態であることを示す引出開状態情報を、録画制御部２２４及び食品検出部２２５に出力する。また、検出値処理部２２２は、引出１４Ａ、１５Ａのいずれも閉状態であると判定した場合、引出１４Ａ、１５Ａが閉状態であることを示す引出閉状態情報を、録画制御部２２４及び食品検出部２２５に出力する。

また、検出値処理部２２２は、センサー部２２から出力される人感センサー２１２の検出値に基づいて、冷蔵庫１の周辺に人が存在するか否かを判定する。検出値処理部２２２は、冷蔵庫１の周辺に人が存在すると判定した場合、人が存在することを示す存在有無情報を、撮影制御部２２３に出力する。また、検出値処理部２２２は、冷蔵庫１の周辺に人が存在しないと判定した場合、人が存在しないことを示す存在有無情報を、撮影制御部２２３に出力する。

撮影制御部２２３は、人が存在することを示す存在有無情報を検出値処理部２２２が出力した場合、冷蔵室用カメラ２０３及び引出用カメラ２０４に撮影を開始させる。撮影制御部２２３は、人が存在しないことを示す存在有無情報を検出値処理部２２２が出力した場合、冷蔵室用カメラ２０３及び引出用カメラ２０４に撮影を終了させる。

録画制御部２２４は、ドア開状態情報を検出値処理部２２２が出力した場合、冷蔵室用カメラ２０３の撮影結果の録画を開始する。録画制御部２２４は、ドア閉状態情報を検出値処理部２２２が出力した場合、開始した冷蔵室用カメラ２０３の撮影結果の録画を終了する。また、録画制御部２２４は、引出開状態情報を検出値処理部２２２が出力した場合、引出用カメラ２０４の撮影結果の録画を開始する。録画制御部２２４は、引出閉状態情報を検出値処理部２２２が出力した場合、開始した引出用カメラ２０４の撮影結果の録画を終了する。録画制御部２２４は、録画を終了すると、録画を開始してから終了するまでの動画像を１の録画ファイル２３１として生成し、カメラユニット記憶部２３０に記憶させる。

食品検出部２２５は、カメラユニット記憶部２３０に記憶された録画ファイル２３１に基づいて、冷蔵庫１に入出庫された食品を検出する。

図７は、端末装置３及び食品管理サーバー４の構成を示すブロック図である。

［１－１－３．食品管理サーバーの構成］
まず、食品管理サーバー４の構成について説明する。
食品管理サーバー４は、サーバー制御部４０及びサーバー通信部４１を備える。

サーバー制御部４０は、ＣＰＵやＭＰＵ等のプロセッサーであるサーバープロセッサー４００、及びサーバー記憶部４１０を備える。サーバー制御部４０は、サーバープロセッサー４００が、サーバー記憶部４１０に記憶された制御プログラムを読み出して実行することにより、食品管理サーバー４の各部を制御する。サーバープロセッサー４００は、サーバー記憶部４１０が記憶する制御プログラムを実行することで、サーバー通信制御部４０１及び情報処理部４０２として機能する。

サーバー記憶部４１０は、サーバープロセッサー４００が実行するプログラムや、サーバープロセッサー４００により処理されるデータを記憶するメモリーを有する。サーバー記憶部４１０は、サーバープロセッサー４００が実行する制御プログラム、冷蔵室食品管理データベース４１１、引出食品管理データベース４１２、その他の各種データを記憶する。サーバー記憶部４１０は、不揮発性の記憶領域を有する。サーバー記憶部４１０は、揮発性の記憶領域を備え、サーバープロセッサー４００のワークエリアを構成してもよい。

図８は、冷蔵室食品管理データベース４１１が格納する１件のレコードの一例を示す図である。
冷蔵室食品管理データベース４１１は、冷蔵室１１が収容する食品に係る各種情報を格納するデータベースである。
以下の説明において、冷蔵室食品管理データベース４１１が格納する１件のレコードを、「冷蔵室食品管理レコード」といい「ＲＲ」の符号を付す。

冷蔵室食品管理レコードＲＲは、アカウントＩＤ４１１１、カメラユニットＩＤ４１１２、冷蔵庫機種情報４１１３、冷蔵室庫内画像データ４１１４、入出庫有無情報４１１５、食品画像データ４１１６、収容日時情報４１１７、分割エリア番号４１１８、メモ入力有無情報４１１９、メモ情報４１３０、削除情報４１３１、及び削除日時情報４１３２を有する。

アカウントＩＤ４１１１は、食品管理アプリ３１１を利用するユーザーＰに割り当てられたアカウントを識別する識別情報である。

冷蔵庫機種情報４１１３は、同じレコードで対応付くアカウントＩＤ４１１１が示すユーザーＰが使用する冷蔵庫１の機種を示す情報である。

冷蔵室庫内画像データ４１１４は、冷蔵庫１の冷蔵室１１の庫内を示す画像の画像データである。以下、冷蔵室１１の庫内を示す画像を、「冷蔵室庫内画像」といい「ＲＧ」の符号を付す。冷蔵室庫内画像データ４１１４は、同じレコードで対応付く冷蔵庫機種情報４１１３が示す機種に対応した冷蔵室庫内画像ＲＧを示す。
冷蔵室庫内画像ＲＧは、庫内画像の一例に対応する。

図９は、冷蔵室庫内画像ＲＧの一例を示す図である。
図９に示す冷蔵室庫内画像ＲＧは、左ドアポケット画像ＲＧ１、冷蔵室前面画像ＲＧ２、及び右ドアポケット画像ＲＧ３を含む。図９に示す冷蔵室庫内画像ＲＧは、左ドアポケット画像ＲＧ１、冷蔵室前面画像ＲＧ２、及び右ドアポケット画像ＲＧ３が、図中左からこの順に並んでいる。左ドアポケット画像ＲＧ１は、左ドア１１Ａに形成されたドアポケット１１１を示す画像である。冷蔵室前面画像ＲＧ２は、左ドア１１Ａと右ドア１１Ｂとが開状態である場合の冷蔵室１１を正面から見た画像である。右ドアポケット画像ＲＧ３は、右ドア１１Ｂに形成されたドアポケット１１１を示す画像である。

冷蔵室庫内画像ＲＧは、画像領域が複数のエリアに分割されている。この各エリアを、「分割エリア」といい「ＢＡ」の符号を付す。図９で示す冷蔵室庫内画像ＲＧは、１５の分割エリアＢＡに分割されている。分割エリアＢＡの各々には、互いに異なる番号が割り当てられている。以下の説明では、この番号を分割エリア番号といい「４１１８」の符号を付す。なお、図９では、どの分割エリアＢＡにどの分割エリア番号が割り当てられているかを便宜的に図示しており、後述する冷蔵室ホーム画面ＧＭ２に表示される冷蔵室庫内画像ＲＧにおいては分割エリア番号４１１８が表示されない。

図８の説明に戻り、入出庫有無情報４１１５は、新規の入出庫が有ったか否かを示す情報である。

食品画像データ４１１６は、食品の画像データである。本実施の形態において、この食品画像データ４１１６が示す画像は、冷蔵室用カメラ２０３の撮影画像である。

収容日時情報４１１７は、食品が冷蔵庫１に収容された収容日時を示す情報である。

冷蔵室食品管理レコードＲＲは、食品画像データ４１１６ごとに分割エリア番号４１１８を有する。

メモ入力有無情報４１１９は、メモの入力が有るか無いかを示す情報である。

メモ情報４１３０は、入力されたメモを示す情報である。

削除情報４１３１は、対応付くサブレコードが、冷蔵室食品管理レコードＲＲから削除対象のサブレコードであるか否かを示す情報である。サブレコードとは、冷蔵室食品管理レコードＲＲに格納されるレコードであって、食品画像データ４１１６、収容日時情報４１１７、分割エリア番号４１１８、メモ入力有無情報４１１９、及びメモ情報４１３０を有する。

削除日時情報４１３２は、対応付くサブレコードが、削除対象とされた日時を示す情報である。後述する情報処理部４０２は、削除情報４１３１が削除対象を示す場合、所定のタイミングで、サブレコードと、このサブレコードに対応付く削除情報４１３１及び削除日時情報４１３２とを、冷蔵室食品管理レコードＲＲから削除する。

図１０は、引出食品管理データベース４１２が格納する１件のレコードを示す図である。
引出食品管理データベース４１２は、引き出し式収容室の食品に係る各種情報を格納するデータベースである。なお、引出食品管理データベース４１２は、図２３－図２５を参照した説明においては野菜室１５に係わるデータベースである。
以下の説明において、引出食品管理データベース４１２が格納する１件のレコードを、「引出食品管理レコード」といい「ＨＲ」の符号を付す。

引出食品管理レコードＨＲは、アカウントＩＤ４１１１、カメラユニットＩＤ４１１２、更新日時情報４１２１、上段ケース情報４１２２、及び下段ケース情報４１２４を有する。

更新日時情報４１２１は、引出食品管理レコードＨＲの内容を更新した日時を示す情報である。

上段ケース情報４１２２は、上段ケース画像データ４１２３、食品画像データ４１１６、メモ入力有無情報４１１９、及びメモ情報４１３０を有する。

上段ケース画像データ４１２３は、上段ケースＪＣＡの画像である上段ケース画像ＪＣＧの画像データである。上段ケース画像ＪＣＧは、引出用カメラ２０４の撮影画像である。
上段ケース画像ＪＣＧは、本開示の第１ケース画像の一例に対応する。

本実施の形態において、上段ケース情報４１２２が有する食品画像データ４１１６が示す画像は、上段ケース画像ＪＣＧから切り出された画像である。

下段ケース情報４１２４は、下段ケース画像データ４１２５、食品画像データ４１１６、メモ入力有無情報４１１９、及びメモ情報４１３０を有する。

下段ケース画像データ４１２５は、下段ケースＧＣＡの画像である下段ケース画像ＧＣＧの画像データである。下段ケース画像ＧＣＧは、引出用カメラ２０４の撮影画像である。
下段ケース画像ＧＣＧは、本開示の第２ケース画像の一例に対応する。
以下、上段ケース画像ＪＣＧ及び下段ケース画像ＧＣＧを区別しない場合、「ケース画像」といい「ＣＧ」の符号を付す。

本実施の形態において、下段ケース情報４１２４が有する食品画像データ４１１６が示す画像は、下段ケース画像ＧＣＧから切り出された画像である。

図７の説明に戻り、サーバー通信部４１は、所定の通信規格に従った無線回路やアンテナ等の通信に係わる構成を備える通信インターフェイスであり、所定の通信規格に従ってグローバルネットワークＧＮと接続する機器と通信する。本実施形態においてサーバー通信部４１は、カメラユニット２及び端末装置３と通信する。

上述したように、サーバー制御部４０は、サーバー通信制御部４０１及び情報処理部４０２として機能する。

サーバー通信制御部４０１は、サーバー通信部４１を介して、カメラユニット２及び端末装置３と通信する。

情報処理部４０２は、カメラユニット２及び端末装置３からサーバー通信制御部４０１が受信した情報に基づいて、各種の情報処理を行う。

［１－１－４．端末装置の構成］
次に、端末装置３の機能的構成について説明する。
端末装置３は、端末制御部３０、端末通信部３１、及びタッチパネル３２を備える。
タッチパネル３２は、表示部の一例に対応する。

端末制御部３０は、ＣＰＵやＭＰＵ等のプロセッサーである端末プロセッサー３００、及び端末記憶部３１０を備える。端末制御部３０は、端末プロセッサー３００が、端末記憶部３１０に記憶された制御プログラムを読み出して実行することにより、端末装置３の各部を制御する。端末装置３には、食品管理アプリ３１１がインストールされている。端末プロセッサー３００は、食品管理アプリ３１１を読み出して実行することで、アプリ実行部３０１として機能する。
端末プロセッサー３００は、本開示のコンピューターの一例に対応する。また、アプリ実行部３０１は、本開示の表示制御部の一例に対応する。

端末記憶部３１０は、端末プロセッサー３００が実行するプログラムや、端末プロセッサー３００により処理されるデータを記憶するメモリーを有する。端末記憶部３１０は、端末プロセッサー３００が実行する制御プログラム、食品管理アプリ３１１、アカウントＩＤ４１１１、その他の各種データを記憶する。端末記憶部３１０は、不揮発性の記憶領域を有する。また、端末記憶部３１０は、揮発性の記憶領域を備え、端末プロセッサー３００のワークエリアを構成してもよい。

端末通信部３１は所定の通信規格に従った無線回路やアンテナ等の構成を備える通信インターフェイスであり、所定の通信規格に従って、グローバルネットワークＧＮと接続する機器と通信する。本開示では、端末通信部３１が使用する通信規格として無線通信規格を例示する。

タッチパネル３２は、液晶表示パネル等の表示パネルと、表示パネルに重ねて、或いは一体に設けられたタッチセンサーとを備える。

上記の通り、端末制御部３０は、アプリ実行部３０１として機能する。
アプリ実行部３０１は、端末通信部３１を介して、食品管理サーバー４と各種情報を送受信する。

また、アプリ実行部３０１は、冷蔵庫１の食品の管理に係るユーザーインターフェースを、タッチパネル３２に表示させる。以下の説明において、このユーザーインターフェースを、「アプリＵＩ」といい「３２０」の符号を付す。アプリ実行部３０１は、アプリＵＩ３２０をタッチパネル３２に表示させることで、冷蔵庫１の食品に係る各種情報をユーザーＰに提供し、また、冷蔵庫１の食品に係る各種入力をユーザーＰから受け付ける。

［１－２．動作］
次に、食品管理システム１０００に係わる各部の動作について説明する。

［１－２－１．カメラユニットの設置］
カメラユニット２は、冷蔵庫１と別体である。そのため、カメラユニット２は、ユーザーＰによって冷蔵庫１の上面１０Ｂに設置される。上述したように位置規制部材２０５が、冷蔵庫１の前後方向におけるカメラユニット２の位置を規制するため、ユーザーＰは、カメラユニット２の設置を行う際、冷蔵庫１の左右方向における位置を調整する。
以下、冷蔵庫１の左右方向におけるカメラユニット２の位置調整の方法を複数例示する。

［１－２－１－１．第１の位置調整］

第１の位置調整では、ユーザーＰがアプリＵＩ３２０を用いる。
第１の位置調整では、アプリ実行部３０１は、調整用画面ＧＭ１のアプリＵＩ３２０をタッチパネル３２に表示させる。

図１１は、調整用画面ＧＭ１の一例を示す図である。
調整用画面ＧＭ１は、撮影結果表示領域ＨＡ１が設けられる。撮影結果表示領域ＨＡ１は、矩形の領域であり、冷蔵室用カメラ２０３及び引出用カメラ２０４のいずれかの撮影結果を表示する領域である。撮影結果表示領域ＨＡ１には、図中の左右方向における略中央に、上下方向に延びる線Ｌ１が設けられている。

調整用画面ＧＭ１は、調整方法情報Ｊ１を含む。調整方法情報Ｊ１は、撮影結果表示領域ＨＡ１に写る冷蔵庫１の左右方向の中心が、撮影結果表示領域ＨＡ１に設けられた線Ｌ１となるように位置調整することを促す。

ユーザーＰは、調整方法情報Ｊ１が示す調整方法に従って、カメラユニット２を冷蔵庫１に設置する。これにより、カメラユニット２は、冷蔵室用カメラ２０３及び引出用カメラ２０４の各々が、冷蔵庫１に入出庫される食品を撮影範囲に含ませることができるようになる。また、カメラユニット２は、具備する各測距センサーが、対応するドア１１Ｃ又は引出１６Ａの開閉を検出できるようになる。

第１の位置調整においては、カメラユニット２が、冷蔵室用カメラ２０３及び引出用カメラ２０４のいずれかの撮影結果を端末装置３に送信する。なお、第１の位置調整において、カメラユニット２と端末装置３とは、食品管理サーバー４を介し、或いは、近距離無線通信等によって直接通信する。

カメラユニット２のカメラユニット通信制御部２２１は、冷蔵室用カメラ２０３及び引出用カメラ２０４のいずれかの撮影結果を、端末装置３に送信する。そして、アプリ実行部３０１は、受信した撮影結果を撮影結果表示領域ＨＡ１に表示する。

［１－２－１－２．第２の位置調整］
第２の位置調整では、ユーザーＰが中央位置記録用紙ＣＹを用いる。

図１２は、中央位置記録用紙ＣＹの一例を示す図である。
中央位置記録用紙ＣＹは、冷蔵庫１の左右方向における中央の位置を示す中央マークＭＲ２が記録された用紙である。中央位置記録用紙ＣＹには、中央マークＭＲ２以外に、冷蔵庫１の左右方向における左端の位置を示す左端マークＭＲ１、及び冷蔵庫１の左右方向における右端の位置を示す右端マークＭＲ３が記録されている。

中央位置記録用紙ＣＹは、冷蔵庫１と共に同梱されユーザーＰに届く。なお、カメラユニット２は、中央位置記録用紙ＣＹ及び冷蔵庫１と共に同梱されていてもよいし、同梱されていなくてもよい。冷蔵庫１と共に同梱された中央位置記録用紙ＣＹは、左端マークＭＲ１から右端マークＭＲ３までの長さが、この冷蔵庫１の幅に対応した長さである。

第２の位置調整において、ユーザーＰは、中央位置記録用紙ＣＹを用いて、冷蔵庫１の左右方向における中央の位置がどこであるかを把握する。例えば、ユーザーＰは、左端マークＭＲ１が冷蔵庫１の左端、右端マークＭＲ３が冷蔵庫１の右端となるように、中央位置記録用紙ＣＹを冷蔵庫１に貼り付け、中央マークＭＲ２を目印として冷蔵庫１の左右方向における中央の位置を把握する。そして、ユーザーＰは、カメラユニット２の位置規制部材２０５が有するマーク２０７が、把握した中央の位置となるように、カメラユニット２の位置を調整する。

第２の位置調整によって、カメラユニット２は、第１の位置調整と同様に、各種検出ができるようになる。

［１－２－１－３．第３の位置調整］
第３の位置調整では、冷蔵庫１の所定の位置に、冷蔵庫１の左右方向における中央の位置を示すマークが付されている。第３の位置調整では、位置規制部材２０５が有するマーク２０７と、冷蔵庫１に付されたマークとを用いる。

第３の位置調整において、ユーザーＰは、冷蔵庫１の左右方向において、冷蔵庫１に付されたマークの位置と、位置規制部材２０５が有するマーク２０７の位置とが一致するように、カメラユニット２を位置調整する。

第３の位置調整によって、カメラユニット２は、第１の位置調整と同様に、各種検出ができるようになる。

次に、カメラユニット２が冷蔵庫１に設置された後の食品管理システム１０００の動作について説明する。
［１－２－２．録画に係わる動作］
まず、録画に係わる動作について説明する。
図１３は、カメラユニット２の動作を示すフローチャートＦＡである。

図１３に示す動作では、センサー部２２が各センサーの検出値を、カメラユニット制御部２０に出力している。そして、図１３に示す動作では、検出値処理部２２２がセンサー部２２から受信した各種の検出値に基づいて処理を実行している。

検出値処理部２２２は、人感センサー２１２の検出値に基づいて、冷蔵庫１の周辺に人が存在するか否かを判別する（ステップＳＡ１）。

検出値処理部２２２は、冷蔵庫１の周辺に人が存在すると判別した場合（ステップＳＡ１：ＹＥＳ）、人が存在することを示す存在有無情報を、撮影制御部２２３に出力する（ステップＳＡ２）。

撮影制御部２２３は、検出値処理部２２２から、人が存在することを示す存在有無情報が入力されると、冷蔵室用カメラ２０３及び引出用カメラ２０４に撮影を開始させる（ステップＳＡ３）。

次いで、検出値処理部２２２は、センサー部２２から出力される各種センサーの検出値に基づいて、左ドア１１Ａ、右ドア１１Ｂ、引出１４Ａ、１５Ａのいずれかが開状態になったか否かを判別する（ステップＳＡ４）。

検出値処理部２２２は、左ドア１１Ａ、右ドア１１Ｂ、引出１４Ａ、１５Ａのいずれも開状態になっていないと判別した場合（ステップＳＡ４：ＮＯ）、ステップＳＡ１６の処理を行う。

検出値処理部２２２は、左ドア１１Ａ、右ドア１１Ｂ、引出１４Ａ、１５Ａのいずれかが開状態になったと判別した場合（ステップＳＡ４：ＹＥＳ）、ドア１１Ｃが開状態になったか、引出１４Ａ、１５Ａのいずれかが開状態になったかを判別する（ステップＳＡ５）。

検出値処理部２２２は、ドア１１Ｃが開状態になったと判別した場合（ステップＳＡ５：ドア）、ドア開状態情報を録画制御部２２４に出力する（ステップＳＡ６）。

次いで、録画制御部２２４は、検出値処理部２２２からドア開状態情報が入力されると、冷蔵室用カメラ２０３の撮影結果の録画を開始する（ステップＳＡ７）。

次いで、検出値処理部２２２は、ドア１１Ｃが閉状態になったか否か判別する（ステップＳＡ８）。

検出値処理部２２２は、ドア１１Ｃが閉状態になったと判別した場合（ステップＳＡ８：ＹＥＳ）、ドア閉状態情報を録画制御部２２４に出力する（ステップＳＡ９）。

次いで、録画制御部２２４は、検出値処理部２２２からドア閉状態情報が入力されると、冷蔵室用カメラ２０３の撮影結果の録画を終了する（ステップＳＡ１０）。これにより、カメラユニット記憶部２３０には、冷蔵室用カメラ２０３の録画ファイル２３１が１つ生成される。

ステップＳＡ５の説明に戻り、検出値処理部２２２は、引出１４Ａ、１５Ａのいずれかが開状態になったと判別した場合（ステップＳＡ５：引出）、引出開状態情報を録画制御部２２４に出力する（ステップＳＡ１１）。

次いで、録画制御部２２４は、検出値処理部２２２から引出閉状態情報が入力されると、引出用カメラ２０４の撮影結果の録画を開始する（ステップＳＡ１２）。

次いで、検出値処理部２２２は、開いていた引出１４Ａ、１５Ａのいずれかが閉状態になったか否か判別する（ステップＳＡ１３）。

検出値処理部２２２は、開いていた引出１４Ａ、１５Ａのいずれかが閉状態になったと判別した場合（ステップＳＡ１３：ＹＥＳ）、引出閉状態情報を録画制御部２２４に出力する（ステップＳＡ１４）。

次いで、録画制御部２２４は、検出値処理部２２２から引出閉状態情報が入力されると、引出用カメラ２０４の撮影結果の録画を終了する（ステップＳＡ１５）。これにより、カメラユニット記憶部２３０には、引出用カメラ２０４の録画ファイル２３１が１つ生成される。

検出値処理部２２２は、冷蔵庫１の周辺に人が存在するか否かを判別する（ステップＳＡ１６）。

検出値処理部２２２は、冷蔵庫１の周辺に人が存在すると判別した場合（ステップＳＡ１６：ＹＥＳ）、再度、ステップＳＡ４以降の処理を行う。

一方、検出値処理部２２２は、冷蔵庫１の周辺に人が存在しないと判別した場合（ステップＳＡ１６：ＮＯ）、人が存在しないことを示す存在有無情報を、撮影制御部２２３に出力する（ステップＳＡ１７）。

撮影制御部２２３は、検出値処理部２２２から、人が存在しないことを示す存在有無情報が入力されると、冷蔵室用カメラ２０３及び引出用カメラ２０４に撮影を終了させる（ステップＳＡ１８）。

［１－２－３．食品の検出に係わる動作］
次に、食品の検出に係わる動作について説明する。
図１４は、食品管理システム１０００の動作を示すフローチャートである。
図１４において、フローチャートＦＢはカメラユニット２の動作を示し、フローチャートＦＣは食品管理サーバー４の動作を示す。

カメラユニット２の食品検出部２２５は、カメラユニット記憶部２３０に録画ファイル２３１が記憶されたか否かを判別する（ステップＳＢ１）。

食品検出部２２５は、カメラユニット記憶部２３０に、録画ファイル２３１が記憶されたと判別した場合（ステップＳＢ１：ＹＥＳ）、記憶された録画ファイル２３１が、冷蔵室用カメラ２０３の録画ファイル２３１か引出用カメラ２０４の録画ファイル２３１かを判別する（ステップＳＢ２）。ステップＳＢ２の判別は、検出値処理部２２２が出力する情報により判別する。

食品検出部２２５は、冷蔵室用カメラ２０３の録画ファイル２３１であると判別した場合（ステップＳＢ２：冷蔵室用カメラ）、記憶された録画ファイル２３１に基づいて、食品を検出する（ステップＳＢ３）。

ステップＳＢ３において、例えば、食品検出部２２５は、形状や色等の特徴量に基づいて、冷蔵室用カメラ２０３の録画ファイル２３１から食品を検出する。食品検出に必要なデータは、食品検出部２２５が取得可能な記憶領域に記憶されている。

食品検出部２２５は、冷蔵室用カメラ２０３の録画ファイル２３１から食品を検出できたか否かを判別する（ステップＳＢ４）。

食品検出部２２５は、冷蔵室用カメラ２０３の録画ファイル２３１から食品を検出できなかったと判別した場合（ステップＳＢ４：ＮＯ）、処理をステップＳＢ１０に移行させる。

一方、食品検出部２２５は、冷蔵室用カメラ２０３の録画ファイル２３１から食品を検出できた場合（ステップＳＢ４：ＹＥＳ）、入出庫判定処理を行う（ステップＳＢ５）。

入出庫判定処理は、ステップＳＢ３で検出した食品が、冷蔵庫１に入庫された食品であるか冷蔵庫１から出庫された食品であるかを判定する処理である。入出庫判定処理では、冷蔵室用カメラ２０３の録画ファイル２３１が示す動画像に対して、入出庫判定画像ＨＧを重畳させる。

図１５は、入出庫判定画像ＨＧを説明するための図である。
図１５に示す入出庫判定画像ＨＧは、ユーザーＰが卵パックを冷蔵庫１に入庫させる動画像に重畳された場合を示している。

入出庫判定画像ＨＧは、境界線Ｌ２が設けられている。
境界線Ｌ２は、境界線Ｌ２１、Ｌ２２、Ｌ２３、Ｌ２４、Ｌ２５を有する。境界線Ｌ２１は、入出庫判定画像ＨＧの図中上部において、入出庫判定画像ＨＧの図中左端から右方に延びる線である。境界線Ｌ２２は、境界線Ｌ２１の右端と境界線Ｌ２３の左端を結ぶ線である。境界線Ｌ２３は、入出庫判定画像ＨＧの上下方向における略中央において、境界線Ｌ２１の右端の左右方向における位置から右方に延びる線である。境界線Ｌ２４は、境界線Ｌ２３の右端と境界線Ｌ２４の左端を結ぶ線である。境界線Ｌ２５は、入出庫判定画像ＨＧの上部において、境界線Ｌ２３の右端の左右方向における位置から入出庫判定画像ＨＧの右端まで右方に延びる線である。

入出庫判定画像ＨＧの画像領域は、境界線Ｌ２によって、凹状の領域である凹状領域ＨＧ１と、凸状の領域である凸状領域ＨＧ２とに分割される。

食品検出部２２５は、入出庫判定画像ＨＧが重畳された動画像において画像解析を行うことで、ステップＳＢ３で検出した食品が、凸状領域ＨＧ２から凹状領域ＨＧ１に進んだか、凹状領域ＨＧ１から凸状領域ＨＧ２に進んだか、を判別する。食品検出部２２５は、ステップＳＢ３で検出した食品が、凸状領域ＨＧ２から凹状領域ＨＧ１に進んだと判別した場合、ステップＳＢ３で検出した食品が、冷蔵庫１に入庫されたと判定する。一方、食品検出部２２５は、ステップＳＢ３で検出した食品が、凹状領域ＨＧ１から凸状領域ＨＧ２に進んだと判別した場合、ステップＳＢ３で検出した食品が、冷蔵庫１から出庫されたと判定する。

図１４のフローチャートＦＢの説明に戻り、食品検出部２２５は、分割エリア番号特定処理を行う（ステップＳＢ６）。

分割エリア番号特定処理は、ステップＳＢ３で検出した食品が入出庫された収容エリアに対応する分割エリアＢＡを特定し、特定した分割エリアＢＡに割り当てられた分割エリア番号４１１８を特定する処理である。

例えば、食品検出部２２５は、画像解析によって、ステップＳＢ３で検出した食品が入出庫された冷蔵室１１の収容エリアを特定する。また、例えば、棚１１２の各々の先端、及びドアポケット１１１の各々の中に収容エリアを識別するマークが付されていて、食品検出部２２５は、動画像におけるこのマークと検出した食品との位置関係に基づいて、収容エリアを特定する。次いで、食品検出部２２５は、特定した収容エリアが、冷蔵室庫内画像ＲＧのどの分割エリアＢＡに該当するかを判別し、判別した分割エリアＢＡに割り当てられた分割エリア番号４１１８を特定する。なお、収容エリアと分割エリアＢＡと分割エリア番号４１１８の対応関係は、データとしてカメラユニット記憶部２３０に記憶されている。

食品検出部２２５は、分割エリア番号特定処理を行うと、冷蔵室用カメラ２０３の録画ファイル２３１から、ステップＳＢ３で検出した食品ごと、食品の画像を切り出す（ステップＳＢ７）。以下、カメラ２１３の撮影結果から切り出された食品の画像を、「撮影食品画像」といい「ＦＧ」の符号を付す。
撮影食品画像ＦＧは、本開示の食品画像の一例に対応する。

次いで、食品検出部２２５は、第１更新情報を生成する（ステップＳＢ８）。

ステップＳＢ８で生成される第１更新情報は、カメラユニット記憶部２３０のカメラユニットＩＤ４１１２を含む。
また、ステップＳＢ８で生成される第１更新情報は、冷蔵室用カメラ２０３の録画ファイル２３１が生成された日時を示す日時情報を含む。
また、ステップＳＢ８で生成される第１更新情報は、ステップＳＢ３において検出された食品ごとに、ステップＳＢ７で切り出された撮影食品画像ＦＧを示す食品画像データ４１１６、入出庫判定処理の判定結果を示す入出庫判定結果情報、及び、分割エリア番号特定処理で特定した分割エリア番号４１１８を含む。

次いで、カメラユニット通信制御部２２１は、食品検出部２２５が生成した第１更新情報を食品管理サーバー４に送信する（ステップＳＢ９）。

食品検出部２２５は、録画ファイル２３１をカメラユニット記憶部２３０から消去する（ステップＳＢ１０）。

ステップＳＢ２の説明に戻り、食品検出部２２５は、引出用カメラ２０４の録画ファイル２３１であると判別した場合（ステップＳＢ２：引出用カメラ）、引出用カメラ２０４の録画ファイル２３１の動画像に写る上段ケースＪＣＡ及び下段ケースＧＣＡの少なくともいずれかが所定の閾値以上引き出されたか否かを判別する（ステップＳＢ１１）。

例えば、食品検出部２２５は、形状や色等の特徴量に基づいて、動画像においてケースＣＡを区別する。そして、食品検出部２２５は、録画ファイル２３１の画像解析によって、上段ケースＪＣＡ及び下段ケースＧＣＡが冷蔵庫１に対して所定の閾値以上引き出されたか否かを判別する。
また、例えば、上段ケースＪＣＡと下段ケースＧＣＡとには各々所定の位置にケースＣＡを識別するマークが付されていて、食品検出部２２５は、動画像からこのマークを読み取ることで、動画像におけるケースＣＡを区別する。そして、食品検出部２２５は、動画像におけるこのマークの移動距離を算出することで、冷蔵庫１に対して所定の閾値以上引き出されたか否かを判定する。

食品検出部２２５は、上段ケースＪＣＡ及び下段ケースＧＣＡのいずれも所定の閾値以上引き出されていないと判別した場合（ステップＳＢ１１：ＮＯ）、ステップＳＢ１８の処理を行う。

一方、食品検出部２２５は、上段ケースＪＣＡ及び下段ケースＧＣＡの少なくともいずれかが所定の閾値以上引き出されたと判別した場合（ステップＳＢ１１：ＹＥＳ）、録画ファイル２３１からケース画像ＣＧを切り出す（ステップＳＢ１２）。

ステップＳＢ１２において、食品検出部２２５は、上段ケースＪＣＡのみ所定の閾値以上引き出された場合、録画ファイル２３１から上段ケース画像ＪＣＧを切り出す。
ステップＳＢ１２において、食品検出部２２５は、下段ケースＧＣＡのみ所定の閾値以上引き出された場合、録画ファイル２３１から下段ケース画像ＧＣＧを切り出す。
ステップＳＢ１２において、食品検出部２２５は、上段ケースＪＣＡ及び下段ケースＧＣＡが所定の閾値以上引き出された場合、録画ファイル２３１から上段ケース画像ＪＣＧと下段ケース画像ＧＣＧを切り出す。

次いで、食品検出部２２５は、切り出したケース画像ＣＧから食品を検出する（ステップＳＢ１３）。

次いで、食品検出部２２５は、ケース画像ＣＧから食品を検出できたか否かを判別する（ステップＳＢ１４）。

食品検出部２２５は、食品を検出できないと判別した場合（ステップＳＢ１４：ＮＯ）、ステップＳＢ１６の処理を行う。

一方、食品検出部２２５は、食品を検出できたと判別した場合（ステップＳＢ１４：ＹＥＳ）、ケース画像ＣＧから、検出した食品ごとに撮影食品画像ＦＧを切り出す（ステップＳＢ１５）。

次いで、食品検出部２２５は、第２更新情報を生成する（ステップＳＢ１６）。

上段ケース画像ＪＣＧのみ切り出された場合、ステップＳＢ１６で生成される第２更新情報は、カメラユニット記憶部２３０のカメラユニットＩＤ４１１２、切り出された上段ケース画像ＪＣＧを示す上段ケース画像データ４１２３、及び、上段ケース画像ＪＣＧから切り出された撮影食品画像ＦＧを示す食品画像データ４１１６を含む。なお、ステップＳＢ１４で否定判別がなされた場合、この第２更新情報には、食品画像データ４１１６が含まれない。

また、下段ケース画像ＧＣＧのみ切り出された場合、ステップＳＢ１６で生成される第２更新情報は、カメラユニット記憶部２３０のカメラユニットＩＤ４１１２、切り出された下段ケース画像ＧＣＧを示す下段ケース画像データ４１２５、及び、下段ケース画像ＧＣＧから切り出された撮影食品画像ＦＧを示す食品画像データ４１１６を含む。なお、ステップＳＢ１４で否定判別がなされた場合、この第２更新情報には、食品画像データ４１１６が含まれない。

また、上段ケース画像ＪＣＧ及び下段ケース画像ＧＣＧが切り出された場合、ステップＳＢ１６で生成される第２更新情報は、カメラユニット記憶部２３０のカメラユニットＩＤ４１１２、上段ケース画像データ群、及び、下段ケース画像データ群を含む。上段ケース画像データ群は、切り出された上段ケース画像ＪＣＧを示す上段ケース画像データ４１２３、及び、上段ケース画像ＪＣＧから切り出された撮影食品画像ＦＧを示す食品画像データ４１１６を含む。下段ケース画像データ群は、切り出された下段ケース画像ＧＣＧを示す下段ケース画像データ４１２５、及び、下段ケース画像ＧＣＧから切り出された撮影食品画像ＦＧを示す食品画像データ４１１６を含む。なお、ステップＳＢ１４で否定判別がなされた場合、この第２更新情報には、食品画像データ４１１６が含まれない。

次いで、カメラユニット通信制御部２２１は、食品検出部２２５が生成した第２更新情報を食品管理サーバー４に送信する（ステップＳＢ１７）。

次いで、食品検出部２２５は、録画ファイル２３１をカメラユニット記憶部２３０から消去する（ステップＳＢ１８）。

フローチャートＦＣで示すように、食品管理サーバー４のサーバー通信制御部４０１は、第１更新情報及び第２更新情報のいずれかの更新情報を受信したか否かを判別する（ステップＳＣ１）。

サーバー通信制御部４０１が更新情報を受信したと判別した場合（ステップＳＣ１：ＹＥＳ）、情報処理部４０２は、サーバー通信制御部４０１が受信した更新情報に基づいてデータベースを更新する（ステップＳＣ２）。

ステップＳＣ２について詳述する。
サーバー通信制御部４０１が受信した更新情報が第１更新情報である場合、情報処理部４０２は、第１更新情報に含まれるカメラユニットＩＤ４１１２を有する冷蔵室食品管理レコードＲＲを特定する。そして、情報処理部４０２は、特定した冷蔵室食品管理レコードＲＲの入出庫有無情報４１１５を、「有り」を示す情報に更新する。

次いで、第１更新情報が含む入出庫判定結果情報が入庫を示す場合、情報処理部４０２は、サブレコードを生成し、生成したサブレコードにブランクの削除情報４１３１及び削除日時情報４１３２を対応付けて、特定した冷蔵室食品管理レコードＲＲに格納する。ここで生成されるサブレコードは、第１更新情報が含む食品画像データ４１１６、第１更新情報が含む日時情報と同じ日時を示す収容日時情報４１１７、第１更新情報が含む分割エリア番号４１１８、ブランクのメモ入力有無情報４１１９、及びブランクのメモ情報４１３０を含む。

また、第１更新情報が含む入出庫判定結果情報が出庫を示す場合、情報処理部４０２は、第１更新情報が含む食品画像データ４１１６が示す撮影食品画像ＦＧと、一致度が高い撮影食品画像ＦＧを示す食品画像データ４１１６を含むサブレコードを冷蔵室食品管理レコードＲＲから特定する。この特定は、第１更新情報が含む食品画像データ４１１６ごとに行われる。そして、情報処理部４０２は、特定したサブレコードに対応付く削除情報４１３１を、削除対象であることを示す情報に更新する。また、情報処理部４０２は、特定したサブレコードに対応付く削除日時情報４１３２を、削除日時として現在日時を示す情報に更新する。

さらに、ステップＳＣ２について詳述する。
サーバー通信制御部４０１が受信した更新情報が第２更新情報である場合、情報処理部４０２は、第２更新情報に含まれるカメラユニットＩＤ４１１２を有する引出食品管理レコードＨＲを特定する。

上段ケース画像ＪＣＧのみ切り出された場合の第２更新情報である場合、情報処理部４０２は、特定した引出食品管理レコードＨＲの上段ケース情報４１２２が有する上段ケース画像データ４１２３及び食品画像データ４１１６を、第２更新情報が有するデータに更新する。
下段ケース画像ＧＣＧのみ切り出された場合の第２更新情報である場合、情報処理部４０２は、特定した引出食品管理レコードＨＲの下段ケース情報４１２４が有する下段ケース画像データ４１２５及び食品画像データ４１１６を、第２更新情報が有するデータに更新する。
上段ケース画像ＪＣＧ及び下段ケース画像ＧＣＧが切り出された場合の第２更新情報である場合、情報処理部４０２は、特定した引出食品管理レコードＨＲの上段ケース情報４１２２が有する上段ケース画像データ４１２３及び食品画像データ４１１６を、上段ケース画像データ群が含むデータに適切に更新する。また、情報処理部４０２は、特定した引出食品管理レコードＨＲの下段ケース情報４１２４が有する下段ケース画像データ４１２５及び食品画像データ４１１６を、下段ケース画像データ群が含むデータに更新する。

また、情報処理部４０２は、特定した引出食品管理レコードＨＲの更新日時情報４１２１を、引出食品管理レコードＨＲを更新した日時を示す情報に更新する。

［１－２－４．アプリＵＩに係わる動作］
次に、アプリＵＩ３２０に係わる動作について説明する。
本実施の形態では、アプリＵＩ３２０において、冷蔵室１１に係わる画面と、引き出し式収容室に係わる画面とが表示される。

［１－２－４－１．冷蔵室に係わる画面］

冷蔵室１１に係わる画面は、冷蔵室ホーム画面ＧＭ２、冷蔵室リスト画面ＧＭ３、及び食品情報追加リスト画面ＧＭ４を含む。

図１６は、冷蔵室ホーム画面ＧＭ２の一例を示す図である。

冷蔵室ホーム画面ＧＭ２は、食品画像表示領域ＨＡ２を有する。
食品画像表示領域ＨＡ２は、撮影食品画像ＦＧを表示する領域である。食品画像表示領域ＨＡ２は、冷蔵室庫内画像ＲＧを表示し、この冷蔵室庫内画像ＲＧに重畳させて撮影食品画像ＦＧを表示する。撮影食品画像ＦＧの各々は、冷蔵室庫内画像ＲＧにおいて、食品画像データ４１１６に対応付く分割エリア番号４１１８が示す分割エリアＢＡに、重畳して表示される。

図１６の食品画像表示領域ＨＡ２は、図９に示す冷蔵室庫内画像ＲＧを表示している。例えば、冷蔵室食品管理レコードＲＲにおいて、図１６の撮影食品画像ＦＧ１を示す食品画像データ４１１６には、「４」の分割エリア番号４１１８が対応付けられているとする。この場合、撮影食品画像ＦＧ１は、「４」の分割エリア番号４１１８が割り当てられた分割エリアＢＡに重畳して表示される。

デフォルトの食品画像表示領域ＨＡ２は、左ドアポケット画像ＲＧ１及び右ドアポケット画像ＲＧ３が見切れた状態で、冷蔵室庫内画像ＲＧを表示する。食品画像表示領域ＨＡ２では、ユーザーＰから、図の左右方向におけるスクロール操作を受け付ける。食品画像表示領域ＨＡ２は、受け付けたスクロール操作のスクロール量及びスクロール方向に応じて、冷蔵室庫内画像ＲＧの表示範囲を変更する。

例えば、スクロール方向が右方であって、左ドアポケット画像ＲＧ１の左端まで表示させるスクロール量であったとする。この場合、食品画像表示領域ＨＡ２は、右ドアポケット画像ＲＧ３が完全に見切れた冷蔵室庫内画像ＲＧを表示する。なお、撮影食品画像ＦＧ及びメモ入力アイコンＭＩＣは、冷蔵室庫内画像ＲＧの表示範囲の変更に追従して、換言すれば重畳された分割エリアＢＡの移動に伴って、移動する。メモ入力アイコンＭＩＣについては後述する。

食品画像表示領域ＨＡ２は、１の分割エリアＢＡにおいて複数の撮影食品画像ＦＧを表示する場合、図の左右方向に並べて表示する。食品画像表示領域ＨＡ２は、１の分割エリアＢＡにおいて、最大５枚の撮影食品画像ＦＧを同時に並べて表示可能である。食品画像表示領域ＨＡ２は、１の分割エリアＢＡにおいて６枚以上の表示対象の撮影食品画像ＦＧがある場合、ユーザーＰからスクロール操作を受け付ける。１の分割エリアＢＡは、スクロール操作を受け付けたときに、６枚目以降の撮影食品画像ＦＧを表示する。食品画像表示領域ＨＡ２は、１の分割エリアＢＡにおいて表示対象の撮影食品画像ＦＧが６枚以上あり、且つ、左右方向へのスクロール操作を受け付けた場合、並べて表示可能な最大枚数を維持しつつ、スクロール量に応じて、６枚目以降の撮影食品画像ＦＧを表示させる。この際、食品画像表示領域ＨＡ２は、スクロール量と表示対象の撮影食品画像ＦＧの枚数とに応じて、表示していた１枚目から５枚目までの撮影食品画像ＦＧを非表示にしたり、６枚目以降の撮影食品画像ＦＧの後から１枚目以降の撮影食品画像ＦＧを表示させたりする。なお、メモ入力アイコンＭＩＣは、関連付く撮影食品画像ＦＧの移動に追従して移動する。すなわち、関連付く撮影食品画像ＦＧがスクロール操作によって非表示になると、メモ入力アイコンＭＩＣも非表示になる。

食品画像表示領域ＨＡ２が表示する撮影食品画像ＦＧの各々は、メモの入力を受け付ける。メモは、ユーザーＰが冷蔵庫１の食品に対して残したいとする情報である。

図１７は、メモの入力手順を示す図である。

ユーザーＰは、冷蔵室ホーム画面ＧＭ２において、メモを入力したいとする撮影食品画像ＦＧに対し、長押し操作等の所定のタッチ操作を行う。アプリ実行部３０１は、１の撮影食品画像ＦＧに対して所定のタッチ操作を受け付けると、所定のタッチ操作がされた撮影食品画像ＦＧに関連付けてメモ編集画像ＭＨＧを表示する。

メモ編集画像ＭＨＧは、メモ入力領域ＭＮＡ、メモ保存ボタンＢ１、メモ消去ボタンＢ２、及び食品削除ボタンＢ３を有する。

メモ入力領域ＭＮＡは、メモを入力するための領域である。アプリ実行部３０１は、メモ入力領域ＭＮＡがタッチ操作されるとタッチパネル３２にソフトウェアキーボードを表示させる。そして、アプリ実行部３０１は、ソフトウェアキーボードに対する操作に対応したメモを、メモ入力領域ＭＮＡに入力する。

メモ保存ボタンＢ１は、メモ入力領域ＭＮＡで入力されたメモを保存するためのソフトウェアボタンである。メモ保存ボタンＢ１は、メモ入力領域ＭＮＡにメモが入力されていない場合、タッチ操作できない。メモ保存ボタンＢ１がタッチ操作されると、アプリ実行部３０１は、冷蔵室１１に係わる画面において、メモが入力された撮影食品画像ＦＧを、メモが入力されていない撮影食品画像ＦＧの表示態様と異なる表示態様で、表示する。本実施の形態では、アプリ実行部３０１は、メモが入力された撮影食品画像ＦＧの枠を異なる色で表示し、且つ、メモが入力された撮影食品画像ＦＧに、メモが入力されたことを示すアイコンであるメモ入力アイコンＭＩＣを関連付けて表示する。メモ入力アイコンＭＩＣは、タッチ操作可能である。メモ入力アイコンＭＩＣがタッチ操作されると、アプリＵＩ３２０においては、入力されたメモが表示される。
メモ入力アイコンＭＩＣは、本開示のメモ入力画像の一例に対応する。

メモ消去ボタンＢ２は、入力されたメモを消去するためのボタンである。メモ消去ボタンＢ２がタッチ操作されると、撮影食品画像ＦＧに入力されたメモが消去される。

食品削除ボタンＢ３は、食品画像表示領域ＨＡ２から撮影食品画像ＦＧを削除するためのボタンである。

図１６の冷蔵室ホーム画面ＧＭ２の説明に戻り、食品画像表示領域ＨＡ２には、リスト表示ボタンＢ４を有する。リスト表示ボタンＢ４は、タッチ操作可能なソフトウェアボタンである。

リスト表示ボタンＢ４がタッチ操作されると、アプリＵＩ３２０においては、冷蔵室リスト画面ＧＭ３に画面遷移する。

冷蔵室リスト画面ＧＭ３は、収容リスト画面ＧＭ３１、新規追加リスト画面ＧＭ３２、及び削除対象リスト画面ＧＭ３３を含む。

収容リスト画面ＧＭ３１について説明する。
図１８は、収容リスト画面ＧＭ３１を示す図である。

収容リスト画面ＧＭ３１は、収容食品情報表示領域ＨＡ３を有する。収容食品情報表示領域ＨＡ３は、冷蔵室１１が収容している食品ごとに、第１食品情報Ｊ２１を一覧表示する。第１食品情報Ｊ２１は、撮影食品画像ＦＧ、収容日時情報４１１７、及び、分割エリア情報Ｊ３を含む。分割エリア情報Ｊ３は、分割エリアＢＡが色で示された冷蔵室庫内画像ＲＧである。

第１食品情報Ｊ２１の撮影食品画像ＦＧは、メモが入力されている場合、枠が異なる色で表示され、メモ入力アイコンＭＩＣが関連付いて表示される。なお、収容食品情報表示領域ＨＡ３においては、図の上下方向においてスクロール操作が可能である。ユーザーＰは、収容食品情報表示領域ＨＡ３においてスクロール操作を行うことで、収容食品情報表示領域ＨＡ３に表示しきれない第１食品情報Ｊ２１を表示させることがきる。

収容リスト画面ＧＭ３１は、第１切替ボタンＢ５及び第２切替ボタンＢ６を有する。

第１切替ボタンＢ５は、収容食品情報表示領域ＨＡ３が表示する第１食品情報Ｊ２１の並び順を、次の並び順に切り替えるためのソフトウェアボタンである。
すなわち、第１切替ボタンＢ５がタッチ操作されると、収容食品情報表示領域ＨＡ３は、メモが入力された撮影食品画像ＦＧを有する第１食品情報Ｊ２１を、メモが入力されていない撮影食品画像ＦＧを有する第１食品情報Ｊ２１より上位にして表示する。なお、上位にして表示するとは、表示する際のスクロール量が少なくなるように表示することを意味する。また、収容食品情報表示領域ＨＡ３は、メモが入力された撮影食品画像ＦＧを有する第１食品情報Ｊ２１が複数ある場合、収容日時情報４１１７が示す収容日時が古い食品情報Ｊ２を、上位にして表示する。また、収容食品情報表示領域ＨＡ３は、メモが入力されていない撮影食品画像ＦＧを有する第１食品情報Ｊ２１が複数ある場合、収容日時情報４１１７が示す収容日時が古い第１食品情報Ｊ２１を、上位にして表示する。
なお、図１８の図中左の収容リスト画面ＧＭ３１は、第１切替ボタンＢ５がタッチ操作された場合の収容リスト画面ＧＭ３１を示している。

第２切替ボタンＢ６は、収容食品情報表示領域ＨＡ３が表示する第１食品情報Ｊ２１の並び順を、次の並び順に切り替えるためのソフトウェアボタンである。
すなわち、第２切替ボタンＢ６がタッチ操作されると、収容食品情報表示領域ＨＡ３は、分割エリアＢＡごとに、第１食品情報Ｊ２１を並べて表示する。分割エリアＢＡごとの並び順は、ユーザーＰが予め定めた順番でもよい。収容食品情報表示領域ＨＡ３は、１の分割エリアＢＡにおいては、第１切替ボタンＢ５がタッチ操作された場合の並び順と同じ並びで、第１食品情報Ｊ２１を表示する。
なお、図１８の図中右の収容リスト画面ＧＭ３１は、第２切替ボタンＢ６がタッチ操作された場合の収容リスト画面ＧＭ３１を示している。

収容リスト画面ＧＭ３１は、収容リスト表示ボタンＢ７、新規追加リスト表示ボタンＢ８、及び削除対象リスト表示ボタンＢ９を有する。

収容リスト表示ボタンＢ７は、アプリＵＩ３２０が表示する画面を収容リスト画面ＧＭ３１に切り替えるためのソフトウェアボタンである。
新規追加リスト表示ボタンＢ８は、アプリＵＩ３２０が表示する画面を新規追加リスト画面ＧＭ３２に切り替えるためのソフトウェアボタンである。
削除対象リスト表示ボタンＢ９は、アプリＵＩ３２０が表示する画面を削除対象リスト画面ＧＭ３３に切り替えるためのソフトウェアボタンである。

図１９は、新規追加リスト画面ＧＭ３２の一例を示す図である。
新規追加リスト画面ＧＭ３２は、新規追加食品情報表示領域ＨＡ４を有する。新規追加食品情報表示領域ＨＡ４は、新規で冷蔵室１１に収容された食品に関する第１食品情報Ｊ２１を、一覧表示する。なお、新規で冷蔵室１１に収容された食品とは、現在日時から所定期間（例えば３日）内に収容された食品を意味する。新規追加食品情報表示領域ＨＡ４は、新規で収容された食品に該当する食品の第１食品情報Ｊ２１を、収容日時情報４１１７が示す収容日時が新しい順に上位にして表示する。

新規追加食品情報表示領域ＨＡ４が表示する第１食品情報Ｊ２１の各々は、撮影食品画像ＦＧに対して所定のタッチ操作を受け付ける。新規追加リスト画面ＧＭ３２では、所定のタッチ操作された撮影食品画像ＦＧに関連付いて、第１編集画像ＨＮＧ１が表示される。

第１編集画像ＨＮＧ１は、食品削除ボタンＢ１０、エリア修正ボタンＢ１１、及び戻るボタンＢ１２を有する。
食品削除ボタンＢ１０は、タッチ操作されると第１編集画像ＨＮＧ１が関連付けれた撮影食品画像ＦＧが示す食品を、冷蔵室ホーム画面ＧＭ２からの削除対象とするためのソフトウェアボタンである。
エリア修正ボタンＢ１１は、タッチ操作されると分割エリア情報Ｊ３が示す分割エリアＢＡを修正するためのソフトウェアボタンである。
戻るボタンＢ１２は、第１編集画像ＨＮＧ１の表示を止めるためのソフトウェアボタンである。

新規追加食品情報表示領域ＨＡ４は、第１食品情報Ｊ２１の一覧の最後に、食品情報追加ボタンＢ１３を有する。食品情報追加ボタンＢ１３は、新たな第１食品情報Ｊ２１を手動で追加するためのソフトウェアボタンである。
図２０を参照して、第１食品情報Ｊ２１の追加手順について説明する。

図２０は、第１食品情報Ｊ２１の追加手順を説明するための図である。

食品情報追加ボタンＢ１３がタッチ操作されると、アプリＵＩ３２０においては、食品情報追加リスト画面ＧＭ４が表示される。食品情報追加リスト画面ＧＭ４は、ソフトウェアボタンである追加ボタンＢ１４を複数有する。また、食品情報追加リスト画面ＧＭ４は、ブランク画像ＢＧと、食品名を入力する食品名入力領域ＳＮＡとを有する。ブランク画像ＢＧがタッチ操作されると、ブランク画像ＢＧ内では、食品名入力領域ＳＮＡに入力された食品名を示す画像になる。

食品情報追加リスト画面ＧＭ４において追加ボタンＢ１４がタッチ操作されると、アプリＵＩ３２０においては、冷蔵室庫内画像ＲＧが表示される。ここで、表示される冷蔵室庫内画像ＲＧは、分割エリアＢＡの各々に分割エリア番号４１１８が付された状態の画像であって、分割エリアＢＡの各々をタッチ操作により選択可能である。この冷蔵室庫内画像ＲＧにおいて分割エリアＢＡが選択されると、アプリＵＩ３２０においては、次の第１食品情報Ｊ２１が追加される。

すなわち、追加される第１食品情報Ｊ２１は、タッチ操作された追加ボタンＢ１４に対応する食品の画像、収容日時として第１食品情報Ｊ２１を追加した日時を示す収容日時情報４１１７、及び選択された分割エリアＢＡを示す分割エリア情報Ｊ３である。なお、追加される第１食品情報Ｊ２１が示す食品の画像は、アイコンでもよい。本実施の形態では、冷蔵室ホーム画面ＧＭ２の冷蔵室庫内画像ＲＧに重畳される画像が、影食品画像ＦＧであることを前提としているが、第１食品情報Ｊ２１が追加された場合、冷蔵室庫内画像ＲＧには、撮影食品画像ＦＧと共にアイコンが表示される。

なお、第１食品情報Ｊ２１の追加手順において、収容日時をユーザーＰが入力する手順があってもよい。この場合、追加される第１食品情報Ｊ２１は、ユーザーＰが入力した収容日時を示す収容日時情報４１１７を含む。

図１９の説明に戻り、新規追加リスト画面ＧＭ３２は、収容リスト表示ボタンＢ７、新規追加リスト表示ボタンＢ８、及び削除対象リスト表示ボタンＢ９を有する。

図２１は、削除対象リスト画面ＧＭ３３の一例を示す図である。

削除対象リスト画面ＧＭ３３は、削除対象食品情報表示領域ＨＡ５を有する。削除対象食品情報表示領域ＨＡ５は、削除対象の食品ごとに、第２食品情報Ｊ２２を一覧表示する。なお、削除対象の食品とは、冷蔵室ホーム画面ＧＭ２から削除する対象の食品、及び、冷蔵室１１から出庫されたと判定された食品を示す。第２食品情報Ｊ２２は、撮影食品画像ＦＧ、削除日時情報４１３２、及び分割エリア情報Ｊ３を含む。削除対象リスト画面ＧＭ３３は、第２食品情報Ｊ２２を、削除日時が新しい順に上位にして表示する。

削除対象食品情報表示領域ＨＡ５が表示する第２食品情報Ｊ２２の各々は、撮影食品画像ＦＧが所定のタッチ操作を受け付ける。削除対象リスト画面ＧＭ３３では、所定のタッチ操作された撮影食品画像ＦＧに関連付いて第２編集画像ＨＮＧ２が表示される。

第２編集画像ＨＮＧ２は、削除取り消しボタンＢ１５、及び戻るボタンＢ１６を有する。
削除取り消しボタンＢ１５は、第２編集画像ＨＮＧ２が関連付けれた撮影食品画像ＦＧを、冷蔵室ホーム画面ＧＭ２に表示される画像とするためのソフトウェアボタンである。
戻るボタンＢ１６は、第２編集画像ＨＮＧ２の表示を止めるためのソフトウェアボタンである。

［１－２－４－２．食品管理システムの動作］
次に、冷蔵室１１に係わる画面を表示する場合の食品管理システム１０００の動作について説明する。

図２２は、食品管理システム１０００の動作を示すフローチャートである。図２２において、フローチャートＦＤは端末装置３の動作を示し、フローチャートＦＥは食品管理サーバー４の動作を示す。

端末装置３のアプリ実行部３０１は、食品管理サーバー４から、冷蔵室食品管理レコードＲＲを要求するか否かを判別する（ステップＳＤ１）。

例えば、アプリ実行部３０１は、アプリＵＩ３２０において、冷蔵室ホーム画面ＧＭ２の表示を指示するタッチ操作を受け付けた場合に、ステップＳＤ１において肯定判別する。
また、例えば、アプリ実行部３０１は、冷蔵室ホーム画面ＧＭ２において表示の更新を指示するタッチ操作がなされた場合、ステップＳＤ１において肯定判別する。

アプリ実行部３０１は、冷蔵室管理レコードＲＲを要求すると判別した場合（ステップＳＤ１：ＹＥＳ）、冷蔵室管理レコードＲＲを要求する第１レコード要求情報を、食品管理サーバー４に送信する（ステップＳＤ２）。ステップＳＤ２で送信される第１レコード要求情報には、端末記憶部３１０が記憶するアカウントＩＤ４１１１が含まれる。

フローチャートＦＦで示すように、食品管理サーバー４のサーバー通信制御部４０１は、サーバー通信部４１によって第１レコード要求情報を受信する（ステップＳＥ１）。

次いで、情報処理部４０２は、サーバー通信制御部４０１が受信した第１レコード要求情報に含まれるアカウントＩＤ４１１１を含む冷蔵庫食品管理レコードＲＲを、冷蔵室食品管理データベース４１１から特定する（ステップＳＥ２）。

そして、サーバー通信制御部４０１は、情報処理部４０２が特定した冷蔵室食品管理レコードＲＲを端末装置３に送信する（ステップＳＥ３）。なお、情報処理部４０２は、送信した冷蔵室食品管理レコードＲＲの入出庫有無情報４１１５を、「無し」を示す情報に更新する。

フローチャートＦＤを参照して、端末装置３のアプリ実行部３０１は、冷蔵室食品管理レコードＲＲを食品管理サーバー４から受信すると（ステップＳＤ３）、この冷蔵室食品管理レコードＲＲに基づいて、冷蔵室１１に係わる画面を生成する（ステップＳＤ４）。

ステップＳＤ４について詳述する。
アプリ実行部３０１は、冷蔵室食品管理レコードＲＲに含まれる冷蔵室庫内画像データ４１１４が示す冷蔵室庫内画像ＲＧを、食品画像表示領域ＨＡ２に表示させる冷蔵室ホーム画面ＧＭ２を生成する。
また、アプリ実行部３０１は、サブレコードごとに、分割エリア番号４１１８が示す分割エリアＢＡに、食品管理画像データ４１１６が示す撮影食品画像ＦＧを重畳した冷蔵室ホーム画面ＧＭ２を生成する。
また、アプリ実行部３０１は、メモ入力有無情報４１１９がメモが有ることを示す場合、サブレコードごとに、メモ入力アイコンＭＩＣを撮影食品画像ＦＧに関連付けて表示した冷蔵室ホーム画面ＧＭ２を生成する。

さらに、ステップＳＤ４について詳述する。
アプリ実行部３０１は、食品画像データ４１１６ごとに第１食品情報Ｊ２１を生成する。この第１食品情報Ｊ２１は、食品画像データ４１１６が示す撮影食品画像ＦＧ、この食品画像データ４１１６に対応付く収容日時情報４１１７、及び、分割エリア番号４１１８が示す分割エリアＢＡが色で示した分割エリア情報Ｊ３を含む。そして、アプリ実行部３０１は、削除対象を示さない削除情報４１３１が対応付くサブレコードに関する第１食品情報Ｊ２１を一覧表示する収容リスト画面ＧＭ３１を生成する。また、アプリ実行部３０１は、収容リスト画面ＧＭ３１が表示する第１食品情報Ｊ２１のうち、収容日時情報４１１７が示す収容日時が現在時刻から所定期間内の日時を示す第１食品情報Ｊ２１を一覧表示する新規追加リスト画面ＧＭ３２を生成する。

さらに、ステップＳＤ４について詳述する。
アプリ実行部３０１は、食品画像データ４１１６ごとに第２食品情報Ｊ２２を生成する。第２食品情報Ｊ２２は、食品画像データ４１１６が示す撮影食品画像ＦＧ、この食品画像データ４１１６に対応付く削除日時情報４１３２、及び、分割エリア番号４１１８が示す分割エリアＢＡが色で示した分割エリア情報Ｊ３含む。そして、アプリ実行部３０１は、生成した第２食品情報Ｊ２２を一覧表示する削除対象リスト画面ＧＭ３３を生成する。

フローチャートＦＤの説明に戻り、アプリ実行部３０１は、タッチ操作に応じて、冷蔵室１１に係わる画面を表示する（ステップＳＤ５）。なお、ステップＳＤ３で受信した冷蔵室食品管理レコードＲＲの入出庫有無情報４１１５が「有り」を示す場合、ステップＳＤ５で初めて冷蔵室ホーム画面ＧＭ２を表示する際に、アプリ実行部３０１は、冷蔵室ホーム画面ＧＭ２に、新規の入出庫があった旨をポップアップする。

次に、冷蔵室１１に係わる画面上で操作された場合の食品管理システム１０００の動作について説明する。

アプリ実行部３０１は、メモ保存ボタンＢ１がタッチ操作された場合、操作対象の撮影食品画像ＦＧに関するサブレコードを更新させる情報を、食品管理サーバー４に送信する。この情報には、メモが有ることを示すメモ入力有無情報４１１９、及び入力されたメモを示すメモ情報４１３０を含む。食品管理サーバー４は、受信した情報に基づいて適切にサブレコードを更新する。

アプリ実行部３０１は、メモ消去ボタンＢ２がタッチ操作された場合、操作対象の撮影食品画像ＦＧに関するサブレコードを更新させる情報を、食品管理サーバー４に送信する。この情報には、メモの入力が無いことを示すメモ入力有無情報４１１９を含む。食品管理サーバー４は、受信した情報に基づいて適切にサブレコードを更新する。

アプリ実行部３０１は、食品削除ボタンＢ３、Ｂ１０がタッチ操作された場合、操作対象の撮影食品画像ＦＧに関するサブレコードを更新させる情報を、食品管理サーバー４に送信する。この情報には、削除対象を示す削除情報４１３１を含む。食品管理サーバー４は、受信した情報に基づいて適切にサブレコードを更新する。

アプリ実行部３０１は、エリア修正ボタンＢ１１がタッチ操作され分割エリアＢＡが修正された場合、操作対象の撮影食品画像ＦＧに関するサブレコードを更新させる情報を、食品管理サーバー４に送信する。この情報には、修正後の分割エリアＢＡの分割エリア番号４１１８を含む。食品管理サーバー４は、受信した情報に基づいて適切にサブレコードを更新する。

アプリ実行部３０１は、図２０に示す追加手順で第１食品情報Ｊ２１が追加した場合、追加した第１食品情報Ｊ２１に関するサブレコードを追加させる情報を、食品管理サーバー４に送信する。食品管理サーバー４は、受信した情報に基づいて適切にサブレコードを更新する。

アプリ実行部３０１は、削除取り消しボタンＢ１５がタッチ操作された場合、操作対象の撮影食品画像ＦＧに関するサブレコードを更新させる情報を、食品管理サーバー４に送信する。この情報には、ブランクを示す削除情報４１３１を含む。食品管理サーバー４は、受信した情報に基づいて適切にサブレコードを更新する。

［１－２－４－３．引き出し式収容室に係わる画面］
次に、引き出し式収容室に係わる画面について説明する。図２３－図２５を用いた説明では、引き出し式収容室として野菜室１５を例示する。この説明では、図１０に示すデータベースは、野菜室１５の食品に係わる各種情報を格納するデータベースである。

野菜室１５に係わる画面は、野菜室ホーム画面ＧＭ５及び食品画像リスト画面ＧＭ６を含む。

図２３は、野菜室ホーム画面ＧＭ５の一例を示す図である。

野菜室ホーム画面ＧＭ５は、ケース画像表示領域ＨＡ６を有する。
ケース画像表示領域ＨＡ６は、ケース画像ＣＧを表示する領域である。ケース画像表示領域ＨＡ６は、下段ケース画像ＧＣＧに重畳した上段ケース画像ＪＣＧを表示する。デフォルトのケース画像表示領域ＨＡ６は、下段ケース画像ＧＣＧの画像領域全域に上段ケース画像ＪＣＧが重畳していて、上段ケース画像ＪＣＧのみが表示されている。

ケース画像表示領域ＨＡ６は、図の上下方向におけるスクロール操作を受け付ける。ケース画像表示領域ＨＡ６は、受け付けたスクロール操作のスクロール量及びスクロール方向に応じて、上段ケース画像ＪＣＧの表示範囲を変更する。例えば、受け付けたスクロール操作のスクロール方向が上方である場合、ケース画像表示領域ＨＡ６は、一部が見切れた上段ケース画像ＪＣＧを表示する。ケース画像表示領域ＨＡ６では、上段ケース画像ＪＣＧが上方に移動すると、上段ケース画像ＪＣＧが重畳されていた下段ケース画像ＧＣＧが表示されることとなる。

ケース画像表示領域ＨＡ６が表示するケース画像ＣＧの各々は、メモの入力を受け付ける。なお、メモの入力の手順は、冷蔵室１１の場合と比較し、ユーザーＰが操作する画像が撮影食品画像ＦＧであるかケース画像ＣＧであるかが異なるだけで、手順は同じである。なお、図２３で示すように、上段ケース画像ＪＣＧに関連付けられたメモ入力アイコンＭＩＣは、上段ケース画像ＪＣＧの移動に追従して移動する。

野菜室ホーム画面ＧＭ５には、リスト表示ボタンＢ１７を有する。リスト表示ボタンＢ１７は、タッチ操作可能なソフトウェアボタンである。

リスト表示ボタンＢ１７がタッチ操作されると、アプリＵＩ３２０においては、食品画像リスト画面ＧＭ６が表示される。

なお、野菜室ホーム画面ＧＭ５は、ケース画像表示領域ＨＡ６が表示するケース画像ＣＧを、上段ケース画像ＪＣＧ又は下段ケース画像ＧＣＧに切り替える切替ボタンを有していてもよい。この構成の場合、アプリ実行部３０１は、この切替ボタンに対する操作に応じて、表示するケース画像ＣＧを上段ケース画像ＪＣＧ又は下段ケース画像ＧＣＧに切り替える。

図２４は、食品画像リスト画面ＧＭ６の一例を示す図である。

食品画像リスト画面ＧＭ６は、更新日時情報４１２１を有する。図２４の食品画像リスト画面ＧＭ６は、「１２／１ １０：０５」の更新日時を示す更新日時情報４１２１を有する。

食品画像リスト画面ＧＭ６は、ケースごとに、撮影食品画像ＦＧを一覧表示する。上段ケースＪＣＡの項目に関連付けられて表示される撮影食品画像ＦＧは、上段ケース画像ＪＣＧから切り取られた画像である。下段ケースＧＣＡの項目に関連付けられて表示される撮影食品画像ＦＧは、下段ケース画像ＧＣＧから切り取られた画像である。

［１－２－４－５．食品管理システムの動作］
次に、野菜室１５に係わる画面を表示する場合の食品管理システム１０００の動作について説明する。

図２５は、食品管理システム１０００の動作を示すフローチャートである。図１１において、フローチャートＦＦは端末装置３の動作を示し、フローチャートＦＪは食品管理サーバー４の動作を示す。

端末装置３のアプリ実行部３０１は、食品管理サーバー４から、引出管理レコードＨＲを要求するか否かを判別する（ステップＳＦ１）。

例えば、アプリ実行部３０１は、アプリＵＩ３２０において、野菜室ホーム画面ＧＭ５の表示を指示するタッチ操作を受け付けた場合に、ステップＳＦ１において肯定判別する。
また、例えば、アプリ実行部３０１は、野菜室ホーム画面ＧＭ５において表示の更新を指示するタッチ操作がなされた場合、ステップＳＦ１において肯定判別する。

アプリ実行部３０１は、引出管理レコードＲＲを要求すると判別した場合（ステップＳＦ１：ＹＥＳ）、引出管理レコードＨＲを要求する第２レコード要求情報を、食品管理サーバー４に送信する（ステップＳＦ２）。ステップＳＦ２で送信される第２レコード要求情報には、端末記憶部３１０が記憶するアカウントＩＤ４１１１が含まれる。

フローチャートＦＪを参照し、食品管理サーバー４のサーバー通信制御部４０１は、第２レコード要求情報を受信する（ステップＳＪ１）。

次いで、情報処理部４０２は、サーバー通信制御部４０１が受信した第２レコード要求情報に含まれるアカウントＩＤ４１１１を含む引出管理レコードＨＲを、引出食品管理データベース４１２から特定する（ステップＳＪ２）。

そして、サーバー通信制御部４０１は、情報処理部４０２が特定した引出管理レコードＨＲを端末装置３に送信する（ステップＳＪ３）。

フローチャートＦＪを参照して、端末装置３のアプリ実行部３０１は、引出食品管理レコードＨＲを食品管理サーバー４から受信すると（ステップＳＦ３）、野菜室１５に係わる画面を生成する（ステップＳＦ４）。

ステップＳＦ４について詳述する。
アプリ実行部３０１は、引出食品管理レコードＨＲに含まれる下段ケース画像データ４１２５が示す下段ケース画像ＧＣＧに、同じレコードに含まれる上段ケース画像データ４１２３が示す上段ケース画像ＪＣＧを重畳させたケース画像表示領域ＨＡ６を有する野菜室ホーム画面ＧＭ５を生成する。
また、アプリ実行部３０１は、メモ入力有無情報４１１９がメモがあることを示す場合、メモ入力アイコンＭＩＣを対応するケース画像ＣＧに関連付けて表示した野菜室ホーム画面ＧＭ５を生成する。

さらに、ステップＳＦ４について詳述する。
アプリ実行部３０１は、ケースＣＡごとに、食品画像データ４１１６が示す撮影食品画像ＦＧを並べた食品画像リスト画面ＧＭ６を生成する。

フローチャートＦＦの説明に戻り、アプリ実行部３０１は、タッチ操作に応じて、野菜室１５に係わる画面を表示する（ステップＳＦ５）。

次に、野菜室１５に係わる画面上で操作された場合の食品管理システム１０００の動作について説明する。

アプリ実行部３０１は、メモ保存ボタンＢ１がタッチ操作された場合、メモ入力有無情報４１１９及びメモ情報４１３０を更新させる情報を、食品管理サーバー４に送信する。この情報には、操作対象が上段ケース画像ＪＣＧか下段ケース画像ＧＣＧであるかを示す情報、メモが有ることを示すメモ入力有無情報４１１９、及び入力されたメモを示すメモ情報４１３０を含む。食品管理サーバー４は、受信した情報に基づいて引出食品管理レコードＨＲを適切に更新する。

アプリ実行部３０１は、メモ消去ボタンＢ２がタッチ操作された場合、メモ入力有無情報４１１９及びメモ情報４１３０を更新させる情報を、食品管理サーバー４に送信する。この情報には、メモの消去対象が上段ケース画像ＪＣＧか下段ケース画像ＧＣＧであるかを示す情報、メモが無いことを示すメモ入力有無情報４１１９を含む。食品管理サーバー４は、受信した情報に基づいて引出食品管理レコードＨＲを適切に更新する。

なお、図２３－図２５を用いて説明した引き出し式収容室として野菜室１５を例示した。しかしながら、図２３－図２５が示す画面表示及び食品管理システム１０００の動作は、冷凍室１４に関しても同様に行われてもよい。この場合、図１０に示すデータベースは、冷凍室１４の食品に係わる各種情報を格納するデータベースを示す。

［１－３．効果］
以上、説明したように、カメラユニット２は、冷蔵庫１の上面１０Ｂに設置される本体２０１と、本体２０１から冷蔵庫１の前方に延在し、冷蔵庫１の前上方から下方を撮影するカメラ２１３を備えた撮影部材２０２と、を備える。本体２０１は、冷蔵庫１の前端縁１０Ａに当接し、冷蔵庫１の前後方向における撮影部材２０２の位置を規制する位置規制部材２０５を備える。

これによれば、位置規制部材２０５によって冷蔵庫１の前後方向における撮影部材２０２の位置が規制されるため、カメラ２１３が冷蔵庫１の前上方から下方を撮影できる位置に規定される。そのため、冷蔵庫１に入出庫される食品をカメラ２１３の撮影結果に精度良く含めることができ、冷蔵庫１に入出庫される食品を精度良く撮影できる。

位置規制部材２０５は、設置状態において本体２０１の底面２０６から下方に延びる位置規制片である。

これによれば、主箱体１０とドア１１Ｃとの間に形成された隙間を利用してカメラユニット２の位置を規制できる。よって、既存の冷蔵庫１に対してカメラユニット２を設置できるため、既存の冷蔵庫１においても、冷蔵庫１に入出庫される食品を精度良く撮影できる。

位置規制部材２０５は、冷蔵庫１と冷蔵庫１のドア１１Ｃとの間に設けられるパッキンまでの長さより短く形成されている。

これによれば、冷蔵室１１の冷却効果を阻害することなく、主箱体１０とドア１１Ｃとの間に形成された隙間を利用してカメラユニット２の位置を規制できる。よって、冷蔵室１１の冷却効果を阻害することなく、冷蔵庫１に入出庫される食品を精度良く撮影できる。

位置規制部材２０５は、本体２０１の幅方向に延在する。

これによれば、主箱体１０に当接する面積を広く確保できるため、カメラユニット２の設置姿勢を安定させることができる。よって、冷蔵庫１に入出庫される食品をより精度良く撮影できる。

位置規制部材２０５は、冷蔵庫１の幅方向におけるカメラユニット２の位置を調整するためのマーク２０７を有する。

これによれば、マーク２０７を目印にすることで、ユーザーＰは、冷蔵庫１の左右方向においてカメラユニット２を簡単に設置できる。よって、冷蔵庫１に入出庫される食品を精度良く撮影できるように、ユーザーＰが簡単にカメラユニット２を設置できる。

位置規制部材２０５は、本体２０１の幅方向の中央にマーク２０７を有する。

これによれば、マーク２０７を目印にすることで、ユーザーＰは、冷蔵庫１の左右方向の中央にカメラユニット２を簡単に設置できる。よって、冷蔵庫１に入出庫される食品をより精度良く撮影できるように、ユーザーＰが簡単にカメラユニット２を設置できる。

また、説明したように、カメラユニット２は、冷蔵庫１の前上方から冷蔵庫１を動画像により撮影するカメラ２１３と、冷蔵庫１の周辺に人が存在するか否かを検出する人感センサー２１２が冷蔵庫１の周辺に人が存在すると検出した場合、カメラ２１３に撮影を開始させる撮影制御部２２３と、撮影制御部２２３がカメラ２１３に撮影を開始させた後の所定のタイミングに、カメラ２１３の撮影結果の録画を開始する録画制御部２２４と、を備える。
また、カメラユニット２の制御方法は、冷蔵庫１の周辺に人が存在するか否かを検出する人感センサー２１２が冷蔵庫１の周辺に人が存在すると検出した場合、カメラ２１３に撮影を開始させ、カメラ２１３に撮影を開始させた後の所定のタイミングに、カメラ２１３の撮影結果の録画を開始する。

カメラユニット２、及びカメラユニット２の制御方法によれば、人感センサー２１２が冷蔵庫１の周辺に人が存在すると検出した場合、カメラ２１３に撮影を開始させることで、冷蔵庫１のドア１１Ｃ又は引出１６Ａが開く前に冷蔵庫１に入出庫される食品をカメラ２１３の撮影結果に含められる可能性を高めることができる。そのため、冷蔵庫１に入出庫される食品を精度良く撮影できる。

録画制御部２２４は、撮影制御部２２３がカメラ２１３に撮影を開始させた後、冷蔵庫１のドア１１Ｃ又は引出１６Ａが開いた場合に、カメラ２１３の撮影結果の録画を開始する。

これによれば、食品の入出庫が開始される可能性の高いタイミングで録画を開始するため、冷蔵庫１に食品が入出庫されない状況で不必要に録画が行われることを抑制できる。また、録画制御部２２４は、録画ファイル２３１のデータ容量が増大することを抑制できるため、食品検出部２２５の処理対象が増大して、食品検出部２２５の処理時間及び処理負荷が増大することを防止できる。

録画制御部２２４は、録画を開始した後に、開いていた冷蔵庫１のドア１１Ｃ又は引出１６Ａが閉まった場合、録画を停止する。

これによれば、食品の入出庫が終了した可能性の高いタイミングで録画を終了するため、冷蔵庫１に食品が入出庫されない状況で不必要に録画が行われることを抑制できる。また、録画制御部２２４は、録画ファイル２３１のデータ容量が増大することを抑制できるため、食品検出部２２５の処理対象が増大して、食品検出部２２５の処理時間及び処理負荷が増大することを防止できる。

録画制御部２２４は、録画を停止すると、冷蔵庫１のドア１１Ｃ又は引出１６Ａが開いてから閉じるまでの撮影結果を１の録画ファイル２３１として生成する。

これによれば、冷蔵庫１のドア１１Ｃ又は引出１６Ａが開いてから閉じるまでの撮影結果を１の録画ファイル２３１として生成するため、１の録画ファイル２３１のデータ容量が増大することを抑制しつつ、速やかに１の録画ファイル２３１を生成できる。また、１の録画ファイル２３１のデータ容量が増大することを抑制しつつ、速やかに１の録画ファイル２３１を生成できるため、食品検出部２２５は、冷蔵庫１に食品が入出庫された後に、速やかに録画ファイル２３１に係わる処理を開始できる。

撮影制御部２２３は、録画制御部２２４が録画を停止した後に、人感センサー２１２が冷蔵庫１の周辺に人が存在しないと検出した場合、カメラ２１３に撮影を終了させる。

これによれば、人感センサー２１２が冷蔵庫１の周辺に人が存在しないと検出した場合、カメラ２１３に撮影を終了させるため、冷蔵庫１に食品が入出庫されない状況でカメラ２１３が撮影を行うことを防止できる。よって、消費電力の増大を防止しつつ、冷蔵庫１に入出庫される食品を精度良く撮影できる。

カメラユニット２は、録画制御部２２４の録画結果に基づいて冷蔵庫１に入出庫される食品を検出する食品検出部２２５を備える。

これによれば、冷蔵庫１に入出庫される食品を精度良く撮影した撮影結果に基づいて食品を検出できるため、冷蔵庫１に入出庫される食品を精度良く検出できる。

また、説明したように、食品管理アプリ３１１は、タッチパネル３２を備える端末装置３の端末プロセッサー３００を、タッチパネル３２によって、冷蔵室庫内画像ＲＧを表示し、表示した冷蔵室庫内画像ＲＧにおいて、冷蔵室１１に収容される食品の収容エリアと対応する分割エリアＢＡに、撮影食品画像ＦＧを表示するアプリ実行部３０１として機能させる。
また、端末装置３は、タッチパネル３２と、タッチパネル３２によって、冷蔵室庫内画像ＲＧを表示し、表示した冷蔵室庫内画像ＲＧにおいて、冷蔵室１１に収容される食品の収容エリアと対応する分割エリアＢＡに、撮影食品画像ＦＧを表示するアプリ実行部３０１と、を備える。
また、端末装置３の制御方法は、冷蔵室庫内画像ＲＧを表示し、表示した冷蔵室庫内画像ＲＧにおいて、冷蔵室１１に収容される食品の収容エリアと対応する分割エリアＢＡに、撮影食品画像ＦＧを表示する。

この食品管理アプリ３１１、端末装置３、及び端末装置３の制御方法によれば、冷蔵室の庫内を示す画像内において、冷蔵庫に収容される食品の収容エリアと対応する分割エリアＢＡにこの撮影食品画像ＦＧが表示される。よって、冷蔵室１１に収容されている食品がどのような食品であるかをユーザーＰが直感的に把握できる。

撮影食品画像ＦＧは、冷蔵室用カメラ２０３の撮影画像である。

これによれば、実際に冷蔵庫１に収容されている食品の撮影画像がユーザーＰに提供されるため、冷蔵室１１に収容されている食品がどのような食品であるかをユーザーＰがより直感的に把握できる。

冷蔵室庫内画像ＲＧは、端末装置３のユーザーＰが使用する冷蔵庫１の機種に応じた画像である。

これによれば、実際に使用している冷蔵庫１の冷蔵室１１に対応した冷蔵室庫内画像ＲＧがユーザーＰに提供されるため、冷蔵室１１に収容されている食品がどのような食品であるかをユーザーＰがより直感的に把握できる。

冷蔵室庫内画像ＲＧは、複数の分割エリアＢＡに分割されている。冷蔵室庫内画像ＲＧが有する分割エリアＢＡの数は、端末装置３のユーザーＰが使用する冷蔵庫１の機種に応じた数である。

これによれば、実際に使用している冷蔵庫１の冷蔵室１１の収容エリアにどのような食品が収容されているかをユーザーＰが把握できる。よって、冷蔵室１１に収容されている食品がどのような食品であるかをユーザーＰがより直感的に把握できる。

アプリ実行部３０１は、１の分割エリアＢＡに複数の撮影食品画像ＦＧを表示する場合、複数の撮影食品画像ＦＧを並べて表示する。

これによれば、分割エリアＢＡごと、複数の撮影食品画像ＦＧを見易く表示できるため、冷蔵室１１に収容されている食品がどのような食品であるかをユーザーＰが直感的に且つ容易に把握できる。

１の分割エリアＢＡには、同時に表示可能な撮影食品画像ＦＧの上限数が設定されている。

これによれば、１の分割エリアＢＡに表示される撮影食品画像ＦＧが多い場合に視認性が低下することを防止できる。よって、冷蔵室１１に収容されている食品がどのような食品であるかをユーザーＰが直感的に且つ容易に把握できる。

アプリ実行部３０１は、１の分割エリアＢＡにおいて表示対象の撮影食品画像ＦＧの数が上限数を上回る場合、上限数の範囲において撮影食品画像ＦＧを切替可能に表示する。

これによれば、１の分割エリアＢＡに表示される撮影食品画像ＦＧが多い場合に視認性が低下することを防止しつつ、表示しきれない撮影食品画像ＦＧをユーザーＰが視認できる。

アプリ実行部３０１は、端末装置３のユーザーＰからメモの入力を撮影食品画像ＦＧごとに受け付け、メモを受け付けたことを示すメモ入力アイコンＭＩＣを撮影食品画像ＦＧに関連付けて表示する。

これによれば、ユーザーＰがどの食品に対してメモが入力されたのかを把握できる。よって、冷蔵室１１に収容されている食品がどのような食品であるかをユーザーＰが直感的に把握できると共に、どの食品にメモが入力されたのかも把握できる。

食品管理アプリ３１１は、端末装置３にインストール可能なアプリケーションプログラムである。

これによれば、冷蔵室庫内画像ＲＧと撮影食品画像ＦＧとを表示する機能を有していない端末装置３を、食品管理アプリ３１１のインストールによって、これら画像を表示できる端末装置３とすることができる。

また、説明したように、食品管理アプリ３１１は、タッチパネル３２を備える端末装置３の端末プロセッサー３００を、上段ケースＪＣＡ及び下段ケースＧＣＡを有する冷蔵庫１の引出１６Ａを撮影する引出用カメラ２０４の撮影画像を表示するアプリ実行部３０１として機能させる。アプリ実行部３０１は、上段ケース画像ＪＣＧ及び下段ケース画像ＧＣＧを表示可能であり、上段ケース画像ＪＣＧ及び下段ケース画像ＧＣＧの各々に対して、端末装置３のユーザーＰからメモの入力を受け付ける。アプリ実行部３０１は、上段ケース画像ＪＣＧに対してユーザーＰからメモの入力を受け付けた場合、メモの入力を受け付けたことを示すメモ入力アイコンＭＩＣを上段ケース画像ＪＣＧに関連付けて表示し、下段ケース画像ＧＣＧに対してユーザーＰからのメモの入力を受け付けた場合、メモ入力アイコンＭＩＣを下段ケース画像ＧＣＧに関連付けて表示する。

また、端末装置３は、タッチパネル３２と、引出用カメラ２０４の撮影画像を表示するアプリ実行部３０１と、を備える。アプリ実行部３０１は、上段ケース画像ＪＣＧ及び下段ケース画像ＧＣＧを表示可能であり、上段ケース画像ＪＣＧ及び下段ケース画像ＧＣＧの各々に対して、端末装置３のユーザーＰからメモの入力を受け付ける。アプリ実行部３０１は、上段ケース画像ＪＣＧに対してユーザーＰからメモの入力を受け付けた場合、メモの入力を受け付けたことを示すメモ入力アイコンＭＩＣを上段ケース画像ＪＣＧに関連付けて表示し、下段ケース画像ＧＣＧに対してユーザーＰからのメモの入力を受け付けた場合、メモ入力アイコンＭＩＣを下段ケース画像ＧＣＧに関連付けて表示する。

また、端末装置３の制御方法は、上段ケース画像ＪＣＧ及び下段ケース画像ＧＣＧを表示可能であり、上段ケース画像ＪＣＧ及び下段ケース画像ＧＣＧの各々に対して、端末装置３のユーザーＰからメモの入力を受け付け、上段ケース画像ＪＣＧに対してユーザーＰからメモの入力を受け付けた場合、メモの入力を受け付けたことを示すメモ入力アイコンＭＩＣを上段ケース画像ＪＣＧに関連付けて表示し、下段ケース画像ＧＣＧに対してユーザーＰからのメモの入力を受け付けた場合、メモ入力アイコンＭＩＣを下段ケース画像ＧＣＧに関連付けて表示する。

これによれば、食品管理アプリ３１１、端末装置３、及び端末装置３の制御方法は、引出１６Ａが有するケースＣＡの撮影画像が表示され、且つ、この表示される撮影画像にユーザーＰがメモを入力できる。そのため、冷蔵庫１の引出１６Ａに収容されている食品をユーザーＰが直感的に把握でき、且つユーザーＰの利便性を向上できる。

アプリ実行部３０１は、下段ケース画像ＧＣＧに重畳して上段ケース画像ＪＣＧを表示し、上段ケース画像ＪＣＧを移動させる操作をユーザーＰから受け付けた場合、前記第１ケース画像を移動させて下段ケース画像ＧＣＧを表示する。

これによれば、実際のケースＣＡを移動させる態様で、下段ケース画像ＧＣＧを表示できる。よって、冷蔵庫１の引出１６Ａに収容されている食品をユーザーＰがより直感的に把握でき、且つユーザーＰの利便性を向上できる。

アプリ実行部３０１は、上段ケース画像ＪＣＧに関連付けてメモ入力アイコンＭＩＣを表示している場合、上段ケース画像ＪＣＧと共にメモ入力アイコンＭＩＣを移動させる。

これによれば、上段ケース画像ＪＣＧをユーザーＰが移動させた場合でも、上段ケース画像ＪＣＧとメモ入力アイコンＭＩＣとの関連付けを維持できる。よって、上段ケース画像ＪＣＧをユーザーＰが移動させた場合でも、メモ入力アイコンＭＩＣがどの画像に関することであるかを適切にユーザーＰが把握でき、ユーザーＰの利便性を向上できる。

アプリ実行部３０１は、表示する撮影画像を上段ケース画像ＪＣＧ又は下段ケース画像ＧＣＧに切り替える切替ボタンを表示し、切替ボタンに対する操作に応じて、表示する撮影画像を上段ケース画像ＪＣＧ又は下段ケース画像ＧＣＧに切り替える。

これによれば、切替ボタンの操作によって表示するケース画像ＣＧを簡単に切り替えれるため、ユーザーＰの利便性を向上できる。

上段ケース画像ＪＣＧは、上段ケースＪＣＡが冷蔵庫１に対して所定の閾値以上引き出された場合の撮影画像である。下段ケース画像ＧＣＧは、下段ケースＧＣＡが冷蔵庫１に対して所定の閾値以上引き出された場合の撮影画像である。

これによれば、食品ができるだけ多く写る撮影画像をケース画像ＣＧとすることができるため、冷蔵庫１の引出１６Ａに収容されている食品をユーザーＰが直感的に把握でき、且つユーザーＰの利便性を向上できる。

食品管理アプリ３１１は、端末装置３にインストール可能なアプリケーションプログラムである。

これによれば、ケース画像ＣＧを表示する機能と表示されたケース画像ＣＧに対してメモの入力を受け付ける機能とを有していない端末装置３を、食品管理アプリ３１１のインストールによって、これら機能を有する端末装置３とすることができる。

（実施の形態２）
次に、実施の形態２について説明する。実施の形態２の説明では、実施の形態１の食品管理システム１０００の各部の構成要素と同じ構成要素については、同一の符号を付して詳細な説明を適宜に省略する。

［２－１．構成］
図２６は、実施の形態２における端末装置３及び食品管理サーバー４の構成を示すブロック図である。
図２６と図７とを比較して明らかなとおり、実施の形態２におけるサーバープロセッサー４００は、サーバー記憶部４１０に記憶される制御プログラムを実行することで、サーバー通信制御部４０１及び情報処理部４０２に加え、食品認識部４０３として機能する。

食品認識部４０３は、第１更新情報及び第２更新情報の各々に含まれる食品画像データ４１１６が示す撮影食品画像ＦＧに基づいて、食品認識処理を行う。

食品認識処理は、撮影食品画像ＦＧから食品を認識し、認識した食品と同じ種類の食品を示すアイコンをアイコンデータベースから取得する処理である。このアイコンデータベースは、食品ごとに、食品を示すアイコンを格納する。以下、このアイコンを、食品アイコンという。アイコンデータベースは、食品管理サーバー４に記憶されていてもよいし、食品管理サーバー４が通信可能な外部の機器に記憶されていてもよい。
本実施の形態において、食品アイコンは、本開示の食品画像の一例に対応する。

例えば、食品認識部４０３は、以下のように食品の認識を行う。
食品認識部４０３は、食品画像データベースに格納される画像から、更新情報に含まれる食品画像データ４１１６が示す撮影食品画像ＦＧと最も一致度の高い画像を特定する。食品画像データベースは、食品ごとに画像データが格納されたデータベースである。一致度は、例えば形状や色等の特徴量に基づいて判断される。そして、食品認識部４０３は、特定した画像に対応付く食品が、更新情報に含まれる食品画像データ４１１６が示す食品であると認識する。

なお、食品認識部４０３は、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）によって食品の認識を行ってもよい。例えば教師用の撮影食品画像ＦＧから食品の色や形状等の特徴量を学習する機械学習処理を行い、学習済みモデルを構築しておく。この学習済みモデルは、サーバー記憶部４１０に記憶させておく。食品認識部４０３は、更新情報に含まれる食品画像データ４１１６を入力データとして、学習済みモデルを参照し撮影食品画像ＦＧが示す食品を認識する。ここで、この学習済みモデルがグローバルネットワークＧＮに接続する食品管理サーバー４以外の機器に記憶させており、食品管理サーバー４において食品を認識する構成でもよい。この構成の場合、食品認識部４０３は、更新情報に含まれる食品画像データ４１１６を、学習済みモデルを記憶する機器に送信し、この機器から食品の特定結果を取得する。そして、食品認識部４０３は、取得した特定結果が示す食品を、更新情報が含む食品画像データ４１１６が示す撮影食品画像ＦＧが示す食品であると認識する。

食品認識部４０３は、食品の認識を行うと、認識した食品の食品アイコンを、アイコンデータベースから取得する。そして、実施の形態２では、冷蔵室食品管理レコードＲＲが有する食品画像データ４１１６の代わりに或いは共に、食品認識部４０３が取得した食品アイコンのアイコンデータが適切に格納される。また、実施の形態２では、引出食品管理レコードＨＲが有する食品画像データ４１１６の代わりに或いは共に、食品認識部４０３が取得した食品アイコンのアイコンデータが適切に格納される。

これにより、実施の形態２は、アプリＵＩ３２０において、撮影食品画像ＦＧの代わりに食品アイコンを表示できる。

［２－２．効果等］
実施の形態２によれば、実施の形態１と同様の効果を奏する。

（他の実施の形態）
以上のように、本出願において開示する例示として、上記実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、他の実施の形態を例示する。

上述した実施の形態では、貯蔵庫として冷蔵庫１を例示した。しかしながら、本開示の貯蔵庫は、冷蔵庫１に限定されず、例えばオフィス等に設置される倉庫でもよい。上述した実施の形態では、本開示の物品として食品を例示したが、本開示の物品は食品に限定されず、貯蔵庫に応じて書物等の他の物品でもよい。

上述した実施の形態では、位置規制部材２０５が本体２０１の左右方向の中央にマーク２０７を有する構成を例示した。しかしながら、マーク２０７の位置は、本体２０１の左右方向の中央に限定されない。マーク２０７の位置は、本体２０１の左右方向の中央以外でもよい。この場合、中央位置記録用紙ＣＹでは、マーク２０７を基準に位置調整されたカメラユニット２が適切に各種検出を行えるように、各マークが適切に記録されている。

上述した実施の形態では、本開示の庫内画像として、左ドア１１Ａと右ドア１１Ｂとが開状態である場合の冷蔵室１１を正面から見た画像である冷蔵室庫内画像ＲＧを例示した。しかしながら、本開示の庫内画像は、この冷蔵室庫内画像ＲＧに限定されず、片開きのドアが開状態である場合の冷蔵室を正面から見た画像でもよいし、１の庫内が冷蔵室と冷凍室とを含む場合の冷蔵庫１において、ドアが開状態である場合のこの１の庫内を正面から見た画像でもよい。

引出用カメラ２０４の撮影範囲は、アプリＵＩ３２０が表示する上記画面の引き出し式収容室の種類に応じて、１又は複数の任意の引き出し式収容室を組み合わせた範囲としてもよい。

食品管理システム１０００は、収容日時以外に、残量や期限日等の他の要素を管理してもよい。

カメラユニット２が備える本体２０１と撮影部材２０２とは別体で構成されてもよい。

カメラユニット２は、所定の閾値以上引き出されなかった場合もケース画像ＣＧを食品管理サーバー４に送信する構成としてもよい。この構成の場合、食品管理サーバー４は、所定の閾値以上引き出されなかった場合のケース画像ＣＧを記憶し、端末装置３に提供する。そして、アプリ実行部３０１は、上段ケース画像ＪＣＧ及び下段ケース画像ＧＣＧの各々と差し替え可能に、このケース画像ＣＧをアプリＵＩ３２０において表示する。

上述した実施の形態では、ユーザーＰがカメラユニット２を冷蔵庫１に設置する場合を例示したが、カメラユニット２は冷蔵庫１に設置された状態で出荷されてもよい。

サーバープロセッサー４００が食品検出部２２５として機能し、カメラユニットプロセッサー２２０は食品検出部２２５として機能しない構成でもよい。この構成の場合、カメラユニット２は、録画ファイル２３１を食品管理サーバー４に送信する。

上述した実施の形態では、本開示のセンサーとして、人感センサー２１２を例示した。しかしながら、本開示のセンサーは、人感センサー２１２に限定されず、照度センサーや、冷蔵庫１の把持部に設けられる静電センサー等でもよい。この静電センサーの場合、冷蔵庫１とカメラユニット２とが通信可能であり、冷蔵庫１は、静電センサーの検出値をカメラユニット２に送信する。

冷蔵室食品管理レコードＲＲ及び引出食品管理レコードＨＲを端末装置３が記憶し、カメラユニット２が検出する食品に係る各種情報を食品管理アプリ３１１が管理する構成でもよい。この構成の場合、アプリ実行部３０１は、端末装置３が記憶する各レコードの内容を、上述した食品管理サーバー４と同様に適宜更新する。これにより、食品管理システム１０００は食品管理サーバー４を具備する必要がなくシステム構成が簡易となる。また、この構成の場合、アプリ実行部３０１は、食品認識部４０３として機能してもよい。

例えば、冷蔵庫１の主箱体１０に形成される部屋の種類は、冷蔵室１１、製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５に限定されず、少なくてもよいし、さらに別の種類の部屋が形成されてもよい。また、冷蔵室１１の前面の開口部に設けられるドアの数は、１つでもよい。

例えば、引出１４Ａ、１５Ａが備えるケースは、２段に限定されず、さらに多くても良い。この場合、あるケースが本開示の第１ケースに相当し、このあるケースの下段のケースが、本開示の第２ケースに相当する。

例えば、カメラユニットプロセッサー２２０、端末プロセッサー３００、及びサーバープロセッサー４００は、単一のプロセッサーにより構成されてもよいし、複数のプロセッサーにより構成されていてもよい。

図６、図７、及び図２６に示した各部は一例であって、具体的な実装形態は特に限定されない。つまり、必ずしも各部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで各部の機能を実現する構成とすることも勿論可能である。また、上述した実施の形態においてソフトウェアで実現される機能の一部をハードウェアとしてもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、カメラユニット２、端末装置３、及び食品管理サーバー４の他の各部の具体的な細部構成についても、本開示の趣旨を逸脱しない範囲で任意に変更可能である。

また、例えば、図１３、図１４、図２２、及び図２５に示す動作のステップ単位は、食品管理システム１０００の各部の動作の理解を容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって、本開示が限定されることはない。

なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

以上のように、本開示に係る撮影装置、及び撮影装置の制御方法は、貯蔵庫に入出庫される物品を撮影する用途に利用可能である。

１ 冷蔵庫（貯蔵庫）
２ カメラユニット（撮影装置）
３ 端末装置
４ 食品管理サーバー
１０ 主箱体
１０Ａ 前端縁
１０Ｂ 上面
１１ 冷蔵室
１１Ａ 左ドア
１１Ｂ 右ドア
１１Ｃ ドア
１２ 製氷室（引き出し式収容室）
１２Ａ、１３Ａ、１４Ａ、１５Ａ、１６Ａ 引出
１３ 新鮮凍結室（引き出し式収容室）
１４ 冷凍室（引き出し式収容室）
１５ 野菜室（引き出し式収容室）
３２ タッチパネル（表示部）
２０１ 本体
２０２ 撮影部材
２０３ 冷蔵室用カメラ
２０４ 引出用カメラ
２０５ 位置規制部材
２０６ 底面
２０７ マーク
２１２ 人感センサー（センサー）
２１３ カメラ
２２３ 撮影制御部
２２４ 録画制御部
２２５ 食品検出部（物品検出部）
２３１ 録画ファイル
３００ 端末プロセッサー（コンピューター）
３０１ アプリ実行部（表示制御部）
３１１ 食品管理アプリ（プログラム、アプリケーションプログラム）
１０００ 食品管理システム
ＢＡ 分割エリア（エリア）
ＦＧ、ＦＧ１ 撮影食品画像（食品画像）
ＧＣＡ 下段ケース（第２ケース）
ＧＣＧ 下段ケース画像（第２ケース画像）
ＪＣＡ 上段ケース（第１ケース）
ＪＣＧ 上段ケース画像（第１ケース画像）
ＭＩＣ メモ入力アイコン（メモ入力画像）
Ｐ ユーザー
ＲＧ 冷蔵室庫内画像（庫内画像）

Claims (9)

1. 貯蔵庫の前上方から前記貯蔵庫を動画像により撮影するカメラと、
   前記貯蔵庫の周辺に人が存在するか否かを検出するセンサーが前記貯蔵庫の周辺に人が存在すると検出した場合、前記カメラに撮影を開始させる撮影制御部と、
   前記撮影制御部が前記カメラに撮影を開始させた後、前記貯蔵庫のドア又は引出が開いた場合に、前記カメラの撮影結果の録画を開始する録画制御部と、を備える、
   撮影装置。
2. 前記貯蔵庫のドア又は引き出しが開状態か閉状態かを判定する検出値処理部を備える、
   請求項１に記載の撮影装置。
3. 前記録画制御部は、
   録画を開始した後に、開いていた前記貯蔵庫のドア又は引出が閉まった場合、録画を停止する、
   請求項１又は２に記載の撮影装置。
4. 前記録画制御部は、
   録画を停止すると、前記貯蔵庫のドア又は引出が開いてから閉じるまでの撮影結果を１の録画ファイルとして生成する、
   請求項３に記載の撮影装置。
5. 前記撮影制御部は、
   前記録画制御部が録画を停止した後に、前記センサーが前記貯蔵庫の周辺に人が存在しないと検出した場合、前記カメラに撮影を終了させる、
   請求項３又は４に記載の撮影装置。
6. 前記録画制御部の録画結果に基づいて前記貯蔵庫に入出庫される物品を検出する物品検出部を備える、
   請求項１から５のいずれか一項に記載の撮影装置。
7. 前記貯蔵庫は、冷蔵庫であり、
   前記カメラは、前記冷蔵庫の冷蔵室を撮影する冷蔵室用カメラと、前記引出を撮影する引出用カメラと、を含み、
   前記撮影制御部は、前記センサーが前記貯蔵庫の周辺に人が存在すると検出した場合、前記冷蔵室用カメラ、及び前記引出用カメラに撮影を開始させる、
   請求項１から６のいずれか一項に記載の撮影装置。
8. 前記録画制御部は、
   前記ドアが開いた場合に、前記冷蔵室用カメラの撮影結果の録画を開始し、
   前記引出が開いた場合に、前記引出用カメラの撮影結果の録画を開始する、
   請求項７に記載の撮影装置。
9. 貯蔵庫の前上方から前記貯蔵庫を動画像により撮影するカメラを備える撮影装置の制御方法であって、
   前記貯蔵庫の周辺に人が存在するか否かを検出するセンサーが前記貯蔵庫の周辺に人が存在すると検出した場合、前記カメラに撮影を開始させ、
   前記カメラに撮影を開始させた後、前記貯蔵庫のドア又は引出が開いた場合に、前記カメラの撮影結果の録画を開始する、
   撮影装置の制御方法。

Images