JP7453133B2 - 貯蔵庫、貯蔵システム及び画像認識方法 - Google Patents

Description

本発明は、食材等を貯蔵する貯蔵庫及び貯蔵システムに関するものである。

食材等を貯蔵する冷蔵庫などの貯蔵庫では、外部から庫内の食材等の在庫状況を取得して外部へ送信する手法が従来から提案されている。例えば、冷蔵庫内に小型カメラを設けて、小型カメラで撮影した庫内の画像を外部へ送信して、携帯端末等で画像を確認する技術が知られている（例えば、特許文献１）。

特許文献１では、外部からの指令に応じて扉を閉じた状態で冷蔵庫の庫内を撮影して外部へ送信し、庫内の画像を提供する技術が開示されている。

特開２０２０－９４８０１号公報

しかしながら、上記従来の技術では、冷蔵庫の庫内の画像を外部で受信しても、どのような食材がいくつ貯蔵されているかを迅速に把握するのは難しい、という課題があった。すなわち、携帯端末等に庫内の画像だけが表示されても、携帯端末のユーザは画像から食材を認識して庫内の食材の種類と数を特定する必要があるため、時間と労力を要していた。

そこで本発明は、上記問題点に鑑みてなされたもので、貯蔵庫の庫内に貯蔵されている物品の種類と数量を外部へ出力することを目的とする。

本発明は、プロセッサとメモリを有する制御部と、開閉可能な扉と、を有する貯蔵庫であって、前記扉の開度を検出する開度センサと、前記扉が開放された場合に前記貯蔵庫の庫内を上方から撮影可能なカメラと、前記扉が開いた場合に前記庫内を前記カメラへ反射する反射鏡と、を有し、前記制御部は、前記開度センサが検出する開度が所定の閾値を超えた場合には、前記カメラで前記庫内と前記反射鏡の画像をカメラ画像として撮影する撮影部と、前記カメラで撮影した前記カメラ画像から物品を認識する認識部と、前記認識された物品の情報をテキストで出力する認識結果出力部と、を有する。

したがって、本発明は、貯蔵庫内の物品のリストをテキストで生成することで、どのような食材（物品）がいくつ入っているかを迅速に把握することが可能となる。

本明細書において開示される主題の、少なくとも一つの実施の詳細は、添付されている図面と以下の記述の中で述べられる。開示される主題のその他の特徴、態様、効果は、以下の開示、図面、請求項により明らかにされる。

本発明の実施例１を示し、冷蔵システムの一例を示すブロック図である。 本発明の実施例１を示し、冷蔵庫の上部の一例を示す斜視図である。 本発明の実施例１を示し、カメラの取り付け位置の一例を示す冷蔵庫の部分断面図である。 本発明の実施例１を示し、カメラで撮影したカメラ画像の一例を示す図である。 本発明の実施例１を示し、魚眼のカメラ画像を平面画像に変換した画像の一例を示す図である。 本発明の実施例１を示し、制御部で行われる処理の一例を示すフローチャートである。 本発明の実施例１を示し、携帯端末に表示される食材リストの一例を示す図である。 本発明の実施例２を示し、制御部で行われる処理の一例を示すフローチャートである。 本発明の実施例２を示し、携帯端末に表示される発注画面の一例を示す図である。 本発明の実施例２を示し、ストックテーブルの一例を示す図である。 本発明の実施例３を示し、認識部の一例を示す図である。 本発明の実施例３を示し、制御部で行われる処理の一例を示すフローチャートである。 本発明の実施例４を示し、冷蔵システムの一例を示すブロック図である。 本発明の実施例４を示し、冷蔵庫の制御部で行われる処理の一例を示すフローチャートである。 本発明の実施例４を示し、分析サーバで行われる処理の一例を示すフローチャートである。

以下、本発明の実施形態を添付図面に基づいて説明する。

図１は、本発明の実施例１を示し、冷蔵システムの一例を示すブロック図である。冷蔵システムは、ネットワーク６に接続された冷蔵庫１と、ネットワーク６に接続されて冷蔵庫１から庫内の食材リストを受信して表示する携帯端末７と、ネットワーク６に接続されたネットスーパー８と、レシピサイト９を含む。

冷蔵庫１は、開閉自在に取り付けられた左右の扉１３－Ｌと扉１３－Ｒと、扉１３－Ｌ、１３－Ｒに取り付けられた複数のポケット１５と、庫内に形成された上段の棚１４－Ｕと、中段の棚１４－Ｍと、下段の棚１４－Ｌと、を含む。

なお、以下の説明では、棚の上段、中段、下段の区別をしない場合には「－」以降を省略した符号「１４」を用いる。同様に、扉の左右を区別しない場合には「－」以降を省略した符号「１３」を用いる。

冷蔵庫１には後述するように扉１３の開度を検出する開度センサ１６がそれぞれ設けられる。また、冷蔵庫１の上部には、後述するように、庫内を撮影するカメラ１７が取り付けられる。

冷蔵庫１を制御する制御部１０は、プロセッサ２と、記憶装置３と、ネットワーク６に接続された通信部５と、開度センサ１６及びカメラ１７に接続されたＩ／Ｏインタフェース４を含む。なお、記憶装置３は、ＤＲＡＭや内容を保持する不揮発性の記憶媒体等で構成することができる。

記憶装置３には、撮影部３１と、画像バッファ３２と、画像変換部３３と、認識部３４と、認識結果出力部３７と、庫内制御部３８がプログラムとしてロードされてプロセッサ２によって実行される。

プロセッサ２は、各機能部のプログラムに従って処理を実行することによって、所定の機能を提供する機能部として稼働する。例えば、プロセッサ２は、画像変換プログラムに従って処理を実行することで画像変換部３３として機能する。他のプログラムについても同様である。さらに、プロセッサ２は、各プログラムが実行する複数の処理のそれぞれの機能を提供する機能部としても稼働する。計算機及び計算機システムは、これらの機能部を含む装置及びシステムである。

撮影部３１は、Ｉ／Ｏインタフェース４を介してカメラ１７からカメラ画像を取得して画像バッファ３２に格納する。なお、カメラ１７は、魚眼又は広角のレンズ１８（図３参照）を有する。また、撮影部３１は、後述するように、開度センサ１６が検出した扉１３の開度が所定の閾値Ｔｈ１を超え、且つ、扉１３が停止した場合にカメラ１７で冷蔵庫１の庫内を撮影し、撮影した画像をカメラ画像として画像バッファ３２へ格納する。

なお、庫内を撮影する扉１３の開度は、左右の開度センサ１６の少なくとも一方が所定の閾値Ｔｈ１を超えた場合で、扉１３が停止した状態で撮影を行ってもよい。あるいは、左右の開度センサ１６の双方が所定の閾値Ｔｈ１を超えた場合にカメラ１７による撮影を行ってもよい。

画像変換部３３は、魚眼又は広角のレンズで撮影されたカメラ画像を平面画像に変換する。魚眼又は広角のレンズで撮影された画像を平面画像に展開する技術は、公知又は周知の技術を適用すればよいので、本実施例では詳述しない。

認識部３４は、学習ベース画像認識部３５と、ルールベース画像認識部３６を含んで、それぞれ、変換された平面画像から庫内の食品（又は物品）を認識する。学習ベース画像認識部３５は、例えば、予め学習が行われたニューラルネットワーク等の機械学習モデルを含み、平面画像を入力して、認識結果をテキストで出力する。

ルールベース画像認識部３６は、平面画像を入力して、ルールベースによって庫内の食品（又は物品）を認識する。ルールベース画像認識部３６は、入力された平面画像に対して領域分割を行ってから各領域毎に物品のラベリングを行って、認識したラベルの内容をテキストで出力する。なお、学習ベース画像認識部３５と、ルールベース画像認識部３６は、それぞれ周知又は公知の技術を適用すればよいので、本実施例では詳述しない。

認識結果出力部３７は、学習ベース画像認識部３５の認識結果と、ルールベース画像認識部３６の認識結果を受け付けて、食材リストを生成する。認識結果出力部３７は、認識部３４から機械学習モデルによる認識結果と、ルールベースによる認識結果を用いることで、誤認識を補正して画像からの食品（又は物品）の認識精度を向上させることができる。

認識結果出力部３７は、機械学習モデルとルールベースによる認識結果から、食品の種類と数を集計して、庫内の食材リストを生成する。そして、認識結果出力部３７は、生成された食材リストを予め設定された携帯端末７に送信するよう通信部５に指令する。携帯端末７は、図示しないアプリケーションを実行しており、冷蔵庫１から受信した食材リストを表示部に出力する。

庫内制御部３８は、図示しないモータやコンプレッサを制御して、冷蔵庫１の庫内の温度や湿度を制御する。庫内制御部３８については周知又は公知の技術を適用すればよいので、本実施例では詳述しない。

図２は、冷蔵庫１の上部の一例を示す斜視図である。冷蔵庫１は上部に天板１１を有し、冷蔵庫１の前方側の天板１１の左右にはヒンジ部１２がそれぞれ取り付けられて、左右の扉１３がヒンジ部１２によって開閉自在に支持される。本実施例では、左右の扉１３が観音開きで冷蔵庫１の開口部１１０を開閉する例を示す。

左右のヒンジ部１２の上端には扉１３の開度（角度）を検出する開度センサ１６が取り付けられる。天板１１の上面には、左右のヒンジ部１２の中間に冷蔵庫１の開口部１１０よりも冷蔵庫１の前方へ突出し、扉１３が開いたときに庫内を情報から撮影するカメラ１７が取り付けられる。

図３は、カメラ１７の取り付け位置の一例を示す冷蔵庫１の部分断面図である。カメラ１７は、冷蔵庫１の前方へ向けて端部（又は端面）１７０を開口部１１０（天板１１の端部）から所定量だけ突出させて天板１１の上面に取り付けられる。

開口部１１０よりも前方に突出したカメラ１７の下面には、冷蔵庫１の庫内を撮影するレンズ１８が下方に向けて設けられる。レンズ１８は、魚眼又は広角が採用される。本実施例では、レンズ１８として魚眼レンズを採用した例を示す。

開口部１１０から突出したカメラ１７の端部１７０には、下方に向けて突出したミラー１９が設けられる。ミラー１９は、冷蔵庫１の庫内のうち、少なくとも上段の棚１４－Ｕ及び中段の棚１４－Ｍの上面の物品をカメラ１７へ向けて反射する反射鏡として機能する。

なお、扉１３の開閉の際に、ミラー１９と扉１３が干渉する場合には、ミラー１９を折りたたみ可能又は変位可能な構造にすればよい。また、図示の例では、ミラー１９は、カメラ１７の端部１７０に取り付けられた例を示したが、これに限定されるものではなく、端部１７０よりも冷蔵庫１の前方に配置されてもよい。

図４は、カメラ１７で撮影したカメラ画像４０の一例を示す図である。魚眼のレンズ１８で撮影したカメラ画像４０は、レンズ１８から直接撮影した冷蔵庫１の庫内及び左右の扉１３のポケット１５と、ミラー１９に反射した上段の棚１４－Ｕと中段の棚１４－Ｍ及び下段の棚１４－Ｌの上面に載置された食品が含まれる。

魚眼のレンズ１８であっても、レンズ１８から直接撮影した画像では、最上段の棚１４－Ｕの上面の物品は一部しか撮影することができない。これに対して、ミラー１９で反射された画像では、最上段の棚１４－Ｕの上面に置かれた食品を庫内の奥まで撮影することができる。

ただし、魚眼のレンズ１８で撮影したカメラ画像４０をそのまま使用して認識部３４の学習ベース画像認識部３５やルールベース画像認識部３６に食品の認識を実施させるのは難しい。すなわち、機械学習モデルの学習フェーズでは、歪みのない画像で学習を実施するため、魚眼又は広角のレンズ１８で歪んだカメラ画像４０をそのまま認識することは難しい。

このため、画像変換部３３は、魚眼のレンズ１８で撮影した歪みを含む画像を平面画像に変換する。図５は、魚眼のカメラ画像４０を平面画像に変換した画像の一例を示す図である。

画像変換部３３は、魚眼のレンズ１８で撮影したカメラ画像４０から、レンズ１８から直接撮影した庫内直接画像（第１の画像）４５と、レンズ１８からミラー１９を介して撮影したミラー画像（第２の画像）４１を抽出して、庫内直接画像４５とミラー画像４１のそれぞれについてレンズ１８の歪みを除去した平面画像に変換する。

庫内直接画像４５は、右扉画像４２と、庫内正面画像４３と、左扉画像４４から構成され、図４のカメラ画像４０の略上半分の領域である。ミラー画像４１は、図４のカメラ画像４０の下部のミラー１９に反射した庫内の画像である。

画像変換部３３は、庫内直接画像４５のうち、右扉画像４２を平面画像に変換して右扉展開画像５２を生成し、庫内正面画像４３を平面画像に変換して正面展開画像５３を生成し、左扉画像４４を平面画像に変換して左扉展開画像５４を生成する。

また、画像変換部３３は、ミラー画像４１を平面画像に変換して上段展開画像５１を生成する。

そして、画像変換部３３は、歪みを除去した右扉展開画像５２と正面展開画像５３と左扉展開画像５４に上段展開画像５１を合成して認識用画像５０を生成する。

画像変換部３３は、レンズ１８から直接撮影するのが難しい最上段の棚１４－Ｕの上面に載置されている食品の画像を、ミラー画像４１から平面画像に展開した上段展開画像５１とし、他の平面画像と結合することで庫内全体の食品又は物品を映し出した認識用画像５０を生成することが可能となる。

図６は、制御部１０で行われる処理の一例を示すフローチャートである。この処理は、扉１３が開いた場合に開始される。

まず、撮影部３１は、開度センサ１６の検出値から扉１３の開度（角度）を取得する（Ｓ１）。次に、撮影部３１は、開度センサ１６の検出値（角度）の変化率から扉１３の角速度を算出する。なお、角度の変化率は、前回値からの変化率や、所定時間（１００ｍｓ等）内の変化率を用いることができる。また、角速度は、扉１３の開き方向が正の値とし、扉１３を閉じる方向を負の値とする。

撮影部３１は、扉１３の角速度が開き方向（正の値）であるか否かを判定する（Ｓ３）。開き方向であればステップＳ４へ進み、閉じ方向であれば処理を終了する。ステップＳ４では、扉１３の開度が予め設定した閾値Ｔｈ１以上であるか否かを判定する。扉１３の開度が閾値Ｔｈ１以上であればステップＳ５へ進み、開度が閾値Ｔｈ１未満であればステップＳ１に戻って上記処理を繰り返す。閾値Ｔｈ１は、例えば、１００度など扉１３のポケット１５に載置されている食品が撮影可能な値に設定される。

ステップＳ５では、扉１３が停止したか否かを判定し、停止した場合にはステップＳ６へ進み、開閉中であればステップＳ１に戻って上記処理を繰り返す。ステップＳ６では、撮影部３１がカメラ１７の可視光画像を取得して、カメラ画像４０として画像バッファ３２に格納する。

扉１３が停止した位置は、開度が閾値Ｔｈ１以上で扉１３の内側のポケット１５が撮影可能な開度であるので、庫内の食品をより多く撮影することが可能となる。また、撮影部３１は、扉１３の動きが停止してからカメラ１７で撮影を実施するため、ポケット１５等の画像がブレるのを防いで、確実に静止画を取得することが可能となる。

次に、画像変換部３３は、ステップＳ６で撮影されたカメラ画像４０を画像バッファ３２から読み込んで、魚眼の画像を平面画像に展開する（Ｓ７）。画像変換部３３は、図５で示したように、魚眼のカメラ画像４０からミラー画像４１と、右扉画像４２と庫内正面画像４３と、左扉画像４４を抽出して、それぞれ平面画像に変換し、上段展開画像５１と、右扉展開画像５２と、正面展開画像５３と、左扉展開画像５４を生成し、これらの平面画像を結合して認識用画像５０を生成する。

次に、学習ベース画像認識部３５は、画像変換部３３が生成した認識用画像５０を入力して、機械学習モデルに食品の画像認識を実行させ、認識結果をテキストで出力する（Ｓ８）。ルールベース画像認識部３６は、画像変換部３３が生成した認識用画像５０を入力して、食品の画像認識をルールベースで実行し、認識結果をテキストで出力する（Ｓ９）。

なお、学習ベース画像認識部３５とルールベース画像認識部３６の処理順序は上記に限定されるものではなく、並列で実行してもよい。

次に、認識結果出力部３７は、学習ベース画像認識部３５の認識結果と、ルールベース画像認識部３６の認識結果を入力して、認識結果のテキストから食品の種類と数量を算出して食材リストを生成する（Ｓ１０）。なお、認識結果出力部３７は、認識結果のうち食品以外の物品は食材リストから除外しておく。

認識結果出力部３７は、学習ベース画像認識部３５の認識結果とルールベース画像認識部３６の認識結果の論理積によって、食品の種類と数を決定することができる。或いは、認識結果出力部３７は、学習ベース画像認識部３５の認識結果を、ルールベース画像認識部３６の認識結果で補正してもよい。そして、認識結果出力部３７は、予め設定された携帯端末７に、上記生成した食材リストを送信する。

図７は、携帯端末７に表示される食材リスト７２の一例を示す図である。図示の例は携帯端末７がスマートフォンで構成された例を示す。携帯端末７は、図示しないアプリケーションが稼働しており、ネットワーク６を介して冷蔵庫１と通信を行う。

携帯端末７の表示画面７１上には、冷蔵庫１から受信した食品の種類と数量が対になったテキストで構成された食材リスト７２が表示される。冷蔵庫１のユーザは、携帯端末７の食材リスト７２のテキストを参照することで、冷蔵庫１に貯蔵されている食品の種類と数量を迅速且つ容易に把握することが可能となる。

なお、上記では撮影部３１が冷蔵庫１の庫内を撮影してから食品の画像認識と食材リスト７２の生成及び送信を実施する例を示したが、これに限定されるものではない。例えば、制御部１０は、カメラ画像４０の認識結果から算出された食材リスト７２を記憶装置３に保持しておき、携帯端末７から食材リスト７２の要求を受け付けた場合に、最新の食材リスト７２を携帯端末７へ送信するようにしてもよい。

以上のように、本実施例では、冷蔵庫１内の食品のリストをテキストで生成して携帯端末７へ送信することで、冷蔵庫１のユーザは携帯端末７を参照することで、外出中であってもどのような食材がいくつ入っているかを迅速に把握することが可能となる。

また、本実施例では、扉１３を開いた状態で、可視光画像で撮影したカメラ画像４０から、食品の認識を行う際には野菜や食品の色合いなどを加味して画像認識を行うことができ、認識精度を向上させることができる。

また、本実施例では、冷蔵庫１の天板１１から開口部１１０よりも前方にカメラ１７の端部１７０を突出させ、開口部１１０よりも突出したカメラ１７の下面に魚眼又は広角のレンズ１８を配置することで、扉１３を開いた状態で冷蔵庫１の庫内を可視光画像で撮影することができる。

さらに、カメラ１７の端部１７０には、端部１７０から下方に向けて突出したミラー１９を設置することで、庫内上段の棚１４－Ｕの上面の食品を撮影することができる。これにより、レンズ１８から直接撮影できない領域の食品についても撮影することが可能となり、冷蔵庫１に貯蔵されている食品を正確に撮影することが可能となる。

また、画像変換部３３が、魚眼画像を平面画像に変換することで、学習ベース画像認識部３５の機械学習モデルは平面画像で学習しておけばよく、学習用の画像を容易に生成することができる。

また、本実施例では、食品を貯蔵する装置として冷蔵庫１に本発明を適用する例を示したが、これに限定されるものではない。例えば、キッチンストッカーや床下収納庫等の食品を貯蔵する貯蔵庫や装置に本発明を適用してもよい。

また、認識部３４の機械学習モデルは、食品のパッケージの変更や追加などに応じて、最新の機械学習モデルに更新することができ、例えば、図示しないサーバから受信した機械学習モデルを学習ベース画像認識部３５の機械学習モデルとして更新してもよい。

また、上記では食材リストを携帯端末７へ出力する例を示したが、食材リストをレシピサイト９へ送信して、現在の食材リストで実現可能な料理のレシピを要求し、携帯端末７に表示させてもよい。

図８～図１０は、本発明の実施例２を示し、前記実施例１の食材リスト７２に基づいてネットスーパー８に食材を発注する例を示す。

本実施例では、冷蔵庫１のユーザが、冷蔵庫１に常時貯蔵しておきたい食品の種類と数をストックテーブルに設定して記憶装置３に格納しておく。そして、冷蔵庫１は最新の食材リストとストックテーブルを比較して、ストックテーブルの食品のうち不足しているものをネットスーパー８に発注する例を示す。

図１０は、ストックテーブル３９の一例を示す図である。ストックテーブル３９は、冷蔵庫１のユーザ等が携帯端末７等から予め設定したテーブルである。ストックテーブル３９は、食品の種類を格納する品目３９１と、当該食品を常時貯蔵しておくべき数量を格納する定数３９２と、当該食品を発注するサイトを格納する発注先３９３をひとつのレコードに含む。

図８は、本発明の実施例２を示し、制御部１０で行われる処理の一例を示すフローチャートである。ステップＳ１～Ｓ１０の食材リストの生成までは前記実施例１の図６と同様である。

ステップＳ２１では、認識結果出力部３７がストックテーブル３９を読み込んで、食材リストの食品の数量とストックテーブル３９の定数３９２と比較を行う。認識結果出力部３７は、食材リストの食品の数量がストックテーブル３９の定数３９２未満の食品の有無を判定する（Ｓ２２）。食品の数量がストックテーブル３９の定数３９２未満の食品があればステップＳ２３へ進み、そうでない場合にはステップＳ２４へ進む。

ステップＳ２３では、認識結果出力部３７が食材リストの数量がストックテーブル３９の定数３９２未満の品目３９１について、定数３９２との差分を発注数として算出し、発注リストを生成して、予め設定され携帯端末７に送信する。冷蔵庫１のユーザは、携帯端末７で受信した発注リストを確認して予め設定した発注先３９３に食品を注文する。

一方、ステップＳ２２では、不足している食品はないので、前記実施例１と同様に食材リストを予め設定され携帯端末７に送信する。

図９は、携帯端末７に表示される発注リスト７３の一例を示す図である。携帯端末７の表示画面７１上には、冷蔵庫１から受信した発注リスト７３が表示される。発注リスト７３は、ストックテーブル３９の定数３９２に達していない品目３９１と、定数３９２に対して不足している数量が対になって表示される。

発注リスト７３の下方には、発注先７４と発注ボタン７５が表示され、冷蔵庫１のユーザは、発注ボタン７５を操作することで発注リスト７３の内容が発注先７４へ送信される。

なお、図示の例では、単一の発注先７４が表示される例を示すが、ストックテーブル３９で品目３９１毎に異なる発注先３９３が設定されている場合には、発注リスト７３に品目毎の発注先の名称を表示することができる。

以上のように、本実施例によれば、冷蔵庫１のユーザが予めストックテーブル３９を設定しておくことで、冷蔵庫１の認識結果出力部３７は、不足した食品を自動的に補充することが可能となる。

なお、認識結果出力部３７が発注リスト７３を生成するタイミングは、カメラ１７で庫内を撮影した直後に限定されるものではなく、毎週或いは毎日等所定の周期など、予め設定されたタイミングで実施すればよい。

図１１、図１２は本発明の実施例３を示し、前記実施例１に示したミラー１９に曇りが発生した場合、学習ベース画像認識部３５の機械学習モデルを切り替える例を示す。前記実施例１では、ミラー１９に写った庫内の画像をミラー画像４１として抽出し、学習ベース画像認識部３５へ入力していた。

食品を貯蔵する冷蔵庫１等の貯蔵庫は、台所など炊事を行う場所又はその近傍に設置されることが多い。炊事などの際に発生した蒸気でミラー１９に曇りが発生する場合がある。

曇りが発生したミラー１９でカメラ画像４０を取得した場合、学習ベース画像認識部３５の機械学習モデルは、曇りのない画像で食品又は物品の学習を実施するため、曇りが発生したミラー画像４１（上段展開画像５１）では正確に食品を認識するのは難しい。

本実施例では、学習ベース画像認識部３５の機械学習モデルを曇りが発生した場合には、学習モデルを切り替えて、画像認識を実施する例を示す。図１１は、認識部３４の一例を示す図である。認識部３４の学習ベース画像認識部３５は、通常学習モデル３５１と、曇り学習モデル３５２を有する。

通常学習モデル３５１は、曇りのない画像で食品又は物品の学習を実施し、曇り学習モデル３５２は、曇りのある画像で食品又は物品の学習を実施したものである。学習ベース画像認識部３５は、入力されたミラー画像４１に曇りが発生しているか否かを判定し、ミラー画像４１（上段展開画像５１）に曇りが含まれていれば、機械学習モデルを曇り学習モデル３５２に切り替えて入力された画像の認識を実施する。

なお、ミラー１９等の曇りを検出する技術としては、例えば、特開平１０－１０２４３５号公報や、特開平１１－３１８８１０号公報など、公知又は周知の技術を適用することができる。

図１２は、制御部１０で行われる処理の一例を示すフローチャートである。このフローチャートのステップＳ１～Ｓ１１は、前記実施例１の図６と同様であり、ステップＳ７とステップＳ８の間にステップＳ３１～ステップＳ３４を挿入した点が実施例１と相違する。

ステップＳ３１では、認識部３４の学習ベース画像認識部３５は画像変換部３３で生成された認識用画像５０を入力して、上段展開画像５１に含まれる曇りを検出する。そして、ステップＳ３２で、学習ベース画像認識部３５は、上段展開画像５１に曇りがあるか否かを判定する。

学習ベース画像認識部３５は、上段展開画像５１に曇りがある場合にはステップＳ３４へ進んで曇り学習モデル３５２を選択し、曇りがない場合にはステップＳ３３へ進んで通常学習モデル３５１を選択する。

そして、ステップＳ８では、学習ベース画像認識部３５は、ステップＳ３３又はＳ３４で選択された機械学習モデルで認識用画像５０から食品（又は物品）の認識を実施する。以降の処理は、前記実施例１と同様であり、食材リストを生成して携帯端末７に出力する。

以上のように、本実施例では、学習ベース画像認識部３５は、ミラー１９に曇りがある場合には、機械学習モデルを曇り学習モデル３５２へ切り替えることで、ミラー画像４１に曇りが含まれていても、誤認識を抑制することが可能となる。

図１３～図１５は、本発明の実施例４を示し、前記実施例１に示した画像変換処理と、画像認識処理と、認識結果出力処理をネットワーク６に接続された分析サーバ１００で実施する例を示す。

前記実施例１では、冷蔵庫１の制御部１０で実行されていた画像変換部３３と、認識部３４と、認識結果出力部３７を分析サーバ１００で実行する。また、冷蔵庫１の制御部１０では、新たに人体検出部８２と画像送信部８１を実行する点が前記実施例１と相違する。

本実施例では、分析サーバ１００は、複数の冷蔵庫１からカメラ画像４０を取得して、冷蔵庫１毎に食品を認識して食材リストを生成して冷蔵庫１毎に設定された携帯端末７へ送信する。また、人体検出部８２は、カメラ画像４０に冷蔵庫１のユーザ等の人体が写っている場合には、プライバシー保護の観点から当該カメラ画像４０の分析サーバ１００への送信を禁止する例を示す。

図１３は、冷蔵システムの一例を示すブロック図である。本実施例の冷蔵システムは、前記実施例１の構成に加えてネットワーク６に接続された分析サーバ１００を含む。分析サーバ１００は、プロセッサ１０１と、メモリ１０２と、ストレージ装置１０３と、通信部１０４を含む計算機である。

メモリ１０２には、送受信部６１の他に、前記実施例１で冷蔵庫１の記憶装置３に格納されていた、画像変換部３３と、認識部３４と、認識結果出力部３７が格納されてプロセッサ１０１によって実行される。本実施例では、実施例１と同一のものについては、同一の符号を付して説明を省略する。

送受信部６１は冷蔵庫１からカメラ画像４０を受信してストレージ装置１０３へ格納し、認識結果出力部３７が生成した食材リストを冷蔵庫１のユーザの携帯端末７へ送信する。

ストレージ装置１０３は、冷蔵庫１から受信したカメラ画像４０を格納する画像データ１０５を保持する。なお、カメラ画像４０は、冷蔵庫１毎に識別子を付与されておりユーザの識別が可能となっている。

冷蔵庫１の記憶装置３には、画像送信部８１と、人体検出部８２の他に、前記実施例１の撮影部３１と、画像バッファ３２と、庫内制御部３８が格納されてプロセッサ２によって実行される。

画像送信部８１は、撮影されたカメラ画像４０を分析サーバ１００へ送信する。人体検出部８２は、機械学習モデル等の画像認識部を含み、カメラ画像４０に含まれる人体（又は人体の部分）を検出し、人体が検出された場合にはカメラ画像４０が外部へ送信されるのを阻止する。

図１４は、冷蔵庫１の制御部１０で行われる処理の一例を示すフローチャートである。このフローチャートのステップＳ１～Ｓ６は、前記実施例１の図６と同様であるので、重複する説明は省略する。

ステップＳ４１では、人体検出部８２が撮影部３１から出力されたカメラ画像４０を取得し、カメラ画像４０から人体又は人体の部分を検出する。ステップＳ４２では、人体検出部８２が、カメラ画像４０に人体が含まれるか否かを判定し、人体が含まれる場合にはステップＳ４３へ進み、人体を含まない場合にはステップＳ４４へ進む。

ステップＳ４３では、人体検出部８２がカメラ画像４０を破棄して、冷蔵庫１の外部へ人体を含むカメラ画像４０が送信されるのを阻止する。一方、ステップＳ４４では、人体検出部８２がカメラ画像４０を画像バッファ３２へ格納する。

上記処理により、冷蔵庫１の扉１３を開閉する際に撮影されたカメラ画像４０に人体が含まれる場合にはカメラ画像４０は破棄されて、冷蔵庫１のユーザのプライバシーを保護することができる。一方、カメラ画像４０に人体が含まれていない場合には画像バッファ３２にカメラ画像４０が蓄積される。

画像送信部８１は、予め設定されたタイミング（例えば、１日１回又は携帯端末７の指示等）で画像バッファ３２のカメラ画像４０のうち最新のカメラ画像４０を分析サーバ１００へ送信する。なお、画像送信部８１は、送信するカメラ画像４０に冷蔵庫１の識別子を付加する。

分析サーバ１００のストレージ装置１０３には、複数の冷蔵庫１から送信されたカメラ画像４０が格納される。

図１５は、分析サーバ１００で行われる処理の一例を示すフローチャートである。この処理は、カメラ画像４０を受信した場合など所定のタイミングで実施される。送受信部６１は、受信したカメラ画像４０をストレージ装置１０３の画像データ１０５から取得して、画像変換部３３へ入力する（Ｓ５１）。

以降のステップＳ５２～Ｓ５５の処理は、前記実施例１の図６に示したステップＳ７～Ｓ１１と同様であり、魚眼のカメラ画像４０を平面画像に変換してから食品の認識を行って、認識結果出力部３７で食材リストを生成して出力する。出力された食材リストは、送受信部６１によって冷蔵庫１のユーザの携帯端末７に送信される。

以上のように、本実施例では分析サーバ１００が複数の冷蔵庫１のカメラ画像４０を認識して食材リストを携帯端末７へ送信するので、冷蔵庫１の制御部１０の処理負荷を低減して冷蔵庫１の製造コストを低減できる。

また、食品のパッケージの変更や、新たな食品の出現などに応じて、学習ベース画像認識部３５の機械学習モデルを更新する必要があるが、本実施例では分析サーバ１００の機械学習モデルを更新すればよいので、機械学習モデルのメンテナンスにかかるコストを低減できる。

また、冷蔵庫１の制御部１０では、人体検出部８２によってカメラ画像４０を監視し、人体の部分が含まれるカメラ画像４０を破棄することで外部へ送信されるのを防止し、冷蔵庫１のユーザのプライバシーを保護することが可能となる。

＜結び＞
以上のように、上記実施例の冷蔵庫１は、以下のような貯蔵庫又は貯蔵システムとすることができる。

（１）プロセッサ（２）とメモリ（３）を有する制御部（１０）と、開閉可能な扉（１３）と、を有する貯蔵庫（１）であって、前記扉（１３）の開度を検出する開度センサ（１６）と、前記扉（１３）が開放された場合に前記貯蔵庫の庫内を上方から撮影可能なカメラ（１７）と、前記扉（１３）が開いた場合に前記庫内を前記カメラ（１７）へ反射する反射鏡（ミラー１９）と、を有し、前記制御部（１０）は、前記開度センサ（１６）が検出する開度が所定の閾値を超えた場合には、前記カメラ（１７）で前記庫内と前記反射鏡（１９）の画像をカメラ画像（４１）として撮影する撮影部（３１）と、前記カメラ（１７）で撮影した前記カメラ画像（４１）から物品を認識する認識部（３４）と、前記認識された物品の情報をテキストで出力する認識結果出力部（３７）と、を有することを特徴とする貯蔵庫。

上記構成により、制御部１０は、冷蔵庫１内の食品のリストをテキストで生成して外部へ出力することで、冷蔵庫１のユーザはどのような食材がいくつ入っているかを迅速に把握することが可能となる。

（２）上記（１）に記載の貯蔵庫であって、前記カメラ（１７）は、魚眼又は広角のレンズで構成され、貯蔵庫の上面から前方へ向けて突出した位置で前記レンズを下方に向けて配置したことを特徴とする貯蔵庫。

上記構成により、扉１３を開いた状態で、冷蔵庫１の上方に設けたカメラから下方の庫内を、可視光画像で撮影したカメラ画像４０によって食品の認識を行うため際には食品の色合いなどを加味して画像認識を行うことができ、認識精度を向上させることができる。

（３）上記（２）に記載の貯蔵庫であって、前記反射鏡（１９）は、前記カメラ（１７）の端部又は端部よりも貯蔵庫の前方で下方へ向けて突出することを特徴とする貯蔵庫。

上記構成により、カメラ１７の端部１７０には、端部１７０から下方に向けて突出したミラー１９を設置することで、庫内上段の棚１４－Ｕの上面の食品（又は物品）を撮影することができる。これにより、レンズ１８から直接撮影できない領域の食品についても撮影することが可能となり、冷蔵庫１に貯蔵されている食品を正確に撮影することが可能となる。

（４）上記（３）に記載の貯蔵庫であって、前記制御部（１０）は、前記カメラ画像（４１）から、前記レンズから直接撮影した貯蔵庫内の第１の画像と、前記レンズから前記反射鏡（１９）を介して撮影した貯蔵庫内の第２の画像と、を抽出して、前記第１の画像と前記第２の画像から前記魚眼又は広角のレンズの歪みを除去した平面画像に変換し、前記第１の画像の平面画像と第２の画像の平面画像を合成して認識用画像を生成する画像変換部をさらに有し、前記認識部（３４）は、前記認識用画像から物品を認識することを特徴とする貯蔵庫。

上記構成により、画像変換部３３は、魚眼画像を平面画像に変換することで、学習ベース画像認識部３５の機械学習モデルは平面画像で学習を行うことができ、学習用の画像を容易に生成することができる。

（５）上記（４）に記載の貯蔵庫であって、前記画像変換部は、前記認識用画像を生成する際に、前記第２の画像の平面画像を庫内上部の平面画像として、前記k第１の画像の平面画像に合成することを特徴とする貯蔵庫。

上記構成により、画像変換部３３は、ミラー画像４１から歪みを取り除いた平面画像を上段展開画像５１として認識用画像５０に合成することで、レンズ１８から直接撮影できない領域（上段の棚１４－Ｕ）の食品についても画像認識を行うことが可能となる。

（６）上記（４）に記載の貯蔵庫であって、前記認識結果出力部（３７）は、前記庫内の物品の認識結果のうち食品の種類と数量を食材リストとして出力することを特徴とする貯蔵庫。

上記構成により、冷蔵庫１のユーザは、テキストの情報で庫内の食品を把握することができる。

（７）上記（６）に記載の貯蔵庫であって、前記認識結果出力部（３７）は、前記食材リストの食品の数量が、予め設定された数量未満の食品について外部へ発注することを特徴とする貯蔵庫。

上記構成により、冷蔵庫１のユーザが予めストックテーブル３９を設定しておくことで、冷蔵庫１の認識結果出力部３７は、不足した食品を自動的に補充することが可能となる。

（８）上記（１）に記載の貯蔵庫であって、前記認識部（３４）は、前記カメラ画像（４１）のうち前記反射鏡（１９）の画像に曇りの有無を検出し、前記反射鏡（１９）の画像に曇りがある場合には、画像を認識する機械学習モデルを、通常用学習モデル（３５１）から曇り用学習モデル（３５２）へ切り替えることを特徴とする貯蔵庫。

上記構成により、学習ベース画像認識部３５は、ミラー１９に曇りがある場合には、機械学習モデルを曇り学習モデル３５２へ切り替えることで、ミラー画像４１に曇りが含まれていても、誤認識を抑制することが可能となる。

（９）プロセッサ（２）とメモリ（３）を有する制御部（１０）と、開閉可能な扉（１３）と、を含む貯蔵庫（１）と、前記貯蔵庫（１）とネットワーク（６）を介して接続されて、プロセッサ（１０１）とメモリ（１０２）を有するサーバ（１００）と、を含む貯蔵システムであって、前記貯蔵庫（１）は、前記扉（１３）の開度を検出する開度センサ（１６）と、前記扉（１３）が開放された場合に前記貯蔵庫の庫内を上方から撮影可能なカメラ（１７）と、前記扉（１３）が開いた場合に前記庫内を前記カメラ（１７）へ反射する反射鏡（１９）と、を有し、前記制御部（１０）は、前記開度センサ（１６）が検出する開度が所定の閾値を超えた場合には、前記カメラ（１７）で前記庫内と前記反射鏡（１９）の画像をカメラ画像（４１）として撮影する撮影部（３１）と、前記カメラ画像（４１）を前記サーバ（１００）へ送信する画像送信部と、を有し、前記サーバ（１００）は、前記貯蔵庫から前記カメラ画像（４１）を受信する送受信部（６１）と、 前記カメラ（１７）で撮影した前記カメラ画像（４１）から物品を認識する認識部（３４）と、前記認識された物品の情報をテキストで出力する認識結果出力部（３７）と、を有することを特徴とする貯蔵システム。

上記構成により、分析サーバ１００が複数の冷蔵庫１のカメラ画像４０を認識して食材リストを携帯端末７へ送信するので、冷蔵庫１の制御部１０の処理負荷を低減して冷蔵庫１の製造コストを低減できる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に記載したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加、削除、又は置換のいずれもが、単独で、又は組み合わせても適用可能である。

また、上記の各構成、機能、処理部、及び処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、及び機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１ 冷蔵庫
２ プロセッサ
３ 記憶装置
４ Ｉ／Ｏインタフェース
５ 通信部
６ ネットワーク
７ 携帯端末
８ ネットスーパー
１０ 制御部１０
１３ 扉
１６ 開度センサ
１７ カメラ
１８ レンズ
１９ ミラー
３１ 撮影部
３２ 画像バッファ
３３ 画像変換部
３４ 認識部
３５ 学習ベース画像認識部
３６ ルールベース画像認識部
３７ 認識結果出力部

Claims (13)

1. プロセッサとメモリを有する制御部と、
   開閉可能な扉と、を有する貯蔵庫であって、
   前記扉の開度を検出する開度センサと、
   前記扉が開放された場合に前記貯蔵庫の庫内を上方から撮影可能なカメラと、
   前記扉が開いた場合に前記庫内を前記カメラへ反射する反射鏡と、を有し、
   前記制御部は、
   前記開度センサが検出する開度が所定の閾値を超えた場合には、前記カメラで前記庫内と前記反射鏡の可視光画像をカメラ画像として撮影する撮影部と、
   前記カメラで撮影した前記カメラ画像から物品を認識する認識部と、
   前記認識された物品の情報をテキストで出力する認識結果出力部と、
   を有し、
   前記カメラは、魚眼又は広角のレンズで構成され、貯蔵庫の上面から前方へ向けて突出した位置で前記レンズを下方に向けて配置し、
   前記反射鏡は、前記カメラの端部又は端部よりも貯蔵庫の前方で下方へ向けて突出することを特徴とする貯蔵庫。
2. 請求項１に記載の貯蔵庫であって、
   前記制御部は、
   前記カメラ画像から、前記レンズから直接撮影した貯蔵庫内の第１の画像と、前記レンズから前記反射鏡を介して撮影した貯蔵庫内の第２の画像と、を抽出して、前記第１の画像と前記第２の画像から前記魚眼又は広角のレンズの歪みを除去した平面画像に変換し、前記第１の画像の平面画像と第２の画像の平面画像を合成して認識用画像を生成する画像変換部をさらに有し、
   前記認識部は、
   前記認識用画像から物品を認識することを特徴とする貯蔵庫。
3. 請求項２に記載の貯蔵庫であって、
   前記画像変換部は、
   前記認識用画像を生成する際に、前記第２の画像の平面画像を庫内上部の平面画像として、前記第１の画像の平面画像に合成することを特徴とする貯蔵庫。
4. 請求項２に記載の貯蔵庫であって、
   前記認識結果出力部は、
   前記庫内の物品の認識結果のうち食品の種類と数量を食材リストとして出力することを特徴とする貯蔵庫。
5. 請求項４に記載の貯蔵庫であって、
   前記認識結果出力部は、
   前記食材リストの食品の数量が、予め設定された数量未満の食品について外部へ発注することを特徴とする貯蔵庫。
6. プロセッサとメモリを有する制御部と、
   開閉可能な扉と、を有する貯蔵庫であって、
   前記扉の開度を検出する開度センサと、
   前記扉が開放された場合に前記貯蔵庫の庫内を上方から撮影可能なカメラと、
   前記扉が開いた場合に前記庫内を前記カメラへ反射する反射鏡と、を有し、
   前記制御部は、
   前記開度センサが検出する開度が所定の閾値を超えた場合には、前記カメラで前記庫内と前記反射鏡の可視光画像をカメラ画像として撮影する撮影部と、
   前記カメラで撮影した前記カメラ画像から物品を認識する認識部と、
   前記認識された物品の情報をテキストで出力する認識結果出力部と、
   を有し、
   前記認識部は、
   前記カメラ画像のうち前記反射鏡の画像に曇りの有無を検出し、前記反射鏡の画像に曇りがある場合には、画像を認識する機械学習モデルを、通常用学習モデルから曇り用学習モデルへ切り替えることを特徴とする貯蔵庫。
7. プロセッサとメモリを有する制御部と、開閉可能な扉と、を含む貯蔵庫と、
   前記貯蔵庫とネットワークを介して接続されて、プロセッサとメモリを有するサーバと、を含む貯蔵システムであって、
   前記貯蔵庫は、
   前記扉の開度を検出する開度センサと、
   前記扉が開放された場合に前記貯蔵庫の庫内を上方から撮影可能なカメラと、
   前記扉が開いた場合に前記庫内を前記カメラへ反射する反射鏡と、を有し、
   前記制御部は、
   前記開度センサが検出する開度が所定の閾値を超えた場合には、前記カメラで前記庫内と前記反射鏡の画像をカメラ画像として撮影する撮影部と、
   前記カメラ画像を前記サーバへ送信する画像送信部と、を有し、
   前記サーバは、
   前記貯蔵庫から前記カメラ画像を受信する送受信部と、
   前記カメラで撮影した前記カメラ画像から物品を認識する認識部と、
   前記認識された物品の情報をテキストで出力する認識結果出力部と、
   を有し、
   前記カメラは、魚眼又は広角のレンズで構成され、貯蔵庫の上面から前方へ向けて突出した位置で前記レンズを下方に向けて配置し、
   前記反射鏡は、前記カメラの端部又は端部よりも貯蔵庫の前方で下方へ向けて突出することを特徴とする貯蔵システム。
8. 請求項７に記載の貯蔵システムであって、
   前記サーバは、
   前記カメラ画像から、前記レンズから直接撮影した貯蔵庫内の第１の画像と、前記レンズから前記反射鏡を介して撮影した貯蔵庫内の第２の画像と、を抽出して、前記第１の画像と前記第２の画像から前記魚眼又は広角のレンズの歪みを除去した平面画像に変換し、前記第１の画像の平面画像と第２の画像の平面画像を合成して認識用画像を生成する画像変換部をさらに有し、
   前記認識部は、
   前記認識用画像から物品を認識することを特徴とする貯蔵システム。
9. 請求項８に記載の貯蔵システムであって、
   前記画像変換部は、
   前記認識用画像を生成する際に、前記第２の画像の平面画像を庫内上部の平面画像として、前記第１の画像の平面画像に合成することを特徴とする貯蔵システム。
10. 請求項８に記載の貯蔵システムであって、
    前記認識結果出力部は、
    前記庫内の物品の認識結果のうち食品の種類と数量を食材リストとして出力することを特徴とする貯蔵システム。
11. プロセッサとメモリを有する制御部と、開閉可能な扉と、を含む貯蔵庫と、
    前記貯蔵庫とネットワークを介して接続されて、プロセッサとメモリを有するサーバと、を含む貯蔵システムであって、
    前記貯蔵庫は、
    前記扉の開度を検出する開度センサと、
    前記扉が開放された場合に前記貯蔵庫の庫内を上方から撮影可能なカメラと、
    前記扉が開いた場合に前記庫内を前記カメラへ反射する反射鏡と、を有し、
    前記制御部は、
    前記開度センサが検出する開度が所定の閾値を超えた場合には、前記カメラで前記庫内と前記反射鏡の画像をカメラ画像として撮影する撮影部と、
    前記カメラ画像を前記サーバへ送信する画像送信部と、を有し、
    前記サーバは、
    前記貯蔵庫から前記カメラ画像を受信する送受信部と、
    前記カメラで撮影した前記カメラ画像から物品を認識する認識部と、
    前記認識された物品の情報をテキストで出力する認識結果出力部と、
    を有し、
    前記認識部は、
    前記カメラ画像のうち前記反射鏡の画像に曇りの有無を検出し、前記反射鏡の画像に曇りがある場合には、画像を認識する機械学習モデルを、通常用学習モデルから曇り用学習モデルへ切り替えることを特徴とする貯蔵システム。
12. プロセッサとメモリを有する制御部と、
    開閉可能な扉と、を有する貯蔵庫で庫内の画像を認識する画像認識方法であって、
    前記プロセッサが、開度センサによって前記扉の開度を検出する検出ステップと、
    前記プロセッサが、前記開度センサの開度が所定の閾値を超えた場合には、前記貯蔵庫の庫内を上方から撮影可能なカメラで、前記庫内及び前記庫内を前記カメラへ反射する反射鏡の可視光画像をカメラ画像として撮影する撮影ステップと、
    前記プロセッサが、前記カメラで撮影した前記カメラ画像から物品を認識する認識ステップと、
    前記プロセッサが、前記認識された物品の情報をテキストで出力する認識結果出力ステップと、
    を含み、
    前記カメラは、魚眼又は広角のレンズで構成され、貯蔵庫の上面から前方へ向けて突出した位置で前記レンズを下方に向けて配置し、
    前記反射鏡は、前記カメラの端部又は端部よりも貯蔵庫の前方で下方へ向けて突出することを特徴とする画像認識方法。
13. プロセッサとメモリを有する制御部と、
    開閉可能な扉と、を有する貯蔵庫で庫内の画像を認識する画像認識方法であって、
    前記プロセッサが、開度センサによって前記扉の開度を検出する検出ステップと、
    前記プロセッサが、前記開度センサの開度が所定の閾値を超えた場合には、前記貯蔵庫の庫内を上方から撮影可能なカメラで、前記庫内及び前記庫内を前記カメラへ反射する反射鏡の可視光画像をカメラ画像として撮影する撮影ステップと、
    前記プロセッサが、前記カメラで撮影した前記カメラ画像から物品を認識する認識ステップと、
    前記プロセッサが、前記認識された物品の情報をテキストで出力する認識結果出力ステップと、
    を含み、
    前記認識ステップは、
    前記カメラ画像のうち前記反射鏡の画像に曇りの有無を検出し、前記反射鏡の画像に曇りがある場合には、画像を認識する機械学習モデルを、通常用学習モデルから曇り用学習モデルへ切り替えることを特徴とする画像認識方法。

Images