本発明の各実施形態に係る揚げ物廃棄時点管理システムは、例えば、コンビニエンスストアなどの小規模店舗の会計場所の近傍に設置されるホットショーケースや、スーパーマーケットなどの総菜売場(食品売場)に設置されるショーケースなどの陳列棚に陳列される調理済みの食品、特に、揚げ物(例えば、フライドチキンやコロッケ、フライドポテトなど)の廃棄時点を管理するシステムである。
なお、調理済みの食品の「廃棄時点」とは、調理が完了した時点から所定の時間が経過したことにより、その調理済みの食品の風味が低下したことで、顧客への販売に向かない状態になる時点を意味する。「廃棄時点」は、調理済みの食品の種類などに応じて、製造元や小売店の側で任意に設定されるものである。したがって、この「廃棄時点」には、いわゆる「消費期限」のみならず、「賞味期限」も含まれる。
なお、本実施形態において「廃棄時点を管理する」および「廃棄時点の管理」をいう表現を用いるとき、その意味には、上述のとおり、「消費期限が到来したことを判定する」こと、および「賞味期限が到来したことを判定する」ことも含まれる。また、「廃棄時点を管理する」などには、所定の「時点」の到来の判定に留まらず、この判定結果に基づいて、管理対象である「食品(揚げ物)」の風味の劣化傾向を低減させるための、食品に対する処理を含む。
ここで、「食品に対する処理」には、例えば、食品の風味の劣化に温度環境が起因するのであれば、食品の風味の劣化傾向をより低減できる温度環境へ当該食品を移動させるように助言する情報を出力することなどを含む。すなわち、「食品に対する処理」とは、食品の廃棄時点が到来する時刻を未来にずらすように、管理対象とする食品に対して陳列環境を変更するための処理を含むものである。
<ホットショーケース1の構成>
まず、陳列棚の一態様であるホットショーケース1の一構成例について、図1を参照して説明する。
図1は、ホットショーケース1の一構成例を示す斜視図である。
ホットショーケース1は、例えばコンビニエンスストアなどの小売店の店舗内に備え付けられ、店舗内で調理された揚げ物Xが陳列される揚げ物用の陳列棚の一例である。ホットショーケース1の内部空間、すなわち揚げ物Xが陳列される陳列空間は、揚げ物Xの陳列環境を好適な条件で維持可能な適温に保たれており、より好適な状態の揚げ物Xを顧客に販売可能とするために管理されている。
図1では、ホットショーケース1内に3つの棚11,12,13が設けられており、数種の揚げ物Xが、それぞれの棚11,12,13において複数個陳列されている。複数の揚げ物Xはそれぞれ、種類別に同一のトレイ2に並べられている。図1では、トレイ2は各棚11,12,13に3枚ずつ置かれているものを例示している。なお、以下の説明において、各棚11,12,13を区別するために、ホットショーケース1の上段の棚を1段目の棚11、中段の棚を2段目の棚12、下段の棚を3段目の棚13とする。
<揚げ物Xの風味の劣化について>
次に、ホットショーケース1内に陳列された揚げ物Xの風味の劣化について、図2および図3を参照して説明する。
図2は、官能評価で得られた時間経過に対する揚げ物Xの劣化風味の推移を示すグラフである。図3は、ホットショーケース1内に揚げ物Xの一例としてフライドチキンが陳列されている場合に、陳列中のフライドチキンについて、経過時間に対する重量変化率の推移を保管温度ごとに示すグラフである。
図2において、横軸は、評価対象の揚げ物の揚げ上がり時刻からの経過時間を示し、縦軸は、揚げ物Xの風味を所定の評価ポイントに換算して、そのポイントの累積値を風味が劣化した度合いとする「劣化風味」としたものである。すなわち、劣化風味の値が低ければ揚げ物の劣化が少なく、好適な状態が維持されていると推測される。逆に、劣化風味の値が高ければ揚げ物Xの劣化が進行して廃棄時点に近づいていると推測される。したがって、劣化風味の値が所定の閾値を超えるか否かに基づいて、揚げ物Xが廃棄時点に至っているか否かの判定を行うことができる。
図2に示すように、一般的に、揚げ物Xは、調理の完了時点である揚げ上がり時刻からの経過時間が長くなるにつれて劣化風味が増加する(風味の劣化が強くなる)。すなわち、図2に基づけば、揚げ物の風味は、時間の経過に伴って低下するといえる。したがって、ホットショーケース1内に陳列された複数の揚げ物Xのうち、揚げ上がり時から所定の時間が経過したものについては、風味が低下して顧客への販売に向かない状態になっていると推測可能であるため、所定の経過時間に至った揚げ物Xは廃棄の対象(販売停止の対象)となる。
また、図3に示すように、ホットショーケース1内に陳列されているフライドチキンは、揚げ上がり時からの経過時間(ホットショーケース1内での保管時間)が長くなるにつれて、全体の重量の変化率(%)が低下している。なお、図3に示すように、重量の変化率(%)は負の変化率になっている。すなわち、図3は、時間が経過するほどフライドチキン全体の重量が減少していることを示している。つまり、図3のグラフによれば、フライドチキンに含まれる水分は時間の経過に伴って蒸発することで、フライドチキンに含まれる全体の水分量が減少し、その結果、フライドチキンの重量の変化率が負数になっている。
図3では、ホットショーケース1内の温度がT1(=約20℃)の場合を一点鎖線のグラフP1で、ホットショーケース1内の温度がT2(=約46℃)の場合を破線のグラフP2で、ホットショーケース1内の温度がT3(=約58℃)の場合を実線のグラフP3で、それぞれ示している。
グラフP1、グラフP2、およびグラフP3をそれぞれ比較する。グラフP2は、グラフP1よりも経過時間が長くなるにつれてフライドチキンの全体の重量の変化率が大きく低下している。グラフP3は、グラフP1およびグラフP2よりも経過時間が長くなるにつれてフライドチキンの全体の重量の変化率がさらに大きく低下している。
すなわち、ホットショーケース1内の温度が高いほど(T1<T2<T3)、経過時間に対するフライドチキンの全体の重量の変化率の負の傾きが大きくなることを示している。この傾向は、フライドチキンが保管されている温度(保管温度)が高いほど、フライドチキンに含まれる水分が蒸発しやすいことを示している。
図2および図3に基づけば、揚げ物は、一般的に、揚げ上がり時からの経過時間が長くなるにつれて水分の蒸発量が多い傾向を示すことが明らかとなる。この傾向から、揚げ物は、揚げ上がり後の経過時間に応じて水分含有量が低下することにより、パサつきが進む。その結果、揚げ物の風味が劣化する。
さらに、図3に示すように、揚げ物の周囲温度(ホットショーケース1内の温度)が高いほど、揚げ物に含まれる多くの水分が蒸発してパサつきやすく、風味の劣化が進みやすくなる。すなわち、揚げ物をホットショーケースに陳列して販売ができる状態にしておく場合に、その陳列時間が長くなると、揚げ物は、風味の劣化が進み、販売に適する期間を経過することになる。そして、揚げ物を陳列する環境の温度が高いほど、風味の劣化の進みが早くなるので、ホットショーケースの保管温度に応じて、販売に適する期間の長短が影響を受けるといえる。
コンビニエンスストアやスーパーなどの小売店では、調理済みの食品の廃棄処分数を可能な限り減らすべく、当該食品が陳列される陳列棚の温度と調理完了時からの経過時間とに基づいた廃棄時点の管理が行われている。以下、食品廃棄時点管理システムの一態様として、ホットショーケース1内に陳列された揚げ物Xの廃棄時点の管理を、ホットショーケース1内の温度と揚げ物Xの揚げ上がり時からの経過時間とに基づいて行う揚げ物廃棄時点管理システムについて、実施形態ごとに説明する。
<第1実施形態>
本発明の第1実施形態に係る揚げ物廃棄時点管理システム3について、図4~15を参照して説明する。
(揚げ物廃棄時点管理システム3のハードウェア構成)
まず、揚げ物廃棄時点管理システム3のハードウェア構成について、図4~6を参照して説明する。
図4は、本発明の第1実施形態に係る揚げ物廃棄時点管理システム3の一構成例を示すシステム構成図である。図5は、店舗31に設置されたコントローラ311のハードウェア構成の一例を示す構成図である。図6は、第1実施形態に係る揚げ物廃棄時点管理システム3が適用されるホットショーケース1内を、背面側から見た平面図である。
揚げ物廃棄時点管理システム3は、図3に示すように、例えばコンビニエンスストアチェーンなどを構成する小売店の複数の店舗31にそれぞれ設置されたコントローラ311と、複数の店舗31を管轄する本部センター32に設置された管理サーバ320と、によって構成される。各コントローラ311と管理サーバ320とは、例えばインターネット回線などの通信ネットワークNを介して、直接的にまたは間接的に互いに情報通信可能に接続されている。
各コントローラ311は、ホットショーケース1内に陳列された揚げ物Xの廃棄時点を管理制御する揚げ物廃棄時点管理制御装置4(すなわち、陳列棚に陳列される調理済みの食品の廃棄時点を管理制御する食品廃棄時点管理制御装置)の一態様である。なお、各コントローラ311は、揚げ物廃棄時点管理制御装置4が有する揚げ物Xの廃棄時点管理に係る機能の他に、例えば、ホットショーケース1内の全体温度や湿度などの環境管理を行うための機能や、各店舗31内に備えられた種々の機器の状態管理に係る機能なども有している。他方、管理サーバ320では、例えば、各店舗31の売り上げ管理に係る処理などが実行される。
図4において、各ホットショーケース1は、各コントローラ311に対して通信可能に接続されるものとする。この場合、通信手段としては、有線、無線を問わない。また、ホットショーケース1は、各棚11,12,13(図1参照)に陳列されている揚げ物Xの状態を検出して得られる検出データを、コントローラ311を介して管理サーバ320に送信するための機能を備えればよい。なお、管理サーバ320へ検出データを送信する機能は、コントローラ311を介さずに実現されてもよい。例えば、ホットショーケース1が管理サーバ320と直接的に通信可能となる構成を備える場合は、コントローラ311を介することなく、検出データを直接的に管理サーバ320に送信することができる。
図5に示すように、各コントローラ311はいずれも、CPU(Central Processing Unit)301と、RAM(Random Access Memory)302と、ROM(Read Only Memory)303と、HDD(Hard Disk Drive)304と、I/F(Interface)305と、を備える。これらの構成が、共通バス306を介してそれぞれ接続されている。
CPU301は、演算手段であり、コントローラ311全体の動作を制御する。RAM302は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、例えばCPU301が画像情報を処理する際の作業領域として用いられる。ROM303は、読み出し専用の不揮発性の記憶媒体であり、ファームウェアなどのプログラムが格納されている。
HDD304は、情報の読み書きが可能であって記憶容量が大きい不揮発性の記憶媒体であり、OS(Operating System)や後述する各種の情報処理を実行するための制御プログラムおよびアプリケーションプログラムなどが格納される。なお、HDD304は、不揮発性の記憶媒体として情報の格納および管理の機能を実現するものであれば、デバイスの種類は問わず、例えばSSD(Solid State Drive)などで代用することも可能である。
I/F305には、ホットショーケース1内を撮影するカメラ5、ホットショーケース1内の温度分布を検出する赤外線サーモグラフィカメラ60(以下、単に「サーモカメラ60」とする)、ユーザインターフェースを表示するモニタ312、およびコントローラ311以外の他の装置との情報通信を実現する通信モジュール313などが接続されている。
通信モジュール313は、コントローラ311に対し通信ネットワークNを介した通信を可能にするための通信接続インターフェースを構成する。すなわち、コントローラ311は、I/F305に接続されている通信モジュール313を介することで、管理サーバ320や端末機器などとの情報通信が可能となっている。また、通信モジュール313は、ホットショーケース1に設置されているセンサなどの他の機器とコントローラ311との情報通信も実現する。
このようなハードウェア構成を備える各コントローラ311は、ROM303に格納された制御プログラムや、HDD304などの記憶媒体からRAM302にロードされた制御プログラムおよびアプリケーションプログラムを、CPU301が備える演算機能によって処理機能を実現する情報処理装置である。これら情報処理の実行によって、各コントローラ311における種々の機能モジュールを含むソフトウェア制御部が構成される。このようにして構成されたソフトウェア制御部と、上述した構成を含むハードウェア資源との組み合わせによって、各コントローラ311の機能を実現する機能ブロックが構成される。
なお、図4に示す管理サーバ320も、各コントローラ311と同様のハードウェア構成を備えており、各構成は、それぞれが備える記憶媒体に記憶されている制御プログラムおよびアプリケーションプログラムの実行によって、管理サーバ320の機能を実現する機能ブロックが構成される。
ホットショーケース1内に陳列された揚げ物Xの廃棄時点を管理制御する具体的な情報処理は、後述する揚げ物廃棄時点管理制御装置4が実行する。揚げ物廃棄時点管理制御装置4は、その機能の全部がコントローラ311側の店舗ソフトウェアまたは管理サーバ320側の本部ソフトウェアに実装されていてもよいし、店舗ソフトウェアと本部ソフトウェアとに機能を分散して実装されていてもよい。
モニタ312は、具体的には、ホットショーケース1に対する設定(例えば温度設定など)を含む管理状況や陳列中の揚げ物Xの状態などを表示するものであり、例えばホットショーケース1の近くに設置される。なお、このモニタ312は、揚げ物廃棄時点管理制御装置4にて判定された結果に基づいて、ホットショーケース1内において揚げ物Xを移動させる旨を店舗31の従業員に対して報知する報知装置の一態様でもある。
カメラ5は、図6に示すように、各棚11,12,13に陳列されている複数の揚げ物Xの全てを個々の揚げ物Xの画像として取得できるように、画角や焦点が調整された状態で、ホットショーケース1内に複数設置されている。例えば、複数のカメラ5は、各トレイ2の中央部上方の天面部にそれぞれ設置されている。なお、複数のカメラ5は、ホットショーケース1内に陳列された揚げ物Xの全てを画角に収めることが可能であれば、取付位置や数については特に制限はない。
本実施形態では、カメラ5は、静止画および動画を撮影することが可能なカメラを用いているが、必ずしも静止画または動画の両方を撮影することが可能なカメラでなくともよく、例えば、スチルカメラなど静止画のみを撮影することが可能なカメラであってもよい。
サーモカメラ60は、各棚11,12,13の温度状態を検出する温度状態検出装置の一態様であって、各棚11,12,13に取り付けられている。すなわち、本実施形態では、サーモカメラ60は、ホットショーケース1内に3つ設置されているが、ホットショーケース1内の全体の温度状態(特定の領域の温度を区別して把握可能な温度分布など)を検出することが可能であれば、取付位置や数については特に制限はない。本実施形態では、温度状態検出装置としてサーモカメラ60を用いているが、これに限らず、例えば、複数の温度計を用いてホットショーケース1内の温度分布を検出してもよい。
ここで、ホットショーケース1は、陳列されている揚げ物Xを可能な限り温かい状態で顧客に提供すべく、図6に示すように、熱源となるヒーター720により内部が適度な温度に保温されている。ヒーター720は、例えば、ホットショーケース1の底部(下段の棚13の下部)に設けられ、コントローラ311により制御されている。なお、ホットショーケース1内の温度調節(ヒーター720の制御)などは、必ずしもコントローラ311によって行われる必要はなく、例えば、手動により行ってもよい。
ホットショーケース1内の温度は、ヒーター720の近くが高くなりやすく、ヒーター720から離れるにつれて温度は低くなる。すなわち、ホットショーケース1内におけるヒーター720との位置関係(場所)によって、温度ムラが生じることになる。具体的には、ホットショーケース1では、3つの棚11,12,13のうち、ヒーター720に最も近い下段の棚13の温度が最も高く、次に中段の棚12の温度が高く、そして上段の棚11の温度が最も低くなる(下段の棚13の温度>中段の棚12の温度>上段の棚11の温度)。
揚げ上がり直後の揚げ物Xは、温度が下がることを抑えて、温かい状態を維持した方が風味を維持しやすい。したがって、揚げ上がり直後の揚げ物Xの陳列場所は、下段の棚13が望ましい。一方で、揚げ物Xを下段の棚13に陳列し続けた場合、揚げ物Xの水分が蒸発しやすいので、上段の棚11や中段の棚12に陳列する場合よりも廃棄時点の到来が早くなる傾向にある。
そこで、揚げ物廃棄時点管理制御装置4は、ホットショーケース1内に陳列されている揚げ物Xの廃棄時点に至るまでの残時間を予測し、予測した残時間が所定の閾値時間(例えば2時間など)よりも短くなっている場合に、ホットショーケース1内の高温位置から低温位置にへと揚げ物Xを移動させるための報知信号をモニタ312に対して出力する処理を実行する。ここで、「予測した残時間が所定の閾値時間よりも短くなっている」とは、揚げ物Xの販売を止めて廃棄する状態に至ったと判定される「廃棄時点」までの猶予期限(時間)が迫っていることを意味する。
モニタ312は、対象となる揚げ物Xをホットショーケース1内の低温位置に移動させる旨を表示する。そして、店舗31の従業員は、モニタ312の表示内容にしたがって対象の揚げ物Xを、ホットショーケース1内において高温位置から低温位置へ移動する。これにより、対象となる揚げ物Xの廃棄時点の到来を、未来にずらすことができる。すなわち、揚げ物Xの販売可能期間を延長することができる。
ここで、ホットショーケース1内の「高温位置」とは、ホットショーケース1内において最も高い温度を含む所定の温度範囲として予め設定された第1温度範囲に相当する位置を意味する。ホットショーケース1では、第1温度範囲は、ヒーター720の発熱温度を含む所定の温度範囲であり、例えば、下段の棚13の温度が含まれる。したがって、例えば、廃棄時点までの猶予(残り時間)が2時間を切った揚げ物Xが下段の棚13に陳列されている場合、当該揚げ物Xが低温位置への移動対象となる。
また、ホットショーケース1内の「低温位置」とは、第1温度範囲よりも低い第2温度範囲に相当する位置を意味する(第1温度範囲>第2温度範囲)。ホットショーケース1では、第2温度範囲は、例えば、上段の棚11の温度および中段の棚12の温度を含む温度範囲である。したがって、揚げ物Xの移動先となる「低温位置」は、ホットショーケース1内に1つのみとは限らず複数存在する。
なお、ホットショーケース1において、熱源は底部に配置されたヒーター720のみとは限らず、例えば、天井部に設置された複数(図6では3つ)の照明72も熱源となる。そのため、上段の棚11の温度は、中段の棚12の温度よりも高い可能性がある。この場合、上段の棚11に陳列されている揚げ物Xは、中段の棚12に陳列されている揚げ物Xよりも水分が蒸発しやすくなる。
このように、ホットショーケース1内に複数の熱源(ヒーター720および3つの照明72)が存在する場合には、一の熱源から遠い位置であっても他の熱源の影響を受ける可能性があるため、揚げ物廃棄時点管理制御装置4は、サーモカメラ60で検出された温度分布に基づいて第2温度範囲下のうち最も低温となっている位置を判定した上で、判定された位置を対象の揚げ物Xの移動先(低温位置)として選択することが好ましい。
なお、本実施形態では、ホットショーケース1内の複数の熱源として、ヒーター720と3つの照明72とを例に挙げたが、これに限らず、例えば、ホットショーケース1内の複数箇所に設置されたヒーター720であってもよい。また、図6では、3つの照明72がホットショーケース1内の天井部に取り付けられていたが、照明72の数や取り付け位置については特に制限はない。
(廃棄時点の設定に用いる揚げ物の状態を示すデータについて)
次に、揚げ物廃棄時点管理制御装置4にて実行される処理に用いられる揚げ物Xの廃棄時点を予測するにあたり、参照される揚げ物Xの状態を示すデータの考え方について、図7~12を参照して説明する。本実施形態では、揚げ物Xの状態を示すデータとして、「色」を例に挙げる。なお、以下において、「揚げ物」に関する経時変化の傾向や特徴などの一般的な考察を記載している箇所では、単に「揚げ物」とし、符号Xを付していない。
図7は、官能評価で得られた経過時間に対する揚げ物の色の濃さの推移を示すグラフである。図7における横軸は、評価対象の揚げ物の揚げ上がり時刻からの経過時間を示し、図7における縦軸は、揚げ物の「色の濃さ」を指標化した値を示している。
図7に示すように、揚げ物は、一般に、揚げ上がり時からの経過時間が長くなるにつれて表面の色の濃さを示す指標が増加する。すなわち、揚げ物は、時間の経過に応じて表面の色が濃くなる傾向を示す。揚げ物の表面の色は、揚げ物の状態を示す状態データであると共に、揚げ物の経時変化を示す経時変化データに相当する。ここで、図2に示した「劣化風味」も、揚げ上がり時刻からの経過時間が長くなるにつれて、その値が増加する。したがって、揚げ物の表面の色の濃さと揚げ物の風味の低下との間には相関がある。
そこで、本実施形態に係る揚げ物廃棄時点管理制御装置4では、ホットショーケース1内に陳列された揚げ物Xの色を揚げ物Xの状態を示す指標として用い、揚げ物Xの色の変化に基づいて揚げ物Xの廃棄時点に至るまでの残時間を予測する。
本実施形態では、ホットショーケース1内に陳列された揚げ物Xの経時変化を示す経時変化データを検出する経時変化データ検出装置に相当し、当該揚げ物Xの状態を検出する状態センサとして、ホットショーケース1内に取り付けられた複数のカメラ5(図6参照)を利用する。そして、揚げ物廃棄時点管理制御装置4は、各カメラ5で撮影された静止画または動画から個別の揚げ物Xの表面画像を特定し、表面画像を構成する画素(各ピクセル)のRGB値を算出し、これらRGB値を各揚げ物Xの色成分として解析する。
なお、各揚げ物Xの色の解析方法は必ずしもRGB法である必要はなく、その他の解析方法として、例えば、各カメラ5で撮影された静止画または動画の波長解析を行ってもよい。また、動画の場合には、予め規定するサンプリング時間において動画から静止画を抽出し、その静止画を解析対象として、所定の経過時間に対応する各揚げ物Xの色成分を解析する。さらに、本実施形態では、揚げ物Xの色を示す指標として、RGB値を用いたが、これに限らず、例えば、色相(Hue)・彩度(Saturation)・明度(Value)の3要素で表現するHSVなどの他の色指標を用いても良い。
次に、出願人が、カメラ5を用いて得られる揚げ物Xの画像と同様の画像を用いて、揚げ物Xの経時的な「色の濃さ」を確認するための色成分(R成分、G成分、B成分)ごとの解析を行い、その経時的な傾向を実験的に確認した例を、図8~12に示すグラフを参照して説明する。
図8Aは、ホットショーケース1内に陳列されたフライドチキンを静止画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分R値の推移を示すグラフである。図8Bは、ホットショーケース1内に陳列されたフライドチキンを静止画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分G値の推移を示すグラフである。図8Cは、ホットショーケース1内に陳列されたフライドチキンを静止画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分B値の推移を示すグラフである。
図8A~Cに示すように、ホットショーケース1内に陳列されたフライドチキンの静止画から色成分を解析した場合、揚げ上がり時(=0h)から2時間経過後(=2h)では、R成分、G成分、およびB成分のすべてが減少している。そして、揚げ上がり時から4時間、6時間、7時間と時間経過が進むにつれて、R成分、G成分、およびB成分のすべてにおいて、全体的な減少傾向が見られる。
図9Aは、ホットショーケース1内に陳列されたフライドチキンを動画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分R値の推移を示すグラフである。図9Bは、ホットショーケース1内に陳列されたフライドチキンを動画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分G値の推移を示すグラフである。図9Cは、ホットショーケース1内に陳列されたフライドチキンを動画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分B値の推移を示すグラフである。
図9A~Cに示すように、ホットショーケース1内に陳列されたフライドチキンの動画から色成分を解析した場合、揚げ上がり時(=0h)から2時間経過後(=2h)では、R成分は減少しているが、他方、G成分およびB成分は増加している。
そして、R成分は、フライドチキンの静止画から色成分を解析した場合と同様に、揚げ上がり時から4時間、6時間、7時間経過するにつれて、全体として減少する傾向が見られる。一方、G成分は、揚げ上がり時から4時間経過後では、揚げ上がり時および2時間経過後における含量よりも減少しており、揚げ上がり時から7時間経過後では、さらに減少している。また、B成分は、揚げ上がり時から4時間、6時間、7時間と時間経過が進むにつれて、全体として僅かながら増加する傾向が見られる。
図10Aは、ホットショーケース1内に陳列されたコロッケを静止画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分R値の推移を示すグラフである。図10Bは、ホットショーケース1内に陳列されたコロッケを静止画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分G値の推移を示すグラフである。図10Cは、ホットショーケース1内に陳列されたコロッケを静止画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分B値の推移を示すグラフである。
図10A~Cに示すように、ホットショーケース1内に陳列されたコロッケの静止画から色成分を解析した場合、揚げ上がり時(=0h)から2時間経過後(=2h)では、R成分は変化がないが、他方、G成分およびB成分は増加している。
図11Aは、ホットショーケース1内に陳列されたコロッケを動画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分R値の推移を示すグラフである。図11Bは、ホットショーケース1内に陳列されたコロッケを動画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分G値の推移を示すグラフである。図11Cは、ホットショーケース1内に陳列されたコロッケを動画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分B値の推移を示すグラフである。
図11A~Cに示すように、ホットショーケース1内に陳列されたコロッケの動画から色成分を解析した場合、揚げ上がり時(=0h)から2時間経過後(=2h)では、R成分は減少しているが、他方、G成分およびB成分は、コロッケの静止画から色成分を解析した場合と同様に増加している。
図12Aは、ホットショーケース1内に陳列されたハッシュポテトを静止画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分R値の推移を示すグラフである。図12Bは、ホットショーケース1内に陳列されたハッシュポテトを静止画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分G値の推移を示すグラフである。図12Cは、ホットショーケース1内に陳列されたハッシュポテトを静止画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分B値の推移を示すグラフである。
図12A~Cに示すように、ホットショーケース1内に陳列中のハッシュポテトの静止画から色成分を解析した場合、揚げ上がり時(=0h)から2時間経過後(=2h)では、R成分およびG成分は減少し、他方、B成分は、増加している。そして、R成分は、揚げ上がり時から4時間、6時間経過するにつれて減少し、7時間経過後では、僅かながら増加する傾向が見られる。他方、G成分およびB成分はそれぞれ、揚げ上がり時から4時間、6時間、7時間と時間経過が進むにつれて、全体として減少する傾向が見られる。
このように、ホットショーケース1内に陳列された揚げ物Xに対し、揚げ上がり時からの時間経過に伴う色の変化の傾向(実験的に確認したフライドチキン、コロッケ、およびハッシュポテトでは、特に、揚げ上がり時から2時間経過後に顕著に現れた)に基づいて、揚げ物Xの廃棄時点を判定する廃棄判定基準となる廃棄基準値(基準RGB値)を予め設定することができる。
なお、この廃棄基準値は、揚げ物Xの種別によらず所定の値に一律に設定してもよいし、揚げ物Xの種別ごとに異なる値に設定してもよい。例えば、図9A~Cおよび図11A~Cに示すように、動画から色成分を解析した場合には、フライドチキンとコロッケとで同じ傾向(R成分は減少し、G成分およびB成分は増加している)が見られるが、静止画から色成分を解析した場合には、フライドチキンとコロッケとで異なる傾向(フライドチキンではR成分、G成分、およびB成分のすべてにおいて減少しているが、コロッケではR成分は変化がなく、G成分およびB成分は増加している)が見られる。
したがって、静止画から色成分を解析する場合には、廃棄基準値を揚げ物Xの種別によらず所定の値に設定してもよい。また、動画から色成分を解析する場合には、廃棄基準値を揚げ物Xの種別ごとに異なる値に設定することで、揚げ物廃棄時点管理制御装置4は廃棄時点に至るまでの残時間の予測をより精度よく行うことができる。
以上のように、揚げ物廃棄時点管理制御装置4への入力データの形式が、静止画であるか、動画であるかに応じて、廃棄基準値の設定の仕方を動的に変更してもよい。また、図9A~Cおよび図11A~Cに示されたRGB値の変化の傾向は、各カメラ5の画角や露光時間、ホットショーケース1内の照明などの撮影条件の違いが主な要因であると考えられるため、撮影条件に応じて廃棄基準値の設定の仕方を変更してもよい。
(揚げ物廃棄時点管理制御装置4の機能構成)
次に、揚げ物廃棄時点管理制御装置4の具体的な機能構成について、図13を参照して説明する。
図13は、揚げ物廃棄時点管理制御装置4が有する機能を示す機能ブロック図である。
揚げ物廃棄時点管理制御装置4は、例えば、データ取得部41と、種別特定部42と、解析部43と、残時間予測部44と、記憶部45と、状態判定部46と、移動先選択部49と、報知部47と、学習部48と、を含む。
データ取得部41は、各カメラ5が撮影したトレイ2ごとの複数の揚げ物Xの表面画像(静止画または動画)を、各揚げ物Xの色に関するデータとして取得する。例えば、カメラ5が撮影した画像に含まれる各揚げ物Xの輪郭を抽出する画像処理を実行することで各揚げ物Xの画像領域を特定する。次に、特定した画像領域から所定の画素群を構成する解析領域を特定する。
ここで、「所定の画素群」とは、揚げ物Xの輪郭として抽出された画素に隣接する画素を含み、例えば、揚げ物Xの画像領域として特定された画素を含み、それよりも周囲を一定範囲まで拡大した画素を含む部分を指す。すなわち、解析領域の画素数は、揚げ物Xの画像領域の画素数よりも多くなる。
そして、データ取得部41は、特定された解析領域に含まれる各画素のR成分、G成分、B成分を取得して解析部43に渡す。
なお、各画素のR成分、G成分、B成分は、解析部43において取得されてもよい。解析領域は、揚げ物Xの画像領域の大きさに合わせて設定するだけでなく、この大きさによらず所定の画素数で設定してもよい。また、解析領域は、画像領域に含まれる画素数に対して一定の割合でサンプリングした画素によって特定してもよい。
本実施形態では、データ取得部41は、各カメラ5が撮影したトレイ2ごとの複数の揚げ物Xの表面画像を、ホットショーケース1内における揚げ物Xの有無を示す揚げ物検知データ(食品検知データ)としても取得する。
すなわち、各カメラ5は、ホットショーケース1内における揚げ物Xの有無を検知する揚げ物検知装置(食品検知装置)の一態様である。なお、揚げ物検知装置は、必ずしもカメラ5のような撮影装置である必要はなく、トレイ2上に揚げ物Xが陳列されているか否かを検知することが可能なセンサ(例えば、後述する重量測定センサ61など)であればよい。
また、データ取得部41は、各サーモカメラ60で検出された各棚11,12,13の温度状態を示す温度状態データ(温度分布データ)を取得する。
種別特定部42は、データ取得部41で取得された各表面画像から抽出された個々の揚げ物Xの個別画像から個々の揚げ物Xの種別を特定する。種別特定部42での揚げ物Xの種別の特定は、基準となるサンプル画像と比較することにより行われる。なお、サンプル画像は記憶部45に記憶されている。その他、種別特定部42での揚げ物Xの種別の特定は、例えば、店舗31内に設置された入力端末(例えば、タッチパネルやキーボードなど)を介して店舗31の従業員が揚げ物Xの種別を手入力することでも可能である。
なお、揚げ物廃棄時点管理制御装置4は、必ずしも種別特定部42を含んでいる必要はなく、揚げ物Xの廃棄時点を判定する廃棄基準値が、揚げ物Xの種別によらず所定の値に設定されている場合には種別特定部42は不要である。
解析部43は、各個別画像から個々の揚げ物Xの色成分(RGB値)をそれぞれ解析する。
残時間予測部44は、解析部43で解析された個々の揚げ物Xの色成分と、個々の揚げ物Xの種別と、個々の揚げ物Xの種別ごとに設定された廃棄基準値と、に基づいて、個々の揚げ物Xが廃棄時点に至るまでの残時間(以下、単に「残時間」とする場合がある)を予測する。なお、廃棄基準値は、記憶部45に記憶されている。
なお、本実施形態では、揚げ物Xの廃棄時点の設定に用いる指標、すなわち揚げ物Xの経時的な状態の変化を示すデータとして、揚げ物Xの表面の色成分(色)を用いているため、廃棄基準値は、色成分に係る廃棄基準値に設定されている。
この廃棄時点の設定に用いる指標は、揚げ物Xの状態を把握することに機能することが確認されている指標であればよい。したがって、廃棄時点の設定に用いる指標には、揚げ物Xの色などの光学的指標の他に、例えば、揚げ物Xの大きさ、重さ、水分量、揮発性成分量などの物理的指標、および揮発性成分組成、酸価、アニシジン価、カルボニル価、過酸化物価、ヨウ素価、極性化合物量などの化学的指標が含まれる。したがって、廃棄時点の設定に用いる指標は、揚げ物Xの色以外にも多様に存在する。そこで、残時間予測部44では、廃棄時点の設定に用いられる指標ごとの廃棄基準値を用いて、残時間の予測が行われる。
また、廃棄基準値が揚げ物Xの種別によらず所定の値に設定されている場合には、残時間予測部44は、解析部43で解析された個々の揚げ物Xの色成分と、記憶部45に記憶されている廃棄基準値と、に基づいて、個々の揚げ物Xが廃棄時点に至るまでの残時間を予測する。
状態判定部46は、データ取得部41にて取得された温度状態データと、残時間予測部44にて予測された個々の揚げ物Xの残時間に基づいて、個々の揚げ物Xが、所定の閾値時間(例えば、廃棄時点までの猶予が1時間など)において第1温度範囲下(高温下)に陳列されているか否かを判定する。すなわち、状態判定部46は、予測された残時間が所定の閾値時間よりも短い食品(揚げ物X)が高温下に陳列されているか否かといった食品の状態を判定する食品状態判定部に相当する。なお、残時間の判定に用いる所定の閾値時間は、予め任意に設定されて記憶部45に記憶されている。
本実施形態では、揚げ物廃棄時点管理制御装置4は、状態判定部46にて第1温度範囲下に揚げ物Xが陳列されていると判定された場合に、当該揚げ物Xの移動先を選択する移動先選択部49を含む。
移動先選択部49は、データ取得部41にて取得された揚げ物検知データおよび温度状態データに基づいて、第2温度範囲内で最も温度の低い位置である第1移動先に揚げ物Xが陳列されているか否か、すなわち第1移動先における揚げ物Xの陳列状況を判定する。
そして、移動先選択部49は、第1移動先に揚げ物Xが陳列されていないと判定した場合には、第1温度範囲下に陳列されている対象の揚げ物Xの移動先として第1移動先を選択する。一方、移動先選択部49は、第1移動先に揚げ物Xが陳列されていると判定した場合には、第1温度範囲下に陳列されている対象の揚げ物Xの移動先として、第2温度範囲内で第1移動先の温度の次に温度の低い位置である第2移動先を選択する。
なお、第1移動先および第2移動先の両方に揚げ物Xが陳列されている場合には、移動先選択部49は、第1温度範囲下に陳列されている対象の揚げ物Xの移動先は「なし」との選択をする。
本実施形態では、説明の便宜上、第1温度範囲下に陳列されている対象の揚げ物Xの移動先は第1移動先および第2移動先の2箇所のみとしているが、第2温度範囲下の位置であれば、第2移動先の温度の次に温度の低い第3移動先、第3移動先の温度の次に温度の低い第4移動先、第4移動先の次に温度の低い第5移動先・・・に、対象の揚げ物Xを移動させてもよい。この場合、移動先選択部49は、第2温度範囲下において移動先として考え得る位置全てに揚げ物Xが陳列されている場合に、第1温度範囲下に陳列されている対象の揚げ物Xの移動先は「なし」との選択をする。
報知部47は、状態判定部46にて第1温度範囲下に揚げ物Xが陳列されていると判定された場合に、当該揚げ物Xを第2温度範囲下へ移動させる旨を報知するための報知信号をモニタ312に対して出力する。
本実施形態では、報知部47は、移動先選択部49にて第1移動先が選択された場合、第1温度範囲下に陳列されている対象の揚げ物Xを第1移動先に移動させる旨を報知するための第1報知信号をモニタ312に対して出力する。
また、報知部47は、移動先選択部49にて第2移動先が選択された場合、第1温度範囲下に陳列されている対象の揚げ物Xを第2移動先に移動させる旨を報知するための第2報知信号をモニタ312に対して出力する。
そして、報知部47は、移動先選択部49にて移動先なしが選択された場合、第1温度範囲下に陳列されている対象の揚げ物Xの移動先に空きがない旨を報知するための第3報知信号をモニタ312に対して出力する。
なお、報知部47において出力される情報(報知信号)は、店舗31の従業員に対して対象の揚げ物Xの移動を促すことができる情報であれば、その種類および表現形式や報知形式が限定されるものではない。
本実施形態では、揚げ物廃棄時点管理制御装置4は、機械学習や回帰分析によって揚げ物Xの廃棄時点に至るまでの残時間を予測することが可能な学習済モデルを作成し、また、生成された学習済モデルに対して転移学習を行う学習部48を含む。
具体的には、学習部48は、色成分のデータ(廃棄基準値に至るまでの経時変化の傾向を示すデータ)を含む教師データを用いて機械学習や回帰分析を行って学習済モデルを生成する。そして、学習部48は、この生成した学習済モデルに基づいて、記憶部45に記憶されている廃棄基準値を更新し、転移学習も行う。このように、残時間予測部44において予測される残時間の元となる廃棄基準値が機械学習や回帰分析によって随時更新されることで、残時間予測部44における残時間の予測精度が向上する。
具体的には、学習部48は、記憶部45にすでに記憶されている廃棄基準値のデータ(説明変数)から、例えば、線形回帰、サポートベクターマシン(SVM:Support Vector Machine)、バギング、ブースティング、アダブースト、決定木、ランダムフォレスト、ロジスティック回帰、ニューラルネットワーク、ディープラーニング、ディープラーニングの中でも畳み込みニューラルネットワーク(Convolurional Neural Network(CNN)、Recurrent Neural Network(RNN))、LSTM(Long Short-Term Memory)などにより、検量線(モデル式)を作成する。
線形回帰(分析)の種別は、単回帰、重回帰、部分最小二乗(PLS:Partial Least Squares)回帰、直交射影部分最小二乗(OPLS:Orthogonal Partial Least Squares)回帰などがあるが、これらから選ばれる1種以上を利用することができる。
単回帰は、1つの目的変数を1つの説明変数で予測する手法であり、重回帰は、1つの目的変数を複数の説明変数で予測する手法である。また、(直交射影)部分最小二乗回帰は、少数の特徴量である主成分(説明変数のみの主成分分析で得られる)と目的変数の共分散が最大になるように主成分を抽出する手法である。(直交射影)部分最小二乗回帰は、説明変数の数がサンプルの数よりも多い場合、そして、説明変数の間の相関が高い場合に適した手法である。
学習部48における機械学習や回帰分析によって得られた検量線は、記憶部45に記憶されている廃棄基準値に対して適用されることにより廃棄基準値を更新し、その更新結果を残時間予測部44に対して提供することが可能となる。
なお、学習部48における学習済モデルの生成は、データを作成し入力するユーザ単位で実行されてもよい。この場合、学習済モデルを利用して揚げ物Xの廃棄時点に至るまでの残時間を予測するときは、各ユーザが自らのデータの提供により生成された学習済モデルのみを利用する。これによって、各ユーザのホットショーケース1内の環境に特化した残時間の予測を行うことができる。
また、学習部48における学習済モデルの生成および転移学習は、データを作成し入力するユーザ単位を区別することなく行ってもよい。この場合、より大量のデータを利用して学習済モデルを生成できる。そして、生成された学習済モデルを利用するときには、各ユーザ単位で予め規定する特性(揚げ物Xの種別など)および色成分を入力データとして、揚げ物Xの残時間を予測する。これによって、複数のユーザのホットショーケース1内の環境に基づいて、より大量の機械学習や回帰分析をした学習済モデルを利用して、精度の高い残時間の予測を行うことができる。
また、学習部48は、揚げ物Xの残時間を予測することが可能な学習済モデルの作成のみならず、揚げ物Xの種別を特定することが可能な学習済モデルを作成することも可能である。この場合、種別特定部42における揚げ物Xの種別の特定の精度がより向上する。
揚げ物廃棄時点管理制御装置4は、必ずしも学習部48を含んでいる必要はなく、学習部48を含んでいない場合には、残時間予測部44は、記憶部45に記憶された所定の廃棄基準値を継続して用いて、あるいは、揚げ物廃棄時点管理制御装置4とは別の装置であって学習部48での処理と同様の処理を実行する学習装置で更新された廃棄基準値を取得して、揚げ物Xの残時間を予測する。
以下、第2実施形態において、残時間予測部44が、記憶部45に記憶された所定の廃棄基準値を継続して用いて揚げ物Xの残時間を予測する場合を、第3実施形態において、残時間予測部44が、揚げ物廃棄時点管理制御装置4とは異なる学習装置で更新された廃棄基準値を取得して揚げ物Xの残時間を予測する場合を、それぞれ説明する。
(揚げ物廃棄時点管理制御装置4での処理)
次に、揚げ物廃棄時点管理制御装置4で実行される処理の流れについて、図14を参照して説明する。
図14は、揚げ物廃棄時点管理制御装置4で実行される処理の流れを示すフローチャートである。
揚げ物廃棄時点管理制御装置4では、まず、データ取得部41が、経時変化データ検出ステップにて各カメラ5により検出されて出力されたトレイ2ごとの揚げ物Xの表面画像(トレイ2に陳列された揚げ物Xの状態)を取得する(ステップS401)。
次に、揚げ物廃棄時点管理制御装置4は、ステップS401において取得された各表面画像から個々の揚げ物Xの個別画像を抽出した上で(ステップS402)、種別特定部42が各個別画像から個々の揚げ物Xの種別を特定する(ステップS403;種別特定ステップ)。
次に、解析部43は、ステップS402において抽出された各個別画像から個々の揚げ物Xの色成分(RGB値)を解析する(ステップS404)。続いて、残時間予測部44は、個々の揚げ物Xについて、ステップS404において解析された色成分とステップS403において特定された種別に係る廃棄基準値とを比較して、廃棄時点に至るまでの残時間を予測する(ステップS405;残時間予測ステップ)。
次に、状態判定部46は、ステップS405において予測された各残時間が所定の閾値時間よりも短くなった揚げ物Xが、ホットショーケース1内に含まれているか否かを判定する(ステップS406)。
ステップS406において所定の閾値時間よりも短くなった揚げ物Xがホットショーケース1内に含まれていると判定された場合(ステップS406/YES)、データ取得部41は、温度状態データ検出ステップにて各サーモカメラ60により検出された各棚11,12,13の温度分布データを取得する(ステップS407)。
続いて、状態判定部46は、ステップS407において取得された温度分布データに基づいて、ステップS406において残時間が所定の閾値時間よりも短いと判定された揚げ物Xが、高温下(第1温度範囲下)に陳列されているか否かを判定する(ステップS408;食品状態判定ステップ)。
ステップS408において対象となる揚げ物Xが高温下に陳列されていると判定された場合(ステップS408/YES)、移動先選択部49は、ステップS401において取得されたトレイ2ごとの揚げ物Xの表面画像と、ステップS407において取得された温度分布データと、に基づいて、第1移動先に揚げ物Xが陳列されているか否かを判定する(ステップS409)。
ステップS409において第1移動先に揚げ物Xが陳列されていないと判定され、移動先選択部49が対象の揚げ物Xの移動先として第1移動先を選択した場合(ステップS409/NO)、報知部47は、モニタ312に対して第1報知信号を出力する(ステップS410)。
一方、ステップS409において第1移動先に揚げ物Xが陳列されていると判定された場合(ステップS409/YES)、移動先選択部49は、続いて第2移動先に揚げ物Xが陳列されているか否かを判定する(ステップS411)。
ステップS411において第2移動先に揚げ物Xが陳列されていないと判定され、移動先選択部49が対象の揚げ物Xの移動先として第2移動先を選択した場合(ステップS411/NO)、報知部47は、モニタ312に対して第2報知信号を出力する(ステップS412)。
他方、ステップS411において第2移動先に揚げ物Xが陳列されていると判定され、移動先選択部49が対象の揚げ物Xの移動先の空きなしを選択した場合(ステップS411/YES)、報知部47は、モニタ312に対して第3報知信号を出力する(ステップS413)。
ステップS410、ステップS412、およびステップS413のうちのいずれかの処理が実行されると、揚げ物廃棄時点管理制御装置4における処理が終了する。これにより、モニタ312は、報知部47から出力された報知信号にしたがって、対象の揚げ物Xの移動先(第1移動先、第2移動先、または移動先なし)を表示する(報知ステップ)。
なお、ステップ406において予測された残時間が所定の閾値時間よりも短い揚げ物Xが、ホットショーケース1内に含まれていないと判定された場合には(ステップS406/NO)、ステップS401に戻って処理を繰り返す。
同様に、ステップS408において予測された残時間が所定の閾値時間よりも短い揚げ物Xが、高温下に陳列されていないと判定された場合には(ステップS408/NO)、ステップS401に戻って処理を繰り返す。
また、本実施形態では、ステップS401からステップS405の処理において個々の揚げ物Xについて残時間を予測すると、続いて、学習部48は、予め生成されていた学習済モデルを利用して、ステップS404において解析された色成分を含む教師データを用いて転移学習を行う(ステップS415)。
そして、学習部48は、ステップS415において転移学習された学習済モデルに基づいて、記憶部45に記憶されている廃棄基準値を更新する(ステップS416;廃棄判定基準更新ステップ)。ステップS416の処理が実行されると、揚げ物廃棄時点管理制御装置4における処理が終了する。
このように、揚げ物廃棄時点管理システム3を用いて、ホットショーケース1内の高温下に陳列されている揚げ物Xを低温下に移動させるよう、店舗31の従業員に促すことにより、対象の揚げ物Xの廃棄時点を延期させることができる。すなわち、揚げ物Xの販売可能期間を延長することで、店舗31において廃棄処分となる揚げ物Xの数を低減することができる。
さらに、揚げ物廃棄時点管理制御装置4は、揚げ物Xが移動対象となるか否かを判定する際に、揚げ物Xの経時変化を示す経時変化データとして、揚げ物Xの色成分のデータと、揚げ物Xの廃棄時点を判定する基準となる廃棄基準値と、に基づいて、揚げ物Xの残時間を予測する。したがって、店舗31の従業員が手作業により揚げ物Xの廃棄時点に至るまでの残時間を算出する場合と比べて、残時間が所定の閾値時間よりも短くなっている揚げ物Xを精度良く判定することができる。
なお、本実施形態では、揚げ物廃棄時点管理制御装置4は、各カメラ5で撮影された揚げ物Xの表面画像を揚げ物Xの色に関するデータとして取得したが、これに限らず、例えば色差計を用いて検出されたデータを揚げ物Xの色に関するデータとして取得してもよい。
また、本実施形態では、揚げ物Xの表面画像から個々の揚げ物Xの色成分を解析し、揚げ物Xの状態データ(経時変化データ)として色成分を用いていたが、前述したように、揚げ物Xの状態データは揚げ物Xの色成分以外でもよく、例えば、揚げ物Xの大きさを示す指標である面積であってもよい。
図15は、ホットショーケース1内に陳列された3つのフライドチキンを静止画として撮影し、その画像を解析した場合に得られた経過時間に対する平均面積の推移を示すグラフである。図15において、横軸は、評価対象であるフライドチキンの揚げ上がり時刻からの経過時間を示し、縦軸は、画像解析によって算出された3つのフライドチキンそれぞれの面積の平均値である「平均面積」を指標化した値を示している。
図15に示すグラフによれば、フライドチキンは、揚げ上がり時からの経過時間が長くなるにつれて大きさを示す指標である面積(平均面積)が減少している。すなわち、フライドチキンは、時間の経過に応じて大きさが小さくなる傾向を示す。
ここで、図2に示した「劣化風味」は経過時間が長くなるにつれて、その値が増加する。また、経過時間が長くなるにつれて平均面積も減少することは、上述のとおりである。したがって、揚げ物の面積(平均面積)の減少と揚げ物の風味の低下との間には相関がある。そこで、揚げ物廃棄時点管理制御装置4は、ホットショーケース1内に陳列中の揚げ物Xの面積、すなわち大きさを、揚げ物Xの状態を示す指標(状態データ)として用いることで、揚げ物Xの大きさの変化に基づいて揚げ物Xの残時間を予測することもできる。
なお、この場合、揚げ物廃棄時点管理制御装置4では、データ取得部41が各カメラ5で撮影された揚げ物Xの表面画像を取得し、続いて、解析部43が、各表面画像から抽出された個々の揚げ物Xの個別画像を解析して個々の揚げ物Xの面積を算出する。
<第2実施形態>
次に、本発明の第2実施形態に係る揚げ物廃棄時点管理制御装置4Aについて、図3および図16~24を参照して説明する。なお、本実施形態において、第1実施形態に係る揚げ物廃棄時点管理システム3および揚げ物廃棄時点管理制御装置4について説明したものと共通する構成要素については、同一の符号を付してその説明を省略する。以下、第3~5実施形態においても同様とする。
第1実施形態に係る揚げ物廃棄時点管理制御装置4では、主に、揚げ物Xの色(色成分)を状態データとして用いて揚げ物Xの残時間を予測したが、本実施形態に係る揚げ物廃棄時点管理制御装置4Aでは、揚げ物Xの色以外の状態を示す指標を状態データとして用いた場合について説明する。
図3を参照して前述したように、ホットショーケース1内に陳列中のフライドチキンは、揚げ上がり時からの経過時間(ホットショーケース1内での保管時間)が長くなるにつれて、フライドチキンの全体の重量の変化率(%)が低下している。すなわち、フライドチキンは、時間が経過するほど全体の重量が減少している。これは、フライドチキンに含まれる水分が時間の経過に伴って蒸発し、フライドチキンに含まれる全体の水分量が減少したことによる。
ここで、図2に示した「劣化風味」は経過時間が長くなるにつれて、その値が増加する。また、経過時間が長くなるにつれて揚げ物の全体の重量が減少することは、上述のとおりである。したがって、揚げ物の全体の重量の減少と揚げ物の風味の低下との間には相関がある。そこで、揚げ物廃棄時点管理制御装置4は、ホットショーケース1内に陳列中の揚げ物Xの重さ(全体の重量)を、揚げ物Xの状態データとして用いることで、揚げ物Xの重さの変化に基づいて揚げ物Xの残時間を予測することもできる。
図16は、ホットショーケース1内の所定の段の底面を上方から見た平面図であって、各トレイ2に敷き詰められた複数の重量測定センサ61を示す図である。
ホットショーケース1内に陳列された揚げ物Xの重さを測定するには、例えば、図16に示すマット式の重量測定センサ61が用いられる。この重量測定センサ61は、揚げ物Xの重量そのものを検出するセンサであってもよいし、誘電率の変化を検出することで揚げ物Xに含まれる全体の水分量を検出するセンサであってもよい。
重量測定センサ61は、ホットショーケース1内に陳列された各揚げ物Xの位置に対応するように複数取り付けられる。図16では、各トレイ2に9つの重量測定センサ61がマトリクス状に敷き詰められており、1つのトレイ2には一度に最大9つの揚げ物Xを陳列することができ、9つの揚げ物Xそれぞれの重さを個別に測定することが可能となっている。
なお、1つの重量測定センサ61が測定可能な範囲に複数の揚げ物Xを配置させた場合であっても、個々の揚げ物Xの重さが測定できるならば、重量測定センサ61の数や配置する位置を限定しなくてもよい。
図17は、官能評価で得られた経過時間に対する揚げ物の衣のべたつきの推移を示すグラフである。図17において、横軸は、評価対象の揚げ物の上がり時刻からの経過時間を示し、縦軸は、揚げ物の「衣のべたつき」を指標化した値を示している。
図17に示すように、揚げ物は、一般に、揚げ上がり時から所定の時間(図17では6時間)までは、経過時間が長くなるにつれて衣のべたつきを示す指標が増加する。すなわち、揚げ物は、時間の経過に応じて衣のべたつきが強くなる傾向を示す。この「衣のべたつき」は、揚げ物の衣に含まれる水分量に起因し、この水分量が増加すると衣がべたついた状態となる。
ここで、図18Aは、ホットショーケース1内に陳列中のフライドチキンの表面側の衣に含まれる水分量の時間変化を示すグラフであり、図18Bは、ホットショーケース1内に陳列中のフライドチキンの裏面側の衣に含まれる水分量の時間変化を示すグラフである。なお、フライドチキンの「裏面側」とは、トレイ2との接触面側であり、「表面側」とは、その反対側、すなわちホットショーケース1内に陳列された状態での上側である。
図18Aおよび図18Bに示すように、ホットショーケース1内に陳列中のフライドチキンは、表面側および裏面側の両方において、揚げ上がり時(図18Aおよび図18Bにおける経過時間=0時間)よりも経過時間が長くなるほど(例えば、図18Aおよび図18Bでは経過時間=2時間)、衣に含まれる水分量の割合(%)が増加している。
また、図19Aは、ホットショーケース1内に陳列中のフライドチキンのサクサク感の時間変化を示すグラフであり、図19Bは、ホットショーケース1内に陳列中のフライドチキンの衣のべたつきの時間変化を示すグラフである。
図19Aにおけるサクサク感は、縦軸に示された官能評価の点数が高いほどサクサクしている傾向にあり、図19Bにおける衣のべたつきは、図17における衣のべたつきと同様、縦軸に示された官能評価の点数が高いほどべたつきが強い傾向にある。
図19Aに示すように、ホットショーケース1内に陳列中のフライドチキンは、揚げ上がり時(経過時間=0時間)からの経過時間が長くなるにつれて(図19Aでは経過時間=2時間)衣のサクサク感を示す指標が減少する。
一方、図19Bに示すように、ホットショーケース1内に陳列中のフライドチキンは、揚げ上がり時(経過時間=0時間)からの経過時間が長くなるにつれて(図19Bでは経過時間=2時間)衣のべたつきを示す指標が高くなる。すなわち、フライドチキンの衣は、揚げ上がり時からの経過時間が長くなるほどサクサク感が減少してべたつきが強くなる。
フライドチキンは、揚げ上がり時からの経過時間が所定の時間に至るまでは、中身の具材(チキン)の含有水分が衣へと移動する。この水分の移動によって、揚げ上がり時からの経過時間に応じて衣に含まれる水分量が増えることになる。したがって、フライドチキンにおける好適な食感が損なわれて(サクサク感の減少)不適な食感(衣のべたつきの増加)になるなど、食品としての販売には適さない状態になることには、フライドチキンの衣に含まれる水分量が起因している。
ここで、図2に示した「劣化風味」も経過時間が長くなるにつれて、その値が増加する。また、揚げ上がり時からの経過時間が所定の時間に至るまでは、経過時間が長くなるにつれて衣の水分量が増加することは、上述のとおりである。したがって、衣の水分量の増加と揚げ物の風味の低下との間には相関がある。そこで、揚げ物廃棄時点管理制御装置4は、ホットショーケース1内に陳列中の揚げ物Xの衣の水分量を、揚げ物Xの状態データとして用いることで、揚げ物Xの衣の水分量の変化に基づいて揚げ物Xの残時間を予測することもできる。
図20は、ホットショーケース1内の所定の段の天面に相当する部分を下方から見た上面図であって、天面部分に取り付けられた複数の近赤外センサ63を示す図である。
揚げ物Xの衣に含まれる水分量は、例えば、図20に示す近赤外センサ63を用いて検出することができる。この近赤外センサ63は、揚げ物Xに近赤外光を反射させて、揚げ物Xの中に含まれる水分量に対応した特定波長の吸収率の変化を検出することにより、揚げ物Xの水分量を測定することが可能となっている。したがって、揚げ物Xの衣に対して近赤外センサ63から出射する近赤外光を反射させることにより、揚げ物Xの衣の中に含まれる水分量を測定することができる。なお、上述した揚げ物Xに含まれる全体の水分量についても、重量測定センサ61(図17参照)以外に、この近赤外センサ63を用いて測定することができる。
また、近赤外センサ63は、揚げ物Xに近赤外光を反射させて、揚げ物Xの中に含まれる成分の含量による特定波長の吸収率の変化を検出することも可能であり、揚げ物Xに含まれる水分量以外に、揚げ物Xの酸価、アニシジン価、カルボニル価、過酸化物価、ヨウ素価、および極性化合物量を測定することができる。
近赤外センサ63についても、重量測定センサ61と同様に、ホットショーケース1内に陳列された揚げ物Xの位置に対応するように設置され、各揚げ物Xの衣の水分量や各揚げ物Xの酸価などを検出できるような位置関係となるように取り付けられる。
図21は、官能評価で得られた経過時間に対する揚げ物のニオイの強度の推移を示すグラフである。図21において、横軸は、評価対象の揚げ物の上がり時刻からの経過時間を示し、縦軸は、揚げ物の「ニオイの強度」を指標化した値を示している。
ここで、「ニオイ」には、一般的な意味において、食品としての揚げ物の好ましい匂いと、食品としての揚げ物の好ましくない臭いと、を含むものとする。以下、揚げ物の好ましい匂いを「香気」とし、揚げ物の好ましくない臭いを「臭気」とする。したがって、図21では、香気と臭気とが含まれたニオイ(香気と臭気とを区別しない全体としてのニオイ)の経時的変化を示している。
図21に示すように、揚げ物は、一般に、揚げ上がり時からの経過時間が長くなるにつれてニオイの強さを示す指標であるニオイ強度が低下する。すなわち、揚げ物は、時間の経過に応じてニオイが薄くなる傾向を示す。これは、揚げ物の揮発性成分が全体として減少していることを意味する。
揚げ物のニオイが薄くなっていく中で、香気と臭気とのバランスが変化し、臭気の原因となるアルデヒド系もしくはケトン系などの物質の発生比率が増える、すなわち揮発性成分組成が変化すると、人は揚げ物から臭気を感じることとなる。なお、アルデヒド系もしくはケトン系などの物質は、揚げ物を揚げるための食用油が劣化して食用油に含まれる脂肪酸が分解されることにより発生する。
ここで、図2に示した「劣化風味」は経過時間が長くなるにつれて、その値が増加する。一般的に、揚げ物のニオイ強度が低下して臭気が占める比率が大きくなれば、揚げ物の風味が低下しているといえる。したがって、揚げ物の揮発性成分の減少、あるいは揚げ物の揮発性成分組成の変化によるアルデヒド系もしくはケトン系などの物質の比率の増加と揚げ物の風味の低下との間には相関がある。
そこで、揚げ物廃棄時点管理制御装置4Aは、ホットショーケース1内に陳列された揚げ物Xの揮発性成分または揮発性成分組成を揚げ物Xの状態データとして用いることで、揚げ物Xの揮発性成分または揮発性成分組成の変化に基づいて、揚げ物Xの残時間を予測することもできる。
図22は、ホットショーケース1内の所定の段の天面に相当する部分を下方から見た上面図であって、天面部分に取り付けられた複数のニオイセンサ62を示す図である。なお、図22において、トレイ2の外枠を二点鎖線で示している。
一般的に、ニオイは揚げ物Xから立ち上るものであるため、図22に示すように、揚げ物Xのニオイを検出するニオイセンサ62は、揚げ物Xが置かれる各トレイ2の上方、すなわち各棚11,12,13に対して天面に相当する部分に取り付けられている。
ニオイセンサ62は、重量測定センサ61や近赤外センサ63と同様に、ホットショーケース1内に陳列された揚げ物Xの位置に対応するように設置され、各揚げ物Xのニオイを検出できるような位置関係となるように取り付けられる。
なお、ニオイセンサ62は、揚げ物Xの香気と臭気の両方(ニオイ)を検出可能なセンサであってもよいし、揚げ物Xの香気を検出可能なセンサあるいは揚げ物Xの臭気を検出可能なセンサであってもよい。
例えば、ニオイセンサ62が揚げ物Xの臭気を検出するものである場合、揚げ物廃棄時点管理制御装置4Aは、揚げ物Xの残時間を予測するのに際し、アルデヒド系もしくはケトン系などの成分を含む臭いを廃棄基準値とする。そして、揚げ物Xの揚げ上がり時からの経過時間と臭気の強さとの関係は、揚げ物Xの揚げ上がり時からの経過時間が長くなるにつれて、臭気の強さが増加する傾向となり、香気における傾向とは逆になる。
ニオイセンサ62のセンサ仕様については、特に制限はなく、例えば有機薄膜からなる感応膜と水晶振動子とを備えた水晶振動子式のニオイセンサや、酸化物半導体にガス分子が吸着することで酸化物半導体の抵抗値が変化してガス濃度を検出する半導体ガスセンサ、その他、赤外線式ガスセンサ、電気化学式ガスセンサ、接触燃焼式ガスセンサ、またはバイオセンサなどが適用可能である。
次に、本実施形態に係る揚げ物廃棄時点管理制御装置4Aの機能について、図23および図24を参照して説明する。なお、以下では、揚げ物廃棄時点管理制御装置4Aにおいて、揚げ物Xの水分量を状態データとして用いる場合を例に挙げて説明し、その他の指標(揚げ物Xの重さ、揮発性成分量、揮発性成分組成、酸価、アニシジン価、カルボニル価、過酸化物価、ヨウ素価、および極性化合物量)を状態データとして用いる場合については、その説明を割愛する。
図23は、第2実施形態に係る揚げ物廃棄時点管理制御装置4Aが有する機能を示す機能ブロック図である。図24は、第2実施形態に係る揚げ物廃棄時点管理制御装置4Aで実行される処理の流れを示すフローチャートである。
図23に示すように、本実施形態に係る揚げ物廃棄時点管理制御装置4Aは、例えば、データ取得部41Aと、種別特定部42Aと、残時間予測部44Aと、記憶部45Aと、状態判定部46Aと、移動先選択部49Aと、報知部47Aと、を含む。
データ取得部41Aは、各カメラ5が撮影したトレイ2ごとの複数の揚げ物Xの表面画像を取得すると共に、重量測定センサ61で検出された個々の揚げ物Xの重さを取得する。
種別特定部42Aは、第1実施形態における種別特定部42と同様に、抽出された個々の揚げ物Xの個別画像から個々の揚げ物Xの種別を特定する。
残時間予測部44Aは、データ取得部41Aで取得された個々の揚げ物Xの重さと、個々の揚げ物Xの種別と、個々の揚げ物Xの種別ごとに設定された廃棄基準値と、に基づいて、個々の揚げ物Xの残時間を予測する。本実施形態における廃棄基準値は、揚げ物Xの重さに係る廃棄基準値であり、予め設定されて記憶部45Aに記憶されている。
状態判定部46Aは、第1実施形態における状態判定部46と同様に、残時間予測部44Aにて予測された残時間が所定の閾値時間よりも短いと判定された揚げ物Xが、高温下(第1温度範囲下)に陳列されているか否かを判定する。
移動先選択部49Aは、第1実施形態における移動先選択部49と同様に、データ取得部41Aにて取得された揚げ物検知データおよび温度状態データに基づいて、第1移動先および第2移動先における揚げ物Xの陳列状況を判定する。
報知部47Aは、第1実施形態における報知部47と同様に、移動先選択部49Aにおける判定結果に応じて、第1報知信号、第2報知信号、および第3報知信号のうちのいずれかの報知信号をモニタ312に対して出力する。
図24に示すように、揚げ物廃棄時点管理制御装置4Aでは、まず、データ取得部41Aが、各カメラ5から出力されたトレイ2ごとの揚げ物Xの表面画像を取得する(ステップS421)。
次に、ステップS421において取得された各表面画像から個々の揚げ物Xの個別画像が抽出され(ステップS422)、種別特定部42は、ステップS422で抽出された各個別画像から個々の揚げ物Xの種別を特定する(ステップS423)。
なお、本実施形態においても、揚げ物廃棄時点管理制御装置4Aは、必ずしも個々の揚げ物Xの種別を特定する種別特定ステップ(ステップS423)を含んでいなくてもよく、その場合には、ステップS421およびステップS422における処理を不要としてもよい。
続いて、データ取得部41Aは、各重量測定センサ61から出力された個々の揚げ物Xの重さを状態データとして取得する(ステップS424)。
そして、残時間予測部44Aは、個々の揚げ物Xについて、ステップS424において取得された重さとステップS423において特定された種別に係る廃棄基準値とを比較して、廃棄時点に至るまでの残時間を予測する(ステップS425)。
次に、状態判定部46Aは、ステップS425において予測された各残時間が所定の閾値時間よりも短い揚げ物Xが、ホットショーケース1内に含まれているか否かを判定する(ステップS426)。
ステップS426において残時間が所定の閾値時間よりも短い揚げ物Xが、ホットショーケース1内に含まれていると判定された場合(ステップS426/YES)、データ取得部41Aは、温度状態データ検出ステップにて各サーモカメラ60により検出された各棚11,12,13の温度分布データを取得する(ステップS427)。
続いて、状態判定部46Aは、ステップS427において取得された温度分布データに基づいて、ステップS426において残時間が所定の閾値時間よりも短いと判定された揚げ物Xが、高温下(第1温度範囲下)に陳列されているか否かを判定する(ステップS428)。
ステップS428において対象となる揚げ物Xが高温下に陳列されていると判定された場合(ステップS428/YES)、移動先選択部49Aは、ステップS421において取得されたトレイ2ごとの揚げ物Xの表面画像と、ステップS427において取得された温度分布データと、に基づいて、第1移動先に揚げ物Xが陳列されているか否かを判定する(ステップS429)。
ステップS429において第1移動先に揚げ物Xが陳列されていないと判定され、移動先選択部49Aが対象の揚げ物Xの移動先として第1移動先を選択した場合(ステップS429/NO)、報知部47は、モニタ312に対して第1報知信号を出力する(ステップS430)。
一方、ステップS429において第1移動先に揚げ物Xが陳列されていると判定された場合(ステップS429/YES)、移動先選択部49Aは、続いて第2移動先に揚げ物Xが陳列されているか否かを判定する(ステップS431)。
ステップS431において第2移動先に揚げ物Xが陳列されていないと判定され、移動先選択部49Aが対象の揚げ物Xの移動先として第2移動先を選択した場合(ステップS431/NO)、報知部47Aは、モニタ312に対して第2報知信号を出力する(ステップS432)。
他方、ステップS431において第2移動先に揚げ物Xが陳列されていると判定され、移動先選択部49Aが対象の揚げ物Xの移動先の空きなしを選択した場合(ステップS431/YES)、報知部47Aは、モニタ312に対して第3報知信号を出力する(ステップS433)。
ステップS430、ステップS432、およびステップS433のうちのいずれかの処理が実行されると、揚げ物廃棄時点管理制御装置4における処理が終了する。
なお、ステップ406において、残時間が所定の閾値時間よりも短い揚げ物Xが、ホットショーケース1内に含まれていないと判定された場合(ステップS426/NO)、および、ステップS428において、残時間が所定の閾値時間よりも短い揚げ物Xが高温下に陳列されていないと判定された場合(ステップS428/NO)には、いずれもステップS401に戻って処理を繰り返す。
本実施形態に係る揚げ物廃棄時点管理制御装置4Aおいても、第1実施形態における作用および効果と同様の作用および効果を奏することができる。さらに、本実施形態では、揚げ物廃棄時点管理制御装置4Aは、「解析部」を含む必要がなく、データ取得部41Aが取得した状態データを用いて揚げ物Xの残時間を予測することが可能なため、実行すべき処理の数を少なくすることができる。
<第3実施形態>
次に、本発明の第3実施形態に係る揚げ物廃棄時点管理システム3Aについて、図25を参照して説明する。
図25は、第3実施形態に係る揚げ物廃棄時点管理システム3Aが有する機能を示す機能ブロック図である。
本実施形態に係る揚げ物廃棄時点管理システム3Aは、揚げ物Xの廃棄時点を管理制御する揚げ物廃棄時点管理制御装置4Bと、揚げ物Xの残時間を予測することが可能な学習済モデルを生成する学習装置7と、を含んで構成されている。すなわち、本実施形態では、第1実施形態に係る揚げ物廃棄時点管理システム3の構成と異なり、揚げ物Xの残時間を予測することが可能な学習済モデルを生成する機能を、揚げ物廃棄時点管理制御装置4Bとは別の装置である学習装置7に持たせている。
揚げ物廃棄時点管理制御装置4Bは、すでに説明した第2実施形態に係る揚げ物廃棄時点管理制御装置4Aと同様の構成として、データ取得部41Bと、種別特定部42Bと、残時間予測部44Bと、記憶部45Bと、状態判定部46Bと、移動先選択部49Bと、報知部47Bと、を含み、さらに通信部40を含む。
データ取得部41Bと、種別特定部42Bと、残時間予測部44Bと、記憶部45Bと、状態判定部46Bと、報知部47Bと、は、いずれも揚げ物廃棄時点管理制御装置4Aにおける機能と同様の機能を有する。したがって、揚げ物廃棄時点管理制御装置4Bは、揚げ物廃棄時点管理制御装置4Aにおける処理フローと同様の処理フローを実現することができるものである。
学習装置7は、通信部70と、データ取得部71と、学習済モデル生成部73と、更新部74と、を含む。
揚げ物廃棄時点管理制御装置4Bの通信部40と学習装置7の通信部70とは、通信ネットワークNを介して、相互に情報通信を行うためのインターフェースを含む機能を提供する。
学習装置7のデータ取得部71は、揚げ物廃棄時点管理制御装置4Bの残時間予測部44Bにて予測された揚げ物Xの残時間と、揚げ物廃棄時点管理制御装置4Bのデータ取得部41にて取得された経時変化データ(状態データ)、すなわち揚げ物Xの廃棄時点に至るまでの経時変化の傾向を示すデータと、を、通信部70を介して取得する。
学習済モデル生成部73は、データ取得部71にて取得された経時変化データを含む教師データを用いて機械学習や回帰分析を行い、学習済モデルを生成する。
更新部74は、学習済モデル生成部73にて生成された学習済モデルに基づいて、揚げ物廃棄時点管理制御装置4Bの記憶部45Bに記憶されている揚げ物Xの廃棄判定基準を更新する。
<第4実施形態>
次に、本発明の第4実施形態に係る揚げ物廃棄時点管理システムについて、図26~28を参照して説明する。
図26は、第4実施形態に係る揚げ物廃棄時点管理システムが適用されるホットショーケース1A内を、背面側から見た平面図である。
本実施形態では、ホットショーケース1A内の各棚11,12,13に陳列されている複数の揚げ物Xを含む画像を撮影する撮影装置としてのカメラ5Aが3台設けられている。図26では、各棚11,12,13における天面部の一端側にカメラ5Aが配置されているが、ホットショーケース1A内に陳列中の複数の揚げ物Xの全てを含む画像を撮影することができれば、カメラ5Aの台数や取り付け位置については特に制限はない。
なお、カメラ5Aの画角設定において各棚11,12,13に陳列されている複数の揚げ物Xの全てを含む画像を取得し得ない場合は、図26に示すようにカメラ5Aを複数設置することで、複数の揚げ物Xの全てを含む全体画像と、個々の揚げ物Xとしての表面画像と、を撮影できればよい。また、例えば、1台のカメラ5Aで画角設定を可変させることで、同様に、複数の揚げ物Xの全てを含む全体画像と、個々の揚げ物Xとしての表面画像と、を撮影できるように構成してもよい。
カメラ5Aには、動画を撮影することが可能なビデオカメラが用いられ、ホットショーケース1A内における揚げ物Xの個々の動きを含んだ画像が撮影される。ホットショーケース1A内に陳列中の個々の揚げ物Xは、揚げ上がり直後に置かれた位置と同じ位置に常に置かれているとは限らない。
例えば、揚げ物Xは、揚げ上がり直後に、ホットショーケース1A内の各棚11,12,13のいずれかに配置されたトレイ2に置かれるが、最初に揚げ物Xが置かれたトレイ2と同一のトレイ2内においてその揚げ物Xの位置が変わることもあれば、最初に揚げ物Xが置かれたトレイ2とは異なるトレイ2に、その揚げ物Xが移動されることもある。
そこで、カメラ5Aは、各棚11,12,13の様子を動画として撮影することにより、動画に含まれる個々の揚げ物Xの動き(位置の移動など)を含んだ画像を全体画像として撮影する。この動画に基づき、後述する揚げ物廃棄時点管理制御装置8における処理を実行することにより、各棚11,12,13に置かれた個々の揚げ物Xが移動されても、個々の揚げ物Xを識別しながら追跡することで、時間の経過を個別に取得することができる。
なお、カメラ5Aは、必ずしも動画を撮影することが可能なビデオカメラでなくともよく、時間的に連続して揚げ物Xの画像を取得できるものであればよい。例えば、スチルカメラなど静止画のみを撮影することが可能なカメラであってもよい。その場合、ホットショーケース1A内における揚げ物Xの個々の動きを画像データとして取得することができる程度に連写できればよい。
また、図26では、各棚11,12,13における天面部の他端側(カメラ5Aの取り付け位置と反対側)にサーモカメラ60Aが配置されているが、カメラ5Aによる撮影に支障をきたすことなく、各棚11,12,13の温度分布データを検出することができれば、サーモカメラ60Aの台数や取り付け位置については特に制限はない。
次に、本実施形態に係る揚げ物廃棄時点管理制御装置8の機能について、図27および図28を参照して説明する。
図27は、第4実施形態に係る揚げ物廃棄時点管理制御装置8が有する機能を示す機能ブロック図である。図28は、第4実施形態に係る揚げ物廃棄時点管理制御装置8で実行される処理の流れを示すフローチャートである。
本実施形態に係る揚げ物廃棄時点管理制御装置8は、例えば、データ取得部81と、識別情報生成部82と、個別表面画像管理部83と、時間計測部84と、残時間予測部85と、記憶部86と、状態判定部87と、移動先選択部89と、報知部88と、を含む。
データ取得部81は、各棚11,12,13における温度分布データおよびホットショーケース1内における揚げ物Xの有無を示す揚げ物検知データを取得する機能に加えて、各カメラ5Aで撮影されたホットショーケース1A内に陳列されている複数の揚げ物Xを含む画像を経時変化データとして取得する画像取得部としての機能を有する。
識別情報生成部82は、ホットショーケース1A内に陳列されている複数の揚げ物Xの表面画像を個別に識別する識別情報を生成する。なお、識別情報生成部82にて生成された識別情報は、記憶部86に記憶しておいてもよい。
個別表面画像管理部83は、データ取得部81にて取得された画像に含まれる個々の揚げ物Xの表面画像に対し、識別情報生成部82にて生成された識別情報を関連付けて管理する。本実施形態では、個別表面画像管理部83は、識別情報生成部82にて生成された識別情報に加えて、揚げ物Xの種別を特定する種別情報を、個々の揚げ物Xの表面画像に関連付けて管理する。なお、揚げ物Xの種別情報は、記憶部86に記憶されている。
時間計測部84は、個別表面画像管理部83にて識別情報が関連付けられた表面画像が、データ取得部81にて取得された画像に含まれている時間をそれぞれ計測する。
残時間予測部85は、時間計測部84にて計測された時間と、揚げ物Xの廃棄判定基準として予め設定された揚げ物Xを廃棄する際の経過時間(以下、「基準時間」とする)と、に基づいて、個々の揚げ物Xの残時間を予測する。なお、基準時間は、記憶部86に記憶されている。
状態判定部87は、すでに説明した状態判定部46,46A,46Bと同様の機能を有し、データ取得部81にて取得された温度分布データと、残時間予測部85にて予測された個々の揚げ物Xの残時間と、に基づいて、予測された残時間が所定の閾値時間よりも短い揚げ物Xが第1温度範囲下に陳列されているか否かを判定する。
移動先選択部89は、すでに説明した移動先選択部49,49A,49Bと同様の機能を有し、データ取得部81にて取得された温度分布データおよび揚げ物検知データに基づいて、第2温度範囲下の第1移動先および第2移動先における揚げ物Xの陳列状況を判定し、移動対象の揚げ物Xの移動先を選択する。
報知部88は、すでに説明した報知部47,47A,47Bと同様の機能を有し、状態判定部87および移動先選択部89の結果に応じて、第1報知信号、第2報知信号、および第3報知信号のうちのいずれかの報知信号をモニタ312に対して出力する。
図28に示すように、揚げ物廃棄時点管理制御装置8は、まず、データ取得部81が、撮影ステップ(検出ステップに相当)にて各カメラ5により撮影された画像(ホットショーケース1内に陳列中の複数の揚げ物Xを含む画像)を取得する(ステップS801)。
続いて、識別情報生成部82は、ステップS801において取得された画像に含まれる複数の揚げ物Xの表面画像を個別に識別する識別情報を生成する(ステップS802;識別情報生成ステップ)。
次に、個別表面画像管理部83は、個々の揚げ物Xの識別情報を生成すると共に、ステップS801において取得された画像から個々の揚げ物Xの表面画像を抽出し、抽出した表面画像に対して、ステップS802において生成された識別情報および記憶部86から読みだした種別情報を関連付けて管理する(ステップS803;個別表面画像管理ステップ)。
次に、時間計測部84は、ステップS803において識別情報および種別情報が関連付けられた各表面画像が、ステップS801において取得される画像に含まれている時間を計測する(ステップS804;時間計測ステップ)。
次に、残時間予測部85は、ステップS804において計測された時間と、記憶部86に記憶されている基準時間と、を比較して、個々の揚げ物Xの残時間を予測する(ステップS805;残時間予測ステップ)。
次に、状態判定部87は、ステップS805において予測された各残時間に基づいて、残時間が所定の閾値時間よりも短い揚げ物Xが、ホットショーケース1内に含まれているか否かを判定する(ステップS806)。
ステップS806において、残時間が所定の閾値時間よりも短い揚げ物Xが、ホットショーケース1内に含まれていると判定された場合(ステップS806/YES)、データ取得部81は、温度状態データ検出ステップにて各サーモカメラ60により検出された各棚11,12,13の温度分布データを取得する(ステップS807)。
続いて、状態判定部87は、ステップS807において取得された温度分布データに基づいて、ステップS806において、残時間が所定の閾値時間よりも短いと判定された揚げ物Xが、高温下(第1温度範囲下)に陳列されているか否かを判定する(ステップS808)。
ステップS808において対象となる揚げ物Xが高温下に陳列されていると判定された場合(ステップS808/YES)、移動先選択部89は、ステップS801において取得された複数の揚げ物Xを含む画像と、ステップS807において取得された温度分布データと、に基づいて、第1移動先に揚げ物Xが陳列されているか否かを判定する(ステップS809)。
ステップS809において第1移動先に揚げ物Xが陳列されていないと判定され、移動先選択部89が対象の揚げ物Xの移動先として第1移動先を選択した場合(ステップS809/NO)、報知部88は、モニタ312に対して第1報知信号を出力する(ステップS810)。
一方、ステップS809において第1移動先に揚げ物Xが陳列されていると判定された場合(ステップS809/YES)、移動先選択部89は、続いて第2移動先に揚げ物Xが陳列されているか否かを判定する(ステップS811)。
ステップS811において第2移動先に揚げ物Xが陳列されていないと判定され、移動先選択部89が対象の揚げ物Xの移動先として第2移動先を選択した場合(ステップS811/NO)、報知部88は、モニタ312に対して第2報知信号を出力する(ステップS812)。
他方、ステップS811において第2移動先に揚げ物Xが陳列されていると判定され、移動先選択部89が対象の揚げ物Xの移動先の空きなしを選択した場合(ステップS811/YES)、報知部88は、モニタ312に対して第3報知信号を出力する(ステップS813)。
ステップS810、ステップS812、およびステップS813のうちのいずれかの処理が実行されると、揚げ物廃棄時点管理制御装置4における処理が終了する。
他方、ステップS806において、残時間が所定の閾値時間よりも短い揚げ物Xが、ホットショーケース1内に含まれていないと判定された場合には(ステップS806/NO)、ステップS801において取得される画像から表面画像が外れた揚げ物Xがあるか否かを判定する(ステップS814)。
ステップS814において取得画像から表面画像が外れた揚げ物Xについては(ステップS814/YES)、揚げ物廃棄時点管理制御装置8内での処理を終了する。一方で、ステップS814において取得画像から表面画像が外れていない揚げ物X(ステップS814/NO)、すなわちホットショーケース1内に継続して陳列され、かつ残時間が所定の閾値時間以上である揚げ物Xについては、ステップS801に戻って処理を繰り返す。
また、ステップS808において、残時間が所定の閾値時間よりも短い揚げ物Xが、高温下に陳列されていないと判定された場合には(ステップS808/NO)、ステップS801に戻って処理を繰り返す。
このように、本実施形態では、ホットショーケース1A内に陳列中の複数の揚げ物Xを継続的あるいは断続的にカメラ5Aで撮影し、撮影された画像に基づいて個々の揚げ物Xを識別することにより、揚げ物Xがホットショーケース1A内で移動した場合であっても、個々の揚げ物Xの廃棄時点を正確に判断して、廃棄時点に至るまでの残時間を精度良く予測することが可能となる。これにより、手作業で時間の記録を取っていた店舗31の従業員への負担が軽減されて、移動対象となる揚げ物Xの判定をより正確に行うことができる。
<第5実施形態>
次に、本発明の第5実施形態に係る揚げ物廃棄時点管理制御装置について、図29を参照して説明する。
図29は、第5実施形態に係る揚げ物廃棄時点管理制御装置で実行される処理の流れを示すフローチャートである。
本実施形態に係る揚げ物廃棄時点管理制御装置は、第4実施形態に係る揚げ物廃棄時点管理制御装置8と異なり、揚げ物Xが一旦ホットショーケース1A内から取り出されて再びホットショーケース1A内に戻された場合の処理を含む。
まず、データ取得部81は、第4実施形態におけるステップS801と同様に、ホットショーケース1A内に陳列中の複数の揚げ物Xを含む画像を取得する(ステップS821)。
続いて、揚げ物廃棄時点管理制御装置は、記憶部45Aに記憶されている表面画像関連情報に基づいて、今回取得された画像に含まれる個々の揚げ物Xの表面画像が、記憶部86にすでに記憶されたものであるか否か、すなわち過去のステップS821において取得された画像に含まれるものであるか否かを判定する(ステップS822)。
ここで、「表面画像関連情報」とは、カメラ5Aで撮影された画像から抽出された個々の揚げ物Xの表面画像から取得可能な情報であって、具体的には、揚げ物Xの色調(色成分)、大きさ、および形状を含む情報である。したがって、「表面画像関連情報」は、表面画像そのものを含んでもよいし、表面画像に含まれる特徴点などの情報を構造化した情報を含むものでもよい。いずれにせよ、「表面画像関連情報」は、ステップS821において取得された画像(取得画像)に含まれる揚げ物Xに対して、過去において経過時間の計測をしていたか否かを判定可能な情報群であればよい。
ステップS822において判定対象の表面画像が記憶部86に記憶されている表面画像関連情報に関連付けられているものではないと判定された場合(ステップS822/NO)、該当する表面画像に対して識別情報および種別情報を新規に関連付ける(ステップS823)。なお、ステップS822における判定対象となる表面画像は複数存在する可能性がある。その場合、複数の表面画像の各々においてステップS822の判定を行う。
一方、ステップS822において判定対象の表面画像が記憶部86に記憶されている表面画像関連情報に関連付けられているものである、すなわち、当該判定処理の直前に実行されているステップS821ではなく、以前のステップS821に係る取得画像に含まれていたと判定された揚げ物Xの表面画像であれば(ステップS822/YES)、該当する表面画像に対して記憶部86に記憶されている識別情報および種別情報を関連付ける(ステップS824)。
次に、時間計測部84は、ステップS823あるいはステップS824において関連付けられた識別情報および種別情報に基づいて、起点となる計測時間から表面画像が取得画像に含まれている時間を計測する(ステップS825)。具体的には、時間計測部84は、ステップS823からステップS825に進んだ場合には、現時点を起点として表面画像が取得画像に含まれている時間を新規に計測する。他方で、時間計測部84は、ステップS824からステップS825に進んだ場合には、前回における表面画像が取得画面から外れる直前の計測時間を起点として表面画像が取得画像に含まれている時間の計測を再開する。すなわち、一旦ホットショーケース1A内から取り出されて再びホットショーケース1A内に戻された揚げ物Xについては、表面画像が取得画像に含まれている時間の計測が再開されることになる。
そして、残時間予測部85は、ステップS825において計測された時間と、記憶部86に記憶されている基準時間と、に基づいて、個々の揚げ物Xの残時間を予測する(ステップS826)。
続いて、状態判定部87は、第4実施形態におけるステップS806と同様に、ステップS8265において予測された各残時間に基づいて、残時間が所定の閾値時間よりも短い揚げ物Xが、ホットショーケース1内に含まれているか否かを判定する(ステップS827)。
ステップS827において、残時間が所定の閾値時間よりも短いと判定された揚げ物Xが、ホットショーケース1内に含まれていると判定された場合(ステップS827/YES)、データ取得部81は、各サーモカメラ60により検出された各棚11,12,13の温度分布データを取得する(ステップS828)。
続いて、状態判定部87は、第4実施形態におけるステップS808と同様に、ステップS828において取得された温度分布データに基づいて、残時間が所定の閾値時間よりも短い揚げ物Xが、高温下(第1温度範囲下)に陳列されているか否かを判定する(ステップS829)。
ステップS829において対象となる揚げ物Xが高温下に陳列されていると判定された場合(ステップS829/YES)、移動先選択部89は、第4実施形態におけるステップS809と同様に、複数の揚げ物Xを含む画像および温度分布データに基づいて、第1移動先に揚げ物Xが陳列されているか否かを判定する(ステップS830)。
他方、ステップS829において対象となる揚げ物Xが高温下に陳列されていないと判定された場合には(ステップS829/NO)、ステップS821に戻って処理を繰り返す。
ステップS830において第1移動先に揚げ物Xが陳列されていないと判定された場合(ステップS830/NO)、報知部88は、モニタ312に対して第1報知信号を出力する(ステップS831)。
一方、ステップS830において第1移動先に揚げ物Xが陳列されていると判定された場合(ステップS830/YES)、移動先選択部89は、続いて第2移動先に揚げ物Xが陳列されているか否かを判定する(ステップS832)。
ステップS832において第2移動先に揚げ物Xが陳列されていないと判定された場合(ステップS832/NO)、報知部88は、モニタ312に対して第2報知信号を出力する(ステップS833)。
他方、ステップS832において第2移動先に揚げ物Xが陳列されていると判定された場合(ステップS832/YES)、報知部88は、モニタ312に対して第3報知信号を出力する(ステップS834)。
ステップS831、ステップS833、およびステップS834のうちのいずれかの処理が実行されると、揚げ物廃棄時点管理制御装置における処理が終了する。
他方、ステップS827において、残時間が所定の閾値時間よりも短い揚げ物Xが、ホットショーケース1内に含まれていないと判定された場合には(ステップS827/NO)、ステップS821において取得される画像から表面画像が外れた揚げ物Xがあるか否かを判定する(ステップS835)。
ステップS835において取得画像から表面画像が外れた揚げ物Xについては(ステップS835/YES)、当該揚げ物Xに係る表面画像が取得画像に含まれていないと判定されたタイミング、すなわちステップS835において「YES」とされたタイミングまでの計測時間、当該揚げ物Xに係る表面画像に対して付与されていた識別情報、種別情報、および表面画像関連情報をそれぞれ記憶して(ステップS836)、ステップS821に戻る。
すなわち、ステップS822において用いられる表面画像関連情報、ステップS824において各表面画像に対して関連付けられる識別情報および種別情報、ならびにステップS825において用いられる表面画像が取得画面から外れる直前の計測時間はいずれも、ステップS836において記憶部86に記憶された情報である。
一方で、ステップS835において取得画像から表面画像が外れていない揚げ物X(ステップS835/NO)、すなわちホットショーケース1内に継続して陳列され、かつ残時間が所定の閾値時間以上である揚げ物Xについては、ステップS821に戻って処理を繰り返す。
このように、揚げ物廃棄時点管理制御装置で実行される処理の中に、揚げ物Xが一旦ホットショーケース1内から取り出されて再びホットショーケース1内に戻された場合の処理を含むことにより、ホットショーケース1A内に陳列される複数の揚げ物Xの廃棄時点の設定を正確に行い、残時間予測部85における揚げ物Xの残時間の予測をより精度良く行うことができる。
なお、揚げ物Xが一旦ホットショーケース1内から取り出されて再びホットショーケース1内に戻された場合について、本実施形態では、揚げ物廃棄時点管理制御装置にて自動で処理を行ったが、これに限らず、例えば、揚げ物Xがホットショーケース1内から取り出される際に、店舗の従業員が該当する揚げ物Xの識別情報を入力端末などに手動で入力しておき、揚げ物廃棄時点管理制御装置が、入力された識別情報を用いて揚げ物Xが新規であるか否かを判定してもよい。
以上、本発明の実施形態について説明した。なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、本実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、本実施形態の構成に他の実施形態の構成を加えることも可能である。またさらに、本実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
例えば、上記実施形態では、揚げ物Xが陳列される陳列棚の一態様として3つの棚11,12,13を備えたホットショーケース1,1Aについて説明したが、陳列棚は、必ずしも複数段の棚を備えたものである必要はなく、例えばトレイ単体なども含まれ、揚げ物Xが陳列可能な形態であればその態様について限定されるものではない。
また、上記実施形態では、揚げ物廃棄時点管理システムとして、ホットショーケース1,1A内に陳列された揚げ物Xの販売を促進するシステムについて説明したが、これに限らず、例えば、スチーマー内に陳列された中華まん(蒸し物)の販売を促進するシステムなど、調理済みの食品の販売を促進するシステムであればよい。