JP7131766B2

JP7131766B2 - 機械学習システム、食感評価モデル、食感評価装置、機械学習方法および食感評価方法

Info

Publication number: JP7131766B2
Application number: JP2018101580A
Authority: JP
Inventors: 誠中馬; 聡池上; 充東森
Original assignee: San Ei Gen FFI Inc; Osaka University NUC
Current assignee: San Ei Gen FFI Inc; Osaka University NUC
Priority date: 2018-05-28
Filing date: 2018-05-28
Publication date: 2022-09-06
Anticipated expiration: 2038-05-28
Also published as: JP2019207123A

Description

特許法第３０条第２項適用（その１）ウェブサイトの掲載日２０１７年１２月１日ウェブサイトのアドレスｈｔｔｐ：／／ｗｗｗ．ｍｄｐｉ．ｃｏｍ／２２１８－６５８１／６／４／３７

本発明は、食品の食感評価技術に関するものであり、特に、ゲル状食品の表面的印象の評価技術に関する。

高齢者や障害者向けに、舌と口蓋で押しつぶして摂食すること（舌式摂食）が可能な介護食ゼリーなどのゲル状食品や、ミキサー食、おかゆなどのペースト状食品が開発されている。このようなゲル状、ペースト状食品においては、摂食・嚥下の安全性と“おいしさ”が高次元で両立することが望まれる。“おいしさ”は、味や臭いといった食品の化学特性のみでなく、食品の力学特性、すなわち摂食・嚥下過程における食品の力応答と形態変化に起因したテクスチャ（舌触り、口溶け、喉越し、などの食感）にも強く依存する。

従来、食感はヒトの感覚特性に基づく官能評価によって定義されている。官能評価は、ヒトの感覚がそのまま数値化されるというメリットがあるが、再現性の高い評価のためには、訓練された評価者（パネル）を数多く養成する必要があり、コストと時間がかかる。

これに対し、機器を用いた物理測定によって食感を評価する研究・開発が行われており、一般的には、食品を圧縮・破断する際の１軸反力を計測し、その最大値や範囲、周波数などから機械的特性を評価する手法が採用されている（例えば、非特許文献１）。ただし、このような１軸反力に基づく手法では、ヒトが舌上で感知する繊細な幾何学的・表面的特性を評価することは原理的に難しい。このため、食品の応答を多軸で捉えることで幾何学的・表面的特性の評価にまで踏み込んだ研究が行われ、咀嚼後の破断片を画像解析により評価する手法（例えば、非特許文献２）や、食品による口腔内の圧力分布特性の違いを評価する手法（例えば、非特許文献３）が報告されている。

本発明者らも、高齢者向けの介護用食品として、舌と口蓋を使って押しつぶすこと（以下、舌式咀嚼と呼ぶ）が可能なゲル食品を対象とし、食品圧縮・破断中の圧力分布情報から機械的特性のみでなく幾何学的・表面的特性についても食感評価が可能なことを実証した（例えば、非特許文献４および５）。この手法では、測定平面（食品と圧縮用プレートとの境界面）の圧力分布を画像として取り扱い、空間濃度レベル依存法によって画像内に含まれる画素値の一様性、局所変化、複雑さ、などに対応した特徴量を算出し、これら特徴量から食品の食感を評価する回帰モデルを作成している。

S. Okada, H. Nakamoto, F. Kobayashi, and F. Kojima: A Study on Classification of Food Texture with Recurrent Neural Network, ICIRA 2016: Intelligent Robotics and Applications, Lecture Notes in Computer Science, 9834, 247/256 (2016) C. Tournier, M. Grass, D. Zope, C. Salles, and D.Bertrand: Characterization of Bread Breakdown DuringMastication by Image Texture Analysis, Journal of Food Engineering, 113-4, 615/622 (2012) H. Dan, T. Azuma, and K. Kohyama: Characterization of Spatiotemporal Stress Distribution During Food Fracture by Image Texture nalysis Methods, Journal of Food Engineering, 81-4, 429/436 (2007) T. Yamamoto, M. Higashimori, M. Nakauma, S. Nakao, A. Ikegami, and S. Ishihara: Pressure Distribution-Based Texture Sensing by Using a Simple Artificial Mastication System, Proc. of 36th Annual Int. Conf. of the IEEE Engineering in Medicine and Biology Society, 864/869 (2014) 柴田，石原，中尾，池上，中馬，東森：弾性可変型模擬舌を用いた食品テクスチャセンシング，日本ロボット学会誌， 34-9, 631/639 (2016)

このように、従来手法では、食品の状態を示す特徴量はモデル作成者の経験に基づいてあらかじめ定義されてきた。この場合、一般に、モデルの評価性能はどのような特徴量を用いるかによって変化する。また、かたさ、滑らかさ、ねっとりさ、など食感評価項目は多岐に渡るため、それぞれを評価する際に必要となる特徴量も異なることが予想される。以上のように、繊細かつ多様な食品の食感を評価するための特徴量を、モデル作成者が事前に設計するのは容易ではないため、汎用性の高い食感評価が難しいという問題があった。

本発明は、上記問題を解決するためになされたものであって、汎用性の高い食感評価技術を提供することを課題とする。

本発明者らは鋭意研究を重ねた結果、試料を押圧する際の圧力分布画像に基づいて機械学習を行うことにより、モデル作成者の経験等に依存しない、汎用性の高い食感評価が可能な食感評価モデルが得られることを見出した。

本発明はかかる知見に基づいて完成したものであり、下記の態様を有する。
項１．
食品の食感を評価するための食感評価モデルを学習する機械学習システムであって、
試料を押圧する押圧装置と、
前記試料の押圧時に前記試料から受ける圧力分布を示す圧力分布画像を取得する画像取得部と、
前記圧力分布画像に基づいて前記食感評価モデルを学習する学習部と、
を備えることを特徴とする機械学習システム。
項２．
前記学習部は、人工ニューラルネットワークにより前記食感評価モデルを学習することを特徴とする項１に記載の機械学習システム。
項３．
前記人工ニューラルネットワークは、畳み込みニューラルネットワークであることを特徴とする項２に記載の機械学習システム。
項４．
前記画像取得部は、２フレームの圧力分布画像を、前記学習部が学習に用いる圧力分布画像として取得することを特徴とする項１～３のいずれかに記載の機械学習システム。
項５．
前記２フレームの圧力分布画像は、前記試料の破断時および押圧終了時における圧力分布画像であることを特徴とする項４に記載の機械学習システム。
項６．
項１～５のいずれかに記載の機械学習システムによって学習された食感評価モデル。
項７．
食品の食感を評価する食感評価装置であって、
項６に記載の食感評価モデルに従って、前記食品の食感を評価する評価部を備えることを特徴とする食感評価装置。
項８．
食品の食感を評価するための食感評価モデルを学習する機械学習方法であって、
試料を押圧する押圧ステップと、
前記試料の押圧時に前記試料から受ける圧力分布を示す圧力分布画像を取得する画像取得ステップと、
前記圧力分布画像に基づいて前記食感評価モデルを学習する学習ステップと、
を備えることを特徴とする機械学習方法。
項９．
食品の食感を評価する食感評価方法であって、
項８に記載の機械学習方法によって学習された食感評価モデルに従って、前記食品の食感を評価する評価ステップを備えることを特徴とする食感評価方法。

本発明によれば、汎用性の高い食感評価技術を提供することができる。

本発明の一実施形態に係る食感評価システムの概略図である。試料の一例を示す写真である。（ａ）～（ｃ）は、試料の押圧時の状態を示す写真である。ロードセルが検出する力応答の時間変化を示すグラフである。制御ＰＣの機能を説明するためのブロック図である。圧力分布画像の一例である。圧力分布画像が連結された入力画像の一例である。入力画像を作成する態様の説明図である。ＣＮＮモデルの一例である。食感評価システムの動作手順を示すフローチャートである。官能評価試験に用いられる用紙の一例である。（ａ）～（ｄ）は、入力画像の一例である。（ａ）～（ｄ）は、入力画像を用いた学習による評価誤差の変化を示すグラフの一例である。（ａ）～（ｄ）は、入力画像を用いた学習による評価誤差の変化を示すグラフの他の例である。本実施例の一例に係る食感評価システムによって評価された食感の評価値と、官能評価データにおける官能評価値との関係を示すグラフである。本実施例の他の例に係る食感評価システムによって評価された食感の評価値と、官能評価データにおける官能評価値との関係を示すグラフである。従来手法の食感評価システムによって評価された食感の評価値と、官能評価データにおける官能評価値との関係を示すグラフである。本実施例に係る食感評価モデルおよび従来手法の各評価精度の決定係数を、食感評価項目ごとに比較した結果を示すグラフである。

以下、本発明の実施形態について添付図面を参照して説明する。なお、本発明は、下記の実施形態に限定されるものではない。

（装置構成）
図１は、本発明の一実施形態に係る食感評価システム１の概略図である。食感評価システム１は、食感評価モデルを学習する機械学習システムと、食感を評価する食感評価装置とを兼ね備えたシステムであり、図１に示すように、押圧装置２、圧力分布センサ３および制御ＰＣ４を備えている。

押圧装置２は、食感の評価対象物である試料５を押圧するための装置であり、２つのプレート２１・２２、リニアスライダ２３およびロードセル２４を備えている。下側のプレート２１は、押圧装置２が設置される土台に固定されている。プレート２１の上面に、圧力分布センサ３が載置され、圧力分布センサ３上に試料５が載置される。

上側のプレート２２は、圧力分布センサ３と上下方向に対向する位置に設けられ、リニアスライダ２３に接続されている。リニアスライダ２３は、制御ＰＣ４からの押圧動作制御信号に応じて圧力センサ面に対して鉛直方向に駆動される。これにより、制御ＰＣ４は、押圧装置２による試料５の押圧動作を制御することができる。

また、上下のプレート２１、２２、圧力分布センサ３のうち任意の１つ、２つもしくは全部を温度制御できる電熱ヒーターなどで、人の口腔内温度（２５℃～４０℃）に保温することもできる。

ロードセル２４は、プレート２２からの力応答を検出するものである。ロードセル２４が検出した力応答のデータは、制御ＰＣ４に出力される。

圧力分布センサ３は、試料５の押圧時に試料５から受ける圧力分布の経時的変化を計測する計測装置である。計測された圧力分布の経時的変化は、圧力分布データとして制御ＰＣ４に出力される。

制御ＰＣ４は、押圧動作制御信号を出力して押圧装置２による押圧動作を制御する機能の他、試料５の食感を評価するための食感評価モデルを学習する機能、および、学習済みの食感評価モデルに従って食品の食感を評価する機能を有している。制御ＰＣ４の具体的な機能は、後述する。

（試料の押圧）
図２は、試料５の一例を示す写真である。図２に示す試料５は、直径２０［ｍｍ］、高さ１０［ｍｍ］の円柱形のゼリー食品である。

図３（ａ）～（ｃ）は、試料５の押圧時の状態を示す写真である。具体的には、図３（ａ）は、試料５の押圧開始直後の状態を示しており、図３（ｂ）は、試料５の破断直前の状態を示しており、図３（ｃ）は、試料５の破断後の状態を示している。

図４は、ロードセル２４が検出する力応答の時間変化を示すグラフである。プレート２２を下降させ、プレート２２が試料５の上面と接触した時刻をｔ＝０とする。その後、プレート２２はそのまま下降動作を継続し、プレート２２が試料５を圧縮するにつれ、力応答は上昇する。この間を圧縮フェーズとする。

その後、力応答が極大となるｔ＝Ｔ_Ａ[ｓ]で試料５が破断し始める。このとき、力応答は一度下降するが、試料５は押圧され続けるため、プレート２２が停止するまで力応答は再び上昇し続ける。その後プレート２２は、圧力分布センサ３に接触する寸前で停止し、この時刻をｔ＝Ｔ_Ｎとする。試料５の破断開始後からプレート２２の停止までの間を破断フェーズとする。

なお、図４に示す時刻Ｔ_１～Ｔ_１５は、プレート２２が試料５の上面と接触してから停止するまでの期間（ｔ＝０～Ｔ_Ｎ）を１５等分した時刻である。後述するように、制御ＰＣ４では、時刻Ｔ_１～Ｔ_１５における１５フレームの圧力分布画像を取得する。

また、試料よっては力応答の極大が見られない場合があり（ペースト状食品など）、この場合は、押圧開始時の１フレーム目を圧縮フェーズとし、プレート２２が停止するまでの期間を破断フェーズとする。

（制御ＰＣの機能）
図５は、制御ＰＣ４の機能を説明するためのブロック図である。制御ＰＣ４は、記憶部４１、押圧動作制御部４２、画像取得部４３、学習部４４および評価部４５を有している。

記憶部４１は、例えばハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）で構成することができる。記憶部４１には、官能評価データＳおよび学習前の食感評価モデルＭが記憶されている。

官能評価データＳは、学習部４４が機械学習を行うための教師データであり、評価者に対して事前に実施された官能評価試験によって取得された官能評価値のデータである。官能評価試験の形態は特に限定されないが、本実施形態では、複数種類の試料について、評価者が試食した際に舌上で感じた食感の度合いを所定の回答用紙に回答する。回答結果は、官能評価値の真値ｎｉとして集計され、官能評価データＳに蓄積される。

学習前の食感評価モデルＭは、あらかじめ用意されたニューラルネットワークのモデルである。本実施形態では、畳み込みニューラルネットワーク（Convolutional Neural Network、ＣＮＮ）が用いられるが、本発明はこれに限定されず、あらゆる人工ニューラルネットワーク（ＡＮＮ）を用いることができる。

押圧動作制御部４２は、ユーザの指示等に応じて、リニアスライダ２３の位置および速度を制御するための押圧動作制御信号を押圧装置２に出力する。押圧装置２に押圧動作制御信号が入力されると、リニアスライダ２３が駆動され、試料５に対する押圧動作が開始される。

画像取得部４３は、試料の押圧時に前記試料から受ける圧力分布を示す圧力分布画像を取得する。具体的には、画像取得部４３は、圧力分布センサ３から出力される圧力分布データおよび力応答データに基づいて、圧力分布画像を取得する。圧力分布データは、圧力分布センサ３の表面に格子状に分布した計測位置ｘ，ｙおよび計測時刻ｔにおける圧力値ｐ（ｘ，ｙ，ｔ）である。

本実施形態の一例では、画像取得部４３は、押圧開始時からの時系列的な複数の圧力分布画像を取得する。具体的には画像取得部４３は、計測位置をピクセル座標、圧力値を画素値（濃淡値）、時刻をフレーム番号とした圧力分布画像のフレーム群に変換する。

圧力分布画像の一例を図６に示す。これらの圧力分布画像は、フレーム数Ｐ＝１５であり、図４に示す時刻Ｔ_１～Ｔ_１５において時系列的に計測された圧力分布データに対応している。さらに、画像取得部４３は、図７に示すように、１５フレームの圧力分布画像を一方向に連結して１つの入力画像ＩＮ１を生成し、学習部４４が学習に用いる圧力分布画像として出力する。なお、入力画像ＩＮ１を生成するための圧力分布画像のフレーム数は特に限定されない。

本実施形態の他の例では、試料５の破断時および押圧終了時における圧力分布画像を、学習部４４が学習に用いる圧力分布画像として選択的に取得してもよい。具体的には画像取得部４３は、図８に示すように、力応答が極大となる破断開始時刻Ｔ_Ａにおける圧力分布画像と、押圧終了時刻Ｔ_Ｎにおける圧力分布画像とを取得する。画像取得部４３は、これら２フレームの圧力分布画像を一方向に連結して１つの入力画像ＩＮ２を生成し、学習部４４が学習に用いる圧力分布画像として出力する。

なお、試料５の種類によっては、力応答が極大となるような破断が起こらないことがある。この場合、画像取得部４３は、押圧終了時における圧力分布画像を２つ連結して入力画像を生成してもよい。

また、入力画像ＩＮ１には、圧力分布の時間的変化に関する情報が含まれるが、当該情報は入力画像ＩＮ２には含まれていない。

学習部４４は、画像取得部４３が取得した圧力分布画像に基づいて、食感評価モデルを学習する。学習部４４は、画像取得部４３からの入力画像ＩＮ１またはＩＮ２を食感評価モデルＭの入力データとし、官能評価データＳを教師データとすることで、畳み込みニューラルネットワーク（ＣＮＮ）により学習する。ＣＮＮの構造については後述する。

機械学習によって得られた学習済みの食感評価モデルＭは、未知の試料の食感評価に用いることができる。食感評価モデルＭの作成後、制御ＰＣ４のＣＰＵが食感評価モデルＭを実行することにより、評価部４５が生成される。

未知の食品の食感を評価する場合、図１に示す押圧装置２が食品を押圧することにより得られた圧力分布データおよび力応答データから、図２に示す画像取得部４３が圧力分布画像を取得し、評価部４５に出力する。評価部４５は、学習済みの食感評価モデルＭに従って、圧力分布画像から未知の食品の食感を評価する。

（ＣＮＮモデルの構造）
学習前の食感評価モデルＭであるＣＮＮモデルの一例を図９に示す。ＣＮＮモデルには、入力画像ＩＮ１（フレーム数Ｐ＝１５）または入力画像ＩＮ２（フレーム数Ｐ＝２）が入力され、食感の官能評価値が出力される。入力画像１枚あたりのサイズを、縦Ｈピクセル、横Ｗピクセルとすると、フレーム数Ｐの入力画像のサイズは、縦Ｈ×Ｐピクセル、横Ｗピクセルとなる。ＣＮＮモデルの中間層は、４つの畳み込み層Ｃ１、Ｃ２、Ｃ３、Ｃ４および３つのプーリング層Ｐ１、Ｐ２、Ｐ３を備えており、中間層において、入力画像の特徴量を学習する。畳み込み層Ｃ１、Ｃ２、Ｃ３とプーリング層Ｐ１、Ｐ２、Ｐ３とは、交互に３層ずつ存在する。畳み込み層Ｃ１、Ｃ２、Ｃ３にはそれぞれ３×３のフィルタがＤ１＝Ｄ２＝Ｄ３＝９６種類ずつ存在する。プーリング層Ｐ１、Ｐ２、Ｐ３には max pooling を使用し、出力されるサイズは各辺１／２となる。プーリング層Ｐ３に続く畳み込み層Ｃ４では、２×２のフィルタがＤ４＝３２種類存在し、フィルタを動かすストライドは２として適用する。得られた出力をベクトル化して全結合層Ｆ１の入力とする。さらにノード数３２の全結合層Ｆ２を経て出力層となり、出力層から食感の評価値Ｎｉが出力される。

学習部４４は、官能評価データＳを用いて、評価値Ｎｉと官能評価データＳにおける真値ｎｉとの誤差が小さくなるよう誤差逆伝播法によるネットワークの学習を行う。これを繰り返すことにより、学習済みの食感評価モデルＭが得られる。

（動作手順）
本実施形態に係る機械学習方法および食感評価方法は、図１に示す食感評価システム１によって実施される。図１０は、図１に示す食感評価システム１の動作手順を示すフローチャートである。

本実施形態に係る機械学習方法は、押圧装置２が試料５を押圧する押圧ステップＳ１と、画像取得部４３が、試料５の押圧時に試料５から受ける圧力分布を示す圧力分布画像を取得する画像取得ステップＳ２と、学習部４４が、前記圧力分布画像に基づいて食感評価モデルＭを学習する学習ステップＳ３とを備える。これにより、ステップＳ４において、学習済みの食感評価モデルＭが生成される。

本実施形態に係る食感評価方法は、本実施形態に係る機械学習方法によって学習された食感評価モデルＭに従って、評価部４５が食品の食感を評価する評価ステップＳ５を備える。

このように本実施形態では、食感評価システム１が本実施形態に係る機械学習方法および食感評価方法の両方を実施しており、制御ＰＣ４が、機械学習を行うための装置としての機能と、食感評価装置としての機能を兼ね備えているが、これらの方法を別個のシステムで実施してもよい。すなわち、一方のシステムで機械学習方法を実施し、これによって生成された学習済みの食感評価モデルＭを、通信ネットワークまたは記録媒体を介して他のシステムに転送し、当該他のシステム（汎用のコンピュータや携帯端末）において食感評価方法を実施してもよい。

（実施形態の総括）
以上のように本実施形態では、押圧装置の人工咀嚼によって得た圧力分布画像に基づいて機械学習を行うことにより、食品の食感を評価するための食感評価モデルを生成する。これにより、従来手法よりも汎用性の高い食感評価が可能となる。特にＣＮＮは、画像特徴量による評価式のパラメータだけでなく、画像特徴量の定義自体が学習の対象となっている。そのため、ＣＮＮを食品の食感評価に導入することにより、食感評価のための特徴量の定義がモデル作成者の経験や意図に依存するといった問題を生ずることなく、多様な食感評価項目に対応することができる。

なお、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて種々の変更が可能であり、例えば、上記実施形態に開示された技術的手段を適宜組み合わせて得られる形態も、本発明の技術的範囲に属する。

以下、本発明の実施例について説明するが、本発明は下記の実施例に限定されない。
本実施例では、図１に示す食感評価システム１を用いて、ゲル食品の食感を評価した。

（試料）
試料として、素材や配合の異なる２３種類のゲル食品を使用した。ゲル食品は、直径２０［ｍｍ］、高さ１０［ｍｍ］の円柱形とした。食感評価項目として、“もちもち感（Elasticity：ｉ＝１）”、“つるつる感（Smoothness：ｉ＝２）”、“ねっとり感（Stickiness：ｉ＝３）”、“ざらざら感（Granularity：ｉ＝４）”の４種類を用いた。なお、“もちもち感”は機械的特性に属し、他の３種類の食感は幾何学的・表面的特性に属する。

（官能評価試験）
事前に、Visual analog scale法に基づく官能評価試験を実施することにより、機械学習の教師データとして用いるための官能評価データＳを得た。具体的には、試験員に食感評価項目ｉごとに官能評価の度合いをマークする用紙を与えた。図１１に示すように、用紙には長さ１００［ｍｍ］の直線が描かれ、その左端には「“〇〇感”を全く感じない」、右端には「“〇〇感”を非常に感じる」と記述されている。試験員は、各ゲル食品について、試食した際に舌上で感じた食感の度合いを直線上にマークする。マークされた位置を０～１００［ｍｍ］の整数値として測定し、換算値を各ゲル食品の官能評価値とした。本実施例では、試験員８名で上記の官能評価試験を実施し、試験員の平均値を官能評価データＳの官能評価値ｎｉとした。

（圧力分布計測）
本実施例では、押圧装置２を用いて試料を圧縮・破断し、そのときの圧力分布を計測した。押圧装置２の圧力分布センサ３として、空間分解能１［ｍｍ］、時間分解能１０［ｍｓ］、測定範囲４４×４４［ｍｍ］、圧力分解能０．２［ｋＰａ］の多点式の圧力センサ（ニッタ株式会社製）を用いた。プレート２２に速度２［ｍｍ／ｓ］の下降動作を与え、ゲル食品の上面と接触した時刻をｔ＝０［ｓ］とする。その後、圧力分布センサ３の上面との距離が１［ｍｍ］となったｔ＝４．５［ｓ］でプレート２２を静止させた。圧力分布センサ３およびロードセル２４はそれぞれ、ｔ＝０～４．５［ｓ］の期間の圧力分布および力応答を計測し、計測された圧力分布データおよび力応答データを制御ＰＣ４に出力する。

続いて、制御ＰＣ４の画像取得部４３によって、圧力分布データに基づき、圧力分布画像を取得した。圧力分布画像の各ピクセルの画素値は、測定された０～４５［ｋＰａ］の圧力値を量子化した０～２５５の整数値とした。上記実施形態のように、ｔ＝０～４．５［ｓ］の期間における時系列の１５フレームの圧力分布画像と、破断時および押圧終了時における２フレームの圧力分布画像とを取得した。圧力分布画像１フレームのサイズは、縦Ｈピクセル、横Ｗピクセルとすると、Ｈ×Ｗ＝４８［ｐｉｘｅｌ］となった。そして、１５フレームの圧力分布画像および２フレームの圧力分布画像を、それぞれ一方向に連結して２つの入力画像ＩＮ１、ＩＮ２を生成した。ここで、複数のフレーム画像を連結する際には、境界が識別できるように、画素値０、幅２ピクセルの外枠を画像フレームに付加した。

入力画像ＩＮ１、ＩＮ２の一例を図１２に示す。図１２（ａ）は、もちもち感が最小である試料の入力画像（上段（ｍｉｎ））およびもちもち感が最大である試料の入力画像（下段（ｍａｘ））を示している。図１２（ｂ）～（ｄ）も同様に、各食感評価項目について、官能評価値が最小である試料の入力画像を上段に示し、官能評価値が最大である試料の入力画像を下段に示している。また、図１２（ａ）～（ｄ）では、左側に２つの入力画像ＩＮ１が示され、右側に２つの入力画像ＩＮ２が示されている。なお、図１２（ａ）および（ｃ）では、下段の入力画像ＩＮ２が、押圧終了時における画像フレームを２つ連結したものとなっている。これは、当該試料において、力応答が落ち込むような破断が起こらなかったためである。

本実施例では、ゲル全２３種類について各種類６個ずつ、計１３８個のゲル食品の圧力分布画像を取得した。

（ＣＮＮ学習）
続いて、学習部４４が圧力分布画像に基づいてＣＮＮによる学習を行った。本実施例では、Leave-one-out交差検証法を行い、食感評価モデルＭの作成および評価値Ｎｉの計算手順は以下のとおりとした。

全１３８個のデータ（圧力分布画像－官能評価値のセット）から、１個を未知のデータとして取り除き、他の１３７個のデータの圧力分布画像に４種類の回転操作（０°、９０°、１８０°、２７０°）を行い、計５４８個のデータに増やした。この５４８個のデータを用いて食感評価モデルＭを作成し、取り除いた１個のデータに対して評価値Ｎｉを算出した。このようなモデル作成と評価を、全１３８個のデータそれぞれについて繰り返した。なお、以上の作業は食感評価項目ｉごとに行った。ＣＮＮの構築および学習はChainer 1.21.0を使用した。活性化関数は、出力層では恒等関数、それ以外の層ではＲｅＬＵ関数とし、最適化手法としてＡｄａｍを用いた。ミニバッチ学習をバッチサイズ８で行い、エポック数は２００とした。

（結果）
４種類の食感評価項目について、１５フレームからなる入力画像ＩＮ１を用いた学習による評価誤差の変化を図１３に示し、２フレームからなる入力画像ＩＮ２を用いた学習による評価誤差の変化を図１４に示す。図１３および図１４において、実線は検証用データ、点線は学習用データによる結果であり、学習を重ねることでいずれも誤差が減少していることがわかる。また、情報が多い１５フレームからなる入力画像ＩＮ１の方が、学習が速く進んでいることがわかる。このように、食感評価項目によって学習速度が異なることから、学習速度に応じて学習を停止することが望ましい。

４種類のテクスチャ評価項目について、本実施例の食感評価システムによって評価された食感の評価値Ｎｉと、官能評価データＳにおける官能評価値（真値）ｎｉとの関係を、図１５および図１６に示す。図１５における評価値Ｎｉは、１５フレームからなる入力画像ＩＮ１を用いて学習された食感評価モデルＭ（以下、食感評価モデルＭ１とする）による評価値である。図１６における評価値Ｎｉは、２フレームからなる入力画像ＩＮ２を用いて学習された食感評価モデルＭ（以下、食感評価モデルＭ２とする）による評価値である。また、図１７は、非特許文献４に記載の従来手法による食感の評価値Ｎｉと官能評価値（真値）ｎｉとの関係を示している。図１５～図１７から、食感評価モデルＭ１およびＭ２による評価値のほうが、官能評価値との誤差が従来手法による評価値よりも少ないことがわかる。

さらにこれらの結果について、食感の評価精度を決定係数Ｒ^２で評価した。食感評価モデルＭ１、Ｍ２および従来手法の各評価精度の決定係数を、食感評価項目ごとに比較した結果を図１８に示す。４つの食感評価項目における決定係数Ｒ^２の平均値は、従来手法による評価において０．８１であった。一方、食感評価モデルＭ１による評価および食感評価モデルＭ２による評価では、４つの食感評価項目における決定係数Ｒ^２の平均値はいずれも０．９７であった。４つの食感評価項目の全てにおいて、本実施例の手法は従来手法を上回る決定係数が得られており、その有効性が確認できた。

とりわけ、“つるつる感”および“ねっとり感”の各食感評価項目においては、従来手法の決定係数が著しく低いが、本実施例の手法では、これらの食感評価項目でも高い決定係数が得られている。これは、ＣＮＮによる画像特徴量学習効果が発揮されたためと想定され、多様な食感評価項目に対応可能という意味で汎用性が向上している。

また、本実施例の手法においては、食感評価モデルＭ１と食感評価モデルＭ２とで、決定係数に大きな差が見られない。このことから、食品破断時および圧縮終了時の圧力分布画像には、食感評価を行うための十分な情報が含まれていると言える。よって、食品破断時および圧縮終了時の圧力分布画像は、わずか２フレームであり、時間的変化に関する情報が含まれていないにも関わらず、高い精度で食感評価が可能なことが確認できた。

１食感評価システム（機械学習システム）
２押圧装置
２１プレート
２２プレート
２３リニアスライダ
２４ロードセル
３圧力分布センサ
４制御ＰＣ（食感評価装置）
４１記憶部
４２押圧動作制御部
４３画像取得部
４４学習部
４５評価部
５試料
Ｃ１畳み込み層
Ｃ２畳み込み層
Ｃ３畳み込み層
Ｆ１全結合層
Ｆ２全結合層
ＩＮ１入力画像
ＩＮ２入力画像
Ｍ食感評価モデル
Ｍ１食感評価モデル
Ｍ２食感評価モデル
Ｎｉ評価値
ｎｉ官能評価値
Ｐ１プーリング層
Ｐ２プーリング層
Ｐ３プーリング層
Ｓ官能評価データ

Claims

食品の食感を評価するための食感評価モデルを学習する機械学習システムであって、
試料を押圧する押圧装置と、
前記試料の押圧時に前記試料から受ける時系列的な圧力分布を示す複数フレームの圧力分布画像を取得し、前記複数フレームの圧力分布画像を連結して１つの入力画像を生成する画像取得部と、
前記入力画像に基づいて畳み込みニューラルネットワークにより前記食感評価モデルを学習する学習部と、
を備えることを特徴とする機械学習システム。
前記時系列的な圧力分布を示す複数フレームの圧力分布画像は、前記試料の破断時および押圧終了時における圧力分布画像であることを特徴とする請求項１に記載の機械学習システム。
請求項１又は２に記載の機械学習システムによって学習された食感評価モデル。
食品の食感を評価する食感評価装置であって、
請求項３に記載の食感評価モデルに従って、前記食品の食感を評価する評価部を備えることを特徴とする食感評価装置。
食品の食感を評価するための食感評価モデルを学習する機械学習方法であって、
試料を押圧する押圧ステップと、
前記試料の押圧時に前記試料から受ける時系列的な圧力分布を示す複数フレームの圧力分布画像を取得し、前記複数フレームの圧力分布画像を連結して１つの入力画像を生成する画像取得ステップと、
前記入力画像に基づいて畳み込みニューラルネットワークにより前記食感評価モデルを学習する学習ステップと、
を備えることを特徴とする機械学習方法。
前記時系列的な圧力分布を示す複数フレームの圧力分布画像は、前記試料の破断時および押圧終了時における圧力分布画像であることを特徴とする請求項５に記載の機械学習方法。
食品の食感を評価する食感評価方法であって、
請求項５又は６に記載の機械学習方法によって学習された食感評価モデルに従って、前記食品の食感を評価する評価ステップを備えることを特徴とする食感評価方法。