JP7271286B2 - Electronic equipment and its control method - Google Patents
Electronic equipment and its control method Download PDFInfo
- Publication number
- JP7271286B2 JP7271286B2 JP2019080191A JP2019080191A JP7271286B2 JP 7271286 B2 JP7271286 B2 JP 7271286B2 JP 2019080191 A JP2019080191 A JP 2019080191A JP 2019080191 A JP2019080191 A JP 2019080191A JP 7271286 B2 JP7271286 B2 JP 7271286B2
- Authority
- JP
- Japan
- Prior art keywords
- meat
- analysis
- parameters
- analyzed
- electronic device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
Description
本発明は、電子機器およびその制御方法に関し、特に複数のスペクトル成分を用いて対象を分析する技術に関する。 The present invention relates to an electronic device and its control method, and more particularly to technology for analyzing an object using a plurality of spectral components.
近年、光を用いて分析を行う技術が知られている。特許文献1には、食肉の切断面に、可視光を照射し、異なる波長に対応する複数の画像を用いて、骨部と脂肪部の領域を抽出することが開示されている。 In recent years, techniques for performing analysis using light have been known. Patent Literature 1 discloses irradiating a cut surface of meat with visible light and extracting bone and fat regions using a plurality of images corresponding to different wavelengths.
しかしながら、工場で処理する食品は1つではなく、食肉一つにおいても、牛、鳥、豚などの種類や生産地が異なれば、その性質には差が生じる。特許文献1の方法には、食肉の種類や産地が変わった場合に、どのような方法で識別を行うかについての開示がなく、分析対象とする食品の性質が変わった場合に、精度の高い分析が行えない可能性がある。 However, there is more than one food to be processed in a factory, and even a single piece of meat has different properties depending on the type of beef, chicken, pig, etc. and the production area. The method of Patent Document 1 does not disclose how to identify when the type or production area of meat changes, and when the properties of the food to be analyzed change, high accuracy Analysis may not be possible.
また、分析結果として要求されているレベルよりも必要以上に詳細な分析を行おうとすると、分析のための処理時間が無駄に増加してしまい、全体の処理効率の低下につながる可能性がある。 Further, if an attempt is made to perform a more detailed analysis than required as the analysis result, the processing time for the analysis will increase unnecessarily, possibly leading to a decrease in the overall processing efficiency.
本発明は、上記の課題に鑑み、複数のスペクトル成分を用いて対象を分析する際に、分析の精度と効率化の両立を図る装置または方法の提供を目的とする。 SUMMARY OF THE INVENTION In view of the above problems, it is an object of the present invention to provide an apparatus or method that achieves both accuracy and efficiency in analyzing an object using a plurality of spectral components.
上記課題を解決するため、本願の請求項1に記載の発明は、ポジティブな教師データを用いて機械学習を行うことで生成されたパラメータと、ネガティブな教師データを用いて機械学習を行うことで生成されたパラメータとを含む、複数のパラメータのうちのいずれかを選択する選択手段と、前記選択手段によって選択されたパラメータを用いて、分析対象の食肉から反射された光を受けて複数のスペクトル成分のスペクトル強度を示すスペクトルデータの分析を行い、前記食肉に含まれる肉の部位を識別する分析手段を有し、 前記選択手段は、識別する肉の部位に応じて、前記複数のパラメータのうちのいずれかを選択することを特徴とする電子機器とするものである。 In order to solve the above problems, the invention according to claim 1 of the present application performs machine learning using negative teacher data and parameters generated by performing machine learning using positive teacher data. selecting means for selecting one of a plurality of parameters; and generating a plurality of spectra in response to light reflected from the meat to be analyzed using the parameters selected by the selecting means. analysis means for analyzing spectral data indicating spectral intensities of ingredients to identify meat parts contained in the meat; The electronic device is characterized by selecting one of them.
本発明によれば、複数のスペクトル成分を用いて対象を分析する際に、分析の精度と効率化の両立を図ることが可能となる。 ADVANTAGE OF THE INVENTION According to this invention, when analyzing a target using several spectral components, it becomes possible to aim at both precision and efficiency improvement of analysis.
以下、本発明の実施形態について、図面を参照しながら具体的に説明する。なお、以下で説明する具体例は、本発明に係る最良の実施形態の一例ではあるが、本発明はこれらの具体例に限定されるものではない。 Hereinafter, embodiments of the present invention will be specifically described with reference to the drawings. Although the specific examples described below are examples of the best mode according to the present invention, the present invention is not limited to these specific examples.
まず、本実施形態に係る分析システムの構成について図1を用いて説明する。図1は、本実施形態に係る分析システムの構成を示すブロック図である。 First, the configuration of the analysis system according to this embodiment will be described with reference to FIG. FIG. 1 is a block diagram showing the configuration of an analysis system according to this embodiment.
本実施形態に係る分析システムは、電子機器100、計測装置110、および、ディスプレイ120を有する。電子機器100乃至ディスプレイ120は、部分的又は全体的にネットワーク130を介して接続されている。なお、図1に示すものは一例であって、それぞれの構成要素をさらに多くの装置に分散させて構成するようにしても良いし、1つの装置内にまとめて構成しても良い。さらに、電子機器100は、不図示の工場内の食肉加工を行う装置と通信可能に接続され、かつ、その装置を制御する。なお、ネットワーク130はLAN(Local Area Network)及びインターネットを含む。
The analysis system according to this embodiment has an
電子機器100は、CPU101、識別器102、データベース103、および、操作部104を含む。
CPU101は、不図示のメモリに格納されたプログラムに従い、電子機器100の全体動作を制御する演算回路である。CPU101は、計測装置200を制御し、かつ、識別器102に計測装置200から取得したスペクトルデータを解析させる。識別器102は、GPU(Graphics Processing Unit)やFPGA(field-programmable gate array)で構成される。本実施形態では、識別器102は、データベース103に記憶された、機械学習によって生成された識別パラメータが設定される。この識別器102は、計測装置200から得られたスペクトルデータを用いて、分析対象である肉の部位の判別処理を行う。データベース103は、予めクラウドやサーバ上で機械学習を実行することで生成された識別パラメータを格納している。この識別パラメータは分析対象の種類や、分析レベル、あるいは、教師データに応じて複数種類が用意されており、CPU101によって選択された識別パラメータが、識別器102の識別処理に用いられる。操作部104は、キーボードなどの文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサ、タッチパッドなどを含む、ユーザ操作を受け付けるための入力デバイスである。なお、タッチパネルは、ディスプレイ120に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。
The
計測装置110は、コントローラ111、計測部112、および、照明装置113を有する。コントローラ111はCPU101と通信するとともに、CPU101の指示に従って計測装置110の全体を制御する。
The
計測部112は、コントローラ111によって制御され、不図示の分析対象となる肉から各スペクトル成分の信号レベルを計測し、スペクトルデータを生成する。
The
スペクトルデータは、複数のスペクトル成分のそれぞれに対して、該スペクトル成分の信号レベル(スペクトル強度)を示すデータであれば、特に限定はされない。スペクトルデータとしては、例えば、分析対象となる食肉に対して刺激を与えた際に生じる応答について、その応答強度(スペクトル強度に対応する信号レベル)を計測パラメータ(スペクトル成分に対応する)に対して格納したデータを用いることができる。ここで言う「刺激」とは、電磁波や音、電磁場、温度、湿度を含む。 Spectral data is not particularly limited as long as it indicates the signal level (spectral intensity) of each of a plurality of spectral components. As spectral data, for example, for the response that occurs when the meat to be analyzed is stimulated, the response intensity (signal level corresponding to the spectral intensity) is measured against the measurement parameter (corresponding to the spectral component) Stored data can be used. The term "stimulus" as used herein includes electromagnetic waves, sound, electromagnetic fields, temperature and humidity.
スペクトルデータが、紫外又は可視又は赤外域の分光スペクトルデータ、ラマン分光スペクトルデータである場合には、スペクトル成分は波長や波数とすることができる。また、スペクトルデータが質量スペクトルデータである場合には、スペクトル成分は質量電荷比や質量数とすることができる。 When the spectral data is spectral data in the ultraviolet, visible, or infrared region, or Raman spectral data, the spectral components can be wavelengths or wavenumbers. Further, when the spectral data is mass spectral data, the spectral components can be mass-to-charge ratios and mass numbers.
スペクトルデータは、分析対象となる食肉に含まれる複数の構成成分に対応する群のいずれかに属する。スペクトル成分およびスペクトル強度は、スペクトルデータを取得した計測領域に含まれる、分析対象となる食肉の構成成分のそれぞれに応じて異なる。そのため、スペクトルデースペクトルデータを分析することで、スペクトルデータが属する群を識別し、それぞれのスペクトルデータを各構成成分に帰属することができる。 Spectral data belong to one of the groups corresponding to the constituent components contained in the meat to be analyzed. The spectral components and spectral intensities differ according to each component of the meat to be analyzed, which is included in the measurement area from which the spectral data was obtained. Therefore, by analyzing the spectral data, the group to which the spectral data belongs can be identified and each spectral data can be attributed to each component.
なお、本実施形態では、スペクトル成分を可視光および近赤外光の波長帯域における数十~数百種の波長成分とし、計測部112は、それぞれの波長に対応するフィルタを設けたイメージセンサ、あるいは、回折格子によって分光された光を受光するラインセンサで構成されている。
In this embodiment, the spectral components are tens to hundreds of wavelength components in the wavelength bands of visible light and near-infrared light, and the
照明装置113は、分析対象である食肉を照射するための光源を有する。本実施形態では、近赤外光および可視光をカバーするハロゲンランプが用いられており、食肉を照射することで、食肉によって反射される各スペクトル成分の強度を増やすことができる。
The
ディスプレイ120は、電子機器100の識別結果を表示する。ディスプレイ120としては、例えば液晶ディプレイや有機ELディスプレイなどを用いることができる。ディスプレイ120は、ネットワーク130を介して送信される画像データを表示することができる。
次に、図2を用いて、本実施形態における食肉の加工工程について説明する。肉卸業者または畜産農家を経て、加工対象となる食肉が加工工場へと運ばれる。食肉の加工工程においては、主に同じ部位が固まっているブロック肉と呼ばれるものと、ブロック肉の塊の中に入らなかった、様々な部位の肉片を塊とした端肉と呼ばれるものが含まれる。本実施形態においては、ハンバーグを作成するための食肉の加工工程を例にあげて説明をするが、本実施形態においてはこれに限らず、ソーセージやその他の食肉加工食品においても適用可能なことは言うまでもない。 Next, the process of processing meat in this embodiment will be described with reference to FIG. Meat to be processed is transported to a processing plant via a meat wholesaler or a livestock farmer. In the process of meat processing, there are two types of meat: block meat, which is mainly the same part of meat that is solidified, and end meat, which is a lump of meat pieces of various parts that did not enter the block of meat. . In this embodiment, the process of processing meat for making a hamburger steak will be described as an example, but the present embodiment is not limited to this, and can also be applied to sausages and other processed meat foods. Needless to say.
ブロック肉と端肉は、肉の品質保持のためにそれぞれ冷凍された状態で肉の加工工程へと進む。特に、様々な部位の肉片をまとめた端肉は大きな塊となっている。 Blocks of meat and cut pieces of meat are each frozen in order to maintain the quality of the meat before proceeding to the meat processing process. In particular, the end meat, which is a collection of pieces of meat from various parts, forms a large mass.
以下、図2(a)を用いて説明をする。まずは、ブロック肉や端肉に含まれる骨を検知したり、異物が含まれていないかを確認したりするために、X線を用いた分析を行う。ブロック肉や端肉がベルトコンベア上に並べられた状態で分析が行われ、骨や異物があった場合には後工程においてそれらを取り除く。X線の分析ではベルトコンベアのスピードが15メートル/分、あるいは、25メートル/分のスピードで分析を行うことができる。 Description will be made below with reference to FIG. First, an analysis using X-rays is performed to detect bones contained in block meat and edge meat, and to confirm whether foreign substances are contained. Analysis is performed while blocks of meat and edge meat are lined up on a belt conveyor, and if there are bones or foreign matter, they are removed in the post-process. X-ray analysis can be performed at a belt conveyor speed of 15 meters/minute or 25 meters/minute.
次に、ハイパースペクトル分析と本実施形態において呼ぶ、一度に照射可能な波長域の広いハイパースペクトルカメラを使用した分析を行う。なお、ここでは数十から数百の波長別の出力を用いることを前提しているためハイパースペクトルとしているが、数種の波長別の出力を用いることを前提としたマルチスペクトルであっても本発明を適用することは可能である。 Next, analysis using a hyperspectral camera with a wide wavelength range that can be irradiated at once, which is called hyperspectral analysis in this embodiment, is performed. In this case, it is assumed that tens to hundreds of outputs of different wavelengths are used, so it is referred to as a hyperspectrum. It is possible to apply the invention.
ハイパースペクトル分析においては、識別器102が、計測装置110が取得したスペクトルデータに対して、機械学習に基づいて得られた識別パラメータを用いて識別処理を行う。そして、軟骨、筋、腱がいずれの位置にあるか、あるいは、食肉に含まれているか否か、等の結果を出力する。
In the hyperspectral analysis, the
ハイパースペクトル分析においても、X線分析と同様に、ベルトコンベア上に肉をのせて分析を行うので、X線分析と同様のスピードでベルトコンベアを稼働できるようにすることが望ましい。識別器102よる識別結果の出力に時間を要する場合には、ハイパースペクトルカメラをX線の装置よりも多く設置したり、識別器の数を増やしたりすることが望ましい。X線分析、および、ハイパースペクトル分析の後、骨、異物、軟骨、筋、および、腱などの部位を除き、これらを除いた後のブロック肉や端肉をミンチし、ハンバーグを成型する工程へと進む。
In hyperspectral analysis, meat is placed on a conveyor belt and analyzed in the same manner as in X-ray analysis, so it is desirable to operate the belt conveyor at the same speed as in X-ray analysis. If it takes time for the
次に、図2(b)を用いて、X線分析及びハイパースペクトル分析の様子について説明する。本実施形態において、食肉201に対するX線分析とハイパースペクトル分析は、ベルトコンベア202上で行われるものとする。図2(b)に示すように、ベルトコンベア202上を端肉もしくはブロック肉である食肉201が流れ、まずX線分析装置203による分析が行われ、次に本実施形態の分析システムであるハイパースペクトル分析が行われる。ベルトコンベア202の移動方向は図2(b)に示す矢印の方向である。このように、各分析は肉の上から光波を当てて分析が行われる。ハイパースペクトルの分析ではX線の分析よりも、分析対象の表面付近にしか光が届かない。よって、ハイパースペクトルの分析結果は、X線分析結果に比べ、照射面から浅い範囲についての情報に制限される。そのため、ハイパースペクトル分析では、分析対象である食肉を2センチや5センチといった範囲にスライスしておくことが望ましい。あるいは、例えば食肉201を10センチや8センチといった厚みでスライスをしておいて、食肉201の両面を分析するようにしてもよい。分析した結果を受け、食肉201は、そのままの状態で通常ミンチの過程に進んでもよい食肉(Aパターンとする)、さらなる人間による判定が必要な食肉(Bパターンとする)、そのままでは通常のミンチの過程に進まないほうがよい食肉(Cパターン)に分類される。なお、ブロック肉の場合、ブロック肉とする段階でどの部位の肉かを把握できているため、ブロック肉はX線分析やハイパースペクトル分析の対象とせずに、端肉のみをX線分析およびハイパースペクトル分析の対象としてもよい。
Next, the state of X-ray analysis and hyperspectral analysis will be described with reference to FIG. 2(b). In this embodiment, the X-ray analysis and hyperspectral analysis of the
照明装置113は、計測部112を挟むように、指向性を持った光を照射する光源がペアで設けられ、それぞれの光源の照射方向が鉛直方向に対して、互いに逆方向に傾いている。互いに異なる角度で光を照射することで、一方の光源の照射によって影になる部位を、他方の光源で照射することができるとともに、両方の光源から照射された光を一箇所に集めることで、分析対象により多くの光を照射することができる。
The
次に、図3(a)、(b)を用いて本実施形態における端肉と呼ばれる肉塊について説明する。図3(a)にはブロック肉の一例を示し、図3(b)には端肉の一例を示す。図3(a)は、赤身と脂身とが含まれるブロック肉を示している。ブロック肉では、各部位の位置関係が分かっているので、例えば、図3(a)に示す赤身と脂身のブロック肉の中には軟骨が含まれていないことを分析せずに判定できる場合がある。図3(b)に示すように端肉においては、細かく切られた部位が元の部位の位置関係に関係なく、塊になっている。 Next, the lump of meat called edge meat in this embodiment will be described with reference to FIGS. 3(a) and (b). An example of block meat is shown in Fig.3 (a), and an example of edge meat is shown in FIG.3(b). FIG. 3(a) shows a block of meat containing lean meat and fat. In a block of meat, the positional relationship of each part is known, so for example, it may be possible to determine that cartilage is not contained in the lean meat and fatty meat blocks shown in FIG. 3(a) without analysis. be. As shown in FIG. 3(b), in the edge meat, the finely cut parts form lumps regardless of the positional relationship of the original parts.
図4を用いて、本実施形態における食肉の分析処理について説明する。図4は食肉の分析処理のフローチャートを示しており、この処理は、図2におけるX線分析とハイパースペクトル分析に該当する。 The meat analysis process in this embodiment will be described with reference to FIG. FIG. 4 shows a flowchart of meat analysis processing, which corresponds to the X-ray analysis and hyperspectral analysis in FIG.
この処理は、不図示のメモリに格納されたプログラムに従ってCPU101が処理することで実現する。なお、図4では、ステップを省略してSと示す。
This processing is realized by the
S401では、CPU101は設定されているメニューの確認を行う。メニューとは、食肉の種類、産地、状態(ブロック肉か端肉か)、分析後に行われる工程の種類やレベル、対応するメニュー(ハンバーグ用、細切れ用など)などである。このようなメニューの設定は、ユーザ入力によるものであっても、予め設定されたスケジュールに沿うものであっても構わない。
In S401, the
S402では、CPU101は設定されたメニューに従って、初期設定を行う。まず、CPU101は、メニューに従い、データベース103に格納された、機械学習によって得られた識別パラメータのうちのいずれかを選択し、識別器102に設定する。一口に食肉といっても、牛肉、豚肉、および、鶏肉では識別パラメータは異なっており、さらに、同じ牛肉であっても種類や産地によっても識別パラメータを使い分ける必要がある。
In S402, the
また、同一種類、同一産地の食肉であっても、分析後の食肉に適用する工程の違いによって識別パラメータを使い分けるようにしてもよい。例えば、分析後の食肉を細かくミンチする場合と、粗くミンチする場合とで、食肉に含まれる腱、筋、あるいは、軟骨の許容範囲には差が生じる。あるいは、予め部位がわかっているブロック肉と、部位が混在している端肉とで、要求される分析の精度が異なるため、これに応じて識別パラメータを使い分けてもよい。 Moreover, even for meat of the same type and origin, different identification parameters may be used according to the difference in the process applied to the meat after analysis. For example, the allowable range of tendons, muscles, or cartilage contained in the meat differs depending on whether the meat after analysis is finely minced or coarsely minced. Alternatively, since the accuracy of analysis required differs between a block of meat of which parts are known in advance and a cut meat of which parts are mixed, different identification parameters may be used accordingly.
また、食肉の種類、産地、あるいは、状態によって、注目すべきスペクトル成分を変更してもよい。つまり、計測部112で得られるスペクトルデータのうち、設定されたメニューに応じて注目すべきスペクトル成分を特定したり、識別においてあまり重要視されない不要なスペクトル成分を用いないようにしたりしてもよい。あるいは、腱なのか、筋なのか、あるいは、軟骨なのか、識別対象の部位に応じて判断材料として重みを置くべきスペクトル成分を変更するようにしてもよい。
Also, the spectral components to be noted may be changed depending on the type, place of production, or condition of the meat. In other words, among the spectral data obtained by the
また、CPU101はベルトコンベア202の駆動速度、あるいは、照明装置113から分析対象である食肉201までの距離に応じて、照射装置103の光量を調整するようにしてもよい。照射装置103から照射される光は熱を持っているため、光量が多すぎると食肉が痛む可能性がある。反対に、光量が少なすぎると計測部112に到達する各スペクトル成分が小さくなってしまい、精度の高い分析を行うことが難しくなる。そこで、ベルトコンベア202の駆動速度が遅いほど、食肉201が照明装置113によって照射される時間が長くなり、熱の影響を受けやすくなるため、照明装置113の光量を小さくするようにする。あるいは、照射装置113の光源と食肉201の距離が近いほど、食肉201が光源による熱の影響を受けやすくなるため、照明装置113の光量を小さくするようにする。このように、CPU101は、事前に計測あるいは実験したデータに従って、ベルトコンベア202の駆動速度、あるいは、照明装置113から分析対象である食肉201までの距離に基づいて、照明装置113の光量を調整する。
Further, the
なお、照明装置113から分析対象である食肉201までの距離は、予めユーザに測定させて入力させても良いし、照明装置113の2つの光源間の距離と、光源の鉛直方向に対する傾きから推定してもよい。例えば、照明装置113の2つの光源の傾きを変更するためのモータを装着し、計測部112のイメージセンサにて得られたスペクトルデータから画像データを生成する。この画像データにおいて、この2つの光源から照射された光の位置が一致するように、光源の傾きを自動的に調整するようにしてもよい。
The distance from the
また、分析対象の種類に応じて、照明装置113の光量を調整してもよい。冷凍の度合いや、分析対象となる食材の種類に応じて、光源から照射された光による熱の影響の大きさは異なる。そのため、分析対象である食材の熱耐性に応じて、照明装置113の光量を調整するようにしてもよい。
Also, the amount of light of the
また、比較的柔らかい筋よりも、硬い筋のほうが、赤身や脂肪などと識別しやすい。そのため、柔らかい筋を識別する必要がなければ、柔らかい筋を識別する必要がある場合に比べて、各スペクトル成分の出力が小さくても識別に成功する可能性が高い。このように、要求される分析の精度を抑えられる場合には、照明装置113の光量を小さくするようにしてもよい。
Also, hard muscle is easier to distinguish from lean meat and fat than relatively soft muscle. Therefore, if soft muscles do not need to be identified, they are more likely to be successfully identified even if the power of each spectral component is lower than if soft muscles need to be identified. In this way, when the required accuracy of analysis can be suppressed, the light intensity of the
さらに、ベルトコンベア202に乗せる食材をスライスためのスライサーを設け、食材の種類に応じて、このスライサーがスライスする厚みを変更するようにしてもよい。
Further, a slicer may be provided for slicing the food material to be placed on the
S403では、CPU101はキャリブレーション処理を行う。工場内の明るさやライト、あるいは、他のラインで用いられた照明の影響によって、計測部112から得られるスペクトルデータに、ばらつきが生じる可能性がある。そこで、一定の色であるベルトコンベア202を撮影したことによって得られるスペクトルデータに基づいて、各スペクトル成分に適用するゲインを調整するホワイトバランス処理を行い、スペクトルデータについてのキャリブレーション処理を行う。そして、このキャリブレーション処理が完了すると、ユーザに、X線分析とハイパースペクトル分析の準備が完了したことを通知する。
In S403, the
S404では、CPU101は、ベルトコンベア202によって運搬される食肉201に対して、X線分析装置203によるX線分析を行わせ、食肉に含まれる金属や骨などの異物を検出する。このX線分析は周知の方法を用いればよい。
In S404, the
S405では、CPU101は、S404のX線分析の結果、異物が検出された場合にはS406に進み、検出されていなければS407に進む。
In S405, the
S406では、CPU101は、分析データDXnを不図示のメモリに記憶する。nは各端肉もしくはブロック肉に与えられる、識別のための数字である。DXnは、骨や異物の有無の情報だけを示してもよいし、どこに骨や異物があるかを示す座標情報を含むものでもよいし、骨や異物が含まれているかを示す画像データでもよい。骨が含まれていた場合には、ブロック肉の場合にはDXnに骨の有無の情報、端肉の場合には骨の位置までを含む情報を含めるようにしてもよい。ブロック肉の場合には、骨がある場合には、その塊のほとんどが骨である可能性が高いが、端肉の場合には、その塊の一部が骨である可能性が高い。よって、ブロック肉の場合には、骨の有無を示すことでその塊自体が加工に使えるのかを素早く把握することができる。一方で、端肉の場合には、骨の位置を示すことで後の処理で骨を取り除く処理を行えるようにする。さらにDXnには骨の含まれる割合や面積を示すようにしてもよい。また、X線による分析結果は、ハイパースペクトルカメラによる分析の前にディスプレイ120に表示するようにしてもよい。さらに、骨が閾値以上の割合(1つの肉片のなかで)または大きさであると判定したブロック肉または端肉は、ハイパースペクトルの分析をせずに廃棄または他の加工に使用してもよい。
In S406, the
S407では、CPU101は、X線分析を終えた食肉201に対して、ハイパースペクトル分析を行う。ベルトコンベア202上の食肉201が、照明装置113による光の照射を受け、食肉201からの反射光を受光した計測部112が数十~数百種の波長成分のそれぞれに対応する信号レベルを生成し、スペクトルデータとして出力する。このスペクトルデータは、スペクトル成分ごとに、イメージセンサに対応する二次元のそれぞれの座標における信号レベルを有するものとする。すなわち、イメージセンサに対応する二次元の座標を(x、y)、スペクトル成分を(u)、信号レベルを(v)とすると、スペクトルデータは(x、y、u、v)で表すことができる。
In S407, the
予めクラウドやサーバを用いて、部位を判別済みの食肉に対するスペクトルデータの群を教師データとして、深層畳み込みニューラルネットワークなどのディープラーニングによる機械学習を行い、識別器102のための学習モデルを生成する。電子機器100のデータベース103に、この学習モデルに対応する識別パラメータを格納しておくことで、識別器102は計測装置100から得られたスペクトルデータを解析することで、食肉のどの部分が、どの部位に該当するのかを識別することが可能となる。
Using a cloud or a server in advance, machine learning by deep learning such as a deep convolutional neural network is performed using a group of spectral data for meat whose parts have been discriminated as teacher data, and a learning model for the
機械学習に用いる教師データとしては、ポジティブデータとネガティブデータがある。軟骨、筋、および、腱を除去するため、これら軟骨、筋、および、腱に相当する部位を判別済みの食肉に対するスペクトルデータを、ポジティブデータとする。反対に、軟骨、筋、および、腱を除去するため、これら以外の赤身や脂肪に相当する部位を判別済みの食肉に対するスペクトルデータを、ネガティブデータとする。ポジティブデータを用いて機械学習を行うことで、識別器102は軟骨、筋、および、腱の部位の識別ができるようになる。ネガティブデータを用いて機械学習を行うことで、識別器102は、軟骨、筋、および、腱が含まれていない可能性が高い部位を識別できるようになる。
Teacher data used in machine learning includes positive data and negative data. Since the cartilage, muscle and tendon are removed, the spectral data for the meat in which the portions corresponding to these cartilage, muscle and tendon have already been determined are taken as positive data. On the contrary, since the cartilage, muscle, and tendon are removed, the spectral data for meat from which portions corresponding to lean meat and fat other than these have already been determined are treated as negative data. By performing machine learning using positive data, the
これまで除去対象としていた軟骨、筋、および、腱について、わざわざ画像データやスペクトルデータが蓄積されている可能性は高くない。そのため、これらを識別するための十分な量のポジティブデータを用意するために時間が掛かってしまう可能性がある。そこで、まずは比較的用意しやすい赤身や脂肪に相当するスペクトルデータを用いてネガティブデータによる機械学習を行った学習モデルを使用する。そして、軟骨、筋、および、腱に相当するスペクトルデータが十分に集まってから、ポジティブデータに基づく学習モデルに切り替える、あるいは、ネガティブデータとポジティブデータを併用した学習モデルに切り替えるようにする。なお、軟骨、筋、および、腱を区別する必要がないのであれば、ネガティブデータに基づく学習モデルのみを用いるようにしてもよい。 It is not highly likely that image data and spectral data are accumulated for cartilage, muscle, and tendon that have been targeted for removal so far. Therefore, it may take time to prepare a sufficient amount of positive data to identify them. Therefore, we first use a learning model that performs machine learning using negative data using spectral data corresponding to lean meat and fat, which are relatively easy to prepare. Then, after sufficient spectral data corresponding to cartilage, muscle, and tendon have been collected, the learning model is switched to a learning model based on positive data, or to a learning model using both negative data and positive data. If there is no need to distinguish between cartilage, muscle, and tendon, only learning models based on negative data may be used.
なお、識別器102は、スペクトルデータの座標ごとに部位の識別を行うが、その識別結果が誤りである可能性もある。そこで、CPU101は、同一の部位と判別された隣接する座標をグループ化し、グループ化された面積のサイズが閾値未満である場合には、識別結果が誤りである可能性が高いと判断するようにしてもよい。あるいは、部位ごとに、二次元座標上における分散の程度を判別し、判別結果が密であると判定されたエリアについてのみ、識別結果を採用するようにしてもよい。
Note that the
さらに、図3を用いて説明したように、ブロック肉は各部位の位置関係がわかっているので、スペクトルデータを座標単位ではなく、複数座標を含むエリア単位で機械学習させてもよい。こうすることで、識別器102は、各部位の相対的な位置関係も考慮して部位の識別ができるようになる。これに対し、端肉は元の部位の位置関係に関係なく塊になっているため、座標単位、あるいは、エリアとしても極狭い単位で機械学習させることが望ましい。
Furthermore, as described with reference to FIG. 3, since the positional relationship of each part of the block of meat is known, the spectral data may be machine-learned not in units of coordinates but in units of areas containing a plurality of coordinates. By doing so, the
S408では、CPU101は、識別器102からハイパースペクトル分析データを取得し、DMnとする。nは各端肉もしくはブロック肉に与えられる、識別のための数字である。DMnには、各部位の大きさや割合を示すデータ、各部位の位置を示すデータや、軟骨、筋、腱が所定以上の大きさ含まれているかを示すデータが含まれる。
In S408, the
軟骨、筋、腱が所定以上、例えば端肉の面積に対して20%以上含まれている場合は、その肉はNGとしてデータに記録され、上述したCパターンの肉と判定される。反対に、軟骨、筋、腱が見当たらないと判定された場合は、上述したAパターンの肉と判定される。DMnには、各部位のエリアを示す情報が含まれる。例えば今回の分析において、作業者が知りたいのは、軟骨、筋、腱の情報なので、軟骨、筋、腱に関してはどの位置にどのくらいあるのかといった詳細情報を取得し、赤身や脂肪に関しては大まかな割合だけの情報取得をしてもよい。このように、必要な情報に関しては詳細に、その他の情報に関しては大まかな情報のみを取得するようにすることで、識別器102の処理負荷が減り、分析の時間を短くすることができる。そして、CPU101は、X線分析の結果とハイパースペクトル分析の結果を、ディスプレイ120に表示させる。
If the cartilage, muscle, or tendon is included in a predetermined amount or more, for example, 20% or more of the area of the edge meat, the meat is recorded as NG in the data, and is determined as the C pattern meat described above. Conversely, if it is determined that cartilage, muscle, and tendon are not found, the meat is determined to be meat of pattern A described above. DMn includes information indicating the area of each part. For example, in this analysis, the operator wants to know information about cartilage, muscles, and tendons. It is also possible to obtain information only on the ratio. In this way, by obtaining detailed information about necessary information and only general information about other information, the processing load on the
S409では、CPU101は、食肉201が、軟骨、筋、腱が見当たらない明らかに問題のない肉(Aパターンの肉)であればS411に進み、そうでない場合は、S410へ進む。
In S409, the
S410では、CPU101は、食肉201が、軟骨、筋、腱が所定以上含まれており、このままでは明らかに問題のある肉(Cパターンの肉)であればS412に進み、そうでない場合は、S413へ進む。このとき、Cパターンなのか、そうでないのか(Bパターンなのか)分からない場合には、S413に進む。例えば、軟骨や筋が20%以上含まれていたらCパターンと判定するような場合に、軟骨や筋が18%含まれており、さらに軟骨と赤身が混じったところが10%あるような場合には、S413に進む。このように、明らかにCパターンと判定する閾値を超えていないような場合には、Cパターンとは異なるS413に進むことで、ハンバーグ作成に使用されない肉の量を減らすことができる。
In S410, the
S411では、CPU101は、肉nをハンバーグにするためのミンチ処理である処理工程Aへ進める。ここでは処理工程Aとしてハンバーグの作成処理を例に挙げたが、分析した食肉を、予めメニューで設定した料理あるいは調理のために処理する工程であればよい。
In S411, the
S412では、CPU101は、肉nをハンバーグ作成処理以外の処理工程Cへと進めるようにする。例えば、S410において明らかにNGであると判定された場合には、端肉を通常よりもさらに細かくミンチしたり、他の触感が求められるような加工品に使用したり、出汁などのために使用するようにしてもよい。
In S412, the
S413では、CPU101は、肉nを人間によって再分析してもらい、人間による再分析結果に基づいて、AパターンがCパターンかを判定しなおす。
In S413, the
S414では、S413で得られた人間による判定結果と、その肉に対するスペクトルデータを、識別器102の学習モデルを強化するための教師データに追加する。S413に進んだ食肉については、機械学習が十分ではないと考えられる。そこで、S413の判定結果とそのスペクトルデータをクラウドまたはサーバに送信し、機械学習を強化するための教師データとする。
In S414, the human determination result obtained in S413 and the spectral data for the meat are added to teacher data for strengthening the learning model of the
S404乃至S414の処理は、ベルトコンベア202を食肉201が流れる間は繰り返し行われ、ハイパースペクトル分析を終了する指示が作業者からあった場合に、この図4のフローチャートを終了する。
The processing of S404 to S414 is repeated while the
以上、説明したように、本発明は、分析対象となる食品の種類や産地、あるいは、調理方法が変わった場合に、それぞれに応じて分析に用いるパラメータを変更する。こうすることで、複数のスペクトル成分を用いて対象を分析する際に、分析の精度と効率化の両立を図ることが可能となる。 As described above, according to the present invention, the parameters used for analysis are changed according to the type and production area of the food to be analyzed, or the cooking method. By doing so, it is possible to achieve both accuracy and efficiency of analysis when analyzing an object using a plurality of spectral components.
(他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記録媒体は本発明を構成することになる。
(Other embodiments)
The present invention is also realized by executing the following processing. That is, the software (program) that realizes the functions of the above-described embodiments is supplied to a system or device via a network or various recording media, and the computer (or CPU, MPU, etc.) of the system or device reads the program code. This is the process to be executed. In this case, the program and the recording medium storing the program constitute the present invention.
Claims (10)
前記選択手段によって選択されたパラメータを用いて、分析対象の食肉から反射された光を受けて複数のスペクトル成分のスペクトル強度を示すスペクトルデータの分析を行い、前記食肉に含まれる肉の部位を識別する分析手段を有し、
前記選択手段は、識別する肉の部位に応じて、前記複数のパラメータのうちのいずれかを選択することを特徴とする電子機器。 Select one of a plurality of parameters, including parameters generated by performing machine learning using positive teacher data and parameters generated by performing machine learning using negative teacher data a selection means to
Using the parameters selected by the selection means, the light reflected from the meat to be analyzed is received and the spectral data indicating the spectral intensity of a plurality of spectral components is analyzed to determine the meat part contained in the meat. having analytical means to identify
The electronic device, wherein the selection means selects one of the plurality of parameters according to the part of meat to be identified .
前記照明手段によって照射された前記分析対象の食肉から反射された光を受けて前記スペクトルデータを生成する生成手段と、
請求項1乃至8のいずれか1項に記載の電子機器を有することを特徴とする分析システム。 illumination means for illuminating the meat to be analyzed;
generating means for receiving light reflected from the meat to be analyzed irradiated by the lighting means and generating the spectrum data;
An analysis system comprising the electronic device according to any one of claims 1 to 8 .
選択されたパラメータを用いて、分析対象の食肉から反射された光を受けて複数のスペクトル成分のスペクトル強度を示すスペクトルデータの分析を行い、前記食肉に含まれる肉の部位を識別する分析工程を有し、
前記選択工程において、識別する肉の部位に応じて、前記複数のパラメータのうちのいずれかを選択することを特徴とする電子機器の制御方法。 Select one of a plurality of parameters, including parameters generated by performing machine learning using positive teacher data and parameters generated by performing machine learning using negative teacher data a selection step to
An analysis step of analyzing spectral data indicating spectral intensities of a plurality of spectral components upon receiving light reflected from the meat to be analyzed using the selected parameters to identify portions of meat contained in the meat. has
A control method for an electronic device, wherein in the selecting step, one of the plurality of parameters is selected according to the part of meat to be identified .
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019080191A JP7271286B2 (en) | 2019-04-19 | 2019-04-19 | Electronic equipment and its control method |
US16/844,833 US11436716B2 (en) | 2019-04-19 | 2020-04-09 | Electronic apparatus, analysis system and control method of electronic apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019080191A JP7271286B2 (en) | 2019-04-19 | 2019-04-19 | Electronic equipment and its control method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020176951A JP2020176951A (en) | 2020-10-29 |
JP7271286B2 true JP7271286B2 (en) | 2023-05-11 |
Family
ID=72936420
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019080191A Active JP7271286B2 (en) | 2019-04-19 | 2019-04-19 | Electronic equipment and its control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7271286B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023058319A (en) * | 2021-10-13 | 2023-04-25 | 株式会社前川製作所 | Edible meat work point calculation system, edible meat processing system, and edible meat work point calculation method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004106899A1 (en) | 2003-05-29 | 2004-12-09 | Nicholas Jackman | Food monitoring system |
WO2005111583A1 (en) | 2004-05-17 | 2005-11-24 | The New Industry Research Organization | Method for nondestructively examining component of vegetable or the like by near-infrared spectroscopy and its device |
WO2008102143A1 (en) | 2007-02-22 | 2008-08-28 | Enfis Limited | Quality control of meat products and the like |
JP2018049004A (en) | 2016-08-25 | 2018-03-29 | ヴァイアヴィ・ソリューションズ・インコーポレイテッドViavi Solutions Inc. | Spectroscopic classification involved in observance of dietary restriction |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3142976B2 (en) * | 1993-02-23 | 2001-03-07 | 雪印乳業株式会社 | Inspection method and apparatus for meat tissue |
US5428657A (en) * | 1994-03-22 | 1995-06-27 | Georgia Tech Research Corporation | X-ray monitoring system |
ATE246805T1 (en) * | 1998-02-20 | 2003-08-15 | Univ Colorado State Res Found | MEAT COLOR IMAGING SYSTEM FOR PREDICTING TASTE AND YIELD |
-
2019
- 2019-04-19 JP JP2019080191A patent/JP7271286B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004106899A1 (en) | 2003-05-29 | 2004-12-09 | Nicholas Jackman | Food monitoring system |
WO2005111583A1 (en) | 2004-05-17 | 2005-11-24 | The New Industry Research Organization | Method for nondestructively examining component of vegetable or the like by near-infrared spectroscopy and its device |
WO2008102143A1 (en) | 2007-02-22 | 2008-08-28 | Enfis Limited | Quality control of meat products and the like |
JP2018049004A (en) | 2016-08-25 | 2018-03-29 | ヴァイアヴィ・ソリューションズ・インコーポレイテッドViavi Solutions Inc. | Spectroscopic classification involved in observance of dietary restriction |
Also Published As
Publication number | Publication date |
---|---|
JP2020176951A (en) | 2020-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kamruzzaman et al. | Non-destructive prediction and visualization of chemical composition in lamb meat using NIR hyperspectral imaging and multivariate regression | |
ElMasry et al. | Chemical-free assessment and mapping of major constituents in beef using hyperspectral imaging | |
Kamruzzaman et al. | Application of NIR hyperspectral imaging for discrimination of lamb muscles | |
ElMasry et al. | Meat quality evaluation by hyperspectral imaging technique: an overview | |
Einarsdóttir et al. | Novelty detection of foreign objects in food using multi-modal X-ray imaging | |
Trinderup et al. | Comparison of a multispectral vision system and a colorimeter for the assessment of meat color | |
Panagou et al. | Potential of multispectral imaging technology for rapid and non-destructive determination of the microbiological quality of beef filets during aerobic storage | |
ElMasry et al. | Non-destructive determination of water-holding capacity in fresh beef by using NIR hyperspectral imaging | |
Xiong et al. | Combination of spectra and texture data of hyperspectral imaging for differentiating between free-range and broiler chicken meats | |
Gou et al. | Feasibility of NIR interactance hyperspectral imaging for on-line measurement of crude composition in vacuum packed dry-cured ham slices | |
Cluff et al. | Optical scattering with hyperspectral imaging to classify longissimus dorsi muscle based on beef tenderness using multivariate modeling | |
Garrido-Novell et al. | Quantification and spatial characterization of moisture and NaCl content of Iberian dry-cured ham slices using NIR hyperspectral imaging | |
Feng et al. | Real‐time prediction of pre‐cooked Japanese sausage color with different storage days using hyperspectral imaging | |
ElMasry et al. | Meat quality assessment using a hyperspectral imaging system | |
Rady et al. | Feasibility of utilizing color imaging and machine learning for adulteration detection in minced meat | |
Balage et al. | Shear force analysis by core location in Longissimus steaks from Nellore cattle using hyperspectral images–A feasibility study | |
Kucha et al. | Hyperspectral imaging and chemometrics as a non-invasive tool to discriminate and analyze iodine value of pork fat | |
JP7271286B2 (en) | Electronic equipment and its control method | |
Díaz et al. | Hyperspectral system for the detection of foreign bodies in meat products | |
Yang et al. | Prediction of quality traits and grades of intact chicken breast fillets by hyperspectral imaging | |
Allen | Recent developments in the objective measurement of carcass and meat quality for industrial application | |
US20220323997A1 (en) | Devices, systems and methods for sorting and labelling food products | |
Adamczak et al. | The use of 3D scanning to determine the weight of the chicken breast | |
Sun et al. | Predicting pork color scores using computer vision and support vector machine technology | |
JP2020174601A (en) | Electronic apparatus and control method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220331 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230328 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230426 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7271286 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |