JP7379478B2 - ミルクを分類するためのミルク分析器 - Google Patents
ミルクを分類するためのミルク分析器 Download PDFInfo
- Publication number
- JP7379478B2 JP7379478B2 JP2021519844A JP2021519844A JP7379478B2 JP 7379478 B2 JP7379478 B2 JP 7379478B2 JP 2021519844 A JP2021519844 A JP 2021519844A JP 2021519844 A JP2021519844 A JP 2021519844A JP 7379478 B2 JP7379478 B2 JP 7379478B2
- Authority
- JP
- Japan
- Prior art keywords
- milk
- classifier
- dlnn
- sample
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000008267 milk Substances 0.000 title claims description 212
- 210000004080 milk Anatomy 0.000 title claims description 212
- 235000013336 milk Nutrition 0.000 title claims description 212
- 238000013528 artificial neural network Methods 0.000 claims description 25
- 238000013135 deep learning Methods 0.000 claims description 25
- 238000005528 milk analysis Methods 0.000 claims description 21
- 238000003384 imaging method Methods 0.000 claims description 19
- 238000004458 analytical method Methods 0.000 claims description 18
- 230000004044 response Effects 0.000 claims description 11
- 238000012549 training Methods 0.000 description 38
- 238000012545 processing Methods 0.000 description 28
- 238000000034 method Methods 0.000 description 24
- 238000004891 communication Methods 0.000 description 20
- 239000013598 vector Substances 0.000 description 17
- 238000005286 illumination Methods 0.000 description 15
- 238000003860 storage Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 11
- 238000013527 convolutional neural network Methods 0.000 description 9
- 230000000644 propagated effect Effects 0.000 description 9
- 230000001419 dependent effect Effects 0.000 description 8
- 238000011176 pooling Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000004140 cleaning Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000013526 transfer learning Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000007921 spray Substances 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 230000003750 conditioning effect Effects 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 230000002547 anomalous effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000017854 proteolysis Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000014616 translation Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 241000283690 Bos taurus Species 0.000 description 1
- 241000283707 Capra Species 0.000 description 1
- 102000004190 Enzymes Human genes 0.000 description 1
- 108090000790 Enzymes Proteins 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 102000035195 Peptidases Human genes 0.000 description 1
- 108091005804 Peptidases Proteins 0.000 description 1
- 239000004365 Protease Substances 0.000 description 1
- 101100087347 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) RFM1 gene Proteins 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 238000005054 agglomeration Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000000889 atomisation Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000003085 diluting agent Substances 0.000 description 1
- 230000002255 enzymatic effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000796 flavoring agent Substances 0.000 description 1
- 238000000684 flow cytometry Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000012844 infrared spectroscopy analysis Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000003755 preservative agent Substances 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30128—Food products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Biodiversity & Conservation Biology (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Processing (AREA)
Description
本発明は、ミルクを分類するための方法およびシステム、ならびにそれを採用するミルク分析器に関する。
腐ったミルクとは、意図せずに、酸っぱくなったか、凝固したか、異物を含有するか、または別様に腐敗したミルクである。腐ったミルクを引き起こし得る様々な理由が存在する。それらとしては、搾乳前後の種(牛、山羊、羊など)の不適切なクリーニング、病気の種、輸送状態の管理の欠如または異常が挙げられる。タンパク質は、酵素作用または光への曝露によって分解され得る。タンパク質分解の主な原因は、プロテアーゼと呼ばれる酵素によるものである。望ましくない分解(タンパク質分解)は、異臭および低品質のミルクをもたらす。腐ったミルクは、小さなクラスタまたは塊の形で現れることが多く、次いで、これらは、視覚的な分類のために使用され得る。加えて、保管中または輸送中のいずれかの極端な温度サイクル、汚れた容器、誤った量の防腐剤、希釈剤、または他の添加物が、Central Milk Testing(CMT)もしくは他の研究所または分析器に送られる前に、ミルクに導入されると、分解が加速する。
しかしながら、引き起こされた腐ったミルクサンプルは、多かれ少なかれ自動化された分析機器での分析のために、必然的にCMTおよび他の研究所または分析場所に到着する。これらの腐ったミルクサンプルは通常、分析前に視覚的に精査されないため、通常のサンプルワークフローの一部になり、良質なミルクサンプルと腐ったミルクサンプルとが混在して構成される。しかしながら、これらの腐ったミルクサンプルを分析機器に通すと、機器に重大な閉塞問題が引き起こされ得る。場合によっては、機器は、数日間使用されない可能性があり、研究所の運用に深刻な影響を与え得る。腐ったミルクサンプルの性質および/または「不良」の程度に応じて、腐ったミルクサンプルは、ピペットなどの分析機器の採取部分のブロックなどの単純な問題を引き起こし得るか、または機器内の深いより複雑な部分をブロックし得る。
時には、ブロックされたピペットは、自動クリーニングルーチンで洗浄され得るが、常にそうであるとは限らない。自動クリーニングルーチンで適切な洗浄ができない場合、オペレータは、機械的ツールを使用して採取システムを洗浄する必要がある。これはまた、閉塞が、分析機器内のより深いところで発生し、任意のそのような閉塞に対処することが、困難であり、時間がかかる場合にも当てはまる。そのような閉塞は、影響を受けた分析機器のスループットを低下させ、CMT研究所の運用コストを増加させる重大なダウンタイムにつながり得る。さらに、閉塞後の通常のワークフローは、様々な測定チェックを実行して、クリーニングが完全であることを確認することである。これらのチェック測定は、標準およびチェックサンプルなどの余分なサンプルを使用して、サービスに戻す前に、クリーニングの有効性を検証するため、研究所の機器の運用コストを増加させる。
しばしば、腐ったミルクは、明確な視覚的外観だけでなく、明確な嗅覚特徴も有する。しかしながら、これは、常に当てはまるわけではなく、腐ったミルク、または視覚的に現れる他の特徴、特に望ましくない特徴を有するミルクの検出は、困難であることが判明する場合がある。例えば、視覚障害者、または視覚症状が微妙であり、ミルクが輸送タンカに積み込まれる前に農家が特定のミルク特徴の知識から利益を受け得る農場、または消費前に腐ったミルクを特定することが有用であり得る消費者など、おそらく、十分にトレーニングされた個人にのみ識別可能な場合である。
本発明によると、分析モダリティを有するミルク分析ユニットを含むミルク分析器であって、ミルク分析ユニットは、デジタル画像データの生成のためにミルクを画像化するように構成された画像化デバイスを有するミルク分類システムと、プログラムコードを実行して、画像化されたミルク内で視覚的に明らかであるクラス特徴に従って、画像化されたミルクを分類することができるクラス内のミルクからのラベル付けされたミルク画像を使用してトレーニングされた深層学習ニューラルネットワーク分類器を実装するように適合され、かつ画像化されたミルクの分類を生成するように動作可能であるプロセッサと、生成された分類に応じて制御信号を出力して、分析ユニットへのミルクの供給を制御するように構成されたコントローラと、をさらに含む、ミルク分析器を提供する。
いくつかの実施形態では、サンプル採取は、既定のクラスを示す出力デバイスからの信号出力に依存するサンプルの配列の他のサンプルから、あるサンプルを分離するように適合されたソータを含み、既定のクラスは、サンプル採取の動作が依存している既定のクラスと同じか、または異なっていてもよい。
ミルクを分類するコンピュータ実装方法は、
-プロセッサに、ミルク画像のデジタル表現を含むトレーニングデータセットを使用してトレーニングされた第1の深層学習ニューラルネットワーク分類器を実装するステップであって、プロセッサは、1つ以上の相互運用可能な処理ユニットを含み得、各画像は、それが属するミルククラスでラベル付けされている、実装するステップと、
-プロセッサに、分類されるミルクの表現を含むデジタル画像データを得るステップと、
-プロセッサで、実装された第1の深層学習ニューラルネットワーク分類器を使用してデジタル画像データを処理して、デジタル画像データで表されるミルクの分類を、クラスのセット内のクラスに属するものとして生成するステップと、を含み得る。
-プロセッサに、ミルク画像のデジタル表現を含むトレーニングデータセットを使用してトレーニングされた第1の深層学習ニューラルネットワーク分類器を実装するステップであって、プロセッサは、1つ以上の相互運用可能な処理ユニットを含み得、各画像は、それが属するミルククラスでラベル付けされている、実装するステップと、
-プロセッサに、分類されるミルクの表現を含むデジタル画像データを得るステップと、
-プロセッサで、実装された第1の深層学習ニューラルネットワーク分類器を使用してデジタル画像データを処理して、デジタル画像データで表されるミルクの分類を、クラスのセット内のクラスに属するものとして生成するステップと、を含み得る。
いくつかの実施形態では、デジタル画像データは、実装された第1の深層学習ニューラルネットワークを使用して処理され、デジタル画像データの特徴ベクトルを抽出し、抽出された特徴ベクトルについて、そのクラスに属する特徴ベクトルのクラスのセットの各クラスの確率を判定し、判定された確率に依存する分類を生成する。
いくつかの実施形態では、深層学習ニューラルネットワーク分類器は、ミルクが望ましくない特徴を有するかどうかを示すクラス「GOOD」および「BAD」、または同様のモニカのうちの1つに属するものとしてミルクを分類するように適合されている。他の実施形態では、深層学習ニューラルネットワーク分類器は、ミルクを、「異物」、「異物タイプ」、「凝集」、または色であり得る、といった異なるまたは追加のクラスに分類するように適合され得、ミルクは、深層学習ニューラルネットワーク分類器のクラスの1つ以上に属するものとして分類され得る。
いくつかの実施形態では、深層学習ニューラルネットワーク分類器は、画像データ内のサンプル容器の存在およびミルクサンプルの存在のうちの一方または両方を判定するようにトレーニングされた1つ以上の層を含み、方法は、画像データ内のミルクサンプルの判定された存在に依存するミルクサンプルの分類を生成することを含む。深層学習ニューラルネットワーク分類器は、画像データから、サンプル容器を、十分または不十分なミルクサンプルを保持するものとして分類するようにトレーニングされた1つ以上の層を含み得る。
いくつかの実施形態では、深層学習ニューラルネットワーク分類器は、いずれかの転移学習を使用して生成され得る。いくつかの実施形態では、深層学習ニューラルネットワーク分類器は、畳み込みニューラルネットワーク(「CNN」)を含み得る。いくつかの実施形態では、深層学習ニューラルネットワーク分類器は、深層信念ネットワークまたは他の階層型ニューラルネットワークアーキテクチャを使用して生成され得、ここで、1つの層の入力は、前の層の出力である。
深層学習モデルでは、過学習を回避するためのかなりの量のトレーニングインスタンスが必要である。そのため、深層学習には、かなりの量のトレーニング画像データとかなりの量の時間の投資が必要である。この負担を軽減するために、特にトレーニング画像の数が限られている場合に、転移学習を有効に採用することができる。転移学習は、1つのタスク用に開発されたモデルを、第2のタスクのために使用されるモデルの開始点として再使用する機械学習方法である。本発明の文脈において、深層学習モデルは、最初に、ミルク画像とは無関係の、多数の無関係なラベル付けされた(「分類された」)画像でトレーニングされて、分類器を構築する。次に、ラベル付けされたミルク画像のトレーニングデータセット(各ラベル付けされた画像はまた、「トレーニング画像データ」とも呼ばれる)が提供され、各画像は、1つ以上のクラスに属するものとしてラベル付けされ、深層学習モデルは、トレーニングデータセットに関するクラスを特定するのに役立つように分類器を変更するために、トレーニングデータセットを使用して、さらにトレーニングされる。
CNNでは、より低い畳み込み層は、低レベルの画像特徴を捕捉し、より高い畳み込み層は、ますます複雑な画像詳細を捕捉し、最終的な層の数は、必要なクラス数を特定するために、必要な画像詳細の複雑さによって設定される。CNNアーキテクチャは一般に、畳み込み層およびプーリング(またはサブサンプリング)層からなり、モジュールまたはブロックにグループ化される。標準のフィードフォワードニューラルネットワークのように、1つまたは複数のいずれかの完全に接続された層は、これらのCNNモジュールに従う。モジュールは、互いの上に積み重ねられて、深層モデルを形成する。画像は、ネットワークに直接入力され、その後、CNNモジュールで畳み込みおよびプーリングのいくつかのステージが続く。その後、これらの動作からの表現は、1つ以上の完全に接続された層に供給される。最後に、最後に完全に接続された層がクラスラベルを出力する。畳み込みモジュールは、特徴抽出器として機能するため、入力画像の特徴表現を学習する。畳み込みモジュールを含む畳み込み層のニューロンは、特徴マップに配設される。特徴マップの各ニューロンは、受容野を有し、トレーニング可能な重みのセットを介して、前の層のニューロンの近傍に接続されている。新しい特徴マップを計算するために、入力は、学習された重みで畳み込まれる。プーリング層の目的は、特徴マップの空間解像度を低下させ、入力歪みおよび平行移動に対する空間不変性を実現させることである。典型的に、画像の小さな近傍のすべての入力値の平均を次の層に伝播する平均プーリング集約層を採用することができる。代替的に、受容野内の最大値を次の層に伝播する最大プーリング集約層を採用することができる。これらの層に続く完全に接続された層は、モジュールによって抽出された抽象的な特徴表現を解釈し、高レベルの推論および分類の機能を実施し、しばしばサポートベクトルマシンとして実現されるか、またはSoftmaxアプリケーション機能を実装するように構成されている。
いくつかの実施形態では、デジタル画像データは、モノクロ(または少なくとも縮小色情報)画像を表し、そのモノクロカラーまたは縮小色パレットを選択して、画像内の関連する特徴(すなわち、分類に寄与する特徴)の可視性を高めることができる。
いくつかの実施形態では、デジタル画像データは、ミルクの層を通る光の透過から得られた画像を表すことができる。
いくつかの実施形態では、入力デバイスは、例えば、ミルクサンプルの記録された画像をデジタル表現に変換するように適合されたスキャナであり得、デジタルビデオカメラなどのビデオカメラ、およびミルクサンプルを含む動画の単一フレームをデジタル表現に変換するように適合されたフレームグラバであり得るか、または視野内に位置するミルクのサンプルのデジタル表現を生成するように適合されたデジタルスチルカメラであり得る。いくつかの実施形態では、入力デバイスは、固定有線リンクを介して、無線で、または2つの組み合わせを介して、電話ネットワークローカルエリアネットワーク、またはインターネットなどであるが、限定されないネットワークを通じて、リモートで生成されたデジタル画像データにアクセスするように構成された通信インターフェースを含み、リモートで生成されたデジタル画像データを、深層学習ネットワーク分類器への入力として提供し得る。
いくつかの実施形態では、検出器を採用して、デジタルカメラの視野内のミルクサンプルの存在を検出することができ、デジタルカメラは、ミルクサンプルの存在を検出する検出器に依存するデジタル画像データを取得するように適合されている。いくつかの実施形態では、検出器は、サンプル容器によるエミッタと検出器との間を通過する光線の遮断が、デジタル画像データの生成のためのミルク画像の取得をトリガーするために使用可能なサンプル容器の存在を示す信号を生成する遮断型検出器であり得る。
本発明の実施形態のいくつかの態様は、上記に要約されているが、この要約は、本発明を限定することを意図するものではなく、その範囲は、添付の特許請求の範囲によって適切に決定されることを認識されたい。
本発明を含む例示的な実施形態は、添付の図の図面を参照して、以下により詳細に説明される。
本発明によるミルク分析器でミルクを分類する例示的な方法を例解する。
図1の方法で使用されるDLNN分類器を概略的に例解する。
本発明によるミルク分析器でミルクを分類するためのミルク分類システムを例解する。
本発明によるミルク分析器を概略的に例解する。
本発明によるミルク分析器の他の2つの実施形態の一部分を概略的に例解する。
本発明によるミルク分類システムの別の実施形態を例解する。
本発明の範囲は、以下に例解および考察される構成、構成要素、および方法ステップに限定されないことを認識されたい。むしろ、これらは、添付の特許請求の範囲に含まれる例としてのみ開示されている。
図1では、本発明によるミルクを分類する方法の実施形態が例解されている。方法は、コンピューティングデバイスのプロセッサによって、ステッププログラムコードがアクセスおよび実行されて、プロセッサに深層学習ニューラルネットワーク(DLNN)分類器を実装するモデル実装ステップ100を含む。このようにしてプロセッサに得られるDLNN分類器は、分類される画像化されたミルクの表現を含むデジタル画像データから特徴ベクトルを抽出し、抽出された特徴ベクトルから、そのクラスに属するデジタル画像データで表された任意のミルクのクラスのセットの各クラスの確率を判定するようにトレーニングされた分類器である。クラスのセットの各クラスは、ミルクの特性を示す。取得ステップ102で、ミルクサンプルの表現を含むデジタル画像データは、プロセッサに得られる。特徴抽出ステップ104で、デジタルミルク画像データは、得られたDLNN分類器を使用してプロセッサで処理され、デジタルミルク画像データの特徴ベクトルを抽出する。割り当てステップ106で、抽出された特徴ベクトルは、得られたDLNN分類器を使用してプロセッサで処理され、そのクラスに属する抽出された特徴ベクトルのクラスのセットの各クラスの確率を判定する。分類ステップ108で、判定された確率は、得られたDLNN分類器を使用してプロセッサで処理され、判定された確率に依存するクラスのセットのクラスに属するものとして、デジタル画像データに表されるミルクサンプルの分類を生成する。出力ステップ110で、分類を表す信号は、生成され、プロセッサの外部で使用するために出力される。
いくつかの実施形態では、図1に例解されるように、方法は、有利であるが必須ではない確認ステップ112をさらに含み、ここでは、画像が処理されて(104、106)、ミルクサンプル自体を分類する(108)前に、取得ステップ102で取得されたデジタル画像データが処理されて、画像を、ミルクサンプルを含むものか、または含まないものとして分類する。いくつかの実施形態では、取得ステップ102で取得されたものとは異なるデジタル画像データを採用することができ、ただし、この他のデジタル画像データは、上記の102で取得されたが他の条件下で取り出されたデジタル画像データによって表されているものと同じミルクサンプルの画像を表す。これらの条件は、例えば、異なる視点、異なる露光時間、または異なる照明条件であり得、各々が、以下に記載されるさらなる処理ステップに最も適したデジタル画像データを提供するように選択されることを認識されたい。
この確認ステップ112で、物体検出のサブステップ1122が実施される。この物体検出サブステップ1122で、デジタル画像データは、入力デジタル画像データ内のサンプル容器の表現の存在または不在を特定するようにトレーニングされ、プロセッサで実装される分類器、好ましくはDLNN分類器に入力される。このサブステップ1122で採用されるDLNN分類器は、いくつかの実施形態では、上記の実装ステップ100でミルクを分類するために実装されるものであり得るか、または他の実施形態では、別個のDLNN分類器であり得る。
この物体検出サブステップ1122で、DLNN分類器は、デジタル画像データで表されるサンプル容器に関する特徴を抽出し、適切な特徴ベクトルを生成するように動作する。決定サブステップ1124で、物体検出サブステップ1122で抽出された特徴ベクトルは、処理されて、デジタル画像データにおけるサンプル容器の表現の存在または不在を判定する。存在しない場合、決定サブステップ1124で分岐Nによって例解されるように、ミルクを分類するためのデジタル画像データの処理(ステップ104~110)は実施される必要がなく、方法は終了サブステップ1126で終了する。
決定サブステップ1124で分岐Yによって例解されるサンプル容器が存在する場合、方法は、第2の物体検出サブステップ1128に続く。
この第2の物体検出サブステップ1128で、デジタル画像データは、分類器、好ましくはDLNN分類器に入力され、分類器は、入力デジタル画像データ中のミルクの表現の存在または不在(いくつかの実施形態では、追加的または代替的に量)を特定するようにトレーニングされており、プロセッサに実装されている。このサブステップ1128で採用されるDLNN分類器は、いくつかの実施形態では、上記の実装ステップ100でミルクを分類するために実装されるものであり得、他の実施形態では、別個のDLNN分類器であり得、他の実施形態では、物体検出サブステップ1124でのサンプル容器の検出において採用されたものと同じDLNN分類器であり得る。異なるDLNN分類器を採用してミルクを分類し、サンプル容器を検出し、デジタル画像データでミルクを検出する利点は、各DLNN分類器を、個別の分類タスクを実施するように特別にトレーニングできるため、そのタスクを実施するようにより良好に最適化することができることである。
この第2の物体検出サブステップ1128で、DLNN分類器は、デジタル画像データで表されるミルクに関する特徴を抽出し、適切な特徴ベクトルを生成するように動作する。第2の決定サブステップ1130で、第2の物体検出サブステップ1128で生成された特徴ベクトルは、デジタル画像データにおけるミルクの表現の存在または不在を判定するために処理される。存在しない場合、第2の決定サブステップ1130で分岐Nによって例解されるように、ミルクを分類するためのデジタル画像データの処理(ステップ104~110)は実施される必要がなく、方法は、終了サブステップ1126で終了する。
ミルクが存在する場合、第2の決定サブステップ1130で分岐Yによって例解されるように、方法は、続行され(ステップ104~110)、ステップ102で取得されたデジタルミルク画像データで表されるミルクの分類を実装する。
任意選択の確認ステップ112を採用することにより、不必要な画像処理および分類が回避され、したがって、処理および時間のオーバーヘッドが削減される。いくつかの実施形態では、デジタル画像データにミルクの表現がない場合、ミルク分類を実施できないため、サンプル容器検出ステップ1122、1124を省略することによって、処理および時間のオーバーヘッドのさらなる削減を得ることができる。
1つ以上のプロセッサに実装され、本発明による方法、例えば、図1を参照して説明した方法で使用可能なDLNN分類器200の例を、ここで、図2を参照してより詳細に説明する。例示的なDLNN分類器200は、畳み込みニューラルネットワーク(CNN)アーキテクチャを使用して本実施形態で実現される抽出器202と、抽出器202に先行する入力204と、抽出器202に続く出力206と、を含む。分類中、DLNN分類器200のデータは、入力204から抽出器202を通って出力206に順方向に流れる。
本例では、入力204は、画像208を、デジタル画像データを保持するマトリックスMに変換し、これを、抽出器202に提供するように構成されている。マトリックスMの各セルは、入力画像208の異なるピクセル強度値を受信し、保持する。したがって、例えば幅720ピクセル、高さ480ピクセルの入力画像には、サイズ720x480のマトリックスMが必要になる。入力画像208がカラー画像である場合、各ピクセルは、3つの強度値、つまり赤、緑、および青の強度値によって表され得、したがって、いくつかの実施形態(図2に示される)では、マトリックスMは、720x480x3セルであり、3は、チャネル、ここでは、赤、緑、および青のチャネルの数である。いくつかの実施形態では、画像は、ハイパースペクトル画像であり得、画像を表現させるために、マトリックスは、必然的に4つ以上のチャネルを有することになる。いくつかの実施形態では、入力204はまた、例えば、抽出器202に提供されるあらゆるマトリックスMが、画像の特定の機能を強化するために、同じ量のデータまたは色変更を行うことを保証するように画像サイズ変更などの画像処理も実施するように既知の方法で構成され得る。
抽出器202は、マトリックスMに保持された入力デジタル画像データから特徴を抽出し、出力206への伝播のための特徴ベクトルFを形成するように当技術分野で周知の方法で動作するいくつかの(ここでは、2つが例解される)隠れ畳み込みモジュールC1、C2を含む。本例では、隠れ畳み込みモジュールC1は、各チャネルを1つの重み付けフィルタWF1(いくつかの実施形態では、複数の重み付けフィルタ)で順番に畳み込むことによって、入力204から伝播されたマトリックスMの入力デジタル画像データを処理して、本質的に、入力デジタル画像データによって表される画像内の関連する特徴の場所(複数可)のマップである1つの特徴マップFM1(いくつかの実施形態では、複数の特徴マップ)を生成する。2つ以上の特徴を抽出する場合は、対象となる特徴を抽出するように各々トレーニングされた異なる重み付けフィルタを、伝播されたマトリックスMの入力デジタル画像データと畳み込み、対応する特徴マップを生成する。次に、特徴マップ(または各特徴マップ)は、特徴マップを処理して、空間全体にダウンサンプリング集約を提供し、入力歪みおよび平行移動に対する空間的不変性を有する関連する縮小された特徴マップRFM1を生成するプーリング層P1に伝播される。この縮小された特徴マップ(または複数のマップ)は、本例では、次の隠れ畳み込みモジュールC2に伝播され、そこで、前の畳み込みモジュール(ここではC1)からのこの縮小された特徴マップは、1つ以上の他の重み付けフィルタWF2との畳み込みによって処理され、WF3および結果として得られる1つ以上の特徴マップFM2は、上記のプーリング層P1と同様に、プーリング層P2で処理されて、新しい縮小された特徴マップRFM2を生成する。新しい縮小された特徴マップRFM2は、一般に、入力204からのデジタル画像データにおけるより高いレベルの特徴をマッピングする。
いくつかの実施形態では、および当技術分野で知られているように、隠れ畳み込みモジュールC1、C2のうちの1つ以上は、モデルのロバスト性を改善するために提供される他の層、例えば、非線形化を提供するための層、いわゆる「活性化関数」、例えば、負の値をゼロに変換するように動作するRectified Linear Unit(ReLU)層、および/または白色化または側抑制を提供し得る正規化層を含み得る。
すべての畳み込みモジュールC1、C2による処理後に生成された、最終的な縮小された特徴マップ、ここでは特徴マップRFM2の特徴は、このCNNベースの抽出器202の最終層で連結され、出力206の隠れラベル予測層Lに伝播される特徴ベクトルFを生成する。ラベル予測層Lは、完全に接続されたノードの1つ以上の層を含み、これはまた、活性化関数を含み得る。1つの層の各ノードは、個別に重み付けされた接続によって前の層のあらゆるノードに接続され、各ノードは、個別にバイアスされる場合がある。いくつかの実施形態では、DLNN分類器200の予測を改善するために、これらの重みおよび/またはバイアスを更新するために、追加のトレーニング画像データを採用することができる。
ラベル予測層Lは、n次元ベクトルを生成するように機能し、ここで、nは、入力画像208が分類され得る可能なクラスの数である(本実施形態では、2つの可能なクラスGOOD/BAD)。このn次元ベクトルの各数は、画像208(またはその一部分)がn個のクラスのうちの特定のクラスに属する確率を表す。このラベル予測層Lは、例えば、これらの確率を導出するために、いわゆる「ソフトマックス」活性化関数を使用するように構成され得るか、またはいわゆるサポートベクトルマシン(SVM)として構成され得る。本実施形態では、各可能なクラスの出力O1、O2には、n次元ベクトルの確率スコアが投入される。これらの出力O1およびO2、またはいくつかの実施形態では、最も高い確率を有する出力のみが、例えば、表示画面に表示するための1つ以上の依存メッセージの生成、またはミルクサンプルを流用するための外部デバイスの動作を制御するための制御信号の生成に使用するために、DLNN分類器200の外部でアクセス可能であるように構成されている。
入力画像208から特徴情報を抽出するために、畳み込み処理以外のネットワークを採用することができることを認識されたい。例えば、制限付きボルツマンマシンの積み重ねられた層である深層信念ネットワークは、オートエンコーダおよび一般的な敵対的ネットワークと同様に、この機能を実施するために採用され得る。
本発明の深層学習ニューラルネットワーク分類器、例えば図2のDLNN分類器200は、畳み込みモジュールC1、C2の重み付けフィルタを生成するために、転移学習によってトレーニング(または再トレーニング)され得る。ラベル予測層Lの各接続の重みおよび/またはバイアスは、この方法で追加的または代替的に再トレーニングされ得る。典型的に、畳み込みモジュールC1、C2の重み付けフィルタは、固定されたままであり、以下で説明するように、後続のファインチューニング中に調整されるのは、ラベル予測層Lの接続の重みおよび/またはバイアスである。
ほんの一例として、深層学習ニューラルネットワーク分類器のトレーニングは、ミルクサンプルを2つのクラス(例えば、GOODまたはBAD)にのみ分類することを参照して説明するが、分類器は、ミルクサンプルを、クラス特徴がミルクの画像に視覚的に明らかである場合、任意の数のクラスのうちの1つ以上に属するものとして分類するようにトレーニングし得ることを認識されたい。
深層学習ニューラルネットワーク分類器、例えばDLNN分類器200は、前のデータまたは情報の恩恵を受けずに(つまり、最初から)トレーニングするか、またはアプリケーションドメインのトレーニングセットのサイズに応じてファインチューニングすることもできる。深層学習ニューラルネットワーク分類器は、2つのフェーズでトレーニングし得る。初期化トレーニングフェーズ中に、ミルクとは関係のない様々な主題を含む画像の非常に大きなセットが、トレーニングデータとして深層学習ニューラルネットワーク分類器に供給され得る。例えば、ImageNetコレクションなどからの画像は、重み付けフィルタ、ならびに深層学習ニューラルネットワーク分類器の重みおよびバイアスを初期化するのに役立ち得る。トレーニングのチューニングフェーズとして、予想される異常を含み、そのように注釈が付けられたミルクサンプルの特殊な画像(トレーニング画像データ)を、トレーニングデータとして、深層学習ニューラルネットワーク分類器に供給することができる。トレーニングデータには、異常がないことがわかっており、そのように注釈が付けられているミルクサンプルの画像のセットが含まれ得る。ラベルは、画像内の任意の異常な部分の存在に基づいて、トレーニング画像全体に対して定義し得、これは、大規模なラベル付け作業なしでリアルタイムで容易に得ることができる。トレーニング画像の異常領域を定義、セグメント化、または輪郭を描く必要はない。適切なトレーニング画像は、少なくとも1つの異常なピクセルを有するものとして定義し得る。各トレーニング画像は、DLNN分類器のトレーニングの前に、ラベルを付けするか、または注釈を付けて記憶され得る。例えば、異常領域を有するミルクサンプルのトレーニング画像は、「BAD」として注釈が付けられ得、異常領域を有さないミルクサンプルのトレーニング画像は、「GOOD」として注釈が付けられ得る。画像レベルベースの注釈の適用により、トレーニングプロセスは、大幅に合理化され、労力を軽減して完了することができる。画像レベルのラベルを有するトレーニングデータは、画像レベルのラベルを有するクラスごとに、数百のサンプルなど、かなりの数のサンプルでからなり得る。バウンディングボックスラベルを有するトレーニングデータ用に選択された画像は、クラスごとに約20個の画像など、より少ない数のサンプルからなり得、バウンディングボックスは、異常を検出するために役立つ画像内のキーマーカーを囲む。画像パッチは、各クラスのサンプル画像からトリミングすることができ、パッチがトリミングされる画像に対応する同じ画像レベルのクラスラベルを有するマーカーを含むようにラベル付けすることができる。画像パッチは、元の画像のサイズに一致するようにサイズ変更することができる。トレーニングデータ画像のすべてのセットが生成され、サイズが変更されると、トレーニングデータを適用することによって、深層学習ニューラルネットワーク分類器をトレーニングすることができる。DLNN200分類器は、既知の転移学習手法を使用してトレーニングすることができ、ここでは、トレーニングデータは、公開されているトレーニングデータセットのうちの1つ、例えば、ImageNet、Open Images、またはMicrosoft Common Objects in Contextによる深層学習ニューラルネットワーク分類器の初期化トレーニングフェーズに続いて、再トレーニングまたは「チューニング」として適用される。典型的に、この初期化トレーニングフェーズ中に学習された重み付けフィルタは、固定されたままであり、ラベル予測層Lの層のノード間の接続重みおよびバイアスのみが、その後、改良または「チューニング」トレーニングフェーズ中に変更され得る。ラベル付けされたミルク画像のトレーニングデータセットは、拡張されるか、または他のラベル付けされたミルク画像に置き換えられ、既存のDLNNミルク分類器に適用して、再トレーニングまたはそのトレーニングを改善することができる。
いくつかの実施形態では、1つ以上の追加のDLNN分類器を採用することができ、これらは各々、入力画像内の追加の関連する特徴を特定するために別々にトレーニングされる。これらの追加の特徴は、ミルク分類を行うためにDLNN分類器200で採用されている特徴とは別のものであり、DLNN分類器200をトレーニングして、これらの特定を行うこともできるが、DLNN分類器を1つの目的でトレーニングする方が、しばしば柔軟性および信頼性がより高い。本実施形態では、図1の任意選択の確認ステップ112を参照して、2つの追加のDLNN分類器を実装することができ、1つは、サンプル容器の存在または不在を判定する(ステップ1122)ためのもの、1つは、ミルクの(十分な量の存在さえも)存在または不在を判定する(ステップ1128)ためのものである。各追加のDLNN分類器は、DLNN分類器200に関する上記の構成およびトレーニングに類似した方法で、構成およびトレーニングすることができ、ミルクを分類するように構成されたDLNN分類器200と直列に動作するように構成され得、列内の後続のDLNN分類器が、列内の直前のDLNN分類器によって行われた分類に依存して動作するように構成されている。したがって、図1の例示的な方法によれば、画像208の第1のDLNN分類(ステップ1122)が行われて、サンプル容器の存在または不在が判定される。第1の分類器がサンプルカップの存在を判定した場合、第2のDLNN分類器がトリガーされて分類を実施する(ステップ1124)。次に、画像データの第2のDLNN分類(ステップ1128)が行われて、入力画像208におけるミルクの存在または不在が判定され、ミルクが存在する場合(ステップ1130)、DLNN分類器200の動作がトリガーされて、画像208のミルクの分類を行う。他の実施形態では、1つ以上の別個の画像を表す入力デジタル画像データは、適切なDLNN分類器の抽出器に伝播され得る。
デジタル画像データで表されるミルクを、複数のクラスの中の1つのクラスに属するものとして分類するための、図2のDLNN分類器200を実装するのに好適な、本発明によるミルク分類システム300の実施形態が、図3に概略的に例解されている。
システム300は、入力デバイス302、コンピューティングデバイス304、および出力デバイス306を含む。
入力デバイス302は、ミルクサンプルの画像208のデジタル表現を生成し、コンピューティングデバイス304で処理するために、この表現を提供するように構成されている。
いくつかの実施形態では、入力デバイス302は、デジタルカメラまたは他の検出器配設3022を含み、任意選択的に、デジタルカメラまたは検出器配設3022の視野内の画像化ステージ3024に位置し得るミルクサンプルのデジタル画像を生成するように適合された調整光学要素(レンズおよびフィルタなど)を含む。いくつかの実施形態における画像化ステージ3024は、ミルクサンプルが、例えば、可動ベルトまたはトラック上に配置または輸送されるか、または噴霧されるか、または別様に自由空間を通って流される空間内の領域であり得るか、またはミルクサンプルが固定または配置されるホルダであり得る。任意選択的に、入力デバイス302は、画像化ステージ3024に位置するサンプルを照明するように適合された照明源3026を含み得る。調整光学系および/または照明源3026は、例えば、その波長範囲の光が、フィルタおよび/または照明源3026によって放出される放出波長の賢明な選択を通して、サンプルを照明することを確実にすることによって、特定の波長範囲内の光のみが、(カメラまたは検出器配設の)検出器に到達することを確実にするように適合され得る。限られた波長範囲のみのこの選択はまた、対象となる波長領域に関係のない取得された画像からの情報を除去するためのデジタル画像データの好適な取得後処理によって達成され得る。いくつかの実施形態では、照明源3026およびカメラ/検出器配設3022は、画像化ステージ3024でサンプルを透過した光のみがカメラ/検出器配設3022によって検出されるように、画像化ステージ3024に対して配向され得、他の実施形態では、構成は、サンプルから反射された光が検出されるようなものであり得、さらに他の実施形態では、構成は、透過光および反射光の各々について別個の画像が生成されるようなものであり得る。
いくつかの実施形態では、入力デバイス302は、ミルクサンプルの画像の紙のコピーを、その画像のデジタル表現に変換するように適合されたフラットベッドスキャナなどの従来のデジタイザであり得る。
いくつかの実施形態では、入力デバイス302は、記憶デバイスおよびリーダを含み得る。記憶デバイスは、ミルクサンプルのデジタル画像を、有形のコンピュータ可読媒体に記憶するように適合されており、例えば、CD-ROMもしくは他の光記憶媒体、USBもしくは他の固体記憶デバイス、または1つ以上のサーバで実現される遠隔大容量記憶デバイスであり得る。リーダは、記憶デバイスにアクセスし、デジタル画像データとしてコンピューティングデバイス304に伝播するために、デバイスに記憶されたミルクサンプルのデジタル画像を得るように構成されている。
コンピューティングデバイス304は、コンピューティングデバイス304にデータを受信すること、およびコンピューティングデバイス304からデータを送信することのうちの一方または両方のための1つ以上の通信インターフェース3042と、例えば、専用マイクロプロセッサ、従来のシングルコアもしくはマルチコアコンピュータ処理ユニット(CPU)、好適に適合されたグラフィカル処理ユニット(GPU)、またはニューラル処理ユニット(NPU)のうちの1つ以上などの1つ以上の処理ユニットを含み得るプロセッサ3044と、システムメモリ3046と、任意選択的に、内部またはリモートでアクセス可能な記憶デバイス3048と、を含む。
プログラムコードは、本実施形態では、プロセッサ3044による実行のためにシステムメモリ3046にロードされる。このプログラムコードは、システムメモリ3046に一時的または永続的に記憶され得、存在する場合、内部または外部記憶デバイス3048からシステムメモリ3046(またはプロセッサ3044に直接)にアクセス可能にし得、または、一部は、コンピューティングデバイス304の内部に、一部は、コンピューティングデバイス304の外部に記憶され得る。外部に記憶されたプログラムコードには、DLNN分類器、例えば図2に例解するDLNN分類器200の再トレーニングまたはさらなるトレーニングを、中央で実施し、同じ新しいモデルを、1つ以上のミルク分類システム300の1つ以上のコンピューティングデバイス304に展開できるという利点がある。
プログラムコードは、プロセッサ3044の1つ以上のプロセッサユニット上で実行されるときに、プロセッサ3044に、本発明による上記のDLNN分類器200などのDLNN分類器を実装させる命令を含む。具体的には、本実施形態では、プログラムコードがプロセッサ3044の1つ以上の処理ユニットによって実行されると、コンピューティングデバイス304は、抽出器202、入力204、およびDLNN分類器200の出力206に関して本明細書に記載のタスクを実施するように構成された専用コンピュータに変換される。すなわち、入力デバイス302によって生成されたデジタル画像データは、所望のデータフォーマットを得るための好適な前処理の有無にかかわらず、通信インターフェース3042を介して、プロセッサ3044に直接、またはシステムメモリ3046を介してプロセッサ3044に間接的に利用可能になり得、プロセッサ3044は、このデジタル画像データに作用して、実装されたDLNN分類器を介してそれを処理し、入力デジタル画像データに基づいてミルクサンプルの分類を生成し、生成された分類が外部で、ここでは通信インターフェース3042を介して利用可能になる。DLNN分類器が利用できる他のクラスに属するミルクサンプルの確率の一部またはすべては、通信インターフェース3042を介して外部から利用可能にすることもでき、これらの他の確率もまた、プロセッサ3044によって実装される分類プロセスで判定される。
本実施形態の出力デバイス306は、通信インターフェース3062、ディスプレイデバイス3064、および制御信号発生器3066を含む。コンピューティングデバイス304の通信インターフェース3042を介して外部で利用可能にされたデジタル情報(すなわち、入力デバイス302によって得られた画像に描写されるミルクサンプルの分類、および任意選択的に、DLNN分類器に利用可能なクラスの一部またはすべてに属するミルクサンプルの確率(プログラムされたプロセッサ3044によって判定される)は、その通信インターフェース3062を介して出力デバイス306に受信される。制御信号発生器3066は、通信インターフェース3062からデジタル情報を受信し、これに応じて信号を生成し、例えば、本実施形態に例解されるように、プロセッサ3044によって実装されたDLNN分類器によって生成されたミルクサンプル分類に関連する情報を表示するようにディスプレイデバイス3064を駆動する。そのような表示される情報は、単に分類自体(例えば、「GOOD」もしくは「BAD」、または「SUITABLE」もしくは「UNSUITABLE」などの代替の二項分類)であり得るか、または分類に関連するオペレータへの指示(例えば、サンプルが「BAD」または「UNSUITABLE」であると分類されている場合は、「REMOVE SAMPLE」)であり得る。いくつかの実施形態では、ディスプレイデバイス3064は、「BAD」の赤色光および「GOOD」の緑色光などの一連の光であり得、これらは、制御信号に応じて別々に照明する。いくつかの実施形態では、ディスプレイデバイス3064は、分類の結果を音声で表示するためのサウンドジェネレータであり得る。
追加的または代替的に、制御信号発生器3066は、以下に説明するように、コンピューティングデバイス304で生成された分類に応じて、1つ以上の外部デバイスを制御するために使用可能な制御信号を生成するように構成され得る。そのような実施形態では、制御信号は、通信インターフェース3062を介して出力デバイス306の外部で利用可能にされ得、いくつかの実施形態では、ディスプレイ3064は、有用な目的を果たさず、省略され得る。
システム300は、固定コンピュータ、携帯用電子デバイス、ラップトップコンピュータもしくはモバイルコンピュータ、ネットワークコンピュータもしくはサーバコンピュータ、またはメインフレームコンピュータを使用して実装することができる。特定の機能は、単一のデバイス上で実施されると説明されているが、本発明をこれに限定する意図はないことを認識され、本発明はまた、機能が、ローカルまたはリモートデバイスであり得る、異種であるがリンクされたデジタル処理デバイスおよびメモリデバイスの中で共有され得る分散環境でも実践され得ることを理解されたい。これらの処理デバイスおよびメモリデバイスは、ローカルエリアネットワーク、ワイドエリアネットワークまたはインターネットなどの通信ネットワークを介してリンクすることができる。好適なプロセッサに実装される命令は、コンピュータディスク、事前にプログラムされたコンピュータチップ、または取り外し可能な固体記憶デバイス(USBメモリスティックなど)などの有形のコンピュータ可読媒体に記憶することができる。追加的または代替的に、命令は、ネットワーク上に分散され、好適な伝搬媒体で信号として伝搬され得る(電磁波または音波を採用するなど)。
入力デバイス302からコンピューティングデバイス304へ、コンピューティングデバイス304から出力デバイス306へ、およびコンピューティングデバイス304の外部からそのシステムメモリ3046またはそのプロセッサ3044へのデジタル情報の転送、実際には、本発明によるシステム内のデジタル情報の任意の通信は、変調されたデータ信号を運ぶハードワイヤードネットワークまたは有線通信接続などの固定リンクを介し得るか、または無線周波数または赤外線リンクなどの1つ以上の変調されたデータ信号またはキャリア波を通信するための無線リンクを介し得る。
本発明によるミルク分析器400の例が図4に例解されている(原寸に比例していない)。ミルク分析器400は、ミルク分析ユニット402およびそれと動作可能に接続されたミルク分類システム404を含む。ミルク分析ユニット402は、ミルクがサンプル容器から分析ユニット402内の分析モダリティ(図示せず)に供給される可動ピペット4024の動作を制御するように構成されたサンプル採取システム4022を含む。ピペット4024は、表面上のその先端4026の高さを調整するために移動可能である。既知の赤外線分光法またはフローサイトメトリー分析モダリティなどの任意の分析モダリティを、ミルク分析ユニット402内で採用することができることを認識されよう。
ミルク分類システム404は、サンプル容器からミルクを画像化するように構成されており、画像化されたミルクが分類され得るクラスからのラベル付けされたミルク画像を使用してトレーニングされ、ミルク分類システム404のプロセッサに実装され得る、図2を参照して上記で説明されたDLNN分類器200などのDLNN分類器を使用して、画像化されたミルクの分類を生成し、生成された分類に応じて、分析ユニットへのミルクの供給を制御する。
本実施形態では、ミルク分析器400は、ベルトコンベヤなどのコンベヤシステム406に対して位置し、そのピペット4024を、コンベヤシステム406の水平面4062の上に位置決めして、移動したときに、図に例解される矢印の方向のコンベヤシステム406の移動に伴い、サンプルラック410に保持されたサンプル容器408a..dがピペット4024の下を順次通過するときに、そこから出入りできるようにする。サンプル容器408a..dは、ミルク(例えば408a、408b、および408d)を含み得るが、サンプル容器(例えば408b)は、分析のために不十分な量のミルクを含み得、サンプル容器(例えば408c)は、空であるか、またはサンプル容器が欠落している可能性があり、ラック410は、空のホルダ位置を有する(例えば4102)。
ほんの一例として、説明を容易にするために、本実施形態のミルク分類システム404は、図3を参照して上記で既に説明したミルク分類システム300の機能要素を含むものとして説明される。したがって、ミルク分類システム404は、入力デバイス302、コンピューティングデバイス304、および出力デバイス306を含む。
本実施形態の入力デバイス302は、2つのデジタルビデオカメラ4042、4044を含む。第1のデジタルビデオカメラ4042は、その視野が垂直に下向きに配設され、第2のデジタルビデオカメラ4044は、その視野が第1のデジタルビデオカメラ4042の視野と交差し、第1のカメラ4042の視野に垂直になるように配設され、任意のサンプル容器408a..dは、第1のデジタルビデオカメラ4042によって上から、および第2のデジタルビデオカメラ4044によって横から画像化され得る。横からの画像化の利点は、サンプル容器408a..dの存在、および任意選択的にサンプル容器408a、b、d内のミルクのレベルが、本実施形態において、コンピューティングデバイス302に実装されたDLNN分類器を使用して、画像から判定され得ることである。第1のデジタルビデオカメラ4042を使用して上から得られた画像は、コンピューティングデバイス304にも実装され、ラベル付けされたミルク画像を使用してミルクの分類を行うようにトレーニングされたさらなるDLNN分類器に処理され、ミルク分析器400での分析に好適または不適(すなわち、閉塞を引き起こす可能性が低いか、または可能性が高い)として特定する。このさらなるDLNN分類器は、例えば、図2のDLNN分類器200に関して上記で考察されるように動作することができる。本実施形態の2つのビデオカメラ4042、4044は、ピペット4024の上流(コンベヤシステム406の移動方向)の場所、したがって、ミルク分析ユニット402内の分析モダリティの上流の場所を画像化するように配設されており、コンベヤシステム406上の任意のサンプル容器408a..dは、それがピペット4024の下を通過する前に、上からおよび横から画像化されることになる。
サンプル容器を異なる角度から見ることができるように、または多かれ少なかれデジタルカメラを使用することができるように、またはスチルカメラまたはCCDセンサアレイなどの画像化検出器を、クレームされた本発明から逸脱することなく、ビデオカメラ4042、4044の代わりに使用することができるように、デジタルカメラ4042、4044の他の配設が採用され得ることを認識されたい。本実施形態では、画像は、周囲光で得られるべきであるが、他の実施形態では、入力デバイス302はまた、1つ以上の光学バンドパスフィルタおよび/またはレンズなど他の光学調整素子とともに、特定の狭いスペクトル領域で照明を生成するように適合された光源を含み得る1つ以上の照明源を含み得る。
ここで、分類システムの出力デバイス306は、コンピューティングデバイス304で生成されたミルクの二項分類の結果に依存する制御信号を生成するコントローラ3066を含む。制御信号は、この制御信号に応じて動作して、ミルク分析ユニット402へのミルクサンプルの採取を制御するように構成されているサンプル採取システム4022に出力される。本実施形態では、生成された分類が不適なミルクのサンプル(「BAD」ミルク)の存在を示す場合、生成された制御信号は、サンプル採取システム4022内で解釈され、ピペット4042からミルク分析ユニット402の分析モダリティへのいかなるミルクサンプルの供給も阻止する。
いくつかの実施形態では、制御信号は、ミルク分析ユニット402の外側で、サンプル容器を矢印によって示される経路をたどるように偏向させるためのロボットアームまたは偏向器などのソータ(図示せず)に渡され、それは、コンベヤシステム406から、不適または不十分なミルクサンプルを含むと分類された容器、例えば408b、408cを除去し、したがって、ミルク分析ユニット402の分析モダリティへの不適なサンプルの供給を阻止するための制御信号に応答して動作する。
いくつかの実施形態では、破線構造412、304’によって図4に例解されているように、DLNN分類器の全体または一部分は、リモートコンピューティングデバイス304’に実装され得る。入力デバイス302によって捕捉された画像は、ここではインターネット412を使用して、リモートコンピューティングデバイス304’に送信される。リモートコンピューティングデバイス304’は、上記のコンピューティングデバイス304のように、DLNN分類器を実装して、上記で考察されるように、捕捉された画像を処理し、制御信号の構築に使用するために出力デバイス306への入力として戻される画像の二項分類を行う。代替的に、リモートコンピューティングデバイス304’はまた、制御信号を構築し、これを、ミルク分析ユニット402へのミルクサンプルの採取を制御する際に使用するために戻すことができる(例えば、サンプル採取セクション4022またはソータの制御を介して)。
ミルク分析器500の別の実施形態の一部分が図5aに例解されている。ミルク分析器500は、サンプル採取システム504を含むミルク分析ユニット502(部分的にのみ例解されている)を含む。サンプル採取システム504は、容器ホルダ506と、容器ホルダ506内に配置されたサンプル容器(図示せず)からのミルクが、ミルク分析ユニット502内の分析モダリティに輸送される可動ピペット508と、を含む。ピペット508は、軸Aに沿ってサンプル採取システム504の制御下で移動可能であり、容器ホルダ506のベース5062より上の高さを変化させ、したがって、容器ホルダ506内に配置されたサンプル容器内のミルクと接触する、および接触しないように移動可能である。
本発明による、図3を参照して上記に例解されたミルク分類システムの入力デバイス510は、少なくとも部分的に、サンプル採取システム504内に位置する。ここでの入力デバイス510は、容器ホルダ506内に配置されたミルクサンプル容器の上から画像を得るように構成されたデジタルスチルカメラ5102を含む。
図4に描写されるミルク分析器400に関連して上記で考察されるように、入力デバイス510によって得られた画像を表すデジタル画像データは、コンピューティングデバイス、例えば、図3のコンピューティングデバイス304に渡され、その後、上記のように、トレーニングされたDLNN分類器(例えば図2の200)を実装するプログラムコードを実行するプロセッサ(例えば図3の3044)の1つ以上の処理ユニットは、画像内の任意のミルクの、DLNN分類器で使用可能なクラスのセットのクラスへの分類を生成するためにデジタル画像データを処理する。出力デバイス(例えば図3の出力デバイス306)は、コンピューティングデバイスによって生成された分類を受信し、それに依存する出力信号を生成する。次に、出力信号は、ミルク分析ユニット502で採用されて、ユニット502へのミルクの供給を阻止する。本実施形態では、制御信号が、ミルクのサンプルの不在(サンプル容器がないか、またはサンプル容器が空であるか、またはサンプル容器が十分に満たされていない)、および/またはミルクの不適なサンプル(「BAD」ミルク)の存在を示す分類に依存する場合に、制御信号をサンプル採取システムで使用して、ミルクの採取を防止するように、ピペット508の動作を制御することに加えて、またはその代わりに、制御信号を採用して、ライト512、および/または本発明のミルク分類システム(例えば、図3のミルク分類システム300)の出力デバイス(例えば、図3の出力デバイス306)のディスプレイ(例えば、図3のディスプレイ3064)を構成する他の可視または音響信号発生器を動作させる。
ミルク分析器520の別の実施形態の一部分が図5bに例解されている。本実施形態では、分類システムは、図3に例解され、その図を参照して上記で説明されたミルク分類システム300を参照して説明される。
ミルク分析器520は、バイパス導管528を介してフローライン524(または他のバルクミルク源)内のミルクと液体連通しているミルク分析ユニット522(部分的にのみ例解されている)を含む。バイパス導管528は、ミルク分析ユニット522内の内部流れ導管530に接続され、いくつかの実施形態では、解放可能に接続されている。照明源532および検出器アレイ534は、協働して、本発明による分類システムの入力デバイスの一部を形成する。照明源は、複数の個別の光発生器5322を含み得、その各々は、同じまたは異なる波長の光を放出し得、その各々は、所望の波長プロファイルの照明を提供するために、任意の順序で、例えば、個別に直列に、または組み合わせて、または同時に、光を放出するようにエネルギーを与えられ得る。いくつかの実施形態では、検出器アレイ534は、既知の方法で、個別にアドレス指定可能なセンサ要素のマトリックスを含み得、その出力は、感光面に入射する照明の強度に依存し、例えば、0~256の範囲にわたり得る値を有する。個々のセンサ要素のこれらの値は、伝播され、分類システム300のコンピューティングデバイス(例えばコンピューティングデバイス304)に実装された本発明によるDLNN分類器(例えば図2のDLNN分類器200)の好適な寸法の入力マトリックスアレイMのセルを投入する。
本実施形態では、照明源532および検出器アレイ534は、内部流れ導管530の透明セクション5302を横切って互いに向かい合って位置し、検出器アレイ534は、透明セクション5302にミルクの透過画像を生成する。
多方向弁536は、内部流れ導管530の接合部に位置し、導管530内のミルクの流れを、内部流れ導管530の第1の分岐5304または第2の分岐5306のいずれかに選択するように制御可能である。第1の分岐5304は、廃棄物(図示せず)に接続され得、第2の分岐5306は、ミルク分析ユニット522内の分析モダリティ(図示せず)に接続され得る。
ミルク分類システム300と同様に、コンピューティングデバイス304は、図2に例解され、上記で説明され、検出器アレイ534によって生成されたデジタル画像データで表されるミルクサンプルの二項分類を行うようにトレーニングされた、分類器200などのDLNN分類器を実装するためにプログラムコードが実行される1つ以上の処理ユニットを有するプロセッサを含む。
コンピューティングデバイス304によって生成された分類に依存するコンピューティングデバイス304からの出力は、多方向弁536の動作を制御する際に使用するために、コンピューティングデバイス304からの出力に応答する制御信号を生成するように適合されている出力デバイス(例えば出力デバイス306)に渡される。コンピューティングデバイス304に実装されたDLNN分類器によって生成された分類が、分析に不適な画像データに表されたミルクに関連する場合、多方向弁536は、出力デバイス306から送信された制御信号に応答して制御され、第2の分岐5306ではなく、第1の分岐5304を通るミルクの流れを可能にする。逆に、分類が好適なミルクに関連する場合、多方向弁536は、出力デバイス306から送信された制御信号に応答して制御され、第2の分岐5304ではなく、第2の分岐5306を通るミルクの流れを可能にする。
図6は、本発明によるミルク分類システムのさらなる実施形態、例えば、バルクミルクをスクリーニングするために、例えば、農場またはミルク受け入れステーションに位置するバルクミルクテスタ700として実現される、図3の分類システム300を例解する。バルクミルクテスタ700は、透明画像化ステージ702、噴霧ユニット704、デジタル画像発生器、ここではデジタルカメラ(スチルまたはビデオ)706、照明源708、およびコンピューティングデバイス710を含み、コンピューティングデバイスは、固定コンピュータまたはラップトップなどのパーソナルコンピュータを含み得るか、または専用のコンピューティングデバイスであり得るか、または電気通信ネットワークを介して接続されたリモートコンピューティングデバイスであり得る。
噴霧ユニット704は、透明画像化ステージ702の上面7022の幅(またはその一部分)にわたって、ここではその第1の端部7024に向けて、ミルクを噴霧するように配設されたノズル(例えば7042)のアレイ(ここでは6つのノズルの線形アレイ)を含む。ミルクは、表面7022に噴霧されると、表面7022上で、透明画像化ステージ702の第2の端部7026に向かって薄い層で移動し、その後、ミルクは、画像化ステージ702を離れ、本実施形態では、トラフ712に収集され、いくつかの実施形態では、廃棄物システム714に収集され、いくつかの実施形態では、廃棄物システム714または戻りラインに選択的に接続されて、さらなる使用のためにトラフ712にミルクを戻す。噴霧されたミルクが上面7022上を移動するのを助けるために、透明画像化ステージ702は、本実施形態に例解されるように、その上面7022が水平に対してある角度で位置し得る。噴霧ユニット704は、入口、ここでは流量制御弁7044を介して、ミルクの供給源718、本実施形態では、バルクミルクフローラインに接続可能である。
デジタルカメラ706は、透明画像化ステージ702の片側に位置し、ミルクが上面7022上を薄い層として移動するときに、ミルクの少なくとも一部分を含む視野を有する。照明源708は、透明画像化ステージ702の反対側に配設され、デジタルカメラ706の視野内のミルクの少なくとも一部分を、上面7022とは反対側の透明画像化ステージ702の下面7028を通して照明する。デジタルカメラ706および照明源708は、協働し、デジタルカメラ706が、照明源708から透明画像化ステージ702の上面7022上のミルクの薄層を通って送信された光を検出することによって、デジタル画像データを生成する。
デジタルカメラ706は、通信インターフェース、ここでは、生成されたデジタルミルク画像データがコンピューティングデバイス710に提供されるワイヤレスインターフェース7062を備えていてもよい。コンピューティングデバイス710の通信インターフェース、ここではワイヤレスインターフェース7102は、デジタルカメラ706によって生成されたデジタルミルク画像データを受信し、それをコンピューティングデバイスの内部ストレージ7104に提供し、そこで、プロセッサ7106による処理に利用可能に保持され、プロセッサは、上記のDLNN分類器200など、複数のクラスのうちの1つに属するものとしてミルクを分類するようにトレーニングされた、本発明によるDLNN分類器を実装するように好適に構成されたコンピューティングデバイス710の中央処理ユニット(CPU)および/またはグラフィカル処理ユニット(GPU)などの1つ以上の処理ユニットを含み得る。
いくつかの実施形態では、透明画像化ステージ702は省略され得、デジタルカメラ706および照明源708は、噴霧ユニット704からカーテンとして噴霧されるミルクなどの自由空間内のミルクを介して透過画像を生成するように配設され得る。
プログラムコードは、インターネットを介してリモートサーバ/ストレージ設備からなど、その通信インターフェース7102を介して内部ストレージ7104から、または外部コンピューティングデバイス710からのいずれかで、コンピューティングデバイス710のシステムメモリ7108に得られる。プロセッサ7106は、このプログラムコードを実行し、DLNN分類器、例えば、DLNN分類器200を実装させて、内部ストレージ7104に記憶された入力画像データ内のミルクを、GOODもしくはBAD(または別様に許容範囲であるか否か、もしくは他の何らかの二項分類)のいずれかであるとして分類する。システム300の出力デバイス306と同様に、本実施形態の出力デバイス7110は、制御信号発生器7112およびディスプレイアダプタ7114を含み、これらは両方とも、プロセッサ7106に実装されたDLNN分類器、例えばDLNN分類器200によって生成された分類に依存する制御信号を生成するように適合されている。制御信号発生器7112は、外部デバイスの制御のための制御信号を生成するように構成されている。本実施形態では、制御信号発生器は、ワイヤレス通信インターフェース7102に接続されて、制御信号を、ほんの一例として、バルクミルクフローライン718を通るミルクの流れを調節する遮断弁720に送信する。ディスプレイアダプタ7114は、ディスプレイ制御信号を生成して、DLNN分類器によって生成された分類に応答して、コンピューティングデバイスの視覚的ディスプレイユニット7116にラベル7118を表示させるように構成されている。
例えば、プロセッサ7106によって実装されたDLNN分類器が、デジタルミルク画像データ内のミルクを不適な(例えば腐敗した)ものとして分類する場合、制御信号発生器7112は、制御信号を生成して遮断弁720を閉じるように動作して、ライン718(例えば貯蔵容器または運搬装置)内のミルクの流れを防止し、一方、ディスプレイアダプタは、分類に基づいて、1つ以上のメッセージ、例えば、視覚的ディスプレイユニット7116上に表示され、画像化されているミルクの望ましくない状態をユーザに警告するのに役立ち得る警告ラベル7118(HALTまたはSTOPPEDなど)を自動的に生成するように動作する。
本発明の態様は、汎用データ処理デバイス、例えば、パーソナルコンピュータによって実行されるルーチンなどのコンピュータ実行可能命令の一般的な文脈で上に説明され得るが、関連技術分野の当業者は、本発明が、ワイヤレスデバイス、マルチプロセッサシステム、ネットワークPC、ミニコンピュータ、メインフレームコンピュータなどを含む、他の通信、データ処理、またはコンピュータシステム構成で実践することができることを認識するだろう。
特定の機能などの本発明の態様は、単一のデバイスまたはユニット上で排他的に実施されると説明されているが、本発明はまた、機能が、異種の処理デバイス間およびいくつかのデバイスまたはユニット間で共有される分散環境でも実践することができる。異種の処理デバイス、ユニット、およびデバイスは、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、もしくはインターネットなどの通信ネットワークを介してリンクされ得るか、またはハードワイヤード通信され得る。
本発明のDLNN分類器を実装するためのプログラムコードは、磁気的または光学的に読み取り可能なコンピュータディスク、ハードワイヤードもしくは事前にプログラムされたチップ(例えば、EEPROM半導体チップ)、ナノテクノロジーメモリ、生物学的メモリ、または他のデータ記憶媒体を含む有形のコンピュータ可読媒体に記憶または配布され得る。代替的に、本発明に関するプログラムコードおよび他のデータは、電磁波などの伝搬媒体上の伝搬信号上で、インターネットまたは他のネットワーク(ワイヤレスネットワークを含む)を通じて配布され得る。
本発明の実施形態を構成するモジュール、ユニット、およびデバイスは、いくつかの場合には統合され得、他の場合には、一部またはすべてが相互接続された個々のモジュール、ユニット、およびデバイスであり得る。
Claims (5)
- 分析モダリティを有するミルク分析ユニット(402、502、522)を含むミルク分析器(400、500、520)であって、前記ミルク分析ユニット(402、502、522)は、デジタル画像データ(M)の生成のためにミルクを画像化するように構成された画像化デバイス(4042、4044、5102、534)を有するミルク分類システム(300、404)と、プログラムコードを実行して、前記画像化されたミルク内で視覚的に明らかであるクラス特徴に従って、前記画像化されたミルクを割り当てることができるクラスのセットからのクラスでラベル付けされたミルク画像を使用してトレーニングされた深層学習ニューラルネットワーク分類器を実装するように適合され、かつ前記画像化されたミルクをクラスの前記セットのクラスに割り当てるように動作可能であるプロセッサ(3044、304)と、前記割り当てられたクラスに応じて制御信号を出力して、前記ミルク分析ユニット(402、502、522)へのミルクの供給を制御するように構成されたコントローラ(3066)と、をさらに含む、ミルク分析器(400、500、520)。
- 前記ミルク分析ユニット(402、502、522)は、前記制御信号に応答して、前記分析モダリティへのミルクの流れを阻止するように適合されたサンプル採取システム(4022、504、530、536)を含む、請求項1に記載のミルク分析器(400、500、520)。
- 前記サンプル採取システム(4022、504)は、前記制御信号に応答して、移動するように構成された可動ピペット(4024、508)を含む、請求項2に記載のミルク分析器(400、500)。
- 前記サンプル採取システムは、流れ導管(530)と、前記流れ導管(530)に接続された弁ユニット(536)であって、前記制御信号に応答して、流れ導管の中のミルクの前記流れを制御する、弁ユニット(536)と、を含む、請求項2に記載のミルク分析器(520)。
- 前記流れ導管(530)は、透明セクション(5302)を含み、前記画像化デバイス(534)が、前記透明セクション(5302)内のミルクを画像化するように位置する、請求項4に記載のミルク分析器(520)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DKPA201800836 | 2018-11-07 | ||
DKPA201800836 | 2018-11-07 | ||
PCT/IB2019/058694 WO2020095131A1 (en) | 2018-11-07 | 2019-10-11 | Milk analyser for classifying milk |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022504710A JP2022504710A (ja) | 2022-01-13 |
JP7379478B2 true JP7379478B2 (ja) | 2023-11-14 |
Family
ID=68296569
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021519844A Active JP7379478B2 (ja) | 2018-11-07 | 2019-10-11 | ミルクを分類するためのミルク分析器 |
Country Status (8)
Country | Link |
---|---|
US (1) | US11721094B2 (ja) |
EP (1) | EP3877904A1 (ja) |
JP (1) | JP7379478B2 (ja) |
CN (1) | CN113228049B (ja) |
AU (1) | AU2019377262B2 (ja) |
BR (1) | BR112021007031A2 (ja) |
CA (1) | CA3115459A1 (ja) |
WO (1) | WO2020095131A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3979131A1 (en) * | 2020-10-02 | 2022-04-06 | Roche Diagnostics GmbH | A method for determining at least one state of at least one cavity of a transport interface configured for transporting sample tubes |
IL303033A (en) * | 2021-01-14 | 2023-07-01 | Brainvivo Ltd | Classification of discipline-specific content using a model of brain responses to general content |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002503097A (ja) | 1997-05-05 | 2002-01-29 | シェモメテック・アクティーゼルスカブ | ミルク中の体細胞測定のための方法およびシステム |
EP1264537A1 (de) | 2001-06-08 | 2002-12-11 | Westfalia Landtechnik GmbH | Verfahren und Vorrichtung zur Selektion von Milch |
WO2004102183A3 (en) | 2003-05-19 | 2005-05-06 | Lattec I S | An apparatus for analysing fluid taken from a body |
US20070289364A1 (en) | 2004-01-23 | 2007-12-20 | Magnus Wiethoff | Method and Device for Determining the Quality of Milk Produced by Machine Milking |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SU1372228A1 (ru) | 1985-10-10 | 1988-02-07 | Научно-производственное объединение "Агроприбор" | Смесительно-дозирующее устройство дл анализатора молока |
DE19921777B4 (de) * | 1999-05-11 | 2006-05-11 | Maier Jun., Jakob | Vorrichtung zur automatischen Milchaussonderung |
US20080259351A1 (en) * | 2004-03-24 | 2008-10-23 | Magnus Wiethoff | Device and Method for Recognizing Particles in Milk |
IL181114A0 (en) | 2007-02-01 | 2007-07-04 | E N G S Systems Ltd | System for detecting particles in a dairy fluid such as milk |
US9922242B2 (en) * | 2012-12-02 | 2018-03-20 | Agricam Ab | Systems and methods for predicting the outcome of a state of a subject |
CN103177261B (zh) * | 2013-03-06 | 2016-02-10 | 北方民族大学 | 一种基于图像识别技术的奶牛产奶量自动计量系统及其图像识别方法 |
EP2987106A4 (en) * | 2013-04-18 | 2016-12-14 | Digimarc Corp | ACQUIRING AND ANALYZING PHYSIOLOGICAL DATA |
NL2012275C2 (nl) * | 2014-02-17 | 2015-08-25 | Lely Patent Nv | Veehouderijsysteem. |
WO2016037300A1 (en) * | 2014-09-10 | 2016-03-17 | Xiaoou Tang | Method and system for multi-class object detection |
CN107430587A (zh) * | 2014-12-10 | 2017-12-01 | 尼欧基因组学实验室股份有限公司 | 自动化流式细胞术分析方法及系统 |
JP2018509615A (ja) | 2015-02-19 | 2018-04-05 | プレミアム ジェネティクス (ユーケー) リミテッド | 走査型赤外線測定システム |
WO2017096570A1 (en) * | 2015-12-10 | 2017-06-15 | Intel Corporation | Visual recognition using deep learning attributes |
WO2017201540A1 (en) | 2016-05-20 | 2017-11-23 | Techcyte, Inc. | Machine learning classification of particles or substances in digital microscopy images |
CN106778555B (zh) * | 2016-11-30 | 2020-04-07 | 石河子大学 | 一种基于机器视觉的奶牛反刍咀嚼、吞咽次数统计方法 |
CN106778902B (zh) * | 2017-01-03 | 2020-01-21 | 河北工业大学 | 基于深度卷积神经网络的奶牛个体识别方法 |
US10360499B2 (en) | 2017-02-28 | 2019-07-23 | Anixa Diagnostics Corporation | Methods for using artificial neural network analysis on flow cytometry data for cancer diagnosis |
US11222422B2 (en) | 2017-03-09 | 2022-01-11 | Northwestern University | Hyperspectral imaging sensor |
KR102619657B1 (ko) * | 2018-06-15 | 2023-12-29 | 삼성전자주식회사 | 냉장고와 서버 및 서버의 제어 방법 |
-
2019
- 2019-10-11 US US17/278,897 patent/US11721094B2/en active Active
- 2019-10-11 WO PCT/IB2019/058694 patent/WO2020095131A1/en unknown
- 2019-10-11 EP EP19790819.7A patent/EP3877904A1/en active Pending
- 2019-10-11 JP JP2021519844A patent/JP7379478B2/ja active Active
- 2019-10-11 CA CA3115459A patent/CA3115459A1/en active Pending
- 2019-10-11 CN CN201980067754.XA patent/CN113228049B/zh active Active
- 2019-10-11 AU AU2019377262A patent/AU2019377262B2/en active Active
- 2019-10-11 BR BR112021007031-1A patent/BR112021007031A2/pt unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002503097A (ja) | 1997-05-05 | 2002-01-29 | シェモメテック・アクティーゼルスカブ | ミルク中の体細胞測定のための方法およびシステム |
EP1264537A1 (de) | 2001-06-08 | 2002-12-11 | Westfalia Landtechnik GmbH | Verfahren und Vorrichtung zur Selektion von Milch |
WO2004102183A3 (en) | 2003-05-19 | 2005-05-06 | Lattec I S | An apparatus for analysing fluid taken from a body |
US20070289364A1 (en) | 2004-01-23 | 2007-12-20 | Magnus Wiethoff | Method and Device for Determining the Quality of Milk Produced by Machine Milking |
Non-Patent Citations (2)
Title |
---|
DA CRUZ, A. G. ,Monitoring the authenticity of low-fat yogurts by an artificial neural network,JOURNAL OF DAIRY SCIENCE,2009年10月,Volume 92, Issue 10,Pages 4797-4804,DOI: 10.3168/jds.2009-2227 |
ZAKERI, Atefe ,An Early Detection System for Proactive Management of Raw Milk Quality: An Australian Case Study,IEEE Access,2018年10月25日,Volume 6,Pages 64333-64349,DOI:10.1109/ACCESS.2018.2877970 |
Also Published As
Publication number | Publication date |
---|---|
US20220051389A1 (en) | 2022-02-17 |
CN113228049A (zh) | 2021-08-06 |
WO2020095131A1 (en) | 2020-05-14 |
CA3115459A1 (en) | 2020-05-14 |
EP3877904A1 (en) | 2021-09-15 |
US11721094B2 (en) | 2023-08-08 |
AU2019377262B2 (en) | 2024-05-02 |
AU2019377262A1 (en) | 2021-03-25 |
CN113228049B (zh) | 2024-02-02 |
JP2022504710A (ja) | 2022-01-13 |
BR112021007031A2 (pt) | 2021-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bargoti et al. | Deep fruit detection in orchards | |
US10692209B2 (en) | Image processing apparatus, image processing method, and computer-readable non-transitory recording medium storing image processing program | |
CN111094952B (zh) | 使用统一神经网络进行缺陷检测及分类的方法及系统 | |
CN108475350B (zh) | 使用基于学习的模型加速半导体缺陷检测的方法和系统 | |
TWI834005B (zh) | 干擾過濾之深度學習網路 | |
CN113711234A (zh) | 纱线质量控制 | |
KR102622720B1 (ko) | 적층 잡음 제거 오토 인코더를 사용한 이미지 잡음 감소 | |
JP7379478B2 (ja) | ミルクを分類するためのミルク分析器 | |
CN115769254A (zh) | 基于深度学习的缺陷检测 | |
AU2024202801A1 (en) | Acquiring and inspecting images of ophthalmic lenses | |
Salvucci et al. | Fast olive quality assessment through RGB images and advanced convolutional neural network modeling | |
KR20230056698A (ko) | 전이 학습을 사용한 웨이퍼 레벨 공간 시그니처의 그룹화 | |
US20230152781A1 (en) | Manufacturing intelligence service system connected to mes in smart factory | |
Peng et al. | Contamination classification for pellet quality inspection using deep learning | |
RU2794708C2 (ru) | Анализатор молока для классификации молока | |
EP4213108A1 (en) | Method, device and system for analyzing a sample | |
Han et al. | Real-time inspection of multi-sided surface defects based on panet model | |
KR20230122916A (ko) | 3차원 형태 제품의 표면에 대한 결함을 검출하기 위한 딥 러닝 모델을 생성하기 위한 방법 및 장치 | |
JP7250090B2 (ja) | 試料管を移送するように構成された移送インターフェースの少なくとも1つのキャビティの少なくとも1つの状態を判定する方法 | |
Kazakievich et al. | Optical-Electronic System for Apple Sorting Line: Development and Implementation | |
KR102436336B1 (ko) | 인공지능 기반의 미세조류 검출장치 및 그 방법 | |
Chen | Design of practical computer vision system with real-time object detection capability | |
Wei et al. | Surface Defects Detection of Cylindrical High-Precision Industrial Parts Based on Deep Learning Algorithms: A Review | |
Reinikainen | Edge-computer-based machine vision solution for quality control | |
Lindvall | A Computer Vision-Based Approach for Automated Inspection of Cable Connections |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220902 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231024 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231101 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7379478 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |