JP7223880B2

JP7223880B2 - 乳牛の乳首の検出畳み込みニューラルネットワークモデル及びその構築方法

Info

Publication number: JP7223880B2
Application number: JP2021568565A
Authority: JP
Inventors: 迪呉; 博博連; 晨健呉; 旻▲しん▼ 陳; 虹陳
Original assignee: FJ Dynamics Technology Co Ltd
Current assignee: FJ Dynamics Technology Co Ltd
Priority date: 2019-05-17
Filing date: 2019-09-25
Publication date: 2023-02-16
Anticipated expiration: 2039-09-25
Also published as: WO2020232941A1; JP2022533167A; CN110969156B; EP3971766A1; EP3971766A4; CN110969156A

Description

本発明は、コンピュータ分野に関し、さらに乳牛の乳首の検出畳み込みニューラルネットワークモデル及びその構築方法並びにその構築システムに関する。

科学技術の発展に伴い、農業や畜産の自動化の開発は、現在の需要になっている。自動化の発展は、多くの人的資源と時間のコストを削減でき、また、農薬の自動噴霧や農場、牧草地の自動給餌装置などの人間の管理を容易にする。多くの畜産生産作業のうち、乳牛搾乳は、労働強度が高く、操作者に対する要求が高い仕事である。現在、自動搾乳装置の研究と設計もいくつかあるが、これらの装置では依然として手動操作が必要とされ、操作が複雑であり、作業効率が低い。

当業者は、乳牛搾乳プロセスの完全な自動化を実現するために、乳首の検出および位置決めが非常に重要なステップであることを理解すべきである。乳首の位置決めが正確であるか否かは、牛搾乳プロセスの精度と効果に直接関係している。オブジェクト検出を実現するために、従来の方法では、オブジェクトに対してさまざまな特徴抽出方法と分類アルゴリズムを設計する必要があり、これらは、主に、領域選択－特徴抽出－分類器として表すことができる。領域の選択は、通常、列挙戦略を使用し、スライディングウィンドウを使用し、さまざまなサイズを設定し、さまざまなアスペクト比で画像をトラバースし、時間の複雑さが高くなる。そして、使用される特徴抽出は、人工的に設計されたものばかりであり、形状の多様性、光の多様性、光の変化の多様性、および背景の多様性により、ロバスト性が劣っている。

畳み込みニューラルネットワークアーキテクチャの開発とともに、ディープラーニングに基づく目標の検出および認識が主流の方法になっている。１つのタイプは、Ｒ－ＣＮＮ、ＦａｓｔＲ－ＣＮＮ、ＦａｓｔｅｒＲ－ＣＮＮなど、オブジェクト境界領域推薦を含むモデルであり、このタイプのモデルは、列挙法を使用して目標候補領域を予め仮定し、目標位置を徐々に微調整および最適化し、最終的に分類と認識を実現するが、このタイプの方法の検出速度は遅い。もう１つのタイプは、境界領域を直接生成するモデル、例えば、ＹＯＬＯやＳＳＤなどのＯｎｅ－ｓｔａｇｅの検出モデルである。このタイプのモデルは、目標予測を実行するとともに、境界と分類の認識を予測できる。検出速度は非常に明らかに向上しているが、多くの場合、検出漏れなど、検出精度が低い問題がある。一方、ディープラーニングのフレームワークでは、学習すべきパラメータが多すぎ、計算速度が遅く、過剰適合が発生する可能性があるため、目標検出の改善点はまだたくさんある。

本発明の１つの目的は、乳牛の乳首の検出畳み込みニューラルネットワークモデル及びその構築方法並びにその構築システムを提供することであり、畳み込みニューラルネットワークを乳牛の乳首検出の分野に適用することで、乳牛の乳首検出の精度を向上させる。

本発明の別の目的は、乳牛の乳首の検出畳み込みニューラルネットワークモデル及びその構築方法並びにその構築システムを提供することであり、前記乳牛の乳首の検出畳み込みニューラルネットワークモデルは、乳牛の乳首に対する検出精度が高い。

本発明の別の目的は、乳牛の乳首の検出畳み込みニューラルネットワークモデル及びその構築方法並びにその構築システムを提供することであり、入力された画像の認識率が高く、乳牛の乳首の認識ロバスト性が高く、学習能力が高い。

本発明の別の目的は、乳牛の乳首の検出畳み込みニューラルネットワークモデル及びその構築方法並びにその構築システムを提供することであり、ＩｍａｇｅＮｅｔ訓練モデルで訓練されたＲｅｓＮｅｔ５０パラメータファイルを用いることで、モデルの収束速度を加速し、乳牛の乳首の検出効率を向上させることができる。

本発明の別の目的は、乳牛の乳首の検出畳み込みニューラルネットワークモデル及びその構築方法並びにその構築システムを提供することであり、ＢａｔｃｈＮｏｒｍ層のパラメータを畳み込み層に統合することで、検出効率を向上できる。

本発明の別の目的は、乳牛の乳首の検出畳み込みニューラルネットワークモデル及びその構築方法並びにその構築システムを提供することであり、スクリーニングメカニズムを導入し、所定条件を満たさない検出ブロックを除去することで、乳牛の乳首検出の精度を向上させる。

本発明の別の目的は、乳牛の乳首の検出畳み込みニューラルネットワークモデル及びその構築方法並びにその構築システムを提供することであり、前記乳牛の乳首の検出畳み込みニューラルネットワークモデルは、乳牛の乳首に対する検出精度が高く、使いやすい。

以上に対応し、以上の少なくとも１つの発明目的を実現するために、本発明は、乳牛の乳首の検出畳み込みニューラルネットワークモデルの構築方法を提供し、乳牛の乳首の検出畳み込みニューラルネットワークモデルの構築方法は、
少なくとも１つの乳牛の少なくとも１つの乳牛画像を取得し、前記乳牛画像が乳牛の乳首を含むステップ１０１と、
前記乳牛画像の各々に対応するマーキング画像を取得し、前記マーキング画像が前記乳牛画像における前記乳牛の乳首の位置をマーキングする少なくとも１つの目標ブロックを有するステップ１０２と、
前記乳牛画像及び対応する前記マーキング画像を所定比率で訓練セット、検証セット及びテストセットに分割するステップ１０３と、
前記訓練セットにおける前記乳牛画像及び対応する前記マーキング画像に基づいて、乳牛の乳首の検出畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記検証セット及び前記テストセットにおける前記乳牛画像及び対応する前記マーキング画像に基づいて、前記乳牛の乳首の検出畳み込みニューラルネットワークモデルパラメータに対して最適化とテストを行うステップ１０５と、を含む。

本発明のいくつかの好適な実施例では、前記ステップ１０３では、前記乳牛画像及び対応する前記マーキング画像を８：１：１の比率で前記訓練セット、前記検証セット及び前記テストセットに分割する。

本発明のいくつかの好適な実施例では、前記ステップ１０２と前記ステップ１０３との間に、前記乳牛画像及び対応する前記マーキング画像に対して増幅処理を行うことにより、前記乳牛画像及び対応する前記マーキング画像の多様性を向上させるステップをさらに含む。

本発明のいくつかの好適な実施例では、前記ステップ１０３と前記ステップ１０４との間に、前記マーキング画像に基づいて前記目標ブロックを所定サイズに調整するステップをさらに含む。

本発明のいくつかの好適な実施例では、Ｋ－ｍｅａｎｓクラスタリングアルゴリズムを用いて前記目標ブロックを前記所定サイズに調整する。

本発明のいくつかの好適な実施例では、前記ステップ１０５では、前記乳牛の乳首の検出畳み込みニューラルネットワークモデルを最適化して認証するとき、前記乳牛の乳首の検出畳み込みニューラルネットワークモデルのＢａｔｃｈＮｏｒｍ層のパラメータを畳み込み層に統合する。

本発明のいくつかの好適な実施例では、前記乳牛の乳首の検出畳み込みニューラルネットワークモデルの構築方法は、所定条件を満たさない検出ブロックを除去するステップをさらに含む。

本発明の他の態様によれば、本発明は、画像における乳牛の乳首の位置を検出する乳牛の乳首の検出畳み込みニューラルネットワークモデルをさら提供し、前記乳牛の乳首の検出畳み込みニューラルネットワークモデルは、
少なくとも１つの乳牛の少なくとも１つの乳牛画像を取得し、前記乳牛画像が乳牛の乳首を含む乳牛画像取得ユニットと、
前記乳牛画像に対応するマーキング画像を取得し、前記マーキング画像が前記乳牛の乳首の位置をマーキングする少なくとも１つの目標ブロックを有するマーキング画像取得ユニットと、
前記乳牛画像及び対応する前記マーキング画像を所定比率で訓練セット、検証セット及びテストセットに分割する画像分割ユニットと、
前記訓練セットにおける前記乳牛画像及び対応する前記マーキング画像に基づいて、乳牛の乳首の検出畳み込みニューラルネットワークモデルを構築するネットワークモデル構築ユニットと、
前記検証セット及び前記テストセットにおける前記乳牛画像及び対応する前記マーキング画像に基づいて、前記乳牛の乳首の検出畳み込みニューラルネットワークモデルパラメータに対して最適化とテストを行うネットワークモデル最適化ユニットと、を含む。

本発明のいくつかの好適な実施例では、前記画像分割ユニットは、前記乳牛画像及び対応する前記マーキング画像を８：１：１の比率で前記訓練セット、前記検証セット及び前記テストセットに分割する。

本発明のいくつかの好適な実施例では、前記乳牛の乳首の検出畳み込みニューラルネットワークモデル構築システムは、前記乳牛画像及び対応する前記マーキング画像に対して増幅処理を行うことにより、前記乳牛画像及び対応する前記マーキング画像の多様性を向上させる画像増幅ユニットをさらに含む。

本発明のいくつかの好適な実施例では、前記乳牛の乳首の検出畳み込みニューラルネットワークモデル構築システムは、前記マーキング画像に基づいて前記目標ブロックを所定サイズに調整する目標ブロック調整ユニットをさらに含む。

本発明のいくつかの好適な実施例では、前記乳牛の乳首の検出畳み込みニューラルネットワークモデル構築システムは、所定条件を満たさない検出ブロックをスクリーニングするスクリーニングユニットをさらに含む。

本発明の他の態様によれば、本発明は、乳牛画像における乳牛の乳首の位置を検出する乳牛の乳首の検出畳み込みニューラルネットワークモデルをさら提供し、前記乳牛の乳首の検出畳み込みニューラルネットワークモデルの構築方法は、
少なくとも１つの乳牛の少なくとも１つの乳牛画像を取得し、前記乳牛画像が乳牛の乳首を含むステップ１０１と、
前記乳牛画像の各々に対応するマーキング画像を取得し、前記マーキング画像が前記乳牛画像における前記乳牛の乳首の位置をマーキングする少なくとも１つの目標ブロックを有するステップ１０２と、
前記乳牛画像及び対応する前記マーキング画像を所定比率で訓練セット、検証セット及びテストセットに分割するステップ１０３と、
前記訓練セットにおける前記乳牛画像及び対応する前記マーキング画像に基づいて、乳牛の乳首の検出畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記検証セット及び前記テストセットにおける前記乳牛画像及び対応する前記マーキング画像に基づいて、前記乳牛の乳首の検出畳み込みニューラルネットワークモデルパラメータに対して最適化とテストを行うステップ１０５と、を含む。

本発明の他の態様によれば、本発明は、乳牛の乳首検出方法であって、
実際の乳牛画像を取得するステップ２０１と、
乳牛の乳首の検出畳み込みニューラルネットワークモデルを用いて前記実際の乳牛画像における乳牛の乳首の位置を検出するステップ２０２と、を含み、
前記乳牛の乳首の検出畳み込みニューラルネットワークモデルの構築方法は、
少なくとも１つの乳牛の少なくとも１つの乳牛画像を取得し、前記乳牛画像が乳牛の乳首を含むステップ１０１と、
前記乳牛画像の各々に対応するマーキング画像を取得し、前記マーキング画像が前記乳牛画像における前記乳牛の乳首の位置をマーキングする少なくとも１つの目標ブロックを有するステップ１０２と、
前記乳牛画像及び対応する前記マーキング画像を所定比率で訓練セット、検証セット及びテストセットに分割するステップ１０３と、
前記訓練セットにおける前記乳牛画像及び対応する前記マーキング画像に基づいて、乳牛の乳首の検出畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記検証セット及び前記テストセットにおける前記乳牛画像及び対応する前記マーキング画像に基づいて、前記乳牛の乳首の検出畳み込みニューラルネットワークモデルパラメータに対して最適化とテストを行うステップ１０５と、を含む、ことを特徴とする乳牛の乳首検出方法をさら提供する。

本発明の１つの好適な実施例による乳牛の乳首の検出畳み込みニューラルネットワークモデル構築方法の模式的なブロック図である。本発明の１つの好適な実施例による乳牛の乳首の検出畳み込みニューラルネットワークモデル構築方法の模式的なフローチャート図である。本発明の１つの好適な実施例による乳牛の乳首の検出畳み込みニューラルネットワークモデルのネットワークアーキテクチャ構造の模式図である。本発明の１つの好適な実施例による乳牛の乳首の検出畳み込みニューラルネットワークモデルのスクリーニングメカニズムの模式図である。本発明の１つの好適な実施例による乳牛の乳首の検出畳み込みニューラルネットワークモデルのネットワーク訓練のＬｏｓｓ曲線図である。本発明の１つの好適な実施例による乳牛の乳首の検出畳み込みニューラルネットワークモデルのネットワークテスト結果ＰＲ図である。本発明の１つの好適な実施例による乳牛の乳首の検出畳み込みニューラルネットワークモデルの適用構造の模式図である。本発明の第２の好適な実施例による乳牛の乳首の検出畳み込みニューラルネットワークモデル構築方法の模式的なブロック図である。本発明の１つの好適な実施例による乳牛の乳首の検出畳み込みニューラルネットワークモデル構築システム全体構造の模式的なブロック図である。本発明の１つの好適な実施例による乳牛の乳首検出方法の模式的なブロック図である。

以下の説明は、当業者が本発明を実施できるために、本発明を開示するためのものである。以下の説明における好ましい実施形態は単なる例であり、当業者は他の明白な変形を想到できる。以下の説明で限定される本発明の基本原理は、その他の実施案、変形案、改良案、同等案及び本発明の精神と範囲から逸脱しないその他の技術の解決手段に適用できる。

当業者であれば理解できるように、本発明の説明において、「縦方向」、「横方向」、「上」、「下」、「前」、「後」、「左」、「右」、「垂直」、「水平」、「頂」、「底」「内」、「外」などのような用語により示される方位又は位置関係は、図面に示される方位又は位置関係に基づくものであり、本発明の説明及び本発明の説明の簡単化のために過ぎず、示される装置又は要素が特定方位を有したり、特定方位で構成又は操作されたりすることを指示又は示唆するものではなく、従って、上記用語は、本発明に対する限定としては理解されない。

理解できるように、用語の「１つ」は、「少なくとも１つ」又は「１つ又は複数」と理解されるべきであり、すなわち、１つの実施例では、１つの素子の数は、１つであってもよいが、他の実施例では、該素子の数は複数であってもよく、用語「１つ」は数に対する制限と理解すべきではない。

明細書の図１～図８を参照すると、本発明に係る乳牛の乳首の検出畳み込みニューラルネットワークモデルの構築方法１００が説明され、乳牛の乳首の検出畳み込みニューラルネットワークモデルの構築方法１００は、
少なくとも１つの乳牛の少なくとも１つの乳牛画像を取得し、前記乳牛画像が乳牛の乳首を含むステップ１０１と、
前記乳牛画像の各々に対応するマーキング画像を取得し、前記マーキング画像が前記乳牛画像における前記乳牛の乳首の位置をマーキングするための目標ブロックを有するステップ１０２と、
前記乳牛画像及び対応する前記マーキング画像を所定比率で訓練セット、検証セット及びテストセットに分割するステップ１０３と、
前記訓練セットにおける前記乳牛画像及び対応する前記マーキング画像に基づいて、乳牛の乳首の検出畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記検証セット及び前記テストセットにおける前記乳牛画像及び対応する前記マーキング画像に基づいて、前記乳牛の乳首の検出畳み込みニューラルネットワークモデルパラメータに対して最適化とテストを行うステップ１０５と、を含む。

前記ステップ１０１では、前記乳牛の前記乳牛画像を撮影するとき、工業用カメラで前記乳牛の異なる角度の複数枚の前記乳牛画像をそれぞれ取得する。好適には、それぞれ前記乳牛の前後左右の４つ方向から前記乳牛の前記乳牛画像を撮影する。好適には、前記乳牛の数は、１００匹であり、それぞれ１００匹の前記乳牛の前記乳牛画像を取得することにより、サンプルの多様性を向上させる。

なお、前記乳牛の前記乳牛画像を撮影した後、所定条件を満たさない乳牛画像、例えば、露光されたり、不明瞭であったり、目標が遮蔽されたりするなどの写真を除去し、前記乳牛画像の精度を向上させ、乳牛の乳首の検出畳み込みニューラルネットワークモデルの精度を向上させる。

前記ステップ１０２では、前記乳牛画像のうち、前記所定条件を満たさない画像を除去した後、マーキングツールを用いて残りの前記乳牛画像をマーキングし、各前記乳牛画像に対して対応する目標ブロック及びカテゴリを作成し、前記目標ブロックは、前記乳牛画像における前記乳牛の乳首の位置をマーキングするためのものであり、マーキングカテゴリは、主として背景、乳牛乳房及び乳牛の乳首に分けられており、マーキング済みの前記マーキング画像をｘｍｌファイルに記憶する。

前記ステップ１０３では、前記乳牛画像及び対応する前記マーキング画像を所定比率で前記訓練セット、前記検証セット及び前記テストセットに分割し、好適には、本好適な実施例では、前記乳牛画像及び対応する前記マーキング画像を８：１：１の比率で前記訓練セット、前記検証セット及び前記テストセットにランダムに分割し、対応するｔｘｔファイルを生成し、ファイルに図の名称を記憶する。前記乳牛画像、マーキングして生成された前記ｘｍｌファイル及びｔｘｔファイルをそれぞれＰａｓｃａｌ＿ＶＯＣデータセットに対応するフォルダに入れ、Ｐａｓｃａｌ＿ＶＯＣフォーマットの乳牛データセットを生成する。

さらに、本発明の別のいくつかの好適な実施例では、前記ステップ１０２と前記ステップ１０３との間に、前記乳牛画像及び対応する前記マーキング画像に対して増幅処理を行うことにより、画像の多様性を向上させるステップ１０６をさらに含む。当業者であれば理解できるように、取得された前記乳牛画像の数が限られているため、ディープラーニングの大量のデータの要求を満たすことができず、回転、並進及び反転などのデータ強化技術を用いて前記乳牛画像及び前記マーキング画像の多様性を向上させ、また、データセットの平均値を計算し、データセットに対して色標準化処理を行い、不均一な光よる影響を解消し、増幅処理済みの前記乳牛画像及び対応する前記マーキング画像を前記所定比率で前記訓練セット、前記検証セット及び前記テストセットに分割する。当業者であれば理解できるように、本発明の別のいくつかの好適な実施例では、収集された前記乳牛画像の数が十分に多い場合、ディープラーニングに必要とされる大量のデータの要求を満たすことができるとき、前記乳牛画像及び対応する前記マーキング画像に対して増幅処理を行わなくてもよい。

さらに、前記ステップ１０３と前記ステップ１０４との間に、前記マーキング画像に基づいて前記目標ブロックを所定サイズに調整するステップ１０７をさらに含む。当業者であれば理解できるように、本発明に係る前記乳牛画像及び対応する前記マーキング画像の特殊性のため、実際ニーズに応じて前記乳牛画像及び対応する前記マーキング画像の大きさを調整する必要がある。具体的には、本好適な実施例では、Ｋ－ｍｅａｎｓクラスタリングアルゴリズムを用いて前記目標ブロックの大きさを取得し、各訓練サンプルを最も近い中心点が位置するクラスタに割り当て、サンプルとクラスタ中心との距離ｄを計算することで、それぞれ９つ及び１５つのａｎｃｈｏｒを生成し、ｄの計算式は、ｄ（ｂｏｘ，ｃｅｎｔｒｏｉｄ）＝１－ＩＯＵ（ｂｏｘ，ｃｅｎｔｒｏｉｄ）であり、ＩＯＵの計算式は、ＩＯＵ＝（ｂｏｘ∩ｃｅｎｔｒｏｉｄ）／（ｂｏｘ∪ｃｅｎｔｒｏｉｄ）である。

明細書の図面を参照すると、前記ステップ１０４では、前記訓練セットにおける前記乳牛画像及び対応する前記マーキング画像に基づいて、乳牛画像に基づく畳み込みニューラルネットワークを構築し、ここで用いられるネットワークは、ＦａｓｔｅｒＲＣＮＮ及びＲＦＣＮを含み、ｒｅｓｎｅｔ５０を特徴抽出ネットワークとして用い、ネットワークの最後の全接続層を除去する。前記特徴抽出ネットワークは、画像特徴情報を抽出するための残差畳み込み構造であり、この後、ＲＰＮネットワークに接続して目標検出を行う。前記ステップ１０７で決定された前記目標ブロックの大きさに応じて、ネットワーク層におけるａｎｃｈｏｒの大きさ及び数を変更することで、小目標に対する検出精度を向上させる。そして、前記訓練セットにおける前記乳牛画像及び対応する前記マーキング画像を畳み込みニューラルネットワークに入力することで、前記乳牛の乳首の検出畳み込みニューラルネットワークを構築する。具体的には、ネットワークに入力された画像解像度が７２０＊１２８０であり、また、ＩｍａｇｅＮｅｔモデルにより訓練されたｒｅｓｎｅｔ５０パラメータファイルをダウンロードし、ｃａｆｆｅフレームワークを用いて訓練し、訓練結果に基づいて学習パラメータを調整し、最後に条件を満たすモデルパラメータを取得する。

前記ステップ１０５において、前記検証セットにおける前記乳牛画像及び対応する前記マーキング画像を用いて前記乳牛の乳首の検出畳み込みニューラルネットワークモデルのパラメータを最適化させ、前記テストセットにおける前記乳牛画像及び対応する前記マーキング画像を用いて前記乳牛の乳首の検出畳み込みニューラルネットワークをテストすることで、前記乳牛の乳首の検出畳み込みニューラルネットワークモデルの検出効果を決定する。本発明の１つの好適な実施例では、前記テストセットにおける前記乳牛画像及び対応する前記マーキング画像を用いて前記乳牛の乳首の検出畳み込みニューラルネットワークモデルの検出結果を認証した結果は、ＭＡＰ＝０．９０４６、ＦＰＳ＝１２である。

本発明の別のいくつかの好適な実施例では、前記ステップ１０２において、前記乳牛画像の各々に対応する前記マーキング画像を取得し、マーキングツールを用いて前記乳牛画像をマーキングするとき、マーキングデータは、背景及び乳牛の乳首の２種類であってもよく、主要目的は、乳牛の乳首の検出であり、それにより、マーキングツールを用いてマーキングするときの仕事量を減少させ、乳牛の乳首マーキングの速度を向上させる。

本発明に係る前記乳牛の乳首の検出畳み込みニューラルネットワークモデルの構築方法の第２の好適な実施例では、所定条件を満たさない検出ブロックを除去するステップ１０８をさらに含む。当業者であれば理解できるように、大目標検出が小目標検出より容易であり、小目標の誤検出を回避し、検出精度をさらに向上させるために、直感的に条件を満たさない側検出ブロックを除去する。明細書の図４を参照すると、破線で示される前記検出ブロックは、明らかに前記目標ブロック内に位置しない一方、実線で示される前記検出ブロックは、前記目標ブロック内に位置し、従って、破線で示される前記検出ブロックを除去し、実線で示される前記検出ブロックを残し、最後にネットワークが異なるカテゴリ及び対応する信頼度と位置情報を出力し、設定された閾値に基づいて結果を得る。

本発明に係る前記乳牛の乳首の検出畳み込みニューラルネットワークモデルの構築方法の第３の好適な実施例では、前記ステップ１０６において、前記検証セット及び前記テストセットにおける前記乳牛画像及び対応する前記マーキング画像に基づいて、前記乳牛の乳首の検出畳み込みニューラルネットワークモデルパラメータを最適化して認証し、前記乳牛の乳首の検出畳み込みニューラルネットワークモデルパラメータを処理し、ＢａｔｃｈＮｏｒｍ層のパラメータを畳み込み層に統合することで、前記乳牛の乳首の検出畳み込みニューラルネットワークモデルの推測速度を向上させる。具体的には、畳み込み層の計算は、Ｗ＊Ｘ＋Ｂであり、式中、Ｗは、畳み込み加重であり、Ｂは、畳み込み偏差である。ＢＮ層では、

以下の表１を参照すると、ＢＮ層が畳み込み層に統合される前後の効果の比較が示され、実験から分かるように、ＢＮ層が畳み込み層に統合された後、前記乳牛の乳首の検出畳み込みニューラルネットワークモデルの検出速度が著しく向上する。

本発明に係る前記乳牛の乳首の検出畳み込みニューラルネットワークモデルの構築方法の第４の好適な実施例では、前記ステップ１０４において、前記訓練セットにおける前記乳牛画像及び対応する前記マーキング画像に基づいて、前記乳牛の乳首畳み込みニューラルネットワークモデルを構築する過程では、畳み込みニューラルネットワークパラメータは、力積Ｍｏｍｅｎｔｕｍ、重み減衰Ｄｅｃａｙ、最大反復回数ＭａｘＩｔｅｒｓ、学習率Ｌｅａｒｎｉｎｇｒａｔｅ、学習率変化反復回数Ｓｔｅｐｓ及び学習率変化比率Ｓｃａｌｅｓを含む。畳み込みニューラルネットワークにおける訓練パラメータは、以下の表２のように定義されている。

本発明に係る前記乳牛の乳首の検出畳み込みニューラルネットワークモデルの構築方法の第５の好適な実施例では、前記ステップ１０８において、前記マーキング画像に基づいて前記目標ブロックを所定サイズに調整する過程は、以下のとおりである。オリジナルネットワークモデルが異なる比率かつ異なるスケール（例えば、ｒａｔｉｏｓ＝［０．５，１，２］、ｓｃａｌｅｓ＝［１２８，２５６，５１２］）の９つのａｎｃｈｏｒを用い、本好適な実施例では、クラスタリング方法でａｎｃｈｏｒの大きさを決定せずに、比率及びスケールの大きさを直接調整することで、小目標の検出要求を満たし、具体的な変更結果は、ｒａｔｉｏｓ＝［０．５，１，２］、ｓｃａｌｅｓ＝［１６，３２，６４，１２８，２５２］である。

明細書の図９を参照すると、本発明の他の態様によれば、本発明は、乳牛の乳首の検出畳み込みニューラルネットワークモデル構築システム２００をさら提供し、前記乳牛の乳首の検出畳み込みニューラルネットワークモデル２００は、乳牛画像取得ユニット２１と、マーキング画像取得ユニット２２と、画像分割ユニット２３と、ネットワークモデル構築ユニット２４と、ネットワークモデル最適化ユニット２５と、を含み、前記乳牛画像取得ユニット２１は、少なくとも１つの乳牛の乳牛画像を取得し、前記乳牛画像が乳牛の乳首を含む。前記マーキング画像取得ユニット２２は、前記乳牛画像の各々に対応するマーキング画像を取得し、前記マーキング画像が前記乳牛画像における前記乳牛の乳首の位置をマーキングする少なくとも１つの目標ブロックを有する。前記画像分割ユニット２３は、前記乳牛画像及び対応する前記マーキング画像を所定比率で訓練セット、検証セット及びテストセットに分割し、前記ネットワークモデル構築ユニット２４は、前記訓練セットにおける前記乳牛画像及び対応する前記マーキング画像に基づいて、乳牛の乳首の検出畳み込みニューラルネットワークモデルを構築する。前記ネットワークモデル最適化ユニット２５は、前記検証セット及び前記テストセットにおける前記乳牛画像及び対応する前記マーキング画像に基づいて、前記乳牛の乳首の検出畳み込みニューラルネットワークモデルパラメータに対して最適化とテストを行う。

前記乳牛画像取得ユニット２１によって取得された前記乳牛画像は、工業用カメラにより前記乳牛の異なる角度から撮影される。好適には、それぞれ前記乳牛の前後左右の４つ方向から前記乳牛の前記乳牛画像を撮影する。好適には、前記乳牛の数は、１００匹であり、それぞれ１００匹の前記乳牛の前記乳牛画像を取得することにより、サンプルの多様性を増加させる。

前記マーキング画像取得ユニット２２は、前記乳牛画像に対応する前記マーキング画像を取得し、マーキングツールを用いて前記乳牛画像の各々をマーキングして前記乳牛画像の各々に対応する前記マーキング画像を得、各前記乳牛画像に対して対応する目標ブロック及びカテゴリを作成し、前記目標ブロックは、前記乳牛画像における前記乳牛の乳首の位置をマーキングするためのものであり、マーキングカテゴリは、主に背景、乳牛乳房及び乳牛の乳首に分けられており、マーキング済みの前記マーキング画像をｘｍｌファイルに記憶する。

前記画像分割ユニット２３は、前記乳牛画像及び対応する前記マーキング画像を８：１：１の比率で前記訓練セット、前記検証セット及び前記テストセットに分割する。

前記乳牛の乳首の検出畳み込みニューラルネットワークモデル構築システム２００は、画像増幅ユニット２６をさらに含み、前記画像増幅ユニット２６は、前記乳牛画像及び対応する前記マーキング画像に対して増幅処理を行うことにより前記乳牛画像及び対応する前記マーキング画像の多様性を向上させる。当業者であれば理解できるように、取得された前記乳牛画像の数が限られているため、ディープラーニングの大量のデータの要求を満たすことができず、回転、並進及び反転などのデータ強化技術を用いて前記乳牛画像及び前記マーキング画像の多様性を向上させ、また、データセットの平均値を計算し、データセットに対して色標準化処理を行い、不均一な光よる影響を解消し、増幅処理済みの前記乳牛画像及び対応する前記マーキング画像を前記所定比率で前記訓練セット、前記検証セット及び前記テストセットに分割する。当業者であれば理解できるように、本発明の別のいくつかの好適な実施例では、収集された前記乳牛画像の数が十分に多い場合、ディープラーニングに必要とされる大量のデータの要求を満たすことができるとき、前記乳牛画像及び対応する前記マーキング画像に対して増幅処理を行わなくてもよい。

前記乳牛の乳首の検出畳み込みニューラルネットワーク構築システム２００は、前記マーキング画像に基づいて前記目標ブロックを所定サイズに調整することで、前記目標ブロックのサイズを前記マーキング画像と一致させる目標ブロック調整ユニット２７をさらに含む。当業者であれば理解できるように、本発明に係る前記乳牛画像及び対応する前記マーキング画像の特殊性のため、実際ニーズに応じて前記乳牛画像及び対応する前記マーキング画像の大きさを調整する必要がある。具体的には、本好適な実施例では、Ｋ－ｍｅａｎｓクラスタリングアルゴリズムを用いて前記目標ブロックの大きさを取得し、各訓練サンプルを最も近い中心点が位置するクラスタに割り当て、サンプルとクラスタ中心との距離ｄを計算することで、それぞれ９つ及び１５つのａｎｃｈｏｒを生成し、ｄの計算式は、ｄ（ｂｏｘ，ｃｅｎｔｒｏｉｄ）＝１－ＩＯＵ（ｂｏｘ，ｃｅｎｔｒｏｉｄ）であり、ＩＯＵの計算式は、ＩＯＵ＝（ｂｏｘ∩ｃｅｎｔｒｏｉｄ）／（ｂｏｘ∪ｃｅｎｔｒｏｉｄ）である。

本発明の別のいくつかの好適な実施例では、前記目標ブロック調整ユニット２７が前記目標ブロックのサイズを調整するとき、オリジナルネットワークモデルが異なる比率かつ異なるスケール（例えば、ｒａｔｉｏｓ＝［０．５，１，２］、ｓｃａｌｅｓ＝［１２８，２５６，５１２］）の９つのａｎｃｈｏｒを用い、本好適な実施例では、クラスタリング方法でａｎｃｈｏｒの大きさを決定せずに、比率及びスケールの大きさを直接調整することで、小目標の検出要求を満たし、具体的な変更結果は、ｒａｔｉｏｓ＝［０．５，１，２］、ｓｃａｌｅｓ＝［１６，３２，６４，１２８，２５２］である。

前記ネットワークモデル構築ユニット２４は、前記訓練セットにおける前記乳牛画像及び対応する前記マーキング画像に基づいて、前記乳牛の乳首の検出畳み込みニューラルネットワークモデルを構築する。具体的には、ここで用いられるネットワークは、ＦａｓｔｅｒＲＣＮＮ及びＲＦＣＮを含み、ｒｅｓｎｅｔ５０を特徴抽出ネットワークとして用い、ネットワークの最後の全接続層を除去する。前記特徴抽出ネットワークは、画像特徴情報を抽出するための残差畳み込み構造であり、この後、ＲＰＮネットワークに接続して目標検出を行う。前記ステップ１０８で決定された前記目標ブロックの大きさに応じて、ネットワーク層におけるａｎｃｈｏｒの大きさ及び数を変更することで、小目標に対する検出精度を向上させる。そして、前記訓練セットにおける前記乳牛画像及び対応する前記マーキング画像を畳み込みニューラルネットワークに入力することで、前記乳牛の乳首の検出畳み込みニューラルネットワークを構築する。具体的には、ネットワークに入力された画像解像度が７２０＊１２８０であり、また、ＩｍａｇｅＮｅｔモデルにより訓練されたｒｅｓｎｅｔ５０パラメータファイルをダウンロードし、ｃａｆｆｅフレームワークを用いて訓練し、訓練結果に基づいて学習パラメータを調整し、最後に条件を満たすモデルパラメータを取得する。

前記ネットワークモデル最適化ユニット２５は、前記検証セットと前記テストセットにおける前記乳牛画像及び対応する前記マーキング画像に基づいて前記乳牛の乳首の検出畳み込みニューラルネットワークモデルパラメータに対して最適化とテストを行う。具体的には、前記検証セットにおける前記乳牛画像及び対応する前記マーキング画像を用いて前記乳牛の乳首の検出畳み込みニューラルネットワークモデルのパラメータを最適化させ、前記テストセットにおける前記乳牛画像及び対応する前記マーキング画像を用いて前記乳牛の乳首の検出畳み込みニューラルネットワークをテストすることで、前記乳牛の乳首の検出畳み込みニューラルネットワークモデルの検出効果を決定する。本発明の１つの好適な実施例では、前記テストセットにおける前記乳牛画像及び対応する前記マーキング画像を用いて前記乳牛の乳首の検出畳み込みニューラルネットワークモデルの検出結果を認証した結果は、ＭＡＰ＝０．９０４６、ＦＰＳ＝１２である。

本発明の別のいくつかの好適な実施例では、前記乳牛の乳首の検出畳み込みニューラルネットワークモデル構築システム２００は、スクリーニングユニット２８をさらに含み、前記スクリーニングユニット２８は、所定条件を満たさない前記検出ブロック、例えば、前記目標ブロックの外に位置する前記検出ブロックを除去することにより、検出精度をさらに向上させ、小目標の誤検出を回避し、最後にネットワークが異なるカテゴリ及び対応する信頼度と位置情報を出力し、設定された閾値に基づいて結果を得る。

本発明の他の態様によれば、本発明は、乳牛の乳首の位置を検出する乳牛の乳首の検出畳み込みニューラルネットワークモデルをさら提供し、前記乳牛の乳首の検出畳み込みニューラルネットワークモデルの構築方法は、
少なくとも１つの乳牛の少なくとも１つの乳牛画像を取得し、前記乳牛画像が乳牛の乳首を含むステップ１０１と、
前記乳牛画像の各々に対応するマーキング画像を取得し、前記マーキング画像が前記乳牛画像における前記乳牛の乳首の位置をマーキングするための目標ブロックを有するステップ１０２と、
前記乳牛画像及び対応する前記マーキング画像を所定比率で訓練セット、検証セット及びテストセットに分割するステップ１０３と、
前記訓練セットにおける前記乳牛画像及び対応する前記マーキング画像に基づいて、乳牛の乳首の検出畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記検証セット及び前記テストセットにおける前記乳牛画像及び対応する前記マーキング画像に基づいて、前記乳牛の乳首の検出畳み込みニューラルネットワークモデルパラメータに対して最適化とテストを行うステップ１０５と、を含む。

明細書の図１０を参照すると、本発明の他の態様によれば、本発明は、乳牛の乳首検出方法をさら提供し、乳牛の乳首検出方法は、
実際の乳牛画像を取得するステップ２０１と、
乳牛の乳首の検出畳み込みニューラルネットワークモデルを用いて前記実際の乳牛画像における乳牛の乳首の位置を検出するステップ２０２と、を含み、
前記乳牛の乳首の検出畳み込みニューラルネットワークモデルの構築方法は、
少なくとも１つの乳牛の少なくとも１つの乳牛画像を取得し、前記乳牛画像が乳牛の乳首を含むステップ１０１と、
前記乳牛画像の各々に対応するマーキング画像を取得し、前記マーキング画像が前記乳牛画像における前記乳牛の乳首の位置をマーキングするための目標ブロックを有するステップ１０２と、
前記乳牛画像及び対応する前記マーキング画像を所定比率で訓練セット、検証セット及びテストセットに分割するステップ１０３と、
前記訓練セットにおける前記乳牛画像及び対応する前記マーキング画像に基づいて、乳牛の乳首の検出畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記検証セット及び前記テストセットにおける前記乳牛画像及び対応する前記マーキング画像に基づいて、前記乳牛の乳首の検出畳み込みニューラルネットワークモデルパラメータに対して最適化とテストを行うステップ１０５と、を含む。

本明細書の説明では、「１つの実施例」、「いくつかの実施例」、「例」、「特定の例」、又は「一部の例」などの用語を参照した説明は、該実施例又は例と組み合わせて説明されている特定の特徴、構造、材料又は特性が、本発明の少なくとも１つの実施例又は例に含まれることを意味する。本明細書において、上記用語の例示的な表現は、必ずしも同じ実施例又は例を意味するわけではない。さらに、説明された特定の特徴、構造、材料又は特性が、任意の１つ又は複数の実施例又は例においては適切な組み合わせで一体化されていてもよい。また、相互に矛盾しない状況で、当業者は本明細書に記載された異なる実施例又は例及び異なる実施例又は例の特徴を組み合わせることができる。

当業者であれば理解できるように、上記説明及び図面に示された本発明の実施例は単なる例に過ぎず、本発明を限定するものではない。本発明の目的は完全かつ効果的に実現される。本発明の機能及び構造原理は実施例に示され説明され、前記原理から逸脱することなく、本発明の実施の形態は任意の変形又は修正を有することができる。

Claims

乳牛の乳首の検出畳み込みニューラルネットワークモデルの構築方法であって、
少なくとも１つの乳牛の少なくとも１つの乳牛画像を取得し、前記乳牛画像が乳牛の乳首を含むステップ１０１と、
前記乳牛画像の各々に対応するマーキング画像を取得し、前記マーキング画像が前記乳牛画像における前記乳牛の乳首の位置をマーキングする少なくとも１つの目標ブロックを有するステップ１０２と、
前記乳牛画像及び対応する前記マーキング画像を所定比率で訓練セット、検証セット及びテストセットに分割するステップ１０３と、
前記訓練セットにおける前記乳牛画像及び対応する前記マーキング画像に基づいて、乳牛の乳首の検出畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記検証セット及び前記テストセットにおける前記乳牛画像及び対応する前記マーキング画像に基づいて、前記乳牛の乳首の検出畳み込みニューラルネットワークモデルパラメータに対して最適化とテストを行うステップ１０５と、
を含み、
前記ステップ１０２と前記ステップ１０３との間に、
前記乳牛画像及び対応する前記マーキング画像に対して増幅処理を行うことにより、前記乳牛画像及び対応する前記マーキング画像の多様性を向上させるステップをさらに含み、
前記ステップ１０３では、前記乳牛画像及び対応する前記マーキング画像を８：１：１の比率で前記訓練セット、前記検証セット及び前記テストセットに分割することを特徴とする乳牛の乳首の検出畳み込みニューラルネットワークモデルの構築方法。
前記ステップ１０３と前記ステップ１０４との間に、
前記マーキング画像に基づいて前記目標ブロックを所定サイズに調整するステップをさらに含む、請求項１に記載の乳牛の乳首の検出畳み込みニューラルネットワークモデルの構築方法。
Ｋ－ｍｅａｎｓクラスタリングアルゴリズムを用いて前記目標ブロックを前記所定サイズに調整する、請求項２に記載の乳牛の乳首の検出畳み込みニューラルネットワークモデルの構築方法。
前記ステップ１０５では、前記乳牛の乳首の検出畳み込みニューラルネットワークモデルを最適化して認証するとき、前記乳牛の乳首の検出畳み込みニューラルネットワークモデルのＢａｔｃｈＮｏｒｍ層のパラメータを畳み込み層に統合する、請求項１に記載の乳牛の乳首の検出畳み込みニューラルネットワークモデルの構築方法。
所定条件を満たさない検出ブロックを除去するステップをさらに含む、請求項１に記載の乳牛の乳首の検出畳み込みニューラルネットワークモデルの構築方法。
所定条件を満たさない検出ブロックを除去するステップをさらに含む、請求項２に記載の乳牛の乳首の検出畳み込みニューラルネットワークモデルの構築方法。
所定条件を満たさない検出ブロックを除去するステップをさらに含む、請求項４に記載の乳牛の乳首の検出畳み込みニューラルネットワークモデルの構築方法。
画像における乳牛の乳首の位置を検出する乳牛の乳首の検出畳み込みニューラルネットワークモデル構築システムであって、
少なくとも１つの乳牛の少なくとも１つの乳牛画像を取得し、前記乳牛画像が乳牛の乳首を含む乳牛画像取得ユニットと、
前記乳牛画像に対応するマーキング画像を取得し、前記マーキング画像が前記乳牛の乳首の位置をマーキングする少なくとも１つの目標ブロックを有するマーキング画像取得ユニットと、
前記乳牛画像及び対応する前記マーキング画像を所定比率で訓練セット、検証セット及びテストセットに分割する画像分割ユニットと、
前記訓練セットにおける前記乳牛画像及び対応する前記マーキング画像に基づいて、乳牛の乳首の検出畳み込みニューラルネットワークモデルを構築するネットワークモデル構築ユニットと、
前記検証セット及び前記テストセットにおける前記乳牛画像及び対応する前記マーキング画像に基づいて、前記乳牛の乳首の検出畳み込みニューラルネットワークモデルパラメータに対して最適化とテストを行うネットワークモデル最適化ユニットと、
前記乳牛画像及び対応する前記マーキング画像に対して増幅処理を行うことにより、前記乳牛画像及び対応する前記マーキング画像の多様性を向上させる画像増幅ユニットと、を含み、
前記画像分割ユニットは、前記乳牛画像及び対応する前記マーキング画像を８：１：１の比率で前記訓練セット、前記検証セット及び前記テストセットに分割することを特徴とする乳牛の乳首の検出畳み込みニューラルネットワークモデル構築システム。
前記マーキング画像に基づいて前記目標ブロックを所定サイズに調整する目標ブロック調整ユニットをさらに含む、請求項８に記載の乳牛の乳首の検出畳み込みニューラルネットワークモデル構築システム。
所定条件を満たさない検出ブロックをスクリーニングするスクリーニングユニットをさらに含む、請求項８に記載の乳牛の乳首の検出畳み込みニューラルネットワークモデル構築システム。
乳牛画像における乳牛の乳首の位置を検出する乳牛の乳首の検出畳み込みニューラルネットワークモデルの構築方法であって、前記乳牛の乳首の検出畳み込みニューラルネットワークモデルの構築方法は、
少なくとも１つの乳牛の少なくとも１つの乳牛画像を取得し、前記乳牛画像が乳牛の乳首を含むステップ１０１と、
前記乳牛画像の各々に対応するマーキング画像を取得し、前記マーキング画像が前記乳牛画像における前記乳牛の乳首の位置をマーキングする少なくとも１つの目標ブロックを有するステップ１０２と
前記乳牛画像及び対応する前記マーキング画像を所定比率で訓練セット、検証セット及びテストセットに分割するステップ１０３と、
前記訓練セットにおける前記乳牛画像及び対応する前記マーキング画像に基づいて、乳牛の乳首の検出畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記検証セット及び前記テストセットにおける前記乳牛画像及び対応する前記マーキング画像に基づいて、前記乳牛の乳首の検出畳み込みニューラルネットワークモデルパラメータに対して最適化とテストを行うステップ１０５と、を含み、
前記ステップ１０２と前記ステップ１０３との間に、
前記乳牛画像及び対応する前記マーキング画像に対して増幅処理を行うことにより、前記乳牛画像及び対応する前記マーキング画像の多様性を向上させるステップをさらに含み、
前記ステップ１０３では、前記乳牛画像及び対応する前記マーキング画像を８：１：１の比率で前記訓練セット、前記検証セット及び前記テストセットに分割することを特徴とする、乳牛画像における乳牛の乳首の位置を検出する乳牛の乳首の検出畳み込みニューラルネットワークモデルの構築方法。
乳牛の乳首検出方法であって、
実際の乳牛画像を取得するステップ２０１と、
乳牛の乳首の検出畳み込みニューラルネットワークモデルを用いて前記実際の乳牛画像における乳牛の乳首の位置を検出するステップ２０２と、を含み、
前記乳牛の乳首の検出畳み込みニューラルネットワークモデルの構築方法は、
少なくとも１つの乳牛の少なくとも１つの乳牛画像を取得し、前記乳牛画像が乳牛の乳首を含むステップ１０１と、
前記乳牛画像の各々に対応するマーキング画像を取得し、前記マーキング画像が前記乳牛画像における前記乳牛の乳首の位置をマーキングする少なくとも１つの目標ブロックを有するステップ１０２と、
前記乳牛画像及び対応する前記マーキング画像を所定比率で訓練セット、検証セット及びテストセットに分割するステップ１０３と、
前記訓練セットにおける前記乳牛画像及び対応する前記マーキング画像に基づいて、乳牛の乳首の検出畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記検証セット及び前記テストセットにおける前記乳牛画像及び対応する前記マーキング画像に基づいて、前記乳牛の乳首の検出畳み込みニューラルネットワークモデルパラメータに対して最適化とテストを行うステップ１０５と、を含み、
前記ステップ１０２と前記ステップ１０３との間に、
前記乳牛画像及び対応する前記マーキング画像に対して増幅処理を行うことにより、前記乳牛画像及び対応する前記マーキング画像の多様性を向上させるステップをさらに含み、
前記ステップ１０３では、前記乳牛画像及び対応する前記マーキング画像を８：１：１の比率で前記訓練セット、前記検証セット及び前記テストセットに分割することを特徴とする乳牛の乳首検出方法。