JP2023525193A - 生体試料のトレーサビリティのための方法、システム、及びコンピュータプログラム - Google Patents

生体試料のトレーサビリティのための方法、システム、及びコンピュータプログラム Download PDF

Info

Publication number
JP2023525193A
JP2023525193A JP2022549399A JP2022549399A JP2023525193A JP 2023525193 A JP2023525193 A JP 2023525193A JP 2022549399 A JP2022549399 A JP 2022549399A JP 2022549399 A JP2022549399 A JP 2022549399A JP 2023525193 A JP2023525193 A JP 2023525193A
Authority
JP
Japan
Prior art keywords
biological sample
trajectory
tracking
processing unit
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022549399A
Other languages
English (en)
Inventor
ロルダン,イヴァン アマト
Original Assignee
タッチレス アニマル メトリクス,エスエル.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by タッチレス アニマル メトリクス,エスエル. filed Critical タッチレス アニマル メトリクス,エスエル.
Publication of JP2023525193A publication Critical patent/JP2023525193A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01KANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K29/00Other apparatus for animal husbandry
    • A01K29/005Monitoring or measuring activity, e.g. detecting heat or mating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/70Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Environmental Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biophysics (AREA)
  • Animal Husbandry (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Electrotherapy Devices (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Debugging And Monitoring (AREA)

Abstract

生体試料のトレーサビリティのための方法、システム、及びコンピュータプログラムが提供される。本方法は複数の生体試料のビデオ追跡を実行し、その追跡特徴を決定する第1のプロセスを実行することと、各検出された生体試料によって追跡される軌跡を含む軌跡ベクトルを決定することと、1つ又は複数の生体試料の二次的特徴を決定する一定の期間において第2のプロセスを実行することと、軌跡ベクトルの追跡特徴を二次的特徴とマッチングさせ、超特徴の基準点を提供することと、生体試料の二次的特徴を他の期間にわたって決定し、超特徴の他の基準点を提供することと、2つの基準点が同じデジタル識別子内に含まれるときを識別し、その結果、潜在的な軌跡セグメントを提供することと、前記潜在的な軌跡セグメントの物理的特性を比較し、前記比較が所与の範囲内/範囲外であるかどうかに依存して、潜在的な軌跡セグメントが有効/無効であることを確立することとを含む。【選択図】 図1

Description

発明は、生体試料(又は、生体標本/living specimen)のトレーサビリティ(又は、追跡可能性/traceability)のための方法、システム、及びコンピュータプログラムに関する。
この文書では、生体試料によって、動物又はヒトと理解されるべきである。特に、本発明は、ブタ、ウシ、ニワトリ、雄牛などの動物のトレーサビリティに適用される。
現在、ほとんどの家畜は不明であり(又は、位置特定されておらず)、生産効率は統計的に得られている。近年、精密畜産は、個々の家畜レベルで管理するための異なるアプローチとして出現している。
家畜の個体識別は、精密農業を農場に成功させるための重要な要素の一つである。無線周波数によって読み取られる動物又は家畜上の電子タグの場所に基づくRFIDの使用、動物/家畜の顔の特徴を検出し、人工知能技術でそれらを処理することに基づく顔認識技術、及びカメラから動物/家畜を追跡(又は、トラッキング/tracking)するためにコンピュータビジョンアルゴリズムを使用するビデオ追跡技術などの、この分野におけるいくつかの既存のアプローチが知られている。
この分野には、以前のアプローチに基づくいくつかの特許又は特許出願も知られている。例えば、米国特許出願US2019133087A1は個人が装着したセンサーデバイスによって生成され、個人の生体に関連する第1の情報に基づいて、所定の条件を満たす特定の個人を抽出し、特定の個人の位置に関連する位置情報に基づいて、移動体に特定の個人の位置への移動をさせるための検索情報を生成する制御ユニットを含む管理装置に関する。
米国特許出願US2011298619A1は、動物に少なくとも1つのタグを取り付けることができる動物監視システム、監視区域内における当該少なくとも1つのタグの3次元位置を決定するためのリアルタイムロケーションシステム(RTLS)、当該1つのタグの方向性を決定するための指向決定手段、及び監視区域内における動物のタグの位置と方向性に基づいて少なくとも1つの動物の異なる活動を識別するための手段を開示している。
中国特許出願CN108363990Aは、別の手で豚顔識別システムと方法を公開している。システムはカメラモジュールと、フロントエンドアプリケーションモジュールと、バックエンド識別モジュールとを備え、カメラモジュールはピグフェイスの画像情報を取得し、フロントエンドアプリケーションモジュールに情報を送信するために使用され、フロントエンドアプリケーションモジュールはピグフェイス情報を識別し、画像情報に従ってピグフェイスを含む有効画像を生成するために使用されるピグフェイステイクモジュールを備え、バックエンド識別モジュールはピグフェイステイクモジュールに従ってピグフェイスの有効画像を生成するために使用されるピグフェイス識別モジュールを備え、比較を通して、ピグが新しいピグであるか既存のピグであるかを判定し、ピグが新しいピグである場合、グローバルに一意のピグ識別IDを生成し、ピグが既存のピグである場合、ピグ識別IDを識別する。ブタ顔識別システムは既存のブタ世代管理において使用される電子イヤータグ又はイヤーカードに代わることができ、それによって、電子イヤータグ又はイヤーカードを使用することの欠陥問題を解決する。
中国特許出願CN108990831Aは、家畜の健康を監視する方法を開示している。本方法は、各家畜を電子タグで装飾するステップと、家畜の運動領域に対応する電子タグリーダを配置するステップと、家畜の運動のビデオ画像を取得するために使用される画像撮像装置を家畜の運動領域に配置するステップと、電子タグリーダ及び画像撮像装置によって取得されたビデオ画像を使用することによって、各家畜の対応する電子タグ識別情報及び個々の電子タグ識別情報に対応する個々の移動軌跡情報を取得するステップと、個々の移動軌跡情報を使用することによって、各インターバル時間T1に1回、各家畜の総変位量を取得するステップと、各家畜の飼料摂取条件を取得するステップと、各家畜の水摂取条件を取得するステップとを含む。
それとは別に、ビデオ追跡は、ビデオ監視アプリケーションにおいて一般に使用される周知の技法である。一部の提案は、CN103488148A、US2014300758A1、US2019138801A1(これは3Dカメラに基づいている)によっても知られている。
上記の実装の主な制限は2つの要因、すなわち、コスト及び精度に基づく。RFIDは動物当たり約0.30ドルの費用がかかり、100%の精度を有するが、今日、個々のレベルで動物を識別するための明確な利点はない。顔認識は動物当たり約7ドルであり、その精度は完全には検証されていないので、開発レベルにある。農場では安定したビデオ追跡ソリューションはなく、現在開発中であり、いくつかの商業的コストは顔認識よりもさらに高く、その精度は完全には検証されていない。
顔認識及びビデオ追跡のための技術的問題は、1つのペンを処理するのにでさえ1日当たり50万以上の画像、単一のペンのために肥育期間当たり約5000万画像で処理するための大きなコンピュータ設備を必要とする処理能力及び非効率的なアルゴリズムから生じる。
したがって、ビデオ追跡の識別の自動化された補正、すなわちトレーサビリティを含む、生体試料の最適な管理のための新しい方法及びシステムが必要とされる。
そのために、本発明は第1の態様によれば、動物/家畜(例えば、とりわけ、ブタ、ウシ、ブロイラー、ニワトリ、又は雄牛)、又はヒトなどの生検標本のトレーサビリティのための方法を提案する。この方法は主に、2つの独立したシステム、すなわち、生体試料のビデオ追跡を実行する一次システムと、前記生体試料のうちの少なくとも1つのアイデンティティ(又は、同一性)を検証又は回復するための動物特徴を提供する二次システムとの使用に基づく。
したがって、本発明の実施形態に従えば、この方法は、
a)動物又はヒトである複数の生体試料のビデオ追跡を実行する第1のプロセスを実行するステップであって、前記第1のプロセスは、
a1)少なくとも1つの静止カメラを含む一次システムによって、生体試料のビデオ画像を連続的に取得し、取得されたビデオ画像を処理ユニットに送信するステップと、
a2)前記処理ユニットによって、各受信されたビデオ画像について、各受信されたビデオ画像をビデオ追跡画像のデータベースに記憶される少なくとも1つの過去のビデオ画像と比較することによって、そこに含まれる生体試料を検出するステップと、
a3)前記処理ユニットによって、受信された各ビデオ画像について、検出された生体試料の追跡特徴を、前記ビデオ画像に対して追跡アルゴリズムを実施することによって決定するステップであって、前記追跡特徴は各検出された生体試料のデジタル識別子と、タイムスタンプと、検出された生体試料の位置又は輪郭のうちの少なくとも1つの特徴を含む、該ステップと、
を含む、該ステップaと、
b)前記処理ユニットによって、各検出された生体試料が従う軌跡を含む軌跡ベクトルをそのデジタル識別子に従って、決定し、前記軌跡ベクトルはステップa3で決定された全ての追跡特徴を収集することによって決定される、該ステップbと、
c)特定の時点で第2のプロセスを実行するステップであって、前記第2のプロセスが、
c1)データ取得ユニット及び少なくとも1つの処理モジュールを含む二次システムによって、前記複数の生体試料のうちの少なくとも1つの生体試料のデータを取得するステップであって、前記二次システムは前記データを取得するときに既知の位置に配置される、該ステップと、
c2)前記二次システムによって、前記取得されたデータに基づいて、前記少なくとも1つの生体試料の少なくとも1つの物理的特性を決定するステップと、
c3)前記少なくとも1つの生体試料の二次的特徴を、前記二次的システムによって決定するステップであって、前記二次的特徴は、決定された前記少なくとも1つの物理的特性、タイムスタンプ、及び前記位置を含む、該ステップと、
d)所定のスコアを満たす少なくとも1つの決定された二次的特徴を受信したときに、前記処理ユニットによって、前記軌跡ベクトルに含まれる前記追跡特徴の前記タイムスタンプ及び位置又は輪郭を、受信された二次的特徴のタイムスタンプ及び位置と照合する(又は、一致させる/マッチング/matching)ステップであって、前記照合の結果はステップc1)の前記少なくとも1つの生体試料の物理的特性をデジタル識別子とリンクさせる超特徴(hyperfeatures)の基準点(reference point)を提供する、該ステップと、
e)ステップc)及びd)を他の期間にわたって繰り返し、その結果、前記生体試料の物理的特性をデジタル識別子とリンクさせる他の超特徴の基準点を提供するステップと、
f)前記処理ユニットによって、2つの基準点が同じデジタル識別子内に含まれるときを識別し、その結果、潜在的な軌跡セグメントを提供するステップと、
g)前記処理ユニットによって、前記潜在的な軌跡セグメントの物理的な特徴を比較するステップであって、
g1)前記比較の結果が所定の範囲の内側に含まれる場合には、前記潜在的な軌跡セグメントは有効な軌跡セグメントとして確立され、又は
g2)前記比較の結果が前記所定の範囲の外側に含まれる場合には、前記潜在的な軌跡セグメントは無効な軌跡セグメントとして確立される、該ステップと、
を含む、生体試料のトレーサビリティのための方法。
上述の各ステップを実行する処理ユニットは、同じユニットであってもよいし、独立した処理ユニットであってもよいことに留意されたい。処理ユニットは、コンピューターやサーバー、さらにはクラウドサーバーの一部であり得る。
一実施形態では、ステップg2)がまた追加のアクションが行われなければならないことを確立するステップを含み、例えば、生体試料の他の物理的特性を決定するためにステップc2)を繰り返す必要がある、又は代替の潜在的な軌跡セグメントを得るためにステップd)~f)を繰り返す必要があることを確立する。
ステップg2)がまた、
-異なるデジタルアイデンティティに最初に属した可能な軌跡によってリンクされた2つの時点を計算するステップ、
-2つの時点の追加の特徴を比較することにより2つの潜在的な軌跡セグメントの尤度を確立するステップ、及び/又は、
-大域的及び局所的な尤度の最大化を計算することによって、最も可能性の高い軌跡のセグメント及びそのような軌跡のセグメントの信頼性を計算するステップ
をさらに含み得る。
特定の実施形態では、ステップc1)において取得された前記データは、前記少なくとも1つの生体試料の少なくとも1つの画像である。前記取得された画像が複数の生体試料を含む場合、ステップc)が、ホモグラフィアルゴリズムを適用して、例えば、他方の前位にいる一方や他方の上にいる一方など、互いに非常に近い2つの生体試料を区別するステップをさらに含む。
特定の実施形態では、ステップc2)において決定される前記少なくとも1つの物理的特性が、前記少なくとも1つの生体試料(生体試料の1、2又は多次元の表現またはグラフであって、例えば、生体試料の体の大きさ、向きなどの生体試料のさまざまな情報が関連付けることができる)の身体マップ(身体モデル)、前記少なくとも1つの生体試料の身体温度、前記少なくとも1つの生体試料の所定の身体部分の体温、重量、スペクトル応答、電磁気応答、比色分析、及び/又は前記少なくとも1つの生体試料のテクスチャであり得る。
他の実施形態では、ステップc2)において決定される前記少なくとも1つの物理的特性が、前記少なくとも1つの生体試料の重量、生体インピーダンス、又は歩行のパターンであり得る。
動物の識別は技術的に困難な問題であり、生体試料の行動、安否、トレーサビリティに関連する重要な情報を提供する。ビデオ追跡とアイデンティティの非曖昧化を組み合わせることによる本発明はまた、囲い内の各動物の歩行距離の量、各動物の立位時間の量、その成長や生命の縦方向の特徴付けを保存するための二次的特徴と身体的特徴の個々の動物への関連付けを個別に定量化し、また、それはその分析を可能にする。人間のオペレータでは技術的に実行不可能であるこれらのタグ付けされた測定は、完全なトレーサビリティと信頼できるアイデンティティをもって、安否を確保し、異常な健康状態または行動(攻撃性、ストレス、あまりにも静的など)を検出するための動物育成の正確な記述を可能にする。軌跡または二次特徴またはセンサーの時間分析(又は、一時的分析)は、農家の行動を予測し、生産性を最適化することを可能にする。
例えば、動物の健康状態は、動物が1日に何メートル歩くかによって条件付けられる。これは、1日に1回の軌跡で歩いた合計経路として直接計算でき、年齢や体重などの追加の制約により、健康と不健康に異なる境界を設定できる。また、動物が長時間同じ位置にいる場合に、病気やストレスを感じている動物を検出できる。したがって、最近の測定で動物の姿勢または体温を推定することにより、二次システムから補足情報を取得できる。さらに、本発明は、農業従事者に警告を送る前に、別の機械/器具に体温および/または体位の測定を試みるように要求することができる。
別の例では、動物福祉は、1日あたりの動物間の相互作用の数として計算される場合がある。相互作用は、軌道の交差の数、特定の距離の軌道、同じフレーム内で接触又は近接する動物の境界として推定できる。異常に接触が多い動物は、他の動物からストレスを受けている可能性があり、この動物が特定の場所に立っている場合、その可能性は非常に高い。このような状況では、1つの位置に留まり、複数の相互作用を受ける動物は、農家が行動を起こし、動物の安全を確保できるように、農家に警告を送信する必要がある。
動物の確実な配置と識別により、空気の質、納屋内の温度変化、漏れ、真菌などの農場内の空間的影響を正確に計算して、動物の福祉と健康を推定することもできる。また、他のセンサーと連携して、動き(瞬間的な歩行)と心拍数、消化または代謝を関連付けることができる。
例えば、冬で、納屋に冷たい空気が入る穴がある場合、その穴に近い動物は、次の日に健康上の問題が発生する可能性が高くなる。温度測定は、穴が発生した時間を計算するのに役立ち、軌跡は、各動物がさらされた寒さの量を推定することを可能にする。
もう1つの例は、水流計からの情報を軌跡と関連付けて、動物が納屋で実質的に水を飲んでいた時期を確立することである。これは、個々のレベルで商業畜舎の水と飼料の摂取量をより正確に推定するのに役立つ。
本発明はまた、別の態様によれば、生体試料のトレーサビリティのためのシステムを提案する。このシステムは特に、少なくとも1つの静止カメラを含む一次システムと、データ取得ユニット及び少なくとも1つの処理モジュールを含む二次システムと、少なくとも1つの処理ユニットと、ビデオ追跡画像のデータベースを有する。このシステムは、本発明の第1の態様を実施するように構成される。
一実施形態では、前記データ取得ユニットは少なくとも1つのカメラを含む画像取得ユニットであり、前記カメラは、前記赤色チャネル内に拡張NIRを有するRGBカメラ又は熱カメラを備える。
一実施形態では、前記二次システムはテレメトリックユニットをさらに備える。この場合、画像取得ユニットとテレメトリック ユニットが校正される。テレメトリックユニットは回転ライダー、走査ライダー、複数のライダー、飛行時間(TOF)センサー、又はTOFカメラであり得る。
他の実施形態では、二次システムはスケーリングシステムである。他の実施形態では、二次システムは歩行を記録するための圧電材料を有する床、前記床の一部でバイオインピーダンスを記録するための機器、ウェアラブルチップを読み取るためのRFIDリーダ又はアンテナ、又は心拍数を記録するための機器であり得る。
さらに他の実施形態では、システムは、空気の質、換気、温度、湿度、水摂取量、飼料摂取量、生体試料の代謝、生体試料の消化及び/又は心拍数を評価するように構成された1つ又は複数の追加のセンサーをさらに備え得る。
本明細書に開示される本発明の他の実施形態はまた、上記に要約され、以下に詳細に開示される方法の実施形態のステップ及び動作を実行するためのソフトウェアプログラムを含む。より詳細には、コンピュータプログラム製品がコンピュータシステム内の少なくとも1つのプロセッサ上で実行されると、プロセッサに、本発明の実施形態として本明細書に示される業務を実行させる、コード化されたコンピュータプログラム命令を含むコンピュータ可読媒体を有する一実施形態である。
前述及び他の利点及び特徴は添付の図面を参照して、以下の実施形態の詳細な説明からより完全に理解されるであろうが、図面は例示的かつ非限定的な方法で考慮されなければならない。
図1は、生体試料のトレーサビリティのための提案された方法の一般的な概要を示すフローチャートである。
図2は、本発明の一実施形態による、図1の方法によって実行されるステップの一部を詳述する別のフローチャートである。
図3~6は、ブタのトレーサビリティのための本発明の特定の実施形態をグラフで示す。
本発明は家畜の最適な管理を改善するために、生体試料、特にブタ、ブロイラー、ニワトリ、雄牛などの家畜のトレーサビリティのための方法及び対応するシステムを提供する。
図1を参照すると、提案された方法の一実施形態が示されている。この特定の実施形態では、方法100が1つ又は複数のカメラを含む、ビデオ追跡システム、又は特許請求の範囲で言及される一次システムによって、生体試料に対するビデオ追跡プロセスを実行すること(ステップ101)と、二次システムによって、生体試料の特徴を計算/提供して、そのアイデンティティを検証又は回復すること(ステップ102)と、1つ又は複数の処理ユニットによって、生体試料のトレーサビリティを計算すること(ステップ103)とを含む。
提案されたシステムではビデオ追跡システムのカメラが農場に設置/配置され、各カメラは農場の所与の部分に向けられた視野を有する。さらに、処理ユニットは任意のカメラの画像又はビデオストリームを受信し、トラッキング動作を実行し、これは、過去の画像との関係において、視野内のすべての生体試料の位置又は輪郭を取得することを意味する。したがって、各カメラは静止位置にあり、特定のゾーンを制御する。これは、追跡される全ての生体試料の連続的な測定又はほぼ連続的な測定を提供する。これにより、数多くの生体試料の位置及びアイデンティティをミリ秒又は秒の精度で追跡することが可能になる。
さらに、二次システムは利用不可能な情報をビデオ追跡システムに提供し、動物識別のチェック、検証、又は回復を可能にする。これは、追跡又はデジタル識別(デジタルタグ)を修正するための人間の介入の必要性を重要なことに排除する。二次システムの別の基本的な特徴は、この固有の情報が連続的に利用可能ではなく、むしろデータの断続的な流れであることである。これは常にデータを登録しているので、ビデオトラッキングシステムと比較して強い違いであり、その重要な特徴は決して停止しないことである。要約すると、二次システムは個々のレベルでの正確な動物追跡を正確かつ確実にするために、二次的及び断続的な動物特徴を獲得することを担当する。
二次システムの断続的な性質は
(1)生体試料が近くにあるときにのみ測定値を生成するように可動システムであること、
(2)固定システムであるが、生体試料がそれと時々相互作用するため、測定値も断続的であること
のいくつかの理由によって生成され得る。断続的又は非連続的な測定はまた、生体試料及び二次システムが近くにあるか又は接触しているので、ある時間隔の間、測定が利用可能であるので、測定のバーストを含み、連続的な測定の間欠的な間隔をもたらす。ビデオトラッキングシステムが誤りを犯したり、電気的切断のような不測の事態により処理が停止されたりする場合、二次システムは、後に動物の識別情報を回復することができる。回復時間の長さに応じて、二次的特徴の予測モデル及び最大尤度マッチングに基づく追加の処理が必要とされる。
本発明によれば、二次システムは、データ取得ユニットと、1つ又は複数の処理モジュールとを含む。例えば、いくつかの実施形態では、データ取得ユニットがRGBカメラ又はサーマルカメラなどのカメラである。この場合、二次システムは、生体試料のいくつかの部分までの距離を測定することを可能にする遠隔測定ユニットを含むこともできる。遠隔測定ユニットは、とりわけ、ライダー(Lidar)要素として、又はTOF要素として実装することができる。
あるいは、他の実施形態では二次システムがスケーリングシステムである。この場合、スケーリングシステムは、取得されたデータを処理ユニットに送信するための通信モジュールを備えることができる。
図2を参照すると、提案された方法のより詳細な実施形態が示されている。この実施形態によれば、ステップ201において、ビデオ追跡システムは、1つ又は複数のカメラを介して、生体試料又は家畜のグループの1つ又は複数の画像を連続的に取得する。ステップ202において、処理ユニットが取得された画像を受信すると、処理ユニットは、取得された画像の各々に含まれる家畜を検出する。そうするために、処理ユニットは、受信された各画像を、ビデオ追跡画像のデータベースに記憶された過去の家畜画像と比較する。ステップ203において、処理ユニットは検出された家畜の追跡特徴を決定する(すなわち、処理ユニットは、各動物のデジタル識別子、タイムスタンプ、及び動物の位置又は輪郭を決定する)。検出された家畜の追跡特徴が決定されると、ステップ204において、処理ユニットは、各検出された家畜の軌跡ベクトルを決定する。
ステップ205において、二次システムは家畜の特徴を計算して、そのアイデンティティを検証又は回復するために、第2のプロセスの実行を開始する。そのために、1つ又は複数の家畜のデータが二次システムによって取得されると(ステップ205)、二次システムは、取得されたデータを使用してそのような家畜の1つ又は複数の物理的特性を決定する(ステップ206)。次いで、ステップ207において、二次システムは、前に計算された物理的特性、タイムスタンプ、及び家畜の位置を含む、家畜の二次的特徴を決定する。その時点で、2つの状況が起こり得る。決定された二次的特徴が所与のスコアを満たさない場合(ステップ209)、そのような特徴は破棄され、すなわち、特徴は正しくないか、又は十分な品質を有しておらず、さらなる処理に使用することができない。代替的に、ステップ210において、特徴が所与のスコアを満たす場合、処理ユニットは軌跡ベクトルに含まれる追跡特徴のタイムスタンプ及び位置又は輪郭を、二次的特徴のタイムスタンプ及び位置と照合し、前記称号の結果として、処理ユニットは家畜の物理的特性をデジタル識別子とリンクする超特徴(又は強化又は拡張された特徴)の基準点を提供する。
前述のように、二次的特徴は断続的に、及び平均的に、例えば、とりわけ、10分、30分、45分、1時期、5時期、12時期、24時期、日又は週毎に得ることができる。したがって、前記のステップ205~210は、前記構成された時間期間に従って繰り返される。しかし、生体試料は挙動の不確実性を示すので、これらの二次的特徴はいくつかの確率的性質を有する。例えば、5秒未満で10セットの二次的特徴を得ることが可能であり、翌日又は翌週までこの生体試料についてのさらなる情報を有さない(又は、取得しない)。
また、ある時点で、ステップ201及び205は同時に、又は近い期間に実行され得ることに留意されたい。
図2に戻って参照すると、ステップ211において、処理ユニットは2つの基準点が同じデジタル識別子内に含まれるときを識別し、その結果、潜在的な軌跡セグメントを提供する。そのとき、ステップ212において、処理ユニットは前記潜在的な軌跡セグメントの物理的特性を比較し、前記比較の結果が所与の範囲内に含まれる場合(ステップ213)、潜在的な軌跡セグメントは有効な軌跡セグメントとして確立され、一方、前記比較の結果が所与の範囲外に含まれる場合(ステップ214)、潜在的軌跡セグメントは無効な軌跡セグメントとして確立される。
ステップ206で決定される物理的特性は、本発明によって使用される二次システムのタイプに応じて変化する。一実施形態ではカメラ及び処理モジュールを含む二次システムの特定の場合、物理的特性は家畜の身体マップ、家畜の体温、家畜の所与の身体部分の体温、家畜の体重、家畜のスペクトル応答、家畜の電磁気応答、又は場合によっては家畜の測色又はテクスチャパラメータを含み得る。別の実施形態では二次システムがスケーリングシステムである特定の場合、物理的特性は家畜の重量、家畜のバイオインピーダンス、及び/又は家畜のステップのパターン(又は、歩行パターン)を含むことができる。
ブタのトレーサビリティを実施するための特定の実施形態に続いて、詳細に説明する。
図3はブタがデジタル識別子に従ってラベル付けされ、次のフレームでフォローされるビデオ追跡プロセス(ステップa)の例を示し、一方、図4はステップb)を示し、各位置及びデジタル識別子が、複数の識別情報及び位置を含む軌跡ベクトルに蓄積される。これは、ビデオ追跡システムの標準出力と同様である。しかしながら、これらのシステムは家畜の状況において低い信頼性を有することが知られているので、本発明はアイデンティティ及び軌跡の自動化された修正及び再割り当てのためのアプローチを報告する。
図5は、位置及び時間をリンクすることによって特定の軌跡にリンクされた二次的特徴、qkの可能なサンプリングを示す。図5の文脈では、本発明がステップa)及びb)からの3つのデジタルアイデンティティと、ステップc)からのq1、q2、q3、及びq4という二次的特徴のための4つのサンプリング時間とを含む軌跡ベクトルを取得する。軌跡ベクトル及び二次的特徴が位置及び時間情報を含むので、ステップd)によって軌跡IDを二次的特徴にリンクすることが可能である。全ステップを繰り返すことにより、図5に示すように十分なデータを蓄積することができる。データの蓄積のこのプロセスに沿って、ステップf)及びg)は、軌跡及び識別を検証することを可能にするので、重要になる。
時間t0において、任意のデジタルアイデンティティを有する3つの位置のみが有される。時間が進むにつれて、時間t2において、二次的特徴q1のセットが、t1とt2との間のある瞬間に収集される。このq1は、時間と位置によって軌跡ID=1に割り当てられる。同様に、t2とt3との間にq2が取得され、軌跡ID=2に割り当てられる。q1及びq2は、同じ軌跡ID内に含まれないので、さらなる動作はない。時間t6が発生する前に、軌跡ID=1に割り当てられる二次的特徴の新しいセットq3が取得される。q1及びq3が同じ軌跡ID=1に属するので、比較計算が行われる。これは、類似性、間隔、差異、又は尤度によって達成することができる。例えば、二次的特徴qkが重さとして定義される場合、q1とq3の絶対差を計算することが可能である。短時間では、q1とq3との間の期待差が測定の誤差内で、おそらくいくらかの追加の許容差を伴って、小さくなると予想される。しかしながら、q1とq3との間の期間が長い場合、異なる体の変化、例えば、飲水、食事、下痢、又はさらには成長が可能である。そのような期間について、より複雑な計算、例えば、線形又は多項式成長モデル、又は場合によっては動物について予想される経験的成長曲線が考慮され得る。
本発明によれば、二次的特徴として、例えば、特に、ハム(又は、腿)の長さ及び幅、ハムの曲率、胴体の長さ及び曲率などの、解剖学的長さ、面積、体積、又はそれらに由来する特徴などの他の変数を使用することも可能である。ユークリッド、都市ブロック、又は他の距離測定を実行し、全体として、又は身体部分ごとに最大偏差距離を確立することができる。また、異なる時点で取得された身体マップ(すなわち、q1及びq3)は、複数の解剖学的ランドマーク(又は、標識構造)を重ね合わせることによって比較され、身体又は身体部分の類似性を評価することができる。
時間t8が発生する前に、軌跡ID=2に割り当てられる二次的特徴の新しいセットq4が取得される。図5に示された取得のこの文脈では、いくつかのシナリオが可能である。
例えば、第1のシナリオでは、システムが単に、軌跡ベクトルが正しいことを確認し得る(ステップg1)。このプロセスは、以下のようにすることができる。時間t6の前に、二次的特徴q3が取得される。q1及びq3がID=1の軌跡に属するので、システムは、両方の二次セットを即座に比較(又は、直接比較)することを決定することができる。任意の比較手法により(以下では、様々な比較手法の例が報告されている)、許容限界間の差異が確認され、アイデンティティが確認されることが確立される。システムは、構成に応じて、後の使用のために使用される比較の結果としてのこのセグメントに信頼性スコアを割り当てることができる。
第2のシナリオでは、システムが軌跡ベクトルが正しくないことを確認し得る(ステップg2)。このプロセスは、以下のようにすることができる。時間t6の前に、二次的特徴q3が取得される。q1及びq3がID=1の軌跡に属するので、システムは、両方の二次セットを即座に比較することを決定することができる。任意の比較アプローチを使用して、差異が許容可能でないことが確立され得る。したがって、システムは、新しいステップg)が少なくとも別のqkの間で再度計算されるまで、ステップc)~f)を繰り返すことによって、より多くのデータを待つことを決定することができる。構成(すなわち、将来の比較)に応じて、後の使用のために使用される比較の結果としてのq1とq3との間で定義されるこのセグメントの信頼性スコアを割り当てることが可能である。ステップc)~f)が連続的に実行されるにつれて、結果的に、二次的特徴の新しいセットが受信される。時間tが発生する前の図5の説明された例では、二次的特徴の新しい組q4が取得され、軌跡ID=1及びID=2が一定時間近接しており、したがって、アイデンティティ交差がビデオトラッキングプロセス(段階a)において発生したことがあり得る。次いで、システムはq1をq4と比較し、差が許容可能であり、アイデンティティがビデオトラッキングによって交差されたと決定することができる(ステップa)。次に、システムは図6に示すように、最も可能性の高い軌跡に対して軌跡ベクトルを変更する。
第3のシナリオでは、システムがステップg2から2回以上ループし、ステップc)~d)も繰り返すことができる。したがって、この第3のシナリオではシステムが軌跡ベクトルを解決することができず、第2のシナリオで生じたようなより多くのデータ(ステップg2)を必要とすると結論付けることができ、ステップc)~f)は新しいステップg)が少なくとも別のqkの間で再度計算されるまで繰り返される。このプロセスは、以下のようにすることができる。時間t以前に、二次的特徴q3が取得される。q1及びq3がID=1の軌跡に属するので、システムは、両方の二次セットを即座に比較することを決定することができる。任意の比較アプローチを使用して、差異が許容可能でないことを確立することができ、したがって、システムはより多くのデータを待つことを決定することができ、構成に応じて後の使用のために使用される比較の結果としてのこのセグメントの信頼性スコアを割り当てることができる。時間tが発生する以前に、二次的特徴の新しい組q4が取得され、軌跡ID=1及びID=2は、ある時間の間、閉じられる。そして、それは可能であり、アイデンティティ交差である。第2のシナリオとは対照的に、システムはq1をq4と比較し、もう1回許容できないこと(再度、ステップg2)、及びアイデンティティが依然として不明瞭であることを決定することができる。したがって、システムはより多くのデータを待つことを決定することができ、後で使用されるためにこのセグメントに信頼性スコアを割り当てることができる。
上記は多数回繰り返し/反復することができ、いくつかの時点で、いくつかの曖昧さが存在し得るか、又はすべてのデータが収集されたときでさえ、いくつかの曖昧さが存在し得る。このケースでは、最適化戦略(すなわち、解析的、反復的、データ駆動、誤差の最小化、Powell、LMS、・・・)によって、大域的な観点から最も可能性の高い軌跡のセットを見つけるために別の手法を使用することができ、また、画像及びデータに基づいていくつかの点を曖昧性除去するために、いくつかの軌跡セグメントを確認又は拒絶するように、いくつかの重要な点を検証するようにユーザ又はオペレータに依頼することができる。
これらの戦略は、既存の軌跡交差(又は、軌跡交差が存在するかどうか)とは無関係に多くの時点を比較することによって、二次的特徴及び軌跡のアイデンティティをリンクするために適用されることに留意されたい。例えば、サブセット又は全ての二次的特徴の間の類似性の系統的計算は二次的特徴の特定の取得時間における2つのアイデンティティの間の類似性のスコアを含む行列、すなわち<qi,qk>をもたらし、ここで、i及びkは時間的参照であり、<・>は二次的特徴を比較するための演算子である。明らかに、i=jのとき、比較スコアは、類似性を最大化するか、又は相違性を最小化する。尤度の大域的及び局所的最大化を計算するこの戦略によって、軌跡の最も可能性の高いセグメントと、軌跡のセグメントのすべて又はサブセットの信頼性とを得ることが可能である。
上述のように、特に計算された物理的特性のタイプに応じて、異なる比較アプローチを使用することができ、特に:
-解剖学的(なもの):比較は、後脚長、臀部から肩までの距離及び胴体長における距離差として計算することができる。本発明はすべての測定値が4cm未満の差を有し、すべての距離の合計が7cm未満の誤差を有する場合、アイデンティティが同じであることを確立することができる。
-体重:比較は、両方の時点間の差として計算することができる。時差が数分、数時間、数日間、又は数週間であるかどうかに応じて、いくつかの修正手段が必要とされ得る。時間差がほんの数秒又は数分である場合、重量差は、合理的な誤差限界内にあると予想される。重み誤差がシステムの精度の予想外である場合、システムはスプリアス誤差があるか、又はそれが信頼できる測定であるかどうかをチェックするために、別の測定を待つことを決定し得る。時間差がほんの数時間である場合、重み誤差は前のアプローチと同様であり得るが、いくつかの場合にはわずかな昼夜の変化があり、これは別のモデルに含まれ得る。時間差が数日である場合、成長モデルを用いて、動物が予想される体重に合致するかどうかを評価しなければならない。同様に、これは数週間でも生じる。しかしながら、時間が非常に長い場合、システムの全体的な信頼性はより低くなり得る。
-身体マップ:一実施形態では、身体マップが臀部及び/又は肩のような1つ又は複数の身体ランドマークを基準とする特定の3D位置を有するグラフとして定義することができる。次いで、表面、形状、頂点間の距離、他の幾何学的動作又はグラフベースの測定(又は、尺度)に関して、そのような正規化された身体マップを比較することが可能である。時間差が長い場合、体重で説明したように、(正則化手段に応じて)追加の成長モデルを適応させる必要があるかもしれない。
-身体的特徴:平均体温、最小/最大/標準偏差、尖度、ならびに体温、生体インピーダンス、ステップのパターン、体重、スペクトル応答、蛍光などのような身体的特徴に対する他の統計的モーメント又はオペレーションの距離測定による比較。また、確率密度関数の近似として正規化ヒストグラム分布を用いた尤度比のような分布間の比較。バタチャリヤ(Battacharya)又はスミルノフ(Smirnoff)係数又は距離のような追加の手段もまた、スコアリング類似性のための有効な手段であり得る。
身体マップの特徴:形状に基づく身体マップの幾何学的操作及び身体マップに加えて、局所的体温、テール(又は、尻尾)の存在、局所的色又は局所的光反応(TOFカメラは赤外域にあるため、動物のメラニンに応じて800~850nmでのスペクトラルレスポンスは異なる)など、頂点への(又は、垂直に)追加情報を含めることが可能である(追加情報は身体マップに関連付けられ得る)。次いで、スコアを取得するために、又は合致のための閾値を確立するために、各頂点又は多くの頂点についての類似性尺度が計算され得る。これまでの考察は特に、昼夜では著しく、また、成長が起こるにつれて異なる温度についても適用することができる。
マップされた身体の特徴:温度、色彩、赤外線、深度、又は他の撮像手段のようなカメラインフォメーションを身体マップに正規化することもできる。これにより、画像化されたデータが正規化された空間に再構成される。その結果、2つの異なった時点で、動物全体を通してポイント毎に比較することができ、平均的又は分散的な手法だけでなく、画像処理手段も利用して、動物のアイデンティティを保証することができる。
画像比較:身体マップが使用されていなくても、ホモグラフィのような画像処理手段によって動物のアイデンティティを比較することができ、これにより、2つの異なる時点で得られた情報を比較するときに生じるように、異なる視点から撮影された2つの画像を比較することができる。
組み合わせ:上記で報告された方法の多くの組み合わせは、機械学習プロセス(サポートベクトルマシン、畳み込みニューラルネットワーク、ニューラルネットワーク、ランダムフォレストなど)によって、ヒューリスティック(heuristic)方法又はトレーニングされたシステムによって使用され得る。
本明細書で説明されるように、提案される方法の様々な態様は、プログラミングにおいて具現化され得る。本技術のプログラム態様は、典型的には実行可能コード及び/又は機械可読媒体のタイプで搬送又は具現化される関連データの形態の「製品」又は「製造品」と考えることができる。有形の非一時的「記憶」タイプの媒体は様々な半導体メモリ、テープドライブ、ディスクドライブなどの、コンピュータ、プロセッサなどのためのメモリ又は他の記憶装置のいずれか又はすべて、又はその関連モジュールを含み、これらは、ソフトウェアプログラミングのためにいつでも記憶装置を提供することができる。
ソフトウェアのすべて又は一部は、インターネット又は様々な他の電気通信ネットワークなどのネットワークを介して時々通信され得る。そのような通信は例えば、1つのコンピュータ又はプロセッサから別のコンピュータ又はプロセッサへのソフトウェアのロードを可能にすることができ、例えば、スケジューリングシステムの管理サーバ又はホストコンピュータから、コンピューティング環境のハードウェアプラットフォーム、又はコンピューティング環境を実装する他のシステム、又は画像処理に関連する同様の機能へのロードを可能にし得る。したがって、ソフトウェア要素を担持し得る別のタイプの媒体は、ローカルデバイス間の物理的インターフェースにわたって、有線及び光地上回線ネットワークを通して、ならびに様々なエアリンクを介して使用されるような、光波、電気波、及び電磁波を含む。有線又は無線リンク、光リンクなどのような、そのような波を搬送する物理的要素はまた、ソフトウェアを担持する媒体と見なされ得る。本明細書で使用される場合、有形の「記憶」媒体に限定されない限り、コンピュータ又は機械「可読媒体」などの用語は、実行のためにプロセッサに命令を提供することに関与する任意の媒体を指す。
機械可読媒体は有形記憶媒体、搬送波媒体、又は物理的伝送媒体を含むが、これらに限定されない、多くの形態をとり得る。不揮発性記憶媒体は例えば、任意のコンピュータ(単数又は複数)内の記憶デバイスのいずれかなどの光ディスク又は磁気ディスクを含み、これらは、システム又は図面に示されるその構成要素のいずれかを実装するために使用され得る。揮発性記憶媒体は、そのようなコンピュータプラットフォームのメインメモリなどのダイナミックメモリを含むことができる。有形伝送媒体は、コンピュータシステム内でバスを形成するワイヤを含む、同軸ケーブル、銅線及び光ファイバを含むことができる。搬送波伝送媒体は、無線周波数(RF)及び赤外線(IR)データ通信中に生成されるような、電気信号又は電磁信号、又は音波又は光波の形態をとることができる。コンピュータ可読媒体の一般的な形態は例えば、フロッピー(登録商標)ディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、CD-ROM、DVD又はDVD-ROM、任意の他の光学媒体、パンチカード紙テープ、穴のパターンを有する任意の他の物理的記憶媒体、RAM、PROM及びEPROM、FLASH(登録商標)-EPROM、任意の他のメモリチップ又はカートリッジ、データ又は命令を搬送する搬送波、そのような搬送波を搬送するケーブル又はリンク、又はコンピュータがプログラミングコード及び/又はデータを読み取ることができる任意の他の媒体を含むことができる。コンピュータ可読媒体のこれらの形態の多くは、実行のために1つ又は複数の命令の1つ又は複数のシーケンスを物理プロセッサに搬送することに関与し得る。
当業者は、本教示が様々な修正及び/又は強化に従うことを認識するであろう。例えば、本明細書で説明される様々な構成要素の実装はハードウェアデバイスにおいて実施され得るが、ソフトウェアのみのソリューション、例えば、既存のサーバ上のインストールとして実装されてもよい。加えて、本明細書に開示される画像処理は、ファームウェア、ファームウェア/ソフトウェアの組合せ、ファームウェア/ハードウェアの組合せ、又はハードウェア/ファームウェア/ソフトウェアの組合せとして実装され得る。
本開示及び/又はいくつかの他の例を上記で説明した。上記の説明によれば、様々な変更を行うことができる。本開示のトピックは様々な形態及び実施形態において達成されることができ、本開示は様々なアプリケーションプログラムにおいてさらに使用され得る。特許請求の範囲において保護されることが必要とされるすべての適用、修正、及び変更は、本開示の保護範囲内であり得る。
本発明の範囲は、以下の請求項のセットにおいて定義される。
本発明の範囲は、以下の請求項のセットにおいて定義される。
下記は、本願の出願当初に記載の発明である。
<請求項1>
a)動物又はヒトである複数の生体試料のビデオ追跡を実行する第1のプロセスを実行するステップであって、前記第1のプロセスは、
a1)少なくとも1つの静止カメラを含む一次システムによって、生体試料のビデオ画像を連続的に取得し、取得されたビデオ画像を処理ユニットに送信するステップと、
a2)前記処理ユニットによって、各受信されたビデオ画像について、各受信されたビデオ画像をビデオ追跡画像のデータベースに記憶される少なくとも1つの過去のビデオ画像と比較することによって、そこに含まれる生体試料を検出するステップと、
a3)前記処理ユニットによって、受信された各ビデオ画像について、検出された生体試料の追跡特徴を、前記ビデオ画像に対して追跡アルゴリズムを実施することによって決定するステップであって、前記追跡特徴は各検出された生体試料のデジタル識別子と、タイムスタンプと、検出された生体試料の位置又は輪郭のうちの少なくとも1つの特徴を含む、該ステップ
を含む、該ステップと、
b)前記処理ユニットによって、各検出された生体試料が従う軌跡を含む軌跡ベクトルをそのデジタル識別子に従って決定するステップであって、前記軌跡ベクトルはステップa3で決定された全ての追跡特徴を収集することによって決定される、該ステップと、
c)特定の時点で第2のプロセスを実行するステップであって、前記第2のプロセスが、
c1)データ取得ユニット及び少なくとも1つの処理モジュールを含む二次システムによって、前記複数の生体試料のうちの少なくとも1つの生体試料のデータを取得するステップであって、前記二次システムは前記データを取得するときに既知の位置に配置される、該ステップと、
c2)前記二次システムによって、前記取得されたデータに基づいて、前記少なくとも1つの生体試料の少なくとも1つの物理的特性を決定するステップと、
c3)前記少なくとも1つの生体試料の二次的特徴を、前記二次的システムによって決定するステップであって、前記二次的特徴は、決定された前記少なくとも1つの物理的特性、タイムスタンプ、及び前記位置を含む、該ステップ
を含む、該ステップと、
d)所定のスコアを満たす少なくとも1つの決定された二次的特徴を受信したときに、前記処理ユニットによって、前記軌跡ベクトルに含まれる前記追跡特徴の前記タイムスタンプ及び位置又は輪郭を、受信された二次的特徴のタイムスタンプ及び位置と照合するステップであって、前記照合の結果はステップc1)の前記少なくとも1つの生体試料の物理的特性をデジタル識別子とリンクさせる超特徴の基準点を提供する、該ステップと、
e)ステップc)及びd)を他の期間にわたって繰り返し、その結果、前記生体試料の物理的特性をデジタル識別子とリンクさせる他の超特徴の基準点を提供するステップと、
f)前記処理ユニットによって、2つの基準点が同じデジタル識別子に含まれるときを識別し、その結果、潜在的な軌跡セグメントを提供するステップと、
g)前記処理ユニットによって、前記潜在的な軌跡セグメントの物理的な特徴を比較するステップであって、
g1)前記比較の結果が所定の範囲の内側に含まれる場合には、前記潜在的な軌跡セグメントは有効な軌跡セグメントとして確立され、又は
g2)前記比較の結果が前記所定の範囲の外側に含まれる場合には、前記潜在的な軌跡セグメントは無効な軌跡セグメントとして確立される、
該ステップを含む、生体試料のトレーサビリティのための方法。
<請求項2>
ステップg2)が追加のアクションが行われなければならないことを確立するステップをさらに含み、前記追加のアクションが、生体試料の他の物理的特性を決定するためにステップc2)を繰り返すステップ、又は代替の潜在的な軌跡セグメントを得るためにステップd)~f)を繰り返すステップを含む、請求項1に記載の方法。
<請求項3>
ステップg2)が、
-異なるデジタルアイデンティティに最初に属した可能な軌跡によってリンクされた2つの時点を計算するステップ、
-2つの時点の追加の特徴を比較することにより2つの潜在的な軌跡セグメントの尤度を確立するステップ、及び/又は、
-大域的及び局所的な尤度の最大化を計算することによって、最も可能性の高い軌跡のセグメント及びそのような軌跡のセグメントの信頼性を計算するステップ
のうちの少なくとも1つを実行するステップをさらに含む、請求項1に記載の方法。
<請求項4>
ステップc1)において取得された前記データは、前記少なくとも1つの生体試料の少なくとも1つの画像である、請求項1に記載の方法。
<請求項5>
ステップc)が、ホモグラフィアルゴリズムを適用して、互いに非常に近い2つの生体試料を区別するステップをさらに含む、請求項4に記載の方法。
<請求項6>
ステップc2)において決定される前記少なくとも1つの物理的特性が、前記少なくとも1つの生体試料の身体マップ、前記少なくとも1つの生体試料の身体温度、前記少なくとも1つの生体試料の所定の身体部分の体温、重量、スペクトル応答、電磁気応答、比色分析、及び/又は前記少なくとも1つの生体試料のテクスチャである、請求項4に記載の方法。
<請求項7>
ステップc2)において決定される前記少なくとも1つの物理的特性が、前記少なくとも1つの生体試料の重量、生体インピーダンス、又は歩行のパターンである、請求項1に記載の方法。
<請求項8>
追加のデータの有無にかかわらず、潜在的な軌跡セグメントのセットを使用して、1つ又は複数の生体試料の健康、歩行距離、立位時間、攻撃性気分、行動、安否及び/又は縦方向成長パラメータを計算することをさらに含む、請求項1に記載の方法。
<請求項9>
前記生体試料が、ブタ、ウシ、ブロイラー、ニワトリ又は雄牛を含む動物である、請求項1~8のいずれかに記載の方法。
<請求項10>
少なくとも1つの静止カメラを含む一次システムと、
データ取得ユニット及び少なくとも1つの処理モジュールを含む二次システムと、
少なくとも1つの処理ユニットと、
ビデオ追跡画像のデータベースを有し、
前記システムは、請求項1に記載の方法を実施するように構成される、生体試料のトレーサビリティのためのシステム。
<請求項11>
前記データ取得ユニットは少なくとも1つのカメラを含む画像取得ユニットであり、前記カメラは、前記赤色チャネル内に拡張NIRを有するRGBカメラ又は熱カメラを備える、請求項10に記載のシステム。
<請求項12>
前記二次システムはテレメトリックユニットをさらに備え、前記テレメトリックユニットは回転ライダー、走査ライダー、複数のライダー、飛行時間(TOF)センサー、及び/又はTOFカメラを備える、請求項10又は11に記載のシステム。
<請求項13>
前記二次システムが、スケーリングシステム、歩行を記録するための圧電材料を有する床、前記床の一部でバイオインピーダンスを記録するための機器、ウェアラブルチップを読み取るためのRFIDリーダ又はアンテナ、又は心拍数を記録するための機器である、請求項10に記載のシステム。
<請求項14>
空気の質、換気、温度、湿度、水摂取量、飼料摂取量、生体試料の代謝、生体試料の消化及び/又は心拍数を評価するように構成された1つ又は複数の追加のセンサーをさらに備える、請求項10に記載のシステム。
<請求項15>
命令を含むコンピュータプログラム製品であって、前記命令がコンピュータによって実行されたときに、請求項1~9のいずれか一項に記載の方法をコンピュータに実行させる、コンピュータプログラム製品。

Claims (15)

  1. a)動物又はヒトである複数の生体試料のビデオ追跡を実行する第1のプロセスを実行するステップであって、前記第1のプロセスは、
    a1)少なくとも1つの静止カメラを含む一次システムによって、前記生体試料のビデオ画像を連続的に取得し、取得されたビデオ画像を処理ユニットに送信するステップと、
    a2)前記処理ユニットによって、各受信されたビデオ画像について、各受信されたビデオ画像をビデオ追跡画像のデータベースに記憶される少なくとも1つの過去のビデオ画像と比較することによって、そこに含まれる前記生体試料を検出するステップと、
    a3)前記処理ユニットによって、受信された各ビデオ画像について、検出された生体試料の追跡特徴を、前記ビデオ画像に対して追跡アルゴリズムを実施することによって決定するステップであって、前記追跡特徴は各検出された生体試料のデジタル識別子と、タイムスタンプと、検出された生体試料の位置又は輪郭のうちの少なくとも1つの特徴とを含む、該ステップ
    を含む、該ステップと、
    b)前記処理ユニットによって、各検出された生体試料が従う軌跡を含む軌跡ベクトルをそのデジタル識別子に従って決定するステップであって、前記軌跡ベクトルはステップa3で決定された全ての追跡特徴を収集することによって決定される、該ステップと、
    c)特定の時点で第2のプロセスを実行するステップであって、前記第2のプロセスが、
    c1)データ取得ユニット及び少なくとも1つの処理モジュールを含む二次システムによって、前記複数の生体試料のうちの少なくとも1つの生体試料のデータを取得するステップであって、前記二次システムは前記データを取得するときに既知の位置に配置される、該ステップと、
    c2)前記二次システムによって、前記取得されたデータに基づいて、前記少なくとも1つの生体試料の少なくとも1つの物理的特性を決定するステップと、
    c3)前記二次的システムによって、前記少なくとも1つの生体試料の二次的特徴を決定するステップであって、前記二次的特徴は、決定された前記少なくとも1つの物理的特性、タイムスタンプ、及び前記位置を含む、該ステップ
    を含む、該ステップと、
    d)所定のスコアを満たす少なくとも1つの決定された二次的特徴を受信したときに、処理ユニットによって、前記軌跡ベクトルに含まれる前記追跡特徴の前記タイムスタンプ及び位置又は輪郭を、受信された二次的特徴のタイムスタンプ及び位置と照合するステップであって、前記照合するステップの結果はステップc1)の前記少なくとも1つの生体試料の物理的特性をデジタル識別子とリンクさせる超特徴の基準点を提供する、該ステップと、
    e)ステップc)及びd)を他の期間にわたって繰り返し、その結果、前記生体試料の物理的特性をデジタル識別子とリンクさせる他の超特徴の基準点を提供するステップと、
    f)前記処理ユニットによって、2つの基準点が同じデジタル識別子に含まれるときを識別し、その結果、潜在的な軌跡セグメントを提供するステップと、
    g)前記処理ユニットによって、前記潜在的な軌跡セグメントの物理的な特徴を比較するステップであって、
    g1)前記比較の結果が所定の範囲の内側に含まれる場合には、前記潜在的な軌跡セグメントは有効な軌跡セグメントとして確立され、又は
    g2)前記比較の結果が前記所定の範囲の外側に含まれる場合には、前記潜在的な軌跡セグメントは無効な軌跡セグメントとして確立される、
    該ステップを含む、生体試料のトレーサビリティのための方法。
  2. ステップg2)が追加のアクションが行われなければならないことを確立するステップをさらに含み、前記追加のアクションが、生体試料の他の物理的特性を決定するためにステップc2)を繰り返すステップ、又は代替の潜在的な軌跡セグメントを得るためにステップd)~f)を繰り返すステップを含む、請求項1に記載の方法。
  3. ステップg2)が、
    -異なるデジタルアイデンティティに最初に属した可能な軌跡によってリンクされた2つの時点を計算するステップ、
    -2つの時点の追加の特徴を比較することにより2つの潜在的な軌跡セグメントの尤度を確立するステップ、及び/又は、
    -大域的及び局所的な尤度の最大化を計算することによって、最も可能性の高い軌跡のセグメント及びそのような軌跡のセグメントの信頼性を計算するステップ
    のうちの少なくとも1つを実行するステップをさらに含む、請求項1に記載の方法。
  4. ステップc1)において取得された前記データは、前記少なくとも1つの生体試料の少なくとも1つの画像である、請求項1に記載の方法。
  5. ステップc)が、ホモグラフィアルゴリズムを適用して、互いに非常に近い2つの生体試料を区別するステップをさらに含む、請求項4に記載の方法。
  6. ステップc2)において決定される前記少なくとも1つの物理的特性が、前記少なくとも1つの生体試料の身体マップ、前記少なくとも1つの生体試料の身体温度、前記少なくとも1つの生体試料の所定の身体部分の体温、体重、スペクトル応答、電磁気応答、比色分析、及び/又は前記少なくとも1つの生体試料のテクスチャである、請求項4に記載の方法。
  7. ステップc2)において決定される前記少なくとも1つの物理的特性が、前記少なくとも1つの生体試料の体重、生体インピーダンス、又は歩行のパターンである、請求項1に記載の方法。
  8. 追加のデータの有無にかかわらず、潜在的な軌跡セグメントの組を使用して、1つ又は複数の生体試料の健康、歩行距離、立位時間、攻撃性気分、行動、安否及び/又は縦方向成長パラメータを計算するステップをさらに含む、請求項1に記載の方法。
  9. 前記生体試料が、ブタ、ウシ、ブロイラー、ニワトリ又は雄牛を含む動物である、請求項1~8のいずれかに記載の方法。
  10. 少なくとも1つの静止カメラを含む一次システムと、
    データ取得ユニット及び少なくとも1つの処理モジュールを含む二次システムと、
    少なくとも1つの処理ユニットと、
    ビデオ追跡画像のデータベースを有し、
    前記システムは、請求項1に記載の方法を実施するように構成される、生体試料のトレーサビリティのためのシステム。
  11. 前記データ取得ユニットは少なくとも1つのカメラを含む画像取得ユニットであり、前記カメラは、赤色チャネル内に拡張NIRを有するRGBカメラ又は熱カメラを備える、請求項10に記載のシステム。
  12. 前記二次システムはテレメトリックユニットをさらに備え、前記テレメトリックユニットは回転ライダー、走査ライダー、複数のライダー、飛行時間(TOF)センサー、及び/又はTOFカメラを備える、請求項10又は11に記載のシステム。
  13. 前記二次システムが、スケーリングシステム、歩行を記録するための圧電材料を有する床、前記床の一部で生体インピーダンスを記録するための機器、ウェアラブルチップを読み取るためのRFIDリーダ又はアンテナ、又は心拍数を記録するための機器である、請求項10に記載のシステム。
  14. 空気の質、換気、温度、湿度、水摂取量、飼料摂取量、前記生体試料の代謝、消化及び/又は前記生体試料の心拍数を評価するように構成された1つ又は複数の追加のセンサーをさらに備える、請求項10に記載のシステム。
  15. 命令を含むコンピュータプログラム製品であって、前記命令がコンピュータによって実行されたときに、請求項1~9のいずれか一項に記載の方法をコンピュータに実行させる、コンピュータプログラム製品。
JP2022549399A 2020-02-17 2021-01-20 生体試料のトレーサビリティのための方法、システム、及びコンピュータプログラム Pending JP2023525193A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20382117.8A EP3866056A1 (en) 2020-02-17 2020-02-17 Method, system and computer programs for traceability of living specimens
EP20382117.8 2020-02-17
PCT/EP2021/051171 WO2021164972A1 (en) 2020-02-17 2021-01-20 Method, system and computer programs for traceability of living specimens

Publications (1)

Publication Number Publication Date
JP2023525193A true JP2023525193A (ja) 2023-06-15

Family

ID=69770825

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022549399A Pending JP2023525193A (ja) 2020-02-17 2021-01-20 生体試料のトレーサビリティのための方法、システム、及びコンピュータプログラム

Country Status (11)

Country Link
US (1) US20230096439A1 (ja)
EP (2) EP3866056A1 (ja)
JP (1) JP2023525193A (ja)
KR (1) KR20220142514A (ja)
CN (1) CN115176290A (ja)
AU (1) AU2021222707A1 (ja)
BR (1) BR112022016397A2 (ja)
CA (1) CA3168057A1 (ja)
MX (1) MX2022009760A (ja)
WO (1) WO2021164972A1 (ja)
ZA (1) ZA202210314B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220335446A1 (en) * 2021-04-14 2022-10-20 Sunshine Energy Technology Co., Ltd. Real Food Honesty Display System
CN113972006B (zh) * 2021-10-22 2024-06-11 中冶赛迪信息技术(重庆)有限公司 基于红外测温和图像识别的活畜健康检测方法及系统
CN116840833B (zh) * 2023-08-31 2023-11-10 沈阳顺义科技有限公司 质量体轨迹测量方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9152851B2 (en) * 2008-01-23 2015-10-06 The Regents Of The University Of California Systems and methods for behavioral monitoring and calibration
GB0822580D0 (en) 2008-12-11 2009-01-14 Faire Ni Ltd An animal monitoring system and method
US20140300758A1 (en) 2013-04-04 2014-10-09 Bao Tran Video processing systems and methods
CN103488148B (zh) 2013-09-24 2016-03-09 华北电力大学(保定) 一种基于物联网和计算机视觉的家畜行为智能监控系统
US10121064B2 (en) * 2015-04-16 2018-11-06 California Institute Of Technology Systems and methods for behavior detection using 3D tracking and machine learning
US10212922B2 (en) 2015-05-12 2019-02-26 Sony Corporation Management apparatus, individual management system, and individual search system
US10796142B2 (en) 2017-08-28 2020-10-06 Nutech Ventures Systems for tracking individual animals in a group-housed environment
CN108363990A (zh) 2018-03-14 2018-08-03 广州影子控股股份有限公司 一种猪脸识别系统及方法
CN108990831B (zh) * 2018-06-22 2021-07-13 成都睿畜电子科技有限公司 一种牲畜健康监控方法和系统
CN108875647B (zh) * 2018-06-22 2021-08-31 成都睿畜电子科技有限公司 一种基于牲畜身份的移动轨迹监测方法和系统

Also Published As

Publication number Publication date
AU2021222707A1 (en) 2022-10-06
WO2021164972A1 (en) 2021-08-26
CN115176290A (zh) 2022-10-11
BR112022016397A2 (pt) 2022-10-11
MX2022009760A (es) 2022-09-09
EP4107653B1 (en) 2023-12-06
CA3168057A1 (en) 2021-08-26
ZA202210314B (en) 2023-06-28
US20230096439A1 (en) 2023-03-30
EP4107653C0 (en) 2023-12-06
EP4107653A1 (en) 2022-12-28
KR20220142514A (ko) 2022-10-21
EP3866056A1 (en) 2021-08-18

Similar Documents

Publication Publication Date Title
Qiao et al. Intelligent perception for cattle monitoring: A review for cattle identification, body condition score evaluation, and weight estimation
JP2023525193A (ja) 生体試料のトレーサビリティのための方法、システム、及びコンピュータプログラム
US20210406530A1 (en) System and method for identification of individual animals based on images of the back
EP2925121B1 (en) System and method for predicting the health outcome of a subject
Wang et al. Development and validation of an ensemble classifier for real-time recognition of cow behavior patterns from accelerometer data and location data
CN108990831A (zh) 一种牲畜健康监控方法和系统
KR102506029B1 (ko) 영상 기반 가축 개체 성장 추이 모니터링 장치 및 방법
KR102522239B1 (ko) 영상 기반 가축의 급이 행동 분석 장치 및 방법
US20230260327A1 (en) Autonomous livestock monitoring
Milan et al. Survey and future prospects in precision dairy farming
Yuan et al. Stress-free detection technologies for pig growth based on welfare farming: A review
US20240095670A1 (en) Device and method for inventory management of livestock based on image
Aharwal et al. Worth of artificial intelligence in the epoch of modern livestock farming: A review
Kumar et al. Animal biometrics: Concepts and recent application
Wang et al. An Intelligent Edge-IoT Platform With Deep Learning for Body Condition Scoring of Dairy Cow
JP2024046596A (ja) 状態予測装置、状態予測方法、プログラム、及び記録媒体
Benjamin et al. 19 Precision Livestock Farming and
Sourav Automatic visual sensemaking approach for the behavioral understanding of beef cattle
Han et al. Pig-eardetection fromthethermalinfrared imagebased on improved YOLOv8n
KR20240038329A (ko) 영상 기반 가축의 재고 관리 장치 및 방법
Triyanto et al. Indoor Location Mapping of Lameness Chickens with Multi Cameras and Perspective Transform Using Convolutional Neural Networks.
WO2024061936A1 (en) A system and method for estimating body condition score of an animal
CN113610892A (zh) 基于人工智能的畜类异常活动检测实时成像系统
CN117036773A (zh) 一种基于深度学习的猪只跛行检测方法和系统
Sueciae Computer vision algorithms as a modern tool for behavioural analysis in dairy cattle

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221026

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240321

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240322