JP7811368B1 - 人工知能を用いた二重処理基盤の個体分析装置及び方法とこれを用いたスマートファームモニタリングシステム - Google Patents

Abstract

【課題】人工知能を用いた二重処理基盤の個体分析装置及び方法並びにこれを用いたスマートファームモニタリングシステムを提供する。
【解決手段】スマートファームモニタリングシステム１０における方法は、モニタリング対象である個体と連携した映像データ及びセンシングデータを含むターゲットデータを、エッジデバイス２００を用いて収集する段階と、予め学習された人工知能基盤の第１モデルにターゲットデータを入力して個体の行動パターンと連携した第１分析データを出力する初期分析をエッジデバイスを用いて行う段階と、第１分析データが予め設定された詳細分析条件を満たすと、第１分析データ及びターゲットデータをメインサーバに伝送する段階と、を含む。
【選択図】図２

Description

本願は、人工知能を用いた二重処理基盤の個体分析装置及び方法と、これを用いたスマートファームモニタリングシステムに関する。例えば、本願は、スマートファーム環境で家畜行動のモニタリング及び分析のための人工知能基盤の二重処理システムに関する。

農業とＩＣＴ技術の融複合が加速化しながら、伝統的な農畜産業方式からスマートファームへのパラダイムの切換が本格化している。特に、世界主要のスマートファームの先進国は、モノのインターネット、ナノ技術、ビックデータ、クラウド、ロボット、ドローンなどのＩＣＴ技術を農畜産業につなぎ合わせようとする試みを本格的にしており、一部の国家では、収穫量の計算、病虫害の診断、土地水分量の測定、指標状態の測定、収獲時期の診断、作況状態のモニタリングなどを行う多様なシステムを活用しながら、ファームインテリジェンス（Ｆａｒｍ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を実現中にある。

一方、酪農分野のスマートファームの場合も、飼育技術の持続的な発展により反芻動物の大きさが増加しており、飼育環境も、既存の単純な柱施設から堆肥が敷かれた場所のある広い乾燥空間へと変わった。また、産業の統合により、畜産産業における大規模の飼育が普遍化した。現代の大規模の反芻動物の飼育システムにおける窮極的な目標は、肉牛の肉質、乳牛の牛乳生産量及び品質を高めると同時に、家畜の健康と落ち着きを保障することである。かかる目標を達成するためには、反芻動物の生理的行動に対する研究、環境の最適化及び管理が必須的である。

去る数十年間、反芻動物の行動及び反芻動物への環境の影響に関する研究は、畜産及び獣医学で必須過程となった。前述した目標を達成するために、従来の反芻動物の生理学的研究により、反芻動物の行動及び飼育環境などを考慮することはさらに重要になっている。反芻動物の行動は、他の反芻動物及びその他の物体への反応を含み、これは、多様な内部及び外部の条件に対する全般的な反応及び適応とも関連がある。反芻動物の行動が体系的に観察されることで、反芻動物は、摂食行動、休息行動、社会的行動、集団行動、発情行動、繁殖行動、子供関連行動などを主に取ると知られた。このような反芻動物の行動を考慮することは、前述した目標の一要素である生産性を改善するのに重要な役割をする。また、飼育環境の清浄度、温・湿度、単位面積当たり立食密度などのような飼育環境の多様な指標が畜産生産性に考慮される重要な要素として台頭した。例えば、飼料及び飲料水区域などの設計などは、反芻動物の健康及び生理的状態に影響を及ぼす。

また、反芻動物の生理的状態と繁殖環境の調節について多くの研究がなされ、反芻動物の飼育環境への規制が適用されてきたが、飼育規模が拡大することにより、全ての反芻動物を観察するためにはさらに多くの人力を投入する必要があり、センサー製品がある程度補助的な役割はするものの、一匹の動物に様々なセンサーを付着しなければならないという面倒があるだけでなく、これは、反芻動物のストレスを加重させる可能性があり、飼育規模が拡大するにつれて農家側の経済的負担も大きいという限界がある。

韓国登録特許公報第１０－１３２９０２２号

本願は、前述した従来技術の問題点を解決するためのもので、スマートファーム環境で個体の行動を効率的にモニタリング及び分析することができる人工知能を用いた二重処理基盤の個体分析装置及び方法と、これを用いたスマートファームモニタリングシステムを提供することを目的とする。
但し、本願の実施例が達成しようとする技術的課題は、上記のような技術的課題に限定されず、また他の技術的課題が存在し得る。

上記の技術的課題を達成するための技術的手段として、本願の一実施例による人工知能を用いた二重処理基盤の個体分析方法は、モニタリング対象である個体と連携した映像データ及びセンシングデータを含むターゲットデータをエッジデバイスを用いて収集する段階と、予め学習された人工知能基盤の第１モデルに前記ターゲットデータを入力して前記個体の行動パターンと連携した第１分析データを出力する初期分析を前記エッジデバイスを用いて行う段階と、前記第１分析データが予め設定された詳細分析条件を満たすと、前記第１分析データ及び前記ターゲットデータをメインサーバに伝送する段階とを含むことができる。

また、前記第１分析データは、前記映像データに反映された前記個体の存在有無情報及び登場位置情報を含むことができる。
また、前記第１分析データは、前記個体の行為類型に対する第１分類情報を含むことができる。
また、前記詳細分析条件は、前記第１分類情報が予め設定された非正常行為または重要行為に該当する条件を含むことができる。
また、前記第２分析データは、前記個体の行為類型に対する第２分類情報を含むことができる。
また、前記第２分類情報のクラス個数が前記第１分類情報のクラス個数に比べて大きいことができる。
また、前記第１モデルは、前記エッジデバイスのリソース情報を考慮して構築された軽量化モデルであることができる。
また、前記第２モデルは、互いに異なる複数のネットワーク構造のそれぞれに基づいて予め構築された複数のモデルを含むことができる。
また、前記第２分析データは、前記複数のモデルのそれぞれの出力データの一致度を考慮して決定されることができる。

一方、本願の一実施例による人工知能を用いた二重処理基盤の個体分析方法は、モニタリング対象である個体と連携した映像データ及びセンシングデータを含むターゲットデータを予め学習された人工知能基盤の第１モデルに入力して前記個体の行動パターンと連携した第１分析データを出力する初期分析をエッジデバイスを用いて行った結果、前記第１分析データが予め設定された詳細分析条件を満たすことにより、前記第１分析データ及び前記ターゲットデータを前記エッジデバイスから受信する段階と、前記第１分析データ及び前記ターゲットデータのうち少なくとも一つを予め学習された人工知能基盤の第２モデルに入力して前記個体の行動パターンと連携した第２分析データを導出する詳細分析を行う段階とを含むことができる。
また、前記詳細分析を行う段階は、前記複数のモデルのそれぞれの出力データの一致度を考慮して前記第２分析データを決定することができる。

一方、本願の一実施例によるスマートファームモニタリングシステムは、モニタリング対象である個体と連携した映像データ及びセンシングデータを含むターゲットデータを収集し、予め学習された人工知能基盤の第１モデルに前記ターゲットデータを入力して前記個体の行動パターンと連携した第１分析データを出力する初期分析を行い、前記第１分析データが予め設定された詳細分析条件を満たすと、前記第１分析データ及び前記ターゲットデータをメインサーバに伝送するエッジデバイスと、前記第１分析データ及び前記ターゲットデータのうち少なくとも一つを予め学習された人工知能基盤の第２モデルに入力して前記個体の行動パターンと連携した第２分析データを導出する詳細分析を行う前記メインサーバとを含むことができる。

上述した課題解決手段は単に例示的なもので、本願を制限しようとする意図で解釈されてはならない。上述した例示的な実施例の他にも、図面及び発明の詳細な説明に追加的な実施例が存在することができる。

前述した本願の課題解決手段によると、スマートファーム環境で個体の行動を効率的にモニタリング及び分析することができる人工知能を用いた二重処理基盤の個体分析装置及び方法と、これを用いたスマートファームモニタリングシステムを提供することができる。

前述した本願の課題解決手段によると、エッジ端で基本的なデータ分析を行い、重要なデータをサーバ側に選別的に伝送して高級分析を行うという二重データ処理パイプラインを通じて、リソースの制約が存在する環境でもデータ処理の効率性を極大化し、サーバの負荷及びデータ伝送費用を最小化することができる。

前述した本願の課題解決手段によると、多様な類型の家畜と多様な飼育環境に対応してスマートファームモニタリングシステムを構築することができ、モニタリング対象となる各個体の健康状態、ストレス状況などに対する持続的な感知により適切な対応が迅速になされるように補助することができる。

前述した本願の課題解決手段によると、スマートファームモニタリングシステムを多様な規模の農場や、異種類型のスマートファームのそれぞれに対してモジュール式設計を通じて具現することで、システム間の統合が容易であり、個別システムに対して管理者が当該スマートファームで必要な要素をカスタマイズして個別化設定することができる。
但し、本願で得られる効果は、上記のような効果に限定されず、また他の効果が存在することができる。

本願の一実施例によるスマートファームモニタリングシステムの概略的な構成図である。 本願の一実施例によるスマートファームモニタリングシステムの動作流れを示した概念図である。 モニタリング対象である個体と連携した映像データを用いた人工知能基盤の個体識別方式を説明するための概念図である。 本願の一実施例によるスマートファームモニタリングシステムのメインサーバの概略的な構成図である。 本願の一実施例によるスマートファームモニタリングシステムのエッジデバイスの概略的な構成図である。 エッジデバイスを用いて行われる本願の一実施例による人工知能を用いた二重処理基盤の個体分析方法に対する動作フローチャートである。 メインサーバを用いて行われる本願の一実施例による人工知能を用いた二重処理基盤の個体分析方法に対する動作フローチャートである。 個体の行動パターンと連携した第２分析データを導出する詳細分析プロセスに対する細部動作フローチャートである。

以下では、添付の図面を参照して本願が属する技術分野で通常の知識を有する者が容易に実施することができるように、本願の実施例を詳しく説明する。しかし、本願は、様々な異なる形態で具現されることができ、ここで説明する実施例に限定されない。そして、図面で本願を明確に説明するために、説明と関係ない部分は省略し、明細書全体を通じて類似した部分については類似した図面符号をつけた。
本願明細書全体において、ある部分が他の部分と「連結」されているとすると、これは「直接的に連結」されている場合だけでなく、その中間に他の素子を挟んで「電気的に連結」または「間接的に連結」されている場合も含む。
本願明細書全体において、ある部材が他の部材「上に」、「上部に」、「上端に」、「下に」、「下部に」、「下端に」位置しているとすると、これは、ある部材が他の部材に接している場合だけでなく、二つの部材間にまた他の部材が存在する場合も含む。
本願明細書全体において、ある部分がある構成要素を「含む」とすると、これは、特に反対の記載がない限り、他の構成要素を除外するのではなく、他の構成要素をさらに含むことができることを意味する。

本願は、人工知能を用いた二重処理基盤の個体分析装置及び方法と、これを用いたスマートファームモニタリングシステムに関する。
図１は、本願の一実施例によるスマートファームモニタリングシステムの概略的な構成図である。

図１を参照すると、本願の一実施例によるスマートファームモニタリングシステム１０は、メインサーバ１００、エッジデバイス２００及び使用者端末３００を含むことができる。また、図１を参照すると、スマートファームモニタリングシステム１０は、エッジデバイス２００側にモニタリング対象となるターゲット空間（例えば、農場、畜舍、スマートファームなど）に対して各種のセンシングデータを計測及び伝送する測定モジュール２１と、ターゲット空間に対する映像データを撮影及び伝送するカメラモジュール２２とを含むことができる。

測定モジュール２１、カメラモジュール２２、メインサーバ１００、エッジデバイス２００及び使用者端末３００の相互間は、ネットワーク２０を介して通信することができる。ネットワーク２０は、端末及びサーバのようなそれぞれのノード相互間に情報交換が可能な連結構造を意味するもので、かかるネットワーク２０の一例としては、３ＧＰＰ（登録商標）（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）ネットワーク、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）ネットワーク、５Ｇネットワーク、ＷＩＭＡＸ（Ｗｏｒｌｄ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）ネットワーク、インターネット（Ｉｎｔｅｒｎｅｔ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｗｉｒｅｌｅｓｓ ＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＰＡＮ（Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ｗｉｆｉネットワーク、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ）ネットワーク、衛星放送ネットワーク、アナログ放送ネットワーク、ＤＭＢ（Ｄｉｇｉｔａｌ Ｍｕｌｔｉｍｅｄｉａ Ｂｒｏａｄｃａｓｔｉｎｇ）ネットワークなどが含まれるが、これに限定されるものではない。

使用者端末３００は、例えば、スマートフォン（Ｓｍａｒｔｐｈｏｎｅ）、スマートパッド（ＳｍａｒｔＰａｄ）、タブレットＰＣなどとＰＣＳ（Ｐｅｒｓｏｎａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｅｌｌｕｌａｒ）、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＩＭＴ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ）－２０００、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）－２０００、Ｗ－ＣＤＭＡ（Ｗ－Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、Ｗｉｂｒｏ（Ｗｉｒｅｌｅｓｓ Ｂｒｏａｄｂａｎｄ Ｉｎｔｅｒｎｅｔ）端末機のような全ての種類の無線通信装置であることができる。

参考として、本願の実施例に関する説明において、使用者端末３００は、本願で開示するスマートファームモニタリングシステム１０を通じて管理されるターゲット空間（例えば、農場、畜舍、スマートファームなど）の管理者が保有した端末であることができる。
以下では、図２を参照して、本願で開示するスマートファームモニタリングシステム１０のデータ処理パイプライン及びシステムアーキテクチャを説明する。
図２は、本願の一実施例によるスマートファームモニタリングシステムの動作流れを示した概念図である。

図２を参照すると、本願の一実施例によるスマートファームモニタリングシステム１０は、モニタリング対象となるターゲット空間のそれぞれに対応して配置されたエッジデバイス２００と、エッジデバイス２００から各ターゲット空間で収集されたデータを獲得し、獲得したデータを分析して分析結果を提供するメインサーバ１００とを含むことができる。

具体的に、エッジデバイス２００は、モニタリング対象である個体と連携した映像データ及びセンシングデータを含むターゲットデータを収集し、予め学習された人工知能基盤の第１モデルに収集したターゲットデータを入力して個体の行動パターンと連携した第１分析データを出力する初期分析を行うことができる。また、エッジデバイス２００は、第１分析データが予め設定された詳細分析条件を満たす場合、第１分析データ及びターゲットデータをメインサーバ１００に伝送することができる。

換言すると、本願で開示するエッジデバイス２００は、ターゲット空間に存在し、モニタリング対象となる個体（例えば、経産牛（搾乳牛）、分娩牛、育成牛、乳牛、畜牛、子牛、豚、馬、鶏、羊などターゲット空間で生活する家畜、ターゲット空間内で栽培される農作物など）の行動、位置、健康状態などをモニタリングするためにターゲット空間に設置される測定モジュール２１及びカメラモジュール２２を通じて収集されるターゲットデータを収集して初期データ処理を適用し、予め学習された第１モデル（軽量化モデル）を用いてエッジデバイス２００のリソース情報（例えば、演算能力など）を考慮した基本分析（初期分析）を行うことができる。

参考として、ターゲットデータに対する初期データ処理は、例えば、雑音（ノイズ）の除去、データの正規化、データの初期分類などの前処理作業を幅広く含むことができる。

また、エッジデバイス２００は、第１モデル（軽量化モデル）の分析結果を土台としてターゲット空間で発生する一般的な状況と非正常的な状況を区別するか、重要な状況を識別した結果を土台として収集されたターゲットデータ及び／または第１モデルによって初期分析された第１分析データを選別的にメインサーバ１００側に伝達するように動作することができ、このようなメインサーバ１００側に伝達されるデータの選別のために、所定の重要データの選択基準を適用して、選別されたデータの最適化及び圧縮を行うことができる。

また、メインサーバ１００は、エッジデバイス２００から受信した第１分析データ及びターゲットデータのうち少なくとも一つを予め学習された人工知能基盤の第２モデルに入力して個体の行動パターンと連携した第２分析データを導出する詳細分析を行うことができる。

換言すると、本願で開示するメインサーバ１００は、エッジデバイス２００からデータを受信する機能と、受信したデータに対してエッジデバイス２００のリソースを考慮する時、エッジデバイス２００端では行い難い人工知能基盤の高級分析（詳細分析）を予め学習された第２モデルを用いて行う機能と、行われた高級分析（詳細分析）の結果を使用者端末３００に提供する機能とを行うことができる。

一方、例示的に図２に示すように、スマートファームモニタリングシステム１０が複数のターゲット空間（例えば、図２の「農場Ａ」、「農場Ｂ」などのスマートファーム）のそれぞれに対して配置されたエッジデバイス２００を通じて収集されたデータを分析及び管理するように構築される場合、使用者端末３００は、それぞれのターゲット空間に対応する管理者のそれぞれが保有することができるが、これに限定されるものではない。

以下では、本願で開示するスマートファームモニタリングシステム１０のメインサーバ１００及びエッジデバイス２００の機能及び動作を詳しく説明し、エッジデバイス２００を用いたデータ収集、初期分析（基本分析）、重要データの選択及び最適化を通じた選別的なデータ伝送プロセスについて先に説明し、エッジデバイス２００から受信されたデータを用いてメインサーバ１００側で詳細分析（高級分析）を行い、分析結果を使用者端末３００に提供するプロセスについて後で説明する。

先ず、エッジデバイス２００は、モニタリング対象である個体と連携した映像データ及びセンシングデータを含むターゲットデータをエッジデバイス２００を用いて収集することができる。

また、エッジデバイス２００は、予め学習された人工知能基盤の第１モデルにターゲットデータを入力して個体の行動パターンと連携した第１分析データを出力する初期分析をエッジデバイス２００を用いて行うことができる。

一方、本願で開示するエッジデバイス２００は、エッジデバイス２００のリソース情報を考慮して構築された軽量化モデルである第１モデルを用いて初期分析を行うことができる。これと関連して、第１モデルは、エッジデバイス２００のプロセッサ性能、メモリ容量、処理速度などを考慮して、制限された演算能力を持った装備に該当するエッジデバイス２００でも効率的に作動可能に軽量化設計が適用されたエッジターゲットモデルであることができる。

例えば、第１モデルは、メインサーバ１００で詳細分析（高級分析）を行うために使用される第２モデルと対比して、処理可能な入力データの大きさが相対的に小さく設定されるか、複数の階層（Ｌａｙｅｒ）を含むようになり、第２モデルの階層数に比べて少ない数の階層からなるか、相対的に複雑度の高い関数が含まれないように設計されるか、所定の演算の繰り返し回数が相対的に少なく設定されることができるが、これに限定されるものではない。

また、本願の一実施例によると、第１モデルは、第２モデルに比べて当該モデルが予測したクラスの信頼度を意味するコンフィダンス（Ｃｏｎｆｉｄｅｎｃｅ）値が相対的に小さく設定されたモデルであることができる。これと関連して、コンフィダンス値が高いモデルであるほど、当該クラスに対する予測結果に対してより高い正確度を有することができるが、エッジデバイス２００の場合、リソースを考慮すると、正確度の高い分析結果を提供するより、特定の重要状況（例えば、個体の特定類型の行動など）の発生を逃さず探知することが重要であるため、誤診断（誤ったクラス分類）の発生可能性が相対的に高くなっても未診断（重要な状況／事件を逃すこと）を厳密に防止可能にするコンフィダンス値が第１モデルに対して適用されることができる。

換言すると、本願の一実施例によると、初期分析のための第１モデル（軽量化モデル）に対して適用されるコンフィダンス値（例えば、第１閾値）が詳細分析のための第２モデル（サーバ側モデル）に対して適用されるコンフィダンス値（例えば、第２閾値）に比べて低い値で設定されることができる。
具体的に、エッジデバイス２００は、映像データに反映された個体の存在有無情報及び登場位置情報を第１分析データとして導出することができる。

これと関連して、図３は、モニタリング対象である個体と連携した映像データを用いた人工知能基盤の個体識別方式を説明するための概念図である。

図３を参照すると、エッジデバイス２００は、映像分析モデル類型の第１モデルを用いて映像データに含まれた所定のフレームを意味する対象イメージ１に存在する個体を認識し、認識された個体を含む第１境界領域Ｂ－１を特定することで、個体の存在有無情報及び登場位置情報を導出することができる。

例えば、エッジデバイス２００は、映像分析モデル類型の第１モデルを用いて対象イメージ１に登場する個体に対応する境界箱（Ｂｏｕｎｄｉｎｇ ｂｏｘ）を識別するか、個体の特定の身体部位を示すキーポイント（Ｋｅｙ ｐｏｉｎｔ）を識別するか、対象イメージ１をなす各部分の客体類型を分類（把握）するセグメンテーション（Ｓｅｇｍｅｎｔａｔｉｏｎ）などの分析動作を行うことができるが、これに限定されるものではない。

また、図３を参照すると、エッジデバイス２００は、予め設定された識別対象（例えば、個体の耳部位に付着する耳票、センサー、タグ、認識票などのオブジェクト）を認識し、認識された識別対象を含む第２境界領域Ｂ－２を第１境界領域Ｂ－１内で特定することができる。

一方、本願の一実施例によると、エッジデバイス２００は、人工知能基盤の映像分析モデルである第１モデルを用いて識別された対象イメージ１内のオブジェクトの形状情報を第１分析データとして導出することができる。これと関連して、オブジェクトの形状情報は、具体的にオブジェクトの色相情報及び区画パターン情報のうち少なくとも一つを含むことができ、このようなオブジェクトの形状情報を第１分析データとして獲得したメインサーバ１００は、ターゲット空間で活動する複数の個体のそれぞれに対応する個体識別情報と、形状情報が相互区分されるように生成された複数のオブジェクトのそれぞれに対して形状情報のタイプ毎に割り当てられるタグ識別情報をマッチングしたデータベース（図示せず）を用いて第１分析データまたは第１分析データと連携した映像データに登場する個体を特定（識別）するように動作することができる。

他の例として、エッジデバイス２００は、個体の行為類型に対する第１分類情報を第１分析データとして導出することができる。また、エッジデバイス２００は、第１分析データが予め設定された詳細分析条件を満たすと、第１分析データ及びターゲットデータをメインサーバ１００に伝送することができる。

これと関連して、本願の一実施例によると、エッジデバイス２００は、第１分類情報が予め設定された非正常行為または重要行為に該当すると、詳細分析条件が達成されたと判断し、第１分析データ及びターゲットデータをメインサーバ１００に伝送することができる。

また、前述した非正常行為または重要行為は、例えば個体が家畜のうち乳牛類型である場合、乗駕（繁殖行為）、摂取（餌摂取、水摂取）、疾病またはストレスなどに起因した異常行為などを含むように設定されることができるが、これに限定されるものではなく、ターゲット空間に位置する個体の類型などによって多様に設定可能なことは勿論である。
次に、メインサーバ１００について説明する。

メインサーバ１００は、モニタリング対象である個体と連携した映像データ及びセンシングデータを含むターゲットデータを予め学習された人工知能基盤の第１モデルに入力して、個体の行動パターンと連携した第１分析データを出力する初期分析をエッジデバイス２００を用いて行った結果、第１分析データが予め設定された詳細分析条件を満たすことによって導出された第１分析データ及びターゲットデータをエッジデバイス２００から受信することができる。

また、メインサーバ１００は、第１分析データ及びターゲットデータのうち少なくとも一つを予め学習された人工知能基盤の第２モデルに入力して個体の行動パターンと連携した第２分析データを導出する詳細分析を行うことができる。

具体的に、メインサーバ１００は、互いに異なる複数のネットワーク構造のそれぞれに基づいて予め構築された複数のモデルを含む第２モデルを用いて、複数のモデルのそれぞれの出力データの一致度を考慮して第２分析データを決定するように動作することができる。一方、互いに異なるネットワーク構造を有する複数のモデルとは、例えば、複数のモデルのうち一つのモデルは、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ）に基づいて設計され、複数のモデルのうち他の一つのモデルは、トランスフォーマー（Ｔｒａｎｓｆｏｒｍｅｒ）アーキテクチャに基づいて設計されることを意味することができるが、これに限定されるものではなく、本願で開示する第２モデルに含まれることができる複数のモデルのそれぞれに対して従来既に公知されたか、今後開発可能なディープラーニングネットワーク、機械学習アルゴリズム、指導／非指導学習アルゴリズムなど多様な類型の人工知能アルゴリズムまたはアーキテクチャが適用されることができる。

これと関連して、本願の一実施例によると、メインサーバ１００は、エッジデバイス２００から受信されたターゲットデータ及び第１分析データのうち少なくとも一部を含むデータセットを第２モデルの分析対象データとして生成することができる。

また、メインサーバ１００は、第２モデルに含まれる複数のモデルのそれぞれに生成された同一のデータセットを個別入力して、複数のモデルのそれぞれの予測結果を獲得することができる。

また、メインサーバ１００は、複数のモデルのそれぞれを通じて導出された予測結果が相互一致するか否かを検証することができる。具体的に、メインサーバ１００は、複数のモデルのそれぞれを通じて導出された予測結果が全て一致する場合、複数のモデルを通じて共通して導出された予測結果を第２モデルの第２分析データとして確定することができる。これと異なり、複数のモデルを通じて導出された予測結果のうち少なくとも一部が相互一致しない場合、メインサーバ１００は、複数のモデルのそれぞれを通じて導出された既存の予測結果を除去し、エッジデバイス２００から新たに伝達されるデータ（換言すると、ターゲットデータ及び第１分析データ）を用いて詳細分析が再び行われるようにすることができる。

一方、このような多重ＡＩモデルのアプローチ方式と関連して、本願で開示するスマートファームモニタリングシステム１０は、複数のモデルを含む第２モデルに対して、複数のモデルのそれぞれが同一のデータセットを持って独立して分析を行うようにした後、分析の結果、複数のモデルが全て同一のクラスを予測する場合のみにその結果が信頼できるとみなし、これと異なり、いずれか一つのモデルのみが特定のクラスを予測する場合、その結果は誤答としてみなすようにすることで、スマートファームなどの商業的環境では、誤った結果を最小化し、高い信頼度を持った正確な結果を最終的に提供することが重要なことを考慮して、第１モデルと異なり第２モデルは、単一のモデルに依存するよりは様々なモデルを使用して結果の信頼性を高めるというアプローチ方式を採択したと理解されることができる。
また、メインサーバ１００は、メインサーバ１００を通じた詳細分析を通じて導出された第２分析データを使用者端末３００に伝送することができる。

図４は、本願の一実施例によるスマートファームモニタリングシステムのメインサーバの概略的な構成図である。
図４を参照すると、メインサーバ１００は、データ受信部１１０、詳細分析部１２０及び分析情報提供部１３０を含むことができる。

データ受信部１１０は、モニタリング対象である個体と連携した映像データ及びセンシングデータを含むターゲットデータを予め学習された人工知能基盤の第１モデルに入力して個体の行動パターンと連携した第１分析データを出力する初期分析をエッジデバイス２００を用いて行った結果、第１分析データが予め設定された詳細分析条件を満たすことによって導出された第１分析データ及びターゲットデータをエッジデバイス２００から受信することができる。

詳細分析部１２０は、第１分析データ及びターゲットデータのうち少なくとも一つを予め学習された人工知能基盤の第２モデルに入力して個体の行動パターンと連携した第２分析データを導出する詳細分析を行うことができる。

具体的に、詳細分析部１２０は、互いに異なる複数のネットワーク構造のそれぞれに基づいて予め構築された複数のモデルを含む第２モデルを用いて、複数のモデルのそれぞれの出力データの一致度を考慮して第２分析データを決定するように動作することができる。

これと関連して、本願の一実施例によると、詳細分析部１２０は、エッジデバイス２００から受信されたターゲットデータ及び第１分析データのうち少なくとも一部を含むデータセットを第２モデルの分析対象データとして生成することができる。

また、詳細分析部１２０は、第２モデルに含まれる複数のモデルのそれぞれに生成された同一のデータセットを個別入力して、複数のモデルのそれぞれの予測結果を獲得することができる。

また、詳細分析部１２０は、複数のモデルのそれぞれを通じて導出された予測結果が相互一致するか否かを検証することができる。具体的に、詳細分析部１２０は、複数のモデルのそれぞれを通じて導出された予測結果が全て一致する場合、複数のモデルを通じて共通して導出された予測結果を第２モデルの第２分析データとして確定することができる。これと異なり、複数のモデルを通じて導出された予測結果のうち少なくとも一部が相互一致しない場合、詳細分析部１２０は、複数のモデルのそれぞれを通じて導出された既存の予測結果を除去し、エッジデバイス２００から新たに伝達されるデータ（換言すると、ターゲットデータ及び第１分析データ）を用いて詳細分析が再び行われるようにすることができる。
分析情報提供部１３０は、メインサーバ１００を通じた詳細分析を通じて導出された第２分析データを使用者端末３００に伝送することができる。

図５は、本願の一実施例によるスマートファームモニタリングシステムのエッジデバイスの概略的な構成図である。
図５を参照すると、エッジデバイス２００は、収集部２１０及び初期分析部２２０を含むことができる。

収集部２１０は、モニタリング対象である個体と連携した映像データ及びセンシングデータを含むターゲットデータをエッジデバイス２００を用いて収集することができる。

初期分析部２２０は、予め学習された人工知能基盤の第１モデルにターゲットデータを入力して個体の行動パターンと連携した第１分析データを出力する初期分析をエッジデバイス２００を用いて行うことができる。

例示的に、初期分析部２２０は、エッジデバイス２００のリソース情報を考慮して構築された軽量化モデルである第１モデルを用いて初期分析を行うことができる。

具体的に、初期分析部２２０は、映像データに反映された個体の存在有無情報及び登場位置情報を第１分析データとして導出することができる。他の例として、初期分析部２２０は、個体の行為類型に対する第１分類情報を第１分析データとして導出することができる。

通信部２３０は、第１分析データが予め設定された詳細分析条件を満たすと、第１分析データ及びターゲットデータをメインサーバ１００に伝送することができる。

具体的に、本願の一実施例によると、通信部２３０は、第１分類情報が予め設定された非正常行為または重要行為に該当する場合、詳細分析条件が達成されたと判断して、第１分析データ及びターゲットデータをメインサーバ１００に伝送することができる。

以下では、上記に詳しく説明された内容に基づいて、本願の動作流れを簡単に説明する。
図６は、エッジデバイスを用いて行われる本願の一実施例による人工知能を用いた二重処理基盤の個体分析方法に対する動作フローチャートである。

図６に示された人工知能を用いた二重処理基盤の個体分析方法は、上述したエッジデバイス２００によって行われることができる。よって、以下で省略された内容であるとしても、エッジデバイス２００について説明された内容は、人工知能を用いた二重処理基盤の個体分析方法に対する説明にも同一に適用されることができる。

図６を参照すると、段階Ｓ１１において、収集部２１０は、モニタリング対象である個体と連携した映像データ及びセンシングデータを含むターゲットデータをエッジデバイス２００を用いて収集することができる。

次に、段階Ｓ１２において、初期分析部２２０は、予め学習された人工知能基盤の第１モデルにターゲットデータを入力して個体の行動パターンと連携した第１分析データを出力する初期分析をエッジデバイス２００を用いて行うことができる。

例示的に、段階Ｓ１２において、初期分析部２２０は、エッジデバイス２００のリソース情報を考慮して構築された軽量化モデルである第１モデルを用いて初期分析を行うことができる。

具体的に、段階Ｓ１２において、初期分析部２２０は、映像データに反映された個体の存在有無情報及び登場位置情報を第１分析データとして導出することができる。他の例として、段階Ｓ１２において、初期分析部２２０は、個体の行為類型に対する第１分類情報を第１分析データとして導出することができる。

次に、段階Ｓ１３において、通信部２３０は、第１分析データが予め設定された詳細分析条件を満たすと、第１分析データ及びターゲットデータをメインサーバ１００に伝送することができる。

具体的に、本願の一実施例によると、段階Ｓ１３において、通信部２３０は、第１分類情報が予め設定された非正常行為または重要行為に該当する場合、詳細分析条件が達成されたと判断し、第１分析データ及びターゲットデータをメインサーバ１００に伝送することができる。

上述した説明において、段階Ｓ１１～Ｓ１３は、本願の具現例により、追加的な段階にさらに分割されるか、さらに少ない段階で組み合わせられることができる。また、一部段階は必要に応じて省略されてもよく、段階間の手順が変更されてもよい。

図７は、メインサーバを用いて行われる本願の一実施例による人工知能を用いた二重処理基盤の個体分析方法に対する動作フローチャートである。
図７に示された人工知能を用いた二重処理基盤の個体分析方法は、上記で説明されたメインサーバ１００によって行われることができる。よって、以下で省略された内容であるとしても、メインサーバ１００について説明された内容は、人工知能を用いた二重処理基盤の個体分析方法に対する説明にも同一に適用されることができる。

図７を参照すると、段階Ｓ２１において、データ受信部１１０は、モニタリング対象である個体と連携した映像データ及びセンシングデータを含むターゲットデータを予め学習された人工知能基盤の第１モデルに入力して個体の行動パターンと連携した第１分析データを出力する初期分析をエッジデバイス２００を用いて行った結果、第１分析データが予め設定された詳細分析条件を満たすことによって導出された第１分析データ及びターゲットデータをエッジデバイス２００から受信することができる。

次に、段階Ｓ２２において、詳細分析部１２０は、第１分析データ及びターゲットデータのうち少なくとも一つを予め学習された人工知能基盤の第２モデルに入力して個体の行動パターンと連携した第２分析データを導出する詳細分析を行うことができる。

具体的に、段階Ｓ２２において、詳細分析部１２０は、互いに異なる複数のネットワーク構造のそれぞれに基づいて予め構築された複数のモデルを含む第２モデルを用いて、複数のモデルのそれぞれの出力データの一致度を考慮して第２分析データを決定するように動作することができる。

また、本願の一実施例によると、段階Ｓ２２において、詳細分析部１２０は、個体の行為類型に対する第２分類情報を含む第２分析データを導出し、導出される第２分類情報のクラス個数が前述した第１分類情報のクラス個数に比べて大きく設定されることができる。

上述した説明において、段階Ｓ２１及びＳ２２は、本願の具現例によって、追加的な段階にさらに分割されるか、さらに少ない段階で組み合わせられることができる。また、一部段階は必要に応じて省略されてもよく、段階間の手順が変更されてもよい。

図８は、個体の行動パターンと連携した第２分析データを導出する詳細分析プロセスに対する細部動作フローチャートである。
図８に示された個体の行動パターンと連携した第２分析データを導出する詳細分析プロセスは、上記で説明されたメインサーバ１００によって行われることができる。よって、以下で省略された内容であるとしても、メインサーバ１００について説明された内容は、人工知能を用いた二重処理基盤の個体分析方法に対する説明にも同一に適用されることができる。

図８を参照すると、段階Ｓ２２１において、詳細分析部１２０は、エッジデバイス２００から受信されたターゲットデータ及び第１分析データのうち少なくとも一部を含むデータセットを第２モデルの分析対象データとして生成することができる。

次に、段階Ｓ２２２において、詳細分析部１２０は、第２モデルに含まれる複数のモデルのそれぞれに段階Ｓ２２１を通じて生成された同一のデータセットを個別入力することができる。
次に、段階Ｓ２２３において、詳細分析部１２０は、複数のモデルのそれぞれの予測結果を獲得することができる。
次に、段階Ｓ２２４において、詳細分析部１２０は、複数のモデルのそれぞれを通じて導出された予測結果が相互一致するか否かを検証することができる。

段階Ｓ２２４の判断の結果、複数のモデルのそれぞれを通じて導出された予測結果が全て一致する場合、段階Ｓ２２５において、詳細分析部１２０は、複数のモデルを通じて共通して導出された予測結果を第２モデルの第２分析データとして確定することができる。

これと異なり、段階Ｓ２２４の判断の結果、複数のモデルを通じて導出された予測結果のうち少なくとも一部が相互一致しない場合、段階Ｓ２２６において、詳細分析部１２０は、複数のモデルのそれぞれを通じて導出された既存の予測結果を除去し、エッジデバイス２００から新たに伝達されるデータ（換言すると、ターゲットデータ及び第１分析データ）を用いて詳細分析が再び行われるようにすることができる。

上述した説明において、段階Ｓ２２１及びＳ２２６は、本願の具現例によって、追加的な段階にさらに分割されるか、さらに少ない段階で組み合わせられることができる。また、一部段階は必要に応じて省略されてもよく、段階間の手順が変更されてもよい。

本願の一実施例による人工知能を用いた二重処理基盤の個体分析方法は、多様なコンピュータ手段を通じて行われることができるプログラム命令形態で具現されてコンピュータ読取可能媒体に記録されることができる。前記コンピュータ読取可能媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。上記媒体に記録されるプログラム命令は、本発明のために特に設計されて構成されたものであるか、コンピュータソフトウェア当業者に公知されて使用可能なものであってもよい。コンピュータ読取可能記録媒体の例としては、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びロム（ＲＯＭ）、ラム（ＲＡＭ）、フラッシュメモリなどのようなプログラム命令を格納し行うように特に構成されたハードウェア装置が含まれる。プログラム命令の例としては、コンパイラーにより作られるもののような機械語コードだけでなく、インタプリターなどを使用してコンピュータによって実行されることができる高級言語コードを含む。上記のハードウェア装置は、本発明の動作を行うために一つ以上のソフトウェアモジュールとして作動するように構成されることができ、その反対も同一である。

また、前述した人工知能を用いた二重処理基盤の個体分析方法は、記録媒体に格納されるコンピュータにより実行されるコンピュータプログラムまたはアプリケーションの形態でも具現されることができる。

前述した本願の説明は例示のためのものであり、本願が属する技術分野の通常の知識を有する者は、本願の技術的思想や必須的な特徴を変更せずに他の具体的な形態に容易に変形可能なことが理解できる。従って、以上で記述した実施例は、全ての面で例示的なものであり、限定的ではない。例えば、単一型で説明されている各構成要素は分散して実施されてもよく、同様に分散したもので説明されている構成要素も結合された形態で実施されてもよい。
本願の範囲は、上記詳細な説明よりは後述する特許請求の範囲によって表され、特許請求の範囲の意味及び範囲、そしてその均等概念から導出される全ての変更または変形された形態が本願の範囲に含まれる。

１０：スマートファームモニタリングシステム
１００：メインサーバ
１１０：データ受信部
１２０：詳細分析部
１３０：分析情報提供部
２００：エッジデバイス
２１０：収集部
２２０：初期分析部
２３０：通信部
２１：測定モジュール
２２：カメラモジュール
３００：使用者端末
２０：ネットワーク

Claims (10)

1. 人工知能を用いた二重処理基盤の個体分析方法において、
   モニタリング対象である個体と連携した映像データ及びセンシングデータを含むターゲットデータをエッジデバイスを用いて収集する段階と、
   予め学習された人工知能基盤の第１モデルに前記ターゲットデータを入力して前記個体の行動パターンと連携した第１分析データを出力する初期分析を前記エッジデバイスを用いて行う段階と、
   前記第１分析データが予め設定された詳細分析条件を満たすと、前記第１分析データ及び前記ターゲットデータをメインサーバに伝送する段階と、
   を含み、
   前記メインサーバは、
   前記第１分析データ及び前記ターゲットデータのうち少なくとも一つを予め学習された人工知能基盤の第２モデルに入力して前記個体の行動パターンと連携した第２分析データを導出する詳細分析を行うものであり、
   前記第１分析データは、
   前記映像データに反映された前記個体の存在有無情報及び登場位置情報を含むものである
   ことを特徴とする分析方法。
2. 前記第１分析データは、
   前記個体の行為類型に対する第１分類情報を含み、
   前記詳細分析条件は、
   前記第１分類情報が予め設定された非正常行為または重要行為に該当する条件を含むものである
   請求項１に記載の分析方法。
3. 前記第２分析データは、
   前記個体の行為類型に対する第２分類情報を含み、前記第２分類情報のクラス個数が前記第１分類情報のクラス個数に比べて大きいものである
   請求項２に記載の分析方法。
4. 前記第１モデルは、前記エッジデバイスのリソース情報を考慮して構築された軽量化モデルである
   請求項１に記載の分析方法。
5. 前記第２モデルは、互いに異なる複数のネットワーク構造のそれぞれに基づいて予め構築された複数のモデルを含み、
   前記第２分析データは、
   前記複数のモデルのそれぞれの出力データの一致度を考慮して決定されるものである
   請求項１に記載の分析方法。
6. 人工知能を用いた二重処理基盤の個体分析方法において、
   モニタリング対象である個体と連携した映像データ及びセンシングデータを含むターゲットデータを予め学習された人工知能基盤の第１モデルに入力して前記個体の行動パターンと連携した第１分析データを出力する初期分析をエッジデバイスを用いて行った結果、前記第１分析データが予め設定された詳細分析条件を満たすことにより、前記第１分析データ及び前記ターゲットデータを前記エッジデバイスから受信する段階と、
   前記第１分析データ及び前記ターゲットデータのうち少なくとも一つを予め学習された人工知能基盤の第２モデルに入力して前記個体の行動パターンと連携した第２分析データを導出する詳細分析を行う段階と、を含み、
   前記第１分析データは、
   前記映像データに反映された前記個体の存在有無情報及び登場位置情報を含むものである
   ことを特徴とする分析方法。
7. 前記第２モデルは、互いに異なる複数のネットワーク構造のそれぞれに基づいて予め構築された複数のモデルを含み、
   前記詳細分析を行う段階は、
   前記複数のモデルのそれぞれの出力データの一致度を考慮して前記第２分析データを決定することである
   請求項６に記載の分析方法。
8. 前記第１分析データは、
   前記個体の行為類型に対する第１分類情報を含み、
   前記詳細分析条件は、
   前記第１分類情報が予め設定された非正常行為または重要行為に該当する条件を含むものである
   請求項６に記載の分析方法。
9. 前記第２分析データは、
   前記個体の行為類型に対する第２分類情報を含み、前記第２分類情報のクラス個数が前記第１分類情報のクラス個数に比べて大きいものである
   請求項８に記載の分析方法。
10. スマートファームモニタリングシステムにおいて、
    モニタリング対象である個体と連携した映像データ及びセンシングデータを含むターゲットデータを収集し、予め学習された人工知能基盤の第１モデルに前記ターゲットデータを入力して前記個体の行動パターンと連携した第１分析データを出力する初期分析を行い、前記第１分析データが予め設定された詳細分析条件を満たすと、前記第１分析データ及び前記ターゲットデータをメインサーバに伝送するエッジデバイスと、
    前記第１分析データ及び前記ターゲットデータのうち少なくとも一つを予め学習された人工知能基盤の第２モデルに入力して前記個体の行動パターンと連携した第２分析データを導出する詳細分析を行う前記メインサーバと、を含み、
    前記第１分析データは、
    前記映像データに反映された前記個体の存在有無情報及び登場位置情報を含むものである
    ことを特徴とするモニタリングシステム。