JP7012111B2 - 動物行動推定システム、動物行動推定支援装置、動物行動推定方法及びプログラム - Google Patents
動物行動推定システム、動物行動推定支援装置、動物行動推定方法及びプログラム Download PDFInfo
- Publication number
- JP7012111B2 JP7012111B2 JP2020044585A JP2020044585A JP7012111B2 JP 7012111 B2 JP7012111 B2 JP 7012111B2 JP 2020044585 A JP2020044585 A JP 2020044585A JP 2020044585 A JP2020044585 A JP 2020044585A JP 7012111 B2 JP7012111 B2 JP 7012111B2
- Authority
- JP
- Japan
- Prior art keywords
- feature point
- behavior
- animal
- estimation
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241001465754 Metazoa Species 0.000 title claims description 250
- 238000000034 method Methods 0.000 title claims description 18
- 230000006399 behavior Effects 0.000 claims description 364
- 238000001514 detection method Methods 0.000 claims description 69
- 206010000117 Abnormal behaviour Diseases 0.000 claims description 30
- 230000005540 biological transmission Effects 0.000 claims description 17
- 230000002159 abnormal effect Effects 0.000 claims description 15
- 230000009471 action Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 30
- 241000283690 Bos taurus Species 0.000 description 23
- 238000013480 data collection Methods 0.000 description 22
- 238000004891 communication Methods 0.000 description 18
- 238000013500 data storage Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 241000282412 Homo Species 0.000 description 4
- 210000003127 knee Anatomy 0.000 description 4
- 230000036544 posture Effects 0.000 description 4
- 235000002937 Clintonia borealis Nutrition 0.000 description 3
- 240000002814 Clintonia borealis Species 0.000 description 3
- 235000007602 Opuntia linguiformis Nutrition 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 210000002221 olecranon process Anatomy 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000012173 estrus Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000009304 pastoral farming Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
図8は、学習装置100における学習処理を示す処理フローである。まず、学習装置100の学習データ生成部151は、特徴点学習データを生成する(ステップS110)。学習データ生成部151は、ユーザが入力部120により入力した指示に従って、学習用画像記憶部141から学習データとして用いる画像データを読み出し、表示部130に表示する。牛の構造の知識を有するユーザは、入力部120により、各標本点に対応した特徴点の種類及び位置を個体単位で入力する。ユーザは、外観から見えている標本点を入力することに加え、外観から見えない特徴点、例えば、左右の部分のうち陰になっている部分の標本点や、他の牛と重なっている部分における標本点、胴体の中にある標本点の位置を、画像から推定可能な限り入力する。これは、四肢動物の場合、人間とは異なり、左右や前後の動きは対象ではないため、見える部分だけでなく、見えない部分についてもスケルトンで学習を行い、行動推定に用いるためである。これにより、動物固有の行動を含め、動物の行動の推定精度を飛躍的に向上させることができる。学習データ生成部151は、画像データに、ユーザが入力した各牛の特徴点の種類及び位置の情報を示す特徴点位置情報を付加して特徴点学習データを生成し、学習データ記憶部142に書き込む。
100…学習装置、
110、210、310…通信部、
120…入力部、
130…表示部、
140、220、320…記憶部、
141…学習用画像記憶部、
142…学習データ記憶部、
143、221…特徴点検出モデル記憶部、
144、222…特徴点位置推定モデル記憶部、
145、223…正常行動判定モデル記憶部、
146、321…行動推定モデル記憶部、
150…学習部、
151…学習データ生成部、
152…特徴点検出モデル学習部、
153…特徴点位置推定モデル学習部、
154…正常行動判定モデル学習部、
155…行動推定モデル学習部、
156…配信部、
200…データ収集装置、
220…記憶部、
224…画像記憶部、
225…分析情報記憶部、
230…画像入力部、
240、330…処理部、
241、331…更新部、
242…特徴点取得部、243…判定部、
244…送信部、
245…状況表示処理部、
250…表示部、
300…動物行動推定装置、
320…記憶部、
322…利用者情報記憶部、
323…分析対象情報記憶部、
332…行動推定部、
333…通知部、
334…異常データ送信部、
400…カメラ、
500…利用者装置、
600…ネットワーク、
2421…特徴点検出部、
2422…特徴点位置推定部
Claims (10)
- 動物行動推定支援装置と動物行動推定装置とを有する動物行動推定システムであって、 前記動物行動推定支援装置は、
行動推定対象の動物である推定対象動物が撮影された画像データから、前記推定対象動物における特徴点であって、動物の行動の推定に用いられる前記特徴点の位置の情報を取得する特徴点取得部と、
時系列の前記画像データそれぞれについて前記特徴点取得部が取得した前記特徴点の位置の情報を示す時系列特徴点位置情報に基づいて前記推定対象動物の行動が正常であるか否かを判定する判定部と、
前記時系列特徴点位置情報のうち、前記判定部において正常ではないと判定された前記行動に係る前記時系列特徴点位置情報を前記動物行動推定装置に送信し、前記判定部において正常であると判定された前記行動に係る前記時系列特徴点位置情報を送信しない送信部とを備え、
前記動物行動推定装置は、
前記動物行動推定支援装置から受信した前記時系列特徴点位置情報に基づいて前記推定対象動物の行動の種別を推定する行動推定部を備える、
動物行動推定システム。 - 前記判定部は、行動が正常である場合の時系列の複数種類の特徴点の位置の情報を学習データとして機械学習された正常行動判定モデルと前記時系列特徴点位置情報とに基づいて前記推定対象動物の行動が正常であるか否かを推定する、
請求項1に記載の動物行動推定システム。 - 前記行動推定部は、時系列の複数種類の特徴点の位置の情報及び正解の行動の種別を学習データとして機械学習された行動推定モデルと前記時系列特徴点位置情報とに基づいて前記推定対象動物の行動の種別を推定する、
請求項1又は請求項2に記載の動物行動推定システム。 - 前記特徴点取得部は、前記推定対象動物における特徴点の位置の情報を示す前記時系列特徴点位置情報に、前記画像データから取得した前記推定対象動物の識別情報を付加する、
請求項1から請求項3のいずれか一項に記載の動物行動推定システム。 - 前記送信部は、前記判定部において正常ではないと判定された前記行動に係る前記時系列特徴点位置情報に利用者識別を付加し、
前記動物行動推定装置は、
前記行動推定部により推定された前記推定対象動物の行動の種別が異常行動である場合に、前記時系列特徴点位置情報に付加された前記利用者識別により特定される通知先に、前記時系列特徴点位置情報に付加された前記推定対象動物の識別情報を通知する通知部をさらに備える、
請求項4に記載の動物行動推定システム。 - 前記動物行動推定支援装置と前記動物行動推定装置とは、予め決められたインターフェース及びプロトコルにより通信する、
請求項1から請求項5のいずれか一項に記載の動物行動推定システム。 - 前記特徴点取得部は、
前記画像データから、前記推定対象動物における特徴点を検出する特徴点検出部と、
前記特徴点検出部が検出した前記特徴点の位置に基づいて、動物の行動の推定に用いられる複数種類の特徴点のうち前記特徴点検出部において検出されなかった種類の特徴点の位置を推定する特徴点位置推定部とを有する、
請求項1から請求項6のいずれか一項に記載の動物行動推定システム。 - 行動推定対象の動物である推定対象動物が撮影された画像データから、前記推定対象動物における特徴点であって、動物の行動の推定に用いられる前記特徴点の位置の情報を取得する特徴点取得部と、
時系列の前記画像データそれぞれについて前記特徴点取得部が取得した前記特徴点の位置の情報を示す時系列特徴点位置情報に基づいて前記推定対象動物の行動が正常であるか否かを判定する判定部と、
前記時系列特徴点位置情報のうち、前記判定部において正常ではないと判定された前記行動に係る前記時系列特徴点位置情報を、前記時系列特徴点位置情報に基づいて前記推定対象動物の行動の種別を推定する動物行動推定装置に送信し、前記判定部において正常であると判定された前記行動に係る前記時系列特徴点位置情報を送信しない送信部と、
を備える動物行動推定支援装置。 - 動物行動推定支援装置と動物行動推定装置とを有する動物行動推定システムにおける動物行動推定方法であって、
前記動物行動推定支援装置が、
行動推定対象の動物である推定対象動物が撮影された画像データから、前記推定対象動物における特徴点であって、動物の行動の推定に用いられる前記特徴点の位置の情報を取得する特徴点取得ステップと、
時系列の前記画像データそれぞれについて前記特徴点取得ステップにおいて取得した前記特徴点の位置の情報を示す時系列特徴点位置情報に基づいて前記推定対象動物の行動が正常であるか否かを判定する判定ステップと、
前記時系列特徴点位置情報のうち、前記判定ステップにおいて正常ではないと判定された前記行動に係る前記時系列特徴点位置情報を前記動物行動推定装置に送信し、前記判定ステップにおいて正常であると判定された前記行動に係る前記時系列特徴点位置情報を送信しない送信ステップとを実行し、
前記動物行動推定装置が、前記動物行動推定支援装置から受信した前記時系列特徴点位置情報に基づいて前記推定対象動物の行動の種別を推定する行動推定ステップを実行する、
動物行動推定方法。 - コンピュータを、
請求項8に記載の動物行動推定支援装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020044585A JP7012111B2 (ja) | 2020-03-13 | 2020-03-13 | 動物行動推定システム、動物行動推定支援装置、動物行動推定方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020044585A JP7012111B2 (ja) | 2020-03-13 | 2020-03-13 | 動物行動推定システム、動物行動推定支援装置、動物行動推定方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021144631A JP2021144631A (ja) | 2021-09-24 |
JP7012111B2 true JP7012111B2 (ja) | 2022-01-27 |
Family
ID=77766924
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020044585A Active JP7012111B2 (ja) | 2020-03-13 | 2020-03-13 | 動物行動推定システム、動物行動推定支援装置、動物行動推定方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7012111B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7260922B2 (ja) * | 2020-07-01 | 2023-04-19 | 国立研究開発法人農業・食品産業技術総合研究機構 | 学習用データ生成装置、学習装置、行動分析装置、行動型分析装置、プログラム、及び記録媒体 |
KR102396999B1 (ko) * | 2021-01-19 | 2022-05-16 | 전북대학교산학협력단 | 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템 및 그 방법 |
WO2023171559A1 (ja) * | 2022-03-08 | 2023-09-14 | 国立大学法人九州工業大学 | 遮蔽推定物体検知装置、遮蔽推定物体検知方法及びプログラム |
CN117152799B (zh) * | 2023-10-31 | 2024-02-09 | 深圳市盛航特科技有限公司 | 动物识别方法、装置、终端设备以及存储介质 |
CN117831134B (zh) * | 2024-03-01 | 2024-07-12 | 广州大学 | 一种动态环境下动物异常行为的监测方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017061371A1 (ja) | 2015-10-06 | 2017-04-13 | コニカミノルタ株式会社 | 行動検知システム、行動検知装置、行動検知方法、および行動検知プログラム |
JP2019204464A (ja) | 2018-05-27 | 2019-11-28 | 株式会社アジラ | 行動推定装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007066094A (ja) * | 2005-08-31 | 2007-03-15 | Matsushita Electric Ind Co Ltd | 姿勢推定装置および姿勢推定方法 |
JP2018057596A (ja) * | 2016-10-05 | 2018-04-12 | コニカミノルタ株式会社 | 関節位置推定装置および関節位置推定プログラム |
JP6953818B2 (ja) * | 2016-11-14 | 2021-10-27 | 株式会社アイシン | 動作判定装置 |
-
2020
- 2020-03-13 JP JP2020044585A patent/JP7012111B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017061371A1 (ja) | 2015-10-06 | 2017-04-13 | コニカミノルタ株式会社 | 行動検知システム、行動検知装置、行動検知方法、および行動検知プログラム |
JP2019204464A (ja) | 2018-05-27 | 2019-11-28 | 株式会社アジラ | 行動推定装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2021144631A (ja) | 2021-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7012111B2 (ja) | 動物行動推定システム、動物行動推定支援装置、動物行動推定方法及びプログラム | |
Dunn et al. | Geometric deep learning enables 3D kinematic profiling across species and environments | |
JP6734457B1 (ja) | 疾患予測システム、保険料算出システム及び疾患予測方法 | |
JP7470203B2 (ja) | 水産養殖における分析及び選別 | |
WO2017215668A1 (zh) | 姿势估计方法和装置、计算机系统 | |
US20150289478A1 (en) | Livestock Identification and Monitoring | |
EP3545470A1 (en) | Method for training neuron network and active learning system | |
JP6966038B2 (ja) | 動物行動推定装置、動物行動推定方法及びプログラム | |
Lodkaew et al. | CowXNet: An automated cow estrus detection system | |
KR102078873B1 (ko) | 반려견 행동분석을 이용한 반려견 관리서비스 방법 | |
US11516992B2 (en) | System, client terminal, control method for system, and storage medium | |
WO2018100878A1 (ja) | 提示制御装置、提示制御方法およびプログラム | |
KR20190028022A (ko) | 애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스 제공 방법 및 장치 | |
KR102425522B1 (ko) | 영상정보를 분석하여 가축 방역 경계선을 설정하는 방법 | |
Tsai et al. | Predicting canine posture with smart camera networks powered by the artificial intelligence of things | |
KR101160868B1 (ko) | 제스처 제어를 이용한 동물 매개 치료 시스템 및 동물 매개 치료 방법 | |
JP6635848B2 (ja) | 3次元動画データ生成装置、3次元動画データ生成プログラム、及びその方法 | |
Mittek et al. | Health monitoring of group-housed pigs using depth-enabled multi-object tracking | |
Falque et al. | Semantic keypoint extraction for scanned animals using multi-depth-camera systems | |
CN113986093A (zh) | 互动方法及相关装置 | |
EP4265106A1 (en) | Information processing device, information processing method, and program | |
JP2023034419A (ja) | システム、推定サーバ、それらの制御方法およびプログラム | |
JP2022090760A (ja) | 学習装置、学習データの作成方法、学習方法、及び学習プログラム | |
JP7223865B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
KR20220059841A (ko) | 영상 기반의 동물 감정 분석 서버, 방법 및 컴퓨터 프로그램 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200313 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20200410 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200410 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210601 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210730 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220117 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7012111 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |