KR102454715B1 - 영상에 기반하여 동물의 승가 행위를 검출하는 장치 및 방법 - Google Patents

영상에 기반하여 동물의 승가 행위를 검출하는 장치 및 방법 Download PDF

Info

Publication number
KR102454715B1
KR102454715B1 KR1020210105287A KR20210105287A KR102454715B1 KR 102454715 B1 KR102454715 B1 KR 102454715B1 KR 1020210105287 A KR1020210105287 A KR 1020210105287A KR 20210105287 A KR20210105287 A KR 20210105287A KR 102454715 B1 KR102454715 B1 KR 102454715B1
Authority
KR
South Korea
Prior art keywords
animal
image
pixel
value
brightness
Prior art date
Application number
KR1020210105287A
Other languages
English (en)
Inventor
전광명
주소현
Original Assignee
인트플로우 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인트플로우 주식회사 filed Critical 인트플로우 주식회사
Priority to KR1020210105287A priority Critical patent/KR102454715B1/ko
Priority to US17/702,406 priority patent/US20230070719A1/en
Application granted granted Critical
Publication of KR102454715B1 publication Critical patent/KR102454715B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61D—VETERINARY INSTRUMENTS, IMPLEMENTS, TOOLS, OR METHODS
    • A61D17/00—Devices for indicating trouble during labour of animals ; Methods or instruments for detecting pregnancy-related states of animals
    • A61D17/004—Devices for indicating trouble during labour of animals ; Methods or instruments for detecting pregnancy-related states of animals for detecting mating action
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K29/00—Other apparatus for animal husbandry
    • A01K29/005—Monitoring or measuring activity, e.g. detecting heat or mating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/70—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Environmental Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Animal Husbandry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Evolutionary Computation (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Pregnancy & Childbirth (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)

Abstract

본 발명의 일 실시예에 따른 영상에 기반하여 동물 개체의 승가행위를 검출하는 장치는, 대상체에 대해 촬영한 영상을 수신하는 통신 모듈; 상기 수신한 영상으로부터 동물 개체의 승가 행위를 검출하는 프로그램이 저장된 메모리; 및 상기 프로그램을 실행하는 프로세서를 포함한다. 승가 행위를 검출하는 프로그램은, 동물 영상으로 이루어진 학습 데이터에 기반하여 학습된 동물 검출 모델에 상기 수신한 영상을 입력하여 상기 영상에서 검출한 동물 개체에 대한 동물 검출 정보를 추출한다. 그리고, 수신한 영상에서 바운딩 박스의 중심점 좌표간의 거리가 제 1 설정값 이내인 바운딩 박스들을 추출하고, 추출된 바운딩 박스들 중 바운딩 박스가 회전한 각도의 차이가 제 2 설정값 이내인 바운딩 박스들을 추출하고, 추출된 바운딩 박스들의 중심점을 연결하는 벡터와 각 바운딩 박스의 방향의 차이가 제 3 설정값 이내인 바운딩 박스들을 추출하고, 추출된 바운딩 박스가 검출된 영상에서의 MHI영상에 기반하여 동물 개체의 활동력 특징 정보가 추출된 경우, 해당 바운딩 박스들에 의해 특정된 동물 개체에서 승가 행위가 발생한 것으로 탐지한다.

Description

영상에 기반하여 동물의 승가 행위를 검출하는 장치 및 방법{APPARATUS AND METHOD FOR DETECTING ANIMAL’S MOUNTING BEHAVIOR BASED ON IMAGE}
본 발명은 영상에 기반하여 동물의 승가 행위를 검출하는 장치 및 방법에 관한 것이다.
최근 영상 처리 기술과 각종 IT 기술이 발달함에 따라, 축사등에서 동물의 상태를 자동으로 모니터링할 수 있는 시스템에 대한 개발이 활발하게 진행되고 있다. 특히, CCTV 영상을 활용하여 각 동물의 개체를 자동으로 인식하고, 동물 개체의 행동을 자동으로 분류하는 등의 기술에 대한 개발이 진행중이다.
그러나, 이러한 영상 처리 기술만으로는 역동적인 움직임을 지니는 다수의 동물을 정확하게 검출하는데 어려움이 있다.
특히, 소와 같은 가축의 승가 행위를 자동으로 검출할 수 있다면, 축산 농가의 입장에서는 큰 도움이 될 수 있다. 즉, 소의 발정시기는 제한된 시간 동안 일어나므로, 이를 자동으로 감지하여 적절한 대처를 할수 있다면, 가축 생산량의 증대에 상당한 기여를 할 수 있게 된다.
종래에도 이러한 목적을 위해 다양한 형태의 승가 행위 검출 기술이 개발되었다. 대표적으로 MHI (Motion History Image)를 이용하여, 소의 승가행위를 검출하는 방법이 알려져 있는데, 이는 MHI의 픽셀수만을 이용하고 있어, 축사에 여러 마리의 소가 있는 경우, 어디에서, 어떤 소가 승가 행위를 하고 있는지 정확하게 파악하기 어려운 점이 있다. 또한, 소가 움직이는 행위를 승가행위로 오판할 가능성도 존재한다.
본 발명에서는 이러한 종래 기술의 문제점을 해결하기 위해, 바운딩 박스를 통해 객체를 각각 검출하고, 검출된 바운딩 박스에 대한 정보를 이용하여 승가 행위를 탐지하고자 한다.
그런데, 보편적 객체검출 기술로 알려진 종래기술에서는 공통적으로 관심객체의 검출정보를 축 정렬 바운딩 박스 (axis-aligned bounding box)로 표현하고 있다. 이는 대부분의 동물 객체를 검출하는 데 보편적으로 사용될 수 있다. 하지만 객체가 축과 정렬되지 않은 경우 검출정보는 실제 객체에 해당하지 않는 넓은 배경 영역을 객체의 영역으로 과대추정 할 수 있다.
도 1은 종래의 객체 검출 방법을 적용한 경우를 도시한 도면이다.
종래 기술에서는 영상 내 객체의 방향이 가로 세로 축과 얼마나 정렬되었는지가 객체검출의 정확성에 영향을 미친다. 도 1에서와 같이, 대각선으로 정렬된 객체의 경우, 실제 객체의 크기보다 더 확대된 바운딩 박스가 생성되는 문제점을 확인할 수 있다. 특히 동일 종류의 동물들이 다수 겹쳐있는 밀집상황의 경우 동물별 감지영역을 과대추정하여 밀집한 동물별 검출 정확성이 크게 떨어진다는 한계를 지닌다.
이러한 문제점을 해소하기 위해, 본 발명에서는 동물 검출에 특화된 새로운 구조의 개체 검출 방법을 제안하고, 이를 이용하여 소의 승가 행위를 검출하고자 한다.
대한민국 등록특허 제10-1769963호(발명의 명칭: 소의 승가 행위 판독 시스템)
본 발명은 전술한 문제점을 해결하기 위한 것으로, 동물 개체에 적합하도록 학습된 바운딩 박스를 생성하고, 이를 이용하여 승가 행위를 탐지할 수 있는 영상 기반 동물의 승가 행위 검출 장치 및 방법을 제공하는 것을 일 기술적 과제로 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 해결하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 영상에 기반하여 동물 개체의 승가행위를 검출하는 장치는 대상체에 대해 촬영한 영상을 수신하는 통신 모듈; 상기 수신한 영상으로부터 동물 개체의 승가 행위를 검출하는 프로그램이 저장된 메모리; 및 상기 프로그램을 실행하는 프로세서를 포함한다. 이때, 승가 행위를 검출하는 프로그램은, 동물 영상으로 이루어진 학습 데이터에 기반하여 학습된 동물 검출 모델에 상기 수신한 영상을 입력하여 상기 영상에서 검출한 동물 개체에 대한 동물 검출 정보를 추출하되, 상기 동물 검출 정보는 상기 동물 개체에 적합하도록 형성된 바운딩 박스, 상기 바운딩 박스의 중심점 좌표, 상기 바운딩 박스의 너비, 상기 바운딩 박스의 길이 및 기준축에 대해 상기 바운딩 박스가 회전한 각도 정보, 상기 동물 개체의 머리의 단부의 위치, 목의 위치 및 몸통의 단부의 위치를 포함하는 것이고, 수신한 영상에서 상기 바운딩 박스의 중심점 좌표간의 거리가 제 1 설정값 이내인 바운딩 박스들을 추출하고, 추출된 바운딩 박스들 중 상기 바운딩 박스가 회전한 각도의 차이가 제 2 설정값 이내인 바운딩 박스들을 추출하고, 추출된 바운딩 박스들의 중심점을 연결하는 벡터와 각 바운딩 박스의 방향의 차이가 제 3 설정값 이내인 바운딩 박스들을 추출하고, 추출된 바운딩 박스가 검출된 영상에서의 MHI(Motion History Image) 영상에 기반하여 동물 개체의 활동력 특징 정보가 추출된 경우, 해당 바운딩 박스들에 의해 특정된 동물 개체에서 승가 행위가 발생한 것으로 탐지한다.
또한, 본 발명의 제2 측면에 따른 영상에 기반하여 동물 개체의 승가행위를 검출하는 장치는, 대상체에 대해 촬영한 영상을 수신하는 통신 모듈; 상기 수신한 영상으로부터 동물 개체의 승가 행위를 검출하는 프로그램이 저장된 메모리; 및 상기 프로그램을 실행하는 프로세서를 포함한다. 승가 행위를 검출하는 프로그램은, 동물 영상으로 이루어진 학습 데이터에 기반하여 학습된 동물 검출 모델에 상기 수신한 영상을 입력하여 상기 영상에서 검출한 동물 개체에 대한 동물 검출 정보를 추출하되, 상기 동물 검출 정보는 상기 동물 개체에 적합하도록 형성된 바운딩 박스, 상기 바운딩 박스의 중심점 좌표, 상기 바운딩 박스의 너비, 상기 바운딩 박스의 길이 및 기준축에 대해 상기 바운딩 박스가 회전한 각도 정보, 상기 동물 개체의 머리의 단부의 위치, 목의 위치 및 몸통의 단부의 위치를 포함하는 것이고, 상기 추출된 동물 검출 정보를 결정 트리 기반의 승가 검출 모델에 입력하여 승가 행위를 검출하되, 상기 승가 검출 모델은 상기 바운딩 박스의 중심점 좌표간의 거리, 상기 바운딩 박스가 회전한 각도, 바운딩 박스들의 중심점을 연결하는 벡터 및 상기 바운딩 박스가 검출된 영상에서의 MHI(Motion History Image) 영상에 기반하여 동물 개체의 활동력 특징 정보를 포함하는 학습 데이터에 기반하여 승가 행위를 검출하도록 학습된 것이다.
또한, 본 발명의 제 3 측면에 따른 영상 기반 동물 개체 승가 행위 검출 장치를 이용하여 동물 개체의 승가 행위를 검출하는 방법은 대상체에 대해 촬영한 영상을, 동물 영상으로 이루어진 학습 데이터에 기반하여 학습된 동물 검출 모델에 입력하여 동물 검출 정보를 추출하되, 상기 동물 검출 정보는 상기 동물 개체에 적합하도록 형성된 바운딩 박스, 상기 바운딩 박스의 중심점 좌표, 상기 바운딩 박스의 너비, 상기 바운딩 박스의 길이 및 기준축에 대해 상기 바운딩 박스가 회전한 각도 정보, 상기 동물 개체의 머리의 단부의 위치, 목의 위치 및 몸통의 단부의 위치를 포함하는 것인 단계; 상기 수신한 영상에서 상기 바운딩 박스의 중심점 좌표간의 거리가 제 1 설정값 이내인 바운딩 박스들을 추출하는 단계; 추출된 바운딩 박스들 중 상기 바운딩 박스가 회전한 각도의 차이가 제 2 설정값 이내인 바운딩 박스들을 추출하는 단계; 추출된 바운딩 박스들의 중심점을 연결하는 벡터와 각 바운딩 박스의 방향의 차이가 제 3 설정값 이내인 바운딩 박스들을 추출하는 단계; 및 추출된 바운딩 박스가 검출된 영상에서의 MHI(Motion History Image) 영상에 기반하여 동물 개체의 활동력 특징 정보를 추출하는 단계를 포함하고, 동물 개체의 활동력 특징 정보가 추출된 경우, 해당 바운딩 박스들에 의해 특정된 동물 개체에서 승가 행위가 발생한 것으로 탐지한다.
또한, 본 발명의 제 4 측면에 따른 영상 기반 동물 개체 승가 행위 검출 장치를 이용하여 동물 개체의 승가 행위를 검출하는 방법은, 대상체에 대해 촬영한 영상을, 동물 영상으로 이루어진 학습 데이터에 기반하여 학습된 동물 검출 모델에 입력하여 동물 검출 정보를 추출하되, 상기 동물 검출 정보는 상기 동물 개체에 적합하도록 형성된 바운딩 박스, 상기 바운딩 박스의 중심점 좌표, 상기 바운딩 박스의 너비, 상기 바운딩 박스의 길이 및 기준축에 대해 상기 바운딩 박스가 회전한 각도 정보, 상기 동물 개체의 머리의 단부의 위치, 목의 위치 및 몸통의 단부의 위치를 포함하는 것인 단계; 및 상기 추출된 동물 검출 정보를 결정 트리 기반의 승가 검출 모델에 입력하여 승가 행위를 검출하는 단계를 포함한다. 이때, 승가 검출 모델은 상기 바운딩 박스의 중심점 좌표간의 거리, 상기 바운딩 박스가 회전한 각도, 바운딩 박스들의 중심점을 연결하는 벡터 및 상기 바운딩 박스가 검출된 영상에서의 MHI(Motion History Image) 영상에 기반하여 동물 개체의 활동력 특징 정보를 포함하는 학습 데이터에 기반하여 승가 행위를 검출하도록 학습된 것이다.
전술한 본원의 과제 해결 수단들에 따르면, 종래의 객체검출 기술과는 달리 동물 개체의 회전 방향을 고려한 바운딩 박스를 생성하여, 밀집된 가축들의 검출 정확성을 크게 향상시킬수 있으며, 이를 기반으로 동물 개체의 승가 행위를 검출하므로, 여러 개체가 모여있는 환경에서도 정확한 승가 행위 검출이 가능하다.
도 1은 종래의 객체 검출 방법을 적용한 경우를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 기반 동물의 승가 행위 검출 장치의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 동물 개체의 승가 행위 검출 방법을 도시한 순서도이다.
도 4와 도 5는 본 발명의 일 실시예에 따른 영상 기반 동물 개체 승가 행위 검출 장치가 추출하는 동물 검출 정보를 설명하기 위한 도면이다.
도 6은 종래 기술과 본 발명이 사용하는 바운딩 박스의 차이를 설명하기 위한 도면이다.
도 7 내지 도 9는 본 발명의 일 실시예에 따른 영상 기반 동물 개체 승가 행위 검출 장치의 동물 검출 모델을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 동물 검출 모델의 구축 과정을 도시한 순서도이다.
도 11은 본 발명의 일 실시예에 따른 동물 검출 모델을 이용한 추론 과정을 도시한 순서도이다.
도12는 본 발명의 일 실시예에 따른 동물 검출 정보로부터 승가 행위를 검출하는 단계적 방법을 도시한 순서도이다.
도 13 내지 도 15는 본 발명의 일 실시예에 따라 바운딩 박스로부터 승가 행위를 검출하기 위한 정보를 추출하는 과정을 설명하기 위한 도면이다.
도 16내지 도 21은 본 발명의 일 실시예에 따라 MHI 영상에 기반하여 동물 개체의 활동력특징 정보를 추출하는 과정을 설명하기 위한 도면이다.
도 22는 본 발명의 일 실시예에 따른 결정 트리 기반의 승가 검출 모델을 설명하기 위한 도면이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 상세히 설명하기로 한다. 다만, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시예들로 한정되는 것은 아니다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 도면에 나타난 각 구성요소의 크기, 형태, 형상은 다양하게 변형될 수 있다. 명세서 전체에 대하여 동일/유사한 부분에 대해서는 동일/유사한 도면 부호를 붙였다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부" 등은 명세서 작성의 용이함만이 고려되어 부여 되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉 또는 결합)"되어 있다고 할 때, 이는 "직접적으로 연결(접속, 접촉 또는 결합)"되어 있는 경우뿐만 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결 (접속, 접촉 또는 결합)"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함(구비 또는 마련)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 "포함(구비 또는 마련)"할 수 있다는 것을 의미한다.
본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 나타내는 용어들은 하나의 구성 요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 구성 요소들의 순서나 관계를 제한하지 않는다. 예를 들어, 본 발명의 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소도 제1구성 요소로 명명될 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 기반 동물 개체 승가 행위 검출 장치의 구성을 도시한 블록도이다.
도 2를 참조하면, 영상 기반 동물 개체 승가 행위 검출 장치(100)(이하 장치(100)라 함)는 통신 모듈(110), 메모리(120) 및 프로세서(130)를 포함하며, 데이터베이스(140)를 더 포함할 수 있다. 장치(100)는 축사에 배치된 복수의 CCTV로부터 실시간으로 촬영 영상을 수신하고, 이를 이용하여 동물 개체를 검출하며, 동물 개체의 승가 행위를 검출하는 동작을 수행한다.
이를 위해, 장치(100)는 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 각종 스마트폰, 태블릿 PC, 스마트 워치 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
네트워크는 단말들 및 장치들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
통신 모듈(110)은 하나 이상의 카메라로부터 대상체에 대해 촬영한 영상을 수신한다. 이때, 대상체는 소, 돼지, 개 등과 같은 다양한 종류의 동물 개체를 포함한다. 통신 모듈(110)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치를 포함할 수 있다.
메모리(120)는 통신 모듈(110)을 통해 수신한 영상으로부터 동물 개체의 승가 행위를 검출하는 프로그램이 저장된다. 이때, 동물 검출 정보를 추출하는 프로그램은 동물 영상으로 이루어진 학습 데이터에 기반하여 학습된 동물 검출 모델에 수신한 영상을 입력하여 동물 검출 정보를 추출한다. 동물 검출 정보의 구체적인 내용에 대해서는 추후 설명하기로 한다. 그리고, 프로그램은 추출한 동물 검출 정보에 포함된 바운딩 박스에 대한 정보를 이용하여 동물 개체의 승가 행위 발생 여부를 검출한다. 또한, 프로그램은 바운딩 박스가 검출된 영상에서의 MHI(Motion History Image) 영상에 기반하여 동물 개체의 활동력 특징 정보가 추출된 경우 승가 행위가 발생한 것으로 탐지한다.
이때, 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력을 필요로 하는 휘발성 저장장치를 통칭하는 것으로 해석되어야 한다. 메모리(120)는 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 메모리(130)는 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치 외에 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
프로세서(130)는 메모리(120)에 저장된 동물 검출 정보를 추출하는 프로그램을 실행하고, 그 실행 결과로서 대상체에 대한 동물 검출 정보를 출력한다.
일 예에서, 프로세서(130)는 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 형태로 구현될 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
데이터베이스(140)는 통신 모듈(110)을 통해 수신되는 카메라의 촬영 영상이나, 동물 검출 모델의 학습을 위한 다양한 데이터가 저장될 수 있다. 특히, 각 축사의 위치별로 설치되는 각 카메라의 촬영 영상이 서로 구분되어 저장될 수 있다. 또한, 데이터베이스(140)는 동물 개체의 승가 행위를 검출하는 프로그램에 의해 추출된 동물 검출 정보와 승가 행위 검출 결과를 누적적으로 저장하며, 이러한 정보를 기반으로, 동물의 상태를 모니터링 하는 다양한 응용에 활용될 수 있도록 한다.
도 3은 본 발명의 일 실시예에 따른 동물 개체의 승가 행위 검출 방법을 도시한 순서도이다.
먼저, 동물 영상으로 이루어진 학습 데이터에 기반하여 학습된 동물 검출 모델에 수신한 입력 영상을 입력한다(S310).
다음으로, 동물 검출 모델의 추론에 따라 바운딩 박스를 포함하는 동물 검출 정보를 추출한다(S320).
이때, 동물 검출 정보는 동물 개체에 적합하도록 형성된 바운딩 박스, 바운딩 박스의 중심점 좌표, 바운딩 박스의 너비, 바운딩 박스의 길이 및 기준축에 대해 바운딩 박스가 회전한 각도 정보, 동물 개체의 머리의 단부의 위치, 목의 위치 및 몸통의 단부의 위치를 포함하는 것이다. 이와 같은 동물 검출 정보를 추출하는 과정에 대하여 도 4 내지 도 11을 참조하여, 구체적인 내용을 살펴보기로 한다.
도 4와 도 5는 본 발명의 일 실시예에 따른 영상 기반 동물 개체 승가 행위 검출 장치가 추출하는 동물 검출 정보를 설명하기 위한 도면이다.
동물 검출 정보는 영상에서 검출한 동물 개체에 적합하도록 형성된 바운딩 박스(rbbox)에 대한 정보로서, 바운딩 박스의 중심점 좌표(xc, yc), 바운딩박스의 너비(w), 바운딩 박스의 길이(h) 및 기준축에 대해 바운딩 박스가 회전한 각도 정보(theta)를 포함한다.
또한, 동물 검출 정보는 동물 개체의 특징점(keypoint)을 나타내는 위치 정보로서, 동물 개체의 머리의 단부의 위치(x1, y1), 목의 위치(x2, y2) 및 몸통의 단부의 위치(x3, y3) 등을 포함한다.
또한, 동물 검출 정보는 영상에서 검출한 동물 개체의 종류(class)에 대한 정보와 동물 개체의 자세(pose)에 대한 정보를 추가로 포함할 수 있다. 동물 개체의 종류에 대한 정보로는 서로 다른 종의 동물이나, 동일한 종에서도 생장단계별로 종류를 구분할 수 있다. 예를 들면, 양돈의 경우 포유자돈, 이유자돈, 육성돈, 비육돈, 후보돈, 임신돈, 분만돈 등으로 종류를 구분할 수 있다. 또한, 동물 개체의 자세 정보로는 앉음, 일어섬, 승가 행위, 전도, 견좌 등 다양한 종류의 자세를 구분하도록 정보를 입력할 수 있다.
도 5에 도시된 도면을 통해, 동물 검출 정보의 예를 좀더 명확하게 파악할 수 있다. 이와 같이, 본 발명에 바운딩 박스는 검출 대상이 되는 동물 개체의 축의 회전 상태를 고려하여 형성되므로, 동물 개체의 크기에 최적화된 크기의 바운딩 박스를 형성할수 있게 된다.
도 6은 종래 기술과 본 발명이 사용하는 바운딩 박스의 차이를 설명하기 위한 도면이다.
도시된 바와 같이, 종래 기술(a)은 각 객체의 축과 정렬되지 않은 상태에서 바운딩 박스가 형성되고 있으나, 본 발명(b)은 객체의 축의 회전 상태를 고려하여 바운딩 박스를 형성하고 있음을 확인할 수 있다. 이에 따라, 각 객체의 영역이 대체로 균일한 크기를 갖는 것을 확인할 수 있다.
이제, 이와 같은 동물 검출 정보를 생성하는 동물 검출 모델에 대하여 살펴보기로 한다.
도 7 내지 도 9은 본 발명의 일 실시예에 따른 영상 기반 동물 개체 승가 행위 검출 장치의 동물 검출 모델을 설명하기 위한 도면이다.
본 발명에서 사용되는 동물 검출 모델(700)은 적어도 하나 이상의 동물 개체를 포함하는 복수의 영상과 각 영상에 포함된 동물 개체에 대한 동물 검출 정보를 매칭시킨 학습 데이터에 기반하여 구축된 것이다. 동물 검출 모델(700)은 학습 과정을 통해 학습된 후, 실제 입력 영상에 대하여 추론 과정을 통해 입력 영상에 대한 동물 검출 정보를 자동으로 출력한다.
동물 검출 모델(700)은 백본부(710), 넥부(720) 및 헤드부(730)를 포함한다.
백본부(710)는 입력된 영상으로부터 특징을 추출하는 것으로, 심층신경망 기반의 영상분석 및 처리 방법에서 공통적으로 사용되는 구성 요소이다. 백본부(710)는 도시된 바와 같이, 주로 2D 컨볼루션 측의 누적 형태를 띄며, 그 효율을 개선하기 위해 다양한 신경망 구조를 지니도록 개선되어 왔다. 다양한 구조의 백본들은 공통적으로 영상을 입력받아 중간정보를 추출하는 역할을 수행하며, 이는 넥부(720)로 전달된다.
넥부(720)는 백본부(710)에서 추출한 특징에 기반하여 백본부(710)의 각 레이어로부터 중간 정보를 취합한다. 넥부(720)는 보편적 객체검출기를 구성하는 하위 신경망으로써 백본부(710)의 층별 중간 정보를 취합하여 해석하는 역할을 수행한다. 넥부(720)는 각 층별로 해석하는 영상의 해상도가 다르기 때문에 대상체가 멀리 있는 경우 또는 가까이 있는 경우, 동물의 체형 별로 다양한 크기의 동물을 효과적으로 검출하기 위한 층별 중간 정보를 추출하여 헤드부(730)에 제공한다. 넥부(720)는 앞에 쓰인 백본부(710)의 형태에 따라 구체적인 구성이 달라지는데, 백부부(710)의 형태에 따라 넥부(720)를 구성하는 구체적인 신경망의 층수와 층별 하이퍼파라메터가 달라질 수 있다.
헤드부(730)는 넥부(720)에서 수집한 중간 정보에 기초하여 동물 검출 정보를 출력한다. 헤드부(730)는 넥부(720)에서 얻은 중간정보를 입력받아 동물검출정보를 출력한다. 헤드부(730)는 넥부(720)의 각 층별 중간정보를 각각 입력받아 각 층별로 인지된 동물검출정보를 출력한다. 특히, 본 발명의 헤드부(730)는 복수의 동물 검출 서브넷을 포함하는데, 각 동물 검출 서브넷은 다시 도 8과 같이, 바운딩 박스와 특징점을 추출하는 서브넷, 동물의 종류를 추출하는 서브넷, 동물의 자세를 추출하는 서브넷을 포함한다.
한편, 헤드부(730)의 출력단에는 NMS(Non-maximum Suppression) 모듈이 더 결합될 수 있는데, 이는 동일 객체에 대하여 여러 개의 바운딩 박스가 생성될 경우, 가장 유사도가 높은 바운딩 박스를 선택하는 알고리즘으로서, 종래 기술에 해당하므로, 이에 대한 상세한 설명은 생략하기로 한다.
바운딩 박스와 특징점을 추출하는 서브넷은 ‘계단식 다중경로 심층 컨볼루션망’ (cascaded multi-lane deep convolutional networks) 로 구성된다. 계단식 다중경로 심층 컨볼루션망은 주어진 동물 사진에 대해서 바운딩 박스와 특징점을 찾기 위한 인과 순서를 따라 구성되었다. 각 영상 속에서 하나의 동물 검출 정보를 정의하기 위해 다음의 인과 순서를 따른다.
즉, 도 9에 도시된 바와 같이, 먼저, 중심점(xc, yc) 및 주요 지점((x1, y1), (x2, y2), (x3, y3))을 표기한다. 다음으로, 중심점과 한 개 이상 지점을 가로지르는 접선을 긋는다. 마지막으로, 접선이 가운데 관통하는 영역(면)을 지정한다.
이와 같은, 구조의 계단식 다중경로 심층 컨볼루션망은 위의 인과 순서에 따라 정보가 전달되어 각 정보를 출력한다. 즉 첫 번째 경로는 중심점과 키포인트를, 두 번째 경로는 접선의 방향 (theta)를, 세 번째 경로는 접선과 중심점을 포함하는 영역의 폭과 높이를 출력한다.
한편, 동물의 종류를 추출하는 서브넷, 동물의 자세를 추출하는 서브넷은 각각 일반적인 구조, 즉 단일 경로 심층 컨볼루션망을 통해 얻어진다.
이와 같은 동물 검출 모델은 아래와 같은 수학식으로도 표현이 가능하다.
Figure 112021092159362-pat00001
이때, A={R.K,c,p} 는 벡터화된 동물 검출 정보를 의미하고, M(x) 는 동물 검출 모델, I 는 입력 영상 행렬(이미지폭 x 이미지높이 x 이미지채널의 차원을 가짐)을 의미하고, E(A) 는 부호화된 동물검출 정보를 의미한다. 또한, B(x), N(x), H(x) 는 각각 백본부(710), 넥부(720), 헤드부(730)를 나타낸다.
동물 검출 모델 M(x)에 입력 영상 행렬을 입력할 때 나오는 출력은 부호화된 동물검출 정보 E(A) 와 동일해지도록 학습이 되며, 역전파 학습을 통해 동물 검출 모델의 가중치가 반복적으로 갱신되는 과정을 거쳐 동물 검출 모델이 구축된다.
동물 검출 모델의 학습 과정에서 사용되는 학습 데이터는 복수의 영상과 각 영상에 매칭된 동물 검출 정보를 포함한다. 이때, 동물 검출 정보는 각 영상에 대하여 수동으로 추출된 것이다. 즉, 작업자가 각 영상을 보고 적절한 SW도구를 사용하여 동물 검출 정보를 직접 입력해주거나, 기존에 개발이 완료된 동물 검출기를 활용하여 자동으로 입력한 후 사람이 수정/보완하는 방법을 취할 수 있다. 예를 들면, 작업자는 영상에 포함된 동물 개체별로, 동물 개체의 기준축에 비하여 회전한 방향을 고려하여, 바운딩 박스를 표시하고, 각 바운딩 박스의 중심점 좌표, 바운딩박스의 너비, 바운딩 박스의 길이 및 기준축에 대해 바운딩 박스가 회전한 각도 정보가 생성되도록 한다. 또한, 작업자는 동물 개체의 종류 또는 자세에 대한 정보를 추가로 추출하여 학습 데이터로서 활용하도록 한다.
학습 데이터에 포함된 동물 검출 정보는 학습 과정에 사용되기 전에 부호화(encoding) 과정을 거치게 된다.
이때, 동물 검출 정보는 다음의 과정을 통해 부호화될 수 있다.
먼저, 헤드부(730)별로 관심영역(
Figure 112021092159362-pat00002
)을 지정한다. 이때, 관심 영역(
Figure 112021092159362-pat00003
)의 개수는 헤드부(730) 별 처리 영역 x 크기종류 x 각도종류 x 상자 비율로 정의된다.
또한, 동물 검출 정보(A)에 기입된 동물 영역과 관심 영역간의 겹침정도(
Figure 112021092159362-pat00004
)를 다음의 수학식을 통해 계산한다.
Figure 112021092159362-pat00005
여기서 IoU(x,y)는 두 바운딩 박스간 겹침 정도를 계산한다.
다음으로, 각 관심 영역별로 가장 겹침 정도가 높은 동물 영역(
Figure 112021092159362-pat00006
)만을 선택한다. 여기서,
Figure 112021092159362-pat00007
이다.
다음으로, 관심영역과 이에 해당하는 동물 영역간 부호화를 수행한다.
Figure 112021092159362-pat00008
이때,
Figure 112021092159362-pat00009
은 다음과 같이 처리된다.
Figure 112021092159362-pat00010
,
Figure 112021092159362-pat00011
일때,
Figure 112021092159362-pat00012
와 같이, 처리한다.
이에 따라, 출력은 다음과 같다.
Figure 112021092159362-pat00013
마찬가지로,
Figure 112021092159362-pat00014
은 다음과 같이 처리된다.
Figure 112021092159362-pat00015
,
Figure 112021092159362-pat00016
일때,
Figure 112021092159362-pat00017
와 같이 처리된다.
이에 따라, 출력은 다음과 같다.
Figure 112021092159362-pat00018
위와 같은 과정을 통해 부호화된 검출 정보가 동물 검출 모델의 구축 과정에 사용된다.
한편, 동물 검출 모델의 학습 과정에서는 역전파 학습이 사용될 수 있다. 즉, 부호화된 동물검출정보E(A)와 이의 추정치 간의 손실값을 계산하고 이러한 손실값이 작아지도록 동물 검출 모델을 구성하는 신경망 파라메터를 갱신하는 과정을 반복한다. 예를 들면, 바운딩박스(rbbox) 와 동물 개체의 특징점(keypoints) 의 손실값을 계산할때 L1 또는 L2 손실을 사용하고, 동물 개체의 종류(c)나 동물 개체의 자세(p) 의 손실값은 이진 교차 엔트로피 오차(binary cross entropy Loss) 또는 Focal 손실 등의 판별 손실을 사용할 수 있다.
이러한, 손실 함수를 사용하여, 손실 총합이 목표 수치 이하로 떨어질 때까지 학습을 반복하여 동물 검출 모델을 구축한다.
이와 같이, 구축된 동물 검출 모델(M(x))을 이용하여, 입력 영상에 대하여 동물 검출 정보(A)를 추론하는 과정을 살펴보기로 한다. 이를 수학식으로 표현하면 다음과 같다.
Figure 112021092159362-pat00019
즉, 동물 검출 모델에 입력 영상을 입력하면, 부호화된 검출 정보(E(A))를 획득할 수 있다. 이에, 부호화된 검출 정보를 복호화하는 과정을 수행한다.
Figure 112021092159362-pat00020
에서,
Figure 112021092159362-pat00021
가 문턱값보다 높을 때의 값들만 남긴다. 다시 표현하면,
Figure 112021092159362-pat00022
, 여기서 thr은 검출 문턱값이다.
그리고,
Figure 112021092159362-pat00023
,
Figure 112021092159362-pat00024
을 각각 수행하여 복호화된 동물검출영역 및 특징점 정보를 얻는다.
Figure 112021092159362-pat00025
의 처리과정은 다음과 같다.
Figure 112021092159362-pat00026
,
Figure 112021092159362-pat00027
일때,
Figure 112021092159362-pat00028
와 같이 처리 된다.
이에 따라, 출력은 다음과 같다.
Figure 112021092159362-pat00029
마찬가지로,
Figure 112021092159362-pat00030
은 다음과 같이 처리된다.
Figure 112021092159362-pat00031
,
Figure 112021092159362-pat00032
일 때,
Figure 112021092159362-pat00033
와 같이 처리 된다.
이에 따라, 출력은 다음과 같다.
Figure 112021092159362-pat00034
이와 같은, 복호화 과정을 통해 출력된 동물 검출 정보(R, K, c, p)는 하나의 동물개체에 대하여 다수의 중첩 정보를 지니고 있을 수 있다. 이를 해결하기 위해 중첩된 동물검출 정보를 제거하는 알고리즘을 적용할 수 있다.
이와 같은, 동물검출 정보의 시각적 확인을 위해 영상에 동물 검출 정보를 오버레이하여 표시할 수 있다.
도 10은 본 발명의 일 실시예에 따른 동물 검출 모델의 구축 과정을 도시한 순서도이고, 도 11은 본 발명의 일 실시예에 따른 동물 검출 모델을 이용한 추론 과정을 도시한 순서도이다.
먼저, 도 10을 살펴보면, 학습 데이터로서 복수의 동물 영상과 각 동물 영상에 포함된 동물 개체별로 동물 검출 정보가 제공된다(S1010).
이때, 동물 검출 정보는 앞서 설명한 과정을 통해 부호화되고(S1020), 부호화된 동물 검출 정보와 동물 영상이 각각 매칭되어 동물 검출 모델에 입력된다.
이와 같이, 입력된 학습 데이터를 기초로 동물 검출 모델이 구축된다(S1030).
이때, 동물 검출 모델은 입력된 영상으로부터 특징을 추출하는 백본부(710), 백본부(710)에서 추출한 특징에 기반하여 백본부(710)의 각 레이어로부터 중간 정보를 취합하는 넥부(720) 및 넥부(720)에서 수집한 중간 정보에 기초하여 동물 검출 정보를 출력하는 헤드부(730)를 포함한다.
다음으로, 역전파 학습을 통해 동물 검출 모델을 갱신하는 과정을 반복적으로 수행한다(S1040).
다음으로, 도 11을 살펴보면, 추론이 필요한 입력 영상을 동물 검출 모델에 입력한다(S1110). 이와 같은, 입력 영상은 CCTV를 통해 실시간으로 녹화된 영상일 수 있다.
다음으로, 동물 검출 모델의 추론에 따라 동물 검출 정보가 출력된다(S1120).
이때, 출력된 동물 검출 정보는 부호화된 정보이므로, 이에 대하여 복호화 과정을 수행한다(S1130). 구체적인, 복호화 과정은 앞서 설명한 바와 같다.
이와 같이, 출력된 동물 검출 정보는 입력 영상에 오버레이되어 출력된다(S1140).
이상으로 동물 검출 정보를 추출하는 과정에 대하여 상세히 살펴보았다.
다시 도 3을 참조하면, 위와 같이 추출한 동물 검출 정보에 기초하여 동물 개체의 승가 행위를 검출한다(S330). 이때, 동물 검출 정보는 동물 개체에 적합하도록 형성된 바운딩 박스, 바운딩 박스의 중심점 좌표, 바운딩 박스의 너비, 바운딩 박스의 길이 및 기준축에 대해 바운딩 박스가 회전한 각도 정보, 동물 개체의 머리의 단부의 위치, 목의 위치 및 몸통의 단부의 위치를 포함하는 것이다.
본 발명에서는 승가 행위 검출을 위해 2가지 방법을 사용할 수 있다. 첫번째 방법은 도 12에 제시된 순차적으로 각각의 단계를 거치는 방법이고, 두번째 방법은 도 22에 제시된 결정 트리 기반의 승가 검출 모델을 이용하는 방법이다.
첫번째 방법을 살펴보기로 한다.
도12는 본 발명의 일 실시예에 따른 동물 검출 정보로부터 승가 행위를 검출하는 단계적 방법을 도시한 순서도이고, 도 13 내지 도 15는 본 발명의 일 실시예에 따라 바운딩 박스로부터 승가 행위를 검출하기 위한 정보를 추출하는 과정을 설명하기 위한 도면이며, 도 16내지 도 21은 본 발명의 일 실시예에 따라 MHI 영상에 기반하여 동물 개체의 활동력특징 정보를 추출하는 과정을 설명하기 위한 도면이다.
먼저, 수신한 영상에서 바운딩 박스의 중심점 좌표간의 거리가 제 1 설정값 이내인 바운딩 박스들을 추출한다(S1210).
도 13은 바운딩 박스의 중심점 좌표간의 거리에 기초하여, 승가 행위를 검출하는 과정을 도시하고 있다.
이때, 중심점 좌표간의 거리를 산출하기 위해, 아래와 같이, 유클리디안 거리를 사용할 수 있다.
도 13에서와 같이, 3마리에 대해서 바운딩 박스를 추출했다고 가정할때, 그 중심좌표간 거리가 제 1 설정값을 초과하는 1번 소와 2번 소 사이에는 승가행위가 없는 것으로 판단한다. 반면에, 2번 소와 3번 소 사이의 중심좌표간 거리는 제 1 설정값 이내에 해당하여, 승가행위가 일어났을 확률이 높은 것으로 분류한다. 이때, 제 1 설정값은 대략적으로 카메라 화각에서 소 한마리의 머리부터 꼬리까지의 길이의 1/2 정도 이내로 설정하되, 이는 실시예에 따라 변경될 수 있으며, 본 발명의 범위를 제한하는 것은 아니다.
다음으로, 추출된 바운딩 박스들 중 바운딩 박스가 회전한 각도의 차이가 제 2 설정값 이내인 바운딩 박스들을 추출한다(S1220).
소의 승가행위 특징에 따라, 승가행위를 진행중인 두 소의 머리가 비슷한 방향을 바라볼 가능성이 높음을 이용한다. 바운딩 박스에 의해 구분되는 두 소의 머리방향 벡터(Lx2-Xc, Ly2-Yc)를 비교하여 얼마나 같은 방향을 바라보고 있는지를 확인하기 위해, 기준축에 비하여 각 바운딩 박스가 회전한 각도의 차이가 제 2 설정값 이내인지 여부를 확인한다. 이때, 제 2 설정값은 대략적으로 15도~45도의 범위를 가지는데, 이는 실시예에 따라 변경될 수 있으며, 본 발명의 범위를 제한하는 것은 아니다.
도 14의 사진을 참조하면, 1번 소와 2번 소의 각도는 소 각각의 바운딩 박스에서 추출되는 값이다.
한편, 도 15는 각 바운딩 박스의 중심 좌표간 거리가 제 1 설정값 이내이고, 각 바운딩 박스의 회전 각도의 차이가 제 2 설정값 이내인 것 중에, 승가행위가 일어나지 않은 소가 있을 수 있음을 나타낸다.
즉, 녹색이나 청색으로 표시된 바운딩 박스에 위치한 소들의 경우, 적색 바운딩 박스에 위치한 소와 승가 행위를 하지 않지만, 중심 좌표간 거리가 제 1 설정값 이내이고, 각 바운딩 박스의 회전 각도의 차이가 제 2 설정값 이내인 상태이다.
이를 탐지하기 위해, 다음 단계로서, 각 바운딩 박스의 중심점을 연결하는 벡터를 사용한다.
즉, 추출된 바운딩 박스들의 중심점을 연결하는 벡터와 각 바운딩 박스의 방향의 차이가 제 3 설정값 이내인 바운딩 박스들을 추출한다(S1230). 추출된 바운딩 박스들의 중심점을 연결하는 벡터로서, 도 14에서 노란색으로 표시된 벡터를 추출하고, 이 벡터가 각 바운딩 박스의 회전 각도와 제 3 설정값 이내이면, 승가행위가 발생한 개체로 판단한다.
이러한 단계를 수행하면, 도 15에서 녹색이나 청색으로 표시된 바운딩 박스에 위치한 소들의 경우, 중심점을 연결하는 벡터와 각 바운딩 박스이 회전 각도가 제 3 설정값을 초과하게 되어, 승가행위가 발생하지 않은 것으로 판단하게 된다. 이때, 제 3 설정값은 대략적으로 15도~45도의 범위를 가지는데, 이는 실시예에 따라 변경될 수 있으며, 본 발명의 범위를 제한하는 것은 아니다.
다음으로, 추출된 바운딩 박스가 검출된 영상에서의 MHI(Motion History Image) 영상에 기반하여 동물 개체의 활동력 특징 정보가 추출된 경우, 해당 바운딩 박스들에 의해 특정된 동물 개체에서 승가 행위가 발생한 것으로 탐지한다(S1240).
먼저, 도 16을 참조하면, 각각의 영상을 입력된 시점에 따라 순차적으로 흑백 영상으로 변환한다.
다음으로, 도 17에서와 같이, 흑백으로 변환된 제 t-1 시점(t 는 1이상의 자연수)의 영상과 흑백으로 변환된 제 t 시점의 각 픽셀별 밝기 차이를 각 픽셀별로 산출한다. 이때, 각 픽셀별 밝기 차이는 절대값을 나타내는 것으로, 음수는 양수로 변환한다.
다음으로, 도 18에서와 같이, 산출된 각 픽셀별 밝기 차이가 제 5 설정값(delta) 이상인 경우에는 해당 픽셀값을 상한값(gamma)으로 변환하고, 설정값보다 작은 경우에는 해당 픽셀값을 하한값( 예를 들면, 0)으로 변환하여, 제 t 시점의 차영상(mhi_step)들을 순차적으로 생성한다.
다음으로, 도 19에서와 같이, 제 t+1 시점 차영상의 픽셀별 밝기에서 제 t 시점 차영상의 픽셀별 밝기를 뺀 값이 제 5 설정값(delta) 이상이면 해당 픽셀값을상한값(gamma)으로 변환한다.
이와 달리, 제 t+1시점 차영상의 픽셀별 밝기에서 제 t 시점 차영상의 픽셀별 밝기를 뺀 값이 제 5 설정값보다 작은 경우, 제 t 시점 차영상의 픽셀별 밝기가 제 5 설정값 이상이면 제 t 시점 차영상의 픽셀별 밝기에서 제 6 설정값(forget)만큼을 차감한 값을 해당 픽셀값으로 저장한다.
그리고, 제 t+1시점 차영상의 픽셀별 밝기에서 제 t 시점 차영상의 픽셀별 밝기를 뺀 값이 제 5 설정값보다 작은 경우, 제 t 시점 차영상의 픽셀별 밝기가 제 5 설정값 보다 작으면 제 t 시점 차영상의 픽셀별 밝기를 하한값으로 변환하여, 제 t+1 시점의 MHI 영상을 각각 생성한다.
예를 들어, 도 19와 도 20에서 적색 원으로 표시된 픽셀의 경우 2번 연속으로 하한값에 해당하는 픽셀이 입력되어, 2번에 걸쳐 제 6 설정값 만큼 차감이 되고(250-80-80=90) 있음을 확인할 수 있다.
도 21은 이와 같은 MHI 생성 과정을 요약한 도면이다.
MHI 영상에서 각 바운딩 박스가 모두 포함되도록, 영상의 사이즈를 조절할 수 있다. 즉, 바운딩 박스의 최상단과 최하단의 좌표를 구해 영상의 사이즈를 조절하고, 이를 종래 알려진 특징맵 추출 알고리즘에 입력하여, MHI 영상에서의 특징맵을 추출할 수 있다.
한편, 승가 행위 검출을 두번째 방법으로서, 결정 트리 기반의 승가 검출 모델을 살펴보기로 한다.
도 22는 본 발명의 일 실시예에 따른 결정 트리 기반의 승가 검출 모델을 설명하기 위한 도면이다.
도 22에 도시된 바와 같이, 승가 검출 모델은 바운딩 박스의 중심점 좌표간의 거리, 바운딩 박스가 회전한 각도, 바운딩 박스들의 중심점을 연결하는 벡터 및 바운딩 박스가 검출된 영상에서의 MHI(Motion History Image) 영상에 기반하여 동물 개체의 활동력 특징 정보를 포함하는 학습 데이터에 기반하여 승가 행위를 검출하도록 학습된 것이다.
이때, 바운딩 바운딩 박스의 중심점 좌표간의 거리, 바운딩 박스가 회전한 각도, 바운딩 박스들의 중심점을 연결하는 벡터를 산출하는 방법이나, MHI영상에 기반하여 동물 개체의 활동력 특징 정보를 추출하는 과정은 앞서 도 13 내지 도 21을 통해 설명한 내용과 동일하다.
다만, 결정 트리 기반의 승가 검출 모델에서는 위에 설명한 학습 데이터를 복수개 수집하고, 이를 기반으로 기계 학습을 수행한 것으로서, 이에 의하면, 첫번째 방법과는 달리 각각의 단계를 순차적으로 수행하지 않고, 결정 트리 기반 모델에 근거하여, 곧바로 승가 행위 검출이 가능하다.
한편, 변형된 실시예로서, 소의 중심간 거리가 아닌, 코와 중심간 거리, 목과 중심간 거리를 이용하는 것도 가능하다.
또한, MHI 경사맵(gradient map)을 사용하는 것도 가능한데, MHI가 모션의 강도만 알 수 있다면, 경사맵을 이용하여 동물 개체의 활동력이 어디로 이동하는지 알 수 있고, 이를 통해 보다 정확한 승가 행위 탐지가 가능하다.
이상에서 설명한 동물 개체의 승가 행위 검출 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 상술한 설명을 기초로 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해되어야만 한다. 본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 영상 기반 동물 개체 승가 행위 검출 장치
110: 통신 모듈
120: 메모리
130: 프로세서
140: 데이터베이스

Claims (13)

  1. 영상에 기반하여 동물 개체의 승가행위를 검출하는 장치에 있어서,
    대상체에 대해 촬영한 영상을 수신하는 통신 모듈;
    상기 수신한 영상으로부터 동물 개체의 승가 행위를 검출하는 프로그램이 저장된 메모리; 및
    상기 프로그램을 실행하는 프로세서를 포함하되,
    상기 승가 행위를 검출하는 프로그램은, 동물 영상으로 이루어진 학습 데이터에 기반하여 학습된 동물 검출 모델에 상기 수신한 영상을 입력하여 상기 영상에서 검출한 동물 개체에 대한 동물 검출 정보를 추출하되, 상기 동물 검출 정보는 상기 동물 개체에 적합하도록 형성된 바운딩 박스, 상기 바운딩 박스의 중심점 좌표, 상기 바운딩 박스의 너비, 상기 바운딩 박스의 길이 및 기준축에 대해 상기 바운딩 박스가 회전한 각도 정보를 포함하는 것이고,
    상기 수신한 영상에서 상기 바운딩 박스의 중심점 좌표간의 거리가 제 1 설정값 이내인 바운딩 박스들을 추출하고, 추출된 바운딩 박스들 중 상기 바운딩 박스가 회전한 각도의 차이가 제 2 설정값 이내인 바운딩 박스들을 추출하고, 추출된 바운딩 박스들의 중심점을 연결하는 벡터와 각 바운딩 박스의 방향의 차이가 제 3 설정값 이내인 바운딩 박스들을 추출하고, 추출된 바운딩 박스가 검출된 영상에서의 MHI(Motion History Image) 영상에 기반하여 동물 개체의 활동력 특징 정보가 추출된 경우, 해당 바운딩 박스들에 의해 특정된 동물 개체에서 승가 행위가 발생한 것으로 탐지하는 것인, 승가 행위 검출 장치.
  2. 제1항에 있어서,
    상기 승가 행위를 검출하는 프로그램은 상기 MHI영상에 기반하여 동물 개체의 활동력 특징 정보를 추출하기 위해,
    흑백으로 변환된 제 t-1 시점(t 는 1이상의 자연수)의 영상과 흑백으로 변환된 제 t 시점의 각 픽셀별 밝기 차이를 각 픽셀별로 산출하고, 산출된 각 픽셀별 밝기 차이가 제 5 설정값 이상인 경우에는 해당 픽셀값을 상한값으로 변환하고, 설정값보다 작은 경우에는 해당 픽셀값을 하한값으로 변환하여, 제 t 시점의 차영상들을 순차적으로 생성하는 단계;
    제 t+1 시점 차영상의 픽셀별 밝기에서 제 t 시점 차영상의 픽셀별 밝기를 뺀 값이 상기 제 5 설정값 이상이면 해당 픽셀값을 상기 상한 값으로 변환하고,
    제 t+1시점 차영상의 픽셀별 밝기에서 제 t 시점 차영상의 픽셀별 밝기를 뺀 값이 상기 제 5 설정값보다 작은 경우, 상기 제 t 시점 차영상의 픽셀별 밝기가 상기 제 5 설정값 이상이면 제 t 시점 차영상의 픽셀별 밝기에서 제 6 설정값만큼을 차감한 값을 해당 픽셀값으로 저장하고,
    제 t+1시점 차영상의 픽셀별 밝기에서 제 t 시점 차영상의 픽셀별 밝기를 뺀 값이 상기 제 5 설정값보다 작은 경우, 상기 제 t 시점 차영상의 픽셀별 밝기가 상기 제 5 설정값 보다 작으면 제 t 시점 차영상의 픽셀별 밝기를 상기 하한값으로 변환하여, 제 t+1 시점의 MHI 영상을 각각 생성하는 단계; 및
    각 MHI 영상에 대하여 특징맵을 추출하는 단계를 수행하는, 승가 행위 검출 장치.
  3. 제1항에 있어서,
    상기 동물 검출 모델은 적어도 하나 이상의 동물 개체를 포함하는 복수의 영상과 각 영상에 포함된 동물 개체에 대한 상기 동물 검출 정보를 매칭시킨 학습 데이터에 기반하여 구축된 것으로서,
    입력된 영상으로부터 특징을 추출하는 백본부, 상기 백본부에서 추출한 특징에 기반하여 상기 백본부의 각 레이어로부터 중간 정보를 취합하는 넥부 및 상기 넥부에서 수집한 중간 정보에 기초하여 상기 동물 검출 정보를 출력하는 헤드부를 포함하는 것인, 승가 행위 검출 장치.
  4. 제3항에 있어서,
    상기 동물 검출 모델의 헤드부는 계단식 다중경로 심층 컨볼루션망을 기반으로 상기 동물 개체의 바운딩 박스 및 동물 개체의 특징점을 추출하고, 단일 경로 심층 컨볼루션망을 기반으로 상기 동물 개체의 종류에 대한 정보와 상기 동물 개체의 자세에 대한 정보를 각각 추출하되,
    상기 계단식 다중경로 심층 컨볼루션망은 주요 특징점의 좌표를 추출하는 과정, 상기 주요 특징점의 좌표를 연결하는 접선의 방향을 추출하는 과정 및 상기 접선과 상기 주요 특징점을 포함하는 영역의 폭과 높이를 추출하는 과정을 수행하도록 구축된 것인, 승가 행위 검출 장치.
  5. 영상에 기반하여 동물 개체의 승가행위를 검출하는 장치에 있어서,
    대상체에 대해 촬영한 영상을 수신하는 통신 모듈;
    상기 수신한 영상으로부터 동물 개체의 승가 행위를 검출하는 프로그램이 저장된 메모리; 및
    상기 프로그램을 실행하는 프로세서를 포함하되,
    상기 승가 행위를 검출하는 프로그램은, 동물 영상으로 이루어진 학습 데이터에 기반하여 학습된 동물 검출 모델에 상기 수신한 영상을 입력하여 상기 영상에서 검출한 동물 개체에 대한 동물 검출 정보를 추출하되, 상기 동물 검출 정보는 상기 동물 개체에 적합하도록 형성된 바운딩 박스, 상기 바운딩 박스의 중심점 좌표, 상기 바운딩 박스의 너비, 상기 바운딩 박스의 길이 및 기준축에 대해 상기 바운딩 박스가 회전한 각도 정보를 포함하는 것이고,
    상기 추출된 동물 검출 정보를 결정 트리 기반의 승가 검출 모델에 입력하여 승가 행위를 검출하되,
    상기 승가 검출 모델은 상기 바운딩 박스의 중심점 좌표간의 거리, 상기 바운딩 박스가 회전한 각도, 바운딩 박스들의 중심점을 연결하는 벡터 및 상기 바운딩 박스가 검출된 영상에서의 MHI(Motion History Image) 영상에 기반하여 동물 개체의 활동력 특징 정보를 포함하는 학습 데이터에 기반하여 승가 행위를 검출하도록 학습된 것인, 승가 행위 검출 장치.
  6. 제5항에 있어서,
    상기 승가 행위를 검출하는 프로그램은 상기 MHI영상에 기반하여 동물 개체의 활동력 특징 정보를 추출하기 위해,
    흑백으로 변환된 제 t-1 시점(t 는 1이상의 자연수)의 영상과 흑백으로 변환된 제 t 시점의 각 픽셀별 밝기 차이를 각 픽셀별로 산출하고, 산출된 각 픽셀별 밝기 차이가 제 5 설정값 이상인 경우에는 해당 픽셀값을 상한값으로 변환하고, 설정값보다 작은 경우에는 해당 픽셀값을 하한값으로 변환하여, 제 t 시점의 차영상들을 순차적으로 생성하는 단계;
    제 t+1 시점 차영상의 픽셀별 밝기에서 제 t 시점 차영상의 픽셀별 밝기를 뺀 값이 상기 제 5 설정값 이상이면 해당 픽셀값을 상기 상한 값으로 변환하고,
    제 t+1시점 차영상의 픽셀별 밝기에서 제 t 시점 차영상의 픽셀별 밝기를 뺀 값이 상기 제 5 설정값보다 작은 경우, 상기 제 t 시점 차영상의 픽셀별 밝기가 상기 제 5 설정값 이상이면 제 t 시점 차영상의 픽셀별 밝기에서 제 6 설정값만큼을 차감한 값을 해당 픽셀값으로 저장하고,
    제 t+1시점 차영상의 픽셀별 밝기에서 제 t 시점 차영상의 픽셀별 밝기를 뺀 값이 상기 제 5 설정값보다 작은 경우, 상기 제 t 시점 차영상의 픽셀별 밝기가 상기 제 5 설정값 보다 작으면 제 t 시점 차영상의 픽셀별 밝기를 상기 하한값으로 변환하여, 제 t+1 시점의 MHI 영상을 각각 생성하는 단계; 및
    각 MHI 영상에 대하여 특징맵을 추출하는 단계를 수행하는, 승가 행위 검출 장치.
  7. 제5항에 있어서,
    상기 동물 검출 모델은 적어도 하나 이상의 동물 개체를 포함하는 복수의 영상과 각 영상에 포함된 동물 개체에 대한 상기 동물 검출 정보를 매칭시킨 학습 데이터에 기반하여 구축된 것으로서,
    입력된 영상으로부터 특징을 추출하는 백본부, 상기 백본부에서 추출한 특징에 기반하여 상기 백본부의 각 레이어로부터 중간 정보를 취합하는 넥부 및 상기 넥부에서 수집한 중간 정보에 기초하여 상기 동물 검출 정보를 출력하는 헤드부를 포함하는 것인, 승가 행위 검출 장치.
  8. 제7항에 있어서,
    상기 동물 검출 모델의 헤드부는 계단식 다중경로 심층 컨볼루션망을 기반으로 상기 동물 개체의 바운딩 박스 및 동물 개체의 특징점을 추출하고, 단일 경로 심층 컨볼루션망을 기반으로 상기 동물 개체의 종류에 대한 정보와 상기 동물 개체의 자세에 대한 정보를 각각 추출하되,
    상기 계단식 다중경로 심층 컨볼루션망은 주요 특징점의 좌표를 추출하는 과정, 상기 주요 특징점의 좌표를 연결하는 접선의 방향을 추출하는 과정 및 상기 접선과 상기 주요 특징점을 포함하는 영역의 폭과 높이를 추출하는 과정을 수행하도록 구축된 것인, 승가 행위 검출 장치.
  9. 영상 기반 동물 개체 승가 행위 검출 장치를 이용하여 동물 개체의 승가 행위를 검출하는 방법에 있어서,
    대상체에 대해 촬영한 영상을, 동물 영상으로 이루어진 학습 데이터에 기반하여 학습된 동물 검출 모델에 입력하여 동물 검출 정보를 추출하는 단계로서, 상기 동물 검출 정보는 상기 동물 개체에 적합하도록 형성된 바운딩 박스, 상기 바운딩 박스의 중심점 좌표, 상기 바운딩 박스의 너비, 상기 바운딩 박스의 길이 및 기준축에 대해 상기 바운딩 박스가 회전한 각도 정보를 포함하는 것인 단계;
    수신한 영상에서 상기 바운딩 박스의 중심점 좌표간의 거리가 제 1 설정값 이내인 바운딩 박스들을 추출하는 단계;
    추출된 바운딩 박스들 중 상기 바운딩 박스가 회전한 각도의 차이가 제 2 설정값 이내인 바운딩 박스들을 추출하는 단계;
    추출된 바운딩 박스들의 중심점을 연결하는 벡터와 각 바운딩 박스의 방향의 차이가 제 3 설정값 이내인 바운딩 박스들을 추출하는 단계; 및
    추출된 바운딩 박스가 검출된 영상에서의 MHI(Motion History Image) 영상에 기반하여 동물 개체의 활동력 특징 정보를 추출하는 단계를 포함하되,
    상기 동물 개체의 활동력 특징 정보가 추출된 경우, 해당 바운딩 박스들에 의해 특정된 동물 개체에서 승가 행위가 발생한 것으로 탐지하는 것인, 동물 개체의 승가 행위 검출 방법.
  10. 제9항에 있어서,
    상기 MHI영상에 기반하여 동물 개체의 활동력 특징 정보를 추출하는 단계는,
    흑백으로 변환된 제 t-1 시점(t 는 1이상의 자연수)의 영상과 흑백으로 변환된 제 t 시점의 각 픽셀별 밝기 차이를 각 픽셀별로 산출하고, 산출된 각 픽셀별 밝기 차이가 제 5 설정값 이상인 경우에는 해당 픽셀값을 상한값으로 변환하고, 설정값보다 작은 경우에는 해당 픽셀값을 하한값으로 변환하여, 제 t 시점의 차영상들을 순차적으로 생성하는 단계;
    제 t+1 시점 차영상의 픽셀별 밝기에서 제 t 시점 차영상의 픽셀별 밝기를 뺀 값이 상기 제 5 설정값 이상이면 해당 픽셀값을 상기 상한 값으로 변환하고,
    제 t+1시점 차영상의 픽셀별 밝기에서 제 t 시점 차영상의 픽셀별 밝기를 뺀 값이 상기 제 5 설정값보다 작은 경우, 상기 제 t 시점 차영상의 픽셀별 밝기가 상기 제 5 설정값 이상이면 제 t 시점 차영상의 픽셀별 밝기에서 제 6 설정값만큼을 차감한 값을 해당 픽셀값으로 저장하고,
    제 t+1시점 차영상의 픽셀별 밝기에서 제 t 시점 차영상의 픽셀별 밝기를 뺀 값이 상기 제 5 설정값보다 작은 경우, 상기 제 t 시점 차영상의 픽셀별 밝기가 상기 제 5 설정값 보다 작으면 제 t 시점 차영상의 픽셀별 밝기를 상기 하한값으로 변환하여, 제 t+1 시점의 MHI 영상을 각각 생성하는 단계; 및
    각 MHI 영상에 대하여 특징맵을 추출하는 단계를 포함하는, 동물 개체의 승가 행위 검출 방법.
  11. 영상 기반 동물 개체 승가 행위 검출 장치를 이용하여 동물 개체의 승가 행위를 검출하는 방법에 있어서,
    대상체에 대해 촬영한 영상을, 동물 영상으로 이루어진 학습 데이터에 기반하여 학습된 동물 검출 모델에 입력하여 동물 검출 정보를 추출하는 단계로서, 상기 동물 검출 정보는 상기 동물 개체에 적합하도록 형성된 바운딩 박스, 상기 바운딩 박스의 중심점 좌표, 상기 바운딩 박스의 너비, 상기 바운딩 박스의 길이 및 기준축에 대해 상기 바운딩 박스가 회전한 각도 정보를 포함하는 것인 단계; 및
    상기 추출된 동물 검출 정보를 결정 트리 기반의 승가 검출 모델에 입력하여 승가 행위를 검출하는 단계를 포함하되,
    상기 승가 검출 모델은 상기 바운딩 박스의 중심점 좌표간의 거리, 상기 바운딩 박스가 회전한 각도, 바운딩 박스들의 중심점을 연결하는 벡터 및 상기 바운딩 박스가 검출된 영상에서의 MHI(Motion History Image) 영상에 기반하여 동물 개체의 활동력 특징 정보를 포함하는 학습 데이터에 기반하여 승가 행위를 검출하도록 학습된 것인, 동물 개체의 승가 행위 검출 방법.
  12. 제11항에 있어서,
    상기 승가 검출 모델은 상기 MHI영상에 기반하여 동물 개체의 활동력 특징 정보를 추출하기 위해,
    흑백으로 변환된 제 t-1 시점(t 는 1이상의 자연수)의 영상과 흑백으로 변환된 제 t 시점의 각 픽셀별 밝기 차이를 각 픽셀별로 산출하고, 산출된 각 픽셀별 밝기 차이가 제 5 설정값 이상인 경우에는 해당 픽셀값을 상한값으로 변환하고, 설정값보다 작은 경우에는 해당 픽셀값을 하한값으로 변환하여, 제 t 시점의 차영상들을 순차적으로 생성하는 단계;
    제 t+1 시점 차영상의 픽셀별 밝기에서 제 t 시점 차영상의 픽셀별 밝기를 뺀 값이 상기 제 5 설정값 이상이면 해당 픽셀값을 상기 상한 값으로 변환하고,
    제 t+1시점 차영상의 픽셀별 밝기에서 제 t 시점 차영상의 픽셀별 밝기를 뺀 값이 상기 제 5 설정값보다 작은 경우, 상기 제 t 시점 차영상의 픽셀별 밝기가 상기 제 5 설정값 이상이면 제 t 시점 차영상의 픽셀별 밝기에서 제 6 설정값만큼을 차감한 값을 해당 픽셀값으로 저장하고,
    제 t+1시점 차영상의 픽셀별 밝기에서 제 t 시점 차영상의 픽셀별 밝기를 뺀 값이 상기 제 5 설정값보다 작은 경우, 상기 제 t 시점 차영상의 픽셀별 밝기가 상기 제 5 설정값 보다 작으면 제 t 시점 차영상의 픽셀별 밝기를 상기 하한값으로 변환하여, 제 t+1 시점의 MHI 영상을 각각 생성하는 단계; 및
    각 MHI 영상에 대하여 특징맵을 추출하는 단계를 수행하는, 동물 개체의 승가 행위 검출 방법.
  13. 제9항 내지 제12항 중 어느 한 항에 따른 영상 기반 동물 개체의 승가 행위 검출 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 비일시적 컴퓨터 판독가능 기록매체.
KR1020210105287A 2021-08-10 2021-08-10 영상에 기반하여 동물의 승가 행위를 검출하는 장치 및 방법 KR102454715B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210105287A KR102454715B1 (ko) 2021-08-10 2021-08-10 영상에 기반하여 동물의 승가 행위를 검출하는 장치 및 방법
US17/702,406 US20230070719A1 (en) 2021-08-10 2022-03-23 Apparatus and method for detecting mounting behavior of animal based on image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210105287A KR102454715B1 (ko) 2021-08-10 2021-08-10 영상에 기반하여 동물의 승가 행위를 검출하는 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102454715B1 true KR102454715B1 (ko) 2022-10-17

Family

ID=83810073

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210105287A KR102454715B1 (ko) 2021-08-10 2021-08-10 영상에 기반하여 동물의 승가 행위를 검출하는 장치 및 방법

Country Status (2)

Country Link
US (1) US20230070719A1 (ko)
KR (1) KR102454715B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114219049B (zh) * 2022-02-22 2022-05-10 天津大学 一种基于层级约束的细粒度笔石图像分类方法和装置
CN114549516B (zh) * 2022-03-03 2023-01-17 石河子大学 一种应用于多种类高密度极小虫体行为学的智能分析系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002157598A (ja) * 2000-11-16 2002-05-31 Japan Radio Co Ltd 侵入者検知システム
KR20160109020A (ko) * 2015-03-09 2016-09-21 용훈 김 카메라를 이용한 소의 승가현상을 판별하는 시스템
KR101769963B1 (ko) 2017-02-27 2017-08-22 농업회사법인(주)이노팜 소의 승가 행위 판독 시스템
KR20210054266A (ko) * 2019-11-05 2021-05-13 한세영 소의 승가 행위 판별 방법 및 시스템.

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6191798B1 (en) * 1997-03-31 2001-02-20 Katrix, Inc. Limb coordination system for interactive computer animation of articulated characters
WO2016168869A1 (en) * 2015-04-16 2016-10-20 California Institute Of Technology Systems and methods for behavior detection using 3d tracking and machine learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002157598A (ja) * 2000-11-16 2002-05-31 Japan Radio Co Ltd 侵入者検知システム
KR20160109020A (ko) * 2015-03-09 2016-09-21 용훈 김 카메라를 이용한 소의 승가현상을 판별하는 시스템
KR101769963B1 (ko) 2017-02-27 2017-08-22 농업회사법인(주)이노팜 소의 승가 행위 판독 시스템
KR20210054266A (ko) * 2019-11-05 2021-05-13 한세영 소의 승가 행위 판별 방법 및 시스템.

Also Published As

Publication number Publication date
US20230070719A1 (en) 2023-03-09

Similar Documents

Publication Publication Date Title
CN108520229B (zh) 图像检测方法、装置、电子设备和计算机可读介质
US11551333B2 (en) Image reconstruction method and device
CN109934115B (zh) 人脸识别模型的构建方法、人脸识别方法及电子设备
WO2019100724A1 (zh) 训练多标签分类模型的方法和装置
WO2020228446A1 (zh) 模型训练方法、装置、终端及存储介质
CN109815770B (zh) 二维码检测方法、装置及系统
KR102454715B1 (ko) 영상에 기반하여 동물의 승가 행위를 검출하는 장치 및 방법
US10388009B2 (en) Machine-learning measurements of quantitative feature attributes
JP2017033469A (ja) 画像識別方法、画像識別装置及びプログラム
WO2021218671A1 (zh) 目标跟踪方法及装置、存储介质及计算机程序
Wang et al. Head pose estimation with combined 2D SIFT and 3D HOG features
CN110046574A (zh) 基于深度学习的安全帽佩戴识别方法及设备
CN112528812A (zh) 行人跟踪的方法、行人跟踪装置以及行人跟踪系统
CN112200057A (zh) 人脸活体检测方法、装置、电子设备及存储介质
US20230386242A1 (en) Information processing apparatus, control method, and non-transitory storage medium
US20220398861A1 (en) Apparatus and method for detecting animal object based on image
US20240096134A1 (en) Action Recognition System and Method
EP3857449A1 (en) Apparatus and method for three-dimensional object recognition
Łysakowski et al. Real-time onboard object detection for augmented reality: Enhancing head-mounted display with yolov8
WO2022247126A1 (zh) 视觉定位方法、装置、设备、介质及程序
Arnold et al. Real-time scene parsing by means of a convolutional neural network for mobile robots in disaster scenarios
CN113454684A (zh) 一种关键点标定方法和装置
KR20200009530A (ko) 이상 개체 검출 시스템 및 방법
KR102417870B1 (ko) 영상에 기반하여 동물 개체의 상태를 식별하는 장치 및 방법
US20230386185A1 (en) Statistical model-based false detection removal algorithm from images

Legal Events

Date Code Title Description
GRNT Written decision to grant