KR101595334B1 - 농장에서의 움직임 개체의 이동 궤적 트래킹 방법 및 장치 - Google Patents

농장에서의 움직임 개체의 이동 궤적 트래킹 방법 및 장치 Download PDF

Info

Publication number
KR101595334B1
KR101595334B1 KR1020140066019A KR20140066019A KR101595334B1 KR 101595334 B1 KR101595334 B1 KR 101595334B1 KR 1020140066019 A KR1020140066019 A KR 1020140066019A KR 20140066019 A KR20140066019 A KR 20140066019A KR 101595334 B1 KR101595334 B1 KR 101595334B1
Authority
KR
South Korea
Prior art keywords
motion
entity
motion entity
distance
detected
Prior art date
Application number
KR1020140066019A
Other languages
English (en)
Other versions
KR20150137698A (ko
Inventor
정용화
박대희
노병준
오승근
김용
좌상숙
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020140066019A priority Critical patent/KR101595334B1/ko
Publication of KR20150137698A publication Critical patent/KR20150137698A/ko
Application granted granted Critical
Publication of KR101595334B1 publication Critical patent/KR101595334B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 농장의 움직임 개체의 이동 궤적 트래킹 방법에 있어서, 움직임 개체를 촬영한 영상 데이터의 복수의 영상 프레임에 대하여 차영상 방법을 적용하여 움직임 개체를 탐지하는 단계; 상기 탐지된 움직임 개체들 간의 거리에 기반하여, 각 움직임 개체를 식별하는 단계; 상기 식별된 움직임 개체 단위로 이동 궤적을 트래킹하는 단계를 포함하는 것을 특징으로 한다.

Description

농장에서의 움직임 개체의 이동 궤적 트래킹 방법 및 장치{METHOD AND APPARATUS FOR MOVEMENT TRAJECTORY TRACKING OF MOVING OBJECT ON ANIMAL FARM}
본 발명은 농장에서의 움직임 개체의 이동 궤적 트래킹 방법 및 장치에 관한 것이다.
최근 IT 기술을 이용하여 농장에서 가축의 행동을 분석하고, 질병의 유무 등을 탐지하기 위한 움직임 개체(moving object) 식별 및 이동 궤적 트래킹(movement trajectory tracking) 기술 개발이 활발하게 진행되고 있다.
농장에서 움직임 개체를 식별하는 대표적인 기술은 RFID(radio-frequency identification) 및 RF(radio frequency) 등 무선 통신 기술을 이용하는 것이다. 이 기술은 가축에 직접 RF 송신기나 RFID 태그를 부착하고 RF 수신기나 RFID 리더기를 이용하여 가축의 움직임 탐지를 수행한다.
한국 등록특허공보 제10-0817311호(발명의 명칭: 동물위치추적 시스템에 사용되는 동물위치추적송신기 및동물위치추적수신기)는 RF 신호 및GPS(global positioning system)를 이용한 동물위치추적 송신기 및 동물위치추적 수신기에 대한 기술을 개시하고 있다. 이 발명은 개체 별로 동물위치추적 송신기를 부착하므로 개체의 식별이 쉽다. 그러나 동물위치추적 송신기가 부착되지 않은 개체를 식별하지 못한다는 단점이 존재한다. 또한, 이 발명은 RF 신호 및 GPS를 이용하므로 넓은 공간에서 움직이는 개체를 식별하는데 적합하지만, 제한된 공간에서 움직임이 있는 개체를 식별하고, 세밀한 이동 궤적을 트래킹 해야 하는 농장에서는 적합하지 않다.
이러한 문제를 해결하기 위하여 M. Kashiha외 6인은 2013년 Computers and Electronic in Agriculture에 발표한 국제논문 (논문명: Automatic identification of marked pigs in a pen using image pattern recognition)에서 농장에서 생성되는 영상 데이터를 이용한 움직임 개체 식별 및 이동 궤적 트래킹 방법을 공개하였다. 이 방법은 각 개체의 등에 서로 다른 무늬를 부여하고, 패턴인식(pattern recognition) 기법을 이용하여 농장에서 생성되는 영상 데이터에서 개체를 인식하였다. 또한, 이 방법은 개체를 인식한 이후, 인식된 개체의 이동 궤적 트래킹을 수행하였다. 그러나 이 방법은 사전에 개체마다 다른 무늬가 부여된 개체만 식별할 수 있다. 또한, 영상 데이터의 프레임마다 패턴 인식 기법을 적용하므로 높은 컴퓨팅 리소스를 필요로 한다.
한국 공개특허공보 제10-2013-0047131호(발명의 명칭: 이동형 단말기를 이용한 영상감시 방법 및 시스템)는 CCTV(closed circuit television)를 이용한 영상 데이터에서 차량의 번호판이나, 사람의 얼굴을 인지하고 추적하는 기술을 개시하고 있다. 이 발명에서 사용한 차량의 번호판 감지 방법은 정자체 기반 문자 인식 기법을 이용하여 숫자를 인식하는 것으로 농장의 가축을 인식하기에 적합하지 않다. 또한, 사람의 얼굴 인식 방법은 사람의 얼굴의 영역을 구분하고, 얼굴의 특징을 추출하여 얼굴 인식을 수행하는 것으로 계산량이 많고, 높은 컴퓨팅 리소스를 필요로 한다.
전술한 종래 기술의 문제점을 해결하기 위한 것으로, 본 실시예는 농장에서 영상에 기반하여 움직임 개체의 이동 궤적 트래킹 방법 및 장치를 제공하는 데 그 목적이 있다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 일 실시예에 따른 농장의 움직임 개체에 대한 이동 궤적 트래킹 장치는, 움직임 개체 탐지 및 움직임 개체의 이동 궤적 트래킹을 수행하는 프로그램이 저장된 메모리, 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하되, 프로세서는 프로그램의 실행에 따라, 움직임 개체를 촬영한 영상 데이터로부터 움직임 개체를 탐지하고, 탐지된 움직임 개체를 식별하며, 식별된 움직임 개체 별로 이동 궤적을 트래킹 하되, 프로세서는 영상 데이터의 복수의 영상 프레임에 대하여 차영상 방법을 적용하여 움직임 개체를 탐지하는 것을 포함한다.
또한, 본 발명의 일 실시예에 따른 농장의 움직임 개체의 이동 궤적 트래킹 방법은, 움직임 개체를 촬영한 영상 데이터의 복수의 영상 프레임에 대하여 차영상 방법을 적용하여 움직임 개체를 탐지하는 단계; 탐지된 움직임 개체들 간의 거리에 기반하여, 각 움직임 개체를 식별하는 단계; 식별된 움직임 개체 단위로 이동 궤적을 트래킹하는 단계를 포함할 수 있다.
전술한 과제 해결 수단 중 어느 하나에 의하면, 농장에서 움직임 개체의 이동 궤적 트래킹 방법 및 장치로, 이로 말미암아 관련 사업 전반에서 다양한 파급 효과를 기대할 수 있다.
본 발명은 농장의 개체에 대한 사전 작업 없이 영상 데이터를 이용하여 평면에서 이동하는 움직임 개체를 식별할 수 있다. 또한, 본 발명은 차영상 방법을 이용하므로, 기존 패턴인식 기반 방법과 비교하면, 계산량이 적어 실시간으로 움직이는 개체를 빠르게 식별하고 이동 궤적을 트래킹 하기 용이하다.
본 발명은 영상 데이터의 차영상 방법을 이용하므로, 농장과 같이 움직이는 개체의 색상 분포가 비슷한 경우에 적용하기 적합하다. 또한, 본 발명은 영상 데이터만 이용하여 움직임 개체의 식별 및 이동 궤적 트래킹이 가능하므로, 기존 농장에 설치된 CCTV 등 카메라 모듈을 그대로 활용할 수 있다.
본 발명의 이동 궤적 트래킹 방법은 식별된 움직임 개체의 프레임별 이동 궤적을 3차원 유클리드 공간에 표현하므로, 추후 움직임 개체의 시공간적 행동 분석 등에 활용이 가능하다. 또한, 하나 이상의 움직임 개체를 같은 3차원 유클리드 공간에 표현하여, 움직임 개체 간 움직임 비교 및 상호 작용 분석을 통한 농장 관리가 가능하다.
도 1은 본 발명의 일 실시예에 따른 움직임 개체에 대한 이동 궤적 트래킹 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 움직임 개체의 이동 궤적 트래킹 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 움직임 개체를 촬영한 영상 데이터를 이용하여 움직임 개체를 탐지하는 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 탐지된 움직임 개체의 식별 방법을 설명하기 위한 순서도이다.
도5는 본 발명의 일 실시예에 따라 실내 농장 내부에 설치된 카메라를 이용한 움직임 개체 탐지의 예시도이다.
도6은 본 발명의 일 실시예에 따른 3차원 유클리드 공간에 움직임 개체 궤적 표현한 예시도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.
또한, 도면을 참고하여 설명하면서, 같은 명칭으로 나타낸 구성일지라도 도면에 따라 도면 번호가 달라질 수 있고, 도면 번호는 설명의 편의를 위해 기재된 것에 불과하고 해당 도면 번호에 의해 각 구성의 개념, 특징, 기능 또는 효과가 제한 해석되는 것은 아니다.
먼저, 본 발명의 일 실시예에 따르는 농장의 움직임 개체에 대한 이동 궤적 트래킹 장치에 대해서 설명한다.
도 1은 본 발명의 일 실시예에 따른 움직임 개체에 대한 이동 궤적 트래킹 장치의 블록도이다.
농장의 움직임 개체에 대한 이동 궤적 트래킹 장치(100)는 움직임 개체 탐지 및 움직임 개체의 이동 궤적 트래킹을 수행하는 프로그램이 저장된 메모리(140) 및 메모리에 저장된 프로그램을 실행하는 프로세서(130)를 포함할 수 있다.
프로세서(130)는 움직임 개체 탐지 프로그램의 실행에 따라, 움직임 개체를 촬영한 영상 데이터로부터 움직임 개체를 탐지할 수 있다. 움직임이 탐지된 이후, 프로세서(130)는 탐지된 움직임 개체를 식별하고, 식별된 움직임 개체 별로 이동 궤적을 트래킹 할 수 있다. 이때, 프로세서(130)는 영상 데이터의 복수의 영상 프레임(image frame)에 대하여 차영상 방법(frame difference method)을 이용하여 움직임 개체를 탐지할 수 있다.
본 발명의 일 실시예에서 차영상 방법을 이용한 움직임 개체 탐지는 이전 프레임과 현재 프레임의 차영상을 구하여 사용한다. 프로세서(130)는 이 차영상에서 픽셀(pixel) 단위로 움직임을 탐색할 수 있다. 미리 정해진 임계치(threshold) 이상 픽셀이 움직인 경우, 이 움직임 픽셀을 이용하여 움직임 개체를 탐지할 수 있다. 본 발명은 차영상 방법을 이용하므로 기존 패턴인식을 이용한 움직임 개체 탐지 기술보다 적은 컴퓨팅 리소스를 사용할 수 있다. 또한, 차영상을 이용하여 픽셀 단위의 움직임을 탐색하므로, 움직임 개체의 색상 분포가 유사한 농장 환경에 적용하기 적합할 수 있다.
본 발명의 일 실시예는 하나 이상의 카메라 모듈(110)을 더 포함할 수 있다. 카메라 모듈(110)은 렌즈(lens) 및 이미지 센서(image sensor) 등을 포함할 수 있다. 카메라 모듈(110)은 렌즈와 이미지 센서를 이용하여 농장 내부의 정지 영상(image)이나 동영상(video)을 촬영하고, 촬영된 영상을 디지털 영상 정보로 변환한다. 프로세서(130)는 프로그램의 실행에 따라 카메라 모듈(110)에 의해 생성된 영상 데이터를 사용하여 움직임 개체를 탐지할 수 있다. 한편 프로세서(130)는 카메라 모듈(110)로부터 실시간으로 수신한 영상 데이터뿐만 아니라, 이미 촬영된 영상 데이터로부터 움직임 개체 탐지 및 식별 등을 수행할 수 있다.
본 발명의 일 실시예는 움직임 개체 정보 및 이동 궤적을 저장하는 데이터베이스(120)를 더 포함할 수 있다. 프로세서(130)는 프로그램의 실행에 따라, 움직임 개체가 탐지된 이후, 탐지된 움직임 개체의 움직임 개체 정보 및 이동 궤적을 데이터베이스(120)에 저장할 수 있다. 데이터베이스(120)에 저장되는 움직임 개체 정보는, 움직임 개체의 식별 정보, 움직임 개체의 위치 정보 및 움직임 개체가 탐지된 동영상의 프레임 정보를 포함할 수 있다. 이때, 움직임 개체의 위치 정보는 움직임 개체의 중심 좌표를 이용할 수 있다.
프로세서(130)는 상기 프로그램의 실행에 따라, 움직임 개체가 촬영된 지점의 위치 좌표 및 움직임 개체가 촬영된 영상의 프레임 번호를 기초로 3차원 유클리드 공간(3 dimensional Euclidean space)에 3차원 그래프를 생성할 수 있다. 이때, 데이터베이스(120)에 저장된 움직임 개체 정보를 이용할 수 있다.
탐지된 움직임 개체가 하나 이상인 경우, 동일한 3차원 그래프에 여러 움직임 개체의 이동 궤적을 동시에 표현할 수 있다. 이렇게 동일한 3차원 그래프에 여러 움직임 개체의 이동궤적을 표현하므로, 프레임에 변화에 따른 움직임 개체 간의 움직임 비교 및 상호 작용 등을 분석할 수 있다.
다음은 본 발명의 일 실시예에 따르는 농장의 움직임 개체의 이동 궤적 트래킹 방법을 설명한다.
도 2는 본 발명의 일 실시예에 따른 움직임 개체의 이동 궤적 트래킹 방법을 설명하기 위한 순서도이다. 도 3은 본 발명의 일 실시예에 따른 움직임 개체를 촬영한 영상 데이터를 이용하여 움직임 개체를 탐지하는 방법을 설명하기 위한 순서도이다. 도 4는 본 발명의 일 실시예에 따른 탐지된 움직임 개체의 식별 방법을 설명하기 위한 순서도이다.
농장의 움직임 개체의 이동 궤적 트래킹 방법은 움직임 개체를 촬영한 영상 데이터의 복수의 영상 프레임에 대하여 차영상 방법을 적용하여 움직임 개체를 탐지하고(S200), 탐지된 움직임 개체 간의 거리에 기반을 두어, 각 움직임 개체를 식별하고(S210), 움직임 개체가 식별되면 식별된 움직임 개체 단위로 이동 궤적을 트래킹하는(S220) 것을 포함할 수 있다. 본 발명에서 움직임 개체를 촬영한 영상 데이터는 본 발명이 적용된 이동 궤적 트래킹 장치에 탑재된 카메라 모듈에 의해 제공되거나, 기존 농장에 설치된 CCTV 등에 의해 제공될 수 있다.
차영상 방법을 적용하여 움직임 개체를 탐지하기 위하여(S200) 움직임 개체를 촬영한 영상 데이터를 수신하고(S300), 영상 데이터의 전처리를 수행할 수 있다(S310). 영상 데이터 전처리는 영상 데이터를 그레이 스케일(gray scale)로 변환하고, 잡음 제거(noisy filtering)를 수행하며, 영상 데이터를 프레임 단위의 이미지 데이터로 변환할 수 있다.
영상 데이터의 전처리를 수행한 후 차영상 방법을 이용하여 움직임 개체 탐지를 수행할 수 있다. 도3의 (A)는 전처리된 영상에 대하여 차영상 방법을 이용하여 움직임 개체를 탐지하는 방법을 나타낸다.
차영상 방법을 이용한 움직임 개체 탐지 방법은 먼저, 복수의 영상 프레임에 대하여 차영상을 생성한다(S320). 이때, 각 영상의 프레임은 앞선 단계에서 전처리된 것 일수 있다. 차영상은 영상 데이터에서 이전 프레임과 현재 프레임의 차이를 이용하여 생성될 수 있다.
다음으로, 본 발명은 이렇게 생성된 차영상을 이용하여 미리 정해진 임계치 이상으로 이동한 움직임 개체를 탐색할 수 있다(S330).
다음으로, 움직임 개체가 탐색된 차영상에 대하여 형태학적 처리(morphological processing)를 수행하여 최종적으로 움직임 개체를 탐지할 수 있다(S340). 형태학적 처리는 영상 데이터에서 개체의 잡음이나 불완전한 에지(edge)를 제거하는 데 사용한다. 형태학적 처리에서는 침식(erosion) 처리 및 팽창(dilation)처리 등을 이용한다. 침식 처리는 개체의 크기를 배경과 관련하여 일정하게 줄이는 것이며, 팽창 처리는 개체의 크기를 배경과 관련하여 일정하게 확장하는 것이다. 본 발명에서는 형태학적 처리를 이용하여 잡음에 강인하게 움직임 개체의 외곽선을 검출할 수 있고, 이를 이용하여 최종적으로 움직임 개체를 탐지할 수 있다.
본 발명은 움직임 개체가 탐지된 이후, 탐지된 움직임 개체 간의 거리를 기반하여 움직임 개체를 식별할 수 있다(S210). 도4의 (A)는 본 발명의 일 실시예에서 움직임 개체 간의 거리를 기반하여 움직임 개체를 식별하는 방법(S210)을 설명한다.
탐지된 움직임 개체가 입력되면(S400), 이전에 탐지되어 데이터베이스에 저장된 하나 이상의 움직임 개체와의 거리를 계산한다(S430). 거리가 계산된 움직임 개체 중 최소 거리를 가지는 움직임 개체를 선택하고(S440), 최소 거리를 가지는 움직임 개체의 거리가 임계치 이하인지 판별한다(S450). 만약 최소 거리를 가지는 움직임 개체의 거리가 임계치 이하인 경우에는, 탐지된 움직임 개체를 최소 거리를 가지는 움직임 개체와 동일한 개체로 식별할 수 있다(S460). 그러나 최소 거리를 가지는 움직임 개체의 거리가 임계치 초과인 경우, 탐지된 움직임 개체를 새로운 움직임 개체로 식별할 수 있다(S451).
탐지된 움직임 개체들 간의 거리에 기반하여 각 움직임 개체를 식별하기 위하여, 먼저 데이터베이스에 가장 최근 저장된 움직임 개체와의 거리를 계산할 수 있다(S420). 움직임 개체는 인접된 프레임 동안 아주 짧은 거리를 이동하기 때문에, 이전 프레임에서 식별된 움직임 개체는 현재 프레임에서 임계치 이하로 움직일 가능성이 높다. 본 발명에서는 이러한 움직임 개체의 특징을 이용하여, 더욱 빠르게 움직임 개체를 식별하기 위하여, 가장 최근 저장된 움직임 개체를 우선 이용할 수 있다. 이때, 가장 최근 저장된 움직임 개체는 가장 최근에 새로운 움직임 개체로 식별되어 데이터베이스에 움직임 개체 정보를 저장하거나, 가장 최근에 데이터베이스에 저장된 기존 움직임 개체의 움직임 개체 정보를 갱신하는 경우를 포함할 수 있다.
가장 최근에 저장된 움직임 개체와의 거리를 계산한 결과가 제1임계치 이하인 경우, 탐지된 움직임 개체를 가장 최근에 저장된 움직임 개체와 동일한 개체로 식별할 수 있다(S460). 만약, 가장 최근에 저장된 움직임 개체와의 거리가 제1임계치를 초과하는 경우, 데이터베이스에 저장된 하나 이상의 움직임 개체와의 거리를 계산할 수 있다(S430). 거리를 계산한 다음, 탐지된 움직임 개체와 데이터베이스에 저장된 움직임 개체와의 거리 중 최소 거리를 가지는 움직임 개체를 선택할 수 있다(S440). 최소 거리를 가지는 움직임 개체와의 거리가 제2임계치 이하인지를 판단하고(S450), 제2임계치 이하인 경우, 탐지된 움직임 개체를 최소 거리를 가지는 움직임 개체와 동일한 개체로 식별할 수 있다(S460). 최소 거리를 가지는 움직임 개체와의 거리가 제2임계치 초과인 경우, 탐지된 움직임 개체를 새로운 움직임 개체로 식별할 수 있다(S451). 탐지된 움직임 개체가 새로운 움직임 개체로 식별되면 움직임 개체 정보를 저장할 수 있다(S452). 이때, 제1임계치와 제2임계치는 동일하거나, 상이하게 정의될 수 있다.
움직임 개체가 식별되면, 데이터베이스에 식별된 움직임 개체의 움직임 개체 정보를 저장할 수 있다(S470, S452). 이때, 움직임 개체가 기존 데이터베이스에 저장된 움직임 개체로 식별된 경우에는 데이터베이스에 저장되어 있던 움직임 개체 정보 중 위치 정보 및 움직임 개체가 감지된 프레임 정보 등을 갱신할 수 있다(S470). 만약 움직임 개체가 새로운 움직임 개체로 식별되면, 데이터베이스에 새로운 움직임 개체의 움직임 개체 정보를 저장할 수 있다(S452).
만약, 탐지된 움직임 개체와의 거리를 계산할 데이터베이스에 저장된 움직임 개체가 없으면(S410), 탐색된 움직임 개체를 새로운 움직임 개체로 식별할 수 있다(S451).
본 발명의 일 실시예에서 탐지된 움직임 개체와 이전에 탐지되어 데이터베이스에 저장된 움직임 개체의 거리는 두 움직임 개체 각각의 위치 정보를 이용하여 계산할 수 있다. 두 움직임 개체 사이의 거리를 계산하는 척도(measure)로 유클리드 거리(Euclidean distance)를 이용할 수 있다. 각각 서로 다른 두 개의 움직임 개체
Figure 112014051535086-pat00001
와
Figure 112014051535086-pat00002
에 대한 유클리드 거리는 수학식 1과 같다. 이때, 움직임 개체
Figure 112014051535086-pat00003
의 위치 정보는
Figure 112014051535086-pat00004
이고, 움직임 개체
Figure 112014051535086-pat00005
의 위치 정보는
Figure 112014051535086-pat00006
이다.
Figure 112014051535086-pat00007
식별된 움직임 개체 단위로 이동 궤적을 트래킹을 수행하기(S220) 위하여 데이터베이스에 저장된 식별된 움직임 개체 정보를 이용하여 3차원 유클리드 공간에 이동 궤적을 표현할 수 있다(S470). 이때, 3차원 유클리드 공간의 x축 및 y축은 움직임 개체의 위치 정보를 활용하며, z축은 움직임 개체가 탐지된 동영상의 프레임 정보를 활용할 수 있다. 또한, 움직임 개체가 하나 이상인 경우 동일한 3차원 유클리드 공간에 하나 이상의 움직임 개체의 궤적을 표현할 수 있다.
마지막으로 본 발명의 일 실시예에 따르는 농장의 움직임 개체 정보 탐지 및 움직임 개체의 이동 궤적 트래킹의 결과를 예를 들어 설명한다.
도5는 본 발명의 일 실시예에 따라 실내 농장 내부에 설치된 카메라를 이용한 움직임 개체 탐지의 예시도이다.
도5의 왼쪽은 실내 농장 내부의 영상 데이터 중 779번 프레임의 개체 탐지 결과이다. 실내 농장의 내부에서 촬영된 영상 데이터 중 779번 프레임에는 총 4개의 움직임 개체가 탐지되었다. 이 움직임 개체의 이동 로그는 도5의 오른쪽과 같다. 이동 로그는 움직임 개체 정보를 프레임별로 표시한 것으로 데이터베이스에 저장되는 움직임 개체 정보를 이용할 수 있다. 이동 로그에는 움직임 개체의 식별 정보 및 위치 정보, 프레임 번호가 포함될 수 있다. 이 이동 로그를 이용하여 프레임 별로 움직임 개체의 식별 결과 및 이동 궤적을 확인할 수 있다. 예를 들어, 도5의 이동 로그에서 식별 정보가 "pig id: 4"로 표기된 움직임 개체 4번은 774번 프레임에서 (341.00, 275.00)에 위치하였으나, 779번 프레임에서는 (340.66, 273.27)로 이동한 것을 확인할 수 있다.
도6은 본 발명의 일 실시예에 따른 3차원 유클리드 공간에 움직임 개체 궤적을 표현한 예시도이다.
도6은 임의의 5개의 움직임 개체에 대하여 이동 궤적을 3차원 유클리드 공간에 표현하였다. 3차원 유클리드 공간에 x축과 y축은 움직임 개체의 위치 정보를 표현하며, z축은 움직임 개체가 감지된 프레임 정보를 표현한다. 이렇게 3차원 유클리드 공간에 표현된 이동 궤적은 프레임 정보와 위치 정보를 동시에 표현되므로, 시간의 흐름에 따라 움직임 개체의 이동 경로를 확인하기 쉽다. 또한, 하나 이상의 움직임 개체를 한 3차원 유클리드 공간에 표현하므로 움직임 개체 간의 움직임 비교 및 상호 작용 분석 등을 수행할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능 한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 이동 궤적 트래킹 장치 110: 카메라 모듈
120: 데이터베이스 130: 프로세서
140: 메모리

Claims (13)

  1. 농장의 움직임 개체에 대한 이동 궤적 트래킹 장치에 있어서,
    데이터베이스,
    움직임 개체에 대한 탐지 및 이동 궤적 트래킹을 수행하는 프로그램이 저장된 메모리,
    상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하되,
    상기 프로세서는 상기 프로그램의 실행에 따라, 움직임 개체를 촬영한 영상 데이터의 복수의 영상 프레임에 대하여, 차영상 방법에 기초하여 상기 움직임 개체를 탐지하고,
    상기 탐지된 움직임 개체와 상기 데이터베이스에 기 저장된 움직임 개체와의 거리를 산출하고, 상기 산출된 거리에 기초하여 상기 탐지된 움직임 개체를 식별하며,
    상기 식별된 움직임 개체에 대한 이동 궤적을 트래킹하고,
    상기 트래킹된 이동 궤적에 포함된 상기 식별된 움직임 개체를 촬영한 지점의 위치 좌표 및 상기 식별된 움직임 개체를 촬영한 영상의 프레임 번호에 기초하여 3차원 그래프를 생성하되,
    상기 데이터베이스는 기 식별된 움직임 개체에 대한 움직임 개체 정보 및 이동 궤적을 저장하는 것인, 이동 궤적 트래킹 장치.
  2. 제 1 항에 있어서,
    하나 이상의 카메라 모듈을 더 포함하고,
    상기 프로세서는 상기 카메라 모듈에 의해 생성된 영상 데이터를 사용하여 움직임 개체를 탐지하는, 이동 궤적 트래킹 장치.
  3. 제 1 항에 있어서,
    상기 프로세서는 상기 탐지된 움직임 개체를 식별한 이후, 상기 식별된 움직임 개체에 대한 움직임 개체 정보 및 상기 트래킹된 이동 궤적을 상기 데이터베이스에 저장하는, 이동 궤적 트래킹 장치.
  4. 제 1 항에 있어서,
    상기 움직임 개체 정보는,
    상기 움직임 개체의 식별 정보, 상기 움직임 개체의 위치 정보 및 상기 움직임 개체가 탐지된 동영상의 프레임 정보를 포함하는, 이동 궤적 트래킹 장치.
  5. 삭제
  6. 농장의 움직임 개체의 이동 궤적 트래킹 방법에 있어서,
    움직임 개체를 촬영한 영상 데이터의 복수의 영상 프레임에 대하여 차영상 방법에 기초하여 움직임 개체를 탐지하는 단계;
    상기 움직임 개체를 탐지하는 단계로부터 탐지된 움직임 개체와 데이터베이스에 기 저장된 움직임 개체와의 거리를 산출하는 단계;
    상기 산출하는 단계를 통하여, 산출된 거리에 기초하여 상기 탐지된 움직임 개체를 식별하는 단계; 및
    상기 식별하는 단계를 통하여 식별된 움직임 개체에 대한 이동 궤적을 트래킹하는 단계; 및
    상기 이동 궤적을 트래킹하는 단계를 통하여 트래킹된 이동 궤적에 포함된, 상기 식별된 움직임 개체를 촬영한 지점의 위치 좌표 및 상기 식별된 움직임 개체를 촬영한 영상의 프레임 번호에 기초하여 3차원 그래프를 생성하는 단계를 포함하되,
    상기 데이터베이스는 기 식별된 움직임 개체에 대한 움직임 개체 정보 및 이동 궤적을 저장하는 것인, 이동 궤적 트래킹 방법.
  7. 제 6 항에 있어서,
    상기 움직임 개체를 탐지하는 단계는,
    상기 복수의 영상 프레임에 대하여 차영상을 생성하는 단계;
    상기 차영상을 생성하는 단계를 통하여 생성된 차영상에서 임계치 이상 만큼 이동한 움직임 개체를 탐색하는 단계; 및
    상기 움직임 개체가 탐색된 차영상에 대하여 형태학적 처리를 수행하여 움직임 개체를 탐지하는 단계를 포함하는, 이동 궤적 트래킹 방법.
  8. 제 6 항에 있어서,
    상기 움직임 개체를 식별하는 단계는,
    상기 움직임 개체를 탐지하는 단계로부터, 탐지된 움직임 개체와 상기 데이터베이스에 기저장된 하나 이상의 움직임 개체 간의 거리를 계산하는 단계;
    상기 거리를 계산하는 단계를 통하여 거리가 계산된 움직임 개체 중 최소 거리를 가지는 움직임 개체를 선택하는 단계;
    상기 최소 거리를 가지는 움직임 개체를 선택하는 단계를 통하여, 선택된 움직임 개체와의 거리가 임계치 이하인 경우, 상기 탐지된 움직임 개체를 상기 최소 거리를 가지는 움직임 개체와 동일한 개체로 식별하는 단계; 및
    상기 최소 거리를 가지는 움직임 개체를 선택하는 단계를 통하여 선택된 움직임 개체와의 거리가 임계치를 초과하는 경우, 상기 탐지된 움직임 개체를 새로운 움직임 개체로 식별하는 단계를 포함하는, 이동 궤적 트래킹 방법.
  9. 제 6 항에 있어서,
    상기 움직임 개체 정보는,
    상기 움직임 개체의 식별 정보, 위치 정보 및 상기 움직임 개체가 식별된 동영상의 프레임 정보를 포함하는, 이동 궤적 트래킹 방법.
  10. 제 6 항에 있어서,
    상기 움직임 개체를 식별하는 단계는,
    상기 움직임 개체를 탐지하는 단계로부터 탐지된 움직임 개체와 상기 데이터베이스에 가장 최근에 저장된 움직임 개체와의 거리를 계산하는 단계;
    상기 거리를 계산하는 단계를 통하여 계산된 거리가 제 1 임계치 이하인 경우, 상기 탐지된 움직임 개체를 상기 가장 최근에 저장된 움직임 개체와 동일한 개체로 식별하는 단계;
    상기 거리를 계산하는 단계를 통하여 계산된 거리가 상기 제 1 임계치 초과인 경우, 상기 데이터베이스에 기저장된 하나 이상의 움직임 개체와 상기 탐지된 움직임 개체와의 거리가 최소인 움직임 개체를 선택하는 단계;
    상기 최소 거리 움직임 개체를 선택하는 단계를 통하여 선택된 움직임 개체와의 거리가 제 2 임계치 이하인 경우, 상기 탐지된 움직임 개체를 상기 최소 거리를 가지는 움직임 개체와 동일한 개체로 식별하는 단계; 및
    상기 최소 거리 움직임 개체를 선택하는 단계를 통하여 선택된 움직임 개체와의 거리가 제 2 임계치를 초과하는 경우, 상기 탐지된 움직임 개체를 새로운 움직임 개체로 식별하는 단계를 포함하는, 이동 궤적 트래킹 방법.
  11. 삭제
  12. 제 8 항에 있어서,
    상기 거리를 계산하는 단계는,
    상기 탐지된 움직임 개체의 위치 정보와 상기 데이터베이스에 저장된 움직임 개체의 위치 정보간의 유클리드 거리를 계산하는 것인, 이동 궤적 트래킹 방법.
  13. 삭제
KR1020140066019A 2014-05-30 2014-05-30 농장에서의 움직임 개체의 이동 궤적 트래킹 방법 및 장치 KR101595334B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140066019A KR101595334B1 (ko) 2014-05-30 2014-05-30 농장에서의 움직임 개체의 이동 궤적 트래킹 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140066019A KR101595334B1 (ko) 2014-05-30 2014-05-30 농장에서의 움직임 개체의 이동 궤적 트래킹 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150137698A KR20150137698A (ko) 2015-12-09
KR101595334B1 true KR101595334B1 (ko) 2016-02-18

Family

ID=54873596

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140066019A KR101595334B1 (ko) 2014-05-30 2014-05-30 농장에서의 움직임 개체의 이동 궤적 트래킹 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101595334B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019168323A1 (ko) * 2018-02-27 2019-09-06 엘지이노텍 주식회사 이상 개체 검출 장치 및 방법, 이를 포함하는 촬상 장치
KR102294417B1 (ko) * 2019-11-04 2021-08-26 주식회사 테크로스 샘플수 분석장치 및 방법
KR102543833B1 (ko) * 2022-03-14 2023-06-20 주식회사 바른이엔씨 인공 지능 학습에 기초한 객체 검출 방법 및 그 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009063343A (ja) 2007-09-05 2009-03-26 Nippon Telegr & Teleph Corp <Ntt> 魚の行動モニタリングシステムおよび魚の行動モニタリング方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140061266A (ko) * 2012-11-11 2014-05-21 삼성전자주식회사 다중 경로 궤적 분석을 이용한 영상 객체 추적 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009063343A (ja) 2007-09-05 2009-03-26 Nippon Telegr & Teleph Corp <Ntt> 魚の行動モニタリングシステムおよび魚の行動モニタリング方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
D. Sergeant, et al., "Computer visual tracking of poultry," Computers and Electronics in Agriculture, vol.21, no.1, pp.1-18, Sep. 1998.*

Also Published As

Publication number Publication date
KR20150137698A (ko) 2015-12-09

Similar Documents

Publication Publication Date Title
JP7004017B2 (ja) 物体追跡システム、物体追跡方法、プログラム
US10417503B2 (en) Image processing apparatus and image processing method
US11205276B2 (en) Object tracking method, object tracking device, electronic device and storage medium
US7940957B2 (en) Object tracker for visually tracking object motion
Walha et al. Video stabilization with moving object detecting and tracking for aerial video surveillance
CN109727275B (zh) 目标检测方法、装置、系统和计算机可读存储介质
US8831284B2 (en) Object identification from image data captured from a mobile aerial platforms
CN113191180B (zh) 目标跟踪方法、装置、电子设备及存储介质
Feng et al. Challenges on large scale surveillance video analysis
CN111382637B (zh) 行人检测跟踪方法、装置、终端设备及介质
CN111354022B (zh) 基于核相关滤波的目标跟踪方法及系统
CN112150514A (zh) 视频的行人轨迹追踪方法、装置、设备及存储介质
WO2013054130A1 (en) Aerial survey video processing
Fradi et al. Spatio-temporal crowd density model in a human detection and tracking framework
Bashar et al. Multiple object tracking in recent times: A literature review
KR101595334B1 (ko) 농장에서의 움직임 개체의 이동 궤적 트래킹 방법 및 장치
de Carvalho et al. Anomaly detection with a moving camera using multiscale video analysis
KR101492059B1 (ko) 평균이동 알고리즘을 적용한 실시간 객체 추적방법 및 시스템
US20080198237A1 (en) System and method for adaptive pixel segmentation from image sequences
KR100885418B1 (ko) 오버헤드 카메라 영상에서 사람을 감지하고 추적하는시스템 및 그 방법
CN113256683B (zh) 目标跟踪方法及相关设备
JP6930389B2 (ja) 画像収集装置、プログラム、及び方法
KR20170130161A (ko) 축사 근접 개체 탐지 장치 및 방법
CN110728249B (zh) 目标行人的跨摄像机识别方法、装置及系统
US10839552B2 (en) Image processing apparatus, tracking method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20190211

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200106

Year of fee payment: 5