KR20230061846A - 객체 추적 방법 및 이를 수행하기 위한 컴퓨팅 장치 - Google Patents
객체 추적 방법 및 이를 수행하기 위한 컴퓨팅 장치 Download PDFInfo
- Publication number
- KR20230061846A KR20230061846A KR1020210146504A KR20210146504A KR20230061846A KR 20230061846 A KR20230061846 A KR 20230061846A KR 1020210146504 A KR1020210146504 A KR 1020210146504A KR 20210146504 A KR20210146504 A KR 20210146504A KR 20230061846 A KR20230061846 A KR 20230061846A
- Authority
- KR
- South Korea
- Prior art keywords
- feature map
- center point
- frame
- command
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000033001 locomotion Effects 0.000 claims abstract description 65
- 238000005516 engineering process Methods 0.000 claims abstract description 16
- 238000010801 machine learning Methods 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims description 30
- 230000004927 fusion Effects 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010191 image analysis Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000009365 direct transmission Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/0093—Geometric image transformation in the plane of the image for image warping, i.e. transforming by individually repositioning each pixel
-
- G06T3/18—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Abstract
객체 추적 방법 및 이를 수행하기 위한 컴퓨팅 장치가 개시된다. 본 발명의 일 실시예에 따른 객체 추적 방법 및 이를 수행하기 위한 컴퓨팅 장치는 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 객체를 포함하는 영역을 촬영한 촬영 영상을 획득하기 위한 명령, 상기 객체를 나타내는 객체 이미지를 획득하기 위한 명령, 머신러닝(Machine Learning) 기반 기술을 사용하여 상기 촬영 영상 및 상기 객체 이미지를 기반으로 객체의 움직임 예측에 따른 카메라 제어 정보를 생성하기 위한 명령 및 상기 카메라 제어 정보에 따라 카메라를 제어하기 위한 명령을 포함한다.
Description
본 발명의 실시예들은 객체 추적 기술과 관련된다.
일반적으로, 영상 객체를 검출하고 추적하는 기술은 수년간 연구되어 온 분야임에도 불구하고 정확하고 안정적이며 높은 성능을 기대하는 것은 여전히 어려운 문제이다.
추적 기술은 객체와 주변 환경을 어떻게 정의 하느냐에 따라 그 문제가 크게 달라진다. 추적하고자 하는 대상의 형태나 고유의 색, 그리고 특징들을 얼마나 지속하고 있는가에 따라 달라질 수 있고 객체의 이동이나 변화에 따라 달라질 수 있다. 그리고 대부분 추적이 되는 객체의 대상은 움직임을 가지고 있기 때문에 주변 환경의 영향을 받게 된다. 즉, 카메라의 이동, 객체의 가려짐, 조명 및 주변 환경의 변화 등에 매우 민감하다.
특히, 추적 기술을 이용하여 객체를 추종하는 추종 로봇의 경우, 객체의 큰 움직임이나 추종 로봇의 카메라 시점 변화로 인하여 객체가 이미지에 일부만 존재하게 되면, 객체 추적이 강인하지 않게 되어 사용자를 추종하지 못하는 문제점이 있다.
따라서, 추종 로봇 시스템에서 대상물의 움직임에 맞추어 카메라의 방향을 항상 조정할 필요가 있다. 즉, 객체의 실시간 추적이 가능한 추종 로봇 시스템을 구현하는 기술이 필요하다.
본 발명의 실시예들은 딥러닝 기술을 이용하여 객체를 강인하게 추적하기 위한 것이다.
본 발명의 예시적인 실시예에 따르면, 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 객체를 포함하는 영역을 촬영한 촬영 영상을 획득하기 위한 명령, 상기 객체를 나타내는 객체 이미지를 획득하기 위한 명령, 머신러닝(Machine Learning) 기반 기술을 사용하여 상기 촬영 영상 및 상기 객체 이미지를 기반으로 객체의 움직임 예측에 따른 카메라 제어 정보를 생성하기 위한 명령 및 상기 카메라 제어 정보에 따라 카메라를 제어하기 위한 명령을 포함하는 컴퓨팅 장치가 제공된다.
상기 카메라 제어 정보를 생성하기 위한 명령은 특징맵 추출부를 이용하여 상기 촬영 영상 및 상기 객체 이미지를 입력 받아 상기 촬영 영상에서 t번째 프레임 및 t-1번째 프레임을 추출하고, 상기 t번째 프레임, 상기 t-1번째 프레임 및 상기 객체 이미지로부터 각각 특징맵을 추출하기 위한 명령, 가시정보 추출부를 이용하여 상기 t번째 프레임의 특징맵 및 상기 t-1번째 프레임의 특징맵을 기반으로 상기 객체에 대한 가시정보를 추출하기 위한 명령, 객체 추출부를 이용하여 상기 t번째 프레임의 특징맵 및 상기 객체 이미지의 특징맵을 기반으로 상기 객체의 중심점을 추출하기 위한 명령, 및 객체 추적부를 이용하여 상기 추출된 가시 정보 및 상기 추출된 객체의 중심점을 기반으로 상기 객체의 움직임 예측에 따른 카메라 제어 정보를 생성하기 위한 명령을 더 포함할 수 있다.
상기 카메라 제어 정보를 생성하기 위한 명령은 워핑부를 이용하여 상기 가시정보 및 상기 객체의 중심점을 기반으로 상기 객체의 중심점을 워핑(warping)하여 워핑된 객체의 중심점을 추출하기 위한 명령, 및 상기 객체 추적부를 이용하여 상기 추출된 가시정보 및 상기 워핑된 객체의 중심점을 기반으로 상기 객체의 움직임을 예측하고, 상기 객체의 움직임 예측에 따른 상기 카메라 제어 정보를 생성하기 위한 명령을 더 포함할 수 있다.
상기 객체에 대한 가시정보를 추출하기 위한 명령은 상기 가시정보 추출부에서, 상기 특징맵 추출부로부터 추출된 상기 t번째 프레임의 특징맵 및 상기 t-1번째 프레임의 특징맵을 입력받기 위한 명령, 상기 가시정보 추출부에서, 상기 t번째 프레임의 특징맵 및 상기 t-1번째 프레임의 특징맵을 융합하기 위하여 코릴레이션(correlation) 필터를 이용하여 제1 융합 특징맵을 생성하기 위한 명령, 및 상기 가시정보 추출부에서, 상기 제1 융합 특징맵으로부터 가시정보를 추출하기 위한 명령을 더 포함할 수 있다.
상기 객체의 중심점을 추출하기 위한 명령은 상기 객체 추출부에서, 상기 특징맵 추출부로부터 추출된 상기 t번째 프레임의 특징맵 및 상기 객체 이미지의 특징맵을 입력받기 위한 명령, 상기 객체 추출부에서, 상기 t번째 프레임의 특징맵 및 상기 객체 이미지의 특징맵을 융합하기 위하여 코릴레이션(correlation) 필터를 이용하여 제2 융합 특징맵을 생성하기 위한 명령, 및 상기 객체 추출부에서, 상기 제2 융합 특징맵으로부터 상기 객체의 중심점을 추출하기 위한 명령을 더 포함할 수 있다.
상기 객체의 중심점을 워핑하기 위한 명령은 상기 워핑부에서, 상기 가시정보 추출부로부터 추출된 상기 가시정보 및 상기 객체 추출부로부터 추출된 상기 객체의 중심점을 각각 입력받기 위한 명령, 및 상기 워핑부에서, 상기 가시 정보 및 상기 객체의 중심점을 이용하여 상기 객체의 중심점을 상기 추출된 가시정보 및 상기 추출된 객체의 중심점을 상기 t-1번째 프레임의 시점으로 변경하여 상기 워핑된 객체의 중심점을 추출하기 위한 명령을 더 포함할 수 있다.
상기 카메라 제어 정보를 생성하기 위한 명령은 상기 객체 추적부에서, 상기 가시정보 추출부로부터 추출된 상기 가시 정보 및 상기 워핑부로부터 추출된 상기 워핑된 객체의 중심점을 각각 입력받기 위한 명령, 상기 객체 추적부에서, 상기 가시 정보 및 상기 워핑된 객체의 중심점을 기반으로 상기 객체의 중심점의 변화량을 추정하여 상기 객체의 움직임을 예측하기 위한 명령, 및 상기 객체 추적부에서, 상기 객체의 움직임 예측에 따른 상기 카메라 제어 정보를 생성하기 위한 명령을 더 포함할 수 있다.
상기 객체의 움직임을 예측하기 위한 명령은 하기 수식을 이용하여 t+1번째 프레임의 시점에서 상기 객체의 중심점이 이동한 위치를 예측할 수 있다.
[수식]
((x, y)는 t 시점의 객체의 중심점, (x, y)는 t+1 시점의 예측된 객체의 중심점)
상기 카메라 제어 정보를 생성하기 위한 명령은 상기 예측된 객체의 중심점 및 상기 카메라의 중심점을 기반으로 상기 카메라의 제어 정보를 생성할 수 있다.
본 발명의 다른 예시적인 실시예에 따르면, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 객체 추적 방법으로서, 객체를 포함하는 영역을 촬영한 촬영 영상을 획득하는 단계, 상기 객체를 나타내는 객체 이미지를 획득하는 단계, 머신러닝(Machine Learning) 기반 기술을 사용하여 상기 촬영 영상 및 상기 객체 이미지를 기반으로 객체의 움직임 예측에 따른 카메라 제어 정보를 생성하는 단계, 및 상기 카메라 제어 정보에 따라 카메라를 제어하는 단계를 포함하는 객체 추적 방법이 제공된다.
상기 카메라 제어 정보를 생성하는 단계는 특징맵 추출부를 이용하여 상기 촬영 영상 및 상기 객체 이미지를 입력 받아 상기 촬영 영상에서 t번째 프레임 및 t-1번째 프레임을 추출하고, 상기 t번째 프레임, 상기 t-1번째 프레임 및 상기 객체 이미지로부터 각각 특징맵을 추출하는 단계, 가시정보 추출부를 이용하여 상기 t번째 프레임의 특징맵 및 상기 t-1번째 프레임의 특징맵을 기반으로 상기 객체에 대한 가시정보를 추출하는 단계, 객체 추출부를 이용하여 상기 t번째 프레임의 특징맵 및 상기 객체 이미지의 특징맵을 기반으로 상기 객체의 중심점을 추출하는 단계, 및 객체 추적부를 이용하여 상기 추출된 가시 정보 및 상기 추출된 객체의 중심점을 기반으로 상기 객체의 움직임 예측에 따른 카메라 제어 정보를 생성하는 단계를 더 포함할 수 있다.
상기 카메라 제어 정보를 생성하는 단계는 워핑부를 이용하여 상기 가시정보 및 상기 객체의 중심점을 기반으로 상기 객체의 중심점을 워핑(warping)하여 워핑된 객체의 중심점을 추출하는 단계, 및 상기 객체 추적부를 이용하여 상기 추출된 가시정보 및 상기 워핑된 객체의 중심점을 기반으로 상기 객체의 움직임을 예측하고, 상기 객체의 움직임 예측에 따른 상기 카메라 제어 정보를 생성하는 단계를 더 포함할 수 있다.
상기 객체에 대한 가시정보를 추출하는 단계는 상기 가시정보 추출부에서, 상기 특징맵 추출부로부터 추출된 상기 t번째 프레임의 특징맵 및 상기 t-1번째 프레임의 특징맵을 입력받는 단계, 상기 가시정보 추출부에서, 상기 t번째 프레임의 특징맵 및 상기 t-1번째 프레임의 특징맵을 융합하기 위하여 코릴레이션(correlation) 필터를 이용하여 제1 융합 특징맵을 생성하는 단계, 및 상기 가시정보 추출부에서, 상기 제1 융합 특징맵으로부터 가시정보를 추출하는 단계를 더 포함할 수 있다.
상기 객체의 중심점을 추출하는 단계는 상기 객체 추출부에서, 상기 특징맵 추출부로부터 추출된 상기 t번째 프레임의 특징맵 및 상기 객체 이미지의 특징맵을 입력받는 단계, 상기 객체 추출부에서, 상기 t번째 프레임의 특징맵 및 상기 객체 이미지의 특징맵을 융합하기 위하여 코릴레이션(correlation) 필터를 이용하여 제2 융합 특징맵을 생성하는 단계, 및 상기 객체 추출부에서, 상기 제2 융합 특징맵으로부터 상기 객체의 중심점을 추출하는 단계를 더 포함할 수 있다.
상기 객체의 중심점을 워핑하는 단계는 상기 워핑부에서, 상기 가시정보 추출부로부터 추출된 상기 가시정보 및 상기 객체 추출부로부터 추출된 상기 객체의 중심점을 각각 입력받는 단계, 및 상기 워핑부에서, 상기 가시 정보 및 상기 객체의 중심점을 이용하여 상기 객체의 중심점을 상기 추출된 가시정보 및 상기 추출된 객체의 중심점을 상기 t-1번째 프레임의 시점으로 변경하여 상기 워핑된 객체의 중심점을 추출하는 단계를 더 포함할 수 있다.
상기 카메라 제어 정보를 생성하는 단계는 상기 객체 추적부에서, 상기 가시정보 추출부로부터 추출된 상기 가시 정보 및 상기 워핑부로부터 추출된 상기 워핑된 객체의 중심점을 각각 입력받는 단계, 상기 객체 추적부에서, 상기 가시 정보 및 상기 워핑된 객체의 중심점을 기반으로 상기 객체의 중심점의 변화량을 추정하여 상기 객체의 움직임을 예측하는 단계, 및 상기 객체 추적부에서, 상기 객체의 움직임 예측에 따른 상기 카메라 제어 정보를 생성하는 단계를 더 포함할 수 있다.
상기 객체의 움직임을 예측하는 단계는 하기 수식을 이용하여 t+1번째 프레임의 시점에서 상기 객체의 중심점이 이동한 위치를 예측할 수 있다.
[수식]
((x, y)는 t 시점의 객체의 중심점, (x, y)는 t+1 시점의 예측된 객체의 중심점)
상기 카메라 제어 정보를 생성하는 단계는 상기 예측된 객체의 중심점 및 상기 카메라의 중심점을 기반으로 상기 카메라의 제어 정보를 생성할 수 있다.
본 발명의 또 다른 예시적인 실시예에 따르면, 비일시적 컴퓨터 판독 가능한 저장 매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금, 객체를 포함하는 영역을 촬영한 촬영 영상을 획득하고, 상기 객체를 나타내는 객체 이미지를 획득하고, 머신러닝(Machine Learning) 기반 기술을 사용하여 상기 촬영 영상 및 상기 객체 이미지를 기반으로 객체의 움직임 예측에 따른 카메라 제어 정보를 생성하고, 그리고, 상기 카메라 제어 정보에 따라 카메라를 제어하도록 하는 컴퓨터 프로그램이 제공된다.
본 발명의 실시예들에 따르면, 딥러닝 기술을 이용하여 촬영 영상으로부터 객체의 움직임을 예측하고, 객체의 움직임 예측에 따라 카메라를 제어함으로써, 객체의 이동에 따라 카메라가 움직이게 되어 객체를 강인하게 추적할 수 있는 효과가 있다.
또한, 본 발명의 실시예들에 따르면, 객체의 움직임 예측에 따라 카메라를 회전시켜 객체를 추적함으로써, 하나의 카메라만으로도 객체를 강인하게 추적할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 객체 추적 장치의 구성을 설명하기 위한 블록도
도 2는 본 발명의 일 실시예에 따른 객체 추적 장치의 영상 분석 모듈을 설명하기 위한 블록도
도 3은 본 발명의 일 실시예에 따른 객체 추적 장치에서 사용되는 옵티컬 플로우를 나타내는 도면
도 4는 본 발명의 일 실시예에 따른 객체 추적 방법을 설명하기 위한 흐름도
도 5는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
도 2는 본 발명의 일 실시예에 따른 객체 추적 장치의 영상 분석 모듈을 설명하기 위한 블록도
도 3은 본 발명의 일 실시예에 따른 객체 추적 장치에서 사용되는 옵티컬 플로우를 나타내는 도면
도 4는 본 발명의 일 실시예에 따른 객체 추적 방법을 설명하기 위한 흐름도
도 5는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
도 1은 본 발명의 일 실시예에 따른 객체 추적 장치(100)의 구성을 설명하기 위한 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 객체 추적 장치(100)는 영상 획득 모듈(110), 영상 분석 모듈(120) 및 카메라 제어 모듈(130)을 포함할 수 있다.
본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예건대, 상기 "모듈"은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아니다.
한편, 본 발명의 일 실시예에 따른 객체 추적 장치(100)는 카메라로부터 획득한 영상을 이용하여 객체(예를 들어, 차량, 사람 등)를 추적하는 장치에 적용될 수 있으며, 예를 들어, CCTV, 추종 로봇, 드론 등에 적용될 수 있다. 본 발명에서는 객체 추적 장치(100)가 객체를 추종하는 로봇(추종 로봇)에 적용된 것을 일 예로 하여 설명하기로 한다.
영상 획득 모듈(110)은 카메라로부터 객체를 포함하는 영역을 촬영한 영상(촬영 영상)을 획득할 수 있다. 예를 들어, 영상 획득 모듈(110)은 추종 로봇의 주변을 촬영할 수 있도록 추종 로봇에 설치된 카메라로부터 촬영 영상을 획득할 수 있다. 또한, 영상 획득 모듈(110)은 외부 서버로부터 객체 이미지(촬영 영상에서 찾고자 하는 객체를 나타낸 이미지)를 획득할 수 있다. 한편, 본 발명에서는 객체 이미지를 외부 서버에서 획득하였으나, 이에 한정되는 것은 아니며, 객체 추적 장치(100)에 기 저장될 수 있다.
영상 획득 모듈(110)은 획득한 촬영 영상 및 객체 이미지를 영상 분석 모듈(120)로 제공할 수 있다.
영상 분석 모듈(120)은 머신러닝(Machine Learning) 기반 기술을 사용하여 촬영 영상 및 객체 이미지(template)로부터 영상을 분석하여 객체의 움직임 예측에 따른 카메라 제어 정보를 생성할 수 있다. 여기서, 영상 분석 모듈(120)은 촬영 영상 및 객체 이미지가 입력되면, 머신러닝 기반 기술을 사용하여 촬영 영상으로부터 객체의 움직임을 예측하고 객체의 움직임 예측에 따른 카메라 제어 정보를 생성하도록 학습된다. 즉, 영상 분석 모듈(120)은 촬영 영상 및 객체 이미지를 입력 받아 촬영 영상에 포함된 현재 프레임 및 이전 프레임을 이용하여 가시정보를 추출하고 현재 프레임 및 객체 이미지를 이용하여 객체의 중심점을 추출하며, 추출된 가시 정보 및 객체의 중심점을 기반으로 객체의 움직임을 예측하여 객체의 움직임 예측에 따른 카메라 제어 정보를 생성하도록 학습된 머신러닝 모델로 구현될 수 있다.
영상 분석 모듈(120)은 생성된 카메라 제어 정보를 카메라 제어 모듈(130)로 제공할 수 있다. 한편, 영상 분석 모듈(120)의 동작 및 구성에 대한 자세한 설명은 도 2를 참조하여 후술하기로 한다.
카메라 제어 모듈(130)은 영상 분석 모듈(120)로부터 출력된 카메라 제어 정보를 기반으로 카메라를 제어할 수 있다. 즉, 객체가 이동을 하게 되면 카메라 제어 정보를 기반으로 카메라 제어 모듈(130)에 의하여 카메라를 제어하게 되어 객체의 이동에 따라 카메라를 움직일 수 있다. 이에 카메라가 움직여 객체를 화면상의 가운데에 위치하게 함으로써 이동하는 객체를 강인하게 추적할 수 있다.
따라서, 본 발명의 일 실시예에 따른 객체 추적 장치(100)는 딥러닝 기술을 이용하여 촬영 영상으로부터 객체의 움직임을 예측하고, 객체의 움직임 예측에 따라 카메라를 제어함으로써, 객체의 이동에 따라 카메라가 움직이게 되어 객체를 강인하게 추적할 수 있는 효과가 있다.
또한, 본 발명의 일 실시예에 따른 객체 추적 장치(100)는 객체의 움직임 예측에 따라 카메라를 회전시켜 객체를 추적함으로써, 하나의 카메라만으로도 객체를 강인하게 추적할 수 있는 효과가 있다.
도 2는 본 발명의 일 실시예에 따른 객체 추적 장치(100)의 영상 분석 모듈(120)을 설명하기 위한 블록도이다.
도 2를 참조하면, 영상 분석 모듈(120)은 특징맵 추출부(121), 가시정보 추출부(122), 객체 추출부(123), 워핑(warping)부(124) 및 객체 추적부(125)를 포함할 수 있다.
특징맵 추출부(121)는 영상 분석 모듈(120)의 일부를 구성하는 신경망일 수 있다. 특징맵 추출부(121)는 입력 이미지의 특징맵을 출력할 수 있다.
예시적인 실시예에서, 특징맵 추출부(121)는 영상 획득 모듈(110)로부터 촬영 영상 및 객체 이미지를 입력받아 촬영 영상에서 현재 프레임(t) 및 이전 프레임(t-1)을 추출하고, 추출된 현재 프레임 및 이전 프레임과 객체 이미지로부터 각각 특징맵을 출력할 수 있다. 이 때, 특징맵 추출부(121)는 입력 이미지에 컨볼루션 연산을 통하여 특징맵을 생성하도록 학습될 수 있다. 여기서, 입력 이미지는 촬영 영상의 현재 프레임, 촬영 영상의 이전 프레임 및 객체 이미지를 포함할 수 있다.
가시정보 추출부(122)는 영상 분석 모듈(120)의 일부를 구성하는 신경망일 수 있다. 가시정보 추출부(122)는 현재 프레임의 특징맵 및 이전 프레임의 특징맵을 기반으로 객체에 대한 가시정보를 출력할 수 있다.
예시적인 실시예에서, 가시정보 추출부(122)는 특징맵 추출부(121)로부터 현재 프레임의 특징맵 및 이전 프레임의 특징맵을 입력받아 현재 프레임의 특징맵 및 이전 프레임의 특징맵을 융합하고 제1 융합 특징맵으로부터 가시정보를 출력할 수 있다. 이 때, 가시정보 추출부(122)는 특징맵을 입력 받고, 특징맵으로부터 가시정보를 생성하도록 학습될 수 있다. 여기서, 각각의 특징맵을 융합하기 위하여 코릴레이션(correlation) 필터를 이용할 수 있다. 가시정보는 두 개의 연속된 비디오 프레임 사이에서 객체의 가시적인 동작 패턴을 나타내는 옵티컬 플로우(optical flow)일 수 있다. 옵티컬 플로우는 이전 프레임과 현재 프레임의 차이를 이용하여 픽셀값과 주변 픽셀들과의 관계를 통해 각 픽셀의 이동(motion)을 계산하여 산출할 수 있다.
객체 추출부(123)는 영상 분석 모듈(120)의 일부를 구성하는 신경망일 수 있다. 객체 추출부(123)는 현재 프레임의 특징맵 및 객체 이미지의 특징맵을 기반으로 객체의 중심점을 출력할 수 있다.
예시적인 실시예에서, 객체 추출부(123)는 특징맵 추출부(121)로부터 현재 프레임의 특징맵 및 객체 이미지의 특징맵을 입력받아 현재 프레임의 특징맵 및 객체 이미지의 특징맵을 융합하고 제2 융합 특징맵으로부터 객체의 중심점을 출력할 수 있다. 이 때, 객체 추출부(123)는 특징맵을 입력 받고, 컨볼루션 연산을 통하여 특징맵으로부터 객체의 중심점을 추출하도록 학습될 수 있다. 여기서, 각각의 특징맵을 융합하기 위하여 코릴레이션(correlation) 필터를 이용할 수 있다. 객체의 중심점은 현재 프레임 시점(t)의 특징맵 상에서 찾고자 하는 객체의 중심 좌표일 수 있다.
워핑(warping)부(124)는 영상 분석 모듈(120)의 일부를 구성하는 신경망일 수 있다. 워핑부(124)는 출력된 가시정보 및 객체의 중심점을 기반으로 객체의 중심점을 워핑(warping)할 수 있다.
예시적인 실시예에서, 워핑부(124)는 가시정보 추출부(122)로부터 가시정보 및 객체 추출부(123)로부터 객체의 중심점을 각각 입력받아 객체의 중심점을 이전 프레임의 시점으로 변경하여 워핑된 객체의 중심점을 출력할 수 있다. 이 때, 워핑부(124)는 가시정보 및 객체의 중심점을 입력 받고, 객체의 중심점을 워핑하도록 학습될 수 있다. 즉, 워핑부(124)는 가시정보 및 객체의 중심점을 이용하여 객체의 중심점이 연속된 프레임(t-1, t)에서 얼마나 이동했는지 확인할 수 있다.
객체 추적부(125)는 영상 분석 모듈(120)의 일부를 구성하는 신경망일 수 있다. 객체 추적부(125)는 출력된 가시정보 및 워핑된 객체의 중심점을 기반으로 객체의 움직임 예측에 따른 카메라 제어 정보를 생성할 수 있다.
예시적인 실시예에서, 객체 추적부(125)는 가시정보 추출부(122)로부터 가시정보 및 워핑부(124)로부터 워핑된 객체의 중심점을 각각 입력받아 객체의 중심점의 변화량을 추정하여 객체의 움직임을 예측하고 객체의 움직임 예측에 따른 카메라 제어 정보를 생성할 수 있다. 이 때, 객체 추적부(125)는 가시정보 및 워핑된 객체의 중심점을 입력 받고, 객체의 움직임을 예측하도록 학습될 수 있다. 즉, 객체 추적부(125)는 가시 정보 및 워핑된 객체의 중심점을 이용하여 다음 프레임에서 객체의 중심점이 얼마나 이동했을지 예측할 수 있다.
한편, 객체의 중심점의 변화량은 가시정보 및 워핑된 객체의 중심점을 기반으로 도 3과 같이, 옵티컬 플로우 필드(optical flow field)를 통하여 추정할 수 있다. 예를 들어, 객체의 중심점의 변화량을 이용한 객체의 중심점의 움직임 예측은 하기 수식을 이용하여 다음 프레임의 시점에서 객체의 중심점이 이동한 위치를 산출할 수 있다.
[수식]
((x, y)는 현재 시점(t)의 객체의 중심점, (x, y)는 다음 시점(t+1)의 예측된 객체의 중심점)
여기서, Θ가 음수이면, 객체가 카메라와 가까워지고 있으므로 움직임의 변화량이 증가하여 가중치를 더하였다. 반대로 Θ가 양수이면, 객체가 카메라와 멀어지고 있으므로 움직임의 변화량이 감소하여 가중치를 빼주었다. 이는 카메라와 객체의 거리에 따라 카메라의 회전량이 달라지기 때문이다.
또한, 객체 추적부(125)는 산출된 객체의 중심점과 카메라의 중심점을 이용하여 카메라를 회전시키기 위한 카메라 제어 정보를 생성할 수 있다.
따라서, 본 발명의 일 실시예에 따른 객체 추적 장치(100)는 딥러닝 기술을 이용하여 촬영 영상으로부터 객체의 움직임을 예측하고, 객체의 움직임 예측에 따라 카메라를 제어함으로써, 객체의 이동에 따라 카메라가 움직이게 되어 객체를 강인하게 추적할 수 있는 효과가 있다.
또한, 본 발명의 일 실시예에 따른 객체 추적 장치(100)는 객체의 움직임 예측에 따라 카메라를 회전시켜 객체를 추적함으로써, 하나의 카메라만으로도 객체를 강인하게 추적할 수 있는 효과가 있다.
도 4는 본 발명의 일 실시예에 따른 객체 추적 방법을 설명하기 위한 흐름도이다. 도 4에 도시된 방법은 예를 들어, 전술한 객체 추적 장치에 의해 수행될 수 있다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
영상 획득 모듈(110)은 카메라로부터 객체를 포함하는 영역을 촬영한 영상(촬영 영상)을 획득한다(S402). 예를 들어, 영상 획득 모듈(110)은 추종 로봇의 주변을 촬영할 수 있도록 추종 로봇에 설치된 카메라로부터 촬영 영상을 획득할 수 있다. 또한, 영상 획득 모듈(110)은 외부 서버로부터 객체 이미지(촬영 영상에서 찾고자 하는 객체를 나타낸 이미지)를 획득할 수 있다.
그 다음, 영상 분석 모듈(120)은 머신러닝(Machine Learning) 기반 기술을 사용하여 촬영 영상 및 객체 이미지(template)로부터 영상을 분석하여 객체의 움직임 예측에 따른 카메라 제어 정보를 생성한다(S404). 구체적으로, 영상 분석 모듈(120)은 촬영 영상 및 객체 이미지를 입력 받아 촬영 영상에 포함된 현재 프레임 및 이전 프레임을 이용하여 가시정보를 추출하고 현재 프레임 및 객체 이미지를 이용하여 객체의 중심점을 추출하며, 추출된 가시 정보 및 객체의 중심점을 기반으로 객체의 움직임을 예측하여 객체의 움직임 예측에 따른 카메라 제어 정보를 생성할 수 있다. 영상 분석 모듈(120)은 촬영 영상을 분석하여 객체의 움직임 예측에 따른 카메라 제어 정보를 생성하도록 학습되는 머신러닝 모델을 포함할 수 있다.
마지막으로, 카메라 제어 모듈(130)은 영상 분석 모듈(120)로부터 출력된 카메라 제어 정보를 기반으로 카메라를 제어한다(S406).
도 5는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 객체 추적 장치(100)일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100 : 객체 추적 장치
110 : 영상 획득 모듈
120 : 영상 분석 모듈
121 : 특징맵 추출부
122 : 가시정보 추출부
123 : 객체 추출부
124 : 워핑부
125 : 객체 추적부
130 : 카메라 제어 모듈
110 : 영상 획득 모듈
120 : 영상 분석 모듈
121 : 특징맵 추출부
122 : 가시정보 추출부
123 : 객체 추출부
124 : 워핑부
125 : 객체 추적부
130 : 카메라 제어 모듈
Claims (19)
- 하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하고,
상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
상기 하나 이상의 프로그램들은,
객체를 포함하는 영역을 촬영한 촬영 영상를 획득하기 위한 명령;
상기 객체를 나타내는 객체 이미지를 획득하기 위한 명령;
머신러닝(Machine Learning) 기반 기술을 사용하여 상기 촬영 영상 및 상기 객체 이미지를 기반으로 객체의 움직임 예측에 따른 카메라 제어 정보를 생성하기 위한 명령; 및
상기 카메라 제어 정보에 따라 카메라를 제어하기 위한 명령을 포함하는, 컴퓨팅 장치.
- 청구항 1에 있어서,
상기 카메라 제어 정보를 생성하기 위한 명령은,
특징맵 추출부를 이용하여 상기 촬영 영상 및 상기 객체 이미지를 입력 받아 상기 촬영 영상에서 t번째 프레임 및 t-1번째 프레임을 추출하고, 상기 t번째 프레임, 상기 t-1번째 프레임 및 상기 객체 이미지로부터 각각 특징맵을 추출하기 위한 명령;
가시정보 추출부를 이용하여 상기 t번째 프레임의 특징맵 및 상기 t-1번째 프레임의 특징맵을 기반으로 상기 객체에 대한 가시정보를 추출하기 위한 명령;
객체 추출부를 이용하여 상기 t번째 프레임의 특징맵 및 상기 객체 이미지의 특징맵을 기반으로 상기 객체의 중심점을 추출하기 위한 명령; 및
객체 추적부를 이용하여 상기 추출된 가시 정보 및 상기 추출된 객체의 중심점을 기반으로 상기 객체의 움직임 예측에 따른 카메라 제어 정보를 생성하기 위한 명령을 더 포함하는, 컴퓨팅 장치.
- 청구항 2에 있어서,
상기 카메라 제어 정보를 생성하기 위한 명령은,
워핑부를 이용하여 상기 가시정보 및 상기 객체의 중심점을 기반으로 상기 객체의 중심점을 워핑(warping)하여 워핑된 객체의 중심점을 추출하기 위한 명령; 및
상기 객체 추적부를 이용하여 상기 추출된 가시정보 및 상기 워핑된 객체의 중심점을 기반으로 상기 객체의 움직임을 예측하고, 상기 객체의 움직임 예측에 따른 상기 카메라 제어 정보를 생성하기 위한 명령을 더 포함하는, 컴퓨팅 장치.
- 청구항 3에 있어서,
상기 객체에 대한 가시정보를 추출하기 위한 명령은,
상기 가시정보 추출부에서, 상기 특징맵 추출부로부터 추출된 상기 t번째 프레임의 특징맵 및 상기 t-1번째 프레임의 특징맵을 입력받기 위한 명령;
상기 가시정보 추출부에서, 상기 t번째 프레임의 특징맵 및 상기 t-1번째 프레임의 특징맵을 융합하기 위하여 코릴레이션(correlation) 필터를 이용하여 제1 융합 특징맵을 생성하기 위한 명령; 및
상기 가시정보 추출부에서, 상기 제1 융합 특징맵으로부터 가시정보를 추출하기 위한 명령을 더 포함하는, 컴퓨팅 장치.
- 청구항 3에 있어서,
상기 객체의 중심점을 추출하기 위한 명령은,
상기 객체 추출부에서, 상기 특징맵 추출부로부터 추출된 상기 t번째 프레임의 특징맵 및 상기 객체 이미지의 특징맵을 입력받기 위한 명령;
상기 객체 추출부에서, 상기 t번째 프레임의 특징맵 및 상기 객체 이미지의 특징맵을 융합하기 위하여 코릴레이션(correlation) 필터를 이용하여 제2 융합 특징맵을 생성하기 위한 명령; 및
상기 객체 추출부에서, 상기 제2 융합 특징맵으로부터 상기 객체의 중심점을 추출하기 위한 명령을 더 포함하는, 컴퓨팅 장치.
- 청구항 3에 있어서,
상기 객체의 중심점을 워핑하기 위한 명령은,
상기 워핑부에서, 상기 가시정보 추출부로부터 추출된 상기 가시정보 및 상기 객체 추출부로부터 추출된 상기 객체의 중심점을 각각 입력받기 위한 명령; 및
상기 워핑부에서, 상기 가시 정보 및 상기 객체의 중심점을 이용하여 상기 객체의 중심점을 상기 추출된 가시정보 및 상기 추출된 객체의 중심점을 상기 t-1번째 프레임의 시점으로 변경하여 상기 워핑된 객체의 중심점을 추출하기 위한 명령을 더 포함하는, 컴퓨팅 장치.
- 청구항 3에 있어서,
상기 카메라 제어 정보를 생성하기 위한 명령은,
상기 객체 추적부에서, 상기 가시정보 추출부로부터 추출된 상기 가시 정보 및 상기 워핑부로부터 추출된 상기 워핑된 객체의 중심점을 각각 입력받기 위한 명령;
상기 객체 추적부에서, 상기 가시 정보 및 상기 워핑된 객체의 중심점을 기반으로 상기 객체의 중심점의 변화량을 추정하여 상기 객체의 움직임을 예측하기 위한 명령; 및
상기 객체 추적부에서, 상기 객체의 움직임 예측에 따른 상기 카메라 제어 정보를 생성하기 위한 명령을 더 포함하는, 컴퓨팅 장치.
- 청구항 7에 있어서,
상기 객체의 움직임을 예측하기 위한 명령은,
하기 수식을 이용하여 t+1번째 프레임의 시점에서 상기 객체의 중심점이 이동한 위치를 예측하는, 컴퓨팅 장치.
[수식]
((x, y)는 t 시점의 객체의 중심점, (x, y)는 t+1 시점의 예측된 객체의 중심점)
- 청구항 8에 있어서,
상기 카메라 제어 정보를 생성하기 위한 명령은,
상기 예측된 객체의 중심점 및 상기 카메라의 중심점을 기반으로 상기 카메라의 제어 정보를 생성하는, 컴퓨팅 장치.
- 하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 객체 추적 방법으로서,
객체를 포함하는 영역을 촬영한 촬영 영상을 획득하는 단계;
상기 객체를 나타내는 객체 이미지를 획득하는 단계;
머신러닝(Machine Learning) 기반 기술을 사용하여 상기 촬영 영상 및 상기 객체 이미지를 기반으로 객체의 움직임 예측에 따른 카메라 제어 정보를 생성하는 단계; 및
상기 카메라 제어 정보에 따라 카메라를 제어하는 단계를 포함하는, 객체 추적 방법.
- 청구항 10에 있어서,
상기 카메라 제어 정보를 생성하는 단계는,
특징맵 추출부를 이용하여 상기 촬영 영상 및 상기 객체 이미지를 입력 받아 상기 촬영 영상에서 t번째 프레임 및 t-1번째 프레임을 추출하고, 상기 t번째 프레임, 상기 t-1번째 프레임 및 상기 객체 이미지로부터 각각 특징맵을 추출하는 단계;
가시정보 추출부를 이용하여 상기 t번째 프레임의 특징맵 및 상기 t-1번째 프레임의 특징맵을 기반으로 상기 객체에 대한 가시정보를 추출하는 단계;
객체 추출부를 이용하여 상기 t번째 프레임의 특징맵 및 상기 객체 이미지의 특징맵을 기반으로 상기 객체의 중심점을 추출하는 단계; 및
객체 추적부를 이용하여 상기 추출된 가시 정보 및 상기 추출된 객체의 중심점을 기반으로 상기 객체의 움직임 예측에 따른 카메라 제어 정보를 생성하는 단계를 더 포함하는, 객체 추적 방법.
- 청구항 11에 있어서,
상기 카메라 제어 정보를 생성하는 단계는,
워핑부를 이용하여 상기 가시정보 및 상기 객체의 중심점을 기반으로 상기 객체의 중심점을 워핑(warping)하여 워핑된 객체의 중심점을 추출하는 단계; 및
상기 객체 추적부를 이용하여 상기 추출된 가시정보 및 상기 워핑된 객체의 중심점을 기반으로 상기 객체의 움직임을 예측하고, 상기 객체의 움직임 예측에 따른 상기 카메라 제어 정보를 생성하는 단계를 더 포함하는, 객체 추적 방법.
- 청구항 12에 있어서,
상기 객체에 대한 가시정보를 추출하는 단계는,
상기 가시정보 추출부에서, 상기 특징맵 추출부로부터 추출된 상기 t번째 프레임의 특징맵 및 상기 t-1번째 프레임의 특징맵을 입력받는 단계;
상기 가시정보 추출부에서, 상기 t번째 프레임의 특징맵 및 상기 t-1번째 프레임의 특징맵을 융합하기 위하여 코릴레이션(correlation) 필터를 이용하여 제1 융합 특징맵을 생성하는 단계; 및
상기 가시정보 추출부에서, 상기 제1 융합 특징맵으로부터 가시정보를 추출하는 단계를 더 포함하는, 객체 추적 방법.
- 청구항 12에 있어서,
상기 객체의 중심점을 추출하는 단계는,
상기 객체 추출부에서, 상기 특징맵 추출부로부터 추출된 상기 t번째 프레임의 특징맵 및 상기 객체 이미지의 특징맵을 입력받는 단계;
상기 객체 추출부에서, 상기 t번째 프레임의 특징맵 및 상기 객체 이미지의 특징맵을 융합하기 위하여 코릴레이션(correlation) 필터를 이용하여 제2 융합 특징맵을 생성하는 단계; 및
상기 객체 추출부에서, 상기 제2 융합 특징맵으로부터 상기 객체의 중심점을 추출하는 단계를 더 포함하는, 객체 추적 방법.
- 청구항 12에 있어서,
상기 객체의 중심점을 워핑하는 단계는,
상기 워핑부에서, 상기 가시정보 추출부로부터 추출된 상기 가시정보 및 상기 객체 추출부로부터 추출된 상기 객체의 중심점을 각각 입력받는 단계; 및
상기 워핑부에서, 상기 가시 정보 및 상기 객체의 중심점을 이용하여 상기 객체의 중심점을 상기 추출된 가시정보 및 상기 추출된 객체의 중심점을 상기 t-1번째 프레임의 시점으로 변경하여 상기 워핑된 객체의 중심점을 추출하는 단계를 더 포함하는, 객체 추적 방법.
- 청구항 12에 있어서,
상기 카메라 제어 정보를 생성하는 단계는,
상기 객체 추적부에서, 상기 가시정보 추출부로부터 추출된 상기 가시 정보 및 상기 워핑부로부터 추출된 상기 워핑된 객체의 중심점을 각각 입력받는 단계;
상기 객체 추적부에서, 상기 가시 정보 및 상기 워핑된 객체의 중심점을 기반으로 상기 객체의 중심점의 변화량을 추정하여 상기 객체의 움직임을 예측하는 단계; 및
상기 객체 추적부에서, 상기 객체의 움직임 예측에 따른 상기 카메라 제어 정보를 생성하는 단계를 더 포함하는, 객체 추적 방법.
- 청구항 16에 있어서,
상기 객체의 움직임을 예측하는 단계는,
하기 수식을 이용하여 t+1번째 프레임의 시점에서 상기 객체의 중심점이 이동한 위치를 예측하는, 객체 추적 방법.
[수식]
((x, y)는 t 시점의 객체의 중심점, (x, y)는 t+1 시점의 예측된 객체의 중심점)
- 청구항 17에 있어서,
상기 카메라 제어 정보를 생성하는 단계는,
상기 예측된 객체의 중심점 및 상기 카메라의 중심점을 기반으로 상기 카메라의 제어 정보를 생성하는, 객체 추적 방법.
- 비일시적 컴퓨터 판독 가능한 저장 매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금,
객체를 포함하는 영역을 촬영한 촬영 영상을 획득하고;
상기 객체를 나타내는 객체 이미지를 획득하고;
머신러닝(Machine Learning) 기반 기술을 사용하여 상기 촬영 영상 및 상기 객체 이미지를 기반으로 객체의 움직임 예측에 따른 카메라 제어 정보를 생성하고; 그리고
상기 카메라 제어 정보에 따라 카메라를 제어하도록 하는, 컴퓨터 프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210146504A KR20230061846A (ko) | 2021-10-29 | 2021-10-29 | 객체 추적 방법 및 이를 수행하기 위한 컴퓨팅 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210146504A KR20230061846A (ko) | 2021-10-29 | 2021-10-29 | 객체 추적 방법 및 이를 수행하기 위한 컴퓨팅 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230061846A true KR20230061846A (ko) | 2023-05-09 |
Family
ID=86409262
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210146504A KR20230061846A (ko) | 2021-10-29 | 2021-10-29 | 객체 추적 방법 및 이를 수행하기 위한 컴퓨팅 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230061846A (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170127318A (ko) | 2016-05-11 | 2017-11-21 | 한화테크윈 주식회사 | 객체 추적 시스템 |
-
2021
- 2021-10-29 KR KR1020210146504A patent/KR20230061846A/ko unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170127318A (ko) | 2016-05-11 | 2017-11-21 | 한화테크윈 주식회사 | 객체 추적 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240112051A1 (en) | Machine learning models operating at different frequencies for autonomous vehicles | |
| US11205274B2 (en) | High-performance visual object tracking for embedded vision systems | |
| EP3549102B1 (en) | Determining structure and motion in images using neural networks | |
| US10282623B1 (en) | Depth perception sensor data processing | |
| US9947077B2 (en) | Video object tracking in traffic monitoring | |
| KR102472767B1 (ko) | 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치 | |
| US11064178B2 (en) | Deep virtual stereo odometry | |
| KR102499398B1 (ko) | 차선 검출 방법 및 장치 | |
| WO2018187632A1 (en) | Deep learning methods for estimating density and/or flow of objects, and related methods and software | |
| JP2022515591A (ja) | ターゲットオブジェクトの３ｄ検出方法、装置、媒体及び機器 | |
| US11288836B2 (en) | Apparatus and method for managing feature point map | |
| JP5782088B2 (ja) | 歪みのあるカメラ画像を補正するシステム及び方法 | |
| EP3159126A1 (en) | Device and method for recognizing location of mobile robot by means of edge-based readjustment | |
| US11334086B2 (en) | Autonomous robots and methods of operating the same | |
| JP7135665B2 (ja) | 車両制御システム、車両の制御方法及びコンピュータプログラム | |
| JP2023518562A (ja) | デバイスのハンドジェスチャベースの制御のための方法及びシステム | |
| CN111382637A (zh) | 行人检测跟踪方法、装置、终端设备及介质 | |
| KR102295183B1 (ko) | Cctv 프로젝션 모델을 이용한 cctv 영상의 객체 추적 방법 | |
| KR101656618B1 (ko) | 물리 객체에 대한 증강 현실 제공 방법 및 장치 | |
| KR102383567B1 (ko) | 시각 정보 처리 기반의 위치 인식 방법 및 시스템 | |
| KR101851492B1 (ko) | 번호판 인식 방법 및 번호판 인식 장치 | |
| KR101806453B1 (ko) | 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치 및 방법 | |
| KR20230061846A (ko) | 객체 추적 방법 및 이를 수행하기 위한 컴퓨팅 장치 | |
| KR20180070083A (ko) | 영상 처리 방법 및 장치 | |
| CN116295507B (zh) | 一种基于深度学习的激光惯性里程计优化方法、系统 |