KR20180097944A - 공유 특징맵을 이용한 다중 객체 추적 장치 및 그 방법 - Google Patents

공유 특징맵을 이용한 다중 객체 추적 장치 및 그 방법 Download PDF

Info

Publication number
KR20180097944A
KR20180097944A KR1020170024775A KR20170024775A KR20180097944A KR 20180097944 A KR20180097944 A KR 20180097944A KR 1020170024775 A KR1020170024775 A KR 1020170024775A KR 20170024775 A KR20170024775 A KR 20170024775A KR 20180097944 A KR20180097944 A KR 20180097944A
Authority
KR
South Korea
Prior art keywords
feature
feature vector
objects
detected
distance
Prior art date
Application number
KR1020170024775A
Other languages
English (en)
Inventor
임영철
강민성
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020170024775A priority Critical patent/KR20180097944A/ko
Publication of KR20180097944A publication Critical patent/KR20180097944A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06K2017/0045—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 공유 특징맵을 이용한 다중 객체 추적 장치 및 그 방법에 대한 것이다.
본 발명에 따른 공유 특징맵을 이용한 다중 객체 추적 장치는 입력 영상으로부터 복수의 특징맵을 생성하는 특징맵 생성부와, 복수의 특징맵으로부터 객체 검출을 위한 제1 특징 벡터를 추출하는 제1 특징 벡터 추출부와, 제1 특징 벡터를 이용하여 분류 모델을 학습하고, 학습된 분류 모델로부터 객체를 분류하기 위한 분류기를 생성하는 분류기 생성부와, 입력 영상의 후보 영역들을 탐색하고, 분류기를 이용하여 이전 프레임과 현재 프레임에서 각각 복수의 객체를 분류하고 검출하는 객체 검출부와, 이전 프레임과 현재 프레임에서 각각 검출된 복수의 객체에 대하여 영상 추적을 위한 제2 특징 벡터를 추출하는 제2 특징 벡터 추출부와, 제2 특징 벡터를 학습하고, 학습된 제2 특징 벡터를 이용하여 이전 프레임에서 검출된 복수의 객체가 각각 위치한 영역들을 현재 프레임에서 추적하는 객체 추적부 및 이전 프레임에서 검출된 객체와, 현재 프레임에서 추적된 영역에 포함된 객체간 유사도를 측정하여 두 객체의 동일성 여부를 판단하는 동일성 판단부를 포함한다.

Description

공유 특징맵을 이용한 다중 객체 추적 장치 및 그 방법{APPARATUS FOR MULTI OBJECT TRACKING USING FEATURE MAP AND METHOD THEREOF}
본 발명은 공유 특징맵을 이용한 다중 객체 추적 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 객체 검출, 객체 추적 및 데이터 연관 등의 개별 모듈 특성에 최적화된 특징 벡터를 입력 영상에서 추출된 특징맵(feature map)을 이용하여 추출하는 공유 특징맵을 이용한 다중 객체 추적 장치 및 그 방법에 관한 것이다.
최근 지능형 자동차, 로봇, 영상 보안등의 분야에서 영상을 이용하여 사람, 차량, 이륜차등과 같은 특정 객체를 검출하고 추적하는 방법에 대한 연구가 많이 진행되고 있다. 다중 객체 추적 기술은 객체 검출 단계에서 발생할 수 있는 미검출, 오검출등의 오류를 최소화하고, 개별 객체들의 시간에 따른 이동 궤적을 추정하는 기술이다. 객체 검출(object detection), 영상 추적(visual tracking), 다중 객체 추적(multi-object tracking)은 서로 상호 보완적인 기술임에도 불구하고, 각각의 연구가 개별적으로 많이 진행되고 있다. 이로 인해, 공유할 수 있는 자원임에도 불구하고, 각각의 모듈에서 반복적으로 유사한 연산 처리를 수행하고 있는 경우가 많이 있다.
도 1은 종래의 다중 객체 추적 시스템을 나타낸 구성도이다.
도 1에서와 같이 다중 객체 추적 시스템은 객체 검출, 데이터 연관, 다중 객체 상태 갱신 모듈로 구성되어 있다.
이때 객체 검출은 오프라인 학습을 통하여 생성된 모델을 이용하여 영상에서 객체의 위치와 크기를 추정하는 기술이다. 객체 검출 성능을 향상시키기 위해서는 많은 학습 영상과 다양한 특징 벡터들이 필요하며, 사전에 학습을 통하여 최적의 분류 모델을 생성한다.
도 2는 종래의 다중 객체 추적을 위한 세부 과정을 나타낸 도면이다.
자세하게는 도 2의 (a)는 객체 검출 흐름도를 나타낸 것으로, 도 2의 (a)에서와 같이 입력 영상에 대하여 특징 벡터를 추출하고, 학습된 분류 모델을 이용하여 영상 전체를 탐색하면서 객체의 영역을 추정한다. 영상 추적 기술은 이전 영상(t-1 프레임)에서의 특정 객체에 대하여 현재 영상(t프레임)에서 객체의 영역을 찾는 기술이다.
그리고 도 2의 (b)는 영상 추적 흐름도를 나타낸 것으로, 도 2의 (b)에서와 같이, 영상 추적 기술은 이전 영상의 객체 영역에서 추출된 특징 벡터를 이용하여 현재 영상에서 가장 유사한 특징 벡터를 갖는 객체 영역을 추정한다. 영상 추적 기술에서는 프레임 단위로 학습 과정이 이루어져야 되기 때문에, 실시간 학습을 위해서는 객체 검출에서 사용하는 특징 벡터보다는 좀 더 간략화된 특징 벡터를 추출해야 한다. 객체 검출과 영상 추적을 결합하기 위해서 데이터 연관(data association) 기술이 필요하며, 추적하는 객체와 검출되는 객체와의 유사도를 측정하여, 유사도가 높은 추적-검출 쌍들(tracking-detection pairs)을 결합한다.
마지막으로 도 2의 (c)는 데이터 연관 흐름도를 나타낸 것으로, 도 2의 (c)에서와 같이, 유사도 측정을 위해서는 객체 영역에서 추출된 특징 히스토그램들을 이용하여 유사도를 측정한다.
도 3은 1의 세부 구성을 나타낸 구성도이다.
도 3에서의 특징 벡터1은 객체 검출을 위한 특징 벡터를 나타내고, 특징 벡터 2는 영상 추적을 위한 특징 벡터를 나타내며, 특징 히스토그램은 데이터 연관을 위한 특징 벡터를 나타낸다.
도 3에서와 같이, 종래의 다중 객체 추적 기술에서는 객체 검출, 객체 추적, 데이터 연관등의 각각의 모듈에 적합한 특징 벡터를 원 영상으로부터 반복적으로 추출하기 때문에, 연산 속도나 복잡도를 증가시키는 문제가 있다.
본 발명의 배경이 되는 기술은 대한민국 등록특허공보 제10-1438079호(2014.09.12.공고)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 객체 검출, 객체 추적 및 데이터 연관 등의 개별 모듈 특성에 최적화된 특징 벡터를 입력 영상에서 추출된 특징맵(feature map)을 이용하여 추출하는 공유 특징맵을 이용한 다중 객체 추적 장치 및 그 방법을 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따른 공유 특징맵을 이용한 다중 객체 추적 장치는, 입력 영상으로부터 복수의 특징맵을 생성하는 특징맵 생성부; 상기 복수의 특징맵으로부터 객체 검출을 위한 제1 특징 벡터를 추출하는 제1 특징 벡터 추출부; 상기 제1 특징 벡터를 이용하여 분류 모델을 학습하고, 학습된 분류 모델로부터 객체를 분류하기 위한 분류기를 생성하는 분류기 생성부; 상기 입력 영상의 후보 영역들을 탐색하고, 상기 분류기를 이용하여 이전 프레임과 현재 프레임에서 각각 복수의 객체를 분류하고 검출하는 객체 검출부; 상기 이전 프레임과 상기 현재 프레임에서 각각 검출된 복수의 객체에 대하여 영상 추적을 위한 제2 특징 벡터를 추출하는 제2 특징 벡터 추출부; 상기 제2 특징 벡터를 학습하고, 학습된 제2 특징 벡터를 이용하여 상기 이전 프레임에서 검출된 복수의 객체가 각각 위치한 영역들을 상기 현재 프레임에서 추적하는 객체 추적부; 및 상기 이전 프레임에서 검출된 객체와, 상기 현재 프레임에서 추적된 영역에 포함된 객체간 유사도를 측정하여 두 객체의 동일성 여부를 판단하는 동일성 판단부를 포함한다.
상기 분류기 생성부는, SVM(support vector machine), adaboost, 뉴럴 네트워크(neural network) 중 어느 하나를 이용하여 상기 분류 모델에 상기 제1 특징 벡터를 적용하여 학습할 수 있다.
상기 제1 특징 벡터 추출부는, 상기 복수의 특징맵으로부터 풀링(pooling)과 스무딩(smoothing) 기법을 이용하여 상기 제1 특징 벡터를 추출할 수 있다.
상기 제2 특징 벡터 추출부는, 상기 이전 프레임과 상기 현재 프레임에서 각각 검출된 복수의 객체에 대하여 채널을 선택하고, 풀링(pooling) 기법을 이용하여 상기 제2 특징 벡터를 추출할 수 있다.
상기 객체 추적부는, 상기 이전 프레임에서 검출된 복수의 객체가 각각 위치한 영역들의 주변을 탐색하여 상기 제2 특징 벡터와 가장 유사한 객체의 영역을 상기 현재 프레임에서 추적할 수 있다.
상기 동일성 판단부는, 기하학적 거리(geometric distance)와 외형 모델 거리(appearance model distance)를 이용하여 다음의 수학식과 같이 유사도를 측정할 수 있다.
Figure pat00001
여기서,
Figure pat00002
는 유사도 거리,
Figure pat00003
는 기하학적 거리와 외형 모델 거리의 중요도를 결정하는 가중치,
Figure pat00004
는 i번째 검출된 바운딩 박스 영역과 j번째 추적된 바운딩 박스 영역과의 겹침 정도(overlap ratio)로 표현된 기하학적 거리,
Figure pat00005
는 i번째 검출된 바운딩 박스 영역과 j번째 추적된 바운딩 박스 영역간의 특징 히스토그램들에 대한 외형 모델 거리이다.
상기 동일성 판단부는, 바운딩 박스(bounding box)들 사이의 겹침(IOU : interaction of union)을 이용하여 다음의 수학식에 의해 상기 기하학적인 거리를 결정하고,
Figure pat00006
정규화된 특징 히스토그램들간의 바타차야 거리(bhattacharyya distanc)를 이용하여 다음의 수학식에 의해 상기 외형 모델 거리를 산출할 수 있다.
Figure pat00007
여기서,
Figure pat00008
는 i번째 검출된 바운딩 박스 영역
Figure pat00009
와 j번째 추적된 바운딩 박스 영역
Figure pat00010
와의 겹침 정도(overlap ratio)로 표현된 기하학적 거리,
Figure pat00011
는 두 영역간의 합집합,
Figure pat00012
는 두 영역간의 교집합,
Figure pat00013
는 i번째 검출된 바운딩 박스 영역
Figure pat00014
와 j번째 추적된 바운딩 박스 영역
Figure pat00015
간의 특징 히스토그램들에 대한 외형 모델 거리,
Figure pat00016
는 i 번째 검출된 바운딩 박스 영역에서의 추출된 정규화된 특징 히스토그램,
Figure pat00017
는 j 번째 추적된 바운딩 박스 영역에서의 추출된 정규화된 특징 히스토그램이다.
또한, 본 발명의 실시예에 따른 공유 특징맵을 이용한 다중 객체 추적 방법에 있어서, 입력 영상으로부터 복수의 특징맵을 생성하는 단계; 상기 복수의 특징맵으로부터 객체 검출을 위한 제1 특징 벡터를 추출하는 단계; 상기 제1 특징 벡터를 이용하여 분류 모델을 학습하고, 학습된 분류 모델로부터 객체를 분류하기 위한 분류기를 생성하는 단계; 상기 입력 영상의 후보 영역들을 탐색하고, 상기 분류기를 이용하여 이전 프레임과 현재 프레임에서 각각 복수의 객체를 분류하고 검출하는 단계; 상기 이전 프레임과 상기 현재 프레임에서 각각 검출된 복수의 객체에 대하여 영상 추적을 위한 제2 특징 벡터를 추출하는 단계; 상기 제2 특징 벡터를 학습하고, 학습된 제2 특징 벡터를 이용하여 상기 이전 프레임에서 검출된 복수의 객체가 각각 위치한 영역들을 상기 현재 프레임에서 추적하는 단계; 및 상기 이전 프레임에서 검출된 객체와, 상기 현재 프레임에서 추적된 영역에 포함된 객체간 유사도를 측정하여 두 객체의 동일성 여부를 판단하는 단계를 포함한다.
이와 같이 본 발명에 따르면, 객체 검출, 객체 추적 및 데이터 연관 등의 개별 모듈 특성에 최적화된 특징 벡터를 입력 영상에서 추출된 특징맵(feature map)을 이용하여 추출함으로써, 각각의 모듈에서 특징 벡터를 효율적으로 추출할 수 있는 효과가 있다.
또한 본 발명에 따르면, 특징맵을 이용하여 특징 벡터의 추출 과정을 간소화함으로써, 다중 객체 추적에 필요한 연산 시간과 복잡도를 줄이고, 연산 속도를 급격하게 향상시킬 수 있는 효과가 있다.
또한 본 발명에 따르면, 실시간성이 요구되는 지능형 자동차, 로봇, 영상 보안등의 다양한 분야에서 활용될 수 있는 이점이 있다.
도 1은 종래의 다중 객체 추적 시스템을 나타낸 구성도이다.
도 2는 종래의 다중 객체 추적을 위한 세부 과정을 나타낸 도면이다.
도 3은 도 1의 세부 구성을 나타낸 구성도이다.
도 4는 본 발명의 실시예에 따른 공유 특징맵을 이용한 다중 객체 추적 장치를 나타낸 블록구성도이다.
도 5는 도 4의 세부 구성도이다.
도 6은 본 발명의 실시예에 따른 공유 특징맵을 이용한 다중 객체 추적 방법의 동작 흐름을 도시한 순서도이다.
도 7은 본 발명의 실시예에 따른 특징맵 생성 과정을 나타낸 예시이다.
도 8은 본 발명의 실시예에 따른 제1 특징 벡터 추출 과정을 나타낸 도면이다.
도 9는 본 발명의 실시예에 따른 분류기 학습 과정을 나타낸 도면이다.
도 10은 본 발명의 실시예에 따른 다중 스케일 슬라이딩 기법을 이용하여 객체를 검출하는 과정을 나타낸 예시이다.
도 11은 본 발명의 실시예에 따른 제2 특징 벡터 추출 과정을 나타낸 도면이다.
도 12는 본 발명의 실시예에 따른 두 객체의 동일성 여부 판단을 설명하기 위한 예시도이다.
도 13은 본 발명의 실시예에 따른 특징 히스토그램 추출 과정을 나타낸 도면이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
먼저, 도 4 및 도 5를 통해 본 발명의 실시예에 따른 공유 특징맵을 이용한 다중 객체 추적 장치에 대하여 설명한다.
도 4는 본 발명의 실시예에 따른 공유 특징맵을 이용한 다중 객체 추적 장치를 나타낸 블록구성도이고, 도 5는 도 4의 세부 구성도이다.
도 4 및 도 5에서와 같이 본 발명의 실시예에 따른 다중 객체 추적 장치(100)는, 특징맵 생성부(110), 제1 특징 벡터 추출부(120), 분류기 생성부(130), 객체 검출부(140), 제2 특징 벡터 추출부(150), 객체 추적부(160) 및 동일성 판단부(170)를 포함한다.
먼저 특징맵 생성부(110)는 입력 영상으로부터 복수의 특징맵을 생성한다.
자세히는, 특징맵 생성부(110)는 입력되는 영상을 RGB 영상으로 각각 구분한 후 6개의 gradient histogram 특징맵(GH0, GH1, GH2, GH3, GH4, GH5)과, 1개의 gradient magnitude 특징맵(GM) 및 3개의 컬러 특징맵(Y, Cb, Cr) 총 10개의 특징맵을 생성한다.
그리고 제1 특징 벡터 추출부(120)는 특징맵 생성부(100)에서 생성된 복수의 특징맵으로부터 객체 검출을 위한 제1 특징 벡터를 추출한다.
자세히는 제1 특징 벡터 추출부(120)는 복수의 특징맵으로부터 풀링(pooling)과 스무딩(smoothing) 기법을 이용하여 객체 검출을 위한 제1 특징 벡터를 추출한다.
여기서, 풀링 기법은 영상 각각을 리사이징(resizing)하여 영상 크기를 조절하는 것이고, 스무딩 기법은 영상을 부드럽고 흐리게 처리하여 간소하게 하는 기법으로, 이를 이용하여 객체 검출에 필요한 제1 특징 벡터를 추출한다.
그리고 분류기 생성부(130)는 제1 특징 벡터 추출부(120)에서 추출된 제1 특징 벡터를 이용하여 분류 모델을 학습하고, 학습된 분류 모델로부터 객체를 분류하기 위한 분류기를 생성한다.
이때, 분류기 생성부(130)는 SVM(support vector machine), adaboost, 뉴럴 네트워크(neural network) 등과 같은 기계 학습 알고리즘 중 어느 하나를 이용하여 분류 모델에 제1 특징 벡터를 적용하여 학습한다.
그리고 객체 검출부(140)는 입력 영상의 후보 영역들을 탐색하고, 분류기 생성부(130)에서 생성된 분류기를 이용하여 이전 프레임과 현재 프레임에서 각각 복수의 객체를 분류하고 검출한다.
즉, 입력 영상에 대하여 모든 가능한 후보 영역들을 탐색하면서, 학습된 분류 모델을 이용하여 객체의 존재 유무를 판단한다.
자세하게는 검출하고자 하는 객체의 크기와 위치를 모르기 때문에 다중 스케일 슬라이딩 윈도우 기법을 이용하여 학습된 분류 모델을 이용하여 객체를 탐색하고 검출한다. 이때 객체 주변으로 복수의 바운딩 박스(bounding box)가 생성되는데, 비 최대치 억제(Non - maximum suppression, 이하 NMS) 기법을 이용하여, 가장 신뢰성 높은 바운딩 박스 즉, 복수의 바운딩 박스 중 중심 픽셀이 가장 큰 바운딩 박스만 남겨두고, 나머지 바운딩 박스들은 제거함으로써 최종적으로 객체를 검출한다.
여기서 NMS 기법이란 이웃하는 바운딩 박스 중에서 스코어가 가장 큰 바운딩 박스만 남겨두고, 나머지 바운딩 박스는 제거하는 것을 말한다.
즉, 객체 검출부(140)는 입력 영상에 대하여 모든 가능한 후보 영역들을 탐색하면서 복수의 바운딩 박스에서 NMS 기법을 이용하여 최적의 객체 영역을 추출한다.
그리고 제2 특징 벡터 추출부(150)는 이전 프레임과 현재 프레임에서 각각 검출된 복수의 객체에 대하여 영상 추적을 위한 제2 특징 벡터를 추출한다.
자세히는, 제2 특징 벡터 추출부(150)는 이전 프레임과 현재 프레임에서 각각 검출된 복수의 객체에 대하여 채널을 선택(channel selection)하고, 풀링(pooling) 등의 영상 처리 기법을 이용하여 영상 추적에 최적화된 제2 특징 벡터를 추출한다.
즉, 특징맵 생성부(110)에서 생성된 복수의 특징맵 중 일부(GM, Y, Cb, Cr)만 이용하여 풀링 기법을 이용하여 제2 특징 벡터를 추출한다.
그리고 객체 추적부(160)는 제2 특징 벡터를 학습하고, 학습된 제2 특징 벡터를 이용하여 이전 프레임에서 검출된 복수의 객체가 각각 위치한 영역들을 현재 프레임에서 추적한다.
자세히는, 객체 추적부(160)는 이전 프레임에서 검출된 복수의 객체가 각각 위치한 영역들의 주변을 탐색하여 제2 특징 벡터와 가장 유사한(즉, 가장 유사한 특성을 갖는) 객체의 영역을 현재 프레임에서 추적한다.
마지막으로 동일성 판단부(170)는 이전 프레임에서 검출된 객체와, 현재 프레임에서 추적된 영역에 포함된 객체간 유사도(similarity)를 측정하여 두 객체의 동일성 여부를 판단한다.
즉, 이전 프레임에서 검출된 복수의 객체가 각각 위치한 영역들을 현재 프레임에서 추적하여 추적된 복수의 객체 영역들과, 현재 프레임에서 검출된 객체 영역들과의 유사도를 측정하여 유사도가 높은 쌍들(pairs)을 결합함으로써 객체의 동일성 여부를 판단한다.
자세히는 동일성 판단부(170)는 기하학적 거리(geometric distance)와 외형 모델 거리(appearance model distance)를 이용하여 다음의 수학식 1과 같이 유사도를 측정한다.
Figure pat00018
여기서,
Figure pat00019
는 유사도 거리,
Figure pat00020
는 기하학적 거리와 외형 모델 거리의 중요도를 결정하는 가중치,
Figure pat00021
는 i번째 검출된 바운딩 박스 영역과 j번째 추적된 바운딩 박스 영역과의 겹침 정도(overlap ratio)로 표현된 기하학적 거리,
Figure pat00022
는 i번째 검출된 바운딩 박스 영역과 j번째 추적된 바운딩 박스 영역간의 특징 히스토그램들에 대한 외형 모델 거리이다.
이때, 기하학적인 거리는 바운딩 박스(bounding box)들 사이의 겹침(IOU : interaction of union)을 이용하여 다음의 수학식 2에 의해 결정된다.
Figure pat00023
여기서,
Figure pat00024
는 i번째 검출된 바운딩 박스 영역
Figure pat00025
와 j번째 추적된 바운딩 박스 영역
Figure pat00026
와의 겹침 정도(overlap ratio)로 표현된 기하학적 거리,
Figure pat00027
는 두 영역간의 합집합,
Figure pat00028
는 두 영역간의 교집합이다.
그리고 외형 모델 거리는 정규화된 특징 히스토그램들간의 바타차야 거리(bhattacharyya distanc)를 이용하여 다음의 수학식 3에 의해 산출된다.
Figure pat00029
여기서
Figure pat00030
는 i번째 검출된 바운딩 박스 영역
Figure pat00031
와 j번째 추적된 바운딩 박스 영역
Figure pat00032
간의 특징 히스토그램들에 대한 외형 모델 거리,
Figure pat00033
는 i 번째 검출된 바운딩 박스 영역에서의 추출된 정규화된 특징 히스토그램,
Figure pat00034
는 j 번째 추적된 바운딩 박스 영역에서의 추출된 정규화된 특징 히스토그램이다.
이하에서는 도 6 내지 도 13을 통해 본 발명의 실시예에 따른 공유 특징맵을 이용한 다중 객체 추적 방법에 대하여 설명한다.
도 6은 본 발명의 실시예에 따른 공유 특징맵을 이용한 다중 객체 추적 방법의 동작 흐름을 도시한 순서도로서, 이를 참조하여 본 발명의 구체적인 동작을 설명한다.
본 발명의 실시예에 따른 다중 객체 추적 방법에 따르면, 먼저 입력 영상으로부터 복수의 특징맵을 생성한다(S610).
도 7은 본 발명의 실시예에 따른 특징맵 생성 과정을 나타낸 예시이다.
도 7에서와 같이 특징맵 생성부(110)는 입력되는 영상을 RGB 영상으로 각각 구분한 후 6개의 gradient histogram 특징맵(GH0, GH1, GH2, GH3, GH4, GH5)과, 1개의 gradient magnitude 특징맵(GM) 및 3개의 컬러 특징맵(Y, Cb, Cr) 총 10개의 특징맵을 생성한다.
그 다음 제1 특징 벡터 추출부(120)는 S610 단계에서 생성된 복수의 특징맵으로부터 객체 검출을 위한 제1 특징 벡터를 추출한다(S620).
도 8은 본 발명의 실시예에 따른 제1 특징 벡터 추출 과정을 나타낸 도면이다.
도 8에서와 같이 제1 특징 벡터 추출부(120)는 복수의 특징맵으로부터 풀링(pooling)과 스무딩(smoothing) 기법을 이용하여 객체 검출을 위한 제1 특징 벡터를 추출한다.
그 다음 분류기 생성부(130)는 S620 단계에서 생성된 제1 특징 벡터 추출부(120)에서 추출된 제1 특징 벡터를 이용하여 분류 모델을 학습하고, 학습된 분류 모델로부터 객체를 분류하기 위한 분류기를 생성한다(S630).
도 9는 본 발명의 실시예에 따른 분류기 학습 과정을 나타낸 도면이다.
이때, 분류기 생성부(130)는 도 9에서와 같이 입력된 학습 샘플에 대한 데이터 베이스를 구축하고, 학습 샘플로부터 특징맵이 생성되면 생성된 특징맵으로부터 제1 특징 벡터가 추출되는데, 이때 추출된 제1 특징 벡터는 SVM(support vector machine), adaboost, 뉴럴 네트워크(neural network) 등과 같은 기계 학습 알고리즘 중 어느 하나를 이용하여 학습하여 분류기가 생성된다.
그 다음 객체 검출부(140)는 입력 영상의 후보 영역들을 탐색하고, S630 단계에서 생성된 분류기를 이용하여 이전 프레임과 현재 프레임에서 각각 복수의 객체를 분류하고 검출한다(S640).
즉, 객체 검출부(140)는 입력 영상에 대하여 모든 가능한 후보 영역들을 탐색하면서, 학습된 분류 모델을 이용하여 객체의 존재 유무를 판단한다.
도 10은 본 발명의 실시예에 따른 다중 스케일 슬라이딩 기법을 이용하여 객체를 검출하는 과정을 나타낸 예시이다.
검출하고자 하는 객체의 크기와 위치를 모르기 때문에 도 10에서와 같이 다중 스케일 슬라이딩 윈도우 기법을 이용하여 학습된 분류 모델을 이용하여 객체를 탐색하고 검출한다. 이때 객체 주변으로 복수의 바운딩 박스(bounding box)가 생성되는데, 비 최대치 억제(Non - maximum suppression, 이하 NMS) 기법을 이용하여, 가장 신뢰성 높은 바운딩 박스 즉, 복수의 바운딩 박스 중 가장 스코어가 높은 바운딩 박스만 남겨두고, 나머지 바운딩 박스들은 제거함으로써 최종적으로 객체를 검출한다.
즉, 객체 검출부(140)는 입력 영상에 대하여 모든 가능한 후보 영역들을 탐색하면서 복수의 바운딩 박스를 NMS 기법을 이용하여 최적의 객체 영역을 추출한다.
그 다음 제2 특징 벡터 추출부(150)는 이전 프레임과 상기 현재 프레임에서 각각 검출된 복수의 객체에 대하여 영상 추적을 위한 제2 특징 벡터를 추출한다(S650).
도 11은 본 발명의 실시예에 따른 제2 특징 벡터 추출 과정을 나타낸 도면이다.
도 11에서와 같이 제2 특징 벡터 추출부(150)는 이전 프레임과 현재 프레임에서 각각 검출된 복수의 객체에 대하여 채널을 선택(channel selection)하고, 풀링(pooling) 등의 영상 처리 기법을 이용하여 영상 추적에 최적화된 제2 특징 벡터를 추출한다.
즉, 특징맵 생성부(110)에서 생성된 복수의 특징맵 중 일부(GM, Y, Cb, Cr)만 이용하여 풀링 기법을 이용하여 제2 특징 벡터를 추출한다.
그 다음 객체 추적부(160)는 S650 단계에서 추출된 제2 특징 벡터를 학습하고, 학습된 제2 특징 벡터를 이용하여 이전 프레임에서 검출된 복수의 객체가 각각 위치한 영역들을 상기 현재 프레임에서 추적한다(S660).
자세히는, 객체 추적부(160)는, 이전 프레임에서 검출된 복수의 객체가 각각 위치한 영역들의 주변을 탐색하여 제2 특징 벡터와 가장 유사한(즉, 가장 유사한 특성을 갖는) 객체의 영역을 현재 프레임에서 추적한다.
그 다음 동일성 판단부(170)는 이전 프레임에서 검출된 객체와, 현재 프레임에서 추적된 영역에 포함된 객체간 유사도를 측정하여(S670), 두 객체의 동일성 여부를 판단한다(S680).
도 12는 본 발명의 실시예에 따른 두 객체의 동일성 여부 판단을 설명하기 위한 예시도이다.
도 12에서와 같이 이전 프레임에서 검출된 복수의 객체가 각각 위치한 영역들(A, B)을 현재 프레임에서 추적하여 추적된 복수의 객체 영역들(A', B')과, 현재 프레임에서 검출된 객체 영역들(C, D, E)과의 유사도를 측정하여 유사도가 높은 쌍들(pairs)을 결합함으로써 객체의 동일성 여부를 판단한다.
도 12를 예시로 설명하자면, 동일성 판단부(170)는 이전 프레임에서 검출된 복수의 객체가 각각 위치한 영역인 A'와 현재 프레임에서 검출된 객체 영역인 D는 위치의 차이가 설정값 이하이고(설정값 이하인 경우 연관된 것으로 인식함) 크기와 형상이 일치하므로 동일한 객체인 것으로 인식하고, 이전 프레임에서 검출된 복수의 객체가 각각 위치한 영역인 B'와 현재 프레임에서 검출된 객체 영역인 E는 위치가 설정값 이하이나 크기와 형상이 상이하므로 다른 객체로 인식한다.
도 13은 본 발명의 실시예에 따른 특징 히스토그램 추출 과정을 나타낸 도면이다.
도 13에서와 같이 특징맵 생성부(110)에서 생성된 복수의 특징맵을 풀링 기법을 이용하여 데이터 유사도 판단을 위한 특징 히스토그램을 생성한다.
도 13에서 생성된 특징 히스토그램에서 Y축은 특징 벡터의 크기이고, X축은 특징 벡터의 인덱스이며, 객체마다 각각의 특징 히스토그램 생성된다.
자세히는 동일성 판단부(170)는 기하학적 거리(geometric distance)와 외형 모델 거리(appearance model distance)를 이용하여 위의 수학식 1과 같이 유사도를 측정한다.
이때, 기하학적인 거리는 바운딩 박스(bounding box)들 사이의 겹침(IOU : interaction of union)을 이용하여 위의 수학식 2에 의해 결정하고, 외형 모델 거리는 정규화된 특징 히스토그램들간의 바타차야 거리(bhattacharyya distanc)를 이용하여 위의 수학식 3에 의해 산출한다.
결과적으로 동일성 판단부(170)는 수학식 2와 3의 값이 설정값 미만인 경우에 두 객체간 유사도가 높은 것으로 인식하여 동일한 객체인 것으로 판단한다.
S680 단계의 판단 결과 두 객체가 동일한 객체이면 상태값, 이동된 좌표 및 사이즈를 갱신하여 저장할 수도 있다.
상술한 바와 같이, 본 발명의 실시예에 따른 공유 특징맵을 이용한 다중 객체 추적 장치 및 그 방법은 객체 검출, 객체 추적 및 데이터 연관 등의 개별 모듈 특성에 최적화된 특징 벡터를 입력 영상에서 추출된 특징맵(feature map)을 이용하여 추출함으로써, 각각의 모듈에서 특징 벡터를 효율적으로 추출할 수 있는 효과가 있다.
또한 본 발명의 실시예에 따르면, 특징맵을 이용하여 특징 벡터의 추출 과정을 간소화함으로써, 다중 객체 추적에 필요한 연산 시간과 복잡도를 줄이고, 연산 속도를 급격하게 향상시킬 수 있는 효과가 있다.
또한 본 발명의 실시예에 따르면, 실시간성이 요구되는 지능형 자동차, 로봇, 영상 보안등의 다양한 분야에서 활용될 수 있는 이점이 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100 : 다중 객체 추적 장치 110 : 특징맵 생성부
120 : 제1 특징 벡터 추출부 130 : 분류기 생성부
140 : 객체 검출부 150 : 제2 특징 벡터 추출부
160 : 객체 추적부 170 : 동일성 판단부

Claims (14)

  1. 입력 영상으로부터 복수의 특징맵을 생성하는 특징맵 생성부;
    상기 복수의 특징맵으로부터 객체 검출을 위한 제1 특징 벡터를 추출하는 제1 특징 벡터 추출부;
    상기 제1 특징 벡터를 이용하여 분류 모델을 학습하고, 학습된 분류 모델로부터 객체를 분류하기 위한 분류기를 생성하는 분류기 생성부;
    상기 입력 영상의 후보 영역들을 탐색하고, 상기 분류기를 이용하여 이전 프레임과 현재 프레임에서 각각 복수의 객체를 분류하고 검출하는 객체 검출부;
    상기 이전 프레임과 상기 현재 프레임에서 각각 검출된 복수의 객체에 대하여 영상 추적을 위한 제2 특징 벡터를 추출하는 제2 특징 벡터 추출부;
    상기 제2 특징 벡터를 학습하고, 학습된 제2 특징 벡터를 이용하여 상기 이전 프레임에서 검출된 복수의 객체가 각각 위치한 영역들을 상기 현재 프레임에서 추적하는 객체 추적부; 및
    상기 이전 프레임에서 검출된 객체와, 상기 현재 프레임에서 추적된 영역에 포함된 객체간 유사도를 측정하여 두 객체의 동일성 여부를 판단하는 동일성 판단부를 포함하는 공유 특징맵을 이용한 다중 객체 추적 장치.
  2. 제1항에 있어서,
    상기 분류기 생성부는,
    SVM(support vector machine), adaboost, 뉴럴 네트워크(neural network) 중 어느 하나를 이용하여 상기 분류 모델에 상기 제1 특징 벡터를 적용하여 학습하는 공유 특징맵을 이용한 다중 객체 추적 장치.
  3. 제1항에 있어서,
    상기 제1 특징 벡터 추출부는,
    상기 복수의 특징맵으로부터 풀링(pooling)과 스무딩(smoothing) 기법을 이용하여 상기 제1 특징 벡터를 추출하는 공유 특징맵을 이용한 다중 객체 추적 장치.
  4. 제1항에 있어서,
    상기 제2 특징 벡터 추출부는,
    상기 이전 프레임과 상기 현재 프레임에서 각각 검출된 복수의 객체에 대하여 채널을 선택하고, 풀링(pooling) 기법을 이용하여 상기 제2 특징 벡터를 추출하는 공유 특징맵을 이용한 다중 객체 추적 장치.
  5. 제1항에 있어서,
    상기 객체 추적부는,
    상기 이전 프레임에서 검출된 복수의 객체가 각각 위치한 영역들의 주변을 탐색하여 상기 제2 특징 벡터와 가장 유사한 객체의 영역을 상기 현재 프레임에서 추적하는 공유 특징맵을 이용한 다중 객체 추적 장치.
  6. 제5항에 있어서,
    상기 동일성 판단부는,
    기하학적 거리(geometric distance)와 외형 모델 거리(appearance model distance)를 이용하여 다음의 수학식과 같이 유사도를 측정하는 공유 특징맵을 이용한 다중 객체 추적 장치:
    Figure pat00035

    여기서,
    Figure pat00036
    는 유사도 거리,
    Figure pat00037
    는 기하학적 거리와 외형 모델 거리의 중요도를 결정하는 가중치,
    Figure pat00038
    는 i번째 검출된 바운딩 박스 영역과 j번째 추적된 바운딩 박스 영역과의 겹침 정도(overlap ratio)로 표현된 기하학적 거리,
    Figure pat00039
    는 i번째 검출된 바운딩 박스 영역과 j번째 추적된 바운딩 박스 영역간의 특징 히스토그램들에 대한 외형 모델 거리이다.
  7. 제6항에 있어서,
    상기 동일성 판단부는,
    바운딩 박스(bounding box)들 사이의 겹침(IOU : interaction of union)을 이용하여 다음의 수학식에 의해 상기 기하학적인 거리를 결정하고,
    Figure pat00040

    정규화된 특징 히스토그램들간의 바타차야 거리(bhattacharyya distanc)를 이용하여 다음의 수학식에 의해 상기 외형 모델 거리를 산출하는 공유 특징맵을 이용한 다중 객체 추적 장치:
    Figure pat00041

    여기서,
    Figure pat00042
    는 i번째 검출된 바운딩 박스 영역
    Figure pat00043
    와 j번째 추적된 바운딩 박스 영역
    Figure pat00044
    와의 겹침 정도(overlap ratio)로 표현된 기하학적 거리,
    Figure pat00045
    는 두 영역간의 합집합,
    Figure pat00046
    는 두 영역간의 교집합,
    Figure pat00047
    는 i번째 검출된 바운딩 박스 영역
    Figure pat00048
    와 j번째 추적된 바운딩 박스 영역
    Figure pat00049
    간의 특징 히스토그램들에 대한 외형 모델 거리,
    Figure pat00050
    는 i 번째 검출된 바운딩 박스 영역에서의 추출된 정규화된 특징 히스토그램,
    Figure pat00051
    는 j 번째 추적된 바운딩 박스 영역에서의 추출된 정규화된 특징 히스토그램이다.
  8. 공유 특징맵을 이용한 다중 객체 추적 장치에 의해 수행되는 추적 방법에 있어서,
    입력 영상으로부터 복수의 특징맵을 생성하는 단계;
    상기 복수의 특징맵으로부터 객체 검출을 위한 제1 특징 벡터를 추출하는 단계;
    상기 제1 특징 벡터를 이용하여 분류 모델을 학습하고, 학습된 분류 모델로부터 객체를 분류하기 위한 분류기를 생성하는 단계;
    상기 입력 영상의 후보 영역들을 탐색하고, 상기 분류기를 이용하여 이전 프레임과 현재 프레임에서 각각 복수의 객체를 분류하고 검출하는 단계;
    상기 이전 프레임과 상기 현재 프레임에서 각각 검출된 복수의 객체에 대하여 영상 추적을 위한 제2 특징 벡터를 추출하는 단계;
    상기 제2 특징 벡터를 학습하고, 학습된 제2 특징 벡터를 이용하여 상기 이전 프레임에서 검출된 복수의 객체가 각각 위치한 영역들을 상기 현재 프레임에서 추적하는 단계; 및
    상기 이전 프레임에서 검출된 객체와, 상기 현재 프레임에서 추적된 영역에 포함된 객체간 유사도를 측정하여 두 객체의 동일성 여부를 판단하는 단계를 포함하는 다중 객체 추적 방법.
  9. 제8항에 있어서,
    상기 분류기를 생성하는 단계는,
    SVM(support vector machine), adaboost, 뉴럴 네트워크(neural network) 중 어느 하나를 이용하여 상기 분류 모델에 상기 제1 특징 벡터를 적용하여 학습하는 다중 객체 추적 방법.
  10. 제8항에 있어서,
    상기 제1 특징 벡터를 추출하는 단계는,
    상기 복수의 특징맵으로부터 풀링(pooling)과 스무딩(smoothing) 기법을 이용하여 상기 제1 특징 벡터를 추출하는 다중 객체 추적 방법.
  11. 제8항에 있어서,
    상기 제2 특징 벡터를 추출하는 단계는,
    상기 이전 프레임과 상기 현재 프레임에서 각각 검출된 복수의 객체에 대하여 채널을 선택하고, 풀링(pooling) 기법을 이용하여 상기 제2 특징 벡터를 추출하는 다중 객체 추적 방법.
  12. 제8항에 있어서,
    상기 현재 프레임에서 추적하는 단계는,
    상기 이전 프레임에서 검출된 복수의 객체가 각각 위치한 영역들의 주변을 탐색하여 상기 제2 특징 벡터와 가장 유사한 객체의 영역을 상기 현재 프레임에서 추적하는 다중 객체 추적 방법.
  13. 제12항에 있어서,
    상기 두 객체의 동일성 여부를 판단하는 단계는,
    기하학적 거리(geometric distance)와 외형 모델 거리(appearance model distance)를 이용하여 다음의 수학식과 같이 유사도를 측정하는 다중 객체 추적 방법:
    Figure pat00052

    여기서,
    Figure pat00053
    는 유사도 거리,
    Figure pat00054
    는 기하학적 거리와 외형 모델 거리의 중요도를 결정하는 가중치,
    Figure pat00055
    는 i번째 검출된 바운딩 박스 영역과 j번째 추적된 바운딩 박스 영역과의 겹침 정도(overlap ratio)로 표현된 기하학적 거리,
    Figure pat00056
    는 i번째 검출된 바운딩 박스 영역과 j번째 추적된 바운딩 박스 영역간의 특징 히스토그램들에 대한 외형 모델 거리이다.
  14. 제13항에 있어서,
    상기 두 객체의 동일성 여부를 판단하는 단계는,
    바운딩 박스(bounding box)들 사이의 겹침(IOU : interaction of union)을 이용하여 다음의 수학식에 의해 상기 기하학적인 거리를 결정하고,
    Figure pat00057

    정규화된 특징 히스토그램들간의 바타차야 거리(bhattacharyya distanc)를 이용하여 다음의 수학식에 의해 상기 외형 모델 거리를 산출하는 다중 객체 추적 방법:
    Figure pat00058

    여기서,
    Figure pat00059
    는 i번째 검출된 바운딩 박스 영역
    Figure pat00060
    와 j번째 추적된 바운딩 박스 영역
    Figure pat00061
    와의 겹침 정도(overlap ratio)로 표현된 기하학적 거리,
    Figure pat00062
    는 두 영역간의 합집합,
    Figure pat00063
    는 두 영역간의 교집합,
    Figure pat00064
    는 i번째 검출된 바운딩 박스 영역
    Figure pat00065
    와 j번째 추적된 바운딩 박스 영역
    Figure pat00066
    간의 특징 히스토그램들에 대한 외형 모델 거리,
    Figure pat00067
    는 i 번째 검출된 바운딩 박스 영역에서의 추출된 정규화된 특징 히스토그램,
    Figure pat00068
    는 j 번째 추적된 바운딩 박스 영역에서의 추출된 정규화된 특징 히스토그램이다.
KR1020170024775A 2017-02-24 2017-02-24 공유 특징맵을 이용한 다중 객체 추적 장치 및 그 방법 KR20180097944A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170024775A KR20180097944A (ko) 2017-02-24 2017-02-24 공유 특징맵을 이용한 다중 객체 추적 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170024775A KR20180097944A (ko) 2017-02-24 2017-02-24 공유 특징맵을 이용한 다중 객체 추적 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20180097944A true KR20180097944A (ko) 2018-09-03

Family

ID=63601032

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170024775A KR20180097944A (ko) 2017-02-24 2017-02-24 공유 특징맵을 이용한 다중 객체 추적 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20180097944A (ko)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102029860B1 (ko) * 2019-07-31 2019-11-08 주식회사 시그널웍스 실시간 다중 객체 추적 방법과 이를 수행하기 위한 장치
KR102073873B1 (ko) 2019-03-22 2020-02-05 주식회사 루닛 시맨틱 세그먼테이션 방법 및 그 장치
WO2020116768A1 (ko) * 2018-12-04 2020-06-11 삼성전자 주식회사 영상 처리 장치 및 그 동작방법
CN111489284A (zh) * 2019-01-29 2020-08-04 北京搜狗科技发展有限公司 一种图像处理方法、装置和用于图像处理的装置
KR20200095387A (ko) * 2019-01-31 2020-08-10 주식회사 스트라드비젼 협업 주행을 수행하는 자동차들로부터 획득된 주행 이미지들을 통합하는 방법 및 이를 이용한 주행 이미지 통합 장치
KR20200112646A (ko) 2020-01-30 2020-10-05 주식회사 루닛 시맨틱 세그먼테이션 방법 및 그 장치
KR20210031284A (ko) * 2019-09-11 2021-03-19 주식회사 라온버드 인공지능 기반의 cctv 보안 시스템 및 보안 방법
WO2021075772A1 (ko) * 2019-10-18 2021-04-22 주식회사 메이아이 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
KR20210114309A (ko) * 2020-03-10 2021-09-23 연세대학교 산학협력단 다중 cctv 환경에서의 보행자 추적 장치 및 방법
KR20220139190A (ko) 2021-04-07 2022-10-14 광운대학교 산학협력단 단일 처리 방식의 다중 차량 객체 추적 장치 및 방법
KR102617213B1 (ko) * 2022-06-29 2023-12-27 주식회사 쓰리아이 소프트웨어 기반의 객체 트래킹 제공 방법 및 그를 위한 컴퓨팅 장치
KR102647135B1 (ko) * 2022-10-31 2024-03-15 이관훈 인공지능 기반 객체 탐지 알고리즘을 이용하는 시공 현장을 위한 실시간 균열 탐지 시스템 및 이를 위한 동작 방법
WO2024071516A1 (ko) * 2022-09-30 2024-04-04 주식회사 쓰리아이 객체 고정이 가능한 객체 트래킹 제공 방법 및 그를 위한 휴대 단말

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020116768A1 (ko) * 2018-12-04 2020-06-11 삼성전자 주식회사 영상 처리 장치 및 그 동작방법
US11921822B2 (en) 2018-12-04 2024-03-05 Samsung Electronics Co., Ltd. Image processing device for improving details of an image, and operation method of the same
CN111489284B (zh) * 2019-01-29 2024-02-06 北京搜狗科技发展有限公司 一种图像处理方法、装置和用于图像处理的装置
CN111489284A (zh) * 2019-01-29 2020-08-04 北京搜狗科技发展有限公司 一种图像处理方法、装置和用于图像处理的装置
KR20200095387A (ko) * 2019-01-31 2020-08-10 주식회사 스트라드비젼 협업 주행을 수행하는 자동차들로부터 획득된 주행 이미지들을 통합하는 방법 및 이를 이용한 주행 이미지 통합 장치
KR102073873B1 (ko) 2019-03-22 2020-02-05 주식회사 루닛 시맨틱 세그먼테이션 방법 및 그 장치
US10672129B1 (en) 2019-03-22 2020-06-02 Lunit Inc. Method for semantic segmentation and apparatus thereof
KR102029860B1 (ko) * 2019-07-31 2019-11-08 주식회사 시그널웍스 실시간 다중 객체 추적 방법과 이를 수행하기 위한 장치
KR20210031284A (ko) * 2019-09-11 2021-03-19 주식회사 라온버드 인공지능 기반의 cctv 보안 시스템 및 보안 방법
WO2021075772A1 (ko) * 2019-10-18 2021-04-22 주식회사 메이아이 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
KR20200112646A (ko) 2020-01-30 2020-10-05 주식회사 루닛 시맨틱 세그먼테이션 방법 및 그 장치
KR20210114309A (ko) * 2020-03-10 2021-09-23 연세대학교 산학협력단 다중 cctv 환경에서의 보행자 추적 장치 및 방법
KR20220139190A (ko) 2021-04-07 2022-10-14 광운대학교 산학협력단 단일 처리 방식의 다중 차량 객체 추적 장치 및 방법
KR102617213B1 (ko) * 2022-06-29 2023-12-27 주식회사 쓰리아이 소프트웨어 기반의 객체 트래킹 제공 방법 및 그를 위한 컴퓨팅 장치
WO2024005279A1 (ko) * 2022-06-29 2024-01-04 주식회사 쓰리아이 소프트웨어 기반의 객체 트래킹 제공 방법 및 그를 위한 컴퓨팅 장치
WO2024071516A1 (ko) * 2022-09-30 2024-04-04 주식회사 쓰리아이 객체 고정이 가능한 객체 트래킹 제공 방법 및 그를 위한 휴대 단말
KR102647135B1 (ko) * 2022-10-31 2024-03-15 이관훈 인공지능 기반 객체 탐지 알고리즘을 이용하는 시공 현장을 위한 실시간 균열 탐지 시스템 및 이를 위한 동작 방법

Similar Documents

Publication Publication Date Title
KR20180097944A (ko) 공유 특징맵을 이용한 다중 객체 추적 장치 및 그 방법
Keller et al. A new benchmark for stereo-based pedestrian detection
US20180204076A1 (en) Moving object detection and classification image analysis methods and systems
US10445602B2 (en) Apparatus and method for recognizing traffic signs
Boujemaa et al. Traffic sign recognition using convolutional neural networks
CN104156693A (zh) 一种基于多模态序列融合的动作识别方法
Ahmad et al. Small object detection in aerial imagery using RetinaNet with anchor optimization
Kheirkhah et al. A hybrid face detection approach in color images with complex background
KR20170108339A (ko) 영상에서 다수의 객체를 인식하는 방법
Hu et al. Depth sensor based human detection for indoor surveillance
Fan et al. Traffic sign detection and classification for Advanced Driver Assistant Systems
Cordts et al. Object-level priors for stixel generation
Asgarian Dehkordi et al. Vehicle type recognition based on dimension estimation and bag of word classification
Akanksha et al. A Feature Extraction Approach for Multi-Object Detection Using HoG and LTP.
Zhang et al. Moving pedestrian detection based on motion segmentation
WO2022247628A1 (zh) 一种数据标注方法及相关产品
Qadar et al. A comparative study of nighttime object detection with datasets from australia and china
CN114359493B (zh) 一种用于无人船生成三维语义地图的方法和系统
Silva et al. Multi-scale spectral residual analysis to speed up image object detection
de Jesús Osuna-Coutino et al. Dominant plane recognition in interior scenes from a single image
CN114882372A (zh) 一种目标检测的方法及设备
Shih Hand gesture recognition using color-depth association for smart home
CN114399731A (zh) 一种单粗点监督下的目标定位方法
Karbasi et al. Real-time hand detection by depth images: A survey
KR101936108B1 (ko) 교통 표지판 탐지 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment