KR20230105868A - 심층 신경망 기반 레이더를 이용한 객체 행동 인식을 위한 자동 학습데이터 수집 장치 - Google Patents

심층 신경망 기반 레이더를 이용한 객체 행동 인식을 위한 자동 학습데이터 수집 장치 Download PDF

Info

Publication number
KR20230105868A
KR20230105868A KR1020220001436A KR20220001436A KR20230105868A KR 20230105868 A KR20230105868 A KR 20230105868A KR 1020220001436 A KR1020220001436 A KR 1020220001436A KR 20220001436 A KR20220001436 A KR 20220001436A KR 20230105868 A KR20230105868 A KR 20230105868A
Authority
KR
South Korea
Prior art keywords
information
data collection
collected
learning data
behavior
Prior art date
Application number
KR1020220001436A
Other languages
English (en)
Other versions
KR102658518B1 (ko
Inventor
서동환
김원열
이수환
서홍일
Original Assignee
한국해양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국해양대학교 산학협력단 filed Critical 한국해양대학교 산학협력단
Priority to KR1020220001436A priority Critical patent/KR102658518B1/ko
Publication of KR20230105868A publication Critical patent/KR20230105868A/ko
Application granted granted Critical
Publication of KR102658518B1 publication Critical patent/KR102658518B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/04—Systems determining presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

심층 신경망 기반 레이더를 이용한 객체 행동 인식을 위한 자동 학습데이터 수집 장치가 개시된다. 일 실시예에 따른 데이터 수집 장치에 의해 수행되는 학습데이터 수집 방법은, 카메라로부터 수집된 영상 정보와 레이더에 의해 수집된 신호 정보로부터 객체가 존재하는 것으로 판단됨에 따라 각각의 객체 정보를 검출하는 단계; 상기 검출된 각각의 객체 정보를 이용하여 상기 수집된 영상 정보와 상기 수집된 신호 정보로부터 객체의 행동을 분석하는 단계; 및 상기 분석된 객체의 행동을 통해 상기 영상 정보로부터 분류된 행동 정보와 매칭되는 상기 수집된 신호 정보를 학습데이터로 수집하는 단계를 포함할 수 있다.

Description

심층 신경망 기반 레이더를 이용한 객체 행동 인식을 위한 자동 학습데이터 수집 장치{AUTOMATIC LEARNING DATA COLLECTION DEVICE FOR OBJECT BEHAVIOR RECOGNITION USING DEEP NEURAL NETWORK-BASED RADAR}
아래의 설명은 학습데이터 수집 기술에 관한 것이다.
기존 레이더를 이용한 행동 인식은 사람에게서 반사된 전자파를 수신하여 신호 차이로부터 특징 모션을 인식한다. 그러므로, 신호 차이를 측정하기 위해 서로 다른 방향에서 복수의 레이더의 신호를 측정 후 평균하여 각 모션의 학습데이터를 생성한다. 그런 다음, 획득된 레이더 신호와 각 모션의 학습데이터를 신경망 분석 알고리즘을 통해 비교하여 획득된 레이더 신호가 어느 활동에 해당하는지 분류하여 판단한다. 이때, 비교하는 과정에서 학습데이터의 분포가 인식하고자 하는 행동에 대한 분포를 포함할 수 있어야 한다. 하지만, 레이더를 사용한 각 모션의 학습데이터를 생성하기 위하여 직접 사람이 행동하고 레이블하는 작업은 영상에 비해 상당한 시간 및 비용이 소비된다. 이에 따라, 학습데이터의 수가 적으면 학습데이터에 포함되지 않은 데이터에서는 신경망 분석 알고리즘의 성능이 저하된다. 신경망 분석 알고리즘의 성능을 향상시키기 위해서는 충분한 학습데이터를 생성할 수 있는 방안이 필수적이다.
현재 레이더를 활용한 행동 인식은 학습데이터 생성에 대한 문제점으로 인해 신경망 알고리즘의 성능이 하락할 수밖에 없다. 또한, 단일 객체의 행동 인식에 비해 다중 객체의 행동 인식은 각 객체들의 위치 및 속도를 고려해야 하므로 행동에 대한 변수로 인해 학습데이터를 효율적으로 획득할 수 있는 방법이 필수적이다. 따라서, 자동으로 학습데이터를 수집하기 위해 영상 기반 행동 인식을 이용한 자동 학습데이터 수집 방법 및 장치를 제공하고자 한다.
데이터 수집 장치에 의해 수행되는 학습데이터 수집 방법은, 카메라로부터 수집된 영상 정보와 레이더에 의해 수집된 신호 정보로부터 객체가 존재하는 것으로 판단됨에 따라 각각의 객체 정보를 검출하는 단계; 상기 검출된 각각의 객체 정보를 이용하여 상기 수집된 영상 정보와 상기 수집된 신호 정보로부터 객체의 행동을 분석하는 단계; 및 상기 분석된 객체의 행동을 통해 상기 영상 정보로부터 분류된 행동 정보와 매칭되는 상기 수집된 신호 정보를 학습데이터로 수집하는 단계를 포함할 수 있다.
상기 검출하는 단계는, 상기 수집된 영상 정보로부터 객체 검출을 위해 조명 또는 먼지에 의해 발생하는 행동인식 오차를 감소시키기 위해 객체 검출 가능 여부를 판단하는 단계를 포함할 수 있다.
상기 검출하는 단계는, 주파수변조연속파(FMCW) 방식으로 사용하여 송신 주파수를 톱니파 또는 삼각파로 변조하고, 상기 변조된 송신 주파수와 수신 주파수의 차이를 통해 대상의 거리 및 속도의 관계로 환산하여 객체를 검출하는 단계를 포함할 수 있다.
상기 검출하는 단계는, 상기 객체 검출이 가능한 환경으로 판단됨에 따라 상기 수집된 영상 정보에서 시간에 따라 변화되는 특징점을 사용하여 객체를 검출하는 단계를 포함할 수 있다.
상기 분석하는 단계는, 심층 신경망 기반 알고리즘을 이용하여 상기 검출된 각각의 객체 정보로부터 객체의 행동을 분류하는 단계를 포함할 수 있다.
상기 분석하는 단계는, 상기 검출된 각각의 객체 정보를 이용하여 상기 수집된 영상 정보와 상기 수집된 신호 정보로부터 OOD 검출을 통한 객체의 행동을 예측하는 단계를 포함할 수 있다.
상기 수집하는 단계는, 상기 영상 정보로부터 분류된 행동 정보와 상기 수집된 신호 정보로부터 분류된 행동 정보가 매칭됨에 따라 상기 수집된 신호 정보를 학습데이터로 사용할 것을 결정하고, 상기 학습데이터로 사용할 것으로 결정된 신호 정보를 데이터베이스에 저장하는 단계를 포함할 수 있다.
데이터 수집 장치에 의해 수행되는 학습데이터 수집 방법을 실행시키기 위하여 컴퓨터 판독 가능한 저장매체에 저장된 컴퓨터 프로그램은, 카메라로부터 수집된 영상 정보와 레이더에 의해 수집된 신호 정보로부터 객체가 존재하는 것으로 판단됨에 따라 각각의 객체 정보를 검출하는 단계; 상기 검출된 각각의 객체 정보를 이용하여 상기 수집된 영상 정보와 상기 수집된 신호 정보로부터 객체의 행동을 분석하는 단계; 및 상기 분석된 객체의 행동을 통해 상기 영상 정보로부터 분류된 행동 정보와 매칭되는 상기 수집된 신호 정보를 학습데이터로 수집하는 단계를 포함할 수 있다.
데이터 수집 장치는, 카메라로부터 수집된 영상 정보와 레이더에 의해 수집된 신호 정보로부터 객체가 존재하는 것으로 판단됨에 따라 각각의 객체 정보를 검출하는 객체 검출 및 전처리부; 상기 검출된 각각의 객체 정보를 이용하여 상기 수집된 영상 정보와 상기 수집된 신호 정보로부터 객체의 행동을 분석하는 객체 행동 분석부; 및 상기 분석된 객체의 행동을 통해 상기 영상 정보로부터 분류된 행동 정보와 매칭되는 상기 수집된 신호 정보를 학습데이터로 수집하는 학습데이터 수집부를 포함할 수 있다.
상기 객체 검출 및 전처리부는, 상기 수집된 영상 정보로부터 객체 검출을 위해 조명 또는 먼지에 의해 발생하는 행동인식 오차를 감소시키기 위해 객체 검출 가능 여부를 판단할 수 있다.
상기 객체 검출 및 전처리부는, 주파수변조연속파(FMCW) 방식으로 사용하여 송신 주파수를 톱니파 또는 삼각파로 변조하고, 상기 변조된 송신 주파수와 수신 주파수의 차이를 통해 대상의 거리 및 속도의 관계로 환산하여 객체를 검출할 수 있다.
상기 객체 검출 및 전처리부는, 상기 객체 검출이 가능한 환경으로 판단됨에 따라 상기 수집된 영상 정보에서 시간에 따라 변화되는 특징점을 사용하여 객체를 검출할 수 있다.
상기 객체 행동 분석부는, 심층 신경망 기반 알고리즘을 이용하여 상기 검출된 각각의 객체 정보로부터 객체의 행동을 분류할 수 있다.
상기 객체 행동 분석부는, 상기 검출된 각각의 객체 정보를 이용하여 상기 수집된 영상 정보와 상기 수집된 신호 정보로부터 OOD 검출을 통한 객체의 행동을 예측할 수 있다.
상기 학습데이터 수집부는, 상기 영상 정보로부터 분류된 행동 정보와 상기 수집된 신호 정보로부터 분류된 행동 정보가 매칭됨에 따라 상기 수집된 신호 정보를 학습데이터로 사용할 것을 결정하고, 상기 학습데이터로 사용할 것으로 결정된 신호 정보를 데이터베이스에 저장할 수 있다.
레이더 기반 객체의 행동 인식을 위한 학습데이터 수집의 문제점을 해결함으로써 신경망 기반 알고리즘의 정확도 및 신뢰성을 향상시킬 수 있으며, 외부 환경 변화의 취약성 및 사생활 보호 문제와 같은 영상의 단점을 보완함으로써 건강 및 웰빙, 보안, 안전 등 다양한 분야에서 확장성 및 유용성이 향상될 것으로 판단된다.
도 1은 일 실시예에 따른 데이터 수집 장치의 동작을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 데이터 수집 장치의 구성을 설명하기 위한 블록도이다.
도 3은 일 실시예에 따른 데이터 수집 장치에서 학습데이터 수집 방법을 설명하기 위한 흐름도이다.
도 4는 일 실시예에 따른 데이터 수집 장치에서 객체 검출 및 전처리 동작을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 데이터 수집 장치에서 객체 행동 분석 동작을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 데이터 수집 장치에서 학습데이터 수집 동작을 설명하기 위한 도면이다.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
도 1은 일 실시예에 따른 데이터 수집 장치의 동작을 설명하기 위한 도면이다.
데이터 수집 장치(100)는 카메라에 의한 영상 정보(102) 및 레이더(101)에 의한 신호 정보를 수집하고, 수집된 영상 정보(102) 및 신호 정보를 이용하여 객체 검출 및 행동 분석을 통한 학습데이터를 수집할 수 있다.
데이터 수집 장치(100)는 학습데이터를 수집하기 위해 카메라 및 레이더(101) 장치가 필요하며, 사람의 행동에 의해 수신된 영상 신호를 기반으로 행동 분류를 수행한다. 이때, 데이터 수집 장치(100)는 학습데이터의 수집을 목적으로 수행하므로 행동 인식에 필요하지 않은 데이터에 대해 OOD(Out-of-Distribution) 검출기법을 통해 낮은 예측 확률로 출력됨으로써 기준점 이하의 데이터는 제거하고 높은 예측 확률을 나타내는 학습에 필요한 데이터만을 수집할 수 있다. 데이터 수집 장치(100)는 레이더에 의한 신호 정보를 학습 데이터로 사용할 것인지 사용 여부를 자동으로 결정할 수 있다.
데이터 수집 장치(100)는 심층 신경망 기반 레이더를 이용한 객체 행동 인식을 위한 자동 학습데이터를 수집하기 위한 것으로, 객체 검출 및 전처리 과정(110), 객체 행동 분석 과정(120) 및 학습데이터 수집 과정(130)를 포함할 수 있다.
데이터 수집 장치(100)는 카메라로부터 영상 정보(102)를 수집할 수 있고, 레이더(101)에 의해 신호 정보를 수집할 수 있다. 이때, 데이터 수집 장치(100)는 적어도 하나 이상의 카메라 및 적어도 하나 이상의 레이더가 결합된 형태로 구성될 수 있다. 예를 들면, 데이터 수집 장치(100)는 카메라에서 실시간으로 특정 영역이 촬영됨에 따라 획득된 영상 정보를 수집할 수 있다. 레이더(101)는 송신 전자파가 방사됨에 따라 특정 대상의 표면으로부터 반사되는 수신 전자파를 수신할 수 있다. 데이터 수집 장치(100)는 송신 전자파와 수신 전자파의 차이를 신호 정보로 수집하거나, 송신 전자파와 수신 전자파 모두를 신호 정보를 수집할 수 있다. 데이터 수집 장치(100)는 레이더(101)데이터 수집 장치(100)는 카메라로부터 영상 정보가 촬영된 시점 데이터와 레이더에 의한 신호 정보의 시점 데이터를 동기화시킬 수 있다.
도 4를 참고하면, 데이터 수집 장치(100)는 객체 검출 및 전처리 과정(110)을 수행함에 따라 객체의 존재 여부 및 조명 및 먼지 감지를 통해 행동 인식 여부를 판단할 수 있다. 데이터 수집 장치(110)는 수집된 영상 정보 및 수집된 레이더에 의한 신호 정보에 대한 전처리(410)를 수행할 수 있다. 이때, 전처리(410)는 영상 정보 또는 신호 정보에 포함된 노이즈를 제거하거나, 동일한 외부 환경 요인을 조성하기 위해 처리되는 과정일 수 있다.
데이터 수집 장치(100)는 영상 정보로부터 객체 검출을 위해 조명, 먼지에 의해 발생하는 행동 인식 오차를 감소시키기 위해 객체 검출 가능 여부를 판단할 수 있다. 또한, 데이터 수집 장치(100)는 레이더에서 조명의 변화, 먼지 또는 안개와 같은 외부 환경 요인에 의해 변화가 영상에 비해 적으므로 영상 정보의 외부 환경 요인을 기준점으로 활용할 수 있다. 다시 말해서, 수집된 영상 정보에 포함된 외부 환경 요인이 레이더에 의해 수집된 신호 정보의 외부 환경 요인의 기준점으로 사용될 수 있다.
데이터 수집 장치(100)는 영상 정보 및 신호 정보로부터 객체를 검출(420)할 수 있다. 데이터 수집 장치(100)는 영상 정보를 이용한 객체 검출(421)과 레이더에 의해 수집된 신호 정보를 이용한 객체 검출(422) 동작을 수행할 수 있다. 이때, 레이더(101)는 주파수변조연속파(Frequency Modulated Continuous Wave; FMCW) 방식을 사용하여 송신 주파수를 톱니파 또는 삼각파로 변조할 수 있다. 데이터 수집 장치(100)는 송신 주파수와 수신 주파수와의 차이를 통해 대상의 거리 및 속도의 관계로 환산하여 객체를 검출할 수 있다.
데이터 수집 장치(100)는 객체 검출이 가능한 환경으로 판단될 경우, 영상 정보에서 시간에 따라 변화되는 특징점을 사용하여 객체를 검출할 수 있다. 예를 들면, 데이터 수집 장치(100)는 전처리가 수행됨에 따라 객체 검출이 가능한 환경으로 판단할 수 있다. 전처리에서는 조명 및 안개, 먼지 등의 외부적인 환경에서의 변화를 인식한다. 데이터 수집 장치(100)는 전처리가 수행된 영상 정보에 포함된 조명, 먼지 등의 외부 환경 요인 값이 기 설정된 기준 이하일 경우, 객체 검출이 가능한 환경으로 판단할 수 있다. 또는, 데이터 수집 장치(100)는 레이더에 의한 신호 정보에서 객체가 검출됨에 따라 영상 정보에서 객체 검출이 가능한 환경으로 판단할 수 있다. 조명 검출은 영상의 픽셀 값 분포를 나타내는 히스토그램을 사용하거나, 또는 기존의 이상적인 배경 이미지를 사용하여 차분 영상을 통해 판단할 수 있다. 안개 검출은 대기 산란 모델에 의해 결정되며 식(1)과 같다.
Figure pat00001
여기서,
Figure pat00002
는 observed hazy image,
Figure pat00003
는 true scene radiance,
Figure pat00004
는 ambient light intensity,
Figure pat00005
는 indexes pixels,
Figure pat00006
는 the transmission map이다.
Figure pat00007
는 카메라 센서에 도달할 수 있는 빛의 비율에 영향을 미치는 거리에 종속적인 요소이며, 식 (2)와 같다.
Figure pat00008
여기서,
Figure pat00009
는 attenuation coefcient of the atmosphere를 나타내고
Figure pat00010
는 scene depth를 나타낸다.
Figure pat00011
는
Figure pat00012
와
Figure pat00013
에 의해
Figure pat00014
로 재구축될 수 있으며, 이미지는 안개에 의해 강도가 높은 세기로 나타난다. 따라서 안개가 영상에서 균일하게 분포되어 있다면, 실제 이미지보다 높은 강도를 나타내기 때문에 배경 이미지와의 차분 영상에서 히스토그램을 사용하여 색상의 변화량에 의해 안개 인식을 수행할 수 있다. 여기서, 영상 정보는 복수 개의 프레임으로 구성될 수 있으며, 시간에 따라 객체가 이동될 수 있다. 데이터 수집 장치(100)는 시간에 따라 변화되는 특징점을 사용하여 객체를 검출할 수 있다. 이동하는 객체의 움직임을 추출하기 위해 광류(optical flow)를 사용한다. 광류는 물체 또는 카메라의 이동에 의해 발생하는 두 개의 연속적인 프레임 사이에서의 물체 이동 패턴이다. 따라서 지역적으로 객체들의 흐름에 대한 중요한 정보를 얻을 수 있다. 광류를 통해 얻게 되는 모션 벡터를 통해 이동하는 객체의 모션 벡터의 크기(Magnitude)와 모션 벡터의 방향(Gradient)을 계산한다. 따라서 광류로 계산한 모션 벡터를 이용하여 특징맵으로 표현하기 위해 극 좌표계로 변환한다. 여기서 극좌표계란 점의 위치를 정점으로부터의 거리(r)와 방향
Figure pat00015
으로 정하는 좌표계로, 직교 좌표계에서는 삼각함수로 복잡하게 나타나는 정점들의 관계를 극 좌표계에서는 쉽게 표현될 수 있다. 식 (3), (4)는 원 영상에서 광류로 계산되어진 2차원 벡터 (x, y)를 극 좌표계의 값으로 계산하는 수식이다. 여기서
Figure pat00016
는 극좌표계로 변환된 모션 벡터의 크기에 대한 특징맵을 나타내고,
Figure pat00017
는 모션 벡터의 방향에 대한 특징맵을 의미한다.
Figure pat00018
Figure pat00019
극 좌표계로 표현된 특징맵(
Figure pat00020
)에서 평범한 움직임과 이상 행동을 구분하기 위해 모션 벡터의 크기의 대한 평균 및 최대값, 분산을 이용한다. 따라서 이러한 특징값을 사용하여 객체의 움직임 검출할 수 있다. 또는, 데이터 수집 장치(100)는 영상 정보에서 시간에 따라 변화되지 않고 일정한 위치에 존재하는 특징점을 객체로 검출할 수도 있다. 이때, 시간에 따라 변화되는 특징점을 통해 검출된 객체는 동적 객체, 시간에 따라 변화되지 않는 특징점을 통해 검출된 객체는 정적 객체로 인식될 수 있다. 또한, 영상 정보에 적어도 하나 이상의 객체가 존재할 수 있다. 이에, 데이터 수집 장치(100)는 시간에 따라 변화되는 복수 개의 특징점을 사용하여 복수 개의 객체를 검출할 수 있다. 데이터 수집 장치(100)는 수집된 데이터를 분석하여 분류하고자 하는 객체의 행동을 검출할 수 있다. 데이터 수집 장치(100)는 검출된 각각의 객체 정보를 이용하여 수집된 영상 정보와 수집된 신호 정보로부터 객체 행동 분석 과정(120)을 수행할 수 있다. 도 5를 참고하면, 데이터 수집 장치(100)는 검출된 각각의 객체 정보를 이용하여 영상 정보를 이용한 행동 인식(510) 및 OOD 검출을 통한 행동 예측(520)을 수행할 수 있다. 데이터 수집 장치(100)는 검출된 객체 정보가 포함된 영상 정보에 대하여 심층 신경망 기반의 알고리즘을 통해 객체의 행동을 분류할 수 있다. 또는, 데이터 수집 장치(100)는 검출된 객체 정보가 포함된 영상 정보와 신호 정보에 대하여 심층 신경망 기반의 알고리즘을 통해 객체의 행동을 각각 분류할 수 있다.
이때, 심층 신경망 기반의 알고리즘은 사전에 객체의 행동을 분류하기 위한 데이터 셋을 이용하여 학습된 것일 수 있다. 데이터 수집 장치는 학습된 심층 신경망 기반의 알고리즘을 통해 객체의 행동을 분류할 수 있다. 예를 들면, 객체의 행동은 객체의 움직임 여부(예를 들면, 움직임, 정지 등)으로 분류될 수 있다. 데이터 수집 장치(100)는 객체가 정지하다가 움직이거나, 객체가 움직이다가 정지하는 등 객체의 움직임 변화를 객체의 행동으로 분류할 수 있다. 또는, 데이터 수집 장치(100)는 객체의 자세(예를 들면, 엎드린 자세, 서있는 자세, 앉아있는 자세 등)를 객체의 행동으로 분류할 수 있다. 또한, 데이터 수집 장치(110)는 객체가 정적 객체일 경우, 정적 객체에서 발생되는 변화를 포착하여 객체의 행동으로 분류할 수도 있다.
데이터 수집 장치(100)는 OOD(Out-of-Distribution) 검출을 통해 객체의 행동을 예측할 수 있다. OOD는 현재 보유하고 있는 In-distribution 데이터 셋을 이용하여 multi-class classification network모델을 학습시킨 뒤, 사용 단계에서 In-distribution 테스트 데이터셋은 정확하게 예측하고 Out-of-distribution 데이터 셋은 걸러내는 것을 목표로 한다. OOD 검출을 위해 Temperature scaling과 input preprocessing 방법을 사용한다. Temperature scaling은 신경망에서 feature extractor의 마지막 부분에 있는 Softmax 함수에서 사용되며 식 (5)과 같다.
Figure pat00021
여기서,
Figure pat00022
는 입력 영상, T는 Temperature scaling을 의미한다. N개의 행동 클래스 분류하는 classification network의 출력은
Figure pat00023
으로 가정했을 때 각 클래스에 대한 Softmax 확률을 계산함으로써 신경망은
Figure pat00024
을 할당한다. Temperature scaling사용하면 in- distribution 이미지와 out-of-distribution의 이미지 사이의Softmax 확률을 분리하여 OOD 검출을 효과적으로 만들 수 있다. 또한, input preprocessing은 실제 레이블에 대한 softmax 확률을 낮추고 신경망이 잘못된 예측을 하도록 하기 위해 약간의 perturbation이 추가되며, 식 (6)과 같다.
Figure pat00025
여기서,
Figure pat00026
은 perturbation magnitude를 나타낸다. 여기에서 perturbation은 입력에 대한 교차 엔트로피 손실의 기울기를 역전파하여 쉽게 계산할 수 있다. 이를 통해 perturbation은 OOD 이미지보다 In-distribution 이미지에 더 강한 영향을 미치기 때문에 더 쉽게 분리할 수 있다.
OOD 검출기는 위에서 설명한 두 가지 구성 요소를 결합한다. 각 이미지
Figure pat00027
에 대해 먼저 식에 따라 전처리된 이미지
Figure pat00028
를 계산한다. 그 다음, 전처리된 이미지
Figure pat00029
를 신경망에 공급하고 보정된 Softmax 확률
Figure pat00030
를 계산하고 점수를 임계값
Figure pat00031
와 비교한다. softmax 확률이 임계값
Figure pat00032
보다 크다면 이미지
Figure pat00033
는 in-distribution 으로 분류된다. 이와 반대로 softmax 확률이 임계값
Figure pat00034
보다 작다면 이미지
Figure pat00035
는 out-of-distribution으로 분류된다. 데이터 수집 장치(100)는 검출된 각각의 객체 정보에서 기 설정된 기준 이하의 확률을 나타내는 객체 정보를 포함하는 영상 정보 또는 신호 정보를 제거할 수 있다. 데이터 수집 장치(100)는 기 설정된 기준 이상의 확률을 나타내는 영상 정보 또는 신호 정보만을 남겨둘 수 있다.
데이터 수집 장치(100)는 객체의 행동을 분석한 후 학습데이터 수집 과정(130)을 수행할 수 있다. 도 6을 참고하면, 데이터 수집 장치(100)는 수집된 영상 정보로부터 분류된 행동 정보와 수집된 신호 정보로부터 분류된 행동 정보가 매칭됨에 따라 수집된 신호 정보를 학습데이터로 사용할 것을 자동으로 결정할 수 있다. 데이터 수집 장치(100)는 학습데이터로 사용할 것으로 결정된 신호 정보를 데이터베이스(610)에 저장할 수 있다. 또는, 데이터 수집 장치(100)는 매칭된 영상 정보와 신호 정보를 데이터베이스에 저장할 수 있다. 예를 들면, 데이터 수집 장치(100)는 기 설정된 기준 이상의 확률을 나타내는 영상 정보로부터 분류된 행동 정보와 매칭되는 신호 정보를 데이터베이스에 저장할 수 있다.
데이터 수집 장치(100)는 학습데이터용 레이더 신호 정보를 저장 및 관리(620)할 수 있다. 데이터 수집 장치(100)는 학습데이터용 레이더 신호 정보를 별도의 데이터베이스에 저장할 수 있다. 예를 들면, 데이터 수집 장치(100)는 학습데이터용 레이더 신호 정보의 접근 권한을 설정할 수 있다. 데이터 수집 장치(100)는 학습데이터용 레이더 신호 정보에 대하여 관리자에게 접근할 수 있는 권한을 부여할 수 있고, 사용자에게 접근할 수 있는 권한을 부여하지 않을 수 있다. 이에, 관리자만이 학습데이터용 레이더 신호 정보에 접근이 허용될 수 있다.
실시예에 따르면, 레이더 기반 객체의 행동인식을 위한 학습데이터 수집의 문제점을 해결함으로써 심층 신경망 기반의 알고리즘의 정확도 및 신뢰성을 향상시킬 수 있으며, 외부 환경 변화의 취약성 및 사생활 보호와 같은 영상의 단점을 보완함으로써 건강, 웰빙, 보안, 안전 등 다양한 분야에서 확장성 및 유용성이 향상될 것으로 기대된다.
도 2는 일 실시예에 따른 데이터 수집 장치의 구성을 설명하기 위한 블록도이고, 도 3은 일 실시예에 따른 데이터 수집 장치에서 학습데이터 수집 방법을 설명하기 위한 흐름도이다.
데이터 수집 장치(100)의 프로세서는 객체 검출 및 전처리부(210), 객체 행동 분석부(220) 및 학습데이터 수집부(230)를 포함할 수 있다. 이러한 프로세서의 구성요소들은 데이터 수집 장치에 저장된 프로그램 코드가 제공하는 제어 명령에 따라 프로세서에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다. 프로세서 및 프로세서의 구성요소들은 도 3의 학습데이터 수집 방법이 포함하는 단계들(310 내지 330)을 수행하도록 데이터 수집 장치를 제어할 수 있다. 이때, 프로세서 및 프로세서의 구성요소들은 메모리가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다.
프로세서는 학습데이터 수집 방법을 위한 프로그램의 파일에 저장된 프로그램 코드를 메모리에 로딩할 수 있다. 예를 들면, 데이터 수집 장치에서 프로그램이 실행되면, 프로세서는 운영체제의 제어에 따라 프로그램의 파일로부터 프로그램 코드를 메모리에 로딩하도록 데이터 수집 장치를 제어할 수 있다. 이때, 프로세서는 객체 검출 및 전처리부(210), 객체 행동 분석부(220) 및 학습데이터 수집부(230) 각각은 메모리에 로딩된 프로그램 코드 중 대응하는 부분의 명령을 실행하여 이후 단계들(310 내지 330)을 실행하기 위한 프로세서의 서로 다른 기능적 표현들일 수 있다.
단계(310)에서 객체 검출 및 전처리부(210)는 카메라로부터 수집된 영상 정보와 레이더에 의해 수집된 신호 정보로부터 객체가 존재하는 것으로 판단됨에 따라 각각의 객체 정보를 검출할 수 있다. 객체 검출 및 전처리부(210)는 수집된 영상 정보로부터 객체 검출을 위해 조명 또는 먼지에 의해 발생하는 행동인식 오차를 감소시키기 위해 객체 검출 가능 여부를 판단할 수 있다. 객체 검출 및 전처리부(210)는 주파수변조연속파(FMCW) 방식으로 사용하여 송신 주파수를 톱니파 또는 삼각파로 변조하고, 변조된 송신 주파수와 수신 주파수의 차이를 통해 대상의 거리 및 속도의 관계로 환산하여 객체를 검출할 수 있다. 객체 검출 및 전처리부(210)는 객체 검출이 가능한 환경으로 판단됨에 따라 수집된 영상 정보에서 시간에 따라 변화되는 특징점을 사용하여 객체를 검출할 수 있다.
단계(320)에서 객체 행동 분석부(220)는 검출된 각각의 객체 정보를 이용하여 수집된 영상 정보와 수집된 신호 정보로부터 객체의 행동을 분석할 수 있다. 객체 행동 분석부(220)는 심층 신경망 기반 알고리즘을 이용하여 검출된 각각의 객체 정보로부터 객체의 행동을 분류할 수 있다. 객체 행동 분석부(220)는 검출된 각각의 객체 정보를 이용하여 수집된 영상 정보와 수집된 신호 정보로부터 OOD 검출을 통한 객체의 행동을 예측할 수 있다.
단계(330)에서 학습데이터 수집부(230)는 분석된 객체의 행동을 통해 영상 정보로부터 분류된 행동 정보와 매칭되는 수집된 신호 정보를 학습데이터로 수집할 수 있다. 학습데이터 수집부(230)는 영상 정보로부터 분류된 행동 정보 수집된 신호 정보로부터 분류된 행동 정보가 매칭됨에 따라 수집된 신호 정보를 학습데이터로 사용할 것을 결정하고, 학습데이터로 사용할 것으로 결정된 신호 정보를 데이터베이스에 저장할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 데이터 수집 장치에 의해 수행되는 학습데이터 수집 방법에 있어서,
    카메라로부터 수집된 영상 정보와 레이더에 의해 수집된 신호 정보로부터 객체가 존재하는 것으로 판단됨에 따라 각각의 객체 정보를 검출하는 단계;
    상기 검출된 각각의 객체 정보를 이용하여 상기 수집된 영상 정보와 상기 수집된 신호 정보로부터 객체의 행동을 분석하는 단계; 및
    상기 분석된 객체의 행동을 통해 상기 영상 정보로부터 분류된 행동 정보와 매칭되는 상기 수집된 신호 정보를 학습데이터로 수집하는 단계
    를 포함하는 학습데이터 수집 방법.
  2. 제1항에 있어서,
    상기 검출하는 단계는,
    상기 수집된 영상 정보로부터 객체 검출을 위해 조명 또는 먼지에 의해 발생하는 행동인식 오차를 감소시키기 위해 객체 검출 가능 여부를 판단하는 단계
    를 포함하는 학습데이터 수집 방법.
  3. 제2항에 있어서,
    상기 검출하는 단계는,
    주파수변조연속파(FMCW) 방식으로 사용하여 송신 주파수를 톱니파 또는 삼각파로 변조하고, 상기 변조된 송신 주파수와 수신 주파수의 차이를 통해 대상의 거리 및 속도의 관계로 환산하여 객체를 검출하는 단계
    를 포함하는 학습데이터 수집 방법.
  4. 제2항에 있어서,
    상기 검출하는 단계는,
    상기 객체 검출이 가능한 환경으로 판단됨에 따라 상기 수집된 영상 정보에서 시간에 따라 변화되는 특징점을 사용하여 객체를 검출하는 단계
    를 포함하는 학습데이터 수집 방법.
  5. 제1항에 있어서,
    상기 분석하는 단계는,
    심층 신경망 기반 알고리즘을 이용하여 상기 검출된 각각의 객체 정보로부터 객체의 행동을 분류하는 단계
    를 포함하는 학습데이터 수집 방법.
  6. 제1항에 있어서,
    상기 분석하는 단계는,
    상기 검출된 각각의 객체 정보를 이용하여 상기 수집된 영상 정보와 상기 수집된 신호 정보로부터 OOD 검출을 통한 객체의 행동을 예측하는 단계
    를 포함하는 학습데이터 수집 방법.
  7. 제1항에 있어서,
    상기 수집하는 단계는,
    상기 영상 정보로부터 분류된 행동 정보와 상기 수집된 신호 정보로부터 분류된 행동 정보가 매칭됨에 따라 상기 수집된 신호 정보를 학습데이터로 사용할 것을 결정하고, 상기 학습데이터로 사용할 것으로 결정된 신호 정보를 데이터베이스에 저장하는 단계
    를 포함하는 학습데이터 수집 방법.
  8. 데이터 수집 장치에 의해 수행되는 학습데이터 수집 방법을 실행시키기 위하여 컴퓨터 판독 가능한 저장매체에 저장된 컴퓨터 프로그램에 있어서,
    카메라로부터 수집된 영상 정보와 레이더에 의해 수집된 신호 정보로부터 객체가 존재하는 것으로 판단됨에 따라 각각의 객체 정보를 검출하는 단계;
    상기 검출된 각각의 객체 정보를 이용하여 상기 수집된 영상 정보와 상기 수집된 신호 정보로부터 객체의 행동을 분석하는 단계; 및
    상기 분석된 객체의 행동을 통해 상기 영상 정보로부터 분류된 행동 정보와 매칭되는 상기 수집된 신호 정보를 학습데이터로 수집하는 단계
    를 포함하는 컴퓨터 판독 가능한 저장매체에 저장된 컴퓨터 프로그램.
  9. 데이터 수집 장치에 있어서,
    카메라로부터 수집된 영상 정보와 레이더에 의해 수집된 신호 정보로부터 객체가 존재하는 것으로 판단됨에 따라 각각의 객체 정보를 검출하는 객체 검출 및 전처리부;
    상기 검출된 각각의 객체 정보를 이용하여 상기 수집된 영상 정보와 상기 수집된 신호 정보로부터 객체의 행동을 분석하는 객체 행동 분석부; 및
    상기 분석된 객체의 행동을 통해 상기 영상 정보로부터 분류된 행동 정보와 매칭되는 상기 수집된 신호 정보를 학습데이터로 수집하는 학습데이터 수집부
    를 포함하는 데이터 수집 장치.
  10. 제9항에 있어서,
    상기 객체 검출 및 전처리부는,
    상기 수집된 영상 정보로부터 객체 검출을 위해 조명 또는 먼지에 의해 발생하는 행동인식 오차를 감소시키기 위해 객체 검출 가능 여부를 판단하는
    것을 특징으로 하는 데이터 수집 장치.
  11. 제10항에 있어서,
    상기 객체 검출 및 전처리부는,
    주파수변조연속파(FMCW) 방식으로 사용하여 송신 주파수를 톱니파 또는 삼각파로 변조하고, 상기 변조된 송신 주파수와 수신 주파수의 차이를 통해 대상의 거리 및 속도의 관계로 환산하여 객체를 검출하는
    것을 특징으로 하는 데이터 수집 장치.
  12. 제10항에 있어서,
    상기 객체 검출 및 전처리부는,
    상기 객체 검출이 가능한 환경으로 판단됨에 따라 상기 수집된 영상 정보에서 시간에 따라 변화되는 특징점을 사용하여 객체를 검출하는
    것을 특징으로 하는 데이터 수집 장치.
  13. 제9항에 있어서,
    상기 객체 행동 분석부는,
    심층 신경망 기반 알고리즘을 이용하여 상기 검출된 각각의 객체 정보로부터 객체의 행동을 분류하는
    것을 특징으로 하는 데이터 수집 장치.
  14. 제9항에 있어서,
    상기 객체 행동 분석부는,
    상기 검출된 각각의 객체 정보를 이용하여 상기 수집된 영상 정보와 상기 수집된 신호 정보로부터 OOD 검출을 통한 객체의 행동을 예측하는
    것을 특징으로 하는 데이터 수집 장치.
  15. 제9항에 있어서,
    상기 학습데이터 수집부는,
    상기 영상 정보로부터 분류된 행동 정보와 상기 수집된 신호 정보로부터 분류된 행동 정보가 매칭됨에 따라 상기 수집된 신호 정보를 학습데이터로 사용할 것을 결정하고, 상기 학습데이터로 사용할 것으로 결정된 신호 정보를 데이터베이스에 저장하는
    것을 특징으로 하는 데이터 수집 장치.
KR1020220001436A 2022-01-05 2022-01-05 심층 신경망 기반 레이더를 이용한 객체 행동 인식을 위한 자동 학습데이터 수집 장치 KR102658518B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220001436A KR102658518B1 (ko) 2022-01-05 2022-01-05 심층 신경망 기반 레이더를 이용한 객체 행동 인식을 위한 자동 학습데이터 수집 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220001436A KR102658518B1 (ko) 2022-01-05 2022-01-05 심층 신경망 기반 레이더를 이용한 객체 행동 인식을 위한 자동 학습데이터 수집 장치

Publications (2)

Publication Number Publication Date
KR20230105868A true KR20230105868A (ko) 2023-07-12
KR102658518B1 KR102658518B1 (ko) 2024-04-18

Family

ID=87163652

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220001436A KR102658518B1 (ko) 2022-01-05 2022-01-05 심층 신경망 기반 레이더를 이용한 객체 행동 인식을 위한 자동 학습데이터 수집 장치

Country Status (1)

Country Link
KR (1) KR102658518B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170114045A (ko) * 2016-03-31 2017-10-13 주식회사 아이유플러스 이미지 센서 및 레이더 센서를 이용하여 타겟의 궤적을 추적하는 장치 및 방법
KR20210073292A (ko) * 2019-12-10 2021-06-18 주식회사 에이치랩 레이더 기반 제스처 인식 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170114045A (ko) * 2016-03-31 2017-10-13 주식회사 아이유플러스 이미지 센서 및 레이더 센서를 이용하여 타겟의 궤적을 추적하는 장치 및 방법
KR20210073292A (ko) * 2019-12-10 2021-06-18 주식회사 에이치랩 레이더 기반 제스처 인식 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Shiyu Liang외 2명, "Enhancing The Reliability of Out-of-Distribution Image Detection in Neural Networks", Published as a conference paper at ICLR 2018, pp.1-15, (2020.08.30.) 1부.* *

Also Published As

Publication number Publication date
KR102658518B1 (ko) 2024-04-18

Similar Documents

Publication Publication Date Title
KR101995107B1 (ko) 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템
CN106796656B (zh) 距飞行时间相机的深度
Dedeoğlu Moving object detection, tracking and classification for smart video surveillance
KR101764845B1 (ko) 다중 이동 물체의 겹침 제거 및 추적을 위한 영상 감시 장치 및 방법
US9530221B2 (en) Context aware moving object detection
Rakibe et al. Background subtraction algorithm based human motion detection
Qureshi et al. QuickBlaze: early fire detection using a combined video processing approach
JP5325899B2 (ja) 侵入警報ビデオ処理装置
KR102373753B1 (ko) 딥러닝 기반의 차량식별추적 방법, 및 시스템
KR101731243B1 (ko) 유사한 색상을 지닌 다중 이동 물체의 식별 및 추적을 위한 영상 감시 장치 및 방법
CN101986348A (zh) 一种视觉目标识别与跟踪方法
Holzer et al. Learning to efficiently detect repeatable interest points in depth data
KR101735874B1 (ko) 차량 번호판 검출 장치 및 방법
KR102658518B1 (ko) 심층 신경망 기반 레이더를 이용한 객체 행동 인식을 위한 자동 학습데이터 수집 장치
CN109558771B (zh) 海上船舶的行为状态识别方法、装置、设备及存储介质
KR101614798B1 (ko) 컬러 이미지 분석을 이용한 비접촉 멀티 터치 인식 방법 및 시스템
Hussien Detection and tracking system of moving objects based on MATLAB
KR20220107920A (ko) 카메라 영상을 이용한 딥러닝 기술 기반 전방 보행자의 자세 예측 및 이를 활용한 충돌 위험도 추정 기술
JP7208051B2 (ja) 状態認識装置
KR101777948B1 (ko) 엔트로피와 배경변화율 차이점을 이용한 주요 객체 자동 검출 장치
Wibowo et al. Blob Detection in Static Camera with Gaussian Mixture and Silhouette Index for Human Counting Application
Vesom Pixel-wise motion detection in persistent aerial video surveillance
Singh et al. Development of accurate face recognition process flow for authentication
Li Object detection and instance segmentation of cables
Wang et al. A Novel Approach of Human Tracking and Counting Using Overhead ToF Camera

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant