KR20170137350A - 신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치 및 그 방법 - Google Patents

신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치 및 그 방법 Download PDF

Info

Publication number
KR20170137350A
KR20170137350A KR1020160069343A KR20160069343A KR20170137350A KR 20170137350 A KR20170137350 A KR 20170137350A KR 1020160069343 A KR1020160069343 A KR 1020160069343A KR 20160069343 A KR20160069343 A KR 20160069343A KR 20170137350 A KR20170137350 A KR 20170137350A
Authority
KR
South Korea
Prior art keywords
image
pattern
learning
motion pattern
movement
Prior art date
Application number
KR1020160069343A
Other languages
English (en)
Other versions
KR101925907B1 (ko
Inventor
이춘원
Original Assignee
(주)싸이언테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)싸이언테크 filed Critical (주)싸이언테크
Priority to KR1020160069343A priority Critical patent/KR101925907B1/ko
Publication of KR20170137350A publication Critical patent/KR20170137350A/ko
Application granted granted Critical
Publication of KR101925907B1 publication Critical patent/KR101925907B1/ko

Links

Images

Classifications

    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/66—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 입력영상에서 움직이는 객체의 특징점을 추적하고 각 움직임 패턴을 학습하여 토픽별로 분류하는 움직임 패턴 획득부 및 상기 움직임 패턴 획득부에 저장된 움직임 패턴(토픽)정보를 이용하여 입력된 이미지에 따른 움직임 패턴을 학습하는 이미지별 움직임 패턴 학습부를 포함하는 신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치를 제공한다.
본 발명에 따르면, 감시지역에 대한 하루정도 분량의 CCTV 카메라 영상을 학습영상으로 입력받아 DBN 및 GAN을 이용하여 학습한 이후 해당 감시지역의 영상을 입력받아 어떠한 움직임 패턴이 나타나고 있는지를 즉각적으로 확인할 수 있다.

Description

신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치 및 그 방법{APPARATUS AND METHOD FOR STUDYING PATTERN OF MOVING OBJECTS USING ADVERSARIAL DEEP GENERATIVE MODEL}
본 발명은 객체 움직임 패턴 학습장치 및 그 방법에 관한 것으로써, 더욱 상세하게는 신경망 생성 모델을 이용, 교통 감지 상황에서 직진, 좌회전, 우회전 등의 주요한 객체의 움직임 패턴을 자동으로 학습할 수 있는 신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치 및 그 방법에 관한 것이다.
대규모 CCTV 시스템의 경우에 수십 개에서 수백 개에 이르는 영상들을 관리요원들이 모니터링하여야 하므로 대단히 많은 인원이 소요되면서도 감시 요원의 집중력 저하나 피로, 부주의, 임의적인 판단에 따라 중요한 상황을 놓치는 경우가 종종 있을 뿐 아니라, 엄청난 시간의 영상을 저장하는 문제에서도 곤란한 점이 많다.
따라서 공공 장소를 감시하기 위해 CCTV 카메라로 공공 장소를 촬영하고 자동으로 영상을 분석하여 불특정 다수의 물체들을 추출하고 움직임을 분석하여, 비정상적인 움직임이 감지될 경우에 자동으로 관리자에게 경고하거나 그 밖의 연계된 자동화 시스템에 정보를 전달하는 지능형 영상 감시 시스템에 대한 요구가 점점 커지고 있다.
본 발명과 관련된 선행기술로 대한민국공개특허공보 제2014-0106362호의 '비정상 움직임 탐지 장치 및 방법'은 입력영상 내에서 움직이는 물체의 특징점을 추출한 후, 상기 추출된 특징점들의 시간에 따른 위치변화를 추적하여 상기 추출된 특징점들의 궤적을 파악하는 특징점 추적부, 상기 입력영상을 상기 궤적의 묶음인 문서단위로 분류하고, 확률적 토픽 모델인 온라인 학습방법을 적용하여 분류된 문서를 구성하는 토픽들의 확률분포 상태를 파악하는 토픽 온라인 학습부 및 상기 파악된 토픽별로 영역, 속도 및 방향을 학습하고, 파악된 토픽 간의 시공간적 연관관계를 추론하여 움직임 패턴을 학습하는 움직임 패턴 온라인 학습부를 포함하고 있다.
그러나 상기 선행기술은 카메라로부터 획득된 이미지 정보를 활용하지 못하고 단지 이미지로부터 추출된 객체의 궤적정보만을 활용하여 객체의 움직임 패턴을 분석하고 있을 뿐이다.
따라서 복잡한 패턴을 가진 궤적들을 분석하여 각 움직임에 따른 토픽별로 분류하여 움직임 패턴을 생성함과 동시에 카메라로부터 입력된 이미지 정보만을 이용하여 입력된 이미지에 해당하는 움직임 패턴을 예측할 수 있는 새로운 객체 움직임 패턴 학습방법이 요구된다 할 것이다.
대한민국 공개특허공보 제10-2014-0106362호(2014.09.03)
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 본 발명의 목적은 복잡한 패턴을 가진 궤적들을 분석하여 각 움직임에 따른 토픽별로 분류하여 움직임 패턴을 생성함과 동시에 카메라로부터 입력된 이미지 정보만을 이용하여 입력된 이미지에 해당하는 움직임 패턴을 분석, 예측할 수 있는 신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치 및 그 방법을 제공하기 위한 것이다.
상기 과제를 해결하기 위해, 본 발명의 일실시예인 입력영상에서 움직이는 객체의 특징점을 추적하고 각 움직임 패턴을 학습하여 토픽별로 분류하는 움직임 패턴 획득부 및 상기 움직임 패턴 획득부에 저장된 움직임 패턴(토픽)정보를 이용하여 입력된 이미지에 따른 움직임 패턴을 학습하는 이미지별 움직임 패턴 학습부를 포함할 수 있다.
본 발명의 일실시예의 일태양에 의하면, 상기 움직임 패턴 획득부는 카메라로부터 소정의 영상을 획득하는 영상획득부, 상기 영상획득부에서 출력되는 입력 영상의 매 이미지를 소정의 규격으로 구획된 격자로 나눈 후, 상기 특징점이 통과하는 각 격자의 집합을 움직임 패턴 분류부의 입력 관측값으로 생성하는 특징점 추적부 및 상기 입력 관측값을 입력받아 Deep Belief Network(DBN)를 통하여 움직임 패턴을 학습하고 각 움직임 패턴을 토픽별로 분류하는 움직임 패턴 분류부를 포함할 수 있다.
본 발명의 일실시예의 일태양에 의하면, 상기 이미지별 움직임 패턴 학습부는 입력된 이미지에 따른 움직임 패턴 정보를 출력하는 제너레이터, 상기 제너레이터에서 출력되는 움직임 패턴 정보(G(z))와 입력된 이미지와 동기화된 상기 움직임 패턴 획득부에 저장된 움직임 패턴정보(D(x))를 구분하는 디스크리미네이터 및 상기 제너레이터에서 출력되는 움직임 패턴(G(z))와 상기 디스크리미네이터에서 출력되는 움직임 패턴(D(x))간 차이가 최대화 되도록 상기 디스크리미네이터를 업데이트한 후, 상기 차이가 최소화 되도록 제너레이터를 업데이트하는 업데이트부를 포함할 수 있다.
본 발명의 또 다른 일실시예인 신경망 생성 모델을 이용한 객체 움직임 패턴 학습방법은 입력된 영상으로부터 움직이는 객체의 특징점이 소정의 규격으로 구획된 격자를 통과하는 각 격자의 집합을 입력 관측값으로 생성하는 단계, 상기 입력 관측값을 입력받아 Deep Belief Network(DBN)를 통하여 움직임 패턴을 학습하고 각 움직임 패턴을 토픽별로 분류, 저장하는 단계, 소정의 입력 이미지에 따른 움직임 패턴(G(z))을 생성하는 단계 및 상기 움직임 패턴(G(z))과 DBN으로 부터 전달받은 움직임 패턴(D(x), 소정의 입력 이미지와 동기화됨)과의 상관관계를 학습하는 단계를 포함할 수 있다.
본 발명의 또 다른 일실시예의 일태양에 의하면, 상기 생성된 움직임 패턴과 저장된 움직임 패턴(소정의 입력 이미지와 매칭됨)과의 상관관계를 학습하는 단계는 움직임 패턴(G(z))과 움직임 패턴(D(x)) 차이에 따라 GAN의 디스크리미네이터는 양 움직임 패턴을 더욱 잘 구분하기 위하여 상기 차이를 극대화하는 방향으로 업데이트를 진행하며, GAN의 제너레이터는 양 움직임 패턴간의 차이를 최소화 하는 방향으로 업데이트를 진행하는 것을 특징으로 한다.
상기와 같은 본 발명에 따르면, 감시지역에 대한 하루정도 분량의 CCTV 카메라 영상을 학습영상으로 입력받아 DBN 및 GAN을 이용하여 학습한 이후 해당 감시지역의 영상을 입력받아 어떠한 움직임 패턴이 나타나고 있는지를 즉각적으로 확인할 수 있다.
따라서 판단된 움직임 패턴정보를 이용하여 현재 패턴과 크게 어긋나는 움직임을 비정상 움직임으로 판단할 수 있으며, 교통현황을 파악하는 경우, 각 움직임 패턴별 교통량 측정 등 교통 통계분석에 활용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치의 블록구성도이다.
도 2는 본 발명의 일 실시예에 따른 움직임 패턴을 생성하여 저장하는 움직임 패턴 분류부 및 이미지별 움직임 패턴 학습부를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상내 객체의 특징점을 추적하는 과정을 설명하기 위한 사진이다.
도 4는 본 발명의 일 실시예에 따른 영상내 객체의 움직임 패턴을 각 토픽별로 분류된 화면을 보여주는 사진이다.
도 5는 본 발명의 일 실시예에 따른 신경망 생성 모델을 이용한 입력된 이미지에 따른 움직임 패턴 학습방법을 설명하기 위한 순서도이다.
이하의 상세한 설명은 예시에 지나지 않으며, 본 발명의 실시 예를 도시한 것에 불과하다. 또한 본 발명의 원리와 개념은 가장 유용하고, 쉽게 설명할 목적으로 제공된다.
따라서, 본 발명의 기본 이해를 위한 필요 이상의 자세한 구조를 제공하고자 하지 않았음은 물론 통상의 지식을 가진 자가 본 발명의 실체에서 실시될 수 있는 여러 가지의 형태들을 도면을 통해 예시한다.
이하 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 대한 구성 및 작용을 상세히 설명하면 다음과 같다.
도 1은 본 발명의 일 실시예에 따른 신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치의 블록구성도이고, 도 2는 본 발명의 일 실시예에 따른 움직임 패턴을 생성하여 저장하는 움직임 패턴 분류부 및 이미지별 움직임 패턴 학습부를 설명하기 위한 도면이다.
도 1에서 보는 바와 같이, 움직임 패턴 학습장치(1000)는 카메라로부터 소정의 영상을 획득하는 영상획득부(110)로부터 입력되는 영상에서 움직이는 객체의 특징점을 추적하고 각 움직임 패턴을 학습하여 토픽별로 분류하는 움직임 패턴 획득부(100) 및 상기 움직임 패턴 획득부에 저장된 움직임 패턴(토픽)정보를 이용하여 입력된 이미지에 따른 움직임 패턴을 학습하는 이미지별 움직임 패턴 학습부(200)를 포함할 수 있다.
도 2를 참조하면, 움직임 패턴 학습장치(1000)에서 상기 움직임 패턴 획득부(100)는 Deep Belief Network(이하 'DBN'이라 한다)를 이용하며, 이미지별 움직임 패턴 학습부(200)는 Generative Adversarial Network(이하 'GAN'이라 한다, 200)를 이용하여 구현될 수 있다.
상기 DBN은 Restricted Boltzmann Machine(이하 'RBM'이라 한다)이 여러층으로 쌓여져 있는 형태로 구성되어 소정의 학습 훈련을 하기 위한 관측값이 입력되는 입력 레이어(131)와 입력 레이어의 각각의 노드들과 연결되는 각각의 노드들로 구성되는 상위 레이어(132)와 상위 레이와 연결되는 제1 은닉 레이어(133) 및 제1 은닉 레이어와 연결되는 제2 은닉 레이어(134)로 구성될 수 있다. 기본적으로 RBM은 볼 수 있는 층(Visible layer)와 숨겨진 층(Hidden layer)의 두층으로 이루어지며 하나의 층을 구성하는 노드들과 다른 층을 구성하는 노드들은 각각의 가중치(W)에 의하여 연결관계가 결정되고 소정의 학습규칙에 따라 원래의 입력 데이터가 확률적으로 복구될 때까지 각각의 히든 노드값 및 각각의 가중치를 업데이트함으로써 학습을 하게 된다. DBN의 입력 레이어(131)의 각 노드에 입력되는 입력 관측값(Xi1, Xi2, ~ Xin)은 특징점 추적부(120)에서 입력 영상의 매 이미지를 소정의 규격으로 구획된 격자로 나눈 후(예를 들어 매 이미지를 10*10 격자로 나눔), 상기 특징점이 통과하는 각 격자의 집합으로 표현될 수 있다.
특징점 추적부(120)는 KLT(Kande-Lukas-Tomasi) 추적 알고리즘에 의하여 구현될 수 있으며, 다른 객체 추적 알고리즘에 비하여 혼잡한 상황에서 객체의 움직임 정보를 제공할 수 있다(도 3 참조). 입력되는 영상의 매 이미지별 특징점이 통과하는 궤적 정보는 움직임 패턴을 분석하기 위하여 이산화된 값으로 변환되어 입력 관측값으로 생성될 수 있다. 상기 입력 관측값(Xi1, Xi2, ~ Xin)은 DBN(130)의 입력 레이어의 각각의 노드값으로 입력되며, RBM의 소정의 학습규칙에 따라 각각의 가중치(W)가 결정될 수 있다. 여기서 상기 입력 관측값(특징점 궤적정보)은 문서(document)형태로 제공될 수 있다.
움직임 패턴 분류부(130)는 DBN을 통하여 결정된 상위 레이어(132)를 구성하는 노드(t1,t2 ~ tk)의 개수(여기서는 K개)에 따라 토픽으로 분류될 수 있다. 상기 토픽(Topic)은 각 움직임 패턴을 학습한 결과 나타나는 예를 들어 영상에서 객체의 움직임 학습결과 직진, 좌회전, 우회전, U턴 등으로 분류될 수 있으며, 상위 레이어(132)의 노드 개수를 조정함으로써 학습된 움직임 패턴에 의하여 분류할 수 있는 토픽 개수를 조정할 수 있다. 여기서 각각의 움직임 패턴정보는 상위 레이어(132) 각각의 노드들에서 입력 레이어(131) 각각의 노드 방향으로 정의되는 가중치 행렬 W의 각 열 벡터(Column Vector)로 정의될 수 있다. 도 4는 본 발명의 일 실시예에 따른 영상내 객체의 움직임 패턴을 각 토픽별로 분류된 화면을 보여주는 사진으로 도 4에서 보는 바와 같이, 움직임 패턴 획득부(100)는 사거리에 대한 교통영상을 입력받아 영상에서 움직이는 객체의 움직임 패턴을 DBN을 통하여 학습하고 각 학습된 움직임 패턴을 직진, 좌회전, 우회전 등의 토픽으로 분류하여 화면에 표시할 수 있다.
다시 도 2를 참조하면, 이미지별 움직임 패턴 학습부(200)는 GAN를 이용하여 구현할 수 있으며, 제너레이터(220), 디스크리미네이터(210) 및 업데이트부(미도시)를 포함할 수 있다.
이미지별 움직임 패턴 학습부(200)는 DBN을 이용하는 움직임 패턴 획득부(100)와 연동하여 입력되는 이미지별로 어떠한 움직임 패턴이 나타나는지를 학습할 수 있다. 이미지별 움직임 패턴 학습부(200)는 입력되는 이미지별 해당하는 움직임 패턴을 학습하기 위하여 영상의 이미지별로 DBN의 입력 레이어로 입력되는 입력 관측값(특징점의 궤적정보)과 GAN의 제너레이터(220)에 입력되는 이미지의 싱크(sync)가 동일해야 한다. 즉 DBN은 입력되는 영상 중 소정의 t시간에 입력되는 이미지(현재 프레임)에서의 입력 관측값(궤적정보)에 따라 어떤 움직임 패턴이 나타나는지에 대한 학습이 이미 이루어져 있음으로 소정의 t 시간에 입력되는 이미지에 대한 움직임 패턴정보를 이미지별 움직임 패턴 학습부(200)의 상위 레이어(222)에 알려줄 수 있다. 따라서 제너레이터(220)는 소정의 t 시간에 입력되는 이미지정보(221)와 DBN으로부터 전달받은 움직임 패턴과 비교하여 상호 상관관계에 대하여 학습할 수 있다.
제너레이터(220)는 소정의 t시간에 DBN으로부터 전달받은 궤적에 따른 움직임 패턴정보(확률)를 기준으로 입력된 이미지정보(221)로부터 상기 전달받은 궤적에 따른 움직임 패턴정보(G(Z))를 출력할 수 있도록 학습할 수 있다.
디스크리미네이터(210)는 상기 제너레이터(220)에서 출력되는 움직임 패턴정보와 DBN으로부터 전달받은 움직임 패턴정보와의 차이를 구분하는 기능을 수행할 수 있다. 즉 GAN은 mini-max게임(수식 1 참조)을 통하여 디스크리미네이터의 성능을 최대한 끌어올리도록 계속적으로 학습함으로써 이미지별 움직임 패턴 학습부(200)는 소정의 t시간에 입력되는 이미지정보만을 가지고 해당 이미지정보에 따른 움직임 패턴을 화면상에 표시할 수 있다.
[수식1]
Figure pat00001
여기서 D(x)는 소정의 t시간에 DBN으로부터 전달받은 움직임 패턴정보이며, G(z)는 소정의 t시간에 이미지정보를 입력받은 제너레이터(220)에서 출력되는 움직임 패턴 정보이다.
업데이트부는 이미지별 움직임 패턴 학습부(200)의 최종목표인 소정의 t시간에 제너레이터(220)에 입력되는 이미지정보에 따라 출력되는 움직임 패턴정보와 DBN에서 소정의 t시간에 입력된 궤적정보에 따라 분류된 움직임 패턴정보가 일치하여 양자를 구분할 수 없도록 제너레이터(220)와 디스크리미네이터(210)를 업데이트하는 기능을 수행한다. 업데이트부는 소정의 t시간에 이미지정보를 입력받은 제너레이터(220)에서 출력되는 움직임 패턴 정보(G(z))와 상기 DBN으로부터 전달받은 움직임 패턴정보(D(x))간 차이가 최대화 되도록 상기 디스크리미네이터(210)를 업데이트한 후, 상기 차이가 최소화 되도록 제너레이터(220)를 업데이트할 수 있다. 이러한 업데이트에 의하여 이미지별 움직임 패턴 학습부(200)의 디스크리미네이터(210)는 G(z)와 D(x)간 차이를 더욱 잘 구분하도록 학습되며, 동시에 제너레이터(220)는 디스크리미네이터(210)로도 구분할 수 없는 G(z)를 출력할 수 있도록 학습될 수 있다. 따라서 이미지별 움직임 패턴 학습부(200)가 충분한 학습을 거쳐 최종적으로 제너레이터(220)에서 디스크리미네이터(210)로도 구분할 수 없는 G(z)를 출력하고 있다고 판단되면 학습이 종료되며, 최종적으로 움직임 패턴 학습장치(1000)는 움직임 패턴 획득부(100)가 필요없이 독립적으로 입력되는 영상의 매 이미지별(프레임별)로 정확한 움직임 패턴 정보를 화면에 즉각적으로 표시할 수 있다.
이러한 움직임 패턴 학습장치(1000)는 감시지역에 대한 하루정도 분량의 CCTV 카메라 영상을 학습영상으로 입력받아 DBN 및 GAN을 이용하여 학습한 이후 해당 감시지역의 영상을 입력받아 어떠한 움직임 패턴이 나타나고 있는지를 즉각적으로 확인할 수 있다. 또한 이러한 영상의 움직임 패턴정보를 이용하여 현재까지 학습한 패턴과 크게 어긋나는 움직임 패턴이 감지(예를 들면, 역주행 또는 무단횡단 등) 되었을 경우 자동으로 비정상 움직임으로 판단하고 이를 외부에 알릴 수 있다.
도 5는 본 발명의 일 실시예에 따른 신경망 생성 모델을 이용한 입력된 이미지에 따른 움직임 패턴 학습방법을 설명하기 위한 순서도이다.
도 5에서 보는 바와 같이, 움직임 패턴 학습방법은 카메라로부터 획득된 감시영상을 입력받아(S51), 상기 감시영상으로부터 움직이는 객체의 특징점을 추출하여 매 이미지별 특징점이 통과하는 미리 구획된 소정의 격자들의 집합을 DBN의 입력 관측값으로 생성한다(S52). 다음으로 상기 생성된 입력 관측값에 따른 DBN학습을 통하여 상위 레이어의 각 노드들에서 입력 레이어 각각의 노드 방향으로 정의되는 가중치 행렬를 계속적으로 업데이트함으로써 감시영상에서 추출되는 주요 움직임 패턴을 학습하고 분류한다(S53). 상기 학습된 움직임 패턴은 각 토픽(예를 들어, 직진, 좌회전, 우회전, U턴 등)별로 분류되어 저장된다(S54). 이로써 감시영상으로부터 움직임 패턴을 패턴을 학습하는 과정이 종료되며, 계속적으로 DBN에 의하여 학습되어 저장된 감시영상에서의 움직임 패턴정보들을 이용하여 순차적으로 입력되는 이미지프레임(F)별 어떠한 주요 움직임 패턴이 나타나게 되는지에 대한 상관관계를 학습할 수 있다. 먼저 감시영상으로부터 GAN으로 이미지 프레임(F)이 입력되면 상기 입력된 이미지 프레임(F)에 대한 움직임 패턴(G(z))이 출력된다(S55). 동시에 DBN에서는 상기 이미지 프레임(F)과 동기화되어 있는 궤적정보에 따른 움직임 패턴(D(x))이 GAN으로 전달되어 상기 움직임 패턴(G(z))과 움직임 패턴(D(x))이 일치하는지 판단한다(S57). 일치하지 않는 경우 움직임 패턴(G(z))과 움직임 패턴(D(x)) 차이에 따라 GAN의 제너레이터와 디스크리미네이터를 업데이트를 실행한다. 여기서 상기 디스크리미네이터는 양 움직임 패턴을 더욱 잘 구분하기 위하여 상기 차이를 극대화하는 방향으로 업데이트를 진행하며, 상기 제너레이터는 양 움직임 패턴간의 차이를 최소화 하는 방향으로 업데이트를 진행한다(S58). 계속적인 업데이트 수행 후(움직임 패턴 학습 후) 움직임 패턴(G(z))과 움직임 패턴(D(x))이 일치한다고 판단(확률적으로)하는 경우, 입력된 이미지에 따른 움직임 패턴을 표시할 수 있다(S59). 따라서 상술한 움직임 패턴 학습에 따라 순차적으로 영상이 들어올 경우 학습된 움직임 패턴 학습장치는 영상에 어떠한 주요 움직임 패턴이 나타나는 지를 학습할 수 있다.
본 발명의 움직임 패턴 학습장치는 Wake-up sleep Algorithm[1]과 Stochastic Gradient Descent를 통하여 DBN의 fine tuning하는 과정을 더 포함할 수 있으며, 학습이 종료되는 경우, 움직임 패턴 학습장치는 GAN에 이미지 시퀀스(sequence)가 입력되는 경우, 각 이미지에 해당하는 움직임 패턴을 화면에 표시함으로써 관리자는 현재 감시영상에서 객체의 움직임을 예측가능하다 할 것이다. 또한 GAN의 입력으로 이미지를 입력하고 있으나 이에 한정되지 않고 다양한 응용분야에서 획득된 다양한 형식을 갖는 입력에 따른 학습을 수행할 수 있다.
이상에서는 대표적인 실시 예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시 예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다.
그러므로 본 발명의 권리범위는 설명된 실시 예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100:움직임 패턴 획득부 110:영상 획득부
120:특징점 추적부 130:움직임 패턴 분류부
131:입력 레이어 132:토픽 레이어
133:제1 은닉 레이어 134:제2 은닉 레이어
200:움직임 패턴 학습부
210:디스크리미네이터 211:움직임 패턴(D(x))
212:움직임 패턴(G(z)) 220:제너레이터
221:이미지정보 222:상위 레이어
1000:움직임 패턴 학습장치

Claims (5)

  1. 입력영상에서 움직이는 객체의 특징점을 추적하고 각 움직임 패턴을 학습하여 토픽별로 분류하는 움직임 패턴 획득부 및
    상기 움직임 패턴 획득부에 저장된 움직임 패턴(토픽)정보를 이용하여 입력된 이미지에 따른 움직임 패턴을 학습하는 이미지별 움직임 패턴 학습부를 포함하는 신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치.
  2. 제 1항에 있어서,
    상기 움직임 패턴 획득부는
    카메라로부터 소정의 영상을 획득하는 영상획득부,
    상기 영상획득부에서 출력되는 입력 영상의 매 이미지를 소정의 규격으로 구획된 격자로 나눈 후, 상기 특징점이 통과하는 각 격자의 집합을 움직임 패턴 분류부의 입력 관측값으로 생성하는 특징점 추적부 및
    상기 입력 관측값을 입력받아 Deep Belief Network(DBN)를 통하여 움직임 패턴을 학습하고 각 움직임 패턴을 토픽별로 분류하는 움직임 패턴 분류부를 포함하는 신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치.
  3. 제 1항에 있어서,
    상기 이미지별 움직임 패턴 학습부는
    입력된 이미지에 따른 움직임 패턴 정보를 출력하는 제너레이터,
    상기 제너레이터에서 출력되는 움직임 패턴 정보(G(z))와 입력된 이미지와 동기화된 상기 움직임 패턴 획득부에 저장된 움직임 패턴정보(D(x))를 구분하는 디스크리미네이터 및
    상기 제너레이터에서 출력되는 움직임 패턴(G(z))와 상기 디스크리미네이터에서 출력되는 움직임 패턴(D(x))간 차이가 최대화 되도록 상기 디스크리미네이터를 업데이트한 후, 상기 차이가 최소화 되도록 제너레이터를 업데이트하는 업데이트부를 포함하는 신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치.
  4. 입력된 영상으로부터 움직이는 객체의 특징점이 소정의 규격으로 구획된 격자를 통과하는 각 격자의 집합을 입력 관측값으로 생성하는 단계;
    상기 입력 관측값을 입력받아 Deep Belief Network(DBN)를 통하여 움직임 패턴을 학습하고 각 움직임 패턴을 토픽별로 분류, 저장하는 단계;
    소정의 입력 이미지에 따른 움직임 패턴(G(z))을 생성하는 단계 및
    상기 움직임 패턴(G(z))과 DBN으로 부터 전달받은 움직임 패턴(D(x), 소정의 입력 이미지와 동기화됨)과의 상관관계를 학습하는 단계를 포함하는 신경망 생성 모델을 이용한 객체 움직임 패턴 학습방법.
  5. 제 4항에 있어서,
    상기 생성된 움직임 패턴과 저장된 움직임 패턴(소정의 입력 이미지와 매칭됨)과의 상관관계를 학습하는 단계는
    움직임 패턴(G(z))과 움직임 패턴(D(x)) 차이에 따라 GAN의 디스크리미네이터는 양 움직임 패턴을 더욱 잘 구분하기 위하여 상기 차이를 극대화하는 방향으로 업데이트를 진행하며, GAN의 제너레이터는 양 움직임 패턴간의 차이를 최소화 하는 방향으로 업데이트를 진행하는 것을 특징으로 하는 신경망 생성 모델을 이용한 객체 움직임 패턴 학습방법.
KR1020160069343A 2016-06-03 2016-06-03 신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치 및 그 방법 KR101925907B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160069343A KR101925907B1 (ko) 2016-06-03 2016-06-03 신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160069343A KR101925907B1 (ko) 2016-06-03 2016-06-03 신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20170137350A true KR20170137350A (ko) 2017-12-13
KR101925907B1 KR101925907B1 (ko) 2019-02-26

Family

ID=60944507

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160069343A KR101925907B1 (ko) 2016-06-03 2016-06-03 신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101925907B1 (ko)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064423A (zh) * 2018-07-23 2018-12-21 福建帝视信息科技有限公司 一种基于非对称循环生成对抗损失的智能修图方法
CN109165664A (zh) * 2018-07-04 2019-01-08 华南理工大学 一种基于生成对抗网络的属性缺失数据集补全与预测方法
KR101954719B1 (ko) 2018-08-09 2019-03-06 주식회사 인텔리빅스 이벤트감지장치 및 그 장치의 구동방법
KR101954717B1 (ko) 2018-10-22 2019-03-06 주식회사 인텔리빅스 고속분석 영상처리장치 및 그 장치의 구동방법
CN109740682A (zh) * 2019-01-08 2019-05-10 南京大学 一种基于域转化和生成模型的图像识别方法
CN109934282A (zh) * 2019-03-08 2019-06-25 哈尔滨工程大学 一种基于sagan样本扩充和辅助信息的sar目标分类方法
KR20190080415A (ko) * 2017-12-28 2019-07-08 주식회사 엔씨소프트 이미지 생성 시스템 및 방법
KR20190088087A (ko) * 2017-12-26 2019-07-26 이노뎁 주식회사 움직임 정보를 이용한 인공지능 학습기반의 이동객체 영상 분류처리 방법
CN110135365A (zh) * 2019-05-20 2019-08-16 厦门大学 基于幻觉对抗网络的鲁棒目标跟踪方法
KR20190103570A (ko) * 2018-02-28 2019-09-05 주식회사 비주얼캠프 시선 추적 방법 및 이를 수행하기 위한 단말
WO2020010979A1 (zh) * 2018-07-10 2020-01-16 腾讯科技（深圳）有限公司 手部关键点的识别模型训练方法、识别方法及设备
KR20200023686A (ko) 2018-08-17 2020-03-06 한양대학교 산학협력단 딥러닝을 이용한 아이템 추천 방법 및 장치
KR20200024401A (ko) * 2018-08-28 2020-03-09 두산메카텍 주식회사 센서를 이용한 물류 장비 관리 시스템 및 방법
KR20200061294A (ko) * 2018-11-23 2020-06-02 주식회사 스칼라웍스 머신 러닝을 이용하여 은닉 이미지를 추론하는 방법 및 장치
WO2020175818A1 (ko) * 2019-02-28 2020-09-03 네이버 주식회사 온라인 학습을 이용한 객체 트래킹을 위한 방법 및 시스템
CN111661045A (zh) * 2019-03-05 2020-09-15 宝马股份公司 训练用于察觉碰撞的轨迹预测的生成器单元和鉴别器单元
KR20200140334A (ko) * 2018-04-06 2020-12-15 지멘스 악티엔게젤샤프트 종래의 cad 모델들을 사용한 이미지들로부터 객체 인식
KR102254037B1 (ko) 2020-11-13 2021-05-20 주식회사 인텔리빅스 영상분석장치 및 그 장치의 구동방법
US11301704B2 (en) 2018-11-12 2022-04-12 Samsung Electronics Co., Ltd. Method and apparatus with image recognition
WO2022114506A1 (ko) * 2020-11-30 2022-06-02 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130042239A (ko) * 2011-10-18 2013-04-26 한국과학기술원 객체 움직임 예측을 위한 컴퓨터로 구현된 계층적 시간적 메모리 네트워크에 있는 일시적 예측 노드 및 이를 이용한 움직임 예측 장치
JP5361615B2 (ja) * 2009-08-31 2013-12-04 日本電信電話株式会社 行動制御学習方法、行動制御学習装置、行動制御学習プログラム
KR20140103046A (ko) * 2013-02-15 2014-08-25 삼성전자주식회사 객체 추적 방법 및 이를 지원하는 전자 장치
KR20140106362A (ko) 2013-02-25 2014-09-03 삼성테크윈 주식회사 비정상 움직임 탐지 장치 및 방법
KR20140132140A (ko) * 2013-05-07 2014-11-17 성균관대학교산학협력단 군중 궤적 추출을 이용한 비정상 행동 검출에 기초한 영상 감시 방법 및 영상 감시 장치
KR101513180B1 (ko) * 2013-09-10 2015-04-17 주식회사 제론헬스케어 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템 및 그 방법
KR101523740B1 (ko) * 2014-01-03 2015-05-28 (주)유디피 공간 매핑을 이용한 객체 추적 장치 및 방법
KR20150089061A (ko) * 2012-12-03 2015-08-04 나비센스, 인크. 물체의 움직임을 추정하기 위한 시스템 및 방법
KR101542206B1 (ko) * 2014-04-24 2015-08-12 (주)디브이알씨앤씨 코아스-파인 기법을 이용한 객체 추출과 추적 장치 및 방법
KR20150100141A (ko) * 2014-02-24 2015-09-02 주식회사 케이티 행동패턴 분석 장치 및 방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5361615B2 (ja) * 2009-08-31 2013-12-04 日本電信電話株式会社 行動制御学習方法、行動制御学習装置、行動制御学習プログラム
KR20130042239A (ko) * 2011-10-18 2013-04-26 한국과학기술원 객체 움직임 예측을 위한 컴퓨터로 구현된 계층적 시간적 메모리 네트워크에 있는 일시적 예측 노드 및 이를 이용한 움직임 예측 장치
KR20150089061A (ko) * 2012-12-03 2015-08-04 나비센스, 인크. 물체의 움직임을 추정하기 위한 시스템 및 방법
KR20140103046A (ko) * 2013-02-15 2014-08-25 삼성전자주식회사 객체 추적 방법 및 이를 지원하는 전자 장치
KR20140106362A (ko) 2013-02-25 2014-09-03 삼성테크윈 주식회사 비정상 움직임 탐지 장치 및 방법
KR20140132140A (ko) * 2013-05-07 2014-11-17 성균관대학교산학협력단 군중 궤적 추출을 이용한 비정상 행동 검출에 기초한 영상 감시 방법 및 영상 감시 장치
KR101513180B1 (ko) * 2013-09-10 2015-04-17 주식회사 제론헬스케어 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템 및 그 방법
KR101523740B1 (ko) * 2014-01-03 2015-05-28 (주)유디피 공간 매핑을 이용한 객체 추적 장치 및 방법
KR20150100141A (ko) * 2014-02-24 2015-09-02 주식회사 케이티 행동패턴 분석 장치 및 방법
KR101542206B1 (ko) * 2014-04-24 2015-08-12 (주)디브이알씨앤씨 코아스-파인 기법을 이용한 객체 추출과 추적 장치 및 방법

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190088087A (ko) * 2017-12-26 2019-07-26 이노뎁 주식회사 움직임 정보를 이용한 인공지능 학습기반의 이동객체 영상 분류처리 방법
KR20190080415A (ko) * 2017-12-28 2019-07-08 주식회사 엔씨소프트 이미지 생성 시스템 및 방법
KR20190103570A (ko) * 2018-02-28 2019-09-05 주식회사 비주얼캠프 시선 추적 방법 및 이를 수행하기 위한 단말
CN112236778A (zh) * 2018-04-06 2021-01-15 西门子股份公司 使用cad模型作为先验的从图像中的对象识别
KR20200140334A (ko) * 2018-04-06 2020-12-15 지멘스 악티엔게젤샤프트 종래의 cad 모델들을 사용한 이미지들로부터 객체 인식
CN112236778B (zh) * 2018-04-06 2024-04-16 西门子股份公司 使用cad模型作为先验的从图像中的对象识别
US11403491B2 (en) 2018-04-06 2022-08-02 Siemens Aktiengesellschaft Object recognition from images using cad models as prior
CN109165664A (zh) * 2018-07-04 2019-01-08 华南理工大学 一种基于生成对抗网络的属性缺失数据集补全与预测方法
CN109165664B (zh) * 2018-07-04 2020-09-22 华南理工大学 一种基于生成对抗网络的属性缺失数据集补全与预测方法
US11989350B2 (en) 2018-07-10 2024-05-21 Tencent Technology (Shenzhen) Company Limited Hand key point recognition model training method, hand key point recognition method and device
WO2020010979A1 (zh) * 2018-07-10 2020-01-16 腾讯科技（深圳）有限公司 手部关键点的识别模型训练方法、识别方法及设备
CN109064423A (zh) * 2018-07-23 2018-12-21 福建帝视信息科技有限公司 一种基于非对称循环生成对抗损失的智能修图方法
CN109064423B (zh) * 2018-07-23 2022-04-08 福建帝视信息科技有限公司 一种基于非对称循环生成对抗损失的智能修图方法
KR101954719B1 (ko) 2018-08-09 2019-03-06 주식회사 인텔리빅스 이벤트감지장치 및 그 장치의 구동방법
KR20200023686A (ko) 2018-08-17 2020-03-06 한양대학교 산학협력단 딥러닝을 이용한 아이템 추천 방법 및 장치
KR20200024401A (ko) * 2018-08-28 2020-03-09 두산메카텍 주식회사 센서를 이용한 물류 장비 관리 시스템 및 방법
KR101954717B1 (ko) 2018-10-22 2019-03-06 주식회사 인텔리빅스 고속분석 영상처리장치 및 그 장치의 구동방법
US11301704B2 (en) 2018-11-12 2022-04-12 Samsung Electronics Co., Ltd. Method and apparatus with image recognition
KR20200061294A (ko) * 2018-11-23 2020-06-02 주식회사 스칼라웍스 머신 러닝을 이용하여 은닉 이미지를 추론하는 방법 및 장치
CN109740682B (zh) * 2019-01-08 2020-07-28 南京大学 一种基于域转化和生成模型的图像识别方法
CN109740682A (zh) * 2019-01-08 2019-05-10 南京大学 一种基于域转化和生成模型的图像识别方法
KR20200105157A (ko) * 2019-02-28 2020-09-07 네이버 주식회사 온라인 학습을 이용한 객체 트래킹을 위한 방법 및 시스템
WO2020175818A1 (ko) * 2019-02-28 2020-09-03 네이버 주식회사 온라인 학습을 이용한 객체 트래킹을 위한 방법 및 시스템
US11972578B2 (en) 2019-02-28 2024-04-30 Naver Corporation Method and system for object tracking using online training
CN111661045A (zh) * 2019-03-05 2020-09-15 宝马股份公司 训练用于察觉碰撞的轨迹预测的生成器单元和鉴别器单元
CN109934282B (zh) * 2019-03-08 2022-05-31 哈尔滨工程大学 一种基于sagan样本扩充和辅助信息的sar目标分类方法
CN109934282A (zh) * 2019-03-08 2019-06-25 哈尔滨工程大学 一种基于sagan样本扩充和辅助信息的sar目标分类方法
CN110135365A (zh) * 2019-05-20 2019-08-16 厦门大学 基于幻觉对抗网络的鲁棒目标跟踪方法
KR102254037B1 (ko) 2020-11-13 2021-05-20 주식회사 인텔리빅스 영상분석장치 및 그 장치의 구동방법
WO2022114506A1 (ko) * 2020-11-30 2022-06-02 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법

Also Published As

Publication number Publication date
KR101925907B1 (ko) 2019-02-26

Similar Documents

Publication Publication Date Title
KR101925907B1 (ko) 신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치 및 그 방법
CN108921051B (zh) 基于循环神经网络注意力模型的行人属性识别网络及技术
JP5224401B2 (ja) 監視システムおよび方法
CN105426820B (zh) 基于安防监控视频数据的多人异常行为检测方法
CN109905696A (zh) 一种基于加密流量数据的视频服务体验质量的识别方法
CN109583373B (zh) 一种行人重识别实现方法
CN112926522B (zh) 一种基于骨骼姿态与时空图卷积网络的行为识别方法
KR20190088087A (ko) 움직임 정보를 이용한 인공지능 학습기반의 이동객체 영상 분류처리 방법
JP2020119154A (ja) 情報処理装置、情報処理方法、及びプログラム
CN114359976A (zh) 一种基于人物识别的智能安防方法与装置
Suthar et al. Human activity recognition using deep learning: a survey
KR20160093253A (ko) 영상 기반 이상 흐름 감지 방법 및 그 시스템
WO2021200392A1 (ja) データ調整システム、データ調整装置、データ調整方法、端末装置及び情報処理装置
Pouyanfar et al. Deep spatio-temporal representation learning for multi-class imbalanced data classification
Nikpour et al. Deep reinforcement learning in human activity recognition: A survey
Ayrapetov et al. Analysis of Work of YOLO v. 3 AND YOLO v. 2 Neural Networks
Patino et al. Online learning of activities from video
Arshad et al. Anomalous Situations Recognition in Surveillance Images Using Deep Learning
Bilski et al. Decision Trees Implementation in Monitoring of Elderly Persons Based on the Depth Sensors Data
KR20220030548A (ko) 영상 분석 기반 작업 동작 인식 장치 및 방법
Bhargava et al. A comprehensive study and detection of anomalies for autonomous video surveillance using neuromorphic computing and self learning algorithm
Lee A smart camera network with SVM classifiers for crowd event recognition
WO2019003217A1 (en) SYSTEM AND METHOD FOR USE IN CLASSIFICATION OF OBJECTS
Djeachandrane et al. Deep RL-based Abnormal Behavior Detection and Prevention in Network Video Surveillance
TWI784718B (zh) 廠區告警事件處理方法與系統

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right