KR101965972B1 - 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템 및 방법 - Google Patents

나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템 및 방법 Download PDF

Info

Publication number
KR101965972B1
KR101965972B1 KR1020170132195A KR20170132195A KR101965972B1 KR 101965972 B1 KR101965972 B1 KR 101965972B1 KR 1020170132195 A KR1020170132195 A KR 1020170132195A KR 20170132195 A KR20170132195 A KR 20170132195A KR 101965972 B1 KR101965972 B1 KR 101965972B1
Authority
KR
South Korea
Prior art keywords
image
recognition
unit
recognition target
target
Prior art date
Application number
KR1020170132195A
Other languages
English (en)
Inventor
박강령
간바야르
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020170132195A priority Critical patent/KR101965972B1/ko
Application granted granted Critical
Publication of KR101965972B1 publication Critical patent/KR101965972B1/ko

Links

Images

Classifications

    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/46—
    • G06K9/6215—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상을 이용한 개인 식별 시스템 및 방법에 관한 것으로, 더욱 상세하게는 획득되는 영상으로부터 인식 대상만을 포함하는 인식 대상 영상을 추출하고, 추출된 인식 대상 영상에서 어깨를 포함하는 상체에 대한 상체 인식 대상 분할 영상, 다리 부분에 대한 식 대상 분할 영상, 및 상기 상체 인식 대상 영상 및 식 대상 분할 영상을 합성한 합성 인식 대상 분할 영상을 한 영상화한 채널 영상을 생성하고, 채널 영상을 나선 신경망에 적용하여 인식 대상의 특징정보를 추출하고, 추출된 특징정보에 의해 인식 대상, 즉 개인을 식별하는 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템 및 방법에 관한 것이다.

Description

나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템 및 방법{Body movement-based human identification system by using convolutional neural network and method thereof}
본 발명은 영상을 이용한 개인 식별 시스템 및 방법에 관한 것으로, 더욱 상세하게는 획득되는 영상으로부터 인식 대상의 어깨 및 다리 움직임에 대한 움직임 특징정보를 나선 신경망(Convolution Neural Network: CNN)을 통해 추출하고, 추출된 특징정보에 의해 인식 대상, 즉 개인을 식별하는 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템 및 방법에 관한 것이다.
다양한 분야에서 보안을 위해 개인을 식별하기 위한 개인 식별 시스템들이 개발되어 해당 영역에 설치되고 있다.
개인 식별은 개인 집, 회사, 보안 구역, 길 등과 같은 감시영역을 출입 및 통과하는 개인들을 식별하기 위한 것으로, 생체인식 및 영상 기반의 방법들이 주로 적용되고 있다.
근거리에서의 개인 식별에는 지문, 홍채, 정맥, 유전자 등의 생체정보를 이용한 방식이 주로 이용되고, 원거리에서의 개인 식별에는 영상을 이용한 얼굴인식 방식이 주로 이용되고 있다.
원거리 개인 식별에 이용되는 얼굴인식 방식은 말 그대로 개인의 얼굴을 인식하여 개인을 식별하는 기술이다. 따라서 영상을 이용한 얼굴인식에 의한 개인 식별을 수행하는 개인 식별 시스템은 영상의 인식 대상인 개인이 얼굴을 가리고 있거나, 머리를 숙이고 있거나, 밤과 같이 어두운 경우 얼굴인식을 수행할 수 없는 문제점이 있었다.
이러한 문제점을 해결하기 위해 개인의 옆모습 영상을 이용한 걸음걸이에 의해 개인을 식별하는 걸음걸이 기반의 개인 식별 시스템에 대한 연구가 진행되고 있다. 그러나 이러한 걸음걸이 기반의 개인 식별 시스템은 옆모습만을 이용하여 개인을 식별할 뿐 앞모습 및 뒷모습 영상을 이용한 방법들은 연구되지 않았으며, 특히 어두운 환경에서의 영상을 이용하여 개인을 식별할 수 있는 개인 식별 시스템은 개발되지 않고 있다.
따라서 영상을 이용하여 개인을 식별하되, 개인의 앞모습 및 뒷모습에 대한 영상을 이용하여 개인을 식별하고, 특히, 주로 범죄가 밤에 이루어진다는 점에서 어두운 환경에서도 개인을 식별할 수 있는 개인 식별 시스템의 개발이 요구되어지고 있다.
대한민국 등록특허 제10-1711736호(2017.02.23.등록)
따라서 본 발명의 목적은 획득되는 영상으로부터 인식 대상만을 포함하는 인식 대상 영상을 추출하고, 추출된 인식 대상 영상에서 어깨를 포함하는 상체에 대한 상체 인식 대상 분할 영상, 다리 부분에 대한 다리 인식 대상 분할 영상, 및 상기 상체 인식 대상 영상 및 다리 인식 대상 분할 영상을 합성한 합성 인식 대상 분할 영상을 한 영상화한 채널 영상을 생성하고, 채널 영상을 나선 신경망에 적용하여 인식 대상의 특징정보를 추출하고, 추출된 특징정보에 의해 인식 대상, 즉 개인을 식별하는 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템 및 방법을 제공함에 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템은: 감시영역을 촬영하고 열영상을 출력하는 영상 촬영부; 다수의 인식대상 각각에 대한 개인정보 및 개인정보에 맵핑된 움직임 특징 정보를 저장하고 있는 인식 대상 DB를 포함하는 저장부; 및 상기 영상 촬영부로부터 열영상을 입력받고, 열영상으로부터 인식 대상만을 포함하는 인식 대상 영상을 추출하고, 추출된 인식 대상 영상을 나선 신경망에 적용하여 어깨 및 다리의 움직임에 근거한 움직임 특성 정보를 추출하고, 추출된 움직임 특정 정보에 대응하는 개인정보를 상기 인식 대상 DB에서 찾아 개인을 식별하는 제어모듈을 포함하는 것을 특징으로 한다.
상기 제어모듈은, 상기 영상 촬영부를 통해 열영상을 수신받아 획득하는 영상 획득부; 상기 영상 획득부를 통해 획득된 열영상으로부터 인식 대상만을 포함하는 인식 대상 영상을 추출하고, 추출된 인식 대상 영상에서 어깨를 포함하는 상체에 대한 상체 인식 대상 분할 영상, 다리 부분에 대한 다리 인식 대상 분할 영상 및 상기 상체 인식 대상 영상 및 다리 인식 대상 분할 영상을 합성한 합성 인식 대상 분할 영상을 한 영상화 한 채널 영상을 생성하여 출력하는 영상 특징 검출부; 및 채널 영상을 나선 신경망에 적용하여 인식 대상의 움직임 특징 정보를 추출하고, 추출된 움직임 특징 정보에 대응하는 개인정보를 상기 인식 대상 DB에서 찾아 개인을 식별하는 대상 인식부를 포함하는 것을 특징으로 한다.
상기 영상 특징 검출부는, 상기 열영상으로부터 배경을 제거한 열차분영상을 출력하는 배경 제거부; 및 상기 열차분영상으로부터 상기 상체 인식 대상 분할 영상, 다리 인식 대상 분할 영상, 인식 대상 분할 부분 합성 영상 및 채널 영상을 출력하는 특징 추출부를 포함하되, 상기 특징 추출부는, 상기 열차분영상에서 인식 대상만을 추출하고, 인식 대상의 무게중심을 검출하여 무게중심 정보를 포함하는 인식 대상 영상을 출력하는 대상추출부; 상기 대상추출부로부터 출력되는 적어도 둘 이상의 인식 대상 영상들을 평균화하여 움직임 정보를 포함하는 차분 평균 영상을 획득하고, 획득된 차분 평균 영상으로부터 상기 상체 인식 대상 분할 영상(G채널), 상기 다리 인식 대상 분할 영상(B채널) 및 인식 대상 분할 부분 합성 영상(R채널)을 생성하여 출력하는 분석 영상 생성부; 및 상기 인식 대상 분할 영상, 다리 인식 대상 분할 영상 및 인식 대상 분할 부분 합성 영상을 한 영상으로 한 채널 영상을 생성하여 출력하는 채널 합성부를 포함하는 것을 특징으로 한다.
상기 상체 인식 대상 분할 영상은, 몸통 및 팔을 제외한 사람의 어깨 윗부분을 포함하는 영상이고, 상기 다리 인식 대상 분할 영상은, 허벅지 아래의 영상인 것을 특징으로 한다.
상기 인식 대상 분할 부분 합성 영상은, 상기 어깨 윗부분의 영상과 허벅지 아래의 영상을 상하로 합성한 영상인 것을 특징으로 한다.
상기 대상 추출부는, 배경이 제거된 상기 열차분영상을 수신받아 출력하는 열차분영상 획득부; 상기 열차분영상을 입력받고, 상기 열차분영상을 이진화한 이진영상을 생성하여 출력하는 이진영상 생성부; 상기 이진영상으로부터 이진영상에 포함된 인식대상의 경계를 포함하는 경계박스를 생성하고, 생성된 경계박스 내의 인식대상의 무게중심을 검출하여 무게중심 정보를 포함하는 경계 이진 영상을 출력하는 경게 검출부; 및 상기 열차분영상 및 상기 경계 이진 영상을 입력받고, 상기 경계 이진 영상에 의해 상기 열차분영상으로부터 무게중심 정보를 포함하는 인식 대상만을 포함하는 인식 대상 영상을 추출하여 출력하는 인식대상 추출부를 포함하는 것을 특징으로 한다.
상기 분석 영상 생성부는, 상기 인식 대상 영상 및 이전 인식 대상 영상을 차분한 차분 인식 대상 영상을 출력하는 차분 영상 획득부; 적어도 둘 이상의 상기 차분 인식 대상 영상을 평균화하여 움직임 정보를 포함하는 차분 평균 영상을 출력하는 평균화부; 상기 차분 평균 영상에서 상기 어깨 윗 부분과 다리 부분을 분할 한 각각의 상체 인식 대상 분할 영상 및 다리 인식 대상 분할 영상을 생성하는 인식대상 분할부; 및 상기 상체 인식 대상 분할 영상 및 다리 인식 대상 분할 영상을 합성한 인식 대상 분할 부분 합성 영상을 출력하는 분할 합성 영상 생성부를 포함하는 것을 특징으로 한다.
상기 평균화부는, 10개의 차분 인식 대상 영상을 평균화하여 차분 평균 영상을 출력하는 것을 특징으로 한다.
상기 대상 인식부는, 상기 채널 영상을 입력받아 나선 신경망에 적용하여 움직임 특징정보를 출력하는 제1 나선 신경망(CNN) 분석부; 상기 제1 CNN 분석부에서 출력되는 움직임 특징정보와 상기 인식 대상 DB에 저장된 움직임 특징정보들간의 거리를 측정하는 제1거리 측정부; 및 상기 제1거리 측정부를 통해 측정되는 거리 중 가장 가까운 거리를 갖는 움직임 특징정보에 대응하는 개인정보를 획득하여 개인을 식별하는 제1분할영상 식별부를 구비하는 통합 식별부를 포함하는 것을 특징으로 한다.
상기 대상 인식부는, 상기 상체 인식 대상 분할 영상을 입력받아 나선 신경망에 적용하여 상체 움직임 특징정보를 출력하는 제2 나선 신경망(CNN) 분석부; 상기 제2 CNN 분석부에서 출력되는 상체 움직임 특징정보와 상기 인식 대상 DB에 저장된 움직임 특징정보의 상체 움직임 특징정보들간의 거리를 측정하는 제2거리 측정부; 및 상기 제2거리 측정부를 통해 측정되는 거리 중 가장 가까운 거리를 갖는 상체 움직임 특징정보에 대응하는 개인정보를 획득하여 개인을 식별하는 제2분할영상 식별부를 구비하는 상체 식별부를 더 포함하는 것을 특징으로 한다.
대상 인식부는, 상기 다리 인식 대상 분할 영상을 입력받아 나선 신경망에 적용하여 다리 움직임 특징정보를 출력하는 제3 나선 신경망(CNN) 분석부;
상기 제3 CNN 분석부에서 출력되는 다리 움직임 특징정보와 상기 인식 대상 DB에 저장된 움직임 특징정보의 다리 움직임 특징정보들간의 거리를 측정하는 제3거리 측정부; 및 상기 제3거리 측정부를 통해 측정되는 거리 중 가장 가까운 거리를 갖는 다리 움직임 특징정보에 대응하는 개인정보를 획득하여 개인을 식별하는 제3분할영상 식별부를 구비하는 다리 식별부를 포함하는 것을 특징으로 한다.
상기 대상 인식부는, 상기 인식 대상 분할 부분 합성 영상을 입력받아 나선 신경망에 적용하여 합성 움직임 특징정보를 출력하는 제4 나선 신경망(CNN) 분석부; 상기 제4 나선신경망 분석부에서 출력되는 합성 움직임 특징정보와 상기 인식 대상 DB에 저장된 움직임 특징정보의 합성 움직임 특징정보들간의 거리를 측정하는 제4거리 측정부; 및 상기 제4거리 측정부를 통해 측정되는 거리 중 가장 가까운 거리를 갖는 다리 합성 움직임 특징정보에 대응하는 개인정보를 인식 대상 DB에서 획득하여 개인을 식별하는 제4분할영상 식별부를 구비하는 상체 식별부를 더 포함하는 것을 특징으로 한다.
상기 대상 인식부는, 상기 제2거리 측정부, 제3거리 측정부 및 제4거리 측정부로부터 출력되는 거리 정보들별로 서로 다른 가중치를 주어 스코어를 계산하여 출력하는 가중치 스코어 통합부; 및 상기 스코어에 대응하는 스코어를 가지는 개인정보를 인식 대상 DB에서 획득하여 개인을 식별하는 제5식별부를 가지는 가중치 식별부를 더 포함하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 나선 신경망을 이용한 신체 움직임 기반 개인 식별 방법은: 영상 촬영부로부터 열영상을 획득하는 열영상 획득 과정; 및 상기 열영상으로부터 인식 대상만을 포함하는 인식 대상 영상을 추출하고, 추출된 인식 대상 영상을 나선 신경망에 적용하여 어깨 및 다리의 움직임에 근거한 움직임 특성 정보를 추출하고, 추출된 움직임 특정 정보에 대응하는 개인정보를 인식 대상 DB에서 찾아 개인을 식별하는 개인 식별 과정을 포함하는 것을 특징으로 한다.
상기 개인 식별 과정은, 영상 특징 검출부를 통해 상기 열영상으로부터 인식 대상만을 포함하는 인식 대상 영상을 추출하고, 추출된 인식 대상 영상에서 어깨를 포함하는 상체에 대한 상체 인식 대상 분할 영상, 다리 부분에 대한 다리 인식 대상 분할 영상 및 상기 상체 인식 대상 영상 및 다리 인식 대상 분할 영상을 합성한 합성 인식 대상 분할 영상을 한 영상화 한 채널 영상을 생성하고, 채널 영상을 나선 신경망에 적용하여 인식 대상의 움직임 특징 정보를 추출하는 영상 특징 검출 단계; 및 대상 인식부를 통해 추출된 움직임 특징 정보에 대응하는 개인정보를 상기 인식 대상 DB에서 찾아 개인을 식별하는 대상 인식 단계를 포함하는 것을 특징으로 한다.
상기 영상 특징 검출단계는, 배경 제거부를 통해 상기 열영상에 대한 열차분영상으로부터 배경을 제거하여 출력하는 배경 제거 단계; 및 특징 추출부를 통해 배경이 제거된 상기 열차분영상으로부터 상기 상체 인식 대상 분할 영상, 다리 인식 대상 분할 영상 및 인식 대상 분할 부분 합성 영상을 출력하는 특징 추출 단계를 포함하되, 상기 특징 추출 단계는, 대상 추출부를 통해 상기 열차분영상에서 인식 대상만을 추출하고, 인식 대상의 무게중심을 검출하여 무게중심 정보를 포함하는 인식 대상 영상을 출력하는 대상추출 단계; 분석 영상 생성부를 통해 상기 대상추출부로부터 출력되는 적어도 둘 이상의 인식 대상 영상들을 평균화하여 움직임 정보를 포함하는 차분 평균 영상을 획득하고, 획득된 차분 평균 영상으로부터 상기 상체 인식 대상 분할 영상(G채널), 상기 다리 인식 대상 분할 영상(B채널) 및 인식 대상 분할 부분 합성 영상(R채널)을 생성하여 출력하는 분석 영상 생성 단계; 및 채널 합성부를 통해 상기 인식 대상 분할 영상, 다리 인식 대상 분할 영상 및 인식 대상 분할 부분 합성 영상을 한 영상으로 한 채널 영상을 생성하여 출력하는 채널 합성 단계를 포함하는 것을 특징으로 한다.
상기 대상 추출 단계는, 열차분영상 획득부를 통해 배경이 제거된 상기 열영상으로부터 열차분영상을 획득하여 출력하는 열차분영상 획득 단계; 이진영상 생성부를 통해 상기 열차분영상을 입력받고, 상기 열차분영상을 이진화한 이진영상을 생성하여 출력하는 이진영상 생성 단계; 경계 검출부를 통해 상기 이진영상으로부터 이진영상에 포함된 인식대상의 경계를 포함하는 경계박스를 생성하고, 생성된 경계박스 내의 인식대상의 무게중심을 검출하여 무게중심 정보를 포함하는 경계 이진 영상을 출력하는 경게 검출 단계; 및 인식대상 추출부를 통해 상기 열차분영상 및 상기 경계 이진 영상을 입력받고, 상기 경계 이진 영상에 의해 상기 열차분영상으로부터 무게중심 정보를 포함하는 인식 대상만을 포함하는 인식 대상 영상을 추출하여 출력하는 인식대상 추출 단계를 포함하는 것을 특징으로 한다.
상기 분석 영상 생성 단계는, 차분 영상 획득부를 통해 상기 인식 대상 영상 및 이전 인식 대상 영상을 차분한 차분 인식 대상 영상을 출력하는 차분 영상 획득 단계; 상기 평균화부를 통해 적어도 둘 이상의 상기 차분 인식 대상 영상을 평균화하여 움직임 정보를 포함하는 차분 평균 영상을 출력하는 평균화 단계; 상기 인식대상 분할부를 통해 상기 차분 평균 영상에서 상기 어깨 윗부분과 다리부분을 분할 한 각각의 상체 인식 대상 분할 영상 및 다리 인식 대상 분할 영상을 생성하는 인식대상 분할 단계; 및 분할 합성 영상 생성부를 통해 상기 상체 인식 대상 분할 영상 및 다리 인식 대상 분할 영상을 합성한 인식 대상 분할 부분 합성 영상을 출력하는 분할 합성 영상 생성 단계를 포함하는 것을 특징으로 한다.
상기 평균화 단계에서 상기 평균화부는, 10개의 차분 인식 대상 영상을 평균화하여 차분 평균 영상을 출력하는 것을 특징으로 한다.
상기 대상 인식 단계는, 제1 CNN 분석부를 통해 상기 채널 영상을 입력받아 나선 신경망에 적용하여 움직임 특징정보를 출력하는 나선 신경망(CNN) 분석 단계; 제1거리 측정부를 통해 상기 제1 CNN 분석부에서 출력되는 움직임 특징정보와 상기 인식 대상 DB에 저장된 움직임 특징정보들간의 거리를 측정하는 거리 측정 단계; 및 제1분할영상 식별부를 통해 상기 제1거리 측정부를 통해 측정되는 거리 중 가장 가까운 거리를 갖는 움직임 특징정보에 대응하는 개인정보를 획득하여 개인을 식별하는 개인 식별 단계를 포함하는 것을 특징으로 한다.
본 발명은 영상을 분석하여 인식 대상인 사람을 추출하고, 추출된 인식 대상의 움직임 패턴에 의해 그 사람이 누구인지를 인식할 수 있으므로 인식 대상이 얼굴을 가리고 있거나, 숙이고 있거나, 어두운 환경에 있어 인식 대상의 얼굴이 확인되지 않는 경우에도 인식 대상이 누구인지를 식별할 수 있는 효과를 갖는다.
따라서 본 발명은 얼굴을 식별하기 어려운 어두운 환경 및 얼굴이 가려져 있는 상태에서도 해당 인식 대상이 누구인지를 식별할 수 있으므로 낮뿐만 아니라 어두운 밤에도 범죄자들 행동을 위축시켜 범죄를 줄일 수 있으며, 범죄가 발생했다하더라고 해당 범죄자를 빠르고 정확하게 식별하여 검거할 수 있는 효과를 제공한다.
도 1은 본 발명에 따른 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명에 따른 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템의 영상 특징 검출부의 상세 구성을 나타낸 도면이다.
도 3은 본 발명에 따른 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시의 영상 특징 검출 절차를 영상으로 나타낸 도면이다.
도 4는 본 발명에 따른 영상으로부터 인식 대상만을 포함하는 인식 대상 경계 박스 및 인식 대상의 무게중심을 구하는 절차를 나타낸 도면이다.
도 5는 본 발명에 따른 인식 대상 분할 영상 생성 절차 및 그 생성 방법을 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따라 적용될 수 있는 신체의 상체 움직임에 따른 상체 인식 대상 분할 영상들의 예들을 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따라 적용될 수 있는 신체의 다리 움직임에 따른 다리 인식 대상 분할 영상 및 인식 대상 분할 부분 합성 영상의 일 예들을 나타낸 도면이다.
도 8은 본 발명의 일실시예에 따라 복도를 걸어가는 두 명의 인식 대상에 대한 영상을 표시한 도면이다.
도 9는 도 7의 제1인식 대상 분할 부분 합성 영상에 대응하는 열차분영상을 나타낸 도면이다.
도 10은 도 7의 제3인식 대상 분할 부분 합성 영상에 대응하는 열차분영상을 나타낸 도면이다.
도 11은 본 발명에 따른 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템의 대상 인식부의 상세 구성을 나타낸 도면이다.
도 12는 본 발명에 따른 나선 신경망을 이용한 신체 움직임 기반 개인 식별 방법을 나타낸 흐름도이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템의 구성 및 동작을 설명하고, 상기 시스템에서의 개인 식별 방법을 설명한다.
도 1은 본 발명에 따른 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템의 구성을 나타낸 도면이다.
도 1을 참조하면, 본 발명에 따른 나선 신경망을 이용한 신체 움직임 기반 개인 시스템은 영상 촬영부(100), 저장부(400) 및 제어모듈(500)을 포함하고, 실시예에 따라 출력부(200) 및 입력부(300)를 더 포함할 수 있을 것이다.
영상 촬영부(100)와 제어모듈(500)은 RS-485, 범용직렬버스(USB) 등과 같은 근거리 유선통신 방식에 의해 연결되어 제어신호 및 정보를 송수신할 수도 있으며, 인터넷프로토콜(Internet Protocol: IP)과 같은 인터넷 방식에 의해 연결되어 통신을 수행할 수도 있으며, 와이파이(WiFi), 블루투스(Bluetooth), 이동통신 방식에 의해 무선 연결되어 통신을 수행하도록 구성될 수도 있을 것이다.
영상 촬영부(100)는 열화상 촬영부(110)를 포함하고, 실시예에 따라 일반영상 촬영부(120) 및 밝기 검출부(130)를 더 포함할 수 있을 것이다.
열화상 촬영부(110)는 특정 감시영역을 촬영하여 열영상을 제어모듈(500)로 출력한다.
일반영상 촬영부(120)는 상기 특정 감시영역을 촬영하여 일반 컬러 영상을 제어모듈(500)로 출력한다.
밝기 검출부(130)는 상기 감시영역의 밝기를 측정하고, 측정된 밝기 정보를 제어모듈(500)로 출력한다.
출력부(200)는 제어모듈(500)의 제어를 받아 시스템의 동작정보 및 인식 결과 정보 등을 표시하는 디스플레이 장치, 인식 시도된 인식 대상들에 대한 인식 결과 정보를 관리자의 관리자 단말기로 제공하는 통신장치(송신기) 등이 될 수 있을 것이다.
입력부(300)는 관리자로부터 다양한 정보를 입력받기 위한 키보드, 마우스, 터치패드 등이 될 수도 있고, 원격지의 관리자로부터 제어명령 및 다양한 설정 정보 등을 수신받아 제어모듈(500)로 출력하는 통신장치(수신기) 등이 될 수 있을 것이다.
저장부(400)는 개인들에 대한 개인정보 및 각 개인정보에 맵핑되는 움직임 특징 정보를 저장하는 인식 대상 DB(410)를 포함하고, 실시예에 따라 인식 시도에 대한 인식 에러율 정보를 저장하는 인식 에러율 DB(420)를 더 포함할 수 있을 것이다. 상기 개인정보는 개인의 이름, 전화번호, 주소, 사진 등을 포함할 수 있을 것이다. 상기 움직임 특징 정보는 인식 대상별로 상체의 움직임에 따른 상체 움직임 특징 정보, 다리의 움직임에 따른 다리 움직임 특징 정보, 상체 및 다리 둘 모두에 대한 합성 움직임 특징 정보, 및 인식 대상의 상체 움직임, 다리 움직임 및 합성 움직임을 모두 포함하는 채널 움직임 특징 정보 중 적어도 하나 이상을 포함할 수 있을 것이다.
제어모듈(500)은 영상 획득부(600), 영상 특징 검출부(700), 대상 인식부(800)를 포함하고, 실시예에 따라 에러율 계산부(900) 및 인식정보 생성부(910)를 더 포함하여 본 발명에 따른 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템의 전반적인 동작을 제어한다.
구체적으로 설명하면, 영상 획득부(600)는 상기 영상 촬영부(100)를 통해 열영상을 획득하고, 실시예에 따라 밝기 검출부(130)를 통한 밝기 정보를 획득하고, 밝기에 따라 열화상 촬영부(110)로부터 열영상을 획득하거나 일반영상 촬영부(120)로부터 일반영상을 획득한다. 예를 들어, 영상 획득부(600)는 낮에는 일반영상을 획득하고, 밤에는 열영상을 획득하도록 구성될 수도 있을 것이다. 이하 설명에서는 열영상을 이용하는 경우를 설명한다.
영상 특징 검출부(700)는 배경 제거부(710) 및 특징 추출부(720)를 포함한다.
배경 제거부(710)는 영상 획득부(600)를 통해 획득된 열영상에서 배경 영상을 제거한 열차분영상을 출력한다.
특징 추출부(720)는 상기 열차분영상으로부터 상기 상체 인식 대상 분할 영상, 다리 인식 대상 분할 영상, 인식 대상 분할 부분 합성 영상 및 채널 영상을 생성하여 출력한다. 특징 추출부(720)의 상세 구성 및 동작은 하기 도 2를 참조하여 설명한다.
대상 인식부(800)는 상체 인식 대상 분할 영상, 다리 인식 대상 분할 영상, 인식 대상 분할 부분 합성 영상 및 채널 영상 중 어느 하나 이상을 나선 신경망에 적용하여 인식 대상의 움직임 특징 정보를 추출하고, 추출된 움직임 특징 정보에 대응하는 개인정보를 상기 인식 대상 DB(410)에서 찾아 개인을 식별한다. 상기 대상 인식부(800)의 상세 구성 및 동작은 하기의 도 4를 참조하여 상세히 설명한다.
에러율 계산부(900)는 대상 인식부(800)를 통해 인식된 인식결과에 대한 인식 성공 및 실패 여부를 입력부(300)를 통해 입력받아 에러율(Equal Error Rate: EER)을 계산한다. 상기 에러율은 상기 대상 인식부(800)에 의해 수행된 상체 인식 대상 분할 영상을 이용한 대상 인식(Scheme1), 다리 인식 대상 분할 영상을 이용한 대상 인식(Scheme2), 인식 대상 분할 부분 합성 영상을 이용한 대상 인식(Scheme3), 상기 상체 인식 대상 분할 영상, 다리 인식 대상 분할 영상 및 인식 대상 분할 부분 합성 영상을 모두 적용하되 각각의 가중치를 적용하여 대상을 인식하는 가중치 대상 인식(Scheme4) 및 채널 영상을 이용한 대상인식(Scheme5)로 구분하였으며, 하기 표 1과 같다.
Methods EER
Scheme 1 1.76%
Scheme 2 1.67%
Scheme 3 1.63%
Scheme 4 1.44%
Scheme5 0.77%
인식정보 생성부(910)는 상기 대상 인식부(800)에서 인식한 결과에 대한 인식 결과 정보를 생성하고, 출력부(200)를 통해 출력한다. 즉, 상기 인식 결과 정보는 디스플레이 장치를 통해 표시될 수도 있고, 해당 관리자의 관리자 단말기로 제공될 수도 있으며, 메시지, 메일 형태로 관리자에게 전송될 수도 있을 것이다.
도 2는 본 발명에 따른 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템의 영상 특징 검출부의 상세 구성을 나타낸 도면이고, 도 3은 본 발명에 따른 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시의 영상 특징 검출 절차를 영상으로 나타낸 도면이고, 도 4는 본 발명에 따른 영상으로부터 인식 대상만을 포함하는 인식 대상 경계 박스 및 인식 대상의 무게중심을 구하는 절차를 나타낸 도면이며, 도 5는 본 발명에 따른 인식 대상 분할 영상 생성 절차 및 그 생성 방법을 나타낸 도면이고, 도 6은 본 발명의 일실시예에 따라 적용될 수 있는 신체의 상체 움직임에 따른 상체 인식 대상 분할 영상들의 예들을 나타낸 도면이고, 도 7은 본 발명의 일실시예에 따라 적용될 수 있는 신체의 다리 움직임에 따른 다리 인식 대상 분할 영상 및 인식 대상 분할 부분 합성 영상의 일 예들을 나타낸 도면이며, 도 8은 본 발명의 일실시예에 따라 복도를 걸어가는 두 명의 인식 대상에 대한 영상을 표시한 도면이고, 도 9는 도 7의 제1인식 대상 분할 부분 합성 영상에 대응하는 열차분영상을 나타낸 도면이며, 도 10은 도 7의 제3인식 대상 분할 부분 합성 영상에 대응하는 열차분영상을 나타낸 도면이다. 이하 도 2 내지 10을 참조하여 설명한다.
특징 추출부(720)는 대상 추출부(730), (740) 및 채널 합성부(750)를 포함한다.
대상 추출부(730)는 열차분영상 획득부(731), 이진영상 생성부(732), 경계 검출부(733) 및 인식대상 추출부(734)를 포함하여 배경 제거부(710)로부터 입력되는 열차분영상으로부터 인식 대상 영상을 추출하여 출력한다.
구체적으로 설명하면, 열차분영상 획득부(731)는 배경 제거부(710)로부터 도 4의 열영상(12)에서 배경영상(11)을 제거한 도 4의 13 등과 같은 열차분영상(Dtiff(t))(1)을 수신받아 인식대상 추출부(734) 및 이진영상 생성부(732)로 출력한다.
열차분영상(1)을 입력받은 이진영상 생성부(732)는 입력된 상기 열차분영상을 도 4의 15와 같이 흑(0 or 1) 및 백(1 or 0)으로 이진화하여 이진영상(2)을 생성하여 경계 검출부(733)로 출력한다.
이진영상(2)을 입력받은 경계 검출부(733)는 이진영상(2)에서 도 4의 16과 같이 인식 대상만을 포함하는 경계를 검출하고, 검출된 경계를 포함하는 경계 박스(3)를 생성하며, 상기 인식 대상의 무게중심(4)을 검출하며, 도 4의 16과 같이 무게중심 정보를 포함하는 경계 이진 영상(5)을 인식 대상 추출부(734)로 출력한다.
열 차분 영상 획득부(731)로부터 열차분영상(1)을 입력받고, 경계 검출부(733)로부터 경계 이진 영상(5)을 입력받은 인식대상 추출부(734)는 경계 이진 영상(5)의 경계박스(3)에 의해 열차분영상(1)으로부터 인식 대상만을 포함하고, 무게중심 정보를 갖는 인식 대상 영상(D(t))(6)을 추출하여 분석 영상 생성부(740)로 출력한다.
분석 영상 생성부(740)는 차분 영상 획득부(741), 평균화부(742), 인식 대상 분할부(743) 및 분할 합성 영상 생성부(744)를 포함하여 대상추출부(730)로부터 입력되는 인식 대상 분할 영상(6)으로부터 도 6과 같은 상체 인식 대상 분할 영상, 도 7의 41과 같은 다리 인식 대상 분할 영상, 도 7의 제1인식 대상 분할 부분 합성 영상(42), 제2인식 대상 분할 부분 합성 영상(43), 제3인식 대상 분할 부분 합성 영상(44)와 같은 인식 대상 분할 부분 합성 영상을 생성하여 출력한다.
분할 영상 생성부(740)는 도 9와 같은 열차분영상의 경우 도 7의 제1인식 대상 분할 부분 합성 영상(42)과 같은 형태의 인식 대상 분할 부분 합성영상을 출력하고, 도 10과 같은 열차분영상의 경우 도 7의 제3인식 대상 분할 부분 합성 영상(44)와 같은 형태의 인식 대상 분할 부분 합성영상을 출력할 것이다.
구체적으로 설명하면, 차분 영상 획득부(741)는 대상추출부(730)로부터 입력되는 도 5의 21과 같은 현재 인식 대상 영상(D(t))과 도 5의 22와 같은 이전 인식 대상 영상(D(t-1)의 차에 따른 도 5의 23과 같은 차분 영상(D'(t))(7)을 평균화부(742)로 출력한다.
평균화부(742)는 적어도 둘 이상의 차분 영상(D'(t))(7)을 저장하고, 저장된 차분 영상(7)들을 평균화시켜 차분 평균 영상(Av(t))(8)을 생성하여 출력한다. 평균화되는 차분 영상(D'(t))의 개수는 10개인 것이 바람직할 것이다.
인식 대상 분할부(743)는 입력되는 상기 차분 평균 영상(8)에서 도 5의 24와 같이 어깨를 포함하여 어깨 윗부분인 상체(d1)만을 포함하는 상체 인식 대상 분할 영상(G)과 다리, 즉 허벅지 아래의 다리(d2)만을 포함하는 도 5의 28과 같은 다리 인식 대상 분할 영상(B)으로 분할하여 출력한다.
분할 합성 영상 생성부(744)는 인식 대상 분할부(743)로부터 상체 인식 대상 분할 영상(G) 및 다리 인식 대상 분할 영상(B)을 입력받고, G 및 B를 합성하여 도 5의 27 및 도 7의 제1인식 대상 분할 부분 합성 영상(42), 제2인식 대상 분할 부분 합성 영상(43), 제3인식 대상 분할 부분 합성 영상(44)과 같은 인식 대상 분할 부분 합성 영상(R)을 생성하여 출력한다.
채널 합성부(750)는 인식 대상 분할부(743)로부터 상체 인식 대상 분할 영상(G) 및 다리 인식 대상 분할 영상(B)을 입력받고, 상기 분할 합성 영상 생성부(744)로부터 인식 대상 분할 부분 합성 영상(R)을 입력받아 도 5의 29 등과 같은 하나의 영상인 채널 영상(f(x))(10)을 생성하여 출력한다.
도 11은 본 발명에 따른 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템의 대상 인식부의 상세 구성을 나타낸 도면이다.
도 11을 참조하면, 본 발명의 대상 인식부(800)는 통합 식별부(810)만을 포함할 수도 있고, 실시예에 따라 통합 식별부(810), 상체 식별부(820), 다리 식별부(830), 합성 식별부(840) 및 가중치 식별부(850) 중 적어도 어느 하나 이상을 더 포함할 수도 있을 것이다.
통합 식별부(810)는 상기 채널 영상을 입력받아 나선 신경망에 적용하여 움직임 특징정보를 출력하는 제1 나선 신경망(CNN) 분석부(811), 상기 제1 CNN 분석부(811)에서 출력되는 움직임 특징정보와 상기 인식 대상 DB(410)에 저장된 움직임 특징정보들간의 거리를 측정하는 제1거리 측정부(812) 및 상기 제1거리 측정부(812)를 통해 측정되는 거리 중 가장 가까운 거리를 갖는 움직임 특징정보에 대응하는 개인정보를 획득하여 개인을 식별하는 제1분할영상 식별부(813)를 포함한다.
상체 식별부(820)는 상기 상체 인식 대상 분할 영상을 입력받아 나선 신경망에 적용하여 상체 움직임 특징정보를 출력하는 제2 나선 신경망(CNN) 분석부(821), 상기 제2 CNN 분석부(821)에서 출력되는 상체 움직임 특징정보와 상기 인식 대상 DB(410)에 저장된 움직임 특징정보의 상체 움직임 특징정보들간의 거리를 측정하는 제2거리 측정부(822) 및 상기 제2거리 측정부(822)를 통해 측정되는 거리 중 가장 가까운 거리를 갖는 상체 움직임 특징정보에 대응하는 개인정보를 획득하여 개인을 식별하는 제2분할영상 식별부(823)를 포함한다.
다리 식별부(830)는 상기 다리 인식 대상 분할 영상을 입력받아 나선 신경망에 적용하여 다리 움직임 특징정보를 출력하는 제3 나선 신경망(CNN) 분석부(831), 상기 제3 CNN 분석부(831)에서 출력되는 다리 움직임 특징정보와 상기 인식 대상 DB(410)에 저장된 움직임 특징정보의 다리 움직임 특징정보들간의 거리를 측정하는 제3거리 측정부(832) 및 상기 제3거리 측정부(832)를 통해 측정되는 거리 중 가장 가까운 거리를 갖는 다리 움직임 특징정보에 대응하는 개인정보를 획득하여 개인을 식별하는 제3분할영상 식별부(833)를 포함한다.
합성 식별부(840)는 상기 인식 대상 분할 부분 합성 영상을 입력받아 나선 신경망에 적용하여 합성 움직임 특징정보를 출력하는 제4 나선 신경망(CNN) 분석부(841), 상기 제4 나선신경망 분석부(841)에서 출력되는 합성 움직임 특징정보와 상기 인식 대상 DB(410)에 저장된 움직임 특징정보의 합성 움직임 특징정보들간의 거리를 측정하는 제4거리 측정부(842); 및 상기 제4거리 측정부(842)를 통해 측정되는 거리 중 가장 가까운 거리를 갖는 다리 합성 움직임 특징정보에 대응하는 개인정보를 인식 대상 DB(410)에서 획득하여 개인을 식별하는 제4분할영상 식별부(843)를 포함한다.
가중치 식별부(850)는 상기 제2거리 측정부(822), 제3거리 측정부(832) 및 제4거리 측정부(842)로부터 출력되는 거리 정보들별로 서로 다른 가중치를 주어 스코어를 계산하여 출력하는 가중치 스코어 통합부(851) 및 상기 스코어에 대응하는 스코어를 가지는 개인정보를 인식 대상 DB(410)에서 획득하여 개인을 식별하는 제5식별부(852)를 포함한다.
상기 표 1 및 하기 표 2 내지 표 3은 본 발명에 따라 직접 촬영한 데이터로 학습 및 실험한 결과와 종래 방법들을 적용한 결과들에 대한 2겹 교차검증(2 fold cross-validation)의 평균값을 나타낸다. 하기 표 2는 본 발명과 기존의 방법들(특징 추출 및 분리방법)을 이용하여 얻은 결과를 나타내고, 표 3은 기존 방법으로 얻어진 특징으로 학습된 나선 신경망인 VGG Net-16을 적용하여 얻은 결과를 나타낸 것이다.
Methods EER
Contour width-based + spatio-temporal smoothing + DTW 69%
CGI + PCA + LDA 68.9%
GEI + RT + PCA 57.5%
Proposed method 0.7%
Methods EER
Contour width-based + spatio-temporal smoothing + VGG Net-16 6.9%
GEI + VGG Net-16 3%
CGI + VGG Net-16 2.9%
Proposed method 0.7%
표 2에서 이용하는 특징 추출 방법들은 Gait Energy Image(GEI), Chrono Gait Image(CGI) 그리고 Contour Width-Based이며, 분리방법들은 Radon Transform(RT), Linear Discriminant Analysis(LDA) 그리고 Dynamic Time Warping( DTW)이다.
상기 표 1 내지 표 3에서 보이는 바와 같이 본 발명의 에러율이 기존 특징 추출 방법들에 비해 에러율이 적음을 알 수 있다.
도 12는 본 발명에 따른 나선 신경망을 이용한 신체 움직임 기반 개인 식별 방법을 나타낸 흐름도이다.
도 12를 참조하여 설명하면, 우선 제어모듈(500)은 영상 획득부(600)를 통해 영상 촬영부(100)로부터 열영상이 획득되는지를 검사한다(S111).
열영상이 획득되면 제어모듈(500)은 영상 특징 검출부(700)의 배경 제거부(710)를 통해 열영상으로부터 배경을 제거하여(S113) 열차분영상을 생성하여 출력한다(S115).
열차분영상이 생성되면 제어모듈(500)은 특징 추출부(720)의 대상 추출부(730)의 이진영상 생성부(732)를 통해 이진영상을 생성하며(S117), 상기 이진영상으로부터 인식 대상의 경계 상기 인식 대상의 경계를 포함하는 경계 박스 및 인식 대상의 무게중심을 검출하고, 무게중심 및 경계 박스 정보를 포함하는 경계 이진 영상을 인식 대상 추출부(734)로 출력한다(S119).
제어모듈(500)은 경계 이진 영상이 생성되면 인식 대상 추출부(734)를 통해 경계 박스 정보 및 무게중심 정보를 포함하는 인식 대상 경계 영상에 근거하여 열차분영상으로부터 인식 대상을 추출하고, 인식 대상만을 포함하는 인식 대상 영상을 출력한다(S121).
인식 대상 영상이 인식 대상 추출부(734)를 통해 획득되면 제어모듈(500)은 차분 영상 획득부(741)를 통해 상기 생성된 인식 대상 영상과, 이전에 생성된 인식 대상 영상을 차분하여 차분영상을 생성하여 평균화부(742)로 출력한다(S123).
차분영상이 생성되기 시작하면 제어모듈(500)은 평균화부(742)를 통해 둘 이상의 차분영상들을 평균한 평균 차분영상을 출력한다(S125).
평균 차분영상이 획득되면 제어모듈(500)은 인식 대상 분할부(743)를 통해 평균 차분영상의 인식대상의 인식 부분인 상체만을 포함하는 상체 인식 대상 분할 영상 및 다리 인식 대상 분할 영상을 생성한다(S127).
상체 인식 대상 분할 영상 및 다리 인식 대상 분할 영상이 생성되면 제어모듈(500)은 상기 상체 인식 대상 분할 영상 및 다리 인식 대상 분할 영상을 합성하여 인식 대상 분할 부분 합성 영상을 생성한다(S129).
상기 상체 인식 대상 분할 영상(G), 다리 인식 대상 분할 영상(B) 및 인식 대상 분할 부분 합성 영상(R)이 생성되면 제어모듈(500)은 채널 합성부(750)를 통해 상기 RGB를 한 영상으로 한 채널 영상을 생성한다(S131).
채널 영상이 생성되면 제어모듈(500)은 대상 인식부(800)를 채널영상, 상체 인식 대상 분할 영상, 다리 인식 대상 분할 영상, 인식 대상 분할 부분 합성 영상을 나선 신경망(CNN)에 적용하여 나선 신경망 특징정보인 움직임 특징정보를 생성한다(S133).
움직임 특징정보가 생성되면 제어모듈(500)은 인식대상 DB(410)에 저장된 움직임 특징정보들을 비교하여 가장 유사한 움직임 특징정보를 가지는 개인정보를 로드하여 개인을 식별한다(S135).
인식 대상의 개인이 식별되면 제어모듈(500)은 인식된 결과에 대한 정보인 인식정보를 인식정보 생성부(910)를 통해 출력부(200)로 출력한다(S137).
한편, 본 발명은 전술한 전형적인 바람직한 실시예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에서 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.
100: 영상 촬영부 110: 열화상 촬영부
120: 일반영상 촬영부 130: 밝기 검출부
200: 출력부 300: 입력부
400: 저장부 410: 인식 대상 DB
420: 인식 에러율 DB 500: 제어모듈
600: 영상 획득부 700: 영상 특징 검출부
710: 배경 제거부 720: 특징 추출부
730: 대상 추출부 731: 열차분영상 획득부
732: 이진영상 생성부 733: 경계 검출부
734: 인식대상 추출부 740: 분석 영상 생성부
741: 차분영상 획득부 742: 평균화부
743: 인식대상 분할부 744: 분할 합성 영상 생성부
750: 채널 합성부 800: 대상 인식부
810: 통합 식별부 811: 제1CNN 분석부
812: 제1거리측정부 813: 제1분할영상 식별부
820: 상체 식별부 821: 제2CNN 분석부
822: 제2거리측정부 823: 제2분할영상 식별부
830: 다리 식별부 831: 제3CNN 분석부
832: 제3거리측정부 833: 제3분할영상 식별부
840: 합성 식별부 841: 제4CNN 분석부
842: 제4거리측정부 843: 제4분할영상 식별부
450: 가중치 식별부 851: 가중치 스코어 통합부
852: 제5식별부 900: 에러율 계산부
910: 인식정보 생성부

Claims (20)

  1. 감시영역을 촬영하고 열영상을 출력하는 영상 촬영부;
    다수의 인식대상 각각에 대한 개인정보 및 개인정보에 맵핑된 움직임 특징 정보를 저장하고 있는 인식 대상 DB를 포함하는 저장부; 및
    상기 영상 촬영부로부터 열영상을 입력받고, 열영상으로부터 인식 대상만을 포함하는 인식 대상 영상을 추출하고, 추출된 인식 대상 영상을 나선 신경망에 적용하여 어깨 및 다리의 움직임에 근거한 움직임 특성 정보를 추출하고, 추출된 움직임 특정 정보에 대응하는 개인정보를 상기 인식 대상 DB에서 찾아 개인을 식별하는 제어모듈을 포함하되,
    상기 제어모듈은,
    상기 영상 촬영부를 통해 열영상을 수신받아 획득하는 영상 획득부;
    상기 영상 획득부를 통해 획득된 열영상으로부터 인식 대상만을 포함하는 인식 대상 영상을 추출하고, 추출된 인식 대상 영상에서 어깨를 포함하는 상체에 대한 상체 인식 대상 분할 영상, 다리 부분에 대한 다리 인식 대상 분할 영상 및 상기 상체 인식 대상 영상 및 다리 인식 대상 분할 영상을 합성한 합성 인식 대상 분할 영상을 한 영상화 한 채널 영상을 생성하여 출력하는 영상 특징 검출부; 및
    채널 영상을 나선 신경망에 적용하여 인식 대상의 움직임 특징 정보를 추출하고, 추출된 움직임 특징 정보에 대응하는 개인정보를 상기 인식 대상 DB에서 찾아 개인을 식별하는 대상 인식부를 포함하는 것을 특징으로 하는 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 영상 특징 검출부는,
    상기 열영상으로부터 배경을 제거한 열차분영상을 출력하는 배경 제거부; 및
    상기 열차분영상으로부터 상기 상체 인식 대상 분할 영상, 다리 인식 대상 분할 영상, 인식 대상 분할 부분 합성 영상 및 채널 영상을 출력하는 특징 추출부를 포함하되,
    상기 특징 추출부는,
    상기 열차분영상에서 인식 대상만을 추출하고, 인식 대상의 무게중심을 검출하여 무게중심 정보를 포함하는 인식 대상 영상을 출력하는 대상추출부;
    상기 대상추출부로부터 출력되는 적어도 둘 이상의 인식 대상 영상들을 평균화하여 움직임 정보를 포함하는 차분 평균 영상을 획득하고, 획득된 차분 평균 영상으로부터 상기 상체 인식 대상 분할 영상(G채널), 상기 다리 인식 대상 분할 영상(B채널) 및 인식 대상 분할 부분 합성 영상(R채널)을 생성하여 출력하는 분석 영상 생성부; 및
    상기 상체 인식 대상 분할 영상, 다리 인식 대상 분할 영상 및 인식 대상 분할 부분 합성 영상을 한 영상으로 한 채널 영상을 생성하여 출력하는 채널 합성부를 포함하는 것을 특징으로 하는 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템.
  4. 제3항에 있어서,
    상기 상체 인식 대상 분할 영상은,
    몸통 및 팔을 제외한 사람의 어깨 윗부분을 포함하는 영상이고,
    상기 다리 인식 대상 분할 영상은,
    허벅지 아래의 영상인 것을 특징으로 하는 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템.
  5. 제4항에 있어서,
    상기 인식 대상 분할 부분 합성 영상은,
    상기 어깨 윗부분의 영상과 허벅지 아래의 영상을 상하로 합성한 영상인 것을 특징으로 하는 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템.
  6. 제3항에 있어서,
    상기 대상 추출부는,
    배경이 제거된 상기 열차분영상을 수신받아 출력하는 열차분영상 획득부;
    상기 열차분영상을 입력받고, 상기 열차분영상을 이진화한 이진영상을 생성하여 출력하는 이진영상 생성부;
    상기 이진영상으로부터 이진영상에 포함된 인식대상의 경계를 포함하는 경계박스를 생성하고, 생성된 경계박스 내의 인식대상의 무게중심을 검출하여 무게중심 정보를 포함하는 경계 이진 영상을 출력하는 경게 검출부; 및
    상기 열차분영상 및 상기 경계 이진 영상을 입력받고, 상기 경계 이진 영상에 의해 상기 열차분영상으로부터 무게중심 정보를 포함하는 인식 대상만을 포함하는 인식 대상 영상을 추출하여 출력하는 인식대상 추출부를 포함하는 것을 특징으로 하는 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템.
  7. 제3항에 있어서,
    상기 분석 영상 생성부는,
    상기 인식 대상 영상 및 이전 인식 대상 영상을 차분한 차분 인식 대상 영상을 출력하는 차분 영상 획득부;
    적어도 둘 이상의 상기 차분 인식 대상 영상을 평균화하여 움직임 정보를 포함하는 차분 평균 영상을 출력하는 평균화부;
    상기 차분 평균 영상에서 상기 어깨 윗 부분과 다리 부분을 분할 한 각각의 상체 인식 대상 분할 영상 및 다리 인식 대상 분할 영상을 생성하는 인식대상 분할부; 및
    상기 상체 인식 대상 분할 영상 및 다리 인식 대상 분할 영상을 합성한 인식 대상 분할 부분 합성 영상을 출력하는 분할 합성 영상 생성부를 포함하는 것을 특징으로 하는 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템.
  8. 제7항에 있어서,
    상기 평균화부는,
    10개의 차분 인식 대상 영상을 평균화하여 차분 평균 영상을 출력하는 것을 특징으로 하는 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템.
  9. 제1항에 있어서,
    상기 대상 인식부는,
    상기 채널 영상을 입력받아 나선 신경망에 적용하여 움직임 특징정보를 출력하는 제1 나선 신경망(CNN) 분석부;
    상기 제1 CNN 분석부에서 출력되는 움직임 특징정보와 상기 인식 대상 DB에 저장된 움직임 특징정보들간의 거리를 측정하는 제1거리 측정부; 및
    상기 제1거리 측정부를 통해 측정되는 거리 중 가장 가까운 거리를 갖는 움직임 특징정보에 대응하는 개인정보를 획득하여 개인을 식별하는 제1분할영상 식별부를 구비하는 통합 식별부를 포함하는 것을 특징으로 하는 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템.
  10. 제9항에 있어서,
    상기 대상 인식부는,
    상기 상체 인식 대상 분할 영상을 입력받아 나선 신경망에 적용하여 상체 움직임 특징정보를 출력하는 제2 나선 신경망(CNN) 분석부;
    상기 제2 CNN 분석부에서 출력되는 상체 움직임 특징정보와 상기 인식 대상 DB에 저장된 움직임 특징정보의 상체 움직임 특징정보들간의 거리를 측정하는 제2거리 측정부; 및
    상기 제2거리 측정부를 통해 측정되는 거리 중 가장 가까운 거리를 갖는 상체 움직임 특징정보에 대응하는 개인정보를 획득하여 개인을 식별하는 제2분할영상 식별부를 구비하는 상체 식별부를 더 포함하는 것을 특징으로 하는 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템.
  11. 제10항에 있어서,
    상기 대상 인식부는,
    상기 다리 인식 대상 분할 영상을 입력받아 나선 신경망에 적용하여 다리 움직임 특징정보를 출력하는 제3 나선 신경망(CNN) 분석부;
    상기 제3 CNN 분석부에서 출력되는 다리 움직임 특징정보와 상기 인식 대상 DB에 저장된 움직임 특징정보의 다리 움직임 특징정보들간의 거리를 측정하는 제3거리 측정부; 및
    상기 제3거리 측정부를 통해 측정되는 거리 중 가장 가까운 거리를 갖는 다리 움직임 특징정보에 대응하는 개인정보를 획득하여 개인을 식별하는 제3분할영상 식별부를 구비하는 다리 식별부를 포함하는 것을 특징으로 하는 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템.
  12. 제11항에 있어서,
    상기 대상 인식부는,
    상기 인식 대상 분할 부분 합성 영상을 입력받아 나선 신경망에 적용하여 합성 움직임 특징정보를 출력하는 제4 나선 신경망(CNN) 분석부;
    상기 제4 나선신경망 분석부에서 출력되는 합성 움직임 특징정보와 상기 인식 대상 DB에 저장된 움직임 특징정보의 합성 움직임 특징정보들간의 거리를 측정하는 제4거리 측정부; 및
    상기 제4거리 측정부를 통해 측정되는 거리 중 가장 가까운 거리를 갖는 다리 합성 움직임 특징정보에 대응하는 개인정보를 인식 대상 DB에서 획득하여 개인을 식별하는 제4분할영상 식별부를 구비하는 상체 식별부를 더 포함하는 것을 특징으로 하는 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템.
  13. 제12항에 있어서,
    상기 대상 인식부는,
    상기 제2거리 측정부, 제3거리 측정부 및 제4거리 측정부로부터 출력되는 거리 정보들별로 서로 다른 가중치를 주어 스코어를 계산하여 출력하는 가중치 스코어 통합부; 및
    상기 스코어에 대응하는 스코어를 가지는 개인정보를 인식 대상 DB에서 획득하여 개인을 식별하는 제5식별부를 가지는 가중치 식별부를 더 포함하는 것을 특징으로 하는 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템.
  14. 영상 촬영부로부터 열영상을 획득하는 열영상 획득 과정; 및
    상기 열영상으로부터 인식 대상만을 포함하는 인식 대상 영상을 추출하고, 추출된 인식 대상 영상을 나선 신경망에 적용하여 어깨 및 다리의 움직임에 근거한 움직임 특성 정보를 추출하고, 추출된 움직임 특정 정보에 대응하는 개인정보를 인식 대상 DB에서 찾아 개인을 식별하는 개인 식별 과정을 포함하되,
    상기 개인 식별 과정은,
    영상 특징 검출부를 통해 상기 열영상으로부터 인식 대상만을 포함하는 인식 대상 영상을 추출하고, 추출된 인식 대상 영상에서 어깨를 포함하는 상체에 대한 상체 인식 대상 분할 영상, 다리 부분에 대한 다리 인식 대상 분할 영상 및 상기 상체 인식 대상 영상 및 식 대상 분할 영상을 합성한 합성 인식 대상 분할 영상을 한 영상화 한 채널 영상을 생성하고, 채널 영상을 나선 신경망에 적용하여 인식 대상의 움직임 특징 정보를 추출하는 영상 특징 검출 단계; 및
    대상 인식부를 통해 추출된 움직임 특징 정보에 대응하는 개인정보를 상기 인식 대상 DB에서 찾아 개인을 식별하는 대상 인식 단계를 포함하는 것을 특징으로 하는 나선 신경망을 이용한 신체 움직임 기반 개인 식별 방법.
  15. 삭제
  16. 제14항에 있어서,
    상기 영상 특징 검출단계는,
    배경 제거부를 통해 상기 열영상에 대한 열차분영상으로부터 배경을 제거하여 출력하는 배경 제거 단계; 및
    특징 추출부를 통해 배경이 제거된 상기 열차분영상으로부터 상기 상체 인식 대상 분할 영상, 다리 인식 대상 분할 영상 및 인식 대상 분할 부분 합성 영상을 출력하는 특징 추출 단계를 포함하되,
    상기 특징 추출 단계는,
    대상 추출부를 통해 상기 열차분영상에서 인식 대상만을 추출하고, 인식 대상의 무게중심을 검출하여 무게중심 정보를 포함하는 인식 대상 영상을 출력하는 대상추출 단계;
    분석 영상 생성부를 통해 상기 대상추출부로부터 출력되는 적어도 둘 이상의 인식 대상 영상들을 평균화하여 움직임 정보를 포함하는 차분 평균 영상을 획득하고, 획득된 차분 평균 영상으로부터 상기 상체 인식 대상 분할 영상(G채널), 상기 다리 인식 대상 분할 영상(B채널) 및 인식 대상 분할 부분 합성 영상(R채널)을 생성하여 출력하는 분석 영상 생성 단계; 및
    채널 합성부를 통해 상기 인식 대상 분할 영상, 다리 인식 대상 분할 영상 및 인식 대상 분할 부분 합성 영상을 한 영상으로 한 채널 영상을 생성하여 출력하는 채널 합성 단계를 포함하는 것을 특징으로 하는 나선 신경망을 이용한 신체 움직임 기반 개인 식별 방법.
  17. 제16항에 있어서,
    상기 대상 추출 단계는,
    열차분영상 획득부를 통해 배경이 제거된 상기 열영상으로부터 열차분영상을 획득하여 출력하는 열차분영상 획득 단계;
    이진영상 생성부를 통해 상기 열차분영상을 입력받고, 상기 열차분영상을 이진화한 이진영상을 생성하여 출력하는 이진영상 생성 단계;
    경계 검출부를 통해 상기 이진영상으로부터 이진영상에 포함된 인식대상의 경계를 포함하는 경계박스를 생성하고, 생성된 경계박스 내의 인식대상의 무게중심을 검출하여 무게중심 정보를 포함하는 경계 이진 영상을 출력하는 경게 검출 단계; 및
    인식대상 추출부를 통해 상기 열차분영상 및 상기 경계 이진 영상을 입력받고, 상기 경계 이진 영상에 의해 상기 열차분영상으로부터 무게중심 정보를 포함하는 인식 대상만을 포함하는 인식 대상 영상을 추출하여 출력하는 인식대상 추출 단계를 포함하는 것을 특징으로 하는 나선 신경망을 이용한 신체 움직임 기반 개인 식별 방법.
  18. 제16항에 있어서,
    상기 분석 영상 생성 단계는,
    차분 영상 획득부를 통해 상기 인식 대상 영상 및 이전 인식 대상 영상을 차분한 차분 인식 대상 영상을 출력하는 차분 영상 획득 단계;
    평균화부를 통해 적어도 둘 이상의 상기 차분 인식 대상 영상을 평균화하여 움직임 정보를 포함하는 차분 평균 영상을 출력하는 평균화 단계;
    상기 인식대상 분할부를 통해 상기 차분 평균 영상에서 상기 어깨 윗 부분과 다리 부분을 분할 한 각각의 상체 인식 대상 분할 영상 및 식 대상 분할 영상을 생성하는 인식대상 분할 단계; 및
    분할 합성 영상 생성부를 통해 상기 상체 인식 대상 분할 영상 및 식 대상 분할 영상을 합성한 인식 대상 분할 부분 합성 영상을 출력하는 분할 합성 영상 생성 단계를 포함하는 것을 특징으로 하는 나선 신경망을 이용한 신체 움직임 기반 개인 식별 방법.
  19. 제18항에 있어서,
    상기 평균화 단계에서 상기 평균화부는,
    10개의 차분 인식 대상 영상을 평균화하여 차분 평균 영상을 출력하는 것을 특징으로 하는 나선 신경망을 이용한 신체 움직임 기반 개인 식별 방법.
  20. 제14항에 있어서,
    상기 대상 인식 단계는,
    제1 CNN 분석부를 통해 상기 채널 영상을 입력받아 나선 신경망에 적용하여 움직임 특징정보를 출력하는 나선 신경망(CNN) 분석 단계;
    제1거리 측정부를 통해 상기 제1 CNN 분석부에서 출력되는 움직임 특징정보와 상기 인식 대상 DB에 저장된 움직임 특징정보들간의 거리를 측정하는 거리 측정 단계; 및
    제1분할영상 식별부를 통해 상기 제1거리 측정부를 통해 측정되는 거리 중 가장 가까운 거리를 갖는 움직임 특징정보에 대응하는 개인정보를 획득하여 개인을 식별하는 개인 식별 단계를 포함하는 것을 특징으로 하는 나선 신경망을 이용한 신체 움직임 기반 개인 식별 방법.
KR1020170132195A 2017-10-12 2017-10-12 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템 및 방법 KR101965972B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170132195A KR101965972B1 (ko) 2017-10-12 2017-10-12 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170132195A KR101965972B1 (ko) 2017-10-12 2017-10-12 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101965972B1 true KR101965972B1 (ko) 2019-04-04

Family

ID=66105342

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170132195A KR101965972B1 (ko) 2017-10-12 2017-10-12 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101965972B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768430A (zh) * 2020-06-23 2020-10-13 重庆大学 一种基于多特征级联匹配的高速公路外场车辆跟踪方法
KR20220057389A (ko) * 2020-10-29 2022-05-09 주식회사 딥비전스 행동 인식 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100824757B1 (ko) * 2007-02-09 2008-04-24 연세대학교 산학협력단 걸음걸이를 이용한 생체 인식 방법
KR20110097333A (ko) * 2010-02-25 2011-08-31 연세대학교 산학협력단 객체 인식 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
KR101639161B1 (ko) * 2015-06-24 2016-07-12 이화여자대학교 산학협력단 골격 정보를 이용한 사용자 인증 방법
KR101711736B1 (ko) 2015-05-26 2017-03-02 이화여자대학교 산학협력단 영상에서 동작 인식을 위한 특징점 추출 방법 및 골격 정보를 이용한 사용자 동작 인식 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100824757B1 (ko) * 2007-02-09 2008-04-24 연세대학교 산학협력단 걸음걸이를 이용한 생체 인식 방법
KR20110097333A (ko) * 2010-02-25 2011-08-31 연세대학교 산학협력단 객체 인식 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
KR101711736B1 (ko) 2015-05-26 2017-03-02 이화여자대학교 산학협력단 영상에서 동작 인식을 위한 특징점 추출 방법 및 골격 정보를 이용한 사용자 동작 인식 방법
KR101639161B1 (ko) * 2015-06-24 2016-07-12 이화여자대학교 산학협력단 골격 정보를 이용한 사용자 인증 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Dat Tien Nguyen et. al., Person Recognition System Based on a Combination of Body Images from Visible Light and Thermal Cameras, MDPI, (2017.03.16) 1부* *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768430A (zh) * 2020-06-23 2020-10-13 重庆大学 一种基于多特征级联匹配的高速公路外场车辆跟踪方法
CN111768430B (zh) * 2020-06-23 2023-08-11 重庆大学 一种基于多特征级联匹配的高速公路外场车辆跟踪方法
KR20220057389A (ko) * 2020-10-29 2022-05-09 주식회사 딥비전스 행동 인식 장치 및 방법

Similar Documents

Publication Publication Date Title
JP7132387B2 (ja) 画像処理装置、画像処理方法およびプログラム
Bouchrika et al. On using gait in forensic biometrics
KR101729327B1 (ko) 듀얼 카메라를 이용한 체온 추적 모니터링 시스템
Johnson et al. A multi-view method for gait recognition using static body parameters
Boulgouris et al. Gait recognition using linear time normalization
US8462996B2 (en) Method and system for measuring human response to visual stimulus based on changes in facial expression
Davis Visual categorization of children and adult walking styles
KR101350922B1 (ko) 열화상 카메라를 사용한 객체 추적 방법 및 장치
KR100824757B1 (ko) 걸음걸이를 이용한 생체 인식 방법
US10853624B2 (en) Apparatus and method
Barnich et al. Frontal-view gait recognition by intra-and inter-frame rectangle size distribution
CN104200200A (zh) 融合深度信息和灰度信息实现步态识别的系统及方法
CN110796101A (zh) 一种嵌入式平台的人脸识别方法及系统
JP7151875B2 (ja) 画像処理装置、画像処理方法、およびプログラム
KR101965972B1 (ko) 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템 및 방법
CN108710841A (zh) 一种基于MEMs红外阵列传感器的人脸活体检测装置及方法
Hong et al. A new gait representation for human identification: mass vector
KR101817773B1 (ko) 깊이 영상 센싱 기반의 맞춤형 광고 제공 시스템
CN113011544B (zh) 基于二维码的人脸生物信息识别方法、系统、终端、介质
KR101601187B1 (ko) 손금 기반 사용자 인식 정보를 이용한 기기 컨트롤 장치 및 그 방법
Bansal et al. Elderly people fall detection system using skeleton tracking and recognition
TWI777689B (zh) 物件辨識暨體溫量測方法
Amjed et al. Noncircular iris segmentation based on weighted adaptive hough transform using smartphone database
CN104615985A (zh) 一种人脸相似度的识别方法
An et al. Support vector machine algorithm for human fall recognition kinect-based skeletal data

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant