WO2019088333A1 - 깊이 맵 정보 기반의 인체 행위 인지 방법 및 그 장치 - Google Patents

깊이 맵 정보 기반의 인체 행위 인지 방법 및 그 장치 Download PDF

Info

Publication number
WO2019088333A1
WO2019088333A1 PCT/KR2017/012749 KR2017012749W WO2019088333A1 WO 2019088333 A1 WO2019088333 A1 WO 2019088333A1 KR 2017012749 W KR2017012749 W KR 2017012749W WO 2019088333 A1 WO2019088333 A1 WO 2019088333A1
Authority
WO
WIPO (PCT)
Prior art keywords
human body
human
joint position
information
joint
Prior art date
Application number
PCT/KR2017/012749
Other languages
English (en)
French (fr)
Inventor
김동칠
박성주
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Publication of WO2019088333A1 publication Critical patent/WO2019088333A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • the present invention relates to a method and apparatus for recognizing a human body based on depth map information, and more particularly, to a method and apparatus for recognizing human body behavior using depth map information obtained through a 3D camera .
  • the video security system is a system that provides video based security service.
  • a 2D image-based image security system performs image processing for detecting, classifying, and tracking objects such as people and vehicles using 2D images, and recognizes the actions or events of the objects from the processing results. That is, a 2D-based image security system analyzes a 2D image to monitor whether an object passes through a certain point, is invaded, or wanders.
  • the accuracy of the analysis result is influenced by environmental factors such as lighting, weather, and so on.
  • the accuracy of the analysis results is low because the 2D image does not provide a display quality that can recognize the behavior or event of the object at night, which does not provide sufficient brightness.
  • a problem to be solved by the present invention is to classify a human body part based on depth map information acquired from a three-dimensional (3D) camera,
  • the present invention is to provide a method and apparatus for detecting a human body based on depth map information that extracts characteristic information and recognizes human behavior based on the extracted joint characteristic information.
  • a method for recognizing a human body comprising the steps of: pre-processing depth map information captured from a human body input from an image acquisition unit and extracting a noise- ; Classifying the human body region into a plurality of human body regions; Defining joint position coordinates of each of the plurality of human body parts; And extracting joint characteristic information based on a displacement amount of the joint position coordinates; Retrieving human behavior information matching the extracted joint characteristic information in the human body behavior database defined in the condition and recognizing human body behavior captured in the depth map information as human body behavior defined in the retrieved human body behavior information do.
  • a human body behavior perception apparatus comprising: a preprocessing unit configured to perform preprocessing on depth map information of a human body inputted from an image acquisition unit to extract a human body region from which noise has been removed; A preprocessing unit; A classifying unit for classifying the human body region into a plurality of human body regions; A coordinate setting unit that defines joint position coordinates of each of the plurality of human body parts; An extracting unit for extracting joint characteristic information based on a displacement amount of the joint position coordinates; And searching the human behavior information matching the extracted joint characteristic information in the human behavior database defined in the subject, and detecting the human behavior captured in the depth map information as a human behavior defined in the human behavior information retrieved from the human body behavior database A human body matching engine.
  • human body parts are classified based on depth map information obtained from a 3D camera, and joint property information is extracted from the classified human body parts to recognize human body behavior, I can recognize the action accurately. Therefore, it is possible to accurately recognize the human body even in the environment of bad condition.
  • the image security system to which the human body recognition method of the present invention is applied can maximize personal safety and crime prevention effect by accurately recognizing human body activity even in a bad environment.
  • FIG. 1 is a block diagram of a human body recognition apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of the joint characteristic information extracting unit shown in FIG. 1.
  • FIG. 2 is a block diagram of the joint characteristic information extracting unit shown in FIG. 1.
  • FIG. 3 is a diagram schematically showing an example of learning data for classifying human body parts shown in FIG. 2.
  • FIG. 4 schematically shows an example of the joint position coordinates set by the coordinate setting unit shown in FIG. 2.
  • FIG. 4 schematically shows an example of the joint position coordinates set by the coordinate setting unit shown in FIG. 2.
  • FIG. 5 is a flowchart illustrating a method of recognizing a human body based on depth map information according to an embodiment of the present invention.
  • step S520 is a detailed flowchart of step S520 shown in FIG.
  • FIG. 1 is a block diagram of a human body recognition apparatus according to an embodiment of the present invention.
  • an object behavior recognition apparatus 100 can recognize an object behavior under various environmental conditions based on depth map information about an object.
  • the object may be a person, an animal, a vehicle, a movable thing, and the like.
  • the object behavior perception apparatus 100 recognizes human motion. Accordingly, in the following, the object behavior perception apparatus 100 will be referred to as a 'human body behavior perception apparatus', and the object behavior will be referred to as human motion.
  • the human body recognition apparatus 100 capable of recognizing a human body action may be implemented with an electronic device having a computer processor.
  • the human behavior awareness device 100 which may be implemented as an electronic device, may be embedded in another electronic device.
  • Other electronic devices may be, for example, mobile phones, desktops, servers, video security devices, mobile robots, and the like.
  • the present invention is not limited thereto, and there is no limitation to the type of the electronic device if the electronic device is a device requiring recognition of human body behavior.
  • the human body recognition apparatus 100 may basically include an image acquisition unit 110 and an image processing unit 130. [
  • the image obtaining unit 110 may be an image sensor configured to capture a three-dimensional (3D) image of a human body.
  • the image sensor may include any type of camera, which may be referred to as a 3D camera, such as a stereo camera, a depth camera, and the like.
  • the image obtaining unit 110 may be configured to include means for extracting depth map information from the 3D image.
  • the depth map information can define the distance between the camera and the object as information represented by a depth value (depth information or depth data) in pixel units.
  • the depth value can be replaced by the term " intensity value ".
  • the image obtaining unit 110 may provide the depth map information (or the depth image) extracted from the 3D image to the image processing unit 130.
  • the image processing unit 130 may process the depth map information to recognize the human body based on the depth map information provided from the image obtaining unit 110.
  • the image processing unit 130 may include at least one general-purpose processor and / or a graphics processor.
  • the image processing unit 130 may include a preprocessing unit 131, a joint property information extracting unit 133, and a human body matching engine 135.
  • the preprocessing unit 131 may perform a preprocessing process to extract noise-removed human body information from the depth map information provided from the image acquisition unit 130.
  • the human body information from which noise has been removed may be information indicating human body behavior as a plurality of pixel coordinate values.
  • the joint characteristic information extracting unit 133 extracts joint characteristic information from the human body information from which noises have been removed by the preprocessing process.
  • FIG. 1 A block diagram of a joint characteristic information extracting unit 133 for extracting joint characteristic information is shown in FIG.
  • the joint characteristic information extracting unit 133 may include a classifying unit 133-1, a coordinate setting unit 133-3, and an extracting unit 133-5.
  • the classification unit 133-1 classifies the human body information from which noises have been removed by the preprocessing unit (131 in FIG. 1) into M human body parts.
  • the classifying unit 133-1 may be a kind of classification model learned to classify the human body part.
  • This classification model can be a kind of learning model in which correlation between human body information and human body parts from which noises are removed is learned using learning data.
  • Learning methods can be, for example, a learning technique of a convolutional neural network (CNN) structure, which is one of deep learning learning methods of a neural network structure.
  • CNN convolutional neural network
  • the classifying section 133-1 classifies the classifying section 133-1 into a slender or fat
  • the human body part can be classified into a plurality of learning data.
  • each learning data in which the human body part is classified according to the appearance shape may be the learning data classified into a total of 44 human body parts.
  • the coordinate setting unit 133-3 classifies the human body classified by the classifying unit 133-1 into N human body parts smaller than M and uses a density estimator of the mean shift technique, (Or define) the N human body regions again classified into N joint position coordinates.
  • the coordinate setting unit 133-3 can define the coordinates where the pixel coordinates that constitute the re-classified human body parts converge using the density estimator of the mean shift technique as the joint position coordinates.
  • FIG. 4 schematically shows an example of the joint position coordinates defined by the coordinate setting unit 133-3.
  • the coordinate setting unit 133-3 can provide the set joint position coordinates to the extracting unit 133-5.
  • the coordinate setting part 133-3 can set 10 human body parts to 10 joint position coordinates.
  • the extraction unit 133-5 calculates a feature vector indicating a displacement amount (difference value or amount of displacement) of the joint position coordinates provided by the coordinate setting unit 133-3 and outputs the calculated feature vector to the joint property information . That is, the extracting unit 133-5 extracts the joint position coordinates (hereinafter, referred to as the current joint position coordinates) corresponding to the previous joint position coordinates in the current frame and the joint position coordinates (The difference value or the movement amount) between the two points can be extracted as the joint characteristic information.
  • the joint position coordinates hereinafter, referred to as the current joint position coordinates
  • the extraction unit 133-5 may provide the extracted joint characteristic information to the human body behavior matching engine 135.
  • the human body matching engine 135 searches human behavior information, which is matched with the joint characteristic information provided from the joint characteristic information extractor 133, in a predefined human body behavior database 137,
  • human body behavior information matching the joint characteristic information is retrieved
  • the human body behavior defined in the retrieved human body behavior information can be recognized as the human body activity of the human body photographed by the image acquisition unit 110.
  • SVM Small Vector Machine
  • SVM Small Vector Machine
  • FIG. 5 is a flowchart illustrating a method of recognizing a human body based on depth map information according to an embodiment of the present invention.
  • step S510 depth map information (or a depth image) is input from a 3D camera.
  • step S520 a preprocessing process is performed on the input depth map information (or depth image) to extract noise-removed human information from the input depth map information (or depth image).
  • the preprocessing process will be described in detail with reference to FIG.
  • step S520 is a detailed flowchart of step S520.
  • a human body region including a pixel coordinate value constituting a human body is detected from depth map information (or a depth image).
  • the pixel coordinate values of the detected human body can be stored in the memory.
  • the position of the human body and the number of the human body can be grasped through the pixel coordinate values of the human body.
  • various object detection algorithms can be used, and in the present embodiment, a deep-running based object detection method with a high object detection speed can be used.
  • a deep learning-based object detection technique is out of the gist of the present invention, and a detailed description thereof will be omitted.
  • a Connected Component Analysis is performed on the depth map information (or the depth image) to remove the background from the depth map information (or depth image) to detect the background area .
  • CCA Connected Component Analysis
  • step S525 when a background area is detected in the previous step, a process of removing the background area excluding the human area in the depth map information (or depth image) is performed.
  • step S527 the process of removing the ceiling area from the depth map information (or depth image) from which the background area is removed is performed. Even if the background area excluding the human body area is removed through the CCA performed in step S523, the upper part of the human body is determined as the human body area, and the probability of not being removed is high. Thus, the ceiling area is calculated by the plane equation to remove the ceiling area.
  • step S529 the process of removing the ground area from the depth map information (or depth image) from which the ceiling area is removed is performed. Similar to the above description, even if the background area except for the human body area is removed through the CCA performed in step S523, the lower part of the human body is determined as the human body area, and the probability of not being removed is high. Therefore, the ground area is calculated through the plane equation to remove the ceiling area.
  • the human area (or human body information) from which noise has been removed from the depth map information (or the depth image) can be detected through the removal process of the ceiling and the ground area.
  • a random sample consensus (RANSAC) technique can be used as a method of removing the ceiling and the ground area using the plane equation.
  • the first process of selecting any three pixels from the depth map information (or the depth image) and determining the plane using the plane equations is performed on the three selected pixels.
  • a second process of determining a plane from a ground level to a specific threshold value and obtaining the number of pixels included in the threshold value in the determined plane is performed. Thereafter, the first and second processes are repeated a plurality of times, and the plane including the largest number of pixels among the repeatedly performed results can be determined as the ceiling and the floor, respectively.
  • human body information (or a human body area) in which noise such as a ceiling or a floor is removed from depth map information (or depth image) through the preprocessing process described with reference to FIG. 6 is detected, , And classification of the human body information (or human body area) from which noises are removed into M human body parts is performed.
  • a classification model that learns a correlation between human body information (or a human body area) and a human body part can be used.
  • This classification model can be learned, for example, by a learning technique of a convolutional neural network (CNN) structure, which is one of deep learning learning methods of a neural network structure.
  • CNN convolutional neural network
  • step S540 the M human parts classified in the previous step S530 are classified again into N (where N is a natural number smaller than M) human body parts, and using the density estimator of the mean shift technique, A process of setting (or defining) the N human body parts classified into N joint position coordinates is performed.
  • step S550 a feature vector indicating a displacement amount (difference value or amount of displacement) of the joint position coordinates in the previous frame and the current frame is calculated, and a process of extracting the calculated feature vector as the joint feature information is performed do.
  • step S560 human body behavior information matching the joint characteristic information provided from the joint characteristic information extracting unit 133 is searched in the predefined human body behavior database 137, and the human body behavior information matching the joint characteristic information The process of recognizing the human body behavior defined in the retrieved human body behavior information as the human body behavior of the human body photographed by the image obtaining unit 110 is performed.
  • the apparatus and method of the present invention classify parts of a human body based on depth map information acquired from a 3D camera to solve problems with conventional 2D image analysis, It is possible to prevent deterioration of recognition performance of human body actions due to various environmental factors by recognizing human body behavior by extracting joint characteristic information in the image security system of the present invention. By maintaining uniform cognitive performance against human behavior, it is possible to maximize personal safety and crime prevention.
  • the present invention can be applied to an image security system capable of maximizing personal safety and crime prevention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

깊이 맵 정보 기반의 인체 행위 인지 방법이 개시된다. 이러한 인체 행위 인지 방법은, 영상 획득부로부터 입력된 인체 행위가 캡쳐된 깊이 맵 정보에 대해 전처리를 수행하여, 노이즈가 제거된 인체 영역을 추출하는 단계; 상기 인체 영역을 다수의 인체 부위로 분류하는 단계; 상기 다수의 인체 부위 각각의 관절 위치 좌표를 정의하는 단계; 상기 관절 위치 좌표의 변위량을 기반으로 관절 특성 정보를 추출하는 단계; 사정에 정의된 인체 행위 데이터베이스에서 상기 추출된 관절 특성 정보에 매칭되는 인체 행위 정보를 검색하고, 상기 깊이 맵 정보에 캡쳐된 인체 행위를 상기 검색된 인체 행위 정보에 정의된 인체 행위로 인지하는 단계를 포함한다.

Description

깊이 맵 정보 기반의 인체 행위 인지 방법 및 그 장치
본 발명은 깊이 맵 정보 기반의 인체 행위 인지 방법 및 그 장치에 관한 것으로, 상세하게는, 3D 카메라를 통해 얻은 깊이 맵(Depth Map) 정보를 이용하여 인체 행위를 인지하는 방법 및 그 장치에 관한 것이다.
최근, 영상 보안 시스템에 대한 연구개발이 활발히 진행되고 있다. 영상 보안 시스템은 영상 기반의 보안 서비스를 제공하는 시스템이다. 2차원 영상(2D) 기반의 영상 보안 시스템은 2D 영상을 이용하여 사람, 차량 등의 객체를 탐지, 분류 및 트래킹하는 영상 처리를 수행하고, 그 처리 결과로부터 객체의 행위 또는 이벤트를 인지한다. 즉, 2D 기반의 영상 보안 시스템은 2D 영상을 분석하여 객체가 특정 지점을 통과하는지, 침입했는지, 또는 배회하는지 등을 모니터링 한다.
그러나 객체의 행위 또는 이벤트를 인지하기 위해, 2D 영상을 분석하는 과정에서, 분석결과의 정확도는 조명, 날씨 등과 같은 환경적인 요소에 영향을 받는다. 특히, 2D 영상은 충분한 밝기를 제공하는 않는 야간에서 객체의 행위 또는 이벤트를 인지할 수 있는 표시 품질을 제공하지 않기 때문에, 그 분석결과의 정확도가 낮다.
본 발명에서 해결하고자 하는 과제는 전술한 바와 같이 2D 영상 분석에 대한 문제를 해결하기 위해, 3차원(3D) 카메라로부터 획득한 깊이 맵 정보를 기반으로 인체 부위를 분류하고, 분류된 인체 부위에서 관절 특성 정보를 추출하여 추출된 관절 특성 정보를 기반으로 인체 행위를 인지하는 깊이 맵 정보 기반의 인체 행위 인지 방법 및 그 장치를 제공하는 데 있다.
본 발명에서 해결하고자 하는 과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 목적을 달성하기 위한 본 발명의 일면에 따른 인체 행위 인지 방법은, 영상 획득부로부터 입력된 인체 행위가 캡쳐된 깊이 맵 정보에 대해 전처리를 수행하여, 노이즈가 제거된 인체 영역을 추출하는 단계; 상기 인체 영역을 다수의 인체 부위로 분류하는 단계; 상기 다수의 인체 부위 각각의 관절 위치 좌표를 정의하는 단계; 및 상기 관절 위치 좌표의 변위량을 기반으로 관절 특성 정보를 추출하는 단계; 사정에 정의된 인체 행위 데이터베이스에서 상기 추출된 관절 특성 정보에 매칭되는 인체 행위 정보를 검색하고, 상기 깊이 맵 정보에 캡쳐된 인체 행위를 상기 검색된 인체 행위 정보에 정의된 인체 행위로 인지하는 단계를 포함한다.
상술한 목적을 달성하기 위한 본 발명의 다른 일면에 따른 인체 행위 인지 장치는, 영상 획득부로부터 입력된 인체 행위가 캡쳐된 깊이 맵 정보에 대해 전처리를 수행하여, 노이즈가 제거된 인체 영역을 추출하는 전처리부; 상기 인체 영역을 다수의 인체 부위로 분류하는 분류부; 상기 다수의 인체 부위 각각의 관절 위치 좌표를 정의하는 좌표 설정부; 상기 관절 위치 좌표의 변위량을 기반으로 관절 특성 정보를 추출하는 추출부; 및 사정에 정의된 인체 행위 데이터베이스에서 상기 추출된 관절 특성 정보에 매칭되는 인체 행위 정보를 검색하고, 상기 깊이 맵 정보에 캡쳐된 인체 행위를 상기 인체 행위 데이터베이스에서 검색된 인체 행위 정보에 정의된 인체 행위로 인지하는 인체 행위 매칭 엔진을 포함한다.
본 발명에 따르면, 3D 카메라로부터 획득한 깊이 맵(Depth Map) 정보를 기반으로 인체 부위를 분류하고, 분류된 인체 부위에서 관절 특성 정보를 추출하여 인체 행위를 인지함으로써, 환경적인 요소에 관계없이 인체 행위를 정확하게 인지할 수 있다. 따라서, 악조건의 환경에서도 인체 행위의 정확한 인지가 가능하다.
나아가, 본 발명의 인체 행위 인지 방법이 적용된 영상 보안 시스템은 악조건의 환경에서도 인체 행위를 정확하게 인지함으로써, 개인 신변 안전 및 범죄 예방 효과를 극대화할 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 인체 행위 인지 장치의 블록도이다.
도 2는 도 1에 도시한 관절 특성 정보 추출부의 블록도이다.
도 3은 도 2에 도시한 분류부가 인체 부위를 분류하기 위해 학습하는 학습 데이터의 일 예를 도식적으로 나타낸 도면이다.
도 4는 도 2에 도시한 좌표 설정부에 의해 설정된 관절 위치 좌표의 일 예를 도식적으로 나타낸 것이다.
도 5는 본 발명의 일 실시 예에 따른 깊이 맵 정보 기반의 인체 행위 인지 방법을 나타내는 흐름도이다.
도 6은 도 5에 도시한 단계 S520의 상세 흐름도이다.
본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시 예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.
도 1은 본 발명의 일 실시 예에 따른 인체 행위 인지 장치의 블록도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 객체 행위 인지 장치(100)는 객체에 대한 깊이 맵 정보를 기반으로 다양한 환경 조건에서도 객체 행위를 인지할 수 있다. 여기서, 객체는, 사람, 동물, 차량, 이동 가능한 물건 등일 수 있다.
설명의 편의를 위해, 객체 행위 인지 장치(100)가 인체 행위를 인지하는 것으로 가정한다. 이에 따라, 이하에서는 객체 행위 인지 장치(100)는 '인체 행위 인지 장치'로 지칭하며, 객체 행동은 인체 행동으로 지칭한다.
인체 행위를 인지할 수 있는 인체 행위 인지 장치(100)는 컴퓨터 프로세서를 구비한 전자 장치로 구현된 것일 수 있다. 전자 장치로 구현될 수 있는 인체 행위 인지 장치(100)는 다른 전자 장치 내에 내장될 수 있다. 다른 전자 장치는, 예를 들면, 모바일 폰, 데스크 탑, 서버, 영상 보안 기기, 이동 로봇 등일 수 있다. 이에 한정하지 않고, 다른 전자 장치는 인체 행위의 인지가 필요한 장치라면, 그 종류에 제한이 없다.
인체 행위 인지 장치(100)는, 기본적으로, 영상 획득부(110) 및 영상 처리부(130)를 포함할 수 있다.
영상 획득부(110)는 인체를 촬영한 3차원(3D) 이미지를 캡쳐하도록 구성된 이미지 센서일 수 있다. 이미지 센서는 스테레오 카메라, 깊이 카메라 등과 같이 3D 카메라로 통칭될 수 있는 모든 종류의 카메라를 포함할 수 있다.
도시하지는 않았으나, 영상 획득부(110)는 3D 이미지로부터 깊이 맵 정보를 추출할 수 있는 수단을 포함하도록 구성될 수 있다. 깊이 맵 정보는 카메라와 객체 간의 거리를 픽셀 단위의 깊이값(깊이 정보 또는 깊이 데이터)으로 표현되는 정보로 정의할 수 있다. 깊이값은 '강도값'이라는 용어로 대체될 수 있다.
영상 획득부(110)는 3D 이미지로부터 추출된 깊이 맵 정보(또는 깊이 이미지)를 영상 처리부(130)로 제공할 수 있다.
영상 처리부(130)는 영상 획득부(110)로부터 제공된 깊이 맵 정보를 기반으로 인체 행위를 인식하기 위해 깊이 맵 정보를 프로세싱할 수 있다. 이러한 영상 처리부(130)는 적어도 하나의 범용의 프로세서 및/또는 그래픽 프로세서를 포함할 수 있다.
영상 처리부(130)는 전처리부(131), 관절 특성 정보 추출부(133) 및 인체 행위 매칭 엔진(135)을 포함할 수 있다.
전처리부(131)는 영상 획득부(130)로부터 제공된 깊이 맵 정보로부터 노이즈가 제거된 인체 정보를 추출하기 위해 전처리 과정을 수행할 수 있다. 여기서, 노이즈가 제거된 인체 정보는 인체 행위를 다수의 픽셀 좌표값으로 나타낸 정보일 수 있다.
관절 특성 정보 추출부(133)는 전처리 과정에 의해 노이즈가 제거된 인체 정보로부터 관절 특성 정보를 추출한다.
관절 특성 정보를 추출하기 위한, 관절 특성 정보 추출부(133)의 블록 구성도가 도 2에 도시된다.
도 2를 참조하면, 관절 특성 정보 추출부(133)는 분류부(133-1), 좌표 설정부(133-3) 및 추출부(133-5)를 포함할 수 있다.
분류부(133-1)는 전처리부(도 1의 131)에 의해 노이즈가 제거된 인체 정보를 M개의 인체 부위로 분류한다. 인체 부위 분류를 위해, 분류부(133-1)는 인체 부위를 분류하도록 학습된 일종의 분류 모델일 수 있다. 이러한 분류 모델은 노이즈가 제거된 인체 정보와 인체 부위 간의 상호 관련성을 학습 데이터를 이용하여 학습한 일종의 학습 모델일 수 있다. 학습 방법은, 예를 들면, 신경망 구조의 딥러닝(deep learning) 학습 기법의 하나인 컨볼루션 신경망(CNN, Convolutional Neural Network) 구조의 학습기법이 사용될 수 있다.
도 3에는 분류부(133-1)가 인체 부위를 분류하기 위해 학습하는 학습 데이터의 예를 도식적으로 나타낸 것으로서, 분류부(133-1)는, 도 3에 도시된 바와 같이, 날씬한 정도 또는 뚱뚱한 정도로 구분되는 외관 형상 별로 인체 부위가 분류된 다수의 학습 데이터를 학습할 수 있다. 특별히 한정하는 것은 아니지만, 외관 형상 별로 인체 부위가 분류된 각 학습 데이터는 총 44개의 인체 부위로 분류된 학습 데이터일 수 있다.
좌표 설정부(133-3)는 분류부(133-1)에서 분류된 인체 부위를 상기 M개보다 작은 N개의 인체부위로 다시 분류하고, Mean Shift 기법의 밀도 추정자(Density Estimator)를 이용하여, 다시 분류한 N개의 인체 부위를 N개의 관절 위치 좌표로 각각 설정한다(또는 정의한다). 즉, 좌표 설정부(133-3)는 Mean Shift 기법의 밀도 추정자(Density Estimator)를 이용하여 다시 분류한 인체 부위들 각각을 구성하는 픽셀 좌표들이 수렴하는 좌표를 관절 위치 좌표로 정의할 수 있다. 도 4에는 좌표 설정부(133-3)에서 정의한 관절 위치 좌표의 일 예를 도식적으로 나타낸 것이다.
좌표 설정부(133-3)는 설정한 관절 위치 좌표를 추출부(133-5)로 제공할 수 있다.
한편, 좌표 설정부(133-3)는, 예를 들면, 44개로 분류된 인체 부위를 10개의 인체 부위로 다시 분류한 경우, 10개의 인체 부위를 10개의 관절 위치 좌표로 설정할 수 있다.
추출부(133-5)는 좌표 설정부(133-3)에서 제공하는 관절 위치 좌표의 변위량(차이값 또는 변위량)을 나타내는 특징 벡터(Feature vector)를 계산하고, 계산된 특징 벡터를 관절 특성 정보로서 추출한다. 즉, 추출부(133-5)는 이전 프레임에서 관절 위치 좌표(이하, 이전의 관절 위치 좌표)와 현재 프레임에서 상기 이전의 관절 위치 좌표에 대응하는 관절 위치 좌표(이하, 현재의 관절 위치 좌표) 간의 변위량(차이값 또는 이동량)을 관절 특성 정보로서 추출할 수 있다.
추출부(133-5)는 추출한 관절 특성 정보를 인체 행위 매칭 엔진(135)으로 제공할 수 있다.
다시 도 2를 참조하면, 인체 행위 매칭 엔진(135)은 사전에 정의된 인체 행위 데이터베이스(137)에서 상기 관절 특성 정보 추출부(133)로부터 제공된 관절 특성 정보에 매칭되는 인체 행위 정보를 검색하고, 관절 특성 정보에 매칭되는 인체 행위 정보가 검색되면, 검색된 인체 행위 정보에 정의된 인체 행위를 영상 획득부(110)에서 촬영한 인체의 인체 행위로 인지할 수 있다. 관절 특성 정보와 인체 행위 데이터베이스(137)에 저장된 인체 행위 정보 간의 매칭 여부를 판단하는 방법으로, SVM(Support Vector Machine) 기법이 이용될 수 있다.
도 5는 본 발명의 일 실시 예에 따른 깊이 맵 정보 기반의 인체 행위 인지 방법을 나타내는 흐름도이다.
도 5를 참조하면, 먼저, 단계 S510에서, 3D 카메라로부터 깊이 맵 정보(또는 깊이 이미지)가 입력되는 과정이 수행된다.
이어, 단계 S520에서, 입력된 깊이 맵 정보(또는 깊이 이미지)로부터 노이즈가 제거된 인체 정보를 추출하기 위해, 입력된 깊이 맵 정보(또는 깊이 이미지)에 대해 전처리 과정이 수행된다. 이하, 도 6을 참조하여 전처리 과정에 대해 상세히 설명한다.
도 6은 단계 S520의 상세하게 나타내는 흐름도이다.
도 6을 참조하면, 먼저, 단계 S521에서, 깊이 맵 정보(또는 깊이 이미지)에서 인체를 구성하는 픽셀 좌표값을 포함하는 인체 영역을 검출하는 과정이 수행된다. 검출된 인체의 픽셀 좌표값은 메모리에 저장될 수 있다. 인체의 픽셀 좌표값을 통해 인체의 위치와 인체의 개수를 파악할 수 있다. 인체 영역을 검출하는 방법으로, 다양한 객체 검출 알고리즘이 이용될 수 있으며, 본 실시 예에서는, 객체 검출 속도가 빠른 딥러닝 기반의 객체 검출 기법이 사용될 수 있다. 이러한 딥러닝 기반의 객체 검출 기법은 본 발명의 요지를 벗어나므로 상세한 설명은 생략한다.
이어, 단계 S523에서, 깊이 맵 정보(또는 깊이 이미지)에서 배경을 제거하기 위해, 깊이 맵 정보(또는 깊이 이미지)에 대해 연결 요소 분석(Connected Component Analysis, CCA)을 수행하여, 배경 영역을 검출한다. 구체적으로, 깊이 맵 정보(또는 깊이 이미지)에 포함된 픽셀들 중에서 유사한 픽셀값(밝기값, 강도값 또는 계조값)을 갖는 픽셀들을 그룹화하여, 배경 영역에 대응하는 픽셀 그룹을 검출한다.
이어, 단계 S525에서, 전 단계에서 배경 영역이 검출되면, 깊이 맵 정보(또는 깊이 이미지)에서 인체 영역을 제외한 배경영역을 제거하는 과정이 수행된다.
이어, 단계 S527에서, 배경 영역이 제거된 깊이 맵 정보(또는 깊이 이미지)에서 천장 영역을 제거하는 과정이 수행된다. 상기 단계 S523에서 수행한 연결 요소 분석(CCA)을 통해 인체 영역을 제외한 배경 영역을 제거하더라도 인체의 머리 위쪽 부분은 인체 영역으로 판단하여 제거되지 않을 확률이 높다. 이에 따라 평면 방정식을 통해 천장 영역을 계산하여 천장 영역을 제거한다.
이어, 단계 S529에서, 천장 영역이 제거된 깊이 맵 정보(또는 깊이 이미지)에서 지면 영역을 제거하는 과정이 수행된다. 전술한 바와 유사하게, 상기 단계 S523에서 수행한 연결 요소 분석(CCA)을 통해 인체 영역을 제외한 배경 영역을 제거하더라도 인체의 신발 아래쪽 부분을 인체 영역으로 판단하여 제거되지 않을 확률이 높다. 이에 따라 평면 방정식을 통해 지면 영역을 계산하여 천장 영역을 제거한다.
이와 같이, 천장 및 지면 영역의 제거 과정을 통해 깊이 맵 정보(또는 깊이 이미지)에서 노이즈가 제거된 인체 영역(또는 인체 정보)이 검출될 수 있다.
한편, 단계 S527 및 S529에서, 평면 방정식을 이용하여 천장과 지면 영역을 제거하는 방법으로, RANSAC(Random sample consensus) 기법이 이용될 수 있다. 간략히 설명하면, 깊이 맵 정보(또는 깊이 이미지)에서 임의의 3개의 픽셀을 선택하고, 선택된 3개의 픽셀을 평면 방정식을 이용하여 평면을 결정하는 제1 과정이 수행된다. 이후, 지면으로부터 특정 임계치까지를 평면으로 정하고, 결정된 평면에서 임계치에 포함되는 픽셀의 개수를 구하는 제2 과정이 수행된다. 이후, 제1 및 제2 과정을 수회 반복하고, 그 반복 수행된 결과 중에서 가장 많은 픽셀을 포함하는 평면을 천정 및 바닥으로 각각 결정할 수 있다.
다시 도 5를 참조하면, 도 6을 참조하여 설명한 전처리 과정을 통해 깊이 맵 정보(또는 깊이 이미지)로부터 천장, 지면 등과 같은 노이즈가 깨끗하게 제거된 인체 정보(또는 인체 영역)가 검출되면, 단계 S530에서, 노이즈가 제거된 인체 정보(또는 인체 영역)를 M 개의 인체 부위로 분류하는 과정이 수행된다. 인체 부위를 분류하는 방법으로, 인체 정보(또는 인체 영역)과 인체 부위 간의 상호 관련성을 학습한 분류 모델이 이용될 수 있다. 이러한 분류 모델은, 예를 들면, 신경망 구조의 딥러닝(deep learning) 학습 기법의 하나인 컨볼루션 신경망(CNN, Convolutional Neural Network) 구조의 학습기법을 통해 학습될 수 있다.
이어, 단계 S540에서, 전단계 S530에서 분류한 M 개의 인체 부위를 N(여기서, N은 M보다 작은 자연수)개의 인체부위로 다시 분류하고, Mean Shift 기법의 밀도 추정자(Density Estimator)를 이용하여, 다시 분류한 N 개의 인체 부위를 N 개의 관절 위치 좌표로 각각 설정(또는 정의)하는 과정이 수행된다.
이어, 단계 S550에서, 이전 프레임과 현재 프레임에서의 관절 위치 좌표의 변위량(차이값 또는 변위량)을 나타내는 특징 벡터(Feature vector)를 계산하고, 계산된 특징 벡터를 관절 특성 정보로서 추출하는 과정이 수행된다.
이어, 단계 S560에서, 사전에 정의된 인체 행위 데이터베이스(137)에서 상기 관절 특성 정보 추출부(133)로부터 제공된 관절 특성 정보에 매칭되는 인체 행위 정보를 검색하고, 관절 특성 정보에 매칭되는 인체 행위 정보가 검색되면, 검색된 인체 행위 정보에 정의된 인체 행위를 영상 획득부(110)에서 촬영한 인체의 인체 행위로 인지하는 과정이 수행된다.
이상 설명한 바와 같이, 본 발명의 장치 및 방법은 종래의 2D 영상 분석에 대한 문제점을 해결하기 위해, 3D 카메라에서 취득한 깊이 맵(Depth Map) 정보를 기반으로 인체의 부위를 분류하고, 분류된 인체 부위에서 관절 특성 정보를 추출하여 인체 행위를 인지함으로써, 다양한 환경적인 요소의 영향에 따른 인체 행위의 인지 성능 저하를 방지할 수 있고, 이러한 본 발명이 적용된 영상 보안 시스템은 다양한 환경적인 요소에 관계없이, 인체 행위에 대해 균일한 인지 성능을 유지함으로써, 개인 신변 안정 보장 및 범죄 예방을 극대화할 수 있다.
이상에서 본 발명에 대하여 실시 예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 본 발명의 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 개인 신변 안정 보장 및 범죄 예방을 극대화할 수 있는 영상 보안 시스템에 적용될 수 있다.

Claims (12)

  1. 영상 획득부로부터 입력된 인체 행위가 캡쳐된 깊이 맵 정보에 대해 전처리를 수행하여, 노이즈가 제거된 인체 영역을 추출하는 단계;
    상기 인체 영역을 다수의 인체 부위로 분류하는 단계;
    상기 다수의 인체 부위 각각의 관절 위치 좌표를 정의하는 단계;
    상기 관절 위치 좌표의 변위량을 기반으로 관절 특성 정보를 추출하는 단계; 및
    사전에 정의된 인체 행위 데이터베이스에서 상기 추출된 관절 특성 정보에 매칭되는 인체 행위 정보를 검색하고, 상기 깊이 맵 정보에 캡쳐된 인체 행위를 상기 검색된 인체 행위 정보에 정의된 인체 행위로 인지하는 단계
    를 포함하는 인체 행위 인지 방법.
  2. 제1항에서, 상기 분류하는 단계는,
    인체 영역과 인체 부위 간의 상호 관련성을 학습한 분류 모델을 이용하여 상기 인체 영역을 다수의 인체 부위로 분류하는 단계인 것인 인체 행위 인지 방법.
  3. 제2항에서, 상기 분류 모델은,
    컨볼루션 신경망(CNN, Convolutional Neural Network) 구조의 학습기법에 따라 학습 데이터를 학습하는 것인 인체 행위 인지 방법.
  4. 제2항에서, 상기 분류 모델은,
    인체의 외관 형상 별로 인체 부위가 분류된 학습 데이터를 학습하는 것인 인체 행위 인지 방법.
  5. 제1항에서, 상기 관절 위치 좌표를 정의하는 단계는,
    Mean Shift 기법의 밀도 추정자(Density Estimator)를 이용하여, 상기 다수의 인체 부위 각각의 관절 위치 좌표를 정의하는 단계인 것인 인체 행위 인지 방법.
  6. 제1항에서, 상기 분류하는 단계는,
    상기 인체 영역을 M개의 인체 부위로 분류하는 단계이고,
    상기 관절 위치 좌표를 정의하는 단계는,
    상기 M개로 분류된 인체 부위를 N(여기서, N은 M보다 작은 자연수)개로 다시 분류하는 단계; 및
    상기 N개로 분류된 인체 부위 각각의 관절 위치 좌표를 정의하는 단계
    를 포함하는 것인 인체 행위 인지 방법.
  7. 제1항에서, 상기 관절 특성 정보를 추출하는 단계는,
    이전 프레임에서 이전 관절 위치 좌표와 현재 프레임에서 상기 이전 관절 위치 좌표에 대응하는 현재 관절 위치 좌표 간의 변위량을 벡터 형태로 나타내는 특징 벡터를 계산하는 단계; 및
    상기 계산한 특징 벡터를 상기 관절 특성 정보로서 추출하는 단계
    를 포함하는 것인 인체 행위 인지 방법.
  8. 영상 획득부로부터 입력된 인체 행위가 캡쳐된 깊이 맵 정보에 대해 전처리를 수행하여, 노이즈가 제거된 인체 영역을 추출하는 전처리부;
    상기 인체 영역을 다수의 인체 부위로 분류하는 분류부;
    상기 다수의 인체 부위 각각의 관절 위치 좌표를 정의하는 좌표 설정부;
    상기 관절 위치 좌표의 변위량을 기반으로 관절 특성 정보를 추출하는 추출부; 및
    사정에 정의된 인체 행위 데이터베이스에서 상기 추출된 관절 특성 정보에 매칭되는 인체 행위 정보를 검색하고, 상기 깊이 맵 정보에 캡쳐된 인체 행위를 상기 인체 행위 데이터베이스에서 검색된 인체 행위 정보에 정의된 인체 행위로 인지하는 인체 행위 매칭 엔진
    을 포함하는 인체 행위 인지 장치.
  9. 제8항에서, 상기 분류부는,
    인체 영역과 인체 부위 간의 상호 관련성을 학습한 분류 모델을 이용하여 상기 인체 영역을 다수의 인체 부위로 분류하는 것인 인체 행위 인지 장치.
  10. 제8항에서, 상기 분류 모델은,
    인체 영역과 인체 부위 간의 상호 관련성을 학습하기 위해, 인체의 외관 형상 별로 인체 부위가 분류된 학습 데이터를 학습하는 것인 인체 행위 인지 장치.
  11. 제8항에서, 상기 좌표 설정부는,
    Mean Shift 기법의 밀도 추정자(Density Estimator)를 이용하여, 상기 다수의 인체 부위 각각의 관절 위치 좌표를 정의하는 것인 인체 행위 인지 장치.
  12. 제8항에서, 상기 추출부는,
    이전 프레임에서 이전 관절 위치 좌표와 현재 프레임에서 상기 이전 관절 위치 좌표에 대응하는 현재 관절 위치 좌표 간의 변위량을 벡터 형태로 나타내는 특징 벡터를 계산하고, 상기 계산한 특징 벡터를 상기 관절 특성 정보로서 추출하는 것인 인체 행위 인지 장치.
PCT/KR2017/012749 2017-11-03 2017-11-10 깊이 맵 정보 기반의 인체 행위 인지 방법 및 그 장치 WO2019088333A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170146080A KR20190050551A (ko) 2017-11-03 2017-11-03 깊이 맵 정보 기반의 인체 행위 인지 방법 및 그 장치
KR10-2017-0146080 2017-11-03

Publications (1)

Publication Number Publication Date
WO2019088333A1 true WO2019088333A1 (ko) 2019-05-09

Family

ID=66333215

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/012749 WO2019088333A1 (ko) 2017-11-03 2017-11-10 깊이 맵 정보 기반의 인체 행위 인지 방법 및 그 장치

Country Status (2)

Country Link
KR (1) KR20190050551A (ko)
WO (1) WO2019088333A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112401834A (zh) * 2020-10-19 2021-02-26 南方科技大学 一种运动阻碍型疾病诊断装置
CN113177442A (zh) * 2021-04-12 2021-07-27 广东省科学院智能制造研究所 一种基于边缘计算的人体行为检测方法及装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220072499A (ko) 2020-11-25 2022-06-02 한국전자기술연구원 다중 뷰 영상 기반 행위 인지 방법, 장치 및 시스템
KR102460361B1 (ko) * 2020-12-29 2022-11-01 광주과학기술원 캘리브레이션 시스템 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101156154B1 (ko) * 2011-03-29 2012-06-18 전남대학교산학협력단 깊이 영상을 이용한 실린더 모델 기반의 포즈 인식 시스템, 매체 및 서버 시스템
KR20150101858A (ko) * 2014-02-27 2015-09-04 주식회사 에스원 생체 인식 방법
KR101562233B1 (ko) * 2014-01-07 2015-10-23 디노플러스 (주) 인체 관절 정보를 이용한 신장 측정장치 및 그 방법
KR101710000B1 (ko) * 2011-12-14 2017-02-27 한국전자통신연구원 모션 추적 기반 3차원 인터페이스 장치 및 그 방법
KR20170077444A (ko) * 2015-12-28 2017-07-06 전자부품연구원 인체 포즈 인지 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101156154B1 (ko) * 2011-03-29 2012-06-18 전남대학교산학협력단 깊이 영상을 이용한 실린더 모델 기반의 포즈 인식 시스템, 매체 및 서버 시스템
KR101710000B1 (ko) * 2011-12-14 2017-02-27 한국전자통신연구원 모션 추적 기반 3차원 인터페이스 장치 및 그 방법
KR101562233B1 (ko) * 2014-01-07 2015-10-23 디노플러스 (주) 인체 관절 정보를 이용한 신장 측정장치 및 그 방법
KR20150101858A (ko) * 2014-02-27 2015-09-04 주식회사 에스원 생체 인식 방법
KR20170077444A (ko) * 2015-12-28 2017-07-06 전자부품연구원 인체 포즈 인지 시스템 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112401834A (zh) * 2020-10-19 2021-02-26 南方科技大学 一种运动阻碍型疾病诊断装置
CN113177442A (zh) * 2021-04-12 2021-07-27 广东省科学院智能制造研究所 一种基于边缘计算的人体行为检测方法及装置
CN113177442B (zh) * 2021-04-12 2024-01-30 广东省科学院智能制造研究所 一种基于边缘计算的人体行为检测方法及装置

Also Published As

Publication number Publication date
KR20190050551A (ko) 2019-05-13

Similar Documents

Publication Publication Date Title
CN111898514B (zh) 一种基于目标检测与动作识别的多目标视觉监管方法
KR100474848B1 (ko) 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법
WO2019088333A1 (ko) 깊이 맵 정보 기반의 인체 행위 인지 방법 및 그 장치
CN111860274B (zh) 基于头部朝向与上半身骨架特征的交警指挥手势识别方法
CN110222572B (zh) 跟踪方法、装置、电子设备及存储介质
KR20110003146A (ko) 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법
CN111401188B (zh) 一种基于人体关键点特征的交警手势识别方法
KR20190068000A (ko) 다중 영상 환경에서의 동일인 재식별 시스템
KR102391853B1 (ko) 영상 정보 처리 시스템 및 방법
WO2023165616A1 (zh) 图像模型隐蔽后门的检测方法及系统、存储介质、终端
CN101383005A (zh) 一种利用辅助规则纹理的乘客目标图像和背景分离方法
CN112616023A (zh) 复杂环境下的多摄像机视频目标追踪方法
CN113312965A (zh) 一种人脸未知欺骗攻击活体检测方法及系统
CN104915642A (zh) 前方车辆测距方法及装置
CN111862511B (zh) 基于双目立体视觉的目标入侵检测装置及其方法
CN111814690A (zh) 一种目标重识别方法、装置和计算机可读存储介质
CN115346197A (zh) 一种基于双向视频流的驾驶员分心行为识别方法
CN115049954A (zh) 目标识别方法、装置、电子设备和介质
CN107704818A (zh) 一种基于视频图像的火灾检测系统
CN117475353A (zh) 基于视频的异常烟雾识别方法及系统
CN117671799A (zh) 结合深度测量的人体跌倒检测方法、装置、设备及介质
CN110598521A (zh) 一种基于人脸图像智能分析的行为与生理状态识别方法
CN110660187A (zh) 一种基于边缘计算的森林火警监测系统
Mohana et al. Human action Recognition using STIP Techniques
CN114677656A (zh) 车辆防剐蹭方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17930818

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17930818

Country of ref document: EP

Kind code of ref document: A1