WO2017115905A1 - 인체 포즈 인지 시스템 및 방법 - Google Patents

인체 포즈 인지 시스템 및 방법 Download PDF

Info

Publication number
WO2017115905A1
WO2017115905A1 PCT/KR2016/000270 KR2016000270W WO2017115905A1 WO 2017115905 A1 WO2017115905 A1 WO 2017115905A1 KR 2016000270 W KR2016000270 W KR 2016000270W WO 2017115905 A1 WO2017115905 A1 WO 2017115905A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
human body
pose
joint
depth information
Prior art date
Application number
PCT/KR2016/000270
Other languages
English (en)
French (fr)
Inventor
김동칠
송재종
양창모
박성주
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Publication of WO2017115905A1 publication Critical patent/WO2017115905A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Definitions

  • a conventional security system using 2D video tracks the movement of an object with simple recognition of an object such as a person or a vehicle, thereby recognizing the passage of a specific point, detecting an intrusion, or recognizing a predetermined simple specific action. do.
  • the image state determining unit transmits the received image and the image depth information to the feature extraction unit if it is determined that the state of the image is good, and transmits the received image and the image depth information to the preprocessor if it is determined that the state of the image is poor. do.
  • the preprocessor removes noise from an image using a median filter, sets a region of interest, and performs hole filling for the region of interest.
  • the feature extractor divides the human body in the image by joints, detects coordinates of the divided joints, and generates characteristic information by placing the detected joint coordinates in a system-defined coordinate system.
  • the feature extractor detects joint coordinates by applying a Densify Estimator of a Mean Shift technique to the divided joints.
  • the human body pose recognition system segments each part of the human body based on the image and the image depth information obtained by the image capturing unit, and poses the human body by combining coordinate information of the segmented joints. Recognize
  • FIG. 2 is a diagram illustrating an image according to an operation of a preprocessor of a human body pose recognition system according to an exemplary embodiment of the present invention.
  • FIG. 2 (a) is a view showing an image input to the preprocessor of the human body pose recognition system according to an embodiment of the present invention.
  • FIG. 2 (c) is a view showing an image after the hole filling by the pre-processing unit of the human body pose recognition system according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a sequence according to an operation of a human body pose recognition system according to an exemplary embodiment of the present invention.
  • the image capturing unit 110 may be composed of a plurality of cameras 100_1 to 100_n photographing the human body in the allocated photographing area, respectively.
  • the image means a human body image.
  • the cameras 100_1 to 100_n are 3D cameras and generate 2D images and image depth information.
  • the feature extractor 170 classifies parts of the human body in the image transmitted from the image state determiner 130 or the preprocessor 150 by joints.
  • the feature extractor 170 classifies the human body by joints and then detects coordinates of each joint.
  • the feature extractor 170 detects joint coordinates ('joint coordinates') by applying a Densify Estimator of a Mean Shift technique to each of the divided joint parts.
  • the characteristic detector 170 generates the characteristic information by placing the detected joint coordinates in a newly defined system-defined coordinate system.
  • FIG. 4 is a flowchart illustrating a sequence according to an operation of a human body pose recognition system according to an exemplary embodiment of the present invention.
  • the image state determination unit 130 receives the image and the image depth information obtained by the image capturing unit 110 (S400), and analyzes the received image to determine whether the state of the image is good (S410). .
  • step S410 when it is determined in step S410 that the image state is good (S410-Yes), the image state determination unit 130 transmits the received image and image depth information to the feature extraction unit 170.
  • the image and the image depth information determined to be in a good state in step S410 are transmitted to the feature extractor 170.
  • the feature extractor 170 generates feature information for each joint in the image (S420).
  • the feature extractor 170 classifies the human body in the image by joints (S421), detects coordinates of the divided joints (S422), and positions the detected joint coordinates in a system-defined coordinate system. To generate the characteristic information (S423).
  • the coordinate detection in step S422 can be made by applying the Densify Estimator of the Mean Shift technique to the divided joint region.
  • the pose recognition unit 190 recognizes a pose by quantizing the characteristic information generated in the step S420, and generates a codebook for the recognized pose (S430).
  • the image state determination unit 130 transmits the received image and image depth information to the preprocessor 150. .
  • the preprocessor 150 removes the noise from the image (S440), and then extracts the noise and the image depth information from the feature extractor. Send to 170.
  • step S440 the preprocessor 150 removes noise from the image using a Median Filter (S441), sets a region of interest (ROI) (S442), and sets the region of interest. Through the hole filling process (S443), it is possible to obtain a noise-removed image.
  • S441 Median Filter
  • ROI region of interest
  • S443 Through the hole filling process (S443), it is possible to obtain a noise-removed image.
  • the hole filling in the step S443 may be performed using a morphology (Morphology) calculation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 인체 포즈 인지 기술에 관한 것으로, 본 발명의 일 측면에 따른 인체 포즈 인지 시스템은, 영상 촬영부에 의해 획득되는 영상 및 영상 깊이 정보를 수신하고, 수신된 영상을 분석하여, 영상의 상태를 판단하는 영상상태 판단부; 입력되는 영상 및 영상 깊이 정보를 수신하고, 수신된 영상에서 노이즈를 제거하는 전처리부; 입력되는 영상 및 영상 깊이 정보를 수신하고, 수신한 영상 및 영상 깊이 정보를 분석하여, 영상 내 인체의 관절별 특성 정보를 생성하는 특성 추출부; 및 상기 특성 정보를 수신하고, 수신한 특성 정보를 양자화하여 포즈를 인지하고, 인지된 포즈에 대한 코드북을 생성하는 포즈 인식부로 구성된다.

Description

인체 포즈 인지 시스템 및 방법
본 발명은 인체 포즈 인지 기술에 관한 것으로, 상세하게는 영상 촬영부에 의해 획득되는 영상과 영상 깊이 정보를 이용하여 인체 포즈를 인식하는 인체 포즈 인지 시스템 및 방법에 관한 것이다.
다양한 보안 위협으로부터 개인의 신변 안전 보장을 위한 영상 보안 서비스와 관련한 기술에 대한 연구 및 개발이 증가하고 있다.
종래의 2D 영상을 이용한 보안 시스템은 사람, 차량 등의 객체에 대한 단순 인식과 함께, 객체의 움직임을 트레킹함으로써, 특정 지점의 통과를 인지하거나, 침입을 인지하거나, 사전에 정해진 단순한 특정 행위를 인지한다.
그러나, 종래의 2D 입력 영상이 객체(ex. 사람)의 세부적인 움직임을 분석 및 조합하여 하나의 보안 이벤트를 인지하기에는 충분한 정보를 갖고 있지 못하기 때문에 종래의 2D 영상을 이용한 보안 시스템은 객체의 세부적인 포즈 인지를 수행하지 못한다는 단점이 있다.
한편, 최근에는 보안용 UHD 카메라가 개발되고 있으며, 영상 정보뿐만 아니라, 깊이 맵(depth map) 정보를 함께 사용할 수 있는 3D 카메라를 보안 시스템에 적용하려는 연구가 증가하고 있다.
그러나, 보안 서비스를 위해 객체를 추출하고, 이를 기반으로 객체의 세부적인 행동을 인식하는 연구는 대부분 2D 영상을 기반으로 진행하고 있기 때문에, 복합적인 상황에서 객체의 위험 행위/행동을 추론하는데에는 한계가 있어, 보안 서비스를 효율적으로 수행할 수 없다는 문제점이 있다.
본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은, 영상 촬영부에 의해 획득되는 영상과 영상 깊이 정보를 이용하여 인체 포즈를 인식하는 인체 포즈 인지 시스템 및 방법을 제공함에 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 일 측면에 따른 인체 포즈 인지 시스템은, 영상 촬영부에 의해 획득되는 영상 및 영상 깊이 정보를 수신하고, 수신된 영상을 분석하여, 영상의 상태를 판단하는 영상상태 판단부; 입력되는 영상 및 영상 깊이 정보를 수신하고, 수신된 영상에서 노이즈를 제거하는 전처리부; 입력되는 영상 및 영상 깊이 정보를 수신하고, 수신한 영상 및 영상 깊이 정보를 분석하여, 영상 내 인체의 관절별 특성 정보를 생성하는 특성 추출부; 및 상기 특성 정보를 수신하고, 수신한 특성 정보를 양자화하여 포즈를 인지하고, 인지된 포즈에 대한 코드북을 생성하는 포즈 인식부로 구성된다.
상기 영상 촬영부는 2D 영상 및 그와 관련한 영상 깊이 정보를 생성하는 다수의 3D 카메라로 구성된다.
상기 영상상태 판단부는 영상의 상태가 양호한 것으로 판단되면, 수신한 영상 및 영상 깊이 정보를 상기 특성 추출부로 전송하고, 영상의 상태가 불량한 것으로 판단되면, 수신한 영상 및 영상 깊이 정보를 상기 전처리부로 전송한다.
상기 전처리부는 Median Filter를 이용하여 영상에서 노이즈를 제거한 후, 관심 영역을 설정하고, 설정된 관심 영역에 대해 Hole Filling을 한다.
상기 특성 추출부는 영상 내의 인체를 관절별로 구분하고, 구분된 관절의 좌표를 검출하고, 검출된 관절 좌표를 시스템 정의 좌표계에 위치시켜 특성 정보를 생성한다.
상기 시스템 정의 좌표계는 구 형태로 이루어지며, 구 중심은 3차원 좌표계에서의 허리 관절에 대응하며, 허리 관절을 중심으로 한 인체의 위쪽 및 아래쪽의 위치를 나타내는 θ축과 , 허리 관절을 중심으로 한 인체의 방향을 나타내는 α축을 이루어져, 2차원의 좌표(θ,α)로 표현되는 좌표계이다.
상기 특성 추출부는 구분된 관절 부위에 Mean Shift 기법의 Densify Estimator를 적용하여 관절별 좌표를 검출한다.
또한, 본 발명의 타 측면에 따른 인체 포즈 인지 방법은, 영상 촬영부에 의해 획득되는 영상 및 영상 깊이 정보를 수신하고, 수신된 영상을 분석하여, 영상의 상태를 판단하는 단계; 상기 영상의 상태를 판단하는 단계에서의 판단 결과, 영상이 양호한 것으로 판단되면, 영상 및 영상 깊이 정보를 분석하여, 영상 내 인체의 관절별 특성 정보를 생성하는 단계; 및 상기 특성 정보를 양자화하여 포즈를 인지하고, 인지된 포즈에 대한 코드북을 생성하는 단계를 포함한다.
상기 영상 내 인체의 관절별 특성 정보를 생성하는 단계는, 영상 내의 인체를 관절별로 구분하고, 구분된 관절의 좌표를 검출하고, 검출된 관절 좌표를 시스템 정의 좌표계에 위치시켜 특성 정보를 생성하는 단계이다.
상기 검출된 관절 좌표를 시스템 정의 좌표계에 위치시키는 것은, 상기 검출된 관절 좌표를 중심이 3차원 좌표계에 있어서의 허리 관절에 대응하며, 허리 관절을 중심으로 한 인체의 위쪽 및 아래쪽의 위치를 나타내는 θ축과 , 허리 관절을 중심으로 한 인체의 방향을 나타내는 α축을 이루어져, 2차원의 좌표(θ,α)로 표현되는 좌표계에 위치시키는 것이다.
상기 구분된 관절의 좌표를 검출하는 것은 구분된 관절 부위에 Mean Shift 기법의 Densify Estimator를 적용하여 관절별 좌표를 검출하는 것이다.
상기 영상의 상태를 판단하는 단계에서의 판단 결과, 영상이 불량한 것으로 판단되면, 영상에서 노이즈를 제거하는 단계를 더 포함한다.
상기 영상에서 노이즈를 제거하는 단계는, Median Filter를 이용하여 영상에서 노이즈를 제거한 후, 관심 영역을 설정하고, 설정된 관심 영역에 대해 Hole Filling을 하는 단계이다.
이와 같은 본 발명의 실시 예에 따르면, 인체 포즈 인지 시스템은 영상 촬영부에 의해 획득되는 영상과 영상 깊이 정보를 기반으로 인체의 각 부분을 분절하고, 분절된 관절의 좌표 정보를 조합하여 인체의 포즈를 인지한다.
따라서, 본 발명의 인체 포즈 인지 기술을 보안 시스템에 적용하는 경우, 개인의 신변 안전 보장 및 범죄 예방을 위한 보안 서비스를 제공하는 것이 가능하다.
또한, 본 발명의 인체 포즈 인지 기술을 이용하면, 복합적인 상황 하에서의 위험 행동/행위 추론이 가능하다.
도 1은 본 발명의 실시 예에 따른 인체 포즈 인지 시스템의 구성을 도시한 구성도이다.
도 2는 본 발명의 실시 예에 따른 인체 포즈 인지 시스템의 전처리부의 동작에 따른 영상을 도시한 도면이다.
도 2(a)는 본 발명의 실시 예에 따른 인체 포즈 인지 시스템의 전처리부로 입력되는 영상을 도시한 도면이다.
도 2(b)는 본 발명의 실시 예에 따른 인체 포즈 인지 시스템의 전처리부가 Median Filter를 이용하여 노이즈를 제거한 후의 영상을 도시한 도면이다.
도 2(c)는 본 발명의 실시 예에 따른 인체 포즈 인지 시스템의 전처리부에 의해 Hole Filling이 이루어진 후의 영상을 도시한 도면이다.
도 3은 본 발명의 인체 포즈 인지 시스템에 있어서의 인체의 관절과 새로 시스템 정의 좌표계의 상관 관계를 도시한 도면으로, 도 3(a)는 인체의 주요 관절을 도시하나 도면이고, 도 3(b)는 본 발명의 인체 포즈 인지 시스템에서 새로 정의된 시스템 정의 좌표계를 도시하고 있다.
도 4는 본 발명의 실시 예에 따른 인체 포즈 인지 시스템의 동작에 따른 순서를 도시한 플로우차트이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 본 발명의 실시 예에 따른 인체 포즈 인지 시스템 및 방법에 대하여 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 실시 예에 따른 인체 포즈 인지 시스템의 구성을 도시한 구성도이고, 도 2는 본 발명의 실시 예에 따른 인체 포즈 인지 시스템의 전처리부의 동작에 따른 영상을 도시한 도면이다.
이때, 도 2(a)는 전처리부(150)로 입력되는 영상을 도시한 도면이고, 도 2(b)는 전처리부(150)에서 Median Filter를 이용하여 노이즈를 제거한 후의 영상을 도시한 도면이고, 도 2(c)는 전처리부(150)에 의해 Hole Filling이 이루어진 후의 영상을 도시한 도면이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 인체 포즈 인지 시스템(이하 ‘시스템’, 100)은 영상 촬영부에 의해 획득되는 영상과 영상 깊이 정보를 기반으로 영상 내 인체를 관절별로 구분하고, 구분된 관절의 좌표 정보를 조합하여 인체의 포즈를 인지한다.
이를 위하여, 상기 시스템(100)은 영상 촬영부(110), 영상상태 판단부(130), 전처리부(150), 특성 추출부(170) 및 포즈 인식부(190)로 구성될 수 있다. 하지만, 상기 시스템(100)의 구성이 상기에 열거된 구성만으로 이루어지는 것은 아니며, 상기 구성들 이외에 다른 구성을 더 포함할 수 있다.
구체적으로, 상기 영상 촬영부(110)는 영상을 촬영하는 한편, 촬영된 영상 및 영상에 대한 깊이 정보(‘영상 깊이 정보’)를 영상상태 판단부(130)로 전송한다.
상기 영상 촬영부(110)는 각각 할당된 촬영 영역 내의 인체를 촬영하는 다수의 카메라들(100_1 ~ 100_n)로 구성될 수 있으며, 이하에서 특별한 설명이 없는 경우에는 영상은 인체 영상을 의미한다. 이때, 상기 카메라들(100_1 ~ 100_n)은 3D 카메라로서, 2D 영상과 영상 깊이 정보를 생성한다.
상기 영상상태 판단부(130)는 영상 획득부(110)로부터 영상 및 영상 깊이 정보를 수신하고, 수신된 영상을 분석하여, 영상의 상태가 양호한지를 판단한다.
이때, 상기 영상상태 판단부(130)는 영상이 양호한 것으로 판단되면, 해당 영상 및 영상 깊이 정보를 영상 특성 추출부(170)로 전송한다.
반면, 상기 영상상태 판단부(130)는 영상이 양호하지 않은 것으로 판단되면, 즉 영상이 불량한 것으로 판단되면, 해당 영상 및 영상 깊이 정보를 전처리부(150)로 전송한다.
예를 들어, 상기 영상상태 판단부(130)는 영상을 분석하여, 사람 이외의 사물, 예를 들면 천장, 벽, 책상 등이 전체 영상 중 차지하는 비율이 기 설정된 비율(ex. 50%) 이상이면 영상 상태가 양호하지 않은 것으로 판단한다.
상기 전처리부(150)는 영상상태 판단부(130)로부터 전송되는 영상 및 영상 깊이 정보를 수신하고, 수신된 영상에서 노이즈를 제거한 후, 노이즈 제거된 영상과 영상 깊이 정보를 특성 추출부(170)로 전송한다.
이때, 도 2에 도시된 바와 같이, 상기 전처리부(150)는 영상상태 판단부(130)로부터 전송된 영상에서 Median Filter를 이용하여 노이즈를 제거한 후, 관심 영역(ROI: Region of Interest)을 설정하고, 설정된 관심 영역에 대해 Hole Filling을 하여 획득되는 영상을 특성 추출부(170)로 전송한다. 이때, 상기 전처리부(150)는 모폴로지(Morphology) 연산을 이용하여 Hole Filling을 할 수 있다.
상기 특성 추출부(170)는 영상상태 판단부(130)로부터 전송되는 영상 및 영상 깊이 정보 또는 전처리부(150)로부터 전송되는 영상 및 영상 깊이 정보를 수신하고, 수신한 영상 및 영상 깊이 정보를 분석하여, 영상 내의 인체를 관절별로 구분하고, 구분된 관절의 좌표를 검출하여 특성 정보를 생성한다. 이때, 상기 특성 추출부(170)는 생성된 특성 정보를 포즈 인식부(190)로 전송한다.
구체적으로, 상기 특성 추출부(170)는 영상상태 판단부(130) 혹은 전처리부(150)로부터 전송되는 영상 내 인체의 부위를 관절별로 구분한다.
이때, 상기 특성 추출부(170)는 하기의 [수학식 1]을 이용하여 인체의 각 관절 부위를 구분한다.
[수학식 1]
φ(I, X) = dI(x+δ1)-dI(x+δ2)
여기서, φ(I, X)는 이미지 I의 x좌표에서의 깊이 값의 변화량, dI(x)는 이미지 I의 x좌표에서의 깊이 값이고, δ1 및δ2는 특정 픽셀 x의 깊이 값의 변화량을 위한 상대 픽셀과의 거리를 의미한다.
또한, φ(I, X)의 값에 따른 인체의 각 관절 부위는 기 설정되는 것으로, φ(I, X)의 값을 계산하면, 인체의 관절 부위를 구분할 수 있다.
그리고, 상기 특성 추출부(170)는 인체를 관절별로 구분한 후, 각 관절의 좌표를 검출한다. 이때, 상기 특성 추출부(170)는 구분된 각 관절 부위에 Mean Shift 기법의 Densify Estimator를 적용하여 관절별 좌표(‘관절 좌표’)를 검출한다.
이후, 상기 특성 검출부(170)는 검출된 관절 좌표를 새로 정의한 시스템 정의 좌표계에 위치시켜 특성 정보를 생성한다.
상기 포즈 인식부(190)는 특성 추출부(170)로부터 전송되는 특성 정보를 수신하고, 수신한 특성 정보를 양자화하여 포즈를 인지하고, 인지된 포즈에 대한 코드북을 생성한다.
도 3은 본 발명의 인체 포즈 인지 시스템에 있어서의 인체의 관절과 새로 시스템 정의 좌표계의 상관 관계를 도시한 도면으로서, 도 3(a)에는 인체의 주요 관절이 도시되어 있고, 도 3(b)에는 본 발명의 인체 포즈 인지 시스템에서 새로 정의된 시스템 정의 좌표계가 도시되어 있다.
도 3에 도시된 바와 같이, 본 발명의 시스템 정의 좌표계는 구 형태로 이루어지며, 구 중심(0, 0)은 기존의 3차원 좌표계에서의 허리 관절에 대응하며, θ축 허리 관절을 중심으로 한 인체의 위쪽 및 아래쪽의 위치를 나타내며, α축은 허리 관절을 중심으로 한 인체의 방향을 나타낸다.
따라서, 기존의 3차원 좌표계로 표현된 관절은 본 발명의 시스템 정의 좌표계에서는 2차원의 좌표(θ,α)로 표현된다.
도 3에서는 θ축으로 이루어지는 원이 12개로 나누어지고, α축으로 이루어지는 원이 12개로 나누어져 관절을 표현할 수 있는 좌표는 총 144개이나, 원의 분할 개수에 따라 관절을 표현할 수 있는 좌표는 다양하게 설정될 수 있다.
이상에서는 본 발명의 실시 예에 따른 인체 포즈 인지 시스템의 구성 및 기능에 대해서 살펴보았다. 이하에서는 첨부된 도면을 참조하여 본 발명의 실시 예에 따른 인체 포즈 인지 시스템의 동작에 대해서 구체적으로 살펴보기로 한다.
도 4는 본 발명의 실시 예에 따른 인체 포즈 인지 시스템의 동작에 따른 순서를 도시한 플로우챠트이다.
먼저, 영상상태 판단부(130)가 영상 촬영부(110)에 의해 획득된 영상 및 영상 깊이 정보를 수신하고(S400), 수신한 영상을 분석하여, 영상의 상태가 양호한지를 판단한다(S410).
이때, 상기 단계 S410에 따른 판단 결과, 영상의 상태가 양호한 것으로 판단하면(S410-Yes), 영상상태 판단부(130)는 수신한 영상 및 영상 깊이 정보를 특성 추출부(170)로 전송한다.
즉, 상기 단계 S410에서 상태가 양호한 것으로 판단된 영상 및 영상 깊이 정보는 특성 추출부(170)로 전송된다.
이후, 단계 S410에서 상태가 양호한 것으로 판단된 영상 및 영상 깊이 정보를 바탕으로, 특성 추출부(170)는 영상 내의 관절별 특성 정보를 생성한다(S420).
구체적으로, 상기 단계 S420에 있어서, 특성 추출부(170)는 영상 내의 인체를 관절별로 구분하고(S421), 구분된 관절의 좌표를 검출하고(S422), 검출된 관절 좌표를 시스템 정의 좌표계에 위치시켜 특성 정보를 생성하는(S423) 과정을 통하여 특성 정보를 생성한다.
이때, 상기 단계 S421에서의 관절별 구분은 수식 φ(I, X) = dI(x+δ1)-dI(X+δ2)을 이용하여 이루어질 수 있다.
그리고, 상기 단계 S422에서의 좌표 검출은 구분된 관절 부위에 Mean Shift 기법의 Densify Estimator를 적용함으로써 이루어질 수 있다.
상기 단계 S420 이후, 포즈 인식부(190)는 단계 S420에서 생성된 특성 정보를 양자화하여 포즈를 인지하고, 인지된 포즈에 대한 코드북을 생성한다(S430).
반면, 상기 단계 S410에 따른 판단 결과, 영상의 상태가 양호하지 않은 것으로 판단하면(S410-No), 영상상태 판단부(130)는 수신한 영상 및 영상 깊이 정보를 전처리부(150)로 전송한다.
즉, 상기 단계 S410에서, 상태가 양호하지 않은 것으로 판단된 영상 및 영상 깊이 정보는 전처리부(150)로 전송된다.
이후, 단계 S410에서 상태가 양호하지 않은 것으로 판단된 영상 및 영상 깊이 정보를 바탕으로, 전처리부(150)는 영상에서 노이즈를 제거한 후(S440), 노이즈 제거된 영상과 영상 깊이 정보를 특성 추출부(170)로 전송한다.
구체적으로, 상기 단계 S440에 있어서, 전처리부(150)는 Median Filter를 이용하여 영상에서 노이즈를 제거한 후(S441), 관심 영역(ROI: Region of Interest)을 설정하고(S442), 설정된 관심 영역에 대해 Hole Filling 하는(S443) 과정을 통하여, 노이즈 제거된 영상을 획득할 수 있다.
이때, 상기 단계 S443에서의 Hole Filling은 모폴로지(Morphology) 연산을 이용하여 이루어질 수 있다.
상기 단계 S440에 따라 노이즈가 제거된 영상 및 영상 깊이 정보는 단계 S420 및 S430에 따라 처리된다.
한편, 본 발명에 따른 인체 포즈 인지 시스템 및 방법을 실시 예에 따라 설명하였지만, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 본 발명과 관련하여 통상의 지식을 가진 자에게 자명한 범위 내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.
따라서, 본 발명에 기재된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (13)

  1. 영상 촬영부에 의해 획득되는 영상 및 영상 깊이 정보를 수신하고, 수신된 영상을 분석하여, 영상의 상태를 판단하는 영상상태 판단부;
    입력되는 영상 및 영상 깊이 정보를 수신하고, 수신된 영상에서 노이즈를 제거하는 전처리부;
    입력되는 영상 및 영상 깊이 정보를 수신하고, 수신한 영상 및 영상 깊이 정보를 분석하여, 영상 내 인체의 관절별 특성 정보를 생성하는 특성 추출부; 및
    상기 특성 정보를 수신하고, 수신한 특성 정보를 양자화하여 포즈를 인지하고, 인지된 포즈에 대한 코드북을 생성하는 포즈 인식부로 구성되는
    인체 포즈 인지 시스템.
  2. 제 1 항에 있어서,
    상기 영상 촬영부는 2D 영상 및 그와 관련한 영상 깊이 정보를 생성하는 다수의 3D 카메라로 구성되는
    인체 포즈 인지 시스템.
  3. 제 1 항에 있어서,
    상기 영상상태 판단부는 영상의 상태가 양호한 것으로 판단되면, 수신한 영상 및 영상 깊이 정보를 상기 특성 추출부로 전송하고, 영상의 상태가 불량한 것으로 판단되면, 수신한 영상 및 영상 깊이 정보를 상기 전처리부로 전송하는 것
    인 인체 포즈 인지 시스템.
  4. 제 1 항에 있어서,
    상기 전처리부는 Median Filter를 이용하여 영상에서 노이즈를 제거한 후, 관심 영역을 설정하고, 설정된 관심 영역에 대해 Hole Filling을 하는 것
    인 인체 포즈 인지 시스템.
  5. 제 1 항에 있어서,
    상기 특성 추출부는 영상 내의 인체를 관절별로 구분하고, 구분된 관절의 좌표를 검출하고, 검출된 관절 좌표를 시스템 정의 좌표계에 위치시켜 특성 정보를 생성하는 것
    인 인체 포즈 인지 시스템.
  6. 제 5 항에 있어서,
    상기 시스템 정의 좌표계는 구 형태로 이루어지며, 구 중심은 3차원 좌표계에서의 허리 관절에 대응하며, 허리 관절을 중심으로 한 인체의 위쪽 및 아래쪽의 위치를 나타내는 θ축과 , 허리 관절을 중심으로 한 인체의 방향을 나타내는 α축을 이루어져, 2차원의 좌표(θ,α)로 표현되는 좌표계
    인 인체 포즈 인지 시스템.
  7. 제 5 항에 있어서,
    상기 특성 추출부는 구분된 관절 부위에 Mean Shift 기법의 Densify Estimator를 적용하여 관절별 좌표를 검출하는 것
    인 인체 포즈 인지 시스템.
  8. 영상 촬영부에 의해 획득되는 영상 및 영상 깊이 정보를 수신하고, 수신된 영상을 분석하여, 영상의 상태를 판단하는 단계;
    상기 영상의 상태를 판단하는 단계에서의 판단 결과, 영상이 양호한 것으로 판단되면, 영상 및 영상 깊이 정보를 분석하여, 영상 내 인체의 관절별 특성 정보를 생성하는 단계; 및
    상기 특성 정보를 양자화하여 포즈를 인지하고, 인지된 포즈에 대한 코드북을 생성하는 단계를 포함하는
    인체 포즈 인지 방법.
  9. 제 8 항에 있어서,
    상기 영상 내 인체의 관절별 특성 정보를 생성하는 단계는,
    영상 내의 인체를 관절별로 구분하고, 구분된 관절의 좌표를 검출하고, 검출된 관절 좌표를 시스템 정의 좌표계에 위치시켜 특성 정보를 생성하는 것
    인 인체 포즈 인지 방법.
  10. 제 9 항에 있어서,
    상기 검출된 관절 좌표를 시스템 정의 좌표계에 위치시키는 것은,
    상기 검출된 관절 좌표를 중심이 3차원 좌표계에 있어서의 허리 관절에 대응하며, 허리 관절을 중심으로 한 인체의 위쪽 및 아래쪽의 위치를 나타내는 θ축과 , 허리 관절을 중심으로 한 인체의 방향을 나타내는 α축을 이루어져, 2차원의 좌표(θ,α)로 표현되는 좌표계에 위치시키는 것
    인 인체 포즈 인지 방법.
  11. 제 8 항에 있어서,
    상기 구분된 관절의 좌표를 검출하는 것은 구분된 관절 부위에 Mean Shift 기법의 Densify Estimator를 적용하여 관절별 좌표를 검출하는 것
    인 인체 포즈 인지 방법.
  12. 제 8 항에 있어서,
    상기 영상의 상태를 판단하는 단계에서의 판단 결과, 영상이 불량한 것으로 판단되면, 영상에서 노이즈를 제거하는 단계를 더 포함하는
    인체 포즈 인지 방법.
  13. 제 12 항에 있어서,
    상기 영상에서 노이즈를 제거하는 단계는,
    Median Filter를 이용하여 영상에서 노이즈를 제거한 후, 관심 영역을 설정하고, 설정된 관심 영역에 대해 Hole Filling을 하는 것
    인 인체 포즈 인지 방법.
PCT/KR2016/000270 2015-12-28 2016-01-12 인체 포즈 인지 시스템 및 방법 WO2017115905A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0187330 2015-12-28
KR1020150187330A KR20170077444A (ko) 2015-12-28 2015-12-28 인체 포즈 인지 시스템 및 방법

Publications (1)

Publication Number Publication Date
WO2017115905A1 true WO2017115905A1 (ko) 2017-07-06

Family

ID=59224892

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/000270 WO2017115905A1 (ko) 2015-12-28 2016-01-12 인체 포즈 인지 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR20170077444A (ko)
WO (1) WO2017115905A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564056A (zh) * 2018-04-25 2018-09-21 中国水利水电科学研究院 一种遥感影像水体识别提取的方法
CN109960993A (zh) * 2017-12-26 2019-07-02 同方威视科技江苏有限公司 车辆安全检测系统及方法、电子设备、存储介质
CN110490171A (zh) * 2019-08-26 2019-11-22 睿云联(厦门)网络通讯技术有限公司 一种危险姿态识别方法、装置、计算机设备及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190050551A (ko) * 2017-11-03 2019-05-13 전자부품연구원 깊이 맵 정보 기반의 인체 행위 인지 방법 및 그 장치
CN108898063B (zh) * 2018-06-04 2021-05-04 大连大学 一种基于全卷积神经网络的人体姿态识别装置及方法
KR102610840B1 (ko) 2019-12-19 2023-12-07 한국전자통신연구원 사용자 모션 자동 인식 시스템 및 그 방법
KR20220081102A (ko) 2020-12-08 2022-06-15 (주)셀빅 실시간 카메라 영상 기반 2d 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법
KR102524110B1 (ko) * 2021-03-03 2023-04-21 한국생산기술연구원 다차원 센서부를 활용한 천정 시야각 광역맵 기반 비정상 상황 인식장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100916836B1 (ko) * 2008-05-29 2009-09-14 고려대학교 산학협력단 지시형 제스처를 인식하는 방법 및 장치
KR20120006377A (ko) * 2010-07-12 2012-01-18 전자부품연구원 포즈 인식 장치 및 방법
KR20130110441A (ko) * 2012-03-29 2013-10-10 한국과학기술원 신체 제스처 인식 방법 및 장치
KR20140142037A (ko) * 2013-06-03 2014-12-11 삼성전자주식회사 포즈 추정 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100916836B1 (ko) * 2008-05-29 2009-09-14 고려대학교 산학협력단 지시형 제스처를 인식하는 방법 및 장치
KR20120006377A (ko) * 2010-07-12 2012-01-18 전자부품연구원 포즈 인식 장치 및 방법
KR20130110441A (ko) * 2012-03-29 2013-10-10 한국과학기술원 신체 제스처 인식 방법 및 장치
KR20140142037A (ko) * 2013-06-03 2014-12-11 삼성전자주식회사 포즈 추정 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NA MIN-YOUNG ET AL.: "A real time head pose recognition method with hidden finger prediction", JOURNAL OF THE KOREAN SOCIETY FOR COMPUTER GAME, vol. 12, no. 5, 2012, pages 79 - 87 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109960993A (zh) * 2017-12-26 2019-07-02 同方威视科技江苏有限公司 车辆安全检测系统及方法、电子设备、存储介质
CN108564056A (zh) * 2018-04-25 2018-09-21 中国水利水电科学研究院 一种遥感影像水体识别提取的方法
CN110490171A (zh) * 2019-08-26 2019-11-22 睿云联(厦门)网络通讯技术有限公司 一种危险姿态识别方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
KR20170077444A (ko) 2017-07-06

Similar Documents

Publication Publication Date Title
WO2017115905A1 (ko) 인체 포즈 인지 시스템 및 방법
WO2016122069A1 (ko) 타이어 마모도 측정 방법 및 그 장치
WO2014051337A1 (ko) 복수 개의 촬영영상으로부터 이벤트를 검출하는 장치 및 방법
WO2017090892A1 (ko) Osd 정보 생성 카메라, osd 정보 합성 단말기(20) 및 이들로 구성된 osd 정보 공유 시스템
WO2021020866A1 (ko) 원격 모니터링을 위한 영상 분석 시스템 및 방법
WO2014069822A1 (en) Apparatus and method for face recognition
WO2015126031A1 (ko) 사람 계수 방법 및 그를 위한 장치
WO2014046401A1 (ko) 단어 자동 번역에 기초한 입술 모양 변경 장치 및 방법
WO2011016649A2 (ko) 얼굴변화 검출 시스템 및 얼굴변화 감지에 따른 지능형 시스템
WO2016163755A1 (ko) 품질 측정 기반의 얼굴 인식 방법 및 장치
WO2016099084A1 (ko) 비콘신호를 이용한 안전 서비스 제공 시스템 및 방법
WO2018135906A1 (ko) 카메라 및 카메라의 영상 처리 방법
WO2011019192A2 (ko) Ir 조명을 이용한 얼굴인식 시스템 및 방법
WO2015182904A1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
WO2021112273A1 (ko) 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법 및 장치
WO2021172833A1 (ko) 물체 인식 장치, 물체 인식 방법 및 이를 수행하기 위한 컴퓨터 판독 가능한 기록 매체
WO2012137994A1 (ko) 영상인식장치 및 그 영상 감시방법
WO2016064107A1 (ko) 팬틸트줌 카메라 기반의 영상 재생방법 및 장치
WO2016060312A1 (ko) 실내위치인식기반 보안관리장치 및 방법
KR101426418B1 (ko) 객체 계수 장치 및 방법
WO2020027512A1 (ko) 압축영상에 대한 신택스 기반의 ptz 카메라의 객체 추적 제어 방법
WO2014185691A1 (ko) 연속 촬영 이미지에서의 고조점 이미지 추출 장치 및 방법
WO2014035050A1 (ko) 영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라
WO2022019601A1 (ko) 영상의 객체 특징점 추출과 이를 이용한 영상검색 시스템 및 방법
WO2021095962A1 (ko) 하이브리드 기반 이상 행위 인지 시스템 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16881858

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16881858

Country of ref document: EP

Kind code of ref document: A1