KR20170077444A - 인체 포즈 인지 시스템 및 방법 - Google Patents

인체 포즈 인지 시스템 및 방법 Download PDF

Info

Publication number
KR20170077444A
KR20170077444A KR1020150187330A KR20150187330A KR20170077444A KR 20170077444 A KR20170077444 A KR 20170077444A KR 1020150187330 A KR1020150187330 A KR 1020150187330A KR 20150187330 A KR20150187330 A KR 20150187330A KR 20170077444 A KR20170077444 A KR 20170077444A
Authority
KR
South Korea
Prior art keywords
image
human body
pose
joint
depth information
Prior art date
Application number
KR1020150187330A
Other languages
English (en)
Inventor
김동칠
송재종
양창모
박성주
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020150187330A priority Critical patent/KR20170077444A/ko
Priority to PCT/KR2016/000270 priority patent/WO2017115905A1/ko
Publication of KR20170077444A publication Critical patent/KR20170077444A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G06K9/00369—
    • G06K9/40—
    • G06K9/46—
    • G06K9/6203—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 인체 포즈 인지 기술에 관한 것으로, 본 발명의 일 측면에 따른 인체 포즈 인지 시스템은, 영상 촬영부에 의해 획득되는 영상 및 영상 깊이 정보를 수신하고, 수신된 영상을 분석하여, 영상의 상태를 판단하는 영상상태 판단부; 입력되는 영상 및 영상 깊이 정보를 수신하고, 수신된 영상에서 노이즈를 제거하는 전처리부; 입력되는 영상 및 영상 깊이 정보를 수신하고, 수신한 영상 및 영상 깊이 정보를 분석하여, 영상 내 인체의 관절별 특성 정보를 생성하는 특성 추출부; 및 상기 특성 정보를 수신하고, 수신한 특성 정보를 양자화하여 포즈를 인지하고, 인지된 포즈에 대한 코드북을 생성하는 포즈 인식부로 구성된다.

Description

인체 포즈 인지 시스템 및 방법{System and method for recognizing human pose}
본 발명은 인체 포즈 인지 기술에 관한 것으로, 상세하게는 영상 촬영부에 의해 획득되는 영상과 영상 깊이 정보를 이용하여 인체 포즈를 인식하는 인체 포즈 인지 시스템 및 방법에 관한 것이다.
다양한 보안 위협으로부터 개인의 신변 안전 보장을 위한 영상 보안 서비스와 관련한 기술에 대한 연구 및 개발이 증가하고 있다.
종래의 2D 영상을 이용한 보안 시스템은 사람, 차량 등의 객체에 대한 단순 인식과 함께, 객체의 움직임을 트레킹함으로써, 특정 지점의 통과를 인지하거나, 침입을 인지하거나, 사전에 정해진 단순한 특정 행위를 인지한다.
그러나, 종래의 2D 입력 영상이 객체(ex. 사람)의 세부적인 움직임을 분석 및 조합하여 하나의 보안 이벤트를 인지하기에는 충분한 정보를 갖고 있지 못하기 때문에 종래의 2D 영상을 이용한 보안 시스템은 객체의 세부적인 포즈 인지를 수행하지 못한다는 단점이 있다.
한편, 최근에는 보안용 UHD 카메라가 개발되고 있으며, 영상 정보뿐만 아니라, 깊이 맵(depth map) 정보를 함께 사용할 수 있는 3D 카메라를 보안 시스템에 적용하려는 연구가 증가하고 있다.
그러나, 보안 서비스를 위해 객체를 추출하고, 이를 기반으로 객체의 세부적인 행동을 인식하는 연구는 대부분 2D 영상을 기반으로 진행하고 있기 때문에, 복합적인 상황에서 객체의 위험 행위/행동을 추론하는데에는 한계가 있어, 보안 서비스를 효율적으로 수행할 수 없다는 문제점이 있다.
따라서, 본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은, 영상 촬영부에 의해 획득되는 영상과 영상 깊이 정보를 이용하여 인체 포즈를 인식하는 인체 포즈 인지 시스템 및 방법을 제공함에 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 일 측면에 따른 인체 포즈 인지 시스템은, 영상 촬영부에 의해 획득되는 영상 및 영상 깊이 정보를 수신하고, 수신된 영상을 분석하여, 영상의 상태를 판단하는 영상상태 판단부; 입력되는 영상 및 영상 깊이 정보를 수신하고, 수신된 영상에서 노이즈를 제거하는 전처리부; 입력되는 영상 및 영상 깊이 정보를 수신하고, 수신한 영상 및 영상 깊이 정보를 분석하여, 영상 내 인체의 관절별 특성 정보를 생성하는 특성 추출부; 및 상기 특성 정보를 수신하고, 수신한 특성 정보를 양자화하여 포즈를 인지하고, 인지된 포즈에 대한 코드북을 생성하는 포즈 인식부로 구성된다.
상기 영상 촬영부는 2D 영상 및 그와 관련한 영상 깊이 정보를 생성하는 다수의 3D 카메라로 구성된다.
상기 영상상태 판단부는 영상의 상태가 양호한 것으로 판단되면, 수신한 영상 및 영상 깊이 정보를 상기 특성 추출부로 전송하고, 영상의 상태가 불량한 것으로 판단되면, 수신한 영상 및 영상 깊이 정보를 상기 전처리부로 전송한다.
상기 전처리부는 Median Filter를 이용하여 영상에서 노이즈를 제거한 후, 관심 영역을 설정하고, 설정된 관심 영역에 대해 Hole Filling을 한다.
상기 특성 추출부는 영상 내의 인체를 관절별로 구분하고, 구분된 관절의 좌표를 검출하고, 검출된 관절 좌표를 시스템 정의 좌표계에 위치시켜 특성 정보를 생성한다.
상기 시스템 정의 좌표계는 구 형태로 이루어지며, 구 중심은 3차원 좌표계에서의 허리 관절에 대응하며, 허리 관절을 중심으로 한 인체의 위쪽 및 아래쪽의 위치를 나타내는 θ축과 , 허리 관절을 중심으로 한 인체의 방향을 나타내는 α축을 이루어져, 2차원의 좌표(θ,α)로 표현되는 좌표계이다.
상기 특성 추출부는 구분된 관절 부위에 Mean Shift 기법의 Densify Estimator를 적용하여 관절별 좌표를 검출한다.
또한, 본 발명의 타 측면에 따른 인체 포즈 인지 방법은, 영상 촬영부에 의해 획득되는 영상 및 영상 깊이 정보를 수신하고, 수신된 영상을 분석하여, 영상의 상태를 판단하는 단계; 상기 영상의 상태를 판단하는 단계에서의 판단 결과, 영상이 양호한 것으로 판단되면, 영상 및 영상 깊이 정보를 분석하여, 영상 내 인체의 관절별 특성 정보를 생성하는 단계; 및 상기 특성 정보를 양자화하여 포즈를 인지하고, 인지된 포즈에 대한 코드북을 생성하는 단계를 포함한다.
상기 영상 내 인체의 관절별 특성 정보를 생성하는 단계는, 영상 내의 인체를 관절별로 구분하고, 구분된 관절의 좌표를 검출하고, 검출된 관절 좌표를 시스템 정의 좌표계에 위치시켜 특성 정보를 생성하는 단계이다.
상기 검출된 관절 좌표를 시스템 정의 좌표계에 위치시키는 것은, 상기 검출된 관절 좌표를 중심이 3차원 좌표계에 있어서의 허리 관절에 대응하며, 허리 관절을 중심으로 한 인체의 위쪽 및 아래쪽의 위치를 나타내는 θ축과 , 허리 관절을 중심으로 한 인체의 방향을 나타내는 α축을 이루어져, 2차원의 좌표(θ,α)로 표현되는 좌표계에 위치시키는 것이다.
상기 구분된 관절의 좌표를 검출하는 것은 구분된 관절 부위에 Mean Shift 기법의 Densify Estimator를 적용하여 관절별 좌표를 검출하는 것이다.
상기 영상의 상태를 판단하는 단계에서의 판단 결과, 영상이 불량한 것으로 판단되면, 영상에서 노이즈를 제거하는 단계를 더 포함한다.
상기 영상에서 노이즈를 제거하는 단계는, Median Filter를 이용하여 영상에서 노이즈를 제거한 후, 관심 영역을 설정하고, 설정된 관심 영역에 대해 Hole Filling을 하는 단계이다.
이와 같은 본 발명의 실시 예에 따르면, 인체 포즈 인지 시스템은 영상 촬영부에 의해 획득되는 영상과 영상 깊이 정보를 기반으로 인체의 각 부분을 분절하고, 분절된 관절의 좌표 정보를 조합하여 인체의 포즈를 인지한다.
따라서, 본 발명의 인체 포즈 인지 기술을 보안 시스템에 적용하는 경우, 개인의 신변 안전 보장 및 범죄 예방을 위한 보안 서비스를 제공하는 것이 가능하다.
또한, 본 발명의 인체 포즈 인지 기술을 이용하면, 복합적인 상황 하에서의 위험 행동/행위 추론이 가능하다.
도 1은 본 발명의 실시 예에 따른 인체 포즈 인지 시스템의 구성을 도시한 구성도이다.
도 2는 본 발명의 실시 예에 따른 인체 포즈 인지 시스템의 전처리부의 동작에 따른 영상을 도시한 도면이다.
도 3은 본 발명의 인체 포즈 인지 시스템에 있어서의 인체의 관절과 새로 시스템 정의 좌표계의 상관 관계를 도시한 도면이다.
도 4는 본 발명의 실시 예에 따른 인체 포즈 인지 시스템의 동작에 따른 순서를 도시한 플로우차트이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 본 발명의 실시 예에 따른 인체 포즈 인지 시스템 및 방법에 대하여 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 실시 예에 따른 인체 포즈 인지 시스템의 구성을 도시한 구성도이고, 도 2는 본 발명의 실시 예에 따른 인체 포즈 인지 시스템의 전처리부의 동작에 따른 영상을 도시한 도면이다.
이때, 도 2(a)는 전처리부(150)로 입력되는 영상을 도시한 도면이고, 도 2(b)는 전처리부(150)에서 Median Filter를 이용하여 노이즈를 제거한 후의 영상을 도시한 도면이고, 도 2(c)는 전처리부(150)에 의해 Hole Filling이 이루어진 후의 영상을 도시한 도면이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 인체 포즈 인지 시스템(이하 ‘시스템’, 100)은 영상 촬영부에 의해 획득되는 영상과 영상 깊이 정보를 기반으로 영상 내 인체를 관절별로 구분하고, 구분된 관절의 좌표 정보를 조합하여 인체의 포즈를 인지한다.
이를 위하여, 상기 시스템(100)은 영상 촬영부(110), 영상상태 판단부(130), 전처리부(150), 특성 추출부(170) 및 포즈 인식부(190)로 구성될 수 있다. 하지만, 상기 시스템(100)의 구성이 상기에 열거된 구성만으로 이루어지는 것은 아니며, 상기 구성들 이외에 다른 구성을 더 포함할 수 있다.
구체적으로, 상기 영상 촬영부(110)는 영상을 촬영하는 한편, 촬영된 영상 및 영상에 대한 깊이 정보(‘영상 깊이 정보’)를 영상상태 판단부(130)로 전송한다.
상기 영상 촬영부(110)는 각각 할당된 촬영 영역 내의 인체를 촬영하는 다수의 카메라들(100_1 ~ 100_n)로 구성될 수 있으며, 이하에서 특별한 설명이 없는 경우에는 영상은 인체 영상을 의미한다. 이때, 상기 카메라들(100_1 ~ 100_n)은 3D 카메라로서, 2D 영상과 영상 깊이 정보를 생성한다.
상기 영상상태 판단부(130)는 영상 획득부(110)로부터 영상 및 영상 깊이 정보를 수신하고, 수신된 영상을 분석하여, 영상의 상태가 양호한지를 판단한다.
이때, 상기 영상상태 판단부(130)는 영상이 양호한 것으로 판단되면, 해당 영상 및 영상 깊이 정보를 영상 특성 추출부(170)로 전송한다.
반면, 상기 영상상태 판단부(130)는 영상이 양호하지 않은 것으로 판단되면, 즉 영상이 불량한 것으로 판단되면, 해당 영상 및 영상 깊이 정보를 전처리부(150)로 전송한다.
예를 들어, 상기 영상상태 판단부(130)는 영상을 분석하여, 사람 이외의 사물, 예를 들면 천장, 벽, 책상 등이 전체 영상 중 차지하는 비율이 기 설정된 비율(ex. 50%) 이상이면 영상 상태가 양호하지 않은 것으로 판단한다.
상기 전처리부(150)는 영상상태 판단부(130)로부터 전송되는 영상 및 영상 깊이 정보를 수신하고, 수신된 영상에서 노이즈를 제거한 후, 노이즈 제거된 영상과 영상 깊이 정보를 특성 추출부(170)로 전송한다.
이때, 도 2에 도시된 바와 같이, 상기 전처리부(150)는 영상상태 판단부(130)로부터 전송된 영상에서 Median Filter를 이용하여 노이즈를 제거한 후, 관심 영역(ROI: Region of Interest)을 설정하고, 설정된 관심 영역에 대해 Hole Filling을 하여 획득되는 영상을 특성 추출부(170)로 전송한다. 이때, 상기 전처리부(150)는 모폴로지(Morphology) 연산을 이용하여 Hole Filling을 할 수 있다.
상기 특성 추출부(170)는 영상상태 판단부(130)로부터 전송되는 영상 및 영상 깊이 정보 또는 전처리부(150)로부터 전송되는 영상 및 영상 깊이 정보를 수신하고, 수신한 영상 및 영상 깊이 정보를 분석하여, 영상 내의 인체를 관절별로 구분하고, 구분된 관절의 좌표를 검출하여 특성 정보를 생성한다. 이때, 상기 특성 추출부(170)는 생성된 특성 정보를 포즈 인식부(190)로 전송한다.
구체적으로, 상기 특성 추출부(170)는 영상상태 판단부(130) 혹은 전처리부(150)로부터 전송되는 영상 내 인체의 부위를 관절별로 구분한다.
이때, 상기 특성 추출부(170)는 하기의 [수학식 1]을 이용하여 인체의 각 관절 부위를 구분한다.
[수학식 1]
φ(I, X) = dI(x+δ1)-dI(x+δ2)
여기서, φ(I, X)는 이미지 I의 x좌표에서의 깊이 값의 변화량, dI(x)는 이미지 I의 x좌표에서의 깊이 값이고, δ1 및δ2는 특정 픽셀 x의 깊이 값의 변화량을 위한 상대 픽셀과의 거리를 의미한다.
또한, φ(I, X)의 값에 따른 인체의 각 관절 부위는 기 설정되는 것으로, φ(I, X)의 값을 계산하면, 인체의 관절 부위를 구분할 수 있다.
그리고, 상기 특성 추출부(170)는 인체를 관절별로 구분한 후, 각 관절의 좌표를 검출한다. 이때, 상기 특성 추출부(170)는 구분된 각 관절 부위에 Mean Shift 기법의 Densify Estimator를 적용하여 관절별 좌표(‘관절 좌표’)를 검출한다.
이후, 상기 특성 검출부(170)는 검출된 관절 좌표를 새로 정의한 시스템 정의 좌표계에 위치시켜 특성 정보를 생성한다.
상기 포즈 인식부(190)는 특성 추출부(170)로부터 전송되는 특성 정보를 수신하고, 수신한 특성 정보를 양자화하여 포즈를 인지하고, 인지된 포즈에 대한 코드북을 생성한다.
도 3은 본 발명의 인체 포즈 인지 시스템에 있어서의 인체의 관절과 새로 시스템 정의 좌표계의 상관 관계를 도시한 도면으로서, 도 3(a)에는 인체의 주요 관절이 도시되어 있고, 도 3(b)에는 본 발명의 인체 포즈 인지 시스템에서 새로 정의된 시스템 정의 좌표계가 도시되어 있다.
도 3에 도시된 바와 같이, 본 발명의 시스템 정의 좌표계는 구 형태로 이루어지며, 구 중심(0, 0)은 기존의 3차원 좌표계에서의 허리 관절에 대응하며, θ축 허리 관절을 중심으로 한 인체의 위쪽 및 아래쪽의 위치를 나타내며, α축은 허리 관절을 중심으로 한 인체의 방향을 나타낸다.
따라서, 기존의 3차원 좌표계로 표현된 관절은 본 발명의 시스템 정의 좌표계에서는 2차원의 좌표(θ,α)로 표현된다.
도 3에서는 θ축으로 이루어지는 원이 12개로 나누어지고, α축으로 이루어지는 원이 12개로 나누어져 관절을 표현할 수 있는 좌표는 총 144개이나, 원의 분할 개수에 따라 관절을 표현할 수 있는 좌표는 다양하게 설정될 수 있다.
이상에서는 본 발명의 실시 예에 따른 인체 포즈 인지 시스템의 구성 및 기능에 대해서 살펴보았다. 이하에서는 첨부된 도면을 참조하여 본 발명의 실시 예에 따른 인체 포즈 인지 시스템의 동작에 대해서 구체적으로 살펴보기로 한다.
도 4는 본 발명의 실시 예에 따른 인체 포즈 인지 시스템의 동작에 따른 순서를 도시한 플로우챠트이다.
먼저, 영상상태 판단부(130)가 영상 촬영부(110)에 의해 획득된 영상 및 영상 깊이 정보를 수신하고(S400), 수신한 영상을 분석하여, 영상의 상태가 양호한지를 판단한다(S410).
이때, 상기 단계 S410에 따른 판단 결과, 영상의 상태가 양호한 것으로 판단하면(S410-Yes), 영상상태 판단부(130)는 수신한 영상 및 영상 깊이 정보를 특성 추출부(170)로 전송한다.
즉, 상기 단계 S410에서 상태가 양호한 것으로 판단된 영상 및 영상 깊이 정보는 특성 추출부(170)로 전송된다.
이후, 단계 S410에서 상태가 양호한 것으로 판단된 영상 및 영상 깊이 정보를 바탕으로, 특성 추출부(170)는 영상 내의 관절별 특성 정보를 생성한다(S420).
구체적으로, 상기 단계 S420에 있어서, 특성 추출부(170)는 영상 내의 인체를 관절별로 구분하고(S421), 구분된 관절의 좌표를 검출하고(S422), 검출된 관절 좌표를 시스템 정의 좌표계에 위치시켜 특성 정보를 생성하는(S423) 과정을 통하여 특성 정보를 생성한다.
이때, 상기 단계 S421에서의 관절별 구분은 수식 φ(I, X) = dI(x+δ1)-dI(X+δ2)을 이용하여 이루어질 수 있다.
그리고, 상기 단계 S422에서의 좌표 검출은 구분된 관절 부위에 Mean Shift 기법의 Densify Estimator를 적용함으로써 이루어질 수 있다.
상기 단계 S420 이후, 포즈 인식부(190)는 단계 S420에서 생성된 특성 정보를 양자화하여 포즈를 인지하고, 인지된 포즈에 대한 코드북을 생성한다(S430).
반면, 상기 단계 S410에 따른 판단 결과, 영상의 상태가 양호하지 않은 것으로 판단하면(S410-No), 영상상태 판단부(130)는 수신한 영상 및 영상 깊이 정보를 전처리부(150)로 전송한다.
즉, 상기 단계 S410에서, 상태가 양호하지 않은 것으로 판단된 영상 및 영상 깊이 정보는 전처리부(150)로 전송된다.
이후, 단계 S410에서 상태가 양호하지 않은 것으로 판단된 영상 및 영상 깊이 정보를 바탕으로, 전처리부(150)는 영상에서 노이즈를 제거한 후(S440), 노이즈 제거된 영상과 영상 깊이 정보를 특성 추출부(170)로 전송한다.
구체적으로, 상기 단계 S440에 있어서, 전처리부(150)는 Median Filter를 이용하여 영상에서 노이즈를 제거한 후(S441), 관심 영역(ROI: Region of Interest)을 설정하고(S442), 설정된 관심 영역에 대해 Hole Filling 하는(S443) 과정을 통하여, 노이즈 제거된 영상을 획득할 수 있다.
이때, 상기 단계 S443에서의 Hole Filling은 모폴로지(Morphology) 연산을 이용하여 이루어질 수 있다.
상기 단계 S440에 따라 노이즈가 제거된 영상 및 영상 깊이 정보는 단계 S420 및 S430에 따라 처리된다.
한편, 본 발명에 따른 인체 포즈 인지 시스템 및 방법을 실시 예에 따라 설명하였지만, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 본 발명과 관련하여 통상의 지식을 가진 자에게 자명한 범위 내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.
따라서, 본 발명에 기재된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 인체 포즈 인지 시스템
110 : 영상 촬영부
130 : 영상상태 판단부
150 : 전처리부
170 : 특성 추출부
190 : 포즈 인식부

Claims (13)

  1. 영상 촬영부에 의해 획득되는 영상 및 영상 깊이 정보를 수신하고, 수신된 영상을 분석하여, 영상의 상태를 판단하는 영상상태 판단부;
    입력되는 영상 및 영상 깊이 정보를 수신하고, 수신된 영상에서 노이즈를 제거하는 전처리부;
    입력되는 영상 및 영상 깊이 정보를 수신하고, 수신한 영상 및 영상 깊이 정보를 분석하여, 영상 내 인체의 관절별 특성 정보를 생성하는 특성 추출부; 및
    상기 특성 정보를 수신하고, 수신한 특성 정보를 양자화하여 포즈를 인지하고, 인지된 포즈에 대한 코드북을 생성하는 포즈 인식부로 구성되는
    인체 포즈 인지 시스템.
  2. 제 1 항에 있어서,
    상기 영상 촬영부는 2D 영상 및 그와 관련한 영상 깊이 정보를 생성하는 다수의 3D 카메라로 구성되는
    인체 포즈 인지 시스템.
  3. 제 1 항에 있어서,
    상기 영상상태 판단부는 영상의 상태가 양호한 것으로 판단되면, 수신한 영상 및 영상 깊이 정보를 상기 특성 추출부로 전송하고, 영상의 상태가 불량한 것으로 판단되면, 수신한 영상 및 영상 깊이 정보를 상기 전처리부로 전송하는 것
    인 인체 포즈 인지 시스템.
  4. 제 1 항에 있어서,
    상기 전처리부는 Median Filter를 이용하여 영상에서 노이즈를 제거한 후, 관심 영역을 설정하고, 설정된 관심 영역에 대해 Hole Filling을 하는 것
    인 인체 포즈 인지 시스템.
  5. 제 1 항에 있어서,
    상기 특성 추출부는 영상 내의 인체를 관절별로 구분하고, 구분된 관절의 좌표를 검출하고, 검출된 관절 좌표를 시스템 정의 좌표계에 위치시켜 특성 정보를 생성하는 것
    인 인체 포즈 인지 시스템.
  6. 제 5 항에 있어서,
    상기 시스템 정의 좌표계는 구 형태로 이루어지며, 구 중심은 3차원 좌표계에서의 허리 관절에 대응하며, 허리 관절을 중심으로 한 인체의 위쪽 및 아래쪽의 위치를 나타내는 θ축과 , 허리 관절을 중심으로 한 인체의 방향을 나타내는 α축을 이루어져, 2차원의 좌표(θ,α)로 표현되는 좌표계
    인 인체 포즈 인지 시스템.
  7. 제 5 항에 있어서,
    상기 특성 추출부는 구분된 관절 부위에 Mean Shift 기법의 Densify Estimator를 적용하여 관절별 좌표를 검출하는 것
    인 인체 포즈 인지 시스템.
  8. 영상 촬영부에 의해 획득되는 영상 및 영상 깊이 정보를 수신하고, 수신된 영상을 분석하여, 영상의 상태를 판단하는 단계;
    상기 영상의 상태를 판단하는 단계에서의 판단 결과, 영상이 양호한 것으로 판단되면, 영상 및 영상 깊이 정보를 분석하여, 영상 내 인체의 관절별 특성 정보를 생성하는 단계; 및
    상기 특성 정보를 양자화하여 포즈를 인지하고, 인지된 포즈에 대한 코드북을 생성하는 단계를 포함하는
    인체 포즈 인지 방법.
  9. 제 8 항에 있어서,
    상기 영상 내 인체의 관절별 특성 정보를 생성하는 단계는,
    영상 내의 인체를 관절별로 구분하고, 구분된 관절의 좌표를 검출하고, 검출된 관절 좌표를 시스템 정의 좌표계에 위치시켜 특성 정보를 생성하는 것
    인 인체 포즈 인지 방법.
  10. 제 9 항에 있어서,
    상기 검출된 관절 좌표를 시스템 정의 좌표계에 위치시키는 것은,
    상기 검출된 관절 좌표를 중심이 3차원 좌표계에 있어서의 허리 관절에 대응하며, 허리 관절을 중심으로 한 인체의 위쪽 및 아래쪽의 위치를 나타내는 θ축과 , 허리 관절을 중심으로 한 인체의 방향을 나타내는 α축을 이루어져, 2차원의 좌표(θ,α)로 표현되는 좌표계에 위치시키는 것
    인 인체 포즈 인지 방법.
  11. 제 8 항에 있어서,
    상기 구분된 관절의 좌표를 검출하는 것은 구분된 관절 부위에 Mean Shift 기법의 Densify Estimator를 적용하여 관절별 좌표를 검출하는 것
    인 인체 포즈 인지 방법.
  12. 제 8 항에 있어서,
    상기 영상의 상태를 판단하는 단계에서의 판단 결과, 영상이 불량한 것으로 판단되면, 영상에서 노이즈를 제거하는 단계를 더 포함하는
    인체 포즈 인지 방법.
  13. 제 12 항에 있어서,
    상기 영상에서 노이즈를 제거하는 단계는,
    Median Filter를 이용하여 영상에서 노이즈를 제거한 후, 관심 영역을 설정하고, 설정된 관심 영역에 대해 Hole Filling을 하는 것
    인 인체 포즈 인지 방법.
KR1020150187330A 2015-12-28 2015-12-28 인체 포즈 인지 시스템 및 방법 KR20170077444A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150187330A KR20170077444A (ko) 2015-12-28 2015-12-28 인체 포즈 인지 시스템 및 방법
PCT/KR2016/000270 WO2017115905A1 (ko) 2015-12-28 2016-01-12 인체 포즈 인지 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150187330A KR20170077444A (ko) 2015-12-28 2015-12-28 인체 포즈 인지 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20170077444A true KR20170077444A (ko) 2017-07-06

Family

ID=59224892

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150187330A KR20170077444A (ko) 2015-12-28 2015-12-28 인체 포즈 인지 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR20170077444A (ko)
WO (1) WO2017115905A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898063A (zh) * 2018-06-04 2018-11-27 大连大学 一种基于全卷积神经网络的人体姿态识别装置及方法
WO2019088333A1 (ko) * 2017-11-03 2019-05-09 전자부품연구원 깊이 맵 정보 기반의 인체 행위 인지 방법 및 그 장치
KR20220081102A (ko) 2020-12-08 2022-06-15 (주)셀빅 실시간 카메라 영상 기반 2d 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법
US11436868B2 (en) 2019-12-19 2022-09-06 Electronics And Telecommunications Research Institute System and method for automatic recognition of user motion
KR20220124419A (ko) * 2021-03-03 2022-09-14 한국생산기술연구원 다차원 센서부를 활용한 천정 시야각 광역맵 기반 비정상 상황 인식장치 및 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109960993A (zh) * 2017-12-26 2019-07-02 同方威视科技江苏有限公司 车辆安全检测系统及方法、电子设备、存储介质
CN108564056B (zh) * 2018-04-25 2019-10-25 中国水利水电科学研究院 一种遥感影像水体识别提取的方法
CN110490171B (zh) * 2019-08-26 2022-06-21 睿云联(厦门)网络通讯技术有限公司 一种危险姿态识别方法、装置、计算机设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100916836B1 (ko) * 2008-05-29 2009-09-14 고려대학교 산학협력단 지시형 제스처를 인식하는 방법 및 장치
KR20120006377A (ko) * 2010-07-12 2012-01-18 전자부품연구원 포즈 인식 장치 및 방법
KR101347840B1 (ko) * 2012-03-29 2014-01-09 한국과학기술원 신체 제스처 인식 방법 및 장치
KR101933921B1 (ko) * 2013-06-03 2018-12-31 삼성전자주식회사 포즈 추정 방법 및 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019088333A1 (ko) * 2017-11-03 2019-05-09 전자부품연구원 깊이 맵 정보 기반의 인체 행위 인지 방법 및 그 장치
CN108898063A (zh) * 2018-06-04 2018-11-27 大连大学 一种基于全卷积神经网络的人体姿态识别装置及方法
CN108898063B (zh) * 2018-06-04 2021-05-04 大连大学 一种基于全卷积神经网络的人体姿态识别装置及方法
US11436868B2 (en) 2019-12-19 2022-09-06 Electronics And Telecommunications Research Institute System and method for automatic recognition of user motion
KR20220081102A (ko) 2020-12-08 2022-06-15 (주)셀빅 실시간 카메라 영상 기반 2d 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법
KR20220124419A (ko) * 2021-03-03 2022-09-14 한국생산기술연구원 다차원 센서부를 활용한 천정 시야각 광역맵 기반 비정상 상황 인식장치 및 방법

Also Published As

Publication number Publication date
WO2017115905A1 (ko) 2017-07-06

Similar Documents

Publication Publication Date Title
KR20170077444A (ko) 인체 포즈 인지 시스템 및 방법
JP4177826B2 (ja) 画像処理装置および画像処理方法
US10474918B2 (en) Image processing apparatus, image processing method, and storage medium
CN107392137B (zh) 人脸识别方法及装置
US20190197313A1 (en) Monitoring device
KR101737430B1 (ko) 동적 배경을 가진 영상의 대상 객체 검출 방법
JP6579950B2 (ja) カメラの撮影画像に映る人物を検出する画像解析装置、プログラム及び方法
US9197860B2 (en) Color detector for vehicle
Joshi et al. A fall detection and alert system for an elderly using computer vision and Internet of Things
KR101745601B1 (ko) 영상 처리를 이용한 손가락 개수 인식 방법 및 장치
KR20150075505A (ko) 영상 기반 선박 주변 타선정보 제공장치 및 그 방법
JP2008035301A (ja) 移動体追跡装置
KR20150010193A (ko) 깊이 영상 기반 머리 검출방법 및 장치
KR101554677B1 (ko) 신체 행동 인지 시스템
KR101592262B1 (ko) 다중 구역에 대한 카메라 영상파일 통합 시스템
KR101648786B1 (ko) 객체 인식 방법
KR101806503B1 (ko) 실시간 화재감지 방법
Pang et al. Human behavioral analytics system for video surveillance
Hadi et al. Fusion of thermal and depth images for occlusion handling for human detection from mobile robot
US11373451B2 (en) Device and method for recognizing gesture
JP5679456B2 (ja) 人検出装置、人検出方法及び人検出プログラム
JP5785515B2 (ja) 歩行者検出装置及び方法、並びに車両用衝突判定装置
JP6606340B2 (ja) 画像検出装置、画像検出方法およびプログラム
KR20180138236A (ko) 동적 환경에서의 화점 탐지 시스템 및 방법
KR101876543B1 (ko) 탑뷰 영상 기반 인체 포즈 추정 장치 및 방법