KR101156154B1 - 깊이 영상을 이용한 실린더 모델 기반의 포즈 인식 시스템, 매체 및 서버 시스템 - Google Patents

깊이 영상을 이용한 실린더 모델 기반의 포즈 인식 시스템, 매체 및 서버 시스템 Download PDF

Info

Publication number
KR101156154B1
KR101156154B1 KR1020110027909A KR20110027909A KR101156154B1 KR 101156154 B1 KR101156154 B1 KR 101156154B1 KR 1020110027909 A KR1020110027909 A KR 1020110027909A KR 20110027909 A KR20110027909 A KR 20110027909A KR 101156154 B1 KR101156154 B1 KR 101156154B1
Authority
KR
South Korea
Prior art keywords
image
pose
feature point
cylinder model
plane
Prior art date
Application number
KR1020110027909A
Other languages
English (en)
Inventor
이칠우
박재완
신도성
김동민
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020110027909A priority Critical patent/KR101156154B1/ko
Application granted granted Critical
Publication of KR101156154B1 publication Critical patent/KR101156154B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 포즈 인식 시스템에 관한 것으로, 보다 구체적으로는 깊이 카메라로부터 입력되는 깊이 영상을 3D 영상으로 변환하고, 실린더 모델을 이용하여 상기 3D 영상의 머리, 팔, 몸통, 다리와 같은 인체 특징점을 간단한 연산을 통해 획득함으로써 빠르고 효과적으로 포즈 인식을 수행할 수 있는 포즈 인식 시스템에 관한 것이다.

Description

깊이 영상을 이용한 실린더 모델 기반의 포즈 인식 시스템, 매체 및 서버 시스템{Pose recognition system, medium and server system base on cylinder structure using depth image}
본 발명은 포즈 인식 시스템에 관한 것으로, 보다 구체적으로는 깊이 카메라로부터 입력되는 깊이 영상을 3D 영상으로 변환하고, 실린더 모델을 이용하여 상기 3D 영상의 머리, 팔, 몸통, 다리와 같은 인체 특징점을 간단한 연산을 통해 획득함으로써 빠르고 효과적으로 포즈 인식을 수행할 수 있는 포즈 인식 시스템에 관한 것이다.
인간의 행동에 관한 영상을 인식하는 인체 포즈 인식 기술은 인간과 컴퓨터 또는 로봇과의 상호 작용을 매개하기 하기 위한 기술로, 최근 들어, 교육, 오락, 방송, 보안 및 군사관련 분야 등의 사회 전반에서 다양하게 개발되고 있다.
인체는 매우 다양한 포즈를 표현할 수 있고 포즈를 표현하는 공간이 매우 크기 때문에 포즈를 인식함에 있어서, 인체를 적절히 모델링하고, 축소된 공간에서 주요 포즈를 인식하는 것은 매우 중요하다.
종래에 포즈 인식은 HOG(Histogram of Orientation Gradient), EOH(Edge Orientation Histogram), ACM(Active Contour Model) 등과 같이 신체의 외형을 분석하는 기술이 주를 이루고 있다.
그러나, 이러한 종래의 방법은 하나의 평면 영상을 여러 부분으로 나누고 각 부분에 대한 특징을 학습된 영상의 특징과 비교하거나(HOG), 신체 후보 영역에 대한 외형의 기울기를 학습된 영상과 비교하거나(EOH), 신체 후보 영역에 대한 외형을 일정 간격을 끊어서 학습된 영상과 비교하여(ACM) 포즈 인식을 수행하므로 연산에 많은 프로세스를 할애하게 되어 빠르고 효과적으로 포즈를 인식하는데 한계가 있다.
본 발명자들은 평면 영상이 아닌 깊이 영상을 이용하여 복잡한 연산을 수행하지 않고도 빠르고 효과적으로 포즈 인식을 수행하고자 연구 노력한 결과, 실린더 모델 기반의 포즈 인식 시스템의 기술적 구성을 개발하게 되어 본 발명을 완성하게 되었다.
따라서, 본 발명의 목적은 영상의 에지나 기울기 등을 계산하지 않고 실린더 모델을 이용하여 간단한 연산을 통해 사람의 포즈를 인식할 수 있는 포즈 인식 시스템을 제공하는 것이다.
또한, 본 발명의 다른 목적은 적어도 두 개의 실린더 모델을 이용하여 사람의 머리, 몸통, 팔, 다리의 특징점을 효과적으로 추출할 수 있는 포즈 인식 시스템을 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위하여 본 발명은 기준 포즈들의 영상특징인 기준 특징점들과 현재 포즈의 영상특징인 현재 특징점을 서로 비교하여 상기 현재 포즈가 상기 기준 포즈들 중, 어떠한 포즈에 속하는지 판단함으로써 현재 포즈를 인식하는 사람 포즈 인식 시스템으로써, 깊이 카메라(Depth camera)로 촬영된, 상기 기준 포즈의 깊이 영상(Depth image)을 입력받는 깊이 영상 입력수단, 상기 깊이 영상 중, 사람 영상을 공간 좌표계 상의 3D 영상으로 생성하는 3D 영상 생성수단, 상기 3D 영상의 외부 전체를 감싸는 원통 형상의 외부 실린더 모델을 생성하여 상기 3D 영상의 외부에 매칭하는 외부 실린더 모델 생성수단, 상기 외부 실린더 모델의 지름을 상기 3D 영상의 양 어깨의 길이만큼 축소한 길이의 지름을 갖는 내부 실린더 모델을 생성하여, 상기 3D 영상의 몸통에 매칭하는 내부 실린더 모델 생성수단 및 상기 각 실린더 모델과 상기 3D 영상이 맞닿는 지점이며, 상기 공간 좌표계상의 좌표 정보들로 이루어지는 인체 특징점을 추출하는 인체 특징점 추출 수단을 포함하며, 상기 인체 특징점을 상기 기준 특징점으로 획득하는 것을 특징으로 하는 포즈 인식 시스템을 제공한다.
바람직한 실시예에 있어서, 상기 인체 특징점들을 평면공간에 투영하여 선형적 인체 특징점을 획득하는 선형적 인체 특징점 획득 수단을 더 포함하며, 상기 선형적 인체 특징점을 상기 기준 특징점으로 획득한다.
바람직한 실시예에 있어서, 상기 기준 특징점은 서로 다른 기준 포즈들에 대한 선형적 인체 특징점들로 획득되고, 상기 깊이 영상 획득 수단, 상기 3D 영상 생성수단, 상기 외부 실린더 모델 생성수단, 상기 내부 실린더 모델 생성수단, 상기 인체 특징점 추출수단 및 상기 선형적 인체 특징점 획득 수단은 상기 현재 포즈의 깊이 영상에 대해 각 기능을 수행하여 상기 현재 포즈의 선형적 인체 특징점을 상기 현재 특징점으로 획득하며, 상기 현재 특징점이 상기 기준 특징점들 중 어떠한 기준 특징점에 속하는지 판단하며, 상기 현재 특징점이 속하는 기준 특징점의 획득기반이 된 기준 포즈를 상기 현재 포즈인 것으로 인식하는 포즈 인식 수단을 더 포함한다.
바람직한 실시예에 있어서, 상기 포즈 인식 수단은 서포트 벡터 머신(SVM:Support Vector Machine)을 이용하여 상기 기준 특징점들과 상기 현재 특징점을 서로 비교함으로써, 상기 현재 특징점이 상기 기준 특징점들 중 어떠한 기준 특징점에 속하는지 판단한다.
바람직한 실시예에 있어서, 상기 포즈 인식 수단은 알비에프 커널(RBF kernel:Radial Basis Function kernel)을 이용하여 상기 기준 특징점들을 선형분리하고, 상기 서포트 벡터 머신을 이용하여 상기 현재 특징점이 상기 기준 특징점들 중 어떠한 기준 특징점에 속하는지 판단한다.
바람직한 실시예에 있어서, 상기 인체 특징점들이 투영되는 평면공간은 상기 내부 실린더 모델의 윗면이며, 사람의 머리에 대한 인체 특징점이 표시되는 원형의 제1 평면, 상기 내부 실린더 모델을 윗 모서리는 상기 제1 평면의 외주와 접하게 하고, 측면은 둘레를 윗 모서리에서 아래 모서리 방향으로 순차적으로 늘려, 모든 높이에서의 측면 둘레가 상기 제1 평면이 위치하는 평면상에서 상기 제1 평면의 외주와 동심원을 이루도록 한 것으로, 사람의 어깨에 대한 인체 특징점이 표시되는 환형의 제2 평면 및 상기 외부 실린더 모델을 윗 모서리는 상기 제2 평면의 외주와 접하게 하고, 측면은 둘레를 윗 모서리에서 아래 모서리 방향으로 순차적으로 늘려, 모든 높이에서의 측면 둘레가, 상기 제1 평면이 위치하는 평면상에서 상기 제1 평면의 외주와 동심원을 이루도록 한 것으로, 사람의 손, 발, 팔꿈치 또는 무릎에 대한 인체 특징점이 표시되는 환형의 제3 평면으로 이루어진다.
또한, 본 발명은 컴퓨터를 상기 깊이 영상 획득 수단, 상기 3D 영상 생성수단, 상기 외부 실린더 모델 생성수단, 상기 내부 실린더 모델 생성수단, 상기 인체 특징점 추출수단 및 상기 선형적 인체 특징점 획득 수단으로 기능하게 하는 포즈 인식 프로그램이 저장된 매체를 제공한다.
또한, 본 발명은 상기 포즈 인식 프로그램이 저장되고, 상기 포즈 인식 프로그램을 통신망을 통해 전송할 수 있는 서버 시스템을 제공한다.
본 발명은 다음과 같은 우수한 효과를 가진다.
먼저, 본 발명의 포즈 인식 시스템에 의하면 깊이 카메라로 촬영된 깊이 영상을 3D 영상으로 변환하고 상기 3D 영상의 외 측과 내측 특징부를 감싸는 복수 개의 실린더 모델을 생성, 매칭하여 실린더 모델에 맞닿는 3D 영상의 위치를 특징점으로 획득함으로써 영상의 에지나 기울기 등을 계산하지 않고 사람 포즈의 특징점을 획득할 수 있는 효과가 있다.
또한, 본 발명의 포즈 인식 시스템에 의하면 복수 개의 실린더 모델을 이용하여 사람의 머리, 몸통, 팔, 다리의 특징점을 구분하여 효과적으로 추출할 수 있는 효과가 있다.
또한, 본 발명의 포즈 인식 시스템에 의하면, 획득된 특징점들을 평면공간상에 투영하여 선형적 특징점으로 변환함으로써 특징점 비교시 적은 연산량으로 빠르게 포즈를 인식할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 포즈 인식 시스템의 구현되는 환경을 보여주는 도면,
도 2는 본 발명의 일 실시예에 따른 포즈 인식 시스템의 구성도를 보여주는 도면,
도 3은 본 발명의 일 실시예에 따른 포즈 인식 시스템의 인체 특징점이 투영되는 평면공간을 설명하기 위한 도면이다.
본 발명에서 사용되는 용어는 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있는데 이 경우에는 단순한 용어의 명칭이 아닌 발명의 상세한 설명 부분에 기재되거나 사용된 의미를 고려하여 그 의미가 파악되어야 할 것이다.
이하, 첨부한 도면에 도시된 바람직한 실시예들을 참조하여 본 발명의 기술적 구성을 상세하게 설명한다.
그러나, 본 발명은 여기서 설명되는 실시예에 한정되지 않고 다른 형태로 구체화 될 수도 있다. 명세서 전체에 걸쳐 동일한 참조번호는 동일한 구성요소를 나타낸다.
도 1을 참조하면 본 발명의 일 실시예에 따른 포즈 인식 시스템(1000)은 사람(20)의 포즈를 촬영하는 깊이 카메라(Depth camera,10)와 연결되고, 상기 깊이 카메라(10)에 의해 촬영된 깊이 영상(Depth image)를 입력받아 사람(20)의 포즈를 인식한다.
또한, 상기 깊이 카메라(10)는 동시에 사람(20)을 촬영할 수 있는 복수 개의 카메라들로 이루어지며 서로 다른 시점에서 사람(20)을 촬영한다.
또한, 본 발명에서는 상기 깊이 카메라(10)를 두 개의 카메라로 구성되는 스테레오 카메라를 도시하였으나, 네 개 또는 여덟 개 등, 적어도 두 개 이상의 카메라로 구성되어 서로 다른 시점에서 사람(20)을 촬영할 수 있는 카메라들의 구성이라면 충분하다.
또한, 상기 포즈 인식 시스템(1000)은 컴퓨터로 구비되는 것으로 도시하였으나, 본 발명의 기능을 구현하기 위해 특별히 설계되어 구성된 하드웨어의 조합으로 구성될 수 있다.
또한, 본 발명의 포즈 인식 시스템(1000)은 포즈 인식을 위해 각 기능을 수행하도록 하는 포즈 인식 프로그램이 설치된 컴퓨터일 수 있으며, 상기 포즈 인식 프로그램은 컴퓨터로 읽을 수 있는 매체에 의해 저장되어 컴퓨터에 읽혀 짐으로써 상기 컴퓨터가 포즈 인식을 위한 각 기능을 수행하게 된다.
또한, 상기 포즈 인식 프로그램은 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등이 단독 또는 조합으로 구성될 수 있고, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라, 인터프리터 등을 사용하여 컴퓨터에 의해 실행될 수 있는 고급 언어 코드로 짜여진 프로그램일 수 있다.
또한, 상기 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD, DVD와 같은 광 기록 매체, 자기 및 광 기록을 겸할 수 있는 자기-광 기록 매체, 롬, 램, 플래시 메모리 등 단독 또는 조합에 의해 프로그램 명령을 저장할 수 있는 컴퓨터 소프트웨어 분야에서 통상의 지식을 가진 자에게 공지되어 사용 가능한 것일 수 있다.
또한, 상기 컴퓨터는 상기 매체를 통해 상기 포즈 인식 프로그램을 인식하여 각 기능을 수행할 수 있을 뿐만 아니라, 상기 포즈 인식 프로그램이 저장된 서버 시스템으로부터 인터넷망 또는 전화통신망과 같은 통신망을 통해 상기 포즈 인식 프로그램을 전송받아 포즈 인식을 위한 각 기능을 수행할 수도 있다.
이하에서는 상기 포즈 인식 시스템(1000)의 각 기능을 상세히 설명하기로 한다.
도 2를 참조하면, 상기 포즈 인식 시스템(1000)은 깊이 영상 입력수단(1100), 3D 영상 생성수단(1200), 외부 실린더 모델 생성수단(1300), 내부 실린더 모델 생성수단(1400), 인체 특징점 추출 수단(1500) 및 선형적 인체 특징점 획득수단(1500)으로 기능하여 상기 깊이 카메라(10)로부터 입력된 깊이 영상(10a,10b)으로부터 기준 특징점 및 현재 특징점을 획득한다.
한편, 상기 기준 특징점은 사람의 기준 포즈들의 영상특징을 의미하고, 상기 현재 특징점은 사람의 현재 포즈의 영상특징을 의미하며, 상기 포즈 인식 시스템(1000)은 비교대상이 되는 여러 개의 기준 포즈들에 대한 기준 특징점들을 획득하고, 현재 포즈의 깊이 영상이 입력되면 현재 특징점을 획득하여 상기 현재 특징점이 상기 기준 특징점들 중 어떠한 기준 특징점들에 속하는지 판단함으로써, 상기 현재 포즈가 상기 기준 포즈들 중, 어떠한 포즈에 속하는지 인식하는 시스템이다.
상기 깊이 영상 입력수단(1100)은 상기 깊이 카메라(10)로부터 사람의 기준 포즈의 깊이 영상(10a,10b)을 입력받는다.
또한, 상기 깊이 영상(10a,10b)은 서로 다른 시점에서 동시에 촬영한 두 개의 스테레오 영상인 것을 상정하였으나 상술한 바와 같이 서로 다른 시점에서 동시에 촬영한 적어도 두 개 이상의 영상들로 구성될 수 있다.
상기 3D 영상 생성수단(1200)은 상기 깊이 영상(10a,10b) 중의 사람 영상을 공간 좌표계 상의 3D 영상(110)으로 생성한다.
이때, 상기 사람 영상을 추출하는 방법은 공지된 다양한 인체 영역 인식 방법을 활용할 수 있으며, 예를 들면, 쓰레쉬 홀드(threshold)를 이용한 전경분리방법을 활용할 수 있다.
그러나 상기 쓰레쉬 홀드방법은 일례일 뿐이며, 공지된 다양한 인체 영역 인식 방법을 활용할 수 있다.
즉, 상기 3D 영상 생성수단(1200)은 상기 깊이 카메라(10)가 설치된 좌표를 이용하여 상기 깊이 영상(10a,10b)을 공간좌표를 갖는 3D 영상으로 변환하는 기능을 한다.
상기 외부 실린더 모델 생성수단(1300)은 상기 3D 영상(110)의 외부 전체를 감싸는 외부 실린더 모델(120)을 생성하고 상기 3D 영상의 외부에 상기 외부 실린더 모델(120)을 매칭한다.
또한, 상기 외부 실린더 모델(120)은 원통형으로 생성된다.
즉, 상기 외부 실린더 모델(120)은 상기 3D 영상(110)의 머리, 발, 손과 같이 인체의 중심에서 외 측으로 돌출된 부분이 맞닿는 크기로 생성된다.
기본적으로 상기 외부 실린더 모델(120)과 맞닿는 3D 영상(110)의 점들(121,122)을 상기 기준 특징점으로 획득할 수 있으나, 인식의 정확도를 높이기 위해서는 아래의 수단들에 각 기능을 수행하여 기준 특징점을 획득하여야 한다.
상기 내부 실린더 모델 생성수단(1400)은 상기 외부 실린더 모델(120)의 내측에 생성되는 또 다른 실린더 모델인 내부 실린더 모델(130)을 생성하며, 상기 내부 실린더 모델(130)은 단면의 지름의 길이가 상기 외부 실린더 모델(120)의 지름의 길이에서 상기 3D 영상의 양 어깨의 길이만큼 축소한 만큼의 길이를 갖는 원통 형상의 실린더 모델이다.
즉, 상기 내부 실린더 모델(130)은 상기 외부 실린더 모델(120)의 크기가 동적으로 조절되어 생성되는 또 다른 실린더 모델이며, 상기 3D 영상의 몸통을 감싸도록 매칭된다.
또한, 상기 내부 실린더 모델(130)의 크기는 히스토그램 적산 분할(Histogram Accumulate Segmentation) 방법을 사용하여 몸통부분(110)의 크기를 계산한다.
즉, 상기 내부 실린더 모델(130)은 상기 3D 영상의 양 어깨가 맞닿는 크기로 생성된다.
또한, 본 발명의 실시예에서는 상기 내부 실린더 모델(130)이 상기 3D 영상의 몸통과 다리를 감싸는 실린더 모델로 생성되는 것을 도시하였으나 다리를 제외한 몸통부분만을 감싸는 실린더 모델로 생성될 수도 있다.
또한, 본 발명의 실시예에서는 상기 내부 실린더 모델(130)의 높이가 상기 3D 영상(110)의 정수리 부위에서 목 부위까지 축소되는 것을 도시하였으나, 높이는 줄어들지 않고 폭만 축소되어 생성될 수도 있으며, 높이가 목 부위까지 축소될 경우, 목 부위를 머리의 인체 특징점으로 추출할 수 있고, 폭만 축소될 경우 머리의 정수리부분을 인체 특징점으로 추출할 수 있다.
이러한 내부 실린더 모델(130)의 크기는 효과적인 포즈인식을 위해 사용자의 설정에 따라 변화될 수 있다.
상기 인체 특징점 추출 수단(1500)은 상기 각 실린더 모델(120,130)과 상기 3D 영상이 맞닿는 지점인 인체 특징점들(121,122,131,132,133)을 추출한다.
또한, 상기 인체 특징점들(121,122,131,132,133)은 상기 기준 특징점으로 정의된다.
또한, 상기 인체 특징점들(121,122,131,132,133)은 예를 들면, 상기 외부 실린더 모델(120)과 맞닿는 상기 3D 영상(110)의 왼손의 인체 특징점(131) 및 오른손의 인체 특징점(122), 상기 내부 실린더 모델(130)과 맞닿는 머리의 인체 특징점(131), 왼쪽 어깨의 인체 특징점(132) 및 오른쪽 어깨의 인체 특징점(133)을 포함할 수 있다.
또한, 상기 머리의 인체 특징점(131)은 상기 3D 영상(110)의 목의 위치를 특징점으로 추출하였으나, 상기 내부 실린더 모델(130)의 높이가 줄어들지 않도록 생성될 경우, 상기 머리의 인체 특징점(131)은 머리의 정수리 위치를 머리의 인체 특징점으로 추출할 수도 있다.
또한, 상기 각 인체 특징점들(121,122,131,132,133)은 공간 좌표계 상의 점들이므로 공간 좌표계상의 좌표 정보들로 이루어지며, 예를 들면, 상기 머리의 인체 특징점(131)을 Z축 상에 두고, 왼손, 오른손, 양 어깨의 인체 특징점들(121,122,132,133)은 상기 머리의 인체 특징점(131)으로부터 떨어진 거리나 각도(θ1,θ2) 등으로 표현될 수 있다.
따라서, 종래의 포즈 인식 기술과 비교하여 영상의 에지나 기울기 등을 계산하지 않고도 간단히 실린더 모델들을 이용하여 인체 특징점들(121,122,131,132,133)을 영상특징으로 획득할 수 있다.
상기 선형적 인체 특징점 획득 수단(1600)은 상기 인체 특징점들(121,122,131,132,133)을 평면공간(140)에 투영하여 선형적 인체 특징점(121a,122a,131a,132a,133a)을 획득한다.
즉, 상기 선형적 인체 특징점 획득 수단(1600)은 높은 차원의 비선형 특징 벡터들을 평면공간에 투영하여 해석이 용이한 선형 특징 벡터인 선형적 인체 특징점(121a,122a,131a,132a,133a)을 획득하는 기능을 한다.
따라서, 포즈 인식시에 인체 특징점들을 빠르게 선형분리하여 인식할 수 있는 장점이 있다.
그러나, 비선형인 상기 인체 특징점(121,122,131,132,133)을 기준 포즈의 영상특징으로 획득하여 포즈 인식을 수행할 수 있음은 물론이다.
도 3을 참조하여 상기 선형적 인체 특징점 획득 수단(1600)이 상기 인체 특징점들(121,122,131,132,133)을 평면공간(140)에 투영하는 것을 더욱 자세하게 설명하면, 상기 평면공간(140)은 제1 평면(130a), 제2 평면(130bb) 및 제3 평면(120aa) 를 포함하여 이루어지며, 상기 평면들(130a,130bb,120aa)은 모두 동일한 평면상에서 위치한다.
또한, 상기 제1 평면(130a)은 상기 내부 실린더 모델(130)의 윗면으로써 사람의 머리에 대한 인체 특징점(131)이 표시되며 상기 평면공간(140) 중, 중앙부에 위치한다.
또한, 상기 제2 평면(130bb)은 환형 즉, 도넛 모양으로 상기 제1 평면(130a)의 외곽에 위치하며, 상기 내부 실린더 모델(130)의 측면(130b)을 변환한 것으로 윗 모서리(130b')는 상기 제1 평면(130a)의 외주와 접하게 하고, 측면은 둘레(폈을 때 가로길이)를 윗 모서리(130b')에서 아래 모서리(130b") 방향으로 순차적으로 늘려, 모든 높이에서의 측면 둘레가 상기 제1 평면(130a)의 외주와 동심원을 이루도록 한 것이다.
다시 말해서, 상기 제2 평면(130b)을 폈을 때, 윗 변(130b')과 아래 변(130b")이 평면상에서 서로 동심원이 되도록 측면을 늘린 형태이다.
또한, 상기 제2 평면(130b)의 내측의 동심원(130b')은 상기 내부 실린더 모델(130)의 윗 모서리(130b')가 변환된 것으로, 상기 내측의 동심원(130b')에는 상기 왼쪽 및 오른쪽 어깨의 인체 특징점(132,133)이 투영되어 표시된다.
또한, 상기 제3 평면(120aa)은 상기 제2 평면(130bb)과 같이 환형이며, 상기 외부 실린더 모델(120)의 측면(120a)을 변환한 것으로 상기 제2 평면(130bb)의 외곽에 위치한다.
또한, 상기 제3 평면(120aa)은 윗 모서리(120a')가 상기 제2 평면(130bb)의 외주(130b")와 접하게 하고 측면은 둘레를 윗 모서리(120a')에서 아래 모서리(120a") 방향으로 순차로 늘린 것으로 변환방법은 실질적으로 상기 제2 평면(130bb)의 변환방법과 동일하다.
또한, 상기 제3 평면(120aa)에는 상기 왼손 및 오른손의 인체 특징점(121,122)이 투영되어 표시된다.
즉, 공간 좌표계 상의 인체 특징점들(121,122,131,132,133)을 평면공간(140) 상의 인체 특징점들(121a,122a,131a,132a,133a)로 변환할 수 있으므로 저 차원의 선형적 특징벡터를 영상특징으로 획득할 수 있다.
이러한 인체 특징점들(121,122,131,132,133)은 서로 다른 복수 개의 기준 포즈에 대해 복수 개의 인체 특징점들로 획득된다.
또한, 본 발명의 일 실시예에 따른 포즈 인식 시스템(1000)은 복수 개의 서로 다른 기준 포즈들에서 획득된 복수 개의 선형적 인체 특징점들과 현재 포즈에서 획득된 선형적 인체 특징점들을 서로 비교하여 상기 현재 포즈의 선형적 인체 특징점들이 상기 기준 포즈들의 선형적 인체 특징점들 중, 어느 특징점들에 속하여 분류될 수 있는지 판단함으로써 상기 현재 포즈를 일정한 기준 포즈인 것으로 인식하는 포즈 인식 수단(도시하지 않음)을 더 포함한다.
이때에는, 상기 깊이 영상 입력수단(1100), 상기 3D 영상 생성수단(1200), 상기 외부 실린더 모델 생성수단(1300), 상기 내부 실린더 모델 생성수단(1400), 상기 인체 특징점 추출수단(1500) 및 상기 선형적 인체 특징점 획득수단(1600)은 상기 현재 포즈의 깊이 영상을 입력받아, 상기 현재 포즈의 선형적 인체 특징점인 현재 특징점을 획득하는 것으로 기능한다.
또한, 상기 현재 특징점을 획득하는 방법은 상기 기준 특징점(121a,122a,131a,132a,133a)을 획득하는 방법과 실질적으로 동일하다.
또한, 상기 포즈 인식수단은 서포트 벡터 머신(SVM:Support Vector Machine)을 이용하여 상기 각 기준 포즈들에 따른 기준 특징점들을 분류하고, 상기 현재 특징점들이 어떠한 기준 포즈의 기준 특징점들에 포함될 수 있는지 판단한다.
한편, 상기 서포트 벡터 머신은 학습 데이터를 계산하여 통계 분류와 회귀 분석을 특징점들을 분류할 수 있는 통계방법으로 커널을 이용하여 비선형의 특징점들을 선형의 특징점으로 분류할 수 있는 방법이다.
또한, 본 발명에서는 알비에프 커널(RBF kernel:Radial Basis Function kernel)을 이용하여 상기 각 기준 포즈들에 대한 기준 특징점들을 서로 선형분리하여 상기 현재 특징점들이 상기 각 기준 포즈들의 기준 특징점들 중 어떠한 기준 특징점들에 속하는지 판단하여 연산속도를 대폭 줄여 빠르게 포즈를 인식할 수 있도록 하였다.
그러나 상기 포즈 인식수단은 주성분 분석(PCA:Principal Component Analysis), 선형판별분석(LDA:Linear Discriminant Analysis) 또는 신경망분석(neural networks)을 통해 상기 각 기준 포즈들의 기준 특징점들을 분류할 수도 있다.
또한, 상기 주성분 분석, 선형판별분석, 신경망분석 이외에 FDA(Fisher Discriminarnt)분석법이나 ICA(Independent Component Analysis)분석법 등, 영상처리분야에서 영상의 특징점들을 통계적으로 분류하여 처리하는 공지된 다양한 분석법을 이용하여 상기 현재 포즈를 인식할 수 있다.
이상에서 살펴본 바와 같이 본 발명은 바람직한 실시예를 들어 도시하고 설명하였으나, 상기한 실시예에 한정되지 아니하며 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경과 수정이 가능할 것이다.
1000:포즈 인식 시스템 1100:깊이 영상 입력수단
1200:3D 영상 생성수단 1300:외부 실린더 모델 생성수단
1400:내부 실린더 모델 생성수단 1500:인체 특징점 추출 수단
1600:선형적 인체 특징점 획득 수단

Claims (9)

  1. 기준 포즈들의 영상특징인 기준 특징점들과 현재 포즈의 영상특징인 현재 특징점을 서로 비교하여 상기 현재 포즈가 상기 기준 포즈들 중, 어떠한 포즈에 속하는지 판단함으로써 현재 포즈를 인식하는 사람 포즈 인식 시스템으로써,
    깊이 카메라(Depth camera)로 촬영된, 상기 기준 포즈의 깊이 영상(Depth image)을 입력받는 깊이 영상 입력수단;
    상기 깊이 영상 중, 사람 영상을 공간 좌표계 상의 3D 영상으로 생성하는 3D 영상 생성수단;
    상기 3D 영상의 외부 전체를 감싸는 원통 형상의 외부 실린더 모델을 생성하여 상기 3D 영상의 외부에 매칭하는 외부 실린더 모델 생성수단;
    상기 외부 실린더 모델의 지름을 상기 3D 영상의 양 어깨의 길이만큼 축소한 길이의 지름을 갖는 내부 실린더 모델을 생성하여, 상기 3D 영상의 몸통에 매칭하는 내부 실린더 모델 생성수단; 및
    상기 각 실린더 모델과 상기 3D 영상이 맞닿는 지점이며, 상기 공간 좌표계상의 좌표 정보들로 이루어지는 인체 특징점을 추출하는 인체 특징점 추출 수단;을 포함하며,
    상기 인체 특징점을 상기 기준 특징점으로 획득하는 것을 특징으로 하는 포즈 인식 시스템.
  2. 제 1 항에 있어서,
    상기 인체 특징점들을 평면공간에 투영하여 선형적 인체 특징점을 획득하는 선형적 인체 특징점 획득 수단;을 더 포함하며,
    상기 선형적 인체 특징점을 상기 기준 특징점으로 획득하는 것을 특징으로 하는 포즈 인식 시스템.
  3. 제 2 항에 있어서,
    상기 기준 특징점은 서로 다른 기준 포즈들에 대한 선형적 인체 특징점들로 이루어지는 복수 개의 기준 특징점들로 획득되고,
    상기 깊이 영상 획득 수단, 상기 3D 영상 생성수단, 상기 외부 실린더 모델 생성수단, 상기 내부 실린더 모델 생성수단, 상기 인체 특징점 추출수단 및 상기 선형적 인체 특징점 획득 수단은 상기 현재 포즈의 깊이 영상에 대해 각 기능을 수행하여 상기 현재 포즈의 선형적 인체 특징점들을 상기 현재 특징점으로 획득하며,
    상기 현재 특징점이 상기 기준 특징점들 중 어떠한 기준 특징점에 속하는지 판단하며, 상기 현재 특징점이 속하는 기준 특징점의 획득기반이 된 기준 포즈를 상기 현재 포즈인 것으로 인식하는 포즈 인식 수단;을 더 포함하는 것을 특징으로 하는 포즈 인식 시스템.
  4. 제 3 항에 있어서,
    상기 포즈 인식 수단은 서포트 벡터 머신(SVM:Support Vector Machine)을 이용하여 상기 기준 특징점들과 상기 현재 특징점을 서로 비교함으로써, 상기 현재 특징점이 상기 기준 특징점들 중 어떠한 기준 특징점에 속하는지 판단하는 것을 특징으로 하는 포즈 인식 시스템.
  5. 제 4 항에 있어서,
    상기 포즈 인식 수단은 알비에프 커널(RBF kernel:Radial Basis Function kernel)을 이용하여 상기 기준 특징점들을 선형분리하고, 상기 서포트 벡터 머신을 이용하여 상기 현재 특징점이 상기 기준 특징점들 중 어떠한 기준 특징점에 속하는지 판단하는 것을 특징으로 하는 포즈 인식 시스템.
  6. 제 3 항에 있어서,
    상기 포즈 인식 수단은 상기 각 기준 포즈에 대한 기준 특징점들을 주성분 분석(PCA:Principal Component Analysis), 선형판별분석(LDA:Linear Discriminant Analysis) 또는 신경망분석(neural networks)을 이용하여 분류하여 상기 현재 특징점이 상기 기준 특징점들 중 어떠한 기준 특징점에 속하는지 판단하는 것을 특징으로 하는 포즈 인식 시스템.
  7. 제 2 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 인체 특징점들이 투영되는 평면공간:은
    상기 내부 실린더 모델의 윗면이며, 사람의 머리에 대한 인체 특징점이 표시되는 원형의 제1 평면;
    상기 내부 실린더 모델의 윗 모서리는 상기 제1 평면의 외주와 접하게 하고, 측면은 둘레를 윗 모서리에서 아래 모서리 방향으로 순차적으로 늘려, 모든 높이에서의 측면 둘레가 상기 제1 평면이 위치하는 평면상에서 상기 제1 평면의 외주와 동심원을 이루도록 한 것으로, 사람의 어깨에 대한 인체 특징점이 표시되는 환형의 제2 평면; 및
    상기 외부 실린더 모델의 윗 모서리는 상기 제2 평면의 외주와 접하게 하고, 측면은 둘레를 윗 모서리에서 아래 모서리 방향으로 순차적으로 늘려, 모든 높이에서의 측면 둘레가, 상기 제1 평면이 위치하는 평면상에서 상기 제1 평면의 외주와 동심원을 이루도록 한 것으로, 사람의 손, 발, 팔꿈치 또는 무릎에 대한 인체 특징점이 표시되는 환형의 제3 평면;으로 이루어지는 것을 특징으로 하는 포즈 인식 시스템.
  8. 컴퓨터가 기준 포즈들의 영상특징인 기준 특징점들과 현재 포즈의 영상특징인 현재 특징점을 서로 비교하여 상기 현재 포즈가 상기 기준 포즈들 중, 어떠한 포즈에 속하는지 판단하여 현재 포즈를 인식하도록 기능하게 하는 포즈 인식 프로그램이 저장된 컴퓨터로 읽을 수 있는 매체로써,
    상기 포즈 인식 프로그램은 상기 컴퓨터를,
    깊이 카메라(Depth camera)로 촬영된, 상기 기준 포즈의 깊이 영상(Depth image)을 입력받는 깊이 영상 입력수단;
    상기 깊이 영상 중, 사람 영상을 공간 좌표계 상의 3D 영상으로 생성하는 3D 영상 생성수단;
    상기 3D 영상의 외부 전체를 감싸는 원통 형상의 외부 실린더 모델을 생성하여 상기 3D 영상의 외부에 매칭하는 외부 실린더 모델 생성수단;
    상기 외부 실린더 모델의 지름을 상기 3D 영상의 양 어깨의 길이만큼 축소한 길이의 지름을 갖는 내부 실린더 모델을 생성하여, 상기 3D 영상의 몸통에 매칭하는 내부 실린더 모델 생성수단; 및
    상기 각 실린더 모델과 상기 3D 영상이 맞닿는 지점이며, 상기 공간 좌표계상의 좌표 정보들로 이루어지는 인체 특징점을 추출하는 인체 특징점 추출 수단;으로 기능하게 하여 상기 인체 특징점을 상기 기준 특징점으로 획득하게 하는 것을 특징으로 하는 포즈 인식 프로그램이 저장된 컴퓨터로 읽을 수 있는 매체.
  9. 삭제
KR1020110027909A 2011-03-29 2011-03-29 깊이 영상을 이용한 실린더 모델 기반의 포즈 인식 시스템, 매체 및 서버 시스템 KR101156154B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110027909A KR101156154B1 (ko) 2011-03-29 2011-03-29 깊이 영상을 이용한 실린더 모델 기반의 포즈 인식 시스템, 매체 및 서버 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110027909A KR101156154B1 (ko) 2011-03-29 2011-03-29 깊이 영상을 이용한 실린더 모델 기반의 포즈 인식 시스템, 매체 및 서버 시스템

Publications (1)

Publication Number Publication Date
KR101156154B1 true KR101156154B1 (ko) 2012-06-18

Family

ID=46688944

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110027909A KR101156154B1 (ko) 2011-03-29 2011-03-29 깊이 영상을 이용한 실린더 모델 기반의 포즈 인식 시스템, 매체 및 서버 시스템

Country Status (1)

Country Link
KR (1) KR101156154B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101514731B1 (ko) * 2014-09-05 2015-04-28 동국대학교 산학협력단 인간 모델의 3차원 공간 데이터를 이용한 포즈 인식 시스템 및 그 방법
KR101557492B1 (ko) 2013-07-24 2015-10-07 (주)에프엑스기어 깊이 정보 기반으로 사용자의 3차원 신체 모델을 생성하는 방법 및 장치
KR20190048614A (ko) * 2017-10-31 2019-05-09 에스케이텔레콤 주식회사 포즈 인식 방법 및 장치
WO2019088333A1 (ko) * 2017-11-03 2019-05-09 전자부품연구원 깊이 맵 정보 기반의 인체 행위 인지 방법 및 그 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080095680A (ko) * 2007-04-25 2008-10-29 포항공과대학교 산학협력단 3차원 실린더 헤드 모델을 이용한 얼굴 제스처 인식 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080095680A (ko) * 2007-04-25 2008-10-29 포항공과대학교 산학협력단 3차원 실린더 헤드 모델을 이용한 얼굴 제스처 인식 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
논문1 : ICR 2006 *
논문2 : ICHIT 2006 *
논문3 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101557492B1 (ko) 2013-07-24 2015-10-07 (주)에프엑스기어 깊이 정보 기반으로 사용자의 3차원 신체 모델을 생성하는 방법 및 장치
KR101514731B1 (ko) * 2014-09-05 2015-04-28 동국대학교 산학협력단 인간 모델의 3차원 공간 데이터를 이용한 포즈 인식 시스템 및 그 방법
WO2016035941A1 (ko) * 2014-09-05 2016-03-10 동국대학교 산학협력단 인간 모델의 3차원 공간 데이터를 이용한 포즈 인식 시스템 및 그 방법
KR20190048614A (ko) * 2017-10-31 2019-05-09 에스케이텔레콤 주식회사 포즈 인식 방법 및 장치
WO2019088697A1 (ko) * 2017-10-31 2019-05-09 에스케이텔레콤 주식회사 포즈 인식 방법 및 장치
KR102147930B1 (ko) 2017-10-31 2020-08-25 에스케이텔레콤 주식회사 포즈 인식 방법 및 장치
US11205066B2 (en) 2017-10-31 2021-12-21 Sk Telecom Co., Ltd. Pose recognition method and device
WO2019088333A1 (ko) * 2017-11-03 2019-05-09 전자부품연구원 깊이 맵 정보 기반의 인체 행위 인지 방법 및 그 장치

Similar Documents

Publication Publication Date Title
CN109359538B (zh) 卷积神经网络的训练方法、手势识别方法、装置及设备
Zhou et al. 3D face recognition: a survey
EP3284011B1 (en) Two-dimensional infrared depth sensing
Kusakunniran et al. Recognizing gaits across views through correlated motion co-clustering
Fanelli et al. Random forests for real time 3d face analysis
CN106709404B (zh) 图像处理装置及图像处理方法
Agarwal et al. Anubhav: recognizing emotions through facial expression
KR101647803B1 (ko) 3차원 얼굴모델 투영을 통한 얼굴 인식 방법 및 시스템
Arcoverde Neto et al. Enhanced real-time head pose estimation system for mobile device
Islam et al. A review of recent advances in 3D ear-and expression-invariant face biometrics
US9213897B2 (en) Image processing device and method
Cheng et al. Person re-identification by articulated appearance matching
Ouanan et al. Facial landmark localization: Past, present and future
Leite et al. Hand gesture recognition from depth and infrared Kinect data for CAVE applications interaction
JP5879188B2 (ja) 顔表情解析装置および顔表情解析プログラム
Paul et al. Extraction of facial feature points using cumulative histogram
Han et al. Head pose estimation using image abstraction and local directional quaternary patterns for multiclass classification
KR101156154B1 (ko) 깊이 영상을 이용한 실린더 모델 기반의 포즈 인식 시스템, 매체 및 서버 시스템
Shaikh et al. Gait recognition using partial silhouette-based approach
Mantecón et al. Enhanced gesture-based human-computer interaction through a Compressive Sensing reduction scheme of very large and efficient depth feature descriptors
Das Human’s facial parts extraction to recognize facial expression
Zhang et al. Biometric recognition
Starostenko et al. Real-time facial expression recognition using local appearance-based descriptors
Paul et al. Automatic adaptive facial feature extraction using CDF analysis
Srivastava et al. Utilizing 3D flow of points for facial expression recognition

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150430

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160405

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170508

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee