KR20140095601A - 자세 분류 장치 및 자세 분류 방법 - Google Patents

자세 분류 장치 및 자세 분류 방법 Download PDF

Info

Publication number
KR20140095601A
KR20140095601A KR1020130006101A KR20130006101A KR20140095601A KR 20140095601 A KR20140095601 A KR 20140095601A KR 1020130006101 A KR1020130006101 A KR 1020130006101A KR 20130006101 A KR20130006101 A KR 20130006101A KR 20140095601 A KR20140095601 A KR 20140095601A
Authority
KR
South Korea
Prior art keywords
human body
analyzing unit
image
image analyzing
unit
Prior art date
Application number
KR1020130006101A
Other languages
English (en)
Inventor
강지홍
류희섭
테스홈 미키야스
박승권
이동호
정기준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130006101A priority Critical patent/KR20140095601A/ko
Priority to US14/104,524 priority patent/US9280724B2/en
Publication of KR20140095601A publication Critical patent/KR20140095601A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J45/00—Devices for fastening or gripping kitchen utensils or crockery
    • A47J45/10—Devices for gripping or lifting hot cooking utensils, e.g. pincers, separate pot handles, fabric or like pads
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J45/00—Devices for fastening or gripping kitchen utensils or crockery
    • A47J45/06—Handles for hollow-ware articles
    • A47J45/07—Handles for hollow-ware articles of detachable type
    • A47J45/072—Bowl handles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data

Abstract

자세 분류 장치가 개시된다. 본 자세 분류 장치는 인체가 포함된 입력 영상에 대해 픽셀별로 인체 영역을 추정하는 제1 영상 분석부 및 제2 영상 분석부, 제1 영상 분석부 및 상기 제2 영상 분석부의 분석 결과 각각에 대한 신뢰도를 산출하고, 산출된 신뢰도에 기초하여 상기 입력 영상의 픽셀별 인체 영역을 결정하는 인체 영역 결정부 및 결정된 픽셀별 인체 영역에 기초하여 상기 입력 영상에 포함된 인체의 자세를 추정하는 자세 추정부를 포함한다.

Description

자세 분류 장치 및 자세 분류 방법{POSE CLASSIFICATION APPARATUS AND POSE CLASSIFICATION METHOD}
본 발명은 자세 분류 장치 및 그 방법에 관한 것으로, 보다 상세하게는 사용자의 제스처 및 자세를 인식할 수 있는 자세 분류 장치 및 자세 분류 방법에 관한 것이다.
2D 또는 3D 카메라를 이용하여 사용자의 제스처나 자세를 인식하여 특정 기능을 수행하거나 기기를 제어하는 기술들이 개발되어 휴대폰, 컴퓨터, TV 및 게임기 등의 전자기기에 널리 적용되고 있다.
한편, 사용자의 제스처나 자세를 인식하는 기술은 다양한 데이터를 기초로 학습된 알고리즘을 사용하는 경우가 많다. 이러한 알고리즘의 경우 학습용 데이터에 포함되지 않은 제스처나 자세에 대해서는 인식이 되지 않거나 인식률이 현저히 떨어지는 경우가 발생할 수 있다.
따라서, 다양한 제스처 및 자세에 대해 성능을 높이기 위해서는 학습용 데이터에 가능한 많은 제스처 및 자세를 포함시켜야 하는데 이를 위해서는 매우 많은 시간과 비용이 들뿐만 아니라 다양한 인체 형태의 변화 및 자세를 모두 반영하는 것은 현실적으로 불가능하다.
특정 제스처 또는 자세에 대한 높은 인식률이 요구되는 경우에는 이미 학습된 알고리즘에 필요한 자세에 대한 데이터를 추가로 확보하여 재학습을 하는 경우 인식률을 향상시킬 수 있다. 그러나, 학습된 알고리즘에 새로운 데이터를 추가하여 재학습시키는 경우 재학습에 드는 시간과 비용이 매우 커지게 되며, 추가한 자세의 인식률이 상승하는 효과도 크지 않다.
따라서, 특정 제스처 또는 자세에 대한 높은 인식률이 요구되는 경우에 시간 및 비용을 줄이고 특정 제스쳐 또는 자세에 대한 인식률을 확보할 수 있는 방안이 요청된다.
본 발명은 상술한 필요성에 따른 것으로 본 발명의 목적은 특정 자세에 대한 인식률을 향상시키기 위해 새로운 데이터를 학습하는 경우 시간 및 비용을 절감하면서도 인식률을 보다 향상시킬 수 있는 자세 분류 장치 및 자세 분류 방법을 제공함에 있다.
이상의 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 자세 분류 장치는 인체가 포함된 입력 영상에 대해 픽셀별로 인체 영역을 추정하는 제1 영상 분석부 및 제2 영상 분석부, 상기 제1 영상 분석부 및 상기 제2 영상 분석부의 분석 결과 각각에 대한 신뢰도를 산출하고, 산출된 신뢰도에 기초하여 상기 입력 영상의 픽셀별 인체 영역을 결정하는 인체 영역 결정부 및 상기 결정된 픽셀별 인체 영역에 기초하여 상기 입력 영상에 포함된 인체의 자세를 추정하는 자세 추정부를 포함한다. 여기서, 상기 제1 영상 분석부 및 상기 제2 영상 분석부는 상이한 데이터를 기초로 학습될 수 있다.
여기서, 상기 제2 영상 분석부는 적어도 일부 자세에 대해 상기 제1 영상 분석부보다 상대적으로 많은 데이터를 기초로 학습되어 상기 적어도 일부 자세에 대한 인식률이 높은 Random Forest 분류기일 수 있다.
그리고, 상기 인체 영역 결정부는, 상기 제1 영상 분석부 및 상기 제2 영상 분석부의 분석 결과 각각에 대해 산출된 신뢰도를 비교하여 높은 신뢰도를 가지는 분석 결과에 따라 픽셀별 인체 영역을 결정할 수 있다.
또한, 상기 인체 영역 결정부는, 상기 제1 영상 분석부 및 상기 제2 영상 분석부의 분석 결과 각각에 대해 산출된 신뢰도가 모두 기 설정된 값 이상이면, 상기 제1 영상 분석부 및 상기 제2 영상 분석부의 분석 결과의 평균값에 따라 픽셀별 인체 영역을 결정할 수 있다.
그리고, 상기 인체 영역 결정부는, 상기 제2 영상 분석부의 분석 결과에 대해 산출된 신뢰도가 기 설정된 값 이상이면 상기 제2 영상 분석부의 분석 결과에 따라 픽셀별 인체 영역을 결정하며, 기 설정된 값 미만이면 상기 제1 영상 분석부의 분석 결과에 따라 픽셀별 인체 영역을 결정할 수 있다.
그리고, 상기 제1 영상 분석부 및 상기 제2 영상 분석부 각각은, 상기 입력 영상에 대해 픽셀별로 특정 인체 영역에 해당할 확률을 각각 추정하는 복수의 인체 영역 추정부를 포함할 수 있으며, 상기 복수의 인체 영역 추정부 각각의 추정 결과에 대한 평균값을 산출하여 분석 결과로 이용할 수 있다.
또한, 상기 신뢰도는 하기 수학식에 의해 결정될 수 있다.
Figure pat00001
여기서, 0≤a≤1, a는 실수이다.
한편, 본 발명의 일 실시 예에 따른 자세 분류 방법은 제1 영상 분석부 및 제2 영상 분석부를 이용하여 인체가 포함된 입력 영상에 대해 픽셀별로 인체 영역을 추정하는 단계, 상기 제1 영상 분석부 및 상기 제2 영상 분석부의 추정 결과 각각에 대한 신뢰도를 산출하는 단계, 상기 산출된 신뢰도에 기초하여 상기 입력 영상의 픽셀별 인체 영역을 결정하는 단계 및 상기 결정된 픽셀별 인체 영역에 기초하여 상기 입력 영상에 포함된 인체의 자세를 추정하는 단계를 포함할 수 있다.
여기서, 상기 제1 영상 분석부 및 상기 제2 영상 분석부는 상이한 데이터를 기초로 학습될 수 있다.
또한, 상기 제2 영상 분석부는 적어도 일부 자세에 대해 상기 제1 영상 분석부보다 상대적으로 많은 데이터를 기초로 학습되어 상기 적어도 일부 자세에 대한 인식률이 높은 Random Forest 분류기일 수 있다.
그리고, 상기 인체 영역을 결정하는 단계는, 상기 제1 영상 분석부 및 상기 제2 영상 분석부의 추정 결과 각각에 대해 산출된 신뢰도를 비교하여 높은 신뢰도를 가지는 분석 결과에 따라 픽셀별 인체 영역을 결정할 수 있다.
또한, 상기 인체 영역을 결정하는 단계는, 상기 제1 영상 분석부 및 상기 제2 영상 분석부의 추정 결과 각각에 대해 산출된 신뢰도가 모두 기 설정된 값 이상이면, 상기 제1 영상 분석부 및 상기 제2 영상 분석부의 추정 결과의 평균값에 따라 픽셀별 인체 영역을 결정할 수 있다.
그리고, 상기 인체 영역을 결정하는 단계는, 상기 제2 영상 분석부의 추정 결과에 대해 산출된 신뢰도가 기 설정된 값 이상이면 상기 제2 영상 분석부의 추정 결과에 따라 픽셀별 인체 영역을 결정하며, 기 설정된 값 미만이면 상기 제1 영상 분석부의 추정 결과에 따라 픽셀별 인체 영역을 결정할 수 있다.
그리고, 상기 인체 영역을 추정하는 단계는, 상기 제1 영상 분석부 및 상기 제2 영상 분석부 각각에 대하여, 복수의 인체 영역 추정부를 이용하여 상기 입력 영상에 대해 픽셀별로 특정 인체 영역에 해당할 확률을 각각 추정하는 단계 및 상기 제1 영상 분석부 및 상기 제2 영상 분석부 각각에 대하여, 상기 복수의 인체 영역 추정부 각각의 추정 결과에 대한 평균값을 산출하는 단계를 포함할 수 있다.
또한, 상기 신뢰도는 하기 수학식에 의해 결정될 수 있다.
Figure pat00002
여기서, 0≤a≤1, a는 실수이다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 특정 자세에 대한 인식률을 향상시키기 위해 새로운 데이터를 학습하는 경에도우 시간 및 비용을 절감하면서도 인식률을 보다 향상시킬 수 있다.
도 1은 본 발명의 일 실시 예에 따른 자세 분류 장치의 구성을 나타내는 블럭도이다.
도 2는 본 발명의 일 실시 예에 따른 제1 영상 분석부의 구체적인 구성을 나타내는 블럭도이다.
도 3은 제1 영상 분석부의 구체적인 동작을 설명하기 위한 도면이다.
도 4는 본 발명의 다른 실시 예에 따른 자세 분류 장치의 구성을 나타내는 블럭도이다.
도 5는 본 발명의 일 실시 예에 따른 자세 분류 방법을 설명하기 위한 흐름도이다.
이하에서, 첨부된 도면을 참조하여 본 발명에 대해 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 자세 분류 장치의 구성을 나타내는 블럭도이다. 도 1에 따르면 자세 분류 장치(100)는 제1 영상 분석부(110), 제2 영상 분석부(120), 인체 영역 결정부(130) 및 자세 추정부(140)를 포함한다. 이러한 자세 분류 장치(100)는 스마트 폰, TV, 노트북 PC, 테블릿 PC 등의 전자 장치에 내장되어 동작할 수 있으며, 실시 예에 따라서는 상술한 전자 장치와 연결되어 동작하는 별도의 장치로 구현될 수도 있다.
제1 영상 분석부(110) 및 제2 영상 분석부(120)는 인체가 포함된 입력 영상에 대해 픽셀(화소)별로 인체 영역을 추정한다. 여기서, 입력 영상은 2D 또는 3D 이미지가 될 수 있다. 입력 영상이 2D 이미지인 경우 제1 영상 분석부에는 2D 이미지에 포함된 픽셀별 R, G, B 값이 될 수 있다. 그리고, 입력 영상이 3D 이미지인 경우 제1 영상 분석부에는 3D 이미지에 포함된 각 픽셀에 대한 거리값이 입력될 수 있다.
제2 영상 분석부(120)는 제1 영상 분석부(110)보다 적어도 일부 자세에 대해 상대적으로 많은 데이터를 기초로 학습되어 적어도 일부 자세에 대한 인식률이 높을 수 있다. 즉, 제1 영상 분석부(110) 및 제2 영상 분석부(120)는 입력 영상에 대해 픽셀별로 인체 영역을 추정한다는 점에서 동작이 동일하나 서로 상이한 데이터를 기초로 학습되었다는 점에서 차이가 있다. 이에 따라, 제1 영상 분석부(110) 및 제2 영상 분석부(120)는 동일한 입력 영상에 대해 서로 다른 결과를 출력할 수 있다.
한편, 제1 영상 분석부(110) 및 제2 영상 분석부(120)는 서로 다른 데이터를 기초로 학습된 Random Forest 분류기일 수 있다. 도 1에 서는 자세 분류 장치(100)가 두개의 영상 분석부만을 포함하는 것으로 설명하였으나, 실시 예에 따라 그 이상의 영상 분석부를 포함할 수도 있다.
이하에서, 도 2를 참조하여 제1 영상 분석부에 대해 구체적으로 설명한다. 제1 영상 분석부(110)에 대한 설명은 상술한 차이점을 제외하고는 제2 영상 분석부(120)에도 동일하게 적용될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 제1 영상 분석부의 구체적인 구성을 나타내는 블럭도이다. 도 2에 따르면 제1 영상 분석부(110)는 복수의 인체 영역 추정부(111-1, 111-2, ..., 111-n)를 포함한다. 각각의 인체 영역 추정부는 입력 영상에 대하여 픽셀별로 특정 인체 영역에 해당할 확률을 추정한다. 그리고, 제1 영상 분석부(110)는 복수의 인체 영역 추정부 각각의 추정 결과에 대한 평균값을 산출하여 분석 결과로 이용한다. 도 3을 참조하여 보다 구체적으로 설명한다.
도 3은 제1 영상 분석부의 구체적인 동작을 설명하기 위한 도면이다. 도 3에 따르면 제1 영상 분석부(110)에 포함된 복수의 인체 영역 추정부(111-1, 111-2, ..., 111-n)는 각각 픽셀별로 특정 인체 영역에 해당할 확률을 추정한다. 여기서, 복수의 인체 영역 추정부(111-1, 111-2, ..., 111-n)는 하나의 픽셀이 복수의 인체 영역에 해당할 확률이 존재한다고 판단되면 복수의 인체 영역에 해당할 확률을 각각 추정할 수 있다. 예를 들어, 도 3의 인체 영역 추정부 1(111-1)는 (0,0) 픽셀에 대하여 머리에 해당할 확률을 63%로 추정하고 목에 해당할 확률을 18%로 추정할 수 있다. 또한, (0,1) 픽셀에 대해서는 왼팔에 해당할 확률을 44%로, 왼 손목에 해당할 확률을 27%로 추정할 수 있다. 이와 동일한 방법으로 나머지 인체 영역 추정부(111-2, ..., 111-n)도 각각 픽셀별로 특정 인체 영역에 해당할 확률을 추정할 수 있다.
제1 영상 분석부(110)는 복수의 인체 영역 추정부(111-1, 111-2, ..., 111-n)의 추정 결과에 대해 평균값을 산출하여 분석 결과로 이용할 수 있다. 예를 들어, 도 3에서는 (0,0) 픽셀에 대한 복수의 인체 영역 추정부의 추정 결과의 평균값으로 머리에 해당할 확률을 61%, 목에 해당할 확률을 22.6%로 산출할 수 있다. 또한, (0,1)픽셀에 대해서는 왼팔에 해당할 확률을 49.3%로, 왼손목에 해당할 확률을 29.5%로 산출하여 결과값으로 출력할 수 있다.
한편, 상술한 바와 같이 제2 영상 분석부(120)는 서로 상이한 데이터를 기초로 학습되었다는 점 외에는 제1 영상 분석부(110)와 동일하므로, 제2 영상 분석부(120)도 동일한 방법으로 추정 결과에 대한 평균값을 결과값으로 산출할 수 있다.
인체 영역 결정부(130)는 제1 영상 분석부(110) 및 제2 영상 분석부(120)의 분석 결과 각각에 대한 신뢰도를 산출하고, 산출된 신뢰도에 기초하여 입력 영상의 픽셀별 인체 영역을 결정한다. 여기서, 영상 분석부의 분석 결과에 대한 신뢰도는 하기 수학식 1에 의해 결정될 수 있다.
Figure pat00003
"영상 분석부 분석 결과의 픽셀별 평균값"은 영상 분석부에서 분석된 각 픽셀들의 전체 평균 값을 의미한다. 구체적으로, 도 3에서와 같이 각각의 픽셀들에 대하여 인체 영역에 해당할 확률이 결과값으로 출력된 경우 각 픽셀의 확률의 평균값을 의미한다. 예를 들어, 800*600의 해상도를 가지는 영상이 입력된 경우에는 총 480000의 픽셀들의 평균값이 될 수 있다.
그리고, "기 설정된 값 이상의 확률을 갖는 픽셀의 비율"은 영상 분석부에서 분석된 전체 픽셀 중 기 설정된 값(예를 들어, 50%) 이상을 가지는 픽셀의 비율을 의미한다. 예를 들어, 기 설정된 값이 50%로 설정되고 800*600의 해상도를 가지는 영상에 포함된 픽셀 중 특정 인체 영역에 해당할 확률이 50%이상인 픽셀이 200000개인 경우 기 설정된 값 이상의 확률을 갖는 픽셀의 비율은 41.67%가 될 수 있다.
여기서, 하나의 픽셀에 대해 두 개 이상의 결과값이 출력되는 경우 가장 높은 확률이 신뢰도를 구하는데 사용될 수 있다.예를 들어 도 3의 (0,0)픽셀에 대해서는 머리에 해당할 확률이 61%로 가장 높으므로 61%가 신뢰도를 구하는데 사용될 수 있으며, (0,1)픽셀에 대해서는 왼발에 해당할 확률 49.3%가 신뢰도를 구하는데 사용될 수 있다.
한편, 0≤a≤1, a는 실수이다. 여기서, a는 설계자 또는 사용자에 의해 설정 및 변경될 수 있는 값으로서 "영상 분석부 분석 결과의 픽셀별 평균값"과 "기 설정된 값 이상의 확률을 갖는 픽셀의 비율" 중 어디에 가중치를 둘지 경정하는 변수이다. a가 0.5보다 큰 경우에는 "영상 분석부 분석 결과의 픽셀별 평균값"가 신뢰도를 결정하는데 보다 큰 역할을 할 수 있으며 a가 0.5 보다 작은 경우에는 "기 설정된 값 이상의 확률을 갖는 픽셀의 비율"이 신뢰도를 결정하는데 보다 큰 역할을 할 수 있다.
인체 영역 결정부(130)는 상술한 수학식 1에 따라 제1 영상 분석부(110) 및 제2 영상 분석부(120)의 결과값에 대해 각각 신뢰도를 산출할 수 있다. 수학식 1에 따르면 신뢰도는 이론적으로 0에서 100의 값을 가질 수 있다. 한편, 상술한 실시 예에 서는 신뢰도를 산출하는데 하나의 입력 영상(즉, 하나의 이미지)에 포함된 픽셀 전부를 이용하는 것으로 설명하였으나, 하나의 입력 영상의 일부 픽셀을 이용하여 신뢰도를 산출할 수도 있다. 또는, 연속적으로 입력되는 복수의 입력 영상에 포함된 픽셀들을 이용하여 신뢰도를 산출할 수도 있다. 예를 들어, 카메라와 같은 촬상 장치를 통해 사용자의 인체가 실시간으로 촬상되고 있는 경우 연속적으로 입력되는 다수의 입력 영상을 기 설정된 단위(예를 들어, 10, 20 또는 100 프레임)로 구분하여 복수의 입력 영상에 대한 신뢰도를 산출할 수 있다.
그리고, 인체 영역 결정부(130)는 제1 영상 분석부(110) 및 제2 영상 분석부(120)의 결과값에 대해 각각 신뢰도가 산출되면 산출된 신뢰도에 기초하여 입력 영상의 픽셀별 인체 영역을 결정할 수 있다.
구체적으로, 인체 영역 결정부(130)는 제1 영상 분석부(110) 및 제2 영상 분석부(120)의 분석 결과에 대해 산출된 신뢰도를 비교하여 높은 신뢰도를 가지는 분석 결과에 따라 픽셀별 인체 영역을 결정할 수 있다. 예를 들어, 제2 영상 분석부의 분석 결과의 신뢰도가 제1 영상 분석부의 분석 결과보다 높은 경우 최종적으로 제2 영상 분석부의 분석 결과를 이용할 수 있다.
다른 실시 예로, 인체 영역 결정부(130)는 제1 영상 분석부(110) 및 제2 영상 분석부(120)의 분석 결과에 대한 신뢰도가 모두 기 설정된 값 이상이면 제1 영상 분석부(110) 및 제2 영상 분석부(120)의 분석 결과의 평균값을 이용하여 픽셀별 인체 영역을 결정할 수 있다.
한편, 상술한 바와 같이 제1 영상 분석부(110)는 제2 영상 분석부(120)는 적어도 일부 자세에 대해서는 제1 영상 분석부(110)보다 상대적으로 많은 데이터를 기초로 학습될 수 있다. 따라서, 제2 영상 분석부(120)는 적어도 일부 자세에 대한 인식률이 제1 영상 분석부(110)보다 높을 수 있으나, 나머지 자세에 대해서는 제1 영상 분석부(110)의 인식률이 높은 경우가 존재할 수 있다. 이러한 경우, 제2 영상 분석부(120)의 분석 결과의 신뢰도에 기초하여 따라 최종 결과를 산출할 수 있다. 인체 영역 결정부(130)는 제2 영상 분석부(120)의 분석 결과에 대한 신뢰도가 기 설정된 값 이상이면 제2 영상 분석부(120)의 분석 결과를 이용하여 픽셀별 인체 영역을 결정하고, 기 설정된 값 미만이면 제1 영상 분석부(110)의 분석 결과에 따라 픽셀별 인체 영역을 결정할 수 있다.
한편, 인체 영역 결정부(130)는 하나의 픽셀에 대하여 두 개 이상의 결과값이 출력된 경우 가장 높은 확률을 가지는 인체 영역을 해당 픽셀의 인체 영역으로 결정할 수 있다.
자세 추정부(140)는 인체 영역 결정부(130)에서 결정된 픽셀별 인체 영역체 기초하여 입력 영상에 포함된 인체의 자세를 추정한다. 구체적으로, 인체 영역 결정부(130)에 의해 입력 영상에 포함된 각 픽셀의 인체 영역이 결정되면 각 인체 영역의 중심을 연결하여 자세를 추정할 수 있다.
도 4는 본 발명의 다른 실시 예에 따른 자세 분류 장치의 구성을 나타내는 블럭도이다. 도 4에 따르면 자세 분류 장치(100)는 제1 영상 분석부(110), 제2 영상 분석부(120), 인체 영역 결정부(130) 및 자세 추정부(140) 뿐만 아니라 촬상부(150), 통신부(160) 및 제어부(170)를 더 포함할 수 있다.
촬상부(150)는 인체가 포함된 이미지를 촬상한다. 촬상부(180)에서 촬상된 이미지는 영상 분석부(110, 120)의 입력 영상으로 사용될 수 있다. 이를 위해, 촬상부(180)는 카메라로 구현될 수 있다. 촬상부(180)는 자세 분류 장치(100)에 내장될 수도 있으며, 영상 변형 장치(100)와 유, 무선으로 연결된 외부 장치로 구현될 수도 있다.
통신부(160)는 외부 장치와 통신한다. 특히, 통신부(160)는 외부 장치로부터 인체가 포함된 이미지를 수신할 수 있다. 통신부(160)는 근거리 무선 통신 모듈(미도시), 유선 통신 모듈(미도시) 등과 같은 다양한 통신 모듈을 포함할 수 있다. 여기에서, 근거리 무선 통신 모듈이란 블루투스, 지그비 방식 등과 같은 근거리 무선 통신 방식에 따라, 근거리에 위치한 외부 기기와 통신을 수행하기 위한 모듈이다.
제어부(170)는 자세 분류 장치(100)의 전반적인 동작을 제어한다. 구체적으로, 제어부(170)는 제1 영상 분석부(110), 제2 영상 분석부(120), 인체 영역 결정부(130), 자세 추정부(140), 촬상부(150) 및 통신부(160) 각각을 제어하여 입력 영상의 자세를 추정할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 자세 분류 방법을 설명하기 위한 흐름도이다. 도 5에 따르면 먼저 제1 영상 분석부(110) 및 제2 영상 분석부(120)를 이용하여 인체가 포함된 입력 영상에 대해 픽셀별로 인체 영역을 추정한다(S510). 상술한 바와 같이 제2 영상 분석부(120)는 제1 영상 분석부(110)보다 적어도 일부 자세에 대해 상대적으로 많은 데이터를 기초로 학습되어 적어도 일부 자세에 대한 인식률이 높을 수 있다.
그리고, 제1 영상 분석부 및 제2 영상 분석부의 추정 결과 각각에 대한 신뢰도를 산출한다(S520). 여기서, 영상 분석부의 추정 결과에 대한 신뢰도는 하기의 수학식 에 의해 결정될 수 있다.
Figure pat00004
"영상 분석부 분석 결과의 픽셀별 평균값"은 영상 분석부에서 분석된 각 픽셀들의 전체 평균 값을 의미하며, "기 설정된 값 이상의 확률을 갖는 픽셀의 비율"은 영상 분석부에서 분석된 전체 픽셀 중 기 설정된 값(예를 들어, 50%) 이상을 가지는 픽셀의 비율을 의미한다. 한편, 0≤a≤1, a는 실수이다.
이후, 산출된 신뢰도에 기초하여 입렬 영상의 픽셀별 인체 영역을 결정한다(S530). 구체적으로, 제1 영상 분석부(110) 및 제2 영상 분석부(120)의 분석 결과에 대해 산출된 신뢰도를 비교하여 높은 신뢰도를 가지는 분석 결과에 따라 픽셀별 인체 영역을 결정할 수도 있다. 또한, 제1 영상 분석부(110) 및 제2 영상 분석부(120)의 분석 결과에 대한 신뢰도가 모두 기 설정된 값 이상이면 제1 영상 분석부(110) 및 제2 영상 분석부(120)의 분석 결과의 평균값을 이용하여 픽셀별 인체 영역을 결정할 수도 있다. 그리고, 제2 영상 분석부(120)의 분석 결과의 신뢰도에 기초하여 따라 최종 결과를 산출할 수 있다. 구체적으로, 인체 영역 결정부(130)는 제2 영상 분석부(120)의 분석 결과에 대한 신뢰도가 기 설정된 값 이상이면 제2 영상 분석부(120)의 분석 결과를 이용하여 픽셀별 인체 영역을 결정하고, 기 설정된 값 미만이면 제1 영상 분석부(110)의 분석 결과에 따라 픽셀별 인체 영역을 결정할 수 있다.
그리고, 결정된 픽셀별 인체 영역에 기초하여 입력 영상에 포함된 인체의 자세를 추정한다(S540). 구체적으로, 인체 영역 결정부(130)에 의해 입력 영상에 포함된 각 픽셀의 인체 영역이 결정되면 각 인체 영역의 중심을 연결하여 자세를 추정할 수 있다.
한편, 상술한 본 발명의 다양한 실시 예들에 따른 자세 분류 방법은 단말 장치에서 실행 가능한 프로그램으로 구현될 수 있다. 그리고, 이러한 프로그램은 다양한 유형의 기록 매체에 저장되어 사용될 수 있다.
구체적으로는, 상술한 방법들을 수행하기 위한 코드는, 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 다양한 유형의 비휘발성 기록 매체에 저장되어 있을 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110: 제1 영상 분석부 120: 제2 영상 분석부
130: 인체영역 결정부 140: 자세 추정부

Claims (15)

  1. 인체가 포함된 입력 영상에 대해 픽셀별로 인체 영역을 추정하는 제1 영상 분석부 및 제2 영상 분석부;
    상기 제1 영상 분석부 및 상기 제2 영상 분석부의 분석 결과 각각에 대한 신뢰도를 산출하고, 산출된 신뢰도에 기초하여 상기 입력 영상의 픽셀별 인체 영역을 결정하는 인체 영역 결정부; 및
    상기 결정된 픽셀별 인체 영역에 기초하여 상기 입력 영상에 포함된 인체의 자세를 추정하는 자세 추정부;를 포함하며,
    상기 제1 영상 분석부 및 상기 제2 영상 분석부는 상이한 데이터를 기초로 학습된 것을 특징으로 하는 자세 분류 장치.
  2. 제1항에 있어서,
    상기 제2 영상 분석부는 적어도 일부 자세에 대해 상기 제1 영상 분석부보다 상대적으로 많은 데이터를 기초로 학습되어 상기 적어도 일부 자세에 대한 인식률이 높은 Random Forest 분류기인 것을 특징으로 하는 자세 분류 장치.
  3. 제1항에 있어서,
    상기 인체 영역 결정부는,
    상기 제1 영상 분석부 및 상기 제2 영상 분석부의 분석 결과 각각에 대해 산출된 신뢰도를 비교하여 높은 신뢰도를 가지는 분석 결과에 따라 픽셀별 인체 영역을 결정하는 것을 특징으로 하는 자세 분류 장치.
  4. 제1항에 있어서,
    상기 인체 영역 결정부는,
    상기 제1 영상 분석부 및 상기 제2 영상 분석부의 분석 결과 각각에 대해 산출된 신뢰도가 모두 기 설정된 값 이상이면, 상기 제1 영상 분석부 및 상기 제2 영상 분석부의 분석 결과의 평균값에 따라 픽셀별 인체 영역을 결정하는 것을 특징으로 하는 자세 분류 장치.
  5. 제2항에 있어서,
    상기 인체 영역 결정부는,
    상기 제2 영상 분석부의 분석 결과에 대해 산출된 신뢰도가 기 설정된 값 이상이면 상기 제2 영상 분석부의 분석 결과에 따라 픽셀별 인체 영역을 결정하며, 기 설정된 값 미만이면 상기 제1 영상 분석부의 분석 결과에 따라 픽셀별 인체 영역을 결정하는 것을 특징으로 하는 자세 분류 장치.
  6. 제1항에 있어서,
    상기 제1 영상 분석부 및 상기 제2 영상 분석부 각각은,
    상기 입력 영상에 대해 픽셀별로 특정 인체 영역에 해당할 확률을 각각 추정하는 복수의 인체 영역 추정부;를 포함하며,
    상기 복수의 인체 영역 추정부 각각의 추정 결과에 대한 평균값을 산출하여 분석 결과로 이용하는 것을 특징으로 하는 자세 분류 장치.
  7. 제1항에 있어서,
    상기 신뢰도는 하기 수학식에 의해 결정되는 것을 특징으로 하는 자세 분류 장치;
    Figure pat00005

    여기서, 0≤a≤1, a는 실수이다.
  8. 제1 영상 분석부 및 제2 영상 분석부를 이용하여 인체가 포함된 입력 영상에 대해 픽셀별로 인체 영역을 추정하는 단계;
    상기 제1 영상 분석부 및 상기 제2 영상 분석부의 추정 결과 각각에 대한 신뢰도를 산출하는 단계;
    상기 산출된 신뢰도에 기초하여 상기 입력 영상의 픽셀별 인체 영역을 결정하는 단계; 및
    상기 결정된 픽셀별 인체 영역에 기초하여 상기 입력 영상에 포함된 인체의 자세를 추정하는 단계;를 포함하며,
    상기 제1 영상 분석부 및 상기 제2 영상 분석부는 상이한 데이터를 기초로 학습된 것을 특징으로 하는 자세 분류 방법.
  9. 제8항에 있어서,
    상기 제2 영상 분석부는 적어도 일부 자세에 대해 상기 제1 영상 분석부보다 상대적으로 많은 데이터를 기초로 학습되어 상기 적어도 일부 자세에 대한 인식률이 높은 Random Forest 분류기인 것을 특징으로 하는 자세 분류 방법.
  10. 제8항에 있어서,
    상기 인체 영역을 결정하는 단계는,
    상기 제1 영상 분석부 및 상기 제2 영상 분석부의 추정 결과 각각에 대해 산출된 신뢰도를 비교하여 높은 신뢰도를 가지는 분석 결과에 따라 픽셀별 인체 영역을 결정하는 것을 특징으로 하는 자세 분류 방법.
  11. 제8항에 있어서,
    상기 인체 영역을 결정하는 단계는,
    상기 제1 영상 분석부 및 상기 제2 영상 분석부의 추정 결과 각각에 대해 산출된 신뢰도가 모두 기 설정된 값 이상이면, 상기 제1 영상 분석부 및 상기 제2 영상 분석부의 추정 결과의 평균값에 따라 픽셀별 인체 영역을 결정하는 것을 특징으로 하는 자세 분류 방법.
  12. 제9항에 있어서,
    상기 인체 영역을 결정하는 단계는,
    상기 제2 영상 분석부의 추정 결과에 대해 산출된 신뢰도가 기 설정된 값 이상이면 상기 제2 영상 분석부의 추정 결과에 따라 픽셀별 인체 영역을 결정하며, 기 설정된 값 미만이면 상기 제1 영상 분석부의 추정 결과에 따라 픽셀별 인체 영역을 결정하는 것을 특징으로 하는 자세 분류 방법.
  13. 제8항에 있어서,
    상기 인체 영역을 추정하는 단계는,
    상기 제1 영상 분석부 및 상기 제2 영상 분석부 각각에 대하여, 복수의 인체 영역 추정부를 이용하여 상기 입력 영상에 대해 픽셀별로 특정 인체 영역에 해당할 확률을 각각 추정하는 단계; 및
    상기 제1 영상 분석부 및 상기 제2 영상 분석부 각각에 대하여, 상기 복수의 인체 영역 추정부 각각의 추정 결과에 대한 평균값을 산출하는 단계;를 포함하는 것을 특징으로 하는 자세 분류 방법.
  14. 제1항에 있어서,
    상기 신뢰도는 하기 수학식에 의해 결정되는 것을 특징으로 하는 자세 분류 방법;
    Figure pat00006

    여기서, 0≤a≤1, a는 실수이다.
  15. 제8항 내지 제14항 중 어느 한 항에 따른 자세 분류 방법을 실행시키기 위한 컴퓨터 프로그램이 기록된 기록 매체.
KR1020130006101A 2013-01-18 2013-01-18 자세 분류 장치 및 자세 분류 방법 KR20140095601A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130006101A KR20140095601A (ko) 2013-01-18 2013-01-18 자세 분류 장치 및 자세 분류 방법
US14/104,524 US9280724B2 (en) 2013-01-18 2013-12-12 Pose classification apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130006101A KR20140095601A (ko) 2013-01-18 2013-01-18 자세 분류 장치 및 자세 분류 방법

Publications (1)

Publication Number Publication Date
KR20140095601A true KR20140095601A (ko) 2014-08-04

Family

ID=51207720

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130006101A KR20140095601A (ko) 2013-01-18 2013-01-18 자세 분류 장치 및 자세 분류 방법

Country Status (2)

Country Link
US (1) US9280724B2 (ko)
KR (1) KR20140095601A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220023553A (ko) * 2020-08-21 2022-03-02 한국전자통신연구원 휴먼 자세 추정 장치 및 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102577472B1 (ko) 2018-03-20 2023-09-12 한국전자통신연구원 동작 인식을 위한 가상 학습 데이터를 생성하는 방법 및 장치
US20210406596A1 (en) * 2018-11-14 2021-12-30 Intuitive Surgical Operations, Inc. Convolutional neural networks for efficient tissue segmentation

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3425092B2 (ja) 1998-11-04 2003-07-07 株式会社エヌ・ティ・ティ・データ パターン認識方式
US6959109B2 (en) * 2002-06-20 2005-10-25 Identix Incorporated System and method for pose-angle estimation
US7783082B2 (en) * 2003-06-30 2010-08-24 Honda Motor Co., Ltd. System and method for face recognition
KR100621883B1 (ko) 2004-12-27 2006-09-19 학교법인 성균관대학 학습에 기반을 둔 적응형 실시간 얼굴검출방법
US20070053563A1 (en) * 2005-03-09 2007-03-08 Zhuowen Tu Probabilistic boosting tree framework for learning discriminative models
US8103109B2 (en) 2007-06-19 2012-01-24 Microsoft Corporation Recognizing hand poses and/or object classes
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220023553A (ko) * 2020-08-21 2022-03-02 한국전자통신연구원 휴먼 자세 추정 장치 및 방법

Also Published As

Publication number Publication date
US9280724B2 (en) 2016-03-08
US20140205187A1 (en) 2014-07-24

Similar Documents

Publication Publication Date Title
US10943126B2 (en) Method and apparatus for processing video stream
US9891716B2 (en) Gesture recognition in vehicles
KR101603017B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
US8792722B2 (en) Hand gesture detection
US20130279756A1 (en) Computer vision based hand identification
US9256324B2 (en) Interactive operation method of electronic apparatus
US20140037135A1 (en) Context-driven adjustment of camera parameters
KR101612605B1 (ko) 얼굴 특징점 추출 방법 및 이를 수행하는 장치
US20140071042A1 (en) Computer vision based control of a device using machine learning
US9047504B1 (en) Combined cues for face detection in computing devices
JP7447302B2 (ja) デバイスのハンドジェスチャベースの制御のための方法及びシステム
CN102193626A (zh) 手势识认装置、手势识认装置的控制方法、以及控制程序
KR101551576B1 (ko) 로봇 청소기, 제스쳐 인식 장치 및 방법
KR102557561B1 (ko) 이미지의 깊이 정보를 결정하는 방법 및 시스템
CN102411705A (zh) 识别用户的动态器官姿态的方法和接口以及电子利用装置
CN111630568A (zh) 电子装置及其控制方法
CN111684782B (zh) 电子设备及其控制方法
Wang et al. A new hand gesture recognition algorithm based on joint color-depth superpixel earth mover's distance
KR20140095601A (ko) 자세 분류 장치 및 자세 분류 방법
Cocorullo et al. Embedded surveillance system using background subtraction and Raspberry Pi
US20170032183A1 (en) Image processing method, device and non-transitory computer-readable medium
CN109241942B (zh) 图像处理方法、装置、人脸识别设备及存储介质
JP2023518284A (ja) デバイスのハンドジェスチャベースの制御のための方法及びシステム
KR20210036039A (ko) 전자 장치 및 그의 이미지 처리 방법
KR101079184B1 (ko) 눈동자 서술자를 이용한 눈 위치 검출 장치 및 그 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application