KR101956275B1 - 영상으로부터 신체 골격 및 신체 부위 정보 검출 방법 및 장치 - Google Patents

영상으로부터 신체 골격 및 신체 부위 정보 검출 방법 및 장치 Download PDF

Info

Publication number
KR101956275B1
KR101956275B1 KR1020120107347A KR20120107347A KR101956275B1 KR 101956275 B1 KR101956275 B1 KR 101956275B1 KR 1020120107347 A KR1020120107347 A KR 1020120107347A KR 20120107347 A KR20120107347 A KR 20120107347A KR 101956275 B1 KR101956275 B1 KR 101956275B1
Authority
KR
South Korea
Prior art keywords
skeleton
detecting
local maxima
information
body skeleton
Prior art date
Application number
KR1020120107347A
Other languages
English (en)
Other versions
KR20140040527A (ko
Inventor
한정호
김정섭
김동균
뉴엔덕융
이상준
전병무
전재욱
박상배
최진욱
Original Assignee
삼성전자주식회사
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 성균관대학교산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020120107347A priority Critical patent/KR101956275B1/ko
Publication of KR20140040527A publication Critical patent/KR20140040527A/ko
Application granted granted Critical
Publication of KR101956275B1 publication Critical patent/KR101956275B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상으로부터 신체 골격 및 신체 부위 정보를 검출하는 장치에서, 사용자 영상 입력 장치로부터 입력된 신체 영상에 유클리드 거리 변환(Euclidean Distance Transform)을 적용하여 유클리드 거리 변환된 영상을 입력받는 유클리드 거리 변환 영상 입력부와, 상기 유클리드 거리 변환된 영상에 로컬 맥시마 연산을 적용하여 신체 골격 및 신체 부위 정보를 검출하는 신체 검출부와, 상기 검출된 신체 골격 및 신체 부위 정보를 출력하는 신체 부위 정보 출력부를 포함한다.

Description

영상으로부터 신체 골격 및 신체 부위 정보 검출 방법 및 장치{METHOD AND APPARATUS FOR DETECTING INFORMATION OF BODY SKELETON AND BODY REGION FROM IMAGE}
본 발명은 기기제어에 필요한 사용자 인터페이스 장치에 적용될 수 있는 기술로서, 영상처리 기술을 이용하여 입력된 영상으로부터 신체의 골격 및 주요 신체 부위의 위치 정보를 검출하는 방법 및 장치에 관한 것이다.
사람의 신체 위치 정보 변화를 검출하여 이를 기기제어에 필요한 인터페이스 장치로 사용하는 종래의 기술은 크게 두 가지로 나눌 수 있다. 카메라로 입력된 영상 정보를 이용하는 영상 처리 기술을 이용하는 것과, 사람의 신체에 특정 장치를 장착하는 기술을 이용하는 것으로, 이러한 기술을 적용한 대표적인 예로는 닌텐도사의 위(Wii®)와 마이크로소프트사의 키넥트(Kinect®)가 있다.
상기 두 가지 종래 기술 중, 영상처리 기술 기반의 사람의 신체 위치 정보를 검출하는 종래 기술로는 국내 특허 공개번호 제2011-0113152호(명칭; “마커가 없는 인물의 모션 캡쳐를 제공하는 장치, 방법 및 컴퓨터 기록 매체”, 발명자; 이승신, 출원인; 삼성전자, 공개일; 2011년 10월 14일)와 미국 특허 공개번호 제2010/0215271호(명칭; “BODY FEATURE DETECTION AND HUMAN POSE ESTIMATION USING INNER DISTANCE SHAPE CONTEXTS”, 발명자; Behzad Dariush, Raghuraman Gopalan, 공개일; 2010년 08월 26일)를 예로 들 수 있다. 상기 국내 특허 공개번호 제2011-0113152호는 사람의 신체 관절 위치 정보를 검출하기 위하여 사람 형태의 템플릿을 이용하는 기술을 제안한다. 또한 상기 미국 특허 공개번호 제2010/0215271호는 입력된 이미지들로부터 관심 영역에 대한 후보 관절 위치를 추정하는 기술을 개시한다.
상기, 템플릿을 사용하는 방법의 경우 입력된 영상에서 사용자의 동작이 템플릿과 일치하지 않을 경우 사람의 관절 위치를 정확하게 검출하지 못하는 문제가 발생하고, 다양한 관절 위치를 검출하기 위해서는 많은 양의 템플릿이 필요하다. 또한 관심 영역에 대한 후보 관절 위치를 추정하는 방식은 신체 골격의 연속성을 자연스럽게 표현하지 못하는 문제가 발생한다.
종래의 프로세서 기반 시스템에서 구현된 영상처리 기술 기반의 사람 골격 및 관절 정보를 검출하는 방법들의 경우, 프로세서를 통해 입력 받은 영상에서 사람의 골격 및 관절 정보를 검출하기 때문에 많은 연산을 수반하게 된다. 그리고 프로세서 처리 능력의 한계로 인한 전체 시스템의 성능 저하의 문제가 있다. 프로세서의 지속적인 성능 향상으로 이러한 문제점은 한시적으로 해결 가능하나, 하나의 시스템에서 요구되는 기능의 요구사항도 그에 따라 증가하기 때문에 같은 문제가 반복적으로 발생하게 된다.
따라서, 본 발명의 일 목적은 영상으로부터 신속히 신체 골격 및 신체 부위 정보를 검출하는 방법 및 장치를 제공함에 있다.
본 발명의 다른 목적은 프로세서 처리로 인한 전체 시스템의 성능저하 문제를 해결하기 위한 영상으로부터 신체 골격 및 신체 부위 정보를 검출하는 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 목적은 실시간으로 골격 정보를 검출하는 데 있어 템플릿을 필요로 하지 않으며, 실시간으로 골격 정보를 검출하여 자연스러운 형태의 골격 정보 검출과, 이를 기반으로 각 신체 부위 정보를 검출하기 위한 영상으로부터 신체 골격 및 신체 부위 정보를 검출하는 방법 및 장치를 제공함에 있다.
상기한 목적을 달성하기 위하여 본 발명의 일 견지에 따르면, 사용자 영상 입력 장치로부터 입력된 신체 영상에 유클리드 거리 변환(Euclidean Distance Transform)을 적용하여 유클리드 거리 변환된 영상을 입력받는 유클리드 거리 변환 영상 입력부와; 상기 유클리드 거리 변환된 영상에 로컬 맥시마(Local Maxima) 연산을 적용하여 신체 골격 및 신체 부위 정보를 검출하는 신체 검출부와; 상기 검출된 신체 골격 및 신체 부위 정보를 출력하는 신체 부위 정보 출력부를 포함함을 특징으로 한다.
상기에서, 유클리드 거리 변환 영상 입력부를 통해 입력된 유클리드 거리 변환 영상을 출력하는 유클리드 거리 변환 영상 출력부를 더 포함할 수 있다.
상기, 신체 검출부는 상기 유클리드 거리 변환된 영상으로부터 상기 로컬 맥시마 연산을 적용하여 신체의 골격 정보와 흉부 위치를 검출하는 골격 검출부를 구비한다. 또한 상기 골격 검출부로부터 검출된 상기 신체의 골격 정보 및 흉부 위치를 이용하여 신체의 머리 위치를 검출하는 머리 검출부와, 상기 골격 검출부로부터 검출된 상기 신체의 골격 정보 및 흉부 위치를 이용하여 신체의 몸통 위치를 검출하는 몸통 검출부와, 상기 골격 검출부와 상기 몸통 검출부로부터 검출된 상기 신체의 골격 정보 및 흉부, 그리고 몸통 위치를 이용하여 신체의 어깨와 엉덩이 위치를 검출하는 어깨/엉덩이 검출부와, 상기 골격 검출부와 상기 어깨/엉덩이 검출부로부터 검출된 상기 신체의 골격 정보 및 어깨, 그리고 엉덩이 위치를 이용하여 신체의 팔과 다리의 위치를 검출하는 팔/다리 검출부를 구비한다.
본 발명의 다른 견지에 따르면, 본 발명은 영상으로부터 신체 골격 및 신체 부위 정보 검출 방법에 있어서; 유클리드 거리 변환(Euclidean Distance Transform)된 영상을 입력받는 과정과; 상기 유클리드 거리 변환된 영상에 로컬 맥시마(Local Maxima) 연산을 적용하여 신체 골격 및 신체 부위 정보를 검출하는 과정과; 상기 검출된 신체 골격 및 신체 부위 정보를 출력하는 과정을 포함함을 특징으로 한다.
상기한 바와 같이, 본 발명에 따르면 영상으로부터 신속히 신체 골격 및 신체 부위 정보를 검출할 수 있고, 또한 전용 하드웨어 장치를 제안하여 기존의 프로세서 기반 시스템의 성능저하 문제를 해결하는 효과가 있다.
또한 실시간으로 골격 정보를 검출하는 데 있어 템플릿을 필요로 하지 않으며, 자연스러운 형태의 골격 정보를 검출하고, 검출된 골격 정보를 기반으로 각 신체 부위를 검출할 수 있는 장점이 있다.
또한 본 발명은 종래에 개발되었던 퍼스널 컴퓨터(PC) 기반 사람 검출 시스템에 비해서 처리속도가 개선된 병렬처리 구조를 통해 대량의 입력 데이터의 실시간 처리가 가능하다. 즉, 퍼스널 컴퓨터 기반 사람 검출 시스템의 경우 한 번에 한 단계씩만 순차적으로 신체 부위 정보를 검출 할 수 있지만, 본 발명의 영상으로부터 신체 골격 및 신체 부위 정보 검출 방법 및 장치에서는 각각의 신체 부위 정보를 동시에 검출하는 병렬 처리 구조를 가진다. 또한 기존의 프로세서가 처리하던 기능을 전용 하드웨어 모듈로 대체하므로 전력소모가 감소되고, 프로세서보다 고 수준의 연산처리가 가능한 장점이 있고, 시스템의 소형화와 저전력화가 가능한 효과가 있다. 이때 전용 하드웨어 모듈은 예를 들어서 본 발명의 골격 검출부와, 머리 검출부와, 몸통 검출부와, 어깨/엉덩이 검출부, 및 팔/다리 검출부들 각각을 블록화 및 모듈화한 것이다.
이와 같은 장점들을 기반으로, 본 발명은 신체의 골격 및 신체 부위 정보를 필요로 하는 많은 응용분야에 접목 될 수 있다.
도 1은 디스플레이 장치에 적용되는 영상처리 기술을 활용하는 신체 골격 및 신체부위 위치 정보 검출 장치를 이용하는 시스템의 블록 구성도
도 2는 본 발명의 일 실시예에 따른 신체 골격 및 신체부위 위치 정보 검출 장치의 상세 블록 구성도
도 3은 도 2 중 골격 검출부의 골격 검출 동작을 도식화 한 도면
도 4는 도 2 중 머리 검출부의 머리 검출 동작을 도식화 한 도면
도 5는 도 2 중 몸통 검출부의 몸통 검출 동작을 도식화 한 도면
도 6은 도 2 중 어깨/엉덩이 검출부의 어깨 및 엉덩이 검출 동작을 도식화한 도면
도 7은 도 2 중 팔/다리 검출부의 팔과 다리의 검출 동작을 도식화 한 도면
도 8은 본 발명의 일 실시예에 따른 영상으로부터 신체 골격 및 신체 부위 정보를 검출하는 동작의 상세 흐름도
이하 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자, 명칭 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
도 1은 디스플레이 장치에 적용되는 영상처리 기술을 활용하는 신체 골격 및 신체부위 위치 정보 검출 장치를 이용하는 시스템의 블록 구성도이다. 본 발명에 따른 실시예는 사람 신체를 기반으로 하였으며, 도 1에 도시된 것과 같이, 사람이 서서 정면을 바라보고 있는 상태를 촬영한 영상으로부터 신체 골격 및 관절의 위치 정보를 검출하도록 하였다.
도 1에 도시된 시스템(1)은 사용자 영상 입력 장치(10)와, 유클리드 거리 변환 영상 생성 장치(15)와, 골격 및 신체부위 위치 정보 검출 장치(20) 및 신체 골격 및 신체 부위 정보 출력 장치(25)를 포함한다.
사용자 영상 입력 장치(10)는 신체의 영상을 입력하는 장치로서, 예를 들어 일반 카메라로 구현되어, 신체의 영상을 포함할 수 있다. 이외에도 사용자 영상 입력 장치(10)는 거리 측정 카메라로도 구현될 수 있다.
유클리드 거리 변환(Euclidean Distance Transform) 영상 생성 장치(15)는 사용자 영상 입력 장치(10)로부터 포착된 신체의 영상에 일반적인 유클리드 거리 변환 방식을 적용하여 유클리드 거리 변환된 영상을 생성한다. 유클리드 거리 변환 방식은 예를 들어, 신체를 촬영한 일반 영상에서, 에지(edge) 검출을 통해 사람 신체 부분을 확인하고, 사람 신체 부분에서 에지 부분을 기준으로 하여 신체 내부 부분의 각 픽셀을 에지와의 거리에 대응되는 거리 값으로 표현한 것으로서, 이 경우에 유클리드 거리 변환된 영상에서 상기 에지에 해당하는 픽셀의 거리 값은 ‘0’으로 그 내부 픽셀들은 상기 에지에 해당하는 픽셀과의 거리에 따라 ‘1’, ‘2’, ‘3’ 등으로 증가하는 값을 가질 수 있다.
골격 및 신체부위 위치 정보 검출 장치(20)는 유클리드 거리 변환 영상 생성 장치(15)로부터 입력 받은 유클리드 거리 변환된 영상에서 후술하는 바와 같이, 신체 골격 및 신체 부위 정보를 검출한다.
신체 골격 및 신체 부위 정보 출력 장치(25)는 골격 및 신체부위 위치 정보 검출 장치(20)로부터 출력된 정보를 입력 받아 디스플레이 장치(5)에 제공하기 위한 인터페이스 역할을 한다.
즉, 도 1에 도시된 바와 같은 시스템(1)을 이용하여, 사용자는 디스플레이 장치(5)에서 프로그램 등의 실행시에, 통상의 키 입력 장치를 구비하지 않고, 미리 설정된 몸짓이나 자세 등을 통해 해당 게임 프로그램의 각종 실행 명령에 대한 입력을 수행할 수 있게 된다.
도 2는 본 발명의 일 실시예에 따른 골격 및 신체부위 위치 정보 검출 장치의 상세 블록 구성도(20)이다.
도 2에 도시된 바와 같이, 본 발명에 따른 신체 골격 및 신체 부위 정보 검출 장치는 상기 도 1에 도시된 바와 같은 사용자 영상 입력 장치로부터 입력된 신체 영상에 유클리드 거리 변환(Euclidean Distance Transform)을 적용하여 상기 신체 영상의 에지(Edge) 부분과의 거리에 대응하는 상기 신체 영상의 각 픽셀(Pixel) 거리 값을 상기 신체 영상의 각 픽셀에 부여한 유클리드 거리 변환된 영상을 유클리드 거리 변환 영상 생성 장치(15)로부터 입력받는 유클리드 거리 변환 영상 입력부(200)와, 상기 유클리드 거리 변환된 영상 입력부(200)에서 입력된 유클리드 거리 변환된 영상에 로컬 맥시마(Local Maxima) 연산을 적용하여 신체 골격 및 신체 부위 정보를 검출하는 신체 검출부(230)와, 상기 검출된 신체 골격 및 신체 부위 정보를 출력하는 신체부위 정보 출력부(260)를 포함한다. 이때 추가로 상기 유클리드 거리 변환 영상 입력부(200)에서 입력된 유클리드 거리 변환된 영상을 그대로 제공받아 유클리드 거리 변환된 영상을 출력하는 유클리드 거리 변환 영상 출력부(290)가 더 구비될 수 있다. 이러한 유클리드 거리 변환 영상 출력부(290)에서 추가로 출력되는 유클리드 거리 변환된 영상은 이를 제공받은 장치에서 다양하게 활용될 수 있다. 한편, 상기 신체 검출부(230)의 상세 구성을 살펴보면, 신체 검출부(230)는 신체의 골격 정보와 흉부 위치(a)를 검출하는 골격 검출부(231)와, 머리 위치(b)를 검출하는 머리 검출부(232), 몸통 위치(c)를 검출하는 몸통 검출부(234)와, 어깨(d) 및 엉덩이 위치(e)를 검출하는 어깨/엉덩이 검출부(26)와 팔(f)과 다리 위치(g)를 검출하는 팔/다리 검출부(238)를 포함하여 구성된다.
상기 신체 검출부(230)의 각각의 구성을 상세히 설명하면, 먼저 도 3을 참조하면, 골격 검출부(231)는 신체의 골격 정보 및 흉부 위치(a)를 검출한다. 신체의 골격 정보는 모든 신체 부위 검출에 활용되며, 흉부 위치(a)는 신체 중 머리(b), 몸통(c) 및 어깨(d) 위치 검출에 기준점으로 활용된다. 골격 검출부(231)는 유클리드 거리 변환된 영상(300)을 입력 받아 로컬 맥시마 연산을 수행하여 골격 정보 검출을 수행하여 각 픽셀의 거리 값에서 가장 큰 픽셀 거리 값의 위치를 추적하여 흉부의 위치(a)로 결정한다. 이때의 로컬 맥시마 연산은 유클리드 거리 변환된 영상의 각각의 픽셀에 대해 침식효과를 가져오는 미리 설정된 n x n 윈도우 마스크(310)를 적용하여 픽셀의 거리 값이 증가하다가 감소하는 지점의 값인 피크 값들을 검출하고, 검출된 전체 피크 값들을 신체의 골격으로 결정한다. 여기서, n은 양의 정수로서, 상기 윈도우 마스크 내에 포함된 가로 또는 세로 방향의 픽셀들의 수를 나타내며, 일반적으로 많이 사용되는 n x n 윈도우 마스크의 크기는 3 x 3 및 5 x 5 이지만, n x n 윈도우 마스크의 크기는 침식 효과의 정도 및 연산량을 고려하여 선택 가능하다.
도 4를 참조하면, 신체 검출부(230)의 머리 검출부(232)는 머리 위치(b) 검출을 위한 장치이다. 머리 검출부(232)는 골격 검출부(231)로부터 검출된 신체의 골격 정보 및 흉부 위치(a)를 이용하여 머리 위치(b)를 검출한다. 흉부 위치(a)를 기준점으로 하고, 흉부 위치(a)로부터 골격 정보의 미리 설정된 거리만큼 이격된 지점의 범위 내에서 흉부의 위쪽 방향에서 골격 정보의 최대 로컬 맥시마를 추적하여, 해당 위치를 머리 위치(b)로 결정한다. 머리 위치(b)를 찾기 위해 흉부 위치(a)에서 이격되는 거리는 사용자 인식 가능한 거리 범위에 따라 조정될 수 있다.
도 5를 참조하면, 신체 검출부(230)의 몸통 검출부(234)는 몸통 위치(c) 검출을 위한 장치이다. 몸통 검출부(234)는 골격 검출부(231)로부터 검출된 신체의 골격 및 흉부 위치(a)를 이용하여 몸통 위치(c)를 검출한다. 흉부 위치(a)를 기준점으로 하고, 흉부 위치(a)로부터 골격 정보의 미리 설정된 거리만큼 이격된 지점의 범위 내에서 흉부의 아래쪽 방향에서 골격 정보의 최대 로컬 맥시마를 추적하여, 해당 위치를 몸통 위치(c)로 결정한다. 몸통 위치(c)를 찾기 위해 흉부 위치(a)에서 이격되는 거리는 사용자 인식 가능한 거리 범위에 따라 조정될 수 있다. 상기 검출된 몸통 위치(c)는 엉덩이 위치(e) 검출의 기준점으로 활용될 수 있다.
도 6을 참조하면, 신체 검출부(230)의 어깨/엉덩이 검출부(236)는 어깨(d) 및 엉덩이 위치(f) 검출을 위한 장치로써, 어깨 위치(d)는 팔 위치(f) 검출의 기준점으로 활용되고, 엉덩이 위치(e)는 다리 위치(g) 검출의 기준점으로 활용된다. 어깨/엉덩이 검출부(236) 중, 어깨 위치(d)는 골격 검출부(231)로부터 검출된 신체의 골격 정보 및 흉부 위치(a)를 이용하여 검출한다. 흉부 위치(a)를 기준점으로 하고, 골격 정보에서 흉부 위치(a)의 좌측과 우측의 위쪽 대각선 방향에서 가상의 위치를 정하고 가상의 위치에서 골격 정보의 가장 가까운 유효한 로컬 맥시마를 추적하여, 해당 위치를 좌측 및 우측 어깨의 위치(d)로 결정한다. 이때, 가상의 위치는 알고리즘 설계 시 고려된 사람 모델의 체형 정보를 바탕으로 하여 해당 관절 즉, 신체 부위 중 어깨 위치(d)가 위치할 수 있는 후보 영역으로 결정할 수 있으며, 이 부분을 신체 부위 중 어깨 위치(d)를 찾기 위한 가상의 위치로 설정한다. 그리고 엉덩이 위치(e)는 골격 검출부(231)로부터 검출된 신체의 골격 정보와 몸통 검출부(234)로부터 검출된 몸통 위치(c)를 이용하여 검출한다. 몸통 위치(c)를 기준점으로 하고, 골격 정보에서 몸통 위치(c)로부터 좌측과 우측의 아래쪽 대각선 방향에서 가상의 위치를 정하고 가상의 위치에서 골격 정보의 가장 가까운 유효한 로컬 맥시마를 추적하여, 해당 위치를 엉덩이 위치(e)로 결정한다. 이때, 가상의 위치는 알고리즘 설계 시 고려된 사람 모델의 체형 정보를 바탕으로 하여 해당 관절 즉, 신체 부위 중 엉덩이 위치(e)가 위치할 수 있는 후보 영역으로 결정할 수 있으며, 이 부분을 신체 부위 중 엉덩이 위치(e)를 찾기 위한 가상의 위치로 설정한다.
도 7을 참조하면, 신체 검출부(230)의 팔/다리 검출부(238)는 팔(f) 및 다리(g) 위치 검출을 위한 장치이다.
팔/다리 검출부(238) 중, 팔 위치는(f) 골격 검출부(231)로부터 검출된 신체의 골격 정보와 어깨/엉덩이 검출부(236)로부터 검출된 신체의 어깨 위치(d)를 이용하여 검출한다. 팔 위치(f) 검출은 팔 위치(f) 검출에서의 오류 방지를 위해 어깨 근처에 설정된 일정 영역의 로컬 맥시마(골격정보)를 삭제하고, 어깨 위치(d)를 중심으로 하는 n x n 윈도우 마스크(710)를 생성한다. 이 n x n 윈도우 마스크(710) 내에 존재하는 로컬 맥시마 중 한 점의 위치를 다음 번 n x n 윈도우 마스크의 기준점으로 선택하고, 현재 설정된 n x n 윈도우 마스크(710) 내의 로컬 맥시마를 삭제한다. 변경된 n x n 윈도우 마스크의 기준점을 기준으로 하여 n x n 윈도우 마스크를 생성하고, 동일한 과정을 반복하여 n x n윈도우 마스크의 기준점을 어깨 위치(d)를 중심으로 골격을 따라 좌우 양측으로 이동해 나간다. n x n 윈도우 마스크 내에 더 이상 유효한 로컬 맥시마가 존재하지 않아서 윈도우의 기준점을 변경할 수 없을 때, 현재 윈도우의 기준점을 팔의 끝 점으로 지정한다. 팔의 뼈대 위치는 팔의 끝 점까지 이동한 n x n 윈도우 마스크의 중심점을 일정 간격으로 출력함으로써 표현할 수 있다. 이때, 어깨 위치(d)와 연결된 로컬 맥시마의 경우 한 방향은 원하는 팔과 연결되어 있지만 반대쪽 방향은 다른 신체 부위와 연결되어 있다. 따라서 반대쪽 방향으로 잘못 이동하여 팔 위치(f)를 검출하는 것을 방지하기 위해 초기에 찾고자 하는 신체 부위가 위치할 수 있는 방향과 반대 방향에 존재하는 로컬 맥시마를 삭제하며, 삭제할 때 어깨 위치(d)를 중심으로 한 n x n 윈도우 마스크 내에 한 개 이상의 로컬 맥시마 값이 존재할 수 있도록 로컬 맥시마 삭제의 범위를 결정한다. 예를 들어서, 왼쪽 어깨를 기준점으로 하여 왼쪽 팔의 위치(f)를 찾으려고 한다면, 왼쪽 어깨를 중심으로 로컬 맥시마가 선으로 표현되는데 한쪽 방향은 왼쪽 팔과 연결되며, 반대쪽 방향은 흉부 위치(a)와 연결된다. 왼쪽 팔의 위치(f)를 추적하기 위해서 왼쪽 어깨를 기준점으로 하여 n x n 윈도우 마스크를 적용하여, 로컬 맥시마를 따라 윈도우의 중심점을 이동하는 과정을 반복하기 때문에, 흉부 위치(a) 방향으로 연결된 로컬 맥시마들을 삭제해 주어야 오류 없이 왼쪽 팔 위치(f)를 검출 할 수 있다. 이때, n x n 윈도우 마스크의 크기는 자체 입력 영상의 크기 및 개발에 이용한 신체 모델, 연산량 등을 고려하여 선택하여 적용한다. 처음 어깨 근처에서 로컬 맥시마를 삭제하기 위해 설정하는 영역은 찾고자 하는 팔의 방향과 반대 방향 쪽으로 치우쳐서 설정하여, 윈도우의 중심점을 변경해 나가는 과정이 안정적으로 수행될 수 있게 한다. 이때, 어깨 위치(d)에 연결된 로컬 맥시마의 경우 한 방향은 원하는 팔과 연결되어 있지만 반대쪽 방향은 다른 신체 부위와 연결되어 있다. 따라서 반대쪽 방향으로 잘못 이동하여 팔 위치(f)를 검출하는 것을 방지하기 위해 초기에 찾고자 하는 신체 부위가 위치할 수 있는 방향과 반대 방향에 존재하는 로컬 맥시마를 삭제하며, 삭제할 때 어깨 위치(d)에서 찾고자 하는 부위의 위치의 반대 방향으로 치우쳐서 n x n 윈도우 마스크 내에 한 개 이상의 로컬 맥시마 값이 존재할 수 있도록 로컬 맥시마 삭제의 범위를 결정한다. 예를 들면 왼쪽 팔을 검출하고자 할 경우에는 왼쪽 어깨에서 오른쪽으로 좀 더 치우친 방향에서 일정 영역을 설정함으로써 왼쪽 팔의 검출을 안정적으로 수행할 수 있게 된다.
다리 부분은 골격 검출부(231)로부터 검출된 신체의 골격 정보와 어깨/엉덩이 검출부(236)로부터 검출된 신체의 엉덩이 위치(e)를 이용하여 검출한다. 다리 위치(g) 검출은 다리 위치(g) 검출에서의 오류 방지를 위해 엉덩이 근처에 설정된 일정 영역의 로컬 맥시마(골격정보)를 삭제하고, 엉덩이 위치(e)를 중심으로 하는 n x n 윈도우 마스크(710)를 생성한다. 이 n x n 윈도우 마스크(710) 내에 존재하는 로컬 맥시마 중 한 점의 위치를 다음 번 n x n 윈도우 마스크의 기준점으로 선택하고, 현재 설정된 n x n 윈도우 마스크(710) 내의 로컬 맥시마를 삭제한다. 변경된 n x n 윈도우 마스크의 기준점을 기준으로 하여 n x n 윈도우 마스크를 생성하고, 동일한 과정을 반복하여 n x n윈도우 마스크의 기준점을 엉덩이 위치(e)를 중심으로 골격을 따라 좌우 양측으로 이동해 나간다. n x n 윈도우 마스크 내에 더 이상 유효한 로컬 맥시마가 존재하지 않아서 윈도우의 기준점을 변경할 수 없을 때, 현재 윈도우의 기준점을 다리의 끝 점으로 지정한다. 다리의 뼈대 위치는 다리의 끝 점까지 이동한 n x n 윈도우 마스크의 중심점을 일정 간격으로 출력함으로써 표현할 수 있다. 이때, 엉덩이 위치(e)에 연결된 로컬 맥시마의 경우 한 방향은 원하는 다리와 연결되어 있지만 반대쪽 방향은 다른 신체 부위와 연결되어 있다. 따라서 반대쪽 방향으로 잘못 이동하여 다리 위치(g)를 검출하는 것을 방지하기 위해 초기에 찾고자 하는 신체 부위가 위치할 수 있는 방향과 반대 방향에 존재하는 로컬 맥시마를 삭제하며, 삭제할 때 엉덩이 위치(e)를 중심으로 한 n x n 윈도우 마스크 내에 한 개 이상의 로컬 맥시마 값이 존재할 수 있도록 로컬 맥시마 삭제의 범위를 결정한다. 예를 들어서, 왼쪽 엉덩이를 기준점으로 하여 왼쪽 다리의 위치(g)를 찾으려고 한다면, 왼쪽 엉덩이를 중심으로 로컬 맥시마가 선으로 표현되는데 한쪽 방향은 왼쪽 다리와 연결되며, 반대쪽 방향은 몸통 위치와 연결된다. 왼쪽 다리의 위치(g)를 추적하기 위해서 왼쪽 엉덩이를 기준점으로하여 n x n 윈도우 마스크를 적용하여, 로컬 맥시마를 따라 윈도우의 중심점을 이동하는 과정을 반복하기 때문에, 몸통 위치(c) 방향으로 연결된 로컬 맥시마들을 삭제해 주어야 오류 없이 왼쪽 다리 위치(g)를 검출 할 수 있다. 이때, n x n 윈도우 마스크의 크기는 자체 입력 영상의 크기 및 개발에 이용한 신체 모델, 연산량 등을 고려하여 선택하여 적용한다. 처음 엉덩이 근처에서 로컬 맥시마를 삭제하기 위해 설정하는 영역은 찾고자 하는 다리의 방향과 반대 방향 쪽으로 치우쳐서 설정하여 윈도우의 중심점을 변경해 나가는 과정이 안정적으로 수행될 수 있게 한다. 이때, 엉덩이 위치(c)에 연결된 로컬 맥시마의 경우 한 방향은 원하는 다리와 연결되어 있지만 반대쪽 방향은 다른 신체 부위와 연결되어 있다. 따라서 반대쪽 방향으로 잘못 이동하여 다리 위치(g)를 검출하는 것을 방지하기 위해 초기에 찾고자 하는 신체 부위가 위치할 수 있는 방향과 반대 방향에 존재하는 로컬 맥시마를 삭제하며, 삭제할 때 엉덩이 위치(e)에서 찾고자 하는 부위의 위치의 반대 방향으로 치우쳐서 n x n 윈도우 마스크 내에 한 개 이상의 로컬 맥시마 값이 존재할 수 있도록 로컬 맥시마 삭제의 범위를 결정한다. 예를 들면 왼쪽 다리를 검출하고자 할 경우에는 왼쪽 엉덩이에서 오른쪽으로 좀 더 치우친 방향에서 일정 영역을 설정함으로써 왼쪽 다리의 검출을 안정적으로 수행할 수 있게 된다.
이와 같은 방법으로 윈도우의 시작 위치와 진행 방향을 변경하면서 팔과 다리 부분의 위치를 검출한다. 신체 부위 정보 출력부(260)는 검출된 신체 골격 및 신체 부위 위치 정보를 출력한다.
상기와 같이, 본 발명의 일 실시예에 따른 신체 골격 및 신체부위 위치 정보를 검출하는 장치가 구성될 수 있는데, 상기 신체 검출부(230)의 골격 검출부(231)와, 상기 머리 검출부(232)와, 상기 몸통 검출부(234)와, 상기 어깨/엉덩이 검출부(236) 및 상기 팔/다리 검출부(238)는 각각 별도의 전용 하드웨어 모듈로 구성하여 병렬 처리 구조를 통해 대량의 입력 데이터의 실시간 처리를 가능하게 할 수 있다. 즉. 본 발명은 골격 검출부(231)와, 머리 검출부(232)와, 몸통 검출부(234)와, 어깨/엉덩이 검출부(236), 및 팔/다리 검출부(238)들 각각을 블록화 및 모듈화하여, 각각의 신체 부위 정보를 동시에 검출하는 병렬 처리 구조를 통해 대량의 입력 데이터의 실시간 처리를 가능하게 한다. 이때의 병렬 처리는 머리 검출부(232)와 동시에 몸통 검출부(234) 또는 어깨/엉덩이 검출부(236) 또는 팔/다리 검출부(238)가 실행할 수 있다. 또한 어깨/엉덩이 검출부(236)에서는 동시에 어깨(d) 및 엉덩이(e)의 위치 검출을 실행하며, 팔/다리 검출부(238)에서도 동시에 팔(f) 및 다리(g)의 위치 검출을 실행할 수 있다.
또한, 상기와 같이, 본 발명의 일 실시예에 따른 신체 골격 및 신체부위 위치 정보를 검출하는 장치가 구성될 수 있는데, 이러한 본 발명에 따른 장치는 바람직하게는, 전체적으로 전용 하드웨어 그래픽 가속기로 구현될 수 있다. 따라서 기존의 프로세서 기반 시스템의 성능저하 문제를 해결하는 효과가 있다. 또한 전력소모가 감소되고, 프로세서보다 고 수준의 연산처리가 가능한 장점이 있고, 시스템의 소형화와 저전력화가 가능한 효과가 있다.
도 8은 본 발명의 일 실시예에 따른 영상으로부터 신체 골격 및 신체 부위 정보를 검출하는 동작의 상세 흐름도이다.
먼저, 유클리드 거리 변환 영상 입력부(200)에서 입력 받은 신체 영상에 유클리드 거리 변환을 적용하여 신체 영상의 에지 부분과의 거리에 대응하는 신체 영상의 각 픽셀 거리 값을 신체 영상의 각 픽셀에 부여한 유클리드 거리 변환된 영상을 입력받는 과정(810)을 수행한다. 이후 811단계에서는, 골격 및 흉부 위치(a) 정보를 검출한다. 검출된 흉부 위치 정보는 신체 중, 머리, 몸통, 어깨 부위 검출에 기준점으로 활용되고, 신체의 골격 정보는 모든 신체 부위 검출에 활용된다. 이후 812단계에서는, 머리 위치(b)를 검출하고, 이후 814단계에서는, 몸통 위치(c)를 검출하며, 검출된 몸통 위치(c)는 엉덩이 위치(e) 검출의 기준점으로 활용된다. 이후 816단계에서는, 어깨(d) 및 엉덩이 위치(e)를 검출을 수행하고 이 단계를 통해 검출된 어깨 위치(d)는 팔 위치(f) 검출의 기준점으로 활용되고, 엉덩이 위치(e)는 다리 위치(g) 검출의 기준점으로 활용된다. 이후 818 단계에서는, 팔(f) 및 다리 위치(g) 검출을 수행한다. 마지막으로 820 단계에서는, 신체의 골격 및 각각의 신체 부위 위치 정보를 출력한다. 이때 필요에 따라서 유클리드 거리 변환된 영상도 아울러 출력할 수도 있다.
상기와 같이, 본 발명의 실시예에 따른 영상으로부터 신체 골격 및 신체 부위 정보를 검출하는 방법 및 장치가 구현될 수 있다. 한편, 상기 설명에서 예를 들어 사람의 신체를 이용하여 설명하였지만, 본 발명은 사람 신체뿐만 아니라, 개, 고양이, 등과 애완용 동물의 신체나, 기타 골격 및 관절 구조를 가진 다양한 대상에 적용될 수 있음은 물론이다.
또한, 신체 대상의 자세에 따라 검출되는 부위의 순서가 변경될 수 있고, 흉부, 머리, 몸통, 어깨, 등과 같은 각각의 검출된 신체 부위 명칭은 신체의 대상에 따라 변경이 가능하다.
이와 같이, 본 발명의 실시예의 다양한 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.

Claims (21)

  1. 영상으로부터 신체 골격 및 신체 부위 정보 검출 장치에 있어서,
    사용자 영상 입력 장치로부터 입력된 신체 영상에 유클리드 거리 변환(Euclidean Distance Transform)을 적용하여 유클리드 거리 변환된 영상을 입력받는 유클리드 거리 변환 영상 입력부와;
    상기 유클리드 거리 변환된 영상에 로컬 맥시마(Local Maxima) 연산을 적용하여 신체 골격 및 신체 부위 정보를 검출하는 신체 검출부와;
    상기 검출된 신체 골격 및 신체 부위 정보를 출력하는 신체 부위 정보 출력부를 포함하며,
    상기 신체 검출부는,
    상기 유클리드 거리 변환된 영상으로부터 상기 로컬 맥시마 연산을 적용하여 상기 신체 골격의 정보와 흉부 위치를 검출하는 골격 검출부와,
    상기 골격 검출부로부터 검출된 상기 신체 골격의 정보 및 상기 흉부 위치를 이용하여 상기 신체의 머리 위치를 검출하는 머리 검출부와,
    상기 골격 검출부로부터 검출된 상기 신체 골격의 정보 및 상기 흉부 위치를 이용하여 상기 신체의 몸통 위치를 검출하는 몸통 검출부와,
    상기 골격 검출부로부터 검출된 상기 신체 골격의 정보와 상기 흉부 위치 및 상기 몸통 검출부로부터 검출된 상기 몸통 위치를 이용하여 상기 신체의 어깨와 엉덩이 위치를 검출하는 어깨/엉덩이 검출부와,
    상기 골격 검출부로부터 검출된 상기 신체 골격의 정보와 상기 어깨/엉덩이 검출부로부터 검출된 상기 어깨와 상기 엉덩이 위치를 이용하여 상기 신체의 팔과 다리의 위치를 검출하는 팔/다리 검출부를 포함하며,
    상기 골격 검출부는,
    상기 유클리드 거리 변환된 영상의 픽셀 거리 값들에 미리 설정된 윈도우 마스크(window mask)를 적용하여 상기 픽셀 거리 값들 중 픽셀의 거리 값이 증가하다가 감소하는 지점의 값인 피크(peak) 값을 검출하는 상기 로컬 맥시마 연산을 적용하여 상기 신체 골격의 정보 검출을 수행하며, 상기 픽셀 거리 값들 중에서 가장 큰 픽셀 거리 값의 위치를 추적하여 상기 가장 큰 픽셀 거리 값의 위치를 상기 흉부 위치로 정하는 것을 특징으로 하는 신체 골격 및 신체 부위 정보 검출 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서, 상기 머리 검출부는,
    상기 흉부 위치를 기준점으로 하여, 상기 흉부 위치로부터 상기 신체 골격의 위쪽 방향으로 미리 설정된 거리만큼 이격된 지점의 미리 설정된 범위 내에서 상기 신체 골격의 최대 로컬 맥시마를 추적하여, 해당 위치를 상기 머리 위치로 정하는 것을 특징으로 하는 신체 골격 및 신체 부위 정보 검출 장치.
  5. 제1항에 있어서, 상기 몸통 검출부는,
    상기 흉부 위치를 기준점으로 하여, 상기 흉부 위치로부터 상기 신체 골격의 아래쪽 방향으로 미리 설정된 거리만큼 이격된 지점의 미리 설정된 범위 내에서 상기 신체 골격의 최대 로컬 맥시마를 추적하여, 해당 위치를 상기 몸통 위치로 정하는 것을 특징으로 하는 신체 골격 및 신체 부위 정보 검출 장치.
  6. 제1항에 있어서, 상기 어깨/엉덩이 검출부는,
    상기 흉부 위치를 기준점으로 하여, 상기 신체 골격에서 상기 흉부 위치로부터 좌측과 우측의 위쪽 대각선 방향에서 가상의 위치를 정하고, 상기 가상의 위치에서 상기 신체 골격의 가장 가까운 유효한 로컬 맥시마를 추적하여, 해당 위치를 상기 어깨 위치로 결정하는 것을 특징으로 하는 신체 골격 및 신체 부위 정보 검출 장치.
  7. 제1항에 있어서, 상기 어깨/엉덩이 검출부는,
    상기 몸통 위치를 기준점으로 하여, 상기 신체 골격에서 상기 몸통 위치로부터 좌측과 우측의 아래쪽 대각선 방향에서 가상의 위치를 정하고 상기 가상의 위치에서 상기 신체 골격의 가장 가까운 유효한 로컬 맥시마를 추적하여, 해당 위치를 상기 엉덩이 위치로 결정하는 것을 특징으로 하는 신체 골격 및 신체 부위 정보 검출 장치.
  8. 제1항에 있어서, 상기 팔/다리 검출부는,
    상기 팔 위치 검출에서의 오류 방지를 위해 상기 어깨 위치로부터 미리 설정된 일정 영역에 로컬 맥시마가 있을 경우 상기 로컬 맥시마를 삭제하며, 상기 어깨 위치를 기준점으로 하며 상기 기준점을 기준으로 하여 미리 설정된 크기의 윈도우 마스크를 생성하여 미리 설정된 방향으로 상기 신체 골격의 로컬 맥시마를 추적하여 상기 추적된 로컬 맥시마를 팔의 한 부분의 위치로 결정하며 상기 팔의 한 부분의 위치에 기준점을 이동시킨 후 상기 추적된 로컬 맥시마를 삭제하는 동작을 반복적으로 수행하며, 상기 생성된 윈도우 마스크의 기준점을 변경할 수 없을 때 상기 팔 위치 검출을 종료하는 것을 특징으로 하는 신체 골격 및 신체 부위 정보 검출 장치.
  9. 제1항에 있어서, 상기 팔/다리 검출부는,
    상기 다리 위치의 검출에서의 오류 방지를 위해 상기 엉덩이 위치로부터 미리 설정된 일정 영역에 로컬 맥시마가 있을 경우 삭제하며, 상기 엉덩이 위치를 기준점으로 하며 상기 기준점을 기준으로 하여 미리 설정된 크기의 윈도우 마스크를 생성하여 미리 설정된 방향으로 상기 신체 골격의 로컬 맥시마를 추적하여 상기 추적된 로컬 맥시마를 다리의 한 부분의 위치로 결정하며 상기 다리의 한 부분의 위치에 기준점을 이동시킨 후 상기 추적된 로컬 맥시마를 삭제하는 동작을 반복적으로 수행하며, 상기 생성된 윈도우 마스크의 기준점을 변경할 수 없을 때 상기 다리 위치 검출을 종료하는 것을 특징으로 하는 신체 골격 및 신체 부위 정보 검출 장치.
  10. 제1항에 있어서,
    상기 유클리드 거리 변환 영상 입력부에서 입력된 상기 유클리드 거리 변환된 영상을 그대로 출력하는 상기 유클리드 거리 변환 영상 출력부를 더 포함함을 특징으로 하는 신체 골격 및 신체 부위 정보 검출 장치.
  11. 제1항에 있어서,
    상기 골격 검출부와, 상기 머리 검출부와, 상기 몸통 검출부와, 상기 어깨/엉덩이 검출부 및 상기 팔/다리 검출부는 각각 별도의 전용 하드웨어 모듈로 구성되는 것을 특징으로하는 신체 골격 및 신체 부위 정보 검출 장치.
  12. 영상으로부터 신체 골격 및 신체 부위 정보 검출 방법에 있어서, 유클리드 거리 변환(Euclidean Distance Transform)된 영상을 입력받는 과정과;
    상기 유클리드 거리 변환된 영상에 로컬 맥시마(Local Maxima) 연산을 적용하여 신체 골격 및 신체 부위 정보를 검출하는 과정과;
    상기 검출된 신체 골격 및 신체 부위 정보를 출력하는 과정을 포함하며,
    상기 신체 골격 및 상기 신체 부위 정보를 검출하는 과정은,
    상기 유클리드 거리 변환된 영상으로부터 상기 로컬 맥시마 연산을 적용하여 상기 신체 골격의 정보와 흉부 위치를 검출하는 단계와,
    상기 신체 골격의 정보 및 상기 흉부 위치를 이용하여 신체의 머리 위치를 검출하는 단계와,
    상기 신체 골격의 정보 및 상기 흉부 위치를 이용하여 상기 신체의 몸통 위치를 검출하는 단계와,
    상기 신체 골격의 정보와, 상기 흉부 위치, 및 상기 몸통 위치를 이용하여 상기 신체의 어깨 위치와 엉덩이 위치를 검출하는 단계와,
    상기 신체 골격의 정보와, 상기 어깨 위치, 및 상기 엉덩이 위치를 이용하여 상기 신체의 팔 위치와 다리 위치를 검출하는 단계를 포함하며,
    상기 신체 골격의 정보와 상기 흉부 위치를 검출하는 단계는,
    상기 유클리드 거리 변환된 영상의 픽셀 거리 값들에 미리 설정된 윈도우 마스크(window mask)를 적용하여 상기 픽셀 거리 값들 중 픽셀의 거리 값이 증가하다가 감소하는 지점의 값인 피크(peak) 값을 검출하는 상기 로컬 맥시마 연산을 적용하여 상기 신체 골격의 정보 검출을 수행하며,
    상기 픽셀 거리 값들 중 가장 큰 픽셀 거리 값의 위치를 추적하여 상기 가장 큰 픽셀 거리 값의 위치를 상기 흉부 위치로 정하는 것을 특징으로 하는 신체 골격 및 신체 부위 정보 검출 방법.
  13. 삭제
  14. 삭제
  15. 제12항에 있어서, 상기 머리 위치를 검출하는 단계는,
    상기 흉부 위치를 기준점으로 하여, 상기 흉부 위치로부터 상기 신체 골격의 위쪽 방향으로 미리 설정된 거리만큼 이격된 지점의 미리 설정된 범위 내에서 상기 신체 골격의 최대 로컬 맥시마를 추적하여, 해당 위치를 상기 머리 위치로 정하는 것을 특징으로 하는 신체 골격 및 신체 부위 정보 검출 방법.
  16. 제12항에 있어서, 상기 몸통 위치를 검출하는 단계는,
    상기 흉부 위치를 기준점으로 하여, 상기 흉부 위치로부터 상기 신체 골격의 아래쪽 방향으로 미리 설정된 거리만큼 이격된 지점의 미리 설정된 범위 내에서 상기 신체 골격의 최대 로컬 맥시마를 추적하여, 해당 위치를 상기 몸통 위치로 정하는 것을 특징으로 하는 신체 골격 및 신체 부위 정보 검출 방법.
  17. 제12항에 있어서, 상기 어깨 위치와 상기 엉덩이 위치를 검출하는 단계는,
    상기 흉부 위치를 기준점으로 하여, 상기 신체 골격에서 상기 흉부 위치로부터 좌측과 우측의 위쪽 대각선 방향에서 가상의 위치를 정하고, 상기 가상의 위치에서 상기 신체 골격의 가장 가까운 유효한 로컬 맥시마를 추적하여, 해당 위치를 어깨 위치로 결정하는 것을 특징으로 하는 신체 골격 및 신체 부위 정보 검출 방법.
  18. 제12항에 있어서, 상기 어깨 위치와 엉덩이 위치를 검출하는 단계는,
    상기 몸통 위치를 기준점으로 하여, 상기 신체 골격에서 상기 몸통 위치로부터 좌측과 우측의 아래쪽 대각선 방향에서 가상의 위치를 정하고 상기 가상의 위치에서 상기 신체 골격의 가장 가까운 유효한 로컬 맥시마를 추적하여, 해당 위치를 엉덩이 위치로 결정하는 것을 특징으로 하는 신체 골격 및 신체 부위 정보 검출 방법.
  19. 제12항에 있어서, 상기 팔과 다리의 위치를 검출하는 단계는,
    상기 팔 위치의 검출에서의 오류 방지를 위해 상기 어깨 위치로부터 미리 설정된 일정 영역에 로컬 맥시마가 있을 경우 삭제하며, 상기 어깨 위치를 기준점으로 하며 상기 기준점을 기준으로 하여 미리 설정된 크기의 윈도우 마스크를 생성하여 미리 설정된 방향으로 상기 신체 골격의 로컬 맥시마를 추적하여 상기 추적된 로컬 맥시마를 팔의 한 부분의 위치로 결정하며 상기 팔의 한 부분의 위치에 기준점을 이동시킨 후 상기 추적된 로컬 맥시마를 삭제하는 동작을 반복적으로 수행하며, 상기 윈도우 마스크의 기준점을 변경할 수 없을 때 상기 팔 위치의 검출을 종료하는 것을 특징으로 하는 신체 골격 및 신체 부위 정보 검출 방법.
  20. 제12항에 있어서, 상기 팔과 다리의 위치를 검출하는 단계는,
    상기 다리 위치의 검출에서의 오류 방지를 위해 상기 엉덩이 위치로부터 미리 설정된 일정 영역에 로컬 맥시마가 있을 경우 삭제하며, 상기 엉덩이 위치를 기준점으로 하며 상기 기준점을 기준으로 하여 미리 설정된 크기의 윈도우 마스크를 생성하여 미리 설정된 방향으로 상기 신체 골격의 로컬 맥시마를 추적하여 상기 추적된 로컬 맥시마를 다리의 한 부분의 위치로 결정하며 상기 다리의 한 부분의 위치에 기준점을 이동시킨 후 상기 추적된 로컬 맥시마를 삭제하는 동작을 반복적으로 수행하며, 상기 생성된 윈도우 마스크의 기준점을 변경할 수 없을 때 상기 다리 위치의 검출을 종료하는 것을 특징으로 하는 신체 골격 및 신체 부위 정보 검출 방법.
  21. 제12항에 있어서, 상기 검출된 신체 골격 및 신체 부위 정보의 출력시,
    상기 입력된 상기 유클리드 거리 변환된 영상을 추가로 출력하는 과정을 더 포함함을 특징으로 하는 신체 골격 및 신체 부위 정보 검출 방법.
KR1020120107347A 2012-09-26 2012-09-26 영상으로부터 신체 골격 및 신체 부위 정보 검출 방법 및 장치 KR101956275B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120107347A KR101956275B1 (ko) 2012-09-26 2012-09-26 영상으로부터 신체 골격 및 신체 부위 정보 검출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120107347A KR101956275B1 (ko) 2012-09-26 2012-09-26 영상으로부터 신체 골격 및 신체 부위 정보 검출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140040527A KR20140040527A (ko) 2014-04-03
KR101956275B1 true KR101956275B1 (ko) 2019-06-24

Family

ID=50650709

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120107347A KR101956275B1 (ko) 2012-09-26 2012-09-26 영상으로부터 신체 골격 및 신체 부위 정보 검출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101956275B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022139200A1 (ko) * 2020-12-22 2022-06-30 주식회사 네오펙트 연속되는 이미지 프레임에 대한 스켈레톤 분석에 기초한 동일객체 식별장치 및 식별방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102282459B1 (ko) 2015-02-25 2021-07-27 한화테크윈 주식회사 사람 계수 시스템 및 방법
KR101711736B1 (ko) * 2015-05-26 2017-03-02 이화여자대학교 산학협력단 영상에서 동작 인식을 위한 특징점 추출 방법 및 골격 정보를 이용한 사용자 동작 인식 방법
KR101854129B1 (ko) * 2017-11-01 2018-05-03 (주)리앤팍스 가상현실 휘트니스 시스템 구동방법
KR102081854B1 (ko) 2019-08-01 2020-02-26 전자부품연구원 3d edm을 이용한 수어 또는 제스처 인식 방법 및 장치
KR102355184B1 (ko) * 2020-07-23 2022-02-07 (주)엠지솔루션스 빅데이터 기반 근골격 분석 장치
CN117522866B (zh) * 2024-01-03 2024-03-15 西北工业大学 基于掩膜的荧光微丝试验图像中丝线锚点的判别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2952208B2 (ja) * 1997-03-18 1999-09-20 株式会社エイ・ティ・アール知能映像通信研究所 人体姿勢の推定方法
KR100413679B1 (ko) * 2000-10-21 2003-12-31 삼성전자주식회사 형상 기술자 추출방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022139200A1 (ko) * 2020-12-22 2022-06-30 주식회사 네오펙트 연속되는 이미지 프레임에 대한 스켈레톤 분석에 기초한 동일객체 식별장치 및 식별방법

Also Published As

Publication number Publication date
KR20140040527A (ko) 2014-04-03

Similar Documents

Publication Publication Date Title
KR101956275B1 (ko) 영상으로부터 신체 골격 및 신체 부위 정보 검출 방법 및 장치
US10394318B2 (en) Scene analysis for improved eye tracking
KR101606628B1 (ko) 포인팅 방향 검출 장치 및 그 방법과, 프로그램 및 컴퓨터 판독가능한 매체
KR101865655B1 (ko) 증강현실 상호 작용 서비스 제공 장치 및 방법
US11244506B2 (en) Tracking rigged polygon-mesh models of articulated objects
Ning et al. People tracking based on motion model and motion constraints with automatic initialization
JP2019096113A (ja) キーポイントデータに関する加工装置、方法及びプログラム
Feng et al. Plane registration leveraged by global constraints for context‐aware AEC applications
US10600202B2 (en) Information processing device and method, and program
Liu et al. 3D Human motion tracking by exemplar-based conditional particle filter
CN112949512A (zh) 一种动态手势识别方法、手势交互方法及交互系统
JP2008288684A (ja) 人物検出装置及びプログラム
US10930068B2 (en) Estimation apparatus, estimation method, and non-transitory computer-readable storage medium for storing estimation program
Jo et al. Tracking and interaction based on hybrid sensing for virtual environments
Kondori et al. Direct hand pose estimation for immersive gestural interaction
JP2017033556A (ja) 画像処理方法及び電子機器
KR20200057572A (ko) 딥러닝 기반 손 인식 증강현실 상호 작용 장치 및 방법
KR101909326B1 (ko) 얼굴 모션 변화에 따른 삼각 매쉬 모델을 활용하는 사용자 인터페이스 제어 방법 및 시스템
KR20110111662A (ko) 객체 형태 검출을 위한 배경 모델링 방법
Chen et al. An integrated sensor network method for safety management of construction workers
US20150063631A1 (en) Dynamic image analyzing system and operating method thereof
US20240119620A1 (en) Posture estimation apparatus, posture estimation method, and computer-readable recording medium
WO2022153481A1 (en) Posture estimation apparatus, learning model generation apparatus, method, and computer-readable recordingmedium
KR101491413B1 (ko) 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기
Cheng et al. Enhancing Image-based Positioning With a Novel Foot Position Extraction Algorithm and Machine Learning

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant