KR101256046B1 - Method and system for body tracking for spatial gesture recognition - Google Patents

Method and system for body tracking for spatial gesture recognition Download PDF

Info

Publication number
KR101256046B1
KR101256046B1 KR1020110080799A KR20110080799A KR101256046B1 KR 101256046 B1 KR101256046 B1 KR 101256046B1 KR 1020110080799 A KR1020110080799 A KR 1020110080799A KR 20110080799 A KR20110080799 A KR 20110080799A KR 101256046 B1 KR101256046 B1 KR 101256046B1
Authority
KR
South Korea
Prior art keywords
camera
arm
hand
region
pixels
Prior art date
Application number
KR1020110080799A
Other languages
Korean (ko)
Other versions
KR20130018004A (en
Inventor
신기선
윤형식
박현진
이기혁
이승환
허성국
최상원
Original Assignee
한국과학기술원
(주) 골프존
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원, (주) 골프존 filed Critical 한국과학기술원
Priority to KR1020110080799A priority Critical patent/KR101256046B1/en
Priority to PCT/KR2012/006372 priority patent/WO2013025011A1/en
Publication of KR20130018004A publication Critical patent/KR20130018004A/en
Application granted granted Critical
Publication of KR101256046B1 publication Critical patent/KR101256046B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G09B19/0038—Sports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physical Education & Sports Medicine (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 실시예에 따른 신체 트래킹 시스템은 사용자 머리 위쪽에 설치되어 사용자를 내려다 보는 화각의 신체 영상을 촬영하는 카메라 및 신체 영상으로부터 사용자의 머리 위치, 팔의 위치, 손의 위치 및 자세를 순차적으로 특정하는 트래킹 처리부를 포함할 수 있다. 카메라는 색상 정보를 제공하는 2D 카메라, 깊이 정보를 제공하는 3D 카메라 또는 색상 정보와 깊이 정보를 함께 제공하는 하이브리드 카메라 중 어느 하나일 수 있다. 트래킹 처리부는 신체 영상으로부터 사용자의 머리 위치를 특정하는 머리 탐색부, 특정된 머리 위치에 기초하여 특정된 어깨 영역의 양 끝부분에 해당하는 좌우 어깨 위치에서 픽셀들의 분포로부터 좌우 어깨 위치에서 각각 연장되는 팔 영역을 탐색함으로써 팔의 위치 또는 자세를 특정하는 팔 탐색부 및 팔 영역의 끝부분에서 특정된 손 영역의 픽셀들의 분포로부터 손의 위치 또는 자세를 특정하는 손 탐색부를 포함할 수 있다.Body tracking system according to an embodiment of the present invention sequentially installed the user's head position, arm position, hand position and posture from the camera and the body image to shoot the body image of the angle of view that is installed above the user's head looking down the user It may include a tracking processing unit for specifying. The camera may be any one of a 2D camera providing color information, a 3D camera providing depth information, or a hybrid camera providing both color information and depth information. The tracking processor extends from the left and right shoulder positions, respectively, from the distribution of pixels in the head searching unit specifying the head position of the user from the body image, and the left and right shoulder positions corresponding to both ends of the specified shoulder region based on the specified head position. The arm searcher may be configured to search the arm region to specify the position or posture of the arm, and the hand searcher may specify the position or posture of the hand from the distribution of pixels of the hand region specified at the end of the arm region.

Description

공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템{METHOD AND SYSTEM FOR BODY TRACKING FOR SPATIAL GESTURE RECOGNITION}METHOD AND SYSTEM FOR BODY TRACKING FOR SPATIAL GESTURE RECOGNITION}

본 발명은 동작 인식에 관한 것으로, 더욱 상세하게는, 3차원 환경 내에서 사용자의 신체 부위를 추적하는 동작 인식에 관한 것이다.The present invention relates to gesture recognition, and more particularly, to gesture recognition for tracking a body part of a user in a three-dimensional environment.

특별한 인터페이스 디바이스를 장착하지 않고도 기계를 조작할 수 있도록 사용자의 제스처 인식을 이용하는 맨-머신 인터페이스가 다양하게 개발 및 활용되고 있다. 특히 마이크로소프트사의 키넥트가 일반 소비자용으로 출시된 이후에는 실험실 수준에서 구현하거나 고가의 특수 용도의 장비에서나 가능하던 3차원 공간 제스처 인식 기능을 저렴하면서 좀더 쉽게 실현할 수 있게 되었다.Various man-machine interfaces have been developed and utilized using the gesture recognition of the user so that the machine can be operated without a special interface device. In particular, after Microsoft's Kinect was released for consumer use, it became easier and less expensive to implement three-dimensional spatial gesture recognition, either at the lab level or on expensive special-purpose equipment.

통상적으로 맨-머신 인터페이스는 사용자가 메뉴가 디스플레이된 화면을 보면서 특정 동작을 유발하는 메뉴를 선택하거나 아이템을 조작하는 방식으로 이루어지므로, 화면을 향하고 있는 사용자의 신체 및 동작을 가장 잘 관찰할 수 있도록 화면에 인접하여 설치된 카메라를 통해 촬영한 사용자의 정면 이미지에 기초한다.Typically, the man-machine interface is made by the user looking at the screen on which the menu is displayed and selecting a menu or manipulating an item that causes a specific action, so that the user can best observe the body and the motion of the user facing the screen. Based on the front image of the user taken by the camera installed adjacent to the screen.

그런데, 스크린 골프와 같은 특정 응용 분야에서는 화면과 사용자의 거리가 상대적으로 멀어 사용자의 제스처를 공간적으로 에러 없이 해석하기 곤란하거나, 사용자의 주변에서 일어나는 움직임들이 촬영을 방해할 수 있다거나, 카메라 쪽을 향해 물건이 투척될 수 있다거나 하는 상황이 빈번하게 발생할 수 있다.However, in certain application fields such as screen golf, the distance between the screen and the user is relatively large, making it difficult to interpret the user's gestures spatially and without errors, or movements that occur in the vicinity of the user may interfere with the shooting or the camera side. Frequently, things may be thrown away.

본 발명이 해결하고자 하는 과제는 사용자의 머리 위에 설치된 카메라를 이용하여 사용자의 신체 부위를 트래킹함으로써 공간 제스처를 인식하는 방법 및 시스템을 제공하는 데에 있다.An object of the present invention is to provide a method and system for recognizing a spatial gesture by tracking a body part of a user using a camera installed on a user's head.

본 발명의 일 측면에 따른 신체 트래킹 시스템은, 사용자 머리 위쪽에 설치되어 사용자를 내려다 보는 화각의 신체 영상을 촬영하는 카메라; 및 상기 신체 영상으로부터 사용자의 머리 위치, 팔의 위치, 손의 위치 및 손의 자세를 순차적으로 특정하는 트래킹 처리부를 포함할 수 있다.Body tracking system according to an aspect of the present invention, the camera is installed above the user's head to take a body image of the angle of view looking down the user; And a tracking processor that sequentially specifies a head position, an arm position, a hand position, and a posture of the hand from the body image.

일 실시예에 따라, 상기 카메라는 색상 정보를 제공하는 2D 카메라, 깊이 정보를 제공하는 3D 카메라 또는 색상 정보와 깊이 정보를 함께 제공하는 하이브리드 카메라 중 어느 하나일 수 있다.According to an embodiment of the present disclosure, the camera may be any one of a 2D camera providing color information, a 3D camera providing depth information, or a hybrid camera providing both color information and depth information.

일 실시예에 따라, 상기 트래킹 처리부는, 상기 신체 영상으로부터 사용자의 머리 위치를 특정하는 머리 탐색부; 상기 특정된 머리 위치에 기초하여 특정된 어깨 영역의 양 끝부분에 해당하는 좌우 어깨 위치에서 각각 연장되는 경계선을 따라 팔 영역을 탐색함으로써 팔의 위치 또는 자세를 특정하는 팔 탐색부; 및 상기 팔 영역의 끝부분에서 특정된 손 영역의 픽셀들의 분포로부터 손의 위치 또는 자세를 특정하는 손 탐색부를 포함할 수 있다.According to one embodiment, the tracking processing unit, the head search unit for specifying the user's head position from the body image; An arm searcher that specifies an arm position or posture by searching for arm regions along boundary lines respectively extending from left and right shoulder positions corresponding to both ends of the specified shoulder region based on the specified head position; And a hand searcher for specifying a position or a posture of the hand from the distribution of pixels of the hand region specified at the end of the arm region.

일 실시예에 따라, 상기 카메라는 깊이 정보를 제공하는 3D 카메라 또는 하이브리드 카메라 중 어느 하나이고, 상기 머리 탐색부는 상기 신체 영상 중에서 국부적으로 또는 전역으로 상기 카메라에 가장 가까운 깊이 정보를 가진 픽셀을 포함하는 일정 영역을 머리 위치로 특정하도록 동작할 수 있다.According to an embodiment of the present disclosure, the camera is either a 3D camera or a hybrid camera that provides depth information, and the head searcher includes pixels having depth information closest to the camera locally or globally among the body images. It is operable to specify a certain area as the head position.

일 실시예에 따라, 상기 머리 위치는 상기 카메라에 가장 가까운 깊이 정보를 가진 픽셀을 중심으로 하여, 깊이 정보가 소정 범위 내에 있는 픽셀들을 포함하거나, 또는 깊이 정보가 소정 값보다 크게 변하는 경계선 이내에 있는 픽셀들을 포함할 수 있다.According to one embodiment, the head position is centered on a pixel having depth information closest to the camera, and includes pixels in which the depth information is within a predetermined range, or is within a boundary line in which the depth information varies larger than a predetermined value. Can include them.

일 실시예에 따라, 상기 카메라는 깊이 정보를 제공하는 3D 카메라 또는 하이브리드 카메라 중 어느 하나이고, 상기 팔 탐색부는 상기 좌우 어깨 위치에 해당하는 픽셀에서 시작하여 주변의 픽셀들 중에 신체의 경계를 이루는 픽셀을 찾는 동작을 반복함으로써 팔 영역을 탐색하도록 동작할 수 있다.According to an embodiment, the camera is either a 3D camera or a hybrid camera that provides depth information, and the arm search unit starts at a pixel corresponding to the left and right shoulder positions, and forms a boundary of the body among pixels around it. It may be operable to search the arm region by repeating the operation of finding.

일 실시예에 따라, 상기 카메라는 깊이 정보를 제공하는 3D 카메라 또는 하이브리드 카메라 중 어느 하나이고, 상기 팔 탐색부는 상기 특정된 머리 위치 주변에서 깊이 정보가 소정 범위 내에 있는 픽셀들로써 어깨 영역을 특정하고, 상기 머리 위치를 중심으로 소정 크기의 원과 상기 특정된 어깨 영역의 경계선이 만나는 지점을 상기 좌우 어깨 위치로 특정하며, 상기 좌우 어깨 위치에 해당하는 픽셀에서 시작하여 주변의 픽셀들 중에서 신체의 경계를 이루는 픽셀들을 찾는 동작을 반복함으로써 팔 영역을 탐색하도록 동작할 수 있다.According to an embodiment of the present disclosure, the camera is either a 3D camera or a hybrid camera providing depth information, and the arm search unit specifies a shoulder region with pixels having depth information within a predetermined range around the specified head position, The left and right shoulder positions specify a point where a circle of a predetermined size meets a boundary line of the specified shoulder region with respect to the head position, starting from a pixel corresponding to the left and right shoulder positions, and defining a boundary of the body among the surrounding pixels. It may be operable to search the arm region by repeating the operation of finding the pixels that make up.

일 실시예에 따라, 상기 카메라는 깊이 정보를 제공하는 3D 카메라 또는 하이브리드 카메라 중 어느 하나이고, 상기 손 탐색부는 상기 손 영역에 중첩한 원이 만나는 픽셀들의 픽셀 값 변화에 기초하여, 또는 상기 손 영역의 경계선을 이루는 픽셀들의 개수에 기초하여 손의 자세를 펴거나 쥐는 자세 중 하나로 특정하도록 동작할 수 있다.According to an embodiment, the camera is either a 3D camera or a hybrid camera that provides depth information, and the hand search unit is based on a pixel value change of pixels where a circle overlapping the hand area meets, or the hand area. The posture of the hand may be specified as one of the posture of stretching or grasping the hand based on the number of pixels forming the boundary line of.

일 실시예에 따라, 상기 카메라는 깊이 정보를 제공하는 3D 카메라 또는 하이브리드 카메라 중 어느 하나이고, 상기 팔 탐색부는 상기 특정된 머리 위치를 중심으로 회전하는 가상의 직선이 상기 어깨 영역과 만나는 픽셀들의 픽셀 값들의 합이 최대가 될 때에 상기 가상의 직선의 법선 방향을 몸통의 방향으로 특정하도록 동작할 수 있다.According to an embodiment, the camera is either a 3D camera or a hybrid camera providing depth information, and the arm search unit is a pixel of pixels where a virtual straight line rotating about the specified head position meets the shoulder region. It is operable to specify the direction of the normal of the imaginary straight line in the direction of the body when the sum of the values is maximum.

본 발명의 다른 측면에 따른 신체 트래킹 시스템은, 사용자 머리 위쪽에서 사용자를 내려다 보는 화각으로 촬영된 신체 영상으로부터 사용자의 머리 위치를 특정하는 머리 탐색부; 상기 특정된 머리 위치에 기초하여 특정된 어깨 영역의 양 끝부분에 해당하는 좌우 어깨 위치에서 픽셀들의 분포로부터 상기 좌우 어깨 위치에서 각각 연장되는 팔 영역을 탐색함으로써 팔의 위치 또는 자세를 특정하는 팔 탐색부; 및 상기 팔 영역의 끝부분에서 특정된 손 영역의 픽셀들의 분포로부터 손의 위치 또는 자세를 특정하는 손 탐색부를 포함할 수 있다.According to another aspect of the present invention, a body tracking system includes a head searching unit that specifies a head position of a user from a body image photographed at an angle of view looking down at a user from above a user's head; An arm search that specifies an arm position or posture by searching for an arm region extending from the left and right shoulder positions respectively from a distribution of pixels at left and right shoulder positions corresponding to both ends of the specified shoulder region based on the specified head position. part; And a hand searcher for specifying a position or a posture of the hand from the distribution of pixels of the hand region specified at the end of the arm region.

본 발명의 또 다른 측면에 따른 신체 트래킹 시스템은, 사용자 머리 위쪽에 설치되어 사용자를 내려다 보는 화각의 신체 영상을 촬영하는 카메라; 상기 신체 영상으로부터 사용자의 머리 위치, 팔의 위치, 손의 위치 및 손의 자세를 순차적으로 특정하는 트래킹 처리부; 상기 특정된 머리 위치, 팔의 위치, 손의 위치 및 손의 자세에 기초하여 사용자의 제스처를 판정하는 제스처 판정부; 상기 판정된 제스처에 따른 명령을 수행하는 제어부; 상기 명령의 수행 결과에 의해 일어나는 화면 상의 변화를 처리하는 영상 처리부; 및 상기 처리된 화면을 스크린에 출력하는 영상 출력부를 포함할 수 있다.Body tracking system according to another aspect of the present invention, the camera is installed above the user's head to take a body image of the angle of view looking down the user; A tracking processor that sequentially specifies a head position, an arm position, a hand position, and a hand posture of the user from the body image; A gesture determination unit that determines a gesture of a user based on the specified head position, arm position, hand position, and hand posture; A control unit which performs a command according to the determined gesture; An image processor which processes a change on a screen caused by the execution result of the command; And an image output unit configured to output the processed screen to a screen.

본 발명의 다른 측면에 따른 신체 트래킹 방법은, 사용자의 머리 위쪽에 소정 이격 거리를 두고 설치된 카메라에 의해 내려다 보는 화각으로 사용자의 머리, 어깨, 팔 및 손이 포함된 신체 영상을 획득하는 단계; 상기 신체 영상 중에서 머리 위치를 특정하는 단계; 상기 특정된 머리 위치에 기초하여 특정된 어깨 영역의 양 끝부분에 해당하는 좌우 어깨 위치에서 각각 연장되는 경계선을 따라 팔 영역을 탐색함으로써 팔의 위치 또는 자세를 특정하는 단계; 및 상기 팔 영역의 끝부분에서 특정된 손 영역의 픽셀들의 분포로부터 손의 위치 또는 자세를 특정하는 단계를 포함할 수 있다.According to another aspect of the present invention, a body tracking method includes: acquiring a body image including a head, a shoulder, an arm, and a hand of a user at an angle of view overlooked by a camera installed at a predetermined distance above a user's head; Specifying a head position in the body image; Specifying an arm position or posture by searching for an arm region along a boundary line respectively extending from left and right shoulder positions corresponding to both ends of the specified shoulder region based on the specified head position; And specifying the position or posture of the hand from the distribution of pixels of the hand region specified at the end of the arm region.

일 실시예에 따라, 상기 머리 위치를 특정하는 단계는, 상기 신체 영상 중에서 국부적으로 또는 전역으로 상기 카메라에 가장 가까운 깊이 정보를 가진 픽셀을 포함하는 일정 영역을 머리 위치로 특정하는 단계를 포함할 수 있다.According to an embodiment of the present disclosure, the specifying of the head position may include specifying, as the head position, a region including a pixel having depth information closest to the camera locally or globally in the body image. have.

일 실시예에 따라, 상기 머리 위치는 상기 카메라에 가장 가까운 깊이 정보를 가진 픽셀을 중심으로 하여, 깊이 정보가 소정 범위 내에 있는 픽셀들을 포함하거나, 또는 깊이 정보가 소정 값보다 크게 변하는 경계선 이내에 있는 픽셀들을 포함할 수 있다.According to one embodiment, the head position is centered on a pixel having depth information closest to the camera, and includes pixels in which the depth information is within a predetermined range, or is within a boundary line in which the depth information varies larger than a predetermined value. Can include them.

일 실시예에 따라, 상기 팔의 위치 또는 자세를 특정하는 단계는, 상기 머리 위치 주변에서 나타나는 소정 범위의 픽셀 값들을 가진 픽셀들로써 특정된 어깨 영역을 특정하는 단계; 상기 어깨 영역의 양 끝부분에서 좌우 어깨 위치를 특정하는 단계; 및 상기 좌우 어깨 위치로부터 각각 팔 영역을 탐색하여 팔의 위치와 자세를 특정하는 단계를 포함할 수 있다.According to one embodiment, specifying the position or posture of the arm comprises: specifying a shoulder region specified by pixels having a range of pixel values appearing around the head position; Specifying left and right shoulder positions at both ends of the shoulder region; And searching for arm regions from the left and right shoulder positions, respectively, and specifying positions and postures of the arms.

일 실시예에 따라, 상기 어깨 영역의 양 끝부분에서 좌우 어깨 위치를 특정하는 단계는, 상기 머리 위치를 중심으로 소정 크기의 원과 상기 어깨 영역의 경계선이 만나는 지점을 상기 좌우 어깨 위치로 특정하는 단계를 포함할 수 있다.According to one embodiment, the step of specifying the left and right shoulder position at both ends of the shoulder area, specifying the point where the boundary of the circle of a predetermined size and the shoulder area centered around the head position to the left and right shoulder position It may include a step.

일 실시예에 따라, 상기 어깨 영역의 양 끝부분에서 좌우 어깨 위치를 특정하는 단계는, 상기 특정된 머리 위치를 중심으로 회전하는 가상의 직선이 상기 어깨 영역과 만나는 픽셀들의 픽셀 값들의 합이 최대가 될 때에 상기 가상의 직선이 상기 어깨 영역의 경계선과 만나는 지점을 상기 좌우 어깨 위치로 특정하는 단계를 포함할 수 있다. According to one embodiment, specifying the left and right shoulder positions at both ends of the shoulder region, the sum of the pixel values of the pixels that the virtual straight line rotating around the specified head position meets the shoulder region is maximum It may include the step of specifying the point where the virtual straight line meets the boundary of the shoulder area to the left and right shoulder position when becomes.

일 실시예에 따라, 상기 좌우 어깨 위치로부터 각각 팔 영역을 탐색하여 팔의 위치와 자세를 특정하는 단계는, 상기 좌우 어깨 위치에 해당하는 픽셀에서 시작하여 주변의 픽셀들 중에 신체의 경계를 이루는 픽셀을 찾는 동작을 반복함으로써 팔 영역을 탐색하는 단계를 포함할 수 있다.According to one embodiment, the step of specifying the position and posture of the arm by searching the arm region from the left and right shoulder position, respectively, the pixel forming the boundary of the body among the pixels around the starting from the pixel corresponding to the left and right shoulder position Searching for the arm region by repeating the operation of finding.

일 실시예에 따라, 상기 손의 위치 또는 자세를 특정하는 단계는, 상기 손 영역에 중첩한 원이 만나는 픽셀들의 픽셀 값 변화에 기초하여, 또는 상기 손 영역의 경계선을 이루는 픽셀들의 개수에 기초하여 손의 자세를 펴거나 쥐는 자세 중 하나로 특정하는 단계를 포함할 수 있다.According to an embodiment, the step of specifying the position or posture of the hand may be based on a change in pixel values of pixels where a circle overlapping the hand region meets or based on the number of pixels forming a boundary line of the hand region. It may include the step of specifying one of the posture of stretching or holding the hand.

일 실시예에 따라 상기 신체 트래킹 방법은, 상기 특정된 머리 위치를 중심으로 회전하는 가상의 직선이 상기 어깨 영역과 만나는 픽셀들의 픽셀 값들의 합이 최대가 될 때에 상기 가상의 직선의 법선 방향을 몸통의 방향으로 특정하는 단계를 더 포함할 수 있다.According to an exemplary embodiment, the body tracking method further comprises: a body that traverses a normal direction of the virtual straight line when a virtual straight line rotating around the specified head position becomes the sum of pixel values of pixels that meet the shoulder region. It may further comprise the step of specifying in the direction of.

본 발명의 신체 트래킹 방법 및 시스템에 따르면, 사용자 주변에서 움직이는 사람들의 영향이나, 조작 중에 물체의 투척이나 이탈로 인한 장치의 파손 위험, 제스처 방향의 제한을 극복할 수 있다. According to the body tracking method and system of the present invention, it is possible to overcome the influence of people moving around the user, the risk of damage to the device due to the throwing or detachment of the object during the operation, the limitation of the gesture direction.

또한, 본 발명의 신체 트래킹 방법 및 시스템에 따르면, 몸과 환경의 경계를 기준으로 하여 연산 요구량이 적고, 사용자의 머리 위에서 촬영한 영상을 기초로 하므로 사용자의 키나 몸집, 손의 크기, 복장, 구부려 앉거나 곳게 선 자세 등에 영향을 받지 않거나 상대적으로 강인할 수 있다.In addition, according to the body tracking method and system of the present invention, the computational requirements are small on the basis of the boundary between the body and the environment, and based on the image taken on the user's head, the user's height, body size, hand size, dress, bending It can be relatively unaffected or unaffected by sitting or standing posture.

도 1은 본 발명의 일 실시예에 따른 제스처 인식을 위한 신체 트래킹 방법 및 시스템을 개념적으로 설명하기 위한 구성도이다.
도 2는 본 발명의 일 실시예에 따른 제스처 인식을 위한 신체 트래킹 시스템의 트래킹 처리부를 예시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 제스처 인식을 위한 신체 트래킹 방법을 예시한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 신체 트래킹 방법 및 시스템에서, 천장 카메라로 촬영된 3D 영상으로부터 머리에 해당하는 위치를 추출하는 절차를 예시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 신체 트래킹 방법 및 시스템에서, 손 동작에 따른 제스처를 인식하기 위해 팔과 손을 찾는 절차를 예시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 신체 트래킹 방법 및 시스템에서, 손의 위치를 파악한 후에 손 모양을 판단하는 절차를 예시한 도면이다.1 is a block diagram for conceptually explaining a body tracking method and system for gesture recognition according to an embodiment of the present invention.
2 is a block diagram illustrating a tracking processing unit of a body tracking system for gesture recognition according to an embodiment of the present invention.
3 is a flowchart illustrating a body tracking method for gesture recognition according to an embodiment of the present invention.
4 is a diagram illustrating a procedure of extracting a position corresponding to a head from a 3D image photographed by a ceiling camera in a body tracking method and system according to an exemplary embodiment of the present invention.
5 is a diagram illustrating a procedure for finding an arm and a hand to recognize a gesture according to a hand gesture in a body tracking method and system according to an exemplary embodiment of the present invention.
6 is a diagram illustrating a procedure of determining a hand shape after determining a position of a hand in a body tracking method and system according to an exemplary embodiment of the present invention.

본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다. For the embodiments of the invention disclosed herein, specific structural and functional descriptions are set forth for the purpose of describing an embodiment of the invention only, and it is to be understood that the embodiments of the invention may be practiced in various forms, The present invention should not be construed as limited to the embodiments described in Figs.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다. Hereinafter, with reference to the accompanying drawings, it will be described in detail a preferred embodiment of the present invention. The same reference numerals are used for the same constituent elements in the drawings and redundant explanations for the same constituent elements are omitted.

도 1은 본 발명의 일 실시예에 따른 제스처 인식을 위한 신체 트래킹 방법 및 시스템을 개념적으로 설명하기 위한 구성도이다.1 is a block diagram for conceptually explaining a body tracking method and system for gesture recognition according to an embodiment of the present invention.

도 1을 참조하면, 신체 트래킹 시스템(10)은 사용자(11), 스크린(12), 카메라(13), 트래킹 처리부(14)로써 예시적으로 설명될 수 있다.Referring to FIG. 1, the body tracking system 10 may be exemplarily described as the user 11, the screen 12, the camera 13, and the tracking processor 14.

사용자(11)는 적어도 두부가 나머지 신체보다 높이 위치할 수 있도록 직립 자세를 취하거나, 또는 무릎을 굽히더라도 상체는 머리가 어깨보다 높게 편한 자세를 취한 상태로 스크린(12) 앞에 서 있다.The user 11 stands upright so that the head is at least higher than the rest of the body, or the upper body is standing in front of the screen 12 with the head comfortably higher than the shoulder even when the knee is bent.

스크린(12)에는 사용자(11)가 선택하고자 하는 메뉴나 조작하고자 하는 아이템이 표시되어 있어서, 사용자(11)는 스크린(12)을 보면서 팔과 손으로 특정한 제스처를 취하여 원하는 메뉴 또는 아이템을 선택하거나, 이동 내지 회전하는 등의 동작을 개시할 수 있다.The screen 12 displays a menu to be selected by the user 11 or an item to be manipulated, so that the user 11 selects a desired menu or item by making a specific gesture with his or her arm and hand while looking at the screen 12. , Movement, rotation, and the like can be started.

이를 위해, 사용자(11)의 신체를 촬영하는 카메라(13)가 사용자(11)의 정수리 위쪽에서 소정의 이격 거리를 두고 바닥면을 향하도록, 예를 들어 천장 구조물에 고정적으로, 또는 이동식으로 설치된다.To this end, the camera 13, which photographs the body of the user 11, is fixedly fixed or movable to the ceiling structure so that the camera 13 faces the floor at a predetermined distance from the top of the head of the user 11. do.

카메라(13)는 방향이나 촬영 각도와 화각을 변경할 수 있는 PTZ(pan, tilt, zoom) 카메라일 수 있다.The camera 13 may be a PTZ (pan, tilt, zoom) camera that can change a direction, a photographing angle, and an angle of view.

또한 카메라(13)는 2D 영상을 획득할 수 있는 가시광선 또는 적외선 카메라이거나, 피사체의 깊이 정보를 가진 3D 영상을 얻을 수 있는 구조광(structured light) 방식 또는 TOF(time of flight) 방식의 3D 카메라, 또는 이러한 2D 카메라와 3D 카메라의 조합을 통해 RGBD(Red, Green, Blue, Depth) 정보를 가진 하이브리드 영상을 얻을 수 있는 복합 카메라로 구현될 수 있다.In addition, the camera 13 is a visible light or infrared camera capable of acquiring a 2D image, or a structured light or time of flight (TOF) 3D camera capable of obtaining a 3D image having depth information of a subject. Alternatively, the combination of the 2D and 3D cameras may be implemented as a composite camera capable of obtaining a hybrid image having RGBD (Red, Green, Blue, Depth) information.

카메라(13)의 높이는 카메라(13)로 촬영한 영상에서 사용자(11)의 머리, 어깨, 팔을 충분히 구분할 수 있고 사용자(11)의 움직임을 방해하지 않으면서 너무 큰 공간을 차지하지는 않을 정도로 선택될 수 있다. 예를 들어, 카메라(13)가 2D 가시광선 카메라인 경우에, 렌즈의 특성에 따라, 카메라(13)가 사용자(11)의 머리에 너무 가까우면 사용자(11)의 머리가 실제보다 과장되게 촬상되어, 어깨나 팔을 식별하기 어려울 수 있다. 또는 카메라(13)가 구조광 방식 또는 TOF 방식의 3D 카메라를 포함하는 경우에는 구조광이 사용자(11)의 머리, 어깨, 팔에 충분히 조사될 수 있는 거리 또는 조사광의 왕복 시간이 피사체와의 간격을 판독할 수 있는 최소 시간보다 크게 카메라(13)의 높이가 선택될 수 있다.The height of the camera 13 is selected so that the head, shoulder, and arm of the user 11 can be sufficiently distinguished from the image taken by the camera 13 and not occupy too much space without disturbing the user 11 movement. Can be. For example, when the camera 13 is a 2D visible light camera, depending on the characteristics of the lens, if the camera 13 is too close to the head of the user 11, the head of the user 11 is exaggerated than the actual image. It can be difficult to identify the shoulders or arms. Alternatively, when the camera 13 includes a structured light type or a TOF type 3D camera, the distance at which the structured light is sufficiently irradiated to the head, shoulder, and arm of the user 11 or the round trip time of the irradiated light is separated from the subject. The height of the camera 13 may be selected to be larger than the minimum time to read.

카메라(13)는 천장에서 바닥면을 향한 상태로 사용자(11)의 정수리를 중심으로 하는 머리, 어깨, 팔과 손이 모두 영상에 포함되도록 사용자(11)의 신체 영상을 획득한다. 카메라(13)의 종류와 구성에 따라, 사용자(11)의 영상은 2D 영상, 3D 영상 또는 RGBD 하이브리드 영상 중 어느 하나가 될 수 있다.The camera 13 acquires a body image of the user 11 such that the head, shoulder, arm, and hand centered on the parietal of the user 11 are included in the image while facing the floor from the ceiling. According to the type and configuration of the camera 13, the image of the user 11 may be any one of a 2D image, a 3D image, or an RGBD hybrid image.

트래킹 처리부(14)는 카메라(13)로 획득한 신체 영상, 즉 2D 영상, 3D 영상 또는 하이브리드 영상 중 하나에 기초하여 머리, 팔, 손의 위치 및 자세를 순차적으로 특정함으로써 제스처를 판정하기 위한 영상 처리를 수행할 수 있다.The tracking processor 14 sequentially determines the position and posture of the head, arm, and hand based on one of the body images acquired by the camera 13, that is, the 2D image, the 3D image, or the hybrid image. Processing can be performed.

이렇게 특정된 머리, 팔과 손의 위치 및 자세에 관한 정보는 시간적 내지 공간적으로 분석됨으로써 추후에 제스처 인식에 이용될 수 있다.The information about the position and posture of the head, arm and hand specified in this way can be used later for gesture recognition by analyzing time and space.

도 2는 본 발명의 일 실시예에 따른 제스처 인식을 위한 신체 트래킹 시스템을 예시한 블록도이다.2 is a block diagram illustrating a body tracking system for gesture recognition according to an embodiment of the present invention.

도 2를 참조하면, 신체 트래킹 시스템(10)은 카메라(13), 트래킹 처리부(14), 제스처 판정부(15), 제어부(16), 메모리(17), 영상 처리부(18), 영상 출력부(19)를 포함할 수 있다.Referring to FIG. 2, the body tracking system 10 includes a camera 13, a tracking processor 14, a gesture determiner 15, a controller 16, a memory 17, an image processor 18, and an image output unit. (19) may be included.

카메라(13)에서 취득한 2D 영상, 3D 영상 또는 하이브리드 신체 영상은 트래킹 처리부(14)에 인가된다.The 2D image, 3D image, or hybrid body image acquired by the camera 13 is applied to the tracking processor 14.

트래킹 처리부(14)는 2D 영상, 3D 영상 또는 하이브리드 영상 중 하나에 기초하여 머리, 팔, 손의 위치 및 자세를 순차적으로 특정함으로써 제스처를 판정하기 위한 영상 처리를 수행할 수 있다.The tracking processor 14 may perform image processing for determining a gesture by sequentially specifying a position and a posture of a head, an arm, and a hand based on one of a 2D image, a 3D image, or a hybrid image.

구체적으로, 트래킹 처리부(14)의 머리 탐색부(141)는 2D 영상, 3D 영상 또는 하이브리드 영상을 기초로 사용자(11)의 머리 위치와 몸통의 방향을 특정하고, 팔 탐색부(142)는 두 팔의 위치와 자세를 특정하며, 손 탐색부(143)는 팔의 끝부분에서 손의 위치 및 자세를 특정할 수 있다.In detail, the head search unit 141 of the tracking processor 14 specifies the head position and the direction of the torso of the user 11 based on the 2D image, the 3D image, or the hybrid image, and the arm search unit 142 has two heads. Specify the position and posture of the arm, the hand navigation unit 143 may specify the position and posture of the hand at the end of the arm.

트래킹 처리부(14)는 특정된 머리 위치, 몸통 방향, 팔의 위치와 자세, 손의 위치 및 자세 정보 중 적어도 하나 또는 그 조합을 제스처 판정부(15)로 전달한다.The tracking processor 14 transmits at least one or a combination of the specified head position, the body direction, the position and posture of the arm, the position and the posture information of the hand to the gesture determination unit 15.

제스처 판정부(15)는 트래킹 처리부(14)에서 전달된 정보들을 기초로 제스처를 판정하며, 판정된 제스처에 따라 지정된 명령이 제어부(16)에 입력된다.The gesture determination unit 15 determines a gesture based on the information transmitted from the tracking processing unit 14, and a command specified in accordance with the determined gesture is input to the controller 16.

제어부(16)는 메모리(17)에 저장된 프로그램 내지 데이터에 대해 명령을 수행하고, 영상 처리부(18)는 그러한 명령의 수행 결과 일어나는 화면 상의 변화를 생성한다. 변화된 화면은 영상 출력부(19)에 의해 스크린(12)에 표시될 수 있다.The controller 16 executes a command on a program or data stored in the memory 17, and the image processor 18 generates a change on the screen resulting from the execution of such a command. The changed screen may be displayed on the screen 12 by the image output unit 19.

도 3은 본 발명의 일 실시예에 따른 제스처 인식을 위한 신체 트래킹 방법을 예시한 순서도이다.3 is a flowchart illustrating a body tracking method for gesture recognition according to an embodiment of the present invention.

도 3을 참조하면, 제스처 인식을 위한 신체 트래킹 방법은, 먼저 단계(S31)에서, 사용자(11)의 머리 위쪽에 소정 이격 거리를 두고 설치된 카메라(13)에 의해 내려다 보는 화각으로 사용자(11)의 머리, 어깨, 팔 및 손이 포함된 신체 영상을 획득한다.Referring to FIG. 3, in the body tracking method for gesture recognition, first, in step S31, the user 11 has an angle of view looking down by the camera 13 installed at a predetermined distance above the head of the user 11. Body images, including the head, shoulders, arms and hands of the child.

이어서, 단계(S32)에서는, 신체 영상 중에서 머리 위치를 머리 영역 내지 머리 중심 좌표로써 특정한다. Subsequently, in step S32, the head position is specified as the head region to the head center coordinates in the body image.

이때, 두부가 식별되지 않으면, 카메라(13)는 촬영을 종료하고 오류 메시지를 내거나, 위치 또는 방향, 화각을 변경하면서 두부가 식별되는 영상을 얻을 때까지 촬영을 반복할 수 있다.In this case, if the head is not identified, the camera 13 may repeat the shooting until the image is identified while the head is terminated and an error message is issued or the position, the direction, and the angle of view are changed.

2D 영상인 경우에는 머리 부위의 특징점(features), 예를 들어 귀나, 코와 같은 돌출 부위들을 추출하여 머리 영역을 식별하고 그 중심 좌표를 도출하여 머리 중심 좌표를 특정할 수 있다.In the case of a 2D image, feature points of the head, for example, ears or nose, may be extracted to identify a head region and derive a center coordinate thereof to specify a head center coordinate.

3D 영상 또는 하이브리드 영상의 경우에는, 깊이 정보를 픽셀 값으로 하는 히스토그램을 이용하여 영상 내에서 국부적으로 또는 전역으로 카메라에 가장 가깝게 측정된 픽셀의 좌표, 즉 머리 중심 좌표를 찾을 수 있다. 나아가, 머리 중심 좌표를 중심으로 특정 깊이 값 이내의 영역이나, 머리 중심 좌표를 중심으로 깊이 값이 급격하게 변하는 경계선 안쪽의 영역, 또는 머리 중심 좌표를 중심으로 한 소정 크기의 원형 내지 타원형 영역을 머리 영역이라고 특정할 수 있다.In the case of a 3D image or a hybrid image, a histogram using depth information as a pixel value may be used to find coordinates of a pixel measured closest to the camera locally or globally in the image, that is, head center coordinates. Furthermore, the head is located within an area within a certain depth value based on the head center coordinates, an area inside the boundary line where the depth value changes rapidly around the head center coordinates, or a circular to elliptical area of a predetermined size centered on the head center coordinates. It can be specified as an area.

특히, 이전 프레임에서 머리 영역이나 좌표가 특정된 경우에, 이후의 프레임에서는, 이전 프레임의 머리 영역이나 머리 중심 좌표의 일정 범위 이내부터 우선적으로 머리 영역이나 머리 중심 좌표를 찾는 연산을 시작할 수 있다.In particular, when the head region or the coordinates are specified in the previous frame, in the subsequent frame, the operation for searching the head region or the head center coordinates may be started from within a predetermined range of the head region or the head center coordinates of the previous frame.

다만, 사용자(11)가 손을 머리보다 높게 들고 있다면 국부적이나 전역에서 카메라에 가장 가깝게 측정된 픽셀은 머리가 아닌 손에 해당할 것이므로, 이러한 오류를 피하기 위해, 선택된 영역의 면적이 소정 값 이하라면 머리 영역으로 판정하지 않을 수 있다.However, if the user 11 holds the hand higher than the head, the pixel measured closest to the camera locally or globally will correspond to the hand rather than the head. Therefore, if the area of the selected area is less than or equal to a predetermined value to avoid this error, May not be determined as the head region.

이러한 단계(S32)를 설명하기 위해 도 4를 잠시 참조하면, 도 4는 본 발명의 일 실시예에 따른 신체 트래킹 방법 및 시스템에서, 천장 카메라로 촬영된 3D 영상으로부터 머리에 해당하는 위치를 추출하는 절차를 예시한 도면이다.Referring to FIG. 4 momentarily to explain this step (S32), FIG. 4 is a method for extracting a position corresponding to a head from a 3D image captured by a ceiling camera in a body tracking method and system according to an embodiment of the present invention. A diagram illustrating the procedure.

사용자(11)의 정수리 위쪽에서 획득한 신체 영상은 머리 부분이 카메라(13)에 가장 가까워 픽셀 값들이 밝게 표현되고, 나머지 몸통 부위들이 카메라(13)와의 거리에 따라 어두워지는 픽셀 값들로써 표현되어 있다.The body image obtained from the top of the crown of the user 11 is represented as pixel values that are brighter because the head is closest to the camera 13 and the remaining body parts are darkened according to the distance from the camera 13. .

사용자(11)가 자신의 눈높이에 설치된 스크린을 자연스럽게 바라보는 상황을 가정하면, 사용자(11)의 정수리 위쪽에서 획득된 신체 영상의 히스토그램을 분석하면 가장 밝은 픽셀이 위치한 좌표가 정수리에 해당하는 머리 중심 좌표로 간주될 수 있다.Assuming that the user 11 naturally looks at the screen installed at his or her eye level, when analyzing the histogram of the body image obtained from the upper part of the parietal of the user 11, the head center where the brightest pixel is located is the parietal. Can be regarded as coordinates.

이러한 정수리로 간주되는 머리 중심 좌표를 중심으로 픽셀 값(즉 깊이 정보)이 소정 범위 내에 있는 픽셀들의 영역이나, 또는 머리 중심 좌표를 중심으로 픽셀 값이 갑자기 변하는 경계선 안쪽의 영역을 머리 영역이라고 특정할 수 있다.The area of pixels whose pixel value (i.e. depth information) is within a predetermined range around the head center coordinates considered as a parietal, or the area inside the boundary line where the pixel value suddenly changes around the head center coordinates can be identified as the head area. Can be.

또한, 위에서 보았을 때에 사람의 머리를 정수리를 중심으로 대략 원형 내지 타원형으로 단순화할 수 있는데, 본 발명의 신체 트래킹 방법은 머리 부분 영역을 대략적으로 이용할 뿐이므로, 정수리로 간주된 머리 중심 좌표를 중심으로 소정 크기의 원형 또는 타원형 영역을 머리 영역이라고 특정할 수 있다.In addition, when viewed from above, the human head can be simplified to approximately circular to oval around the parietal. Since the body tracking method of the present invention only uses the head region roughly, the head center coordinates regarded as the parietal are centered. A circular or elliptical region of a predetermined size may be designated as a head region.

이를 위해 단계(S33)에서는, 머리 위치 주변에서 나타나는 소정 범위의 픽셀 값들을 가진 픽셀들로써 특정된 어깨 영역을 탐색하고, 어깨 영역의 양 끝부분에 해당하는 좌우 어깨 위치를 특정한다.To this end, in step S33, the shoulder region specified by the pixels having a predetermined range of pixel values appearing around the head position is searched, and the left and right shoulder positions corresponding to both ends of the shoulder region are specified.

이때, 만약 사용자(11)가 스크린을 등지고 있다면 사용자(11)의 제스처는 화면의 메뉴 조작을 의도한 것이 아닐 것이므로 무시되어야 하는데, 이를 위해 선택적인 단계(S34)에서는 어깨 영역에 기초하여 몸통의 각도를 더 결정할 수도 있다.In this case, if the user 11 backs the screen, the gesture of the user 11 may not be intended because the menu operation of the screen is not intended. For this purpose, in the optional step S34, the angle of the torso is based on the shoulder region. May be further determined.

정수리에서 촬영한 사용자(11)의 신체 영상의 히스토그램을 분석하면, 머리를 제외하고 두 번째로 많이 나타나는 깊이 값들은 어깨와 목 주변에 해당할 것이므로, 이러한 범위의 깊이 값들을 갖는 픽셀들로써 어깨 영역을 특정한다.Analyzing the histogram of the body image of the user 11 taken from the parietal, since the second most prominent depth values except the head will correspond to the shoulder and neck area, the shoulder region is defined by the pixels having the depth values in this range. It is specified.

구체적으로 예시하면, 어깨 영역만을 따로 추출한 임시 영상에서, 머리 중심 좌표를 기준으로 소정 각도씩 회전하는 선분을 가정하자. 이 선분이 소정 각도씩 회전할 때마다 만나는 어깨 영역의 픽셀들의 값들을 더하고 각각의 합산치들을 비교하면, 이 선분이 어깨 영역의 양쪽 끝부분과 만나는 경우에 이 합산치가 최대값을 가질 것이다. 이렇게 합산치를 최대로 만드는 선분이 어깨 영역과 만나는 가장 먼 픽셀들이 있는 부위가 각각 좌우 어깨의 끝이라고 할 수 있다.Specifically, assume a line segment that rotates by a predetermined angle based on the head center coordinates in the temporary image extracted only from the shoulder region. When this line segment is rotated by a certain angle, the values of the pixels in the shoulder region that meet each other are added and the respective sum values are compared, and this sum will be the maximum if the line segment meets both ends of the shoulder region. The end of the left and right shoulders is the area with the furthest pixels where the segment that maximizes the sum meets the shoulder area.

따라서, 그러한 합산치를 최대로 만드는 선분에 직각을 이루는 법선이 몸통의 각도가 될 수 있다.Thus, the normal to the line segment perpendicular to the summation can be the angle of the torso.

나아가, 사용자(11)가 메뉴 조작을 개시하기 위한 진입 제스처를 하는 시점에는 스크린(12)을 바라보고 있을 것이라고 강하게 추정할 수 있는데, 이러한 진입 제스처 시점에 어깨 영역에서 합산치를 최대로 만드는 선분에 직각을 이루는 법선을 몸의 정면 방향으로 볼 수 있다. 메뉴 조작 중에 언제라도 사용자(11)가 상체를 돌릴 수 있기 때문에, 몸통의 방향은 지속적으로 추적되어야 할 필요는 있다.Further, it can be strongly estimated that the user 11 is looking at the screen 12 at the time of the entry gesture for initiating the menu operation, which is perpendicular to the line segment that maximizes the sum in the shoulder region at the time of the entry gesture. The normal forming this can be seen in the front direction of the body. Since the user 11 can turn the upper body at any time during the menu operation, the direction of the torso needs to be continuously tracked.

한편, 몸의 정면 방향이 결정된 후에는 이러한 정면 방향에 기초하여 어깨 영역 중에 특히 좌측 어깨 위치와 우측 어깨 위치도 특정할 수 있다.On the other hand, after the frontal direction of the body is determined, in particular, the left shoulder position and the right shoulder position can be specified in the shoulder region based on this frontal direction.

다른 실시예에서는 예를 들어, 머리 중심 좌표 또는 머리 영역을 중심으로 하여 일정한 크기의 원을 가정하면, 이 원이 몸통의 경계와 만나는 지점을 좌우 어깨 위치로 간주할 수 있다.In another embodiment, for example, assuming a circle of constant size centered on the head center coordinates or the head region, the point where the circle meets the boundary of the trunk can be regarded as the left and right shoulder positions.

다시 도 2로 돌아와서, 단계(S35)에서는, 어깨 영역의 좌우 어깨 위치로부터 각각 팔 영역을 탐색하여 팔의 위치와 자세를 특정한다.2, in step S35, the arm region is searched from the left and right shoulder positions of the shoulder region to specify the position and posture of the arm.

구체적으로 팔 영역을 탐색하는 절차를 예시하기 위해 도 5를 참조하면, 도 5는 본 발명의 일 실시예에 따른 신체 트래킹 방법 및 시스템에서, 손 동작에 따른 제스처를 인식하기 위해 팔과 손을 찾는 절차를 예시한 도면이다.Specifically, referring to FIG. 5 to illustrate a procedure of searching for an arm region, FIG. 5 is a method for tracking an arm and a hand to recognize a gesture according to a hand gesture in a body tracking method and system according to an embodiment of the present invention. A diagram illustrating the procedure.

좌우 어깨 위치로 간주된 픽셀부터 시작하여 인접한 픽셀들 중에 몸통의 경계선에 해당하는 픽셀들, 즉 픽셀 값이 카메라(13)로부터 팔까지의 거리에 상응하는 특정 범위 내에 있는 픽셀들을 반복적으로 탐색함으로써, 그러한 경계선에 해당하는 픽셀들로써 팔 영역을 특정한다.By recursively searching for pixels corresponding to the boundary of the body, starting from the pixel considered to be the left and right shoulder positions, that is, pixels whose pixel value is within a specific range corresponding to the distance from the camera 13 to the arm, The arm region is specified by the pixels corresponding to the boundary line.

예를 들어, 좌우 어깨 위치의 경계선에 있는 한 픽셀에서 시작하여, 그 픽셀의 주변에 있는 8 개의 픽셀들 중에 경계선에 있는 다음 픽셀을 찾는다. 인접한 픽셀 값이 크게 다른 픽셀 중 몸통에 해당하는 픽셀이 팔 영역의 경계선에 있는 픽셀로 결정될 수 있다.For example, starting with one pixel at the boundary of the left and right shoulder positions, the next pixel in the boundary is found among the eight pixels around the pixel. A pixel corresponding to a body among pixels having greatly different adjacent pixel values may be determined as a pixel on a boundary line of an arm region.

이렇게 하여 팔의 경계선을 이루는 픽셀들이 반복적으로 탐색된다. 탐색된 경계선 픽셀들에 의해 이루어진 영역이 팔 영역에 해당한다.In this way, the pixels forming the arm boundary are searched repeatedly. The area formed by the searched boundary pixels corresponds to the arm area.

연산을 좀더 단순화할 수 있도록, 왼팔은 좌측 어깨 위치에서 시계 방향으로 탐색을 하고, 오른팔은 우측 어깨 위치에서 반시계 방향으로 탐색할 수 있다.To simplify the operation further, the left arm can navigate clockwise from the left shoulder position and the right arm can navigate counterclockwise from the right shoulder position.

나아가, 도 5에서는 오른팔만 탐색되고 왼팔은 탐색되지 않는 경우가 예시되는데, 팔 영역의 연장된 길이가 몸통에서 충분히 멀지 않으면 팔을 펴고 있지 않다고 판정하고, 이후 단계에서 해당 팔에 대해 손 영역을 탐색하지 않을 수 있다.Furthermore, in FIG. 5, only the right arm is searched and the left arm is not searched. When the extended length of the arm area is not far enough from the torso, it is determined that the arm is not extended and the hand area is searched for the arm in a later step. You can't.

단계(S36)에서는, 탐색된 팔 영역의 끝에서 손 영역을 탐색하고 손의 위치와 자세를 특정한다.In step S36, the hand area is searched at the end of the searched arm area and the position and posture of the hand are specified.

앞서 단계(S35)에서 탐색된 팔 영역의 끝을 손 영역으로 간주된다. 따라서 팔 영역의 끝 부분에서 소정 면적을 손 영역으로 특정하고, 손 영역 내의 픽셀들이 이루는 형상을 식별하여 손이 이루는 자세를 탐색할 수 있다.The end of the arm area searched in step S35 above is regarded as the hand area. Therefore, a predetermined area may be specified as the hand region at the end of the arm region, and the posture of the hand may be searched by identifying the shape of the pixels in the hand region.

구체적으로 예를 들면, 도 6은 본 발명의 일 실시예에 따른 신체 트래킹 방법 및 시스템에서, 손의 위치를 파악한 후에 손 자세를 판단하는 절차를 예시한 도면이다.Specifically, for example, Figure 6 is a diagram illustrating a procedure for determining the hand posture after determining the position of the hand in the body tracking method and system according to an embodiment of the present invention.

예를 들어, 손을 펴거나 주먹을 쥐는 두 가지 종류의 제스처를 판정한다고 가정할 때, 손 영역에 그린 원이 손 영역과 만나면서 기울기(gradient)가 빈번하게 변할 경우에 여러 개의 손가락을 길게 편 자세라고 판정할 수 있을 것이다. 나아가, 기울기가 급변하는 횟수에 근거하여 편 손가락의 개수도 판정할 수 있을 것이다. 또는 손 영역의 경계선을 이루는 픽셀 수가 상대적으로 많으면 손을 편 것으로 판정할 수 있을 것이다.For example, suppose you are judging two kinds of gestures: spread your hand or clench your fist. Will be determined. Further, the number of single fingers may also be determined based on the number of times the slope changes abruptly. Alternatively, when the number of pixels forming the boundary of the hand region is relatively high, it may be determined that the hand is folded.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명이 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이와 균등하거나 또는 등가적인 변형 모두는 본 발명 사상의 범주에 속한다 할 것이다.As described above, although the present invention has been described by way of limited embodiments and drawings, the present invention is not limited to the above-described embodiments, which can be variously modified and modified by those skilled in the art to which the present invention pertains. Modifications are possible. Accordingly, the spirit of the invention should be understood only by the claims set forth below, and all equivalent or equivalent modifications will fall within the scope of the invention.

10 신체 트래킹 시스템 11 사용자
12 스크린 13 카메라
14 트래킹 처리부 141 머리 탐색부
142 팔 탐색부 143 손 탐색부10 Body Tracking System 11 Users
12 screen 13 camera
14 Tracking Processor 141 Head Searcher
142 Arm Navigation 143 Hand Navigation

Claims (20)

사용자 머리 위쪽에 설치되어 사용자를 내려다 보는 화각으로 사용자의 머리, 어깨, 팔 및 손이 포함된 신체 영상을 촬영하는 카메라; 및
상기 신체 영상의 일부분 또는 전체에 대한 히스토그램 분석을 통해 상기 카메라에 가장 가까운 깊이 정보를 가진 픽셀을 포함하는 일정 영역을 머리 위치로 특정하고, 상기 특정된 머리 위치에 기초하여 어깨 영역을 검출하며 그로부터 팔 위치 및 손의 위치 또는 자세를 순차적으로 특정하는 트래킹 처리부를 포함하는 신체 트래킹 시스템.A camera installed above the user's head to capture a body image including the user's head, shoulders, arms and hands with an angle of view looking down at the user; And
A histogram analysis of a portion or the entirety of the body image specifies a region including a pixel having depth information closest to the camera as the head position, and detects a shoulder region based on the specified head position and arms from there. A body tracking system comprising a tracking processor that sequentially specifies position and position or posture of a hand. 청구항 1에 있어서,
상기 카메라는 색상 정보를 제공하는 2D 카메라, 깊이 정보를 제공하는 3D 카메라 또는 색상 정보와 깊이 정보를 함께 제공하는 하이브리드 카메라 중 어느 하나인 것을 특징으로 하는 신체 트래킹 시스템.The method according to claim 1,
The camera may be any one of a 2D camera providing color information, a 3D camera providing depth information, or a hybrid camera providing both color information and depth information. 청구항 1에 있어서, 상기 트래킹 처리부는,
상기 신체 영상으로부터 사용자의 머리 위치를 특정하는 머리 탐색부;
상기 특정된 머리 위치에 기초하여 특정된 어깨 영역의 양 끝부분에 해당하는 좌우 어깨 위치에서 각각 연장되는 경계선을 따라 팔 영역을 탐색함으로써 팔의 위치 또는 자세를 특정하는 팔 탐색부; 및
상기 팔 영역의 끝부분에서 특정된 손 영역의 픽셀들의 분포로부터 손의 위치 또는 자세를 특정하는 손 탐색부를 포함하는 것을 특징으로 하는 신체 트래킹 시스템.The method according to claim 1, wherein the tracking processing unit,
A head searching unit that specifies a head position of a user from the body image;
An arm searcher that specifies an arm position or posture by searching for arm regions along boundary lines respectively extending from left and right shoulder positions corresponding to both ends of the specified shoulder region based on the specified head position; And
And a hand searcher for specifying the position or posture of the hand from the distribution of pixels of the hand region specified at the end of the arm region. 삭제delete 청구항 1에 있어서, 상기 머리 위치는 상기 카메라에 가장 가까운 깊이 정보를 가진 픽셀을 중심으로 하여, 깊이 정보가 소정 범위 내에 있는 픽셀들을 포함하거나, 또는 깊이 정보가 소정 값보다 크게 변하는 경계선 이내에 있는 픽셀들을 포함하는 것을 특징으로 하는 신체 트래킹 시스템.The method of claim 1, wherein the head position is centered on a pixel having depth information closest to the camera, and includes pixels having depth information within a predetermined range or pixels within a boundary line where the depth information varies larger than a predetermined value. Body tracking system comprising a. 청구항 3에 있어서, 상기 카메라는 깊이 정보를 제공하는 3D 카메라 또는 하이브리드 카메라 중 어느 하나이고,
상기 팔 탐색부는 상기 좌우 어깨 위치에 해당하는 픽셀에서 시작하여 주변의 픽셀들 중에 신체의 경계를 이루는 픽셀을 찾는 동작을 반복함으로써 팔 영역을 탐색하도록 동작하는 것을 특징으로 하는 신체 트래킹 시스템.The method of claim 3, wherein the camera is any one of a 3D camera or a hybrid camera that provides depth information,
And the arm searching unit is configured to search for an arm region by repeating an operation of finding a pixel forming a body boundary among neighboring pixels starting from a pixel corresponding to the left and right shoulder positions. 청구항 3에 있어서, 상기 카메라는 깊이 정보를 제공하는 3D 카메라 또는 하이브리드 카메라 중 어느 하나이고,
상기 팔 탐색부는 상기 특정된 머리 위치 주변에서 깊이 정보가 소정 범위 내에 있는 픽셀들로써 어깨 영역을 특정하고, 상기 머리 위치를 중심으로 소정 크기의 원과 상기 특정된 어깨 영역의 경계선이 만나는 지점을 상기 좌우 어깨 위치로 특정하며, 상기 좌우 어깨 위치에 해당하는 픽셀에서 시작하여 주변의 픽셀들 중에서 신체의 경계를 이루는 픽셀들을 찾는 동작을 반복함으로써 팔 영역을 탐색하도록 동작하는 것을 특징으로 하는 신체 트래킹 시스템.The method of claim 3, wherein the camera is any one of a 3D camera or a hybrid camera that provides depth information,
The arm searching unit specifies a shoulder region with pixels having depth information within a predetermined range around the specified head position, and the left and right points at which the boundary line between the circle of a predetermined size and the specified shoulder region meet with respect to the head position. A body tracking system, characterized by a shoulder position, operative to search for an arm region by repeating an operation of finding pixels forming a boundary of the body among pixels surrounding the pixels, starting with the pixels corresponding to the left and right shoulder positions. 청구항 3에 있어서, 상기 카메라는 깊이 정보를 제공하는 3D 카메라 또는 하이브리드 카메라 중 어느 하나이고,
상기 손 탐색부는 상기 손 영역에 중첩한 원이 만나는 픽셀들의 밝기 값 변화에 기초하여, 또는 상기 손 영역의 경계선을 이루는 픽셀들의 개수에 기초하여 손의 자세를 펴거나 쥐는 자세 중 하나로 특정하도록 동작하는 것을 특징으로 하는 신체 트래킹 시스템.The method of claim 3, wherein the camera is any one of a 3D camera or a hybrid camera that provides depth information,
The hand search unit is operable to specify one of the postures of extending or grasping the hand based on a change in the brightness value of the pixels where the circles overlapping the hand area meet, or based on the number of pixels forming the boundary of the hand area. Body tracking system, characterized in that. 청구항 3에 있어서, 상기 카메라는 깊이 정보를 제공하는 3D 카메라 또는 하이브리드 카메라 중 어느 하나이고,
상기 팔 탐색부는 상기 특정된 머리 위치를 중심으로 회전하는 가상의 직선이 상기 어깨 영역과 만나는 픽셀들의 밝기 값들의 합이 최대가 될 때에 상기 가상의 직선의 법선 방향을 몸통의 방향으로 특정하도록 동작하는 것을 특징으로 하는 신체 트래킹 시스템.The method of claim 3, wherein the camera is any one of a 3D camera or a hybrid camera that provides depth information,
The arm search unit is operable to specify the normal direction of the virtual straight line in the direction of the body when the virtual straight line rotating about the specified head position becomes the sum of the brightness values of the pixels that meet the shoulder area. Body tracking system, characterized in that. 사용자 머리 위쪽에 설치된 카메라를 이용하여 사용자를 내려다 보는 화각으로 촬영된 사용자의 머리, 어깨, 팔 및 손이 포함된 신체 영상으로부터 상기 신체 영상의 일부분 또는 전체에 대한 히스토그램 분석을 통해 상기 카메라에 가장 가까운 깊이 정보를 가진 픽셀을 포함하는 일정 영역을 사용자의 머리 위치로 특정하는 머리 탐색부;
상기 특정된 머리 위치에 기초하여 특정된 어깨 영역의 양 끝부분에 해당하는 좌우 어깨 위치에서 픽셀들의 분포로부터 상기 좌우 어깨 위치에서 각각 연장되는 팔 영역을 탐색함으로써 팔의 위치 또는 자세를 특정하는 팔 탐색부; 및
상기 팔 영역의 끝부분에서 특정된 손 영역의 픽셀들의 분포로부터 손의 위치 또는 자세를 특정하는 손 탐색부를 포함하는 것을 특징으로 하는 신체 트래킹 시스템.Closest to the camera through histogram analysis of a part or all of the body image from a body image including the head, shoulders, arms and hands of the user, taken with an angle of view looking down at the user using a camera installed above the user's head. A head searching unit specifying a predetermined area including a pixel having depth information as a user's head position;
An arm search that specifies an arm position or posture by searching for an arm region extending from the left and right shoulder positions respectively from a distribution of pixels at left and right shoulder positions corresponding to both ends of the specified shoulder region based on the specified head position. part; And
And a hand searcher for specifying the position or posture of the hand from the distribution of pixels of the hand region specified at the end of the arm region. 사용자 머리 위쪽에 설치되어 사용자를 내려다 보는 화각의 신체 영상을 촬영하는 카메라;
상기 신체 영상의 일부분 또는 전체에 대한 히스토그램 분석을 통해 상기 카메라에 가장 가까운 깊이 정보를 가진 픽셀을 포함하는 일정 영역을 머리 위치로 특정하고, 상기 특정된 머리 위치에 기초하여 어깨 영역을 검출하며 그로부터 팔 위치, 손의 위치 및 손의 자세를 순차적으로 특정하는 트래킹 처리부;
상기 특정된 머리 위치, 팔의 위치, 손의 위치 및 손의 자세에 기초하여 사용자의 제스처를 판정하는 제스처 판정부;
상기 판정된 제스처에 따른 명령을 수행하는 제어부;
상기 명령의 수행 결과에 의해 일어나는 화면 상의 변화를 처리하는 영상 처리부; 및
상기 처리된 화면을 스크린에 출력하는 영상 출력부를 포함하는 신체 트래킹 시스템.A camera installed above the user's head for capturing a body image of an angle of view overlooking the user;
A histogram analysis of a portion or the entirety of the body image specifies a region including a pixel having depth information closest to the camera as the head position, and detects a shoulder region based on the specified head position and arms from there. A tracking processor that sequentially specifies the position, the position of the hand, and the posture of the hand;
A gesture determination unit that determines a gesture of a user based on the specified head position, arm position, hand position, and hand posture;
A control unit which performs a command according to the determined gesture;
An image processor which processes a change on a screen caused by the execution result of the command; And
Body tracking system including an image output unit for outputting the processed screen on the screen. 사용자의 머리 위쪽에 소정 이격 거리를 두고 설치된 카메라에 의해 내려다 보는 화각으로 사용자의 머리, 어깨, 팔 및 손이 포함된 신체 영상을 획득하는 단계;
상기 신체 영상의 일부분 또는 전체에 대한 히스토그램 분석을 통해 상기 카메라에 가장 가까운 깊이 정보를 가진 픽셍을 포함하는 일정 영역을 사용자의 머리 위치로 특정하는 단계;
상기 특정된 머리 위치에 기초하여 특정된 어깨 영역의 양 끝부분에 해당하는 좌우 어깨 위치에서 각각 연장되는 경계선을 따라 팔 영역을 탐색함으로써 팔의 위치 또는 자세를 특정하는 단계; 및
상기 팔 영역의 끝부분에서 특정된 손 영역의 픽셀들의 분포로부터 손의 위치 또는 자세를 특정하는 단계를 포함하는 신체 트래킹 방법.Obtaining a body image including the user's head, shoulders, arms, and hands at an angle of view overlooked by a camera installed at a predetermined distance above the user's head;
Specifying a certain area including a pixel having a depth information closest to the camera as a head position of the user through histogram analysis of a part or the whole of the body image;
Specifying an arm position or posture by searching for an arm region along a boundary line respectively extending from left and right shoulder positions corresponding to both ends of the specified shoulder region based on the specified head position; And
And specifying a position or posture of the hand from the distribution of pixels of the hand region specified at the end of the arm region. 삭제delete 청구항 12에 있어서, 상기 머리 위치는 상기 카메라에 가장 가까운 깊이 정보를 가진 픽셀을 중심으로 하여, 깊이 정보가 소정 범위 내에 있는 픽셀들을 포함하거나, 또는 깊이 정보가 소정 값보다 크게 변하는 경계선 이내에 있는 픽셀들을 포함하는 것을 특징으로 하는 신체 트래킹 방법.The method of claim 12, wherein the head position is centered on a pixel having depth information closest to the camera, and includes pixels in which the depth information is within a predetermined range or pixels within a boundary line in which the depth information varies by more than a predetermined value. Body tracking method comprising a. 청구항 12에 있어서, 상기 팔의 위치 또는 자세를 특정하는 단계는,
상기 머리 위치 주변에서 나타나는 소정 범위의 밝기 값들을 가진 픽셀들로써 특정된 어깨 영역을 특정하는 단계;
상기 어깨 영역의 양 끝부분에서 좌우 어깨 위치를 특정하는 단계; 및
상기 좌우 어깨 위치로부터 각각 팔 영역을 탐색하여 팔의 위치와 자세를 특정하는 단계를 포함하는 것을 특징으로 하는 신체 트래킹 방법. The method of claim 12, wherein specifying the position or posture of the arm comprises:
Specifying a shoulder region specified by pixels having a range of brightness values appearing around the head position;
Specifying left and right shoulder positions at both ends of the shoulder region; And
And searching for the arm region from the left and right shoulder positions, respectively, to specify the position and posture of the arm. 청구항 15에 있어서, 상기 어깨 영역의 양 끝부분에서 좌우 어깨 위치를 특정하는 단계는,
상기 머리 위치를 중심으로 소정 크기의 원과 상기 어깨 영역의 경계선이 만나는 지점을 상기 좌우 어깨 위치로 특정하는 단계를 포함하는 것을 특징으로 하는 신체 트래킹 방법.The method of claim 15, wherein specifying left and right shoulder positions at both ends of the shoulder region comprises:
And specifying a point where a circle of a predetermined size meets a boundary line of the shoulder region around the head position as the left and right shoulder positions. 청구항 15에 있어서, 상기 어깨 영역의 양 끝부분에서 좌우 어깨 위치를 특정하는 단계는,
상기 특정된 머리 위치를 중심으로 회전하는 가상의 직선이 상기 어깨 영역과 만나는 픽셀들의 밝기 값들의 합이 최대가 될 때에 상기 가상의 직선이 상기 어깨 영역의 경계선과 만나는 지점을 상기 좌우 어깨 위치로 특정하는 단계를 포함하는 것을 특징으로 하는 신체 트래킹 방법.The method of claim 15, wherein specifying left and right shoulder positions at both ends of the shoulder region comprises:
Specifying the point where the virtual straight line meets the boundary line of the shoulder area as the left and right shoulder positions when the virtual straight line rotating around the specified head position becomes the maximum sum of the brightness values of the pixels meeting the shoulder area. Body tracking method comprising the step of. 청구항 15에 있어서, 상기 좌우 어깨 위치로부터 각각 팔 영역을 탐색하여 팔의 위치와 자세를 특정하는 단계는,
상기 좌우 어깨 위치에 해당하는 픽셀에서 시작하여 주변의 픽셀들 중에 신체의 경계를 이루는 픽셀을 찾는 동작을 반복함으로써 팔 영역을 탐색하는 단계를 포함하는 것을 특징으로 하는 신체 트래킹 방법.The method of claim 15, wherein searching for arm regions from the left and right shoulder positions, respectively, specifies the position and posture of the arm.
And searching for an arm region by repeating an operation of finding a pixel forming a body boundary among neighboring pixels starting from the pixel corresponding to the left and right shoulder positions. 청구항 12에 있어서, 상기 손의 위치 또는 자세를 특정하는 단계는,
상기 손 영역에 중첩한 원이 만나는 픽셀들의 밝기 값 변화에 기초하여, 또는 상기 손 영역의 경계선을 이루는 픽셀들의 개수에 기초하여 손의 자세를 펴거나 쥐는 자세 중 하나로 특정하는 단계를 포함하는 것을 특징으로 하는 신체 트래킹 방법.The method of claim 12, wherein specifying the position or posture of the hand comprises:
Specifying one of the posture of stretching or pinching the hand based on a change in brightness value of pixels where the circle overlapping the hand region meets or based on the number of pixels forming a boundary line of the hand region. Body tracking method. 청구항 12에 있어서,
상기 특정된 머리 위치를 중심으로 회전하는 가상의 직선이 상기 어깨 영역과 만나는 픽셀들의 밝기 값들의 합이 최대가 될 때에 상기 가상의 직선의 법선 방향을 몸통의 방향으로 특정하는 단계를 더 포함하는 것을 특징으로 하는 신체 트래킹 방법.The method of claim 12,
Specifying the normal direction of the imaginary straight line in the direction of the body when the imaginary straight line rotating around the specified head position becomes the sum of the brightness values of the pixels that meet the shoulder area. A body tracking method characterized by the above-mentioned.
KR1020110080799A 2011-08-12 2011-08-12 Method and system for body tracking for spatial gesture recognition KR101256046B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110080799A KR101256046B1 (en) 2011-08-12 2011-08-12 Method and system for body tracking for spatial gesture recognition
PCT/KR2012/006372 WO2013025011A1 (en) 2011-08-12 2012-08-10 Method and system for body tracking for recognizing gestures in a space

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110080799A KR101256046B1 (en) 2011-08-12 2011-08-12 Method and system for body tracking for spatial gesture recognition

Publications (2)

Publication Number Publication Date
KR20130018004A KR20130018004A (en) 2013-02-20
KR101256046B1 true KR101256046B1 (en) 2013-04-18

Family

ID=47715271

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110080799A KR101256046B1 (en) 2011-08-12 2011-08-12 Method and system for body tracking for spatial gesture recognition

Country Status (2)

Country Link
KR (1) KR101256046B1 (en)
WO (1) WO2013025011A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150116318A (en) 2014-04-07 2015-10-15 동의대학교 산학협력단 System and Method for analyzing golf swing motion using Depth Information
CN110336973A (en) * 2019-07-29 2019-10-15 联想(北京)有限公司 Information processing method and its device, electronic equipment and medium

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101566198B1 (en) * 2013-06-28 2015-11-05 삼성전자주식회사 Method for moving display of ultrasound diagnostic device, and ultrasound diagnostic apparatus
KR102106135B1 (en) 2013-10-01 2020-05-04 한국전자통신연구원 Apparatus and method for providing application service by using action recognition
KR101536753B1 (en) * 2013-10-31 2015-07-15 주식회사 골프존 Method and system for image processing based on user's gesture recognition
PL411338A1 (en) * 2015-02-23 2016-08-29 Samsung Electronics Polska Spółka Z Ograniczoną Odpowiedzialnością Method for interaction with virtual objects in the three-dimensional space and the system for the interaction with virtual objects in the three-dimensional space
KR102325269B1 (en) * 2019-11-13 2021-11-12 주식회사 지엘 Hand tracking system using epth camera and electromyogram sensors

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100808543B1 (en) 2006-09-15 2008-02-29 한국과학기술연구원 Apparatus and method for acquiring man movement information using stereo vision sensor
KR100955539B1 (en) * 2008-02-01 2010-04-30 문명철 Motion analysis system for golf swing and motion analysis method adapted for the same
KR20110040074A (en) * 2009-10-13 2011-04-20 삼성전자주식회사 Apparatus and method for markerless motion capturing

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10111940A (en) * 1996-10-09 1998-04-28 Matsushita Electric Ind Co Ltd Physical feature point detector and physical motion analyzer
JP3987048B2 (en) * 2003-03-20 2007-10-03 本田技研工業株式会社 Vehicle periphery monitoring device
KR100907704B1 (en) * 2007-11-02 2009-07-14 동국대학교 산학협력단 Golfer's posture correction system using artificial caddy and golfer's posture correction method using it

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100808543B1 (en) 2006-09-15 2008-02-29 한국과학기술연구원 Apparatus and method for acquiring man movement information using stereo vision sensor
KR100955539B1 (en) * 2008-02-01 2010-04-30 문명철 Motion analysis system for golf swing and motion analysis method adapted for the same
KR20110040074A (en) * 2009-10-13 2011-04-20 삼성전자주식회사 Apparatus and method for markerless motion capturing

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150116318A (en) 2014-04-07 2015-10-15 동의대학교 산학협력단 System and Method for analyzing golf swing motion using Depth Information
CN110336973A (en) * 2019-07-29 2019-10-15 联想(北京)有限公司 Information processing method and its device, electronic equipment and medium
CN110336973B (en) * 2019-07-29 2021-04-13 联想(北京)有限公司 Information processing method and device, electronic device and medium

Also Published As

Publication number Publication date
KR20130018004A (en) 2013-02-20
WO2013025011A1 (en) 2013-02-21

Similar Documents

Publication Publication Date Title
US11546505B2 (en) Touchless photo capture in response to detected hand gestures
JP6393367B2 (en) Tracking display system, tracking display program, tracking display method, wearable device using them, tracking display program for wearable device, and operation method of wearable device
KR101256046B1 (en) Method and system for body tracking for spatial gesture recognition
JP5728009B2 (en) Instruction input device, instruction input method, program, recording medium, and integrated circuit
KR100869447B1 (en) Apparatus and method for indicating a target by image processing without three-dimensional modeling
JP7026825B2 (en) Image processing methods and devices, electronic devices and storage media
CN107004275A (en) For determining that at least one of 3D in absolute space ratio of material object reconstructs the method and system of the space coordinate of part
WO2013180151A1 (en) Position-of-interest detection device, position-of-interest detection method, and position-of-interest detection program
US10372229B2 (en) Information processing system, information processing apparatus, control method, and program
CN111527468A (en) Air-to-air interaction method, device and equipment
WO2017147748A1 (en) Wearable system gesture control method and wearable system
CN108629799B (en) Method and equipment for realizing augmented reality
CN106203364B (en) System and method is tried in a kind of interaction of 3D glasses on
JP2015118442A (en) Information processor, information processing method, and program
CN107145822A (en) Deviate the method and system of user's body feeling interaction demarcation of depth camera
CN111291746B (en) Image processing system and image processing method
US11138743B2 (en) Method and apparatus for a synchronous motion of a human body model
JPWO2020080107A1 (en) Information processing equipment, information processing methods, and programs
JP5416489B2 (en) 3D fingertip position detection method, 3D fingertip position detection device, and program
JP6230666B2 (en) Data input device, data input method, and data input program
JP2019046472A (en) Image processing device and image processing method
JP6632298B2 (en) Information processing apparatus, information processing method and program
KR20150028623A (en) Method and apparatus for processing images
JP5951966B2 (en) Image processing apparatus, image processing system, image processing method, and program
KR102430273B1 (en) Wide viewing angle stereo camera- based first person vision system and image processing method using the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160328

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170306

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190313

Year of fee payment: 7