KR101868903B1 - 손 추적 장치 및 방법 - Google Patents

손 추적 장치 및 방법 Download PDF

Info

Publication number
KR101868903B1
KR101868903B1 KR1020120003288A KR20120003288A KR101868903B1 KR 101868903 B1 KR101868903 B1 KR 101868903B1 KR 1020120003288 A KR1020120003288 A KR 1020120003288A KR 20120003288 A KR20120003288 A KR 20120003288A KR 101868903 B1 KR101868903 B1 KR 101868903B1
Authority
KR
South Korea
Prior art keywords
hand
image
unit
skin color
region
Prior art date
Application number
KR1020120003288A
Other languages
English (en)
Other versions
KR20130082216A (ko
Inventor
윤우한
이재연
김도형
김재홍
손주찬
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120003288A priority Critical patent/KR101868903B1/ko
Priority to US13/596,523 priority patent/US9280703B2/en
Publication of KR20130082216A publication Critical patent/KR20130082216A/ko
Application granted granted Critical
Publication of KR101868903B1 publication Critical patent/KR101868903B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상 장치로부터 입력된 영상에서 사용자의 손의 위치를 추적하기 위한 장치 및 방법에 관한 것이다. 본 발명은 미리 결정된 사용자의 피부색을 이용하여 영상장치로부터 입력 받은 영상으로부터 피부색 영역을 검출하는 피부색 영상 검출부, 검출된 피부색 영상을 이용하여 얼굴을 추적하는 얼굴 추적부, 추적된 얼굴에 대한 위치정보를 이용하여 관심영역(ROI: Region Of Interest)을 설정하고, 설정된 관심영역에서의 움직임 영역을 검출하는 움직임 영상 검출부, 피부색 영상 검출부에서 검출된 피부색 영상과 움직임 영상 검출부에서 검출된 움직임 영상을 이용하여 상기 사용자의 손에 대한 후보 영역을 추출하는 후보 영역 추출부 및 추출된 후보영역에서 손의 위치를 추적하여 최종적인 손의 위치를 찾아내는 손 추적부를 포함한다. 본 발명에 따르면 두 개의 카메라를 이용하여 원거리에서 안정적이고 빠른 응답속도를 가지는 손의 위치를 추적하는 것이 가능하다.

Description

손 추적 장치 및 방법{Apparatus and method for tracking human hand by using color features}
본 발명은 두 카메라로부터 얻어진 영상정보를 이용하여 원거리에서 사람의 손을 추적하는 방법에 관한 것이다. 특히 본 발명은, 원거리에 있는 사람의 손을 빠르게 추적하여 그 위치 및 거리정보를 추출하는 방법에 관한 것이다.
사람의 손을 추적하는 기술은 제스처 인식을 통한 미래형 사용자 인터페이스, 지능형 로봇과의 인터랙션(Interaction), 엔터테인먼트용 인터페이스 등 다양한 분야에서 활용하기 위해 개발이 필요한 핵심기술이다. 이러한 손을 추적하는 기술은 기존에 주로 근거리에서 동작이 가능한 다양한 방법들이 연구되어 왔으나 원거리 및 빠른 반응속도의 측면에대한 추가 개발이 필요하다. 또한 거리 정보를 얻는 방법으로 깊이 카메라(Depth Camera)나 두 카메라를 활용한 스테레오 이미지를 사용하는 방법 등이 이용되어 왔지만 깊이 카메라의 경우, 고가의 추가적인 장치가 필요하였고, 스테레오 이미지의 경우, 처리 속도에 대한 문제가 있었다.
본 발명에서는 이러한 두 측면(원거리, 빠른 반응속도)에 있어 성능을 높이면서도 두 카메라를 이용하여 거리정보까지 얻을 수 있는 실제 사용이 가능한 손 추적 방법을 제안한다.
본 발명은 상기 종래 기술의 문제를 해결하기 위하여 안출된 것으로서, 거리 및 반응속도에 대한 성능을 높이면서 적어도 두 개의 카메라를 이용하여 거리정보를 얻을 수 있는 실제 사용이 가능한 손 추적 방법을 제안한다. 또한 본 발명은 영상장치로부터 입력 받은 영상에 포함된 사용자의 손을 안정적이고 빠른 반응속도로 추적하는 방법을 제공하는 것을 목적으로 한다.
상기 기술적 과제를 해결하기 위한 본 발명의 일실시예에 따른 손 추적 장치는 미리 결정된 사용자의 피부색을 이용하여 영상장치로부터 입력 받은 영상으로부터 피부색 영상을 검출하는 피부색 영상 검출부; 상기 피부색 영상 검출부에서 검출된 피부색 영상을 이용하여 얼굴을 추적하는 얼굴 추적부; 상기 얼굴 추적부에서 추적된 얼굴에 대한 위치정보를 이용하여 관심영역(ROI: Region Of Interest)을 설정하고, 설정된 관심영역에서의 움직임 영상을 검출하는 움직임 영상 검출부; 상기 피부색 영상 검출부에서 검출된 피부색 영상과 움직임 영상 검출부에서 검출된 움직임 영상을 이용하여 상기 사용자의 손에 대한 후보 영역을 추출하는 후보 영역 추출부; 및 상기 후보 영역 추출부에서 추출된 후보영역에서 손의 위치를 추적하여 손의 위치를 찾아내는 손 추적부를 포함한다.
상기 피부색 영상 검출부는 최초의 얼굴 위치를 입력 받아 상기 얼굴의 피부색을 이용하여 상기 영상에 대한 히스토그램 모델(color histogram model)을 생성하는 히스토그램 모델 생성부; 및 상기 히스토그램 모델 생성부에서 생성된 상기 히스토그램 모델을 기반으로 히스토그램 백프로젝션(histogram back-projection)방법을 적용하여 피부색 영상을 생성하는 피부색 영상 생성부를 포함한다.
상기 얼굴추적부가 상기 얼굴을 추적하는 것은 상기 피부색 영상에 대하여 평균 이동 추적(mean shift tracking)방법을 이용하여 얼굴의 위치를 추적하는 것이 바람직하다.
상기 움직임 영상 검출부는, 상기 얼굴 추적부에서 추적된 얼굴의 위치를 이용하여 상기 관심영역을 설정하는 관심영역 설정부; 및 상기 설정된 관심 영역에 대하여 입력된 영상간의 차이(Frame difference)를 이용하여 움직임 영역을 검출하는 움직임 영상 생성부를 포함한다.
상기 관심영역 설정부에서 상기 관심영역으로 설정하는 것은 상기 사용자의 얼굴의 위치를 기준으로 손이 도달 가능한 영역을 설정하는 것이 바람직하다.
상기 움직임 영상 검출부에서 검출되는 움직임 영상은 연속하여 입력된 현재 영상과 이전 영상의 차이를 N번 누적하여 생성된 움직임 히스토리(Motion History)정보를 이용하여 검출되는 것이 바람직하다.
상기 연속하여 입력된 영상의 차이를 N번 누적하는 것은 상기 영상의 차이들의 논리합(Logical Oring)을 이용하여 누적하는 것이 바람직하다.
상기 후보 영역 추출부는 상기 피부색 영상 검출부에서 생성된 피부색 영상과 상기 움직임 영상 검출부에서 검출된 움직임 영상들의 교집합 영역을 생성하는 영상 조합부; 및 상기 영상 조합부에서 생성된 상기 교집합 영역에 대하여 미리 결정된 제1 알고리즘을 적용하여 손 영역의 후보를 얻는 손영역 후보 검출부를 포함한다.
상기 손영역 후보 검출부는 상기 얼굴 추적부에서 추적된 상기 얼굴의 위치 및 크기정보를 고려하여 결정된 비율을 이용하여 팔꿈치의 위치를 추정하는 팔꿈치 위치 추정부를 더 포함하고, 상기 추정된 팔꿈치의 위치를 중심으로 미리 결정된 제1 알고리즘을 적용하여 손영역의 후보를 얻는 것이 바람직하다.
상기 손 추적부는 상기 후보 영역 추출부에서 추출된 후보영역에 대해서 평균 이동 추적 방법을 적용하여 최종적인 손의 위치를 찾아내는 것이 바람직하다.
상기 손 추적 장치는 상기 손 추적부에서 추출된 손의 위치 정보에 미리 결정된 제2 알고리즘을 적용하여 실제 손의 거리 정보를 계산하는 거리 계산부를 더 포함하는 것이 바람직하다.
상기 거리 계산부는 제1 영상장치로부터 입력 받은 제1 영상에서 추적된 제1 손의 위치와 제2 영상장치로부터 입력 받은 제2 영상에서 추적된 제2 손의 위치 정보에 상기 제2 알고리즘을 적용하여 상기 실제 손의 거리 정보를 계산하는 것이 바람직하며, 상기 제1 손의 위치 및 제2 손의 위치는 상기 손 추적부에서 추적된 손의 위치인 것이 바람직하다.
상기 다른 기술적 과제를 해결하기 위한 본 발명의 일실시예에 따른 손 추적 방법은 미리 결정된 사용자의 피부색을 이용하여 영상장치로부터 입력 받은 영상으로부터 피부색 영상을 검출하는 피부색 영상 검출단계; 상기 피부색 영상 검출단계에서 검출된 피부색 영상을 이용하여 얼굴을 추적하는 얼굴 추적단계; 상기 얼굴 추적단계에서 추적된 얼굴에 대한 위치정보를 이용하여 관심영역(ROI: Region Of Interest)을 설정하고, 설정된 관심영역에서의 움직임 영상을 검출하는 움직임 영상 검출단계; 상기 피부색 영상 검출단계에서 검출된 피부색 영상과 움직임 영상 검출단계에서 검출된 움직임 영상을 이용하여 상기 사용자의 손에 대한 후보 영역을 추출하는 후보 영역 추출단계; 및 상기 후보 영역 추출단계에서 추출된 후보영역에서 손의 위치를 추적하여 손의 위치를 찾아내는 손 추적단계를 포함한다.
상기 피부색 영상 검출단계는, 최초의 얼굴 위치를 입력 받아 상기 얼굴의 피부색을 이용하여 상기 영상에 대한 히스토그램 모델(color histogram model)을 생성하는 히스토그램 모델 생성단계; 상기 히스토그램 모델 생성단계에서 생성된 상기 히스토그램 모델을 기반으로 히스토그램 백프로젝션(histogram back-projection)방법을 적용하여 피부색 영상을 생성하는 피부색 영상 생성단계를 포함한다.
상기 움직임 영상 검출단계는, 상기 얼굴 추적단계에서 추적된 얼굴의 위치를 이용하여 상기 관심영역을 설정하는 관심영역 설정단계; 상기 설정된 관심영역에 대하여 입력된 영상간의 차이(Frame difference)를 이용하여 움직임 영역을 검출하는 움직임 영상 생성단계를 포함한다.
상기 후보 영역 추출단계는, 상기 피부색 영상 검출단계에서 생성된 피부색 영상과 상기 움직임 영상 검출단계에서 검출된 움직임 영상들의 교집합 영역을 생성하는 영상 조합단계; 및 상기 영상 조합단계에서 생성된 상기 교집합 영역에 대하여 미리 결정된 제1 알고리즘을 적용하여 손 영역의 후보를 얻는 손영역 후보 검출단계를 포함한다.
상기 손영역 후보 검출단계는 상기 얼굴 추적단계에서 추적된 상기 얼굴의 위치 및 크기정보를 고려하여 결정된 비율을 이용하여 팔꿈치의 위치를 추정하는 팔꿈치 위치 추정단계를 더 포함하고, 상기 추정된 팔꿈치의 위치를 중심으로 미리 결정된 제1 알고리즘을 적용하여 손영역의 후보를 얻는 것이 바람직하다.
상기 손 추적 방법은 상기 손 추적단계에서 추출된 손의 위치 정보에 미리 결정된 제2 알고리즘을 적용하여 실제 손의 거리 정보를 계산하는 거리 계산단계를 더 포함하는 것이 바람직하다.
상기 거리 계산부는 제1 영상장치로부터 입력 받은 제1 영상에서 추적된 제1 손의 위치와 제2 영상장치로부터 입력 받은 제2 영상에서 추적된 제2 손의 위치 정보에 상기 제2 알고리즘을 적용하여 상기 실제 손의 거리 정보를 계산하는 것이 바람직하고, 상기 제1 손의 위치 및 제2 손의 위치는 상기 손 추적부에서 추적된 손의 위치인 것이 바람직하다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 손 추적 방법이 컴퓨터상에서 수행될 수 있는 컴퓨터에서 판독 가능한 기록매체는 미리 결정된 사용자의 피부색을 이용하여 영상장치로부터 입력 받은 영상으로부터 피부색 영역을 검출하는 피부색 영상 검출단계; 상기 피부색 영상 검출단계에서 검출된 피부색 영상을 이용하여 얼굴을 추적하는 얼굴 추적단계; 상기 얼굴 추적단계에서 추적된 얼굴에 대한 위치정보를 이용하여 관심영역(ROI: Region Of Interest)을 설정하고, 설정된 관심영역에서의 움직임 영역을 검출하는 움직임 영상 검출단계; 상기 피부색 영상 검출단계에서 검출된 피부색 영상과 움직임 영상 검출단계에서 검출된 움직임 영상을 이용하여 상기 사용자의 손에 대한 후보 영역을 추출하는 후보 영역 추출단계; 상기 후보 영역 추출단계에서 추출된 후보영역에서 손의 위치를 추적하여 최종적인 손의 위치를 찾아내는 손 추적단계; 및 상기 손 추적단계에서 추출된 손의 위치 정보에 미리 결정된 제2 알고리즘을 적용하여 실제 손의 거리 정보를 계산하는 거리 계산단계를 포함한다.
본 발명에 따르면 두 개의 카메라를 이용하여 원거리에서 안정적이고 빠른 응답속도를 가지는 손의 위치를 추적하는 것이 가능하며, 이에 따른 실제적인 손의 거리를 계산하는 것도 가능하다. 또한 본 발명을 통해 원거리에서 사람의 제스처 인식이 가능하고, 이는 지능형 로봇 분야, 보안 및 감시 분야, 스마트 환경, 원거리 사용자 인터페이스 등의 다양한 분야에서 활용이 가능할 것으로 기대된다.
도 1은 본 발명의 일실시예에 따른 손 추적 장치의 구성을 나타내는 블록도이다.
도 2는 본 발명의 일실시예에 따른 손 추적 장치의 피부색 영상 검출부에서 검출된 피부색 영상을 나타내는 예시도이다.
도 3은 본 발명의 일실시예에 따른 손 추적 장치의 관심영역 설정부에서 설정된 관심영역을 나타내는 예시도이다.
도 4는 본 발명의 일실시예에 따른 손 추적 장치의 움직임 영상 검출부에서 검출된 움직임 영상을 나타내는 예시도이다.
도 5는 본 발명의 일실시예에 따른 손 추적 장치의 영상 조합부에서 조합된 영상을 나타내는 예시도이다.
도 6은 본 발명의 일실시예에 따른 손 추적 장치의 팔꿈치 위치 추정부에서 팔꿈치의 위치를 추정하는 예를 나타내는 예시도이다.
도 7은 본 발명의 일실시예에 따른 손영역 후보 검출부에서 왜곡필터를 적용하여 손영역을 검출하는 예를 나타내는 예시도이다.
도 8은 본 발명의 일 실시예에 따른 손 추적 방법을 나타내는 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 손 추적 방법의 피부색 검출 단계를 나타내는 세부 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 손 추적 방법의 움직임 영상 검출 단계를 나타내는 세부 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 손 추적 방법의 후보 영역 추출 단계를 나타내는 세부 흐름도이다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 손 추적 장치의 구성을 나타내는 블록도이다.
본 실시예에 따른 손 추적 장치(1)는 피부색 영상 검출부(100), 얼굴 추적부(200), 움직임 영상 검출부(300), 후보 영역 추출부(400), 손 추적부(500), 거리 계산부(600)을 포함한다. 여기에서 손 추적은 영상 장치로부터 입력 받은 영상에서 사람의 손이 위치하는 영역에 대한 영상을 추적하는 것을 의미한다.
피부색 영상 검출부(100)는 미리 결정된 사용자의 피부색을 이용하여 영상장치로부터 입력 받은 영상으로부터 피부색 영역을 검출한다(S100). 미리 결정된 사용자의 피부색을 이용하는 것은 초기 영상에 대하여 최초 입력 받은 얼굴위치에 대한 얼굴의 피부색을 이용하는 것이 바람직하다. 피부색 영역은 입력 받은 영상에서 얼굴의 위치에 대한 색상을 기준으로 이와 유사한 색상을 가지는 영역인 것이 바람직하다. 피부색 영상 검출부(100)는 히스토그램 모델(histogram model) 생성부(110), 피부색 영상 생성부(120)을 포함한다. 히스토그램 모델(histogram model) 생성부(110)는 히스토그램 모델(color histogram model)을 생성한다(S110). 히스토그램 모델은 영상에 포함되는 픽셀의 색상 또는 명암 또는 채도를 포함하는 정보들의 분포를 도식화한 것으로 본 실시예에서의 히스토그램 모델은 영상에 포함되는 픽셀들의 RGB값에 따른 색상의 분포를 나타내는 색상 히스토그램 모델(color histogram model)인 것이 바람직하다.
피부색 영상 생성부(120)는 히스토그램 모델 생성부에서 생성된 상기 히스토그램 모델을 기반으로 히스토그램 백프로젝션(histogram back-projection)방법을 적용하여 피부색 영상을 생성한다(S120).
히스토그램 백프로젝션(histogram back-projection)방법은 영상내의 물체를 분할하고, 추적하고자 하는 물체의 위치를 찾아내기 위한 방법이다. 히스토그램 백 프로젝션을 통하여 관심 영역을 밝은 회색 이미지로 나타낸다. 히스토그램 팩 프로젝션을 통한 이미지의 픽셀들의 값은 수학식 1로 표현된다. M(c)는 히스토그램의 관심 역역에서 색상값 c의 비율을 나타내며, I(c)는 히스토그램 전체 영역에서의 색상값 c의 비율을 의미한다. BPI(c)는 색상값 c에 대한 히스토그램 백프로젝션 값을 나타낸다. BPI(c)는 픽셀단위로 계산되며, 백프로젝션 이미지 상에서 관심 영역은 밝은 색깔로 나타나며, 다른 영역은 어두운 색으로 나타난다.
Figure 112012002679382-pat00001
히스토그램 백프로젝션에 의해 생성된 피부색 영상은 백프로젝션 이미지 상에서 사용자의 피부색과 유사한 색을 가지는 영역은 밝은 색으로 표현되며 기타 영역의 경우는 어두운 색으로 표현된다. 본 실시예에 따라 생성된 피부색 영상은 도 2와 같이 표현된다. 도 2를 참조하면 입력영상(a)으로부터 피부색과 유사한 색을 가지는 영역은 밝은 색으로 표현되며 기타 영역의 경우는 어두운 색으로 표현된 피부색 영상(b)을 볼 수 있다.
얼굴 추적부(200)는 피부색 영상 검출부(100)에서 검출된 피부색 영상을 이용하여 얼굴을 추적한다(S200). 얼굴추적부(100)는 피부색 영상 검출부(100)에서 생성된 피부색 영상에 대하여 평균 이동 추적(mean shift tracking)방법을 이용하여 얼굴의 위치를 추적하는 것이 바람직하다.
평균 이동 추적(mean shift tracking)방법은 확률지도를 이용하여 프레임에서 확률 분포의 중심 값을 찾기 위해 확률분포의 기울기 값을 반복적으로 검색하여 추적 대상 물체의 영역이 가지는 가장 큰 확률 분포 값의 중심을 검색함으로써 추적 대상 물체를 추적하는 방법이다. 평균 이동(mean shift)방법은 지역적 최대값(locally maxima point)를 검출하는데 효과적인 추적 방법이다. 최대값은 언덕 오르기 방법(hill climbing method)에 의해 추적한다. 구체적으로 최대값(목표값)과의 차이를 계속해서 줄여나가면서 최대값을 점차적으로 추적하는 것이 바람직하다. 본 실시예에서 주어진 후보 영역에 대한 가중 평균(weighted mean)이 계산되면 중앙 점(center point)을 새로운 가중 평균에 대한 위치로 이동한다. 이러한 과정은 과거 점(old point)과 새로운 점(new point)간의 차이가 미리 결정된 임계값(threshold)보다 작아질 때까지 반복하여 수행된다.
움직임 영상 검출부(300)는 얼굴 추적부(200)에서 추적된 얼굴에 대한 위치정보를 이용하여 관심영역(ROI: Region Of Interest)을 설정하고, 설정된 관심영역에서의 움직임 영역을 검출한다(S300)
움직임 영상 검출부(300)는 관심영역 설정부(310)와 움직임 영상 검출부(320)를 포함한다. 관심영역 설정부(310)는 얼굴 추적부(200)에서 추적된 얼굴의 위치를 이용하여 관심영역을 설정한다(S310). 관심영역 설정부(310)에서 상기 관심영역으로 설정하는 것은 사용자의 얼굴의 위치를 기준으로 손이 도달 가능한 영역을 설정하는 것이 바람직하다. 손이 도달 가능한 영역은 얼굴 추적부에서 추적된 얼굴의 입력된 영상 속에서의 위치를 기준으로 사람의 신체구조상 손이 위치할 수 있는 영역인 것이 바람직하다. 도 3을 참조하면 얼굴의 위치(32)를 기준으로 관심영역(34)이 설정된 것을 알 수 있다.
움직임 영상 생성부(320)는 관심영역 설정부(300)에서 설정된 관심영역에 대하여 입력된 영상간의 차이(Frame difference)를 이용하여 움직임 영역을 검출한다(S320). 움직임 영상 검출부(320)는 연속하여 입력된 영상간의 차이를 N번 누적하여 생성된 움직임 히스토리(Motion History)정보를 이용하여 움직임 영상을 검출하는 것이 바람직하다. 본 실시예에서 영상간의 차이(Frame difference)란 연속하여 입력된 영상에 있어서 현재 입력된 현재 영상과 이전에 입력된 이전 영상을 픽셀단위로 비교하였을 때 그 변화인 것이 바람직하다.
연속하여 입력된 두 영상 정보간의 차이는 프레임 차이(frame difference) 또는 광류(optical flow)를 사용하여 두 영상 정보 사이의 변화 정도를 측정하는 것이 바람직하다. 본 실시예에서는, 각 화소 별로 프레임 차이를 이용하여 비교값을 계산하는 것이 바람직하다. 수학식 2는 입력 영상 정보의 각 영상 단위의 특징이 n차원으로 이루어져 있고, t번째 영상이 입력되었다고 할 때, 영상 단위 x에 대한 단위영상간 비교값 dt(x)를 계산하는 식이다. 여기서, x는 영상 단위의 인덱스(index)를 나타낸다.
Figure 112012002679382-pat00002
여기서, ft(x,i)와 ft - 1(x,i)는 각각 t번째 영상과 t-1번째 영상의 영상 단위 x의 i번째 특징을 나타낸다. 본 실시예에서 비교되는 영상의 특징은 흑백 또는 칼라 값, 색상-명도-채도 (HSB, hue-saturation-brightness) 값, 컬러 히스토그램(Color Histogram)값을 포함한다.
연속하여 입력된 영상의 차이를 N번 누적하는 것은 영상의 차이들의 논리합(Logical ORing)을 이용하여 누적하는 것이 바람직하다. 본 실시예에서 논리합을 이용하여 영상의 차이를 누적하는 것은 먼저 영상간의 차이가 미리 결정된 임계값 이상인 경우 움직임이 있는 것으로 판단하고, 이를 N번의 영상이 입력되는 동안 논리합(OR)연산에 따라 누적하여 합하는 경우 누적하여 생성된 움직임 영상은 N번의 영상이 입력되는 동안 관심영역 설정부(310)에서 설정된 관심영역 내에 존재하는 모든 움직임을 포함하게 된다.
움직임 히스토리(Motion History)정보는 상술한 영상간의 차이를 N번 누적한 결과 영상인 것이 바람직하다. 본 실시예에서 움직임 히스토리(Motion History)정보를 이용하여 검출된 움직임 영상은 도 4에 나타난다. 논리합에 따라 움직임 결과값을 누적하여 합산하게 되면 움직임이 검출된 부분과 움직임이 없는 부분이 대비되어 나타난다. 본 실시예에 따른 움직임 히스토리에서 밝은 부분으로 표시된 부분은 움직임이 검출된 부분을 의미하며 어두운 부분은 움직임이 없는 것으로 판단된 부분을 의미하는 것이 바람직하다.
후보 영역 추출부(400)는 피부색 영상 검출부(100)에서 검출된 피부색 영상과 움직임 영상 검출부(300)에서 검출된 움직임 영상을 이용하여 사용자의 손에 대한 후보 영역을 추출한다(S400). 본 실시예에서 후보 영역 추출부(400)는 영상 조합부(410)와 손영역 후보 검출부(420)를 포함한다.
영상 조합부(410)는 피부색 영상 검출부(100)에서 생성된 피부색 영상과 움직임 영상 검출부(300)에서 검출된 움직임 영상들의 교집합 영역을 생성한다(S410). 영상 조합부(410)는 피부색 영상과 움직임 영상이 입력되면 논리곱(AND)연산을 이용하여 이 둘의 교집합 영역을 구하는 것이 바람직하다. 본 실시예에서 영상 조합부(410)에서 조합되는 피부색 영상은 피부색 영상 검출부(100)에서 얼굴의 피부색을 이용하여 입력된 영상에서 주어진 손영역을 추출한 영상인 것이 바람직하다. 논리곱(AND)연산을 이용하여 생성된 이 둘의 교집합 영역은 누적하여 생성된 움직임 영상에 있어서 손영역에 대한 피부색 영상과 대응되는 영역인 것이 바람직하다. 보다 구체적으로는, 관심영역 설정부(310)에서 설정된 관심 영역 내에서 움직임이 있는 것으로 판단된 영역 중에 손이 움직인 영역만을 추출하여 생성된 영상 인 것이 바람직하다. 도 5는 피부색 영상과 움직임 영상을 논리곱(AND)연산하여 생성된 교집합 영역을 나타내는 예시도 이다.
손영역 후보 검출부(420)는 영상 조합부에서 생성된 상기 교집합 영역에 대하여 미리 결정된 제1 알고리즘을 적용하여 손 영역의 후보를 검출한다(S420). 손영역 후보 검출부(420)는 팔꿈치 위치 추정부(425)를 더 포함한다.
팔꿈치 위치 추정부(425)는 얼굴 추적부(200)에서 추적된 얼굴의 위치 및 크기정보를 고려하여 결정된 비율을 이용하여 팔꿈치의 위치를 추정하고, 추정된 팔꿈치의 위치를 중심으로 미리 결정된 제1 알고리즘을 적용하여 손영역의 후보를 얻는 것이 바람직하다.
본 실시예에서 얼굴의 위치 및 크기정보를 고려하여 결정된 비율을 이용하여 팔꿈치의 위치를 추정하는 것은 다음과 같이 얼굴의 위치와 크기정보를 이용한 수학식 3에 의해서 표현될 수 있다. Xfaceleft 는 얼굴의 x축 상 왼쪽 위치, Wface 는 얼굴의 폭, Yfacebottom 는 얼굴의 y축 상 아래쪽 위치, Hface 는 얼굴의 높이에 대한 변수이며 K는 최종 팔꿈치의 위치를 찾기 위한 매개변수이다. Xelbow,Y elbow 는 팔꿈치의 x, y 좌표를 나타낸다.
Figure 112012002679382-pat00003
도 6을 참조하여 설명하면 본 실시예에서 팔꿈치의 위치를 추정하는 것은 얼굴(62) 중 얼굴의 왼쪽에서 얼굴의 폭(62a)만큼 이동한 위치를 x로, 얼굴의 아래쪽에서 얼굴의 높이(62b) x K 만큼 이동한 위치를 y로 한 지점을 팔꿈치의 위치(64)로 추정하는 것이 바람직하다.
본 실시예에서 미리 결정된 제1 알고리즘은 팔꿈치의 위치를 중심으로 왜곡필터(distortion filter)를 수행하여 좀 더 정확한 손 영역 후보를 찾아내는 찾아 내는 방법일 수 있다. 이 방법은 평균 이동 추적 방법의 입력으로 사용될 손영역 추출 영상을 왜곡하는 방법으로 손영역은 피부색을 가진 팔꿈치에서 가장 멀리 떨어져있는 영역이므로 팔꿈치 위치에 가장 낮은 값을, 멀어질수록 높은 값을 주는 왜곡 필터를 씌우면 쉽게 손영역을 찾는 것이 바람직하다.
도 7을 참조하면, 영상 조합부에서 생성된 영상에 대하여 팔꿈치의 위치를 중심으로 왜곡 필터를 적용한다. 본 실시예에서 왜곡 필터를 적용하는 것은 짙은 부분일수록 추출 영상에 대한 값을 0에 가깝게 만드는 것이 바람직하다. 왜곡 필터 적용 전의 손영역 추출 영상은 손과 팔이 모두 밝게 나타나지만, 팔꿈치위치를 중심으로 한 왜곡 필터를 적용한 결과를 보면 팔꿈치에서 먼 손영역만이 밝게 표시됨을 알 수 있다.
손 추적부(500)는 후보 영역 추출부(400)에서 추출된 후보영역에서 손의 위치를 추적하여 최종적인 손의 위치를 찾아낸다(S500). 본 실시예에서 손 추적부(500)는 후보 영역 추출부(400)에서 추출된 후보영역에 대해서 평균 이동 추적 방법을 적용하여 최종적인 손의 위치를 찾아내는 것이 바람직하다. 본 실시예에서 평균 이동 추적 방법은 상술한 바와 같은 주어진 후보 영역에 대한 가중 평균(weighted mean)이 계산되면 중앙 점(center point)을 새로운 가중 평균에 대한 위치로 이동하고, 이러한 과정을 과거 점(old point)과 새로운 점(new point)간의 차이가 미리 결정된 임계값(threshold)보다 작아질 때까지 반복하여 수행하는 것에 의해 최종적인 손의 위치를 찾아내는 것이 바람직하다.
거리 계산부(600)는 손 추적부(500)에서 추출된 손의 위치 정보에 미리 결정된 제2 알고리즘을 적용하여 실제 손의 거리 정보를 계산한다. 거리 계산부(600)는 제1 영상장치로부터 입력 받은 제1 영상에서 추적된 제1 손의 위치와 제2 영상장치로부터 입력 받은 제2 영상에서 추적된 제2 손의 위치 정보에 제2 알고리즘을 적용하여 상기 실제 손의 거리 정보를 계산하는 것이 바람직하다. 이때, 제1 손의 위치 및 제2 손의 위치는 손 추적부(500)에서 추적된 손의 위치인 것이 바람직하다. 제2 알고리즘은 삼각측량(triangulation)에 따르는 거리계산 알고리즘인 것이 바람직하다. 삼각측량에 따르는 거리계산 알고리즘은 두 개의 영상 장치로부터 촬영되는 객체에 대하여 영상 장치의 초점거리 f(focal length)와, 두 영상장치에서 촬영된 영상에서 객체의 떨어진 정도들의 차이를 d(disparity)라하고, 영상장치간의 거리를 b(base offet)라고 할 때 객체의 영상장치와의 거리 D는 수학식 4로 표현된다.
Figure 112012002679382-pat00004
본 실시예에서 d는 손 추적부(500)에서 추적된 손의 최종 위치 정보(x, y)들, 제1 손의 위치 정보 및 제2 손의 위치 정보를 이용하여 계산된 거리인 것이 바람직하고, D는 영상장치와 사용자의 손의 실제 거리인 것이 바람직하다.
한편 도 8은 본 발명의 일 실시예에 따른 손 추적 방법을 나타내는 흐름도이다. 본 실시예에 따른 손 추적 방법은 손 추적 장치에서 시계열적으로 처리되는 다음 단계들을 포함한다.
본 실시예에 따른 손 추적 방법은 피부색 영상 검출단계(S100), 얼굴 추적단계(S200), 움직임 영상 검출단계(S300), 후보 영역 추출단계(S400), 손 추적단계(S500), 거리 계산단계(S600)을 포함한다
피부색 영상 검출단계(S100)단계는 미리 결정된 사용자의 피부색을 이용하여 영상장치로부터 입력 받은 영상으로부터 피부색 영역을 검출한다.
도 9를 참조하면 피부색 영상 검출단계(S100)는 히스토그램 모델(histogram model) 생성단계(S110), 피부색 영상 생성단계(S120)을 포함한다. 히스토그램 모델(histogram model) 생성단계(S110)는 히스토그램 모델(color histogram model)을 생성한다(S110). 피부색 영상 생성단계(S120)는 히스토그램 모델 생성부에서 생성된 상기 히스토그램 모델을 기반으로 히스토그램 백프로젝션(histogram back-projection)방법을 적용하여 피부색 영상을 생성한다.
추적단계(S200)는 피부색 영상 검출단계(S100)에서 검출된 피부색 영상을 이용하여 얼굴을 추적한다(S200).
움직임 영상 검출단계(S300)는 얼굴 추적단계(S200)에서 추적된 얼굴에 대한 위치정보를 이용하여 관심영역(ROI: Region Of Interest)을 설정하고, 설정된 관심영역에서의 움직임 영역을 검출한다.
도 10을 참조하면 움직임 영상 검출단계(S300)는 관심영역 설정단계(S310)와 움직임 영상 검출단계(S320)를 포함한다. 관심영역 설정단계(S310)는 얼굴 추적단계(S200)에서 추적된 얼굴의 위치를 이용하여 관심영역을 설정한다(S310).
움직임 영상 생성단계(S320)는 관심영역 설정단계(S300)에서 설정된 관심영역에 대하여 입력된 영상간의 차이(Frame difference)를 이용하여 움직임 영역을 검출한다(S320).
후보 영역 추출단계(S400)는 피부색 영상 검출단계(S100)에서 검출된 피부색 영상과 움직임 영상 검출단계(S300)에서 검출된 움직임 영상을 이용하여 사용자의 손에 대한 후보 영역을 추출한다(S400). 도 11를 참조하면 본 실시예에서 후보 영역 추출단계(S400)는 영상 조합단계(S410)와 손영역 후보 검출단계(S420)를 포함한다.
영상 조합단계(S410)는 피부색 영상 검출단계(S100)에서 생성된 피부색 영상과 움직임 영상 검출단계(S300)에서 검출된 움직임 영상들의 교집합 영역을 생성한다(S410).
손영역 후보 검출단계(S420)는 영상 조합부에서 생성된 상기 교집합 영역에 대하여 미리 결정된 제1 알고리즘을 적용하여 손 영역의 후보를 검출한다(S420). 손영역 후보 검출단계(S420)는 팔꿈치 위치 추정단계(S425)를 더 포함한다.
팔꿈치 위치 추정단계(S425)는 얼굴 추적단계(S200)에서 추적된 얼굴의 위치 및 크기정보를 고려하여 결정된 비율을 이용하여 팔꿈치의 위치를 추정하고, 추정된 팔꿈치의 위치를 중심으로 미리 결정된 제1 알고리즘을 적용하여 손영역의 후보를 얻는 것이 바람직하다.
손 추적단계(S500)는 후보 영역 추출단계(S400)에서 추출된 후보영역에서 손의 위치를 추적하여 최종적인 손의 위치를 찾아낸다(S500).
거리 계산단계(S600)는 손 추적단계(S500)에서 추출된 손의 위치 정보에 미리 결정된 제2 알고리즘을 적용하여 실제 손의 거리 정보를 계산한다.
한편 본 발명의 손 추적 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트 들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다.
따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (19)

  1. 미리 결정된 사용자의 피부색을 이용하여 영상장치로부터 입력 받은 영상으로부터 피부색 영상을 검출하는 피부색 영상 검출부;
    상기 피부색 영상 검출부에서 검출된 피부색 영상을 이용하여 얼굴을 추적하는 얼굴 추적부;
    상기 얼굴 추적부에서 추적된 얼굴에 대한 위치정보를 이용하여 관심영역(ROI: Region Of Interest)을 설정하고, 설정된 관심영역에서의 움직임 영상을 검출하는 움직임 영상 검출부;
    상기 피부색 영상 검출부에서 검출된 피부색 영상과 움직임 영상 검출부에서 검출된 움직임 영상을 이용하여 상기 사용자의 손에 대한 후보 영역을 추출하는 후보 영역 추출부; 및
    상기 후보 영역 추출부에서 추출된 후보영역에서 손의 위치를 추적하여 손의 위치를 찾아내는 손 추적부를 포함하고,
    상기 후보 영역 추출부는,
    상기 피부색 영상 검출부에서 생성된 피부색 영상과 상기 움직임 영상 검출부에서 검출된 움직임 영상들의 교집합 영역을 생성하는 영상 조합부; 및
    상기 영상 조합부에서 생성된 상기 교집합 영역에 대하여 미리 결정된 제1 알고리즘을 적용하여 손 영역의 후보를 얻는 손영역 후보 검출부를 포함하고,
    상기 손영역 후보 검출부는 상기 얼굴 추적부에서 추적된 상기 얼굴의 위치 및 크기정보를 고려하여 결정된 비율을 이용하여 팔꿈치의 위치를 추정하는 팔꿈치 위치 추정부를 더 포함하고,
    상기 추정된 팔꿈치의 위치를 중심으로 미리 결정된 제1 알고리즘을 적용하여 손영역의 후보를 얻는 것을 특징으로 하는 손 추적 장치.
  2. 제 1 항에 있어서 상기 피부색 영상 검출부는,
    최초의 얼굴 위치를 입력 받아 상기 얼굴의 피부색을 이용하여 상기 영상에 대한 히스토그램 모델(color histogram model)을 생성하는 히스토그램 모델 생성부; 및
    상기 히스토그램 모델 생성부에서 생성된 상기 히스토그램 모델을 기반으로 히스토그램 백프로젝션(histogram back-projection)방법을 적용하여 피부색 영상을 생성하는 피부색 영상 생성부를 포함하는 손 추적 장치
  3. 제 1 항에 있어서,
    상기 얼굴추적부가 상기 얼굴을 추적하는 것은 상기 피부색 영상에 대하여 평균 이동 추적(mean shift tracking)방법을 이용하여 얼굴의 위치를 추적하는 것을 특징으로 하는 손 추적 장치.
  4. 제 1 항에 있어서 상기 움직임 영상 검출부는,
    상기 얼굴 추적부에서 추적된 얼굴의 위치를 이용하여 상기 관심영역을 설정하는 관심영역 설정부; 및
    상기 설정된 관심영역에 대하여 입력된 영상간의 차이(Frame difference)를 이용하여 움직임 영역을 검출하는 움직임 영상 생성부를 포함하는 손 추적 장치.
  5. 제 4 항에 있어서,
    상기 관심영역 설정부에서 상기 관심영역으로 설정하는 것은 상기 사용자의 얼굴의 위치를 기준으로 손이 도달 가능한 영역을 설정하는 것을 특징으로 하는 손 추적 장치.
  6. 제 4 항에 있어서,
    상기 움직임 영상 검출부에서 검출되는 움직임 영상은 연속하여 입력된 현재 영상과 이전 영상의 차이를 N번 누적하여 생성된 움직임 히스토리(Motion History)정보를 이용하여 검출되는 것을 특징으로 하는 손 추적 장치.
  7. 제 6 항에 있어서,
    상기 연속하여 입력된 영상의 차이를 N번 누적하는 것은 상기 영상의 차이들의 논리합(Logical Oring)을 이용하여 누적하는 것을 특징으로 하는 손 추적 장치
  8. 삭제
  9. 삭제
  10. 제 1 항에 있어서,
    상기 손 추적부는 상기 후보 영역 추출부에서 추출된 후보영역에 대해서 평균 이동 추적 방법을 적용하여 최종적인 손의 위치를 찾아내는 것을 특징으로 하는 손 추적 장치.
  11. 제 1 항에 있어서,
    상기 손 추적 장치는 상기 손 추적부에서 추출된 손의 위치 정보에 미리 결정된 제2 알고리즘을 적용하여 실제 손의 거리 정보를 계산하는 거리 계산부를 더 포함하는 것을 특징으로 하는 손 추적 장치.
  12. 제 11 항에 있어서,
    상기 거리 계산부는 제1 영상장치로부터 입력 받은 제1 영상에서 추적된 제1 손의 위치와 제2 영상장치로부터 입력 받은 제2 영상에서 추적된 제2 손의 위치 정보에 상기 제2 알고리즘을 적용하여 상기 실제 손의 거리 정보를 계산하는 것을 특징으로 하고,
    상기 제1 손의 위치 및 제2 손의 위치는 상기 손 추적부에서 추적된 손의 위치인 것을 특징으로 하는 손 추적 장치
  13. 미리 결정된 사용자의 피부색을 이용하여 영상장치로부터 입력 받은 영상으로부터 피부색 영상을 검출하는 피부색 영상 검출단계;
    상기 피부색 영상 검출단계에서 검출된 피부색 영상을 이용하여 얼굴을 추적하는 얼굴 추적단계;
    상기 얼굴 추적단계에서 추적된 얼굴에 대한 위치정보를 이용하여 관심영역(ROI: Region Of Interest)을 설정하고, 설정된 관심영역에서의 움직임 영상을 검출하는 움직임 영상 검출단계;
    상기 피부색 영상 검출단계에서 검출된 피부색 영상과 움직임 영상 검출단계에서 검출된 움직임 영상을 이용하여 상기 사용자의 손에 대한 후보 영역을 추출하는 후보 영역 추출단계; 및
    상기 후보 영역 추출단계에서 추출된 후보영역에서 손의 위치를 추적하여 손의 위치를 찾아내는 손 추적단계를 포함하고,
    상기 후보 영역 추출단계는,
    상기 피부색 영상 검출단계에서 생성된 피부색 영상과 상기 움직임 영상 검출단계에서 검출된 움직임 영상들의 교집합 영역을 생성하는 영상 조합단계; 및
    상기 영상 조합단계에서 생성된 상기 교집합 영역에 대하여 미리 결정된 제1 알고리즘을 적용하여 손 영역의 후보를 얻는 손영역 후보 검출단계를 포함하고,
    상기 손영역 후보 검출단계는 상기 얼굴 추적단계에서 추적된 상기 얼굴의 위치 및 크기정보를 고려하여 결정된 비율을 이용하여 팔꿈치의 위치를 추정하는 팔꿈치 위치 추정단계를 더 포함하고,
    상기 추정된 팔꿈치의 위치를 중심으로 미리 결정된 제1 알고리즘을 적용하여 손영역의 후보를 얻는 것을 특징으로 하는 손 추적 방법.
  14. 제 13 항에 있어서 상기 피부색 영상 검출단계는,
    최초의 얼굴 위치를 입력 받아 상기 얼굴의 피부색을 이용하여 상기 영상에 대한 히스토그램 모델(color histogram model)을 생성하는 히스토그램 모델 생성단계; 및
    상기 히스토그램 모델 생성단계에서 생성된 상기 히스토그램 모델을 기반으로 히스토그램 백프로젝션(histogram back-projection)방법을 적용하여 피부색 영상을 생성하는 피부색 영상 생성단계를 포함하는 손 추적 방법
  15. 제 13 항에 있어서 상기 움직임 영상 검출단계는,
    상기 얼굴 추적단계에서 추적된 얼굴의 위치를 이용하여 상기 관심영역을 설정하는 관심영역 설정단계; 및
    상기 설정된 관심영역에 대하여 입력된 영상간의 차이(Frame difference)를 이용하여 움직임 영역을 검출하는 움직임 영상 생성단계를 포함하는 손 추적 방법.
  16. 삭제
  17. 삭제
  18. 제 13 항에 있어서,
    상기 손 추적 방법은 상기 손 추적단계에서 추출된 손의 위치 정보에 미리 결정된 제2 알고리즘을 적용하여 실제 손의 거리 정보를 계산하는 거리 계산단계를 더 포함하는 것을 특징으로 하는 손 추적 방법.
  19. 제 18 항에 있어서,
    상기 거리 계산단계는 제1 영상장치로부터 입력 받은 제1 영상에서 추적된 제1 손의 위치와 제2 영상장치로부터 입력 받은 제2 영상에서 추적된 제2 손의 위치 정보에 상기 제2 알고리즘을 적용하여 상기 실제 손의 거리 정보를 계산하는 것을 특징으로 하고,
    상기 제1 손의 위치 및 제2 손의 위치는 상기 손 추적단계에서 추적된 손의 위치인 것을 특징으로 하는 손 추적 방법.






KR1020120003288A 2012-01-11 2012-01-11 손 추적 장치 및 방법 KR101868903B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120003288A KR101868903B1 (ko) 2012-01-11 2012-01-11 손 추적 장치 및 방법
US13/596,523 US9280703B2 (en) 2012-01-11 2012-08-28 Apparatus and method for tracking hand

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120003288A KR101868903B1 (ko) 2012-01-11 2012-01-11 손 추적 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130082216A KR20130082216A (ko) 2013-07-19
KR101868903B1 true KR101868903B1 (ko) 2018-06-20

Family

ID=48743958

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120003288A KR101868903B1 (ko) 2012-01-11 2012-01-11 손 추적 장치 및 방법

Country Status (2)

Country Link
US (1) US9280703B2 (ko)
KR (1) KR101868903B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11941906B2 (en) 2018-12-26 2024-03-26 Samsung Electronics Co., Ltd. Method for identifying user's real hand and wearable device therefor

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8854481B2 (en) * 2012-05-17 2014-10-07 Honeywell International Inc. Image stabilization devices, methods, and systems
TW201415291A (zh) * 2012-10-08 2014-04-16 Pixart Imaging Inc 基於物件追蹤的手勢辨識方法及系統
KR101537961B1 (ko) * 2013-10-18 2015-07-20 아이브스테크놀러지(주) 안전 벨트 탐지 장치 및 방법
KR101534742B1 (ko) * 2013-12-10 2015-07-07 현대자동차 주식회사 차량용 제스처 인식 시스템 및 그 방법
KR101700817B1 (ko) 2014-01-10 2017-02-13 한국전자통신연구원 3차원 영상을 이용한 다수의 팔 및 손 검출 장치 및 그 방법
CN104463125A (zh) * 2014-12-11 2015-03-25 哈尔滨工程大学 基于dsp的人脸自动检测跟踪装置及其方法
US9703387B2 (en) * 2015-08-31 2017-07-11 Konica Minolta Laboratory U.S.A., Inc. System and method of real-time interactive operation of user interface
CN108782797B (zh) * 2018-06-15 2021-08-27 广东工业大学 臂式炒茶机翻炒茶叶的控制方法和臂式炒茶机
CN112232332B (zh) * 2020-12-17 2021-04-13 四川圣点世纪科技有限公司 一种基于视频序列的非接触式手掌检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100776801B1 (ko) * 2006-07-19 2007-11-19 한국전자통신연구원 화상 처리 시스템에서의 제스처 인식 장치 및 방법
JP2011095984A (ja) * 2009-10-29 2011-05-12 Nikon Corp 画像表示装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0991011B1 (en) * 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
US6731778B1 (en) * 1999-03-31 2004-05-04 Oki Electric Industry Co, Ltd. Photographing apparatus and monitoring system using same
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US8194921B2 (en) * 2008-06-27 2012-06-05 Nokia Corporation Method, appartaus and computer program product for providing gesture analysis
US8787663B2 (en) 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100776801B1 (ko) * 2006-07-19 2007-11-19 한국전자통신연구원 화상 처리 시스템에서의 제스처 인식 장치 및 방법
JP2011095984A (ja) * 2009-10-29 2011-05-12 Nikon Corp 画像表示装置

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
Hsieh et al. A real time hand gesture recognition system using motion history image. IEEE ICSPS, Vol. 2, 2010년, pp. 394-398. *
Hsieh et al. A real time hand gesture recognition system using motion history image. IEEE ICSPS, Vol. 2, 2010년, pp. 394-398. 1부. *
Hsieh et al. A real time hand gesture recognition system using motion history image. IEEE ICSPS, Vol. 2, 2010년, pp. 394-398.*
민재홍 외 2명. 피부색과 변형된 다중 CAMShift 알고리즘을 이용한 실시간 휴먼 트래킹.한국항행학회, Vol. 15, No. 6, 2011년, pp. 1132-1137. *
민재홍 외 2명. 피부색과 변형된 다중 CAMShift 알고리즘을 이용한 실시간 휴먼 트래킹.한국항행학회, Vol. 15, No. 6, 2011년, pp. 1132-1137. 1부. *
민재홍 외 2명. 피부색과 변형된 다중 CAMShift 알고리즘을 이용한 실시간 휴먼 트래킹.한국항행학회, Vol. 15, No. 6, 2011년, pp. 1132-1137.*
유민선 및 이성환. Mean-Shift Belief Propagation과 역기구학 제약을 사용한 스테레오 기반의 휴먼 상체 추적. 한국정보과학회 학술발표논문집, Vol. 37, No. 1B, 2010년, pp. 227-230. *
유민선 및 이성환. Mean-Shift Belief Propagation과 역기구학 제약을 사용한 스테레오 기반의 휴먼 상체 추적. 한국정보과학회 학술발표논문집, Vol. 37, No. 1B, 2010년, pp. 227-230. 1부. *
유민선 및 이성환. Mean-Shift Belief Propagation과 역기구학 제약을 사용한 스테레오 기반의 휴먼 상체 추적. 한국정보과학회 학술발표논문집, Vol. 37, No. 1B, 2010년, pp. 227-230.*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11941906B2 (en) 2018-12-26 2024-03-26 Samsung Electronics Co., Ltd. Method for identifying user's real hand and wearable device therefor

Also Published As

Publication number Publication date
US20130177204A1 (en) 2013-07-11
US9280703B2 (en) 2016-03-08
KR20130082216A (ko) 2013-07-19

Similar Documents

Publication Publication Date Title
KR101868903B1 (ko) 손 추적 장치 및 방법
KR101749099B1 (ko) 영상에서의 객체 추적 방법, 장치 및 이를 컴퓨터 상에서 수행하는 프로그램이 기록된 기록 매체
KR101173802B1 (ko) 대상물 추적 장치, 대상물 추적 방법, 및 제어 프로그램이 기록된 기록 매체
JP6095018B2 (ja) 移動オブジェクトの検出及び追跡
KR100544677B1 (ko) 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법
EP2710554B1 (en) Head pose estimation using rgbd camera
US9275472B2 (en) Real-time player detection from a single calibrated camera
EP4036855A1 (en) Depth determination method, depth determination device and electronic device
JP2010176380A (ja) 情報処理装置および方法、プログラム、並びに記録媒体
Sun et al. Moving foreground object detection via robust SIFT trajectories
US20160275695A1 (en) System and a method for tracking objects
CN104981680A (zh) 相机辅助的运动方向和速度估计
KR20110030951A (ko) 동작 검출 장치 및 방법
JP2018113021A (ja) 情報処理装置およびその制御方法、プログラム
CN110738667A (zh) 一种基于动态场景的rgb-d slam方法和系统
JP2021022315A (ja) 画像処理装置、画像処理方法、及びプログラム
KR100994367B1 (ko) 영상 추적 장치의 이동표적 움직임 추적 방법
KR102434397B1 (ko) 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법
Hossain et al. Moving object detection for real time video surveillance: An edge based approach
KR101146417B1 (ko) 무인 감시 로봇에서 중요 얼굴 추적 장치 및 방법
JP4559375B2 (ja) 対象物位置追跡方法、装置、およびプログラム
JP4272538B2 (ja) 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム
Ali et al. A General Framework for Multi-Human Tracking using Kalman Filter and Fast Mean Shift Algorithms.
KR20160035463A (ko) 고속 객체 추적 시스템 및 그 방법
KR100994366B1 (ko) 영상 추적 장치의 이동표적 움직임 추적 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant