KR101171239B1 - 영상처리를 이용한 비접촉 데이터 입력 및 조작 방법 - Google Patents

영상처리를 이용한 비접촉 데이터 입력 및 조작 방법 Download PDF

Info

Publication number
KR101171239B1
KR101171239B1 KR1020110052814A KR20110052814A KR101171239B1 KR 101171239 B1 KR101171239 B1 KR 101171239B1 KR 1020110052814 A KR1020110052814 A KR 1020110052814A KR 20110052814 A KR20110052814 A KR 20110052814A KR 101171239 B1 KR101171239 B1 KR 101171239B1
Authority
KR
South Korea
Prior art keywords
skin color
hand
region
finger
hand region
Prior art date
Application number
KR1020110052814A
Other languages
English (en)
Inventor
주영훈
정현석
Original Assignee
군산대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 군산대학교산학협력단 filed Critical 군산대학교산학협력단
Priority to KR1020110052814A priority Critical patent/KR101171239B1/ko
Application granted granted Critical
Publication of KR101171239B1 publication Critical patent/KR101171239B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 손영역의 2차원 스켈레톤 모델을 이용한 비접촉 입력 및 프로그램 조작 방법으로써, 글러브 데이터 방식이나 3차원 모델 방식과 달리 추가적인 장비가 필요 없으므로 비용이 저렴하고, 연산량이 적으므로 실시간 구현이 용이하며, 환경 변화에 강인하므로 사용자의 편의를 향상시킬 수 있다. 본 발명은 영상의 배경으로부터 피부색을 추출하여 피부색 영역을 형성하는 단계, 상기 피부색 영역에서 손을 추출하여 손 영역을 형성하는 단계, 상기 손 영역의 외곽선 정보를 바탕으로 상기 손 영역의 무게중심과 손가락 끝점을 추출하는 단계, 설정된 스켈레톤 모델과 상기 손 영역의 무게중심점과 손사락 끝점을 매칭하는 단계 및 매칭된 상기 손 영역의 무게중심과 손가락 끝점의 이동을 추적하여 데이터를 입력받는 단계를 포함하는 비접촉 데이터 입력 및 프로그램 조작 방법을 제공한다.

Description

영상처리를 이용한 비접촉 데이터 입력 및 조작 방법 {Non-touch data input and operating method using image processing}
본 발명은 비접촉 방식의 데이터 입력 및 프로그램 조작 방법에 관한 것으로, 구체적으로는 컴퓨터에 설치된 촬영 장치로부터 입력된 화면에 영상처리 기법을 적용하여 손모양을 인식하고, 이를 이용하여 기존의 마우스나 키보드와 같은 입력 및 조작 장치를 대체할 수 있는 가상 터치스크린 형태의 비접촉 데이터 입력 및 프로그램 조작 방법에 관한 것이다.
HCI(Human-Computer Interface) 기기는 인간과 컴퓨터간의 상호작용을 개선하여 인간이 컴퓨터를 보다 편리하고 유용하게 사용할 수 있도록 유도하는 장치이다. 최근 정보통신 기기의 보편화, 영상, 음향, 그래픽이 복합된 콘텐츠의 증가, 그리고 얇은 디스플레이의 개발 등에 힘입어 보다 편리하고 직관적인 HCI 기기에 대한 요구가 증대되고 있다.
HCI 기기는 출력과 입력 장치로 구분할 수 있으며, 출력 장치로는 모니터나 프린터와 같은 시각기반의 장치가 대표적이다. 입력 장치는 키보드나 마우스와 같은 기호기반의 장치와 터치스크린과 디지타이저와 같은 접촉기반의 장치로 구분된다. 기호기반 입력 장치는 별도의 장치를 구비해야하므로 휴대용 기기에 적합하지 않고, 다수의 사용자가 동시에 사용하기 불편하다. 휴대용 정보통신기기의 급속한 보급으로 터치스크린과 같이 일체화된 입출력 장치가 보편화되었으나, 터치인식을 위한 압력 또는 정전용량 센서 패널이 필요하다. 이러한 접촉식 입력 장치는 부가적인 센서패널에 의한 비용 상승으로 대형스크린에 적용하기 곤란하며, 조작을 위해 스크린을 건드려야 하므로 사용자의 행동 반경이 제약된다는 단점이 있다.
이와 같은 접촉식 입력장치의 단점을 극복하기 위해, 글러브(glove) 데이터 방식, 3차원 모델 방식, 그리고 2차원 패턴 방식 등 비접촉식 입력장치에 대한 연구가 활발히 진행되고 있다. 그러나, 글러브 데이터 방식은 센서가 장착된 장갑을 착용하여 손의 위치와 동작을 인식하는 방식으로, 정확도는 높지만 추가적인 장비로 인해 비용이 상승하고 장갑을 착용해야 한다는 불편함이 있다. 3차원 모델 방식은 스테레오 비전을 사용하거나 2차원으로 추출된 정보를 3차원으로 재해석하는 방법으로, 연산량이 많으므로 저사양 시스템에서 실시간으로 구현하기 곤란하다. 이에 비해, 2차원 패턴 방식은 추가적인 장비나 3차원 정보 해석이 불필요하므로 가장 저렴하고 간단한 방법이지만, 조명과 피부색 변화에 민감하여 영상에서 손을 추출하기 어렵고, 2차원 패턴 정보만을 이용하므로 손동작을 정확하게 인식하기 힘들다는 문제가 있다.
본 발명은 영상처리를 이용하여 저렴하고 이식이 용이하며, 사용자의 편의를 향상시킬 수 있는 비접촉식 데이터 입력 및 컴퓨터 프로그램 조작 방법을 제공한다.
본 발명은 영상의 배경으로부터 피부색을 추출하여 피부색 영역을 형성하는 단계, 상기 피부색 영역에서 손을 추출하여 손 영역을 형성하는 단계, 상기 손 영역의 외곽선 정보를 바탕으로 상기 손 영역의 무게중심과 손가락 끝점을 추출하는 단계, 설정된 스켈레톤 모델과 상기 손 영역의 무게중심점과 손가락 끝점을 매칭하는 단계 및 매칭된 상기 손 영역의 무게중심과 손가락 끝점의 이동을 추적하여 데이터를 입력하거나 프로그램을 조작하는 단계를 포함하는 비접촉 입력 및 조작 방법을 제공한다.
본 발명은 2차원 패턴 정보를 이용한 비접촉식 입력을 구현하기 위하여, 환경변화에 강인한 손 영역 추출 방법과 정확도가 향상된 손동작 인식 방법을 제안한다. 강인한 손 영역 추출을 위해, 조도 변화에 영향을 덜 받는 HCbCr 색상 모델을 제안하고, 피부색으로 인한 오류를 줄이기 위해 퍼지 색상 필터를 이용하며, 추출된 피부색 영역 중 손 영역만을 구별하기 위해 라벨링 기법을 사용한다. 정확한 손동작 인식을 위해, 스켈레톤 모델의 관절 각도와 마디 길이를 측정하여 손가락의 조작 동작을 인식하며, 추출된 손의 움직임을 원활하게 추적하기 위해 칼만 필터를 이용한다. 제안하는 비접촉 입력 및 조작 방법은 부가적인 장치가 필요 없으므로 구현 비용이 저렴하고, 연산량이 적으므로 실시간 구현이 용이하고, 환경 변화에 강인하므로 사용자의 편의를 향상시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 데이터의 비접촉 입력 및 조작 방법을 나타낸 순서도이다.
도 2a 내지 도 2c는 각각 조도에 따른 HSI, YCbCr 및 HCbCr 색상 모델에서의 피부색 히스토그램이다.
도 3은 HCbCr 색상 모델을 이용해 추출한 피부색 영역을 예시한 도면이다.
도 4는 퍼지 색상 필터의 동정을 위해 사용된 피부색의 샘플이다.
도 5a는 퍼지 색상 필터의 동정에 사용된 소속 함수이고, 도 5b는 입력 영상이며, 도 5c는 도 5a의 소속 함수를 이용하여 도 5b와 같은 입력 영상에서 피부색 영역을 추출한 결과 사진이다.
도 6은 손 영역을 추출한 도면이다.
도 7a는 입력 영상이고, 도 7b는 도 7a의 입력 영상에서 추출된 특징점을 나타낸 도면이다.
도 8은 스켈레톤 모델을 나타낸 도면이다.
도 9a는 손 영역과 스켈레톤 모델이 매칭된 결과를 나타낸 도면이고, 도 9b는 도 9a에서 매칭한 후 출력된 영상이다.
도 10은 검지 손가락의 동작 인식 및 좌표 인식을 설명하기 위한 도면이다.
도 11a 내지 도 11f는 본 발명의 일실시예에 따른 비접촉 데이터 입력방법을 나타낸 순서도이다.
도 12a와 같이 약간 어두운 조명(270lux) 상태, 도 12b와 같이 일반적인 사무환경 조명(400lux) 상태, 도 12c와 같이 밝은 조명(600lux) 상태에서의 특징점 추출에 대해 설명하기 위한 도면이다.
도 13은 본 실시예에 따른 비접촉 데이터 입력방법으로 색상 선택을 수행하는 과정을 나타낸 순서도이다.
도 14는 본 실시예에 따른 비접촉 데이터 입력방법으로 도형 그리기 동작을 수행하는 과정을 나타낸 순서도이다.
이하, 실시예를 통하여 본 발명을 더욱 상세히 설명하기로 한다. 이들 실시예는 단지 본 발명을 예시하기 위한 것이며, 본 발명의 권리 보호 범위가 이들 실시예에 의해 제한되는 것은 아니다.
도 1은 본 발명의 일실시예에 따른 데이터의 비접촉 데이터 입력방법을 나타낸 순서도이다.
도 1에 도시된 바와 같이, 비접촉 데이터 입력방법은 영상의 배경으로부터 피부색을 추출하여 피부색 영역을 형성하는 단계(S1), 피부색 영역에 포함된 잡음을 제거하는 단계(S2), 피부색 영역에서 손을 추출하여 손 영역을 형성하는 단계(S3), 손 영역의 무게중심과 손가락 끝점을 추출하는 단계(S4), 설정된 스켈레톤 모델과 손 영역의 무게중심점과 손사락 끝점을 매칭하는 단계(S5), 매칭된 손 영역의 무게중심과 손가락 끝점의 이동을 추적하여 데이터를 입력받는 단계(S6)를 포함한다.
각 단계(S1~S6)에 대해 구체적으로 설명하면 다음과 같다.
입력 영상에 대한 HCbCr 색상 모델과 퍼지 색상 필터를 이용하여 피부색 영역을 형성한다. 피부색은 영상의 배경에서 특정한 영역에 분포하므로 피부색의 분포를 적절한 색상 모델로 근사하여 피부와 피부가 아닌 색상을 구분한다. 따라서, 적절한 색의 선택이 피부색 추출 성공을 결정하는 가장 중요한 요소이다. 일반적으로 HSI와 YCbCr 색상 모델이 많이 사용되지만 조도의 변화에 민감하다는 단점이 있다. 그래서 조도의 변화에 둔감한 HCbCr 색상 모델을 이용하여 피부색 영역을 추출한다.
도 2a 내지 도 2c는 각각 조도에 따른 HSI, YCbCr 및 HCbCr 색상 모델에서의 피부색 히스토그램이다.
도 2a를 참조하면, HSI 색상 모델에서의 피부색 분포는 H 성분의 밀집도가 가장 크고 조도의 변화에 따른 변화가 가장 작다. 도 2b를 참조하면, YCbCr 색상 모델에서의 피부색 분포는 Y 성분의 밀집도가 가장 작고 조도의 변화에 따른 변화가 가장 크다. 따라서, 조도의 변화에 강인한 색 성분의 조합인 H, Cb, 그리고 Cr 성분을 피부색 검출에 사용한다. 반면, 도 2c를 참조하면, HCbCr 색상 모델에서의 피부색 분포는 HSI, YCbCr 색상 모듈에서의 피부색 분포에 비해 조도의 변화에도 불구하고, 거의 유사한 분포를 가짐을 알 수 있다. 이러한 사실을 근거로 본 실시예에서는 피부색 검출을 위해 [수학식 1]과 같이 HCbCr 색상 모델을 사용한다.
Figure 112011041317091-pat00001
여기서, R, G, B는 입력되는 영상의 정규화된 RGB 색상 정보이다. HCbCr 색상 모델에서 피부색으로 판별하는 각 성분의 범위는 [수학식 2]와 같이 결정한다.
Figure 112011041317091-pat00002
도 3은 HCbCr 색상 모델을 이용해 추출한 피부색 영역을 예시한 도면이다.
도 3을 참조하면, HCbCr 색상 모델을 통해, 입력 영상의 배경으로부터 피부색 영역이 바람직하게 추출되었음을 확인할 수 있다.
HCbCr 색상 모델은 조도 변화에는 강인하지만 다양한 피부색 추출에는 다소 미흡하다. 그래서, 퍼지 색상 필터를 추가하여 다양한 피부색의 변화에 대응한다. 퍼지 색상 필터는 [수학식 3]과 같은 퍼지 규칙으로 구성된다.
Figure 112011041317091-pat00003
여기서, Mi1, Mi2, Mi3는 각 색상에 해당하는 가우시안 멤버쉽 함수이며, yi(X)는 픽셀 X에서 i번째 규칙의 출력이다. 각 출력값은 [수학식 4]에 의해 출력 I(X)를 생성한다.
Figure 112011041317091-pat00004
여기서,
Figure 112011041317091-pat00005
는 규칙의 적합도를 나타낸다. 퍼지 색상 필터의 각 픽셀 출력
Figure 112011041317091-pat00006
는 [수학식 5]와 같은 결정함수로 주어진다.
Figure 112011041317091-pat00007
여기서,
Figure 112011041317091-pat00008
는 오프셋 값이며, Imin은 피부색 영역으로 분류하기 위한 설계 파라미터이다. 퍼지 색상 필터의 출력 영상은 흑백으로써 피부색 영역의 픽셀값은
Figure 112011041317091-pat00009
이고, 피부색이 아닌 영역의 픽셀값은 1이다.
퍼지 색상 필터를 동정(identification)하기 위해 유전 알고리즘이나 기타 최적화 알고리즘을 이용한 색상 필터 동정 기법을 사용한다. 각 규칙의 가우시안 멤버쉽 함수의 평균과 분산, 조건부 상수가 염색체로 코딩된다. 이를 위한 목적함수 F는 [수학식 6]으로 결정된다.
Figure 112011041317091-pat00010
여기서, eskin는 입력이 피부색일 때의 에러, ebg는 입력이 배경색일 때의 에러를 의미한다.
도 4는 퍼지 색상 필터의 동정을 위해 사용된 피부색의 샘플이고, 도 5a는 퍼지 색상 필터의 동정에 사용된 소속 함수이고, 도 5b는 입력 영상이며, 도 5c는 도 5a의 소속 함수를 이용하여 도 5b와 같은 입력 영상에서 피부색 영역을 추출한 결과 사진이다. 도 5c를 참조하면, 입력 영상에서 피부색만이 추출되는 것을 확인할 수 있다.
HCbCr 색상 모델과 퍼지 색상 필터를 적용하여 얻은 피부색 영역은 흑백 영상으로서, 흑백 영상으로 이진화하는 과정에서 약간의 잡음이 발생한다. 이 잡음은 모폴로지 필터의 침식 연산과 팽창 연산에 의해 제거한다.
추출된 피부색 영역은 손 영역뿐만 아니라 얼굴도 포함한다. 사용자가 조작 동작을 하기 위해서는 컴퓨터에 장착된 촬영기기 가까이에 손을 위치시켜야 한다. 즉, 입력 영상에서 가장 큰 피부색 영역은 조작 동작을 하는 손에 의한 것이다. 따라서, 손 영역만을 추출하기 위해서는 기하학적으로 연결된 피부색 영역을 하나의 객체로 인식하고, 인식된 각 객체 중 가장 큰 것을 선택하면 된다. 즉, 도 5c와 같이 피부색 영역을 추출한 후, 8-방향 라벨링 기법을 이용하여 도 6과 같이 손 영역만을 추출한다.
추출된 손 영역에 무게 중심법과 굴곡 기법을 이용하여 손가락의 끝점에 해당하는 특징점을 검출한다. 검출된 특징점에 스켈레톤 모델을 적용하여 손가락의 각 관절과 마디를 매칭하고, 관절의 각도와 마디의 길이 변화를 측정하여 사용자의 조작 동작을 인식한다. 손 영역에 대한 특징점 검출을 보다 구체적으로 설명하면 다음과 같다.
추출된 손 영역의 무게 중심을 구하기 위해, [수학식 7]과 같이 손 영역의 면적 M00, 각 좌표축의 1차 모멘트 M01과 M10을 구한다.
Figure 112011041317091-pat00011
여기서, I(x, y)는 해당 픽셀의 위치 X=[x y]T에서의 값이다. 면적과 1차 모멘트를 이용하여 구한 손 영역의 무게중심점은 [수학식 8]과 같다.
Figure 112011041317091-pat00012
한편, 손가락의 끝점을 검출하기 위해, 추출된 손 영역의 외곽선을 따라 일정한 거리마다 [수학식 9]와 같이 내적을 취해 벡터간의 사이각을 구한다.
Figure 112011041317091-pat00013
여기서, pi 는 외곽선 위의 i번째 점이며, k는 5부터 25 사이의 정수이다. [수학식 9]의 θ가 일정 값 이상이면 이에 해당하는 pi는 손가락 끝점의 후보점이 된다. 이와 같이 구한 후보점들을 이웃 점들끼리 그룹화하여 손가락의 끝점을 검출한다.
이상과 같은 특징점 검출 방법을 예시하면, 도 7a 및 도 7b와 같다. 도 7a는 입력 영상이고, 도 7b는 도 7a의 입력 영상에서 추출된 특징점을 나타낸 도면이다. 도 7a를 참조하면, 입력영상에서 손 영역이 추출되고, 도 7b를 참조하면 손 영역에서 특징점이 추출된 것을 확인할 수 있다.
이어서, 추출된 손 영역의 특징점을 스켈레톤 모델과 매칭한다. 스켈레톤 모델은 손가락의 중요한 관절의 위치만을 이용한 특징 벡터 표현 방식으로서, 인간 손가락의 신체 구조적 데이터베이스를 이용하여 제작된다.
도 8은 스켈레톤 모델을 나타낸 도면이다.
도 8을 참조하면, 스켈레톤 모델에서 F1은 손 영역의 무게중심에 해당하고, F12부터 F16은 각 손가락의 끝점에 해당한다. 스켈레톤 모델의 나머지 관절의 위치는 [수학식 10]과 같이 손가락의 신체 구조적 비례 정보를 통해 구한다.
Figure 112011041317091-pat00014
여기서, hw는 손바닥의 가로 길이이다.
도 9a는 손 영역과 스켈레톤 모델이 매칭된 결과를 나타낸 도면이고, 도 9b는 도 9a에서 매칭한 후 출력된 영상이다. 도 9a 및 도 9b와 같이, 손 영역과 스켈레톤 모델을 매칭한 후, 입력 영상에 스켈레톤 모델을 중첩시켜 출력한다.
본 실시예는 스켈레톤 모델을 이용하여 기존의 접촉식 입력장치의 터치와 같은 손가락의 조작 동작을 인식한다. 도 10은 검지 손가락의 동작 인식 및 좌표 인식을 설명하기 위한 도면으로서, 이를 참조하면 본 실시예는 손 영역과 매칭된 스켈레톤 모델에서 각 손가락을 표현하는 3개의 특징점의 각도와 길이의 변화를 측정하여 터치 동작을 인식한다. 이 때, 터치 좌표는 해당하는 손가락의 끝점이다.
한편, 사용자가 컴퓨터를 조작하는 동안 지속적으로 손을 움직이므로, 특징점 역시 함께 이동된다. 입력 영상의 각 프레임별로 특징점을 추출하는 것만으로는 빠른 손동작에 의한 조작에 대응하기 힘들뿐만 아니라, 특징점 추출에 실패할 경우, 손과 얼굴이 겹쳐진 경우는 해당 프레임에서의 특징점 위치를 알 수 없게 된다. 따라서, 성공적으로 특징점이 추출된 프레임 사이에 취해지는 사용자의 손동작과 추출에 실패한 프레임에서의 특징점 위치를 추적하는 알고리즘이 요구된다. 본 실시예에서는 각 프레임에서 특징점 위치의 측정값을 근거로 그 예상 위치를 확률적으로 추정하는 칼만필터(kalman filter)를 이용한다. 칼만필터는 잡음이 포함되어 있는 선형 역학계의 상태를 추적하는 재귀필터를 의미한다.
이상과 같은 과정을 정리해 보면 다음과 같다.
도 11a 내지 도 11f는 본 발명의 일실시예에 따른 비접촉 데이터 입력방법을 나타낸 순서도이다.
도 11a과 같은 입력 영상에 대해, 도 11b와 같이, 입력 영상의 배경으로부터 피부색을 추출하여 피부색 영역을 형성한다. 피부색 영역의 형성은 HCbCr 색생 모델, 퍼지 색상 필터를 이용한다. 이어서, 도 11c와 같이, 피부색 영역에서 손을 추출하여 손 영역을 형성한다. 손 영역의 형성은 라벨링을 이용한다. 이어서, 도 11d와 같이, 손 영역의 외곽선 정보를 바탕으로 손 영역의 무게중심과 손가락 끝점, 즉 특징점을 추출한다. 손 영역의 특징점은 무게 중심법, 굴곡 기법을 이용한다. 이어서, 도 11e와 같이, 설정된 스켈레톤 모델과 손 영역의 무게중심과 손사락 끝점을 매칭한다. 이어서, 도 11f와 같이, 매칭된 손 영역의 무게중심과 손가락 끝점의 이동을 추적하여 데이터를 입력받는다. 이와 같은 일련의 과정을 통해 본 실시예의 비접촉 입력 및 조작 방법을 이용하여 데이터를 입력하거나 프로그램을 조작한다.
한편, 본 실시예의 비접촉 데이터 입력방법은 대표적인 환경적 변화인 조명의 밝기에 대해 강인하다. 예를 들어, 도 12a와 같이 약간 어두운 조명(270lux) 상태, 도 12b와 같이 일반적인 사무환경 조명(400lux) 상태, 도 12c와 같이 밝은 조명(600lux) 상태에 대해, [표 1]과 같이 본 실시예의 비접촉 데이터 입력방법은 특징점의 추출 성공률에서 큰 편차를 보이지 않는다.
밝기 270lux 밝기 400lux 밝기 600lux
전체 프레임 수 550 610 570
추출 성공 프레임 수 517 (94%) 581 (95.2%) 548 (96.1%)
도 13은 본 실시예에 따른 비접촉 데이터 입력 및 조작 방법으로 색상을 선택하고 선을 그리는 과정을 나타낸 것이고, 도 14는 본 실시예에 따른 비접촉 데이터 입력 및 조작 방법으로 색상을 선택하고 도형을 그리기는 과정을 나타낸 것이다.
도 13 및 도 14를 참조하면, 각 프레임(Frame)의 손 움직임에 따라 특징점이 정상적으로 추출되고, 추적됨을 확인할 수 있다.
정리해 보면, 본 발명의 일실시예는 2차원 패턴 정보를 이용한 비접촉식 입력을 구현하기 위하여, 환경변화에 강인한 손 영역 추출 방법과 정확도가 향상된 손동작 인식 방법을 제안한다. 강인한 손 영역 추출을 위해, 조도 변화에 영향을 덜 받는 HCbCr 색상 모델을 제안하고, 피부색으로 인한 오류를 줄이기 위해 퍼지 색상 필터를 이용하며, 추출된 피부색 영역 중 손 영역만을 구별하기 위해 라벨링 기법을 사용한다. 정확한 손동작 인식을 위해, 스켈레톤 모델의 관절 각도와 마디 길이를 측정하여 손가락의 조작 동작을 인식하며, 추출된 손의 움직임을 원활하게 추적하기 위해 칼만 필터를 이용한다. 제안하는 비접촉식 입력방법은 연산량이 적으므로 실시간 구현이 용이하고, 환경변화에 강인하기 때문에 사용 편의성을 향상시킬 수 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속한 기술분야에서 통상의 지식을 가진자에게 있어 명백할 것이다.
S1: 영상의 배경으로부터 피부색을 추출하여 피부색 영역을 형성하는 단계
S2: 피부색 영역에 포함된 잡음을 제거하는 단계
S3: 피부색 영역에서 손을 추출하여 손 영역을 형성하는 단계
S4: 손 영역의 무게중심과 손가락 끝점을 추출하는 단계
S5: 설정된 스켈레톤 모델과 손 영역의 무게중심과 손가락 끝점을 매칭하는 단계;
S6: 매칭된 손 영역의 무게중심과 손가락 끝점의 이동을 추적하는 단계

Claims (9)

  1. 입력영상으로부터 피부색을 추출하여 피부색 영역을 형성하는 단계;
    상기 피부색 영역에서 각 객체의 크기를 비교하여 손을 추출하여 손 영역을 형성하는 단계;
    상기 손 영역의 외곽선 정보를 바탕으로 무게 중심법과 굴곡 기법을 이용하여 상기 손 영역의 무게중심과 손가락 끝점을 추출하는 단계;
    상기 추출된 손가락 끝점에 스켈레톤 모델을 적용하여 손가락의 각 관절과 마디를 매칭하고, 관절의 각도와 마디의 길이 변화를 측정하여 사용자의 조작 동작을 인식하는 단계;
    매칭된 상기 손 영역의 무게중심과 손가락 끝점의 이동을 추적하여 데이터를 입력받는 단계
    를 포함하는 비접촉 데이터 입력 및 조작방법.
  2. 제 1 항에 있어서,
    상기 피부색 영역을 형성하는 단계는 HCbCr 색상 모델을 포함하여 진행하는 것을 특징으로 하는 비접촉 데이터 입력 및 조작방법.
  3. 제 1 항에 있어서,
    상기 손 영역을 형성하는 단계는 상기 피부색 영역에서 객체의 크기가 가장 큰 것을 상기 손 영역으로 형성하는 것을 특징으로 하는 비접촉 데이터 입력 및 조작방법.
  4. 제 3 항에 있어서,
    상기 손 영역을 형성하는 단계는 8-방향 라벨링 기법을 포함하여 진행하는 것을 특징으로 하는 비접촉 데이터 입력 및 조작방법.
  5. 삭제
  6. 제 1 항에 있어서,
    상기 스켈레톤 모델은 손가락의 중요한 관절의 위치만을 이용한 특징 벡터 표현 방식으로서, 인간 손가락의 신체 구조적 데이터베이스를 이용하여 제작되는 비접촉 데이터 입력 및 조작방법.
  7. 제 1 항에 있어서,
    상기 데이터를 입력받는 단계는 칼만필터를 포함하여 진행하는 것을 특징으로 하는 비접촉 데이터 입력 및 조작방법.
  8. 제 1 항에 있어서,
    상기 피부색 영역을 형성한 후, 상기 피부색 영역에 포함된 잡음을 제거하는 단계를 더 포함하는 비접촉 데이터 입력 및 조작방법.
  9. 제 8 항에 있어서,
    상기 잡음을 제거하는 단계는 모폴로지 필터를 포함하여 진행하는 것을 특징으로 하는 비접촉 데이터 입력 및 조작방법.
KR1020110052814A 2011-06-01 2011-06-01 영상처리를 이용한 비접촉 데이터 입력 및 조작 방법 KR101171239B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110052814A KR101171239B1 (ko) 2011-06-01 2011-06-01 영상처리를 이용한 비접촉 데이터 입력 및 조작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110052814A KR101171239B1 (ko) 2011-06-01 2011-06-01 영상처리를 이용한 비접촉 데이터 입력 및 조작 방법

Publications (1)

Publication Number Publication Date
KR101171239B1 true KR101171239B1 (ko) 2012-08-06

Family

ID=46887023

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110052814A KR101171239B1 (ko) 2011-06-01 2011-06-01 영상처리를 이용한 비접촉 데이터 입력 및 조작 방법

Country Status (1)

Country Link
KR (1) KR101171239B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101548872B1 (ko) * 2014-06-13 2015-09-02 세종대학교산학협력단 영상처리를 이용한 손가락 인식 방법 및 시스템
KR101807241B1 (ko) * 2016-09-12 2017-12-08 주식회사 딥픽셀 단일 카메라 기반의 3차원 영상 해석 장치 및 방법, 3차원 영상 해석을 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101548872B1 (ko) * 2014-06-13 2015-09-02 세종대학교산학협력단 영상처리를 이용한 손가락 인식 방법 및 시스템
KR101807241B1 (ko) * 2016-09-12 2017-12-08 주식회사 딥픽셀 단일 카메라 기반의 3차원 영상 해석 장치 및 방법, 3차원 영상 해석을 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체
WO2018048000A1 (ko) * 2016-09-12 2018-03-15 주식회사 딥픽셀 단일 카메라 기반의 3차원 영상 해석 장치 및 방법, 3차원 영상 해석을 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체
US10636156B2 (en) 2016-09-12 2020-04-28 Deepixel Inc. Apparatus and method for analyzing three-dimensional information of image based on single camera and computer-readable medium storing program for analyzing three-dimensional information of image

Similar Documents

Publication Publication Date Title
Zhou et al. A novel finger and hand pose estimation technique for real-time hand gesture recognition
EP2904472B1 (en) Wearable sensor for tracking articulated body-parts
Feng et al. Features extraction from hand images based on new detection operators
Wu et al. Robust fingertip detection in a complex environment
US10366281B2 (en) Gesture identification with natural images
Lee et al. Finger identification and hand gesture recognition techniques for natural user interface
CN102053702A (zh) 动态手势控制系统与方法
Premaratne et al. Historical development of hand gesture recognition
Wu et al. Vision-based fingertip tracking utilizing curvature points clustering and hash model representation
WO2013051681A1 (ja) 手指形状推定装置、手指形状推定方法、及び手指形状推定プログラム
Chowdhury et al. Gesture recognition based virtual mouse and keyboard
KR102052449B1 (ko) 가상 마우스 시스템 및 그 제어 방법
JP2016167268A (ja) ジェスチャモデリング装置、ジェスチャモデリング方法、ジェスチャモデリングシステム用のプログラム、およびジェスチャモデリングシステム
KR101171239B1 (ko) 영상처리를 이용한 비접촉 데이터 입력 및 조작 방법
Obukhov et al. Organization of three-dimensional gesture control based on machine vision and learning technologies
Zaliva 3D finger posture detection and gesture recognition on touch surfaces
Kim et al. Visual multi-touch air interface for barehanded users by skeleton models of hand regions
Zhang et al. Near-field touch interface using time-of-flight camera
US20220050528A1 (en) Electronic device for simulating a mouse
Yu et al. Static hand gesture recognition algorithm based on finger angle characteristics
Choi et al. A study on providing natural two-handed interaction using a hybrid camera
Bellarbi et al. Hand gesture recognition using contour based method for tabletop surfaces
CN114296543A (zh) 一种指尖力检测及手势识别的智能交互系统及智能指环
Annabel et al. Design and Development of Multimodal Virtual Mouse
KR101184742B1 (ko) 비접촉식 손동작에 의한 방향 인식 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160201

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee