KR102052449B1 - 가상 마우스 시스템 및 그 제어 방법 - Google Patents

가상 마우스 시스템 및 그 제어 방법 Download PDF

Info

Publication number
KR102052449B1
KR102052449B1 KR1020190004760A KR20190004760A KR102052449B1 KR 102052449 B1 KR102052449 B1 KR 102052449B1 KR 1020190004760 A KR1020190004760 A KR 1020190004760A KR 20190004760 A KR20190004760 A KR 20190004760A KR 102052449 B1 KR102052449 B1 KR 102052449B1
Authority
KR
South Korea
Prior art keywords
region
hand
virtual
depth image
image
Prior art date
Application number
KR1020190004760A
Other languages
English (en)
Inventor
양형정
이귀상
김수형
트란딘썬
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020190004760A priority Critical patent/KR102052449B1/ko
Application granted granted Critical
Publication of KR102052449B1 publication Critical patent/KR102052449B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G06K9/00355—
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

실시간 영상과 손가락 탐지를 이용한 가상 마우스 시스템이 개시된다. 본 발명에 따르면, 입력되는 깊이 영상에서 손 영역을 감지하여 이진 영상을 생성하는 손 감지부, 이진 영상에서 손 영역의 윤곽선을 추출하는 윤곽선 추출부, 윤곽선의 좌표로 손가락 끝점을 추적하는 탐지부 및 손가락 끝점의 좌표 수에 따라 설정되는 제스처로 마우스 입력을 제어하는 가상 마우스부를 포함하여, 마우스와 접촉없이 원거리에서 손끝을 사용하여 스크린상의 마우스를 조정함으로써 인간-컴퓨터 간에 상호 작용할 수 있는 효과가 있다.

Description

가상 마우스 시스템 및 그 제어 방법{System for virtual mouse and method therefor}
본 발명은 가상 마우스 시스템 및 그 제어 방법에 관한 것으로서, 더욱 상세하게는 실시간 영상과 손가락 탐지를 이용한 가상 마우스 시스템에 관한 것이다.
현재 증강 현실 기술의 발전과 함께 인간-컴퓨터 상호작용(HCI)을 사용하여 생산성을 높이면서 작업량을 줄이기 위한 기술이 개발되고 있다. 손 제스처 인식의 Natural User Interface(NUI)는 HCI에서 중요한 주제이다. 이러한 HCI는 손 제스처 기반 인터페이스를 통해 인간과 가장 자연스럽게 상호 작용할 수 있으며 일반적으로 손가락 끝 움직임을 사용한다.
손가락 끝 감지는 가상 마우스, 원격 제어, 수화 인식 또는 몰입 형 게임 기술과 같이 광범위하게 적용될 수 있다. 따라서 이미지에서 손가락 끝을 탐지하여 사용하는 가상 마우스는 지난 수십 년 동안 비전 기반 기술의 주요 목표 중 하나였다.
종래, 한국공개특허 제2018-0101313호에서, 검출된 손 영역으로부터 각각의 손가락이 여러 부분으로 분할되도록 복수의 특징점을 추출하고, 복수의 특징점을 기초로 손의 길이 특징을 나타내는 특징벡터를 생성하고, 검출된 손 영역의 궤적을 추적하여 손의 동작을 인식하는 시스템이다. 이러한 종래 시스템은 카메라 입력영상 기반의 손 영역 추적 접근 방식은 조명 레벨이 변경되고 복잡한 배경이 사용될 경우 정확도가 떨어지는 문제가 있다.
대한민국 공개특허 제2018-0101313호 (2018.09.12)
따라서 본 발명은 상술한 문제점을 해결하기 위해 착안된 것으로서, 조명 레벨의 변경과 복잡한 배경을 사용하더라도 정확도가 떨어지지 않으면서도 손가락 끝점을 인식하고 이를 이용한 가상 마우스 시스템 및 그 제어 방법을 제공함에 목적이 있다.
상기 목적을 달성하기 위한 본 발명에 따른 가상 마우스 시스템은 입력되는 깊이 영상에서 손 영역을 감지하여 이진 영상을 생성하는 손 감지부, 이진 영상에서 손 영역의 윤곽선을 추출하는 윤곽선 추출부, 윤곽선의 좌표로 손가락 끝점을 추적하는 탐지부 및 손가락 끝점의 좌표 수에 따라 설정되는 제스처로 마우스 입력을 제어하는 가상 마우스부를 포함한다.
바람직하게 손 감지부와 사용자 사이에 마우스 제어를 위한 가상 화면을 형성하고 깊이 영상의 해상도를 기준으로 픽셀을 구성하고, 손가락 끝점 좌표를 가상 화면과 연결되는 디스플레이 화면 해상도로 변환하여 표시하는 가상 스크린부를 포함한다.
또한 바람직하게 사용자 ID별 깊이 영상의 손 영역에 있는 픽셀을 가지고 깊이 영상의 거리를 산출하여 가장 근접한 사용자ID의 손 영역 픽셀을 마우스 제어대상 사용자로 설정하는 대상자 잠금부를 포함한다.
또한 바람직하게 손 감지부는 깊이 영상을 입력받는 영상 취득모듈, 입력받은 깊이 영상과 학습된 신체 부위의 맵핑을 통해 골격정보를 얻는 골격정보 판단모듈, 골격정보 판단모듈의 골격정보로 관심 영역과 손바닥 중심을 추출하는 관심영역 추출모듈, 관심 영역에서의 손 영역 잡음을 제거하는 잡음 제거모듈 및 손 영역에서 임계값을 가진 깊이 영상의 깊이 신호를 기반으로 이진 영상을 생성하여 영역을 분할하는 영역 분할모듈을 포함한다.
또한 바람직하게 윤곽선 추출부는 손 영역 이진 영상의 픽셀로 영역 경계를 찾아 손 영역의 윤곽선을 추출한다.
그리고 바람직하게 탐지부는 윤곽선 좌표 중 손가락 마디가 시작되는 점(
Figure 112019004445685-pat00001
,
Figure 112019004445685-pat00002
)과 손가락 끝점(
Figure 112019004445685-pat00003
) 사이를 이루는 두 벡터(
Figure 112019004445685-pat00004
,
Figure 112019004445685-pat00005
) 사이의 각도
Figure 112019004445685-pat00006
를 산출하여 손가락 끝 위치를 결정한다.
가상 마우스 제어방법은 (a) 가상 마우스 시스템이 손 감지부로 입력되는 깊이 영상에서 손 영역을 감지하여 이진 영상을 생성하도록 하는 단계, (b) 상기 가상 마우스 시스템이 이진 영상에서 손 영역의 윤곽선을 추출하도록 하는 단계, (c) 상기 가상 마우스 시스템이 상기 윤곽선의 좌표로 손가락 끝점을 추적하도록 하는 단계 및 (d) 상기 가상 마우스 시스템이 손가락 끝점의 좌표 수에 따라 설정되는 제스처로 마우스 입력을 제어하도록 하는 단계를 포함한다.
또한 바람직하게 제 (c) 단계 이후, 가상 마우스 시스템이 손 감지부와 사용자 사이에 마우스 제어를 위한 가상 화면을 형성하고 상기 깊이 영상의 해상도를 기준으로 픽셀을 구성하고, 상기 손가락 끝점 좌표를 가상 화면과 연결되는 디스플레이 화면 해상도로 변환하여 표시하도록 하는 단계를 포함한다.
또한 바람직하게 제 (c) 단계 이후, 가상 마우스 시스템이 사용자 ID별 깊이 영상의 손 영역에 있는 픽셀을 가지고 깊이 영상의 거리를 산출하여 가장 근접한 사용자ID의 손 영역 픽셀을 마우스 제어대상 사용자로 설정하도록 하는 단계를 포함한다.
또한 바람직하게 제 (a) 단계는 깊이 영상을 입력받는 영상 취득단계, 입력받은 깊이 영상과 학습된 신체 부위의 맵핑을 통해 골격정보를 얻는 골격정보 판단단계, 상기 골격정보 판단단계의 골격정보로 관심 영역과 손바닥 중심을 추출하는 관심영역 추출단계, 상기 관심 영역에서의 손 영역 잡음을 제거하는 잡음 제거단계 및 상기 손 영역에서 임계값을 가진 상기 깊이 영상의 깊이 신호를 기반으로 이진 영상을 생성하여 영역을 분할하는 단계를 포함한다.
또한 바람직하게 제 (b) 단계는 손 영역 이진 영상의 픽셀로 영역 경계를 찾아 손 영역의 윤곽선을 추출하도록 한다.
그리고 바람직하게 제 (c) 단계는 윤곽선 좌표 중 손가락 마디가 시작되는 점(
Figure 112019004445685-pat00007
,
Figure 112019004445685-pat00008
)과 손가락 끝점(
Figure 112019004445685-pat00009
) 사이를 이루는 두 벡터(
Figure 112019004445685-pat00010
,
Figure 112019004445685-pat00011
) 사이의 각도
Figure 112019004445685-pat00012
를 산출하여 손가락 끝 위치를 결정하도록 한다.
본 발명에 따르면, 마우스와 접촉없이 원거리에서 손끝을 사용하여 스크린상의 마우스를 조정함으로써 인간-컴퓨터 간에 상호 작용할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 가상 마우스 시스템의 간략한 구성도이고,
도 2는 본 발명의 일 실시예에 따른 가상 마우스 시스템의 전체 구성을 나타낸 예시도이며,
도 3은 본 발명의 일 실시예에 따른 가상 마우스 시스템의 깊이 영상과 골격 정보를 이용한 손 영역의 분할을 나타낸 예시도이고,
도 4는 본 발명의 일 실시예에 따른 가상 마우스 시스템의 손 윤곽선 추출을 나타낸 예시도이며,
도 5는 본 발명의 일 실시예에 따른 가상 마우스 시스템의 손끝 감지 및 추적을 나타낸 예시도이고,
도 6은 본 발명의 일 실시예에 따른 가상 마우스 시스템의 가상 화면과 실제 화면을 나타낸 예시도이며,
도 7은 본 발명의 일 실시예에 따른 가상 마우스 시스템의 손가락 끝 카운팅을 기반으로 하는 가상 마우스 제스처를 나타낸 예시도이고,
도 8은 본 발명의 일 실시예에 따른 가상 마우스 시스템을 설명하기 위한 파이프 라인이며,
도 9는 본 발명의 일 실시예에 따른 가상 마우스 시스템을 이용한 제어방법을 설명하기 위한 개략적인 흐름도이고,
도 10은 본 발명의 일 실시예에 따른 가상 마우스 제어방법의 이진 영상을 생성하는 단계를 나타낸 상세 흐름도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다.
또한 아래 설명하는 실시 예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시 예들은 실시 형태에 대한 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시 예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 실시 예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, “포함하다” 또는 “가지다”등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소들과 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않는 범위 내에서, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게는 제2 구성요소는 제1 구성요소로도 명명 될 수 있다.
우선, 본 발명의 일 실시예에 따른 가상 마우스 시스템은 깊이 영상과 손가락 끝 검출을 이용하여 컴퓨터와 상호 작용하는 제스처 기반 인터페이스를 갖는 가상 마우스의 새로운 방식을 제안한다. 제안하는 방식의 가상 마우스 시스템은 가벼운 레벨이나 복잡한 배경의 변경, 멀리 떨어진 곳에서의 손가락 끝 추적, 다중 사람에 의한 손가락 끝 추적과 같은 장점을 가지고 정확한 제스처를 추정하여 실용적인 응용에 사용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 가상 마우스 시스템의 간략한 구성도이고, 도 2는 본 발명의 일 실시예에 따른 가상 마우스 시스템의 전체 구성을 나타낸 예시도이며, 도 3은 본 발명의 일 실시예에 따른 가상 마우스 시스템의 깊이 영상과 골격 정보를 이용한 손 영역의 분할을 나타낸 예시도이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 가상 마우스 시스템(10)은 손 감지부(100), 윤곽선 추출부(200), 탐지부(300), 대상자 잠금부(400), 가상 스크린부(500), 가상 마우스부(600)를 포함한다.
-손 감지부(100)-
손 감지부(100)는 입력되는 깊이 영상과 학습된 신체 부위의 맵핑을 통해 다양한 사용자의 동작으로 손 영역을 파악한다. 이러한 손 감지부(100)는 엉덩이, 척추, 머리, 어깨, 손, 발, 엄지 등과 같은 사용자의 25개 관절을 사용하여 골격정보를 얻고, 관심 영역과 손바닥의 중심을 추출하여 손 영역의 이진 영상을 생성하여 분할한다. 이러한 기능을 수행하기 위한 손 감지부(100)는 도 2에 도시된 바와 같이, 영상 취득모듈(110), 골격정보 판단모듈(120), 관심영역 추출모듈(130), 잡음 제거모듈(140), 영역 분할모듈(150)을 포함한다.
영상 취득모듈(110)은 깊이 영상을 입력받는 구성이다. 이때 손 감지에 사용된 깊이 영상은 도 3(a)에 도시된 바와 같다. 이 깊이 영상은 Microsoft Kinect 센서 v2(버전 2)에서 캡처한 것으로 영상 취득모듈(110)은 깊이 영상을 입력받는다.
골격정보 판단모듈(120)은 입력된 깊이 영상과 학습된 신체 부위의 맵핑을 통해 다양한 사용자의 동작으로 엉덩이, 척추, 머리, 어깨, 손, 발, 엄지 등과 같은 사용자의 25개 관절로 골격정보를 얻을 수 있다.
관심영역 추출모듈(130)은 골격정보 판단모듈의 깊이 영상을 사용하여 관심 영역(HRI)과 손바닥의 중심을 추출한다.
잡음 제거모듈(140)은 손 영역의 잡음을 제거하는 구성이다. 본 실시예에 따른 가상 마우스 시스템의 잡음 제거모듈(140)은 미디언 필터(Median filter)와 모폴로지 연산을 적용하여 손 영역의 잡음을 제거한다. 미디언 필터는 어느 점의 값을 그 점을 중심으로 하는 윈도우 내의 중간 값으로 대치하는 필터로 무작위 잡음을 제거하는데 효과적이다. 모폴로지 연산은 전처리 또는 후처리의 형태로 사용되는 것으로 영상에서 잡음을 제거하거나 객체의 모양을 기술하는데, 필터의 크기 및 사용 횟수에 따라 작은 덩어리의 객체들을 사라지게 하고, 객체 내부에 있는 작은 구멍들을 사라지게 할 수 있다. 즉, 본 실시예에서의 잡음 제거모듈(140)은 손 영역의 영상에서 모폴로지 연산과 미디언 필터를 적용하여 필터의 크기 및 사용 횟수에 따라 작은 덩어리의 객체들을 사라지게 함으로써 손 영역의 잡음을 제거한다.
영역 분할모듈(150)은 손 영역을 선택하고 임계값을 가진 깊이 영상의 깊이 신호를 기반으로 이진 영상을 생성하여 영역을 분할한다. 이 과정의 결과는 도 3(b)에 도시된 바와 같이, 손에 속한 픽셀들의 집합이다. 본 실시예에 따른 가상 마우스 시스템의 영역 분할모듈(150)은 이진화된 이미지에서 연결된 부분들만을 하나의 객체로 인식하고 검출하는 블럽(Blob) 탐지 방법을 사용하여 손 영역을 선택하여 영상 취득모듈(110,kinect)의 깊이 영상의 깊이 신호를 기반으로 이진 영상을 생성하여 영역을 분할한다.
본 발명의 일 실시예에 따른 가상 마우스 시스템의 영역 분할모듈(150)은 깊이 영상과 골격정보를 이용하여 손 영역을 선택할 수 있고, 깊이 정보와 골격 정보를 상호 보완적으로 혼용하여 조명 변화에 강인한 손의 영역을 검출하고, 이를 이용하여 다시 골격정보를 적응적으로 학습함으로써 강한 조명변화에도 손을 분리할 수 있다. 이때, 도 3(b)와 같이 조명에 손실된 손가락 영역까지 영역 채움을 통해 임계값을 가진 깊이 영상의 깊이 신호를 기반으로 이진 영상을 생성하여 영역을 분할한다. 즉, 입력된 깊이 영상과 학습된 신체 부위의 맵핑을 통한 골격 정보를 통해 강인한 손 분리 기능을 구현할 수 있다. 먼저 깊이 영상에서 주변 배경영역을 제거하는 전처리를 수행한 후, 골격정보를 기반으로 조명에 손실된 영역까지 영역 채움을 통해 임계값을 가진 깊이 영상의 깊이 신호를 기반으로 이진 영상을 생성함으로써, 조명의 변화에도 강인하게 영역을 분할할 수 있다.
-윤곽선 추출부(200)-
윤곽선 추출부(200)는 손 감지부(100)에서 추출한 손 영역 분할 영상에서 윤곽선을 추출하는 구성이다. 여기서, 손 영역 분할 영상에서 추출된 가장 바깥쪽 점의 곡선으로 손가락 끝 탐지 과정에서 윤곽선 추출은 손가락 끝 위치를 정의하는 매우 중요한 단계이다.
본 발명의 일 실시예에 따른 가상 마우스 시스템의 윤곽선 추출부는 손 영역의 이진 이미지가 탐지되면 이미지의 모든 픽셀을 검사하여 영역 경계를 찾을 수 있다.
도 4는 본 발명의 일 실시예에 따른 가상 마우스 시스템의 손 윤곽선 추출을 나타낸 예시도이다. 도 4에 도시된 바와 같이, 손 윤곽선 추출과정이 끝나면, 배열로 손의 윤곽선 픽셀을 순서대로 얻을 수 있고, 이러한 값은 손가락 끝의 추출에 사용된다.
-탐지부(300)-
탐지부(300)는 손끝 감지 및 추적을 하는 구성이다. 이러한 탐지부(300)는 손 윤곽선을 추출한 후 감지된 손 윤곽선의 좌표를 사용하여 손가락 끝점을 계산한다.
도 5는 본 발명의 일 실시예에 따른 가상 마우스 시스템의 손끝 감지 및 추적을 나타낸 예시도이다. 본 실시예에 따른 탐지부(300)는 도 5에 도시된 바와 같이, 개체의 특정 모양을 탐지하는 K-코사인 모서리 감지 알고리즘을 이용하여 손가락의 두 벡터 사이의 각도를 다음의 수학식 1을 통해 찾도록 한다.
[수학식 1]
Figure 112019004445685-pat00013
수학식 1은 손가락 끝 위치를 결정하는데 사용되며,
Figure 112019004445685-pat00014
,
Figure 112019004445685-pat00015
, 여기서,
Figure 112019004445685-pat00016
와
Figure 112019004445685-pat00017
는 윤곽선 좌표 중 손가락 마디가 시작되는 점이고, 도 4에 도시된 바와 같이,
Figure 112019004445685-pat00018
는
Figure 112019004445685-pat00019
와
Figure 112019004445685-pat00020
사이의 각도이고, 끝점은 주어진 픽셀
Figure 112019004445685-pat00021
로 나타낸다. K-cosine을 통해 얻은
Figure 112019004445685-pat00022
의 코사인 값과 함께 곡률은 각각의 배열로 그룹화된다.
Figure 112019004445685-pat00023
의 포인트 값이 각 배열에서 가장 큰 경우 손가락 끝으로 정의된다. 탐지된 손가락 끝수는 손가락 수이다.
-대상자 잠금부(400)-
대상자 잠금부(400)는 사용자 ID와 해당 사용자에 대한 손 영역의 픽셀을 입력받고, 손 감지부의 영상 취득모듈인 깊이 영상 카메라(depth camera)와의 거리를 계산하여 깊이 영상 카메라와 가장 근접한 손 영역의 픽셀인 경우에 대상 사용자로 설정하도록 한다.
여기서, 대상자는 추적 중에 마우스를 제어하도록 선택된 여러 사람 중 하나이다. 키넥트 센서 V2는 한 번에 최대 6명의 사람들에게 추출된 골격 정보를 제공한다. 따라서 이 시스템은 위의 탐지부(300)의 알고리즘을 사용하여 최대 6명의 손가락 끝을 찾을 수 있다. 그러나 마우스 커서를 제어하려면 다른 사람의 영향을 제거하기 위해 대상 사용자를 잠가야 한다. 이를 위해, 사용자 잠금 알고리즘을 사용하여 손 추적 중 문제를 해결한다. 구현 절차의 세부사항은 다음의 표 1과 같다.
Algorithm1 Target Person Locking
begin
Require User ID, pixels in hand region in
depth space
1: Calculation the distance from pixels in hand region to depth camera
2: If the user's hand pixel is the closest object to the depth camera
then process target user
else redo 1
end begin
사용자 잠금 알고리즘에 따른 대상자 잠금부는 사용자 ID별로 깊이 영상의 손 영역에 있는 픽셀을 필요로 한다. 다음으로 사용자 ID별 깊이 영상의 손 영역에 있는 픽셀과 영상 취득모듈인 깊이 카메라(depth camera)까지의 거리를 계산하는 제1 과정을 수행한다. 제1 과정의 수행결과, 특정 사용자의 손 픽셀이 깊이 카메라에 가장 근접한 객체이면 대상 사용자로 잠금 처리한다. 그 외인 경우는 제1 과정을 수행하도록 한다. 이로써, 대상 사용자로 잠금 처리를 하여 대상 사용자의 손가락 끝을 찾아 마우스 커서를 제어하도록 하여 다른 사람의 영향을 제거할 수 있다.
-가상 스크린부(500)-
가상 스크린부(500)는 마우스 제어를 위해 손 감지부의 영상 취득모듈인 키넥트 장치와 마우스 커서를 손으로 제어할 수 있는 사용자 사이의 가상 공간인 가상 모니터를 형성하는 구성이다. 이러한 가상 모니터상의 마우스 제어를 위해 가상 화면에서 실제 화면으로 손가락 끝 좌표를 변환하여 표시하도록 한다.
본 일 실시예에서는 키넥트 장치와 마우스 커서를 손으로 제어할 수 있는 사용자 사이의 가상 공간인 가상 모니터 개념이 도입되었다. 이 아이디어의 장점은 화면 크기에 따라 구현된다는 것이다. 이 단계에서 가상 화면의 해상도는 Kinect v2의 깊이 해상도를 기준으로 512 x 424(Xv, Yv) 픽셀로 얻을 수 있다. 변환 알고리즘은 마우스 제어를 위해 가상 화면에서 전체 화면으로 손가락 끝 좌표를 변환하는데 사용된다.
도 6은 본 발명의 일 실시예에 따른 가상 마우스 시스템의 가상 화면과 실제 화면을 나타낸 예시도이다. 도 6에서, Xr와 Yr은 실제 화면 해상도의 폭과 높이이다. Xv와 Yv는 각각 가상 모니터의 폭과 높이를 나타낸다. x와 y는 손가락 끝 위치의 좌표이다. 변환 알고리즘은 다음 수학식 2로 표시된다.
[수학식 2]
Figure 112019004445685-pat00024
Figure 112019004445685-pat00025
Figure 112019004445685-pat00026
-가상 마우스부(600)-
가상 마우스부(600)는 손가락 끝 수(X)에 따라 설정되는 마우스 제스처로 가상 마우스를 제어하도록 하는 구성이다.
컴퓨터 마우스는 데스크톱의 개체를 조작하는데 가장 자주 사용되는 휴대용 포인팅 장치이다. 본 실시예에서는 사용자가 마우스 장치없이 손가락 끝으로 마우스를 제어할 수 있는 방법을 제시한다. 컴퓨터 마우스의 기능을 대체하기 위해 손가락 끝 수(X)를 선택한다. 마우스 제스처에는 4가지 종류가 있다.
(1) 마우스 포인터 이동(X=1)
(2) 마우스 클릭(X=2)
(3) 마우스 드래그(X=3 또는 4)
(4) 아무런 동작도 없는 상태(X=0 또는 5인 경우)
도 7은 본 발명의 일 실시예에 따른 가상 마우스 시스템의 손가락 끝 카운팅을 기반으로 하는 가상 마우스 제스처를 나타낸 예시도이다. 가상 마우스는 도 6과 같이 작동하며, 특히 부드러운 움직임을 위해 손가락 3개 또는 4개의 손가락 끝으로 끌기 동작을 제안하였다. 이는 제스처가 빠르게 움직이면 손가락 끝의 수가 3과 4와 같이 때문이다.
도 8은 본 발명의 일 실시예에 따른 가상 마우스 시스템을 설명하기 위한 파이프 라인이다. 도 8에 도시된 바와 같이, 입력되는 깊이 영상(Depth Images)을 가지고(1) 골격정보를 판단한다(2). 골격정보로 판단한 경우, 손 감지부(100)를 통해 손 감지 및 분할을 수행한다(3). 여기서, 손의 관심 부위와 손바닥의 중심은 Kinect V2 골격 추적기가 제공하는 깊이 영상에서 추출되어 이진 영상으로 변환된다. 다음으로 윤곽선 추출부(200)로 손 윤곽을 추출한다(4). 여기서, 손 모양을 추출하기 위해 경계 추적 알고리즘인 K-곡률 알고리즘을 적용하는데, 손 윤곽 좌표를 기반으로 손가락 끝 위치를 감지하는데 사용된다. 다음으로 탐지부(300)를 통해 손 윤곽 좌표를 기반으로 손가락 끝 탐지 및 추적을 하며, 이때 손가락 끝 위치는 RGB 이미지로 매핑된다(5). 이때, 가상 화면을 기반으로 마우스 커서를 제어하기 위해 손가락 끝 위치가 RGB 이미지에 매핑된다. 다음으로 대상자 잠금부(400)로 대상 사용자를 설정한다(6). 다음으로 가상 스크린부(500)로 가상 모니터상의 마우스 제어를 위해 실제 화면으로 손가락 끝 좌표를 변환하여 표시한다(7). 다음으로 가상 마우스부(600)로 손가락 끝 수를 카운팅하고, 손가락 끝 수에 따라 설정되는 마우스 제스처로 가상 마우스를 제어하도록 한다(8).
컴퓨터 마우스의 세 가지 기능, 즉 마우스 이동, 마우스 클릭 및 끌기(드래그)가 본 실시예에서 가능하다. 마우스 클릭은 손가락 끝 수가 2개인 경우로, 두 개의 좌표 중 하나인 검지에 해당하는 좌표가 이동하는 경우에 왼쪽 단추를 실행한 것으로 설정할 수 있다. 또한 마우스 오른쪽 단추는 손가락 끝 수가 2개인 경우에서, 두 개의 좌표 중 하나인 엄지에 해당하는 좌표가 이동하는 경우, 즉, 주먹을 쥐고 엄지와 검지를 핀 상태에서 검지를 고정하고 엄지를 이동하는 것으로 설정하여 오른쪽 단추를 실행한 것으로 설정할 수 있다.
이로써, 본 발명은 마우스와의 접촉없이 원거리에서 손끝을 사용하여 스크린상의 마우스를 조정함으로써 인간-컴퓨터 간에 상호 작용할 수 있는 효과가 있다.
도 9는 본 발명의 일 실시예에 따른 가상 마우스 시스템을 이용한 제어방법을 설명하기 위한 개략적인 흐름도이다. 본 발명의 일 실시예에 따른 가상 마우스 시스템을 주체로 하여 가상 마우스 제어방법을 설명하기로 한다.
도 9에 도시된 바와 같이, 가상 마우스 시스템은 손 감지부를 통해 입력되는 깊이 영상에서 손 영역을 감지하여 이진 영상을 생성하도록 한다(a). 다음으로 이진 영상에서 손 영역의 윤곽선을 추출하도록 한다(b). 다음으로 윤곽선의 좌표로 손가락 끝점을 추적하도록 한다(c). 그리고 손가락 끝점의 좌표 수에 따라 설정되는 제스처로 마우스 입력을 제어하도록 한다(d).
제 (b) 단계에서, 가상 마우스 시스템은 손 영역 이진 영상의 픽셀로 영역 경계를 찾아 손 영역의 윤곽선을 추출하도록 한다.
제 (c) 단계에서, 가상 마우스 시스템은 윤곽선 좌표 중 손가락 마디가 시작되는 점(
Figure 112019004445685-pat00027
,
Figure 112019004445685-pat00028
)과 손가락 끝점(
Figure 112019004445685-pat00029
) 사이를 이루는 두 벡터(
Figure 112019004445685-pat00030
,
Figure 112019004445685-pat00031
) 사이의 각도
Figure 112019004445685-pat00032
를 산출하여 손가락 끝 위치를 결정하도록 한다.
제 (c) 단계 이후, 가상 마우스 시스템은 손 감지부와 사용자 사이에 마우스 제어를 위한 가상 화면을 형성하여 깊이 영상의 해상도의 폭과 높이를 기준으로 픽셀을 구성하고, 손가락 끝점 좌표를 가상 화면과 연결되는 디스플레이 화면 해상도의 폭과 높이로 변환하여 표시하도록 하는 단계를 포함한다.
또한 제 (c) 단계 이후, 가상 마우스 시스템이 사용자 ID별 깊이 영상의 손 영역에 있는 픽셀을 가지고 깊이 영상의 거리를 산출하여 가장 근접한 사용자ID의 손 영역 픽셀을 마우스 제어대상 사용자로 설정하도록 단계를 포함한다.
도 10은 본 발명의 일 실시예에 따른 가상 마우스 제어방법의 이진 영상을 생성하는 단계를 나타낸 상세 흐름도이다. 도 10에 도시된 바와 같이, 이진 영상을 생성하는 단계는 (a-1) 깊이 영상을 입력받는 영상 취득단계, (a-2) 입력받은 깊이 영상과 학습된 신체 부위의 맵핑을 통해 골격정보를 얻는 골격정보 판단단계, (a-3) 상기 골격정보 판단단계의 골격정보로 관심 영역과 손바닥 중심을 추출하는 관심영역 추출단계, (a-4) 상기 관심 영역에서의 손 영역 잡음을 제거하는 잡음 제거단계 및 (a-5) 손 영역에서 임계값을 가진 상기 깊이 영상의 깊이 신호를 기반으로 이진 영상을 생성하여 영역을 분할하는 단계를 포함한다.
한편 본 발명은 상술한 내용에서 본 발명의 실시예 및 첨부된 도면에 의해 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함은 통상의 기술자에게 명백할 것이다.
100 : 손 감지부
110 : 영상 취득모듈
120 : 골격정보 판단모듈
130 : 관심영역 추출모듈
140 : 잡음 제거모듈
150 : 영역 분할모듈
200 : 윤곽선 추출부
300 : 탐지부
400 : 대상자 잠금부
500 : 가상 스크린부
600 : 가상 마우스부

Claims (12)

  1. 입력되는 깊이 영상에서 손 영역을 감지하여 이진 영상을 생성하는 손 감지부,
    상기 이진 영상에서 손 영역의 윤곽선을 추출하는 윤곽선 추출부,
    상기 윤곽선의 좌표로 손가락 끝점을 추적하는 탐지부,
    상기 손가락 끝점의 좌표 수에 따라 설정되는 제스처로 마우스 입력을 제어하는 가상 마우스부 및
    사용자 ID별 깊이 영상의 손 영역에 있는 픽셀을 가지고 깊이 영상의 거리를 산출하여 가장 근접한 사용자ID의 손 영역 픽셀을 마우스 제어대상 사용자로 설정하는 대상자 잠금부를 포함하며,
    상기 손 감지부는 깊이 영상에서 주변 배경영역을 제거하는 전처리를 수행한 후, 골격정보를 기반으로 조명에 손실된 영역까지 영역 채움을 통해 임계값을 가진 깊이 영상의 깊이 신호를 기반으로 이진 영상을 생성하는 것을 특징으로 하는 가상 마우스 시스템.
  2. 제 1 항에 있어서,
    상기 손 감지부와 사용자 사이에 마우스 제어를 위한 가상 화면을 형성하여 상기 깊이 영상의 해상도를 기준으로 픽셀을 구성하고, 상기 손가락 끝점 좌표를 가상 화면과 연결되는 디스플레이 화면 해상도로 변환하여 표시하는 가상 스크린부;를 포함하는 것을 특징으로 하는 가상 마우스 시스템.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 손 감지부는
    깊이 영상을 입력받는 영상 취득모듈,
    입력받은 깊이 영상과 학습된 신체 부위의 맵핑을 통해 골격정보를 얻는 골격정보 판단모듈,
    상기 골격정보 판단모듈의 골격정보로 관심 영역과 손바닥 중심을 추출하는 관심영역 추출모듈,
    상기 관심 영역에서의 손 영역 잡음을 제거하는 잡음 제거모듈 및
    상기 손 영역에서 임계값을 가진 상기 깊이 영상의 깊이 신호를 기반으로 이진 영상을 생성하여 영역을 분할하는 영역 분할모듈을 포함하는 것을 특징으로 하는 가상 마우스 시스템.
  5. 제 1 항에 있어서,
    상기 윤곽선 추출부는 손 영역 이진 영상의 픽셀로 영역 경계를 찾아 손 영역의 윤곽선을 추출하는 것을 특징으로 하는 가상 마우스 시스템.
  6. 제 1 항에 있어서,
    상기 탐지부는 윤곽선 좌표 중 손가락 마디가 시작되는 점(
    Figure 112019004445685-pat00033
    ,
    Figure 112019004445685-pat00034
    )과 손가락 끝점(
    Figure 112019004445685-pat00035
    ) 사이를 이루는 두 벡터(
    Figure 112019004445685-pat00036
    ,
    Figure 112019004445685-pat00037
    ) 사이의 각도
    Figure 112019004445685-pat00038
    를 산출하여 손가락 끝 위치를 결정하는 것을 특징으로 하는 가상 마우스 시스템.
  7. (a) 가상 마우스 시스템이 손 감지부를 통해 입력되는 깊이 영상에서 손 영역을 감지하여 이진 영상을 생성하도록 하는 단계;
    (b) 상기 가상 마우스 시스템이 이진 영상에서 손 영역의 윤곽선을 추출하도록 하는 단계;
    (c) 상기 가상 마우스 시스템이 상기 윤곽선의 좌표로 손가락 끝점을 추적하도록 하는 단계; 및
    (d) 상기 가상 마우스 시스템이 손가락 끝점의 좌표 수에 따라 설정되는 제스처로 마우스 입력을 제어하도록 하는 단계;를 포함하며,
    상기 제 (c) 단계 이후, 상기 가상 마우스 시스템이 사용자 ID별 깊이 영상의 손 영역에 있는 픽셀을 가지고 깊이 영상의 거리를 산출하여 가장 근접한 사용자ID의 손 영역 픽셀을 마우스 제어대상 사용자로 설정하도록 하는 단계;를 포함하며,
    상기 제 (a) 단계는 깊이 영상에서 주변 배경영역을 제거하는 전처리를 수행한 후, 골격정보를 기반으로 조명에 손실된 영역까지 영역 채움을 통해 임계값을 가진 깊이 영상의 깊이 신호를 기반으로 이진 영상을 생성하는 단계인 것을 특징으로 하는 가상 마우스 제어방법.
  8. 제 7 항에 있어서,
    상기 제 (c) 단계 이후, 상기 가상 마우스 시스템이 상기 손 감지부와 사용자 사이에 마우스 제어를 위한 가상 화면을 형성하고 상기 깊이 영상의 해상도를 기준으로 픽셀을 구성하고, 상기 손가락 끝점의 좌표를 가상 화면과 연결되는 디스플레이 화면 해상도로 변환하여 표시하도록 하는 단계;를 포함하는 것을 특징으로 하는 가상 마우스 제어방법.
  9. 삭제
  10. 제 7 항에 있어서,
    상기 제 (a) 단계는,
    (a-1) 깊이 영상을 입력받는 영상 취득단계,
    (a-2) 입력받은 깊이 영상과 학습된 신체 부위의 맵핑을 통해 골격정보를 얻는 골격정보 판단단계,
    (a-3) 상기 골격정보 판단단계의 골격정보로 관심 영역과 손바닥 중심을 추출하는 관심영역 추출단계,
    (a-4) 상기 관심 영역에서의 손 영역 잡음을 제거하는 잡음 제거단계 및
    (a-5) 상기 손 영역에서 임계값을 가진 상기 깊이 영상의 깊이 신호를 기반으로 이진 영상을 생성하여 영역을 분할하는 단계를 포함하는 것을 특징으로 하는 가상 마우스 제어방법.
  11. 제 7 항에 있어서,
    상기 제 (b) 단계는 손 영역 이진 영상의 픽셀로 영역 경계를 찾아 손 영역의 윤곽선을 추출하도록 하는 것을 특징으로 하는 가상 마우스 제어방법.
  12. 제 7 항에 있어서,
    상기 제 (c) 단계는 윤곽선 좌표 중 손가락 마디가 시작되는 점(
    Figure 112019004445685-pat00039
    ,
    Figure 112019004445685-pat00040
    )과 손가락 끝점(
    Figure 112019004445685-pat00041
    ) 사이를 이루는 두 벡터(
    Figure 112019004445685-pat00042
    ,
    Figure 112019004445685-pat00043
    ) 사이의 각도
    Figure 112019004445685-pat00044
    를 산출하여 손가락 끝 위치를 결정하도록 하는 것을 특징으로 하는 가상 마우스 제어방법.
KR1020190004760A 2019-01-14 2019-01-14 가상 마우스 시스템 및 그 제어 방법 KR102052449B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190004760A KR102052449B1 (ko) 2019-01-14 2019-01-14 가상 마우스 시스템 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190004760A KR102052449B1 (ko) 2019-01-14 2019-01-14 가상 마우스 시스템 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR102052449B1 true KR102052449B1 (ko) 2019-12-05

Family

ID=69002192

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190004760A KR102052449B1 (ko) 2019-01-14 2019-01-14 가상 마우스 시스템 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR102052449B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114327047A (zh) * 2021-12-01 2022-04-12 北京小米移动软件有限公司 设备控制方法、设备控制装置及存储介质
CN114967927A (zh) * 2022-05-30 2022-08-30 桂林电子科技大学 一种基于图像处理的智能手势交互方法
WO2023085534A1 (ko) * 2021-11-11 2023-05-19 주식회사 피앤씨솔루션 머리 착용형 디스플레이 장치에서 손 인식을 활용한 마우스 포인트의 기준점 설정 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160051478A (ko) * 2014-11-03 2016-05-11 광운대학교 산학협력단 각도 변화에 강인한 기하학적 특징 기반의 손가락 인식 방법
KR20170023565A (ko) * 2015-08-24 2017-03-06 상명대학교서울산학협력단 영상 처리를 이용한 손가락 개수 인식 방법 및 장치
KR20180101313A (ko) 2018-09-06 2018-09-12 에스케이텔레콤 주식회사 손 모양 및 동작 인식장치 및 방법
KR20180111313A (ko) * 2017-03-31 2018-10-11 중앙대학교 산학협력단 손동작 추적을 이용한 스마트 인식 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160051478A (ko) * 2014-11-03 2016-05-11 광운대학교 산학협력단 각도 변화에 강인한 기하학적 특징 기반의 손가락 인식 방법
KR20170023565A (ko) * 2015-08-24 2017-03-06 상명대학교서울산학협력단 영상 처리를 이용한 손가락 개수 인식 방법 및 장치
KR20180111313A (ko) * 2017-03-31 2018-10-11 중앙대학교 산학협력단 손동작 추적을 이용한 스마트 인식 시스템 및 방법
KR20180101313A (ko) 2018-09-06 2018-09-12 에스케이텔레콤 주식회사 손 모양 및 동작 인식장치 및 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023085534A1 (ko) * 2021-11-11 2023-05-19 주식회사 피앤씨솔루션 머리 착용형 디스플레이 장치에서 손 인식을 활용한 마우스 포인트의 기준점 설정 방법 및 장치
CN114327047A (zh) * 2021-12-01 2022-04-12 北京小米移动软件有限公司 设备控制方法、设备控制装置及存储介质
CN114327047B (zh) * 2021-12-01 2024-04-30 北京小米移动软件有限公司 设备控制方法、设备控制装置及存储介质
CN114967927A (zh) * 2022-05-30 2022-08-30 桂林电子科技大学 一种基于图像处理的智能手势交互方法
CN114967927B (zh) * 2022-05-30 2024-04-16 桂林电子科技大学 一种基于图像处理的智能手势交互方法

Similar Documents

Publication Publication Date Title
Yeo et al. Hand tracking and gesture recognition system for human-computer interaction using low-cost hardware
CN103941866B (zh) 一种基于Kinect深度图像的三维手势识别方法
EP2480955B1 (en) Remote control of computer devices
Kulshreshth et al. Poster: Real-time markerless kinect based finger tracking and hand gesture recognition for HCI
CN102096471B (zh) 一种基于机器视觉的人机交互方法
KR102052449B1 (ko) 가상 마우스 시스템 및 그 제어 방법
JP2014165660A (ja) バーチャルキーボードの入力方法、プログラム、記憶媒体、及びバーチャルキーボードシステム
Yin et al. Toward natural interaction in the real world: Real-time gesture recognition
Hongyong et al. Finger tracking and gesture recognition with kinect
JP6651388B2 (ja) ジェスチャモデリング装置、ジェスチャモデリング方法、ジェスチャモデリングシステム用のプログラム、およびジェスチャモデリングシステム
Molina et al. A natural and synthetic corpus for benchmarking of hand gesture recognition systems
Elakkiya et al. Intelligent system for human computer interface using hand gesture recognition
Abdallah et al. An overview of gesture recognition
KR101167784B1 (ko) 단말기의 후면부 손가락 움직임에 따른 포인터 인식 방법 및 제어 명령어 인식 방법
Khan et al. Computer vision based mouse control using object detection and marker motion tracking
Ghodichor et al. Virtual mouse using hand gesture and color detection
JP2012003724A (ja) 三次元指先位置検出方法、三次元指先位置検出装置、及びプログラム
Choondal et al. Design and implementation of a natural user interface using hand gesture recognition method
Annachhatre et al. Virtual Mouse Using Hand Gesture Recognition-A Systematic Literature Review
KR102107182B1 (ko) 손 제스처 인식 시스템 및 방법
Bellarbi et al. Hand gesture recognition using contour based method for tabletop surfaces
Maidi et al. Interactive media control using natural interaction-based Kinect
Ghosh et al. Real-time 3d markerless multiple hand detection and tracking for human computer interaction applications
KR101171239B1 (ko) 영상처리를 이용한 비접촉 데이터 입력 및 조작 방법
Grzejszczak et al. Tracking of dynamic gesture fingertips position in video sequence

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant