KR101548872B1 - 영상처리를 이용한 손가락 인식 방법 및 시스템 - Google Patents

영상처리를 이용한 손가락 인식 방법 및 시스템 Download PDF

Info

Publication number
KR101548872B1
KR101548872B1 KR1020140072146A KR20140072146A KR101548872B1 KR 101548872 B1 KR101548872 B1 KR 101548872B1 KR 1020140072146 A KR1020140072146 A KR 1020140072146A KR 20140072146 A KR20140072146 A KR 20140072146A KR 101548872 B1 KR101548872 B1 KR 101548872B1
Authority
KR
South Korea
Prior art keywords
hand
finger
recognizing
fingers
center point
Prior art date
Application number
KR1020140072146A
Other languages
English (en)
Inventor
신동규
신동일
이광형
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020140072146A priority Critical patent/KR101548872B1/ko
Application granted granted Critical
Publication of KR101548872B1 publication Critical patent/KR101548872B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

영상처리를 이용한 손가락 인식 방법 및 시스템이 개시된다. 손가락 인식 시스템의 손가락 인식 방법은, 사용자의 손 이미지에서 손의 중심점을 설정하는 단계; 및 상기 손의 중심점을 기준으로 스레스홀드 값을 반지름으로 하는 가상의 원과 상기 손의 손가락이 접하는 개수를 인식하는 단계를 포함할 수 있다.

Description

영상처리를 이용한 손가락 인식 방법 및 시스템{FINGERS RECOGNITION METHOD AND SYSTEM USING IMAGE PROCESSING}
본 발명의 실시예들은 영상처리를 이용한 손가락 인식 방법 및 시스템에 관한 것이다.
영상 디스플레이 장치의 다양화로 새로운 인터페이스의 수요가 늘고 있다. 컴퓨터와 인간과의 의사 전달을 위해서, 현재 상용하고 있는 마우스, 키보드, 더 나아가 직접적 시각 제어장치인 터치 스크린, 심지어 몸동작과 손동작을 통해 제어되는 공간 터치 등 단순하면서도 직관적인 제어방법으로 연구가 점차 증가하는 추세이다.
음성과 몸동작은 인간과 인간의 의사소통에 중요한 수단이며 컴퓨터 비젼 관련 분야에서 음성 및 몸동작을 인식하기 위한 다양한 기술이 개발되어 왔다. 이러한 기술은 인간-컴퓨터 상호작용(Hunan-Computer Interaction, HCI)의 한 분야이며 더 정확한 표현으로 사람의 신체기관으로 컴퓨터와 상호작용하는 기술을 NUI(Natural User Interface) 또는 NUX(Natural User eXperience)라 한다.
손동작을 인식함에 있어서, 물리적인 센서를 이용하는 방법 중 가장 일반적인 것은 형상 입력 장치인 Data Glove를 사용하는 것이다. 이 방법은 손가락을 구부릴 때 굴절에 의해 변화하는 빛의 양을 감지하여 구부린 각도를 측정하는 것으로, 측정이 쉽고 자기 센서와 조합하여 사용하면 손의 방향 및 대략적인 3차원 위치를 알 수 있으므로 현재 가상 현실 시스템과 같은 인터렉티브 정보 시스템의 입력 장치로 가장 많이 쓰이고 있다. 그러나 이 방법은 손가락의 자세한 형상을 인식하기 위해서는 아직 정밀도가 낮고 전체 시스템과 접속하기 위해서는 반드시 연결선이 필요하다는 점에서 자연스러운 인터페이스 구축에는 많은 문제점을 안고 있다.
손에 별도의 센서를 장착하지 않고 손 형상을 인식하기 위해서는 시각적인 방법을 이용할 수 밖에 없다. 그러나 시각적인 방법은 모델 구축의 어려움과 세그멘테이션의 어려움 때문에 알기 쉬운 표식을 붙인다거나 손의 형상이 뚜렷이 분리될 수 있는 간단한 문제를 위주로 적용되어 왔다.
영상처리를 이용하여 사용자의 손 이미지로부터 간편하게 손가락 인식이 가능한 손가락 인식 방법 및 시스템을 제공한다.
사용자의 손 이미지에서 손의 중심점을 설정하고, 손의 중심점을 기준으로 하는 가상의 원과 손의 손가락이 접하는 개수를 통해 손가락 인식이 가능한 손가락 인식 방법 및 시스템을 제공한다.
손가락 인식 시스템의 손가락 인식 방법에 있어서, 손 이미지에서 손의 중심점을 설정하는 단계; 및 상기 손의 중심점을 기준으로 스레스홀드 값을 반지름으로 하는 가상의 원과 상기 손의 손가락이 접하는 개수를 인식하는 단계를 포함하는 것을 특징으로 하는 손가락 인식 방법이 제공된다.
일측에 따르면, 접하는 개수는, 상기 손에서 펼쳐진 손가락의 개수를 포함하는 것을 특징으로 할 수 있다.
다른 측면에 따르면, 상기 인식하는 단계는, 상기 손 이미지에서 상기 손가락의 끝점을 설정하는 단계; 및 상기 중심점과 상기 끝점을 연결한 가상의 선과 상기 가상의 원과의 접점의 수를 상기 접하는 개수로 인식하는 단계를 포함하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 손가락 인식 방법은, 상기 가상의 원의 반지름을 상기 중심점으로부터 증가시켜가면서, 상기 가상의 원과 상기 손가락이 접하는 개수를 순차적으로 인식하는 단계; 및 상기 순차적으로 인식된 개수의 변화에 기반하여 상기 손 또는 상기 손가락의 구부림을 인식하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 손가락 인식 방법은, 상기 손의 손가락들 중 적어도 하나의 손가락의 길이를 확인하는 단계를 더 포함하고, 상기 인식하는 단계는, 상기 적어도 하나의 손가락의 길이의 변화에 기반하여 상기 적어도 하나의 손가락 또는 상기 손의 구부림을 인식하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 적어도 하나의 손가락의 길이를 확인하는 단계는, 상기 확인된 손가락의 길이에 기반하여 나머지 손가락들의 길이를 결정하는 단계를 포함하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 손가락 인식 방법은, 상기 접하는 개수에 기반하여 결정되는 기능을 실행하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 접하는 개수에 기반하여 상기 손가락 인식 시스템과 연계된 장치의 기능이 실행되는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 손가락 인식 방법은, 카메라를 통해 상기 손 이미지를 생성하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
손가락 인식 시스템에 있어서, 손 이미지에서 손의 중심점을 설정하는 중심점 설정부; 및 상기 손의 중심점을 기준으로 스레스홀드 값을 반지름으로 하는 가상의 원과 상기 손의 손가락이 접하는 개수를 인식하는 개수 인식부를 포함하는 것을 특징으로 하는 손가락 인식 시스템이 제공된다.
영상처리를 이용하여 사용자의 손 이미지로부터 간편하게 손가락 인식을 가능하게 할 수 있다.
사용자의 손 이미지에서 손의 중심점을 설정하고, 손의 중심점을 기준으로 하는 가상의 원과 손의 손가락이 접하는 개수를 통해 손가락 인식을 가능하게 할 수 있다.
도 1은 본 발명의 일실시예에 있어서, 손가락 개수 인식 방법의 예를 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 있어서, 도 1의 제6 사진(160)을 확대한 도면이다.
도 3은 본 발명의 일실시예에 있어서, 손 또는 손가락의 구부림을 체크하는 방법의 예를 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 있어서, 손가락의 구부림을 체크하는 방법의 예를 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 있어서, 손가락 인식 시스템의 동작 환경의 예를 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 있어서, 손가락 인식 시스템의 내부 구성을 설명하기 위한 블록도이다.
도 7은 본 발명의 일실시예에 있어서, 손가락 인식 방법의 일례를 도시한 흐름도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 있어서, 손가락 개수 인식 방법의 예를 설명하기 위한 도면이다. 하나의 손으로 표현할 수 있는 손가락의 개수는 도 1의 사진들(110 내지 160)에 도시된 바와 같이 '0~5'의 총 6 가지의 경우이다. 본 실시예에 따른 손가락 인식 방법 및 시스템에서는, 손의 중심점을 기준(원점)으로 하는 가상의 원과 손가락과의 접점의 수(가상의 원과 손가락이 접하는 개수)를 이용하여 펼쳐진 손가락의 개수를 인식할 수 있다. 도 1의 예에서, 제1 사진(110)은 0개, 제2 사진(120)은 1개, 제3 사진(130)은 2개, 제4 사진(140)은 3개, 제5 사진(150)은 4개, 그리고 제6 사진(160)은 5개의 손가락이 각각 펼쳐진 경우를 나타내고 있다. 이때, 기설정된 값(스레스홀드 값)을 반지름으로 하는 가상의 원과 손가락이 접하는 개수가 펼쳐진 손가락의 개수를 나타낼 수 있다.
도 2는 본 발명의 일실시예에 있어서, 도 1의 제6 사진(160)을 확대한 도면이다. 도 2에서 제6 사진(160)은 사용자의 손에 대한 중심점(210)을 기준으로, 스레스홀드 값을 반지름으로 하는 가상의 원(220), 그리고 중심점(210)과 사용자의 손가락 끝점을 잊는 선들과의 접점들(231 내지 235)을 나타내고 있다. 이때, 접점들의 수는 총 5개로, 제6 사진(160)에서 펼쳐진 손가락의 수에 대응됨을 알 수 있다.
더욱 섬세한 손동작 인식을 위해, 사용자 손 이미지에서 손의 중심점(210)을 기준으로 하는 가상의 원은 다양하게 이용될 수 있다.
도 3은 본 발명의 일실시예에 있어서, 손의 구부림을 체크하는 방법의 예를 설명하기 위한 도면이다. 도 3의 제1 사진(310)은 손을 펼친 상태를 나타내는 이미지로, 손의 중심점과 집게 손가락(검지)의 끝점을 연결하는 선을 반지름으로 하는 제1 가상의 원(320)을 나타내고 있다. 또한, 도 3의 제2 사진(330)은 손목을 굽힌 상태를 나타내는 이미지로, 역시 손의 중심점과 집게 손가락(검지)의 끝점을 연결하는 선을 반지름으로 하는 제2 가상의 원(340)을 나타내고 있다. 이때, 제1 가상의 원(320)과 제2 가상의 원(340)을 비교하면, 제1 가상의 원(320)의 반지름이 제2 가상의 원(340)의 반지름보다 큼을 알 수 있다. 이는, 손이 구부려지는 경우, 사용자의 손 이미지상에서 중심점부터 손가락 끝점까지의 거리가 짧아짐을 의미할 수 있다. 따라서, 본 발명의 실시예들에서는 이러한 사실을 이용하여 손의 구부림 정도를 확인할 수 있다.
도 4는 본 발명의 일실시예에 있어서, 손가락의 구부림을 체크하는 방법의 예를 설명하기 위한 도면이다. 도 4의 제1 사진(410)은 손의 중심점을 기준으로 기설정된 값을 반지름으로 하는 제1 가상의 원(411)을 나타내고 있으며, 이러한 제1 가상의 원(411)과 손가락이 접하는 개수가 5개임을 알 수 있다. 이러한 접하는 개수는 손에서 펼쳐진 손가락의 개수를 의미할 수 있다. 도 4의 제2 사진(420)은 집게 손가락이 구부러진 상태의 손 이미지를 나타내고 있다. 본 실시예에서 손가락 인식 방법 및 손가락 인식 시스템은 가상의 원의 반지름을 중심점으로부터 증가시켜가면서, 가상의 원과 손가락이 접하는 개수를 인식할 수 있다. 예를 들어, 제2 가상의 원(421)에서 접하는 개수는 5개인 반면, 제3 가상의 원(422)에서 접하는 개수는 4개이다. 동적인 환경에서, 손 이미지가 제1 사진(410)에서 제2 사진(420)으로 변경된 것이라면, 본 실시예에 따른 손가락 인식 방법 및 손가락 인식 시스템은 하나의 손가락의 일부가 구부러진 것임을 인식할 수 있다. 예를 들어, 제2 가상의 원(421)에서 접하는 개수가 5개라는 것은 손가락이 모두 펴진 상태를 의미하나, 제3 가상의 원(422)이 제1 가상의 원(411)과 동일한 원임에도 제3 가상의 원(422)에서 접하는 개수가 4개라는 것은, 하나의 손가락이 구부러져 있음을 의미할 수 있다.
또한, 본 실시예에 따른 손가락 인식 방법 및 손가락 인식 시스템은 손가락의 끝점을 인식하기 때문에, 손가락의 끝점들간의 관계를 통해 집게 손가락이 구부러져 있음을 간편하게 인식할 수 있다.
도 5는 본 발명의 일실시예에 있어서, 손가락 인식 시스템의 동작 환경의 예를 설명하기 위한 도면이다. 본 실시예에 따른 손가락 인식 시스템(500)은, 인식된 손가락에 대한 정보를 장치(510)로 전달할 수 있으며, 장치(510)는 전달된 정보에 기반하여 대응하는 기능을 실행시킬 수 있다. 예를 들어, 손 영상은 장치(510)가 포함하는 디스플레이를 제어하기 위해 이용될 수 있다. 만약, 사용자가 도 1의 제2 사진(120)에서와 같이 집게 손가락만을 편 상태로 손을 이동하는 경우, 장치(510)의 디스플레이에 표시되는 커서가 손의 이동에 따라 함께 이동될 수 있다. 다른 예로, 도 1의 제3 사진(130)에서와 같이 사용자가 두 개의 손가락을 편 상태로 손을 이동하는 경우, 장치(510)의 디스플레이에 표시되는 창이 손의 이동에 따라 함께 이동될 수 있다. 또는, 도 1의 사진들(110 내지 160) 각각에 대해 인식된 손가락 개수에 따라 1번 기능부터 6번 기능까지 미리 설정된 기능들이 실행될 수도 있다. 이와 같이, 손가락 인식 시스템(500)을 통한 손가락 인식은 설정하기에 따라 다양하게 응용될 수 있다.
상술한 도 5의 실시예에서는 손가락 인식 시스템(500)이 별도의 시스템으로서 장치(510)와 연계된 형태를 설명하고 있으나, 보다 다양한 형태로 구현될 수도 있다. 예를 들어, 손가락 인식 시스템(500)은 장치(510)에 포함된 형태로 구현될 수도 있다. 또는, 손가락 인식 시스템(500)이 네트워크를 통해 장치(510)에 접속되는 형태로 구현될 수도 있다. 일례로, 손가락 인식 시스템(500)은 사용자의 스마트폰에 구현될 수 있다. 이 경우, 사용자의 스마트폰을 통해 구현된 손가락 인식 시스템(500)은 스마트폰의 카메라를 통해 생성된 사용자의 손 이미지를 통해 손가락을 인식하고, 인식된 손가락의 개수에 대한 정보 또는 개수에 대응하는 기능의 실행 명령을 무선 네트워크를 통해 장치(510)로 전송할 수 있다. 이때, 장치(510)는 손가락의 개수에 대한 정보를 이용하여 대응하는 기능을 실행하거나 또는 기능의 실행 명령에 따라 명령된 기능을 실행할 수 있다.
도 6은 본 발명의 일실시예에 있어서, 손가락 인식 시스템의 내부 구성을 설명하기 위한 블록도이고, 도 7은 본 발명의 일실시예에 있어서, 손가락 인식 방법의 일례를 도시한 흐름도이다.
본 실시예에 따른 손가락 인식 시스템(600)은 프로세서(610), 버스(620), 네트워크 인터페이스(630) 및 메모리(640)를 포함할 수 있다. 메모리(640)는 운영체제(641) 및 손가락 인식 루틴(642)을 포함할 수 있다. 프로세서(610)는 중심점 설정부(611) 및 개수 인식부(612)를 포함할 수 있다. 다른 실시예들에서 손가락 인식 시스템(600)은 도 6의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 손가락 인식 시스템(600)은 카메라나 디스플레이 또는 트랜시버(transceiver)와 같은 다른 구성요소들을 포함할 수도 있다.
메모리(640)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(640)에는 운영체제(641)와 손가락 인식 루틴(642)을 위한 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism, 미도시)을 이용하여 메모리(640)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체(미도시)를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 네트워크 인터페이스(630)를 통해 메모리(640)에 로딩될 수도 있다. 예를 들어, 손가락 인식 루틴(642)는 개발사들이 제공하는 파일들에 의해 메모리(640)에 로딩될 수 있다.
버스(620)는 손가락 인식 시스템(600)의 구성요소들간의 통신 및 데이터 전송을 가능하게 할 수 있다. 버스(620)는 고속 시리얼 버스(high-speed serial bus), 병렬 버스(parallel bus), SAN(Storage Area Network) 및/또는 다른 적절한 통신 기술을 이용하여 구성될 수 있다.
네트워크 인터페이스(630)는 손가락 인식 시스템(600)을 컴퓨터 네트워크에 연결하기 위한 컴퓨터 하드웨어 구성요소일 수 있다. 네트워크 인터페이스(630)는 손가락 인식 시스템(600)을 무선 또는 유선 커넥션을 통해 컴퓨터 네트워크에 연결시킬 수 있다.
프로세서(610)는 기본적인 산술, 로직 및 손가락 인식 시스템(600)의 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(640) 또는 네트워크 인터페이스(630)에 의해, 그리고 버스(620)를 통해 프로세서(610)로 제공될 수 있다. 프로세서(610)는 중심점 설정부(611) 및 개수 인식부(612)를 위한 프로그램 코드를 실행하도록 구성될 수 있다. 이러한 프로그램 코드(일례로, 상술한 손가락 인식 루틴(642))는 메모리(640)와 같은 기록 장치에 저장될 수 있다.
이때, 프로세서(610)가 포함하는 중심점 설정부(611) 및 개수 인식부(612)는 도 7의 단계들(710 내지 720)를 수행하기 위해 구성될 수 있다.
단계(710)에서 중심부 설정부(611)는, 손 이미지에서 손의 중심점을 설정할 수 있다. 이미지에서 객체를 인식하고, 객체의 중심점을 찾는 기술은 이미 알려진 다양한 영상처리 기법들을 이용할 수 있다. 손 이미지는 카메라를 통해 생성된 사용자의 손 이미지일 수 있다.
단계(720)에서 개수 인식부(612)는 손의 중심점을 기준으로 스레스홀드 값을 반지름으로 하는 가상의 원과 손의 손가락이 접하는 개수를 인식할 수 있다. 스레스홀드 값은 일반적인 손의 크기에 기반하여 기설정될 수도 있고, 중심점부터 손가락의 끝점까지의 거리에 기반하여 설정될 수도 있다. 예를 들어, 스레스홀드 값은 중심점과 가장 짧은 손가락의 끝점까지의 거리보다 작게 그리고 중심점과 손가락의 시작점까지의 거리보다는 크게 설정될 수 있다. 중심점을 기준(원점)으로 스레스홀드 값을 반지름으로 하는 가상의 원과 손가락이 접하는 개수는 손동작 인식을 위한 손가락 인식의 측면에서 다양하게 활용될 수 있다.
일실시예로, 접하는 개수는, 상기 손에서 펼쳐진 손가락의 개수를 포함할 수 있다. 이미 설명한 바와 같이, 하나의 손으로 표현 가능한 손가락의 개수는 "0~5"의 총 6가지 이며, 이러한 6가지의 경우를 응용하여 섬세한 손동작 NUI(Natural User Interface) 또는 NUX(Natural User eXperience)를 구현할 수 있다.
접하는 개수를 인식하는 구체적인 실시예로, 단계(720)은 손 이미지에서 손가락의 끝점을 설정하는 단계(미도시) 및 중심점과 끝점을 연결한 가상의 선과 가상의 원과의 접점의 수를 접하는 개수로 인식하는 단계(미도시)를 포함할 수 있다. 상술한 미도시 단계들은 개수 인식부(612)가 포함하는 끝점 설정부(미도시) 및 접점 인식부(미도시)에 의해 수행될 수 있다.
다른 실시예로, 손가락 인식 방법 및 손가락 인식 시스템(600)은 손 또는 손가락의 구부림을 인식하는데 이용될 수 있다. 예를 들어, 손가락 인식 방법은 도 7에 도시된 단계들(710 및 720) 외에도, 가상의 원의 반지름을 상기 중심점으로부터 증가시켜가면서, 가상의 원과 손가락이 접하는 개수를 순차적으로 인식하는 단계(미도시) 및 순차적으로 인식된 개수의 변화에 기반하여 손 또는 손가락의 구부림을 인식하는 단계(미도시)를 더 포함할 수 있다. 이 경우, 접하는 개수를 순차적으로 인식하는 단계는 개수 인식부(612)에 의해 수행될 수 있으며, 구부림을 인식하는 단계는 프로세서(610)가 더 포함할 수 있는 구부림 인식부(미도시)에 의해 수행될 수 있다. 예를 들어, 도 4에서는 원의 반지름을 증가시켜가면서 손가락의 구부림을 인식하는 예를 설명하였다. 물론, 도 4의 예가 손의 구부림을 인식하기 위해 이용될 수도 있다. 예를 들어, 도 3의 제2 사진(330)과 같이 손을 구부리는 경우, 중심점과 손가락의 끝점간의 거리는 모든 손가락들에 대해 짧아질 수 있다. 즉, 모든 손가락들에 대해 중심점과 손가락의 끝점간의 거리가 짧아지는 경우, 손의 구부림이 인식될 수 있다.
또 다른 실시예로, 손가락 인식 방법은 도 7에 도시된 단계들(710 및 720) 외에도, 손의 손가락들 중 적어도 하나의 손가락의 길이를 확인하는 단계(미도시)를 더 포함할 수도 있다. 이러한 미확인 단계는 프로세서(610)가 더 포함할 수 있는 길이 확인부(미도시)에 의해 수행될 수 있다. 이 경우, 개수 인식부(612)는 적어도 하나의 손가락의 길이의 변화에 기반하여 적어도 하나의 손가락 또는 손의 구부림을 인식할 수 있다. 예를 들어, 도 3에서는 손가락의 끝점과 중심점간의 거리에 기반하여 손의 구부림을 인식하는 예를 설명하였다. 물론, 도 3의 예가 손가락의 구부림을 인식하기 위해 이용될 수도 있다. 예를 들어, 도 4의 제2 사진(420)에서와 같이 하나의 손가락에 대해, 중심점과 손가락의 끝점 사이의 거리를 측정하고, 특정 손가락의 끝점과 중심점 사이의 거리만이 줄어든 경우, 해당 손가락의 구부림이 인식될 수 있다.
이 경우, 모든 손가락들에 대해 길이를 측정할 수도 있으나, 하나의 손가락의 길이를 측정하고, 측정된 길이에 기반하여 나머지 손가락들의 길이를 산술적으로 예측하여 결정할 수도 있다.
또 다른 실시예로, 손가락 인식 방법은 도 7에 도시된 단계들(710 및 720) 외에도, 접하는 개수에 기반하여 결정되는 기능을 실행하는 단계(미도시)를 더 포함할 수 있다. 이러한 미도시 단계는 프로세서(610)가 더 포함할 수 있는 기능 실행부(미도시)에 의해 수행될 수 있다. 예를 들어, 손가락 인식 시스템(600)이 도 5에서 설명한 바와 같은 장치(510)에 포함되는 시스템인 경우, 손가락 인식 시스템(600)은 장치(510)의 특정 기능을 접하는 개수에 기반하여 직접 실행할 수 있다. 만약, 손가락 인식 시스템(600)이 장치(510)와 연계된 별도의 시스템이라면, 접하는 개수에 기반하여 손가락 인식 시스템(600)과 연계된 장치(510)의 기능이 실행될 수 있다. 예를 들어, 손가락 인식 시스템(600)은 유선 또는 무선 네트워크를 통해 장치(510)로 접하는 개수에 대한 정보 또는 접하는 개수에 대응하는 기능 실행 명령을 전달할 수 있고, 장치(510)는 수신된 정보에 대응하는 기능을 수행하거나 또는 수신된 기능 실행 명령을 수행할 수 있다.
이와 같이, 본 발명의 실시예들에 따르면, 영상처리를 이용하여 사용자의 손 이미지로부터 간편하게 손가락 인식을 가능하게 할 수 있다. 또한, 사용자의 손 이미지에서 손의 중심점을 설정하고, 손의 중심점을 기준으로 하는 가상의 원과 손의 손가락이 접하는 개수를 통해 손가락 인식을 가능하게 할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (19)

  1. 손가락 인식 시스템의 손가락 인식 방법에 있어서,
    손 이미지에서 손의 중심점을 설정하는 단계; 및
    상기 손의 중심점을 기준으로 스레스홀드 값을 반지름으로 하는 가상의 원과 상기 손의 손가락이 접하는 개수를 인식하는 단계
    를 포함하고,
    상기 인식하는 단계는,
    상기 손 이미지가 제1 손 이미지와 제2 손 이미지를 포함하는 경우,
    상기 제1 손 이미지에서 손의 중심점과 손가락의 끝점을 연결하는 가상의 선을 반지름으로 하는 제1 가상의 원과, 상기 제2 손 이미지에서 손의 중심점과 손가락의 끝점을 연결하는 가상의 선을 반지름으로 하는 제2 가상의 원의 크기를 비교함으로써 상기 손 이미지에서의 손의 구부림 정도를 인식하는 단계; 및
    상기 제1 손 이미지에서 손의 중심점을 기준으로 스레스홀드 값을 반지름으로 하는 제3 가상의 원과 접하는 손가락의 개수와, 상기 제2 손 이미지에서 손의 중심점을 기준으로 스레스홀드 값을 반지름으로 하는 제4 가상의 원과 접하는 손가락의 개수를 비교함으로써 상기 손 이미지에서의 구부러진 손가락의 개수 변화를 인식하는 단계
    를 포함하는 것을 특징으로 하는 손가락 인식 방법.
  2. 제1항에 있어서,
    상기 접하는 개수는, 상기 손에서 펼쳐진 손가락의 개수를 포함하는 것을 특징으로 하는 손가락 인식 방법.
  3. 제1항에 있어서,
    상기 인식하는 단계는,
    상기 손 이미지에서 상기 손가락의 끝점을 설정하는 단계; 및
    상기 중심점과 상기 끝점을 연결한 가상의 선과 상기 가상의 원과의 접점의 수를 상기 접하는 개수로 인식하는 단계
    를 포함하는 것을 특징으로 하는 손가락 인식 방법.
  4. 제1항에 있어서,
    상기 가상의 원의 반지름을 상기 중심점으로부터 증가시켜가면서, 상기 가상의 원과 상기 손가락이 접하는 개수를 순차적으로 인식하는 단계; 및
    상기 순차적으로 인식된 개수의 변화에 기반하여 상기 손 또는 상기 손가락의 구부림을 인식하는 단계
    를 더 포함하는 것을 특징으로 하는 손가락 인식 방법.
  5. 제1항에 있어서,
    상기 손의 손가락들 중 적어도 하나의 손가락의 길이를 확인하는 단계
    를 더 포함하고,
    상기 인식하는 단계는,
    상기 적어도 하나의 손가락의 길이의 변화에 기반하여 상기 적어도 하나의 손가락 또는 상기 손의 구부림을 인식하는 것을 특징으로 하는 손가락 인식 방법.
  6. 제5항에 있어서,
    상기 적어도 하나의 손가락의 길이를 확인하는 단계는,
    상기 확인된 손가락의 길이에 기반하여 나머지 손가락들의 길이를 결정하는 단계
    를 포함하는 것을 특징으로 하는 손가락 인식 방법.
  7. 제1항에 있어서,
    상기 접하는 개수에 기반하여 결정되는 기능을 실행하는 단계
    를 더 포함하는 것을 특징으로 하는 손가락 인식 방법.
  8. 제1항에 있어서,
    상기 접하는 개수에 기반하여 상기 손가락 인식 시스템과 연계된 장치의 기능이 실행되는 것을 특징으로 하는 손가락 인식 방법.
  9. 제1항에 있어서,
    카메라를 통해 상기 손 이미지를 생성하는 단계
    를 더 포함하는 것을 특징으로 하는 손가락 인식 방법.
  10. 제1항 내지 제9항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.
  11. 손가락 인식 시스템에 있어서,
    손 이미지에서 손의 중심점을 설정하는 중심점 설정부; 및
    상기 손의 중심점을 기준으로 스레스홀드 값을 반지름으로 하는 가상의 원과 상기 손의 손가락이 접하는 개수를 인식하는 개수 인식부
    를 포함하고,
    상기 개수 인식부는,
    상기 손 이미지가 제1 손 이미지와 제2 손 이미지를 포함하는 경우,
    상기 제1 손 이미지에서 손의 중심점과 손가락의 끝점을 연결하는 가상의 선을 반지름으로 하는 제1 가상의 원과, 상기 제2 손 이미지에서 손의 중심점과 손가락의 끝점을 연결하는 가상의 선을 반지름으로 하는 제2 가상의 원의 크기를 비교함으로써 상기 손 이미지에서의 손의 구부림 정도를 인식하고,
    상기 제1 손 이미지에서 손의 중심점을 기준으로 스레스홀드 값을 반지름으로 하는 제3 가상의 원과 접하는 손가락의 개수와, 상기 제2 손 이미지에서 손의 중심점을 기준으로 스레스홀드 값을 반지름으로 하는 제4 가상의 원과 접하는 손가락의 개수를 비교함으로써 상기 손 이미지에서의 구부러진 손가락의 개수 변화를 인식하는 것
    을 특징으로 하는 손가락 인식 시스템.
  12. 제11항에 있어서,
    상기 접하는 개수는, 상기 손에서 펼쳐진 손가락의 개수를 포함하는 것을 특징으로 하는 손가락 인식 시스템.
  13. 제11항에 있어서,
    상기 개수 인식부는,
    상기 손 이미지에서 상기 손가락의 끝점을 설정하는 끝점 설정부; 및
    상기 중심점과 상기 끝점을 연결한 가상의 선과 상기 가상의 원과의 접점의 수를 상기 접하는 개수로 인식하는 접점 인식부
    를 포함하는 것을 특징으로 하는 손가락 인식 시스템.
  14. 제11항에 있어서,
    상기 개수 인식부는,
    상기 가상의 원의 반지름을 상기 중심점으로부터 증가시켜가면서, 상기 가상의 원과 상기 손가락이 접하는 개수를 순차적으로 인식하고,
    상기 순차적으로 인식된 개수의 변화에 기반하여 상기 손 또는 상기 손가락의 구부림을 인식하는 구부림 인식부
    를 더 포함하는 것을 특징으로 하는 손가락 인식 시스템.
  15. 제11항에 있어서,
    상기 손의 손가락들 중 적어도 하나의 손가락의 길이를 확인하는 길이 확인부
    를 더 포함하고,
    상기 개수 인식부는,
    상기 적어도 하나의 손가락의 길이의 변화에 기반하여 상기 적어도 하나의 손가락 또는 상기 손의 구부림을 인식하는 것을 특징으로 하는 손가락 인식 시스템.
  16. 제15항에 있어서,
    상기 길이 확인부는,
    상기 확인된 손가락의 길이에 기반하여 나머지 손가락들의 길이를 결정하는 것을 특징으로 하는 손가락 인식 시스템.
  17. 제11항에 있어서,
    상기 접하는 개수에 기반하여 결정되는 기능을 실행하는 기능 실행부
    를 더 포함하는 것을 특징으로 하는 손가락 인식 시스템.
  18. 제11항에 있어서,
    상기 접하는 개수에 기반하여 상기 손가락 인식 시스템과 연계된 장치의 기능이 실행되는 것을 특징으로 하는 손가락 인식 시스템.
  19. 제11항에 있어서,
    카메라를 통해 상기 손 이미지를 생성하는 이미지 생성부
    를 더 포함하는 것을 특징으로 하는 손가락 인식 시스템.
KR1020140072146A 2014-06-13 2014-06-13 영상처리를 이용한 손가락 인식 방법 및 시스템 KR101548872B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140072146A KR101548872B1 (ko) 2014-06-13 2014-06-13 영상처리를 이용한 손가락 인식 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140072146A KR101548872B1 (ko) 2014-06-13 2014-06-13 영상처리를 이용한 손가락 인식 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR101548872B1 true KR101548872B1 (ko) 2015-09-02

Family

ID=54246803

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140072146A KR101548872B1 (ko) 2014-06-13 2014-06-13 영상처리를 이용한 손가락 인식 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101548872B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102280412B1 (ko) * 2020-05-21 2021-07-22 (주)투비소프트 사용자의 손 제스처에 대응되는 제어 명령 실행 및 피드백 출력을 수행하는 전자 단말 장치 및 그 동작 방법
KR102280408B1 (ko) * 2020-05-21 2021-07-22 (주)투비소프트 사용자의 손 모양 제스처를 인식하여 제어 명령을 실행하는 전자 단말 장치 및 그 동작 방법
KR102378503B1 (ko) * 2020-12-29 2022-03-24 울산대학교 산학협력단 무형 마우스를 통한 정보의 입출력 방법 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2023282446A1 (ko) * 2021-07-09 2023-01-12 주식회사 피앤씨솔루션 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치 및 손 마디 인식을 이용한 착용형 증강현실 장치의 인터페이스 제공 방법
WO2023063515A1 (ko) * 2021-10-14 2023-04-20 주식회사 피앤씨솔루션 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101171239B1 (ko) * 2011-06-01 2012-08-06 군산대학교산학협력단 영상처리를 이용한 비접촉 데이터 입력 및 조작 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101171239B1 (ko) * 2011-06-01 2012-08-06 군산대학교산학협력단 영상처리를 이용한 비접촉 데이터 입력 및 조작 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A. Malima, et al., "A fast algorithm for vision-based hand gesture recognition for robot control," Signal Processing and Communications Applications, 2006 IEEE 14th. IEEE, 2006.*
김학준, 채승호, 서종훈, 김하영, 한탁돈, "증강현실 인터페이스를 위한 실시간 손 인식 방법", 한국HCI학회 학술대회, pp.837-839, 2013년 1월.*

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102280412B1 (ko) * 2020-05-21 2021-07-22 (주)투비소프트 사용자의 손 제스처에 대응되는 제어 명령 실행 및 피드백 출력을 수행하는 전자 단말 장치 및 그 동작 방법
KR102280408B1 (ko) * 2020-05-21 2021-07-22 (주)투비소프트 사용자의 손 모양 제스처를 인식하여 제어 명령을 실행하는 전자 단말 장치 및 그 동작 방법
KR102378503B1 (ko) * 2020-12-29 2022-03-24 울산대학교 산학협력단 무형 마우스를 통한 정보의 입출력 방법 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2023282446A1 (ko) * 2021-07-09 2023-01-12 주식회사 피앤씨솔루션 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치 및 손 마디 인식을 이용한 착용형 증강현실 장치의 인터페이스 제공 방법
WO2023063515A1 (ko) * 2021-10-14 2023-04-20 주식회사 피앤씨솔루션 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치

Similar Documents

Publication Publication Date Title
CN107077197B (zh) 3d可视化图
KR101872426B1 (ko) 깊이 기반 사용자 인터페이스 제스처 제어
KR101548872B1 (ko) 영상처리를 이용한 손가락 인식 방법 및 시스템
TWI569171B (zh) 手勢辨識
WO2018098861A1 (zh) 用于虚拟现实设备的手势识别方法、装置及虚拟现实设备
EP3514724B1 (en) Depth map-based heuristic finger detection method
KR102347248B1 (ko) 터치 제스쳐 인식 방법 및 장치
JP2016520946A (ja) 人間対コンピュータの自然な３次元ハンドジェスチャベースのナビゲーション方法
US20150185850A1 (en) Input detection
US20120131513A1 (en) Gesture Recognition Training
CN106796448B (zh) 使用领域特定姿态语言的姿态处理
US20120249448A1 (en) Method of identifying a gesture and device using the same
WO2017029749A1 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
WO2021006982A1 (en) Virtual keyboard engagement
CN106569716B (zh) 单手操控方法及操控系统
US20170068321A1 (en) Gesture Interactive Operation Method
US10222866B2 (en) Information processing method and electronic device
KR20160019449A (ko) 간접 입력의 명확화 기법
US20170315615A1 (en) Gesture library
JP6033061B2 (ja) 入力装置およびプログラム
CN107430431B (zh) 手势识别装置及手势识别方法
KR101611709B1 (ko) 핸드 마우스 인식 영역 표시, 그리고 핸드 마우스 및 모니터 유저 인터페이스 간의 매핑을 위한 멀티-모달 시스템 및 그 제어 방법
CN104951211A (zh) 一种信息处理方法和电子设备
US10191553B2 (en) User interaction with information handling systems using physical objects
US9310929B2 (en) Unlocking touch screen devices

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180724

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190722

Year of fee payment: 5