KR101481307B1 - 손가락 영상 및 센서를 이용하여 제어 명령을 생성하는 이동 단말 및 단말기의 카메라에 입력된 손가락 영상 및 센서를 이용한 제어 명령 생성 방법 - Google Patents

손가락 영상 및 센서를 이용하여 제어 명령을 생성하는 이동 단말 및 단말기의 카메라에 입력된 손가락 영상 및 센서를 이용한 제어 명령 생성 방법 Download PDF

Info

Publication number
KR101481307B1
KR101481307B1 KR20130097190A KR20130097190A KR101481307B1 KR 101481307 B1 KR101481307 B1 KR 101481307B1 KR 20130097190 A KR20130097190 A KR 20130097190A KR 20130097190 A KR20130097190 A KR 20130097190A KR 101481307 B1 KR101481307 B1 KR 101481307B1
Authority
KR
South Korea
Prior art keywords
edge
finger
image
threshold value
region
Prior art date
Application number
KR20130097190A
Other languages
English (en)
Inventor
홍광석
오병훈
박종인
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR20130097190A priority Critical patent/KR101481307B1/ko
Application granted granted Critical
Publication of KR101481307B1 publication Critical patent/KR101481307B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

단말기의 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법(500)은 단말기가 카메라를 통해 손가락 영역을 포함하는 타겟 영상을 입력받는 단계(510), 단말기가 에지 검출 기술을 이용하여 타겟 영상에서 손가락 영역을 검출하는 단계(520), 단말기가 손가락 영역에서 아다부스트 알고리즘을 이용하여 손가락 끝 영역을 검출하는 단계(530) 및 단말기가 손가락 끝 영역을 이용하여 3차원 좌표값을 연산하는 단계(540)를 포함한다.

Description

손가락 영상 및 센서를 이용하여 제어 명령을 생성하는 이동 단말 및 단말기의 카메라에 입력된 손가락 영상 및 센서를 이용한 제어 명령 생성 방법{MOBILE TERMINAL FOR GENERATING CONTROL COMMAND USING FINGER IMAGE AND SENSOR AND METHOD FOR GENERATING CONTROL COMMAND USING FINGER IMAGE FROM CAMERA AND SENSOR IN TERMINAL}
이하 설명하는 기술은 이동 단말에서 카메라를 통해 입력되는 손가락 영상 및 센서를 이용하여 제어 명령을 생성하는 방법 및 이 방법을 사용하는 이동 단말에 관한 것이다.
최근 스마트폰과 같은 이동 단말이 보급되면서, 이동 단말에 포함된 터치 스크린, 센서 및 카메라 등을 이용한 다양한 인터페이스 기술이 연구되고 있다.
한국공개특허 제2011-0042806호는 단말기에 내장된 적외선 세서 및 카메라를 이용하여 사용자의 제스처를 인식하여 인터페이스로 사용하는 기술을 공개하고 있다. 한국공개특허 제2006-0070280호는 카메라를 통해 입력되는 손 제스처 영상을 분석하여 단말에 특정한 명령을 입력하는 기술을 공개하고 있다.
일반적으로 카메라를 통해 획득한 영상에서 사람의 얼굴이나 손과 같은 객체를 검출하기 위하여 색채를 기반으로 한 검출 기법을 이용한다.
종래 카메라를 이용한 인터페이스 기법은 대부분 피부색 검출 알고리즘을 기반으로 하고 있다. 하지만 피부색 검출 알고리즘은 피부색과 유사한 배경 및 조명이 변화하는 환경 등에서 검출 성능이 떨어지는 문제점이 있다.
이하 설명하는 기술은 이동 단말에 내장된 카메라를 통해 촬영하는 손가락 영상을 이용하여 제어 명령을 생성하는 방법을 제공하고자 한다. 특히, 에지 검출 기법을 사용하여 손가락 영상을 검출하여, 사용자가 다양한 배경에서도 이동 단말에 효율적으로 명령을 입력하게 하고자 한다.
나아가 이하 설명하는 기술은 손가락 영상을 검출하기 어려운 환경에서도 이동 단말의 센서를 이용하여 제어 명령을 생성하는 방법을 제공하고자 한다.
이하 설명하는 기술의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 손가락 영상을 이용하여 제어 명령을 생성하는 이동 단말은 손가락 영역을 포함하는 타겟 영상을 입력받는 카메라, 에지 검출 기술을 이용하여 타겟 영상에서 손가락 영역을 검출하는 손가락 영역 검출 모듈, 손가락 영역에서 아다부스트(adaboost) 알고리즘을 이용하여 손가락 끝 영역을 검출하는 손가락 끝 영역 검출 모듈 및 손가락 끝 영역을 이용하여 3차원 좌표값을 연산하는 3 차원 좌표 연산 모듈을 포함한다.
손가락 영역 검출 모듈은 현재 프레임에서 에지 픽셀의 개수와 전체 픽셀의 개수의 비율인 에지 픽셀 비율(RP)을 결정하고, 타겟 영상을 3개의 평면(R,G,B)으로 분리하고, 각 평면에 대해 에지 픽셀 비율(RP)을 기준으로 결정되는 에지 문턱값을 이용하여 각 평면에 대해 캐니(canny) 에지 검출 알고리즘을 이용하여 초기 에지를 검출하고, 초기 에지가 검출된 3 개의 평면에서 동일한 위치에 있는 픽셀 중 최대 픽셀값을 갖는 픽셀로 구성되는 최대 에지 이미지를 생성하고, 최대 에지 이미지에 대한 에지 픽셀 비율(RP)이 픽셀 문턱값(T) 보다 작다면 최대 에지 이미지를 최종 에지 이미지로 선택한다.
에지 픽셀 비율(RP)은 상위 에지 문턱값을 200, 하위 에지 문턱값을 100으로 설정하고, 캐니(canny) 에지 검출 알고리즘을 수행하여 검출되는 최초 에지 이미지에서 에지 픽셀의 개수와 전체 픽셀의 개수의 비율로 결정될 수 있다.
에지 문턱값은 상위 에지 문턱값 및 하위 에지 문턱값을 포함하고, 상위 에지 문턱값은 200이고, 하위 에지 문턱값은 에지 픽셀 비율(RP)이 15보다 큰 경우 150이고, 하위 에지 문턱값은 에지 픽셀 비율(RP)이 15 이하인 경우 100으로 설정할 수 있다.
손가락 영역 검출 모듈은 에지 픽셀 비율(RP)이 픽셀 문턱값(T) 이상이라면 에지 문턱값을 변경하여 변경된 에지 문턱값을 기준으로 초기 에지 검출 과정 및 최종 에지 이미지를 선택하는 과정을 반복한다.
손가락 영역 검출 모듈은 에지 문턱값을 에지 픽셀 비율(RP)이 줄어들도록 변경한다.
에지 문턱값은 상위 에지 문턱값 및 하위 에지 문턱값을 포함하고 손가락 영역 검출 모듈은 에지 픽셀 비율(RP)이 픽셀 문턱값(T) 이상이라면 에지 문턱값을 "(상위 에지 문턱값, 하위 에지 문턱값) = {(100, 250), (150, 200), (150, 250), (200, 200), (200, 250), (250, 250)}"인 순서대로 변경하면서 초기 에지 검출 과정 및 최종 에지 이미지를 선택하는 과정을 반복할 수 있다.
손가락 영역 검출 모듈은 타겟 영상에서 기준 프레임 간격으로 손가락 영역을 검출하고, 손가락 끝 영역 검출 모듈이 이전 프레임에서 손가락 끝 영역을 검출하면, 손가락 영역 검출 모듈은 다음 프레임에서는 손가락 끝 영역의 위치를 기준으로 타겟 영상에서 영역 범위를 축소하여 손가락 영역을 검출할 수 있다.
손가락 영상을 이용하여 제어 명령을 생성하는 이동 단말은 이동 단말의 회전 방향 및 회전 정도를 센싱하는 센서를 이용하여 2차원 평면 또는 3차원 상에서의 회전 좌표값 생성하는 회전 좌표 생성 모듈을 더 포함할 수 있다.
본 발명의 다른 측면에서 손가락 영상을 이용하여 제어 명령을 생성하는 이동 단말은 손가락 영역을 포함하는 타겟 영상을 입력받는 카메라, 에지 검출 기술을 이용하여 타겟 영상에서 손가락 영역을 검출하는 손가락 영역 검출 코드, 손가락 영역에서 아다부스트 알고리즘을 이용하여 손가락 끝 영역을 검출하는 손가락 끝 영역 검출 코드 및 손가락 끝 영역을 이용하여 3차원 좌표값을 연산하는 3 차원 좌표 연산 코드가 저장된 메모리 및 손가락 영역 검출 코드를 실행하여 타겟 영상에서 손가락 영역을 검출하고, 손가락 끝 영역 검출 코드를 실행하여 손가락 영역에서 손가락 끝 영역을 검출하고, 3 차원 좌표 연산 코드를 실행하여 3차원 좌표값을 연산하는 프로세서를 포함한다.
프로세서는 손가락 영역 검출 코드를 실행하여 현재 프레임에서 에지 픽셀의 개수와 전체 픽셀의 개수의 비율인 에지 픽셀 비율(RP)을 결정하고, 타겟 영상을 3개의 평면(R,G,B)으로 분리하고, 각 평면에 대해 에지 픽셀 비율(RP)을 기준으로 결정되는 에지 문턱값을 이용하여 각 평면에 대해 캐니(canny) 에지 검출 알고리즘을 이용하여 초기 에지를 검출하고, 초기 에지가 검출된 3 개의 평면에서 동일한 위치에 있는 픽셀 중 최대 픽셀값을 갖는 픽셀로 구성되는 최대 에지 이미지를 생성하고, 최대 에지 이미지의 에지 픽셀 비율(RP)이 픽셀 문턱값(T) 보다 작다면 최대 에지 이미지를 최종 에지 이미지로 선택한다.
프로세서는 에지 픽셀 비율(RP)이 픽셀 문턱값(T) 이상이라면 에지 문턱값을 에지 픽셀 비율(RP)이 줄어들도록 변경하면서 초기 에지 검출 과정 및 최종 에지 이미지를 선택하는 과정을 반복할 수 있다.
본 발명은 또 다른 측면에서 단말기의 카메라에 입력된 손가락 영상을 이용한 제어 명령 생성 방법은 단말기가 카메라를 통해 손가락 영역을 포함하는 타겟 영상을 입력받는 단계, 단말기가 에지 검출 기술을 이용하여 타겟 영상에서 손가락 영역을 검출하는 단계, 단말기가 손가락 영역에서 아다부스트 알고리즘을 이용하여 손가락 끝 영역을 검출하는 단계 및 단말기가 손가락 끝 영역을 이용하여 3차원 좌표값을 연산하는 단계를 포함한다.
손가락 영역을 검출하는 단계는 현재 프레임에서 에지 픽셀의 개수와 전체 픽셀의 개수의 비율인 에지 픽셀 비율(RP)을 결정하는 단계, 타겟 영상이 분리된 3개의 평면(R,G,B)에 대해 에지 픽셀 비율(RP)을 기준으로 결정되는 에지 문턱값을 이용하여 각 평면마다 캐니(canny) 에지 검출 알고리즘을 이용하여 초기 에지를 검출하는 단계 및 초기 에지가 검출된 3 개의 평면에서 동일한 위치에 있는 픽셀 중 최대 픽셀값을 갖는 픽셀로 구성되는 최대 에지 이미지를 생성하고, 최대 에지 이미지에 대한 에지 픽셀 비율(RP)이 픽셀 문턱값(T) 보다 작다면 최대 에지 이미지를 최종 에지 이미지로 선택하는 단계를 포함한다.
손가락 영역을 검출하는 단계는 에지 픽셀 비율(RP)이 픽셀 문턱값(T) 이상이라면 에지 문턱값을 변경하여 변경된 에지 문턱값을 기준으로 초기 에지를 검출하는 단계 및 최종 에지 이미지를 선택하는 단계를 반복할 수 있다.
에지 픽셀 비율(RP)을 결정하는 단계는 상위 에지 문턱값을 200, 하위 에지 문턱값을 100으로 설정하고, 캐니(canny) 에지 검출 알고리즘을 수행하여 검출되는 최초 에지 이미지에서 에지 픽셀의 개수와 전체 픽셀의 개수의 비율로 에지 픽셀 비율(RP)을 결정할 수 있다.
에지 문턱값은 상위 에지 문턱값 및 하위 에지 문턱값을 포함하고, 상위 에지 문턱값은 200이고, 하위 에지 문턱값은 에지 픽셀 비율(RP)이 15보다 큰 경우 150이고, 하위 에지 문턱값은 에지 픽셀 비율(RP)이 15 이하인 경우 100으로 설정할 수 있다.
변경된 에지 문턱값은 에지 픽셀 비율(RP)이 줄어들도록 변경되는 것이 바람직하다.
초기 에지를 검출하는 단계 및 최종 에지 이미지를 선택하는 단계를 반복하는 과정에서 변경된 에지 문턱값은 "(상위 에지 문턱값, 하위 에지 문턱값) = {(100, 250), (150, 200), (150, 250), (200, 200), (200, 250), (250, 250)}"인 순서대로 변경될 수 있다.
손가락 영역을 검출하는 단계는 타겟 영상에서 기준 프레임 간격으로 손가락 영역을 검출하고, 손가락 끝 영역을 검출하는 단계에서 이전 프레임에 대한 손가락 끝 영역이 검출된 경우, 다음 프레임에서는 손가락 끝 영역의 위치를 기준으로 타겟 영상에서 영역 범위를 축소하여 손가락 영역을 검출할 수 있다.
단말기의 카메라에 입력된 손가락 영상을 이용한 제어 명령 생성 방법은 입력받는 단계 전에 또는 연산하는 단계 후에 단말기의 회전 방향 및 회전 정도를 센싱하는 센서를 이용하여 2차원 평면 또는 3차원 상에서의 회전 좌표값 생성하는 단계를 더 포함할 수 있다.
센서는 방향 센서 및 자이로 센서를 포함하고, 회전 좌표값은 상(Up)하(Down)좌(Left)우(Right) 4개의 값을 포함하며, 방향센서 및 자이로 센서에서 출력되는 값이 특정 문턱값을 넘는 경우 해당 방향으로 이동하는 회전 좌표값을 생성할 수 있다.
카메라는 단말기의 디스플레이 패널의 배면 방향에 배치되는 카메라인 것이 바람직하다.
이하 설명하는 기술은 사용자가 다양한 배경에서도 이동 단말의 카메라를 이용하여 손가락을 인터페이스 수단으로 사용할 수 있게 한다.
이하 설명하는 기술은 이동 단말에서 실행되는 애플리케이션에서 사용자가 편리하게 제어 명령을 입력하게 한다. 나아가 이동 단말뿐만 아니라 카메라를 장착한 다양한 기기(리모콘, 콘트롤러 등)에도 응용이 가능하다. 예컨대, 게임기의 컨트롤러에도 적용이 가능하다.
이하 설명하는 기술의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 손가락 영상을 이용하여 제어 명령을 생성하는 이동 단말의 구성을 도시한 블록도의 예이다.
도 2는 손가락 영상을 이용하여 제어 명령을 생성하는 이동 단말의 손가락 영역 검출 모듈이 동작하는 과정을 도시한 예이다.
도 3은 손가락 영상을 이용하여 제어 명령을 생성하는 이동 단말의 손가락 영역 검출 모듈이 동작하는 과정을 도시한 다른 예이다.
도 4는 3차원 좌표를 생성하기 위하여 이용하는 손가락 끝 영역의 기준점을 예를 도시한다.
도 5는 손가락 영상을 이용하여 제어 명령을 생성하는 이동 단말의 구성을 도시한 블록도의 다른 예이다.
도 6은 단말기의 카메라에 입력된 손가락 영상을 이용한 제어 명령 생성 방법에 대한 순서도의 예이다.
도 7은 타겟 영상에서 손가락 영역을 검출하는 단계에 대한 구체적인 순서도의 예이다.
도 8은 서로 다른 5가지 환경에서 에지 검출 기법을 사용하여 손가락 끝 영역을 검출하는 과정에 대한 실험예이다.
도 9는 도 8에서의 5가지 환경에서에서 에지 검출 기법을 사용한 손가락 끝 영역 검출에 대한 실험결과를 도시한 예이다.
도 10은 도 8에서의 5가지 환경에서 색채를 기반으로 한 손가락 끝 영역 검출에 대한 실험결과를 도시한 예이다.
도 11은 단말기의 카메라에 입력된 손가락 영상을 이용한 제어 명령 생성 방법 및 단말기의 센서에서 측정되는 움직임(회전)을 이용한 제어 명령 생성 방법의 관계를 도시한 순서도의 예이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이며, 이러한 이유로 본 발명의 손가락 영상을 이용하여 제어 명령을 생성하는 이동 단말(100, 400)에 따른 구성부들의 구성은 본 발명의 목적을 달성할 수 있는 한도 내에서 해당 도면과는 상이해질 수 있음을 명확히 밝혀둔다.
또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 이동 단말을 포함하는 단말기에 내장된 카메라를 이용하여 사용자의 손가락 영상을 촬영하고, 촬영된 손가락 영상을 이용하여 이동 단말 또는 이동 단말에서 실행되는 애플리케이션에 특정 제어 명령을 입력하는 기법에 관한 것이다. 본 발명은 손가락 영상에서 특정 기준점(손가락 끝 영역)을 검출하여 해당 기준으로 단말기에 좌표값을 전달한다.
제어 명령은 이동 단말 등에서 실행되는 애플리케이션에서 사용자가 입력하는 명령을 말한다. 예컨대, 제어 명령은 게임과 같은 애플리케이션에서 특정 객체를 조정하기 위한 2차원 또는 3차원 좌표값일 수 있다. 또한 제어 명령은 특정 애플리케이션에서 특정한 메뉴를 선택하기 위한 입력일 수도 있다. 제어 명령은 일반적으로 특정 객체에 대한 위치를 변경하는 명령에 해당한다.
타겟 영상은 손가락 영상이 포함된 소스 영상을 의미한다. 타겟 영상은 카메라와 같은 영상 획득 장치를 통해 촬영된다. 사용자가 이동 단말을 통해 특정 애플리케이션을 실행하고, 애플리케이션이 수행되는 디스플레이 화면을 보면서 손가락으로 애플리케이션의 특정 객체에 대한 움직임(좌표)을 제어한다. 따라서 이동 단말은 디스플레이 패널의 배면 방향(후면부)에 설치된 카메라를 이용해 타겟 영상을 입력받는 것이 바람직하다. 물론 이동 단말의 디스플레이 패널 방향(전면부)에 설치된 카메라를 이용하여 타겟 영상을 입력받을 수도 있다.
본 발명에서 이동 단말은 스마트폰, 태블릿 PC, 노트북, 포터블 게임기, TV나 게임기에 사용되는 리모컨 등을 포함하는 의미이다. 본 발명에서 단말기는 이동 단말, 이동성이 없는 일반 PC, 서버에 연결된 터미널 등을 포함하는 의미이다.
이하에서는 도면을 참조하면서 손가락 영상을 이용하여 제어 명령을 생성하는 이동 단말(100, 400) 및 단말기의 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법(500)에 관하여 구체적으로 설명하겠다.
도 1은 손가락 영상을 이용하여 제어 명령을 생성하는 이동 단말(100)의 구성을 도시한 블록도의 예이다.
손가락 영상을 이용하여 제어 명령을 생성하는 이동 단말(100)은 손가락 영역을 포함하는 타겟 영상을 입력받는 카메라(110), 에지 검출 기술을 이용하여 타겟 영상에서 손가락 영역을 검출하는 손가락 영역 검출 모듈(120), 손가락 영역에서 아다부스트(adaboost) 알고리즘을 이용하여 손가락 끝 영역을 검출하는 손가락 끝 영역 검출 모듈(130) 및 손가락 끝 영역을 이용하여 3차원 좌표값을 연산하는 3 차원 좌표 연산 모듈(140)을 포함한다.
인터페이스 입력 모듈(150)은 3차원 좌표 연산 모듈(140)을 통해 연산된 최종 3차원 좌표를 전달받는 모듈을 의미한다. 인터페이스 입력 모듈(150)은 3차원 좌표를 이동 단말 또는 이동 단말에서 구동되는 애플리케이션에 전달하는 구성이다.
손가락 영역 검출 모듈(120)은 에지 검출을 통하여 타겟 영상에서 손가락 영역을 검출한다. 개략적으로 설명하면, 손가락 영역 검출 모듈(120)은 (1) 현재 프레임에서 에지 픽셀의 개수와 전체 픽셀의 개수의 비율인 에지 픽셀 비율(RP)을 결정하고, (2) 타겟 영상을 3개의 평면(R,G,B)으로 분리하고, 각 평면에 대해 에지 픽셀 비율(RP)을 기준으로 결정되는 에지 문턱값을 이용하여 각 평면에 대해 캐니(canny) 에지 검출 알고리즘을 이용하여 초기 에지를 검출하고, (3) 초기 에지가 검출된 3 개의 평면에서 동일한 위치에 있는 픽셀 중 최대 픽셀값을 갖는 픽셀로 구성되는 최대 에지 이미지를 생성하고, 최대 에지 이미지에 대한 에지 픽셀 비율(RP)이 픽셀 문턱값(T) 보다 작다면 최대 에지 이미지를 최종 에지 이미지로 선택한다.
영상에서 에지(edge)는 대부분 칼라 값의 변화, 밝기의 변화가 큰 부분으로서, 특정한 물체의 경계에 해당한다. 에지 검출 기법은 영상 내에서 밝기 변화 값의 차이가 큰 부분만을 찾아 영상 내의 물체들의 경계를 추출하는 기법을 말한다.
에지 검출을 위한 다양한 기법이 존재한다. 본 발명에서는 캐니 에지 검출 기법을 사용한다. 캐니(canny) 에지 검출 기법은 수평, 수직 방향으로 1차 미분을 구하고, 네 개의 방향에 대하여 도함수 형태로 결합하여, 픽셀 변화의 국지적 최대값에 해당하는 점들을 에지 픽셀의 후보로 정하는 방식으로 수행될 수 있다.
캐니 에지 검출 기법은 에지로 검출한 이미지를 이중 문턱값(double threshold)를 이용하여 보다 정교하게 에지를 검출할 수 있다. 본 발명에서는 이 이중 문턱값에 해당하는 상위 문턱값(high threshold)과 하위 문턱값(low threshold)을 동적으로 설정하고자 한다. 이하 이중 문턱값은 에지 문턱값이라고 명명한다. 에지 문턱값은 상위 에지 문턱값과 하위 에지 문턱값을 갖는다.
캐니 에지 검출 기법은 이미지의 픽셀값(기울기)이 상위 에지 문턱값보다 높은 경우 에지로 결정하고, 픽셀값이 하위 에지 문턱값보다 낮은 경우 에지가 아닌 것으로 결정한다. 또한 픽셀값이 상위 에지 문턱값과 하위 에지 문턱값 사이의 값인 경우, 바로 인접한 픽셀이 에지로 판단되는 경우에만 에지로 결정할 수 있다.
손가락 영역은 타겟 영상에서 사용자의 손가락 전체를 의미하고, 손가락 끝 영역은 손가락 영역에서 좌표값 설정을 위한 기준이 되는 말단 영역을 의미한다. 손가락 끝 영역 검출 모듈(130)이 손가락 영역에서 아다부스트(AdaBoost(Adaptive Boosting)) 알고리즘을 사용하여 손가락 끝 영역을 검출한다.
손가락 영상을 이용하여 제어 명령을 생성하는 이동 단말(100)은 도 1에 도시한 바와 같이, 이동 단말의 회전 방향 및 회전 정도를 센싱하는 센서를 이용하여 2차원 평면 또는 3차원 상에서의 회전 좌표값 생성하는 회전 좌표 생성 모듈(160)을 더 포함할 수 있다.
조명이 매우 어두운 경우에는 에지를 이용한 손가락 영역 검출이 어려울 수 있다. 이와 같이 손가락 영역을 이용한 인터페이스가 어려운 경우를 대비하여, 이동 단말(단말기)에 내장된 센서를 이용하는 것이다.
회전 좌표값은 2차원 평면에서의 상하좌우 등과 같은 방향 및 특정 방향으로 기운 정도를 의미한다. 또한 회전 좌표값은 3차원 좌표계에서 특정 축을 기준으로 기운 정도(회전한 값)를 포함할 수도 있다.
스마트폰과 같은 이동 단말은 이동 단말의 움직임(모션)을 인식하기 위한 센서를 내장하고 있다. 센서는 3축 가속도 센서, 자이로스코프, 방향 센서 등이 사용된다.
이하 방향 센서와 자이로스코프 센서를 기준으로 설명한다. 방향 센서는 이동 단말의 3축을 기준으로 단말기의 기울임 정도를 도(˚) 단위로 측정하며, 자이로스코프 센서는 단말기 각 축에 대한 각속도를 m/s 단위로 측정한다.
본 발명에서는 사용자가 이동 단말을 상하좌우 방향 등으로 회전시키면서 이동 단말 또는 애플리케이션에 특정한 제어 명령을 입력할 수 있다. 상하좌우 4개의 방향으로만 제한하면 모두 4 가지 방향키를 입력할 수 있다.
상하좌우 회전 움직임 각각에 대해 센서를 통해 측정되는 센서값이 일정 문턱값을 넘을 경우 해당 방향으로 이동하는 명령이 입력된다. 아래의 수학식 1은 각 방향 명령에 대한 각 센서값의 문턱값을 나타낸다.
Figure 112013074282977-pat00001
여기서, GX와 GY는 각각 X축과 Y축에 대한 자이로 센서값을 의미하고, OP와 OR은 각각 방향 센서의 피치(pitch: X축 기준 기울임)와 롤(roll:Y축 기준 기울임)을 나타낸다. 이와 같은 회전값은 3차원 좌표 상에서의 회전값으로 사용할 수도 있고, 2차원 평면에서의 상하좌우 방향값으로 변환하여 사용할 수도 있다.
본 발명에서 센서를 이용한 제어 명령 입력은 전술한 손가락 영상을 이용한 제어가 불가한 경우에 사용할 수 있고, 또는 손가락 영상을 이용한 제어와 함께 이동 단말을 회전하는 방식으로 사용할 수도 있다. 후자의 경우 통상적으로 손가락 영상을 이용한 제어를 수행한 후 순차적으로 이동 단말을 회전하여 명령을 입력하는 것이 일반적일 것이다.
예컨대, 이동 단말에서 실행되는 게임 애플리케이션에서 위치값(제어 명령)을 입력받는 2개의 객체가 있다면, 제1 객체는 손가락 영상을 이용하여 제어한 후, 곧바로 제2 객체는 이동 단말을 회전하여 제어할 수 있다. 이 경우 제2 객체는 제1 객체의 위치 또는 기울기 등이 결정된 후에야 결정되는 객체일 것이다. 구체적으로, 볼링과 같은 게임이라면 손가락 영상을 이용하여 볼링공을 굴리는 힘을 결정할 수 있고, 이후 볼링공이 회전하는 방향을 이동 단말을 기울여 결정할 수도 있다. 물론 손가락 영상을 이용한 제어 명령과 이동 단말의 회전을 이용한 제어 명령의 입력 순서는 서로 뒤바뀔 수도 있다.
도 2는 손가락 영상을 이용하여 제어 명령을 생성하는 이동 단말의 손가락 영역 검출 모듈(120)이 동작하는 과정(200)을 도시한 예이다.
타겟 영상이 카메라를 통해 입력되면(210), 손가락 영역 검출 모듈(120)은 타겟 영상의 RGB 평면을 각 3개의 평면(R,G,B)로 분리하고(220), 분리한 각 평면에서 에지 검출을 수행한다(250).
손가락 영역 검출 모듈(120)은 타겟 영상에서 본격적인 에지 검출에 앞서 에지 픽셀 비율(RP1)을 결정한다(230). 에지 픽셀 비율(RP)은 현재 프레임에서 에지 픽셀의 개수와 전체 픽셀의 개수의 비율을 의미한다.
에지 픽셀 비율(RP1)을 결정하기 위하여 손가락 영역 검출 모듈(120)은 실제 에지 검출 전에 캐니 에지 검출을 수행하여 타겟 영상에서 에지가 차지하는 비중을 결정한다. 다양한 방법이 있을 수 있다. 예컨대, 에지 픽셀 비율(RP1)은 상위 에지 문턱값을 200, 하위 에지 문턱값을 100으로 설정하고, 캐니(canny) 에지 검출 알고리즘을 수행하여 검출되는 최초 에지 이미지에서 에지 픽셀의 개수와 전체 픽셀의 개수의 비율로 결정할 수 있다. 타겟 영상을 그레이 스케일로 변환한 후 캐니 에지 검출을 수행할 수도 있고, 타겟 영상을 R,G,B 평면으로 분할한 후 각 평면에 대하 캐니 에지 검출을 수행하고, 각 평면에 대한 에지 검출 결과를 합성한 이미지에서의 에지 비율을 사용할 수도 있다. 여기서 결정되는 에지 픽셀 비율(RP1)을 제1 에지 픽셀 비율이라고 명명한다.
제1 에지 픽셀 비율을 결정한 후 손가락 영역 검출 모듈(120)은 이제 본격적인 에지 검출을 위한 최초로 적용할 에지 문턱값(TCi)을 결정한다(240). 최초 에지 문턱값(TCi)은 아래의 수학식 2과 같이 결정될 수 있다.
Figure 112013074282977-pat00002
수학식 2에 따라 초기 에지 문턱값(TCi)은 상위 에지 문턱값이 200이다. 하위 에지 문턱값은 제1 에지 픽셀 비율(RP1)이 15보다 큰 경우 150이고, 하위 에지 문턱값은 제1 에지 픽셀 비율(RP1)이 15 이하인 경우 100으로 설정할 수 있다.
최초 에지 문턱값(TCi)은 반드시 수학식 2와 같이 결정될 수 있는 것은 아니다. 수학식 2의 의미는 제1 에지 픽셀 비율(RP1)이 비교적 높은 경우 초기 에지 문턱값(TCi)을 비교적 높게 설정하고, 제1 에지 픽셀 비율(RP1)이 비교적 낮은 경우 초기 에지 문턱값(TCi)을 비교적 낮게 설정한다는 의미이다. 이는 본 발명의 에지 검출 과정이 후술할 제2 에지 픽셀 비율(RP2)에 따라 반복적으로 수행될 수 있기 때문에, 최대한 반복되는 횟수를 줄이기 위한 것이다.
손가락 영역 검출 모듈(120)은 R,G,B 각 평면에 캐니 에지 검출을 수행하고, 각 평면의 이미지에서 에지 성분을 강조하기 위한 추가적인 작업을 수행할 수도 있다(250). 예컨대, 각 평면의 이미지에 모폴로지컬 오퍼레이션(Morphological operation)과 스무딩(Smoothing)을 적용할 수 있다. 모폴로지컬 오퍼레이션은 침식(Erosion) 및 팽창(Dilation) 연산을 이용한 닫힘 연산(Closing operation)을 적용할 수 있고, 스무딩은 가우시안 스무딩(Gaussian smoothing)을 적용할 수 있다. 이러한 연산 이외에 노이즈를 제거하고, 에지를 강조하기 위한 다양한 이미지 처리 기법이 적용될 수 있음은 자명하다.
예컨대, 캐니 에지 검출 기법은 각 평면 이미지를 가우시안(Gaussian) 필터로 필터링하여 고주파 잡음을 제거하고, 소벨(Sobel) 필터로 필터링하여 에지 성분을 추출하며, 추출한 에지 성분에서 NMS(Non Maximum edge pixel Suppression)을 이용하여 에지 픽셀의 개수를 감소시킨 캐니 에지를 검출할 수도 있다.
각 평면에 대한 에지 검출이 완료되면, 손가락 영역 검출 모듈(120)은 초기 에지가 검출된 3 개의 평면에서 동일한 위치에 있는 픽셀 중 최대 픽셀값을 갖는 픽셀로 구성되는 최대 에지 이미지를 생성한다(260). 최대 에지 이미지는 각 평면의 에지 이미지가 합성되는 형태라고 할 수 있다.
손가락 영역 검출 모듈(120)은 최대 에지 이미지의 에지 픽셀 비율(RP2)이 픽셀 문턱값(T)보다 작은지 여부를 판단한다(270). 최대 에지 이미지의 에지 픽셀 비율(RP2)을 제2 에지 픽셀 비율이라고 명명한다.
손가락 영역 검출 모듈(120)은 제2 에지 픽셀 비율(RP2)이 픽셀 문턱값(T) 보다 작다면 최대 에지 이미지를 최종 에지 이미지로 선택한다(290).
손가락 영역 검출 모듈(120)은 제2 에지 픽셀 비율(RP2)이 픽셀 문턱값(T) 이상이라면 에지 문턱값을 변경하여 변경된 에지 문턱값을 기준으로 각 평면에 대한 초기 에지 검출 과정(250) 및 최종 에지 이미지를 선택하는 과정(260)을 반복한다. 여기서 픽셀 문턱값(T)는 이미지의 종류, 이동 단말의 환경, 사용자의 의도 등에 따라 다른 값이 사용될 수도 있다.
제2 에지 픽셀 비율(RP2)이 픽셀 문턱값(T) 이상이라면, 최대 에지 이미지에 너무 많은 에지가 존재하는 것이므로, 손가락 영역 검출 모듈(120)은 에지 문턱값을 에지 픽셀 비율(RP2)이 줄어들도록 변경한다.
예컨대, 손가락 영역 검출 모듈(120)은 에지 픽셀 비율(RP2)이 픽셀 문턱값(T) 이상이라면 에지 문턱값(TC)을 "TCa(상위 문턱값, 하위 문턱값) = {(100, 250), (150, 200), (150, 250), (200, 200), (200, 250), (250, 250)}"인 순서대로 변경하면서 각 평면에 대한 초기 에지 검출 과정(250) 및 최종 에지 이미지를 선택하는 과정(260)을 반복할 수 있다.
각 평면에 대한 초기 에지 검출 과정(250) 및 최종 에지 이미지를 선택하는 과정(260)이 반복되는 경우, 반복되는 과정에서 에지 문턱값(TC)은 상위 에지 문턱값과 하위 에지 문턱값의 쌍의 집합인 TCa의 순서대로 에지 문턱값을 적용한다. 즉, 1 번째 반복에서 (100, 250)이 사용되고, 2 번째 반복에서 (150, 200)이 사용되고, 3번째 반복에서 (150, 250)이 사용되는 순서이다. 반복되는 과정을 통해 최종 에지 이미지가 선택된다.
도 3은 손가락 영상을 이용하여 제어 명령을 생성하는 이동 단말의 손가락 영역 검출 모듈(120)이 동작하는 과정을 도시한 다른 예이다.
손가락 영역 검출 모듈(120)은 타겟 영상에서 기준 프레임 간격으로 손가락 영역을 검출할 수 있다. 예컨대, 10프레임 간격으로 손가락 영역을 검출할 수 있다.
손가락 끝 영역 검출 모듈(130)이 이전 프레임에서 손가락 끝 영역을 검출하면, 손가락 영역 검출 모듈(120)은 다음 프레임에서는 손가락 끝 영역의 위치를 기준으로 타겟 영상에서 영역 범위를 축소하여 손가락 영역을 검출할 수 있다. 도 3에서는 10프레임 간격으로 타겟 영상의 크기(S)를 절반으로 줄여서 손가락 영역을 검출하는 예를 도시하였다.
손가락 영역 검출 모듈(120)이 도 3과 같이 동작하면, 손가락 영역 검출의 효율이 증가한다. 나머지 과정은 도 2에서 설명한 바와 같다.
손가락 끝 영역 검출 모듈(130)은 아다부스트(AdaBoost(Adaptive Boosting)) 알고리즘을 사용하여 손가락 영역에서 손가락 끝 영역을 검출한다.
아다부스트 학습 알고리즘의 기본 개념은 약한 분류기(weak classifier)를 선형적으로 결합하여 최종적으로 높은 검출 성능을 가진 강한 분류기(strong classifier)를 생성하는 것이다.
아다부스트 알고리즘은 클래스의 샘플을 이용하여 약한 분류기를 반복적인 계산에 의해서 학습을 수행하고, 생성된 약한 분류기의 결합에 의해서 강한 분류기를 생성한다. 초기에는 모든 샘플에 대하여 동일한 가중치를 주고 약한 분류기를 학습시킨 후, 단계가 진행될수록 기초 분류기에서 올바르게 분류된 데이터에 대해서는 낮은 에러 가중치가 부과되고 올바르지 않게 분류된 데이터에 대해서는 높은 에러 가중치를 부과함으로써 약한 분류기의 성능을 높여가는 기법이다. 아다부트스 알고리즘 자체는 해당 분야의 통상의 지식을 가진자가 널리 알고 있는 것이므로 자세한 설명은 생략하기로 한다.
도 4는 3차원 좌표를 생성하기 위하여 이용하는 손가락 끝 영역의 기준점을 예를 도시한다. 도 4에서 중앙의 사각형 박스로 도시된 영역이 손가락 끝 영역에 해당한다. 원형으로 표시된 사각박스 좌측 상단의 모서리를 손가락 끝 영역의 시작점이라고 한다. ①은 손가락 끝 영역의 시작점 y좌표값(y축 길이)을 의미한다. 타겟 영상에서 손가락 끝 영역이 y축으로 어떤 좌표에 위치하는지 기산하기 위한 기준이 된다. ②는 손가락 끝 영역의 시작점 x 좌표값(x축 길이)을 의미한다. ③은 손가락 끝 영역의 높이(Height)를 의미하고, ④는 손가락 끝 영역의 너비(Width)를 의미한다. 따라서 ③과 ④로 표시되는 사각형 박스 영역이 손가락 끝 영역에 해당한다. 도 4에서는 사각박스의 중앙위치(삼각형 표시)를 3차원 좌표값 측정을 위한 기준으로 삼았다. 도 4에서 설명한 각 기준점은 3차원 좌표를 연산하기 위한 하나의 기준이며 다른 위치의 기준들이 사용될 수 있음은 자명하다.
3 차원 좌표 연산 모듈(140)은 손가락 끝 영역의 x 좌표 기준점을 이용하여 x 좌표를 연산하고, 손가락 끝 영역의 y 좌표 기준점을 이용하여 y 좌표를 연산하고, 손가락 끝 영역의 너비, 높이 또는 면적 중 적어도 하나를 이용하여 z 좌표를 연산할 수 있다.
3 차원 좌표 연산 모듈(140)은 손가락 끝 영역의 시작점 x좌표(Finger Region.x), 손가락 끝 영역의 시작점 y 좌표값(Finger Region.y), 손가락 끝 영역의 너비(Finger Width), 손가락 끝 영역의 높이(Finger Height)를 이용하여 3차원 좌표값을 연산할 수 있다.
3차원 좌표값 중 x 좌표값(Finger Point(x))은 아래의 수학식 3으로 연산될 수 있다.
Figure 112013074282977-pat00003
FingerRegion.x는 입력된 영상에서의 검출된 손가락 영역의 시작점 x좌표이고, FingerWidth는 검출된 영역의 너비다. 우선 손가락 영역의 너비(FingerWidth)를 2로 나누어서 손가락 영역 중간을 설정한 후 손가락 영역의 시작점 x좌표(FingerRegion.x)를 더해서 입력 영상에서 손가락 포인터의 X좌표를 설정하게 된다.
3차원 좌표값 중 y 좌표값(Finger Point(y))은 아래의 수학식 4로 연산될 수 있다.
Figure 112013074282977-pat00004
FingerRegion.y는 입력된 영상에서의 검출된 손가락 영역의 시작점 y좌표이고, FingerWidth는 검출된 영역의 높이다. 우선 손가락 영역의 높이(FingerHeight)를 2로 나누어서 손가락 영역 중간을 설정한 후 손가락 영역의 시작점 y좌표(FingerRegion.y)를 더해서 입력 영상에서 손가락 포인터의 Y좌표를 설정하게 된다.
3차원 좌표값 중 z 좌표값은 아래의 수학식 5와 같이 연산될 수 있다. z 좌표값은 카메라와 손가락의 거리(FingertoCameraDistance)를 이용하여 설정된다. 카메라와 손가락의 거리는 손가락 끝 영역의 면적을 이용하여 추정한다. 기준이 되는 거리에서의 면적과 현재 카메라를 통해 입력되는 손가락 끝 영역의 면적을 비교하여 카메라와 손가락의 거리를 추정할 수 있는 것이다.
Figure 112013074282977-pat00005
fingerwidth는 사용자의 실제 손가락 너비이고, previewwidth는 모노 카메라로 입력되는 영상의 너비 픽셀 값이다. FOV(Field of View)는 카메라에서 특정 지점(손가락 끝 영역)을 관측할 때 나타나는 범위 시야를 각도로 표현한 것이다. 상기 수학식 5를 이용하여 카메라와 손가락의 거리가 측정되면, 손가락이 위치한 z 좌표의 상대적 위치를 파악할 수 있다.
본 발명에서는 손가락 끝 영역의 시작점을 사각 블록의 좌측 상단 모서리로 설정하고 3차원 좌표를 연산한 것이나, 다른 위치의 시작점을 이용할 수도 있고, 좌표의 기준이 되는 지점을 손가락 끝 영역의 중심이 아닌 다른 지점을 이용할 수도 있음은 자명하다.
도 5는 손가락 영상을 이용하여 제어 명령을 생성하는 이동 단말(400)의 구성을 도시한 블록도의 다른 예이다.
손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말(400)은 손가락 영역을 포함하는 타겟 영상을 입력받는 카메라(410), 에지 검출 기술을 이용하여 타겟 영상에서 손가락 영역을 검출하는 손가락 영역 검출 코드(421), 손가락 영역에서 아다부스트 알고리즘을 이용하여 손가락 끝 영역을 검출하는 손가락 끝 영역 검출 코드(422) 및 손가락 끝 영역을 이용하여 3차원 좌표값을 연산하는 3 차원 좌표 연산 코드(423)가 저장된 메모리(420) 및 손가락 영역 검출 코드(412)를 실행하여 타겟 영상에서 손가락 영역을 검출하고, 손가락 끝 영역 검출 코드(422)를 실행하여 손가락 영역에서 손가락 끝 영역을 검출하고, 3 차원 좌표 연산 코드(423)를 실행하여 3차원 좌표값을 연산하는 프로세서(430)를 포함한다.
도 5의 좌표 전송 모듈(440)은 프로세서(430)에서 생성된 3차원 좌표를 전달하는 수단을 도시한 것이다. 한편 3차원 좌표는 특정한 애플리케이션 등에 곧바로 사용될 수 있으므로, 별도의 전송 수단이 필요 없을 수도 있다. 예컨대, 좌표 전송 모듈(440)은 단말기에서 생성한 3차원 좌표값을 별도의 기기에 전송하는 통신 모듈일 수도 있다. 단말기가 TV 또는 게임 리모콘인 경우 좌표 전송 모듈(440)은 단말기가 생성한 3차원 좌표를 근거리 무선 통신을 이용하여 TV 또는 게임기에 전송할 수 있다.
프로세서(430)는 손가락 영역 검출 코드(421)를 실행하여 현재 프레임에서 에지 픽셀의 개수와 전체 픽셀의 개수의 비율인 에지 픽셀 비율(RP)을 결정한다. 이후 프로세서(430)는 타겟 영상을 3개의 평면(R,G,B)으로 분리하고, 각 평면에 대해 에지 픽셀 비율(RP)을 기준으로 결정되는 에지 문턱값을 이용하여 각 평면에 대해 캐니(canny) 에지 검출 알고리즘을 이용하여 초기 에지를 검출한다. 이후 프로세서(430)는 초기 에지가 검출된 3 개의 평면에서 동일한 위치에 있는 픽셀 중 최대 픽셀값을 갖는 픽셀로 구성되는 최대 에지 이미지를 생성하고, 최대 에지 이미지의 에지 픽셀 비율(RP)이 픽셀 문턱값(T) 보다 작다면 최대 에지 이미지를 최종 에지 이미지로 선택한다.
프로세서(430)는 에지 픽셀 비율(RP)이 픽셀 문턱값(T) 이상이라면 에지 문턱값을 에지 픽셀 비율(RP)이 줄어들도록 변경하면서 초기 에지 검출 과정 및 최종 에지 이미지를 선택하는 과정을 반복한다.
손가락 영상을 이용하여 제어 명령을 생성하는 이동 단말(400)에서 사용하는 손가락 영역 검출 코드(421)는 전술한 손가락 영역 검출 모듈(120)의 기능을 수행하고, 손가락 끝 영역 검출 코드(422)는 전술한 손가락 끝 영역 검출 모듈(130)의 기능을 수행하고, 3차원 좌표 연산 코드(423)는 전술한 3차원 좌표 연산 모듈(140)의 기능을 수행한다.
즉 도 1의 손가락 영상을 이용하여 제어 명령을 생성하는 이동 단말(100)은 각 기능을 수행하는 구성이 임베디드된 칩셋 형태로 구현된 것이고, 도 5의 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말(400)은 각 구성이 프로그램으로 코딩된 형태이다.
도 6은 단말기의 카메라에 입력된 손가락 영상을 이용한 제어 명령 생성 방법(500)에 대한 순서도의 예이다.
단말기의 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법(500)은 단말기가 카메라를 통해 손가락 영역을 포함하는 타겟 영상을 입력받는 단계(510), 단말기가 에지 검출 기술을 이용하여 타겟 영상에서 손가락 영역을 검출하는 단계(520), 단말기가 손가락 영역에서 아다부스트 알고리즘을 이용하여 손가락 끝 영역을 검출하는 단계(530) 및 단말기가 손가락 끝 영역을 이용하여 3차원 좌표값을 연산하는 단계(540)를 포함한다.
이하 전술한 손가락 영상을 이용하여 제어 명령을 생성하는 이동 단말(100, 400)과 동일한 내용에 대해서는 생략하거나, 간략하게 설명하고자 한다.
도 7은 타겟 영상에서 손가락 영역을 검출하는 단계(520)에 대한 구체적인 순서도의 예이다.
간략하게 손가락 영역을 검출하는 단계(520)는 현재 프레임에서 에지 픽셀의 개수와 전체 픽셀의 개수의 비율인 제1 에지 픽셀 비율(RP1)을 결정하는 단계(521), 제1 에지 픽셀 비율을 기준으로 초기 에지 문턱값(TCi)을 결정하는 단계(522), 타겟 영상을 3개의 평면(R,G,B)으로 분리하고, 각 평면에 대해 에지 픽셀 비율(RP)을 기준으로 결정되는 에지 문턱값을 이용하여 각 평면에 대해 캐니(canny) 에지 검출 알고리즘을 이용하여 초기 에지를 검출하는 단계(523) 및 초기 에지가 검출된 3 개의 평면에서 동일한 위치에 있는 픽셀 중 최대 픽셀값을 갖는 픽셀로 구성되는 최대 에지 이미지를 생성하는 단계(525) 및 최대 에지 이미지에 대한 제2 에지 픽셀 비율(RP2)이 픽셀 문턱값(T) 보다 작은지 여부를 판단하는 단계(526)를 포함한다.
초기 에지를 검출하는 단계(523) 후에 초기 에지 이미지에서 노이즈를 제거하고, 에지를 강조하는 기법을 추가적으로 적용할 수도 있다.
최대 에지 이미지에 대한 제2 에지 픽셀 비율(RP2)이 픽셀 문턱값(T) 보다 작다면 최대 에지 이미지를 최종 에지 이미지로 선택한다. 제2 에지 픽셀 비율(RP2)이 픽셀 문턱값(T) 이상이라면 에지 문턱값을 변경하여(527) 변경된 에지 문턱값을 기준으로 초기 에지를 검출하는 단계(523) 및 최종 에지 이미지를 선택하는 단계(525 및 526)를 반복한다.
여기서 제1 에지 픽셀 비율을 결정하는 방법, 초기 에지 문턱값(TCi)을 설정하는 방법, 에지 문턱값(TC)을 변경하는 방법은 전술한 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말(100, 400)에서 설명한 바와 같다. 따라서 변경된 에지 문턱값(TC)은 에지 픽셀 비율(RP2)이 줄어들도록 변경된다.
도 8은 서로 다른 5가지 환경에서 에지 검출 기법을 사용하여 손가락 끝 영역을 검출하는 과정에 대한 실험예이다. 도 8에서 (a)는 피부색과 유사한 배경인 경우(환경1)이고, (b)는 어두운 조명인 환경(환경2)이고, (c)는 백열 전구 조명인 환경(환경3)이고, (d)는 손가락에 장갑을 낀 경우(환경4)이고, (e)는 복잡한 배경을 갖는 경우(환경5)이다.
도 8을 살펴보면, 각 환경에 따라서 각 평면에 검출되는 에지 형태가 다르다는 것을 알 수 있다. 최종 에지 이미지는 R,G,B 평면에서 검출된 에지 이미지 중 픽셀값이 강한 값들이 조합된 결과임을 알 수 있다.
이 실험에서 손가락 끝 영역 검출은 Harr-like 특징 기반의 AdaBoost 알고리즘을 사용하였다. AdaBoost 알고리즘은 손가락 검출을 위해 사용할 수 있는 주요한 특징들을 선택한 후, 선택된 특징들을 사용한 약한 분류기의 선형적인 결합을 통하여 강한 분류기를 생성한다. 결합된 이미지를 이용하여 cascade 검출기를 훈련하였으며, 훈련을 위한 positive 이미지는 2240장, negative 이미지는 4500장을 사용하였고 검출기 단계는 총 13단계, 검출기 사이즈는 20x10 픽셀 크기로 설정하였다.
도 9는 도 8에서의 5가지 환경에서 에지 검출 기법을 사용한 손가락 끝 영역 검출에 대한 실험결과를 도시한 예이다. 도 9에서 환경 1 내지 환경 5로 표시한 경우는 각각 도 8에서 (a) 내지 (e)로 표기한 경우에 대응된다. 도 10은 도 8에서의 5가지 환경에서 영상 처리 기법에서 자주 사용하는 색채를 기반으로 한 사용한 손가락 끝 영역 검출에 대한 실험결과를 도시한 예이다.
도 10과 도 9의 실험 결과를 비교하면 손가락 영역을 색채를 기반으로 검출한 경우 피부색과 유사한 환경을 가진 배경에서는 손가락 영역 검출이 거의 어렵다. 그러나 본 발명은 약 60%의 확률로 손가락 영역을 검출하였고, 나머지 환경에서도 색채를 기반으로 한 손가락 영역 검출 기법보다는 뛰어난 검출 효과를 갖는다는 것을 알 수 있다.
도 11은 단말기의 카메라에 입력된 손가락 영상을 이용한 제어 명령 생성 방법(600) 및 단말기의 센서에서 측정되는 움직임(회전)을 이용한 제어 명령 생성 방법(700)의 관계를 도시한 순서도의 예이다.
도 11의 좌측에 도시한 단말기의 카메라에 입력된 손가락 영상을 이용한 제어명령 생성 방법(600)은 카메라를 통해 손가락 영역을 포함하는 타겟 영상을 획득하는 단계(610), 타겟 영상에서 손가락 끝 영역을 검출하는 단계(620), 손가락 끝 영역을 기준으로 좌표값인 제어 명령을 생성하는 단계(630) 및 애플리케이션에 생성된 제어 명령을 입력하는 단계(640)를 포함한다. 이 과정은 전술한 단말기의 카메라에 입력된 손가락 영상을 이용한 제어 명령 생성 방법(500)에 대응된다.
도 11의 우측에 도시한 단말기의 센서를 이용한 제어명령 생성 방법(700)은 단말기의 센서를 통해 센서값을 획득하는 단계(710), 센서값을 이용하여 단말의 움직임(회전) 값을 연산하는 단계(720), 움직임(회전) 값을 기준으로 좌표값인 제어명령을 생성하는 단계(730) 및 애플리케이션에 생성된 제어 명령을 입력하는 단계(740)를 포함한다. 이 과정은 전술한 손가락 영상을 이용하여 제어 명령을 생성하는 이동 단말(100)의 회전 좌표 생성 모듈(160)을 이용한 회전 좌표 생성에 대응된다.
본 발명은 전술한 단말기의 카메라에 입력된 손가락 영상을 이용한 제어명령 생성 방법(600) 및 단말기의 센서를 이용한 제어명령 생성 방법(700)을 사용할 수 있다. 단말에 특정한 제어 명령(3차원 좌표값 등)을 전달하기 위하여, 본 발명은 두 가지 방법을 독자적으로 사용할 수도 있고, 어느 하나의 방법만을 사용할 수도 있고, 어느 하나의 방법을 보충적으로 사용할 수도 있다.
예컨대, 영상을 촬영하는 배경이 어둡거나 배경이 매우 복잡하여서 단말기의 카메라에 입력된 손가락 영상을 이용한 제어명령 생성 방법(600)을 사용하여 3차원 좌표를 생성할 수 없는 경우에 단말기의 센서에서 측정되는 움직임(회전)을 이용한 제어 명령 생성 방법(700)을 이용할 수도 있다(보충적 사용). 나아가 두 개의 방법을 동시에 사용하는 경우는 순차적으로 연속된 입력이 필요한 애플리케이션에서 이용할 수 있다(추가적 사용).
보충적 사용의 실시예는 손가락 영역이 검출되는지 여부를 판단하여, 손가락 영역이 검출되지 않는 경우 센서가 측정한 회전 좌표를 이용할 수 있다. 추가적 사용의 실시예는 손가락 영역을 이용한 제어명령(3차원 좌표값)을 생성한 후 또는 생성하기 전에 센서를 이용한 제어 명령 생성하는 단계(700)를 포함할 수 있다.
본 실시예 및 본 명세서에 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 본 발명의 권리범위에 포함되는 것이 자명하다고 할 것이다.
100 : 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말
110 : 카메라 120 : 손가락 영역 검출 모듈
130 : 손가락 끝 영역 검출 모듈 140 : 3차원 좌표 연산 모듈
150 : 인터페이스 입력 모듈 160 : 회전 좌표 생성 모듈
400 : 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말
410 : 카메라 420 : 메모리
430 : 프로세서 440 : 좌표 전송 모듈

Claims (24)

  1. 손가락 영역을 포함하는 타겟 영상을 입력받는 카메라;
    에지 검출 기술을 이용하여 상기 타겟 영상에서 상기 손가락 영역을 검출하는 손가락 영역 검출 모듈;
    상기 손가락 영역에서 아다부스트(adaboost) 알고리즘을 이용하여 손가락 끝 영역을 검출하는 손가락 끝 영역 검출 모듈; 및
    상기 손가락 끝 영역을 이용하여 3차원 좌표값을 연산하는 3 차원 좌표 연산 모듈을 포함하되,
    상기 손가락 영역 검출 모듈은 현재 프레임에서 에지 픽셀의 개수와 전체 픽셀의 개수의 비율인 에지 픽셀 비율(RP)을 결정하고, 상기 타겟 영상을 3개의 평면(R,G,B)으로 분리하고, 각 평면에 대해 상기 에지 픽셀 비율(RP)을 기준으로 결정되는 에지 문턱값을 이용하여 각 평면에 대해 캐니(canny) 에지 검출 알고리즘을 이용하여 초기 에지를 검출하고, 상기 초기 에지가 검출된 상기 3 개의 평면에서 동일한 위치에 있는 픽셀 중 최대 픽셀값을 갖는 픽셀로 구성되는 최대 에지 이미지를 생성하고, 상기 최대 에지 이미지에 대한 에지 픽셀 비율(RP)이 픽셀 문턱값(T) 보다 작다면 상기 최대 에지 이미지를 최종 에지 이미지로 선택하는 손가락 영상을 이용하여 제어 명령을 생성하는 이동 단말.
  2. 삭제
  3. 제1항에 있어서,
    상기 에지 픽셀 비율(RP)은
    상위 에지 문턱값을 200, 하위 에지 문턱값을 100으로 설정하고, 캐니(canny) 에지 검출 알고리즘을 수행하여 검출되는 최초 에지 이미지에서 에지 픽셀의 개수와 전체 픽셀의 개수의 비율로 결정되는 손가락 영상을 이용하여 제어 명령을 생성하는 이동 단말.
  4. 제1항에 있어서,
    상기 에지 문턱값은
    상위 에지 문턱값 및 하위 에지 문턱값을 포함하고, 상기 상위 에지 문턱값은 200이고, 상기 하위 에지 문턱값은 상기 에지 픽셀 비율(RP)이 15보다 큰 경우 150이고, 상기 하위 에지 문턱값은 상기 에지 픽셀 비율(RP)이 15 이하인 경우 100인 손가락 영상을 이용하여 제어 명령을 생성하는 이동 단말.
  5. 제1항에 있어서,
    상기 손가락 영역 검출 모듈은
    상기 에지 픽셀 비율(RP)이 상기 픽셀 문턱값(T) 이상이라면 상기 에지 문턱값을 변경하여 변경된 에지 문턱값을 기준으로 상기 초기 에지 검출 과정 및 상기 최종 에지 이미지를 선택하는 과정을 반복하는 손가락 영상을 이용하여 제어 명령을 생성하는 이동 단말.
  6. 제5항에 있어서,
    상기 손가락 영역 검출 모듈은
    상기 에지 문턱값을 상기 에지 픽셀 비율(RP)이 줄어들도록 변경하는 손가락 영상을 이용하여 제어 명령을 생성하는 이동 단말.
  7. 제6항에 있어서,
    상기 에지 문턱값은 상위 에지 문턱값 및 하위 에지 문턱값을 포함하고
    상기 손가락 영역 검출 모듈은 상기 에지 픽셀 비율(RP)이 상기 픽셀 문턱값(T) 이상이라면 상기 에지 문턱값을 "(상위 에지 문턱값, 하위 에지 문턱값) = {(100, 250), (150, 200), (150, 250), (200, 200), (200, 250), (250, 250)}"인 순서대로 변경하면서 상기 초기 에지 검출 과정 및 상기 최종 에지 이미지를 선택하는 과정을 반복하는 손가락 영상을 이용하여 제어 명령을 생성하는 이동 단말.
  8. 제1항에 있어서,
    상기 손가락 영역 검출 모듈은 상기 타겟 영상에서 기준 프레임 간격으로 상기 손가락 영역을 검출하고,
    상기 손가락 끝 영역 검출 모듈이 이전 프레임에서 손가락 끝 영역을 검출하면, 상기 손가락 영역 검출 모듈은 다음 프레임에서는 상기 손가락 끝 영역의 위치를 기준으로 상기 타겟 영상에서 영역 범위를 축소하여 상기 손가락 영역을 검출하는 손가락 영상을 이용하여 제어 명령을 생성하는 이동 단말.
  9. 제1항에 있어서,
    상기 3 차원 좌표 연산 모듈은
    손가락 끝 영역의 x 좌표 기준점을 이용하여 x 좌표를 연산하고, 손가락 끝 영역의 y 좌표 기준점을 이용하여 y 좌표를 연산하고,
    손가락 끝 영역의 너비, 높이 또는 면적 중 적어도 하나를 이용하여 z 좌표를 연산하는 손가락 영상을 이용하여 제어 명령을 생성하는 이동 단말.
  10. 제1항에 있어서,
    상기 이동 단말의 회전 방향 및 회전 정도를 센싱하는 센서를 이용하여 2차원 평면 또는 3차원 상에서의 회전 좌표값 생성하는 회전 좌표 생성 모듈을 더 포함하는 손가락 영상을 이용하여 제어 명령을 생성하는 이동 단말.
  11. 손가락 영역을 포함하는 타겟 영상을 입력받는 카메라;
    에지 검출 기술을 이용하여 상기 타겟 영상에서 상기 손가락 영역을 검출하는 손가락 영역 검출 코드, 상기 손가락 영역에서 아다부스트 알고리즘을 이용하여 손가락 끝 영역을 검출하는 손가락 끝 영역 검출 코드 및 상기 손가락 끝 영역을 이용하여 3차원 좌표값을 연산하는 3 차원 좌표 연산 코드가 저장된 메모리; 및
    상기 손가락 영역 검출 코드를 실행하여 상기 타겟 영상에서 상기 손가락 영역을 검출하고, 상기 손가락 끝 영역 검출 코드를 실행하여 상기 손가락 영역에서 상기 손가락 끝 영역을 검출하고, 상기 3 차원 좌표 연산 코드를 실행하여 3차원 좌표값을 연산하는 프로세서를 포함하되,
    상기 프로세서는 상기 손가락 영역 검출 코드를 실행하여 현재 프레임에서 에지 픽셀의 개수와 전체 픽셀의 개수의 비율인 에지 픽셀 비율(RP)을 결정하고, 상기 타겟 영상을 3개의 평면(R,G,B)으로 분리하고, 각 평면에 대해 상기 에지 픽셀 비율(RP)을 기준으로 결정되는 에지 문턱값을 이용하여 각 평면에 대해 캐니(canny) 에지 검출 알고리즘을 이용하여 초기 에지를 검출하고, 상기 초기 에지가 검출된 상기 3 개의 평면에서 동일한 위치에 있는 픽셀 중 최대 픽셀값을 갖는 픽셀로 구성되는 최대 에지 이미지를 생성하고, 상기 최대 에지 이미지의 에지 픽셀 비율(RP)이 픽셀 문턱값(T) 보다 작다면 상기 최대 에지 이미지를 최종 에지 이미지로 선택하는 손가락 영상을 이용하여 제어 명령을 생성하는 이동 단말.
  12. 삭제
  13. 제11항에 있어서,
    상기 프로세서는
    상기 에지 픽셀 비율(RP)이 상기 픽셀 문턱값(T) 이상이라면 상기 에지 문턱값을 상기 에지 픽셀 비율(RP)이 줄어들도록 변경하면서 상기 초기 에지 검출 과정 및 상기 최종 에지 이미지를 선택하는 과정을 반복하는 손가락 영상을 이용하여 제어 명령을 생성하는 이동 단말.
  14. 단말기가 카메라를 통해 손가락 영역을 포함하는 타겟 영상을 입력받는 단계;
    상기 단말기가 에지 검출 기술을 이용하여 상기 타겟 영상에서 상기 손가락 영역을 검출하는 단계;
    상기 단말기가 상기 손가락 영역에서 아다부스트 알고리즘을 이용하여 손가락 끝 영역을 검출하는 단계; 및
    상기 단말기가 상기 손가락 끝 영역을 이용하여 3차원 좌표값을 연산하는 단계를 포함하되,
    상기 입력받는 단계 전에 또는 상기 연산하는 단계 후에 상기 단말기의 회전 방향 및 회전 정도를 센싱하는 센서를 이용하여 2차원 평면 또는 3차원 상에서의 회전 좌표값 생성하는 단계를 더 포함하고,
    상기 센서는 방향 센서 및 자이로 센서를 포함하고, 상기 회전 좌표값은 상(Up)하(Down)좌(Left)우(Right) 4개의 값을 포함하며, 상기 방향센서 및 상기 자이로 센서에서 출력되는 값이 아래의 문턱값을 넘는 경우 해당 방향으로 이동하는 회전 좌표값을 생성하는 단말기의 카메라에 입력된 손가락 영상을 이용한 제어 명령 생성 방법.
    Figure 112014066905207-pat00018

    (여기서, GX와 GY는 각각 X축과 Y축에 대한 자이로 센서값을 의미하고, OP와 OR은 각각 방향 센서의 피치(pitch)와 롤(roll)임)
  15. 제14항에 있어서,
    상기 손가락 영역을 검출하는 단계는
    현재 프레임에서 에지 픽셀의 개수와 전체 픽셀의 개수의 비율인 에지 픽셀 비율(RP)을 결정하는 단계;
    상기 타겟 영상이 분리된 3개의 평면(R,G,B)에 대해 상기 에지 픽셀 비율(RP)을 기준으로 결정되는 에지 문턱값을 이용하여 각 평면마다 캐니(canny) 에지 검출 알고리즘을 이용하여 초기 에지를 검출하는 단계; 및
    상기 초기 에지가 검출된 상기 3 개의 평면에서 동일한 위치에 있는 픽셀 중 최대 픽셀값을 갖는 픽셀로 구성되는 최대 에지 이미지를 생성하고, 상기 최대 에지 이미지에 대한 에지 픽셀 비율(RP)이 픽셀 문턱값(T) 보다 작다면 상기 최대 에지 이미지를 최종 에지 이미지로 선택하는 단계를 포함하되,
    상기 에지 픽셀 비율(RP)이 상기 픽셀 문턱값(T) 이상이라면 상기 에지 문턱값을 변경하여 변경된 에지 문턱값을 기준으로 상기 초기 에지를 검출하는 단계 및 상기 최종 에지 이미지를 선택하는 단계를 반복하는 단말기의 카메라에 입력된 손가락 영상을 이용한 제어 명령 생성 방법.
  16. 제15항에 있어서,
    상기 에지 픽셀 비율(RP)을 결정하는 단계는
    상위 에지 문턱값을 200, 하위 에지 문턱값을 100으로 설정하고, 캐니(canny) 에지 검출 알고리즘을 수행하여 검출되는 최초 에지 이미지에서 에지 픽셀의 개수와 전체 픽셀의 개수의 비율로 상기 에지 픽셀 비율(RP)을 결정하는 단말기의 카메라에 입력된 손가락 영상을 이용한 제어 명령 생성 방법.
  17. 제15항에 있어서,
    상기 에지 문턱값은
    상위 에지 문턱값 및 하위 에지 문턱값을 포함하고, 상기 상위 에지 문턱값은 200이고, 상기 하위 에지 문턱값은 상기 에지 픽셀 비율(RP)이 15보다 큰 경우 150이고, 상기 하위 에지 문턱값은 상기 에지 픽셀 비율(RP)이 15 이하인 경우 100인 단말기의 카메라에 입력된 손가락 영상을 이용한 제어 명령 생성 방법.
  18. 제15항에 있어서,
    상기 변경된 에지 문턱값은
    상기 에지 픽셀 비율(RP)이 줄어들도록 변경되는 단말기의 카메라에 입력된 손가락 영상을 이용한 제어 명령 생성 방법.
  19. 제18항에 있어서,
    상기 초기 에지를 검출하는 단계 및 상기 최종 에지 이미지를 선택하는 단계를 반복하는 과정에서
    상기 변경된 에지 문턱값은 "(상위 에지 문턱값, 하위 에지 문턱값) = {(100, 250), (150, 200), (150, 250), (200, 200), (200, 250), (250, 250)}"인 순서대로 변경되는 단말기의 카메라에 입력된 손가락 영상을 이용한 제어 명령 생성 방법.
  20. 제14항에 있어서,
    상기 손가락 영역을 검출하는 단계는
    상기 타겟 영상에서 기준 프레임 간격으로 상기 손가락 영역을 검출하고,
    손가락 끝 영역을 검출하는 단계에서 이전 프레임에 대한 손가락 끝 영역이 검출된 경우, 다음 프레임에서는 상기 손가락 끝 영역의 위치를 기준으로 상기 타겟 영상에서 영역 범위를 축소하여 상기 손가락 영역을 검출하는 단말기의 카메라에 입력된 손가락 영상을 이용한 제어 명령 생성 방법.
  21. 제14항에 있어서,
    상기 3차원 좌표값을 연산하는 단계는
    손가락 끝 영역의 x 좌표 기준점을 이용하여 x 좌표를 연산하고, 손가락 끝 영역의 y 좌표 기준점을 이용하여 y 좌표를 연산하고,
    손가락 끝 영역의 너비, 높이 또는 면적 중 적어도 하나를 이용하여 z 좌표를 연산하는 단말기의 카메라에 입력된 손가락 영상을 이용한 제어 명령 생성 방법.
  22. 삭제
  23. 삭제
  24. 제14항에 있어서,
    상기 카메라는 단말기의 디스플레이 패널의 배면 방향에 배치되는 카메라인 단말기의 카메라에 입력된 손가락 영상을 이용한 제어 명령 생성 방법.
KR20130097190A 2013-08-16 2013-08-16 손가락 영상 및 센서를 이용하여 제어 명령을 생성하는 이동 단말 및 단말기의 카메라에 입력된 손가락 영상 및 센서를 이용한 제어 명령 생성 방법 KR101481307B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130097190A KR101481307B1 (ko) 2013-08-16 2013-08-16 손가락 영상 및 센서를 이용하여 제어 명령을 생성하는 이동 단말 및 단말기의 카메라에 입력된 손가락 영상 및 센서를 이용한 제어 명령 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130097190A KR101481307B1 (ko) 2013-08-16 2013-08-16 손가락 영상 및 센서를 이용하여 제어 명령을 생성하는 이동 단말 및 단말기의 카메라에 입력된 손가락 영상 및 센서를 이용한 제어 명령 생성 방법

Publications (1)

Publication Number Publication Date
KR101481307B1 true KR101481307B1 (ko) 2015-01-14

Family

ID=52588688

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130097190A KR101481307B1 (ko) 2013-08-16 2013-08-16 손가락 영상 및 센서를 이용하여 제어 명령을 생성하는 이동 단말 및 단말기의 카메라에 입력된 손가락 영상 및 센서를 이용한 제어 명령 생성 방법

Country Status (1)

Country Link
KR (1) KR101481307B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0694428A (ja) * 1992-07-29 1994-04-05 Matsushita Electric Ind Co Ltd ３次元形状入力装置
JPH08328735A (ja) * 1995-06-02 1996-12-13 Takenaka Komuten Co Ltd ハンドポインティング入力装置
KR100939831B1 (ko) 2008-09-19 2010-02-02 가부시키가이샤 덴소 입력 에러를 감소시키기 위한 조작 입력 장치 및 정보 기기조작 장치
KR20130002869A (ko) * 2011-06-29 2013-01-08 포항공과대학교 산학협력단 부피 특징 벡터와 3차원 하르-유사 필터를 이용한 물체 검출 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0694428A (ja) * 1992-07-29 1994-04-05 Matsushita Electric Ind Co Ltd ３次元形状入力装置
JPH08328735A (ja) * 1995-06-02 1996-12-13 Takenaka Komuten Co Ltd ハンドポインティング入力装置
KR100939831B1 (ko) 2008-09-19 2010-02-02 가부시키가이샤 덴소 입력 에러를 감소시키기 위한 조작 입력 장치 및 정보 기기조작 장치
KR20130002869A (ko) * 2011-06-29 2013-01-08 포항공과대학교 산학협력단 부피 특징 벡터와 3차원 하르-유사 필터를 이용한 물체 검출 방법 및 장치

Similar Documents

Publication Publication Date Title
US6697072B2 (en) Method and system for controlling an avatar using computer vision
US10254845B2 (en) Hand gesture recognition for cursor control
CN103514432B (zh) 人脸特征提取方法、设备和计算机程序产品
TWI499966B (zh) 互動式操作方法
US8897490B2 (en) Vision-based user interface and related method
Prisacariu et al. 3D hand tracking for human computer interaction
Hu et al. Hand pointing estimation for human computer interaction based on two orthogonal-views
US9280209B2 (en) Method for generating 3D coordinates and mobile terminal for generating 3D coordinates
EP3572910B1 (en) Method, system and computer program for remotely controlling a display device via head gestures
CN112507918B (zh) 一种手势识别方法
US20150348269A1 (en) Object orientation estimation
CN110069125B (zh) 虚拟对象的控制方法和装置
KR101465894B1 (ko) 손가락에 부착한 마커를 이용하여 제어 명령을 생성하는 이동 단말 및 손가락에 부착한 마커를 이용하여 단말에서 제어 명령을 생성하는 방법
WO2012117901A1 (ja) データ処理装置、データ処理システム、及びプログラム
JP2009211563A (ja) 画像認識装置、画像認識方法、画像認識プログラム、ジェスチャ動作認識システム、ジェスチャ動作認識方法、及びジェスチャ動作認識プログラム
CN110858409A (zh) 动画生成方法和装置
Akman et al. Multi-cue hand detection and tracking for a head-mounted augmented reality system
US10074188B2 (en) Method and apparatus for processing images for use with a three-dimensional hand model database
Bulbul et al. A color-based face tracking algorithm for enhancing interaction with mobile devices
KR101481307B1 (ko) 손가락 영상 및 센서를 이용하여 제어 명령을 생성하는 이동 단말 및 단말기의 카메라에 입력된 손가락 영상 및 센서를 이용한 제어 명령 생성 방법
Petersen et al. Fast hand detection using posture invariant constraints
KR20140095601A (ko) 자세 분류 장치 및 자세 분류 방법
KR101465896B1 (ko) 전면부 카메라 및 후면부 카메라를 이용하여 제어 명령을 생성하는 이동 단말
KR101491413B1 (ko) 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기
CN111103967A (zh) 虚拟对象的控制方法和装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180102

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190104

Year of fee payment: 5