KR20170116554A - 오브젝트 생성 및 오브젝트의 변환이 가능한 동작 인식 센서를 이용한 3차원 입력 장치 - Google Patents

오브젝트 생성 및 오브젝트의 변환이 가능한 동작 인식 센서를 이용한 3차원 입력 장치 Download PDF

Info

Publication number
KR20170116554A
KR20170116554A KR1020160095282A KR20160095282A KR20170116554A KR 20170116554 A KR20170116554 A KR 20170116554A KR 1020160095282 A KR1020160095282 A KR 1020160095282A KR 20160095282 A KR20160095282 A KR 20160095282A KR 20170116554 A KR20170116554 A KR 20170116554A
Authority
KR
South Korea
Prior art keywords
points
input
distance
minutiae
dimensional
Prior art date
Application number
KR1020160095282A
Other languages
English (en)
Other versions
KR101860138B1 (ko
Inventor
김수민
이민주
Original Assignee
(주) 스마트몹
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 스마트몹 filed Critical (주) 스마트몹
Priority to KR1020160095282A priority Critical patent/KR101860138B1/ko
Publication of KR20170116554A publication Critical patent/KR20170116554A/ko
Application granted granted Critical
Publication of KR101860138B1 publication Critical patent/KR101860138B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/00335—
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명의 일 실시예는, 동작 인식 센서를 이용하여 디스플레이부와 기설정된 기준 거리 이상 이격된 사용자의 적어도 두 손가락의 끝 점들을 인식하고, 상기 끝 점들에 대응되는 3차원 좌표들을 획득하고, 상기 3차원 좌표들을 특징점들로서 감지하는 특징점 감지부; 및 상기 특징점들의 좌표 값의 변화를 트래킹하고, 상기 특징점들이 입력 조건을 만족하는 경우, 상기 특징점들의 위치에 기초하여 제1 방향 입력이 있는 것으로 처리하고, 상기 특징점들 간 거리에 기초하여 상기 제1 방향과 수직한 제2 방향 입력이 있는 것으로 처리하는 입력 처리부;를 포함하는, 오브젝트 생성 및 오브젝트의 변환이 가능한 동작 인식 센서를 이용한 3차원 입력 장치를 개시한다.

Description

오브젝트 생성 및 오브젝트의 변환이 가능한 동작 인식 센서를 이용한 3차원 입력 장치{APPARATUS FOR SHARING DATA AND PROVIDING REWARD IN ACCORDANCE WITH SHARED DATA}
본 발명은 오브젝트 생성 및 오브젝트의 변환이 가능한 동작 인식 센서를 이용한 3차원 입력 장치에 관한 것으로, 보다 구체적으로 동작 인식 장치를 이용하여 마우스 입력 장치의 '누름' 및 '누름 해제'와 같은 입력을 수행 가능하게 하는 방법에 관한 것이다.
일반적으로, 동작 인식 장치들은 그 정밀도의 차이는 있으나, 대부분 단일 기기로 제작되어 특정 위치에 고정한 후 내장된 가시선 센서 또는 적외선 센서와 카메라 등을 이용하여 정면에 비춰지는 형상의 상태를 단계별-시간별로 이미지화하여 차이점을 비교하는 방식을 이용한다.
동작 인식 장치들은 추출된 이미지들의 단일 혹은 다수의 차이점을 비교하여 좌표화 하는데, 센서 정면의 이미지를 기준으로 분석하기 때문에 상하(예컨대, y성분) 또는 좌우(예컨대, x성분)의 움직임은 용이하게 감지하는 것에 비해 앞뒤(예컨대, z성분)의 움직임, 특히 사람의 손가락이나 손 같은 다소 작은 물체가 센서 정면으로 찌르는(누르는) 동작을 하는 경우, 정확히 감지하지 못하는 문제가 있었다. 한편, 관련기술로는 한국공개특허공보 제10-2014-0084066호가 존재한다.
본 발명의 실시예들은 사용자가 디스플레이부와 소정의 거리만큼 이격된 상태에서 제스처를 취해 디스플레이 평면과 평행한 방향으로의 입력뿐만 아니라, 디스플레이 평면과 수직한 방향으로의 입력을 가능케 하기 위한 오브젝트 생성 및 오브젝트의 변환이 가능한 동작 인식 센서를 이용한 3차원 입력 장치를 제공한다.
본 발명의 일 실시예는, 동작 인식 센서를 이용하여 디스플레이부와 기설정된 기준 거리 이상 이격된 사용자의 적어도 두 손가락의 끝 점들을 인식하고, 상기 끝 점들에 대응되는 3차원 좌표들을 획득하고, 상기 3차원 좌표들을 특징점들로서 감지하는 특징점 감지부; 및 상기 특징점들의 좌표 값의 변화를 트래킹하고, 상기 특징점들이 입력 조건을 만족하는 경우, 상기 특징점들의 위치에 기초하여 제1 방향 입력이 있는 것으로 처리하고, 상기 특징점들 간 거리에 기초하여 상기 제1 방향과 수직한 제2 방향 입력이 있는 것으로 처리하는 입력 처리부;를 포함하는, 오브젝트 생성 및 오브젝트의 변환이 가능한 동작 인식 센서를 이용한 3차원 입력 장치를 개시한다.
본 발명의 다른 일 실시예는, 동작 인식 센서가 구비된 디스플레이부; 및 상기 동작 인식 센서를 이용하여 상기 디스플레이부와 기설정된 기준 거리 이상 이격된 사용자의 적어도 두 손가락의 끝 점들을 인식하고, 상기 끝 점들에 대응되는 3차원 좌표들을 획득하고, 상기 3차원 좌표들을 특징점들로서 감지하고, 상기 특징점들의 좌표 값의 변화를 트래킹하고, 상기 특징점들이 입력 조건을 만족하는 경우, 상기 특징점들의 위치에 기초하여 제1 방향 입력이 있는 것으로 처리하고, 상기 특징점들 간 거리에 기초하여 상기 제1 방향과 수직한 제2 방향 입력이 있는 것으로 처리하는 3차원 입력 장치;를 포함하는, 오브젝트 생성 및 오브젝트의 변환이 가능한 동작 인식 센서를 이용한 3차원 입력 시스템을 개시한다.
본 발명의 또 다른 일 실시예는 디스플레이부; 및 동작 인식 센서를 구비하고, 상기 동작 인식 센서를 이용하여 상기 디스플레이부와 기설정된 기준 거리 이상 이격된 사용자의 적어도 두 손가락의 끝 점들을 인식하고, 상기 끝 점들에 대응되는 3차원 좌표들을 획득하고, 상기 3차원 좌표들을 특징점들로서 감지하고, 상기 특징점들의 좌표 값의 변화를 트래킹하고, 상기 특징점들이 입력 조건을 만족하는 경우, 상기 특징점들의 위치에 기초하여 제1 방향 입력이 있는 것으로 처리하고, 상기 특징점들 간 거리에 기초하여 상기 제1 방향과 수직한 제2 방향 입력이 있는 것으로 처리하는 3차원 입력 장치;를 포함하는 오브젝트 생성 및 오브젝트의 변환이 가능한 동작 인식 센서를 이용한 3차원 입력 시스템을 개시한다.
본 발명의 또 다른 일 실시예는 동작 인식 센서를 이용하여 디스플레이부와 기설정된 기준 거리 이상 이격된 사용자의 적어도 두 손가락의 끝 점들을 인식하고, 상기 끝 점들에 대응되는 3차원 좌표들을 획득하고, 상기 3차원 좌표들을 특징점들로서 감지하는 단계; 및 상기 특징점들의 좌표 값의 변화를 트래킹하고, 상기 특징점들이 입력 조건을 만족하는 경우, 상기 특징점들의 위치에 기초하여 제1 방향 입력이 있는 것으로 처리하고, 상기 특징점들 간 거리에 기초하여 상기 제1 방향과 수직한 제2 방향 입력이 있는 것으로 처리하는 단계;를 포함하는, 오브젝트 생성 및 오브젝트의 변환이 가능한 동작 인식 센서를 이용한 3차원 입력 방법을 개시한다.
본 발명의 오브젝트 생성 및 오브젝트의 변환이 가능한 동작 인식 센서를 이용한 3차원 입력 장치에 의해 사용자가 디스플레이부와 소정의 거리만큼 이격된 상태에서 제스처를 취해 디스플레이 평면과 평행한 방향으로의 입력뿐만 아니라, 디스플레이 평면과 수직한 방향으로의 입력을 가능케 할 수 있다.
도 1은 본 발명의 일 실시예에 따른 오브젝트 생성 및 오브젝트의 변환이 가능한 동작 인식 센서를 이용한 3차원 입력 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 3차원 입력 장치의 내부 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 3차원 입력 방법을 나타낸 동작 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 3차원 입력 방법을 나타낸 도면이다.
도 5는 본 발명의 다른 일 실시예에 따른 3차원 입력 방법을 나타낸 도면이다.
도 6은 본 발명의 또 다른 일 실시예에 따른 3차원 입력 방법을 나타낸 도면이다.
도 7은 본 발명의 또 다른 일 실시예에 따른 3차원 입력 방법을 나타낸 도면이다.
도 8은 본 발명의 또 다른 일 실시예에 따른 3차원 입력 방법을 나타낸 도면이다.
도 9는 본 발명의 또 다른 일 실시예에 따른 3차원 입력 방법을 나타낸 도면이다.
도 10은 본 발명의 또 다른 일 실시예에 따른 3차원 입력 방법을 나타낸 도면이다.
도 11은 본 발명의 또 다른 일 실시예에 따른 3차원 입력 방법을 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 오브젝트 생성 및 오브젝트의 변환이 가능한 동작 인식 센서를 이용한 3차원 입력 시스템의 구성을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 동작 인식 센서를 이용한 3차원 입력 시스템의 구성은 디스플레이부(110) 및 3차원 입력 장치(미도시)를 포함한다.
사용자가 디스플레이부(110)와 기설정된 기준 거리 이상(d) 이격된 상태에서 손가락(120)을 이용하여 제스처를 취하는 경우, 디스플레이부(110) 또는 3차원 입력 장치(미도시)에 구비된 동작 인식 센서에 의해 손가락(120)의 끝 점들이 인식되게 된다.
3차원 인식 장치(미도시)는 손가락(120)의 끝 점들을 특징점(125)들로서 감지하고, 디스플레이부(110) 상에서 특징점(125)들에 대응되는 지점에 오브젝트(115)를 생성할 수 있다.
사용자가 손가락(120)을 상하좌우로 움직이는 경우, 동작 인식 센서에 의해 특징점(125)들의 움직임이 감지되고, 3차원 인식 장치(미도시)는 특징점(125)들의 움직임에 대응되도록 디스플레이부(110)에 생성된 오브젝트(115)를 상하좌우로 이동시킬 수 있다.
특히, 3차원 인식 장치(미도시)는 사용자의 손가락(120)이 집게 형태를 띄게 되어 특징점(125)들이 기설정된 선택 거리 이내로 인접하게 되면, 오브젝트(115)가 생성된 지점이 선택된 것으로 처리할 수 있다.
즉, 3차원 인식 장치(미도시)는 사용자가 디스플레이부(110)에 직접 손가락(120)을 대지 아니하고도 디스플레이부(110)에 표시된 버튼 등을 선택할 수 있다.
도 2는 본 발명의 일 실시예에 따른 3차원 입력 장치(200)의 내부 구성을 나타낸 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 3차원 입력 장치(200)는 특징점 감지부(210), 기준점 설정부(220), 오브젝트 생성부(230) 및 입력 처리부(240) 등을 포함한다.
특징점 감지부(210)는 동작 인식 센서를 이용하여 디스플레이부와 기설정된 기준 거리 이상 이격된 사용자의 손가락의 끝 점을 인식하고, 해당 끝 점에 대응되는 3차원 좌표를 특징점으로서 감지할 수 있다.
특히, 특징점 감지부(210)는 사용자의 적어도 두 손가락의 끝 점들을 인식하고, 두 끝 점들에 대응되는 3차원 좌표들을 특징점들로서 감지할 수 있다.
즉, 특징점들은 적어도 2개로 이루어질 수 있다.
선택적 실시예에서, 동작 인식 센서는 디스플레이부에 구비되거나, 3차원 입력 장치(200)에 구비될 수 있다.
기준점 설정부(220)는 특징점들이 제1 조건을 만족하는 경우, 특징점들 간의 거리와 동일한 간격을 갖는 두 개의 기준점을 설정할 수 있다.
여기서, 제1 조건은 기준점 설정 조건일 수 있다.
예컨대, 기준점 설정부(220)는 특징점들 간 거리가 기설정된 기준점 설정 간격 범위 내를 유지하면서 특징점들이 기설정된 기준점 설정 거리 이상 이동하는 경우, 기준점 설정 조건을 만족하는 것으로 판단할 수 있다.
선택적 실시예에서, 기준점 설정부(220)는 동작 인식 센서를 이용하여 사용자의 두 손가락의 끝 점들과 최외각 점이 동시에 인식되는 경우에만, 기준점들을 설정할 수 있다.
오브젝트 생성부(230)는 특징점들이 제2 조건을 만족하는 경우, 특징점들에 대응되는 디스플레이부 상의 지점들을 중심으로 하는 오브젝트를 생성할 수 있다.
여기서, 제2 조건은 오브젝트 생성 조건일 수 있다.
예컨대, 오브젝트 생성부(230)는 기준점 설정부(220)에 의해 기준점이 설정되는 순간, 오브젝트 생성 조건을 만족하는 것으로 판단할 수 있다.
또한, 오브젝트 생성부(230)는 기준점이 설정된 후, 특징점 감지부(210)에 의해 변환 단계 기준 영역 내에서 특징점이 감지되는 경우, 오브젝트 생성 조건을 만족하는 것으로 판단할 수 있다.
제1 오브젝트는 특징점들에 대응되는 디스플레이부 상의 지점들을 중심으로 하는 다양한 형태의 오브젝트일 수 있으며, 예컨대, 제1 오브젝트는 원형의 오브젝트일 수 있다.
선택적 실시예에서, 오브젝트 생성부(230)는 동작 인식 센서 및 손가락 간 거리에 기초하여 제1 오브젝트의 크기를 달리 결정할 수 있다.
예컨대, 오브젝트 생성부(230)는 손가락이 동작 인식 센서에 가까이 접근하는 경우, 제1 오브젝트의 크기를 더 크게 하고, 손가락이 동작 인식 센서에 멀어지는 경우, 제1 오브젝트의 크기를 더 작게 할 수 있다. 이는, 입력 처리부(240)에서 제1 오브젝트들의 겹쳐진 면적에 기초하여 제2 방향 입력을 처리하는 것과 관련되어 '제2 방향 입력 민감도'를 설정하는 기능으로서 작용할 수 있다.
입력 처리부(240)는 특징점들이 제3 조건을 만족하는 경우, 특징점들의 위치 또는 특징점들 간의 간격에 기초하여 제1 방향 입력 또는 제2 방향 입력이 있는 것으로 처리한다.
여기서, 제3 조건은 특징점 이동 조건일 수 있다.
여기서, 제1 방향은 디스플레이부에 상응하는 평면과 평행한 방향이고, 제2 방향은 디스플레이부에 상응하는 평면과 수직한 방향일 수 있다.
예컨대, 디스플레이부에 상응하는 평면이 xy평면이라고 가정하면, 제1 방향은 x성분과 y성분으로 이루어진 방향일 수 있고, 제2 방향은 z성분으로 이루어진 방향일 수 있다.
즉, 본원 발명의 실시예에 따르면, 특징점들의 위치가 변경되는 경우, 이에 대응하여 제1 오브젝트가 디스플레이부에서 x성분과 y성분으로 이루어진 방향으로 움직이게 되고, 특징점들 간 간격이 좁아지는 경우, 이에 대응하여 제1 오브젝트들 간 간격이 좁아지다가, 제1 오브젝트들이 겹쳐지는 경우, z성분의 입력(예컨대, 압력에 대응되는 입력)이 발생할 수 있다. 또한, 특징점들이 소정의 간격보다 더 좁아지는 경우, 제1 오브젝트들이 완전히 겹쳐지면서, 해당 지점에 선택 입력(예컨대, 마우스 입력 장치에서의 '누름'에 대응되는 입력)이 발생할 수 있다. 특징점들이 다시 소정의 간격 이상이 되는 경우, 선택 입력이 해제(예컨대, 마우스 입력 장치에서의 '누름 해제'에 대응되는 입력)될 수 있다.
입력 처리부(240)는 특징점들의 좌표 변화가 있는 경우, 특징점 이동 조건이 만족된 것으로 판단할 수 있다.
보다 구체적으로, 입력 처리부(240)는 특징점들 간 거리가 기설정된 기준점 설정 거리 범위 내를 유지하면서 특징점들의 위치가 변화하는 경우, 제1 방향 입력이 있는 것으로 처리할 수 있다.
입력 처리부(240)는 특징점들 간 거리가 기준점들 간 거리보다 짧아지거나 길어지는 경우, 제2 방향 입력이 있는 것으로 처리할 수 있다.
또한, 입력 처리부(240)는 특징점들 간 거리와 기준점들 간 거리의 차이에 기초하여 제2 방향 입력의 크기를 결정할 수 있다.
선택적 실시예에서, 입력 처리부(240)는 오브젝트 생성부(230)에 의해 제1 오브젝트가 생성되고, 특징점들 간 거리가 짧아짐에 따라 제1 오브젝트들이 겹쳐지는 경우, 제1 오브젝트들의 겹친 면적에 기초하여 제2 방향 입력의 크기를 결정할 수 있다.
또한, 입력 처리부(240)는 특징점들 간 거리가 기설정된 선택 거리 미만인 경우, 특징점들에 상응하는 지점들의 중앙점에 선택 입력이 있는 것으로 처리할 수 있다.
이 때, 오브젝트 생성부(230)는 특징점들 간 거리가 기설정된 선택 거리 미만인 경우, 디스플레이부 상의 제1 오브젝트를, 특징점들에 상응하는 디스플레이부 상의 지점들의 중앙점을 중심으로 하는 제2 오브젝트로 변환할 수 있다.
예컨대, 오브젝트 생성부(230)는 특징점들 간 거리가 기설정된 선택 거리 미만인 경우, 원형의 제1 오브젝트들이 특징점들에 상응하는 디스플레이부 상의 지점들의 중앙점을 중심으로 완전히 겹쳐지도록 하였다가, 제1 오브젝트들의 크기가 서로 달라지면서 동심원을 이루는 형태인 제2 오브젝트로 변환할 수 있다.
선택적 실시예에서, 입력 처리부(240)는 특징점들이 제4 조건을 만족하는 경우, 특징점들의 위치에 기초하여 입력 동작이 종료된 것으로 처리할 수 있다.
여기서, 제4 조건은 입력 종료 조건일 수 있다.
예컨대, 입력 처리부(240)는 특징점들이 변환 단계 기준 영역을 벗어나는 경우, 제1 방향 입력 또는 제2 방향 입력이 종료된 것으로 처리할 수 있다.
도 3은 본 발명의 일 실시예에 따른 3차원 입력 방법을 나타낸 동작 흐름도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 3차원 입력 방법은 3차원 입력 장치가 복수의 특징점들을 감지한다(S310).
단계(S310)에서 3차원 입력 장치는 디스플레이부에 구비된 동작 인식 센서 또는 3차원 입력 장치에 구비된 동작 인식 센서를 이용하여 사용자의 적어도 두 손가락의 끝 점을 인식하고, 끝 점에 대응되는 3차원 좌표를 특징점으로 감지할 수 있다.
또한, 본 발명의 일 실시예에 따른 3차원 입력 방법은 3차원 입력 장치가 제1 조건을 만족하는 특징점들 간의 거리에 기초하여 기준점을 설정한다(S320).
단계(S320)에서, 제1 조건은 기준점 설정 조건일 수 있으며, 특징점들 간 거리가 기설정된 기준점 설정 간격 범위 내를 유지하면서 특징점들이 기설정된 기준점 설정 거리 이상 이동하는 경우, 기준점 설정 조건이 만족될 수 있다.
또한, 본 발명의 일 실시예에 따른 3차원 입력 방법은 3차원 입력 장치가 제2 조건을 만족하는 특징점들에 대응되는 오브젝트를 생성한다(S330).
단계(S330)에서, 제2 조건은 오브젝트 생성 조건일 수 있으며, 기준점이 설정되는 순간이나, 변환 단계 기준 영역 내에서 특징점이 감지되는 경우에 오브젝트 생성 조건이 만족될 수 있다.
또한, 본 발명의 일 실시예에 따른 3차원 입력 방법은 3차원 입력 장치가 제3 조건을 만족하는 특징점들 간의 관계에 기초하여 입력 동작을 수행한다(S340).
단계(S340)에서 제3 조건은 특징점 이동 조건일 수 있으며, 특징점들의 좌표 변화가 있는 경우, 특징점 이동 조건이 만족될 수 있다.
또한, 본 발명의 일 실시예에 따른 3차원 입력 방법은 3차원 입력 장치가 제4 조건을 만족하는 특징점들의 위치에 기초하여 입력 동작을 종료한다(S350).
단계(S350)에서 제4 조건은 입력 종료 조건일 수 있으며, 특징점들이 변환 단계 기준 영역을 벗어나는 경우, 입력 종료 조건이 만족될 수 있다.
도 4는 본 발명의 일 실시예에 따른 3차원 입력 방법을 나타낸 도면이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 3차원 입력 방법은 3차원 입력 장치가 기준점을 설정한다.
동작 인식 센서(400)는 디스플레이부(110) 또는 3차원 입력 장치(도 2의 200 참조)에 구비될 수 있으며, 이하 도 5 내지 도 11에서의 동작 인식 센서(400)도 마찬가지 이다.
사용자의 손가락(120)이 동작 인식 센서(400)의 센싱 영역 내에 들어오는 경우, 동작 인식 센서(400)는 사용자의 손가락(120)의 끝 점을 특징점(A, B)으로서 인식할 수 있다.
여기서, 사용자가 손가락(120)을 소정의 길이만큼 벌린 상태에서 소정의 거리만큼 움직이는 경우, 특징점은 (A, B)에서 (A', B')로 좌표 변경된다.
이 때, A와 B의 거리 및 A'와 B'의 거리 차이가 기준점 설정 간격 범위 내이고(예컨대, 10mm), A와 A'의 거리 및 B와 B'의 거리가 기준점 설정 거리 이상인 경우(예컨대, 30mm), 3차원 입력 장치는 특징점 (A', B')를 기준점으로서 설정할 수 있다.
도 5는 본 발명의 다른 일 실시예에 따른 3차원 입력 방법을 나타낸 도면이다.
도 5를 참조하면, 본 발명의 다른 일 실시예에 따른 3차원 입력 방법은 기준점이 설정되는 순간, 3차원 입력 장치가 제1 오브젝트를 생성한다.
상기 도 4의 과정과 같이, 특징점 (A', B')가 기준점으로 설정되는 경우, 3차원 입력 장치는 기준점에 대응되는 디스플레이부(110) 상의 지점을 중심으로 하는 원을 제1 오브젝트로서 생성할 수 있다.
이를 통해 사용자는 기준점 설정 과정이 정상적으로 진행되었음을 직관적으로 인식할 수 있다.
도 6은 본 발명의 또 다른 일 실시예에 따른 3차원 입력 방법을 나타낸 도면이다.
도 6을 참조하면, 본 발명의 또 다른 일 실시예에 따른 3차원 입력 방법은 3차원 입력 장치가 사용자의 손가락의 두 끝점(A, B) 및 최외각 점(C)이 동시에 인식되는 경우에 기준점을 설정한다.
동작 인식 센서(400)가 사용자의 손가락(120)이 아닌 다른 객체에서 두 끝점을 인식하는 경우의 오동작을 방지하기 위해, 3차원 입력 장치는 손가락(120)의 두 끝점(A, B) 외에 최외각 점(C)이 동시에 인식되는 경우에만 기준점을 설정할 수 있다.
도 7은 본 발명의 또 다른 일 실시예에 따른 3차원 입력 방법을 나타낸 도면이다.
도 7을 참조하면, 본 발명의 또 다른 일 실시예에 따른 3차원 입력 방법은 특징점이 변환 단계 기준 영역(700) 내에 위치한 경우, 3차원 입력 장치가 입력 동작을 시작한다.
도 4에서의 과정과 유사하게, 사용자의 손가락(120)이 동작 인식 센서(400)의 센싱 영역 내에 들어오는 경우, 동작 인식 센서(400)는 사용자의 손가락(120)의 끝 점을 특징점(A, B)으로서 인식할 수 있다.
여기서, 특징점(A, B)이 변환 단계 기준 영역(700) 내에 위치하게 된 경우, 3차원 입력 장치는 입력 동작을 시작할 수 있다.
도 8은 본 발명의 또 다른 일 실시예에 따른 3차원 입력 방법을 나타낸 도면이다.
도 8을 참조하면, 본 발명의 또 다른 일 실시예에 따른 3차원 입력 방법은 3차원 입력 장치가 제1 오브젝트들을 생성한다.
여기서, 3차원 입력 장치는 특징점(A, B)에 대응되는 디스플레이부(110) 상의 지점을 중심으로 하는 원을 제1 오브젝트로서 생성할 수 있다.
이를 통해 사용자는 입력 동작이 정상적으로 시작되었음을 직관적으로 인식할 수 있다.
도 9는 본 발명의 또 다른 일 실시예에 따른 3차원 입력 방법을 나타낸 도면이다.
도 9를 참조하면, 본 발명의 또 다른 일 실시예에 따른 3차원 입력 방법은 3차원 입력 장치가 제1 오브젝트들이 서로 겹쳐지도록 한다.
여기서, 3차원 입력 장치는 사용자의 손가락(120)의 끝점이 이동하는 경우, 특징점(A', B')을 트래킹하고, 제1 오브젝트의 중심이 특징점(A', B')에 대응되는 디스플레이부(110) 상의 지점이 되도록 제1 오브젝트를 이동시킬 수 있다.
즉, 사용자의 손가락(120)이 집게 형태를 띄는 경우, 특징점(A', B') 간 거리는 감소하고, 특징점에 대응되는 제1 오브젝트들은 서로 겹치는 부분이 발생하게 된다.
이 경우, 3차원 입력 장치는 서로 겹치는 부분의 넓이에 기초하여, 넓이가 넓을수록 z방향 입력(예컨대, 압력)의 세기가 센 것으로 처리할 수 있다.
이를 통해 사용자는 해당 지점에 z방향 입력이 어느 정도 세기로 입력되고 있는지를 직관적으로 인식할 수 있다.
도 10은 본 발명의 또 다른 일 실시예에 따른 3차원 입력 방법을 나타낸 도면이다.
도 10을 참조하면, 본 발명의 또 다른 일 실시예에 따른 3차원 입력 방법은 3차원 입력 장치가 제2 오브젝트를 생성한다.
여기서, 3차원 입력 장치는 특징점(A', B') 간 거리가 소정의 거리보다 짧아지는 경우, 제1 오브젝트들이 완전히 겹쳐지는 것으로 처리할 수 있다.
이 경우, 3차원 입력 장치는 제1 오브젝트들의 중심 지점에 선택 입력이 있는 것으로 처리하고, 제1 오브젝트들을 두 동심원의 형태인 제2 오브젝트로 변환시킬 수 있다.
이를 통해 사용자는 해당 지점에 선택 입력이 되었음을 직관적으로 인식할 수 있다.
도 11은 본 발명의 또 다른 일 실시예에 따른 3차원 입력 방법을 나타낸 도면이다.
도 11을 참조하면, 본 발명의 또 다른 일 실시예에 따른 3차원 입력 방법은 특징점이 변환 단계 기준 영역을 벗어나는 경우, 3차원 입력 장치가 입력 동작을 종료한다.
도 7에서의 과정과 반대로, 특징점(A, B)이 변환 단계 기준 영역(700)을 벗어나는 경우(A', B'), 3차원 입력 장치는 입력 동작을 종료할 수 있다.
비록 도 11에는 도시되지 아니하였으나, 3차원 입력 장치는 기생성되었던 제1 오브젝트 또는 제2 오브젝트를 소멸시킬 수 있고, 이를 통해 사용자는 입력 동작이 정상적으로 종료되었음을 직관적으로 인식할 수 있다.
본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다.
따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 요컨대 본 발명이 의도하는 효과를 달성하기 위해 도면에 도시된 모든 기능 블록을 별도로 포함하거나 도면에 도시된 모든 순서를 도시된 순서 그대로 따라야만 하는 것은 아니며, 그렇지 않더라도 얼마든지 청구항에 기재된 본 발명의 기술적 범위에 속할 수 있음에 주의한다.
110: 디스플레이부 115: 오브젝트
120: 손가락 125: 특징점
200: 3차원 입력 장치 210: 특징점 감지부
220: 기준점 설정부 230: 오브젝트 생성부
240: 입력 처리부

Claims (1)

  1. 동작 인식 센서를 이용하여 디스플레이부와 기설정된 기준 거리 이상 이격된 사용자의 적어도 두 손가락의 끝 점들을 인식하고, 상기 끝 점들에 대응되는 3차원 좌표들을 획득하고, 상기 3차원 좌표들을 특징점들로서 감지하는 특징점 감지부; 및
    상기 특징점들의 좌표 값의 변화를 트래킹하고, 상기 특징점들이 입력 조건을 만족하는 경우, 상기 특징점들의 위치에 기초하여 제1 방향 입력이 있는 것으로 처리하고, 상기 특징점들 간 거리에 기초하여 상기 제1 방향과 수직한 제2 방향 입력이 있는 것으로 처리하는 입력 처리부;를 포함하며,
    상기 동작 인식 센서를 이용한 3차원 입력 장치는 상기 특징점들이 기준점 설정 조건을 만족하는 경우, 상기 특징점들 간 거리와 동일한 간격을 갖는 기준점들을 설정하는 기준점 설정부;를 더 포함하고,
    상기 입력 처리부는 상기 특징점들 간 거리가 상기 기준점들 간 거리보다 짧아지거나 길어지는 경우, 상기 제2 방향 입력이 있는 것으로 처리하되,
    상기 기준점 설정부는 상기 특징점들 간 거리가 기설정된 기준점 설정 간격 범위 내를 유지하면서 상기 특징점들이 기설정된 기준점 설정 거리 이상 이동하는 경우, 상기 기준점 설정 조건을 만족하는 것으로 판단하고,
    상기 동작 인식 센서를 이용한 3차원 입력 장치는 상기 디스플레이부 상에, 상기 특징점들에 상응하는 상기 디스플레이부 상의 지점들을 중심으로 하는 제1 오브젝트들을 생성하는 오브젝트 생성부;를 더 포함하며,
    상기 입력 처리부는 상기 특징점들 간 거리가 짧아짐에 따라 상기 제1 오브젝트들이 겹쳐지는 경우, 상기 제1 오브젝트들의 겹친 면적에 기초하여 상기 제2 방향 입력의 크기를 결정하고,
    상기 오브젝트 생성부는 상기 특징점들 간 거리가 기설정된 선택 거리 미만인 경우, 상기 디스플레이부 상의 상기 제1 오브젝트를, 상기 특징점들에 상응하는 상기 디스플레이부 상의 지점들의 중앙점을 중심으로 하는 제2 오브젝트로 변환하는 것을 특징으로 하는, 오브젝트 생성 및 오브젝트의 변환이 가능한 동작 인식 센서를 이용한 3차원 입력 장치.
KR1020160095282A 2016-07-27 2016-07-27 오브젝트 생성 및 오브젝트의 변환이 가능한 동작 인식 센서를 이용한 3차원 입력 장치 KR101860138B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160095282A KR101860138B1 (ko) 2016-07-27 2016-07-27 오브젝트 생성 및 오브젝트의 변환이 가능한 동작 인식 센서를 이용한 3차원 입력 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160095282A KR101860138B1 (ko) 2016-07-27 2016-07-27 오브젝트 생성 및 오브젝트의 변환이 가능한 동작 인식 센서를 이용한 3차원 입력 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020160044213A Division KR101671831B1 (ko) 2016-04-11 2016-04-11 동작 인식 센서를 이용한 3차원 입력 장치

Publications (2)

Publication Number Publication Date
KR20170116554A true KR20170116554A (ko) 2017-10-19
KR101860138B1 KR101860138B1 (ko) 2018-05-21

Family

ID=60298296

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160095282A KR101860138B1 (ko) 2016-07-27 2016-07-27 오브젝트 생성 및 오브젝트의 변환이 가능한 동작 인식 센서를 이용한 3차원 입력 장치

Country Status (1)

Country Link
KR (1) KR101860138B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022231160A1 (ko) * 2021-04-30 2022-11-03 삼성전자 주식회사 손 제스처에 기반하여 기능을 실행하는 전자 장치 및 그 작동 방법
US11947728B2 (en) 2021-04-30 2024-04-02 Samsung Electronics Co., Ltd. Electronic device for executing function based on hand gesture and method for operating thereof

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100853024B1 (ko) 2006-12-01 2008-08-20 엠텍비젼 주식회사 디스플레이의 영상 제어 방법 및 그 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022231160A1 (ko) * 2021-04-30 2022-11-03 삼성전자 주식회사 손 제스처에 기반하여 기능을 실행하는 전자 장치 및 그 작동 방법
US11947728B2 (en) 2021-04-30 2024-04-02 Samsung Electronics Co., Ltd. Electronic device for executing function based on hand gesture and method for operating thereof

Also Published As

Publication number Publication date
KR101860138B1 (ko) 2018-05-21

Similar Documents

Publication Publication Date Title
JP5926184B2 (ja) コンピュータ装置の遠隔制御
JP6202942B2 (ja) 情報処理装置とその制御方法、コンピュータプログラム、記憶媒体
US9916043B2 (en) Information processing apparatus for recognizing user operation based on an image
JP6711817B2 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
JP5783828B2 (ja) 情報処理装置およびその制御方法
WO2014106219A1 (en) User centric interface for interaction with visual display that recognizes user intentions
JP6539124B2 (ja) 座標測定機の動作を制御する方法
US10346992B2 (en) Information processing apparatus, information processing method, and program
US10499039B2 (en) Path detection system and path detection method generating laser pattern by diffractive optical element
JP6452369B2 (ja) 情報処理装置とその制御方法、プログラム、記憶媒体
KR101860138B1 (ko) 오브젝트 생성 및 오브젝트의 변환이 가능한 동작 인식 센서를 이용한 3차원 입력 장치
WO2014106862A2 (en) A method and system enabling control of different digital devices using gesture or motion control
JP2017117373A (ja) 操作装置とその制御方法、及びプログラム
CN106796462B (zh) 确定输入对象的位置
TWI454653B (zh) 三維絕對座標偵測系統、互動三維顯示系統以及辨識物體之三維座標的方法
JP5558899B2 (ja) 情報処理装置、その処理方法及びプログラム
KR101671831B1 (ko) 동작 인식 센서를 이용한 3차원 입력 장치
JP6643825B2 (ja) 装置及び方法
JP2014182662A (ja) 操作装置及び操作方法
JP2017162251A (ja) ３次元非接触入力装置
TWI444875B (zh) 多點觸碰輸入裝置及其使用單點觸控感應板與影像感測器之資料融合之介面方法
JP2017049662A5 (ko)
JP2018010539A (ja) 画像認識装置
JP2018181169A (ja) 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体
JP2015207908A (ja) 情報処理装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant