KR101542671B1 - 공간 터치 방법 및 공간 터치 장치 - Google Patents

공간 터치 방법 및 공간 터치 장치 Download PDF

Info

Publication number
KR101542671B1
KR101542671B1 KR1020130164944A KR20130164944A KR101542671B1 KR 101542671 B1 KR101542671 B1 KR 101542671B1 KR 1020130164944 A KR1020130164944 A KR 1020130164944A KR 20130164944 A KR20130164944 A KR 20130164944A KR 101542671 B1 KR101542671 B1 KR 101542671B1
Authority
KR
South Korea
Prior art keywords
screen
coordinate
image
user
coordinates
Prior art date
Application number
KR1020130164944A
Other languages
English (en)
Other versions
KR20150076574A (ko
Inventor
한청훈
장재경
Original Assignee
한청훈
장재경
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한청훈, 장재경 filed Critical 한청훈
Priority to KR1020130164944A priority Critical patent/KR101542671B1/ko
Publication of KR20150076574A publication Critical patent/KR20150076574A/ko
Application granted granted Critical
Publication of KR101542671B1 publication Critical patent/KR101542671B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 공간 터치 방법 및 공간 터치 장치에 관한 것으로, 더욱 상세하게는 원거리에서 3차원 카메라를 이용하여 스크린상에 표시되어 있는 아이콘이나 사물을 제어하는 방안에 관한 것이다.
상술한 문제점을 해결하기 위한 공간 터치 방법은 깊이 카메라에 의해 획득된 영상으로부터 사용자의 얼굴 중심에 해당하는 좌표인 얼굴 중심 좌표를 산출하는 단계, 상기 깊이 카메라에 의해 획득된 영상으로부터 사용자의 손가락 끝에 해당하는 실제 스크린으로부터 사용자의 특정 손가락까지의 거리를 제외한 2차원 좌표인 이미지 좌표를 산출하는 단계, 산출한 이미지 좌표와 상기 깊이 카메라에 의해 획득된 영상으로부터 사용자의 특정 손가락에 해당하는 3차원 좌표인 공간 좌표를 산출하는 단계, 상기 얼굴 중심 좌표와 상기 공간 좌표를 연결한 직선을 연장한 직선과 상기 실제 스크린이 만나는 지점에 해당하는 좌표인 제어좌표를 산출하는 단계를 포함한다.

Description

공간 터치 방법 및 공간 터치 장치{Method and apparatus for space touch}
본 발명은 공간 터치 방법 및 공간 터치 장치에 관한 것으로, 더욱 상세하게는 원거리에서 3차원 카메라를 이용하여 스크린상에 표시되어 있는 아이콘이나 사물을 제어하는 방안에 관한 것이다.
최근, 키보드를 사용하지 않고, 화면(스크린)에 나타난 문자나 특정 위치에 사람의 손 또는 사물이 닿으면, 그 위치를 파악하여 저장된 소프트웨어에 의해 특정 처리를 할 수 있도록 화면에서 직접 입력을 받을 수 있게 한 터치스크린이 널리 사용되고 있다.
터치스크린은 문자나 그림 정보를 미리 표시하여 사용자가 선택할 기능을 용이하게 파악할 수 있어 지하철, 백화점, 은행 등의 장소에서 안내용 기기, 각종 점포에서 판매용 단말기 및 일반 업무용 기기 등에 적용되어 다양하게 활용되고 있다.
한편, 현재 주로 쓰이고 있는 키오스크 장치는 터치스크린과 CRT, LCD, PDP 등 일반 2D디스플레이를 결합한 형태이다.
도 1은 종래의 터치스크린 장치의 구성도이다.
도 1에 도시된 바와 같이, 종래의 터치스크린 장치는 일반 모니터의 화면에 터치 패널(Touch Panel)을 덧붙여서 손끝이나 기타 사물이 소정영역에 접촉할 때 해당 영역의 특성이 변화하는 것으로 사용자 입력을 인지하였다.
종래의 터치스크린은 전체 화면을 2차원 격자 형태로 구분하여 접촉된 위치를 해석하였으며, 이는 정전용량, 초음파, 적외선, 저항막, 음파인식 등을 이용하여 인식하는 인터페이스 방식이다.
즉, 종래의 터치스크린은 디스플레이 화면과 터치 패널이 동일한 면에 위치하는 2차원 형태로 구성되기 때문에, 디스플레이와 떨어진 자유공간을 터치하는 가상 터치스크린 방식은 불가능하였다.
한국공개특허 제2010-0075282호(발명의 명칭: 깊이 센서 방식의 공간 터치 무선단말기, 이의 데이터 처리방법 및 스크린장치)는 깊이 센서를 구비한 공간 터치 무선단말기에 의해 수행되며, 스크린상의 감지공간 내로 사용자 지시수단이 진입하는 지 여부를 감지하는 단계; 상기 사용자 지시수단이 상기 감지공간 내에 진입한 위치의 공간 좌표를 계산하는 단계; 및 상기 계산된 공간 좌표를 무선주파수신호로 변환하여 송신하는 단계를 포함하여 이루어진 데이터 처리 방법을 제안하고 있다.
또한, 한국공개특허 제2011-0037063호(발명의 명칭: 영상센서를 이용한 공간 터치 입력장치 및 그 방법)는 출력화면의 일측에 설치되어 미리 지정된 구역을 촬영하고, 제1촬영영상을 생성하여 출력화면 제어장치에 전송하는 제1영상센서; 출력화면의 타측에 설치되어 미리 지정된 구역을 촬영하고, 제2촬영영상을 생성하여 출력화면 제어장치에 전송하는 제2영상센서; 출력화면을 제어하는 손가락 동작 데이터 및 지시봉 동작 데이터가 저장되는 저장부; 및 상기 제1촬영영상 및 제2촬영영상을 전송받고, 상기 제1촬영영상 또는 제2촬영영상 중 어느 하나의 촬영영상의 외곽선 및 RGB값을 분석하여 촬영영상에서 손가락 또는 지시봉을 추출한 뒤, 그 손가락 또는 지시봉의 움직임을 인식하며, 그 손가락 또는 지시봉의 움직임이 상기 저장부에 저장된 출력화면을 제어하는 동작 인가를 판단하고, 출력화면을 제어하는 동작인 경우 그 동작에 대응되는 출력화면 제어신호를 생성하며, 제1촬영영상 및 제2촬영영상에서 각각 눈 및 손가락 또는 지시봉을 추출하고, 그 눈 및 손가락 또는 지시봉의 위치에 근거하여 사용자가 가리키는 출력화면의 매핑포인트를 판단하고, 상기 출력화면 제어신호, 매핑 포인트, 그리고 손가락 또는 지시봉에 의한 3차원 입력 정보를 출력장치에 전송하는 출력화면 제어장치;를 포함하는 영상센서를 이용한 3차원 공간 터치 입력장치를 제안하고 있다.
하지만, 상술한 선행 특허를 포함한 선행 기술은 카메라가 스크린과 동일한 평면상에 위치하고 있어야 한다는 문제점이 있다. 즉, 카메라가 스크린과 상이한 평면상에 위치하고 있는 경우에 대해서는 언급하고 있지 않다.
상술한 문제점을 해결하기 위해 본 발명은 카메라와 스크린이 상이한 평면상에 위치하고 있는 경우에도 공간 터치가 가능한 방안을 제안함에 있다.
상술한 문제점을 해결하기 위해 본 발명은 원거리에서 사용자가 손가락이나 손을 이용하여 시스템을 제어하는 방안을 제안함에 있다.
상술한 문제점을 해결하기 위한 공간 터치 방법은 깊이 카메라에 의해 획득된 영상으로부터 사용자의 얼굴 중심에 해당하는 좌표인 얼굴 중심 좌표를 산출하는 단계, 상기 깊이 카메라에 의해 획득된 영상으로부터 사용자의 손가락 끝에 해당하는 실제 스크린으로부터 사용자의 특정 손가락까지의 거리를 제외한 2차원 좌표인 이미지 좌표를 산출하는 단계, 산출한 이미지 좌표와 상기 깊이 카메라에 의해 획득된 영상으로부터 사용자의 특정 손가락에 해당하는 3차원 좌표인 공간 좌표를 산출하는 단계, 상기 얼굴 중심 좌표와 상기 공간 좌표를 연결한 직선을 연장한 직선과 상기 실제 스크린이 만나는 지점에 해당하는 좌표인 제어좌표를 산출하는 단계를 포함한다.
본 발명에 따르면 공간 터치 방법 및 장치는 깊이 카메라를 이용하여 촬영한 영상을 분석하여 원거리에서 특정 지점에 위치하고 있는 아이콘이나 사물을 제어할 수 있다. 또한, 기존 공간 터치 방법은 실제 스크린과 동일한 면 상에 깊이 카메라가 위치하고 있으나 하지만 본 발명은 카메라 캘리브레이션을 이용하여 실제 스크린과 깊이 카메라가 상이한 면상에 위치하는 경우에도 적용할 수 있는 장점이 있다.
도 1은 종래의 터치스크린 장치의 구성도이다.
도 2는 본 발명의 일실시 예에 따른 깊이 카메라를 이용하여 사용자의 얼굴 중심을 획득하는 방안을 도시하고 있다.
도 3은 본 발명의 일실시 예에 따른 획득한 얼굴 영상의 중심점과 손가락을 이용하여 시스템을 제어하는 방안을 도시하고 있다.
도 4는 본 발명의 일실시 예에 따른 손가락을 이용하여 아이콘이나 사물을 제어하는 방안을 도시하고 있다.
도 5는 본 발명의 일실시 예에 따른 공간에서 터치하는 개념을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시 예에 따른 실제 스크린상에서 좌표를 산출하는 예를 도시한 도면이다.
도 7은 실제 스크린 외부의 위치하고 있는 사물을 제어하는 방안을 도시하고 있다.
전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시 예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명의 이러한 실시 예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.
본 발명은 3차원 카메라를 사용하는 시스템에서 일정 거리 이격된 지점에서 사용자가 3차원 카메라의 전방에서 손가락이나 손의 움직임을 이용하여 시스템을 제어하는 방안에 관한 것이다.
먼저, 본 발명은 깊이 카메라를 이용하여 사용자의 얼굴 중심과 손가락(또는 손)을 획득하는 방안을 제안하고 있다.
도 2는 본 발명의 일실시 예에 따른 깊이 카메라를 이용하여 사용자의 얼굴 중심을 획득하는 방안을 도시하고 있다. 이하 도 2를 이용하여 본 발명의 일실시 예에 따른 깊이 카메라를 이용하여 사용자의 얼굴 중심을 획득하는 방안에 대해 상세하게 알아보기로 한다.
도 2에 의하면, 깊이 카메라를 이용하여 사용자의 깊이 영상을 획득한다. 획득된 깊이 영상에서 얼굴 영상을 추출하며, 이후 추출한 얼굴 영역을 사각형으로 표시한다. 즉, 얼굴 영역의 상단은 머리끝, 하단은 턱, 측면은 양 귀 끝으로 구성된다.
표시된 얼굴 영역에서 중심점을 획득한다. 즉, 사각형으로 표시된 얼굴 영역에서 중심점을 획득한다.
도 3은 본 발명의 일실시 예에 따른 획득한 얼굴 영상의 중심점과 손가락을 이용하여 시스템을 제어하는 방안을 도시하고 있다. 이하 도 3을 이용하여 본 발명의 일실시 예에 따른 획득한 얼굴 영상의 중심점과 손가락을 이용하여 시스템을 제어하는 방안에 대해 알아보기로 한다.
도 3에 도시되어 있는 바와 같이 얼굴 영상의 중심점과 손가락 끝점을 직선으로 연결하면, 연결된 직선으로부터 연장된 지점에 위치하고 있는 스크린상의 아이콘이나 사물을 제어한다. 특히 본 발명은 도 2에 도시되어 있는 바와 같이 양 눈의 시선 차이에 의해 손가락이나 손끝이 두 개로 보이며, 본 발명은 두 개의 손끝의 중앙과 얼굴 영상의 중심점을 연결하여 아이콘이나 사물을 제어한다.
이하에서 얼굴 영상의 중심과 손가락을 이용하여 아이콘이나 사물을 제어하는 방안에 대해 알아보기로 한다.
도 4는 본 발명의 일실시 예에 따른 손가락을 이용하여 아이콘이나 사물을 제어하는 방안을 도시하고 있다. 도 4에 의하면, 사용자의 전방에 깊이 카메라가 위치하고 있으며, 손가락을 제1 위치에서 제2 위치로 이동하는 동작을 통해 아이콘이나 사물을 제어한다. 즉, 시스템은 손가락의 위치 이동에 따른 제어 신호를 설정하고 있으며, 손가락이 위치 이동을 하면 설정된 제어 신호에 따라 아이콘이나 사물을 제어한다. 특히 도 4는 사용자가 손가락을 깊이 카메라 방향으로 이동하는 동작을 통해 아이콘이나 사물을 제어하는 방안을 도시하고 있다. 즉, 손가락을 일정시간(t) 동안 일정거리(d) 이동하면 미리 설정된 동작을 수행한다. 하지만, 상술한 방식 이외에 손가락의 움직임에 따라 미리 설정된 동작을 수행할 수 있다. 즉, 손가락이 편 상태를 일정 시간 유지하면 특정 아이콘이나 사물이 선택되며, 이후 손가락을 구부리게 되면 선택된 아이콘을 실행할 수 있다.
도 5는 본 발명의 일실시 예에 따른 공간에서 터치하는 개념을 설명하기 위한 도면이다. 이하 도 5를 이용하여 본 발명의 일실시 예에 따른 공간에서 터치하는 개념에 대해 상세하게 알아보기로 한다.
도 5는 스크린을 도시하고 있으며, 스크린은 아이콘을 표시하고 있는 실제 스크린과 실제 스크린과 수평면상에 위치하며, 사용자의 손가락이 위치하고 있는 지점에 형성된 가상 평면 스크린으로 구성된다. 또한, 도 5는 사용자의 얼굴 영상의 중심점을 나타내고 있다. 특히 가상 평면 스크린은 고정된 면상에 위치하고 있는 것이 아니라 사용자의 손가락의 이동에 따라 위치가 가변 됨을 알 수 있다.
이하에서 깊이 카메라가 실제 스크린상에 위치하지 않고, 실제 스크린과 사용자(또는 사용자의 손) 사이에 위치하는 경우 깊이 카메라에서 획득한 영상을 보정하는 방안에 대해 알아보기로 한다.
실제 스크린(S) 사이즈 w, h를 좌표로 나타내면 S는 S0,..., S4로 정의할 수 있다. 즉, 도 5에 의하면, 실제 스크린의 가로 길이는 Sw이며, 세로 길이는 Sh이다. 또한, 실제 스크린 상단 중앙의 좌표는 S0이며, 상단 좌측 좌표는 S1이며, 상단 우측 좌표는 S2이다. 부가하여 실제 스크린 하단 우측 좌표는 S3이며, 하단 좌측 좌표는 S4이다. 또한, 가상 평면 스크린과 실제 스크린 사이의 간격은 z1이며, 실제 스크린과 사용자의 얼굴 중심까지의 거리는 z2이다. 부연하여 실제 스크린은 z축 방향으로는 ‘0’의 값을 갖는다. 이를 이용하여 실제 스크린 좌표 Si는 얼굴 중심 좌표f(x,y,z)의 위치에 따라 가상 평면 스크린인 3차원 공간 좌표가 Vi가 만들어지며, Vi의 좌표는 다음의 수학식 1과 같다.
[수학식 1]
Figure 112013119455014-pat00001
도 6은 본 발명의 일실시 예에 따른 가상 공간 스크린상에서 좌표를 산출하는 예를 도시한 도면이다. 이하 도 6을 이용하여 본 발명의 일실시 예에 따른 가상 공간 스크린상에서 좌표를 산출하는 과정에 대해 상세하게 알아보기로 한다.
도 6에 의하면, P1은 얼굴의 중심이며, P2는 사용자의 손가락(또는 손) 끝 좌표이며, P3는 P1을 P2 방향으로 연장한 직선과 실제 스크린이 만나는 지점의 좌표이다. 상술한 바와 같이 본 발명은 깊이 카메라를 사용하며, 깊이 카메라를 이용하여 획득한 영상으로부터 P1과 P2의 좌표를 획득할 수 있으며, 이때 좌표 변환을 위해 카메라 캘리브레이션이 필요하다. 카메라 캘리브레이션은 3D 공간좌표와 2D 영상좌표 사이의 변환관계 또는 변환관계를 설명하는 파라미터를 추출하는 과정이다. 일반적으로 카메라의 외부 파라미터는 카메라의 설치 높이, 방향(팬, 틸트) 등 카메라와 공간 공간과의 기하학적 관계에 관련된 파라미터이며, 내부 파라미터는 카메라의 초점 거리, 주점, 비대칭 계수 등 카메라 자체의 내부적인 파라미터를 의미한다.
깊이 영상의 가상 평면 스크린상의 좌표를 얻기 위해서는 학습을 통해 얻은 정보를 가지고 이미지의 이차원 좌표를 삼차원 좌표(공간 좌표)로 변환한다. 원거리에서 손가락(또는 손) 끝을 실제 스크린의 우측 상단 코너를 가리켜, 손가락의 끝 중앙을 실제 스크린의 우측 상단 코너에 일치시킨다. 이와 같은 과정을 통해 깊이 카메라에 의해 획득된 이미지의 평면좌표(이미지 좌표)를 공간좌표인 깊이 영상의 가상 스크린 평면의 좌표로 변환할 수 있다.
이들 정보들을 저장하고, 이 정보들을 이용해 사용자가 터치하고자 하는 실제 스크린의 좌표를 계산한다. 부연하여 설명하면, 수학식 1에 의해 산출된 가상 평면 스크린의 평면 좌표를 하기의 수학식 2를 적용하여 깊이 영상의 가상 스크린 평면의 공간 좌표로 변환한다. 이후 사용자의 얼굴 중심인 P1과 공간 좌표를 연결한 직선의 연장선과 실제 스크린이 만나는 지점이 사용자가 제어하고자 하는 아이콘 또는 사물이다.
이에 대해 부연하여 설명하면, 실제 스크린의 좌표(P3)는 다음의 함수로 결정된다.
실제 스크린의 좌표(P3) = Func(P1, P2, V, Tw, Th, T0)
이하에서는 실제 스크린의 좌표에 대해 구체적으로 알아보기로 한다.
[수학식 2]
Figure 112013119455014-pat00002
Ic: 깊이 영상의 가상 스크린 평면의 중심
Vc: 가상 평면 스크린의 중심
Sc: 실제 스크린의 중심
VI: P2- Ic: 손가락 끝점에서 깊이 영상의 가상스크린 평면의 중심까지의 변위
Tw: 캘리브레이션 시 학습된 깊이 영상의 가상스크린 평면의 가로 폭
Th: 캘리브레이션 시 학습된 깊이 영상의 가상스크린 평면의 세로 폭
이를 적용하면, 실제 스크린의 좌표인 제어좌표는 다음의 수학식 3과 같다.
[수학식 3]
Figure 112013119455014-pat00003

스크린 밖의 이미지상에서 보여지는 화각 내의 모든 사물에 대한 좌표를 설정할 수 있다. 스크린 영역(Ro) 이외의 공간들에 대해서는 영역(R1,...R8)을 나누고 각 영역들에 대하여 세부 영역으로 나눌 수 있으며, 특정 영역 또는 좌표를 지정할 수 있다.
도 7은 실제 스크린 외부의 위치하고 있는 사물을 제어하는 방안을 도시하고 있다. 스크린 영역이 (Ro)인 경우, 스크린 영역의 주변 영역은 (R1,...R8)을 나누고 있음을 알 수 있다. 스크린 영역 이외의 주변 영역 역시 상술한 바와 같이 제어할 수 있다.
또한, 본 발명은 상술한 기능을 수행하는 장치에 의해 수행될 수 있다. 즉, 깊이 카메라에서 촬영한 영상으로부터 상술한 동작을 수행하는 제어부를 이용하여 공간 터치 장치를 제안할 수 있다.
본 발명은 도면에 도시된 일실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.

Claims (5)

  1. 깊이 카메라에 의해 획득된 영상으로부터 사용자의 얼굴 중심에 해당하는 좌표인 얼굴 중심 좌표를 산출하는 단계;
    상기 깊이 카메라에 의해 획득된 영상으로부터 사용자의 손가락 끝에 해당하는 실제 스크린으로부터 사용자의 특정 손가락까지의 거리를 제외한 2차원 좌표인 이미지 좌표를 산출하는 단계;
    산출한 상기 이미지 좌표와 상기 깊이 카메라에 의해 획득된 영상으로부터 사용자의 특정 손가락에 해당하는 3차원 좌표인 깊이 영상의 가상 스크린 평면의 공간 좌표를 산출하는 단계;
    상기 얼굴 중심 좌표와 상기 공간 좌표를 연결한 직선을 연장한 직선과 상기 실제 스크린이 만나는 지점에 해당하는 좌표인 제어좌표를 산출하는 단계를 포함하며,
    상기 이미지 좌표는 하기 수학식에 의해 산출됨을 특징으로 하는 공간 터치 방법.
    [수학식]
    Figure 112015033937959-pat00013

    S=(x,y,z): 실제스크린의 좌표, z=0
    Sw; 실제 스크린의 가로 폭
    Sh: 실제 스크린의 세로 폭
    Vi= (xi, yi, zi) : z=z1(실제 스크린과 사용자의 손가락 끝까지의 거리)
  2. 제 1항에 있어서, 상기 얼굴 중심 좌표와 상기 공간 좌표를 연결한 직선을 연장한 직선과 상기 실제 스크린이 만나는 지점에 해당하는 제어좌표를 산출하는 단계 이후에,
    상기 사용자의 특정 손가락을 이용하여 산출한 상기 제어좌표에 포함되는 아이콘이나 사물을 제어하는 단계를 포함함을 특징으로 하는 공간 터치 방법.
  3. 삭제
  4. 제 1항에 있어서, 상기 공간 좌표는 하기 수학식에 의해 산출함을 특징으로 하는 공간 터치 방법.
    [수학식]
    Figure 112015033937959-pat00005

    Ic: 깊이 영상의 가상 스크린 평면의 중심
    Vc: 가상 평면 스크린의 중심
    Sc: 실제 스크린의 중심
    VI: P2- Ic: 손가락 끝점에서 깊이 영상의 가상스크린 평면의 중심까지의 변위
    Tw: 캘리브레이션 시 학습된 깊이 영상의 가상스크린 평면의 가로 폭
    Th: 캘리브레이션 시 학습된 깊이 영상의 가상스크린 평면의 세로 폭
  5. 사용자의 얼굴과 손가락에 대한 영상을 촬영하는 깊이 카메라;
    상기 깊이 카메라에서 촬영한 영상으로부터 제 1항의 동작을 수행하는 제어부를 포함함을 특징으로 하는 공간 터치 장치.
KR1020130164944A 2013-12-27 2013-12-27 공간 터치 방법 및 공간 터치 장치 KR101542671B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130164944A KR101542671B1 (ko) 2013-12-27 2013-12-27 공간 터치 방법 및 공간 터치 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130164944A KR101542671B1 (ko) 2013-12-27 2013-12-27 공간 터치 방법 및 공간 터치 장치

Publications (2)

Publication Number Publication Date
KR20150076574A KR20150076574A (ko) 2015-07-07
KR101542671B1 true KR101542671B1 (ko) 2015-08-06

Family

ID=53789503

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130164944A KR101542671B1 (ko) 2013-12-27 2013-12-27 공간 터치 방법 및 공간 터치 장치

Country Status (1)

Country Link
KR (1) KR101542671B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102455382B1 (ko) * 2018-03-02 2022-10-18 엘지전자 주식회사 이동단말기 및 그 제어 방법
KR101966585B1 (ko) * 2018-04-09 2019-04-05 전자부품연구원 공간터치장치 및 이를 포함하는 디스플레이 장치
CN111009038B (zh) * 2019-12-03 2023-12-29 上海世长信息科技有限公司 一种基于slam的空间标注方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101321274B1 (ko) 2012-05-29 2013-11-08 주식회사 브이터치 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101321274B1 (ko) 2012-05-29 2013-11-08 주식회사 브이터치 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치

Also Published As

Publication number Publication date
KR20150076574A (ko) 2015-07-07

Similar Documents

Publication Publication Date Title
JP6480434B2 (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
JP6057396B2 (ja) ３次元ユーザインタフェース装置及び３次元操作処理方法
KR20120068253A (ko) 사용자 인터페이스의 반응 제공 방법 및 장치
US10234955B2 (en) Input recognition apparatus, input recognition method using maker location, and non-transitory computer-readable storage program
US10168769B2 (en) Input apparatus, input method, and program
KR101082829B1 (ko) 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법
JP2016194799A (ja) 画像解析装置及び画像解析方法
JP6723814B2 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
KR20120045667A (ko) 움직임 인식을 이용한 사용자 인터페이스 장치 및 방법
KR20210069491A (ko) 전자 장치 및 이의 제어 방법
US9285885B2 (en) Gesture recognition module and gesture recognition method
US9727229B2 (en) Stereoscopic display device, method for accepting instruction, and non-transitory computer-readable medium for recording program
US20200225814A1 (en) Information processing apparatus, control method, and program
WO2015153673A1 (en) Providing onscreen visualizations of gesture movements
KR101542671B1 (ko) 공간 터치 방법 및 공간 터치 장치
US11886643B2 (en) Information processing apparatus and information processing method
TW201606574A (zh) 操作畫面顯示裝置、操作畫面顯示方法以及非暫時性之記錄媒體
JP4870651B2 (ja) 情報入力システムおよび情報入力方法
TWI499938B (zh) 觸控系統
KR101535738B1 (ko) 비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법
WO2018076609A1 (zh) 一种操作终端的方法和终端
JP6643825B2 (ja) 装置及び方法
JP6008904B2 (ja) 表示制御装置、表示制御方法、及び、プログラム
EP3059664A1 (en) A method for controlling a device by gestures and a system for controlling a device by gestures
JP5676959B2 (ja) 情報処理装置及びその制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180521

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190730

Year of fee payment: 5