KR20120126508A - 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법 - Google Patents

포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법 Download PDF

Info

Publication number
KR20120126508A
KR20120126508A KR1020110044359A KR20110044359A KR20120126508A KR 20120126508 A KR20120126508 A KR 20120126508A KR 1020110044359 A KR1020110044359 A KR 1020110044359A KR 20110044359 A KR20110044359 A KR 20110044359A KR 20120126508 A KR20120126508 A KR 20120126508A
Authority
KR
South Korea
Prior art keywords
touch
change
pointer
display surface
coordinate data
Prior art date
Application number
KR1020110044359A
Other languages
English (en)
Inventor
김석중
Original Assignee
김석중
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김석중 filed Critical 김석중
Priority to KR1020110044359A priority Critical patent/KR20120126508A/ko
Priority to PCT/KR2012/003703 priority patent/WO2012154001A2/ko
Publication of KR20120126508A publication Critical patent/KR20120126508A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 사용자가 원격에서 전자기기를 조작할 때에도 마치 터치패널 표면을 터치하는 것과 같은 편리한 사용자 인터페이스를 제공하여, 전자기기 표시면에 포인터를 사용하지 않고도 전자기기의 조작이 가능하고, 또한 터치패널의 특정 부분을 정교하게 터치하는 것과 같이 정확한 영역을 선택함으로써, 다양한 화면조작을 위한 터치 인식 방법을 제공하기 위한 것으로서, 손가락 끝의 3차원 좌표 데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 3차원 좌표 데이터(X2, Y2, Z2)를 처리하여 디스플레이 표시면(C)과, 손가락 끝점(B)과, 한쪽 눈의 접점(A)을 각각 검출하는 단계와, 상기 검출된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 산출하는 단계와, 산출된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 기반으로 전자기기의 조작이 가능하고, 또한 터치패널의 특정 부분을 터치하는 것과 같이 해당 영역을 선택하는 단계를 포함하는데 있다.

Description

포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법{method for recognizing touch input in virtual touch apparatus without pointer}
본 발명은 사용자가 전자기기를 원격으로 조작하는 장치 및 방법에 관한 것으로, 특히 전자기기 디스플레이 표시면에 포인터를 표시하지 않고서도 원격에서 전자기기를 정확하게 제어할 수 있는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법에 관한 것이다.
최근 스마트폰과 같이 터치패널을 구비한 전자기기들이 많이 사용되고 있다. 이러한 터치패널 기술은 기존 마우스로 조작 가능한 컴퓨터 등 전자기기와 비교할 때 디스플레이에 '포인터'를 표시할 필요가 없다. 사용자는 전자기기 조작을 위해 포인터(컴퓨터의 커서)를 해당 위치(예, 프로그램 아이콘)까지 이동시킬 필요 없이, 손가락을 아이콘 위로 이동한 후 터치하여 동작을 수행한다. 이러한 터치패널 기술에서는 기존 전자기기 제어수단으로 필수적인 '포인터'이동 단계가 불필요하여 전자기기의 빠른 조작이 가능하다.
그러나 터치패널 기술은 위와 같은 편리성에도 불구하고 사용자가 디스플레이 표시면을 직접 터치해야하기 때문에 원격에서는 이용할 수 없다는 단점이 있다. 따라서 터치패널 기술을 채용하는 전자기기라 하더라도 원격 조작을 위해서는 종래 리모컨과 같은 장치에 의존할 수밖에 없다.
최근 원격 전자기기 제어장치로서 터치패널 기술과 같이 정확한 지점에 포인터를 생성할 수 있는 장치, 즉 2대의 카메라를 이용하여 디스플레이 전면을 촬영한 후 촬영된 이미지로부터 사용자의 눈과 손가락의 연장 직선이 디스플레이와 만나는 점에 포인터를 생성시키는 기술이 공개된 특허출원 [문헌 1]에 공개된바 있으나, 전자기기 제어를 위한 예비적인 조치로 '포인터'를 반드시 생성해야 하고(포인터 제어부를 두고 있음), 그 후에 구체적인 동작제어를 위해 사용자의 제스쳐를 기존에 저장된 패턴과 비교함으로써 동작을 수행하는 점에서 매우 불편하다.
[문헌 1] 공개특허 2010-0129629 2010. 12. 9.
따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 사용자가 원격에서 전자기기를 조작할 때에도 마치 터치패널 표면을 터치하는 것과 같은 편리한 사용자 인터페이스를 제공하여, 전자기기 표시면에 포인터를 사용하지 않고도 전자기기의 조작이 가능하고, 또한 터치패널의 특정 부분을 정교하게 터치하는 것과 같이 정확한 영역을 선택함으로써, 다양한 화면조작을 위한 터치 인식 방법을 제공하는데 그 목적이 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법의 특징은 서로 다른 위치에 배치되는 2개 이상의 이미지 센서로 구성되며 상기 표시면 전방의 사용자 신체를 촬영하는 영상획득부와, 상기 영상획득부로부터 수신한 영상을 이용하여 상기 사용자 신체의 3차원 좌표 데이터를 산출하는 공간좌표 산출부와, 상기 공간좌표 산출부로부터 수신한 제1 공간좌표와 제2 공간좌표를 이용하여 상기 제1 공간좌표와 제2 공간좌표를 연결하는 직선이 상기 표시면과 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부 및 상기 터치 위치 산출부로부터 수신된 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부로 입력하는 가상 터치 처리부로 구성되는 가상 터치 장치를 통해, 손가락 끝의 3차원 좌표 데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 3차원 좌표 데이터(X2, Y2, Z2)를 처리하여 디스플레이 표시면(C)과, 손가락 끝점(B)과, 한쪽 눈의 접점(A)을 각각 검출하는 단계와, 상기 검출된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 산출하는 단계와, 산출된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 기반으로 전자기기의 조작이 가능하고, 또한 터치패널의 특정 부분을 터치하는 것과 같이 해당 영역을 선택하는 단계를 포함하는데 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법의 다른 특징은 사용자 신체의 3차원 좌표 데이터를 추출하는 3차원 좌표 산출장치와, 상기 3차원 좌표 산출장치로부터 수신한 제1 공간좌표와 제2 공간좌표를 이용하여 상기 제1 공간좌표와 제2 공간좌표를 연결하는 직선이 상기 표시면과 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부 및 상기 터치 위치 산출부로부터 수신된 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부로 입력하는 가상 터치 처리부를 포함하는 제어부로 구성되는 가상 터치 장치를 통해, 손가락 끝의 3차원 좌표 데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 3차원 좌표 데이터(X2, Y2, Z2)를 처리하여 디스플레이 표시면(C)과, 손가락 끝점(B)과, 한쪽 눈의 접점(A)을 각각 검출하는 단계와, 상기 검출된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 산출하는 단계와, 산출된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 기반으로 전자기기의 조작이 가능하고, 또한 터치패널의 특정 부분을 터치하는 것과 같이 해당 영역을 선택하는 단계를 포함하는데 있다.
바람직하게 상기 A-B1-C의 연장선 방향에서 상기 손가락 끝점(B1)을 상기 C 방향의 B2로 이동한 후, B2의 위치에서 미리 정의된 시간 이상 유지되었을 경우, 상기 B1을 기준으로 B2의 깊이 값의 차이를 인식하여 상기 C의 터치로 인식하는 것을 특징으로 한다.
바람직하게 상기 A-B1-C의 연장선 방향에서 상기 손가락 끝점(B1)을 상기 C 방향의 B2로, 다시 연속해서 B2를 상기 A 방향의 B1로 이동하면, 상기 B1을 기준으로 B2의 깊이 값의 차이 및 상기 B2를 기준으로 B1의 깊이 값의 차이를 인식하여 상기 C의 라이트 터치로 인식하는 것을 특징으로 한다.
바람직하게 동시에 두 손가락 끝점(B1)(B2)을 인식한 후, 디스플레이 표시면(C3)의 양측의 표시면 C1, C2를 기준으로 A-B1-C1 및 A-B2-C2의 연장선 방향에서 상기 B1 및 B2의 거리가 1Cm 미만으로 가까워지면, 상기 C3의 표시면에 위치하는 이미지가 다른 위치로 이동될 준비로 인식하는 것을 특징으로 한다.
바람직하게 상기 다른 위치로 이동될 준비로 인식된 이미지를 선택한 채로 상기 두 손가락 끝의 궤적의 변화를 이용하여 선택된 표시면의 접점을 기준으로 선분을 그리거나 표시면의 다른 위치로 이동, 복사, 잘라내기 중 어느 하나로 제어하는 것을 특징으로 한다.
바람직하게 상기 A-B1-C의 연장선 방향에서 상기 손가락 끝점(B1)을 상기 좌우 중 어느 하나의 방향인 B2로 이동하면, B1을 기준으로 B2의 궤적 변화의 차이를 인식하여 상기 C의 표시면에 위치하는 이미지를 A-B2-C의 연장선 방향으로 평면 이동한 것으로 제어하는 것을 특징으로 한다.
바람직하게 동시에 두 손가락 끝점(B1)(B2)을 인식한 후, A-B1-C의 연장선 방향에서 디스플레이 표시면(C1)을 가르키는 검지의 끝점(B1)과 나머지 한 손가락 끝점(B2)의 각도의 변화를 이용하여 터치 인식을 수행하는 것을 특징으로 한다.
바람직하게 동시에 두 손가락 끝점(B1)(B2)을 인식하거나, A-B1-C의 연장선 방향에서 서로 다른 손 각각의 손가락 끝점(B1)(B2)을 동시에 인식한 후, 상기 인식된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 기반으로 멀티 터치 인식을 수행하는 것을 특징으로 하는 한다.
바람직하게 동시에 두 손가락 끝점(B1)(B2)을 인식한 후, A-B1-C의 연장선 방향에서 두 손가락 끝점(B1)(B2)의 거리 변화를 이용하여 화면상에 표시되는 문서, 서브 윈도우의 크기를 확대 또는 축소하거나, 또는 레벨의 증가 또는 감소되도록 제어하는 것을 특징으로 한다.
바람직하게 A-B1-C의 연장선 방향에서 인식된 손가락 끝점(B1)의 회전되는 방향으로 상기 C의 표시면에 위치하는 이미지를 제어하는 것을 특징으로 한다.
바람직하게 A-B1-C의 연장선 방향에서 인식된 손가락 끝점(B1)을 상->하->상->하, 하->상->하->상, 좌->우->좌->우 및 우->좌->우->좌 중 어느 하나의 방향으로 일정한 속도로 반복적으로 이동하는 경우에 이동되는 거리 및 방향을 기반으로 C의 표시면에 위치하는 이미지가 스크롤되도록 제어하는 것을 특징으로 한다.
바람직하게 상기 스크롤은 반복되는 속도에 기반하여 스크롤되는 속도가 변화되는 것을 특징으로 한다.
바람직하게 A-B1-C의 연장선 방향에서 인식된 손가락 끝점(B1)을 가르치는 C3에서 왼쪽 또는 오른쪽 방향의 C3'으로 위로 모서리를 선택하여 표시면에 표시되는 이미지 또는 문서의 페이지가 변화되도록 제어하는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법은 디스플레이에서 포인터를 사용하지 않음으로써 전자기기의 신속한 조작이 가능하다. 따라서 앞서 설명한 터치패널의 장점을 전자기기 원격제어장치 분야에 적용할 수 있는 다양한 화면조작을 위한 터치 인식 방법을 제안한다. 이는 일반적으로 컴퓨터, 디지털TV 등 전자기기는 제어방법으로 해당 영역에 포인터를 생성한 후 특정 추가 동작을 수행함으로써 전자기기 조작이 가능하다.
또한 지금까지는 디스플레이 포인터의 위치를 고속으로 설정하기 위한 방법, 디스플레이에서 포인터의 속도 선택 방법, 하나 이상의 포인터를 사용하는 방법, 리모컨에 의해 포인터를 제어하는 방법 등과 같이 무수히 많은 기술들이 포인터를 활용한 응용기술에만 국한되어 개발되어왔다. 이에 본 발명에서는 포인터를 사용하지 않는 가상 터치 장치에서 활용할 수 있으면서, 전자기기 표시면의 특정영역을 정교하게 포인팅 할 수 있는 새로운 터치 인식 방법을 제공할 수 있다.
그리고 본 발명에서는 전자기기 표시면을 정교하게 포인팅 하기 위해 '손가락 끝과 한쪽 눈만을 이용해야 사물의 위치를 정확히 포인팅할 수 있다'는 원리를 채용하므로서(손가락 끝을 두 눈으로 보면 손가락 끝이 2개로 보임), 사용자는 원격에서도 마치 터치패널을 사용하는 것과 같이 정교하게 화면상의 메뉴를 포인팅 할 수 있다.
도 1 은 본 발명의 바람직한 제 1 실시예에 따른 가상 터치 장치 블록도
도 2a 내지 도 2c는 도 1의 가상 터치 장치에서 사용자가 디스플레이에 표시된 화면 메뉴를 선택하는 도면
도 3a 내지 도 3c는 도 1의 가상 터치 장치에서 사용자가 손가락 끝의 변화를 통해 공간좌표를 이용시키는 것을 나타낸 도면
도 4 는 도 1의 가상 터치 장치에서 사용자가 2개 손가락 끝을 사용하여 터치 동작을 수행하는 것을 나타낸 도면
도 5 는 도 1의 가상 터치 장치에서 사용자가 각자 손가락 끝을 사용하여 터치 동작을 수행하는 것을 나타낸 도면
도 6 은 본 발명의 바람직한 제 2 실시예에 따른 가상 터치 장치 블록도
도 7a 내지 도 7c는 도 6의 가상 터치 장치에서 사용자가 디스플레이에 표시된 화면 메뉴를 선택하는 도면
도 8a 내지 도 8c는 도 6의 가상 터치 장치에서 사용자가 손가락 끝의 변화를 통해 공간좌표를 이용시키는 것을 나타낸 도면
도 9 는 도 6의 가상 터치 장치에서 사용자가 2개 손가락 끝을 사용하여 터치 동작을 수행하는 것을 나타낸 도면
도 10 은 도 6의 가상 터치 장치에서 사용자가 각자 손가락 끝을 사용하여 터치 동작을 수행하는 것을 나타낸 도면
도 11a 내지 도 11k는 본 발명에 따른 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법의 다양한 실시예를 나타낸 도면
본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
본 발명에 따른 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록 하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있다.
제 1 실시예
도 1 은 본 발명의 제 1 실시예에 따른 가상 터치 장치를 나타낸 블록 구성도이다.
도 1을 참조하면, 가상 터치 장치(1)는 영상획득부(10), 공간좌표 산출부(20), 터치 위치 산출부(30) 및 가상 터치 산출부(40)를 포함한다.
상기 영상획득부(10)로는 일종의 카메라모듈로 영상을 검출하여 전기적인 이미지 신호로 변환하는 CCD 또는 CMOS와 같은 이미지 센서(11, 12)를 2 이상 포함 할 수 있다.
상기 공간좌표 산출부(20)는 영상획득부(10)로부터 수신한 영상을 이용하여 상기 사용자 신체의 3차원 좌표 데이터를 산출한다. 본 발명에 따르면 영상획득부(20)를 구성하는 이미지센서(11, 12)는 각기 다른 각도에서 사용자 신체를 촬영하고 공간좌표 산출부(20)는 수동적인 광학 삼각법을 이용하여 사용자 신체의 3차원 좌표 데이터를 산출할 수 있다.
일반적으로 광학식 3차원 좌표 산출 방법은 센싱 방법에 따라 능동 방식과 수동 방식으로 분류할 수 있다. 능동 방식은 미리 정의된 패턴이나 음파 등을 물체에 투사한 후 그 에너지 또는 초점 등의 센서 파라미터의 제어를 통한 변화량을 측정하여 물체의 3차원 좌표 데이터를 산출하는 방법으로 구조광 혹은 레이저광을 이용하는 방식이 대표적이다. 이에 비하여 수동 방식은 인위적으로 물체에 에너지를 투사하지 않은 상태에서 촬영한 영상의 명암(intensity), 시차(parallax)등을 이용하는 방식이다.
본 발명에서는 물체에 에너지를 투사하지 않는 수동 방식을 채용하고 있는 바, 이 방식은 능동 방식에 비해 다소 정밀도는 떨어질 수 있어도 장비가 간편하고 입력 영상으로부터 텍스쳐를 직접 획득할 수 있는 장점이 있다.
수동 방식에서는 촬영한 영상 간에 대응되는 특징점들에게 삼각법을 적용하여 3차원 정보를 획득할 수 있다. 삼각법의 적용하여 3차원 좌표를 추출하는 각종 관련 기법으로 카메라 자동보정(camera self calibration) 기법, Harris의 코너 추출 방법, SIFT 기법, RANSAC 기법, Tsai 기법 등이 흔히 채용된다. 특히, 사용자 신체의 3차원 좌표 데이터를 산출하는 방법으로 입체 카메라 법을 이용할 수도 있다. 입체 카메라 법은 인간이 두 개의 눈으로 물체를 보고 변위를 얻는 양안입체 시의 구조와 동일하게 두 개의 다른 점에서 물체 표면의 동일점을 관측하여 그 점에 대한 예상각으로부터 거리를 구하는 방법이다. 상기 언급한 각종 3차원 좌표 산출 기법들은 본 발명이 속하는 기술분야의 당업자가 용이하게 알 수 있고 구현이 가능한 것들이므로 이에 대한 설명은 생략하기로 한다. 한편, 2차원 이미지를 이용하여 3차원 좌표 데이터를 산출하는 방법과 관련된 특허문헌으로 국내공개특허 제10-0021803호, 제10-2004-0004135호, 제10-2007-0066382호, 제10-2007-0117877호 등 다수가 존재한다.
상기 터치 위치 산출부(30)는 공간좌표 산출부(20)로부터 수신한 제1 공간좌표와 제2 공간좌표를 이용하여 상기 제1 공간좌표와 제2 공간좌표를 연결하는 직선이 상기 표시면과 만나는 접점 좌표 데이터를 산출하는 역할을 수행한다.
일반적으로 사람의 신체 중에서 손가락은 정교하고 섬세한 조작이 가능한 유일한 부분이다. 특히, 손가락 중에서도 엄지 또는 집게손가락 중에서 어느 하나를 사용하거나 두 손가락을 함께 사용할 경우 정교한 포인팅을 수행할 수 있다. 이에 따라 본 발명에서 제1 공간좌표로서 엄지 및/또는 집게손가락의 끝부분을 사용하는 것은 매우 효과적이다.
또한 같은 맥락에서 상기 제1 공간좌표의 역할을 하는 손가락의 끝부분을 대신하여 손가락으로 파지하고 있는 끝이 뾰족한 포인터(예, 펜 끝)를 사용할 수 있다. 이러한 포인터를 사용할 경우 손가락 끝에 비해 사용자 시야로부터 디스플레이를 가리는 부분이 작고 포인터의 뾰족한 끝으로 디스플레이의 매우 작은 부분까지도 정확히 포인팅 할 수 있는 장점이 있다.
또한 본 발명에서는 사용자의 한쪽 눈의 중심점만을 이용한다. 예를 들어 사용자가 두 눈 앞에 집게손가락을 배치시켜 쳐다보면 상기 집게손가락은 2개로 보일 것이다. 이는 사용자 양안이 각각 바라보는 집게손가락의 형상이 서로 다르기 때문에 이와 같은 현상이 발생한다(양안의 각도차에 의한 것임). 그러나 만약 한쪽 눈으로만 집게손가락을 바라본다면 집게손가락이 명확하게 보일 것이다. 또한 굳이 한쪽 눈을 감지 않더라도 의식적으로 한쪽 눈으로만 바라보더라도 집게손가락은 뚜렷하게 볼 수 있다. 사격, 양궁 등과 같이 조준에 있어 고도의 정확성을 요구하는 스포츠 종목의 경우 대부분 한쪽 눈을 감고 조준하는 것도 이와 같은 원리에 따른 것이다.
본 발명에서는 한쪽 눈으로만 손가락 끝(제1 공간좌표)을 바라보았을 때 손가락 끝의 형태를 뚜렷하게 파악할 수 있다는 원리를 채용하는 것이다. 이와 같이 사용자가 제1 공간좌표를 정확히 볼 수 있어야 제1 공간좌표와 일치되는 디스플레이의 특정 영역을 포인팅 할 수 있다.
본 발명에서는 1인 사용자가 손가락 중 어느 하나를 사용하는 경우, 제1 공간좌표는 사용자 손가락 중 어느 하나 손가락의 끝, 상기 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 제2 공간좌표는 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표가 될 것이다.
또한, 1인 사용자가 손가락 중 2개 이상을 사용하는 경우, 상기 제1 공간좌표는 상기 사용자 손가락 중 2개 이상의 손가락의 끝의 3차원 좌표들이고, 상기 제2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 3차원 좌표들로 형성될 수 있다.
또한, 2인 이상의 사용자가 사용하는 경우, 제1 공간좌표는 2인 이상 사용자에 의해 제시되는 각자 하나 이상의 손가락의 끝의 3차원 좌표들이고, 제2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 3차원 좌표들로 형성될 수 있다.
상기 가상 터치 처리부(40)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 없으면 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(91)로 입력하도록 형성될 수 있다. 가상 터치 처리부(40)는 1인 사용자 2개 손가락 또는 2인 이상의 사용자에 대해서도 마찬가지로 방식으로 처리할 수 있다.
또한 가상 터치 처리부(40)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 없으면, 제1 공간좌표와 제2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에는 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(91)로 입력하도록 형성될 수 있다. 가상 터치 처리부(40)는 1인 사용자 2개 손가락 또는 2인 이상의 사용자에 대해서도 마찬가지로 방식으로 처리할 수 있다.
한편, 상기 접점 좌표 데이터의 변동이 상기 디스플레이(90)의 설정영역 범위 내인 것으로 판단되면 상기 접점 좌표 데이터들의 변동이 없는 것으로 간주되도록 형성될 수 있다. 즉, 사용자가 손가락 끝 또는 포인터의 끝으로 디스플레이를 포인팅 할 때 신체 특성상 신체 또는 손가락에 당연히 약간의 움직임 또는 떨림이 있으므로 사용자가 접점 좌표를 그대로 유지하는 것은 매우 어렵다. 따라서 상기 접점 좌표 데이터 값이 디스플레이의 설정 영역 범위 안에 존재할 때는 상기 접점 좌표 데이터의 변동이 없는 것으로 간주하여 설정된 동작을 수행하는 명령코드를 생성하여 전자기기의 주 제어부(91)로 입력하도록 할 수 있다.
본 발명에 따른 원격 조정의 대상이 되는 전자기기 중 대표적인 것으로 디지털텔레비젼을 들 수 있다. 일반적으로 디지털텔레비전 수신기는 방송신호 수신부, 영상신호 처리부, 시스템 제어부 등을 별도로 구비하고 있으나 이러한 구성요소들은 당업자에게는 지극히 자명한 사실이므로 여기서는 이들에 상세한 설명을 생략한다. 본 발명에 따른 원격 조정의 대상이 되는 기타 전자기기로는 가전 기기 뿐만 아니라 조명기기, 가스기기, 난방기기, 방법기기 등 홈 네트워킹을 구성하고 각종 전자기기들도 본 발명에 의한 원격 조정 대상이 될 수 있다.
본 발명에 따른 가상 터치 장치(1)는 원격 조정의 대상이 되는 전자기기 프레임 상단에 삽입되어 설치될 수 있고, 또한 전자기기와 별도로 분리되어 설치될 수도 있다.
도 2a는 본 발명의 실시예에 따라 사용자가 전자기기 디스플레이(90) 상에서 특정 아이콘을 선택하는 도면이다. 사용자는 한쪽 눈으로 손가락 끝을 보면서 디스플레이(90)상에서 '음악' 아이콘을 선택한다. 공간좌표 산출부(20)에서는 사용자 신체의 3차원 공간좌표를 생성하고, 터치 위치 산출부(30)는 손가락 끝의 3차원 좌표 데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 3차원 좌표 데이터(X2, Y2, Z2)를 처리하여 디스플레이 표시면과의 접점 좌표(X, Y, Z)를 산출한다. 이후 가상 터치 처리부(40)는 접점 좌표 데이터(X, Y, Z)에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(91)로 입력한다. 주 제어부(91)는 상기 명령코드를 수행한 결과를 디스플레이(90)에 표시하도록 제어한다. 도 2a에서는 '음악' 아이콘 메뉴를 선택하였다.
도 2b는 사용자가 도 2a에서 '음악' 아이콘 메뉴를 선택한 후 나타나는 노래 곡명에 대한 서브 메뉴를 디스플레이에 표시한 화면을 나타낸다. 도 2c는 사용자가 음악 서브 메뉴 중에서 특정 곡을 선택하는 화면이다.
도 3a 내지 3c에서 터치 위치 산출부(30)는 손가락 끝의 3차원 좌표데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 3차원 좌표 데이터(X2, Y2, Z2)가 일정한 조건(Z 좌표값의 변동)에 해당될 때에만 디스플레이 표시면과의 접점 좌표(X, Y, Z)에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(91)로 입력하는 방법을 보여준다.
도 3a는 터치 위치 산출부(30)가 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 없을 경우에만 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(91)로 입력한다.
도 3b와 도 3c에서 가상 터치 처리부(40)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동(X와 Y 좌표값)이 없으면, 제1 공간좌표와 제2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화(Z 좌표값의 변화)가 발생한 경우에는 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(91)로 입력한다. 도 3b는 제1 공간좌표와 제2 공간좌표 사이의 거리가 멀어진 경우이고 도 3c는 제1 공간좌표와 제2 공간좌표 사이의 거리가 가까워진 경우이다.
도 4는 1 사용자가 2개의 손가락 끝을 사용하여 전자기기 디스플레이 표시면에 2개의 접점 좌표, (Xa, Ya, Za)와 (Xb, Yb, Zb)를 갖는 경우를 나타낸다. 사용자가 표시면에 2개의 접점 좌표를 가지면서 전자기기 동작을 제어하는 예로는 게임 등에서 흔히 볼 수 있을 것이다. 또한 사용자가 2개의 손가락 끝을 사용할 경우 디스플레이 표시면에서 이미지를 조작(이동, 회전, 축소, 확대 등)할 때에도 매우 유용할 것이다.
도 5는 2 사용자가 각자 1개의 손가락 끝을 사용하여 전자기기 디스플레이 표시면에 2개의 접점 좌표, (Xa, Ya, Za)와 (Xb, Yb, Zb)를 갖는 경우를 나타낸다. 2명의 사용자가 표시면에 2개의 접점 좌표를 가지면서 각각 전자기기 동작을 제어하는 예로는 게임 등에서 흔히 볼 수 있을 것이다.
제 2 실시예
도 6 은 본 발명의 제 2 실시예에 따른 가상 터치 장치를 나타낸 블록 구성도이다.
도 6을 참조하면, 가상 터치 장치(1)는 사용자 신체의 3차원 좌표 데이터를 추출하는 3차원 좌표 산출장치(10) 및 제어부(20)를 포함한다.
상기 3차원 좌표 산출장치(10)는 기존에 공지된 여러 3차원 좌표 추출 방법에 의해 사용자의 신체의 3차원 좌표를 산출할 수 있다. 이러한 3차원 좌표추출의 대표적인 방식으로는 광학적인 삼각 측량법과 시간지연측정법으로 나누어 볼 수 있다. 광학적인 삼각측량 기법의 하나인 구조광을 이용한 능동적 방식의 3차원 정보 획득 기법은 프로젝터를 사용하여 코드화된 패턴영상을 연속적으로 투영하고 카메라를 통해 구조광이 투영된 장면의 영상을 획득함으로써 3차원 위치를 추정하는 방법이다.
또한, 시간지연측정법은 발신기로부터 발생한 초음파가 물체에 의해 반사되어 수신기에 도달하는 시간차(Time of Flight)를 초음파의 진행 속도로 나누어 거리로 환산함으로써 3D 정보를 획득하는 기법이다. 그 밖에도 시간지연측정법(Time of Flight)을 이용하는 3차원 좌표 산출 방법이 기존에 다양하게 존재하고, 본 발명이 속하는 기술분야의 당업자에게는 용이하게 구현이 가능하므로 이 부분에 대한 설명은 생략한다.
또한, 본 발명에 따른 3차원 좌표 산출장치(10)는 조명어셈블리(11), 영상획득부(12) 및 공간좌표 산출부(13)를 포함하여 구성될 수 있다. 조명어셈블리(12)는 광원(111)과 산광기(112)를 포함하며 사용자 신체에 스페클패턴을 투영한다. 영상획득부(12)는 이미지센서(121)와 렌즈(122)로 구성되어 상기 조명어셈블리에 의해 투영된 상기 사용자 상의 스페클 패턴을 캡쳐한다. 이미지 센서(121)는 일반적으로 CCD 또는 CMOS 기반의 이미지 센서가 사용될 수 있다. 또한 공간좌표 산출부(13)는 영상획득부(12)가 획득된 영상을 처리하여 상기 사용자 신체의 3차원 좌표 데이터를 산출하는 역할을 수행한다.
상기 제어부(20)는 터치 위치 산출부(21)와 가상 터치 산출부(22)로 구성된다.
이때, 상기 터치 위치 산출부(21)는 3차원 좌표 산출장치(10)로부터 수신한 제1 공간좌표와 제2 공간좌표를 이용하여 상기 제1 공간좌표와 제2 공간좌표를 연결하는 직선이 상기 표시면과 만나는 접점 좌표 데이터를 산출하는 역할을 수행한다.
일반적으로 사람의 신체 중에서 손가락은 정교하고 섬세한 조작이 가능한 유일한 부분이다. 특히, 손가락 중에서도 엄지 또는 집게손가락 중에서 어느 하나를 사용하거나 두 손가락을 함께 사용할 경우 정교한 포인팅을 수행할 수 있다. 이에 따라 본 발명에서 제1 공간좌표로서 엄지 및/또는 집게손가락의 끝부분을 사용하는 것은 매우 효과적이다.
또한 같은 맥락에서 상기 제1 공간좌표의 역할을 하는 손가락의 끝부분을 대신하여 손가락으로 파지하고 있는 끝이 뾰족한 포인터(예, 펜 끝)를 사용할 수 있다. 이러한 포인터를 사용할 경우 손가락 끝에 비해 사용자 시야로부터 디스플레이를 가리는 부분이 작고 포인터의 뾰족한 끝으로 디스플레이의 매우 작은 부분까지도 정확히 포인팅 할 수 있는 장점이 있다.
또한 본 발명에서는 사용자의 한쪽 눈의 중심점만을 이용한다. 예를 들어 사용자가 두 눈 앞에 집게손가락을 배치시켜 쳐다보면 상기 집게손가락은 2개로 보일 것이다. 이는 사용자 양안이 바라보는 집게손가락의 형상이 서로 다르기 때문에 이와 같은 현상이 발생한다(양안의 각도차에 의한 것임). 그러나 만약 한쪽 눈으로만 집게손가락을 바라본다면 집게손가락이 명확하게 보일 것이다. 또한 굳이 한쪽 눈을 감지 않더라도 의식적으로 한쪽 눈으로만 바라보더라도 집게손가락은 뚜렷이 보일 것이다. 사격, 양궁 등과 같이 조준에 있어 고도의 정확성을 요구하는 스포츠 종목의 경우 대부분 한쪽 눈을 감고 조준하는 것도 이와 같은 원리에 따른 것이다.
본 발명에서는 한쪽 눈으로만 손가락 끝(제1 공간좌표)을 바라보았을 때 손가락 끝의 형태를 뚜렷하게 파악할 수 있다는 원리를 채용하는 것이다. 이와 같이 사용자가 제1 공간좌표를 정확히 볼 수 있어야 제1 공간좌표와 일치되는 디스플레이의 특정 영역을 포인팅 할 수 있다.
본 발명에서는 1인 사용자가 손가락 중 어느 하나를 사용하는 경우, 제1 공간좌표는 사용자 손가락 중 어느 하나 손가락의 끝, 상기 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 제2 공간좌표는 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표가 될 것이다.
또한, 1인 사용자가 손가락 중 2개 이상을 사용하는 경우, 상기 제1 공간좌표는 2인 이상 사용자에 의해 제시되는 각자 하나 이상의 손가락의 끝의 3차원 좌표들이고, 상기 제2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 3차원 좌표들로 형성될 수 있다.
또한, 2인 이상의 사용자가 사용하는 경우, 제1 공간좌표는 2인 이상 사용자에 의해 제시되는 각자 하나 이상의 손가락의 끝의 3차원 좌표들이고, 제2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 3차원 좌표들로 형성될 수 있다.
본 발명에 있어서, 가상 터치 처리부(22)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 없으면 상기 접점 좌표데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(31)로 입력하도록 형성될 수 있다. 가상 터치 처리부(22)는 1인 사용자 2개 손가락 또는 2인 이상의 사용자에 의해서도 마찬가지로 방식으로 처리할 수 있다.
또한 본 발명에 있어서, 가상 터치 처리부(22)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 없으면, 제1 공간좌표와 제2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에는 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(31)로 입력하도록 형성될 수 있다. 가상 터치 처리부(22)는 1인 사용자 2개 손가락 또는 2인 이상의 사용자에 의해서도 마찬가지로 방식으로 처리할 수 있다.
한편, 상기 접점 좌표 데이터의 변동이 상기 디스플레이(30)의 설정영역 범위 내인 것으로 판단되면 상기 접점 좌표 데이터들의 변동이 없는 것으로 간주되도록 형성될 수 있다. 즉, 사용자가 손가락 끝 또는 포인터의 끝으로 디스플레이를 포인팅 할 때 신체 특성상 신체 또는 손가락에 당연히 약간의 움직임 또는 떨림이 있으므로 사용자가 접점 좌표를 그대로 유지하는 것은 매우 어렵다. 따라서 상기 접점 좌표 데이터 값이 디스플레이의 설정 영역 범위 안에 존재할 때는 상기 접점 좌표 데이터의 변동이 없는 것으로 간주하여 설정된 동작을 수행하는 명령코드를 생성하여 전자기기의 주 제어부(31)로 입력하도록 할 수 있다.
본 발명에 따른 원격 조정의 대상이 되는 전자기기 중 대표적인 것으로 디지털텔레비젼을 들 수 있다. 일반적으로 디지털텔레비전 수신기는 방송신호 수신부, 영상신호 처리부, 시스템 제어부 등을 별도로 구비하고 있으나 이러한 구성요소들은 당업자에게는 지극히 자명한 사실이므로 여기서는 이들에 상세한 설명을 생략한다. 본 발명에 따른 원격 조정의 대상이 되는 기타 전자기기로는 가전 기기 뿐만 아니라 조명기기, 가스기기, 난방기기, 방법기기 등 홈 네트워킹을 구성하고 각종 전자기기들도 본 발명에 의한 원격 조정 대상이 될 수 있다.
본 발명에 따른 가상 터치 장치(1)는 원격 조정의 대상이 되는 전자기기 프레임 상단에 삽입되어 설치될 수 있고, 또한 전자기기와 별도로 분리되어 설치될 수도 있다.
도 7a는 본 발명의 실시예에 따라 사용자가 전자기기 디스플레이(30) 상에서 특정 아이콘을 선택하는 도면이다. 사용자는 한쪽 눈으로 손가락 끝을 보면서 디스플레이(30)상에서 '음악' 아이콘을 선택한다. 3차원 좌표 산출장치(10)에서는 사용자 신체의 3차원 공간좌표를 생성하고, 제어부(20)의 터치 위치 산출부(21)는 손가락 끝의 3차원 좌표 데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 3차원 좌표 데이터(X2, Y2, Z2)를 처리하여 디스플레이 표시면과의 접점 좌표(X, Y, Z)를 산출한다. 이후 가상 터치 처리부(22)는 접점 좌표 데이터(X, Y, Z)에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(31)로 입력한다. 주 제어부(31)는 상기 명령코드를 수행한 결과를 디스플레이(30)에 표시하도록 제어한다. 도 7a에서는 '음악' 아이콘 메뉴를 선택하였다.
도 7b는 사용자가 도 7a에서 '음악' 아이콘 메뉴를 선택한 후 나타나는 노래 곡명에 대한 서브 메뉴를 디스플레이에 표시한 화면을 나타낸다. 도 7c는 사용자가 음악 서브 메뉴 중에서 특정 곡을 선택하는 화면이다.
도 7a 내지 7c에서 제어부(20)의 터치 위치 산출부(21)는 손가락 끝의 3차원 좌표 데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 3차원 좌표 데이터(X2, Y2, Z2)가 일정한 조건(Z 좌표값의 변동)에 해당될 때에만 디스플레이 표시면과의 접점 좌표(X, Y, Z)에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(31)로 입력하는 방법을 보여준다.
도 7a는 터치 위치 산출부(21)가 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 없을 경우에만 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(31)로 입력한다.
도 7b와 도 7c에서 가상 터치 처리부(22)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동(X와 Y 좌표값)이 없으면, 제1 공간좌표와 제2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화(Z 좌표값의 변화)가 발생한 경우에는 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(31)로 입력한다. 도 3b는 제1 공간좌표와 제2 공간좌표의 거리가 멀어진 경우이고 도 3c는 제1 공간좌표와 제2 공간좌표의 거리가 가까워진 경우이다.
도 8은 1 사용자가 2개의 손가락 끝을 사용하여 전자기기 디스플레이 표시면에 2개의 접점 좌표, (Xa, Ya, Za)와 (Xb, Yb, Zb)를 갖는 경우를 나타낸다. 사용자가 표시면에 2개의 접점 좌표를 가지면서 전자기기 동작을 제어하는 예로는 게임 등에서 흔히 볼 수 있을 것이다. 또한 사용자가 2개의 손가락 끝을 사용할 경우 디스플레이 표시면에서 이미지를 조작(이동, 회전, 축소, 확대 등)할 때에도 매우 유용할 것이다.
도 9는 2 사용자가 각자 1개의 손가락 끝을 사용하여 전자기기 디스플레이 표시면에 2개의 접점 좌표, (Xa, Ya, Za)와 (Xb, Yb, Zb)를 갖는 경우를 나타낸다. 2명의 사용자가 표시면에 2개의 접점 좌표를 가지면서 각각 전자기기 동작을 제어하는 예로는 게임 등에서 흔히 볼 수 있을 것이다.
위에서 설명한 제1 실시예 또는 제 2 실시예를 통해 손가락 끝의 3차원 좌표 데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 3차원 좌표 데이터(X2, Y2, Z2)를 처리하여 디스플레이 표시면(C)과, 손가락 끝(C)과, 한쪽 눈의 접점(A)을 각각 검출한다. 그리고 이렇게 검출된 손가락 끝의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도를 산출한 후, 산출된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 기반으로 전자기기의 조작이 가능하고, 또한 터치패널의 특정 부분을 터치하는 것과 같이 해당 영역을 선택함으로써, 포인터를 사용하지 않는 가상 터치 장치에서의 다양한 실시예에 따른 터치 인식 방법의 실행할 수 있다.
도 11a 내지 도 11k는 본 발명에 따른 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법의 다양한 실시예를 나타낸 도면이다.
먼저 도 11a에서 도시한 것과 같이, 손가락 끝점(B1)을 인식한 후, 인식된 손가락 끝점의 유지시간 및 깊이의 변화를 이용하여 터치 인식을 수행할 수 있다. 좀 더 상세히 설명하면, 먼저 사용자는 A-B1-C의 연장선 방향에서 B1을 B2로 이동한 후, B2의 위치에서 일정시간 이상(예로서 1초) 유지되었을 경우, 가상 터치 장치는 B1을 기준으로 B2의 깊이 값(x)의 차이를 인식한 후, B1에서 B2로 이동한 것으로 판단한다. 그리고 이를 터치로 인식하여 해당 전자기기의 구동을 제어한다. 즉, 전자기기의 전원, 스피커의 볼륨 조작 등을 제어하거나, 또는 디스플레이에 표시되는 이미지, 문서, 사물 등을 선택하고 복사, 자르기, 붙이기 등의 조작 등을 제어하는데 이용된다.
도 11b에서 도시한 것과 같이, 손가락 끝점(B1)을 인식한 후, 인식된 손가락 끝의 깊이의 변화 및 변화의 속도를 이용하여 터치 인식을 수행할 수 있다. 좀 더 상세히 설명하면, 먼저 사용자는 A-B1-C의 연장선 방향에서 B1을 B2로, 다시 연속해서 B2를 B1로 이동하면, 가상 터치 장치는 B1을 기준으로 B2의 깊이 값(x)의 차이를 인식하고, 다시 B2를 기준으로 B1의 깊이 값(x)의 차이를 인식한 후, B1에서 B2로, 다시 B2를 B1로 이동한 것으로 판단한다. 그리고 이를 라이트 터치로 인식하여 해당 전자기기의 구동을 제어한다. 컴퓨터의 클릭 또는 더블클릭에 준하며, 터치스크린의 짧은 터치 등의 조작 등을 제어하는데 이용된다.
도 11c에서 도시한 것과 같이, 동시에 두 손가락 끝점(B1)(B2)을 인식한 후, B1 및 B2의 거리의 변화를 이용하여 터치 인식을 수행할 수 있다. 좀 더 상세히 설명하면, 먼저 디스플레이 표시면(C3)의 양측의 표시면 C1, C2를 기준으로 A-B1-C1 및 A-B2-C2의 연장선 방향에서 B1 및 B2의 거리가 가까워졌을 경우(예로서 2Cm에서 1Cm 미만으로)에 이를 인식한 후, C3의 표시면이 선택된 것으로 판단한다. 이는 사용자가 C3의 표시면에 위치하는 이미지, 문서, 사물, 2D 판 등을 잡은 효과를 나타내는 것으로 디스플레이에 표시되는 이미지, 문서, 사물 등을 선택하고 복사, 자르기, 붙이기 등의 조작 등을 제어하는데 이용된다.
도 11d에서 도시한 것과 같이, 손가락 끝점(B1)을 인식한 후, 인식된 손가락 끝점의 궤적의 변화를 이용하여 터치 인식을 수행할 수 있다. 좀 더 상세히 설명하면, 먼저 사용자는 A-B1-C의 연장선 방향에서 B1을 B2로 이동하면, 가상 터치 장치는 B1을 기준으로 B2의 궤적 변화의 차이를 인식하고, 상기 C의 표시면에 위치하는 이미지를 A-B2-C의 연장선 방향으로 평면 이동한 것으로 판단한다. 이는 이미지, 문서, 사물 등의 이동으로 인식하여 제어하는데 이용된다.
도 11e에서 도시한 것과 같이, 도 11c와 같이 동시에 두 손가락 끝점(B1)(B2)을 인식한 후, B1 및 B2의 거리의 변화를 인식 한 후, 동시에 두 손가락 끝의 궤적의 변화를 이용하여 터치 인식을 수행할 수 있다. 이는 선택된 표시면의 접점을 기준으로 선분을 그리거나 문자 등을 작성하는데 이용된다.
도 11f에서 도시한 것과 같이, 동시에 두 손가락 끝점(B1)(B2)을 인식한 후, A-B1-C의 연장선 방향에서 디스플레이 표시면(C1)을 가르키는 검지의 끝점(B1)과 나머지 한 손가락 끝점(B2)의 각도의 변화를 이용하여 터치 인식을 수행할 수 있다. 좀 더 상세히 설명하면, 검지의 끝점(B1)이 디스플레이 표시면(C1)을 가르키고, 엄지의 끝점(B2)을 검지의 끝점(B1) 방향으로 움직임에 따라, 두 손가락 끝점(B1)(B2)의 각도가 소정 각도(45도)이상이면 검지의 끝점(B1)이 가르키는 디스플레이 표시면(C1)의 터치를 위한 대기 상태를 유지하다가, 엄지의 끝점(B2)을 검지의 끝점(B1) 방향으로 움직여 두 손가락 끝점(B1)(B2)의 각도가 소정 각도(30도)미만으로 바뀌는 경우 디스플레이 표시면(C1)의 터치가 인식되도록 제어한다. 이는 문서 및 문서 내 일부 영역을 선택하거나, 도 11a, 도 11b에서 설명하고 있는 픽업과 다른 차별화된 선택을 행할 때 이용될 수 있다.
도 11g(a)에서 도시한 것과 같이, 도 11c와 같이 동시에 두 손가락 끝점(B1)(B2)을 인식하거나, 도 11g(b)와 11g(c)에서 도시한 것과 같이, A-B1-C의 연장선 방향에서 서로 다른 손 각각의 손가락 끝점(B1)(B2)을 동시에 인식한 후, 도 11a 내지 도 11f에서 설명하고 있는 것과 같이 인식된 적어도 두 개 이상의 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 등을 기반으로 동시에 복수의 터치를 수행하는 멀티 터치 인식을 수행할 수 있다. 이는 동시에 다수의 터치 인식을 제어하는 경우에 이용되며, 위에서 설명하고 있는 도 11a 내지 도 11f의 각각의 동작을 동시에 수행할 수 있는 터치 방식이다.
도 11h에서 도시한 것과 같이, 도 11c와 같이 동시에 두 손가락 끝점(B1)(B2)을 인식한 후, A-B1-C의 연장선 방향에서 두 손가락 끝점(B1)(B2)의 거리 변화를 이용하여 터치 인식을 수행할 수 있다. 좀 더 상세히 설명하면, 화면상에 표시되는 문서(확대 또는 축소가 가능한) 또는 서브 윈도우(D1)(D2)를 두 손가락 끝점(B1)(B2)의 거리 변화를 통해 확대 또는 축소하기 위한 터치 방식으로, 이미지, 영상, 문서, 창(인터넷), 디스플레이, 볼륨, 조명의 조도, 냉난방 및 환풍기의 풍량, 가스레인지의 화력 등의 확대, 축소 또는 증가, 감소를 제어하는데 이용된다.
도 11i에서 도시한 것과 같이, 손가락 끝점(B1)을 인식한 후, A-B1-C의 연장선 방향에서 인식된 손가락 끝점의 궤적의 변화(방향)를 이용하여 터치 인식을 수행할 수 있다. 좀 더 상세히 설명하면, 인식된 손가락 끝점(B1)을 회전될 때 회전되는 방향이 시계방향인지 반시계방향인지에 따라 그 방향으로 선택된 이미지를 회전하도록 제어하는데 이용된다. 이때, 조작기기 또는 영역의 선택은 B1->B1'->B1''가 그리는 원의 중심점을 계산하여 선택된다.
도 11j에서 도시한 것과 같이, 손가락 끝점(B1)을 인식한 후, A-B1-C의 연장선 방향에서 인식된 손가락 끝점의 궤적의 변화, 변화의 속도를 이용하여 스크롤을 위한 터치 인식을 수행할 수 있다. 좀 더 상세히 설명하면, 일정한 속도로 B1->B1'->B1''->B1로 반복적으로 손가락 끝점이 궤적의 변화를 나타내는 경우에는 하향스크롤로 인식하고, 일정한 속도로 B1->B1''->B1'->B1로 반복적으로 손가락 끝점이 궤적의 변화를 나타내는 경우에는 상향스크롤로 인식한다. 이러한 방식을 통해 우향스크롤 및 좌향스크롤을 인식한다. 한편 B1'과 B1''의 지름에 상관하여 스크롤 값을 행하고, 이의 속도에 상관하여 스크롤되는 속도가 변화된다.
도 11k에서 도시한 것과 같이, 손가락 끝점(B1)을 인식한 후, A-B1-C의 연장선 방향에서 인식된 손가락 끝점의 깊이 변화 및 궤적의 변화를 이용하여 터치 인식을 수행할 수 있다. 좀 더 상세히 설명하면, 손가락 끝점(B)을 가르치는 C3에서 왼쪽방향의 C3'으로 위로 모서리를 선택하여 페이지를 뒤로 넘기거나, 손가락 끝점(B)을 가르치는 C1에서 오른쪽방향의 C1'로 위로 모서리를 선택하여 페이지를 앞으로 넘기도록 제어하는데 이용된다.
이러한 터치 방법을 통해 사용자가 원격에서 전자기기를 조작할 때에도 마치 터치패널 표면을 터치하는 것과 같은 편리한 사용자 인터페이스를 제공할 수 있어서, 전자기기 표시면에 포인터를 사용하지 않고도 전자기기의 조작이 가능하고, 또한 터치패널의 특정 부분을 정교하게 터치하는 것과 같이 정확한 영역을 선택함으로써, 다양한 화면조작이 가능하게 된다.
상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (14)

  1. 서로 다른 위치에 배치되는 2개 이상의 이미지 센서로 구성되며 상기 표시면 전방의 사용자 신체를 촬영하는 영상획득부와, 상기 영상획득부로부터 수신한 영상을 이용하여 상기 사용자 신체의 3차원 좌표 데이터를 산출하는 공간좌표 산출부와, 상기 공간좌표 산출부로부터 수신한 제1 공간좌표와 제2 공간좌표를 이용하여 상기 제1 공간좌표와 제2 공간좌표를 연결하는 직선이 상기 표시면과 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부 및 상기 터치 위치 산출부로부터 수신된 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부로 입력하는 가상 터치 처리부로 구성되는 가상 터치 장치를 통해,
    (A) 손가락 끝의 3차원 좌표 데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 3차원 좌표 데이터(X2, Y2, Z2)를 처리하여 디스플레이 표시면(C)과, 손가락 끝점(B)과, 한쪽 눈의 접점(A)을 각각 검출하는 단계와,
    (B) 상기 검출된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 산출하는 단계와,
    (C) 산출된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 기반으로 전자기기의 조작이 가능하고, 또한 터치패널의 특정 부분을 터치하는 것과 같이 해당 영역을 선택하는 단계를 포함하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법.
  2. 사용자 신체의 3차원 좌표 데이터를 추출하는 3차원 좌표 산출장치와, 상기 3차원 좌표 산출장치로부터 수신한 제1 공간좌표와 제2 공간좌표를 이용하여 상기 제1 공간좌표와 제2 공간좌표를 연결하는 직선이 상기 표시면과 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부 및 상기 터치 위치 산출부로부터 수신된 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부로 입력하는 가상 터치 처리부를 포함하는 제어부로 구성되는 가상 터치 장치를 통해,
    (A) 손가락 끝의 3차원 좌표 데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 3차원 좌표 데이터(X2, Y2, Z2)를 처리하여 디스플레이 표시면(C)과, 손가락 끝점(B)과, 한쪽 눈의 접점(A)을 각각 검출하는 단계와,
    (B) 상기 검출된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 산출하는 단계와,
    (C) 산출된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 기반으로 전자기기의 조작이 가능하고, 또한 터치패널의 특정 부분을 터치하는 것과 같이 해당 영역을 선택하는 단계를 포함하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 A-B1-C의 연장선 방향에서 상기 손가락 끝점(B1)을 상기 C 방향의 B2로 이동한 후, B2의 위치에서 미리 정의된 시간 이상 유지되었을 경우, 상기 B1을 기준으로 B2의 깊이 값의 차이를 인식하여 상기 C의 터치로 인식하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법.
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 A-B1-C의 연장선 방향에서 상기 손가락 끝점(B1)을 상기 C 방향의 B2로, 다시 연속해서 B2를 상기 A 방향의 B1로 이동하면, 상기 B1을 기준으로 B2의 깊이 값의 차이 및 상기 B2를 기준으로 B1의 깊이 값의 차이를 인식하여 상기 C의 라이트 터치로 인식하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법.
  5. 제 1 항 또는 제 2 항에 있어서,
    동시에 두 손가락 끝점(B1)(B2)을 인식한 후, 디스플레이 표시면(C3)의 양측의 표시면 C1, C2를 기준으로 A-B1-C1 및 A-B2-C2의 연장선 방향에서 상기 B1 및 B2의 거리가 1Cm 미만으로 가까워지면, 상기 C3의 표시면에 위치하는 이미지가 다른 위치로 이동될 준비로 인식하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법.
  6. 제 5 항에 있어서,
    상기 다른 위치로 이동될 준비로 인식된 이미지를 선택한 채로 상기 두 손가락 끝의 궤적의 변화를 이용하여 선택된 표시면의 접점을 기준으로 선분을 그리거나 표시면의 다른 위치로 이동, 복사, 잘라내기 중 어느 하나로 제어하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법.
  7. 제 1 항 또는 제 2 항에 있어서,
    상기 A-B1-C의 연장선 방향에서 상기 손가락 끝점(B1)을 상기 좌우 중 어느 하나의 방향인 B2로 이동하면, B1을 기준으로 B2의 궤적 변화의 차이를 인식하여 상기 C의 표시면에 위치하는 이미지를 A-B2-C의 연장선 방향으로 평면 이동한 것으로 제어하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법.
  8. 제 1 항 또는 제 2 항에 있어서,
    동시에 두 손가락 끝점(B1)(B2)을 인식한 후, A-B1-C의 연장선 방향에서 디스플레이 표시면(C1)을 가르키는 검지의 끝점(B1)과 나머지 한 손가락 끝점(B2)의 각도의 변화를 이용하여 터치 인식을 수행하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법.
  9. 제 1 항 또는 제 2 항에 있어서,
    동시에 두 손가락 끝점(B1)(B2)을 인식하거나, A-B1-C의 연장선 방향에서 서로 다른 손 각각의 손가락 끝점(B1)(B2)을 동시에 인식한 후, 상기 인식된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 기반으로 멀티 터치 인식을 수행하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법.
  10. 제 1 항 또는 제 2 항에 있어서,
    동시에 두 손가락 끝점(B1)(B2)을 인식한 후, A-B1-C의 연장선 방향에서 두 손가락 끝점(B1)(B2)의 거리 변화를 이용하여 화면상에 표시되는 문서, 서브 윈도우의 크기를 확대 또는 축소하거나, 또는 레벨의 증가 또는 감소되도록 제어하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법.
  11. 제 1 항 또는 제 2 항에 있어서,
    A-B1-C의 연장선 방향에서 인식된 손가락 끝점(B1)의 회전되는 방향으로 상기 C의 표시면에 위치하는 이미지를 제어하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법.
  12. 제 1 항 또는 제 2 항에 있어서,
    A-B1-C의 연장선 방향에서 인식된 손가락 끝점(B1)을 상->하->상->하, 하->상->하->상, 좌->우->좌->우 및 우->좌->우->좌 중 어느 하나의 방향으로 일정한 속도로 반복적으로 이동하는 경우에 이동되는 거리 및 방향을 기반으로 C의 표시면에 위치하는 이미지가 스크롤되도록 제어하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법.
  13. 제 12 항에 있어서,
    상기 스크롤은 반복되는 속도에 기반하여 스크롤되는 속도가 변화되는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법.
  14. 제 1 항 또는 제 2 항에 있어서,
    A-B1-C의 연장선 방향에서 인식된 손가락 끝점(B1)을 가르치는 C3에서 왼쪽 또는 오른쪽 방향의 C3'으로 위로 모서리를 선택하여 표시면에 표시되는 이미지 또는 문서의 페이지가 변화되도록 제어하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법.
KR1020110044359A 2011-05-12 2011-05-12 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법 KR20120126508A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110044359A KR20120126508A (ko) 2011-05-12 2011-05-12 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
PCT/KR2012/003703 WO2012154001A2 (ko) 2011-05-12 2012-05-11 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110044359A KR20120126508A (ko) 2011-05-12 2011-05-12 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법

Publications (1)

Publication Number Publication Date
KR20120126508A true KR20120126508A (ko) 2012-11-21

Family

ID=47139830

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110044359A KR20120126508A (ko) 2011-05-12 2011-05-12 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법

Country Status (2)

Country Link
KR (1) KR20120126508A (ko)
WO (1) WO2012154001A2 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014129681A1 (ko) * 2013-02-21 2014-08-28 엘지전자 주식회사 디스플레이 장치 및 디스플레이 장치의 포인팅 방법
KR101453815B1 (ko) * 2014-08-01 2014-10-22 스타십벤딩머신 주식회사 사용자의 시점을 고려하여 동작인식하는 인터페이스 제공방법 및 제공장치
WO2015050380A1 (ko) * 2013-10-02 2015-04-09 삼성전자 주식회사 화상 표시 장치 및 그의 포인팅 방법
KR101533319B1 (ko) * 2014-02-22 2015-07-03 주식회사 브이터치 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
WO2015182955A1 (ko) * 2014-05-26 2015-12-03 이윤택 홀로그래피 터치 기술 및 프로젝터 터치 기술
CN105843429A (zh) * 2015-01-14 2016-08-10 深圳市华星光电技术有限公司 悬浮触控方法
US9857877B2 (en) 2014-08-25 2018-01-02 Samsung Electronics Co., Ltd. Apparatus and method of recognizing movement of subject
US9910507B2 (en) 2013-10-02 2018-03-06 Samsung Electronics Co., Ltd. Image display apparatus and pointing method for same
US10101830B2 (en) 2013-10-17 2018-10-16 Samsung Electronics Co., Ltd. Electronic device and method for controlling operation according to floating input
WO2021177674A1 (ko) * 2020-03-03 2021-09-10 주식회사 브이터치 2차원 이미지로부터 사용자의 제스처를 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US11294510B2 (en) 2019-03-11 2022-04-05 VTouch Co., Ltd. Method, system and non-transitory computer-readable recording medium for supporting object control by using a 2D camera

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019008351A (ja) * 2017-06-20 2019-01-17 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
CN112466187B (zh) * 2020-12-08 2023-04-18 杭州优必学科技有限公司 一种基于手势的实物编程控制方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001088681A1 (en) * 2000-05-17 2001-11-22 Koninklijke Philips Electronics N.V. Apparatus and method for indicating a target by image processing without three-dimensional modeling
KR100907104B1 (ko) * 2007-11-09 2009-07-09 광주과학기술원 포인팅 지점 산출 방법 및 장치, 그리고 상기 장치를포함하는 원격 협업 시스템
KR101585466B1 (ko) * 2009-06-01 2016-01-15 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치
KR101082829B1 (ko) * 2009-10-05 2011-11-11 백문기 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014129681A1 (ko) * 2013-02-21 2014-08-28 엘지전자 주식회사 디스플레이 장치 및 디스플레이 장치의 포인팅 방법
US9910507B2 (en) 2013-10-02 2018-03-06 Samsung Electronics Co., Ltd. Image display apparatus and pointing method for same
WO2015050380A1 (ko) * 2013-10-02 2015-04-09 삼성전자 주식회사 화상 표시 장치 및 그의 포인팅 방법
US10101830B2 (en) 2013-10-17 2018-10-16 Samsung Electronics Co., Ltd. Electronic device and method for controlling operation according to floating input
US10642372B2 (en) 2014-02-22 2020-05-05 VTouch Co., Ltd. Apparatus and method for remote control using camera-based virtual touch
KR101533319B1 (ko) * 2014-02-22 2015-07-03 주식회사 브이터치 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
WO2015126197A1 (ko) * 2014-02-22 2015-08-27 주식회사 브이터치 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
US10234954B2 (en) 2014-02-22 2019-03-19 Vtouch Co., Ltd Apparatus and method for remote control using camera-based virtual touch
WO2015182955A1 (ko) * 2014-05-26 2015-12-03 이윤택 홀로그래피 터치 기술 및 프로젝터 터치 기술
US10365713B2 (en) 2014-08-01 2019-07-30 Starship Vending-Machine Corp. Method and apparatus for providing interface recognizing movement in accordance with user's view
WO2016017932A1 (ko) * 2014-08-01 2016-02-04 스타십벤딩머신 주식회사 사용자의 시점을 고려하여 동작인식하는 인터페이스 제공방법 및 제공장치
KR101453815B1 (ko) * 2014-08-01 2014-10-22 스타십벤딩머신 주식회사 사용자의 시점을 고려하여 동작인식하는 인터페이스 제공방법 및 제공장치
US9857877B2 (en) 2014-08-25 2018-01-02 Samsung Electronics Co., Ltd. Apparatus and method of recognizing movement of subject
US10401969B2 (en) 2014-08-25 2019-09-03 Samsung Electronics Co., Ltd. Apparatus and method of recognizing movement of subject
CN105843429A (zh) * 2015-01-14 2016-08-10 深圳市华星光电技术有限公司 悬浮触控方法
US11294510B2 (en) 2019-03-11 2022-04-05 VTouch Co., Ltd. Method, system and non-transitory computer-readable recording medium for supporting object control by using a 2D camera
WO2021177674A1 (ko) * 2020-03-03 2021-09-10 주식회사 브이터치 2차원 이미지로부터 사용자의 제스처를 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR20210111619A (ko) * 2020-03-03 2021-09-13 주식회사 브이터치 2차원 이미지로부터 사용자의 제스처를 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Also Published As

Publication number Publication date
WO2012154001A3 (ko) 2013-03-21
WO2012154001A2 (ko) 2012-11-15

Similar Documents

Publication Publication Date Title
KR101151962B1 (ko) 포인터를 사용하지 않는 가상 터치 장치 및 방법
KR101381928B1 (ko) 포인터를 사용하지 않는 가상 터치 장치 및 방법
KR20120126508A (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
JP6348211B2 (ja) コンピュータ装置の遠隔制御
US8854433B1 (en) Method and system enabling natural user interface gestures with an electronic system
EP2733585B1 (en) Remote manipulation device and method using a virtual touch of a three-dimensionally modeled electronic device
CN108469899B (zh) 识别可穿戴显示装置的观察空间中的瞄准点或区域的方法
JP5167523B2 (ja) 操作入力装置および操作判定方法並びにプログラム
JP6165485B2 (ja) 携帯端末向けａｒジェスチャユーザインタフェースシステム
US8648802B2 (en) Collapsible input device
US10591988B2 (en) Method for displaying user interface of head-mounted display device
KR101343748B1 (ko) 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
KR101441882B1 (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 디스플레이 표시면 둘레의 가상 평면을 사용하여 전자기기를 제어하는 방법
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
JP6344530B2 (ja) 入力装置、入力方法、及びプログラム
WO2013082760A1 (en) Method and system for responding to user's selection gesture of object displayed in three dimensions
KR101321274B1 (ko) 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치
KR20120136719A (ko) 손과 눈의 3차원 위치정보를 이용한 원거리 스크린 상의 물체지목 및 제어방법
TW201439813A (zh) 顯示設備及其控制系統和方法
US20130201157A1 (en) User interface device and method of providing user interface
KR101272458B1 (ko) 포인터를 사용하지 않는 가상 터치 장치 및 방법
Colaço Sensor design and interaction techniques for gestural input to smart glasses and mobile devices
JP6008904B2 (ja) 表示制御装置、表示制御方法、及び、プログラム
Matulic et al. Above-Screen Fingertip Tracking with a Phone in Virtual Reality
KR20130133482A (ko) 티오에프 카메라를 이용한 포인터를 사용하지 않는 가상 터치 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
N231 Notification of change of applicant