KR20130119094A - 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치 - Google Patents

포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치 Download PDF

Info

Publication number
KR20130119094A
KR20130119094A KR20120041985A KR20120041985A KR20130119094A KR 20130119094 A KR20130119094 A KR 20130119094A KR 20120041985 A KR20120041985 A KR 20120041985A KR 20120041985 A KR20120041985 A KR 20120041985A KR 20130119094 A KR20130119094 A KR 20130119094A
Authority
KR
South Korea
Prior art keywords
user
transparent display
image acquisition
unit
virtual touch
Prior art date
Application number
KR20120041985A
Other languages
English (en)
Other versions
KR101343748B1 (ko
Inventor
김석중
Original Assignee
주식회사 브이터치
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 브이터치 filed Critical 주식회사 브이터치
Priority to KR1020120041985A priority Critical patent/KR101343748B1/ko
Priority to CN201380021497.9A priority patent/CN104246664B/zh
Priority to PCT/KR2013/003421 priority patent/WO2013162236A1/ko
Priority to US14/396,385 priority patent/US20150116204A1/en
Publication of KR20130119094A publication Critical patent/KR20130119094A/ko
Application granted granted Critical
Publication of KR101343748B1 publication Critical patent/KR101343748B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 얼굴에 착용 가능한 디스플레이부를 통해 사용자의 바로 눈 앞에 위치한 투명 디스플레이부를 이용하여 정교한 조작이 가능하고, 사용자가 향하고 있는 방향이나 위치에 상관없이 언제나 컨텐츠가 식별 가능하도록 제공하는 투명 디스플레이 가상 터치 장치를 제공하기 위한 것으로서, 사용자 얼굴에 착용되도록 구성되어 눈앞에 위치되고, 화면에 컨텐츠를 표시하는 투명 디스플레이부와, 상기 투명 디스플레이부의 일측에 부착되어 사용자 눈의 위치를 촬영하는 제 1 영상 획득부와, 상기 투명 디스플레이부의 일측에 부착되어 사용자 신체를 촬영하는 제 2 영상 획득부와, 상기 제 1 영상 획득부 및 제 2 영상 획득부를 통해 촬영된 영상을 이용하여 각각 산출된 3차원 좌표 데이터를 이용하여 제1 공간좌표 및 제2 공간좌표를 검출하고, 상기 제1 공간좌표 및 제2 공간좌표를 연결하는 직선이 상기 투명 디스플레이의 표시면과 만나는 접점 좌표 데이터를 산출하는 가상 터치 처리부를 포함하여 구성되는데 있다.

Description

포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치{Transparent display virtual touch apparatus without pointer}
본 발명은 카메라에서 촬영된 영상을 이용하여 사용자 신체의 일부분을 인식한 후 이로부터 사용자 신체에 착용한 투명 디스플레이와의 접점을 계산한 후 디스플레이의 접점에 표시되는 컨텐츠를 가상 터치하여 전자기기의 인터페이스를 조작 또는 컨텐츠 관련 정보를 획득할 수 있는 투명 디스플레이 가상 터치 장치에 관한 것이다.
본 발명은 종래 터치패널 기술(무포인터)과 디스플레이의 포인터 기술(유포인터)의 비교에서 출발한다. 최근 스마트폰과 같이 터치패널을 구비한 전자기기들이 널리 사용되고 있다. 이러한 터치패널 기술은 기존 마우스로 조작 가능한 컴퓨터, 스마트TV 등의 전자기기와 비교할 때, 디스플레이에 포인터를 표시할 필요가 없다는 장점이 있다. 즉, 사용자는 전자기기 조작을 위해 포인터(컴퓨터의 커서)를 해당 위치(예, 프로그램 아이콘)까지 이동시킬 필요 없이, 손가락을 직접 아이콘 위로 이동한 후 터치하여 동작을 수행한다. 이러한 터치패널 기술에서는 기존 전자기기 제어수단으로 필수적인 "포인터 생성 및 이동단계"가 생략되어 전자기기의 빠르고 직관적인 조작이 가능하다.
그러나 터치패널 기술은 위와 같은 편리성에도 불구하고 사용자가 디스플레이 표시면을 직접 터치해야 하기 때문에 원격에서는 이용할 수 없다는 단점이 있다. 따라서 터치패널 기술을 채용하는 전자기기라 하더라도 원격 조작을 위해서는 종래 리모컨과 같은 장치에 의존할 수밖에 없다.
최근 원격 전자기기 제어장치로서 터치패널 기술과 같이 정확한 지점에 포인터를 생성할 수 있는 장치, 즉 2대의 카메라를 이용하여 디스플레이 전면을 촬영한 후 촬영된 이미지로부터 사용자의 눈과 손가락의 연장 직선이 디스플레이부와 만나는 접점에 포인터를 생성시키는 기술이 공개된 특허출원 문헌(국내공개특허 제2010-0129629호 2010.12.09)에서 공개된 바 있다.
그러나 이러한 종래기술들은 전자기기의 조작 또는 정보 획득을 위한 디스플레이부가 사용자의 자리로부터 원격에 위치하므로 상대적으로 정교한 조작이 어려운 문제점이 있다.
또한, 전자기기의 조작 또는 정보 획득을 위한 가상 터치를 위해서 반드시 디스플레이 방향으로 사용자의 시선을 고정한 후 가상 터치 동작을 수행하여야만 하는 불편함이 있다.
아울러, 디스플레이부가 구비되어 있지 않은 전자기기의 경우에는 조작 자체가 불가능한 문제점이 있다.
따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 얼굴에 근접 착용 가능한 디스플레이부를 통해 사용자가 정교한 조작이 가능하게 하는 가상 터치 장치를 제공하는데 목적이 있다.
또한, 본 발명의 다른 목적은 사용자가 착용 가능한 투명 디스플레이를 사용함으로써 사용자가 향하고 있는 방향이나 위치에 상관없이 사용자 투명 디스플레이상에서 언제나 컨텐츠가 식별 가능하도록 제공하는데 목적이 있다.
본 발명의 또 다른 목적은 디스플레이부를 가지지 않는 전자기기의 조작 또는 관련 정보의 획득이 가능한 투명 디스플레이 가상 터치 장치를 제공하는데 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 투명 디스플레이를 이용한 가상 터치 장치의 특징은 사용자 얼굴에 착용되도록 구성되어 눈앞에 위치되고, 화면에 컨텐츠를 표시하는 투명 디스플레이부와, 상기 투명 디스플레이부의 일측에 부착되어 사용자 눈의 위치를 촬영하는 제 1 영상 획득부와, 상기 투명 디스플레이부의 일측에 부착되어 사용자 신체를 촬영하는 제 2 영상 획득부와, 상기 제 1 영상 획득부 및 제 2 영상 획득부를 통해 촬영된 영상을 이용하여 각각 산출된 3차원 좌표 데이터를 이용하여 제1 공간좌표 및 제2 공간좌표를 검출하고, 상기 제1 공간좌표 및 제2 공간좌표를 연결하는 직선이 상기 투명 디스플레이의 표시면과 만나는 접점 좌표 데이터를 산출하는 가상 터치 처리부를 포함하여 구성되는데 있다.
바람직하게 상기 가상 터치 처리부는 투명 디스플레이부 및 제 1, 2 영상 획득부와 일체형으로 구성되거나, 또는 별도로 독립적인 휴대 가능한 단말기로 구성되는 것을 특징으로 한다.
바람직하게 상기 가상 터치 처리부는 상기 제 1 영상 획득부 및 제 2 영상 획득부를 통해 촬영된 영상을 이용하여 각각 3차원 좌표 데이터를 산출하고, 제 1 공간좌표 및 제 2 공간좌표를 추출하는 3차원 좌표 산출부와, 상기 3차원 좌표 산출부로부터 추출한 상기 제 1 공간좌표 및 제 2 공간좌표를 서로 연결하는 직선이 상기 투명 디스플레이부와 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부와, 상기 터치 위치 산출부에서 산출된 접점 좌표 데이터와 매칭되는 투명 디스플레이부에 표시되는 컨텐츠를 선택하고, 선택된 컨텐츠 관련 서비스를 수행하는 명령코드를 출력하는 매칭 처리부를 포함하여 구성되는 것을 특징으로 한다.
바람직하게 상기 컨텐츠는 영상, 동영상, 텍스트, 이미지, 3D 중 적어도 하나 이상을 포함하는 것을 특징으로 한다.
바람직하게 상기 명령코드는 특정 전자기기의 인터페이스 조작을 위한 명령코드이거나, 또는 특정 물품(건물)에 따른 건물명, 지번, 상호, 홍보 문구, 서비스 문구 중 적어도 하나를 상기 투명 디스플레이부에 제공하여 표시하기 위한 명령코드인 것을 특징으로 한다.
바람직하게 상기 3차원 좌표 산출부는 상기 제 1 영상 획득부에서 촬영한 사용자의 눈 영상을 기반으로 3차원 좌표 추출 방법을 이용하여 제 2 공간좌표를 산출하고, 상기 제 2 영상 획득부에서 촬영한 사용자 신체 영상을 기반으로 3차원 좌표 추출 방법을 이용하여 제 1 공간좌표를 산출하는 것을 특징으로 한다.
바람직하게 상기 3차원 좌표 산출부는 서로 다른 위치에 배치되는 2개 이상의 이미지 센서로 구성되어 각기 다른 각도에서 사용자 신체를 촬영하는 영상 획득부와, 상기 영상 획득부로부터 수신한 각기 다른 각도에서 촬영된 영상을 기반으로 광학적인 삼각 측량법을 이용하여 사용자 신체의 3차원 좌표 데이터를 산출하는 공간좌표 산출부를 포함하는 것을 특징으로 한다.
바람직하게 상기 3차원 좌표 산출부는 사용자에게 코드화된 패턴영상을 투영하고 구조광이 투영된 장면의 영상을 처리하는 방법으로 상기 3차원 좌표 데이터를 획득하도록 구성하는 것을 특징으로 한다.
바람직하게 상기 3차원 좌표 산출부는 광원과 산광기로 구성되어, 사용자 신체에 스페클 패턴을 투영하는 조명어셈블리와, 이미지센서 및 렌즈로 구성되어, 상기 조명어셈블리에 의해 투영된 상기 사용자 신체상의 스페클 패턴을 캡처하는 영상 획득부와, 상기 영상 획득부에서 캡처한 스페클 패턴을 기반으로 사용자 신체의 3차원 좌표 데이터를 산출하는 공간좌표 산출부를 포함하는 것을 특징으로 한다.
바람직하게 상기 3차원 좌표 산출부는 2개 이상으로 서로 다른 위치에 배치되도록 구성되는 것을 특징으로 한다.
바람직하게 상기 제 1 공간좌표는 상기 사용자 손가락 중 어느 한 손가락의 끝, 상기 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 상기 제 2 공간좌표는 상기 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표로 구성되는 것을 특징으로 한다.
바람직하게 상기 제 1 공간좌표는 상기 사용자 손가락 중 2개 이상의 손가락 끝의 3차원 좌표들이고, 상기 제 2 공간좌표는 상기 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표로 구성되는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 투명 디스플레이 가상 터치 장치는 다음과 같은 효과가 있다.
첫째, 본 발명에 따른 투명 디스플레이 가상 터치 장치는 "사용자의 눈 - 디스플레이 - 사용자의 손가락"의 구조를 가지기 때문에, 사용자의 눈 바로 전면에 디스플레이가 위치하여 사용자는 디스플레이에 선명하게 표시된 컨텐츠를 정확하게 포인팅할 수 있어 정교한 조작이 가능한 효과가 있다.
둘째, 본 발명에 따른 투명 디스플레이 가상 터치 장치는 사용자의 눈 바로 앞에 투명 디스플레이를 착용함으로써 사용자의 머리 움직임에 따라 투명 디스플레이도 자연스럽게 이동이 가능하다. 이에 따라 사용자의 시선이 어느 방향을 가리키든지 투명 디스플레이에 표시된 컨텐츠를 볼 수 있어서 언제든지 전자기기의 조작 또는 정보 선택이 가능한 장점이 있다.
셋째, 본 발명에서는 디스플레이부가 없는 전자기기의 조작에도 사용될 수 있다. 즉, 본 발명에서는 사용자의 눈 바로 앞에 부착되어 있는 투명 디스플레이부가 전자기기의 디스플레이부와 같은 역할 수행이 가능하므로 디스플레이부가 없는 전자기기의 조작이 가능하다. 예를 들면, 조명기기, 냉장고, 에어컨, 프린터 등 다양한 전자기기의 경우 원격에서 사용자가 볼 수 있는 디스플레이부를 별도로 구비하고 있지 않지만 본 발명에 따른 투명 디스플레이 가상 터치 장치를 사용할 경우 이러한 각종 전자기기의 조작이 가능하다.
도 1 은 본 발명의 바람직한 실시예에 따른 투명 디스플레이를 이용한 가상 터치 장치를 나타낸 구성도
도 2 는 본 발명의 바람직한 실시예에 따른 투명 디스플레이를 이용한 가상 터치 장치를 나타낸 블록도
도 3 은 도 2에서 3차원 좌표 추출 방법 중 광학식 삼각측량법을 위한 3차원 좌표 산출부의 구성을 나타낸 블록도
도 4 는 도 2에서 3차원 좌표 추출 방법 중 구조광 방식을 위한 3차원 좌표 산출부의 구성을 나타낸 블록도
도 5 는 본 발명의 실시예에 따른 투명 디스플레이를 이용한 가상 터치 방법을 설명하기 위한 흐름도
본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
본 발명에 따른 투명 디스플레이를 이용한 가상 터치 장치의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록 하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1 은 본 발명의 바람직한 실시예에 따른 투명 디스플레이를 이용한 가상 터치 장치를 나타낸 구성도이고, 도 2 는 본 발명의 바람직한 실시예에 따른 투명 디스플레이를 이용한 가상 터치 장치를 나타낸 블록도이다.
도 1 및 도 2와 같이, 가상 터치 장치는 사용자 얼굴에 착용되도록 구성되어 눈앞에 위치되고, 화면에 컨텐츠를 표시하는 투명 디스플레이부(20)와, 상기 투명 디스플레이부(20)의 일측에 부착되어 사용자 눈의 위치를 촬영하는 제 1 영상 획득부(30)와, 상기 투명 디스플레이부(20)의 일 측에 부착되어 사용자 신체를 촬영하는 제 2 영상 획득부(40)와, 상기 제 1 영상 획득부(30) 및 제 2 영상 획득부(40)를 통해 촬영된 영상을 이용하여 각각 산출된 3차원 좌표 데이터를 이용하여 제 1 공간좌표 및 제 2 공간좌표를 검출하고, 상기 제 1 공간좌표 및 제 2 공간좌표를 연결하는 직선이 상기 투명 디스플레이(20)의 표시면과 만나는 접점 좌표 데이터를 산출하는 가상 터치 처리부(100)를 포함한다. 이때, 상기 가상 터치 처리부(100)는 투명 디스플레이부(20) 및 제 1, 2 영상 획득부(30)(40)와 일체형으로 구성되거나, 또는 다른 구성요소들(20)(30)(40)과는 별도로 독립적인 휴대 가능한 단말기로 구성될 수 있다.
상기 가상 터치 처리부(100)는 상기 제 1 영상 획득부(30) 및 제 2 영상 획득부(40)를 통해 촬영된 영상을 이용하여 각각 3차원 좌표 데이터를 산출하고, 제 1 공간좌표 및 제 2 공간좌표를 추출하는 3차원 좌표 산출부(110)와, 상기 3차원 좌표 산출부(110)로부터 추출한 상기 제 1 공간좌표(B) 및 제 2 공간좌표(A)를 서로 연결하는 직선이 상기 투명 디스플레이부(20)와 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부(120)와, 상기 터치 위치 산출부(120)에서 산출된 접점 좌표 데이터와 매칭되는 투명 디스플레이부(20)에 표시되는 컨텐츠를 선택하고, 선택된 컨텐츠 관련 서비스를 수행하는 명령코드를 출력하는 매칭 처리부(130)를 포함한다. 상기 컨텐츠는 영상, 동영상, 텍스트, 이미지, 3D 중 적어도 하나 이상을 포함한다.
이때, 상기 명령코드는 특정 전자기기의 인터페이스 조작을 위한 명령코드이거나, 또는 특정 물품(건물)에 따른 건물명, 지번, 상호, 홍보 문구, 서비스 문구등과 같은 다양한 정보를 상기 투명 디스플레이부(20)에 제공하여 표시하기 위한 명령코드이다. 한편, 상기 명령코드 및 특정 물품(건물)에 따른 건물명, 지번, 상호, 홍보 문구, 서비스 문구등과 같은 다양한 정보는 상기 가상 터치 처리부(100)의 저장부(미도시)에 미리 저장되어 있다. 또한, 상기 건물명 등 다양한 정보는 가상 터치 장치 외부에서 미리 저장된 후 인터넷 등 네트워크를 통하여 전송될 수도 있다.
상기 3차원 좌표 산출부(110)는 사용자가 원격에서 손 등을 통한 가상 터치를 이용하여 선택 조작을 수행하면, 제 1 영상 획득부(30)에서 촬영한 사용자의 눈 영상을 기반으로 3차원 좌표 추출 방법을 이용하여 제 2 공간좌표(A)를 산출하고, 제 2 영상 획득부(40)에서 촬영한 사용자 신체(손가락) 영상을 기반으로 3차원 좌표 추출 방법을 이용하여 제 1 공간좌표(B)를 산출한다. 이때, 상기 3차원 좌표 추출 방법으로는 광학적 삼각측량법, 구조광방식, 시간지연측정법(Time of Flight) 등 다수 있으며(현재 3차원 좌표 산출방식과 관련하여 정확한 분류 방식이 확립되어 있지 않아 서로 중복되어 포함되는 방식이 있을 수 있음), 사용자 신체의 3차원 좌표를 추출할 수 있는 어떠한 방식 또는 장치도 적용이 가능하다.
도 3 은 도 2에서 3차원 좌표 추출 방법 중 광학식 삼각측량법을 위한 3차원 좌표 산출부의 구성을 나타낸 블록도이다.
도 3과 같이, 광학식 삼각측량법을 위한 3차원 좌표 산출부(110)는 영상 획득부(111)와, 공간좌표 산출부(112)를 포함한다.
상기 영상 획득부(111)는 일종의 카메라 모듈로서, 영상을 검출하여 전기적인 이미지 신호로 변환하는 CCD 또는 CMOS와 같은 서로 다른 위치에 배치되는 2개 이상의 이미지 센서(111a)(111b)로 구성되어 각기 다른 각도에서 사용자 신체를 촬영한다. 그리고 상기 공간좌표 산출부(112)는 영상 획득부(111)로부터 수신한 각기 다른 각도에서 촬영된 영상을 기반으로 광학적인 삼각 측량법을 이용하여 사용자 신체의 3차원 좌표 데이터를 산출한다.
이처럼, 광학식 삼각측량법은 촬영한 영상 간에 대응되는 특징점들에게 광학적인 삼각 측량법을 적용하여 3차원 정보를 획득할 수 있다. 삼각법을 적용하여 3차원 좌표를 추출하는 각종 관련 기법으로 카메라 자동보정(camera self calibration) 기법, Harris의 코너 추출 방법, SIFT 기법, RANSAC 기법, Tsai 기법 등이 흔히 채용된다.
도 4 는 도 2에서 3차원 좌표 추출 방법 중 구조광 방식을 위한 3차원 좌표 산출부의 구성을 나타낸 블록도이다.
도 4에서 3차원 좌표 산출부(110)는 사용자에게 코드화된 패턴영상을 투영하고 구조광이 투영된 장면의 영상을 처리하는 방법으로 상기 3차원 좌표 데이터를 획득하도록 구성하는 방법으로, 광원(113a)과 산광기(113b)로 구성되어, 사용자 신체에 스페클 패턴을 투영하는 조명어셈블리(113)와, 이미지센서(114a) 및 렌즈(114b)로 구성되어, 상기 조명어셈블리(113)에 의해 투영된 상기 사용자 신체상의 스페클 패턴을 캡처하는 영상 획득부(114)와, 상기 영상 획득부(114)에서 캡처한 스페클 패턴을 기반으로 구조광 방식을 이용하여 사용자 신체의 3차원 좌표 데이터를 산출하는 공간좌표 산출부(115)를 포함한다.
상기 언급한 각종 3차원 좌표 산출 기법들은 본 발명이 속하는 기술분야의 당업자가 용이하게 알 수 있고 구현이 가능한 것들이므로 이에 대한 설명은 생략하기로 한다. 한편, 2차원 이미지를 이용하여 3차원 좌표 데이터를 산출하는 방법과 관련된 특허문헌으로 국내공개특허 제10-0021803호, 제10-2004-0004135호, 제10-2007-0066382호, 제10-2007-0117877호 등 다수가 존재한다.
한편, 상기 터치 위치 산출부(120)는 3차원 좌표 산출부(110)에서 추출한 제 1 공간좌표(손가락)와 제 2 공간좌표(눈)를 이용하여 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 상기 투명 디스플레이부(20)와 만나는 접점 좌표 데이터를 산출하는 역할을 수행한다.
이때, 상기 제 1 공간좌표(B)로는 손가락을 이용한다. 즉, 사람의 신체 중에서 손가락은 정교하고 섬세한 조작이 가능한 유일한 부분이다. 특히, 손가락 중에서도 엄지 또는 집게손가락 중에서 어느 하나를 사용하거나 두 손가락을 함께 사용할 경우 정교한 포인팅을 수행할 수 있다. 이에 따라, 본 발명에서 제 1 공간좌표(B)로서 엄지 및/또는 집게손가락의 끝부분을 사용하는 것이 매우 효과적이다. 또한 같은 맥락에서 상기 제 1 공간좌표(B)의 역할을 하는 손가락의 끝부분을 대신하여 손가락으로 파지하고 있는 끝이 뾰족한 포인터(예, 펜끝)를 사용할 수도 있다.
또한 상기 제 2 공간좌표(A)로는 사용자의 한쪽 눈의 중심점을 이용한다. 예를 들어 사용자가 두 눈 앞에 집게손가락을 배치시켜 쳐다보면 상기 집게손가락은 2개로 보일 것이다. 이는 사용자 양안이 각각 바라보는 집게손가락의 형상이 서로 다르기 때문에 이와 같은 현상이 발생한다(양안의 각도차에 의한 것임). 그러나 만약 한쪽 눈으로만 집게손가락을 바라본다면 집게손가락이 명확하게 보일 것이다. 또한 굳이 한쪽 눈을 감지 않더라도 의식적으로 한쪽 눈으로만 바라보더라도 집게손가락은 뚜렷하게 볼 수 있다. 사격, 양궁 등과 같이 조준에 있어 고도의 정확성을 요구하는 스포츠 종목의 경우 대부분 한쪽 눈을 감고 조준하는 것도 이와 같은 원리에 따른 것이다.
본 발명에서는 한쪽 눈(제 2 공간좌표)으로만 손가락 끝(제 1 공간좌표)을 바라보았을 때 손가락 끝의 형태를 뚜렷하게 파악할 수 있다는 원리를 채용하는 것이다. 이와 같이 사용자가 제 1 공간좌표(B)를 정확히 볼 수 있어야 제 1 공간좌표(B)와 일치되는 상기 투명 디스플레이부(20)에 표시되는 컨텐츠의 접점 좌표 데이터를 포인팅 할 수 있다.
한편, 본 발명에서 1인 사용자가 손가락 중 어느 하나를 사용하는 경우, 제 1 공간좌표는 사용자 손가락 중 어느 하나 손가락의 끝, 상기 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 제 2 공간좌표는 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표가 될 것이다. 또한 1인 사용자가 손가락 중 2개 이상을 사용하는 경우, 상기 제 1 공간좌표는 상기 사용자 손가락 중 2개 이상의 손가락의 끝이 3차원 좌표들이 될 것이다.
그리고 상기 매칭 처리부(130)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 없으면, 상기 터치 위치 산출부(120)에서 산출된 접점 좌표 데이터와 매칭되는 투명 디스플레이부(20)에 표시되는 컨텐츠를 선택한다.
또한 상기 매칭 처리부(130)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정시간 이상 상기 접점 좌표 데이터의 변동이 없으면, 제 1 공간좌표와 제 2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에 상기 터치 위치 산출부(120)에서 산출된 접점 좌표 데이터와 매칭되는 투명 디스플레이부(20)에 표시되는 컨텐츠를 선택한다.
한편, 상기 접점 좌표 데이터의 변동이 설정영역 범위 내인 것으로 판단되면 상기 접점 좌표 데이터들의 변동이 없는 것으로 간주되도록 형성될 수 있다. 즉, 사용자가 손가락 끝 또는 포인터의 끝으로 포인팅 할 때, 신체 특성상 신체 또는 손가락의 당연히 약간의 움직임 또는 떨림이 있으므로 사용자가 접점 좌표를 그대로 유지하는 것은 매우 어렵다. 따라서 상기 접점 좌표 데이터 값이 미리 정의된 설정 영역 범위 안에 존재할 때는 상기 접점 좌표 데이터의 변동이 없는 것으로 간주한다.
이와 같이 구성된 본 발명에 따른 투명 디스플레이를 이용한 가상 터치 장치의 동작을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다. 도 1 내지 도 3과 동일한 참조부호는 동일한 기능을 수행하는 동일한 부재를 지칭한다.
도 5 는 본 발명의 실시예에 따른 투명 디스플레이를 이용한 가상 터치 방법을 설명하기 위한 흐름도이다.
도 5를 참조하여 설명하면, 먼저 사용자가 원격에서 가상터치를 이용하여 선택 조작을 수행하면, 3차원 좌표 산출부(110)는 제 1 영상 획득부(30)에서 촬영한 사용자의 눈 영상을 기반으로 3차원 좌표 추출 방법을 이용하여 제 2 공간좌표(A)를 산출하고, 또한 제 2 영상 획득부(40)에서 촬영한 사용자 신체 영상을 기반으로 3차원 좌표 추출 방법을 이용하여 제 1 공간좌표(B)를 산출한다(S10). 이때, 상기 3차원 좌표 추출 방법으로는 광학적 삼각측량법, 구조광방식, 시간지연측정법(Time of Flight) 등 다수 있으며(현재 3차원 좌표 산출방식과 관련하여 정확한 분류 방식이 확립되어 있지 않아 서로 중복되어 포함되는 방식이 있을 수 있음), 사용자 신체의 3차원 좌표를 추출할 수 있는 어떠한 방식 또는 장치도 적용이 가능하다.
상기 제 1 공간좌표는 사용자 손가락 중 어느 하나 손가락의 끝, 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 상기 제 2 공간좌표는 상기 사용자의 한쪽 눈의 중심점의 3차원 좌표인 것이 바람직하다.
이어 터치 위치 산출부(120)는 상기 3차원 좌표 산출부(110)로부터 추출한 상기 제 1 공간좌표(B) 및 제 2 공간좌표(A)를 서로 연결하는 직선이 상기 투명 디스플레이부(20)와 만나는 접점 좌표 데이터를 산출한다(S20).
한편, 상기 제 1 공간좌표(B) 및 제 2 공간좌표(A)를 서로 연결하는 직선이 상기 투명 디스플레이부(20)와 만나는 접점 좌표 데이터를 산출하는 방법으로는 절대좌표방법, 상대 좌표방법 및 조작자 선택방법으로 구할 수 있다.
첫 번째인 절대좌표방법은 3차원 맵(map)과 투영된 화면을 매칭하는 시점을 역산하여 공간 좌표의 절대좌표를 얻는 방식이다. 즉, 이 방법은 GPS, 자이로센서, 나침반, 또는 기지국 정보 등 취득 가능한 다양한 경로의 위치 데이터를 통하여 카메라 화면과 매칭할 대상을 한정하여 빠른 결과물을 얻어낼 수 있다.
두 번째인 상대좌표 방법은 공간에 고정된 절대좌표를 가진 카메라가 조작자의 상대좌표의 절대좌표로의 전환을 돕는 방식이다. 즉, 이 방법은 절대좌표를 가진 카메라가 손과 눈을 읽는 경우는 공간형에 해당하며, 여기서의 기술은 개인형의 절대 좌표가 되는 한 점을 공간형이 제공하는 형태를 말한다.
마지막 세 번째인 조작자 선택방법은 현재의 스마트폰 AR 서비스와 같이 취득 가능한 정보를 기반으로 해당 범위의 컨텐츠를 디스플레이하고, 사용자에 의한 선택의 방식을 통하여 정확한 절대좌표 없이 오차범위를 포함할 수 있는 선택 메뉴를 디스플레이 한 뒤 선택하여 사용자가 스스로 오차를 배제하도록 하여 결과물을 얻게 된다.
다음으로, 매칭 처리부(130)는 상기 터치 위치 산출부(120)에서 산출된 접점 좌표 데이터와 매칭되는 투명 디스플레이부(20)에 표시되는 컨텐츠를 선택한다(S30). 이때, 상기 투명 디스플레이부(20)에 표시되는 컨텐츠는 영상, 동영상, 텍스트, 이미지, 3D 중 적어도 하나 이상을 포함한다.
그리고 상기 매칭 처리부(130)는 상기 선택된 컨텐츠 관련 서비스를 수행하는 명령코드를 출력하여 선택된 컨텐츠 관련 서비스에 따른 전자기기의 인터페이스를 조작하거나, 또는 물품(건물)에 따른 정보를 디스플레이부(20)에 제공하여 표시한다(S40). 상기 컨텐츠 관련 서비스는 3차원 지도정보를 통해 건물이나 위치의 건물명, 지번, 상호, 홍보 문구, 서비스 문구 등의 정보 또는 미술품이나 수집품 등과 같은 작품들의 설명 등을 위한 메뉴를 포함할 수도 있으며, 또는 특정 전자기기의 인터페이스 조작을 위한 조작 메뉴를 포함할 수도 있다. 그러나 이는 바람직한 일 실시예일 뿐, 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.
상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (12)

  1. 사용자 얼굴에 착용되도록 구성되어 눈앞에 위치되고, 화면에 컨텐츠를 표시하는 투명 디스플레이부와,
    상기 투명 디스플레이부의 일측에 부착되어 사용자 눈의 위치를 촬영하는 제 1 영상 획득부와,
    상기 투명 디스플레이부의 일측에 부착되어 사용자 신체를 촬영하는 제 2 영상 획득부와,
    상기 제 1 영상 획득부 및 제2 영상 획득부를 통해 촬영된 영상을 이용하여 각각 산출된 3차원 좌표 데이터를 이용하여 제 1 공간좌표 및 제 2 공간좌표를 검출하고, 상기 제 1 공간좌표 및 제 2 공간좌표를 연결하는 직선이 상기 투명 디스플레이의 표시면과 만나는 접점 좌표 데이터를 산출하는 가상 터치 처리부를 포함하여 구성되는 것을 특징으로 하는 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치.
  2. 제 1 항에 있어서,
    상기 가상 터치 처리부는 투명 디스플레이부 및 제 1, 2 영상 획득부와 일체형으로 구성되거나, 또는 별도로 독립적인 휴대 가능한 단말기로 구성되는 것을 특징으로 하는 포인터를 표시하지 않는 투명 디스플레이를 이용한 가상 터치 장치.
  3. 제 1 항에 있어서, 상기 가상 터치 처리부는
    상기 제 1 영상 획득부 및 제 2 영상 획득부를 통해 촬영된 영상을 이용하여 각각 3차원 좌표 데이터를 산출하고, 제 1 공간좌표 및 제 2 공간좌표를 추출하는 3차원 좌표 산출부와,
    상기 3차원 좌표 산출부로부터 추출한 상기 제 1 공간좌표 및 제 2 공간좌표를 서로 연결하는 직선이 상기 투명 디스플레이부와 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부와,
    상기 터치 위치 산출부에서 산출된 접점 좌표 데이터와 매칭되는 투명 디스플레이부에 표시되는 컨텐츠를 선택하고, 선택된 컨텐츠 관련 서비스를 수행하는 명령코드를 출력하는 매칭 처리부를 포함하여 구성되는 것을 특징으로 하는 포인터를 표시하지 않는 투명 디스플레이를 이용한 가상 터치 장치.
  4. 제 1 항 또는 제 3 항에 있어서,
    상기 컨텐츠는 영상, 동영상, 텍스트, 이미지, 3D 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 포인터를 표시하지 않는 투명 디스플레이를 이용한 가상 터치 장치.
  5. 제 3 항에 있어서,
    상기 명령코드는 특정 전자기기의 인터페이스 조작을 위한 명령코드이거나, 또는 특정 물품(건물)에 따른 건물명, 지번, 상호, 홍보 문구, 서비스 문구 중 적어도 하나를 상기 투명 디스플레이부에 제공하여 표시하기 위한 명령코드인 것을 특징으로 하는 포인터를 표시하지 않는 투명 디스플레이를 이용한 가상 터치 장치.
  6. 제 3 항에 있어서, 상기 3차원 좌표 산출부는
    상기 제 1 영상 획득부에서 촬영한 사용자의 눈 영상을 기반으로 3차원 좌표 추출 방법을 이용하여 제 2 공간좌표를 산출하고, 상기 제 2 영상 획득부에서 촬영한 사용자 신체 영상을 기반으로 3차원 좌표 추출 방법을 이용하여 제 1 공간좌표를 산출하는 것을 특징으로 하는 포인터를 표시하지 않는 투명 디스플레이를 이용한 가상 터치 장치.
  7. 제 6 항에 있어서, 상기 3차원 좌표 산출부는
    서로 다른 위치에 배치되는 2개 이상의 이미지 센서로 구성되어 각기 다른 각도에서 사용자 신체를 촬영하는 영상 획득부와,
    상기 영상 획득부로부터 수신한 각기 다른 각도에서 촬영된 영상을 기반으로 광학적인 삼각 측량법을 이용하여 사용자 신체의 3차원 좌표 데이터를 산출하는 공간좌표 산출부를 포함하는 것을 특징으로 하는 포인터를 표시하지 않는 투명 디스플레이를 이용한 가상 터치 장치.
  8. 제 6 항에 있어서,
    상기 3차원 좌표 산출부는 사용자에게 코드화된 패턴영상을 투영하고 구조광이 투영된 장면의 영상을 처리하는 방법으로 상기 3차원 좌표 데이터를 획득하도록 구성하는 것을 특징으로 하는 포인터를 표시하지 않는 투명 디스플레이를 이용한 가상 터치 장치.
  9. 제 8 항에 있어서, 상기 3차원 좌표 산출부는
    광원과 산광기로 구성되어, 사용자 신체에 스페클 패턴을 투영하는 조명어셈블리와,
    이미지센서 및 렌즈로 구성되어, 상기 조명어셈블리에 의해 투영된 상기 사용자 신체상의 스페클 패턴을 캡처하는 영상 획득부와,
    상기 영상 획득부에서 캡처한 스페클 패턴을 기반으로 사용자 신체의 3차원 좌표 데이터를 산출하는 공간좌표 산출부를 포함하는 것을 특징으로 하는 포인터를 표시하지 않는 투명 디스플레이를 이용한 가상 터치 장치.
  10. 제 8 항에 있어서,
    상기 3차원 좌표 산출부는 2개 이상으로 서로 다른 위치에 배치되도록 구성되는 것을 특징으로 하는 포인터를 표시하지 않는 투명 디스플레이를 이용한 가상 터치 장치.
  11. 제 1 항 또는 제 3 항에 있어서,
    상기 제 1 공간좌표는 상기 사용자 손가락 중 어느 한 손가락의 끝, 상기 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고,
    상기 제 2 공간좌표는 상기 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표로 구성되는 것을 특징으로 하는 포인터를 표시하지 않는 투명 디스플레이를 이용한 가상 터치 장치.
  12. 제 1 항 또는 제 3 항에 있어서,
    상기 제 1 공간좌표는 상기 사용자 손가락 중 2개 이상의 손가락 끝의 3차원 좌표들이고, 상기 제 2 공간좌표는 상기 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표로 구성되는 것을 특징으로 하는 포인터를 표시하지 않는 투명 디스플레이를 이용한 가상 터치 장치.
KR1020120041985A 2012-04-23 2012-04-23 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치 KR101343748B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120041985A KR101343748B1 (ko) 2012-04-23 2012-04-23 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
CN201380021497.9A CN104246664B (zh) 2012-04-23 2013-04-22 不显示指针的透明显示器虚拟触摸装置
PCT/KR2013/003421 WO2013162236A1 (ko) 2012-04-23 2013-04-22 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
US14/396,385 US20150116204A1 (en) 2012-04-23 2013-04-22 Transparent display virtual touch apparatus not displaying pointer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120041985A KR101343748B1 (ko) 2012-04-23 2012-04-23 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치

Publications (2)

Publication Number Publication Date
KR20130119094A true KR20130119094A (ko) 2013-10-31
KR101343748B1 KR101343748B1 (ko) 2014-01-08

Family

ID=49483467

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120041985A KR101343748B1 (ko) 2012-04-23 2012-04-23 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치

Country Status (4)

Country Link
US (1) US20150116204A1 (ko)
KR (1) KR101343748B1 (ko)
CN (1) CN104246664B (ko)
WO (1) WO2013162236A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160047305A (ko) * 2014-10-22 2016-05-02 윤영기 디스플레이와 카메라가 장착된 스마트 안경과 이를 이용한 공간 터치 입력 및 보정 방법
KR20160110965A (ko) * 2014-01-21 2016-09-23 퀄컴 인코포레이티드 디바이스 대 디바이스 발견을 위한 파라미터들

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9207780B2 (en) * 2014-01-27 2015-12-08 Fuji Xerox Co., Ltd. Systems and methods for hiding and finding digital content associated with physical objects via coded lighting
KR102279681B1 (ko) 2014-05-26 2021-07-20 에스케이플래닛 주식회사 동공인식을 이용한 광고 제공 장치 및 방법
KR102310994B1 (ko) * 2014-11-25 2021-10-08 삼성전자주식회사 3차원 상호작용 컴퓨팅 장치 및 방법
KR101937823B1 (ko) * 2016-10-24 2019-01-14 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CA3059373A1 (en) * 2017-04-24 2018-11-01 Magic Leap, Inc. Tracking optical flow of backscattered laser speckle patterns
KR102463712B1 (ko) 2017-11-24 2022-11-08 현대자동차주식회사 가상 터치 인식 장치 및 그의 인식 오류 보정 방법
CN108388347B (zh) * 2018-03-15 2021-05-25 网易（杭州）网络有限公司 虚拟现实中的交互控制方法和装置及存储介质、终端
TWI691870B (zh) 2018-09-17 2020-04-21 財團法人工業技術研究院 虛實影像的互動方法及裝置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030021988A (ko) * 2001-09-07 2003-03-15 이민호 영상처리를 이용한 원격 손가락 조종기
US7233316B2 (en) * 2003-05-01 2007-06-19 Thomson Licensing Multimedia user interface
US20110096182A1 (en) * 2009-10-25 2011-04-28 Prime Sense Ltd Error Compensation in Three-Dimensional Mapping
JP5430572B2 (ja) * 2007-09-14 2014-03-05 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー ジェスチャベースのユーザインタラクションの処理
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8384997B2 (en) * 2008-01-21 2013-02-26 Primesense Ltd Optical pattern projection
JP2010107685A (ja) * 2008-10-30 2010-05-13 Fujifilm Corp ３次元表示装置および方法並びにプログラム
KR101019254B1 (ko) * 2008-12-24 2011-03-04 전자부품연구원 공간 투영 및 공간 터치 기능이 구비된 단말 장치 및 그 제어 방법
KR101585466B1 (ko) * 2009-06-01 2016-01-15 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치
KR101082829B1 (ko) * 2009-10-05 2011-11-11 백문기 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법
CN101866235B (zh) * 2010-02-10 2014-06-18 张强 一种三维空间的多点触控或多笔书写屏
US20130314303A1 (en) * 2010-02-28 2013-11-28 Osterhout Group, Inc. Ar glasses with user action control of and between internal and external applications with feedback
US9164581B2 (en) * 2010-10-22 2015-10-20 Hewlett-Packard Development Company, L.P. Augmented reality display system and method of display
US8179604B1 (en) * 2011-07-13 2012-05-15 Google Inc. Wearable marker for passive interaction
US8990682B1 (en) * 2011-10-05 2015-03-24 Google Inc. Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display
US9183807B2 (en) * 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Displaying virtual data as printed content
US9024844B2 (en) * 2012-01-25 2015-05-05 Microsoft Technology Licensing, Llc Recognition of image on external display

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160110965A (ko) * 2014-01-21 2016-09-23 퀄컴 인코포레이티드 디바이스 대 디바이스 발견을 위한 파라미터들
KR20160047305A (ko) * 2014-10-22 2016-05-02 윤영기 디스플레이와 카메라가 장착된 스마트 안경과 이를 이용한 공간 터치 입력 및 보정 방법

Also Published As

Publication number Publication date
WO2013162236A1 (ko) 2013-10-31
KR101343748B1 (ko) 2014-01-08
US20150116204A1 (en) 2015-04-30
CN104246664B (zh) 2017-03-15
CN104246664A (zh) 2014-12-24

Similar Documents

Publication Publication Date Title
KR101343748B1 (ko) 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
US10261595B1 (en) High resolution tracking and response to hand gestures through three dimensions
KR101151962B1 (ko) 포인터를 사용하지 않는 가상 터치 장치 및 방법
US9600078B2 (en) Method and system enabling natural user interface gestures with an electronic system
US9310891B2 (en) Method and system enabling natural user interface gestures with user wearable glasses
KR101381928B1 (ko) 포인터를 사용하지 않는 가상 터치 장치 및 방법
JP6090140B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR101533320B1 (ko) 포인터가 불필요한 3차원 객체 정보 획득 장치
US9651782B2 (en) Wearable tracking device
JP6390799B2 (ja) 入力装置、入力方法、及びプログラム
JP6165485B2 (ja) 携帯端末向けａｒジェスチャユーザインタフェースシステム
JP6344530B2 (ja) 入力装置、入力方法、及びプログラム
US9213413B2 (en) Device interaction with spatially aware gestures
KR102147430B1 (ko) 가상 공간 멀티 터치 인터랙션 장치 및 방법
KR20120126508A (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
KR101441882B1 (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 디스플레이 표시면 둘레의 가상 평면을 사용하여 전자기기를 제어하는 방법
US10607069B2 (en) Determining a pointing vector for gestures performed before a depth camera
US20150185851A1 (en) Device Interaction with Self-Referential Gestures
KR101321274B1 (ko) 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치
TW201439813A (zh) 顯示設備及其控制系統和方法
Colaço Sensor design and interaction techniques for gestural input to smart glasses and mobile devices
KR101272458B1 (ko) 포인터를 사용하지 않는 가상 터치 장치 및 방법
KR20130133482A (ko) 티오에프 카메라를 이용한 포인터를 사용하지 않는 가상 터치 장치
JP2013164736A (ja) 携帯型情報機器用入力装置
KR20160013501A (ko) 홀로그래피 터치 방법 및 프로젝터 터치 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161213

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171212

Year of fee payment: 5