KR20110088969A - 다차원 영상을 이용한 사용자 인터페이스 장치 - Google Patents

다차원 영상을 이용한 사용자 인터페이스 장치 Download PDF

Info

Publication number
KR20110088969A
KR20110088969A KR1020100008733A KR20100008733A KR20110088969A KR 20110088969 A KR20110088969 A KR 20110088969A KR 1020100008733 A KR1020100008733 A KR 1020100008733A KR 20100008733 A KR20100008733 A KR 20100008733A KR 20110088969 A KR20110088969 A KR 20110088969A
Authority
KR
South Korea
Prior art keywords
real object
dimensional image
virtual object
contact
real
Prior art date
Application number
KR1020100008733A
Other languages
English (en)
Other versions
KR101114750B1 (ko
Inventor
이한권
김기정
김응봉
안수빈
원기섭
임현근
임형연
정찬성
한의석
Original Assignee
주식회사 팬택
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팬택 filed Critical 주식회사 팬택
Priority to KR1020100008733A priority Critical patent/KR101114750B1/ko
Priority to JP2010173774A priority patent/JP2011159273A/ja
Priority to CN2010102551848A priority patent/CN102141877B/zh
Priority to US12/861,510 priority patent/US20110191707A1/en
Priority to TW099129760A priority patent/TW201126378A/zh
Priority to EP10176986.7A priority patent/EP2381339B1/en
Publication of KR20110088969A publication Critical patent/KR20110088969A/ko
Application granted granted Critical
Publication of KR101114750B1 publication Critical patent/KR101114750B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/29—Holographic features
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/0061—Adaptation of holography to specific applications in haptic applications when the observer interacts with the holobject
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249—Holobject properties
    • G03H2001/2252—Location of the holobject
    • G03H2001/226—Virtual or real
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/62—Moving object
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2227/00—Mechanical components or mechanical aspects not otherwise provided for
    • G03H2227/02—Handheld portable device, e.g. holographic camera, mobile holographic display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 사용자 입력을 위한 가상 객체를 공간상에 다차원 영상으로 디스플레이하고, 디스플레이된 가상 객체를 통한 사용자로부터의 다양한 입력을 인식할 수 있도록 하는 다차원 영상을 이용한 사용자 인터페이스 장치에 관한 것으로, 가상 객체별 형상, 기능, 위치 및 움직임 패턴에 대한 정보를 저장하는 메모리부와; 공간상의 일정 영역에 다차원 영상 표시 영역을 투영하고, 투영된 다차원 영상 표시 영역 내에 가상 객체를 디스플레이하는 다차원 영상 출력부와; 상기 다차원 영상 표시 영역에 존재하는 실물 객체를 감지하여 실물 객체의 위치 및 움직임 패턴에 대한 정보를 생성하는 실물 객체 감지부와; 상기 실물 객체 감지부를 통해 생성된 실물 객체의 위치 및 움직임 패턴에 대한 정보와 상기 메모리부에 저장된 정보를 이용하여 상기 다차원 영상 표시 영역 내에 실물 객체와 가상 객체 각각의 위치 및 움직임 패턴을 확인함으로써, 상기 다차원 영상 표시 영역 내에 가상 객체와 실물 객체 사이의 접촉 발생 여부를 인식하는 접촉 인식부와; 상기 접촉 인식부에서 가상 객체와 실물 객체 사이의 접촉 발생을 인식하면, 가상 객체와 실물 객체 사이에 발생된 접촉이 가상 객체 선택을 위한 입력에 해당하는지 여부를 판단하고, 판단 결과 가상 객체 선택을 위한 입력에 해당하는 경우, 실물 객체와 접촉된 가상 객체의 기능을 상기 메모리부에 저장된 정보 검색을 통해 파악하여 그 파악된 기능의 실행 명령을 입력받은 것으로 인식하는 제어부를 포함하여 이루어짐으로써, 사용자의 입력을 보다 정확하게 인식하여 사용자 입력에 의한 단말기의 오동작을 방지할 수 있어 제품의 품질을 향상시킬 수 있는 효과가 있다.

Description

다차원 영상을 이용한 사용자 인터페이스 장치{User Interface Using Hologram}
본 발명은 다차원 영상을 이용한 사용자 인터페이스 장치에 관한 것으로, 특히 사용자 입력을 위한 가상 객체를 공간상에 다차원 영상으로 디스플레이하고, 디스플레이된 가상 객체를 통한 사용자로부터의 다양한 입력을 인식할 수 있도록 하는 다차원 영상을 이용한 사용자 인터페이스 장치에 관한 것이다.
오늘날의 휴대 전화, 랩톱(Lap-top) 또는 데스트탑(Desk-top) 등과 같은 단말기에는 외부 접촉에 의한 입력을 인식하는 터치식 사용자 인터페이스 장치가 탑재되어 있다. 이러한 단말기는 탑재된 터치식 사용자 인터페이스 장치를 통해 사용자의 접촉 입력을 인식하여 다양한 기능을 실행하게 된다.
일반적으로 터치식 사용자 인터페이스 장치는 화면을 통해 2차원의 터치식 사용자 인터페이스를 제공하는 터치 패드 또는 터치 스크린 등으로 이루어질 수 있다. 이때 화면에는 사용자 입력을 위한 아이콘 등의 다양한 가상 객체가 디스플레이된다.
이러한 터치식 사용자 인터페이스 장치는 화면상에서 사용자의 접촉이 발생하면, 접촉이 발생된 화면 위치에 디스플레이되어 있는 가상 객체가 사용자에 의해 선택된 것으로 인식하고, 선택 인식된 가상 객체에 대응하는 특정 기능을 실행하라는 실행 명령을 사용자에 의해 입력받은 것으로 인식하게 된다. 이에, 단말기는 화면에 디스플레이된 가상 객체 중 사용자의 접촉에 의해 선택된 가상 객체에 대응하는 특정 기능을 실행하게 된다.
한편, 최근에는 상술한 바와 같은 2차원의 터치식 사용자 인터페이스에 대한 확장으로, 홀로그램을 이용하여 3차원의 터치식 사용자 인터페이스를 제공하는 사용자 인터페이스 장치가 개발되고 있다.
이러한, 홀로그램을 이용한 사용자 인터페이스 장치는 공간상의 일정 영역에 홀로그램 표시 영역을 디스플레이하되, 홀로그램 표시 영역에 사용자 입력을 위한 다양한 가상 객체를 함께 디스플레이하고, 그 디스플레이된 가상 객체 중 접촉이 발생된 가상 객체를 사용자가 선택한 것으로 인식하며, 그 선택 인식된 가상 객체에 대응하는 특정 기능을 실행하라는 실행 명령을 사용자로부터 입력받은 것으로 인식하여, 단말기로 하여금 사용자의 접촉에 의해 선택된 가상 객체에 대응하는 특정 기능을 실행하도록 한다.
그러나, 이와 같은 종래의 홀로그램을 이용한 사용자 인터페이스 장치는 디스플레이된 가상 객체에 접촉이 발생하면, 접촉이 발생한 가상 객체를 사용자가 선택한 것으로 무조건 인식하며, 그 선택 인식된 가상 객체에 대응하는 특정 기능을 실행하라는 명령을 사용자로부터 입력받은 것으로 무조건 인식하기 때문에, 사용자 신체의 일부분 등과 같은 실물 객체가 단순히 공간상에 디스플레이된 홀로그램 표시 영역을 통과하되, 특정 가상 객체에 접촉되면서 통과하는 경우, 특정 가상 객체가 사용자에 의해 선택된 것으로 인식하게 되며, 그 선택 인식된 특정 가상 객체에 대응하는 기능을 실행하라는 실행 명령을 사용자로부터 입력받은 것으로 인식하게 되어, 사용자의 의도와는 상관없는 입력을 인식하게 되며, 이로 인해 단말기의 오동작을 유발하게 되는 문제점이 있다.
본 발명은 전술한 바와 같은 문제점을 해결하기 위해 안출된 것으로, 사용자 입력을 위한 가상 객체를 공간상에 홀로그램으로 디스플레이하고, 디스플레이된 가상 객체를 통한 사용자로부터의 입력이 가상 객체의 선택을 위한 입력인지 또는 특정 기능의 실행 명령에 대한 입력인지 여부를 정확하게 인식할 수 있도록 하는 홀로그램을 이용한 사용자 인터페이스 장치를 제공하는데, 그 목적이 있다.
또한, 본 발명은 사용자의 입력을 인식함에 따라, 그 인식 여부를 시각 또는 촉각적 효과를 통해 사용자에게 피드백할 수 있도록 하는데, 그 목적이 있다.
전술한 바와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 다차원 영상을 이용한 사용자 인터페이스 장치는, 가상 객체별 형상, 기능, 위치 및 움직임 패턴에 대한 정보를 저장하는 메모리부와; 공간상의 일정 영역에 다차원 영상 표시 영역을 투영하고, 투영된 다차원 영상 표시 영역 내에 가상 객체를 디스플레이하는 다차원 영상 출력부와; 상기 다차원 영상 표시 영역에 존재하는 실물 객체를 감지하여 실물 객체의 위치 및 움직임 패턴에 대한 정보를 생성하는 실물 객체 감지부와; 상기 실물 객체 감지부를 통해 생성된 실물 객체의 위치 및 움직임 패턴에 대한 정보와 상기 메모리부에 저장된 정보를 이용하여 상기 다차원 영상 표시 영역 내에 실물 객체와 가상 객체 각각의 위치 및 움직임 패턴을 확인함으로써, 상기 다차원 영상 표시 영역 내에 가상 객체와 실물 객체 사이의 접촉 발생 여부를 인식하는 접촉 인식부와; 상기 접촉 인식부에서 가상 객체와 실물 객체 사이의 접촉 발생을 인식하면, 가상 객체와 실물 객체 사이에 발생된 접촉이 가상 객체 선택을 위한 입력에 해당하는지 여부를 판단하고, 판단 결과 가상 객체 선택을 위한 입력에 해당하는 경우, 실물 객체와 접촉된 가상 객체의 기능을 상기 메모리부에 저장된 정보 검색을 통해 파악하여 그 파악된 기능의 실행 명령을 입력받은 것으로 인식하는 제어부를 포함하여 이루어지는 것이 바람직하다.
한편, 본 발명의 다른 실시예에 따른 다차원 영상을 이용한 사용자 인터페이스 장치는, 가상 객체별 형상, 기능, 위치 및 움직임 패턴에 대한 정보를 저장하는 메모리부와; 공간상의 일정 영역에 다차원 영상 표시 영역을 투영하고, 투영된 다차원 영상 표시 영역 내에 가상 객체를 디스플레이하는 다차원 영상 출력부와; 기능 정보를 포함한 무선 신호를 송출하는 실물 객체로부터 무선 신호를 수신하고, 수신된 무선 신호에 포함되어 있는 실물 객체의 기능 정보를 추출하며, 수신된 무선 신호를 이용하여 다차원 영상 표시 영역 내에 실물 객체의 위치 및 움직임 패턴에 대한 정보를 생성하는 실물 객체 감지부와; 실물 객체로부터 송출되는 무선 신호를 수신하여 상기 실물 객체 감지부로 전달하는 통신부와; 상기 실물 객체 감지부를 통해 생성된 실물 객체의 위치 및 움직임 패턴에 대한 정보와 상기 메모리부에 저장된 정보를 이용하여 상기 다차원 영상 표시 영역 내에 실물 객체와 가상 객체 각각의 위치 및 움직임 패턴을 확인함으로써, 상기 다차원 영상 표시 영역 내에 가상 객체와 실물 객체 사이의 접촉 발생 여부를 인식하는 접촉 인식부와; 상기 접촉 인식부에서 가상 객체와 실물 객체 사이에 접촉이 발생한 것으로 인식하면, 상기 실물 객체 감지부를 통해 추출된 실물 객체의 기능 정보를 이용하여 가상 객체와 접촉이 발생된 실물 객체의 기능을 확인하고, 그 확인된 실물 객체의 기능에 따라, 가상 객체와 실물 객체 사이에 발생된 접촉에 의한 사용자의 입력을 인식하는 제어부를 포함하여 이루어지는 것이 바람직하다.
본 발명에 따른 다차원 영상을 이용한 사용자 인터페이스 장치에 의하면, 사용자 입력을 위한 가상 객체를 공간상에 다차원 영상으로 디스플레이하고, 디스플레이된 가상 객체를 통한 사용자로부터의 입력이 가상 객체의 선택을 위한 입력인지 또는 특정 기능의 실행 명령에 대한 입력인지 여부 등을 구분하여 인식함으로써, 사용자의 입력을 보다 정확하게 인식하여 사용자 입력에 의한 단말기의 오동작을 방지할 수 있어 제품의 품질을 향상시킬 수 있는 효과가 있다.
또한, 본 발명에 따른 다차원 영상을 이용한 사용자 인터페이스 장치에 의하면, 사용자의 입력을 인식함에 따라, 그 인식 여부를 시각 또는 촉각적 효과를 통해 사용자에게 피드백함으로써, 사용자가 입력에 대한 확신을 가질 수 있어 신뢰도를 향상시킬 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 다차원 영상을 이용한 사용자 인터페이스 장치의 구성을 개략적으로 도시한 블록도.
도 2는 본 발명의 일 실시예에 따른 다차원 영상을 이용한 사용자 인터페이스 장치에서의 입력 인식 방법을 순차적으로 도시한 순서도.
도 3 내지 도 7은 본 발명의 일 실시예에 따른 다차원 영상을 이용한 사용자 인터페이스 장치에서의 입력 인식 방법을 설명하기 위한 참고도.
도 8은 본 발명의 다른 실시예에 따른 다차원 영상을 이용한 사용자 인터페이스 장치의 구성을 개략적으로 도시한 블록도.
도 9는 본 발명의 다른 실시예에 따른 다차원 영상을 이용한 사용자 인터페이스 장치에서의 입력 인식 방법을 순차적으로 도시한 순서도.
도 10은 본 발명의 다른 실시예에 따른 다차원 영상을 이용한 사용자 인터페이스 장치에서의 입력 인식 방법을 설명하기 위한 참고도.
이하에서는, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 다차원 영상을 이용한 사용자 인터페이스 장치 및 그 사용자 인터페이스 장치에서의 입력 인식 방법에 대하여 상세하게 설명한다.
본 발명의 일 실시예에 따른 다차원 영상을 이용한 터치식 입력 인터페이스 장치는 도 1에 도시된 바와 같이, 메모리부(110)와, 다차원 영상 출력부(120)와, 실물 객체 감지부(130)와, 촉각 제공부(140)와, 접촉 인식부(150)와, 제어부(160)를 포함하여 이루어진다.
메모리부(110)는 가상 객체별 형상, 기능, 초기 위치 및 초기 움직임 패턴에 대한 정보를 저장하고 있다. 여기서, 초기 위치에 대한 정보는 3차원 위치 좌표 등을 포함하여 이루어지며, 초기 움직임 패턴에 대한 정보는 3차원 위치 좌표 및 벡터값(움직임 거리, 방향 및 속도) 등을 포함하여 이루어진다.
다차원 영상 출력부(120)는 제어부(160)의 제어에 따라 공간상의 일정 영역에 다차원 영상 표시 영역을 투영하고, 투영된 다차원 영상 표시 영역 내에 가상 객체를 디스플레이한다.
실물 객체 감지부(130)는 다차원 영상 표시 영역에 존재하는 실물 객체(10)를 감지하여 실물 객체(10)의 위치 및 움직임 패턴에 대한 정보를 생성한다. 이때, 실물 객체 감지부(130)는 다차원 영상 표시 영역에 존재하는 실물 객체(10)의 3차원 위치 좌표를 획득하고, 획득된 3차원 위치 좌표를 이용하여 실물 객체(10)의 위치에 대한 정보를 생성하며, 실물 객체(10)의 위치 변화에 따른 실물 객체(10)의 3차원 위치 좌표 변화를 이용하여 실물 객체(10)의 실물 객체(10)의 위치 변화에 따른 벡터값을 산출하고, 산출된 벡터값을 이용하여 실물 객체(10)의 움직임 패턴에 대한 정보를 생성하는 것이 바람직하다. 여기서, 실물 객체(10)는 예컨대, 사용자의 손가락 또는 무선 신호 송출 기능을 탑재한 소형 기기 등으로 이루어질 수 있다. 여기서, 소형 기기는 사용자의 손가락에 착용 가능한 형태로 형성되는 것이 바람직하다.
이러한, 실물 객체 감지부(130)는 예컨대, 정전용량 터치스크린(Capacitive Touch Screen) 방식, 아이알 터치스크린(IR Touch Screen) 방식, 이엠알 디지타이저(EMR Digitizer) 방식 또는 영상 인식 방식 등을 이용하여 다차원 영상 표시 영역에 존재하는 실물 객체(10)의 3차원 위치 좌표를 획득하는 것이 바람직하다.
또한, 실물 객체 감지부(130)는 실물 객체(10)로부터 송출되는 무선 신호를 수신하고, 수신된 무선 신호의 수신 세기를 이용하여 실물 객체(10)와의 거리를 파악하고, 파악된 실물 객체(10)와의 거리 및 무선 신호의 수신 방향을 이용하여 다차원 영상 표시 영역 내에 무선 신호를 송출한 실물 객체(10)의 3차원 위치 좌표를 획득하는 것이 바람직하다. 이때, 실물 객체 감지부(130)는 실물 객체(10)와 상호 간에 무선 통신을 수행하는 통신 수단을 구비하여 이루어지는 것이 바람직하다.
촉각 제공부(140)는 제어부(160)의 제어에 따라 음파를 방사하여 다차원 영상 표시 영역으로 음파 방사 압력(Acoustic Radiation Pressure)을 제공한다. 이에 따라, 다차원 영상 표시 영역에 존재하는 실물 객체(10)는 촉각 제공부(140)에서 제공되는 음파 방사 압력의 영향을 받게 된다.
한편, 접촉 인식부(150)는 실물 객체 감지부(130)를 통해 생성된 실물 객체(10)의 위치 및 움직임 패턴에 대한 정보와 메모리부(110)에 저장된 정보를 이용하여 다차원 영상 출력부(120)를 통해 투영된 다차원 영상 표시 영역 내에 실물 객체(10)와 가상 객체 각각의 위치 및 움직임 패턴을 실시간 확인함으로써, 다차원 영상 표시 영역 내에 가상 객체와 실물 객체(10) 사이의 접촉 발생 여부를 인식하는 한편, 가상 객체와 실물 객체(10) 사이에 접촉이 발생한 것으로 인식하면, 가상 객체 부위 중 실물 객체(10)가 접촉된 실물 객체(10) 접촉 부위를 파악한다. 이때, 접촉 인식부(150)는 예컨대, 다차원 영상 표시 영역 내에 실물 객체(10)와 가상 객체 각각의 위치 및 움직임 패턴을 실시간 확인하여 가상 객체의 형상을 구성하는 3차원 위치 좌표들과 실물 객체(10)의 형상을 구성하는 3차원 위치 좌표들 중, 다차원 영상 표시 영역 내에 서로 겹쳐지는 부분이 발생하면, 가상 객체와 실물 객체(10) 간에 접촉이 발생한 것으로 인식하며, 가상 객체의 형상을 구성하는 3차원 위치 좌표들과 실물 객체(10)의 형상을 구성하는 3차원 위치 좌표들 중, 다차원 영상 표시 영역 내에 서로 겹쳐지는 부분에 해당하는 3차원 위치 좌표들을 가상 객체 부위 중 실물 객체(10)가 접촉된 실물 객체(10) 접촉 부위를 파악하는 것이 바람직하다.
한편, 제어부(160)는 다차원 영상 출력부(120)를 제어하여 공간상에 다차원 영상 표시 영역을 투영시키고, 투영된 다차원 영상 표시 영역 내에 가상 객체를 디스플레이시키되, 메모리부(110)에 저장된 정보에 의거하여 다양한 기능을 제공하는 가상 객체들을 각각 초기 위치에 디스플레이시키거나 초기 움직임 패턴으로 움직이도록 디스플레이시킨다.
또한, 제어부(160)는 접촉 인식부(150)에서 다차원 영상 표시 영역 내에 가상 객체와 실물 객체(10) 사이에 접촉이 발생한 것으로 인식하면, 가상 객체와 실물 객체(10) 사이에 발생된 접촉이 가상 객체 선택을 위한 입력에 해당하는지 여부를 판단하고, 가상 객체 선택을 위한 입력에 해당하는 것으로 판단하면, 실물 객체와 접촉된 가상 객체의 기능을 상기 메모리(110)부에 저장된 정보 검색을 통해 파악하여 그 파악된 기능의 실행 명령을 입력받은 것으로 인식한다.
또한, 제어부(160)는 접촉 인식부(150)에서 다차원 영상 표시 영역 내에 가상 객체와 실물 객체(10) 사이에 접촉이 발생한 것으로 인식하면, 가상 객체와 실물 객체(10) 사이에 발생된 접촉이 가상 객체 선택을 위한 입력에 해당하는지 여부를 판단하고, 가상 객체와 실물 객체(10) 사이에 발생된 접촉이 가상 객체 선택을 위한 입력에 해당하는 것으로 판단하거나 또는 선택 취소를 위한 입력에 해당하는 것으로 판단하면, 다차원 영상 출력부(120)를 제어하여 실물 객체(10)와 접촉된 가상 객체의 색상을 변화시키거나, 가상 객체의 형상을 변화시킴으로써, 가상 객체 선택 여부를 사용자가 시각적으로 확인할 수 있도록 해주며, 이때 촉각 제공부(140)를 제어하여 다차원 영상 표시 영역으로 음파 방사 압력을 제공함으로써, 실물 객체(10)가 예컨대 사용자의 신체 중 어느 한 부위에 해당하는 경우에, 가상 객체 선택 여부를 사용자가 촉각적으로 확인할 수 있도록 해주게 된다.
또한, 제어부(160)는 실물 객체(10)가 가상 객체에 일정 시간 이상 접촉된 경우, 또는 가상 객체의 형상 부위 중 지정된 부위에 존재하는 복수의 마커(Marker)에 실물 객체(10)가 동시 접촉된 경우에, 가상 객체와 실물 객체(10) 사이에 발생된 접촉이 가상 객체 선택을 위한 입력에 해당하는 것으로 판단하게 된다.
또한, 제어부(160)는 가상 객체와 실물 객체(10) 사이에 발생된 접촉이 가상 객체 선택을 위한 입력에 해당하는 것으로 판단하면, 실물 객체 감지부(130)를 통해 생성되는 실물 객체(10)의 움직임 패턴에 대한 정보를 이용하여 다차원 영상 표시 영역 내에의 실물 객체(10)의 움직임을 실시간으로 추적하여 가상 객체에 접촉되어 있는 실물 객체(10)가 실물 객체 감지부(130)의 감지 임계 범위, 즉 다차원 영상 표시 영역을 벗어나는지를 확인하여 그 확인 결과 임계 범위를 벗어나는 경우나, 또는 실물 객체(10)가 동시 접촉되었던 복수의 마커 중 어느 하나에서 실물 객체(10)의 접촉이 해제되는지를 확인하여 그 확인 결과 실물 객체(10)의 접촉이 해제된 경우에 가상 객체 선택을 위한 입력이 취소된 것으로 판단하고, 다차원 영상 출력부(120)를 제어하여 실물 객체(10)와 접촉된 가상 객체의 색상을 변화시키거나, 가상 객체의 형상을 변화시킴으로써, 가상 객체 선택 여부를 사용자가 시각적으로 확인할 수 있도록 해주며, 이때 촉각 제공부(140)를 제어하여 다차원 영상 표시 영역으로 음파 방사 압력을 제공함으로써, 실물 객체(10)가 예컨대 사용자의 신체 중 어느 한 부위에 해당하는 경우에, 가상 객체 선택 여부를 사용자가 촉각적으로 확인할 수 있도록 해주게 된다.
또한, 제어부(160)는 가상 객체와 실물 객체(10) 사이에 발생된 접촉이 가상 객체 선택을 위한 입력에 해당하는 것으로 판단하면, 실물 객체 감지부(130)를 통해 생성되는 실물 객체(10)의 움직임 패턴에 대한 정보를 이용하여 다차원 영상 표시 영역 내에의 실물 객체(10)의 움직임을 실시간으로 추적하여 실물 객체(10)에 접촉되어 있는 가상 객체가 실물 객체(10)의 움직임에 대응하여 움직이도록 다차원 영상 출력부(120)를 제어하고, 그에 따른 가상 객체의 움직임에 따라 사용자로부터 특정 기능의 실행 명령을 입력받은 것으로 인식하거나, 사용자로부터 특정 기능의 실행 취소 명령을 입력받은 것으로 인식한다.
즉, 제어부(160)는 다차원 영상 출력부(120)를 제어하여 가상 객체에 접촉되어 있는 실물 객체(10)의 회전 움직임에 따라 가상 객체를 회전시키거나, 가상 객체에 접촉되어 있는 실물 객체(10)의 이동 움직임에 따라 실물 객체(10)의 이동 위치로 가상 객체를 드래그하게 되며, 그에 따른 가상 객체의 회전이나 드래그 위치에 따라 사용자로부터 특정 기능의 실행 명령을 입력받은 것으로 인식하거나, 사용자로부터 특정 기능의 실행 취소 명령을 입력받은 것으로 인식하게 된다. 예를 들어, 제어부(160)는 가상 객체가 일정 방향으로 일정 각도 회전함에 따라, 또는 다차원 영상 표시 영역 내에 실행 기능 또는 실행 취소 기능을 제공하는 아이콘 등과 같은 특정 가상 객체가 디스플레이되어 있는 위치로 가상 객체가 드래그됨에 따라, 또는 실행하려는 가상 객체나 실행 취소하려는 가상 객체가 디스플레이되어 있는 위치로 실행 기능 또는 실행 취소 기능을 제공하는 아이콘 등과 같은 특정 가상 객체가 드래그됨에 따라, 사용자로부터 특정 기능의 실행 명령을 입력받은 것으로 인식하거나, 사용자로부터 특정 기능의 실행 취소 명령을 입력받은 것으로 인식한다.
아울러, 제어부(160)는 실물 객체 감지부(130)를 통해 생성된 실물 객체(10)의 움직임 패턴에 대한 정보를 이용하여 실물 객체(10)의 움직임 패턴이 특정 움직임 패턴과 매칭되는 경우, 사용자로부터 특정 기능의 실행 명령을 입력받은 것으로 인식하거나, 사용자로부터 특정 기능의 실행 취소 명령을 입력받은 것으로 인식하는 것이 바람직하다.
또한, 제어부(160)는 사용자로부터 특정 기능의 실행 명령을 입력받은 것으로 인식하거나, 사용자로부터 특정 기능의 실행 취소 명령을 입력받은 것으로 인식하게 되면, 다차원 영상 출력부(120)를 제어하여 다차원 영상 표시 영역 또는 다차원 영상 표시 영역에 디스플레이되어 있는 가상 객체의 색상을 변화시키거나, 형상을 변화시킴으로써, 실행 명령 인식 여부를 사용자가 시각적으로 확인할 수 있도록 해주며, 이때 촉각 제공부(140)를 제어하여 다차원 영상 표시 영역으로 음파 방사 압력을 제공함으로써, 실물 객체(10)가 예컨대 사용자의 신체 중 어느 한 부위에 해당하는 경우에, 실행 명령 인식 여부를 사용자가 촉각적으로 확인할 수 있도록 해주게 된다.
전술한 바와 같은 구성에 있어서, 도 2를 참조하여 본 발명의 일 실시예에 따른 다차원 영상을 이용한 사용자 인터페이스 장치에서의 입력 인식 방법을 설명하면 다음과 같다.
먼저, 다차원 영상을 이용한 사용자 인터페이스 장치(100)는 공간상에 다차원 영상 표시 영역을 투영시키고, 투영된 다차원 영상 표시 영역 내에 가상 객체를 디스플레이시킨다(S200).
상기한 단계 S200을 통해 디스플레이된 가상 객체와 실물 객체(10) 사이에 접촉이 발생되면(S210), 가상 객체와 실물 객체(10) 사이에 발생된 접촉이 가상 객체 선택을 위한 입력에 해당하는지 여부를 판단한다(S220).
상기한 단계 S220에서의 판단 결과 가상 객체 선택을 위한 입력에 해당하는 경우, 실물 객체(10)와 접촉된 가상 객체의 색상을 변화시키거나, 가상 객체의 형상을 변화시키는 한편, 다차원 영상 표시 영역으로 음파 방사 압력을 제공한다.
상기한 단계 S220에서는 실물 객체(10)가 가상 객체에 일정 시간 이상 접촉된 경우, 또는 가상 객체의 형상 부위 중 지정된 부위에 존재하는 복수의 마커에 실물 객체(10)가 동시 접촉된 경우에, 가상 객체와 실물 객체(10) 사이에 발생된 접촉이 가상 객체 선택을 위한 입력에 해당하는 것으로 판단하게 된다. 예를 들어, 도 3에 도시된 바와 같이, 가상 객체인 실행 기능의 아이콘에 일정 시간 이상 실물 객체(10)인 사용자의 손가락이 접촉된 경우, 또는 도 4에 도시된 바와 같이, 가상 객체인 복수 개의 글자에 일정 시간 이상 실물 객체(10)인 사용자의 손가락이 각각 접촉된 경우, 또는 도 5 및 도 6에 도시된 바와 같이, 가상 객체인 아이콘의 형상 부위 중 지정된 부위에 존재하는 두 개의 마커에 실물 객체(10)인 사용자의 손가락이 동시 접촉된 경우, 가상 객체와 실물 객체(10) 사이에 발생된 접촉이 가상 객체 선택을 위한 입력에 해당하는 것으로 판단하게 된다.
상기한 단계 S220에서의 판단 결과 가상 객체 선택을 위한 입력에 해당하는 경우, 다차원 영상 표시 영역 내에의 실물 객체(10)의 움직임을 실시간으로 추적하여 실물 객체(10)에 접촉되어 있는 가상 객체가 실물 객체(10)의 움직임에 대응하여 움직이도록 제어하고(S230), 그에 따른 가상 객체의 움직임에 따라 사용자로부터 특정 기능의 실행 명령을 입력받은 것으로 인식하거나, 사용자로부터 특정 기능의 실행 취소 명령을 입력받은 것으로 인식한다(S240).
상기한 단계 S240에서는 예를 들어, 도 6에 도시된 바와 같이, 상기한 단계 S230을 통해 가상 객체인 아이콘이 일정 방향으로 일정 각도 회전함에 따라, 또는 도 5에 도시된 바와 같이, 다차원 영상 표시 영역 내에 실행 기능 또는 실행 취소 기능을 제공하는 아이콘 등과 같은 특정 가상 객체가 디스플레이되어 있는 위치로 가상 객체가 드래그됨에 따라, 또는 도 3에 도시된 바와 같이, 실행하려는 가상 객체나 실행 취소하려는 가상 객체가 디스플레이되어 있는 위치로 실행 기능 또는 실행 취소 기능을 제공하는 아이콘 등과 같은 특정 가상 객체가 드래그됨에 따라, 또는 도 7에 도시된 바와 같이, 실물 객체(10)의 움직임 패턴이 특정 움직임 패턴, 즉 3차원 좌표축 중 어느 하나와 매칭되는 경우에, 사용자로부터 디스플레이 오프 등과 같은 특정 기능의 실행 명령을 입력받은 것으로 인식하거나, 사용자로부터 특정 기능의 실행 취소 명령을 입력받은 것으로 인식하는 것이 바람직하다.
상기한 단계 S240을 통해 특정 기능의 실행 명령을 입력받은 것으로 인식하거나, 사용자로부터 특정 기능의 실행 취소 명령을 입력받은 것으로 인식하게 되면, 다차원 영상 표시 영역 또는 다차원 영상 표시 영역에 디스플레이되어 있는 가상 객체의 색상을 변화시키거나, 형상을 변화시키는 한편, 다차원 영상 표시 영역으로 음파 방사 압력을 제공한다.
한편, 상기한 단계 S220에서의 판단 결과 가상 객체 선택을 위한 입력에 해당하는 경우, 다차원 영상 표시 영역 내에의 실물 객체(10)의 움직임을 실시간으로 추적하여 가상 객체에 접촉되어 있는 실물 객체(10)가 움직임 추적을 위한 임계 범위, 즉 다차원 영상 표시 영역을 벗어나는지를 확인하여, 그 확인 결과 임계 범위를 벗어나는 경우나, 또는 실물 객체(10)가 동시 접촉되었던 복수의 마커 중 어느 하나에서 실물 객체(10)의 접촉이 해제되는지를 확인하여, 그 확인 결과 실물 객체(10)의 접촉이 해제된 경우에 가상 객체 선택을 위한 입력이 취소된 것으로 판단하고, 실물 객체(10)와 접촉된 가상 객체의 색상을 변화시키거나, 가상 객체의 형상을 변화시키는 한편, 다차원 영상 표시 영역으로 음파 방사 압력을 제공하게 된다.
본 발명의 다른 실시예에 따른 다차원 영상을 이용한 터치식 입력 인터페이스 장치(100)는 도 8에 도시된 바와 같이, 메모리부(110)와, 다차원 영상 출력부(120)와, 실물 객체 감지부(130)와, 촉각 제공부(140)와, 접촉 인식부(150)와, 제어부(160)와, 통신부(170)를 포함하여 이루어진다.
메모리부(110)는 가상 객체별 형상, 기능, 초기 위치 및 초기 움직임 패턴에 대한 정보를 저장하고 있다. 여기서, 초기 위치에 대한 정보는 3차원 위치 좌표 등을 포함하여 이루어지며, 초기 움직임 패턴에 대한 정보는 3차원 위치 좌표 및 벡터값(움직임 거리, 방향 및 속도) 등을 포함하여 이루어진다.
다차원 영상 출력부(120)는 제어부(160)의 제어에 따라 공간상의 일정 영역에 다차원 영상 표시 영역을 투영하고, 투영된 다차원 영상 표시 영역 내에 가상 객체를 디스플레이한다.
실물 객체 감지부(130)는 다차원 영상 표시 영역에 존재하는 실물 객체(10)로부터 무선 신호를 수신하면, 수신된 무선 신호에 포함되어 있는 실물 객체(10)의 기능 정보를 추출하고, 수신된 무선 신호를 이용하여 다차원 영상 표시 영역 내에 실물 객체(10)의 위치 및 움직임 패턴에 대한 정보를 생성하여 제어부(160)로 전달한다. 여기서, 실물 객체(10)는 예컨대, 선택 입력 기능, 선택 취소 입력 기능, 실행 명령 입력 기능 또는 실행 취소 명령 입력 기능 등을 보유하며, 보유한 기능에 대한 정보를 포함한 무선 신호 송출 기능을 탑재한 소형 기기 등으로 이루어질 수 있다. 여기서, 소형 기기는 사용자의 손가락에 착용 가능한 형태로 형성되는 것이 바람직하다.
이때, 실물 객체 감지부(130)는 다차원 영상 표시 영역에 존재하는 실물 객체(10)로부터 송출되는 무선 신호를 수신하고, 수신된 무선 신호의 수신 세기를 이용하여 실물 객체(10)와의 거리를 파악하고, 파악된 실물 객체(10)와의 거리 및 무선 신호의 수신 방향을 이용하여 다차원 영상 표시 영역 내에 무선 신호를 송출한 실물 객체(10)의 3차원 위치 좌표를 획득하고, 획득된 3차원 위치 좌표를 이용하여 실물 객체(10)의 위치에 대한 정보를 생성하며, 실물 객체(10)의 위치 변화에 따른 실물 객체(10)의 3차원 위치 좌표 변화를 이용하여 실물 객체(10)의 실물 객체(10)의 위치 변화에 따른 벡터값을 산출하고, 산출된 벡터값을 이용하여 실물 객체(10)의 움직임 패턴에 대한 정보를 생성하는 것이 바람직하다.
촉각 제공부(140)는 제어부(160)의 제어에 따라 음파를 방사하여 다차원 영상 표시 영역으로 음파 방사 압력(Acoustic Radiation Pressure)을 제공한다. 이에 따라, 다차원 영상 표시 영역에 존재하는 실물 객체(10)는 촉각 제공부(140)에서 제공되는 음파 방사 압력의 영향을 받게 된다.
한편, 제어부(160)는 다차원 영상 출력부(120)를 제어하여 공간상에 다차원 영상 표시 영역을 투영시키고, 투영된 다차원 영상 표시 영역 내에 가상 객체를 디스플레이시키되, 메모리부(110)에 저장된 정보에 의거하여 다양한 기능을 제공하는 가상 객체들을 각각 초기 위치에 디스플레이시키거나 초기 움직임 패턴으로 움직이도록 디스플레이시킨다.
또한, 접촉 인식부(150)는 실물 객체 감지부(130)를 통해 생성된 실물 객체(10)의 위치 및 움직임 패턴에 대한 정보와 메모리부(110)에 저장된 정보를 이용하여 다차원 영상 출력부(120)를 통해 투영된 다차원 영상 표시 영역 내에 실물 객체(10)와 가상 객체 각각의 위치 및 움직임 패턴을 실시간 확인함으로써, 다차원 영상 표시 영역 내에 가상 객체와 실물 객체(10) 사이의 접촉 발생 여부를 인식한다. 이때, 접촉 인식부(150)는 예컨대, 다차원 영상 표시 영역 내에 실물 객체(10)와 가상 객체 각각의 위치 및 움직임 패턴을 실시간 확인하여 가상 객체의 형상을 구성하는 3차원 위치 좌표들과 실물 객체(10)의 형상을 구성하는 3차원 위치 좌표들 중, 다차원 영상 표시 영역 내에 서로 겹쳐지는 부분이 발생하면, 가상 객체와 실물 객체(10) 간에 접촉이 발생한 것으로 인식하는 것이 바람직하다.
또한, 제어부(160)는 접촉 인식부(150)에서 다차원 영상 표시 영역 내에 가상 객체와 실물 객체(10) 사이에 접촉이 발생한 것으로 인식하면, 실물 객체 감지부(130)를 통해 추출된 실물 객체(10)의 기능 정보를 이용하여 가상 객체와 접촉이 발생된 실물 객체(10)의 기능을 확인하고, 그 확인된 실물 객체(10)의 기능에 따라, 가상 객체와 실물 객체(10) 사이에 발생된 접촉에 의한 사용자의 입력을 인식하되, 가상 객체와 실물 객체(10) 사이에 발생된 접촉이 가상 객체 선택을 위한 입력에 해당하는지, 또는 선택 취소를 위한 입력에 해당하는지 여부를 판단하거나, 특정 기능의 실행 명령을 입력받은 것인지 또는 특정 기능의 실행 취소 명령을 입력받은 것인지 등을 인식하는 것이 바람직하다.
또한, 제어부(160)는 가상 객체와 실물 객체(10) 사이에 발생된 접촉이 가상 객체 선택을 위한 입력에 해당하는 것으로 판단하거나 또는 선택 취소를 위한 입력에 해당하는 것으로 판단하면, 다차원 영상 출력부(120)를 제어하여 실물 객체(10)와 접촉된 가상 객체의 색상을 변화시키거나, 가상 객체의 형상을 변화시킴으로써, 가상 객체 선택 여부를 사용자가 시각적으로 확인할 수 있도록 해주며, 이때 촉각 제공부(140)를 제어하여 다차원 영상 표시 영역으로 음파 방사 압력을 제공함으로써, 실물 객체(10)가 예컨대 사용자의 신체 중 어느 한 부위에 해당하는 경우에, 가상 객체 선택 여부를 사용자가 촉각적으로 확인할 수 있도록 해주게 된다.
또한, 제어부(160)는 가상 객체와 실물 객체(10) 사이에 발생된 접촉이 가상 객체 선택을 위한 입력에 해당하는 것으로 판단하면, 실물 객체 감지부(130)를 통해 생성되는 실물 객체(10)의 움직임 패턴에 대한 정보를 이용하여 다차원 영상 표시 영역 내에의 실물 객체(10)의 움직임을 실시간으로 추적하여 실물 객체(10)에 접촉되어 있는 가상 객체가 실물 객체(10)의 움직임에 대응하여 움직이도록 다차원 영상 출력부(120)를 제어한다.
또한, 제어부(160)는 사용자로부터 특정 기능의 실행 명령을 입력받은 것으로 인식하거나, 사용자로부터 특정 기능의 실행 취소 명령을 입력받은 것으로 인식하게 되면, 다차원 영상 출력부(120)를 제어하여 다차원 영상 표시 영역 또는 다차원 영상 표시 영역에 디스플레이되어 있는 가상 객체의 색상을 변화시키거나, 형상을 변화시킴으로써, 실행 명령 인식 여부를 사용자가 시각적으로 확인할 수 있도록 해주며, 이때 촉각 제공부(140)를 제어하여 다차원 영상 표시 영역으로 음파 방사 압력을 제공함으로써, 실물 객체(10)가 예컨대 사용자의 신체 중 어느 한 부위에 해당하는 경우에, 실행 명령 인식 여부를 사용자가 촉각적으로 확인할 수 있도록 해주게 된다.
한편, 통신부(170)는 실물 객체(10)와 무선 통신을 수행하며, 실물 객체(10)로부터 송출되는 무선 신호를 수신하여 실물 객체 감지부(130)로 전달한다. 예를 들어, 통신부(170)는 지향성 안테나 모듈 등으로 이루어질 수 있다.
전술한 바와 같은 구성에 있어서, 도 9를 참조하여 본 발명의 다른 실시예에 따른 다차원 영상을 이용한 사용자 인터페이스 장치(100)에서의 입력 인식 방법을 설명하면 다음과 같다.
먼저, 다차원 영상을 이용한 사용자 인터페이스 장치(100)는 공간상에 다차원 영상 표시 영역을 투영시키고, 투영된 다차원 영상 표시 영역 내에 가상 객체를 디스플레이시킨다(S300).
상기한 단계 S300을 통해 디스플레이된 가상 객체와 실물 객체(10) 사이에 접촉이 발생되면(S310), 가상 객체와 접촉된 실물 객체(10)의 기능을 확인하고(S320), 그 확인된 실물 객체(10)의 기능에 따라, 가상 객체와 실물 객체(10) 사이에 발생된 접촉에 의한 사용자의 입력을 인식한다(S330).
상기한 단계 S330에서는 가상 객체와 실물 객체(10) 사이에 발생된 접촉이 가상 객체 선택을 위한 입력에 해당하는지, 또는 선택 취소를 위한 입력에 해당하는지 여부를 판단하거나, 특정 기능의 실행 명령을 입력받은 것인지 또는 특정 기능의 실행 취소 명령을 입력받은 것인지 등을 인식하는 것이 바람직하다.
상기한 단계 S330에서 가상 객체와 실물 객체(10) 사이에 발생된 접촉이 가상 객체 선택을 위한 입력에 해당하는 것으로 판단하면, 실물 객체(10)의 움직임을 실시간으로 추적하여 실물 객체(10)에 접촉되어 있는 가상 객체가 실물 객체(10)의 움직임에 대응하여 움직이도록 제어한다.
상기한 단계 S330을 통해 가상 객체와 실물 객체(10) 사이에 발생된 접촉이 가상 객체 선택을 위한 입력에 해당하는 것으로 판단하거나 또는 선택 취소를 위한 입력에 해당하는 것으로 판단하면, 실물 객체(10)와 접촉된 가상 객체의 색상을 변화시키거나, 가상 객체의 형상을 변화시키는 한편, 다차원 영상 표시 영역으로 음파 방사 압력을 제공한다. 상기한 단계 S330에서는 예를 들어, 도 10에 도시된 바와 같이, 선택 입력 기능을 보유한 실물 객체(10)가 가상 객체에 접촉된 경우에, 가상 객체와 실물 객체(10) 사이에 발생된 접촉이 가상 객체 선택을 위한 입력에 해당하는 것으로 판단하게 되고, 선택 취소 입력 기능을 보유한 실물 객체(10)가 가상 객체에 접촉된 경우에는, 가상 객체와 실물 객체(10) 사이에 발생된 접촉이 가상 객체 선택 취소를 위한 입력에 해당하는 것으로 판단하게 된다.
한편, 상기한 단계 S330을 통해 사용자로부터 특정 기능의 실행 명령을 입력받은 것으로 인식하거나, 사용자로부터 특정 기능의 실행 취소 명령을 입력받은 것으로 인식하게 되면, 다차원 영상 표시 영역 또는 다차원 영상 표시 영역에 디스플레이되어 있는 가상 객체의 색상을 변화시키거나, 형상을 변화시키는 한편, 다차원 영상 표시 영역으로 음파 방사 압력을 제공한다. 상기한 단계 S330에서는 예를 들어, 도 10에 도시된 바와 같이, 실행 명령 입력 기능을 보유한 실물 객체(10)가 가상 객체에 접촉된 경우에, 가상 객체와 실물 객체(10) 사이에 발생된 접촉에 의해 특정 기능의 실행 명령을 입력받은 것으로 인식하고, 실행 취소 명령 입력 기능을 보유한 실물 객체(10)가 가상 객체에 접촉된 경우에는, 가상 객체와 실물 객체(10) 사이에 발생된 접촉에 의해 특정 기능의 실행 취소 명령을 입력받은 것으로 인식하게 된다.
본 발명에 따른 다차원 영상을 이용한 사용자 인터페이스 장치는 전술한 실시예에 국한되지 않고 본 발명의 기술 사상이 허용하는 범위 내에서 다양하게 변형하여 실시할 수 있다.
본 발명에 따른 다차원 영상을 이용한 사용자 인터페이스 장치에 의하면, 사용자 입력을 위한 가상 객체를 공간상에 다차원 영상으로 디스플레이하고, 디스플레이된 가상 객체를 통한 사용자로부터의 입력이 가상 객체의 선택을 위한 입력인지 또는 특정 기능의 실행 명령에 대한 입력인지 여부 등을 구분하여 인식함으로써, 사용자의 입력을 보다 정확하게 인식하여 사용자 입력에 의한 단말기의 오동작을 방지할 수 있어 제품의 품질을 향상시킬 수 있다.
또한, 본 발명에 따른 다차원 영상을 이용한 사용자 인터페이스 장치에 의하면, 사용자의 입력을 인식함에 따라, 그 인식 여부를 시각 또는 촉각적 효과를 통해 사용자에게 피드백함으로써, 사용자가 입력에 대한 확신을 가질 수 있어 신뢰도를 향상시킬 수 있다.
10: 실물 객체 100: 사용자 인터페이스 장치
110: 메모리부 120: 다차원 영상 출력부
130: 실물 객체 감지부 140: 촉각 제공부
150: 접촉 인식부 160: 제어부
170: 통신부

Claims (19)

  1. 가상 객체별 형상, 기능, 위치 및 움직임 패턴에 대한 정보를 저장하는 메모리부와;
    공간상의 일정 영역에 다차원 영상 표시 영역을 투영하고, 투영된 다차원 영상 표시 영역 내에 가상 객체를 디스플레이하는 다차원 영상 출력부와;
    상기 다차원 영상 표시 영역에 존재하는 실물 객체를 감지하여 실물 객체의 위치 및 움직임 패턴에 대한 정보를 생성하는 실물 객체 감지부와;
    상기 실물 객체 감지부를 통해 생성된 실물 객체의 위치 및 움직임 패턴에 대한 정보와 상기 메모리부에 저장된 정보를 이용하여 상기 다차원 영상 표시 영역 내에 실물 객체와 가상 객체 각각의 위치 및 움직임 패턴을 확인함으로써, 상기 다차원 영상 표시 영역 내에 가상 객체와 실물 객체 사이의 접촉 발생 여부를 인식하는 접촉 인식부와;
    상기 접촉 인식부에서 가상 객체와 실물 객체 사이의 접촉 발생을 인식하면, 가상 객체와 실물 객체 사이에 발생된 접촉이 가상 객체 선택을 위한 입력에 해당하는지 여부를 판단하고, 판단 결과 가상 객체 선택을 위한 입력에 해당하는 경우, 실물 객체와 접촉된 가상 객체의 기능을 상기 메모리부에 저장된 정보 검색을 통해 파악하여 그 파악된 기능의 실행 명령을 입력받은 것으로 인식하는 제어부를 포함하여 이루어지는 것을 특징으로 하는 다차원 영상을 이용한 사용자 인터페이스 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    가상 객체와 실물 객체 사이에 발생된 접촉이 가상 객체 선택을 위한 입력에 해당하는 것으로 판단하거나 또는 선택 취소를 위한 입력에 해당하는 것으로 판단하면, 상기 다차원 영상 출력부를 제어하여 실물 객체와 접촉된 가상 객체의 색상이나 형상을 변화시키는 것을 특징으로 하는 다차원 영상을 이용한 사용자 인터페이스 장치.
  3. 제1항에 있어서,
    상기 제어부는,
    가상 객체와 실물 객체 사이에 발생된 접촉이 가상 객체 선택을 위한 입력에 해당하는 것으로 판단하면, 상기 실물 객체 감지부를 통해 생성되는 실물 객체의 움직임 패턴에 대한 정보를 이용하여 다차원 영상 표시 영역 내에의 실물 객체의 움직임을 추적하여 실물 객체에 접촉되어 있는 가상 객체가 실물 객체의 움직임에 대응하여 움직이도록 상기 다차원 영상 출력부를 제어하는 것을 특징으로 하는 다차원 영상을 이용한 사용자 인터페이스 장치.
  4. 제3항에 있어서,
    상기 제어부는,
    실물 객체가 가상 객체에 일정 시간 이상 접촉된 경우, 또는 가상 객체의 형상 부위 중 지정된 부위에 존재하는 복수의 마커(Marker)에 실물 객체가 동시 접촉된 경우에, 가상 객체와 실물 객체 사이에 발생된 접촉이 가상 객체 선택을 위한 입력에 해당하는 것으로 판단하는 것을 특징으로 하는 다차원 영상을 이용한 사용자 인터페이스 장치.
  5. 제4항에 있어서,
    상기 제어부는,
    가상 객체와 실물 객체 사이에 발생된 접촉이 가상 객체 선택을 위한 입력에 해당하는 것으로 판단하면, 상기 실물 객체 감지부를 통해 생성되는 실물 객체의 움직임 패턴에 대한 정보를 이용하여 상기 다차원 영상 표시 영역 내에의 실물 객체의 움직임을 실시간으로 추적하여 가상 객체에 접촉되어 있는 실물 객체가 상기 실물 객체 감지부의 감지 임계 범위를 벗어나는 경우나, 또는 실물 객체가 동시 접촉되었던 복수의 마커 중 어느 하나에서 실물 객체의 접촉이 해제되는지를 확인하여 그 확인 결과 실물 객체의 접촉이 해제된 경우에 가상 객체 선택을 위한 입력이 취소된 것으로 판단하는 것을 특징으로 하는 다차원 영상을 이용한 사용자 인터페이스 장치.
  6. 제3항에 있어서,
    상기 제어부는,
    상기 다차원 영상 출력부를 제어하여 가상 객체에 접촉되어 있는 실물 객체의 회전 움직임에 따라 가상 객체를 회전시키거나, 가상 객체에 접촉되어 있는 실물 객체의 이동 움직임에 따라 실물 객체의 이동 위치로 가상 객체를 드래그하게 되며, 그에 따른 가상 객체의 회전이나 드래그 위치에 따라 사용자로부터 특정 기능의 실행 명령을 입력받은 것으로 인식하거나, 사용자로부터 특정 기능의 실행 취소 명령을 입력받은 것으로 인식하는 것을 특징으로 하는 다차원 영상을 이용한 사용자 인터페이스 장치.
  7. 제6항에 있어서,
    상기 제어부는,
    가상 객체가 일정 방향으로 일정 각도 회전함에 따라, 또는 실행 기능 또는 실행 취소 기능을 제공하는 특정 가상 객체가 디스플레이되어 있는 위치로 가상 객체가 드래그됨에 따라, 또는 실행하려는 가상 객체나 실행 취소하려는 가상 객체가 디스플레이되어 있는 위치로 실행 기능 또는 실행 취소 기능을 제공하는 특정 가상 객체가 드래그됨에 따라, 또는 실물 객체의 움직임 패턴이 특정 움직임 패턴과 매칭되는 경우, 사용자로부터 특정 기능의 실행 명령을 입력받은 것으로 인식하거나, 사용자로부터 특정 기능의 실행 취소 명령을 입력받은 것으로 인식하는 것을 특징으로 하는 다차원 영상을 이용한 사용자 인터페이스 장치.
  8. 제6항에 있어서,
    상기 제어부는,
    사용자로부터 특정 기능의 실행 명령을 입력받은 것으로 인식하거나, 사용자로부터 특정 기능의 실행 취소 명령을 입력받은 것으로 인식하게 되면, 상기 다차원 영상 출력부를 제어하여 상기 다차원 영상 표시 영역 또는 상기 다차원 영상 표시 영역에 디스플레이되어 있는 가상 객체의 색상이나 형상을 변화시키는 것을 특징으로 하는 다차원 영상을 이용한 사용자 인터페이스 장치.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 제어부의 제어에 따라 음파를 방사하여 상기 다차원 영상 표시 영역으로 음파 방사 압력(Acoustic Radiation Pressure)을 제공하는 촉각 제공부를 더 포함하여 이루어지는 것을 특징으로 하는 다차원 영상을 이용한 사용자 인터페이스 장치.
  10. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 실물 객체 감지부는,
    상기 다차원 영상 표시 영역에 존재하는 실물 객체의 3차원 위치 좌표를 획득하고, 획득된 3차원 위치 좌표를 이용하여 실물 객체의 위치에 대한 정보를 생성하며, 실물 객체의 위치 변화에 따른 실물 객체의 3차원 위치 좌표 변화를 이용하여 실물 객체의 실물 객체의 위치 변화에 따른 벡터값을 산출하고, 산출된 벡터값을 이용하여 실물 객체의 움직임 패턴에 대한 정보를 생성하는 것을 특징으로 하는 다차원 영상을 이용한 사용자 인터페이스 장치.
  11. 제10항에 있어서,
    상기 실물 객체 감지부는,
    정전용량 터치스크린(Capacitive Touch Screen) 방식, 아이알 터치스크린(IR Touch Screen) 방식, 이엠알 디지타이저(EMR Digitizer) 방식 또는 영상 인식 방식을 이용하여 다차원 영상 표시 영역에 존재하는 실물 객체의 3차원 위치 좌표를 획득하는 것을 특징으로 하는 다차원 영상을 이용한 사용자 인터페이스 장치.
  12. 제10항에 있어서,
    상기 실물 객체는,
    무선 신호 송출 기능을 탑재하는 것을 특징으로 하는 다차원 영상을 이용한 사용자 인터페이스 장치.
  13. 제12항에 있어서,
    상기 실물 객체 감지부는,
    상기 실물 객체와 상호 간에 무선 통신을 수행하는 통신 수단을 구비하며, 구비된 통신 수단을 통해 상기 실물 객체로부터 송출되는 무선 신호를 수신하고, 수신된 무선 신호의 수신 세기를 이용하여 상기 실물 객체와의 거리를 파악하고, 파악된 상기 실물 객체와의 거리 및 무선 신호의 수신 방향을 이용하여 상기 다차원 영상 표시 영역 내에 무선 신호를 송출한 상기 실물 객체의 3차원 위치 좌표를 획득하는 것을 특징으로 하는 다차원 영상을 이용한 사용자 인터페이스 장치.
  14. 가상 객체별 형상, 기능, 위치 및 움직임 패턴에 대한 정보를 저장하는 메모리부와;
    공간상의 일정 영역에 다차원 영상 표시 영역을 투영하고, 투영된 다차원 영상 표시 영역 내에 가상 객체를 디스플레이하는 다차원 영상 출력부와;
    기능 정보를 포함한 무선 신호를 송출하는 실물 객체로부터 무선 신호를 수신하고, 수신된 무선 신호에 포함되어 있는 실물 객체의 기능 정보를 추출하며, 수신된 무선 신호를 이용하여 다차원 영상 표시 영역 내에 실물 객체의 위치 및 움직임 패턴에 대한 정보를 생성하는 실물 객체 감지부와;
    실물 객체로부터 송출되는 무선 신호를 수신하여 상기 실물 객체 감지부로 전달하는 통신부와;
    상기 실물 객체 감지부를 통해 생성된 실물 객체의 위치 및 움직임 패턴에 대한 정보와 상기 메모리부에 저장된 정보를 이용하여 상기 다차원 영상 표시 영역 내에 실물 객체와 가상 객체 각각의 위치 및 움직임 패턴을 확인함으로써, 상기 다차원 영상 표시 영역 내에 가상 객체와 실물 객체 사이의 접촉 발생 여부를 인식하는 접촉 인식부와;
    상기 접촉 인식부에서 가상 객체와 실물 객체 사이에 접촉이 발생한 것으로 인식하면, 상기 실물 객체 감지부를 통해 추출된 실물 객체의 기능 정보를 이용하여 가상 객체와 접촉이 발생된 실물 객체의 기능을 확인하고, 그 확인된 실물 객체의 기능에 따라, 가상 객체와 실물 객체 사이에 발생된 접촉에 의한 사용자의 입력을 인식하는 제어부를 포함하여 이루어지는 것을 특징으로 하는 다차원 영상을 이용한 사용자 인터페이스 장치.
  15. 제14항에 있어서,
    상기 제어부는,
    가상 객체와 실물 객체 사이에 발생된 접촉이 가상 객체 선택을 위한 입력에 해당하는 것으로 판단하거나 또는 선택 취소를 위한 입력에 해당하는 것으로 판단하면, 상기 다차원 영상 출력부를 제어하여 실물 객체와 접촉된 가상 객체의 색상이나 형상을 변화시키는 것을 특징으로 하는 다차원 영상을 이용한 사용자 인터페이스 장치.
  16. 제15항에 있어서,
    상기 제어부는,
    상기 접촉 인식부에서 가상 객체와 실물 객체 사이에 발생된 접촉이 가상 객체 선택을 위한 입력에 해당하는 것으로 인식하면, 상기 실물 객체 감지부를 통해 생성되는 실물 객체의 움직임 패턴에 대한 정보를 이용하여 상기 다차원 영상 표시 영역 내에의 실물 객체의 움직임을 추적하여 실물 객체에 접촉되어 있는 가상 객체가 실물 객체의 움직임에 대응하여 움직이도록 상기 다차원 영상 출력부를 제어하는 것을 특징으로 하는 다차원 영상을 이용한 사용자 인터페이스 장치.
  17. 제14항에 있어서,
    상기 제어부는,
    가상 객체와 실물 객체 사이에 발생된 접촉에 의해 사용자로부터 특정 기능의 실행 명령을 입력받은 것으로 인식하거나, 사용자로부터 특정 기능의 실행 취소 명령을 입력받은 것으로 인식하게 되면, 상기 다차원 영상 출력부를 제어하여 상기 다차원 영상 표시 영역 또는 상기 다차원 영상 표시 영역에 디스플레이되어 있는 가상 객체의 색상이나 형상을 변화시키는 것을 특징으로 하는 다차원 영상을 이용한 사용자 인터페이스 장치.
  18. 제14항 내지 제17항 중 어느 한 항에 있어서,
    상기 제어부의 제어에 따라 음파를 방사하여 다차원 영상 표시 영역으로 음파 방사 압력(Acoustic Radiation Pressure)을 제공하는 촉각 제공부를 더 포함하는 것을 특징으로 하는 다차원 영상을 이용한 사용자 인터페이스 장치.
  19. 제14항 내지 제17항 중 어느 한 항에 있어서,
    상기 실물 객체 감지부는,
    상기 다차원 영상 표시 영역에 존재하는 실물 객체로부터 송출되는 무선 신호를 수신하고, 수신된 무선 신호의 수신 세기를 이용하여 실물 객체와의 거리를 파악하고, 파악된 실물 객체와의 거리 및 무선 신호의 수신 방향을 이용하여 다차원 영상 표시 영역 내에 무선 신호를 송출한 실물 객체의 3차원 위치 좌표를 획득하고, 획득된 3차원 위치 좌표를 이용하여 실물 객체의 위치에 대한 정보를 생성하며, 실물 객체의 위치 변화에 따른 실물 객체의 3차원 위치 좌표 변화를 이용하여 실물 객체의 실물 객체의 위치 변화에 따른 벡터값을 산출하고, 산출된 벡터값을 이용하여 실물 객체의 움직임 패턴에 대한 정보를 생성하는 것을 특징으로 하는 다차원 영상을 이용한 사용자 인터페이스 장치.
KR1020100008733A 2010-01-29 2010-01-29 다차원 영상을 이용한 사용자 인터페이스 장치 KR101114750B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020100008733A KR101114750B1 (ko) 2010-01-29 2010-01-29 다차원 영상을 이용한 사용자 인터페이스 장치
JP2010173774A JP2011159273A (ja) 2010-01-29 2010-08-02 ホログラムを利用したユーザインターフェース装置
CN2010102551848A CN102141877B (zh) 2010-01-29 2010-08-13 使用全息图的用户界面和用于该用户界面的方法
US12/861,510 US20110191707A1 (en) 2010-01-29 2010-08-23 User interface using hologram and method thereof
TW099129760A TW201126378A (en) 2010-01-29 2010-09-02 User interface using hologram and method thereof
EP10176986.7A EP2381339B1 (en) 2010-01-29 2010-10-20 User interface using hologram and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100008733A KR101114750B1 (ko) 2010-01-29 2010-01-29 다차원 영상을 이용한 사용자 인터페이스 장치

Publications (2)

Publication Number Publication Date
KR20110088969A true KR20110088969A (ko) 2011-08-04
KR101114750B1 KR101114750B1 (ko) 2012-03-05

Family

ID=44168304

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100008733A KR101114750B1 (ko) 2010-01-29 2010-01-29 다차원 영상을 이용한 사용자 인터페이스 장치

Country Status (6)

Country Link
US (1) US20110191707A1 (ko)
EP (1) EP2381339B1 (ko)
JP (1) JP2011159273A (ko)
KR (1) KR101114750B1 (ko)
CN (1) CN102141877B (ko)
TW (1) TW201126378A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013089490A1 (ko) * 2011-12-15 2013-06-20 한양대학교 산학협력단 디스플레이 장치와 연동하는 촉감 제공 장치 및 방법
US8963834B2 (en) 2012-02-29 2015-02-24 Korea Institute Of Science And Technology System and method for implementing 3-dimensional user interface
US9507478B2 (en) 2013-02-25 2016-11-29 Samsung Electronics Co., Ltd. Three-dimensional (3D) display device for providing input-output interface using dynamic magnetic field control and method thereof
US9658596B2 (en) 2012-09-13 2017-05-23 Samsung Electronics Co., Ltd. Apparatus and method for adjusting holographic image
KR20200081718A (ko) * 2018-12-28 2020-07-08 이진우 홀로그램 기반의 문자 인식 방법 및 그 장치

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150121287A1 (en) * 2006-07-03 2015-04-30 Yoram Ben-Meir System for generating and controlling a variably displayable mobile device keypad/virtual keyboard
US20120066624A1 (en) * 2010-09-13 2012-03-15 Ati Technologies Ulc Method and apparatus for controlling movement of graphical user interface objects
KR101758163B1 (ko) * 2010-12-31 2017-07-14 엘지전자 주식회사 이동 단말기 및 그의 홀로그램 제어방법
KR101330808B1 (ko) * 2011-01-27 2013-11-18 주식회사 팬택 증강 현실 편집 장치
TW201246046A (en) * 2011-05-11 2012-11-16 Chi Mei Comm Systems Inc Method and system for selecting objects
JP5670255B2 (ja) 2011-05-27 2015-02-18 京セラ株式会社 表示機器
TW201300839A (zh) * 2011-06-24 2013-01-01 Era Optoelectronics Inc 浮在空中的虛擬電漿顯示裝置
JP5864144B2 (ja) * 2011-06-28 2016-02-17 京セラ株式会社 表示機器
US20140240228A1 (en) * 2011-09-07 2014-08-28 Nitto Denko Corporation User interface display device
DE102011112618A1 (de) * 2011-09-08 2013-03-14 Eads Deutschland Gmbh Interaktion mit einem dreidimensionalen virtuellen Szenario
CN103959179B (zh) * 2011-10-20 2017-09-15 皇家飞利浦有限公司 用于医疗程序的全息用户界面
RU2018119502A (ru) 2011-11-21 2018-11-15 Никон Корпорейшн Устройство отображения и программа управления отображением
US9619036B2 (en) 2012-05-11 2017-04-11 Comcast Cable Communications, Llc System and methods for controlling a user experience
US9429912B2 (en) 2012-08-17 2016-08-30 Microsoft Technology Licensing, Llc Mixed reality holographic object development
CN104704449B (zh) * 2012-10-05 2017-09-12 日本电气方案创新株式会社 用户界面设备和用户界面方法
WO2014061310A1 (ja) * 2012-10-16 2014-04-24 日本電気株式会社 表示物制御システム、表示物制御方法及びプログラム
US10241638B2 (en) * 2012-11-02 2019-03-26 Atheer, Inc. Method and apparatus for a three dimensional interface
KR101956073B1 (ko) 2012-12-20 2019-03-08 삼성전자주식회사 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 장치 및 그 장치를 이용한 방법
JP6266229B2 (ja) 2013-05-14 2018-01-24 東芝メディカルシステムズ株式会社 画像処理装置、方法、及びプログラム
JP2016524262A (ja) * 2013-07-10 2016-08-12 リアル ビュー イメージング リミテッド ３次元ユーザインタフェース
US20150065221A1 (en) * 2013-09-03 2015-03-05 Samsung Electronics Co., Ltd. Method and device for operating 3d virtual chessboard
CN103761085B (zh) * 2013-12-18 2018-01-19 微软技术许可有限责任公司 混合现实全息对象开发
CN105302281A (zh) * 2014-05-28 2016-02-03 席东民 一种全息虚拟触觉产生装置
US10852838B2 (en) 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
WO2015192117A1 (en) * 2014-06-14 2015-12-17 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
JP6428020B2 (ja) * 2014-07-24 2018-11-28 セイコーエプソン株式会社 Ｇｕｉ装置
CN108073334B (zh) * 2014-07-24 2020-12-25 Oppo广东移动通信有限公司 一种基于矢量运算的悬浮触控方法及装置
KR20160085613A (ko) * 2015-01-08 2016-07-18 엘지전자 주식회사 이동단말기 및 그 제어방법
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US20160314621A1 (en) 2015-04-27 2016-10-27 David M. Hill Mixed environment display of attached data
US10007413B2 (en) 2015-04-27 2018-06-26 Microsoft Technology Licensing, Llc Mixed environment display of attached control elements
US11449146B2 (en) * 2015-06-10 2022-09-20 Wayne Patrick O'Brien Interactive holographic human-computer interface
DE102015213424A1 (de) * 2015-07-16 2017-01-19 Audi Ag Verfahren und Bediensystem zum Bedienen von mindestens einer Funktion in einem Fahrzeug
WO2017024142A1 (en) * 2015-08-04 2017-02-09 Google Inc. Input via context sensitive collisions of hands with objects in virtual reality
CN105204619A (zh) * 2015-08-19 2015-12-30 广州杰赛科技股份有限公司 一种全息投影装置、终端及智能手表
WO2017047832A1 (ko) * 2015-09-14 2017-03-23 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN106371574B (zh) * 2015-12-04 2019-03-12 北京智谷睿拓技术服务有限公司 触觉反馈的方法、装置和虚拟现实交互系统
US10418008B2 (en) * 2016-07-20 2019-09-17 Beamz Ip, Llc Cyber reality device including gaming based on a plurality of musical programs
US10627625B2 (en) 2016-08-11 2020-04-21 Magic Leap, Inc. Automatic placement of a virtual object in a three-dimensional space
US10628013B2 (en) * 2016-09-02 2020-04-21 Accenture Global Solutions Limited Closed-loop display control for multi-dimensional user interface generation
CN107885316A (zh) * 2016-09-29 2018-04-06 阿里巴巴集团控股有限公司 一种基于手势的交互方法及装置
US10691066B2 (en) 2017-04-03 2020-06-23 International Business Machines Corporation User-directed holographic object design
JP2018206149A (ja) * 2017-06-06 2018-12-27 オムロン株式会社 入力装置
JP6962026B2 (ja) * 2017-06-22 2021-11-05 オムロン株式会社 ジェスチャ入力装置
JP6966629B2 (ja) * 2017-07-31 2021-11-17 ドリエーッセン エアロスペース グループ ナームロゼ フェンノートシャップ 仮想制御装置及びシステム
WO2019032967A1 (en) 2017-08-10 2019-02-14 Google Llc HAND INTERACTION SENSITIVE TO THE CONTEXT
US10591730B2 (en) * 2017-08-25 2020-03-17 II Jonathan M. Rodriguez Wristwatch based interface for augmented reality eyewear
US20190187875A1 (en) * 2017-12-15 2019-06-20 International Business Machines Corporation Remote control incorporating holographic displays
JP7056423B2 (ja) * 2018-07-10 2022-04-19 オムロン株式会社 入力装置
JP6703283B2 (ja) * 2018-07-17 2020-06-03 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム
WO2020075456A1 (ja) * 2018-10-11 2020-04-16 オムロン株式会社 入力装置
US10885715B2 (en) * 2019-01-14 2021-01-05 Microsoft Technology Licensing, Llc Interactive carry
JP2019169180A (ja) * 2019-05-28 2019-10-03 株式会社ミツトヨ コマンド実行システムおよび位置計測装置
US11227444B2 (en) 2020-03-09 2022-01-18 International Business Machines Corporation Virtual reality content adaptation
TWI817186B (zh) * 2020-09-29 2023-10-01 仁寶電腦工業股份有限公司 物件操作系統及物件操作方法
WO2022123771A1 (ja) * 2020-12-11 2022-06-16 日本電信電話株式会社 映像表示方法、映像表示装置およびプログラム
US20220313216A1 (en) * 2021-03-31 2022-10-06 Baker Hughes Holdings Llc Augmented reality in ultrasonic inspection

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62233823A (ja) * 1986-04-03 1987-10-14 Fuji Electric Co Ltd Ｃｒｔ装置の座標入力確認方法
JPH0830389A (ja) * 1994-07-12 1996-02-02 Saifuaa Shiya:Kk 三次元マウス装置および三次元画像データ・指令入力装置
US6061177A (en) * 1996-12-19 2000-05-09 Fujimoto; Kenneth Noboru Integrated computer display and graphical input apparatus and method
US6031519A (en) * 1997-12-30 2000-02-29 O'brien; Wayne P. Holographic direct manipulation interface
JP2000075991A (ja) * 1998-08-28 2000-03-14 Aqueous Research:Kk 情報入力装置
US6507353B1 (en) * 1999-12-10 2003-01-14 Godot Huard Influencing virtual actors in an interactive environment
JP4526639B2 (ja) * 2000-03-02 2010-08-18 本田技研工業株式会社 顔認識装置およびその方法
JP2001356878A (ja) * 2000-06-14 2001-12-26 Hitachi Ltd アイコン制御方法
KR20030072591A (ko) * 2001-01-08 2003-09-15 브이케이비 인코포레이티드 데이터 입력 디바이스
JP2003029898A (ja) * 2001-07-16 2003-01-31 Japan Science & Technology Corp 触覚装置
WO2006003586A2 (en) * 2004-06-29 2006-01-12 Koninklijke Philips Electronics, N.V. Zooming in 3-d touch interaction
MX2007012240A (es) * 2005-03-30 2007-12-07 Lg Electronics Inc Refrigerador de avatar.
EP1902350A1 (en) * 2005-07-04 2008-03-26 Bang & Olufsen A/S A unit, an assembly and a method for controlling in a dynamic egocentric interactive space
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US7701439B2 (en) * 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US20080231926A1 (en) * 2007-03-19 2008-09-25 Klug Michael A Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input
US7895518B2 (en) * 2007-04-27 2011-02-22 Shapewriter Inc. System and method for preview and selection of words
US7881901B2 (en) * 2007-09-18 2011-02-01 Gefemer Research Acquisitions, Llc Method and apparatus for holographic user interface communication
JP2009093291A (ja) * 2007-10-04 2009-04-30 Toshiba Corp ジェスチャー判定装置及び方法
US8477098B2 (en) * 2007-10-31 2013-07-02 Gene S. Fein Method and apparatus for user interface of input devices
JP5439977B2 (ja) * 2009-06-24 2014-03-12 富士ゼロックス株式会社 動作判定システム、動作判定装置およびプログラム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013089490A1 (ko) * 2011-12-15 2013-06-20 한양대학교 산학협력단 디스플레이 장치와 연동하는 촉감 제공 장치 및 방법
WO2013089494A1 (ko) * 2011-12-15 2013-06-20 한양대학교 산학협력단 가상 영상에 대한 촉감 제공 장치 및 방법
KR101370090B1 (ko) * 2011-12-15 2014-03-06 한양대학교 산학협력단 가상 영상에 대한 촉감 제공 장치 및 방법
KR101428880B1 (ko) * 2011-12-15 2014-08-13 한양대학교 산학협력단 디스플레이 장치와 연동하는 촉감 제공 장치 및 방법
US9317121B2 (en) 2011-12-15 2016-04-19 Industry-University Cooperation Foundation Hanyang University Apparatus and method for providing tactile sensation in cooperation with display device
US9323330B2 (en) 2011-12-15 2016-04-26 Industry-University Cooperation Foundation Hanyang University Apparatus and method for providing tactile sensation for virtual image
US8963834B2 (en) 2012-02-29 2015-02-24 Korea Institute Of Science And Technology System and method for implementing 3-dimensional user interface
US9658596B2 (en) 2012-09-13 2017-05-23 Samsung Electronics Co., Ltd. Apparatus and method for adjusting holographic image
US9507478B2 (en) 2013-02-25 2016-11-29 Samsung Electronics Co., Ltd. Three-dimensional (3D) display device for providing input-output interface using dynamic magnetic field control and method thereof
KR20200081718A (ko) * 2018-12-28 2020-07-08 이진우 홀로그램 기반의 문자 인식 방법 및 그 장치
US11244138B2 (en) 2018-12-28 2022-02-08 Jin Woo Lee Hologram-based character recognition method and apparatus

Also Published As

Publication number Publication date
EP2381339A3 (en) 2011-11-09
TW201126378A (en) 2011-08-01
KR101114750B1 (ko) 2012-03-05
EP2381339A2 (en) 2011-10-26
US20110191707A1 (en) 2011-08-04
CN102141877A (zh) 2011-08-03
CN102141877B (zh) 2013-11-13
EP2381339B1 (en) 2013-11-27
JP2011159273A (ja) 2011-08-18

Similar Documents

Publication Publication Date Title
KR101114750B1 (ko) 다차원 영상을 이용한 사용자 인터페이스 장치
US9477324B2 (en) Gesture processing
US9575562B2 (en) User interface systems and methods for managing multiple regions
US8743089B2 (en) Information processing apparatus and control method thereof
US20170293351A1 (en) Head mounted display linked to a touch sensitive input device
US20130241832A1 (en) Method and device for controlling the behavior of virtual objects on a display
WO2016097841A2 (en) Methods and apparatus for high intuitive human-computer interface and human centric wearable "hyper" user interface that could be cross-platform / cross-device and possibly with local feel-able/tangible feedback
JP2019537084A (ja) タッチセンサ式キーボード
JP2019527400A (ja) タッチセンシティブキーボード
EP2693313A2 (en) Electronic pen input recognition apparatus and method using capacitive-type touch screen panel (tsp)
US10956030B2 (en) Multi-touch based drawing input method and apparatus
US20160139762A1 (en) Aligning gaze and pointing directions
CN108159697A (zh) 虚拟对象传送方法及装置、存储介质、电子设备
KR102118610B1 (ko) 센서들을 이용하는 근접 동작 인식 장치 및 그 장치를 이용한 방법
KR20160009291A (ko) 3차원 동작인식 정보입력 장치 및 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체
CN108553892A (zh) 虚拟对象控制方法、装置、存储介质及电子设备
WO2013153551A1 (en) Stylus and digitizer for 3d manipulation of virtual objects
CN107850969B (zh) 用于在触摸板上检测手势的装置和方法
KR101961786B1 (ko) 터치스크린을 포함하는 단말을 이용한 마우스 기능의 제공 방법 및 장치
US20240103642A1 (en) Input device for three-dimensional control
KR102322968B1 (ko) 사용자의 손동작에 따른 명령 입력 장치 및 이를 이용한 명령 입력 방법
US20230031200A1 (en) Touchless, Gesture-Based Human Interface Device
EP3374847B1 (en) Controlling operation of a 3d tracking device
JP6204414B2 (ja) ゲーム装置及びプログラム
WO2024064938A1 (en) Input device for three-dimensional control

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150203

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160201

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170727

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200203

Year of fee payment: 9