KR101651568B1 - 3차원 공간 인터페이스 장치 및 방법 - Google Patents

3차원 공간 인터페이스 장치 및 방법 Download PDF

Info

Publication number
KR101651568B1
KR101651568B1 KR1020090102228A KR20090102228A KR101651568B1 KR 101651568 B1 KR101651568 B1 KR 101651568B1 KR 1020090102228 A KR1020090102228 A KR 1020090102228A KR 20090102228 A KR20090102228 A KR 20090102228A KR 101651568 B1 KR101651568 B1 KR 101651568B1
Authority
KR
South Korea
Prior art keywords
space
virtual object
sensing
user
dimensional
Prior art date
Application number
KR1020090102228A
Other languages
English (en)
Other versions
KR20110045589A (ko
Inventor
김정배
김창용
방원철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090102228A priority Critical patent/KR101651568B1/ko
Priority to EP10187285A priority patent/EP2330483A3/en
Priority to US12/923,932 priority patent/US9377858B2/en
Publication of KR20110045589A publication Critical patent/KR20110045589A/ko
Priority to US15/188,314 priority patent/US9880698B2/en
Application granted granted Critical
Publication of KR101651568B1 publication Critical patent/KR101651568B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

3차원 공간 인터페이스 장치 및 방법을 제안한다. 3차원 공간 인터페이스 장치는 사용자 위치에 따라 달리 보이는 3차원 공간 상의 3차원 가상객체를 사용자의 움직임을 감지해서 사용자가 직접 만지고, 변형할 수 있는 인터페이스 장치이다. 즉, 3차원 공간 인터페이스 장치는 사용자의 신체를 이용한 3차원 가상 객체의 조작을 제공한다. 또한, 3차원 공간 인터페이스 장치는 3차원 가상객체와의 사용자 간의 접촉 여부를 확인할 때 사용자의 위치 변화에 따른 오차를 제거하기 위해 사용자가 위치를 추적하고 사용자의 위치를 보정해서 3차원 가상객체와의 사용자 간의 접촉 여부를 확인하였다.
Figure R1020090102228
인터페이스, 3차원, 동작 감지, 접촉

Description

3차원 공간 인터페이스 장치 및 방법{APPARATUS AND METHOD FOR THREE-DIMENSIONAL SPACE INTERFACE}
하기에서 설명하는 것은, 인터페이스에 관한 것으로, 3D 디스플레이를 통해 보이는 3차원 가상 객체를 3차원 공간에서의 동작 또는 3차원 가상 객체와의 직접적인 접촉을 통해 조작하는 3차원 공간 인터페이스 장치 및 방법에 관련된 것이다.
컴퓨터 등의 정보 처리 시스템이나 제어 시스템에서는 사용자 인터페이스를 위한 사용자 입력 및 출력 장치가 사용된다. 사용자 입력 장치로는 키보드(keyboard), 마우스(mouse), 터치 스크린(touch screen) 등이 주로 사용되며, 출력 장치로는 모니터 화면(monitor screen), 프린터(printer) 등이 널리 사용된다.
종래의 마우스 등의 입력 장치는 2차원적인 사용자 입력만을 지원하였다. 즉, 사용자 입력 장치를 통한 사용자 입력을 평면상에서 기준축이 되는 X축 방향의 입력과 이에 수직을 이루는 Y축 방향의 입력으로 분리하여 감지 또는 검출하였다. 또한, 종래의 그래픽 화면도 특수한 응용 분야를 제외하고는, 일반적으로 2차원적인 사용자 출력을 중심으로 구성되었다.
하지만, 기술에 발달로 3차원 디스플레이 장치와 여러 입력 장치들이 개발되어 제공되고 있다. 근간에 디스플레이를 통해 보이는 가상 객체를 사용자의 손을 이용하여 조작하는 여러 가지 인터페이스 방법이 제안되고 있다.
특히, 화면 터치 기술이 많은 주목을 받고 있다. 그 이유는 자신의 손을 이용하여 물체로 직접 조작하고자 하는 사용자의 요구를 반영하고 있기 때문이다. 하지만, 화면 터치를 이용하는 인터페이스는 3차원 물체를 직접 조작하는 것과 같은 느낌을 제공하는 것이 아니라, 그림 속의 물체를 만져서 조작하는 느낌을 제공할 뿐이다.
3차원 공간 인터페이스 장치는, 3차원 가상객체를 출력하는 3차원 디스플레이부와, 사용자의 위치와 움직임을 감지하고, 상기 3차원 가상객체를 조작하는 조작객체의 위치와 움직임을 감지하기 위한 감지신호를 생성하는 감지부 및 상기 감지신호를 이용해서 상기 조작객체의 기설정된 동작 또는 상기 3차원 가상객체와 상기 조작객체 간의 접촉 여부를 확인하고, 상기 기설정된 동작 또는 상기 접촉에 대응하는 기설정된 반응을 생성하는 인터페이스부를 포함할 수 있다.
이때, 상기 감지부는, 컬러 카메라(Color Camera), 깊이 카메라(Depth Camera) 및 모션 센서 중에서 적어도 하나일 수 있다.
이때, 상기 인터페이스부는, 상기 감지신호를 이용해서 상기 3차원 가상객체가 출력되는 렌더링 공간과 상기 3차원 가상객체의 조작을 감지하는 공간인 센싱 공간을 결정하는 공간 결정부와, 상기 3차원 가상객체를 상기 사용자의 위치에 따라 3차원 렌더링해서 상기 렌더링 공간에 출력하는 3차원 렌더링부와, 상기 감지신호를 이용해서 상기 센싱 공간에 위치한 상기 조작객체를 검출하고 상기 조작객체의 움직임을 추적하는 조작객체 검출부와, 상기 조작객체와 상기 3차원 가상객체 간의 접촉여부를 감지하는 접촉 감지부와, 상기 조작객체의 움직임을 추적해서 상기 기설정된 동작의 발생여부를 확인하는 동작 인식부 및 상기 기설정된 동작 또는 상기 접촉에 따라 대응하는 기설정된 반응을 생성하는 반응 생성부를 포함할 수 있다.
이때, 상기 공간 결정부는, 상기 감지신호를 이용해서 상기 사용자의 위치와 상기 사용자의 얼굴을 추적하고, 상기 3차원 디스플레이부에서 사용자 얼굴방향 쪽 공간을 상기 렌더링 공간으로 결정하고, 상기 3차원 디스플레이부와 상기 사용자 얼굴 사이의 공간 중 기설정된 크기의 공간을 상기 센싱 공간으로 결정할 수 있다.
이때, 상기 조작객체 검출부는, 상기 센싱 공간 내의 상기 사용자의 손, 상기 센싱 공간 내의 상기 사용자의 신체 및 상기 센싱 공간 내의 물체를 상기 조작객체로 검출할 수 있다.
이때, 상기 접촉 감지부는, 상기 사용자의 위치에 따라 변경되는 상기 렌더링 공간과 상기 센싱 공간의 왜곡을 교정하고, 교정된 렌더링 공간과 교정된 센싱 공간을 정합해서 상기 교정된 렌더링 공간에 출력된 상기 3차원 가상객체와 상기 교정된 센싱 공간에서 검출되는 상기 조작객체 간의 접촉여부를 확인할 수 있다.
이때, 상기 기설정된 동작 또는 상기 접촉에 따라 대응하는 상기 기설정된 반응은, 상기 3차원 가상객체를 늘이거나 찌그러트리는 변형, 상기 3차원 가상객체의 회전, 상기 3차원 가상객체의 이동, 상기 3차원 가상객체에서 접촉된 부분의 선택, 상기 기설정된 동작 또는 상기 접촉 위치에 대응하는 기설정된 명령 수행, 새로운 3차원 가상객체의 발생 또는 상기 3차원 가상객체의 제거 중에서 적어도 하나일 수 있다.
이때, 상기 반응 생성부는, 상기 접촉이 발생하면 접촉한 상기 조작객체로 초음파를 송신해서 접촉느낌을 발생시키는 초음파 발생부를 더 포함할 수 있다.
3차원 공간 인터페이스 방법은, 사용자의 위치와 움직임을 감지하고, 3차원 가상객체를 조작하는 조작객체의 위치와 움직임을 감지하기 위한 감지신호를 생성하는 단계와, 상기 3차원 가상객체를 출력하고, 상기 감지신호를 이용해서 상기 조작객체의 기설정된 동작 또는 상기 3차원 가상객체와 상기 조작객체 간의 접촉 여부를 확인하고, 상기 기설정된 동작 또는 상기 접촉에 대응하는 기설정된 반응을 생성하는 인터페이스 단계 및 상기 생성된 반응이 적용된 3차원 가상객체를 출력하는 단계를 포함할 수 있다.
이때, 상기 감지신호는, 컬러 카메라(Color Camera), 깊이 카메라(Depth Camera) 및 모션 센서 중에서 적어도 하나를 통해 생성될 수 있다.
이때, 상기 인터페이스 단계는, 상기 감지신호를 이용해서 상기 3차원 가상객체가 출력되는 렌더링 공간과 상기 3차원 가상객체의 조작을 감지하는 공간인 센싱 공간을 결정하는 단계와, 상기 3차원 가상객체를 상기 사용자의 위치에 따라 3차원 렌더링해서 상기 렌더링 공간에 출력하는 단계와, 상기 감지신호를 이용해서 상기 센싱 공간에 위치한 상기 조작객체를 검출하고 상기 조작객체의 움직임을 추적하는 단계와, 상기 조작객체와 상기 3차원 가상객체 간의 접촉여부를 감지하는 단계와, 상기 조작객체의 움직임을 추적해서 상기 기설정된 동작의 발생여부를 확인하는 단계 및 상기 기설정된 동작 또는 상기 접촉에 따라 대응하는 기설정된 반응을 생성하는 단계를 포함할 수 있다.
이때, 상기 렌더링 공간과 상기 센싱 공간을 결정하는 단계는, 상기 감지신호를 이용해서 상기 사용자의 위치와 상기 사용자의 얼굴을 추적하는 단계와, 상기 3차원 디스플레이부에서 사용자 얼굴방향 쪽 공간을 상기 렌더링 공간으로 결정하는 단계 및 상기 3차원 디스플레이부와 상기 사용자 얼굴 사이의 공간 중 기설정된 크기의 공간을 상기 센싱 공간으로 결정하는 단계를 포함할 수 있다.
이때, 상기 조작객체의 검출은, 상기 센싱 공간 내의 상기 사용자의 손, 상기 센싱 공간 내의 상기 사용자의 신체 및 상기 센싱 공간 내의 물체를 상기 조작객체로 검출할 수 있다.
이때, 상기 접촉여부를 감지하는 단계는, 상기 사용자의 위치에 따라 변경되는 상기 렌더링 공간과 상기 센싱 공간의 왜곡을 교정하는 단계 및 교정된 렌더링 공간과 교정된 센싱 공간을 정합해서 상기 교정된 렌더링 공간에 출력된 상기 3차원 가상객체와 상기 교정된 센싱 공간에서 검출되는 상기 조작객체 간의 접촉여부를 확인할 수 있다.
이때, 상기 기설정된 동작 또는 상기 접촉에 따라 대응하는 상기 기설정된 반응은, 상기 3차원 가상객체를 늘이거나 찌그러트리는 변형, 상기 3차원 가상객체의 회전, 상기 3차원 가상객체의 이동, 상기 3차원 가상객체에서 접촉된 부분의 선택, 상기 기설정된 동작 또는 상기 접촉 위치에 대응하는 기설정된 명령 수행, 새로운 3차원 가상객체의 발생 또는 상기 3차원 가상객체의 제거 중에서 적어도 하나일 수 있다.
이때, 상기 인터페이스 단계는, 상기 접촉이 발생하면 접촉한 상기 조작객체로 초음파를 송신해서 접촉느낌을 발생시키는 단계를 더 포함할 수 있다.
3차원 공간 인터페이스 장치 및 방법은 3차원 가상 객체를 출력하는 렌더링 공간과 사용자의 움직임을 감지하는 센싱 공간을 일치시킴으로써, 원격이 아닌 사용자의 동작이나 사용자의 신체가 3차원 가상 객체와의 직접적인 접촉을 통한 인터페이스를 제공하였다. 또한, 사용자를 추적하고 사용자의 위치에 따라 센싱 공간과 렌더링 공간을 바꾸어 줌으로써, 사용자의 위치 이동에 따른 오차를 제거하였다.
이하, 제안되는 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
제안되는 실시 예는 사용자 위치에 따라 달리 보이는 3차원 공간 상의 가상 객체를 사용자의 움직임을 감지해서 사용자가 직접 만지고, 변형할 수 있는 인터페이스 장치 및 방법에 관한 것이다.
제안되는 실시 예에 따른 3차원 공간 인터페이스 장치는 사용자의 신체를 이용한 3차원 가상 객체의 조작을 제공할 수가 있다. 특히, 제안되는 실시 예에 따른 3차원 공간 인터페이스 장치는 사용자가 위치를 추적해서 3차원 가상객체와의 접촉에서 발생할 수 있는 오차를 줄였다.
도 1은 제안되는 실시 예에 따른 3차원 공간 인터페이스 장치의 동작 예를 도시한 도면이다. 도 1을 참조하면 3차원 공간 인터페이스 장치는 감지부(110), 인터페이스부(120) 및 3차원 디스플레이부(130)를 포함한다.
감지부(110)는 사용자(140)의 위치와 움직임을 감지하고, 3차원 가상객 체(160)를 조작할 수 있는 손과 같은 조작객체(150)의 위치와 움직임을 감지하기 위한 감지신호를 생성한다. 감지부(110)는 컬러 카메라(Color Camera), 깊이 카메라(Depth Camera) 또는 모션 센서를 포함할 수 있다. 따라서, 감지신호는 컬러 영상, 물체와의 거리를 측정할 수 있는 깊이 영상, 또는 사용자의 모션 등이 될 수 있다.
3차원 디스플레이부(130)는 인터페이스부(120)의 제어에 따라 사용자(140) 방향으로 3차원 가상객체(160)를 3차원 영상으로 출력한다.
인터페이스부(120)는 감지신호를 이용해서 조작객체(150)의 기설정된 동작 또는 3차원 가상객체(160)와 조작객체(150) 간의 접촉 여부를 확인하고, 기설정된 동작 또는 접촉에 대응하는 기설정된 반응을 생성해서 3차원 가상객체(160)에 적용한다.
도 2는 제안되는 실시 예에 따른 3차원 공간 인터페이스 장치의 구성을 도시한 도면이다. 도 2를 참조하면 3차원 공간 인터페이스 장치의 인터페이스부(120)는 공간 결정부(210), 3차원 렌더링부(220), 조작객체 검출부(230), 접촉 감지부(240), 동작 인식부(250) 및 반응 생성부(260)를 포함한다.
공간 결정부(210)는 감지신호를 이용해서, 3차원 가상객체가 출력되는 렌더링 공간과 3차원 가상객체의 조작을 감지하는 공간인 센싱 공간을 결정한다.
공간 결정부(210)는 감지신호를 이용해서 사용자의 위치와 사용자의 얼굴을 추적한다. 그리고, 공간 결정부(210)는 3차원 디스플레이 평면에서 사용자 얼굴방향 쪽 공간을 렌더링 공간으로 결정하고, 3차원 디스플레이 평면과 사용자 얼굴 사 이의 공간 중 기설정된 크기의 공간을 센싱 공간으로 결정한다. 그리고, 공간 결정부(210)는 센싱 공간에서 조작 객체를 시간당 감지하는 횟수를 의미하는 센싱 해상도를 결정할 수 있다. 센싱 해상도는 감지부(110)의 감지신호의 정확도를 고려해서 결정되거나 기설정 될 수 있다.
3차원 렌더링부(220)는 3차원 가상객체를 수신하고, 수신한 3차원 가상객체를 사용자의 위치에 따라 3차원 렌더링해서 공간 결정부(210)에서 결정한 렌더링 공간에 출력한다. 그리고, 3차원 렌더링부(220)는 반응 생성부(260)에서 생성된 반응이 적용된 3차원 가상객체를 3차원 렌더링해서 렌더링 공간에 출력한다.
조작객체 검출부(230)는 감지신호를 이용해서 센싱 공간에서 3차원 가상객체를 조작하는 객체인 조작객체를 검출하고, 조작객체를 추적한다. 조작객체는 센싱 공간에 위치하는 사용자의 신체 일부 또는 물체가 될 수 있다. 다시 말해, 조작객체 검출부(230)는 센싱 공간 내의 사용자의 양손, 센싱 공간 내의 사용자의 신체 및 센싱 공간 내의 물체를 조작객체로 검출하고, 조작객체의 움직임을 추적한다.
접촉 감지부(240)는 조작객체와 3차원 가상객체 간의 접촉여부를 감지한다. 접촉 감지부(240)는 사용자의 위치에 따라 변경되는 렌더링 공간과 센싱 공간의 왜곡을 교정하고, 교정된 렌더링 공간과 교정된 센싱 공간을 정합해서 교정된 렌더링 공간에 출력된 3차원 가상객체와 교정된 센싱 공간에서 검출되는 조작객체 간의 접촉여부 확인한다.
동작 인식부(250)는 조작객체의 움직임을 추적해서 기설정된 동작의 발생여부를 확인한다. 동작 인식부(250)는 조작객체의 속도, 방향, 모양, 크기, 위치 등 의 움직임을 실시간 분할해서 기설정된 동작과 비교해서 기설정된 동작을 인식한다.
반응 생성부(260)는 기설정된 동작 또는 접촉에 따라 대응하는 기설정된 반응을 생성한다. 반응 생성부(260)에서 생성하는 기설정된 반응에는 접촉에 대응해서 3차원 가상객체를 늘이거나 찌그러트리는 변형을 하거나 회전 및 이동 등의 반응이 존재할 수 있다. 그리고, 반응 생성부(260)에서 생성하는 기설정된 반응에는 동작 인식에 대응해서 새로운 3차원 가상객체를 발생 시키거나 출력중인 3차원 가상객체를 제거하는 등의 반응이 존재할 수 있다.
또한, 반응 생성부(260)는 3차원 가상객체와의 접촉인 발생한 조작객체에 접촉한 느낌을 제공하기 위해, 포함된 초음파 발생부(미도시)를 통해 초음파를 조작객체에 송신해서 접촉느낌이 발생하도록 할 수 있다.
이하, 상기와 같이 구성된 3차원 공간 인터페이스 장치에서의 인터페이스 방법을 아래에서 도면을 참조하여 설명한다.
도 3은 제안되는 실시 예에 따라 3차원 공간 인터페이스 과정을 도시한 흐름도이다. 도 3을 참조하면 3차원 공간 인터페이스 장치의 인터페이스부(120)는 310단계에서 감지부를 통해서 사용자와 조작객체를 검출하기 위한 감지신호를 수신한다.
그리고, 인터페이스부(120)는 312단계에서 감지신호를 이용해서, 3차원 가상객체가 출력되는 렌더링 공간과 3차원 가상객체의 조작을 감지하는 공간인 센싱 공간을 결정한다. 렌더링 공간과 센싱 공간의 결정은 아래에서 도 4를 통해 보다 상세히 후술한다.
그리고, 인터페이스부(120)는 314단계에서 3차원 가상객체를 수신하고, 수신한 3차원 가상객체를 사용자의 위치에 따라 3차원 렌더링해서 렌더링 공간에 출력한다.
그리고, 인터페이스부(120)는 316단계에서 감지신호를 이용해서 센싱 공간에서 3차원 가상객체를 조작하는 객체인 조작객체를 검출하고, 조작객체를 추적한다. 이때, 조작객체는 센싱 공간에 위치하는 사용자의 신체 일부 또는 물체가 될 수 있다.
그리고, 인터페이스부(120)는 318단계에서 조작객체의 움직임에 따른 동작 인식 또는 조작객체와 3차원 가상객체 간의 접촉여부를 감지한다. 조작객체와 3차원 가상객체 간의 접촉여부는 아래에서 도 5를 통해 보다 상세히 후술한다.
318단계의 확인결과 동작 인식 또는 접촉이 감지되지 않으면, 인터페이스부(120)는 310단계로 돌아가 318단계까지의 일련의 과정을 반복한다.
318단계의 확인결과 동작 인식 또는 접촉이 감지되면, 인터페이스부(120)는 320단계에서 기설정된 동작 또는 감지한 접촉에 따라 대응하는 기설정된 반응을 생성한다.
접촉에 대응한 반응으로는 3차원 가상객체를 늘이거나 찌그러트리는 변형, 3차원 가상객체의 회전 및 이동 등이 존재할 수 있다. 그리고, 기설정된 동작에 대응한 반응으로는 새로운 3차원 가상객체를 발생 시키거나 출력중인 3차원 가상객체 를 제거하는 등이 존재할 수 있다. 그 외에도 수많은 반응들을 생성할 수 있다.
그리고, 인터페이스부(120)는 322단계에서 생성된 반응이 적용된 3차원 가상객체를 3차원 렌더링해서 렌더링 공간에 출력한다.
도 4는 제안되는 실시 예에 따라 3차원 공간 인터페이스를 위한 공간 결정 과정을 도시한 흐름도이다. 도 4를 참조하면 3차원 공간 인터페이스 장치의 공간 결정부(210)는 410단계에서 감지부로부터 감지신호를 수신하면, 412단계에서 감지신호를 이용해서 사용자의 위치와 사용자의 얼굴을 추적한다.
그리고, 공간 결정부(210)는 414단계에서 3차원 디스플레이 평면에서 사용자 얼굴방향 쪽 공간을 렌더링 공간으로 결정한다.
그리고, 공간 결정부(210)는 416단계에서 3차원 디스플레이 평면과 사용자 얼굴 사이의 공간 중 기설정된 크기의 공간을 센싱 공간으로 결정한다.
그리고, 공간 결정부(210)는 418단계에서 센싱 공간에서 조작 객체를 시간당 감지하는 횟수를 의미하는 센싱 해상도를 결정한다. 이때, 센싱 해상도는 감지부(110)의 감지신호의 정확도를 고려해서 결정되거나 기설정 될 수 있다.
도 5는 제안되는 실시 예에 따라 3차원 공간 인터페이스를 위한 3차원 가상객체와의 접촉을 확인하는 과정을 도시한 흐름도이다. 도 4를 참조하면 3차원 공간 인터페이스 장치의 접촉 감지부(240)는 3차원 가상객체와 조작객체의 접촉을 감지하기 위해 510단계에서 사용자의 위치에 변경되는 렌더링 공간과 센싱 공간의 왜곡을 교정한다. 그리고 접촉 감지부(240)는 512단계에서 교정된 렌더링 공간과 교정된 센싱 공간을 정합한다. 그리고 접촉 감지부(240)는 514단계에서 렌더링 공간에 출력된 3차원 가상객체와 센싱 공간에서 검출되는 조작객체 간의 접촉여부 확인한다.
상기한 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통 상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 제안되는 실시 예에 따른 3차원 공간 인터페이스 장치의 동작 예를 도시한 도면이다.
도 2는 제안되는 실시 예에 따른 3차원 공간 인터페이스 장치의 구성을 도시한 도면이다.
도 3은 제안되는 실시 예에 따라 3차원 공간 인터페이스 과정을 도시한 흐름도이다.
도 4는 제안되는 실시 예에 따라 3차원 공간 인터페이스를 위한 공간 결정 과정을 도시한 흐름도이다.
도 5는 제안되는 실시 예에 따라 3차원 공간 인터페이스를 위한 3차원 가상객체와의 접촉을 확인하는 과정을 도시한 흐름도이다.

Claims (16)

  1. 3차원 가상객체를 출력하는 3차원 디스플레이부;
    사용자의 위치와 움직임을 감지하고, 상기 3차원 가상객체를 조작하는 조작객체의 위치와 움직임을 감지하기 위한 감지신호를 생성하는 감지부;
    상기 감지신호를 이용해서 상기 사용자의 얼굴을 추적하고, 상기 사용자의 얼굴 및 상기 3차원 디스플레이부 사이의 공간을 상기 3차원 가상객체가 출력되는 렌더링 공간으로 결정하며, 상기 렌더링 공간 내에서 기설정된 크기의 공간을 상기 3차원 가상객체의 조작을 감지하는 센싱 공간으로 결정하는 공간 결정부; 및
    상기 감지신호를 이용해서 상기 조작객체의 기설정된 동작 또는 상기 3차원 가상객체와 상기 조작객체 간의 접촉 여부를 확인하고, 상기 기설정된 동작 또는 상기 접촉에 대응하는 기설정된 반응을 생성하는 인터페이스부
    를 포함하고,
    상기 인터페이스부는,
    상기 사용자의 위치에 따라 변경되는 상기 렌더링 공간과 상기 센싱 공간의 왜곡을 교정하고, 교정된 렌더링 공간과 교정된 센싱 공간을 정합해서 상기 교정된 렌더링 공간에 출력된 상기 3차원 가상객체와 상기 교정된 센싱 공간에서 검출되는 상기 조작객체 간의 접촉여부를 확인하는,
    3차원 공간 인터페이스 장치.
  2. 제1항에 있어서,
    상기 감지부는,
    컬러 카메라(Color Camera), 깊이 카메라(Depth Camera) 및 모션 센서 중에서 적어도 하나인
    3차원 공간 인터페이스 장치.
  3. 제1항에 있어서,
    상기 인터페이스부는,
    상기 3차원 가상객체를 상기 사용자의 위치에 따라 3차원 렌더링해서 상기 렌더링 공간에 출력하는 3차원 렌더링부;
    상기 감지신호를 이용해서 상기 센싱 공간에 위치한 상기 조작객체를 검출하고 상기 조작객체의 움직임을 추적하는 조작객체 검출부;
    상기 조작객체와 상기 3차원 가상객체 간의 접촉여부를 감지하는 접촉 감지부;
    상기 조작객체의 움직임을 추적해서 상기 기설정된 동작의 발생여부를 확인하는 동작 인식부; 및
    상기 기설정된 동작 또는 상기 접촉에 따라 대응하는 기설정된 반응을 생성하는 반응 생성부
    를 포함하는 3차원 공간 인터페이스 장치.
  4. 제3항에 있어서,
    상기 공간 결정부는,
    상기 감지신호를 이용해서 상기 사용자의 위치와 상기 사용자의 얼굴을 추적하고, 상기 3차원 디스플레이부에서 사용자 얼굴방향 쪽 공간을 상기 렌더링 공간으로 결정하는
    3차원 공간 인터페이스 장치.
  5. 제3항에 있어서,
    상기 조작객체 검출부는,
    상기 센싱 공간 내의 상기 사용자의 손, 상기 센싱 공간 내의 상기 사용자의 신체 및 상기 센싱 공간 내의 물체를 상기 조작객체로 검출하는
    3차원 공간 인터페이스 장치.
  6. 삭제
  7. 제3항에 있어서,
    상기 기설정된 동작 또는 상기 접촉에 따라 대응하는 상기 기설정된 반응은,
    상기 3차원 가상객체를 늘이거나 찌그러트리는 변형, 상기 3차원 가상객체의 회전, 상기 3차원 가상객체의 이동, 상기 3차원 가상객체에서 접촉된 부분의 선택, 상기 기설정된 동작 또는 상기 접촉의 위치에 대응하는 기설정된 명령 수행, 새로운 3차원 가상객체의 발생 또는 상기 3차원 가상객체의 제거 중에서 적어도 하나인
    3차원 공간 인터페이스 장치.
  8. 제3항에 있어서,
    상기 반응 생성부는,
    상기 접촉이 발생하면 접촉한 상기 조작객체로 초음파를 송신해서 접촉느낌을 발생시키는 초음파 발생부
    를 더 포함하는 3차원 공간 인터페이스 장치.
  9. 사용자의 위치와 움직임을 감지하고, 3차원 가상객체를 조작하는 조작객체의 위치와 움직임을 감지하기 위한 감지신호를 생성하는 단계;
    상기 감지신호를 이용해서 상기 사용자의 얼굴을 추적하고, 상기 사용자의 얼굴 및 3차원 디스플레이부 사이의 공간을 상기 3차원 가상객체가 출력되는 렌더링 공간으로 결정하며, 상기 렌더링 공간 내에서 기설정된 크기의 공간을 상기 3차원 가상객체의 조작을 감지하는 센싱 공간으로 결정하는 단계;
    상기 3차원 가상객체를 출력하고, 상기 감지신호를 이용해서 상기 조작객체의 기설정된 동작 또는 상기 3차원 가상객체와 상기 조작객체 간의 접촉 여부를 확인하고, 상기 기설정된 동작 또는 상기 접촉에 대응하는 기설정된 반응을 생성하는 인터페이스 단계; 및
    상기 생성된 반응이 적용된 3차원 가상객체를 출력하는 단계
    를 포함하고,
    상기 인터페이스 단계는,
    상기 사용자의 위치에 따라 변경되는 상기 렌더링 공간과 상기 센싱 공간의 왜곡을 교정하는 단계; 및
    교정된 렌더링 공간과 교정된 센싱 공간을 정합해서 상기 교정된 렌더링 공간에 출력된 상기 3차원 가상객체와 상기 교정된 센싱 공간에서 검출되는 상기 조작객체 간의 접촉여부를 확인하는 단계
    를 포함하는 3차원 공간 인터페이스 방법.
  10. 제9항에 있어서,
    상기 감지신호는,
    컬러 카메라(Color Camera), 깊이 카메라(Depth Camera) 및 모션 센서 중에서 적어도 하나를 통해 생성되는
    3차원 공간 인터페이스 방법.
  11. 제9항에 있어서,
    상기 인터페이스 단계는,
    상기 3차원 가상객체를 상기 사용자의 위치에 따라 3차원 렌더링해서 상기 렌더링 공간에 출력하는 단계;
    상기 감지신호를 이용해서 상기 센싱 공간에 위치한 상기 조작객체를 검출하고 상기 조작객체의 움직임을 추적하는 단계;
    상기 조작객체와 상기 3차원 가상객체 간의 접촉여부를 감지하는 단계;
    상기 조작객체의 움직임을 추적해서 상기 기설정된 동작의 발생여부를 확인하는 단계; 및
    상기 기설정된 동작 또는 상기 접촉에 따라 대응하는 기설정된 반응을 생성하는 단계
    를 포함하는 3차원 공간 인터페이스 방법.
  12. 제11항에 있어서,
    상기 렌더링 공간과 상기 센싱 공간을 결정하는 단계는,
    상기 감지신호를 이용해서 상기 사용자의 위치와 상기 사용자의 얼굴을 추적하는 단계; 및
    상기 3차원 디스플레이부에서 사용자 얼굴방향 쪽 공간을 상기 렌더링 공간으로 결정하는 단계
    를 포함하는 3차원 공간 인터페이스 방법.
  13. 제11항에 있어서,
    상기 조작객체의 검출은,
    상기 센싱 공간 내의 상기 사용자의 손, 상기 센싱 공간 내의 상기 사용자의 신체 및 상기 센싱 공간 내의 물체를 상기 조작객체로 검출하는
    3차원 공간 인터페이스 방법.
  14. 삭제
  15. 제11항에 있어서,
    상기 기설정된 동작 또는 상기 접촉에 따라 대응하는 상기 기설정된 반응은,
    상기 3차원 가상객체를 늘이거나 찌그러트리는 변형, 상기 3차원 가상객체의 회전, 상기 3차원 가상객체의 이동, 상기 3차원 가상객체에서 접촉된 부분의 선택, 상기 기설정된 동작 또는 상기 접촉의 위치에 대응하는 기설정된 명령 수행, 새로운 3차원 가상객체의 발생 또는 상기 3차원 가상객체의 제거 중에서 적어도 하나인
    3차원 공간 인터페이스 방법.
  16. 제11항에 있어서,
    상기 접촉이 발생하면 접촉한 상기 조작객체로 초음파를 송신해서 접촉느낌을 발생시키는 단계를 더 포함하는
    3차원 공간 인터페이스 방법.
KR1020090102228A 2009-10-27 2009-10-27 3차원 공간 인터페이스 장치 및 방법 KR101651568B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020090102228A KR101651568B1 (ko) 2009-10-27 2009-10-27 3차원 공간 인터페이스 장치 및 방법
EP10187285A EP2330483A3 (en) 2009-10-27 2010-10-12 Three-dimensional space interface apparatus and method
US12/923,932 US9377858B2 (en) 2009-10-27 2010-10-14 Three-dimensional space interface apparatus and method
US15/188,314 US9880698B2 (en) 2009-10-27 2016-06-21 Three-dimensional space interface apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090102228A KR101651568B1 (ko) 2009-10-27 2009-10-27 3차원 공간 인터페이스 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110045589A KR20110045589A (ko) 2011-05-04
KR101651568B1 true KR101651568B1 (ko) 2016-09-06

Family

ID=43797538

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090102228A KR101651568B1 (ko) 2009-10-27 2009-10-27 3차원 공간 인터페이스 장치 및 방법

Country Status (3)

Country Link
US (2) US9377858B2 (ko)
EP (1) EP2330483A3 (ko)
KR (1) KR101651568B1 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101246844B1 (ko) * 2011-05-12 2013-03-25 빅시스템즈 주식회사 3ｄ 입체 관제 시스템 및 그 제공방법
KR101364133B1 (ko) * 2011-06-15 2014-02-21 주식회사 브이터치 가상터치를 이용한 3차원 장치 및 3차원 게임 장치
US9189880B2 (en) * 2011-07-29 2015-11-17 Synaptics Incorporated Rendering and displaying a three-dimensional object representation
KR101710000B1 (ko) * 2011-12-14 2017-02-27 한국전자통신연구원 모션 추적 기반 3차원 인터페이스 장치 및 그 방법
WO2013089494A1 (ko) * 2011-12-15 2013-06-20 한양대학교 산학협력단 가상 영상에 대한 촉감 제공 장치 및 방법
KR101533320B1 (ko) * 2012-04-23 2015-07-03 주식회사 브이터치 포인터가 불필요한 3차원 객체 정보 획득 장치
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
WO2014010251A1 (en) * 2012-07-13 2014-01-16 Panasonic Corporation Hand and object tracking in three-dimensional space
KR20140010616A (ko) * 2012-07-16 2014-01-27 한국전자통신연구원 3ｄ 가상 객체에 대한 조작 처리 장치 및 방법
KR101927150B1 (ko) 2012-10-30 2018-12-10 삼성전자주식회사 3차원 디스플레이 장치 및 그의 사용자 인터페이스 방법
TWI454968B (zh) 2012-12-24 2014-10-01 Ind Tech Res Inst 三維互動裝置及其操控方法
EP2801954A1 (en) * 2013-05-07 2014-11-12 Thomson Licensing Method and device for visualizing contact(s) between objects of a virtual scene
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US10533850B2 (en) 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
JP2015035151A (ja) * 2013-08-09 2015-02-19 船井電機株式会社 表示装置
KR101807512B1 (ko) * 2015-02-05 2018-01-18 한국전자통신연구원 맵핑형 3차원 상호작용 장치 및 방법
WO2017024181A1 (en) 2015-08-06 2017-02-09 Pcms Holdings, Inc. Methods and systems for providing haptic feedback for virtual 3d objects
US10140776B2 (en) 2016-06-13 2018-11-27 Microsoft Technology Licensing, Llc Altering properties of rendered objects via control points
US10304207B2 (en) 2017-07-07 2019-05-28 Samsung Electronics Co., Ltd. System and method for optical tracking
JP2019207574A (ja) * 2018-05-29 2019-12-05 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
US11188154B2 (en) * 2018-05-30 2021-11-30 International Business Machines Corporation Context dependent projection of holographic objects
KR102120404B1 (ko) * 2018-11-08 2020-06-16 경북대학교 산학협력단 골프티 제작장치 및 방법
CN109960404B (zh) * 2019-02-15 2020-12-18 联想(北京)有限公司 一种数据处理方法及装置
KR102306392B1 (ko) * 2019-08-19 2021-09-30 한국과학기술연구원 인터랙션 인터페이스의 제어 방법 및 이를 지원하는 장치
KR102471792B1 (ko) * 2020-10-30 2022-11-29 주식회사 엘지유플러스 Ar 컨텐츠의 렌더링을 위한 클라우드 및 그 동작 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050059488A1 (en) * 2003-09-15 2005-03-17 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US20090077504A1 (en) * 2007-09-14 2009-03-19 Matthew Bell Processing of Gesture-Based User Interactions

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06102980A (ja) 1992-09-24 1994-04-15 Olympus Optical Co Ltd 触覚呈示装置
EP0823683B1 (en) 1995-04-28 2005-07-06 Matsushita Electric Industrial Co., Ltd. Interface device
US6111577A (en) * 1996-04-04 2000-08-29 Massachusetts Institute Of Technology Method and apparatus for determining forces to be applied to a user through a haptic interface
US7225404B1 (en) * 1996-04-04 2007-05-29 Massachusetts Institute Of Technology Method and apparatus for determining forces to be applied to a user through a haptic interface
JPH1011249A (ja) 1996-06-20 1998-01-16 Matsushita Electric Ind Co Ltd 画像生成表示装置
US6084587A (en) * 1996-08-02 2000-07-04 Sensable Technologies, Inc. Method and apparatus for generating and interfacing with a haptic virtual reality environment
JP3651204B2 (ja) * 1996-12-18 2005-05-25 トヨタ自動車株式会社 立体画像表示装置、立体画像表示方法及び記録媒体
US6031519A (en) * 1997-12-30 2000-02-29 O'brien; Wayne P. Holographic direct manipulation interface
KR19990008158U (ko) 1998-11-23 1999-02-25 고두수 연소실 연소 방향 변경날개
US6222465B1 (en) * 1998-12-09 2001-04-24 Lucent Technologies Inc. Gesture-based computer interface
JP3619063B2 (ja) * 1999-07-08 2005-02-09 キヤノン株式会社 立体画像処理装置、その方法、立体視パラメータ設定装置、その方法そしてコンピュータプログラム記憶媒体
US20020140633A1 (en) * 2000-02-03 2002-10-03 Canesta, Inc. Method and system to present immersion virtual simulations using three-dimensional measurement
JP2002058045A (ja) 2000-08-08 2002-02-22 Komatsu Ltd 現実の物体をバーチャル３次元空間に登場させるためのシステム及び方法
US7058422B2 (en) * 2000-09-20 2006-06-06 Bae Systems Information And Electronic Systems Integration Inc. Method for overusing frequencies to permit simultaneous transmission of signals from two or more users on the same frequency and time slot
US6947505B2 (en) * 2000-09-20 2005-09-20 Bae Systems Information And Electronic Systems Integration Inc. System for parameter estimation and tracking of interfering digitally modulated signals
US6727924B1 (en) * 2000-10-17 2004-04-27 Novint Technologies, Inc. Human-computer interface including efficient three-dimensional controls
KR20020073890A (ko) 2001-03-16 2002-09-28 한국전자통신연구원 손의 주물거림을 이용한 3 차원 모델링 시스템 및 그 방법
US7486722B2 (en) * 2001-04-18 2009-02-03 Bae Systems Information And Electronic Systems Integration Inc. Bandwidth efficient cable network modem
JP2004535702A (ja) * 2001-04-18 2004-11-25 ビーエーイー・システムズ・インフォメーション・アンド・エレクトロニック・システムズ・インテグレーション・インコーポレーテッド 帯域幅効率の高い無線ネットワークモデム
US7139334B2 (en) * 2001-06-21 2006-11-21 Bartlett Alan M Cooperative code-enhanced multi-user communications system
US7200103B2 (en) * 2001-06-21 2007-04-03 Bae Systems Information And Electronic Systems Integration Inc. Reduced algorithm receiver
US6967598B2 (en) * 2004-02-20 2005-11-22 Bae Systems Information And Electronic Systems Integration Inc Reduced complexity multi-turbo multi-user detector
US6704376B2 (en) * 2002-01-23 2004-03-09 Bae Systems Information And Electronic Systems Integration Inc. Power and confidence ordered low complexity soft turbomud with voting system
US7092464B2 (en) * 2002-01-23 2006-08-15 Bae Systems Information And Electronic Systems Integration Inc. Multiuser detection with targeted error correction coding
US6839390B2 (en) * 2002-01-23 2005-01-04 Bae Systems Information And Electronic Systems Integration Inc. Voting system for improving the performance of single-user decoders within an iterative multi-user detection system
US6981203B2 (en) * 2002-04-29 2005-12-27 Bae Systems Information And Electronic Systems Integration Inc. Method and apparatus for random shuffled turbo multiuser detector
US6947506B2 (en) * 2002-04-11 2005-09-20 Bae Systems Information And Electronic Systems Integration Inc. Method and apparatus for improved turbo multiuser detector
US6831574B1 (en) * 2003-10-03 2004-12-14 Bae Systems Information And Electronic Systems Integration Inc Multi-turbo multi-user detector
US7205991B2 (en) * 2002-01-25 2007-04-17 Autodesk, Inc. Graphical user interface widgets viewable and readable from multiple viewpoints in a volumetric display
US7190747B2 (en) * 2002-03-25 2007-03-13 Bae Systems Information And Electronic Systems Integration Inc. Frequency mismatch compensation for multiuser detection
US7110439B2 (en) * 2002-03-25 2006-09-19 Bae Systems Information And Electronic Systems Integration Inc. System for decreasing processing time in an iterative multi-user detector system
US7092452B2 (en) * 2002-03-25 2006-08-15 Bae Systems Information And Electronic Systems Integration Inc Co-channel interference receiver
JP2003330582A (ja) 2002-05-14 2003-11-21 Univ Waseda 視覚及び触覚を利用した感覚呈示装置
US7190743B2 (en) * 2002-07-29 2007-03-13 Bae Systems Information And Electronic Systems Integration Inc. Method and apparatus for optimizing tree pruning in a multiuser detector
US7134080B2 (en) * 2002-08-23 2006-11-07 International Business Machines Corporation Method and system for a user-following interface
US7126890B2 (en) * 2002-08-26 2006-10-24 Bae Systems Information And Electronic Systems Integration Inc Multitrack readback and multiuser detection for disk drives
US6826140B2 (en) * 2002-08-26 2004-11-30 Bae Systems Information And Electronic Systems Integration Inc Multichannel digital recording system with multi-user detection
US6950116B2 (en) * 2002-08-28 2005-09-27 Lockheed Martin Corporation Interactive virtual portal
US20040095311A1 (en) * 2002-11-19 2004-05-20 Motorola, Inc. Body-centric virtual interactive apparatus and method
EP1563625A4 (en) * 2002-11-19 2009-12-16 Bae Systems Information BANDWIDTHEFFICIENT WIRELESS NETWORK MODEM
US7576727B2 (en) * 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
AU2003247662A1 (en) * 2003-03-27 2004-11-23 Bae Systems Information And Electronic Systems Integration Inc Direction-finding for multiple cochannel sources
AU2003293212A1 (en) * 2003-04-14 2004-11-19 Bae Systems Information And Electronic Systems Integration Inc. Joint symbol, amplitude, and rate estimator
US6985699B2 (en) * 2003-04-16 2006-01-10 Bae Systems Information And Electronic Systems Integration Inc. Efficient and optimal channel encoding and channel decoding in a multiple access communications system
US7269223B2 (en) * 2003-04-16 2007-09-11 Bae Systems Information And Electronic Systems Integration Inc. System and method for increasing throughput in a multiuser detection based multiple access communications system
CA2426512A1 (en) * 2003-04-22 2004-10-22 Garth Shoemaker Positioning and manipulating detail-in-context lenses in 2d and 3d data through the application of eye tracking or position tracking
US7428261B2 (en) * 2003-04-24 2008-09-23 Bae Systems Information And Electronic Systems Integration Inc. Cross-system interference cancellation for multicarrier CDMA and OFDM
WO2004098141A1 (en) * 2003-04-24 2004-11-11 Bae Systems Information And Electronic Systems Integration Inc Multiuser detection aided multiple access differential frequency-hopped spread spectrum
US6999498B2 (en) * 2003-04-24 2006-02-14 Bae Systems Information And Electronic Systems Integration Inc. Multiuser detection aided multiple access differential frequency-hopped spread spectrum
US7218665B2 (en) * 2003-04-25 2007-05-15 Bae Systems Information And Electronic Systems Integration Inc. Deferred decorrelating decision-feedback detector for supersaturated communications
JP2004334590A (ja) 2003-05-08 2004-11-25 Denso Corp 操作入力装置
AU2003247654A1 (en) * 2003-06-25 2005-02-14 Bae Systems Information And Electronic Systems Integration Inc Windowed multiuser detection
US7218690B2 (en) * 2003-07-24 2007-05-15 Bae Systems Information And Electronic Systems Integration Inc. Hybrid turbo-mud for multiple access systems
US7236546B2 (en) * 2003-09-10 2007-06-26 Bae Systems Information And Electronic Systems Integration Inc. Pipelined turbo multiuser detection
JP2005115467A (ja) 2003-10-03 2005-04-28 Vision Arts Kk 仮想オブジェクト操作プログラム
CN100458910C (zh) * 2003-10-28 2009-02-04 松下电器产业株式会社 图像显示装置及图像显示方法
US7755608B2 (en) * 2004-01-23 2010-07-13 Hewlett-Packard Development Company, L.P. Systems and methods of interfacing with a machine
US7724851B2 (en) * 2004-03-04 2010-05-25 Bae Systems Information And Electronic Systems Integration Inc. Receiver with multiple collectors in a multiple user detection system
US7783110B2 (en) * 2004-12-01 2010-08-24 Bae Systems Information And Electronic Systems Integration Inc. Semicoherent channel estimator
US7817754B2 (en) * 2004-12-01 2010-10-19 Bae Systems Information And Electronic Systems Integration Inc. M-algorithm with prioritized user ordering
US7593473B2 (en) * 2004-12-01 2009-09-22 Bae Systems Information And Electronic Systems Integration Inc. Tree structured multicarrier multiple access systems
US20070188492A1 (en) * 2005-02-10 2007-08-16 Kartik Venkataraman Architecture for real-time texture look-up's for volume rendering
US20060267997A1 (en) * 2005-05-24 2006-11-30 Walls Jeffrey J Systems and methods for rendering graphics in a multi-node rendering system
US7613228B2 (en) * 2005-08-10 2009-11-03 Bae Systems Information And Electronic Systems Integration Inc. M-Algorithm multiuser detector with correlation based pruning
KR100812624B1 (ko) * 2006-03-02 2008-03-13 강원대학교산학협력단 입체영상 기반 가상현실장치
JP4883774B2 (ja) 2006-08-07 2012-02-22 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
JP2010505174A (ja) * 2006-09-28 2010-02-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ メニューディスプレイ
US8354997B2 (en) * 2006-10-31 2013-01-15 Navisense Touchless user interface for a mobile device
DE08713883T1 (de) * 2007-01-22 2010-04-15 Bell Helicopter Textron, Inc., Fort Worth System und verfahren zur steuerung einer virtuellen realität durch einen darsteller in der virtuellen realität
BRPI0721562A2 (pt) * 2007-04-20 2013-01-22 Softkinetic S A mÉtodo e sistema de reconhecimento de volume
JP4989383B2 (ja) * 2007-09-10 2012-08-01 キヤノン株式会社 情報処理装置、情報処理方法
WO2009062153A1 (en) * 2007-11-09 2009-05-14 Wms Gaming Inc. Interaction with 3d space in a gaming system
US20090300551A1 (en) * 2008-06-03 2009-12-03 French Barry J Interactive physical activity and information-imparting system and method
US8009022B2 (en) * 2009-05-29 2011-08-30 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
TW201104494A (en) * 2009-07-20 2011-02-01 J Touch Corp Stereoscopic image interactive system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050059488A1 (en) * 2003-09-15 2005-03-17 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US20090077504A1 (en) * 2007-09-14 2009-03-19 Matthew Bell Processing of Gesture-Based User Interactions

Also Published As

Publication number Publication date
KR20110045589A (ko) 2011-05-04
US9880698B2 (en) 2018-01-30
US9377858B2 (en) 2016-06-28
US20110096072A1 (en) 2011-04-28
EP2330483A2 (en) 2011-06-08
EP2330483A3 (en) 2011-07-06
US20160299663A1 (en) 2016-10-13

Similar Documents

Publication Publication Date Title
KR101651568B1 (ko) 3차원 공간 인터페이스 장치 및 방법
US8614669B2 (en) Touchless tablet method and system thereof
KR100465241B1 (ko) 가상 필기 평면을 이용한 모션 인식 시스템 및 그 인식방법
US20190238755A1 (en) Method and apparatus for push interaction
US20140194722A1 (en) Lesion diagnosis apparatus and method
KR102347248B1 (ko) 터치 제스쳐 인식 방법 및 장치
US20110254765A1 (en) Remote text input using handwriting
JP4177335B2 (ja) 手書き文字入力装置および手書き文字入力処理方法
US8525780B2 (en) Method and apparatus for inputting three-dimensional location
JP2003280785A (ja) 画像表示処理装置、および画像表示処理方法、並びにコンピュータ・プログラム
CN108027656B (zh) 输入设备、输入方法和程序
JP2010511945A (ja) 対話型入力システムおよび方法
JP2007004713A (ja) 画像処理方法、画像処理装置
US20190369735A1 (en) Method and system for inputting content
US8884904B2 (en) Touch panel apparatus, system and operation method thereof
KR20100075282A (ko) 깊이 센서 방식의 공간 터치 무선단말기, 이의 데이터 처리방법 및 스크린장치
JP2010086367A (ja) 位置情報入力装置、位置情報入力方法、プログラム、情報処理システム、及び電子装置
JP6555958B2 (ja) 情報処理装置、その制御方法、プログラム、および記憶媒体
JP2016095795A (ja) 認識装置、方法、及びプログラム
JP7021596B2 (ja) 情報処理装置、処理方法、及びプログラム
JP2020135274A (ja) 描画線生成システム
KR101558094B1 (ko) 직관적인 핸드 모션에 기반한 멀티-모달 시스템 및 그 제어 방법
JP2012113653A (ja) 制御装置、入力装置、入力判定方法、プログラム
JP2010049642A (ja) 入力装置及び入力方法
JP2010271821A (ja) ポリライン生成方法及びポリライン生成システム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190717

Year of fee payment: 4