KR20120138329A - 가상터치를 이용한 3차원 장치 및 3차원 게임 장치 - Google Patents

가상터치를 이용한 3차원 장치 및 3차원 게임 장치 Download PDF

Info

Publication number
KR20120138329A
KR20120138329A KR1020110057719A KR20110057719A KR20120138329A KR 20120138329 A KR20120138329 A KR 20120138329A KR 1020110057719 A KR1020110057719 A KR 1020110057719A KR 20110057719 A KR20110057719 A KR 20110057719A KR 20120138329 A KR20120138329 A KR 20120138329A
Authority
KR
South Korea
Prior art keywords
image
user
dimensional
unit
stereoscopic image
Prior art date
Application number
KR1020110057719A
Other languages
English (en)
Other versions
KR101364133B1 (ko
Inventor
김석중
Original Assignee
김석중
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김석중 filed Critical 김석중
Priority to KR1020110057719A priority Critical patent/KR101364133B1/ko
Priority to CN201280038965.9A priority patent/CN103732299B/zh
Priority to PCT/KR2012/004632 priority patent/WO2012173373A2/ko
Priority to US14/126,476 priority patent/US20140200080A1/en
Publication of KR20120138329A publication Critical patent/KR20120138329A/ko
Application granted granted Critical
Publication of KR101364133B1 publication Critical patent/KR101364133B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/219—Input arrangements for video game devices characterised by their sensors, purposes or types for aiming at specific areas on the display, e.g. light-guns
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/335—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using Internet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 가상터치 기술을 이용한 3차원 게임에서 사용자에게 보여지는 3차원 입체영상과 사용자의 특정지점의 3차원 공간좌표 데이터를 산출하여 3차원 입체영상이 사용자의 특정지점의 접점을 이루거나 근접함에 따라 가상의 3차원 입체영상을 보다 정밀하게 조작하는 방식으로 게임을 플레이할 수 있도록 하는 가상터치를 이용한 3차원 게임 장치를 제공하기 위한 것으로서, 게임 DB에 미리 저장되어 있는 3차원 입체 게임을 렌더링하고, 렌더링된 3차원 게임에 대해 3차원 입체영상을 생성하여 디스플레이부에 제공하는 3차원 게임 실행부와, 사용자의 특정지점의 공간좌표 데이터 및 상기 디스플레이부에서 제공되는 3차원 입체영상을 사용자 관점에서의 영상좌표 데이터를 각각 생성하고, 생성된 공간좌표 데이터 및 영상좌표 데이터를 서로 비교하여 사용자의 특정지점이 3차원 입체영상에 접점 또는 근접함을 확인하여 3차원 입체영상의 터치를 인식하는 가상 터치부를 포함하여 구성되는데 있다.

Description

가상터치를 이용한 3차원 장치 및 3차원 게임 장치{Apparatus for 3D using virtual touch and apparatus for 3D game of the same}
본 발명은 3차원 게임 장치 및 방법에 관한 것으로, 특히 3차원 입체영상의 영상좌표와 사용자의 특정지점이 접점을 이루거나 근접함에 따라 가상의 3차원 입체영상을 보다 정밀하게 조작하는 방식으로 게임을 플레이할 수 있도록 하는 가상터치를 이용한 3차원 장치 및 3차원 게임 장치에 관한 것이다.
사람은 두 개의 눈(좌안, 우안)을 가지고 있으며, 두 눈의 위치가 달라 우안의 망막에 맺히는 상과 좌안의 망막에 맺히는 상은 서로 달라진다. 그런데, 시야에 들어오는 각 사물들은 보는 사람으로부터 떨어진 거리에 따라 좌우 눈에 맺히는 상에서의 위치 차이도 달라진다. 즉, 사물의 위치가 가까울수록 두 눈에 맺히는 상도 많이 달라지고, 반면 사물의 위치가 멀어질수록 두 눈에 맺히는 상의 차이는 없어지게 된다. 따라서 좌우 두 눈에 맺히는 상의 차이로부터 해당 거리에 대한 정보를 복원할 수 있으며, 이에 따라 입체감을 느끼게 된다.
이러한 원리를 응용하여 두 눈에 각각 다른 영상을 보이게 함으로써, 입체 영상을 구현할 수 있게 되는데, 이러한 방법은 3차원 영상, 3차원 게임, 3차원 영화 등에 이용되고 있다. 3차원 게임 역시도 두 눈에 각각 다른 영상을 보이게 하여 3차원 입체영상을 구현함으로써 이루어지는 게임이다.
그러나 현재 3차원 입체영상을 위한 디스플레이 장치가 아닌 일반 디스플레이 장치는 고정된 시점에서만 입체감을 느낄 수 있으므로, 사용자의 움직임에 의하여 화질이 떨어지는 문제점을 가지고 있다.
이러한 문제점을 해결하기 위해서 사용자의 위치에 상관없이 디스플레이 장치의 디스플레이되는 입체영상을 볼 수 있는 입체안경이 개시되고 있으며, 현재에 들어와서는 입체영상, 입체게임을 위한 입체 디스플레이 장치(모니터)가 개발되고 있어 3차원 입체영상에 따른 발 빠른 움직임이 이루어지고 있다.
그러나 이처럼 좌안과 우안의 시각차에 의해 3차원 입체 영상을 보는 착시를 불러오는 3차원 입체영상 구현 기술은 홀로그램과 같이 실제 3차원의 입체영상을 직접 만들지 않고 있어서, 사용자의 관점에서 좌안과 우안에 다른 시각을 제공하여 사용자의 관점에 맞는 3차원 입체영상을 제공하게 된다.
이에 따라, 3차원 입체영상의 깊이(원근감)는 스크린과 사용자 간의 거리에 따라 다른 값을 가지게 되는데, 같은 영상의 경우라도 화면과 근거리에서 볼 때는 작은 깊이를 느끼게 되지만, 원거리에서 볼 때는 큰 깊이를 느끼게 된다. 이는 사용자와 스크린의 거리의 증감에 따라 영상의 깊이도 증감을 함을 의미한다. 또한, 사용자와 스크린 간의 거리뿐만 아니라 사용자의 위치에 따라서는 3차원 입체영상의 깊이(원근감) 및 상의 위치 값에 다른 값을 가지게 되는데, 이는 가상의 3차원 입체 스크린의 정면에서 보는 것과 스크린의 측면에서 보는 것에 따라 위치하는 3차원 영상의 위치가 변화됨을 의미한다.
이러한 이유는 어느 한 곳에 3차원 입체영상이 있는 것이 아닌 사용자의 관점에서 3차원 영상이 만들어지기 때문에 발생되는 것이다.
이처럼 사용자의 관점에 따라 변화되는 3차원 입체영상의 깊이 및 위치로 인해 정확한 산출이 어려워 3차원 게임의 경우에 단순히 3차원 입체영상 만을 제공하고, 조작은 외부 입력장치를 통해 이루어지는 것이 대부분이며, 최근 연구 개발되고 있는 가상터치 기술을 이용하는 3차원 게임의 경우도 이러한 이유로 인해 단순히 사용자의 움직임만을 게임에 적용하여 플레이시키는 방식으로 이루어지고 있다. 이에 따라 가상터치 기술을 이용한 3차원 게임의 경우 3차원 입체영상과 사용자의 움직임을 결합한 방식이 아닌 각각 독립적인 방식으로 이루어지고 있다.
이에 따라, 3차원 게임을 플레이하는 사용자가 자신이 보고 있는 3차원 입체영상을 터치하는 경우에도 스크린의 거리 및 위치에 따라서 터치가 이루어지지 않거나 엉뚱한 동작이 작동되는 등 보다 사실적이고 세밀한 3차원 게임의 플레이가 불가능하게 된다.
따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 가상터치 기술을 이용한 3차원 게임에서 사용자에게 보여지는 3차원 입체영상과 사용자의 특정지점의 3차원 공간좌표 데이터를 산출하여 3차원 입체영상이 사용자의 특정지점의 접점을 이루거나 근접함에 따라 가상의 3차원 입체영상을 보다 정밀하게 조작하는 방식으로 게임을 플레이할 수 있도록 하는 가상터치를 이용한 3차원 게임 장치를 제공하는데 그 목적이 있다.
본 발명의 다른 목적은 사용자의 특정지점의 공간좌표와 사용자에게 보여지는 3차원 입체영상의 영상좌표를 각각 산출하여 산출된 영상의 좌표에 사용자의 특정지점이 접근하게 될 경우 3차원 입체영상의 터치로 인식되도록 하는 가상터치를 이용한 3차원 게임 장치를 제공하는데 있다.
본 발명의 또 다른 목적은 가상터치 기술을 이용하여 사용자에게 보여지는 3차원 입체영상과 사용자의 특정지점의 3차원 공간좌표 데이터를 산출하여 3차원 입체영상을 사용자의 특정지점의 접점을 이루거나 근접함에 따라 가상의 3차원 입체영상의 터치로 인식되도록 하는 하는 가상터치를 이용한 3차원 장치를 제공하는데 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 가상터치를 이용한 3차원 게임 장치의 특징은 게임 DB에 미리 저장되어 있는 3차원 입체 게임을 렌더링하고, 렌더링된 3차원 게임에 대해 3차원 입체영상을 생성하여 디스플레이부에 제공하는 3차원 게임 실행부와, 사용자의 특정지점의 공간좌표 데이터 및 상기 디스플레이부에서 제공되는 3차원 입체영상을 사용자 관점에서의 영상좌표 데이터를 각각 생성하고, 생성된 공간좌표 데이터 및 영상좌표 데이터를 서로 비교하여 사용자의 특정지점이 3차원 입체영상에 접점 또는 근접함을 확인하여 3차원 입체영상의 터치를 인식하는 가상 터치부를 포함하여 구성되는데 있다.
바람직하게 상기 사용자의 특정지점은 손끝, 주먹, 손바닥, 얼굴, 입, 머리, 발, 엉덩이, 어깨, 무릎을 포함하는 것을 특징으로 한다.
바람직하게 상기 3차원 게임 실행부는 게임 DB에 저장되어 있는 3차원 게임을 렌더링하여 실행시키는 렌더링 구동부와, 상기 렌더링되는 3차원 게임에 대해 디스플레이부에 입체화면을 생성하기 위해 디스플레이부와의 사용자간의 거리 및 위치(주시각) 등을 고려하여 실시간으로 렌더링하여 양안에 해당하는 이미지를 생성하는 실시간 양안 렌더링부와, 상기 실시간 양안 렌더링부에서 생성된 이미지에 대해 압축 및 복원하는 입체영상 디코더부와, 상기 입체영상 디코딩부에서 압축 및 복원된 이미지 데이터를 디스플레이부의 디스플레이 방식에 적합한 3차원 입체영상으로 생성하여 디스플레이부를 통해 디스플레이하는 입체영상 표현부를 포함하여 구성되는 것을 특징으로 한다.
바람직하게 상기 가상 터치부는 이미지 센서를 2 이상 포함하는 카메라 모듈로서, 디스플레이부 앞쪽의 영상을 검출하여 전기적인 이미지 신호로 변환하는 영상획득부와, 상기 영상 획득부로부터 수신한 영상을 이용하여 사용자 관점에서의 3차원 입체영상에 따른 영상좌표 데이터 및 사용자의 특정지점의 제 1, 2 공간좌표 데이터를 각각 생성하는 공간좌표 산출부와, 상기 공간좌표 산출부로부터 수신한 사용자 특정지점의 제 1, 2 공간좌표를 연결하는 직선이 상기 영상좌표와 서로 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부와, 상기 공간좌표 산출부에서 생성되는 제 1 공간좌표가 상기 터치 위치 산출부에서 산출된 점점 좌표 데이터와 접점 또는 근접하는지를 판단하여 접점 되거나 또는 미리 설정된 설정거리 이하에 근접하면 터치 인식을 수행하는 명령코드를 생성하여 3차원 입체영상 터치의 인식을 제공하는 가상 터치 산출부를 포함하는 것을 특징으로 한다.
바람직하게 상기 공간좌표 산출부는 촬영된 영상을 광학 삼각법을 사용하여 상기 사용자의 특정지점의 공간좌표 데이터를 산출하는 것을 특징으로 한다.
바람직하게 상기 산출되는 공간좌표 데이터는 사용자가 3차원 입체영상을 터치하기 위한 사용자의 움직임을 검출하기 위한 제 1 공간좌표 데이터와, 입체영상과 움직임에 따른 제 1 공간좌표 데이터 간의 기준점이 되는 제 2 공간좌표 데이터를 포함하는 것을 특징으로 한다.
바람직하게 상기 공간좌표 산출부는 디스플레이부와 사용자간의 거리 및 위치에 따라 미리 정의되어 저장된 사용자 관점의 영상좌표 데이터를 검색하여 검출하는 것을 특징으로 한다.
바람직하게 상기 제 2 공간좌표는 사용자의 어느 한쪽 눈의 중심점 좌표인 것을 특징으로 한다.
바람직하게 상기 가상 터치부는 광원과 산광기를 포함하고, 사용자의 특정지점에 스페클패턴을 투영하는 조명어셈블리와, 이미지센서와 렌즈를 포함하고, 상기 조명어셈블리에 의해 투영된 사용자 상의 스페클 패턴을 캡처하는 영상 획득부와, 상기 영상 획득부에서 획득된 영상으로부터 사용자 관점에서의 3차원 입체영상에 따른 영상좌표 데이터 및 사용자의 특정지점의 제 1, 2 공간좌표 데이터를 각각 생성하는 공간좌표 산출부와, 상기 공간좌표 산출부로부터 수신한 사용자 특정지점의 제 1, 2 공간좌표를 연결하는 직선이 상기 영상좌표와 서로 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부와, 상기 공간좌표 산출부에서 생성되는 제 1 공간좌표가 상기 터치 위치 산출부에서 산출된 점점 좌표 데이터와 접점 또는 근접하는지를 판단하여 접점 되거나 또는 미리 설정된 설정거리 이하에 근접하면 터치 인식을 수행하는 명령코드를 생성하여 3차원 입체영상 터치의 인식을 제공하는 가상 터치 산출부를 포함하는 것을 특징으로 한다.
바람직하게 상기 공간좌표 산출부는 시간지연측정법(time of flight)을 이용하여 상기 사용자의 특정지점의 공간좌표 데이터를 산출하는 것을 특징으로 한다.
바람직하게 상기 영상 획득부는 CCD 또는 CMOS 기반의 이미지 센서가 사용되는 것을 특징으로 한다.
바람직하게 상기 가상 터치부는 디스플레이부를 포함하는 전자기기 프레임 상단에 삽입되어 설치되거나, 또는 전자기기와 별도로 분리되어 설치되는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 가상터치를 이용한 3차원 장치의 특징은 외부에서 입력되는 3D 입체영상 데이터를 렌더링하고, 렌더링된 3차원 입체영상 데이터에 대해 3차원 입체영상을 생성하여 디스플레이부에 제공하는 3차원 실행부와, 사용자의 특정지점의 공간좌표 데이터와, 상기 디스플레이부에서 제공되는 3차원 입체영상을 사용자 관점에서의 영상좌표 데이터를 각각 생성하고, 생성된 공간좌표 데이터 및 영상좌표 데이터를 서로 비교하여 사용자의 특정지점이 3차원 입체영상에 접점 또는 근접함을 확인하여 3차원 입체영상의 터치를 인식하는 가상 터치부를 포함하여 구성되는데 있다.
바람직하게 상기 3차원 실행부는 외부에서 입력되는 3차원 입체영상 데이터를 수신하는 수신부와, 상기 수신부에서 수신된 3차원 입체영상 데이터를 렌더링하여 실행시키는 렌더링 구동부와, 상기 렌더링되는 3차원 입체영상 데이터에 대해 디스플레이부에 입체화면을 생성하기 위해 디스플레이부와 사용자간의 거리 및 위치(주시각) 등을 고려하여 실시간으로 렌더링하여 양안에 해당하는 이미지를 생성하는 실시간 양안 렌더링부와, 상기 실시간 양안 렌더링부에서 생성된 이미지에 대해 압축 및 복원하는 입체영상 디코더부와, 상기 입체영상 디코딩부에서 압축 및 복원된 이미지 데이터를 디스플레이부의 디스플레이 방식에 적합한 3차원 입체영상으로 생성하여 디스플레이부를 통해 디스플레이하는 입체영상 표현부를 포함하여 구성되는 것을 특징으로 한다.
바람직하게 상기 수신부의 외부 입력은 방송파에서 제공하고 있는 3차원 방송의 입력과, 인터넷 망을 통해서 제공되는 데이터 입력과, 내외부 저장장치에 저장되어 있는 데이터 입력을 포함하는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 가상터치를 이용한 3차원 게임 장치는 사용자에게 보여지는 3차원 입체영상과 사용자의 특정지점의 공간좌표 값을 통해 사용자가 가상의 3차원 입체영상을 보다 정밀하게 조작할 수 있어, 가상터치를 이용한 3차원 게임에 있어 보다 사실적이고 현실감 있는 3차원 게임을 제공할 수 있다. 또한, 사용자의 움직임과 사용자에게 보여지는 3차원 입체영상의 정밀한 매칭을 통해 사용자의 작은 움직임을 요구하는 다양한 3차원 게임의 적용이 가능하다.
아울러, 3차원 게임뿐만 아니라 디스플레이부에서 제공되고 있는 3차원 입체영상을 사용자의 특정지점의 공간좌표 값을 통해 가상터치를 제공하여 가상터치에 상응하는 상기 3차원 입체 영상의 변화를 수행하여 다양한 응용 기술에 적용 가능하다.
[도 1] 본 발명의 제 1 실시예에 따른 가상터치를 이용한 3차원 게임 장치를 나타낸 블록 구성도
[도 2 및 도 3] 본 발명의 실시예에 따라 가상터치를 이용한 3차원 게임에서 사용자에게 보여지는 3차원 입체영상의 터치를 인식하는 방법을 설명하기 위한 도면
[도 4] 본 발명의 제 2 실시예에 따른 가상터치를 이용한 3차원 게임 장치를 나타낸 블록 구성도
[도 5 및 도 6] 본 발명의 실시예에 따라 가상터치를 이용한 3차원 게임에서 사용자에게 보여지는 3차원 입체영상의 터치를 인식하는 방법을 설명하기 위한 도면
[도 7] 본 발명의 제 3 실시예에 따른 가상터치를 이용한 3차원 장치를 나타낸 블록 구성도
본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
본 발명에 따른 가상 터치를 이용한 3차원 장치 및 3D 게임 장치의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
제 1 실시예
도 1 은 본 발명의 제 1 실시예에 따른 가상터치를 이용한 3차원 게임 장치를 나타낸 블록 구성도이다.
도 1을 참조하면, 가상터치를 이용한 3차원 게임 장치는 게임 DB(300)에 미리 저장되어 있는 3차원 입체 게임을 렌더링하고, 렌더링된 3차원 게임에 대해 3차원 입체영상을 생성하여 디스플레이부(400)에 제공하는 3차원 게임 실행부(100)와, 사용자의 특정지점(손끝, 펜, 주먹, 손바닥, 얼굴, 입 등)의 3차원 공간좌표 데이터(이하 “공간좌표 데이터”로 칭함)와, 상기 디스플레이부(400)에서 제공되는 3차원 입체영상을 사용자에게 보여지는 관점(이하 “사용자 관점”이라 칭함)에서의 3차원 영상좌표 데이터(이하 “영상좌표 데이터”로 칭함)를 각각 생성하고, 생성된 공간좌표 데이터 및 영상좌표 데이터를 서로 비교하여 사용자의 특정지점이 3차원 입체영상에 접점 또는 근접함을 확인하여 3차원 입체영상의 터치를 인식하는 가상 터치부(200)로 구성된다.
이때, 상기 3차원 게임 실행부(100)는 렌더링 구동부(110), 실시간 양안 렌더링부(120), 입체영상 디코더부(130), 입체영상 표현부(140)를 포함한다.
상기 렌더링 구동부(110)는 게임 DB(19)에 저장되어 있는 3차원 게임을 렌더링하여 실행시킨다.
상기 실시간 양안 렌더링부(120)는 상기 렌더링되는 3차원 게임에 대해 디스플레이부(400)에 입체화면을 생성하기 위해 디스플레이부(400)와 사용자간의 거리 및 위치(주시각) 등을 고려하여 실시간으로 렌더링하여 양안에 해당하는 이미지를 생성한다.
상기 입체영상 디코팅부(130)는 상기 실시간 양안 렌더링부(120)에서 생성된 이미지에 대해 압축 및 복원하여 입체영상 표현부(140)에 제공한다.
상기 입체영상 표현부(140)는 상기 입체영상 디코딩부(130)에서 압축 및 복원된 이미지 데이터를 디스플레이부(400)의 디스플레이 방식에 적합한 3차원 입체영상으로 생성하여 디스플레이부(400)를 통해 디스플레이한다. 이때, 상기 디스플레이부(400)의 디스플레이 방식은 시차장벽(Parallax barrier) 방식인 것이 바람직하다. 시차장벽 방식은 좌우 안에 해당하는 L, R 화상의 앞에 세로격자 모양의 개구(Aperture) AG를 통하여 영상의 분리를 관찰하는 방식이다.
또한 상기 가상 터치부(200)는 영상획득부(210), 공간좌표 산출부(220), 터치 위치 산출부(230) 및 가상 터치 산출부(240)를 포함한다.
상기 영상획득부(210)로는 일종의 카메라모듈로 디스플레이부(400) 앞쪽의 영상을 검출하여 전기적인 이미지 신호로 변환하는 CCD 또는 CMOS와 같은 이미지 센서(211, 212)를 2 이상 포함 할 수 있다.
상기 공간좌표 산출부(220)는 상기 영상획득부(210)로부터 수신한 영상을 이용하여 사용자 관점에서의 3차원 입체영상에 따른 영상좌표 데이터 및 사용자의 특정지점(손끝, 펜, 주먹, 손바닥, 얼굴, 입 등)의 제 1, 2 공간좌표 데이터를 각각 생성한다.
이때, 상기 사용자의 특정지점의 공간좌표는 영상획득부(210)에서 구성하는 이미지센서(211, 212)를 통해 각기 다른 각도에서 사용자의 특정지점을 각각 촬영하고 공간좌표 산출부(20)는 수동적인 광학 삼각법을 이용하여 사용자의 특정지점의 공간좌표 데이터를 산출하는데, 이때 산출되는 공간좌표 데이터는 사용자가 3차원 입체영상을 터치하기 위한 사용자의 움직임을 검출하기 위한 제 1 공간좌표 데이터와, 입체영상과 움직임에 따른 제 1 공간좌표 데이터 간의 기준점이 되는 제 2 공간좌표 데이터를 포함한다.
또한 상기 3차원 입체영상의 영상좌표 데이터는 위와 같은 방법으로 각기 다른 각도에서 촬영된 사용자의 좌, 우안을 수동적인 광학 삼각법을 이용하여 사용자의 좌, 우안의 공간좌표 데이터를 산출하고, 이를 통해 디스플레이부(400)와 사용자간의 거리 및 위치(주시각)를 산출한다. 그리고 디스플레이부(400)와 사용자간의 거리 및 위치에 따라 미리 정의되어 저장된 사용자 관점의 영상좌표 데이터를 검색하여 검출하게 된다.
이처럼, 영상획득부(210)를 통해 수신한 영상을 이용하여 공간좌표 데이터만을 생성하면, 사용자 관점의 영상좌표를 손쉽게 검출할 수 있다. 이는 물론 디스플레이부(400)와 사용자간의 거리 및 위치에 따라 사용자 관점의 영상좌표 데이터가 미리 정의되어 있어야 함은 당연하다.
이에 따라, 공간좌표를 산출하는 방법에 따른 내용을 보다 상세히 설명하도록 한다.
일반적으로 광학식 공간좌표 산출 방법은 센싱 방법에 따라 능동 방식과 수동 방식으로 분류할 수 있다. 능동 방식은 미리 정의된 패턴이나 음파 등을 물체에 투사한 후 그 에너지 또는 초점 등의 센서 파라미터의 제어를 통한 변화량을 측정하여 물체의 공간좌표 데이터를 산출하는 방법으로 구조광 혹은 레이저광을 이용하는 방식이 대표적이다. 이에 비하여 수동 방식은 인위적으로 물체에 에너지를 투사하지 않은 상태에서 촬영한 영상의 명암(intensity), 시차(parallax)등을 이용하는 방식이다.
본 발명에서는 물체에 에너지를 투사하지 않는 수동 방식을 채용하고 있는 바, 이 방식은 능동 방식에 비해 다소 정밀도는 떨어질 수 있어도 장비가 간편하고 입력 영상으로부터 텍스쳐를 직접 획득할 수 있는 장점이 있다.
수동 방식에서는 촬영한 영상 간에 대응되는 특징점들에게 삼각법을 적용하여 3차원 정보를 획득할 수 있다. 삼각법의 적용하여 공간좌표를 추출하는 각종 관련 기법으로 카메라 자동보정(camera self calibration) 기법, Harris의 코너 추출 방법, SIFT 기법, RANSAC 기법, Tsai 기법 등이 흔히 채용된다. 특히, 사용자 신체의 3차원 공간좌표 데이터를 산출하는 방법으로 입체 카메라 법을 이용할 수도 있다. 입체 카메라 법은 인간이 두 개의 눈으로 물체를 보고 변위를 얻는 양안입체 시의 구조와 동일하게 두 개의 다른 점에서 물체 표면의 동일점을 관측하여 그 점에 대한 예상각으로부터 거리를 구하는 방법이다. 상기 언급한 각종 3차원 좌표 산출 기법들은 본 발명이 속하는 기술분야의 당업자가 용이하게 알 수 있고 구현이 가능한 것들이므로 이에 대한 설명은 생략하기로 한다. 한편, 2차원 이미지를 이용하여 3차원 좌표 데이터를 산출하는 방법과 관련된 특허문헌으로 국내공개특허 제10-0021803호, 제10-2004-0004135호, 제10-2007-0066382호, 제10-2007-0117877호 등 다수가 존재한다.
상기 터치 위치 산출부(230)는 공간좌표 산출부(220)로부터 수신한 사용자 특정지점의 제 1, 2 공간좌표를 연결하는 직선이 상기 영상좌표와 서로 만나는 접점 좌표 데이터를 산출한다. 일반적으로 3차원 게임의 경우 게임 종류에 따라서 움직임으로 사용되는 사용자의 특정지점이 서로 다르다. 예를 들어 복싱 및 격투기 게임 등의 경우에는 움직임으로 사용되는 특정지점이 주먹 및 발 등이 될 것이고, 헤딩 게임 등의 경우에는 움직임으로 사용되는 특정지점이 머리가 될 것이다. 이에 따라 본 발명에서 제 1 공간좌표로서 사용되는 특정지점은 실행되는 3차원 게임에 따라 서로 다르게 설정되어야 할 것이다.
또한 같은 맥락에서 상기 제 1 공간좌표의 역할을 하는 사용자의 특정지점을 대신하여 손가락으로 파지하고 있는 포인터(예, 방망이)를 사용할 수 있다. 이러한 포인터를 사용할 경우 다양한 3차원 게임에 응용할 수 있는 장점이 있다.
또한 본 발명에서는 기준점에 해당되는 제 2 공간좌표를 산출함에 있어 사용자의 한쪽 눈의 중심점만을 이용한다. 예를 들어 사용자가 두 눈 앞에 손가락을 배치시켜 쳐다보면 상기 손가락은 2개로 보일 것이다. 이는 사용자 양안이 각각 바라보는 손가락의 형상이 서로 다르기 때문에 이와 같은 현상이 발생한다(양안의 각도 차에 의한 것임). 그러나 만약 한쪽 눈으로만 손가락을 바라본다면 손가락이 명확하게 보일 것이다. 또한 굳이 한쪽 눈을 감지 않더라도 의식적으로 한쪽 눈으로만 바라보더라도 집게손가락은 뚜렷하게 볼 수 있다. 사격, 양궁 등과 같이 조준에 있어 고도의 정확성을 요구하는 스포츠 종목의 경우 대부분 한쪽 눈을 감고 조준하는 것도 이와 같은 원리에 따른 것이다.
본 발명에서는 한쪽 눈으로만 제 1 공간좌표를 바라보았을 때 손가락 끝의 형태를 뚜렷하게 파악할 수 있다는 원리를 채용하는 것이다. 이와 같이 사용자가 제 1 공간좌표를 정확히 선택할 수 있어야 제 1 공간좌표와 일치되는 입체좌표의 3차원 입체영상을 터치 할 수 있다.
본 발명에서는 1인 사용자가 움직임으로 사용되는 특정지점을 하나(한 손) 사용하는 경우, 제 1 공간좌표는 사용자 손의 끝, 또는 상기 사용자가 손으로 파지하고 있는 포인터의 끝에 좌표이고, 제 2 공간좌표는 사용자의 어느 한쪽 눈의 중심점 좌표가 될 것이다.
또한, 1인 사용자가 움직임으로 사용되는 특정지점 중 2개 이상(두 손, 두 발 등)을 사용하는 경우, 상기 제 1 공간좌표는 상기 사용자 특정지점 중 2개 이상의 두 손 및 두 발 끝의 좌표들이고, 상기 제 2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 좌표들로 형성될 수 있다.
또한, 2인 이상의 사용자가 사용하는 경우, 제 1 공간좌표는 2인 이상 사용자에 의해 제시되는 각자 하나 이상의 특정지점 끝의 좌표들이고, 제 2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 좌표들로 형성될 수 있다.
상기 가상 터치 처리부(240)는 공간좌표 산출부(220)에서 생성되는 제 1 공간좌표가 터치 위치 산출부(230)에서 산출된 점점 좌표 데이터와 접점 또는 근접하는지를 판단하여 접점 되거나 또는 설정 거리 이하에 근접하면 터치 인식을 수행하는 명령코드를 생성하여 3차원 입체영상 터치의 인식을 제공한다. 가상 터치 처리부(240)는 1인 사용자의 2개 특정지점 또는 2인 이상의 사용자에 대해서도 마찬가지로 방식으로 처리할 수 있다.
본 발명에 따른 가상 터치부(200)는 디스플레이부(400)를 포함하는 전자기기 프레임 상단에 삽입되어 설치될 수 있고, 또는 전자기기와 별도로 분리되어 설치될 수도 있다.
도 2 및 도 3 은 본 발명의 실시예에 따라 가상터치를 이용한 3차원 게임에서 사용자에게 보여지는 3차원 입체영상의 터치를 인식하는 방법을 설명하기 위한 도면이다.
도면과 같이, 3차원 게임 실행부(100)를 통해 3차원 게임이 실행되어 3차원 게임에 따른 3차원 입체영상이 생성되면, 사용자는 한쪽 눈으로 사용자의 특정지점을 보면서 사용자에게 보여지는 3차원 입체영상을 터치한다.
이때, 공간좌표 산출부(220)에서는 사용자 특정지점의 3차원 공간좌표를 생성하고, 터치 위치 산출부(230)는 특정지점의 제 1 공간좌표 데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 제 2 공간좌표 데이터(X2, Y2, Z2)를 연결하는 직선이 입체좌표 데이터와 서로 만나는 접점 좌표 데이터를 산출한다.
이후 가상 터치 처리부(240)는 공간좌표 산출부(220)에서 생성되는 제 1 공간좌표가 터치 위치 산출부(230)에서 산출된 점점 좌표 데이터와 접점 또는 설정 거리 이하로 근접한 것으로 판단되면 사용자가 3차원 입체영상을 터치한 것으로 인식한다.
제 2 실시예
도 4 는 본 발명의 제 2 실시예에 따른 가상터치를 이용한 3차원 게임 장치를 나타낸 블록 구성도이다.
도 4를 참조하면, 가상터치를 이용한 3차원 게임 장치는 게임 DB(300)에 미리 저장되어 있는 3차원 입체 게임을 렌더링하고, 렌더링된 3차원 게임에 대해 3차원 입체영상을 생성하여 디스플레이부(400)에 제공하는 3차원 게임 실행부(100)와, 사용자의 특정지점(손끝, 펜, 주먹, 손바닥, 얼굴, 입 등)의 3차원 공간좌표 데이터(이하 “공간좌표 데이터”로 칭함)와, 상기 디스플레이부(400)에서 제공되는 3차원 입체영상을 사용자에게 보여지는 관점(이하 “사용자 관점”이라 칭함)에서의 3차원 영상좌표 데이터(이하 “영상좌표 데이터”로 칭함)를 각각 생성하고, 생성된 공간좌표 데이터 및 영상좌표 데이터를 서로 비교하여 사용자의 특정지점이 3차원 입체영상에 접점 또는 근접함을 확인하여 3차원 입체영상의 터치를 인식하는 가상 터치부(500)로 구성된다.
이때, 상기 게임 실행부(100)는 렌더링 구동부(110), 실시간 양안 렌더링부(120), 입체영상 디코더부(130), 입체영상 표현부(140)를 포함하며, 각 구성부에 따른 설명은 상기 제 1 실시예에서 이미 설명하고 있으므로 이에 따른 설명은 생략한다.
또한 상기 가상 터치부(500)는 사용자 신체의 3차원 좌표 데이터를 추출하는 3차원 좌표 산출장치(510) 및 제어부(520)를 포함한다.
상기 3차원 좌표 산출장치(510)는 기존에 공지된 여러 3차원 좌표 추출 방법에 의해 사용자의 특정지점의 공간좌표를 산출할 수 있다. 이러한 공간좌표 추출의 대표적인 방식으로는 광학적인 삼각 측량법과 시간지연측정법으로 나누어 볼 수 있다. 광학적인 삼각측량 기법의 하나인 구조광을 이용한 능동적 방식의 3차원 정보 획득 기법은 프로젝터를 사용하여 코드화된 패턴영상을 연속적으로 투영하고 카메라를 통해 구조광이 투영된 장면의 영상을 획득함으로써 3차원 위치를 추정하는 방법이다.
또한, 시간지연측정법은 발신기로부터 발생한 초음파가 물체에 의해 반사되어 수신기에 도달하는 시간차(Time of Flight)를 초음파의 진행 속도로 나누어 거리로 환산함으로써 3차원 정보를 획득하는 기법이다. 그 밖에도 시간지연측정법(Time of Flight)을 이용하는 3차원 좌표 산출 방법이 기존에 다양하게 존재하고, 본 발명이 속하는 기술분야의 당업자에게는 용이하게 구현이 가능하므로 이 부분에 대한 설명은 생략한다.
또한, 본 발명에 따른 3차원 좌표 산출장치(510)는 조명어셈블리(511), 영상획득부(512) 및 공간좌표 산출부(513)를 포함하여 구성될 수 있다. 조명어셈블리(512)는 광원(511a)과 산광기(511b)를 포함하며 사용자 신체에 스페클패턴을 투영한다. 영상획득부(512)는 이미지센서(512a)와 렌즈(512b)로 구성되어 상기 조명어셈블리에 의해 투영된 상기 사용자 상의 스페클 패턴을 캡처한다. 이미지 센서(512a)는 일반적으로 CCD 또는 CMOS 기반의 이미지 센서가 사용될 수 있다. 또한 공간좌표 산출부(513)는 영상획득부(512)가 획득된 영상을 처리하여 상기 사용자 신체의 3차원 좌표 데이터를 산출하는 역할을 수행한다.
상기 제어부(520)는 터치 위치 산출부(521)와 가상 터치 산출부(522)로 구성된다.
이때, 상기 터치 위치 산출부(521)는 3차원 좌표 산출장치(510)로부터 수신한 제 1, 2 공간좌표 데이터를 이용하여 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 상기 영상좌표 데이터와 서로 만나는 접점 좌표 데이터를 산출한다. 일반적으로 3차원 게임의 경우 게임 종류에 따라서 움직임으로 사용되는 사용자의 특정지점이 서로 다르다. 예를 들어 복싱 및 격투기 게임 등의 경우에는 움직임으로 사용되는 특정지점이 주먹 및 발 등이 될 것이고, 헤딩 게임 등의 경우에는 움직임으로 사용되는 특정지점이 머리가 될 것이다. 이에 따라 본 발명에서 제 1 공간좌표로서 사용되는 특정지점은 실행되는 3차원 게임에 따라 서로 다르게 설정되어야 할 것이다.
또한 같은 맥락에서 상기 제1 공간좌표의 역할을 하는 사용자의 특정지점을 대신하여 손가락으로 파지하고 있는 포인터(예, 방망이)를 사용할 수 있다. 이러한 포인터를 사용할 경우 다양한 3차원 게임에 응용할 수 있는 장점이 있다.
또한 본 발명에서는 기준점에 해당되는 제 2 공간좌표를 산출함에 있어 사용자의 한쪽 눈의 중심점만을 이용한다. 예를 들어 사용자가 두 눈 앞에 손가락을 배치시켜 쳐다보면 상기 손가락은 2개로 보일 것이다. 이는 사용자 양안이 각각 바라보는 손가락의 형상이 서로 다르기 때문에 이와 같은 현상이 발생한다(양안의 각도 차에 의한 것임). 그러나 만약 한쪽 눈으로만 손가락을 바라본다면 손가락이 명확하게 보일 것이다. 또한 굳이 한쪽 눈을 감지 않더라도 의식적으로 한쪽 눈으로만 바라보더라도 집게손가락은 뚜렷하게 볼 수 있다. 사격, 양궁 등과 같이 조준에 있어 고도의 정확성을 요구하는 스포츠 종목의 경우 대부분 한쪽 눈을 감고 조준하는 것도 이와 같은 원리에 따른 것이다.
본 발명에서는 한쪽 눈으로만 제 1 공간좌표를 바라보았을 때 손가락 끝의 형태를 뚜렷하게 파악할 수 있다는 원리를 채용하는 것이다. 이와 같이 사용자가 제 1 공간좌표를 정확히 선택할 수 있어야 제 1 공간좌표와 일치되는 입체좌표의 3차원 입체영상을 터치 할 수 있다.
본 발명에서는 1인 사용자가 움직임으로 사용되는 특정지점을 하나(한 손) 사용하는 경우, 제 1 공간좌표는 사용자 손의 끝, 또는 상기 사용자가 손으로 파지하고 있는 포인터의 끝에 좌표이고, 제 2 공간좌표는 사용자의 어느 한쪽 눈의 중심점 좌표가 될 것이다.
또한, 1인 사용자가 움직임으로 사용되는 특정지점 중 2개 이상(두 손, 두 발 등)을 사용하는 경우, 상기 제 1 공간좌표는 상기 사용자 특정지점 중 2개 이상의 두 손 및 두 발 끝의 좌표들이고, 상기 제 2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 좌표들로 형성될 수 있다.
또한, 2인 이상의 사용자가 사용하는 경우, 제 1 공간좌표는 2인 이상 사용자에 의해 제시되는 각자 하나 이상의 특정지점 끝의 좌표들이고, 제 2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 좌표들로 형성될 수 있다.
상기 가상 터치 처리부(522)는 3차원 좌표 산출장치(510)로부터 수신한 제 1 공간좌표가 상기 터치 위치 산출부(521)에서 산출된 점점 좌표 데이터와 접점 또는 근접하는지를 판단하여 접점 되거나 또는 설정 거리 이하에 근접하면 터치 인식을 수행하는 명령코드를 생성하여 3차원 입체영상 터치의 인식을 제공한다. 가상 터치 처리부(240)는 1인 사용자의 2개 특정지점 또는 2인 이상의 사용자에 대해서도 마찬가지로 방식으로 처리할 수 있다.
본 발명에 따른 가상 터치 장치(500)는 디스플레이부(400)를 포함하는 전자기기 프레임 상단에 삽입되어 설치될 수 있고, 또한 전자기기와 별도로 분리되어 설치될 수도 있다.
도 5 및 도 6 은 본 발명의 실시예에 따라 가상터치를 이용한 3차원 게임에서 사용자에게 보여지는 3차원 입체영상의 터치를 인식하는 방법을 설명하기 위한 도면이다.
도면과 같이, 3차원 게임 실행부(100)를 통해 3차원 게임이 실행되어 3차원 게임에 따른 3차원 입체영상이 생성되면, 사용자는 한쪽 눈으로 사용자의 특정지점을 보면서 사용자에게 보여지는 3차원 입체영상을 터치한다.
이때, 공간좌표 산출부(513)에서는 사용자 특정지점의 3차원 공간좌표를 생성하고, 터치 위치 산출부(521)는 특정지점의 제 1 공간좌표 데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 제 2 공간좌표 데이터(X2, Y2, Z2)를 연결하는 직선이 입체좌표 데이터와 서로 만나는 접점 좌표 데이터를 산출한다.
이후 가상 터치 처리부(522)는 공간좌표 산출부(513)에서 생성되는 제 1 공간좌표가 터치 위치 산출부(521)에서 산출된 점점 좌표 데이터와 접점 또는 설정 거리 이하로 근접한 것으로 판단되면 사용자가 3차원 입체영상을 터치한 것으로 인식한다.
제 3 실시예
도 7 은 본 발명의 제 3 실시예에 따른 가상터치를 이용한 3차원 장치를 나타낸 블록 구성도이다.
도 7을 참조하면, 가상터치를 이용한 3차원 장치는 외부에서 입력되는 3차원 입체영상 데이터를 렌더링하고, 렌더링된 3차원 입체영상 데이터에 대해 3차원 입체영상을 생성하여 디스플레이부(400)에 제공하는 3차원 실행부(600)와, 사용자의 특정지점(손끝, 펜, 주먹, 손바닥, 얼굴, 입 등)의 3차원 공간좌표 데이터(이하 “공간좌표 데이터”로 칭함)와, 상기 디스플레이부(400)에서 제공되는 3차원 입체영상을 사용자에게 보여지는 관점(이하 “사용자 관점”이라 칭함)에서의 3차원 영상좌표 데이터(이하 “영상좌표 데이터”로 칭함)를 각각 생성하고, 생성된 공간좌표 데이터 및 영상좌표 데이터를 서로 비교하여 사용자의 특정지점이 3차원 입체영상에 접점 또는 근접함을 확인하여 3차원 입체영상의 터치를 인식하는 가상 터치부(700)로 구성된다.
이때, 상기 3차원 실행부(600)는 수신부(610), 렌더링 구동부(620), 실시간 양안 렌더링부(630), 입체영상 디코더부(640), 입체영상 표현부(650)를 포함한다.
상기 수신부(610)는 외부에서 입력되는 3차원 입체영상 데이터를 수신한다. 이때 외부 입력은 최근 공중파에서 제공하고 있는 것과 같이, 방송파에서 제공하고 있는 3차원 방송의 입력이거나, 인터넷 망 등을 통해 제공되는 3차원 데이터의 입력될 수도 있다. 또는 내외부 저장장치에 저장되어 있는 3차원 입체영상 데이터가 입력될 수도 있다.
상기 렌더링 구동부(620)는 상기 수신부(610)에서 수신된 3차원 입체영상 데이터를 렌더링하여 실행시킨다.
상기 실시간 양안 렌더링부(630)는 상기 렌더링되는 3차원 입체영상 데이터에 대해 디스플레이부(400)에 입체화면을 생성하기 위해 디스플레이부(400)와 사용자간의 거리 및 위치(주시각) 등을 고려하여 실시간으로 렌더링하여 양안에 해당하는 이미지를 생성한다.
상기 입체영상 디코팅부(640)는 상기 실시간 양안 렌더링부(630)에서 생성된 이미지에 대해 압축 및 복원하여 입체영상 표현부(650)에 제공한다.
상기 입체영상 표현부(650)는 상기 입체영상 디코딩부(640)에서 압축 및 복원된 이미지 데이터를 디스플레이부(400)의 디스플레이 방식에 적합한 3차원 입체영상으로 생성하여 디스플레이부(400)를 통해 디스플레이한다.
또한 상기 가상 터치부(700)는 제 1 실시예 및 제 2 실시예에서 설명하고 있는 구성 중 어느 하나로 이루어진다.
즉, 상기 가상 터치부(700)는 제 1 실시예에서 설명하고 있는 영상획득부(210), 공간좌표 산출부(220), 터치 위치 산출부(230) 및 가상 터치 산출부(240)를 포함하여 구성되며, 촬영된 영상의 광학 삼각법을 사용하여 상기 사용자의 특정지점의 공간좌표 데이터를 산출한다. 또는 상기 가상 터치부(700)는 제 2 실시예에서 설명하고 있는 사용자 신체의 3차원 좌표 데이터를 추출하는 3차원 좌표 산출장치(510) 및 제어부(520)를 포함하여 구성되며, 촬영된 영사의 시간지연측정법(time of flight)을 이용하여 상기 사용자의 특정지점의 공간좌표 데이터를 산출한다.
상기 가상 터치부(700)의 상세한 설명은 제 1 실시예 및 제 2 실시예에서 설명하고 있으므로 생략한다.
상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (21)

  1. 게임 DB에 미리 저장되어 있는 3차원 입체 게임을 렌더링하고, 렌더링된 3차원 게임에 대해 3차원 입체영상을 생성하여 디스플레이부에 제공하는 3차원 게임 실행부와,
    사용자의 특정지점의 공간좌표 데이터 및 상기 디스플레이부에서 제공되는 3차원 입체영상을 사용자 관점에서의 영상좌표 데이터를 각각 생성하고, 생성된 공간좌표 데이터 및 영상좌표 데이터를 서로 비교하여 사용자의 특정지점이 3차원 입체영상에 접점 또는 근접함을 확인하여 3차원 입체영상의 터치를 인식하는 가상 터치부를 포함하여 구성되는 것을 특징으로 하는 가상 터치를 이용한 3차원 게임 장치.
  2. 제 1 항에 있어서,
    상기 사용자의 특정지점은 손끝, 주먹, 손바닥, 얼굴, 입, 머리, 발, 엉덩이, 어깨, 무릎을 포함하는 것을 특징으로 하는 가상 터치를 이용한 3차원 게임 장치.
  3. 제 1 항에 있어서, 상기 3차원 게임 실행부는
    게임 DB에 저장되어 있는 3차원 게임을 렌더링하여 실행시키는 렌더링 구동부와,
    상기 렌더링되는 3차원 게임에 대해 디스플레이부에 입체화면을 생성하기 위해 디스플레이부와 사용자간의 거리 및 위치(주시각) 등을 고려하여 실시간으로 렌더링하여 양안에 해당하는 이미지를 생성하는 실시간 양안 렌더링부와,
    상기 실시간 양안 렌더링부에서 생성된 이미지에 대해 압축 및 복원하는 입체영상 디코더부와,
    상기 입체영상 디코딩부에서 압축 및 복원된 이미지 데이터를 디스플레이부의 디스플레이 방식에 적합한 3차원 입체영상으로 생성하여 디스플레이부를 통해 디스플레이하는 입체영상 표현부를 포함하여 구성되는 것을 특징으로 하는 가상 터치를 이용한 3차원 게임 장치.
  4. 제 1 항에 있어서, 상기 가상 터치부는
    이미지 센서를 2 이상 포함하는 카메라 모듈로서, 디스플레이부 앞쪽의 영상을 검출하여 전기적인 이미지 신호로 변환하는 영상획득부와,
    상기 영상획득부로부터 수신한 영상을 이용하여 사용자 관점에서의 3차원 입체영상에 따른 영상좌표 데이터 및 사용자의 특정지점의 제 1, 2 공간좌표 데이터를 각각 생성하는 공간좌표 산출부와,
    상기 공간좌표 산출부로부터 수신한 사용자 특정지점의 제 1, 2 공간좌표를 연결하는 직선이 상기 영상좌표와 서로 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부와,
    상기 공간좌표 산출부에서 생성되는 제 1 공간좌표가 상기 터치 위치 산출부에서 산출된 점점 좌표 데이터와 접점 또는 근접하는지를 판단하여 접점 되거나 또는 미리 설정된 설정거리 이하에 근접하면 터치 인식을 수행하는 명령코드를 생성하여 3차원 입체영상 터치의 인식을 제공하는 가상 터치 산출부를 포함하는 것을 특징으로 하는 가상 터치를 이용한 3차원 게임 장치.
  5. 제 4 항에 있어서,
    상기 공간좌표 산출부는 촬영된 영상을 광학 삼각법을 사용하여 상기 사용자의 특정지점의 공간좌표 데이터를 산출하는 것을 특징으로 하는 가상 터치를 이용한 3차원 게임 장치.
  6. 제 5 항에 있어서,
    상기 산출되는 공간좌표 데이터는 사용자가 3차원 입체영상을 터치하기 위한 사용자의 움직임을 검출하기 위한 제 1 공간좌표 데이터와, 입체영상과 움직임에 따른 제 1 공간좌표 데이터 간의 기준점이 되는 제 2 공간좌표 데이터를 포함하는 것을 특징으로 하는 가상 터치를 이용한 3차원 게임 장치.
  7. 제 4 항에 있어서,
    상기 공간좌표 산출부는 디스플레이부와 사용자간의 거리 및 위치에 따라 미리 정의되어 저장된 사용자 관점의 영상좌표 데이터를 검색하여 검출하는 것을 특징으로 하는 가상 터치를 이용한 3차원 게임 장치.
  8. 제 4 항에 있어서,
    상기 제 2 공간좌표는 사용자의 어느 한쪽 눈의 중심점 좌표인 것을 특징으로 하는 가상 터치를 이용한 3차원 게임 장치.
  9. 제 1 항에 있어서, 상기 가상 터치부는
    광원과 산광기를 포함하고, 사용자의 특정지점에 스페클패턴을 투영하는 조명어셈블리와,
    이미지센서와 렌즈를 포함하고, 상기 조명어셈블리에 의해 투영된 사용자 상의 스페클 패턴을 캡처하는 영상획득부와,
    상기 영상획득부에서 획득된 영상으로부터 사용자 관점에서의 3차원 입체영상에 따른 영상좌표 데이터 및 사용자의 특정지점의 제 1, 2 공간좌표 데이터를 각각 생성하는 공간좌표 산출부와,
    상기 공간좌표 산출부로부터 수신한 사용자 특정지점의 제 1, 2 공간좌표를 연결하는 직선이 상기 영상좌표와 서로 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부와,
    상기 공간좌표 산출부에서 생성되는 제 1 공간좌표가 상기 터치 위치 산출부에서 산출된 점점 좌표 데이터와 접점 또는 근접하는지를 판단하여 접점 되거나 또는 미리 설정된 설정거리 이하에 근접하면 터치 인식을 수행하는 명령코드를 생성하여 3차원 입체영상 터치의 인식을 제공하는 가상 터치 산출부를 포함하는 것을 특징으로 하는 가상 터치를 이용한 3차원 게임 장치.
  10. 제 9 항에 있어서,
    상기 공간좌표 산출부는 시간지연측정법(time of flight)을 이용하여 상기 사용자의 특정지점의 공간좌표 데이터를 산출하는 것을 특징으로 하는 가상 터치를 이용한 3차원 게임 장치.
  11. 제 10 항에 있어서,
    상기 산출되는 공간좌표 데이터는 사용자가 3차원 입체영상을 터치하기 위한 사용자의 움직임을 검출하기 위한 제 1 공간좌표 데이터와, 입체영상과 움직임에 따른 제 1 공간좌표 데이터 간의 기준점이 되는 제 2 공간좌표 데이터를 포함하는 것을 특징으로 하는 가상 터치를 이용한 3차원 게임 장치.
  12. 제 9 항에 있어서,
    상기 공간좌표 산출부는 디스플레이부와 사용자간의 거리 및 위치에 따라 미리 정의되어 저장된 사용자 관점의 영상좌표 데이터를 검색하여 검출하는 것을 특징으로 하는 가상 터치를 이용한 3차원 게임 장치.
  13. 제 9 항에 있어서,
    상기 영상획득부는 CCD 또는 CMOS 기반의 이미지 센서가 사용되는 것을 특징으로 하는 가상 터치를 이용한 3차원 게임 장치.
  14. 제 1 항에 있어서,
    상기 가상 터치부는 디스플레이부를 포함하는 전자기기 프레임 상단에 삽입되어 설치되거나, 또는 전자기기와 별도로 분리되어 설치되는 것을 특징으로 하는 가상 터치를 이용한 3차원 게임 장치.
  15. 외부에서 입력되는 3D 입체영상 데이터를 렌더링하고, 렌더링된 3차원 입체영상 데이터에 대해 3차원 입체영상을 생성하여 디스플레이부에 제공하는 3차원 실행부와,
    사용자의 특정지점의 공간좌표 데이터와, 상기 디스플레이부에서 제공되는 3차원 입체영상을 사용자 관점에서의 영상좌표 데이터를 각각 생성하고, 생성된 공간좌표 데이터 및 영상좌표 데이터를 서로 비교하여 사용자의 특정지점이 3차원 입체영상에 접점 또는 근접함을 확인하여 3차원 입체영상의 터치를 인식하는 가상 터치부를 포함하여 구성되는 것을 특징으로 하는 가상 터치를 이용한 3차원 장치.
  16. 제 15 항에 있어서, 상기 3차원 실행부는
    외부에서 입력되는 3차원 입체영상 데이터를 수신하는 수신부와,
    상기 수신부에서 수신된 3차원 입체영상 데이터를 렌더링하여 실행시키는 렌더링 구동부와,
    상기 렌더링되는 3차원 입체영상 데이터에 대해 디스플레이부에 입체화면을 생성하기 위해 디스플레이부와 사용자간의 거리 및 위치(주시각) 등을 고려하여 실시간으로 렌더링하여 양안에 해당하는 이미지를 생성하는 실시간 양안 렌더링부와,
    상기 실시간 양안 렌더링부에서 생성된 이미지에 대해 압축 및 복원하는 입체영상 디코더부와,
    상기 입체영상 디코딩부에서 압축 및 복원된 이미지 데이터를 디스플레이부의 디스플레이 방식에 적합한 3차원 입체영상으로 생성하여 디스플레이부를 통해 디스플레이하는 입체영상 표현부를 포함하여 구성되는 것을 특징으로 하는 가상 터치를 이용한 3차원 장치.
  17. 제 16 항에 있어서,
    상기 수신부의 외부 입력은 방송파에서 제공하고 있는 3차원 방송의 입력과, 인터넷 망을 통해서 제공되는 데이터 입력과, 내외부 저장장치에 저장되어 있는 데이터 입력을 포함하는 것을 특징으로 하는 가상 터치를 이용한 3차원 장치.
  18. 제 16 항에 있어서,
    상기 가상 터치부는 촬영된 영상의 광학 삼각법을 사용하여 상기 사용자의 특정지점의 공간좌표 데이터를 산출하는 것을 특징으로 하는 가상 터치를 이용한 3차원 장치.
  19. 제 18 항에 있어서,
    상기 가상 터치부는 청구항 4항에 기재된 구성을 포함하는 것을 특징으로 하는 가상 터치를 이용한 3차원 장치.
  20. 제 16 항에 있어서,
    상기 가상 터치부는 촬영된 영상의 시간지연측정법(time of flight)을 이용하여 상기 사용자의 특정지점의 공간좌표 데이터를 산출하는 것을 특징으로 하는 가상 터치를 이용한 3차원 장치.
  21. 제 20 항에 있어서,
    상기 가상 터치부는 청구항 9항에 기재된 구성을 포함하는 것을 특징으로 하는 가상 터치를 이용한 3차원 장치.
KR1020110057719A 2011-06-15 2011-06-15 가상터치를 이용한 3차원 장치 및 3차원 게임 장치 KR101364133B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020110057719A KR101364133B1 (ko) 2011-06-15 2011-06-15 가상터치를 이용한 3차원 장치 및 3차원 게임 장치
CN201280038965.9A CN103732299B (zh) 2011-06-15 2012-06-12 利用虚拟触摸的三维装置及三维游戏装置
PCT/KR2012/004632 WO2012173373A2 (ko) 2011-06-15 2012-06-12 가상터치를 이용한 3차원 장치 및 3차원 게임 장치
US14/126,476 US20140200080A1 (en) 2011-06-15 2012-06-12 3d device and 3d game device using a virtual touch

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110057719A KR101364133B1 (ko) 2011-06-15 2011-06-15 가상터치를 이용한 3차원 장치 및 3차원 게임 장치

Publications (2)

Publication Number Publication Date
KR20120138329A true KR20120138329A (ko) 2012-12-26
KR101364133B1 KR101364133B1 (ko) 2014-02-21

Family

ID=47357584

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110057719A KR101364133B1 (ko) 2011-06-15 2011-06-15 가상터치를 이용한 3차원 장치 및 3차원 게임 장치

Country Status (4)

Country Link
US (1) US20140200080A1 (ko)
KR (1) KR101364133B1 (ko)
CN (1) CN103732299B (ko)
WO (1) WO2012173373A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150076767A (ko) * 2013-12-27 2015-07-07 주식회사 케이티 가상화 터치 포인팅 영역에 기반하여 컴퓨터화 전자 기기의 동작을 제어하는 터치 패널 운영 장치 및 터치 패널 운영 방법
KR20180059090A (ko) * 2016-11-25 2018-06-04 건국대학교 글로컬산학협력단 입체 영상 표시장치
US10101830B2 (en) 2013-10-17 2018-10-16 Samsung Electronics Co., Ltd. Electronic device and method for controlling operation according to floating input

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD753656S1 (en) 2013-01-29 2016-04-12 Aquifi, Inc. Display device with cameras
USD753657S1 (en) 2013-01-29 2016-04-12 Aquifi, Inc. Display device with cameras
USD753655S1 (en) 2013-01-29 2016-04-12 Aquifi, Inc Display device with cameras
USD752048S1 (en) 2013-01-29 2016-03-22 Aquifi, Inc. Display device with cameras
USD752585S1 (en) 2013-01-29 2016-03-29 Aquifi, Inc. Display device with cameras
USD753658S1 (en) 2013-01-29 2016-04-12 Aquifi, Inc. Display device with cameras
EP3309708A4 (en) * 2015-06-10 2019-03-06 Vtouch Co., Ltd. METHOD AND DEVICE FOR DETECTING GESTURES IN A USER-BASED SPATIAL COORDINATE SYSTEM
US10636167B2 (en) * 2016-11-14 2020-04-28 Samsung Electronics Co., Ltd. Method and device for determining distance
WO2019039416A1 (ja) * 2017-08-24 2019-02-28 シャープ株式会社 表示装置及びプログラム
KR102463712B1 (ko) 2017-11-24 2022-11-08 현대자동차주식회사 가상 터치 인식 장치 및 그의 인식 오류 보정 방법
KR20210012603A (ko) 2019-07-26 2021-02-03 (주)투핸즈인터랙티브 대화형 매체 기반의 운동 시스템

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07230556A (ja) * 1994-02-17 1995-08-29 Hazama Gumi Ltd Ｃｇ立体視アニメーションの生成法
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
JP3686920B2 (ja) * 2002-05-21 2005-08-24 コナミ株式会社 ３次元画像処理プログラム、３次元画像処理方法及びビデオゲーム装置
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
CN1977239A (zh) * 2004-06-29 2007-06-06 皇家飞利浦电子股份有限公司 3－d接触交互中的变焦
CN1912816A (zh) * 2005-08-08 2007-02-14 北京理工大学 一种基于摄像头的虚拟触摸屏系统
KR101019254B1 (ko) * 2008-12-24 2011-03-04 전자부품연구원 공간 투영 및 공간 터치 기능이 구비된 단말 장치 및 그 제어 방법
KR101082829B1 (ko) * 2009-10-05 2011-11-11 백문기 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법
KR101651568B1 (ko) * 2009-10-27 2016-09-06 삼성전자주식회사 3차원 공간 인터페이스 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10101830B2 (en) 2013-10-17 2018-10-16 Samsung Electronics Co., Ltd. Electronic device and method for controlling operation according to floating input
KR20150076767A (ko) * 2013-12-27 2015-07-07 주식회사 케이티 가상화 터치 포인팅 영역에 기반하여 컴퓨터화 전자 기기의 동작을 제어하는 터치 패널 운영 장치 및 터치 패널 운영 방법
KR20180059090A (ko) * 2016-11-25 2018-06-04 건국대학교 글로컬산학협력단 입체 영상 표시장치

Also Published As

Publication number Publication date
WO2012173373A3 (ko) 2013-02-07
WO2012173373A2 (ko) 2012-12-20
US20140200080A1 (en) 2014-07-17
CN103732299B (zh) 2016-08-24
KR101364133B1 (ko) 2014-02-21
CN103732299A (zh) 2014-04-16

Similar Documents

Publication Publication Date Title
KR101364133B1 (ko) 가상터치를 이용한 3차원 장치 및 3차원 게임 장치
US11157725B2 (en) Gesture-based casting and manipulation of virtual content in artificial-reality environments
Memo et al. Head-mounted gesture controlled interface for human-computer interaction
CN108469899B (zh) 识别可穿戴显示装置的观察空间中的瞄准点或区域的方法
KR101441882B1 (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 디스플레이 표시면 둘레의 가상 평면을 사용하여 전자기기를 제어하는 방법
US8613666B2 (en) User selection and navigation based on looped motions
US10783712B2 (en) Visual flairs for emphasizing gestures in artificial-reality environments
KR100812624B1 (ko) 입체영상 기반 가상현실장치
KR101381928B1 (ko) 포인터를 사용하지 않는 가상 터치 장치 및 방법
CN110647237A (zh) 在人工现实环境中基于手势的内容共享
EP3106963B1 (en) Mediated reality
KR101892735B1 (ko) 직관적인 상호작용 장치 및 방법
KR102147430B1 (ko) 가상 공간 멀티 터치 인터랙션 장치 및 방법
US20120053015A1 (en) Coordinated Motion and Audio Experience Using Looped Motions
CN107209561A (zh) 用于在虚拟现实环境中导航的方法、系统及设备
US20110244959A1 (en) Image generation system, image generation method, and information storage medium
KR20150083581A (ko) 3차원 영상을 이용한 다수의 팔 및 손 검출 장치 및 그 방법
KR20120068253A (ko) 사용자 인터페이스의 반응 제공 방법 및 장치
KR101518727B1 (ko) 입체 인터랙션 시스템 및 입체 인터랙션 방법
CN103744518A (zh) 立体交互方法及其显示装置和系统
EP3286601B1 (en) A method and apparatus for displaying a virtual object in three-dimensional (3d) space
WO2017021902A1 (en) System and method for gesture based measurement of virtual reality space
WO2018176773A1 (zh) 三维空间的交互系统及其操作方法
Khattak et al. A real-time reconstructed 3D environment augmented with virtual objects rendered with correct occlusion
KR101321274B1 (ko) 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170203

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180206

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190211

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200211

Year of fee payment: 7