WO2012173373A2 - 가상터치를 이용한 3차원 장치 및 3차원 게임 장치 - Google Patents

가상터치를 이용한 3차원 장치 및 3차원 게임 장치 Download PDF

Info

Publication number
WO2012173373A2
WO2012173373A2 PCT/KR2012/004632 KR2012004632W WO2012173373A2 WO 2012173373 A2 WO2012173373 A2 WO 2012173373A2 KR 2012004632 W KR2012004632 W KR 2012004632W WO 2012173373 A2 WO2012173373 A2 WO 2012173373A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
user
unit
stereoscopic image
coordinate data
Prior art date
Application number
PCT/KR2012/004632
Other languages
English (en)
French (fr)
Other versions
WO2012173373A3 (ko
Inventor
김석중
Original Assignee
Kim Seok-Joong
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kim Seok-Joong filed Critical Kim Seok-Joong
Priority to US14/126,476 priority Critical patent/US20140200080A1/en
Priority to CN201280038965.9A priority patent/CN103732299B/zh
Publication of WO2012173373A2 publication Critical patent/WO2012173373A2/ko
Publication of WO2012173373A3 publication Critical patent/WO2012173373A3/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/219—Input arrangements for video game devices characterised by their sensors, purposes or types for aiming at specific areas on the display, e.g. light-guns
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/335—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using Internet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images

Definitions

  • the 3D game execution unit is a rendering driving unit for rendering and executing a 3D game stored in the game DB, and the distance between the user and the display unit to generate a stereoscopic screen on the display unit for the rendered 3D game
  • a real-time binocular rendering unit for generating images corresponding to both eyes by rendering in real time in consideration of a position (primary time), etc.
  • a stereoscopic image decoder unit for compressing and restoring an image generated by the real-time binocular rendering unit
  • a stereoscopic image representation unit generating the 3D stereoscopic image suitable for the display method of the display unit and displaying the image data compressed and reconstructed by the stereoscopic image decoding unit and displaying the image data through the display unit.
  • Three-dimensional apparatus using a virtual touch for achieving the above object is to render the 3D stereoscopic image data input from the outside, and to generate a three-dimensional stereoscopic image for the rendered three-dimensional stereoscopic image data
  • a three-dimensional execution unit provided to the display unit, spatial coordinate data of a specific point of the user, and three-dimensional stereoscopic images provided from the display unit to generate image coordinate data from a user's point of view
  • the virtual touch unit that recognizes the touch of the 3D stereoscopic image by comparing the image coordinate data with each other and confirming that the user's specific point is in contact with or near the 3D stereoscopic image.
  • the stereoscopic image decoder 130 compresses and reconstructs the image generated by the real-time binocular rendering unit 120 and provides the stereoscopic image representation unit 140.
  • optical spatial coordinate calculation methods can be classified into active and passive methods according to sensing methods.
  • the active method uses a structured light or a laser light to project spatial patterns of an object by projecting a predetermined pattern or sound wave onto an object and measuring the amount of change through control of sensor parameters such as energy or focus. This is representative.
  • the passive method is a method using intensity, parallax, etc. of an image photographed without artificially projecting energy on an object.
  • the touch position calculator 230 calculates contact coordinate data where a straight line connecting the first and second spatial coordinates of the user specific point received from the spatial coordinate calculator 220 meets the image coordinates.
  • a specific point of a user used for movement is different depending on the type of game. For example, in the case of boxing and martial arts games, a specific point used as a movement will be a fist and a foot, and in the case of a heading game, a specific point used as a movement will be a head. Accordingly, the specific point used as the first spatial coordinate in the present invention should be set differently according to the three-dimensional game to be executed.
  • the virtual touch processor 240 determines whether the first spatial coordinates generated by the spatial coordinate calculator 220 are in contact with or close to the increasingly coordinate data calculated by the touch position calculator 230, or is contacted with or below a set distance. In proximity, a command code for performing touch recognition is generated to provide recognition of a 3D stereoscopic image touch.
  • the virtual touch processor 240 may process two specific points of one user or two or more users in the same manner.
  • FIGS. 2 and 3 are diagrams for describing a method of recognizing a touch of a 3D stereoscopic image shown to a user in a 3D game using a virtual touch according to an embodiment of the present invention.
  • the 3D game when executed through the 3D game execution unit 100 to generate a 3D stereoscopic image according to the 3D game, the user sees the user's specific point with one eye and the 3D is shown to the user. Touch the stereoscopic image.
  • the present invention employs the principle that the shape of the fingertip can be clearly seen when looking at the first spatial coordinates with only one eye. In this way, the user can accurately select the first spatial coordinates to touch the three-dimensional stereoscopic image of the three-dimensional coordinates that match the first spatial coordinates.
  • the real-time binocular rendering unit 630 considers the distance and position (main time) between the display unit 400 and the user to generate a stereoscopic screen on the display unit 400 with respect to the rendered 3D stereoscopic image data. Render in real time to create an image for both eyes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 가상터치 기술을 이용한 3차원 게임에서 사용자에게 보여지는 3차원 입체영상과 사용자의 특정지점의 3차원 공간좌표 데이터를 산출하여 3차원 입체영상이 사용자의 특정지점의 접점을 이루거나 근접함에 따라 가상의 3차원 입체영상을 보다 정밀하게 조작하는 방식으로 게임을 플레이할 수 있도록 하는 가상터치를 이용한 3차원 게임 장치를 제공하기 위한 것으로서, 게임 DB에 미리 저장되어 있는 3차원 입체 게임을 렌더링하고, 렌더링된 3차원 게임에 대해 3차원 입체영상을 생성하여 디스플레이부에 제공하는 3차원 게임 실행부와, 사용자의 특정지점의 공간좌표 데이터 및 상기 디스플레이부에서 제공되는 3차원 입체영상을 사용자 관점에서의 영상좌표 데이터를 각각 생성하고, 생성된 공간좌표 데이터 및 영상좌표 데이터를 서로 비교하여 사용자의 특정지점이 3차원 입체영상에 접점 또는 근접함을 확인하여 3차원 입체영상의 터치를 인식하는 가상 터치부를 포함하여 구성되는데 있다.

Description

가상터치를 이용한 3차원 장치 및 3차원 게임 장치
본 발명은 3차원 게임 장치 및 방법에 관한 것으로, 특히 3차원 입체영상의 영상좌표와 사용자의 특정지점이 접점을 이루거나 근접함에 따라 가상의 3차원 입체영상을 보다 정밀하게 조작하는 방식으로 게임을 플레이할 수 있도록 하는 가상터치를 이용한 3차원 장치 및 3차원 게임 장치에 관한 것이다.
사람은 두 개의 눈(좌안, 우안)을 가지고 있으며, 두 눈의 위치가 달라 우안의 망막에 맺히는 상과 좌안의 망막에 맺히는 상은 서로 달라진다. 그런데, 시야에 들어오는 각 사물들은 보는 사람으로부터 떨어진 거리에 따라 좌우 눈에 맺히는 상에서의 위치 차이도 달라진다. 즉, 사물의 위치가 가까울수록 두 눈에 맺히는 상도 많이 달라지고, 반면 사물의 위치가 멀어질수록 두 눈에 맺히는 상의 차이는 없어지게 된다. 따라서 좌우 두 눈에 맺히는 상의 차이로부터 해당 거리에 대한 정보를 복원할 수 있으며, 이에 따라 입체감을 느끼게 된다.
이러한 원리를 응용하여 두 눈에 각각 다른 영상을 보이게 함으로써, 입체 영상을 구현할 수 있게 되는데, 이러한 방법은 3차원 영상, 3차원 게임, 3차원 영화 등에 이용되고 있다. 3차원 게임 역시도 두 눈에 각각 다른 영상을 보이게 하여 3차원 입체영상을 구현함으로써 이루어지는 게임이다.
그러나 현재 3차원 입체영상을 위한 디스플레이 장치가 아닌 일반 디스플레이 장치는 고정된 시점에서만 입체감을 느낄 수 있으므로, 사용자의 움직임에 의하여 화질이 떨어지는 문제점을 가지고 있다.
이러한 문제점을 해결하기 위해서 사용자의 위치에 상관없이 디스플레이 장치의 디스플레이되는 입체영상을 볼 수 있는 입체안경이 개시되고 있으며, 현재에 들어와서는 입체영상, 입체게임을 위한 입체 디스플레이 장치(모니터)가 개발되고 있어 3차원 입체영상에 따른 발 빠른 움직임이 이루어지고 있다.
그러나 이처럼 좌안과 우안의 시각차에 의해 3차원 입체 영상을 보는 착시를 불러오는 3차원 입체영상 구현 기술은 홀로그램과 같이 실제 3차원의 입체영상을 직접 만들지 않고 있어서, 사용자의 관점에서 좌안과 우안에 다른 시각을 제공하여 사용자의 관점에 맞는 3차원 입체영상을 제공하게 된다.
이에 따라, 3차원 입체영상의 깊이(원근감)는 스크린과 사용자 간의 거리에 따라 다른 값을 가지게 되는데, 같은 영상의 경우라도 화면과 근거리에서 볼 때는 작은 깊이를 느끼게 되지만, 원거리에서 볼 때는 큰 깊이를 느끼게 된다. 이는 사용자와 스크린의 거리의 증감에 따라 영상의 깊이도 증감을 함을 의미한다. 또한, 사용자와 스크린 간의 거리뿐만 아니라 사용자의 위치에 따라서는 3차원 입체영상의 깊이(원근감) 및 상의 위치 값에 다른 값을 가지게 되는데, 이는 가상의 3차원 입체 스크린의 정면에서 보는 것과 스크린의 측면에서 보는 것에 따라 위치하는 3차원 영상의 위치가 변화됨을 의미한다.
이러한 이유는 어느 한 곳에 3차원 입체영상이 있는 것이 아닌 사용자의 관점에서 3차원 영상이 만들어지기 때문에 발생되는 것이다.
이처럼 사용자의 관점에 따라 변화되는 3차원 입체영상의 깊이 및 위치로 인해 정확한 산출이 어려워 3차원 게임의 경우에 단순히 3차원 입체영상 만을 제공하고, 조작은 외부 입력장치를 통해 이루어지는 것이 대부분이며, 최근 연구 개발되고 있는 가상터치 기술을 이용하는 3차원 게임의 경우도 이러한 이유로 인해 단순히 사용자의 움직임만을 게임에 적용하여 플레이시키는 방식으로 이루어지고 있다. 이에 따라 가상터치 기술을 이용한 3차원 게임의 경우 3차원 입체영상과 사용자의 움직임을 결합한 방식이 아닌 각각 독립적인 방식으로 이루어지고 있다.
이에 따라, 3차원 게임을 플레이하는 사용자가 자신이 보고 있는 3차원 입체영상을 터치하는 경우에도 스크린의 거리 및 위치에 따라서 터치가 이루어지지 않거나 엉뚱한 동작이 작동되는 등 보다 사실적이고 세밀한 3차원 게임의 플레이가 불가능하게 된다.
따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 가상터치 기술을 이용한 3차원 게임에서 사용자에게 보여지는 3차원 입체영상과 사용자의 특정지점의 3차원 공간좌표 데이터를 산출하여 3차원 입체영상이 사용자의 특정지점의 접점을 이루거나 근접함에 따라 가상의 3차원 입체영상을 보다 정밀하게 조작하는 방식으로 게임을 플레이할 수 있도록 하는 가상터치를 이용한 3차원 게임 장치를 제공하는데 그 목적이 있다.
본 발명의 다른 목적은 사용자의 특정지점의 공간좌표와 사용자에게 보여지는 3차원 입체영상의 영상좌표를 각각 산출하여 산출된 영상의 좌표에 사용자의 특정지점이 접근하게 될 경우 3차원 입체영상의 터치로 인식되도록 하는 가상터치를 이용한 3차원 게임 장치를 제공하는데 있다.
본 발명의 또 다른 목적은 가상터치 기술을 이용하여 사용자에게 보여지는 3차원 입체영상과 사용자의 특정지점의 3차원 공간좌표 데이터를 산출하여 3차원 입체영상을 사용자의 특정지점의 접점을 이루거나 근접함에 따라 가상의 3차원 입체영상의 터치로 인식되도록 하는 하는 가상터치를 이용한 3차원 장치를 제공하는데 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 가상터치를 이용한 3차원 게임 장치의 특징은 게임 DB에 미리 저장되어 있는 3차원 입체 게임을 렌더링하고, 렌더링된 3차원 게임에 대해 3차원 입체영상을 생성하여 디스플레이부에 제공하는 3차원 게임 실행부와, 사용자의 특정지점의 공간좌표 데이터 및 상기 디스플레이부에서 제공되는 3차원 입체영상을 사용자 관점에서의 영상좌표 데이터를 각각 생성하고, 생성된 공간좌표 데이터 및 영상좌표 데이터를 서로 비교하여 사용자의 특정지점이 3차원 입체영상에 접점 또는 근접함을 확인하여 3차원 입체영상의 터치를 인식하는 가상 터치부를 포함하여 구성되는데 있다.
바람직하게 상기 사용자의 특정지점은 손끝, 주먹, 손바닥, 얼굴, 입, 머리, 발, 엉덩이, 어깨, 무릎을 포함하는 것을 특징으로 한다.
바람직하게 상기 3차원 게임 실행부는 게임 DB에 저장되어 있는 3차원 게임을 렌더링하여 실행시키는 렌더링 구동부와, 상기 렌더링되는 3차원 게임에 대해 디스플레이부에 입체화면을 생성하기 위해 디스플레이부와의 사용자간의 거리 및 위치(주시각) 등을 고려하여 실시간으로 렌더링하여 양안에 해당하는 이미지를 생성하는 실시간 양안 렌더링부와, 상기 실시간 양안 렌더링부에서 생성된 이미지에 대해 압축 및 복원하는 입체영상 디코더부와, 상기 입체영상 디코딩부에서 압축 및 복원된 이미지 데이터를 디스플레이부의 디스플레이 방식에 적합한 3차원 입체영상으로 생성하여 디스플레이부를 통해 디스플레이하는 입체영상 표현부를 포함하여 구성되는 것을 특징으로 한다.
바람직하게 상기 가상 터치부는 이미지 센서를 2 이상 포함하는 카메라 모듈로서, 디스플레이부 앞쪽의 영상을 검출하여 전기적인 이미지 신호로 변환하는 영상획득부와, 상기 영상 획득부로부터 수신한 영상을 이용하여 사용자 관점에서의 3차원 입체영상에 따른 영상좌표 데이터 및 사용자의 특정지점의 제 1, 2 공간좌표 데이터를 각각 생성하는 공간좌표 산출부와, 상기 공간좌표 산출부로부터 수신한 사용자 특정지점의 제 1, 2 공간좌표를 연결하는 직선이 상기 영상좌표와 서로 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부와, 상기 공간좌표 산출부에서 생성되는 제 1 공간좌표가 상기 터치 위치 산출부에서 산출된 점점 좌표 데이터와 접점 또는 근접하는지를 판단하여 접점 되거나 또는 미리 설정된 설정거리 이하에 근접하면 터치 인식을 수행하는 명령코드를 생성하여 3차원 입체영상 터치의 인식을 제공하는 가상 터치 산출부를 포함하는 것을 특징으로 한다.
바람직하게 상기 공간좌표 산출부는 촬영된 영상을 광학 삼각법을 사용하여 상기 사용자의 특정지점의 공간좌표 데이터를 산출하는 것을 특징으로 한다.
바람직하게 상기 산출되는 공간좌표 데이터는 사용자가 3차원 입체영상을 터치하기 위한 사용자의 움직임을 검출하기 위한 제 1 공간좌표 데이터와, 입체영상과 움직임에 따른 제 1 공간좌표 데이터 간의 기준점이 되는 제 2 공간좌표 데이터를 포함하는 것을 특징으로 한다.
바람직하게 상기 공간좌표 산출부는 디스플레이부와 사용자간의 거리 및 위치에 따라 미리 정의되어 저장된 사용자 관점의 영상좌표 데이터를 검색하여 검출하는 것을 특징으로 한다.
바람직하게 상기 제 2 공간좌표는 사용자의 어느 한쪽 눈의 중심점 좌표인 것을 특징으로 한다.
바람직하게 상기 가상 터치부는 광원과 산광기를 포함하고, 사용자의 특정지점에 스페클패턴을 투영하는 조명어셈블리와, 이미지센서와 렌즈를 포함하고, 상기 조명어셈블리에 의해 투영된 사용자 상의 스페클 패턴을 캡처하는 영상 획득부와, 상기 영상 획득부에서 획득된 영상으로부터 사용자 관점에서의 3차원 입체영상에 따른 영상좌표 데이터 및 사용자의 특정지점의 제 1, 2 공간좌표 데이터를 각각 생성하는 공간좌표 산출부와, 상기 공간좌표 산출부로부터 수신한 사용자 특정지점의 제 1, 2 공간좌표를 연결하는 직선이 상기 영상좌표와 서로 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부와, 상기 공간좌표 산출부에서 생성되는 제 1 공간좌표가 상기 터치 위치 산출부에서 산출된 점점 좌표 데이터와 접점 또는 근접하는지를 판단하여 접점 되거나 또는 미리 설정된 설정거리 이하에 근접하면 터치 인식을 수행하는 명령코드를 생성하여 3차원 입체영상 터치의 인식을 제공하는 가상 터치 산출부를 포함하는 것을 특징으로 한다.
바람직하게 상기 공간좌표 산출부는 시간지연측정법(time of flight)을 이용하여 상기 사용자의 특정지점의 공간좌표 데이터를 산출하는 것을 특징으로 한다.
바람직하게 상기 영상 획득부는 CCD 또는 CMOS 기반의 이미지 센서가 사용되는 것을 특징으로 한다.
바람직하게 상기 가상 터치부는 디스플레이부를 포함하는 전자기기 프레임 상단에 삽입되어 설치되거나, 또는 전자기기와 별도로 분리되어 설치되는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 가상터치를 이용한 3차원 장치의 특징은 외부에서 입력되는 3D 입체영상 데이터를 렌더링하고, 렌더링된 3차원 입체영상 데이터에 대해 3차원 입체영상을 생성하여 디스플레이부에 제공하는 3차원 실행부와, 사용자의 특정지점의 공간좌표 데이터와, 상기 디스플레이부에서 제공되는 3차원 입체영상을 사용자 관점에서의 영상좌표 데이터를 각각 생성하고, 생성된 공간좌표 데이터 및 영상좌표 데이터를 서로 비교하여 사용자의 특정지점이 3차원 입체영상에 접점 또는 근접함을 확인하여 3차원 입체영상의 터치를 인식하는 가상 터치부
바람직하게 상기 3차원 실행부는 외부에서 입력되는 3차원 입체영상 데이터를 수신하는 수신부와, 상기 수신부에서 수신된 3차원 입체영상 데이터를 렌더링하여 실행시키는 렌더링 구동부와, 상기 렌더링되는 3차원 입체영상 데이터에 대해 디스플레이부에 입체화면을 생성하기 위해 디스플레이부와 사용자간의 거리 및 위치(주시각) 등을 고려하여 실시간으로 렌더링하여 양안에 해당하는 이미지를 생성하는 실시간 양안 렌더링부와, 상기 실시간 양안 렌더링부에서 생성된 이미지에 대해 압축 및 복원하는 입체영상 디코더부와, 상기 입체영상 디코딩부에서 압축 및 복원된 이미지 데이터를 디스플레이부의 디스플레이 방식에 적합한 3차원 입체영상으로 생성하여 디스플레이부를 통해 디스플레이하는 입체영상 표현부를 포함하여 구성되는 것을 특징으로 한다.
바람직하게 상기 수신부의 외부 입력은 방송파에서 제공하고 있는 3차원 방송의 입력과, 인터넷 망을 통해서 제공되는 데이터 입력과, 내외부 저장장치에 저장되어 있는 데이터 입력을 포함하는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 가상터치를 이용한 3차원 게임 장치는 사용자에게 보여지는 3차원 입체영상과 사용자의 특정지점의 공간좌표 값을 통해 사용자가 가상의 3차원 입체영상을 보다 정밀하게 조작할 수 있어, 가상터치를 이용한 3차원 게임에 있어 보다 사실적이고 현실감 있는 3차원 게임을 제공할 수 있다. 또한, 사용자의 움직임과 사용자에게 보여지는 3차원 입체영상의 정밀한 매칭을 통해 사용자의 작은 움직임을 요구하는 다양한 3차원 게임의 적용이 가능하다.
아울러, 3차원 게임뿐만 아니라 디스플레이부에서 제공되고 있는 3차원 입체영상을 사용자의 특정지점의 공간좌표 값을 통해 가상터치를 제공하여 가상터치에 상응하는 상기 3차원 입체 영상의 변화를 수행하여 다양한 응용 기술에 적용 가능하다.
[도 1] 본 발명의 제 1 실시예에 따른 가상터치를 이용한 3차원 게임 장치를 나타낸 블록 구성도
[도 2 및 도 3] 본 발명의 실시예에 따라 가상터치를 이용한 3차원 게임에서 사용자에게 보여지는 3차원 입체영상의 터치를 인식하는 방법을 설명하기 위한 도면
[도 4] 본 발명의 제 2 실시예에 따른 가상터치를 이용한 3차원 게임 장치를 나타낸 블록 구성도
[도 5 및 도 6] 본 발명의 실시예에 따라 가상터치를 이용한 3차원 게임에서 사용자에게 보여지는 3차원 입체영상의 터치를 인식하는 방법을 설명하기 위한 도면
[도 7] 본 발명의 제 3 실시예에 따른 가상터치를 이용한 3차원 장치를 나타낸 블록 구성도
본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
본 발명에 따른 가상 터치를 이용한 3차원 장치 및 3D 게임 장치의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
제 1 실시예
도 1 은 본 발명의 제 1 실시예에 따른 가상터치를 이용한 3차원 게임 장치를 나타낸 블록 구성도이다.
도 1을 참조하면, 가상터치를 이용한 3차원 게임 장치는 게임 DB(300)에 미리 저장되어 있는 3차원 입체 게임을 렌더링하고, 렌더링된 3차원 게임에 대해 3차원 입체영상을 생성하여 디스플레이부(400)에 제공하는 3차원 게임 실행부(100)와, 사용자의 특정지점(손끝, 펜, 주먹, 손바닥, 얼굴, 입 등)의 3차원 공간좌표 데이터(이하 “공간좌표 데이터”로 칭함)와, 상기 디스플레이부(400)에서 제공되는 3차원 입체영상을 사용자에게 보여지는 관점(이하 “사용자 관점”이라 칭함)에서의 3차원 영상좌표 데이터(이하 “영상좌표 데이터”로 칭함)를 각각 생성하고, 생성된 공간좌표 데이터 및 영상좌표 데이터를 서로 비교하여 사용자의 특정지점이 3차원 입체영상에 접점 또는 근접함을 확인하여 3차원 입체영상의 터치를 인식하는 가상 터치부(200)로 구성된다.
이때, 상기 3차원 게임 실행부(100)는 렌더링 구동부(110), 실시간 양안 렌더링부(120), 입체영상 디코더부(130), 입체영상 표현부(140)를 포함한다.
상기 렌더링 구동부(110)는 게임 DB(19)에 저장되어 있는 3차원 게임을 렌더링하여 실행시킨다.
상기 실시간 양안 렌더링부(120)는 상기 렌더링되는 3차원 게임에 대해 디스플레이부(400)에 입체화면을 생성하기 위해 디스플레이부(400)와 사용자간의 거리 및 위치(주시각) 등을 고려하여 실시간으로 렌더링하여 양안에 해당하는 이미지를 생성한다.
상기 입체영상 디코더부(130)는 상기 실시간 양안 렌더링부(120)에서 생성된 이미지에 대해 압축 및 복원하여 입체영상 표현부(140)에 제공한다.
상기 입체영상 표현부(140)는 상기 입체영상 디코더부(130)에서 압축 및 복원된 이미지 데이터를 디스플레이부(400)의 디스플레이 방식에 적합한 3차원 입체영상으로 생성하여 디스플레이부(400)를 통해 디스플레이한다. 이때, 상기 디스플레이부(400)의 디스플레이 방식은 시차장벽(Parallax barrier) 방식인 것이 바람직하다. 시차장벽 방식은 좌우 안에 해당하는 L, R 화상의 앞에 세로격자 모양의 개구(Aperture) AG를 통하여 영상의 분리를 관찰하는 방식이다.
또한 상기 가상 터치부(200)는 영상획득부(210), 공간좌표 산출부(220), 터치 위치 산출부(230) 및 가상 터치 산출부(240)를 포함한다.
상기 영상획득부(210)로는 일종의 카메라모듈로 디스플레이부(400) 앞쪽의 영상을 검출하여 전기적인 이미지 신호로 변환하는 CCD 또는 CMOS와 같은 이미지 센서(211, 212)를 2 이상 포함 할 수 있다.
상기 공간좌표 산출부(220)는 상기 영상획득부(210)로부터 수신한 영상을 이용하여 사용자 관점에서의 3차원 입체영상에 따른 영상좌표 데이터 및 사용자의 특정지점(손끝, 펜, 주먹, 손바닥, 얼굴, 입 등)의 제 1, 2 공간좌표 데이터를 각각 생성한다.
이때, 상기 사용자의 특정지점의 공간좌표는 영상획득부(210)에서 구성하는 이미지센서(211, 212)를 통해 각기 다른 각도에서 사용자의 특정지점을 각각 촬영하고 공간좌표 산출부(220)는 수동적인 광학 삼각법을 이용하여 사용자의 특정지점의 공간좌표 데이터를 산출하는데, 이때 산출되는 공간좌표 데이터는 사용자가 3차원 입체영상을 터치하기 위한 사용자의 움직임을 검출하기 위한 제 1 공간좌표 데이터와, 입체영상과 움직임에 따른 제 1 공간좌표 데이터 간의 기준점이 되는 제 2 공간좌표 데이터를 포함한다.
또한 상기 3차원 입체영상의 영상좌표 데이터는 위와 같은 방법으로 각기 다른 각도에서 촬영된 사용자의 좌, 우안을 수동적인 광학 삼각법을 이용하여 사용자의 좌, 우안의 공간좌표 데이터를 산출하고, 이를 통해 디스플레이부(400)와 사용자간의 거리 및 위치(주시각)를 산출한다. 그리고 디스플레이부(400)와 사용자간의 거리 및 위치에 따라 미리 정의되어 저장된 사용자 관점의 영상좌표 데이터를 검색하여 검출하게 된다.
이처럼, 영상획득부(210)를 통해 수신한 영상을 이용하여 공간좌표 데이터만을 생성하면, 사용자 관점의 영상좌표를 손쉽게 검출할 수 있다. 이는 물론 디스플레이부(400)와 사용자간의 거리 및 위치에 따라 사용자 관점의 영상좌표 데이터가 미리 정의되어 있어야 함은 당연하다.
이에 따라, 공간좌표를 산출하는 방법에 따른 내용을 보다 상세히 설명하도록 한다.
일반적으로 광학식 공간좌표 산출 방법은 센싱 방법에 따라 능동 방식과 수동 방식으로 분류할 수 있다. 능동 방식은 미리 정의된 패턴이나 음파 등을 물체에 투사한 후 그 에너지 또는 초점 등의 센서 파라미터의 제어를 통한 변화량을 측정하여 물체의 공간좌표 데이터를 산출하는 방법으로 구조광 혹은 레이저광을 이용하는 방식이 대표적이다. 이에 비하여 수동 방식은 인위적으로 물체에 에너지를 투사하지 않은 상태에서 촬영한 영상의 명암(intensity), 시차(parallax)등을 이용하는 방식이다.
본 발명에서는 물체에 에너지를 투사하지 않는 수동 방식을 채용하고 있는 바, 이 방식은 능동 방식에 비해 다소 정밀도는 떨어질 수 있어도 장비가 간편하고 입력 영상으로부터 텍스쳐를 직접 획득할 수 있는 장점이 있다.
수동 방식에서는 촬영한 영상 간에 대응되는 특징점들에게 삼각법을 적용하여 3차원 정보를 획득할 수 있다. 삼각법의 적용하여 공간좌표를 추출하는 각종 관련 기법으로 카메라 자동보정(camera self calibration) 기법, Harris의 코너 추출 방법, SIFT 기법, RANSAC 기법, Tsai 기법 등이 흔히 채용된다. 특히, 사용자 신체의 3차원 공간좌표 데이터를 산출하는 방법으로 입체 카메라 법을 이용할 수도 있다. 입체 카메라 법은 인간이 두 개의 눈으로 물체를 보고 변위를 얻는 양안입체 시의 구조와 동일하게 두 개의 다른 점에서 물체 표면의 동일점을 관측하여 그 점에 대한 예상각으로부터 거리를 구하는 방법이다. 상기 언급한 각종 3차원 좌표 산출 기법들은 본 발명이 속하는 기술분야의 당업자가 용이하게 알 수 있고 구현이 가능한 것들이므로 이에 대한 설명은 생략하기로 한다. 한편, 2차원 이미지를 이용하여 3차원 좌표 데이터를 산출하는 방법과 관련된 특허문헌으로 국내공개특허 제10-0021803호, 제10-2004-0004135호, 제10-2007-0066382호, 제10-2007-0117877호 등 다수가 존재한다.
상기 터치 위치 산출부(230)는 공간좌표 산출부(220)로부터 수신한 사용자 특정지점의 제 1, 2 공간좌표를 연결하는 직선이 상기 영상좌표와 서로 만나는 접점 좌표 데이터를 산출한다. 일반적으로 3차원 게임의 경우 게임 종류에 따라서 움직임으로 사용되는 사용자의 특정지점이 서로 다르다. 예를 들어 복싱 및 격투기 게임 등의 경우에는 움직임으로 사용되는 특정지점이 주먹 및 발 등이 될 것이고, 헤딩 게임 등의 경우에는 움직임으로 사용되는 특정지점이 머리가 될 것이다. 이에 따라 본 발명에서 제 1 공간좌표로서 사용되는 특정지점은 실행되는 3차원 게임에 따라 서로 다르게 설정되어야 할 것이다.
또한 같은 맥락에서 상기 제 1 공간좌표의 역할을 하는 사용자의 특정지점을 대신하여 손가락으로 파지하고 있는 포인터(예, 방망이)를 사용할 수 있다. 이러한 포인터를 사용할 경우 다양한 3차원 게임에 응용할 수 있는 장점이 있다.
또한 본 발명에서는 기준점에 해당되는 제 2 공간좌표를 산출함에 있어 사용자의 한쪽 눈의 중심점만을 이용한다. 예를 들어 사용자가 두 눈 앞에 손가락을 배치시켜 쳐다보면 상기 손가락은 2개로 보일 것이다. 이는 사용자 양안이 각각 바라보는 손가락의 형상이 서로 다르기 때문에 이와 같은 현상이 발생한다(양안의 각도 차에 의한 것임). 그러나 만약 한쪽 눈으로만 손가락을 바라본다면 손가락이 명확하게 보일 것이다. 또한 굳이 한쪽 눈을 감지 않더라도 의식적으로 한쪽 눈으로만 바라보더라도 집게손가락은 뚜렷하게 볼 수 있다. 사격, 양궁 등과 같이 조준에 있어 고도의 정확성을 요구하는 스포츠 종목의 경우 대부분 한쪽 눈을 감고 조준하는 것도 이와 같은 원리에 따른 것이다.
본 발명에서는 한쪽 눈으로만 제 1 공간좌표를 바라보았을 때 손가락 끝의 형태를 뚜렷하게 파악할 수 있다는 원리를 채용하는 것이다. 이와 같이 사용자가 제 1 공간좌표를 정확히 선택할 수 있어야 제 1 공간좌표와 일치되는 입체좌표의 3차원 입체영상을 터치 할 수 있다.
본 발명에서는 1인 사용자가 움직임으로 사용되는 특정지점을 하나(한 손) 사용하는 경우, 제 1 공간좌표는 사용자 손의 끝, 또는 상기 사용자가 손으로 파지하고 있는 포인터의 끝에 좌표이고, 제 2 공간좌표는 사용자의 어느 한쪽 눈의 중심점 좌표가 될 것이다.
또한, 1인 사용자가 움직임으로 사용되는 특정지점 중 2개 이상(두 손, 두 발 등)을 사용하는 경우, 상기 제 1 공간좌표는 상기 사용자 특정지점 중 2개 이상의 두 손 및 두 발 끝의 좌표들이고, 상기 제 2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 좌표들로 형성될 수 있다.
또한, 2인 이상의 사용자가 사용하는 경우, 제 1 공간좌표는 2인 이상 사용자에 의해 제시되는 각자 하나 이상의 특정지점 끝의 좌표들이고, 제 2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 좌표들로 형성될 수 있다.
상기 가상 터치 처리부(240)는 공간좌표 산출부(220)에서 생성되는 제 1 공간좌표가 터치 위치 산출부(230)에서 산출된 점점 좌표 데이터와 접점 또는 근접하는지를 판단하여 접점 되거나 또는 설정 거리 이하에 근접하면 터치 인식을 수행하는 명령코드를 생성하여 3차원 입체영상 터치의 인식을 제공한다. 가상 터치 처리부(240)는 1인 사용자의 2개 특정지점 또는 2인 이상의 사용자에 대해서도 마찬가지 방식으로 처리할 수 있다.
본 발명에 따른 가상 터치부(200)는 디스플레이부(400)를 포함하는 전자기기 프레임 상단에 삽입되어 설치될 수 있고, 또는 전자기기와 별도로 분리되어 설치될 수도 있다.
도 2 및 도 3 은 본 발명의 실시예에 따라 가상터치를 이용한 3차원 게임에서 사용자에게 보여지는 3차원 입체영상의 터치를 인식하는 방법을 설명하기 위한 도면이다.
도면과 같이, 3차원 게임 실행부(100)를 통해 3차원 게임이 실행되어 3차원 게임에 따른 3차원 입체영상이 생성되면, 사용자는 한쪽 눈으로 사용자의 특정지점을 보면서 사용자에게 보여지는 3차원 입체영상을 터치한다.
이때, 공간좌표 산출부(220)에서는 사용자 특정지점의 3차원 공간좌표를 생성하고, 터치 위치 산출부(230)는 특정지점의 제 1 공간좌표 데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 제 2 공간좌표 데이터(X2, Y2, Z2)를 연결하는 직선이 입체좌표 데이터와 서로 만나는 접점 좌표 데이터를 산출한다.
이후 가상 터치 처리부(240)는 공간좌표 산출부(220)에서 생성되는 제 1 공간좌표가 터치 위치 산출부(230)에서 산출된 점점 좌표 데이터와 접점 또는 설정 거리 이하로 근접한 것으로 판단되면 사용자가 3차원 입체영상을 터치한 것으로 인식한다.
제 2 실시예
도 4 는 본 발명의 제 2 실시예에 따른 가상터치를 이용한 3차원 게임 장치를 나타낸 블록 구성도이다.
도 4를 참조하면, 가상터치를 이용한 3차원 게임 장치는 게임 DB(300)에 미리 저장되어 있는 3차원 입체 게임을 렌더링하고, 렌더링된 3차원 게임에 대해 3차원 입체영상을 생성하여 디스플레이부(400)에 제공하는 3차원 게임 실행부(100)와, 사용자의 특정지점(손끝, 펜, 주먹, 손바닥, 얼굴, 입 등)의 3차원 공간좌표 데이터(이하 “공간좌표 데이터”로 칭함)와, 상기 디스플레이부(400)에서 제공되는 3차원 입체영상을 사용자에게 보여지는 관점(이하 “사용자 관점”이라 칭함)에서의 3차원 영상좌표 데이터(이하 “영상좌표 데이터”로 칭함)를 각각 생성하고, 생성된 공간좌표 데이터 및 영상좌표 데이터를 서로 비교하여 사용자의 특정지점이 3차원 입체영상에 접점 또는 근접함을 확인하여 3차원 입체영상의 터치를 인식하는 가상 터치부(500)로 구성된다.
이때, 상기 게임 실행부(100)는 렌더링 구동부(110), 실시간 양안 렌더링부(120), 입체영상 디코더부(130), 입체영상 표현부(140)를 포함하며, 각 구성부에 따른 설명은 상기 제 1 실시예에서 이미 설명하고 있으므로 이에 따른 설명은 생략한다.
또한 상기 가상 터치부(500)는 사용자 신체의 3차원 좌표 데이터를 추출하는 3차원 좌표 산출장치(510) 및 제어부(520)를 포함한다.
상기 3차원 좌표 산출장치(510)는 기존에 공지된 여러 3차원 좌표 추출 방법에 의해 사용자의 특정지점의 공간좌표를 산출할 수 있다. 이러한 공간좌표 추출의 대표적인 방식으로는 광학적인 삼각 측량법, 시간지연측정법, 구조광방식 등 다양하다. 구조광을 이용한 능동적 방식의 3차원 정보 획득 기법은 프로젝터를 사용하여 코드화된 패턴영상을 연속적으로 투영하고 카메라를 통해 구조광이 투영된 장면의 영상을 획득함으로써 3차원 위치를 추정하는 방법이다.
또한, 시간지연측정법은 발신기로부터 발생한 초음파가 물체에 의해 반사되어 수신기에 도달하는 시간차(Time of Flight)를 초음파의 진행 속도로 나누어 거리로 환산함으로써 3차원 정보를 획득하는 기법이다. 그 밖에도 시간지연측정법(Time of Flight)을 이용하는 3차원 좌표 산출 방법이 기존에 다양하게 존재하고, 본 발명이 속하는 기술분야의 당업자에게는 용이하게 구현이 가능하므로 이 부분에 대한 설명은 생략한다.
또한, 본 발명에 따른 3차원 좌표 산출장치(510)는 조명어셈블리(511), 영상획득부(512) 및 공간좌표 산출부(513)를 포함하여 구성될 수 있다. 조명어셈블리(512)는 광원(511a)과 산광기(511b)를 포함하며 사용자 신체에 스페클패턴을 투영한다. 영상획득부(512)는 이미지센서(512a)와 렌즈(512b)로 구성되어 상기 조명어셈블리에 의해 투영된 상기 사용자 상의 스페클 패턴을 캡처한다. 이미지 센서(512a)는 일반적으로 CCD 또는 CMOS 기반의 이미지 센서가 사용될 수 있다. 또한 공간좌표 산출부(513)는 영상획득부(512)가 획득된 영상을 처리하여 상기 사용자 신체의 3차원 좌표 데이터를 산출하는 역할을 수행한다.
상기 제어부(520)는 터치 위치 산출부(521)와 가상 터치 산출부(522)로 구성된다.
이때, 상기 터치 위치 산출부(521)는 3차원 좌표 산출장치(510)로부터 수신한 제 1, 2 공간좌표 데이터를 이용하여 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 상기 영상좌표 데이터와 서로 만나는 접점 좌표 데이터를 산출한다. 일반적으로 3차원 게임의 경우 게임 종류에 따라서 움직임으로 사용되는 사용자의 특정지점이 서로 다르다. 예를 들어 복싱 및 격투기 게임 등의 경우에는 움직임으로 사용되는 특정지점이 주먹 및 발 등이 될 것이고, 헤딩 게임 등의 경우에는 움직임으로 사용되는 특정지점이 머리가 될 것이다. 이에 따라 본 발명에서 제 1 공간좌표로서 사용되는 특정지점은 실행되는 3차원 게임에 따라 서로 다르게 설정되어야 할 것이다.
또한 같은 맥락에서 상기 제1 공간좌표의 역할을 하는 사용자의 특정지점을 대신하여 손가락으로 파지하고 있는 포인터(예, 방망이)를 사용할 수 있다. 이러한 포인터를 사용할 경우 다양한 3차원 게임에 응용할 수 있는 장점이 있다.
또한 본 발명에서는 기준점에 해당되는 제 2 공간좌표를 산출함에 있어 사용자의 한쪽 눈의 중심점만을 이용한다. 예를 들어 사용자가 두 눈 앞에 손가락을 배치시켜 쳐다보면 상기 손가락은 2개로 보일 것이다. 이는 사용자 양안이 각각 바라보는 손가락의 형상이 서로 다르기 때문에 이와 같은 현상이 발생한다(양안의 각도 차에 의한 것임). 그러나 만약 한쪽 눈으로만 손가락을 바라본다면 손가락이 명확하게 보일 것이다. 또한 굳이 한쪽 눈을 감지 않더라도 의식적으로 한쪽 눈으로만 바라보더라도 집게손가락은 뚜렷하게 볼 수 있다. 사격, 양궁 등과 같이 조준에 있어 고도의 정확성을 요구하는 스포츠 종목의 경우 대부분 한쪽 눈을 감고 조준하는 것도 이와 같은 원리에 따른 것이다.
본 발명에서는 한쪽 눈으로만 제 1 공간좌표를 바라보았을 때 손가락 끝의 형태를 뚜렷하게 파악할 수 있다는 원리를 채용하는 것이다. 이와 같이 사용자가 제 1 공간좌표를 정확히 선택할 수 있어야 제 1 공간좌표와 일치되는 입체좌표의 3차원 입체영상을 터치 할 수 있다.
본 발명에서는 1인 사용자가 움직임으로 사용되는 특정지점을 하나(한 손) 사용하는 경우, 제 1 공간좌표는 사용자 손의 끝, 또는 상기 사용자가 손으로 파지하고 있는 포인터의 끝에 좌표이고, 제 2 공간좌표는 사용자의 어느 한쪽 눈의 중심점 좌표가 될 것이다.
또한, 1인 사용자가 움직임으로 사용되는 특정지점 중 2개 이상(두 손, 두 발 등)을 사용하는 경우, 상기 제 1 공간좌표는 상기 사용자 특정지점 중 2개 이상의 두 손 및 두 발 끝의 좌표들이고, 상기 제 2 공간좌표는 상기 사용자의 어느 한쪽 눈의 중심점의 좌표들로 형성될 수 있다.
또한, 2인 이상의 사용자가 사용하는 경우, 제 1 공간좌표는 2인 이상 사용자에 의해 제시되는 각자 하나 이상의 특정지점 끝의 좌표들이고, 제 2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 좌표들로 형성될 수 있다.
상기 가상 터치 처리부(522)는 3차원 좌표 산출장치(510)로부터 수신한 제 1 공간좌표가 상기 터치 위치 산출부(521)에서 산출된 점점 좌표 데이터와 접점 또는 근접하는지를 판단하여 접점 되거나 또는 설정 거리 이하에 근접하면 터치 인식을 수행하는 명령코드를 생성하여 3차원 입체영상 터치의 인식을 제공한다. 가상 터치 처리부(240)는 1인 사용자의 2개 특정지점 또는 2인 이상의 사용자에 대해서도 마찬가지 방식으로 처리할 수 있다.
본 발명에 따른 가상 터치 장치(500)는 디스플레이부(400)를 포함하는 전자기기 프레임 상단에 삽입되어 설치될 수 있고, 또한 전자기기와 별도로 분리되어 설치될 수도 있다.
도 5 및 도 6 은 본 발명의 실시예에 따라 가상터치를 이용한 3차원 게임에서 사용자에게 보여지는 3차원 입체영상의 터치를 인식하는 방법을 설명하기 위한 도면이다.
도면과 같이, 3차원 게임 실행부(100)를 통해 3차원 게임이 실행되어 3차원 게임에 따른 3차원 입체영상이 생성되면, 사용자는 한쪽 눈으로 사용자의 특정지점을 보면서 사용자에게 보여지는 3차원 입체영상을 터치한다.
이때, 공간좌표 산출부(513)에서는 사용자 특정지점의 3차원 공간좌표를 생성하고, 터치 위치 산출부(521)는 특정지점의 제 1 공간좌표 데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 제 2 공간좌표 데이터(X2, Y2, Z2)를 연결하는 직선이 입체좌표 데이터와 서로 만나는 접점 좌표 데이터를 산출한다.
이후 가상 터치 처리부(522)는 공간좌표 산출부(513)에서 생성되는 제 1 공간좌표가 터치 위치 산출부(521)에서 산출된 점점 좌표 데이터와 접점 또는 설정 거리 이하로 근접한 것으로 판단되면 사용자가 3차원 입체영상을 터치한 것으로 인식한다.
제 3 실시예
도 7 은 본 발명의 제 3 실시예에 따른 가상터치를 이용한 3차원 장치를 나타낸 블록 구성도이다.
도 7을 참조하면, 가상터치를 이용한 3차원 장치는 외부에서 입력되는 3차원 입체영상 데이터를 렌더링하고, 렌더링된 3차원 입체영상 데이터에 대해 3차원 입체영상을 생성하여 디스플레이부(400)에 제공하는 3차원 실행부(600)와, 사용자의 특정지점(손끝, 펜, 주먹, 손바닥, 얼굴, 입 등)의 3차원 공간좌표 데이터(이하 “공간좌표 데이터”로 칭함)와, 상기 디스플레이부(400)에서 제공되는 3차원 입체영상을 사용자에게 보여지는 관점(이하 “사용자 관점”이라 칭함)에서의 3차원 영상좌표 데이터(이하 “영상좌표 데이터”로 칭함)를 각각 생성하고, 생성된 공간좌표 데이터 및 영상좌표 데이터를 서로 비교하여 사용자의 특정지점이 3차원 입체영상에 접점 또는 근접함을 확인하여 3차원 입체영상의 터치를 인식하는 가상 터치부(700)로 구성된다.
이때, 상기 3차원 실행부(600)는 수신부(610), 렌더링 구동부(620), 실시간 양안 렌더링부(630), 입체영상 디코더부(640), 입체영상 표현부(650)를 포함한다.
상기 수신부(610)는 외부에서 입력되는 3차원 입체영상 데이터를 수신한다. 이때 외부 입력은 최근 공중파에서 제공하고 있는 것과 같이, 방송파에서 제공하고 있는 3차원 방송의 입력이거나, 인터넷 망 등을 통해 제공되는 3차원 데이터의 입력될 수도 있다. 또는 내외부 저장장치에 저장되어 있는 3차원 입체영상 데이터가 입력될 수도 있다.
상기 렌더링 구동부(620)는 상기 수신부(610)에서 수신된 3차원 입체영상 데이터를 렌더링하여 실행시킨다.
상기 실시간 양안 렌더링부(630)는 상기 렌더링되는 3차원 입체영상 데이터에 대해 디스플레이부(400)에 입체화면을 생성하기 위해 디스플레이부(400)와 사용자간의 거리 및 위치(주시각) 등을 고려하여 실시간으로 렌더링하여 양안에 해당하는 이미지를 생성한다.
상기 입체영상 디코팅부(640)는 상기 실시간 양안 렌더링부(630)에서 생성된 이미지에 대해 압축 및 복원하여 입체영상 표현부(650)에 제공한다.
상기 입체영상 표현부(650)는 상기 입체영상 디코딩부(640)에서 압축 및 복원된 이미지 데이터를 디스플레이부(400)의 디스플레이 방식에 적합한 3차원 입체영상으로 생성하여 디스플레이부(400)를 통해 디스플레이한다.
또한 상기 가상 터치부(700)는 제 1 실시예 및 제 2 실시예에서 설명하고 있는 구성 중 어느 하나로 이루어진다.
즉, 상기 가상 터치부(700)는 제 1 실시예에서 설명하고 있는 영상획득부(210), 공간좌표 산출부(220), 터치 위치 산출부(230) 및 가상 터치 산출부(240)를 포함하여 구성되며, 촬영된 영상의 광학 삼각법을 사용하여 상기 사용자의 특정지점의 공간좌표 데이터를 산출한다. 또는 상기 가상 터치부(700)는 제 2 실시예에서 설명하고 있는 사용자 신체의 3차원 좌표 데이터를 추출하는 3차원 좌표 산출장치(510) 및 제어부(520)를 포함하여 구성되어 상기 사용자의 특정지점의 공간좌표 데이터를 산출한다.
상기 가상 터치부(700)의 상세한 설명은 제 1 실시예 및 제 2 실시예에서 설명하고 있으므로 생략한다.
상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명에 따르면 사용자가 가상의 3차원 입체영상을 보다 정밀하게 다양한 조작을 손쉽게 수행할 수 있어, 가상터치를 이용한 3차원 게임에 있어 보다 사실적이고 현실감 있는 3차원 게임을 제공할 수 있어 산업상 이용가능성이 있다고 하겠다.

Claims (21)

  1. 게임 DB에 미리 저장되어 있는 3차원 입체 게임을 렌더링하고, 렌더링된 3차원 게임에 대해 3차원 입체영상을 생성하여 디스플레이부에 제공하는 3차원 게임 실행부와,
    사용자의 특정지점의 공간좌표 데이터 및 상기 디스플레이부에서 제공되는 3차원 입체영상을 사용자 관점에서의 영상좌표 데이터를 각각 생성하고, 생성된 공간좌표 데이터 및 영상좌표 데이터를 서로 비교하여 사용자의 특정지점이 3차원 입체영상에 접점 또는 근접함을 확인하여 3차원 입체영상의 터치를 인식하는 가상 터치부를 포함하여 구성되는 것을 특징으로 하는 가상 터치를 이용한 3차원 게임 장치.
  2. 제 1 항에 있어서,
    상기 사용자의 특정지점은 손끝, 주먹, 손바닥, 얼굴, 입, 머리, 발, 엉덩이, 어깨, 무릎을 포함하는 것을 특징으로 하는 가상 터치를 이용한 3차원 게임 장치.
  3. 제 1 항에 있어서, 상기 3차원 게임 실행부는
    게임 DB에 저장되어 있는 3차원 게임을 렌더링하여 실행시키는 렌더링 구동부와,
    상기 렌더링되는 3차원 게임에 대해 디스플레이부에 입체화면을 생성하기 위해 디스플레이부와 사용자간의 거리 및 위치(주시각) 등을 고려하여 실시간으로 렌더링하여 양안에 해당하는 이미지를 생성하는 실시간 양안 렌더링부와,
    상기 실시간 양안 렌더링부에서 생성된 이미지에 대해 압축 및 복원하는 입체영상 디코더부와,
    상기 입체영상 디코딩부에서 압축 및 복원된 이미지 데이터를 디스플레이부의 디스플레이 방식에 적합한 3차원 입체영상으로 생성하여 디스플레이부를 통해 디스플레이하는 입체영상 표현부를 포함하여 구성되는 것을 특징으로 하는 가상 터치를 이용한 3차원 게임 장치.
  4. 제 1 항에 있어서, 상기 가상 터치부는
    이미지 센서를 2 이상 포함하는 카메라 모듈로서, 디스플레이부 앞쪽의 영상을 검출하여 전기적인 이미지 신호로 변환하는 영상획득부와,
    상기 영상획득부로부터 수신한 영상을 이용하여 사용자 관점에서의 3차원 입체영상에 따른 영상좌표 데이터 및 사용자의 특정지점의 제 1, 2 공간좌표 데이터를 각각 생성하는 공간좌표 산출부와,
    상기 공간좌표 산출부로부터 수신한 사용자 특정지점의 제 1, 2 공간좌표를 연결하는 직선이 상기 영상좌표와 서로 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부와,
    상기 공간좌표 산출부에서 생성되는 제 1 공간좌표가 상기 터치 위치 산출부에서 산출된 점점 좌표 데이터와 접점 또는 근접하는지를 판단하여 접점 되거나 또는 미리 설정된 설정거리 이하에 근접하면 터치 인식을 수행하는 명령코드를 생성하여 3차원 입체영상 터치의 인식을 제공하는 가상 터치 산출부를 포함하는 것을 특징으로 하는 가상 터치를 이용한 3차원 게임 장치.
  5. 제 4 항에 있어서,
    상기 공간좌표 산출부는 촬영된 영상을 광학 삼각법을 사용하여 상기 사용자의 특정지점의 공간좌표 데이터를 산출하는 것을 특징으로 하는 가상 터치를 이용한 3차원 게임 장치.
  6. 제 5 항에 있어서,
    상기 산출되는 공간좌표 데이터는 사용자가 3차원 입체영상을 터치하기 위한 사용자의 움직임을 검출하기 위한 제 1 공간좌표 데이터와, 입체영상과 움직임에 따른 제 1 공간좌표 데이터 간의 기준점이 되는 제 2 공간좌표 데이터를 포함하는 것을 특징으로 하는 가상 터치를 이용한 3차원 게임 장치.
  7. 제 4 항에 있어서,
    상기 공간좌표 산출부는 디스플레이부와 사용자간의 거리 및 위치에 따라 미리 정의되어 저장된 사용자 관점의 영상좌표 데이터를 검색하여 검출하는 것을 특징으로 하는 가상 터치를 이용한 3차원 게임 장치.
  8. 제 4 항에 있어서,
    상기 제 2 공간좌표는 사용자의 어느 한쪽 눈의 중심점 좌표인 것을 특징으로 하는 가상 터치를 이용한 3차원 게임 장치.
  9. 제 1 항에 있어서, 상기 가상 터치부는
    광원과 산광기를 포함하고, 사용자의 특정지점에 스페클패턴을 투영하는 조명어셈블리와,
    이미지센서와 렌즈를 포함하고, 상기 조명어셈블리에 의해 투영된 사용자 상의 스페클 패턴을 캡처하는 영상획득부와,
    상기 영상획득부에서 획득된 영상으로부터 사용자 관점에서의 3차원 입체영상에 따른 영상좌표 데이터 및 사용자의 특정지점의 제 1, 2 공간좌표 데이터를 각각 생성하는 공간좌표 산출부와,
    상기 공간좌표 산출부로부터 수신한 사용자 특정지점의 제 1, 2 공간좌표를 연결하는 직선이 상기 영상좌표와 서로 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부와,
    상기 공간좌표 산출부에서 생성되는 제 1 공간좌표가 상기 터치 위치 산출부에서 산출된 점점 좌표 데이터와 접점 또는 근접하는지를 판단하여 접점 되거나 또는 미리 설정된 설정거리 이하에 근접하면 터치 인식을 수행하는 명령코드를 생성하여 3차원 입체영상 터치의 인식을 제공하는 가상 터치 산출부를 포함하는 것을 특징으로 하는 가상 터치를 이용한 3차원 게임 장치.
  10. 제 1 항에 있어서,
    상기 공간좌표 산출부는 시간지연측정법(time of flight)을 이용하여 상기 사용자의 특정지점의 공간좌표 데이터를 산출하는 것을 특징으로 하는 가상 터치를 이용한 3차원 게임 장치.
  11. 제 9 항 내지 제 10 항에 있어서,
    상기 산출되는 공간좌표 데이터는 사용자가 3차원 입체영상을 터치하기 위한 사용자의 움직임을 검출하기 위한 제 1 공간좌표 데이터와, 입체영상과 움직임에 따른 제 1 공간좌표 데이터 간의 기준점이 되는 제 2 공간좌표 데이터를 포함하는 것을 특징으로 하는 가상 터치를 이용한 3차원 게임 장치.
  12. 제 9 항에 있어서,
    상기 공간좌표 산출부는 디스플레이부와 사용자간의 거리 및 위치에 따라 미리 정의되어 저장된 사용자 관점의 영상좌표 데이터를 검색하여 검출하는 것을 특징으로 하는 가상 터치를 이용한 3차원 게임 장치.
  13. 제 9 항에 있어서,
    상기 영상획득부는 CCD 또는 CMOS 기반의 이미지 센서가 사용되는 것을 특징으로 하는 가상 터치를 이용한 3차원 게임 장치.
  14. 제 1 항에 있어서,
    상기 가상 터치부는 디스플레이부를 포함하는 전자기기 프레임 상단에 삽입되어 설치되거나, 또는 전자기기와 별도로 분리되어 설치되는 것을 특징으로 하는 가상 터치를 이용한 3차원 게임 장치.
  15. 외부에서 입력되는 3D 입체영상 데이터를 렌더링하고, 렌더링된 3차원 입체영상 데이터에 대해 3차원 입체영상을 생성하여 디스플레이부에 제공하는 3차원 실행부와,
    사용자의 특정지점의 공간좌표 데이터와, 상기 디스플레이부에서 제공되는 3차원 입체영상을 사용자 관점에서의 영상좌표 데이터를 각각 생성하고, 생성된 공간좌표 데이터 및 영상좌표 데이터를 서로 비교하여 사용자의 특정지점이 3차원 입체영상에 접점 또는 근접함을 확인하여 3차원 입체영상의 터치를 인식하는 가상 터치부를 포함하여 구성되는 것을 특징으로 하는 가상 터치를 이용한 3차원 장치.
  16. 제 15 항에 있어서, 상기 3차원 실행부는
    외부에서 입력되는 3차원 입체영상 데이터를 수신하는 수신부와,
    상기 수신부에서 수신된 3차원 입체영상 데이터를 렌더링하여 실행시키는 렌더링 구동부와,
    상기 렌더링되는 3차원 입체영상 데이터에 대해 디스플레이부에 입체화면을 생성하기 위해 디스플레이부와 사용자간의 거리 및 위치(주시각) 등을 고려하여 실시간으로 렌더링하여 양안에 해당하는 이미지를 생성하는 실시간 양안 렌더링부와,
    상기 실시간 양안 렌더링부에서 생성된 이미지에 대해 압축 및 복원하는 입체영상 디코더부와,
    상기 입체영상 디코딩부에서 압축 및 복원된 이미지 데이터를 디스플레이부의 디스플레이 방식에 적합한 3차원 입체영상으로 생성하여 디스플레이부를 통해 디스플레이하는 입체영상 표현부를 포함하여 구성되는 것을 특징으로 하는 가상 터치를 이용한 3차원 장치.
  17. 제 16 항에 있어서,
    상기 수신부의 외부 입력은 방송파에서 제공하고 있는 3차원 방송의 입력과, 인터넷 망을 통해서 제공되는 데이터 입력과, 내외부 저장장치에 저장되어 있는 데이터 입력을 포함하는 것을 특징으로 하는 가상 터치를 이용한 3차원 장치.
  18. 제 16 항에 있어서,
    상기 가상 터치부는 촬영된 영상의 광학 삼각법을 사용하여 상기 사용자의 특정지점의 공간좌표 데이터를 산출하는 것을 특징으로 하는 가상 터치를 이용한 3차원 장치.
  19. 제 18 항에 있어서,
    상기 가상 터치부는 청구항 4항에 기재된 구성을 포함하는 것을 특징으로 하는 가상 터치를 이용한 3차원 장치.
  20. 제 16 항에 있어서,
    상기 가상 터치부는 촬영된 영상의 시간지연측정법(time of flight)을 이용하여 상기 사용자의 특정지점의 공간좌표 데이터를 산출하는 것을 특징으로 하는 가상 터치를 이용한 3차원 장치.
  21. 제 20 항에 있어서,
    상기 가상 터치부는 청구항 9항에 기재된 구성을 포함하는 것을 특징으로 하는 가상 터치를 이용한 3차원 장치.
PCT/KR2012/004632 2011-06-15 2012-06-12 가상터치를 이용한 3차원 장치 및 3차원 게임 장치 WO2012173373A2 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/126,476 US20140200080A1 (en) 2011-06-15 2012-06-12 3d device and 3d game device using a virtual touch
CN201280038965.9A CN103732299B (zh) 2011-06-15 2012-06-12 利用虚拟触摸的三维装置及三维游戏装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110057719A KR101364133B1 (ko) 2011-06-15 2011-06-15 가상터치를 이용한 3차원 장치 및 3차원 게임 장치
KR10-2011-0057719 2011-06-15

Publications (2)

Publication Number Publication Date
WO2012173373A2 true WO2012173373A2 (ko) 2012-12-20
WO2012173373A3 WO2012173373A3 (ko) 2013-02-07

Family

ID=47357584

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/004632 WO2012173373A2 (ko) 2011-06-15 2012-06-12 가상터치를 이용한 3차원 장치 및 3차원 게임 장치

Country Status (4)

Country Link
US (1) US20140200080A1 (ko)
KR (1) KR101364133B1 (ko)
CN (1) CN103732299B (ko)
WO (1) WO2012173373A2 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD752048S1 (en) 2013-01-29 2016-03-22 Aquifi, Inc. Display device with cameras
USD753658S1 (en) 2013-01-29 2016-04-12 Aquifi, Inc. Display device with cameras
USD752585S1 (en) 2013-01-29 2016-03-29 Aquifi, Inc. Display device with cameras
USD753656S1 (en) 2013-01-29 2016-04-12 Aquifi, Inc. Display device with cameras
USD753657S1 (en) 2013-01-29 2016-04-12 Aquifi, Inc. Display device with cameras
USD753655S1 (en) 2013-01-29 2016-04-12 Aquifi, Inc Display device with cameras
KR20150044757A (ko) 2013-10-17 2015-04-27 삼성전자주식회사 플로팅 입력에 따라 동작을 제어하는 전자 장치 및 그 방법
KR102088966B1 (ko) * 2013-12-27 2020-03-13 주식회사 케이티 가상화 터치 포인팅 영역에 기반하여 컴퓨터화 전자 기기의 동작을 제어하는 터치 패널 운영 장치 및 터치 패널 운영 방법
JP2018528551A (ja) * 2015-06-10 2018-09-27 ブイタッチ・コーポレーション・リミテッド ユーザー基準空間座標系上におけるジェスチャー検出方法および装置
KR101938276B1 (ko) * 2016-11-25 2019-01-14 건국대학교 글로컬산학협력단 입체 영상 표시장치
US10636167B2 (en) * 2016-11-14 2020-04-28 Samsung Electronics Co., Ltd. Method and device for determining distance
WO2019039416A1 (ja) * 2017-08-24 2019-02-28 シャープ株式会社 表示装置及びプログラム
KR102463712B1 (ko) 2017-11-24 2022-11-08 현대자동차주식회사 가상 터치 인식 장치 및 그의 인식 오류 보정 방법
KR20210012603A (ko) 2019-07-26 2021-02-03 (주)투핸즈인터랙티브 대화형 매체 기반의 운동 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07230556A (ja) * 1994-02-17 1995-08-29 Hazama Gumi Ltd Ｃｇ立体視アニメーションの生成法
WO2003098554A1 (en) * 2002-05-21 2003-11-27 Konami Corporation Three dimensional image processing program, three dimensional image processing method, and video game device
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
KR20110037053A (ko) * 2009-10-05 2011-04-13 (주)휴비드씨엔에스 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
CN1977239A (zh) * 2004-06-29 2007-06-06 皇家飞利浦电子股份有限公司 3－d接触交互中的变焦
CN1912816A (zh) * 2005-08-08 2007-02-14 北京理工大学 一种基于摄像头的虚拟触摸屏系统
KR101019254B1 (ko) * 2008-12-24 2011-03-04 전자부품연구원 공간 투영 및 공간 터치 기능이 구비된 단말 장치 및 그 제어 방법
KR101651568B1 (ko) * 2009-10-27 2016-09-06 삼성전자주식회사 3차원 공간 인터페이스 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07230556A (ja) * 1994-02-17 1995-08-29 Hazama Gumi Ltd Ｃｇ立体視アニメーションの生成法
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
WO2003098554A1 (en) * 2002-05-21 2003-11-27 Konami Corporation Three dimensional image processing program, three dimensional image processing method, and video game device
KR20110037053A (ko) * 2009-10-05 2011-04-13 (주)휴비드씨엔에스 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법

Also Published As

Publication number Publication date
KR101364133B1 (ko) 2014-02-21
CN103732299A (zh) 2014-04-16
CN103732299B (zh) 2016-08-24
US20140200080A1 (en) 2014-07-17
KR20120138329A (ko) 2012-12-26
WO2012173373A3 (ko) 2013-02-07

Similar Documents

Publication Publication Date Title
WO2012173373A2 (ko) 가상터치를 이용한 3차원 장치 및 3차원 게임 장치
WO2012111976A2 (ko) 표시면에 포인터를 사용하지 않는 가상 터치 장치
WO2012111998A2 (ko) 포인터를 사용하지 않는 가상 터치 장치
CN110647237A (zh) 在人工现实环境中基于手势的内容共享
WO2013009040A2 (ko) 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
WO2012154001A2 (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
KR102147430B1 (ko) 가상 공간 멀티 터치 인터랙션 장치 및 방법
WO2013162236A1 (ko) 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
WO2013185714A1 (zh) 增强现实中识别对象的方法及系统和计算机
KR101441882B1 (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 디스플레이 표시면 둘레의 가상 평면을 사용하여 전자기기를 제어하는 방법
KR101518727B1 (ko) 입체 인터랙션 시스템 및 입체 인터랙션 방법
CN104536579A (zh) 交互式三维实景与数字图像高速融合处理系统及处理方法
WO2016107231A1 (zh) 一种3d场景中输入手势的系统和方法
WO2017204581A1 (ko) 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
US8555205B2 (en) System and method utilized for human and machine interface
WO2011152634A2 (ko) 모니터 기반 증강현실 시스템
WO2013089494A1 (ko) 가상 영상에 대한 촉감 제공 장치 및 방법
WO2016064073A1 (ko) 디스플레이와 카메라가 장착된 스마트 안경과 이를 이용한 공간 터치 입력 및 보정 방법
CN102647606A (zh) 立体影像处理器、立体影像互动系统及立体影像显示方法
WO2016169409A1 (en) A method and apparatus for displaying a virtual object in three-dimensional (3d) space
KR20160096392A (ko) 직관적인 상호작용 장치 및 방법
CN103176605A (zh) 一种手势识别控制装置及控制方法
JP2024050696A (ja) 情報処理装置、ユーザガイド提示方法、およびヘッドマウントディスプレイ
CN115129164A (zh) 基于虚拟现实的交互控制方法、系统及虚拟现实设备
KR20160090042A (ko) 3d hmd를 활용한 아케이드 게임시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12801055

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14126476

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 12801055

Country of ref document: EP

Kind code of ref document: A2