KR100812624B1 - 입체영상 기반 가상현실장치 - Google Patents

입체영상 기반 가상현실장치 Download PDF

Info

Publication number
KR100812624B1
KR100812624B1 KR1020060118009A KR20060118009A KR100812624B1 KR 100812624 B1 KR100812624 B1 KR 100812624B1 KR 1020060118009 A KR1020060118009 A KR 1020060118009A KR 20060118009 A KR20060118009 A KR 20060118009A KR 100812624 B1 KR100812624 B1 KR 100812624B1
Authority
KR
South Korea
Prior art keywords
marker
stereoscopic
virtual reality
stereoscopic image
control signal
Prior art date
Application number
KR1020060118009A
Other languages
English (en)
Other versions
KR20070090730A (ko
Inventor
장태정
Original Assignee
강원대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강원대학교산학협력단 filed Critical 강원대학교산학협력단
Priority to PCT/KR2007/000994 priority Critical patent/WO2007100204A1/en
Publication of KR20070090730A publication Critical patent/KR20070090730A/ko
Application granted granted Critical
Publication of KR100812624B1 publication Critical patent/KR100812624B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1037—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/40—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images giving the observer of a single two-dimensional [2D] image a perception of depth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033—Indexing scheme relating to G06F3/033
    • G06F2203/0331—Finger worn pointing device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays

Abstract

본 발명은 사용자가 실제로 감각을 느낄 수 있는 진동촉각장치를 활용한 가상현실장치에 관한 것으로서, 물체에 대한 터치 판단 제어신호에 따라 입체화면 디스플레이를 변경 생성하는 입체화면 제시부; 디스플레이 물체에 대한 인터랙션의 위치를 나타내기 위한 마커; 마커의 위치를 검출하기 위한 카메라; 디스플레이 물체의 입체적 위치정보 및 마커의 입체적 위치정보를 제공받아 그로부터 마커가 물체를 터치 여부를 판단하여 만일 터치로 판단되는 경우 그에 따른 제어신호를 발생시키는 제어부; 및 제어부로부터 제공된 터치 판단 제어신호에 의해 구동되는 진동촉각장치;를 포함하여 구성된다. 본 발명에 의하게 되면 사용자가 실제로 자신의 행위에 대한 촉각 등의 감각을 느낄 수 있는 가상현실장치를 제공할 수 있다.
입체영상, 가상현실, 진동촉각장치, 카메라, 위치 및 방향 센서

Description

입체영상 기반 가상현실장치{Stereovision-Based Virtual Reality Device}
도 1은 본 발명의 일 실시예에 의한 입체영상 기반 가상현실장치에 의해 가상 실감 비누방울 터뜨리기 게임을 실행하는 예를 보인 실시도이다.
도 2는 본 발명의 일 실시예에 의한 입체영상 기반 가상현실장치에서 무선통신을 이용한 진동촉각장치 및 마커를 보인 장치도이다.
도 3은 본 발명의 다른 실시예에 의한 입체영상 기반 가상현실장치에서 무선통신을 이용한 진동촉각장치, 마커 및 통신/구동회로부를 손가락에 설치한 예를 보인 장치도이다.
삭제
도 5는 본 발명의 또다른 실시예에 의한 입체영상 기반 가상현실장치에서 HMD 장치를 사용하여 가상 실감 비누방울 터뜨리기 게임을 실행하는 예를 보인 실시도이다.
도 6은 본 발명의 또다른 실시예에 의한 입체영상 기반 가상현실장치에서 위치 및 방향 센서를 설치한 예를 보인 실시도이다.
도 7은 도 1에서와 같이 고정 디스플레이 장치를 사용했을 경우 눈(머리) 위치 이동시의 디스플레이 예를 보인 개념도이다.
도 8은 도 5에서와 같이 HMD 장치를 사용했을 경우 눈(머리) 위치 이동시의 디스플레이 예를 보인 개념도이다.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
본 발명은 입체영상기술을 이용하여 사용자가 실제로 감각을 느낄 수 있는 진동촉각장치를 활용한 가상현실 장치에 관한 것이다.
기존의 키보드나 터치패드, 마우스, 조이스틱, 데이터 글러브 등은 단순한 입력 장치일 뿐이어서 컴퓨터로부터의 정보를 사람에게 전달해줄 수는 없다. 이 중에서도 마우스나 조이스틱은 2차원 입력 장치이며 데이터 글러브나 3차원 공간 마 우스와 같은 3차원 입력 장치의 경우도 일반 모니터를 사용할 때 평면에 투영된 형태로 표현된 3차원 가상 공간 상에서는 깊이감을 느끼기가 어려워 현실감이 떨어지는 단점이 있었다.
만약 3차원 입력 장치를 입체 영상 디스플레이와 함께 사용한다면 입체 영상의 현실감으로 인해 보다 수월하고 정확하게 3차원 입력을 할 수 있을 것이다.
그러나 입체 영상 디스플레이를 갖추고 있다고 하더라도 입체 영상으로 표현된 가상 물체에 손가락 끝을 가까이 했을 때 실 공간에서의 손가락 끝의 위치와 가상 공간에서의 손가락 끝에 해당하는 점의 위치가 일치하지 않으면 자신의 손가락으로 직접 가상 공간 상의 원하는 점을 지적(pointing)할 수 없게 되고, 따라서 가상 공간을 보다 실제 공간과 같이 느껴지게 하기 위해서는 사용자가 눈을 통해 입체 영상으로 보는 가상 공간과 사용자가 실제 존재하는 공간을 완벽하게 일치시키는 작업이 필요하다. 이를 위해서는 사용자의 이동에 의한 눈의 위치 변화까지 고려하여 실 공간과 가상 공간의 좌표계를 서로 일치시켜줄 필요가 있다.
대한민국 공개특허공보 2001-86807(발명의 명칭 : 가상현실을 이용한 사격게임 시스템 및 그 방법)에 상기와 같은 문제점을 해소하기 위해 출원된 발명 등이 있었으나, 상기 발명은 스크린에 나타난 표적을 향해 실제 사격과 마찬가지로 모의 총기로 사격을 실시하면 총기에서 발사된 탄환이 스크린에 명중되며 이를 특수 장치를 장착한 스크린을 통해 명중된 좌표를 획득하고 분석하여 실탄 사격과 동일한 원리로 게임을 진행할 수 있도록 구성되는 것이었다.
그러나 상기와 같은 발명에 의할 때, 사용자는 가상현실세계에서의 입체적 물체를 감각기관을 통해 포인팅하면 가상공간상의 물체가 변화를 일으키고 그에 따른 촉각 등의 감각이 유무선통신을 통해 전달되는 것과 달리 2차원 정보를 이용하여 게임을 하는 것이어서 실제동작모션이 게임에 반영되지 못하여 사실적인 느낌이 들기에는 여전히 부족할 수 밖에 없는 문제점이 있었다.
이에 본 발명은 상기와 같은 종래의 제반 문제점을 해결하기 위해 제안된 것으로, 본 발명의 목적은 입체영상 기술을 이용하여 진동촉각장치를 활용하여 현실감 있는 입체영상 기반 가상현실장치를 제공하는데 있다.
이하, 상기와 같은 본 발명, 입체영상 기반 가상현실장치의 기술적 사상에 따른 일실시예를 도면을 참조하여 설명하면 다음과 같다.
삭제
삭제
삭제
삭제
삭제
본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되면 이를 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 것으로, 사용자의 의도 또는 판례 등에 따라 달라질 수 있으며, 이에 따라 각 용어의 의미는 본 명세서 전반에 걸친 내용을 토대로 해석되어야 할 것이다.
먼저 본 발명은 입체영상 기술을 이용하여 진동촉각장치를 활용하여 현실감 있는 입체영상 기반 가상현실장치를 제공하고자 한 것이다.
도 1은 본 발명의 일 실시예에 따른 가상 실감 비누방울 터뜨리기 게임의 실시도를 나타낸다.
입체화면 제시부(110)는 3차원 입체영상을 제공하는 것으로서, 특정 디스플레이 대상 물체를 3차원 입체영상으로 사용자에게 제공한다. 이 때, 위 디스플레이 대상 물체에 대한 입체적 위치 정보는 제어부(150) 등에서 보유하고 있는 것으로 가정되며, 입체화면 제시부(110)는 모니터(111)의 크기, 사용자 눈의 위치 및 방향 등을 고려하여 위 입체적 위치 정보에 따라 디스플레이 물체를 3차원 입체영상으로 사용자에게 제시한다.
한편, 3차원 입체영상이란 2차원 평면 영상과 달리 깊이 및 공간 형상 정보를 동시에 제공하는 보다 사실적인 영상을 말한다. 3차원 입체영상은 평면에 입체감을 나타내는 요인들과 양안시차(Binocular Disparity) 효과를 더하여 2차원 평면상에 3차원 입체영상을 만드는 것이다. 양안시차는 사람의 두 눈이 가로로 평균 약 6.5cm 떨어져서 존재하기 때문에 나타나며 입체감의 중요한 요인이라 할 수 있다. 즉 한 사물에 대하여 두 눈은 좌ㆍ우측 각각이 서로 다른 2차원 영상을 보게 되고, 두 영상은 뇌로 전달되어 합성 과정을 통해 원 사물의 깊이감과 실제감을 느끼는 3차원 입체영상으로 인식하게 된다. 이러한 3차원 입체영상은 현장에서 실물을 보는 것과 같은 사실감 및 가상 현실감 등을 제공하게 된다.
통상 3차원 입체 영상 디스플레이 방식은 안경방식과 무안경 방식이 있다. 안경 방식과 무안경 방식 둘 다 구현은 가능하지만 무안경 방식의 경우 특수한 안경을 착용하지 않고 맨눈으로도 입체 영상을 볼 수 있다는 장점이 있지만 이런 방식의 디스플레이에서는 눈의 위치를 이동할 수 있는 범위가 매우 좁아 사용자가 게임을 하면서 몸을 움직일 때 그 범위를 벗어나 입체 영상이 사라지거나 반전되는 등 왜곡될 수 있다는 단점이 있다.
도 1은 입체화면 제시부(110)가 안경방식으로 구현된 경우를 도시하는 것으로, 구체적으로는 모니터(111)와 입체안경(112)을 포함하여 구성된다. 안경 방식은 눈의 위치에 따라 영상이 반전되는 경우가 없을 뿐만 아니라 제 2 마커를 안경에 부착하여 좀 더 효과적으로 사용할 수 있으며, 제 2 마커를 이용하면 눈의 위치 및 시선 방향을 바꾸더라도 가상 물체가 공간 상의 절대적 위치에 존재하는 것처럼 표현할 수 있다는 장점이 있다.
제 2 마커는 1개로도 설치가 가능한데, 예컨대 네모난 형태의 마커를 충분한 크기로 설치한다면 1개로도 시선 방향이나 기울어짐을 체크할 수 있으며, 또는 복수 개를 사용하는 경우로 마커를 양쪽에 설치하여 이들의 상대적인 위치로부터 사용자의 시선이나 기울어짐을 체크할 수 있다.
안경 방식으로는 많은 것들이 있지만 이 중 셔터 글래스(shutter glass) 방식은 모니터(111)에서 좌 영상 프레임을 보여 줄 때 셔터 글래스에서는 오른쪽 눈을 가려 주고 우 영상 프레임을 보여 줄 때는 왼쪽 눈을 가려주는 방식으로 각 눈 에 대해 독립적인 영상을 볼 수 있게 한다.
눈의 피로를 감소시키려면 주파수 120Hz 이상의 모니터 등 디스플레이 장치를 사용하는 것이 바람직하며 120Hz인 경우 이를 반으로 나누어 각각 60Hz 씩 좌안과 우안에 번갈아 보여주는 것이 가능하다. 화면과 셔터 글래스 사이의 동기를 위해서는 그래픽 카드에서 신호를 받은 이미터(emitter)에서 적외선 신호를 내준다.
입체화면 제시부(110)는 헤드마운트표시장치(HMD)로도 가능하다. 헤드마운트표시장치는 모니터(111)와 입체안경(112)을 한데 엮어 놓은 것과 같은 기능을 하는 것으로서 머리에 쓰는 디스플레이를 말하는 것이다. 이는 사용자가 영화를 보는 것처럼 우리의 시야를 HMD로 막아줌으로써 게임에 몰입을 하는데 더욱 더 큰 효과가 있다.
또한 HMD의 경우 사용자가 머리를 움직이는 방향으로 사실상 화면이 따라다니는 것과 마찬가지이므로 머리의 위치와 방향을 추적하면 모니터와 같은 시야의 제한이 없이 전 방향의 디스플레이를 구현할 수 있다.
카메라(130)는 마커(120)의 위치와 방향을 감지하는 도구로서 3차원 공간 상의 위치 추적을 위한 것이며 마커의 위치와 방향을 감지하는 방법으로는 적외선 센서에 의한 방법, 초음파 센서에 의한 방법, 영상 센서에 의한 방법, 매그네틱 센서에 의한 방법 등이 사용될 수 있다. 적외선 센서, 초음파 센서의 경우 한 개의 센서로 한 방향에 대한 센싱만 되기 때문에 동시에 여러 방향의 정보가 필요할 경우 많은 수의 센서를 필요로 한다.
카메라(130)를 이용하는 경우, 물체의 입체적 위치를 판단하기 위해서 뿐만 아니라 사용자 신체의 일부분에 의해 일시적으로 가려지는 경우를 대비하더라도 복수개의 카메라(130)를 필요로 한다. 다만, 원근을 측정할 목적이라면 마커(120)의 상대적인 크기를 측정하여 원근을 판단할 수 있으므로, 이 경우에는 한 대를 사용하더라도 동작이 가능하다.
도 2는 본 발명의 일 실시예에 따른 무선통신을 이용한 진동촉각장치 및 마커의 장치도를 나타내며, 도 3은 본 발명의 다른 실시예에 따른 무선통신을 이용한 진동촉각장치, 마커 및 통신/구동회로부의 손가락에의 장치 상세도를 나타낸다.
도시된 바와 같이 마커(marker)(120)는 입체물체인 비누방울을 가리키기 위한 도구이며 촉각구동장치와 함께 게임의 내용에 따라 손가락, 손등, 팔, 발 등 여러 신체부위에 설치될 수 있다. 설치되는 마커 또한 각 신체부위 별로 다른 형태로 지정하여 사용할 수 있는데, 이를 통해 응용 프로그램에서 각 신체부위의 위치를 개별적으로 판단할 수 있다.
그리고 사용자의 입체적 시각을 구성하기 위해 입체안경(112)에 제 2 마커를 구비하여 사용할 수도 있다.
제 2 마커의 위치를 통해 사용자의 시선 또는 위치를 측정하고 이를 디스플 레이에 반영 및 변경함으로써 입체공간에서 디스플레이 대상 물건이 특정의 절대적 공간에 존재하는 것처럼 입체 디스플레이를 제공할 수 있다. 다시 말하면 사용자의 위치를 제 2 마커로 감지하여 사용자의 얼굴위치나 방향전환에 따라 입체디스플레이를 변경함으로써 구현이 가능한 것을 말한다.
예를 들면, 입체화면의 컨텐츠가 사용자를 향해 날아오는 축구공인 경우, 종래기술에 따른 입체화면의 경우라면 사용자가 이를 피하기 위해 얼굴을 돌리거나 얼굴위치를 바꾸어도 여전히 축구공은 사용자를 향해 날아오는 것처럼 디스플레이되나, 제 2 마커를 활용한다면 사용자의 시선 또는 위치를 측정하여 그 정보를 축구공의 디스플레이 화면에 반영함으로써, 사용자의 입체안경에 장착된 제 2 마커가 이동/변경시 제 2 마커의 이동/변경 방향의 반대 방향으로 축구공이 향하도록 디스플레이가 구현될 수 있다.
진동촉각장치(140)는 제어부(150)에서 손가락에 설치된 마커(120)가 입체물을 터치한 것으로 판단될 때, 사용자에게 비누방울(114)을 터뜨린 것과 같은 효과를 주기위한 장치로서 진동촉각장치(140) 또한 신체의 한 부위당 1개 혹은 여러 개 장착될 수 있고, 제공되는 가상현실장치의 내용에 따라 손가락, 손등, 팔, 발 등 여러 신체 부위에 설치될 수 있다. 주로 마커(120)가 장착되는 곳에 장착되어 실제로 가상현실장치를 사용하는데 있어서의 효과를 높일 수 있을 것이다. 다만, 응용 프로그램의 성질에 따라서는 진동촉각장치(140)와 마커(120)가 서로 장착위치가 달라져야 하는 경우도 있는데, 예컨대 칼을 사용하여 물건을 베는 경우라면 마 커(120)는 칼에 장착되고 진동촉각장치(140)는 손에 장착된다.
진동촉각장치(140)는 전기 자극 촉각(electrotactile), 진동 자극 촉각(vibrotactile), 공기압 자극 촉각(pneumatic tactile) 장치 등이 있다. 가상 비누방울(114)을 터뜨리는 게임의 경우 게임의 속성상 촉감을 전달해주는 곳으로는 실제로 비누방울(114)을 터뜨리는 검지손가락 끝이 가장 적당한데, 손가락 끝 면적의 한계로 소수개의 진동촉각 모듈(141)만을 사용할 수 있으며 바람직하게는 1-6개 정도의 진동촉각모듈(141)을 사용하여 진동을 생성하도록 할 수 있다.
제어부(150)는 진동촉각장치(140)의 진동촉각모듈(141)을 진동시키기 위해서 이를 컨트롤 해주는 장치이다. 제어부(150)는 바람직하게는 복수개의 모듈(141)을 독립적으로 구동할 수 있어야 하고, PC 등의 단말과 유ㆍ무선 통신이 가능토록 한다. 사용자의 신체부위에 통신/구동회로부(151)를 설치하여 제어부(150)로부터의 신호가 비누방울(114)을 터뜨린 것으로 인식될 경우 진동촉각장치(140)를 구동할 수 있도록 한다.
통신/구동회로부(151)는 제어부(150)와의 통신을 위해 무선통신의 방법 및 유선통신의 방법이 모두 적용 가능하다.
유선으로 연결시에는 무선통신회로는 필요없고, 구동회로부(151) 또한 제어부(150) 내에 포함하여 설치될 수 있다.
무선으로 연결시에는 구동회로부(151)는 마커(120)와 진동촉각장치(140)와 연결되되 구동회로부(151)의 위치를 손등에 결합하는 형태로 구성할 수 있을 뿐만 아니라, 마커(120) 및 진동촉각장치(140)와 연결되는 통신/구동회로부(141)를 길이조정이 가능한 배선을 사용하거나 여유있는 길이의 배선통로를 구비하고 배터리 등을 내장하여 손에 파지하는 형태로도 설치할 수 있다.
촉감의 구체적인 제시 방법은 가상비누방울(114)이 터지는 느낌을 사실적으로 전달해야 하는 관계로 여러 주파수의 신호로 진동촉각장치(140)를 진동시켜 손가락 끝으로 느낌을 비교해 봄으로써 실제 비누방울을 터뜨리는 것과 가장 유사하게 느껴지는 주파수를 선택할 수 있다.
또한 제어부(150)에서는 상황에 따라 가상물체와의 접촉의 형태 등에 따라 진동촉각장치(140)의 신호의 파형, 주파수 진폭 등을 달리하여 서로 다른 형태의 촉각 느낌을 표현하도록 할 수도 있다.
상기와 같은 게임시 가상비누방울(114)이 터질 때마다 터지는 소리 등에 대한 음향효과를 부여할 수 있으며 터지는 가상비누방울(114)의 크기나 위치에 따라 음향의 크기와 종류를 달리하여 더욱 실감나는 진동촉각장치(140)를 구현할 수도 있다.
도 5는 본 발명의 또다른 실시예에 의한 입체영상 기반 가상현실장치에서 HMD 장치를 사용하여 가상 실감 비누방울 터뜨리기 게임을 실행하는 예를 보인 실시도로서, 앞서 설명한 도 1 내지 도 3에 의해 고정 디스플레이 장치를 사용하여 가상 실감 비누방울 터뜨리기 게임을 실행하는 실시예와는 다소 구성상 차이가 있다.
삭제
그래서 HMD(160)를 사용하는 경우 눈(머리)의 위치 및 방향센싱을 수행함으로써 사용자는 자신 주위의 상하, 좌우 및 위, 아래, 뒤쪽 등 모든 방향을 원하는 대로 볼 수 있게 된다.
이는 도 1에서와 같은 고정 디스플레이를 사용하는 경우와는 달리, HMD(160)를 사용하여 센싱되는 눈(머리)의 위치 및 방향에 따라 가상 디스플레이 화면을 변경시켜주면 사방에 대한 위치 이동 및 방향 이동이 가능해진다.
도 6은 본 발명의 또다른 실시예에 의한 입체영상 기반 가상현실장치에서 위치 및 방향 센서를 설치한 예를 보인 실시도이다.
그래서 마커(120) 없이 위치 및 방향센서(121)에 의해 사용자의 손가락 자체 또는 입체안경(112) 자체를 인식하여 위치 및 방향을 결정할 수 있게 된다.
도 7은 도 1에서와 같이 고정 디스플레이 장치를 사용했을 경우 눈(머리) 위치 이동시의 디스플레이 예를 보인 개념도이고, 도 8은 도 5에서와 같이 HMD 장치를 사용했을 경우 눈(머리) 위치 이동시의 디스플레이 예를 보인 개념도이다.
그래서 HMD(160)를 사용한 경우에는 위치 및 방향센서(121)에 따라 표시되는 가상 화면이 사용자의 눈(머리 혹은 HMD)과 일정한 위치 관계를 가지고 따라다니며 이동할 수 있게 된다.
이처럼 본 발명은 입체영상 기술을 이용하여 진동촉각장치를 활용하여 현실감 있는 입체영상 기반 가상현실장치를 제공하게 되는 것이다.
이상에서 살펴본 바와 같이, 본 발명에 의한 입체영상 기반 가상현실장치는 사용자가 입체로 구현된 가상물체를 사용자가 만질 때 즉, 사용자의 손가락 등의 신체부위와 가상 물체의 접촉점을 일치시키면 진동촉각장치로 촉감을 부여하여 실제로 자신이 감각을 느낄 수 있어 실감나는 가상현실장치를 제공할 수 있다.
이러한 개념은 가상현실 게임뿐만 아니라 가상현실 기술을 이용하는 여러 가지 장치 즉 가상터치스크린, 가상체험관 및 가상현실 기술을 이용한 훈련장치 등에도 이용이 가능하다.
이상에서 본 발명의 바람직한 실시예에 한정하여 설명하였으나, 본 발명은 이에 한정되지 않고 다양한 변화와 변경 및 균등물을 사용할 수 있다. 따라서 본 발명은 이들 실시예를 적절히 변형하여 응용할 수 있고, 이러한 응용도 하기 특허청구범위에 기재된 기술적 사상을 바탕으로 하는 한 본 발명의 권리범위에 속하게 됨은 당연하다 할 것이다.

Claims (9)

  1. 물체에 대한 입체화면 디스플레이를 제공하고 상기 물체에 대한 터치 판단 제어신호에 따라 입체화면 디스플레이를 변경 생성하는 입체화면 제시부;
    상기 디스플레이된 물체에 대한 인터랙션의 위치를 나타내는 마커;
    상기 마커의 입체적 위치를 검출하는 하나 이상의 카메라;
    상기 디스플레이된 물체의 입체적 위치정보 및 상기 검출된 마커의 입체적 위치정보를 제공받아 그로부터 상기 마커가 상기 물체를 터치 여부를 판단하고, 만일 터치하는 것으로 판단되는 경우 그에 따른 터치 판단 제어신호를 발생시키는 제어부; 및
    사용자의 신체 부위에 설치된 무선통신/구동회로부를 구비하여 상기 제어부로부터 무선통신으로 수신한 터치 판단 제어신호에 따라 상기 무선통신/구동회로부가 구동되어 상기 물체에 대한 터치에 따른 느낌을 상기 설치된 사용자 신체 부위에 제공하는 진동촉각장치;
    를 포함하여 구성되는 입체영상 기반 가상현실 장치.
  2. 제 1 항에 있어서,
    상기 입체화면 제시부는 모니터와 입체안경을 포함하여 구성되는 것을 특징으로 하는 입체영상 기반 가상현실 장치.
  3. 제 1 항에 있어서,
    상기 입체화면 제시부는 헤드마운트표시장치(HMD)를 포함하여 구성되는 것을 특징으로 하는 입체영상 기반 가상현실장치.
  4. 제 2 항 또는 제 3 항에 있어서,
    상기 입체영상 기반 가상현실 장치는 사용자의 머리의 위치 및 방향을 포인팅하는 제 2 마커를 더 포함하고,
    상기 카메라는 상기 제 2 마커의 움직임을 더 감지하며,
    상기 입체화면 제시부는 상기 카메라에 의한 상기 제 2 마커의 움직임 감지결과에 따라 입체화면을 적응적으로 변경 제시하는 것을 특징으로 하는 입체영상 기반 가상현실 장치.
  5. 삭제
  6. 물체에 대한 입체화면 디스플레이를 제공하고 상기 물체에 대한 터치 판단 제어신호에 따라 입체화면 디스플레이를 변경 생성하는 입체화면 제시부;
    상기 디스플레이된 물체에 대한 인터랙션의 위치를 나타내는 마커;
    상기 마커의 입체적 위치를 검출하는 하나 이상의 카메라;
    상기 디스플레이된 물체의 입체적 위치정보 및 상기 검출된 마커의 입체적 위치정보를 제공받아 그로부터 상기 마커가 상기 물체를 터치 여부를 판단하여 만일 터치하는 것으로 판단되는 경우 그에 따른 터치 판단 제어신호를 발생시키고, 상기 마커에 장착된 위치 및 방향센서와 HMD에 장착된 위치 및 방향센서에 대한 제어를 수행하는 마커제어부를 구비한 제어부;
    상기 제어부로부터의 터치 판단 제어신호에 의해 구동되는 진동촉각장치; 및
    사용자의 머리에 장착되어 머리의 위치 및 방향을 감지하여 상기 마커 제어부를 통해 상기 제어부로 전송하여, 머리의 위치 및 방향에 따라 상기 입체화면 제시부의 디스플레이 화면이 변경 제시되도록 하는 HMD;
    를 포함하여 구성되는 입체영상 기반 가상현실장치.
  7. 삭제
  8. 물체에 대한 입체화면 디스플레이를 제공하고 상기 물체에 대한 터치 판단 제어신호에 따라 입체화면 디스플레이를 변경 생성하는 입체화면 제시부;
    상기 디스플레이된 물체에 대한 인터랙션의 위치를 나타내는 제 1 마커;
    사용자의 머리의 위치 및 방향을 포인팅하는 제 2 마커;
    상기 제 1 마커의 입체적 위치를 검출하고 상기 제 2 마커의 움직임을 감지하는 하나 이상의 카메라;
    상기 디스플레이된 물체의 입체적 위치정보 및 상기 검출된 제 1 마커의 입체적 위치정보를 제공받아 그로부터 상기 제 1 마커가 상기 물체를 터치 여부를 판단하여 만일 터치하는 것으로 판단되는 경우 그에 따른 터치 판단 제어신호를 발생시키는 제어부; 및
    상기 제어부로부터의 터치 판단 제어신호에 의해 구동되는 진동촉각장치;
    를 포함하여 구성되고,
    상기 입체화면 제시부는 상기 카메라에 의한 제 2 마커의 움직임 감지 결과에 따라 입체화면을 적응적으로 변경 제시하는 것을 특징으로 하는 입체영상 기반 가상현실 장치.
  9. 제 8 항에 있어서,
    상기 입체화면 제시부는 모니터와 입체안경을 포함하여 구성되는 것을 특징으로 하는 입체영상 기반 가상현실 장치.
KR1020060118009A 2006-03-02 2006-11-28 입체영상 기반 가상현실장치 KR100812624B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2007/000994 WO2007100204A1 (en) 2006-03-02 2007-02-27 Stereovision-based virtual reality device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20060020091 2006-03-02
KR1020060020091 2006-03-02

Publications (2)

Publication Number Publication Date
KR20070090730A KR20070090730A (ko) 2007-09-06
KR100812624B1 true KR100812624B1 (ko) 2008-03-13

Family

ID=38689071

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060118009A KR100812624B1 (ko) 2006-03-02 2006-11-28 입체영상 기반 가상현실장치

Country Status (2)

Country Link
KR (1) KR100812624B1 (ko)
WO (1) WO2007100204A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101156728B1 (ko) 2010-03-23 2012-06-14 강원대학교산학협력단 버블 포핑 장치 및 방법
KR20190058169A (ko) 2017-11-21 2019-05-29 대한민국(국립재활원장) 가상 현실 기반 치료 시스템 및 방법
KR20200137584A (ko) 2019-05-31 2020-12-09 고려대학교 세종산학협력단 기능적 뇌 영상 연구를 위한 고해상도 자기공명영상장치 호환 3차원 가상현실장치

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4989383B2 (ja) * 2007-09-10 2012-08-01 キヤノン株式会社 情報処理装置、情報処理方法
KR100934614B1 (ko) * 2008-01-30 2009-12-31 서경대학교 산학협력단 혼합현실 기반 기계적 훈련 제어 시스템
US20100315414A1 (en) * 2008-05-09 2010-12-16 Mbda Uk Limited Display of 3-dimensional objects
KR100944027B1 (ko) * 2008-06-16 2010-02-24 전남대학교산학협력단 테이블 탑 구조의 증강현실 제공 시스템
KR100974900B1 (ko) 2008-11-04 2010-08-09 한국전자통신연구원 동적 임계값을 이용한 마커 인식 장치 및 방법
US20100128112A1 (en) * 2008-11-26 2010-05-27 Samsung Electronics Co., Ltd Immersive display system for interacting with three-dimensional content
KR101651568B1 (ko) * 2009-10-27 2016-09-06 삼성전자주식회사 3차원 공간 인터페이스 장치 및 방법
US20110115751A1 (en) * 2009-11-19 2011-05-19 Sony Ericsson Mobile Communications Ab Hand-held input device, system comprising the input device and an electronic device and method for controlling the same
US8540571B2 (en) * 2010-03-31 2013-09-24 Immersion Corporation System and method for providing haptic stimulus based on position
EP2469743B1 (en) 2010-12-23 2019-02-20 Nagravision S.A. A system to identify a user of television services by using biometrics
JP2015511834A (ja) 2012-02-06 2015-04-23 ホットヘッド ゲームズ インコーポレイテッド 仮想競争グループ管理システム及び方法
WO2013116926A1 (en) * 2012-02-06 2013-08-15 Hothead Games, Inc. Virtual opening of boxes and packs of cards
WO2013154217A1 (en) * 2012-04-13 2013-10-17 Lg Electronics Inc. Electronic device and method of controlling the same
KR101958778B1 (ko) * 2012-08-31 2019-03-15 엘지전자 주식회사 헤드 마운트 디스플레이 및 이를 이용한 디지털 디바이스 제어 방법
KR101367412B1 (ko) * 2013-06-18 2014-02-24 우석 계 가상공간에서의 물리적 효과 제어 장치 및 그 방법
KR102210633B1 (ko) * 2014-07-09 2021-02-02 엘지전자 주식회사 가상 오브젝트의 뎁스와 연계된 인정범위를 가진 디스플레이 디바이스 및 그 제어 방법
KR102358548B1 (ko) 2014-10-15 2022-02-04 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치
US9919213B2 (en) 2016-05-03 2018-03-20 Hothead Games Inc. Zoom controls for virtual environment user interfaces
US10004991B2 (en) 2016-06-28 2018-06-26 Hothead Games Inc. Systems and methods for customized camera views in virtualized environments
US10010791B2 (en) 2016-06-28 2018-07-03 Hothead Games Inc. Systems and methods for customized camera views and customizable objects in virtualized environments
KR102055627B1 (ko) * 2018-03-07 2019-12-13 케이애드에스엔씨 주식회사 전시관 증강현실 안내시스템
CN116301385A (zh) 2018-07-30 2023-06-23 宏达国际电子股份有限公司 校正方法
KR102268293B1 (ko) * 2019-10-28 2021-06-23 방신웅 자성체를 이용한 감각 제공장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000250689A (ja) * 1999-03-03 2000-09-14 Minolta Co Ltd 仮想物体呈示システム
JP2003330582A (ja) * 2002-05-14 2003-11-21 Univ Waseda 視覚及び触覚を利用した感覚呈示装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010095900A (ko) * 2000-04-12 2001-11-07 박명수 3차원 모션캡쳐 분석시스템 및 그 방법
KR20030029684A (ko) * 2001-10-08 2003-04-16 학교법인 한양학원 실제 모션에 기반한 가상현실에서의 회전값 적용방법
KR100868336B1 (ko) * 2002-04-26 2008-11-12 강원대학교산학협력단 진동촉각 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000250689A (ja) * 1999-03-03 2000-09-14 Minolta Co Ltd 仮想物体呈示システム
JP2003330582A (ja) * 2002-05-14 2003-11-21 Univ Waseda 視覚及び触覚を利用した感覚呈示装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101156728B1 (ko) 2010-03-23 2012-06-14 강원대학교산학협력단 버블 포핑 장치 및 방법
KR20190058169A (ko) 2017-11-21 2019-05-29 대한민국(국립재활원장) 가상 현실 기반 치료 시스템 및 방법
KR20200137584A (ko) 2019-05-31 2020-12-09 고려대학교 세종산학협력단 기능적 뇌 영상 연구를 위한 고해상도 자기공명영상장치 호환 3차원 가상현실장치

Also Published As

Publication number Publication date
WO2007100204A1 (en) 2007-09-07
KR20070090730A (ko) 2007-09-06

Similar Documents

Publication Publication Date Title
KR100812624B1 (ko) 입체영상 기반 가상현실장치
JP6644035B2 (ja) 手袋インタフェースオブジェクト及び方法
EP3631567B1 (en) Eye tracking calibration techniques
US10275025B2 (en) Gloves that include haptic feedback for use with HMD systems
Lee Hacking the nintendo wii remote
US8866739B2 (en) Display device, image display system, and image display method
EP2945044B1 (en) Systems and methods for providing haptic feedback for remote interactions
EP3364272A1 (en) Automatic localized haptics generation system
US10317997B2 (en) Selection of optimally positioned sensors in a glove interface object
KR101914423B1 (ko) 위치에 기초한 촉각 자극을 제공하는 시스템 및 방법
US8947387B2 (en) System and method for identifying users and selecting a haptic response
US20170150108A1 (en) Autostereoscopic Virtual Reality Platform
US20070008339A1 (en) Image processing system, image processing apparatus, and display apparatus
JP2017058971A (ja) プログラムおよび画像生成装置
WO2007067970A2 (en) Three-dimensional virtual-touch human-machine interface
CN107077199A (zh) 用于在三维显示器上呈现虚拟对象的装置及用于控制装置的方法
KR101618004B1 (ko) 가상 현실 기반의 인터랙티브 컨텐츠 제공 장치 및 그 방법
WO2019048520A1 (en) METHODS, APPARATUS, SYSTEMS, COMPUTER PROGRAMS FOR ENABLING INDUCED REALITY
KR20230121953A (ko) 입체영상 기반 가상현실장치
WO2015196877A1 (en) Autostereoscopic virtual reality platform
US11874964B1 (en) Glove
Loviscach Playing with all senses: Human–Computer interface devices for games
US10290149B2 (en) System, method and software for interacting with virtual three dimensional images that appear to project forward of or above an electronic display

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130111

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131205

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150212

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20151224

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20161226

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180130

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20200217

Year of fee payment: 13