KR101156728B1 - 버블 포핑 장치 및 방법 - Google Patents

버블 포핑 장치 및 방법 Download PDF

Info

Publication number
KR101156728B1
KR101156728B1 KR1020100025692A KR20100025692A KR101156728B1 KR 101156728 B1 KR101156728 B1 KR 101156728B1 KR 1020100025692 A KR1020100025692 A KR 1020100025692A KR 20100025692 A KR20100025692 A KR 20100025692A KR 101156728 B1 KR101156728 B1 KR 101156728B1
Authority
KR
South Korea
Prior art keywords
mouse
bubble
graphic
popping
vibrotactile
Prior art date
Application number
KR1020100025692A
Other languages
English (en)
Other versions
KR20110106580A (ko
Inventor
김만배
이관욱
이우근
장성은
Original Assignee
강원대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강원대학교산학협력단 filed Critical 강원대학교산학협력단
Priority to KR1020100025692A priority Critical patent/KR101156728B1/ko
Publication of KR20110106580A publication Critical patent/KR20110106580A/ko
Application granted granted Critical
Publication of KR101156728B1 publication Critical patent/KR101156728B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

버블 포핑 장치는 공간 좌표를 인식하여 전송하고, 진동 촉감을 전달하기 위한 진동 촉각 데이터를 수신하여 진동을 발생하는 진동 촉각 마우스와 공간 좌표를 기초로 진동 촉각 마우스의 위치를 계산하여 그래픽 마우스로 표시하고, 진동 촉각 마우스에 대응되는 그래픽 마우스가 화면상에 생성된 구 형태의 그래픽 버블과 충돌하는지 판단하여 충돌하는 경우, 충돌 이벤트?상기 충돌 이벤트는 진동 촉각 데이터를 포함함?를 진동 촉각 마우스로 전송하는 디스플레이 장치를 제공한다.

Description

버블 포핑 장치 및 방법{Apparatus and Method for Popping Bubble}
본 발명은 버블 포핑 장치 및 방법에 관한 것으로서, 특히 진동 촉각 마우스를 이용하여 버블을 포핑하여 증강 현실감을 전달하는 버블 포핑 장치 및 방법에 관한 것이다.
종래의 위치 입력 장치는 컴퓨터 마우스가 대표적이며 게임을 하기 위한 조이스틱, PC용 게임기 등이 2차원 마우스 기술을 기본으로 하고 있다.
종래의 볼 마우스는 마우스 패드상에서 볼이 회전함에 따라 볼과 맞닿는 엔코더가 이를 감지하여 수평 또는 수직 방향으로 신호를 분리해서 컴퓨터에 전달함으로써 모니터상의 커서가 이동한다.
종래의 볼 마우스는 인터페이스 방식에 따라 시리얼 마우스, 터치 패트형 마우스 등이 있으며 단순한 클릭만으로 컴퓨터가 인식할 수 있는 신호를 입력하는 기능을 가지고 있었다.
최근에는 3D TV, 게임, 입체 콘텐츠 등 다양한 분야에서 사용자와 인터렉션을 통해 증감 현실감을 경험하는 장치에 대한 요구가 증대되고 있다.
그러나 종래의 볼 마우스는 사용자가 다양한 멀티미디어 정보를 이용하는 경우, 마우스 패드상에 접촉하고 있는 점, 신호 입력 기능 등으로 인해 사용자에게 증강 현실감을 전달하지 못하는 문제점이 있었다.
이와 같은 문제점을 해결하기 위하여, 본 발명은 진동 촉각 마우스와 사용자의 인터렉션을 통해 버블 포핑의 증강 현실을 느낄 수 있는데 그 목적이 있다.
본 발명의 다른 목적은 진동 촉각 마우스가 이동함에 따라 그래픽 버블과의 충돌이 발생하면 그래픽 버블을 포핑시키면서 진동 촉각 마우스의 진동을 발생하여 사용자에게 진동 촉감을 전달하는데 그 목적이 있다.
이러한 기술적 과제를 달성하기 위한 본 발명의 특징에 따른 버블 포핑 장치는 공간 좌표를 인식하여 전송하고, 진동 촉감을 전달하기 위한 진동 촉각 데이터를 수신하여 진동을 발생하는 진동 촉각 마우스; 및 상기 공간 좌표를 기초로 상기 진동 촉각 마우스의 위치를 계산하여 그래픽 마우스로 표시하고, 상기 진동 촉각 마우스에 대응되는 그래픽 마우스가 화면상에 생성된 구 형태의 그래픽 버블과 충돌하는지 판단하여 충돌하는 경우, 충돌 이벤트?상기 충돌 이벤트는 상기 진동 촉각 데이터를 포함함?를 상기 진동 촉각 마우스로 전송하는 디스플레이 장치를 포함한다.
본 발명의 특징에 따른 버블 포핑 방법은 상기 디스플레이 장치는 진동 촉각을 제공하는 진동 촉각 마우스의 이동에 따라 화면상에 상기 진동 촉각 마우스의 위치를 계산하여 그래픽 마우스로 표시하는 단계; 상기 디스플레이 장치는 상기 진동 촉각 마우스에 대응되는 그래픽 마우스가 화면상에 생성된 구 형태의 그래픽 버블과 충돌하는지 판단하는 단계; 및 상기 디스플레이 장치는 상기 그래픽 마우스와 상기 그래픽 버블이 충돌하면 충돌 이벤트?상기 충돌 이벤트는 진동 촉각 데이터를 포함함?를 상기 진동 촉각 마우스로 전달하여 상기 진동 촉각 마우스의 진동이 발생하도록 제어하는 단계를 포함한다.
전술한 구성에 의하여, 본 발명은 진동 촉각 마우스를 이용하여 버블 포핑 기술을 게임 및 엔터테인먼트 분야에도 적용 가능한 효과가 있다.
본 발명은 진동 촉각 마우스의 3차원 공간의 움직임에 따라 2차원 공간의 화면상의 그래픽 버블이 터지거나 움직일 때 증강 현실을 사용자에게 전달하는 효과가 있다.
본 발명은 진동 촉각 마우스와 디스플레이 장치 간에 증강 현실을 전달하기 위한 버블 포핑 처리 기술을 제공하는 효과가 있다.
도 1은 본 발명의 실시예에 따른 진동 촉각 마우스를 이용한 버블 포핑 장치의 개략적인 구성을 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 진동 촉각 마우스를 이용한 버블 포핑 장치 중 진동 촉각 마우스의 내부 구성을 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 진동 촉각 마우스를 이용한 버블 포핑 장치 중 디스플레이 장치의 내부 구성을 나타낸 블록도이다.
도 4는 본 발명의 실시예에 따른 진동 촉각 마우스를 이용한 버블 포핑 방법을 나타낸 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 실시예에 따른 진동 촉각 마우스를 이용한 버블 포핑 장치의 개략적인 구성을 나타낸 개념도이다.
본 발명의 실시예에 따른 버블 포핑 장치는 진동 촉각 마우스(100) 및 디스플레이 장치(200)를 포함한다.
진동 촉각 마우스(100)는 공간 좌표를 인식하여 디스플레이 장치(200)로 전송하고 진동 촉감을 사용자에게 전달하기 위한 진동 촉각 데이터를 수신하는 경우, 진동 촉각 마우스(100)에 진동을 발생시켜 사용자에게 진동 촉감을 전달한다.
디스플레이 장치(200)는 진동 촉각 마우스(100)로부터 수신한 공간 좌표를 기초로 진동 촉각 마우스(100)의 화면상의 위치를 계산한다. 여기서, 디스플레이 장치(200)는 제어 프로그램에서 공간 좌표를 기초로 위치 인식을 수행하는데 진동 촉각 마우스(100)의 3차원 상의 위치 인식 기술은 공지된 기술로서 본 발명의 특징이 아니므로 상세한 설명을 생략하기로 한다.
디스플레이 장치(200)는 계산한 화면상의 위치에 대응하는 위치에 그래픽 마우스를 생성하고, 진동 촉각 마우스(100)의 이동에 따라 그래픽 마우스가 움직이면, 그래픽 마우스가 화면상에 생성된 구 형태의 그래픽 버블과 충돌하는지 판단한다.
디스플레이 장치(200)는 그래픽 마우스와 그래픽 버블이 충돌하면 충돌 이벤트를 생성하여 진동 촉각 마우스(100)로 전송하고, 그래픽 버블이 사라지도록 버블 포핑 이벤트를 발생함으로써 화면상에 그래픽 버블이 사라진다.
다음, 도 2를 참조하여 진동 촉각 마우스(100)를 상세하게 설명한다.
도 2는 본 발명의 실시예에 따른 진동 촉각 마우스(100)를 이용한 버블 포핑 장치 중 진동 촉각 마우스(100)의 내부 구성을 나타낸 블록도이다.
본 발명의 실시예에 따른 진동 촉각 마우스(100)는 마우스 제어부(110), 진동 촉각 마우스부(120) 및 마우스 신호 송수신부(130)를 포함한다.
마우스 제어부(110)는 진동 촉각 마우스(100)가 이동하는 경우 공간 좌표를 생성하여 디스플레이 장치(200)로 전송한다.
진동 촉각 마우스부(120)는 디스플레이 장치(200)로부터 진동 신호를 나타내는 진동 촉각 데이터가 수신되면, 진동 촉각 구동기(미도시)를 구동하여 진동을 발생한다.
마우스 신호 송수신부(130)는 마우스 제어부(110)의 제어에 따라 진동 촉각 마우스(100)로부터 진동 촉각 데이터를 직렬 포트(Serial Port)를 통해 수신하여 저장하고, X축과 Y축의 공간 좌표를 직렬 포트를 통해 진동 촉각 마우스(100)로 전송한다.
마우스 제어부(110)는 마우스 신호 송수신부(130)를 통해 진동 촉각 데이터를 수신하여 진동 촉각 마우스부(120)로 전송한다.
도 2를 참조하여 진동 촉각 마우스(100)의 동작 과정을 설명하면 다음과 같다.
진동 촉각 마우스(100)는 마우스의 작동과 중지를 제어하는 별도의 활성화 스위치(102)가 필요하며 활성화 스위치(102)는 손잡이의 특정 위치에 클릭 가능하게 형성할 수 있다.
사용자가 손으로 진동 촉각 마우스(100)를 잡은 상태에서 디스플레이 장치(200)의 화면 앞에 위치시킨다.
진동 촉각 마우스(100)는 활성화 스위치(102)가 클릭 신호를 수신하면, 마우스를 활성화시킨다. 마우스 제어부(110)는 진동 촉각 마우스(100)가 가리키는 공간상의 공간 좌표를 생성하여 디스플레이 장치(200)로 전송한다.
마우스 제어부(110)는 디스플레이 장치(200)로부터 진동 촉각 데이터를 수신하는 경우, 진동 촉각 구동기(미도시)를 제어하여 진동 촉각 데이터에 대응하는 진동을 발생하도록 제어한다.
다음, 도 3을 참조하여 디스플레이 장치(200)를 상세하게 설명한다.
도 3은 본 발명의 실시예에 따른 진동 촉각 마우스(100)를 이용한 버블 포핑 장치 중 디스플레이 장치(200)의 내부 구성을 나타낸 블록도이다.
본 발명의 실시예에 따른 디스플레이 장치(200)는 그래픽 버블 생성부(210), 그래픽 진동 촉각 마우스 생성부(220), 디스플레이 제어부(230), 충돌 신호 검출부(240), 버블 포핑 이벤트 생성부(250) 및 디스플레이 신호 송수신부(260)를 포함한다.
그래픽 버블 생성부(210)는 일반적인 윈도우 프로그래밍 및 그래픽 라이브를 이용하여 구(Sphere) 형태의 그래픽 버블들을 생성한다.
그래픽 진동 촉각 마우스 생성부(220)는 진동 촉각 마우스(100)에 대응되는 구 형태의 그래픽 마우스를 생성하며, 진동 촉각 마우스(100)의 회전 및 이동에 따라 그래픽 마우스도 같이 회전 및 이동을 한다.
디스플레이 제어부(230)는 진동 촉각 마우스(100)의 공간 좌표를 수신하여 진동 촉각 마우스(100)의 위치를 계산하고 계산된 위치에 그래픽 진동 촉각 마우스 생성부(220)에서 생성한 그래픽 마우스를 대응시켜 화면상에 표시한다.
충돌 신호 검출부(240)는 진동 촉각 마우스(100)에 대응하는 그래픽 마우스가 이동하면, 그래픽 마우스와 그래픽 버블 생성부(210)에서 생성된 복수의 버블들과 충돌하는 충돌 이벤트를 충돌 검출 알고리즘을 통해 검출한다.
3차원 공간에서 충돌 검출 알고리즘은 이하의 [수학식 1]와 같이, 그래픽 마우스와 그래픽 버블이 구 형태를 가지므로 두 구의 중심점 간의 거리를 이용하여 구할 수 있다.
구의 경우, 어느 방향에서 충돌하여도 중심점 간의 거리가 두 구의 반지름의 합이다.
그래픽 버블의 구 중심이 (xo, yo, zo)이고 반경이 Ro이며, 그래픽 마우스의 구 중심이 (x1, y1, z1)이고 반경이 R1인 경우 두 중심 간의 d는 다음의 [수학식 1]과 같다.
Figure 112010018258874-pat00001
두 구의 충돌은
Figure 112010018258874-pat00002
조건을 만족하면, 충돌이 되는 것이다.
버블 포핑 이벤트 생성부(250)는 충돌 신호 검출부(240)에서 그래픽 버블과 그래픽 마우스의 충돌 이벤트가 발생되면, 버블 포핑 이벤트를 발생시킨다.
여기서, 버블 포핑 이벤트는 버블의 이동없이 현 위치에서 점진적으로 사라지는 페이드 아웃(Fade out) 포핑 이벤트와 퍼지면서 사라지는 발산과 페이드 아웃(Diverge and Fade out) 포핑 이벤트를 포함한다.
그래픽 버블은 일반적으로 삼각형 메쉬(Triangle Mesh) 구조로 모델링되고 각 메쉬는 삼각형으로 구성된다.
페이드 아웃 포핑 이벤트는 삼각형들이 점진적으로 사라지는 것으로 충돌이 발생한 첫 프레임부터 연속되는 프레임까지 점진적으로 삼각형을 사라지게 만든다.
충돌 전의 삼각형의 전체 개수를 N으로, k는 프레임 번호(k≥1), 삼각형이 사라지는 비율이 r이면, 다음 프레임 k+1에서 사라지는 삼각형의 개수 Nk+1은 다음의 [수학식 2]와 같다.
Figure 112010018258874-pat00003
여기서, N1은 N과 같다.
페이드 아웃 포핑 이벤트는 [수학식 2]와 같이, 구를 이루고 있는 삼각형의 개수가 삼각형이 사라지는 비율에 따라 축소되면서 최종적으로 사라지게 된다.
발산과 페이드 아웃 포핑 이벤트는 삼각형들이 삼각형의 법선 벡터 방향으로 퍼지면서 발산한다. 여기서, 발산과 페이드 아웃 포핑 이벤트는 연속 프레임에서 사라지는 삼각형의 개수가 페이드 아웃 포핑 이벤트와 같다.
발산과 페이드 아웃 포핑 이벤트는 삼각형의 중점을 구하고 그 중점과 구의 원점 사이의 법선 벡터를 구하며 연속 프레임마다 법선 벡터의 방향으로 이동시키며 삼각형의 크기를 점차 축소시키면 마지막 프레임에서 사라지게 된다.
삼각형 ABC의 중심 G=(Px, Py, Pz)는 다음의 [수학식 3]와 같다.
Figure 112010018258874-pat00004
여기서, A, B, C는 삼각형의 정점이며 각 좌표값은 A=(Ax, By, Cz), B=(Bx, By, Bz), C=(Cx, Cy, Cz)이다.
그래픽 구의 중점 O=(Rx, Ry, Rz)와 G=(Px, Py, Pz)의 단위 벡터는 다음의 [수학식 4]와 같다.
Figure 112010018258874-pat00005
여기서,
Figure 112010018258874-pat00006
이다.
삼각형 ABC는 벡터
Figure 112010018258874-pat00007
방향으로 이동한다.
발산과 페이드 아웃 포핑 이벤트는 연속 프레임에서 삼각형들을 축소(Scaling Down) 시키면, 마지막에 사라지게 된다.
삼각형의 축소는 다음의 [수학식 5]와 같다.
Figure 112010018258874-pat00008
여기서, 축소율 S는 1이고 k는 프레임 번호를 의미한다.
디스플레이 신호 송수신부(260)는 충돌 신호 검출부(240)에서 충돌 이벤트가 발생하면, 디스플레이 제어부(230)의 제어에 따라 진동 촉각 데이터를 직렬 포트(Serial Port)를 통해 진동 촉각 마우스(100)로 전송한다.
또한, 디스플레이 신호 송수신부(260)는 진동 촉각 마우스(100)로부터 공간 좌표를 수신하여 그래픽 진동 촉각 마우스 생성부(220)로 전송한다.
디스플레이 제어부(230)는 그래픽 버블 생성부(210)을 제어하여 구 형태의 그래픽 버블을 생성하도록 제어한다.
디스플레이 제어부(230)는 그래픽 진동 촉각 마우스 생성부(220)를 제어하여 구 형태의 그래픽 마우스의 생성과 이동, 회전을 제어한다.
디스플레이 제어부(230)는 충돌 신호 검출부(240)를 제어하여 충돌 알고리즘을 통해 충돌 이벤트의 생성을 제어한다.
디스플레이 제어부(230)는 버블 포핑 이벤트 생성부(250)를 제어하여 페이드 아웃 포핑 이벤트 또는 발산과 페이드 아웃 포핑 이벤트가 발생하도록 제어한다.
다음, 도 4를 참조하여 진동 촉각 마우스(100)를 이용한 버블 포핑 방법을 상세하게 설명한다.
도 4는 본 발명의 실시예에 따른 진동 촉각 마우스(100)를 이용한 버블 포핑 방법을 나타낸 도면이다.
진동 촉각 마우스(100)의 마우스 제어부(110)는 활성화 스위치(102)가 선택되면, 진동 촉각 마우스(100)를 활성화시킨다.
마우스 제어부(110)는 화면상에서 진동 촉각 마우스(100)가 이동한 공간 좌표를 기초로 공간 마우스 좌표 인식 정보를 생성하여 마우스 신호 송수신부(130)를 통해 디스플레이 장치(200)로 전송한다(S100). 여기서, 공간 마우스 좌표 인식 정보는 [표 1]에 도시된 바와 같이, 8바이트로 구성되어 처음 두 바이트를 체크섬으로, 2, 3번 바이트를 절대값 X 좌표, 4, 5번 바이트를 절대값 Y 좌표, 6번 바이트를 마우스 클릭 정보를 포함한다.
예를 들어, 전술한 마우스 클릭 정보는 0x01: Left Up, 0x02: Left Down, 0x04: Right Down, 0x08: Rifht Up과 같이 표현할 수 있다.
Figure 112010018258874-pat00009
디스플레이 장치(200)의 디스플레이 제어부(230)는 진동 촉각 마우스(100)로부터 수신한 공간 마우스 좌표 인식 정보를 기초로 제어 프로그램에서 진동 촉각 마우스(100)가 화면상에서 가리키는 상대 위치인 X 좌표, Y 좌표를 계산한다(S102).
그래픽 진동 촉각 마우스 생성부(220)는 디스플레이 제어부(230)에서 계산된 상대 위치인 X 좌표, Y 좌표를 기초로 구 형태의 그래픽 마우스를 생성하고 생성한 그래픽 마우스를 디스플레이 장치(200)의 화면에 표시한다(S102).
그래픽 진동 촉각 마우스 생성부(220)는 진동 촉각 마우스(100)의 이동에 따라 대응되는 그래픽 마우스도 회전 및 이동하여 디스플레이 장치(200)의 화면에 표시한다.
충돌 신호 검출부(240)는 그래픽 버블 생성부(210)에서 생성된 그래픽 버블과 그래픽 진동 촉각 마우스 생성부(220)에서 생성된 그래픽 마우스가 충돌하는지 충돌 검출 알고리즘(수학식 1)을 통해 판단한다(S104).
버블 포핑 이벤트 생성부(250)는 충돌 신호 검출부(240)에서 그래픽 버블과 그래픽 마우스가 충돌한다고 판단하는 경우, 기설정된 이벤트 옵션에 따라 페이드 아웃 포핑 이벤트 또는 발산과 페이드 아웃 포핑 이벤트 중 하나의 버블 포핑 이벤트를 생성하게 된다(S106). 여기서, 이벤트 옵션은 그래픽 버블과 그래픽 마우스가 충돌할 때마다 페이드 아웃 포핑 이벤트 또는 발산과 페이드 아웃 포핑 이벤트를 랜덤하게 설정할 수도 있고 두 개의 이벤트 중 하나의 이벤트를 일정 주기마다 반복하도록 설정할 수도 있다.
버블 포핑 이벤트 생성부(250)는 생성된 버블 포핑 이벤트에 따라 축소 알고리즘을 적용하여 그래픽 버블이 사라지게 한다(S108).
여기서, 축소 알고리즘은 그래픽 버블을 사라지게 하는 알고리즘으로서, 페이드 아웃 포핑 이벤트의 축소 알고리즘은 [수학식 2]로 표현하고, 발산과 페이드 아웃 포핑 이벤트의 축소 알고리즘은 [수학식 3], [수학식 4], [수학식 5]로 표현할 수 있다.
또한, 디스플레이 제어부(230)는 충돌 신호 검출부(240)에서 그래픽 버블과 그래픽 마우스의 충돌이 검출되면, 충돌 이벤트를 생성하여 디스플레이 신호 송수신부(260)를 통해 진동 촉각 마우스(100)로 전송한다(S110).
여기서, 충돌 이벤트는 [표 2]에 도시된 바와 같이, 12 바이트로 구성되어 처음 두 바이트를 체크섬으로, 3번 바이트를 진동 시작과 끝으로, 6바이트를 진동 촉각 데이터를 포함한다.
Figure 112010018258874-pat00010
또한, 충돌 이벤트는 하위 6 바이트에 진동 촉각 데이터가 저장되는데 초기에 0으로 리셋되고 충돌이 검출되면 1로 세트된다.
진동 촉각 마우스(100)의 진동 촉각 마우스부(120)는 마우스 신호 송수신부(130)를 통해 충돌 이벤트를 수신하면 충돌 이벤트를 분석하여 진동 촉각 데이터가 포함되어 있는 경우, 진동 촉각 구동기(미도시)를 제어하여 진동 촉각 마우스(100)의 진동을 발생하게 된다(S112).
이상에서 설명한 본 발명의 실시예는 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (14)

  1. 버블 포핑의 증강 현실을 처리하는 버블 포핑 장치에 있어서,
    공간 좌표를 인식하여 전송하고, 진동 촉감을 전달하기 위한 진동 촉각 데이터를 수신하여 진동을 발생하는 진동 촉각 마우스; 및
    상기 공간 좌표를 기초로 상기 진동 촉각 마우스의 위치를 계산하여 그래픽 마우스로 표시하고, 상기 진동 촉각 마우스에 대응되는 그래픽 마우스가 화면상에 생성된 구 형태의 그래픽 버블과 충돌하는지 판단하여 충돌하는 경우, 충돌 이벤트?상기 충돌 이벤트는 상기 진동 촉각 데이터를 포함함?를 상기 진동 촉각 마우스로 전송하는 디스플레이 장치를 포함하고,
    상기 디스플레이 장치는, 상기 진동 촉각 마우스로부터 상기 공간 좌표를 포함한 공간 마우스 좌표 인식 정보를 수신하여 상기 진동 촉각 마우스의 위치를 계산하는 디스플레이 제어부, 상기 계산한 위치에 상기 그래픽 마우스를 생성하여 표시하는 그래픽 진동 촉각 마우스 생성부, 상기 그래픽 마우스와 상기 그래픽 버블이 충돌하는지 충돌 검출 알고리즘을 통해 판단하는 충돌 신호 검출부 및 상기 충돌 신호 검출부에서 상기 그래픽 마우스와 상기 그래픽 버블이 충돌이 검출되면, 상기 그래픽 버블이 사라지도록 버블 포핑 이벤트를 발생하는 버블 포핑 이벤트 생성부를 포함하며,
    상기 디스플레이 제어부는 상기 그래픽 마우스와 상기 그래픽 버블이 충돌하는 경우, 상기 충돌 이벤트를 생성하여 상기 진동 촉각 마우스로 전송하도록 제어하고,
    상기 버블 포핑 이벤트 생성부는 상기 그래픽 마우스와 상기 그래픽 버블이 충돌하는 경우, 상기 그래픽 버블이 이동없이 점진적으로 사라지는 페이드 아웃 포핑 이벤트와 상기 그래픽 버블이 퍼지면서 사라지는 발산과 페이드 아웃 포핑 이벤트 중 하나의 버블 포핑 이벤트가 기설정된 이벤트 옵션에 따라 생성되도록 하고,
    상기 그래픽 버블을 삼각형 메쉬 구조인 복수의 삼각형으로 구성하고, 상기 페이드 아웃 포핑 이벤트는 상기 각 삼각형을 축소 조절 인자를 기초로 점진적으로 사라지게 하며, 상기 발산과 페이드 아웃 포핑 이벤트는 상기 복수의 삼각형을 상기 각 삼각형의 중점과 구의 원점 사이의 법선 벡터 방향으로 이동하면서 상기 축소 조절 인자를 이용하여 사라지게 하되,
    상기 페이드 아웃 포핑 이벤트는 충돌 전의 삼각형의 전체 개수를 N으로, k는 프레임 번호(k≥1), 삼각형이 사라지는 비율이 r이면, 다음 프레임 k+1에서 사라지는 삼각형의 개수 Nk+1은
    Figure 112011099621856-pat00015

    (여기서, N1은 N과 같음)
    의 수학식을 이용하여 계산되고,
    A, B, C는 상기 삼각형의 정점이며 각 좌표값은 A=(Ax, By, Cz), B=(Bx, By, Bz), C=(Cx, Cy, Cz)일 때, 상기 삼각형 ABC의 중심 G=(Px, Py, Pz)는
    Figure 112011099621856-pat00016

    의 수학식에 의해 계산되고,
    그래픽 구의 중점 O=(Rx, Ry, Rz)와 G=(Px, Py, Pz)의 단위 벡터는
    Figure 112011099621856-pat00017

    (여기서,
    Figure 112011099621856-pat00018
    이고, 삼각형 ABC는 벡터
    Figure 112011099621856-pat00019
    방향으로 이동함)
    의 수학식에 의해 계산될 때,
    상기 발산과 페이드 아웃 포핑 이벤트는 연속 프레임에서 삼각형들을 축소(Scaling Down) 시키면, 마지막에 사라지게 되며, 축소율 S는 1이고 k는 프레임 번호를 의미할 때, 삼각형의 축소는
    Figure 112011099621856-pat00020

    의 수학식에 의해 수행되는 것을 특징으로 하는 버블 포핑 장치.
  2. 삭제
  3. 제1항에 있어서.
    상기 진동 촉각 마우스는,
    상기 진동 촉각 마우스가 이동한 공간 좌표를 포함한 공간 마우스 좌표 인식 정보를 생성하여 상기 디스플레이 장치로 전송하는 마우스 제어부; 및
    상기 디스플레이 장치로부터 수신한 충돌 이벤트에 진동 촉각 데이터가 포함되어 있는 경우, 상기 진동 촉각 데이터에 대응하는 진동을 발생하도록 제어하는 진동 촉각 마우스부
    를 포함하는 것을 특징으로 하는 버블 포핑 장치.
  4. 삭제
  5. 제1항에 있어서,
    상기 충돌 신호 검출부는,
    상기 그래픽 마우스와 상기 그래픽 버블의 중심점 간의 거리를 이용하여 충돌 검출을 판단하는 것을 특징으로 하는 버블 포핑 장치.
  6. 제1항에 있어서,
    상기 진동 촉각 마우스는,
    상기 진동 촉각 마우스가 이동한 공간 좌표와 마우스 클릭 정보를 포함한 공간 마우스 좌표 정보를 생성하여 상기 디스플레이 장치로 전송하는 것을 특징으로 하는 버블 포핑 장치.
  7. 삭제
  8. 버블 포핑의 증강 현실을 처리하는 디스플레이 장치에서의 버블 포핑 방법에 있어서,
    상기 디스플레이 장치는 진동 촉각을 제공하는 진동 촉각 마우스의 이동에 따라 화면상에 상기 진동 촉각 마우스의 위치를 계산하여 그래픽 마우스로 표시하는 단계;
    상기 디스플레이 장치는 상기 진동 촉각 마우스에 대응되는 그래픽 마우스가 화면상에 생성된 구 형태의 그래픽 버블과 충돌하는지 판단하는 단계; 및
    상기 디스플레이 장치는 상기 그래픽 마우스와 상기 그래픽 버블이 충돌하면 충돌 이벤트?상기 충돌 이벤트는 진동 촉각 데이터를 포함함?를 상기 진동 촉각 마우스로 전달하여 상기 진동 촉각 마우스의 진동이 발생하도록 제어하는 단계를 포함하고,
    상기 진동이 발생하도록 제어하는 단계는 상기 그래픽 마우스와 상기 그래픽 버블이 충돌하면 상기 그래픽 버블이 사라지는 버블 포핑 이벤트를 생성하여 화면상에 구현하는 단계를 포함하고,
    상기 버블 포핑 이벤트는 상기 그래픽 버블이 이동없이 점진적으로 사라지는 페이드 아웃 포핑 이벤트와 상기 그래픽 버블이 퍼지면서 사라지는 발산과 페이드 아웃 포핑 이벤트로 구성되며,
    상기 그래픽 버블을 삼각형 메쉬 구조인 복수의 삼각형으로 구성하고, 상기 페이드 아웃 포핑 이벤트는 상기 각 삼각형을 축소 조절 인자를 기초로 점진적으로 사라지게 하며, 상기 발산과 페이드 아웃 포핑 이벤트는 상기 복수의 삼각형을 상기 각 삼각형의 중점과 구의 원점 사이의 법선 벡터 방향으로 이동하면서 상기 축소 조절 인자를 이용하여 사라지게 하되,
    상기 페이드 아웃 포핑 이벤트는 충돌 전의 삼각형의 전체 개수를 N으로, k는 프레임 번호(k≥1), 삼각형이 사라지는 비율이 r이면, 다음 프레임 k+1에서 사라지는 삼각형의 개수 Nk+1은
    Figure 112011099621856-pat00021

    (여기서, N1은 N과 같음)
    의 수학식을 이용하여 계산되고,
    A, B, C는 상기 삼각형의 정점이며 각 좌표값은 A=(Ax, By, Cz), B=(Bx, By, Bz), C=(Cx, Cy, Cz)일 때, 상기 삼각형 ABC의 중심 G=(Px, Py, Pz)는
    Figure 112011099621856-pat00022

    의 수학식에 의해 계산되고,
    그래픽 구의 중점 O=(Rx, Ry, Rz)와 G=(Px, Py, Pz)의 단위 벡터는
    Figure 112011099621856-pat00023

    (여기서,
    Figure 112011099621856-pat00024
    이고, 삼각형 ABC는 벡터
    Figure 112011099621856-pat00025
    방향으로 이동함)
    의 수학식에 의해 계산될 때,
    상기 발산과 페이드 아웃 포핑 이벤트는 연속 프레임에서 삼각형들을 축소(Scaling Down) 시키면, 마지막에 사라지게 되며, 축소율 S는 1이고 k는 프레임 번호를 의미할 때, 삼각형의 축소는
    Figure 112011099621856-pat00026

    의 수학식에 의해 수행되는 것을 특징으로 하는 버블 포핑 방법.
  9. 삭제
  10. 삭제
  11. 제8항에 있어서,
    상기 그래픽 마우스로 표시하는 단계는,
    상기 진동 촉각 마우스로부터 공간 마우스 좌표 인식 정보?상기 공간 마우스 좌표 인식 정보는 상기 진동 촉각 마우스의 공간 좌표와 마우스 클릭 정보를 포함함?를 수신하는 단계;
    상기 공간 좌표를 이용하여 상기 진동 촉각 마우스가 화면에서 나타내는 위치를 계산하는 단계
    를 포함하는 버블 포핑 방법.
  12. 제8항에 있어서,
    상기 충돌 이벤트는 진동의 시작과 끝을 나타내는 정보를 포함하는 것을 특징으로 하는 버블 포핑 방법.
  13. 제8항에 있어서,
    상기 그래픽 버블과 충돌하는지 판단하는 단계는,
    상기 그래픽 마우스와 상기 그래픽 버블의 중심점 간의 거리를 이용하여 충돌 검출을 수행하는 것을 특징으로 하는 버블 포핑 방법.
  14. 삭제
KR1020100025692A 2010-03-23 2010-03-23 버블 포핑 장치 및 방법 KR101156728B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100025692A KR101156728B1 (ko) 2010-03-23 2010-03-23 버블 포핑 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100025692A KR101156728B1 (ko) 2010-03-23 2010-03-23 버블 포핑 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110106580A KR20110106580A (ko) 2011-09-29
KR101156728B1 true KR101156728B1 (ko) 2012-06-14

Family

ID=44956360

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100025692A KR101156728B1 (ko) 2010-03-23 2010-03-23 버블 포핑 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101156728B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002082751A (ja) 2000-09-08 2002-03-22 Mitsubishi Electric Corp 仮想空間とのインタラクション装置およびこれを応用した仮想空間システム
KR100524428B1 (ko) 2003-07-04 2005-10-26 주식회사 아이아이테크놀러지 6 자유도를 갖는 쌍방향 무선 마우스 장치의 구동방법 및 이를 이용한 컴퓨터 단말기의 구동방법
KR100812624B1 (ko) 2006-03-02 2008-03-13 강원대학교산학협력단 입체영상 기반 가상현실장치
KR100947735B1 (ko) 2008-01-04 2010-03-17 에스케이 텔레콤주식회사 가상현실에서의 동작 제어 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002082751A (ja) 2000-09-08 2002-03-22 Mitsubishi Electric Corp 仮想空間とのインタラクション装置およびこれを応用した仮想空間システム
KR100524428B1 (ko) 2003-07-04 2005-10-26 주식회사 아이아이테크놀러지 6 자유도를 갖는 쌍방향 무선 마우스 장치의 구동방법 및 이를 이용한 컴퓨터 단말기의 구동방법
KR100812624B1 (ko) 2006-03-02 2008-03-13 강원대학교산학협력단 입체영상 기반 가상현실장치
KR100947735B1 (ko) 2008-01-04 2010-03-17 에스케이 텔레콤주식회사 가상현실에서의 동작 제어 시스템 및 방법

Also Published As

Publication number Publication date
KR20110106580A (ko) 2011-09-29

Similar Documents

Publication Publication Date Title
JP6893868B2 (ja) 空間依存コンテンツのための力覚エフェクト生成
US10671239B2 (en) Three dimensional digital content editing in virtual reality
CN113826058B (zh) 具有自触觉虚拟键盘的人工现实系统
EP1552375B1 (en) Man-machine interface using a deformable device
CN113853575A (zh) 具有滑动菜单的人工现实系统
US8405656B2 (en) Method and system for three dimensional interaction of a subject
EP1808210B1 (en) Storage medium having game program stored thereon and game apparatus
US9927869B2 (en) Apparatus for outputting virtual keyboard and method of controlling the same
CN101770324B (zh) 一种实现三维图形界面互动式操作的方法
Stuerzlinger et al. The value of constraints for 3D user interfaces
JP2004054590A (ja) 仮想空間描画表示装置、及び仮想空間描画表示方法
KR20220016984A (ko) 디지트-매핑된 자가-햅틱 입력 방법을 갖는 인공 현실 시스템
CN108431734A (zh) 用于非触摸式表面交互的触觉反馈
US20100309197A1 (en) Interaction of stereoscopic objects with physical objects in viewing area
JP2018142313A (ja) 仮想感情タッチのためのシステム及び方法
US20210031110A1 (en) System and method for generating user inputs for a video game
US11195320B2 (en) Feed-forward collision avoidance for artificial reality environments
CN114138106A (zh) 混合虚拟现实桌面计算环境中的状态之间的转换
US11073902B1 (en) Using skeletal position to predict virtual boundary activation
KR101156728B1 (ko) 버블 포핑 장치 및 방법
CN113467625A (zh) 虚拟现实的控制设备、头盔和交互方法
US20230267667A1 (en) Immersive analysis environment for human motion data
US9465483B2 (en) Methods for input-output calibration and image rendering
Chen et al. The Body Sensor Suit with Mixed Reality Interactive Games
CN116339508A (zh) 信息处理方法、装置、电子设备、存储介质及程序产品

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160324

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee