KR101357281B1 - System and method for providing vitual handle with grabbing metaphor - Google Patents

System and method for providing vitual handle with grabbing metaphor Download PDF

Info

Publication number
KR101357281B1
KR101357281B1 KR1020130002593A KR20130002593A KR101357281B1 KR 101357281 B1 KR101357281 B1 KR 101357281B1 KR 1020130002593 A KR1020130002593 A KR 1020130002593A KR 20130002593 A KR20130002593 A KR 20130002593A KR 101357281 B1 KR101357281 B1 KR 101357281B1
Authority
KR
South Korea
Prior art keywords
virtual
handle
virtual object
user
input means
Prior art date
Application number
KR1020130002593A
Other languages
Korean (ko)
Inventor
박진아
김태호
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020130002593A priority Critical patent/KR101357281B1/en
Application granted granted Critical
Publication of KR101357281B1 publication Critical patent/KR101357281B1/en

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24D—DOMESTIC- OR SPACE-HEATING SYSTEMS, e.g. CENTRAL HEATING SYSTEMS; DOMESTIC HOT-WATER SUPPLY SYSTEMS; ELEMENTS OR COMPONENTS THEREFOR
    • F24D10/00—District heating systems
    • F24D10/003—Domestic delivery stations having a heat exchanger
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24D—DOMESTIC- OR SPACE-HEATING SYSTEMS, e.g. CENTRAL HEATING SYSTEMS; DOMESTIC HOT-WATER SUPPLY SYSTEMS; ELEMENTS OR COMPONENTS THEREFOR
    • F24D12/00—Other central heating systems
    • F24D12/02—Other central heating systems having more than one heat source
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24D—DOMESTIC- OR SPACE-HEATING SYSTEMS, e.g. CENTRAL HEATING SYSTEMS; DOMESTIC HOT-WATER SUPPLY SYSTEMS; ELEMENTS OR COMPONENTS THEREFOR
    • F24D2200/00—Heat sources or energy sources
    • F24D2200/13—Heat from a district heating network
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24D—DOMESTIC- OR SPACE-HEATING SYSTEMS, e.g. CENTRAL HEATING SYSTEMS; DOMESTIC HOT-WATER SUPPLY SYSTEMS; ELEMENTS OR COMPONENTS THEREFOR
    • F24D2200/00—Heat sources or energy sources
    • F24D2200/32—Heat sources or energy sources involving multiple heat sources in combination or as alternative heat sources
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24D—DOMESTIC- OR SPACE-HEATING SYSTEMS, e.g. CENTRAL HEATING SYSTEMS; DOMESTIC HOT-WATER SUPPLY SYSTEMS; ELEMENTS OR COMPONENTS THEREFOR
    • F24D2220/00—Components of central heating installations excluding heat sources
    • F24D2220/02—Fluid distribution means
    • F24D2220/0228—Branched distribution conduits
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24D—DOMESTIC- OR SPACE-HEATING SYSTEMS, e.g. CENTRAL HEATING SYSTEMS; DOMESTIC HOT-WATER SUPPLY SYSTEMS; ELEMENTS OR COMPONENTS THEREFOR
    • F24D2220/00—Components of central heating installations excluding heat sources
    • F24D2220/02—Fluid distribution means
    • F24D2220/0235—Three-way-valves
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24D—DOMESTIC- OR SPACE-HEATING SYSTEMS, e.g. CENTRAL HEATING SYSTEMS; DOMESTIC HOT-WATER SUPPLY SYSTEMS; ELEMENTS OR COMPONENTS THEREFOR
    • F24D2220/00—Components of central heating installations excluding heat sources
    • F24D2220/02—Fluid distribution means
    • F24D2220/0271—Valves
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24D—DOMESTIC- OR SPACE-HEATING SYSTEMS, e.g. CENTRAL HEATING SYSTEMS; DOMESTIC HOT-WATER SUPPLY SYSTEMS; ELEMENTS OR COMPONENTS THEREFOR
    • F24D2220/00—Components of central heating installations excluding heat sources
    • F24D2220/04—Sensors
    • F24D2220/042—Temperature sensors
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24D—DOMESTIC- OR SPACE-HEATING SYSTEMS, e.g. CENTRAL HEATING SYSTEMS; DOMESTIC HOT-WATER SUPPLY SYSTEMS; ELEMENTS OR COMPONENTS THEREFOR
    • F24D2220/00—Components of central heating installations excluding heat sources
    • F24D2220/04—Sensors
    • F24D2220/044—Flow sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Thermal Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Disclosed are a virtual steering wheel providing system using a grip input unit and a method thereof. The present invention includes an input unit which is implemented in a form which a user can hold with a hand, detects the movement of the hand of the user, and outputs a detection signal; and a simulation terminal which analyzes data about one virtual object, displays the virtual object in a virtual space, receives the detection signal from the input unit, converts the detection signal into hand location and rotation data including a reference vector indicating the direction of the palm, displays a virtual steering wheel including a virtual reference vector corresponding to the direction of the reference vector, places the virtual steering wheel on the bounding sphere of the virtual object in a direction for the virtual reference vector of the virtual steering wheel to face the center of mass of the virtual object, and sets a conversion reference system by changing the position of the virtual steering wheel in response to a change in the detection signal. [Reference numerals] (110) Input unit

Description

쥠 입력수단을 이용한 가상 핸들 제공 시스템 및 방법{SYSTEM AND METHOD FOR PROVIDING VITUAL HANDLE WITH GRABBING METAPHOR}핸들 SYSTEM AND METHOD FOR PROVIDING VIRTUAL HANDLE USING INPUT METHOD {SYSTEM AND METHOD FOR PROVIDING VITUAL HANDLE WITH GRABBING METAPHOR}

본 발명은 가상 핸들 제공 시스템 및 방법에 관한 것으로, 특히 3차원 가상 객체를 조작하기 위한 쥠 입력수단을 이용한 가상 핸들 제공 시스템 및 방법에 관한 것이다.
The present invention relates to a system and a method for providing a virtual handle, and more particularly, to a system and a method for providing a virtual handle using a pin input means for manipulating a three-dimensional virtual object.

3차원 입력을 활용하여 가상의 객체를 조작하는 3차원 인터페이스를 포함한 컴퓨터 응용 프로그램이 활발히 개발됨에 따라 인터페이스 조작의 만족도를 향상시키기 위해서는 효율적인 사용자 상호작용이 중요하다.As computer application programs including three-dimensional interfaces that manipulate virtual objects using three-dimensional input are actively developed, efficient user interaction is important to improve the satisfaction of interface manipulation.

3차원 컴퓨터 기반 응용프로그램에서 3차원 가상 객체를 움직이는 작업은 객체를 선택한 뒤 입력 수단을 이용한 사용자 입력을 통해 이루어진다. 마우스나 터치스크린과 같은 기존의 2차원 입력 수단을 이용할 경우 깊이 입력의 부재와 다 방향 회전의 동시 입력(롤(Roll), 피치(Pitch), 요(Yaw))의 불가능 등으로 인해 조작에 어려움을 겪는 경우가 많다. 최근 들어 여러 가지 3차원 입력 수단들이 제안되었고, 이를 사용하여 6-자유도 입력이 가능하게 되었다. 그러나 여전히 각각의 입력 수단들은 고유의 입력 방식, 입력 범위를 가지고 있기 때문에 보편적인 3차원 컴퓨터 기반 응용프로그램에 적용시키기 힘들다.Moving a 3D virtual object in a 3D computer-based application is performed by selecting an object and then user input using an input means. Difficult to operate due to absence of depth input and simultaneous input of multi-directional rotation (roll, pitch, yaw) when using existing two-dimensional input means such as mouse or touch screen There are many cases. In recent years, various three-dimensional input means have been proposed, and 6-degree of freedom input has been made possible. However, since each input means has its own input method and input range, it is difficult to apply it to universal 3D computer-based applications.

3차원 컴퓨터 기반 응용프로그램 상의 3차원 객체의 조작은 크게 두 단계로 나뉜다. 첫째로 조작하고자 하는 객체의 기준계(이는 다른 말로 회전 중심, 변환 중심 등으로 이해 할 수 있다)를 결정하고, 그것을 기준으로 변환의 각 요소 값을 주어 최종적인 변환을 수행하는 단계로 이루어진다. 물론, 미리 정의된 기준에 대해서만 회전이나 이동 작업을 수행한다면 기준계를 설정하는 작업은 생략할 수 있으나, 이 경우 상황에 따라 사용자가 원하는 부분을 잡고 조작하는 것과 유사한 느낌의 사실적인 인터랙션(interation)은 불가능해진다. 하지만 3차원 공간에서 기준계를 설정하는 작업은 깊이 정보 인식의 어려움 등으로 인해 사용자가 의도한 기준을 설정하는데 시간과 추가적인 시각화 기능을 필요로 하므로, 실질적으로 기준계를 사용자가 임의로 설정하고, 제어할 수 있는 3차원 가상 객체 조작 방법은 제공되고 있지 않고 있다.
Manipulation of three-dimensional objects on a three-dimensional computer-based application is divided into two steps. First, the reference system (which can be understood as the rotation center, transformation center, etc.) of the object to be manipulated is determined, and the final transformation is performed by giving each element value of the transformation based on the reference system. Of course, if the rotation or movement is performed only for the predefined reference, the setting of the reference system can be omitted. However, in this case, the realistic interaction with the feeling similar to holding and manipulating the desired part according to the situation may be omitted. It becomes impossible. However, since setting up the reference system in three-dimensional space requires time and additional visualization functions to set the user's intended standards due to difficulty in recognizing depth information, the user can actually set and control the reference system arbitrarily. There is no method for manipulating three-dimensional virtual objects.

본 발명의 목적은 쥠 입력수단을 이용하여 3차원 상의 가상 객체에 대해 사용자가 자유롭게 기준계를 설정하고, 설정된 기준계에 따라 자유롭게 가상 객체의 이동 회전 조작이 가능한 가상 핸들 제공 시스템 및 방법을 제공하는데 있다.
An object of the present invention is to provide a system and method for providing a virtual handle that allows a user to freely set a reference system for a virtual object on a three-dimensional object using an input means, and to freely move and rotate the virtual object according to the set reference system.

상기 목적을 달성하기 위한 본 발명의 일 예에 따른 가상 핸들 제공 시스템은 사용자가 손으로 잡을 수 있는 형태로 구현되고, 상기 사용자의 손의 움직임을 감지하여 감지 신호를 출력하는 입력 수단; 및 기저장된 적어도 하나의 가상 객체에 대한 데이터를 분석하여, 상기 가상 객체를 가상공간에 표시하고, 상기 입력 수단으로부터 상기 감지 신호를 수신하고, 상기 감지 신호를 상기 사용자의 손바닥 방향을 나타내는 기준 벡터를 포함하는 손의 위치 및 회전 정보로 변환하여 상기 기준 벡터의 방향에 대응하는 가상 기준 벡터를 갖는 가상 핸들을 표시하며, 상기 가상 핸들의 상기 가상 기준 벡터가 상기 가상 객체의 무게 중심으로 향하는 방향의 상기 가상 객체의 바운딩 스피어 상에 상기 가상 핸들을 배치한 후, 상기 감지 신호의 변경에 응답하여, 상기 가상 핸들의 위치를 변경하여 변환 기준계로 설정하는 시뮬레이션 단말;을 포함한다.The virtual handle providing system according to an embodiment of the present invention for achieving the above object is implemented in a form that can be held by the user, the input means for detecting the movement of the user's hand to output a detection signal; And analyzing data of at least one virtual object previously stored, displaying the virtual object in a virtual space, receiving the detection signal from the input means, and receiving the detection signal as a reference vector indicating the palm direction of the user. A virtual handle having a virtual reference vector corresponding to a direction of the reference vector by converting the position and rotation information of a hand, wherein the virtual reference vector of the virtual handle is directed toward the center of gravity of the virtual object; And arranging the virtual handle on the bounding sphere of the virtual object, and in response to the change of the detection signal, a simulation terminal for changing the position of the virtual handle and setting it as a transformation reference system.

상기 입력 수단은 적어도 하나의 선택 수단을 더 구비하고, 상기 사용자의 명령에 응답하여, 적어도 하나의 선택 신호를 상기 시뮬레이션 단말로 전송하는 것을 특징으로 한다.The input means further includes at least one selection means, and in response to the user's command, at least one selection signal is transmitted to the simulation terminal.

상기 시뮬레이션 단말은 상기 입력 수단으로부터 상기 선택 신호가 수신되면, 현재 가상 핸들의 위치를 상기 변환 기준계로 설정하는 것을 특징으로 한다.The simulation terminal, when the selection signal is received from the input means, characterized in that for setting the position of the current virtual handle to the conversion reference system.

상기 시뮬레이션 단말은 상기 변환 기준계가 설정된 이후, 상기 감지 신호의 변화가 발생하면, 상기 변환 기준계를 기준으로 상기 가상 객체와 상기 가상 핸들을 이동 또는 회전하는 것을 특징으로 한다.After the transformation reference system is set, the simulation terminal is configured to move or rotate the virtual object and the virtual handle based on the transformation reference system when a change in the detection signal occurs.

상기 시뮬레이션 단말은 상기 가상 객체에 기설정된 제약 사항이 있는 경우, 상기 제약 사항에 따라 상기 가상 객체의 일부만을 이동 또는 회전하는 것을 특징으로 한다.When there is a preset constraint on the virtual object, the simulation terminal may move or rotate only a part of the virtual object according to the constraint.

상기 입력 수단은 상기 사용자가 손으로 잡을 수 있도록 구현된 형태에 따라 상기 사용자의 손바닥이 상기 입력 수단에 닿는 면에 수직 방향으로 상기 기준 벡터를 설정하는 것을 특징으로The input means may be configured to set the reference vector in a direction perpendicular to a surface where the palm of the user touches the input means according to a form implemented by the user.

상기 목적을 달성하기 위한 본 발명의 일 예에 따른 가상 핸들 제공 방법은 입력 수단 및 시뮬레이션 단말을 구비하는 가상 핸들 제공 시스템의 가상 핸들 제공 방법에 있어서, 상기 시뮬레이션 단말은, 상기 입력 수단으로부터 사용자의 손의 움직임을 감지하여 출력되는 감지 신호를 수신하는 단계; 상기 감지 신호를 상기 사용자의 손바닥 방향을 나타내는 기준 벡터를 포함하는 손의 위치 및 회전 정보로 변환하는 단계; 기저장된 적어도 하나의 가상 객체에 대한 데이터를 분석하여, 상기 가상 객체를 가상공간에 표시하는 단계; 상기 가상 객체의 무게 중심을 중심점으로 하는 상기 가상 객체의 바운딩 스피어를 설정하는 단계; 상기 기준 벡터의 방향에 대응하는 가상 기준 벡터를 갖는 가상 핸들의 상기 가상 기준 벡터를 상기 가상 객체의 무게 중심으로 향하는 방향으로 상기 가상 객체의 바운딩 스피어 상에 배치하는 단계; 상기 감지 신호의 변경에 응답하여, 상기 가상 핸들의 위치를 변경하고 변환 기준계로 설정하는 단계; 및 상기 변환 기준계를 기준으로 상기 감지 신호의 변경에 응답하여 상기 가상 객체를 회전 또는 이동하는 단계;를 포함한다.A virtual handle providing method according to an embodiment of the present invention for achieving the above object is a virtual handle providing method of a virtual handle providing system having an input means and a simulation terminal, wherein the simulation terminal, the user's hand from the input means; Receiving a detection signal output by detecting a movement of the; Converting the detection signal into position and rotation information of a hand including a reference vector indicating a palm direction of the user; Analyzing the data about at least one virtual object stored in advance and displaying the virtual object in a virtual space; Setting a bounding sphere of the virtual object centered on the center of gravity of the virtual object; Placing the virtual reference vector of the virtual handle having the virtual reference vector corresponding to the direction of the reference vector on a bounding sphere of the virtual object in a direction toward the center of gravity of the virtual object; In response to the change of the detection signal, changing the position of the virtual handle and setting it as a conversion reference system; And rotating or moving the virtual object in response to the change of the detection signal based on the transformation reference system.

상기 바운딩 스피어 상에 배치하는 단계는 상기 가상 기준 벡터가 상기 입력 수단의 상기 기준 벡터의 방향에 대응하는 방향이 되도록 상기 가상 핸들의 방향을 설정하는 단계; 상기 가상 객체의 무게 중심으로부터 상기 가상 기준 벡터와 반대 방향으로 향하는 연장선을 생성하는 단계; 및 상기 연장선과 상기 바운딩 스피어가 만나는 지점에 상기 가상 핸들을 배치하는 단계;를 포함하는 것을 특징으로 한다.The disposing on the bounding sphere may include setting a direction of the virtual handle such that the virtual reference vector is in a direction corresponding to the direction of the reference vector of the input means; Generating an extension line directed from the center of gravity of the virtual object in a direction opposite to the virtual reference vector; And disposing the virtual handle at a point where the extension line and the bounding sphere meet each other.

상기 변환 기준계로 설정하는 단계는 상기 감지 신호의 변경에 응답하여 상기 가상 핸들의 위치를 변경하는 단계; 상기 바운딩 스피어의 범위 이내로 상기 가상 핸들의 위치 변경 범위를 제한하는 단계; 및 상기 입력 수단으로부터 선택 신호가 입력되면, 상기 가상 핸들의 현재 위치를 변환 기준계로 설정하는 단계;를 포함하는 것을 특징으로 한다.The setting of the conversion reference system may include changing a position of the virtual handle in response to the change of the detection signal; Limiting the reposition range of the virtual handle within the bounding sphere; And setting a current position of the virtual handle as a conversion reference system when a selection signal is input from the input means.

상기 가상 객체를 회전 또는 이동하는 단계는 상기 가상 객체에 대해 기설정된 적어도 하나의 제약 사항이 저장되어 있는지 판별하는 단계; 상기 제약 사항이 저장되어 있지 않으면, 상기 감지 신호의 변경에 대응하는 상기 가상 핸들의 이동에 응답하여 상기 가상 객체를 이동하는 단계; 및 상기 감지 신호의 변경에 대응하는 상기 가상 핸들의 회전에 응답하여, 상기 변형 기준계를 기준으로 상기 가상 객체를 회전하는 단계;를 포함하는 것을 특징으로 한다.Rotating or moving the virtual object may include determining whether at least one preset constraint is stored for the virtual object; If the constraint is not stored, moving the virtual object in response to the movement of the virtual handle corresponding to the change of the detection signal; And rotating the virtual object based on the deformation reference system in response to the rotation of the virtual handle corresponding to the change of the detection signal.

상기 가상 객체를 회전 또는 이동하는 단계는 상기 적어도 하나의 제약 사항이 저장되어 있으면, 상기 제약 사항에 따라 상기 가상 객체의 일부를 이동 또는 회전하는 단계;를 더 포함하는 것을 특징으로 한다.The rotating or moving the virtual object may further include moving or rotating a part of the virtual object according to the constraint if the at least one constraint is stored.

상기 기준 벡터는 상기 사용자가 손으로 잡을 수 있도록 구현되는 상기 입력 수단의 형태에 따라 상기 사용자의 손바닥이 상기 입력 수단에 닿는 면에 수직 방향으로 설정되는 것을 특징으로 한다.
The reference vector may be set in a direction perpendicular to a surface where the palm of the user touches the input means according to the shape of the input means implemented by the user.

따라서, 본 발명의 쥠 입력수단을 이용한 가상 핸들 제공 시스템 및 방법은 3차원 컴퓨터 기반 응용프로그램에서 객체를 조작함에 있어, 3차원 입력 수단을 용이하게 적용하기 위한 인터랙션을 제공함으로서, 직관적으로 3차원 조작을 가능하도록 하며, 특히 기준계를 사용자가 자유롭게 설정 및 변경할 수 있도록 할 뿐만 아니라, 사용자의 입력을 객체의 특성에 맞추어 적합하게 변환하여 객체의 특정 위치에 맵핑함으로서 사용자의 3차원 가상 객체 조작의 편의성을 극대화 할 수 있다.
Accordingly, the system and method for providing a virtual handle using the input device of the present invention provides an interaction for easily applying the three-dimensional input means in manipulating an object in a three-dimensional computer-based application program, thereby intuitively operating the three-dimensional operation. In particular, the reference system can be freely set and changed by the user, and the user's 3D virtual object can be easily manipulated by converting the user's input according to the object's characteristics and mapping it to a specific position of the object. Can be maximized.

도1 은 본 발명의 일 실시예에 따른 가상 핸들 제공 시스템을 나타낸다.
도2 는 도1 의 입력 수단의 일 구현 예를 나타낸다.
도3 은 시뮬레이션 상에 표시되는 가상핸들 이미지의 일예를 나타낸다.
도4 는 본 발명의 일 실시예에 따른 쥠 입력수단을 이용한 가상 핸들 제공 방법을 나타낸다.
도5 는 도4 의 가상 핸들 제공 방법을 이용하여 변환 기준계를 설정하는 실시예를 나타낸다.
도6 은 도 5의 변환 기준계 설정 작업에서 객체의 바운딩 스피어에 따른 가상 핸들 움직임의 제약 방법을 나타낸다.
도7 은 도4 의 가상 객체를 조작하는 단계의 세부적인 실시예를 나타낸다.
도8 은 제약사항이 부가된 가상 객체에 대한 특수 변환의 일 실시예를 나타낸다.
도9 는 변환 기준계를 설정하는 실제 적용예를 나타낸다.
도10 은 변환 기준계를 선택하는 작업을 수행하는 과정의 적용예를 나타낸다.1 illustrates a virtual handle providing system according to an embodiment of the present invention.
FIG. 2 shows an embodiment of the input means of FIG. 1.
3 shows an example of a virtual handle image displayed on a simulation.
4 is a view illustrating a virtual handle providing method using an input method according to an embodiment of the present invention.
FIG. 5 illustrates an embodiment of setting a transformation reference system using the virtual handle providing method of FIG. 4.
FIG. 6 illustrates a method of restricting virtual handle movement according to a bounding sphere of an object in the transformation reference system setting operation of FIG. 5.
FIG. 7 illustrates a detailed embodiment of manipulating the virtual object of FIG. 4.
8 illustrates one embodiment of a special transformation for a virtual object with constraints added.
9 shows an example of practical application for setting the conversion reference system.
10 shows an application example of a process of performing a task of selecting a transformation reference system.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. In order to fully understand the present invention, operational advantages of the present invention, and objects achieved by the practice of the present invention, reference should be made to the accompanying drawings and the accompanying drawings which illustrate preferred embodiments of the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로서, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다. Hereinafter, the present invention will be described in detail with reference to the preferred embodiments of the present invention with reference to the accompanying drawings. However, the present invention can be implemented in various different forms, and is not limited to the embodiments described. In order to clearly describe the present invention, parts that are not related to the description are omitted, and the same reference numerals in the drawings denote the same members.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 “...부”, “...기”, “모듈”, “블록” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
Throughout the specification, when an element is referred to as " including " an element, it does not exclude other elements unless specifically stated to the contrary. The terms "part", "unit", "module", "block", and the like described in the specification mean units for processing at least one function or operation, And a combination of software.

도1 은 본 발명의 일 실시예에 따른 가상 핸들 제공 시스템을 나타낸다.1 illustrates a virtual handle providing system according to an embodiment of the present invention.

도1 에 도시된 바와 같이 본 발명의 가상 핸들 제공 시스템(100)은 입력 수단(110)과 시뮬레이션 단말(120)을 포함한다.As shown in FIG. 1, the virtual handle providing system 100 of the present invention includes an input unit 110 and a simulation terminal 120.

3차원 컴퓨터 기반 응용프로그램 상에서 가상 객체를 조작하는 데 있어, 가상 객체의 변환 과정은 대부분 직선 및 회전 운동 요소로 이루어진다. 이것은 모두 변환 중심을 따라 이루어진다. 직선 이동은 임의의 기준 프레임에 대하여 적용되지만, 회전 조작은 중심 위치와 특정 회전축에 매우 민감하다. 일반적으로, 사용자는 가상 3차원 공간에서 회전 조작을 적용하고자 하는 로컬 프레임을 고정할 수 있다. 하지만, 어떤 위치와 방향에서 직선 및 회전 조작으로 원하는 효과를 얻는 것은 매우 어렵다는 문제가 있었다.In manipulating virtual objects on a three-dimensional computer-based application, the transformation process of virtual objects consists mostly of linear and rotational motion elements. This is all done along the transformation center. Linear movement is applied for any reference frame, but rotational manipulation is very sensitive to the center position and a particular axis of rotation. In general, a user may fix a local frame to which the rotation manipulation is to be applied in the virtual three-dimensional space. However, there was a problem that it is very difficult to obtain the desired effect by the straight line and rotation operation in any position and direction.

상기한 바와 같이 이러한 문제는 종래의 인터랙션 메커니즘이 사용자 중심이 아닌 시스템 시점에서 정의되기 때문에 발생하기 때문이다. 도1 의 가상 핸들 제공 시스템은 이러한 문제를 해결하기 위해서, 손으로 잡는 것과 같은 입력 수단(110)에 대응하는 가상 핸들을 제공하며, 이로써 사용자로 하여금 용이하게 객체의 3차원 가상 객체의 이동 및 회전 작업을 수행할 수 있도록 한다.As described above, this problem occurs because the conventional interaction mechanism is defined at the system point of view, not the user center. In order to solve this problem, the virtual handle providing system of FIG. 1 provides a virtual handle corresponding to an input means 110 such as a hand grabbing, thereby allowing a user to easily move and rotate a three-dimensional virtual object of the object. Allow the work to be done.

입력 수단(110)은 사용자가 손으로 잡을 수 있는 형태로 구현되며, 가속도 센서(Accelerometer), 자이로스코프 센서(Gyroscope), 컴파스 센서(Compass)와 같은 각종 센서를 구비하여, 3차원 상에서 사용자의 손의 움직임 및 방향을 감지하고, 감지 신호를 시뮬레이션 단말(120)로 전송한다.The input means 110 is implemented in a form that a user can hold by hand, and includes various sensors such as an accelerometer, a gyroscope, a compass, and the user's hand in three dimensions. Detects the movement and direction of the signal, and transmits the detection signal to the simulation terminal 120.

이때 입력 수단(110)은 사용자가 손으로 잡을 수 있도록 구현된 형태상에서 사용자의 손바닥이 향하는 방향(즉 사용자가 입력 수단을 잡는 경우, 손바닥이 닿는 위치 면에서의 수직 방향)을 기준 방향으로 하여 감지 신호를 시뮬레이션 단말(120)로 전송할 수 있다. 입력 수단(110)이 사용자의 손바닥 방향을 기준 방향으로 설정하므로, 입력 수단(110)의 형태에 따라 기준 방향은 다양하게 변화할 수 있으며, 사용자에 의해 입력 수단(110)이 이동 또는 회전하게 되면, 기준 방향 또한 변경될 수 있다.At this time, the input means 110 detects the user's palm toward the direction (that is, the vertical direction in the position where the palm touches when the user holds the input means) as a reference direction in a form that the user can hold by hand. The signal may be transmitted to the simulation terminal 120. Since the input means 110 sets the direction of the palm of the user as the reference direction, the reference direction may vary according to the shape of the input means 110. When the input means 110 is moved or rotated by the user, The reference direction can also be changed.

그리고 입력 수단(110)는 적어도 하나의 사용자 선택 수단(예를 들면, 버튼)을 구비하여, 사용자가 입력 수단(110)의 사용자 선택 수단을 이용하여 선택 명령을 입력할 수 있도록 한다.The input means 110 includes at least one user selecting means (for example, a button) so that a user can input a selection command using the user selecting means of the input means 110.

시뮬레이션 단말(120)은 적어도 하나의 가상 객체에 대한 데이터를 저장할 수 있는 기록매체와 가상 객체를 3차원 이미지로 디스플레이하기 위한 디스플레이부를 구비한다. 시뮬레이션 단말(120)은 개인용 컴퓨터, 워크스테이션 등으로 구현될 수 있으며, 경우에 따라서는 가상 객체가 네트워크상의 서버에 저장되고, 시뮬레이션은 개인용 컴퓨터 등에서 표시되도록 구성되는 네트워크 컴퓨팅 시스템으로 구현될 수도 있다. 즉 시뮬레이션 단말(120)는 네트워크 상의 복수개의 컴퓨팅 장치들의 조합으로 구현될 수도 있다.The simulation terminal 120 includes a recording medium capable of storing data for at least one virtual object and a display unit for displaying the virtual object in a 3D image. The simulation terminal 120 may be implemented as a personal computer, a workstation, or the like. In some cases, a virtual object may be stored in a server on a network, and the simulation may be implemented as a network computing system configured to be displayed on a personal computer. That is, the simulation terminal 120 may be implemented as a combination of a plurality of computing devices on the network.

시뮬레이션 단말(120)은 입력 수단(110)으로부터 유선 또는 무선으로 인가되는 감지 신호에 응답하여, 입력 수단(110)의 기준 방향에 대응하는 방향의 가상 기준 방향으로 향하도록 표시되는 가상 핸들을 생성하여 디스플레이부에 가상 객체와 함께 표시할 수 있다. 즉 시뮬레이션 단말(120)은 입력 수단(110)으로부터 감지 신호를 수신하고, 수신된 감지 신호를 사용자의 손바닥 방향을 나타내는 기준 벡터를 포함하는 손의 위치 및 회전 정보로 변환하여, 가상 기준 벡터 방향의 가상 핸들를 생성한다.The simulation terminal 120 generates a virtual handle that is displayed to face in a virtual reference direction in a direction corresponding to the reference direction of the input means 110 in response to a sensing signal applied from the input means 110 by wire or wirelessly. The display can be displayed together with the virtual object. That is, the simulation terminal 120 receives a detection signal from the input means 110, converts the received detection signal into position and rotation information of a hand including a reference vector indicating a palm direction of the user, and then converts the detected signal into a virtual reference vector direction. Create a virtual handle.

그리고 시뮬레이션 단말(120)은 가상 기준 방향이 가상 객체의 무게 중심으로 향하고, 가상 객체의 외부 경계 및 내부 경계에 대응하는 범위를 갖는 바운딩 스피어(Bounding Sphere)에 배치되도록 가상 핸들을 매핑한다. 여기서 바운딩 스피어는 가상 객체의 외부 형상 중 무게 중심으로부터 가장 가까운 곳까지의 거리를 반지름으로 하는 구형에 대응하는 내부 경계와 가상객체의 외부 형상 중 무게 중심으로부터 가장 먼 곳까지의 거리를 반지름으로 하는 구형에 대응하는 외부 경계 사이의 범위를 갖는다. 그리고 가상 핸들을 시뮬레이션 초기에 매핑하는 경우에 우선적으로 바운딩 스피어의 외부 경계에 가상 핸들 매핑하는 것이 바람직하다. 이후, 사용자가 입력 수단(110)을 조작하여 감지 신호의 변화가 발생되면, 맵핑된 가상 핸들의 맵핑 위치를 변경한다. 이 때, 시뮬레이션 단말(120)은 가상 핸들의 움직임이 바운딩 스피어의 범위를 벗어나지 않도록 제한하여 사용자가 가상 객체의 표면을 쥐고 조작하는 것과 같은 감각을 가질 수 있도록 한다. 이후 입력 수단(110)으로부터 선택 신호가 인가되면, 현재 맵핑된 가상핸들의 위치 및 가상 핸들의 방향을 3차원 가상 객체의 시뮬레이션 변환의 기준인 변환 기준계로 설정한다.In addition, the simulation terminal 120 maps the virtual handles such that the virtual reference direction is directed toward the center of gravity of the virtual object and is disposed on a bounding sphere having a range corresponding to the outer boundary and the inner boundary of the virtual object. Here, the bounding sphere is a sphere whose radius is the distance from the center of gravity of the outer shape of the virtual object to the inner boundary corresponding to the sphere whose radius is the distance from the center of gravity closest to the center of the outer shape of the virtual object. Has a range between the outer boundaries corresponding to. In the case of mapping the virtual handle at the beginning of the simulation, it is preferable to first map the virtual handle to the outer boundary of the bounding sphere. Thereafter, when the user manipulates the input means 110 to change the detection signal, the mapping position of the mapped virtual handle is changed. At this time, the simulation terminal 120 is restricted so that the movement of the virtual handle does not go out of the bounding sphere range, so that the user can have a sense such as holding and manipulating the surface of the virtual object. Thereafter, when the selection signal is applied from the input means 110, the position of the currently mapped virtual handle and the direction of the virtual handle are set as a transformation reference system that is a reference for simulation transformation of the 3D virtual object.

즉 시뮬레이션 단말(120)은 입력 수단(110)으로부터 인가되는 감지 신호에 의해 입력 수단(110)을 잡은 사용자의 손바닥 방향에 대응하는 가상 기준 방향이 항상 가상 객체의 내부로 향하게 되고, 가상 객체의 외부 경계 및 내부 경계인 바운딩 스피어에서 물체를 가상 핸들이 물체를 잡는 것으로 설정하여 가상 객체를 직선 및 회전 이동 시킬 수 있도록 한다. 현실에서도 사람이 물체를 이동시키고자 하는 경우, 거의 대부분 손으로 물체를 잡게 되고, 이때 손바닥이 물체의 내부 방향으로 향하여 물체의 표면과 손바닥이 서로 닿게 된다. 따라서 본 발명의 가상 핸들 제공 시스템은 사용자가 가상의 객체에 대해 실제 물체를 손으로 잡는 듯한 감각으로 이동시킬 수 있다. 즉 3차원 가상 객체에 대한 사용자 조작의 편의성을 극대화 할 수 있다.
That is, in the simulation terminal 120, the virtual reference direction corresponding to the palm direction of the user holding the input means 110 is always directed to the inside of the virtual object by a sensing signal applied from the input means 110, and the outside of the virtual object. In bounding spheres, which are boundaries and internal boundaries, the object is set to hold the object by the virtual handle so that the virtual object can be linearly and rotationally moved. In reality, when a person wants to move an object, most of the time, he or she grabs the object by hand, with the palm facing the inner direction of the object, and the surface of the object and the palm touch each other. Therefore, the virtual handle providing system of the present invention can move the user as if he or she is holding a real object with respect to the virtual object. In other words, it is possible to maximize the convenience of user manipulation of the 3D virtual object.

도2 는 도1 의 입력 수단의 일 구현 예를 나타낸다.FIG. 2 shows an embodiment of the input means of FIG. 1.

도2 에 도시된 바와 같이, 본 발명의 입력 수단(110)은 사용자가 손으로 잡을 수 있는 구조로 구현되며, 적어도 하나의 선택 수단으로 두 개의 버튼(SB)을 구비한다. 도2 에서 입력 수단(110)은 2개의 버튼을 구비함에 따라 서로 다른 두가지 종류의 선택 명령을 시뮬레이션 단말(110)로 인가할 수 있다.As shown in Figure 2, the input means 110 of the present invention is implemented in a structure that the user can hold by hand, it is provided with two buttons (SB) as at least one selection means. In FIG. 2, since the input unit 110 includes two buttons, two different kinds of selection commands may be applied to the simulation terminal 110.

또한 도2 의 입력 수단(110)은 추가적인 명령 입력 수단으로 스틱(ST)을 포함하고 있다. 스틱(ST)는 사용자가 입력 수단(110) 전체를 움직이지 않고서도 가상 객체를 조작 또는 세부 조작을 할 수 있도록 하거나, 메뉴 등을 선택하고자 할 때 활용 할 수 있도록 한다.In addition, the input means 110 of FIG. 2 includes a stick ST as an additional command input means. The stick ST may allow the user to manipulate or detail a virtual object without moving the entire input means 110 or to use a menu when selecting a menu.

그리고 도2 에 도시된 바와 같이 입력 수단(110)은 입력 수단(110)을 잡는 사용자의 손바닥에 수직 방향을 기준 방향으로 기준 벡터(RVh)를 제공한다. 이로서 사용자가 입력 수단(110)을 잡고 손을 움직이면, 입력 수단(110)은 손의 움직임에 따라 기준 벡터(RVh)를 변경하여 시뮬레이션 단말(120)로 전송한다.
As shown in FIG. 2, the input means 110 provides the reference vector RV h in the vertical direction to the palm of the user holding the input means 110. As a result, when the user moves the hand while holding the input means 110, the input means 110 changes the reference vector RV h according to the movement of the hand and transmits the reference vector to the simulation terminal 120.

도3 은 시뮬레이션 상에 표시되는 가상핸들 이미지의 일예를 나타낸다.3 shows an example of a virtual handle image displayed on a simulation.

도3 의 가상 핸들(VHD)는 3차원 가상공간에 표시되는 이미지로서, 도2 의 입력 수단(110)에 대응하는 이미지이다. 이에 도3 의 가상 핸들은 도2 의 입력 수단(110)에 대응하는 방향으로 배치되어 있다. 즉 시뮬레이션 상의 가상 핸들(VHD)의 기준 방향인 가상 기준 벡터(Vh)가 현실의 입력 수단(110)의 기준 벡터(RVh)에 대응하도록 배치된다. 가상 기준 벡터(Vh)는 입력 수단(110)의 기준 벡터(RVh)가 사용자의 손바닥에서 수직 방향으로 향하도록 설정되는 것과 마찬가지로, 가상 핸들(VHD)의 중심점(RC)로부터 가상 핸들(VHD) 이미지의 수직 방향으로 향하도록 설정된다.
The virtual handle VHD of FIG. 3 is an image displayed in the three-dimensional virtual space and corresponds to the input means 110 of FIG. Accordingly, the virtual handle of FIG. 3 is disposed in a direction corresponding to the input means 110 of FIG. That is, the virtual reference vector V h , which is the reference direction of the virtual handle VHD in the simulation, is arranged to correspond to the reference vector RV h of the input unit 110. The virtual reference vector V h is set from the center point RC of the virtual handle VHD to the virtual handle VHD, just as the reference vector R h of the input means 110 is set in the vertical direction at the palm of the user. ) Is set to face in the vertical direction of the image.

도4 는 본 발명의 일 실시예에 따른 쥠 입력수단을 이용한 가상 핸들 제공 방법을 나타내고, 도5 는 도4 의 가상 핸들 제공 방법을 이용하여 변환 기준계를 설정하는 실시예를 나타낸다. 그리고 도6 은 바운딩 스피어에 따른 가상 핸들의 움직임의 제약을 나타내는 도면이다.4 illustrates a method for providing a virtual handle using a W input unit according to an embodiment of the present invention, and FIG. 5 illustrates an embodiment for setting a conversion reference system using the method for providing a virtual handle of FIG. 6 is a diagram illustrating a constraint of the movement of the virtual handle according to the bounding sphere.

도1 내지 도5 를 참조하여, 본 발명의 쥠 입력수단을 이용한 가상 핸들 제공 방법을 설명하면, 먼저 사용자가 입력 수단(110)을 조작하면, 입력 수단(110)의 복수개의 센서가 감지 신호를 시뮬레이션 단말(120)로 전송하고, 시뮬레이션 단말(120)은 감지 신호를 수신한다(S10). 그리고 도5 의 (a)에 도시된 바와 같이, 수신된 감지 신호로부터 가상 기준 벡터(Vh)를 획득한다.1 to 5, the method for providing a virtual handle using the input device of the present invention will be described. First, when a user manipulates the input means 110, a plurality of sensors of the input means 110 detect a detection signal. It transmits to the simulation terminal 120, the simulation terminal 120 receives the detection signal (S10). As shown in FIG. 5A, a virtual reference vector V h is obtained from the received sensing signal.

이후 시뮬레이션 단말(120)은 시뮬레이션 대상으로 선택된 가상 객체 데이터로부터 가상 객체(VO)의 무게 중심을 설정하고, 설정된 무게 중심을 중심점으로 하는 가상 객체(VO)의 외부 경계와 내부 경계를 갖는 바운딩 스피어를 설정한다(S20). 이때 상기한 바와 같이 설정되는 바운딩 스피어의 외부 경계는 가상 객체(VO)의 외부 형상 중 무게 중심으로부터 가장 먼 곳까지의 거리를 반지름으로 하는 구형으로 구현되고, 바운딩 스피어의 내부 경계는 가상 객체(VO)의 외부 형상 중 무게 중심으로부터 가장 가까운 곳까지의 거리를 반지름으로 하는 구형으로 구현되는 것이 바람직하다.Thereafter, the simulation terminal 120 sets the center of gravity of the virtual object VO from the virtual object data selected as the simulation target, and establishes a bounding sphere having an outer boundary and an inner boundary of the virtual object VO having the center of gravity as the center of gravity. Set (S20). In this case, the outer boundary of the bounding sphere set as described above is implemented as a sphere having a radius of the distance from the center of gravity of the outer shape of the virtual object VO to the furthest point, and the inner boundary of the bounding sphere is the virtual object VO. It is preferable to implement a spherical shape having a radius of the distance from the center of gravity to the closest of the outer shape of the).

바운딩 스피어가 설정되면, 가상 객체(VO)의 무게 중심으로부터 가상 핸들(VHD)의 가상 기준 벡터(Vh)와 반대 방향으로 향하는 연장선을 생성하고, 도5 의 (b)에 도시된 바와 같이, 연장선과 바운딩 스피어가 만나는 지점에 가상 핸들(VHD)을 맵핑한다.When the bounding sphere is set, an extension line is generated from the center of gravity of the virtual object VO in a direction opposite to the virtual reference vector V h of the virtual handle VHD, and as shown in FIG. Map the virtual handle (VHD) to the point where the extension line and the bounding sphere meet.

이후 사용자가 입력 수단(110)을 조작함에 의해 입력 수단(110)으로부터 수신되는 감지 신호의 변경이 발생하는지 판별한다(S40). 만일 감지 신호의 변경이 발생하면, 변경되는 감지 신호에 따라 맵핑 위치를 변경하고, 가상 핸들의 움직임을 바운딩 스피어 범위 이내로 제약한다(S50). 도5 의 (c)는 가상 핸들이 맵핑되는 위치를 변경하는 경우를 나타낸 도면이고, 도5 의 (d)는 바운딩 스피어에 따라 가상 핸들의 움직임을 제약하는 경우를 나타낸 도면이다. 도5 의 (c)와 (d)는 맵핑 위치의 변경과 움직임의 제약을 별도로 조절하는 것으로 도시하였으나, 맵핑 위치의 변경과 움직임의 제약은 동시에 진행된다.Thereafter, when the user manipulates the input means 110, it is determined whether a change in the detection signal received from the input means 110 occurs (S40). If the change of the detection signal occurs, the mapping position is changed according to the changed detection signal, and the movement of the virtual handle is constrained within the bounding sphere range (S50). FIG. 5C is a diagram illustrating a case of changing the position where the virtual handle is mapped, and FIG. 5D is a diagram illustrating a case of restricting the movement of the virtual handle according to the bounding sphere. 5 (c) and 5 (d) show that the change of the mapping position and the constraint of the movement are separately controlled, the change of the mapping position and the constraint of the movement proceed simultaneously.

그리고 시뮬레이션 단말(120)는 입력 수단(110)으로부터 설정 신호가 수신되는지 판별한다(S60). 만일 설정 신호가 수신되면, 시뮬레이션 단말(120)은 현재 가상 핸들이 맵핑된 위치와 바운딩 스피어를 시뮬레이션 조작의 변환을 위한 변환 기준계로 설정한다(S70). 그러나 설정 신호가 수신되지 않으면, 감지 신호의 변경이 발생하는지 계속 확인한다(S40).In addition, the simulation terminal 120 determines whether a setting signal is received from the input means 110 (S60). If the setting signal is received, the simulation terminal 120 sets the bounding sphere where the current virtual handle is mapped as the transformation reference system for the transformation of the simulation operation (S70). However, if the setting signal is not received, it is continuously checked whether a change in the detection signal occurs (S40).

그리고 변환 기준계가 설정되면, 이후 시뮬레이션 단말을 입력 수단(110)에서 인가되는 감지 신호에 응답하여 변환 기준계를 기초로 가상 객체(VO)를 조작한다(S80).After the conversion reference system is set, the simulation terminal manipulates the virtual object VO based on the conversion reference system in response to the sensing signal applied from the input unit 110 (S80).

여기서 변환 기준계란 현실에서 사람이 물체를 잡고 움직일 때, 사람이 물체를 잡는 위치에 대응하는 가상현실 상의 기준으로서, 가상 핸들이 변환 기준계로 설정된 가상 객체(VO)의 위치를 잡고 가상 객체(VO)를 조작하는 것과 동일한 효과를 주도록 한다.
Here, the transformation reference system is a virtual reality reference corresponding to the position at which a person grabs an object when a person grabs and moves an object in reality, and holds the position of the virtual object VO whose virtual handle is set as the transformation reference system. It has the same effect as manipulating.

도7 은 도4 의 가상 객체를 조작하는 단계의 세부적인 실시예를 나타내고, 도8 은 제약사항이 부가된 가상 객체에 대한 특수 변환의 일 실시예를 나타낸다.FIG. 7 shows a detailed embodiment of the step of manipulating the virtual object of FIG. 4, and FIG. 8 shows an embodiment of a special transformation for a virtual object with constraints added.

도7 에서 가상 객체를 조작하는 단계(S80)는 먼저 시뮬레이션 단말(120)이 저장된 가상 객체 데이터 중 시뮬레이션할 가상 객체의 데이터에 대해 분석을 수행한다(S81). 이때 시뮬레이션 단말(120)는 가상 객체에 특별한 제약사항이 있는지 분석할 수 있다. 가상 객체에 대한 특별한 제약 사항이란 미리 정의된 피벗(Pivot)이나 움직임의 제약 사항이 있는지 여부 등이 포함될 수 있다. 그러나 변환 기준계를 설정하는 과정에서 가상 객체에 대한 제약 사항 분석까지 완료된 상태라면 이 단계는 생략될 수 있다.In operation S80 of FIG. 7, the simulation terminal 120 analyzes data of the virtual object to be simulated among the virtual object data stored in the simulation terminal 120 (S81). In this case, the simulation terminal 120 may analyze whether there are special restrictions on the virtual object. Special constraints on virtual objects may include whether there are predefined pivots or movement constraints. However, this step can be omitted if the analysis of the constraints on the virtual objects is completed in the process of setting the transformation reference system.

그리고 시뮬레이션 단말(120)은 입력 수단(110) 또는 시뮬레이션 단말(120)을 통해 시뮬레이션 종료 명령이 인가되는지 판별한다(S82). 시뮬레이션 종료 명령이 인가되면, 시뮬레이션을 종료한다. 그러나 시뮬레이션 종료 명령이 인가되지 않으면, 입력 수단(110)으로부터 인가되는 감지 신호를 분석한다(S83).In addition, the simulation terminal 120 determines whether a simulation end command is applied through the input means 110 or the simulation terminal 120 (S82). If a simulation end command is issued, the simulation ends. However, if the simulation end command is not applied, the detection signal applied from the input means 110 is analyzed (S83).

감지 신호를 분석한 시뮬레이션 단말(120)은 분석된 가상 객체의 특성(제약 사항 존재 여부 등)을 고려하여 가상 객체에 대해 자유 변환을 수행할 지, 특수변환을 수행할지 판별한다(S84). 자유 변환은 가상 객체에 제약이 없는 경우로서, 가상 객체를 일반적인 강체로서 처리하며, 6자유도 3차원 입력과 기설정된 변환 기준계를 기초로 물체의 변환을 수행하는 것을 의미하며, 특수 변환은 가상 객체에 적어도 하나의 제약이 있어, 제약 사항을 고려한 변환을 수행하는 것을 의미한다.The simulation terminal 120 analyzing the detection signal determines whether to perform a free transformation or a special transformation on the virtual object in consideration of the characteristics of the analyzed virtual object (whether there is a constraint or the like) (S84). Free transformation is a case where there is no restriction on the virtual object, and the virtual object is treated as a general rigid body, and the transformation of the object is performed based on 6 degrees of freedom three-dimensional input and a predetermined transformation reference system. There is at least one constraint in, which means to perform the conversion considering the constraint.

시뮬레이션 단말(120)은 가상 객체에 제약 사항이 없이 자유 변환을 수행하는 것으로 판단되면, 감지 신호가 직선 이동을 나타내는지 판별한다(S85). 감지 신호가 직선 이동을 나타내면, 시뮬레이션 단말(120)은 가상 핸들(VHD)과 가상 객체(VO)를 동시에 이동 시킨다(S86).If it is determined that the simulation terminal 120 performs free transformation without restriction on the virtual object, the simulation terminal 120 determines whether the sensing signal represents a linear movement (S85). When the detection signal indicates a linear movement, the simulation terminal 120 simultaneously moves the virtual handle VHD and the virtual object VO (S86).

그리고 감지 신호가 회전 이동을 나타내는지 판별한다(S87). 감지 신호가 회전 이동을 나타내면, 설정된 변환 기준계를 회전축으로 하여 가상 객체를 회전 시킨다(S88).Then, it is determined whether the detection signal indicates the rotational movement (S87). When the detection signal indicates the rotation movement, the virtual object is rotated using the set conversion reference system as the rotation axis (S88).

자유 변환 시에 가상 객체의 변환 수학식 1에 따라 같이 수행될 수 있다.The free transformation may be performed according to the transformation equation 1 of the virtual object.

Figure 112013002403591-pat00001
Figure 112013002403591-pat00001

여기서 Mobject'는 변환된 객체의 매트릭스, Rhand는 가상 기준 벡터의 회전에 대한 매트릭스, Thand는 가상 기준 벡터의 이동에 대한 매트릭스, Tobject는 객체의 기존 중심과 객체의 특정 위치에 맵핑된 가상 핸들 사이의 위치 차이, Mobject는 기존 객체의 매트릭스를 나타낸다.Where M object 'is the matrix of transformed objects, R hand is the matrix for rotation of the virtual reference vector, T hand is the matrix for the movement of the virtual reference vector, and T object is mapped to the existing center of the object and to a specific location of the object. The positional difference between the virtual handles, M object , represents a matrix of existing objects.

그에 비해 만일 가상 객체에 적어도 하나의 제약 사항이 있다면, 시뮬레이션 단말(120)은 특수 변환을 설정한다(S90). 특수 변환이 설정되면, 시뮬레이션 단말(120)은 가상 객체의 제약 조건을 분석한다(S91). 그리고 분석된 가상 객체의 제약 정보와 입력 수단(110)에서 인가되는 감지 신호를 이용하여 수정된 변환 매트릭스를 계산하여 적용함으로서 가상 객체의 제약 조건에 따른 회전 및 이동 작업을 수행한다. 이때 본 발명의 가상 핸들 제공 시스템(100)은 객체의 특정 부분을 변환 기준계로 설정하고, 설정된 변환 기준계에 따라 객체의 대응하는 영역만을 조작할 수 있도록 제어할 수 있다.In contrast, if there is at least one constraint on the virtual object, the simulation terminal 120 sets a special transformation (S90). If the special transformation is set, the simulation terminal 120 analyzes the constraints of the virtual object (S91). The modified transformation matrix is calculated and applied using the analyzed virtual object constraint information and the sensing signal applied from the input unit 110 to perform rotation and movement operations according to the constraint of the virtual object. In this case, the virtual handle providing system 100 of the present invention may set a specific part of the object as a transformation reference system, and control to operate only a corresponding region of the object according to the set transformation reference system.

도8 에서는 가상 객체(VO)가 한점에 대해 고정된 피봇을 가지는 제약 사항을 구비함에 따라 가상 객(VO)체 전체가 회전하지 않고, 제약 사항에 따라 가상 객체(VO)의 일부가 굽어지는 것을 표현하는 방법을 나타낸다.
In FIG. 8, as the virtual object VO has a constraint with a fixed pivot about a point, the entire virtual object VO does not rotate, and a part of the virtual object VO is bent according to the constraint. It shows how to express.

도9 는 변환 기준계를 설정하는 실제 적용예를 나타낸다.9 shows an example of practical application for setting the conversion reference system.

도9 의 (a) 내지 (c)에 도시된 바와 같이 본 발명의 가상 핸들 제공 시스템(100)은 가상 객체의 임의의 위치에 대해 변환 기준계로 설정할 수 있다. 또한 도9 에서는 변환 기준계 설정의 의미를 사용자가 용이하게 파악할 수 있도록 가상 핸들의 이미지를 사람의 손형상으로 구현하였다.
As shown in (a) to (c) of FIG. 9, the virtual handle providing system 100 of the present invention may set a conversion reference system for any position of the virtual object. In addition, in FIG. 9, the image of the virtual handle is implemented in the shape of a human hand so that the user can easily understand the meaning of the conversion reference system setting.

도10 은 변환 기준계를 선택하는 작업을 수행하는 과정의 적용예를 나타낸다.10 shows an application example of a process of performing a task of selecting a transformation reference system.

도10 에 도시된 바와 같이 본 발명에서 가상 핸들(VHD)은 입력 수단(110)을 잡은 사용자의 손바닥에 수직 방향으로 가상 기준 벡터(Vh)를 생성하고, 가상 기준 벡터(Vh)를 가상 객체의 무게 중심 방향으로 맵핑함에 의해 변환 기준계를 설정할 수 있다.
The virtual handle (VHD) in the present invention as shown in Figure 10 generates the virtual reference vector (V h) in the vertical direction to the user's hand holding the input device 110, the virtual virtual reference vector (V h) The transformation reference system may be set by mapping in the direction of the center of gravity of the object.

본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
The method according to the present invention can be implemented as a computer-readable code on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and a carrier wave (for example, transmission via the Internet). The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is evident that many alternatives, modifications and variations will be apparent to those skilled in the art.

따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.

Claims (12)

사용자가 손으로 잡을 수 있는 형태로 구현되고, 상기 사용자의 손의 움직임을 감지하여 감지 신호를 출력하는 입력 수단; 및
기저장된 적어도 하나의 가상 객체에 대한 데이터를 분석하여, 상기 가상 객체를 가상공간에 표시하고, 상기 입력 수단으로부터 상기 감지 신호를 수신하고, 상기 감지 신호를 상기 사용자의 손바닥 방향을 나타내는 기준 벡터를 포함하는 손의 위치 및 회전 정보로 변환하여 상기 기준 벡터의 방향에 대응하는 가상 기준 벡터를 갖는 가상 핸들을 표시하며, 상기 가상 핸들의 상기 가상 기준 벡터가 상기 가상 객체의 무게 중심으로 향하는 방향의 상기 가상 객체의 바운딩 스피어 상에 상기 가상 핸들을 배치한 후, 상기 감지 신호의 변경에 응답하여, 상기 가상 핸들의 위치를 변경하여 변환 기준계로 설정하는 시뮬레이션 단말;을 포함하는 가상 핸들 제공 시스템.
It is implemented in the form that the user can hold by the hand, the input means for detecting the movement of the user's hand to output a detection signal; And
Analyzing data on at least one virtual object stored in advance, displaying the virtual object in a virtual space, receiving the detection signal from the input means, and including the reference vector indicating the direction of the user's palm of the user. A virtual handle having a virtual reference vector corresponding to the direction of the reference vector by converting the position and rotation information of the hand into a position, wherein the virtual reference vector of the virtual handle is directed toward the center of gravity of the virtual object. And placing the virtual handle on a bounding sphere of an object, and in response to a change in the detection signal, a simulation terminal configured to change the position of the virtual handle and set it as a transformation reference system.
제1 항에 있어서, 상기 입력 수단은
적어도 하나의 선택 수단을 더 구비하고, 상기 사용자의 명령에 응답하여, 적어도 하나의 선택 신호를 상기 시뮬레이션 단말로 전송하는 것을 특징으로 하는 가상 핸들 제공 시스템.
The method of claim 1, wherein the input means
And at least one selection means, and in response to the user's command, transmitting at least one selection signal to the simulation terminal.
제2 항에 있어서, 상기 시뮬레이션 단말은
상기 입력 수단으로부터 상기 선택 신호가 수신되면, 현재 가상 핸들의 위치를 상기 변환 기준계로 설정하는 것을 특징으로 하는 가상 핸들 제공 시스템.
The method of claim 2, wherein the simulation terminal
And when the selection signal is received from the input means, sets a position of a current virtual handle as the conversion reference system.
제3 항에 있어서, 상기 시뮬레이션 단말은
상기 변환 기준계가 설정된 이후, 상기 감지 신호의 변화가 발생하면, 상기 변환 기준계를 기준으로 상기 가상 객체와 상기 가상 핸들을 이동 또는 회전하는 것을 특징으로 하는 가상 핸들 제공 시스템.
The method of claim 3, wherein the simulation terminal
And after the transformation reference system is set, when a change in the detection signal occurs, the virtual handle and the virtual handle are moved or rotated based on the transformation reference system.
제4 항에 있어서, 상기 시뮬레이션 단말은
상기 가상 객체에 기설정된 제약 사항이 있는 경우, 상기 제약 사항에 따라 상기 가상 객체의 일부만을 이동 또는 회전하는 것을 특징으로 하는 가상 핸들 제공 시스템.
The method of claim 4, wherein the simulation terminal
If there is a predetermined constraint on the virtual object, the virtual handle providing system, characterized in that for moving or rotating only a part of the virtual object in accordance with the constraint.
제4 항에 있어서, 상기 입력 수단은
상기 사용자가 손으로 잡을 수 있도록 구현된 형태에 따라 상기 사용자의 손바닥이 상기 입력 수단에 닿는 면에 수직 방향으로 상기 기준 벡터를 설정하는 것을 특징으로 하는 가상 핸들 제공 시스템.
The method of claim 4, wherein the input means
And setting the reference vector in a direction perpendicular to a surface where the palm of the user touches the input means, according to a form embodied so that the user can hold by hand.
입력 수단 및 시뮬레이션 단말을 구비하는 가상 핸들 제공 시스템의 가상 핸들 제공 방법에 있어서, 상기 시뮬레이션 단말은,
상기 입력 수단으로부터 사용자의 손의 움직임을 감지하여 출력되는 감지 신호를 수신하는 단계;
상기 감지 신호를 상기 사용자의 손바닥 방향을 나타내는 기준 벡터를 포함하는 손의 위치 및 회전 정보로 변환하는 단계;
기저장된 적어도 하나의 가상 객체에 대한 데이터를 분석하여, 상기 가상 객체를 가상공간에 표시하는 단계;
상기 가상 객체의 무게 중심을 중심점으로 하는 상기 가상 객체의 바운딩 스피어를 설정하는 단계;
상기 기준 벡터의 방향에 대응하는 가상 기준 벡터를 갖는 가상 핸들의 상기 가상 기준 벡터를 상기 가상 객체의 무게 중심으로 향하는 방향으로 상기 가상 객체의 바운딩 스피어 상에 배치하는 단계;
상기 감지 신호의 변경에 응답하여, 상기 가상 핸들의 위치를 변경하고 변환 기준계로 설정하는 단계; 및
상기 변환 기준계를 기준으로 상기 감지 신호의 변경에 응답하여 상기 가상 객체를 회전 또는 이동하는 단계;를 포함하는 가상 핸들 제공 방법.
In the virtual handle providing method of the virtual handle providing system having an input means and a simulation terminal, The simulation terminal,
Receiving a detection signal output by detecting a movement of a user's hand from the input means;
Converting the detection signal into position and rotation information of a hand including a reference vector indicating a palm direction of the user;
Analyzing the data about at least one virtual object stored in advance and displaying the virtual object in a virtual space;
Setting a bounding sphere of the virtual object centered on the center of gravity of the virtual object;
Placing the virtual reference vector of the virtual handle having the virtual reference vector corresponding to the direction of the reference vector on a bounding sphere of the virtual object in a direction toward the center of gravity of the virtual object;
In response to the change of the detection signal, changing the position of the virtual handle and setting it as a conversion reference system; And
And rotating or moving the virtual object in response to the change of the detection signal with respect to the transformation reference system.
제7 항에 있어서, 상기 바운딩 스피어 상에 배치하는 단계는
상기 가상 기준 벡터가 상기 입력 수단의 상기 기준 벡터의 방향에 대응하는 방향이 되도록 상기 가상 핸들의 방향을 설정하는 단계;
상기 가상 객체의 무게 중심으로부터 상기 가상 기준 벡터와 반대 방향으로 향하는 연장선을 생성하는 단계; 및
상기 연장선과 상기 바운딩 스피어가 만나는 지점에 상기 가상 핸들을 배치하는 단계;를 포함하는 것을 특징으로 하는 가상 핸들 제공 방법.
8. The method of claim 7, wherein placing on the bounding sphere
Setting a direction of the virtual handle such that the virtual reference vector is a direction corresponding to the direction of the reference vector of the input means;
Generating an extension line directed from the center of gravity of the virtual object in a direction opposite to the virtual reference vector; And
And arranging the virtual handle at a point where the extension line and the bounding sphere meet each other.
제8 항에 있어서, 상기 변환 기준계로 설정하는 단계는
상기 감지 신호의 변경에 응답하여 상기 가상 핸들의 위치를 변경하는 단계;
상기 바운딩 스피어의 범위 이내로 상기 가상 핸들의 위치 변경 범위를 제한하는 단계; 및
상기 입력 수단으로부터 선택 신호가 입력되면, 상기 가상 핸들의 현재 위치를 변환 기준계로 설정하는 단계;를 포함하는 것을 특징으로 하는 가상 핸들 제공 방법.
The method of claim 8, wherein the setting of the conversion reference system
Changing the position of the virtual handle in response to the change of the detection signal;
Limiting the reposition range of the virtual handle within the bounding sphere; And
And setting a current position of the virtual handle as a conversion reference system when a selection signal is input from the input means.
제9 항에 있어서, 상기 가상 객체를 회전 또는 이동하는 단계는
상기 가상 객체에 대해 기설정된 적어도 하나의 제약 사항이 저장되어 있는지 판별하는 단계;
상기 제약 사항이 저장되어 있지 않으면, 상기 감지 신호의 변경에 대응하는 상기 가상 핸들의 이동에 응답하여 상기 가상 객체를 이동하는 단계; 및
상기 감지 신호의 변경에 대응하는 상기 가상 핸들의 회전에 응답하여, 상기 변형 기준계를 기준으로 상기 가상 객체를 회전하는 단계;를 포함하는 것을 특징으로 하는 가상 핸들 제공 방법.
The method of claim 9, wherein rotating or moving the virtual object comprises:
Determining whether at least one preset constraint is stored for the virtual object;
If the constraint is not stored, moving the virtual object in response to the movement of the virtual handle corresponding to the change of the detection signal; And
And in response to the rotation of the virtual handle corresponding to the change of the detection signal, rotating the virtual object based on the deformation reference system.
제10 항에 있어서, 상기 가상 객체를 회전 또는 이동하는 단계는
상기 적어도 하나의 제약 사항이 저장되어 있으면, 상기 제약 사항에 따라 상기 가상 객체의 일부를 이동 또는 회전하는 단계;를 더 포함하는 것을 특징으로 하는 가상 핸들 제공 방법.
The method of claim 10, wherein rotating or moving the virtual object comprises:
If the at least one constraint is stored, moving or rotating a portion of the virtual object according to the constraint; further comprising providing a virtual handle.
제7 항에 있어서, 상기 기준 벡터는
상기 사용자가 손으로 잡을 수 있도록 구현되는 상기 입력 수단의 형태에 따라 상기 사용자의 손바닥이 상기 입력 수단에 닿는 면에 수직 방향으로 설정되는 것을 특징으로 하는 가상 핸들 제공 방법.The method of claim 7, wherein the reference vector is
And the user's palm is set in a direction perpendicular to a surface of the user's palm touching the input means according to a form of the input means implemented by the user.
KR1020130002593A 2013-01-09 2013-01-09 System and method for providing vitual handle with grabbing metaphor KR101357281B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130002593A KR101357281B1 (en) 2013-01-09 2013-01-09 System and method for providing vitual handle with grabbing metaphor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130002593A KR101357281B1 (en) 2013-01-09 2013-01-09 System and method for providing vitual handle with grabbing metaphor

Publications (1)

Publication Number Publication Date
KR101357281B1 true KR101357281B1 (en) 2014-01-28

Family

ID=50146673

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130002593A KR101357281B1 (en) 2013-01-09 2013-01-09 System and method for providing vitual handle with grabbing metaphor

Country Status (1)

Country Link
KR (1) KR101357281B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109933194A (en) * 2019-03-05 2019-06-25 郑州万特电气股份有限公司 To the exchange method of virtual target object in a kind of mixed reality environment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001325611A (en) * 2000-05-15 2001-11-22 Sony Corp Device and method for processing three-dimensional model and program providing medium
JP2008123061A (en) * 2006-11-08 2008-05-29 Canon Inc Force sense presentation device and mixed reality system
KR20100044983A (en) * 2008-10-23 2010-05-03 삼성전자주식회사 Apparatus and method for manipulating virtual object

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001325611A (en) * 2000-05-15 2001-11-22 Sony Corp Device and method for processing three-dimensional model and program providing medium
JP2008123061A (en) * 2006-11-08 2008-05-29 Canon Inc Force sense presentation device and mixed reality system
KR20100044983A (en) * 2008-10-23 2010-05-03 삼성전자주식회사 Apparatus and method for manipulating virtual object

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문:CHI2012 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109933194A (en) * 2019-03-05 2019-06-25 郑州万特电气股份有限公司 To the exchange method of virtual target object in a kind of mixed reality environment

Similar Documents

Publication Publication Date Title
EP3908906B1 (en) Near interaction mode for far virtual object
US10503373B2 (en) Visual feedback for highlight-driven gesture user interfaces
US10289214B2 (en) Method and device of controlling virtual mouse and head-mounted displaying device
KR101531363B1 (en) Method of controlling virtual object or view point on two dimensional interactive display
KR20190009846A (en) Remote hover touch system and method
Pietroszek et al. Smartcasting: a discount 3D interaction technique for public displays
KR101318244B1 (en) System and Method for Implemeting 3-Dimensional User Interface
US20140317576A1 (en) Method and system for responding to user's selection gesture of object displayed in three dimensions
JP6110893B2 (en) Virtual space location designation method, program, recording medium recording program, and apparatus
KR20140060818A (en) Remote controller and display apparatus, control method thereof
US11687427B2 (en) Multiple XR extended reality application validation process and testing
CN111665933A (en) Method and device for operating object in virtual or augmented reality
CN105103112A (en) Apparatus and method for manipulating the orientation of object on display device
Nguyen et al. 3DTouch: A wearable 3D input device for 3D applications
EP3295303B1 (en) Annotation creation system and method
US9310851B2 (en) Three-dimensional (3D) human-computer interaction system using computer mouse as a 3D pointing device and an operation method thereof
Hirota et al. Providing force feedback in virtual environments
JP2015135572A (en) Information processing apparatus and control method of the same
EP2538308A2 (en) Motion-based control of a controllled device
US20170199585A1 (en) Processing unit, computer program amd method to control a cursor on a screen according to an orientation of a pointing device
RU2670649C9 (en) Method of manufacturing virtual reality gloves (options)
KR101357281B1 (en) System and method for providing vitual handle with grabbing metaphor
US20070200847A1 (en) Method And Device For Controlling A Virtual Reality Graphic System Using Interactive Techniques
US10102310B2 (en) Precise object manipulation system and method
KR101602167B1 (en) System and method for controlling virtual reality menu based in wrist action

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161227

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee