KR102391321B1 - System for implementing mixed reality - Google Patents

System for implementing mixed reality Download PDF

Info

Publication number
KR102391321B1
KR102391321B1 KR1020200154661A KR20200154661A KR102391321B1 KR 102391321 B1 KR102391321 B1 KR 102391321B1 KR 1020200154661 A KR1020200154661 A KR 1020200154661A KR 20200154661 A KR20200154661 A KR 20200154661A KR 102391321 B1 KR102391321 B1 KR 102391321B1
Authority
KR
South Korea
Prior art keywords
unit
direction information
information
button input
drop
Prior art date
Application number
KR1020200154661A
Other languages
Korean (ko)
Inventor
민동구
박정철
Original Assignee
주식회사 모소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 모소 filed Critical 주식회사 모소
Priority to KR1020200154661A priority Critical patent/KR102391321B1/en
Priority to KR1020220050363A priority patent/KR102655253B1/en
Priority to KR1020220050358A priority patent/KR20220068202A/en
Priority to KR1020220050373A priority patent/KR102655232B1/en
Application granted granted Critical
Publication of KR102391321B1 publication Critical patent/KR102391321B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Architecture (AREA)

Abstract

A mixed reality implementation system according to the present invention comprises: a mixed reality implementation unit that acquires an image of a real environment and augments a virtual object on the acquired image; and a pointing operating unit that generates direction information and button input information according to a user's operation, wherein the mixed reality implementation unit includes: a display unit that displays image content according to a user's operation; a communication unit that receives direction information and button input information from the pointing operation unit; a storage unit that stores the direction information and the button input information together with time information; and a control unit that determines and implements a point, a selection signal, a drag signal, and a drop signal according to the direction information from the direction information and the button input information. The present invention enables a fine and definite operation.

Description

혼합현실 구현 시스템{SYSTEM FOR IMPLEMENTING MIXED REALITY}Mixed reality implementation system {SYSTEM FOR IMPLEMENTING MIXED REALITY}

본 발명은 혼합현실 구현 시스템에 관한 것이다.The present invention relates to a mixed reality implementation system.

최근 VR, AR 및 MR을 포함하는 다양한 가상현실을 구현하는 장치들이 개발되고 있다. 이와 함께 상기 장치를 이용하는 사용자가 상기 가상현실들 내에서 다양한 조작을 하기 위해 상기 가상현실 구현 장치 및 사용자 간의 인터랙션을 위한 장치들도 지속적으로 연구 중이다. 상기 인터랙션 장치로 매직리프를 예로 들 수 있다.Recently, devices for implementing various virtual reality including VR, AR, and MR have been developed. In addition, in order for a user using the device to perform various manipulations in the virtual reality, devices for interaction between the virtual reality implementation device and the user are continuously being studied. Magic Leap is an example of the interaction device.

그러나, 지금까지의 인터랙션 장치들은 사용자가 조작하기가 쉽지 않으며, 특히 가상객체가 많거나, 작은 경우 미세한 컨트롤이 어려워, 사용자의 의도 대로 조작되지 않는 불편함이 컸다.However, the interaction devices up to now are not easy to operate by the user, and in particular, when there are many or small virtual objects, it is difficult to finely control them.

이에, 사용자의 의도를 충분히 반영하면서 미세하고 정확한 조작이 가능한 혼합현실 구현 시스템이 필요한 실정이다.Accordingly, there is a need for a mixed reality realization system capable of fine and accurate manipulation while sufficiently reflecting the user's intention.

본 발명의 목적은 사용자의 의도를 충분히 반영하면서 미세하고 정확한 조작이 가능한 혼합현실 구현 시스템을 제공하기 위한 것이다.It is an object of the present invention to provide a mixed reality realization system capable of fine and precise manipulation while sufficiently reflecting the user's intention.

본 발명의 상기 및 기타의 목적들은 하기 설명되는 본 발명에 의하여 모두 달성될 수 있다.The above and other objects of the present invention can all be achieved by the present invention described below.

본 발명의 하나의 관점은 혼합현실 구현 시스템에 관한 것이다.One aspect of the present invention relates to a mixed reality implementation system.

일 구체예에 따르면, 상기 혼합현실 구현 시스템은 실제 환경의 영상을 획득하고 획득된 상기 영상에 가상객체를 증강하는 혼합현실 구현부; 및 사용자의 조작에 따른 방향정보, 및 버튼 입력정보를 생성하는 포인팅 조작부;를 포함하고, 상기 혼합현실 구현부는, 사용자의 조작에 따라 영상 컨텐츠를 디스플레이하는 표시부; 상기 포인팅 조작부로부터 방향정보 및 버튼 입력정보를 수신하는 통신부; 상기 방향정보 및 버튼 입력정보를 시간정보와 함께 저장하는 저장부; 및 상기 방향정보 및 버튼 입력정보로부터 방향정보에 따른 포인트, 선택신호, 드래그신호 및 드롭신호 판단하고 구현하는 제어부;를 포함한다.According to one embodiment, the mixed reality realization system may include: a mixed reality realization unit that acquires an image of a real environment and augments a virtual object on the acquired image; and a pointing manipulation unit for generating direction information and button input information according to a user's manipulation, wherein the mixed reality realizing unit includes: a display unit for displaying image content according to a user's manipulation; a communication unit for receiving direction information and button input information from the pointing operation unit; a storage unit for storing the direction information and button input information together with time information; and a control unit that determines and implements a point, a selection signal, a drag signal, and a drop signal according to the direction information from the direction information and the button input information.

상기 혼합현실 구현부는 수신된 상기 방향정보 및 버튼 입력정보에 기초하여 상기 가상객체를 제어하되, 상기 버튼 입력정보에 따라 상기 가상객체의 선택, 드래그 및 드롭을 구현할 수 있다.The mixed reality implementation unit may control the virtual object based on the received direction information and button input information, and may implement selection, dragging, and dropping of the virtual object according to the button input information.

상기 제어부는 버튼 입력정보 수신 시 방향정보는 미리 설정된 시간 이전의 방향정보를 적용하는 보정을 수행할 수 있다.When the button input information is received, the control unit may perform correction by applying the direction information prior to a preset time for the direction information.

상기 보정은 버튼 입력정보 수신 시의 방향정보에 따른 포인트와 미리 설정된 시간 이전의 방향정보에 따른 포인트와의 거리가 특정 거리 이하인 경우에만 수행할 수 있다.The correction can be performed only when the distance between the point according to the direction information when the button input information is received and the point according to the direction information before the preset time is less than or equal to a specific distance.

상기 버튼은 트리거(trigger) 버튼이고, 상기 제어부는 트리거 버튼으로부터 수신되는 값이 1일 때, 방향정보는 트리거 버튼으로부터 수신되는 값이 0.1인 방향정보를 적용하는 보정을 수행할 수 있다.The button is a trigger button, and when a value received from the trigger button is 1, the control unit may perform correction by applying direction information in which a value received from the trigger button is 0.1 as the direction information.

상기 보정은 트리거 버튼으로부터 수신되는 값이 1일 때의 방향정보에 따른 포인트와 트리거 버튼으로부터 수신되는 값이 0.1일 때의 방향정보에 따른 포인트와의 거리가 특정 거리 이하인 경우에만 수행할 수 있다.The correction can be performed only when the distance between the point according to the direction information when the value received from the trigger button is 1 and the point according to the direction information when the value received from the trigger button is 0.1 is less than or equal to a specific distance.

상기 혼합현실 구현부는 상기 버튼 입력정보의 선택 신호가 수신되는 경우, 2 이상의 가상객체 중 가장 가까운 가상객체가 선택되도록 구현할 수 있다.When the selection signal of the button input information is received, the mixed reality implementation unit may implement such that the closest virtual object among two or more virtual objects is selected.

상기 혼합현실 구현부는 상기 버튼 입력정보의 선택 신호가 수신되고, 하기 식 1을 만족하는 경우, 2 이상의 가상객체 중 상기 방향정보에 따른 포인트와 가장 가까운 가상객체가 선택되도록 구현할 수 있다.When the selection signal of the button input information is received and the following Equation 1 is satisfied, the mixed reality implementation unit may implement such that a virtual object closest to the point according to the direction information is selected from among two or more virtual objects.

[식 1][Equation 1]

L≥DL≥D

(상기 식 1에서 L은 모든 가상객체들의 중심에서 가장 먼 가상객체와의 거리이고, D는 상기 방향정보에 따른 포인트에서 가장 가까운 가상객체와의 거리임).(In Equation 1, L is the distance from the virtual object furthest from the center of all virtual objects, and D is the distance from the virtual object closest to the point according to the direction information).

상기 혼합현실 구현부는 상기 버튼 입력정보의 드롭 신호가 수신되는 경우, 미리 설정된 2 이상의 드롭위치 중 가장 가까운 드롭 포인트에 드롭되도록 구현할 수 있다.When the drop signal of the button input information is received, the mixed reality implementation unit may implement to drop to the nearest drop point among two or more preset drop locations.

상기 혼합현실 구현부는 상기 버튼 입력정보의 드롭 신호가 수신되고, 하기 식 2를 만족하는 경우, 2 이상의 드롭위치 중 상기 방향정보에 따른 포인트와 가장 가까운 드롭위치에 드롭되도록 구현할 수 있다.When the drop signal of the button input information is received and the following Equation 2 is satisfied, the mixed reality implementation unit may implement to drop to the closest drop location to the point according to the direction information among two or more drop locations.

[식 2][Equation 2]

L≥DL≥D

(상기 식 1에서 L은 모든 드롭위치들의 중심에서 가장 먼 드롭위치와의 거리이고, D는 상기 방향정보에 따른 포인트에서 가장 가까운 드롭위치와의 거리임).(In Equation 1, L is the distance from the center of all drop positions to the farthest drop position, and D is the distance from the point according to the direction information to the closest drop position).

본 발명은 사용자의 의도를 충분히 반영하면서 미세하고 정확한 조작이 가능한 혼합현실 구현 시스템을 제공하는 효과를 갖는다.The present invention has the effect of providing a mixed reality realization system capable of fine and precise manipulation while sufficiently reflecting the user's intention.

도 1은 본 발명의 일 구체예에 따른 혼합현실 구현 시스템의 블록도를 간단히 도시한 것이다.
도 2는 본 발명의 일 구체예에 따른 혼합현실 구현부의 구성 블록도를 간단히 도시한 것이다.
도 3은 본 발명의 일 구체예에 따른 포인팅 조작부의 레이캐스트 (raycast) 방식을 설명하기 위한 참고도이다.
도 4는 본 발명의 일 구체예에 따른 포인팅 조작부의 구성 블록도를 간단히 도시한 것이다.
도 5는 본 발명의 일 구체예에 따른 포인팅 조작부의 예시를 간단히 도시한 것이다.
도 6은 본 발명의 일 구체예에 따른 포인팅 조작부의 가상객체 제어 효과를 설명하기 위한 참고도이다.
도 7 및 도 8은 본 발명의 일 구체예에 따른 가상객체 제어 시 선택 또는 드롭 가능 영역을 설명하기 위한 참고도이다.1 is a schematic block diagram of a mixed reality implementation system according to an embodiment of the present invention.
2 is a block diagram schematically illustrating a configuration of a mixed reality implementation unit according to an embodiment of the present invention.
3 is a reference diagram for explaining a raycast method of a pointing manipulation unit according to an embodiment of the present invention.
4 is a schematic block diagram of a pointing manipulation unit according to an embodiment of the present invention.
5 is a schematic diagram illustrating an example of a pointing manipulation unit according to an embodiment of the present invention.
6 is a reference diagram for explaining the virtual object control effect of the pointing manipulation unit according to an embodiment of the present invention.
7 and 8 are reference diagrams for explaining a selectable or dropable area when controlling a virtual object according to an embodiment of the present invention.

이하, 첨부한 도면들을 참조하여, 본 출원의 구체예들을 보다 상세하게 설명하고자 한다. 그러나 본 출원에 개시된 기술은 여기서 설명되는 구체예들에 한정되지 않고 다른 형태로 구체화될 수도 있다.Hereinafter, specific embodiments of the present application will be described in more detail with reference to the accompanying drawings. However, the technology disclosed in the present application is not limited to the embodiments described herein and may be embodied in other forms.

단지, 여기서 소개되는 구체예들은 개시된 내용이 철저하고 완전해 질 줄 수 있도록 그리고 당업자에게 본 출원의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다. 도면에서 각 장치의 구성요소를 명확하게 표현하기 위하여 상기 구성요소의 폭이나 두께 등의 크기를 다소 확대하여 나타내었다. 또한 설명의 편의를 위하여 구성요소의 일부만을 도시하기도 하였으나, 당업자라면 구성요소의 나머지 부분에 대하여도 용이하게 파악할 수 있을 것이다.However, the embodiments introduced herein are provided so that the disclosed content may be thorough and complete, and the spirit of the present application may be sufficiently conveyed to those skilled in the art. In order to clearly express the components of each device in the drawings, the sizes such as widths and thicknesses of the components are slightly enlarged. In addition, although only some of the components are illustrated for convenience of description, those skilled in the art will be able to easily grasp the remaining parts of the components.

전체적으로 도면 설명 시 관찰자 시점에서 설명하였고, 일 요소가 다른 요소 상부에 또는 하부에 위치하는 것으로 언급되는 경우, 이는 상기 일 요소가 다른 요소 상부에 또는 하부에 바로 위치하거나 또는 그들 요소들 사이에 추가적인 요소가 개재될 수 있다는 의미를 모두 포함한다. 또한 해당 분야에서 통상의 지식을 가진 자라면 본 출원의 기술적 사상을 벗어나지 않는 범위 내에서 본 출원의 사상을 다양한 다른 형태로 구현할 수 있을 것이다. 그리고, 복수의 도면들 상에서 동일 부호는 실질적으로 서로 동일한 요소를 지칭한다. In the description of the drawings as a whole, it has been described from an observer's point of view, and when an element is referred to as being located above or below another element, this means that the element is located directly above or below another element, or an additional element between them includes all meanings that may be interposed. In addition, those of ordinary skill in the relevant field will be able to implement the idea of the present application in various other forms without departing from the technical spirit of the present application. And, in the plurality of drawings, the same reference numerals refer to elements that are substantially the same as each other.

한편, 본 출원에서 서술되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함하는 것으로 이해되어야 하고, '포함하다' 또는 '가지다'등의 용어는 기술되는 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들의 조합한 것에 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들의 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.On the other hand, the expression in the singular described in the present application should be understood to include a plural expression unless the context clearly indicates otherwise, and terms such as 'comprise' or 'have' refer to the described feature, number, step, It is intended to designate the presence of an action, component, part, or combination thereof, but precludes the possibility of the presence or addition of one or more other features or numbers, steps, actions, components, parts, or combinations thereof. should be understood as not

또한, 본 명세서에 있어서, 범위를 나타내는 'X 내지 Y'는 'X 이상 Y 이하'를 의미한다. In addition, in this specification, 'X to Y' representing a range means 'X or more and Y or less'.

명세서 전체에서 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 '전기적으로 연결'되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is said to be 'connected' to another part, this includes not only a case in which it is directly connected, but also a case in which it is 'electrically connected' with another element interposed therebetween. In addition, when a part 'includes' a certain component, this means that other components may be further included, rather than excluding other components, unless otherwise stated.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛 (unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '∼부'들로 더 분리 될 수 있다. 뿐만 아니라 구성 요소들 및 '~부'들은 디 바이 스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU 들을 재생시키도록 구현될 수도 있다.In this specification, the term "part" includes a unit realized by hardware, a unit realized by software, and a unit realized using both. In addition, one unit may be implemented using two or more hardware, and two or more units may be implemented by one hardware. Meanwhile, '~ unit' is not limited to software or hardware, and '~ unit' may be configured to be in an addressable storage medium or to reproduce one or more processors. Accordingly, as an example, '~' indicates components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays and variables. The functions provided in the components and '~ units' may be combined into a smaller number of components and '~ units' or further divided into additional components and '~ units'. In addition, the components and '~ units' may be implemented to play one or more CPUs in a device or a secure multimedia card.

혼합현실 구현 시스템Mixed Reality Implementation System

도 1을 참고하여 본 발명의 일 구체예에 따른 혼합현실 구현 시스템을 설명한다. 도 1은 본 발명의 일 구체예에 따른 혼합현실 구현 시스템의 블록도를 간단히 도시한 것이다.A mixed reality realization system according to an embodiment of the present invention will be described with reference to FIG. 1 . 1 is a schematic block diagram of a mixed reality implementation system according to an embodiment of the present invention.

도 1을 참고하면 본 발명의 일 구체예에 따른 혼합현실 구현 시스템은 실제 환경의 영상을 획득하고 획득된 상기 영상에 가상객체를 증강하는 혼합현실 구현부(100); 및 사용자의 조작에 따른 방향정보, 및 버튼 입력정보를 생성하는 포인팅 조작부(200);를 포함한다.Referring to FIG. 1 , a mixed reality realization system according to an embodiment of the present invention includes: a mixed reality realization unit 100 for acquiring an image of a real environment and augmenting a virtual object on the acquired image; and a pointing manipulation unit 200 for generating direction information and button input information according to a user's manipulation.

본 발명에서 상기 혼합현실 구현부(100)는 상기 방향정보 및 버튼 입력정보를 수신하고, 수신된 상기 방향정보 및 버튼 입력정보에 기초하여 상기 가상객체를 제어하되, 상기 버튼 입력정보에 따라 상기 가상객체의 선택, 드래그 및 드롭을 구현한다.In the present invention, the mixed reality implementation unit 100 receives the direction information and button input information, and controls the virtual object based on the received direction information and button input information, and the virtual object according to the button input information. Implements selection, dragging, and dropping of objects.

이하, 혼합현실 구현부(100) 및 포인팅 조작부(200)에 대해서 자세히 설명한다.Hereinafter, the mixed reality realizing unit 100 and the pointing manipulation unit 200 will be described in detail.

도 2를 참고하면, 상기 혼합현실 구현부(100)는 사용자의 조작에 따라 영상 컨텐츠를 디스플레이하는 표시부(110); 상기 포인팅 조작부로부터 방향정보 및 버튼 입력정보를 수신하는 통신부(130); 상기 방향정보 및 버튼 입력정보를 시간정보와 함께 저장하는 저장부(150); 및 상기 방향정보 및 버튼 입력정보로부터 방향정보에 따른 포인트, 선택신호, 드래그신호 및 드롭신호 판단하고 구현하는 제어부(170);를 포함할 수 있다. Referring to FIG. 2 , the mixed reality implementation unit 100 includes a display unit 110 for displaying image content according to a user's manipulation; a communication unit 130 for receiving direction information and button input information from the pointing operation unit; a storage unit 150 for storing the direction information and button input information together with time information; and a control unit 170 that determines and implements a point, a selection signal, a drag signal, and a drop signal according to the direction information from the direction information and the button input information.

또한, 상기 혼합현실 구현부(100)는 실물배경을 인식하여 실물배경의 형태, 굴곡정도, 명도, 조도 및 색상을 포함하는 실물배경 영상 데이터를 추출하는 영상인식부를 더 포함할 수 있다.In addition, the mixed reality implementation unit 100 may further include an image recognition unit for recognizing the real background and extracting real background image data including the shape, curvature, brightness, illuminance and color of the real background.

상기 표시부(110)는 상기 영상인식부로부터 추출된 영상 데이터 및/또는 가상객체 등의 영상 컨텐츠를 디스플레이하여 혼합현실을 포함하는 다양한 가상현실을 제공할 수 있다.The display unit 110 may provide various virtual reality including mixed reality by displaying image content such as image data and/or virtual objects extracted from the image recognition unit.

또한,　표시부(110)는 영상 컨텐츠를 디스플레이하되, 상기 제어부(170)의 제어에 따라 가상의 객체의 상태가 변경되어 그 변경된 가상의 객체의 상태를 디스플레이할 수 있다.Also, the display unit 110 may display image content, but the state of the virtual object is changed according to the control of the controller 170 to display the changed state of the virtual object.

상기 통신부(130)는 상기 포인팅 조작부(200)와 무선 연동하여 정보를 주고 받을 수 있다. 예를 들어, 상기 통신부(130)는 상기 포인팅 조작부(200)로부터 방향정보 및 버튼 입력정보 중 하나 이상을 수신할 수 있다.The communication unit 130 may transmit and receive information by wirelessly interworking with the pointing operation unit 200 . For example, the communication unit 130 may receive one or more of direction information and button input information from the pointing manipulation unit 200 .

상기 저장부(150)는 상기 수신된 방향정보 및 버튼 입력정보를 시간정보와 함께 저장할 수 있다. 이러한 시간 정보는 후술하는 포인트 위치의 보정에 활용될 수 있다.The storage unit 150 may store the received direction information and button input information together with time information. Such time information may be utilized for correction of point positions, which will be described later.

상기 제어부(170)는 상기 방향정보 및 버튼 입력정보로부터 포인팅 방향을 산출하고, 상기 산출된 포인팅 방향에 위치하는 가상의 객체를 선택, 이동(드래그), 드랍 등을 수행할 수 있도록 한다. 상기 방향정보로부터 추출되는 포인팅 방향과 가상객체의 충돌(collision) 방식은 레이캐스트(raycast) 방식을 적용할 수 있으나 이에 제한되지는 않는다. 도 3을 참고하면, 상기 레이캐스트는 3차원 공간에 있는 가상객체를 찾기(hit) 위해 ray의 위치(position)와 방향을 갖는 ray를 쏘게 되는데, ray의 방향에 객체가 있으면 hit을 반환하여 해당 가상객체를 선택, 드래그 또는 드랍을 수행할 수 있는 기본 상태가 된다.The control unit 170 calculates a pointing direction from the direction information and button input information, and selects, moves (drag), and drops a virtual object located in the calculated pointing direction. A raycast method may be applied to a collision method between a pointing direction extracted from the direction information and a virtual object, but is not limited thereto. Referring to FIG. 3 , the raycast shoots a ray having the position and direction of the ray in order to find a virtual object in the three-dimensional space (hit). If there is an object in the direction of the ray, it returns a hit It becomes the default state to select, drag, or drop virtual objects.

구체예에서, 상기 혼합현실 구현부(100)의 제어부(170)는 버튼 입력정보 수신 시 방향정보로 미리 설정된 시간 이전의 방향정보를 적용하는 보정을 수행할 수 있다.In a specific embodiment, the control unit 170 of the mixed reality realizing unit 100 may perform correction by applying direction information prior to a preset time as direction information when receiving button input information.

사용자가 포인팅 조작부(200)로 원하는 방향을 설정하고, 해당 방향에서 버튼을 누르려고 하지만, 버튼을 누르려는 동작에 의해 원래 의도하던 방향과 오차가 생기는 경우가 많다. 때문에, 사용자는 의도하던 조작에 어려움을 겪을 수 있고, 특히 빠른 템포로 조작을 해야하는 경우 오차가 더욱 커질 수 있다.Although the user sets a desired direction with the pointing manipulation unit 200 and tries to press the button in the corresponding direction, there are many cases where an error from the intended direction occurs due to an operation to press the button. Therefore, the user may have difficulty in the intended operation, and in particular, when the operation is performed at a fast tempo, the error may increase.

본 발명의 혼합현실 구현 시스템은 저장부(150)에 저장된 시간 데이터를 활용하여 이를 해결할 수 있다.The mixed reality implementation system of the present invention can solve this problem by utilizing the time data stored in the storage unit 150 .

구체적으로, 상기 포인팅 조작부(200)로부터 수신되는 방향정보 및 버튼 입력정보는 상기 저장부(150)에 시간 데이터와 함께 저장이 되며, 상기 제어부(170)는 이러한 시간 데이터를 활용하여, 버튼 입력정보 수신 시 0.05초 내지 0.3초 이전, 구체적으로 0.1초 내지 0.2초 이전, 예를 들어 0.15초 이전의 방향정보를 해당 방향정보로 판단할 수 있다. Specifically, the direction information and button input information received from the pointing manipulation unit 200 are stored together with time data in the storage unit 150, and the control unit 170 utilizes such time data to provide button input information. Upon reception, direction information before 0.05 seconds to 0.3 seconds, specifically, before 0.1 seconds to 0.2 seconds, for example, before 0.15 seconds, may be determined as the corresponding direction information.

상기 버튼 입력정보는 선택 또는 드롭일 수 있고, 상기 저장부(150)는 저장 용량을 줄이기 위해, 특정 시간 동안만 해당 데이터를 저장하는 것일 수 있다.The button input information may be selection or drop, and the storage unit 150 may store the corresponding data only for a specific time in order to reduce the storage capacity.

다른 구체예에서, 상기 보정은 버튼 입력정보 수신 시의 방향정보에 따른 포인트와 미리 설정된 시간 이전의 방향정보에 따른 포인트와의 거리가 특정 거리 이하인 경우에만 수행하는 것일 수 있다.In another embodiment, the correction may be performed only when a distance between a point according to direction information when receiving button input information and a point according to direction information before a preset time is less than or equal to a specific distance.

상기 특정 거리는 가상객체 위치 간의 거리 중 가장 짧은 거리의 3배 또는 드롭위치 간의 거리 중 가장 짧은 거리의 3배일 수 있다.The specific distance may be three times the shortest distance among distances between virtual object locations or three times the shortest distance among the distances between drop locations.

버튼 입력정보 수신 시의 방향정보에 따른 포인트와 미리 설정된 시간 이전의 방향정보에 따른 포인트와의 거리가 상기 특정 거리 보다 짧은 경우에는 사용자가 신중한 움직임에도 버튼 조작으로 인한 오차일 가능성이 높고, 상기 특정 거리 보다 긴 경우에는 빠른 템포의 조작을 위한 사용자의 의도일 가능성이 큰 점을 반영한 것이다.If the distance between the point according to the direction information at the time of receiving button input information and the point according to the direction information before the preset time is shorter than the specific distance, there is a high possibility that the error is due to the button operation even when the user moves carefully. If it is longer than the distance, it reflects the fact that there is a high possibility that it is the user's intention to manipulate the fast tempo.

또 다른 구체예에서, 상기 버튼은 트리거(trigger) 버튼이고, 상기 혼합현실 구현부의 제어부(170)는 트리거 버튼으로부터 수신되는 값이 1일 때, 방향정보는 트리거 버튼으로부터 수신되는 값이 0.1인 방향정보를 적용하는 보정을 수행하는 것일 수 있다. 버튼이 트리거 버튼인 경우에는 수신되는 값이 1일 때 선택신호에 대응될 수 있고, 트리거 버튼은 누르기 시작하면서부터 0 초과의 값이 부여되므로, 시간 대신 해당 값을 활용하여 보정을 수행할 수 있다.In another embodiment, the button is a trigger button, and when the value received from the trigger button is 1, the control unit 170 of the mixed reality implementation unit indicates a direction in which the value received from the trigger button is 0.1. It may be to perform a correction that applies the information. If the button is a trigger button, it can correspond to the selection signal when the received value is 1, and since the trigger button is given a value exceeding 0 from the moment it is pressed, the correction can be performed using the corresponding value instead of the time. .

이 경우 상기 저장부(150)는 트리거의 출력 값을 함께 저장하는 것일 수 있다.In this case, the storage unit 150 may store the trigger output value together.

상기 트리거 버튼에 의한 보정은 트리거 버튼으로부터 수신되는 값이 1일 때의 방향정보에 따른 포인트와 트리거 버튼으로부터 수신되는 값이 0.1일 때의 방향정보에 따른 포인트와의 거리가 특정 거리 이하인 경우에만 수행할 수 있다.The correction by the trigger button is performed only when the distance between the point according to the direction information when the value received from the trigger button is 1 and the point according to the direction information when the value received from the trigger button is 0.1 is less than a specific distance can do.

구체예에서, 상기 혼합현실 구현부(100)는 입력부(190)을 더 포함할 수 있으며, 상기 입력부(190)는 상요자의 메뉴 또는 키조작에 따른 정보를 입력받을 수 있다.In a specific embodiment, the mixed reality implementation unit 100 may further include an input unit 190, and the input unit 190 may receive information according to a user's menu or key operation.

상기 포인팅 조작부(200)는 버튼, 트리거 등의 입력을 받는 입력부(210), 포인팅 조작부(200)의 위치정보 및/또는 방향정보를 획득하는 센서부(230), 상기 입력부(210) 및 센서부(210)로부터 입력받고 획득한 데이터를 혼합현실 구현부(100)로 전송하는 전송부(250) 및 상기 입력부(210), 센서부(230) 및 전송부(250)의 동작을 제어하는 제어부(270)을 포함할 수 있다.The pointing manipulation unit 200 includes an input unit 210 that receives an input such as a button or a trigger, a sensor unit 230 that obtains position information and/or direction information of the pointing manipulation unit 200, the input unit 210 and the sensor unit A transmission unit 250 for receiving input from 210 and transmitting the acquired data to the mixed reality implementation unit 100, and a control unit for controlling the operations of the input unit 210, the sensor unit 230, and the transmission unit 250 ( 270) may be included.

도 5을 참고하면, 상기 입력부(210)는 가상객체를 선택, 드롭 등의 제어를 위한 사용자의 조작 정보를 입력 받을 수 있다. 구체적으로 상기 입력부(210)는 단추버튼(211), 트리거버튼(213) 및 원형패드(215) 중 하나 이상을 포함할 수 있다.Referring to FIG. 5 , the input unit 210 may receive user manipulation information for selecting and dropping a virtual object. Specifically, the input unit 210 may include one or more of a button button 211 , a trigger button 213 , and a circular pad 215 .

상기 단추버튼(211)은 포인팅 조작부(200)의 방향 설정에 의해 가상객체가 히팅(hit)된 상태에서 눌려지는 경우 상기 혼합현실 구현부의 제어부(170)는 선택 신호로 판단하고, 눌려지는 시간이 0.2초 이상인 경우에는 드래그(이동)가 가능한 상태로 판단하여, 포인팅 조작부(200)의 방향에 대응하여 이동이 가능하며, 단추버튼(211)이 해제되는 경우 제어부(170)은 드롭 신호로 판단할 수 있다. 이는 하나의 예시일 뿐 더블클릭 등의 동작으로 해당 신호에 대한 제어를 부여할 수 있다.When the button button 211 is pressed in a state in which the virtual object is hit by setting the direction of the pointing manipulation unit 200, the control unit 170 of the mixed reality realization unit determines that it is a selection signal, and the pressed time is If it is more than 0.2 seconds, it is determined that dragging (moving) is possible, and movement is possible in response to the direction of the pointing manipulation unit 200. When the button button 211 is released, the control unit 170 determines that it is a drop signal. can This is only an example, and control of the corresponding signal may be given by an operation such as a double click.

상기 트리거버튼(213)은 포인팅 조작부(200)의 방향 설정에 의해 가상객체가 히팅(hit)된 상태에서 1의 값을 가지는 경우 상기 혼합현실 구현부의 제어부(170)는 선택 신호로 판단하고, 1의 값을 갖는 시간이 0.2초 이상인 경우에는 드래그(이동)가 가능한 상태로 판단하여, 포인팅 조작부(200)의 방향에 대응하여 이동이 가능하며, 트리거버튼(213)이 해제되는 경우 제어부(170)은 드롭 신호로 판단할 수 있다. 이는 하나의 예시일 뿐 트리거버튼(213)의 값은 다양하게 변경하여 적용할 수 있다.When the trigger button 213 has a value of 1 in a state in which the virtual object is hit by the direction setting of the pointing manipulation unit 200, the control unit 170 of the mixed reality implementation unit determines that it is a selection signal, and 1 When the time having the value of is 0.2 seconds or more, it is determined that the drag (moving) is possible, and the movement is possible in response to the direction of the pointing manipulation unit 200, and when the trigger button 213 is released, the control unit 170 can be determined as a drop signal. This is just one example, and the value of the trigger button 213 can be variously changed and applied.

상기 원형패드(215)의 입력값 역시, 혼합현실 구현 시스템의 적용 환경 및 목적에 따라 다양하게 적용할 수 있으며, 예를 들어 가상객체의 회전에 대응되는 값으로 적용할 수 있다.The input value of the circular pad 215 may also be variously applied according to the application environment and purpose of the mixed reality realization system, for example, may be applied as a value corresponding to the rotation of the virtual object.

상기 센서부(230)는 사용자의 포인팅 조작부(200)의 조작에 따라 방향 및/또는 위치정보를 획득할 수 있다. 구체적으로, 상기 센서부(230)는 기울기 센서, 방위 센서 및 가속도 센서 중 하나 이상을 포함할 수 있으며, 필요에 따라 적외선 센서, 초음파 센서를 구비할 수 있다. 상기 센서들로부터 포인팅 조작부가 향하는 위치정보 및/또는 방향정보를 획득할 수 있으며, 이는 당업자에게 알려진 다양한 방법으로 수행할 수 있다.The sensor unit 230 may acquire direction and/or location information according to a user's manipulation of the pointing manipulation unit 200 . Specifically, the sensor unit 230 may include one or more of a tilt sensor, an orientation sensor, and an acceleration sensor, and may include an infrared sensor and an ultrasonic sensor as necessary. Position information and/or direction information toward which the pointing manipulation unit is directed may be obtained from the sensors, and this may be performed in various ways known to those skilled in the art.

상기 전송부(250)는 입력부(210) 및 센서부(230)로부터 획득된 버튼 입력정보들과, 위치정보, 방향정보 등을 혼합현실 구현부(100)로 전송할 수 있다.The transmitter 250 may transmit button input information obtained from the input unit 210 and the sensor unit 230 , location information, direction information, and the like to the mixed reality implementation unit 100 .

상기 제어부(270)는 상기 입력부(210), 센서부(230) 및 전송부(250)의 동작을 제어할 수 있다.The control unit 270 may control the operations of the input unit 210 , the sensor unit 230 , and the transmission unit 250 .

본 발명에서는 제어부(170)의 알고리즘을 혼합현실에 적용하는 것을 예로들어 설명하였으나, 이에 제한되지 않고, 가상현실 및 증강현실에서도 적용 가능하며, 이는 당업자에게 용이한 변경으로 각 구성을 적용 및 제어할 수 있다.In the present invention, the application of the algorithm of the control unit 170 to mixed reality has been described as an example, but it is not limited thereto, and it is also applicable to virtual reality and augmented reality, which can be applied and controlled by those skilled in the art with easy changes. can

특히, 본 발명 혼현현실 구현부(100)는 설계된 알고리즘을 적용함으로써, 가상객체의 선택 및 드롭 구현 시 사용자의 의도를 충분히 반영하면서 미세하고 정확한 조작이 가능한 장점이 있다.In particular, the mixed reality realization unit 100 of the present invention has the advantage of being able to perform fine and accurate manipulation while sufficiently reflecting the user's intention when implementing the selection and drop of virtual objects by applying the designed algorithm.

구체예에서, 상기 혼합현실 구현부(100)는 상기 버튼 입력정보의 선택 신호가 수신되는 경우, 2 이상의 가상객체 중 가장 가까운 가상객체가 선택되도록 구현하는 것일 수 있다. 상기 선택 신호에 대해서는 후술한다.In a specific embodiment, when the selection signal of the button input information is received, the mixed reality implementation unit 100 may implement such that the closest virtual object among two or more virtual objects is selected. The selection signal will be described later.

예를 들어, 상기 혼합현실 구현부(100)는 상기 버튼 입력정보의 선택 신호가 수신되고, 하기 식 1을 만족하는 경우, 2 이상의 가상객체(A, B, C) 중 상기 방향정보에 따른 포인트(Q)와 가장 가까운 가상객체(도 6에서는 B)가 선택되도록 구현하는 것일 수 있다.For example, when the selection signal of the button input information is received and the following Equation 1 is satisfied, the mixed reality realizing unit 100 is a point according to the direction information among two or more virtual objects (A, B, C). (Q) may be implemented so that the closest virtual object (B in FIG. 6) is selected.

[식 1][Equation 1]

L≥DL≥D

(상기 식 1에서 L은 모든 가상객체들(A, B, C)의 중심(P)에서 가장 먼 가상객체와의 거리(l3)이고, D는 상기 방향정보에 따른 포인트(Q)에서 가장 가까운 가상객체와의 거리(d2)임).(In Equation 1, L is the distance (l 3 ) from the center (P) of all virtual objects (A, B, C) to the furthest virtual object, and D is the most distant from the point (Q) according to the direction information. Distance to the nearest virtual object (d 2 )).

도 6를 참고하여 설명하면, 상기 혼합현실 구현부(100)는 가상객체들 A, B, C을 기준으로 중심(P)과 가장 먼 거리인 l3에 비해 방향정보에 따른 포인트(Q)와 가장 짧은 거리인 d2)가 같거나 짧은 경우, 가장 가까운(가장 짧은) B가 선택되도록 구현할 수 있다.Referring to FIG. 6 , the mixed reality implementation unit 100 provides a point (Q) according to direction information and If the shortest distance d 2 ) is the same or shorter, it can be implemented so that the closest (shortest) B is selected.

이로써, 선택하고자 하는 가상객체를 정확하게 포인팅하지 않고 특정 거리 내로만 포인팅 하더라도 가장 근처의 가상객체가 선택됨으로써, 사용자는 정확한 조작이 가능한 장점이 있다.Accordingly, even if the virtual object to be selected is not accurately pointed and only pointed within a specific distance, the nearest virtual object is selected, so that the user can accurately manipulate the virtual object.

구체적으로, 중심 P와 A, B, C 간의 거리 l1, l2, l3은 아래의 식 3으로 구할 수 있고, Q와 A, B, C 간의 거리 d1, d2, d3 역시 동일한 방식으로 산출 가능하다.Specifically, the distances l 1 , l 2 , and l 3 between the center P and A, B, and C can be obtained by Equation 3 below, and the distances d 1 , d 2 , and d 3 between Q and A, B, and C are also the same. method can be calculated.

[식 3][Equation 3]

Figure 112020123813004-pat00001
Figure 112020123813004-pat00001

이후 l1, l2, l3 중 가장 큰 값이 d1(AQ), d2(BQ), d3(CQ) 중 가장 작은 값 이상인 경우, Q와 가장 가까운 위치(A, B, C 중)가 선택되게 된다.Then, if the largest value among l 1 , l 2 , and l 3 is greater than or equal to the smallest value among d 1 (AQ), d 2 (BQ), and d 3 (CQ), the position closest to Q (out of A, B, C) ) will be selected.

[식 4][Equation 4]

Figure 112020123813004-pat00002
Figure 112020123813004-pat00002

이를 도 7 및 도 8을 참고하여 설명하면, 세개의 가상객체가 존재한다고 가정할 때, 가상객체의 중심으로부터 가장 먼 거리인 lmax가 산출되고, 각 가상객체 위치에서 lmax 거리 내에 방향정보에 따른 포인트를 위치시키고 선택 신호를 입력하면, 가장 가까운 가상객체가 선택이 되는 것이며, 이는 도 8과 같이 각 가상객체가 선택될 수 있는 영역이 설정될 수 있다.7 and 8, assuming that three virtual objects exist, l max , the furthest distance from the center of the virtual object, is calculated, When a corresponding point is positioned and a selection signal is input, the closest virtual object is selected, and an area in which each virtual object can be selected may be set as shown in FIG. 8 .

구체예에서, 다수의 가상객체들이 이격되어 무리지어 있는 경우, 무리지어 있는 가상객체들을 하나의 단위로 상기 알고리즘을 수행할 수 있으며, 해당 이격 정도는 미리 설정이 가능하다. 상기 설정은 가상객체의 크기 및/또는 가상객체 간의 거리에 따라 적절히 조절할 수 있으며, 예를 들어 가상객체들 중 가장 가까운 거리의 2배 내지 6배, 구체적으로 2.5배 내지 4배, 더욱 구체적으로 3배로 적용할 수 있다.In a specific embodiment, when a plurality of virtual objects are grouped apart from each other, the algorithm may be performed on the grouped virtual objects as a unit, and the degree of separation may be preset. The setting can be appropriately adjusted according to the size of the virtual object and/or the distance between the virtual objects, for example, 2 to 6 times, specifically 2.5 to 4 times, more specifically 3 times the closest distance among virtual objects. Can be applied by boat.

또한, 상기 상기 혼합현실 구현부(100)는 드래그 후, 상기 버튼 입력정보의 드롭 신호가 수신되는 경우, 미리 설정된 2 이상의 드롭위치 중 가장 가까운 드롭 포인트에 드롭되도록 구현하는 것일 수 있다. 상기 드롭 신호에 대해서는 후술한다.In addition, when the drop signal of the button input information is received after dragging, the mixed reality implementing unit 100 may implement to drop to the nearest drop point among two or more preset drop locations. The drop signal will be described later.

예를 들어, 상기 혼합현실 구현부(100)는 상기 버튼 입력정보의 드롭 신호가 수신되고, 하기 식 2를 만족하는 경우, 2 이상의 드롭위치 중 상기 방향정보에 따른 포인트와 가장 가까운 드롭위치에 드롭되도록 구현하는 것일 수 있다.For example, when the drop signal of the button input information is received and the following Equation 2 is satisfied, the mixed reality implementation unit 100 drops to a drop position closest to the point according to the direction information among two or more drop positions. It may be implemented as much as possible.

[식 2][Equation 2]

L≥DL≥D

(상기 식 1에서 L은 모든 드롭위치들의 중심에서 가장 먼 드롭위치와의 거리이고, D는 상기 방향정보에 따른 포인트에서 가장 가까운 드롭위치와의 거리임).(In Equation 1, L is the distance from the center of all drop positions to the farthest drop position, and D is the distance from the point according to the direction information to the closest drop position).

상기 드롭에 관한 알고리즘은 상기 가상객체 선택에 관한 알고리즘과 실질적으로 동일하게 적용될 수 있고, 이 때, 상기 드롭위치는 상기 가상객체의 위치에 대응되고, 상기 드롭 신호는 상기 선택 신호와 대응될 수 있다.The drop-related algorithm may be applied substantially the same as the virtual object selection algorithm. In this case, the drop position may correspond to a position of the virtual object, and the drop signal may correspond to the selection signal. .

이상 본 발명의 구체예들을 설명하였으나, 본 발명은 상기 구체예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 구체예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.Although the specific embodiments of the present invention have been described above, the present invention is not limited to the above specific embodiments, but may be manufactured in various different forms, and those of ordinary skill in the art to which the present invention pertains to the technical spirit of the present invention However, it will be understood that the invention may be embodied in other specific forms without changing essential features. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.

100: 혼합현실 구현부 110: 표시부
130: 통신부 150: 저장부
170: 제어부 190: 입력부
200: 포인팅 조작부 210: 입력부
211: 단추버튼 213: 트리거버튼
215: 원형패드 230: 센서부
250: 전송부 270: 제어부
Q: 방향정보에 따른 포인트100: mixed reality realization unit 110: display unit
130: communication unit 150: storage unit
170: control unit 190: input unit
200: pointing control unit 210: input unit
211: button button 213: trigger button
215: circular pad 230: sensor unit
250: transmission unit 270: control unit
Q: Points according to direction information

Claims (10)

실제 환경의 영상을 획득하고 획득된 상기 영상에 가상객체를 증강하는 혼합현실 구현부; 및 사용자의 조작에 따른 방향정보, 및 버튼 입력정보를 생성하는 포인팅 조작부;를 포함하고,
상기 혼합현실 구현부는,
사용자의 조작에 따라 영상 컨텐츠를 디스플레이하는 표시부;
상기 포인팅 조작부로부터 방향정보 및 버튼 입력정보를 수신하는 통신부;
상기 방향정보 및 버튼 입력정보를 시간정보와 함께 저장하는 저장부; 및
상기 방향정보 및 버튼 입력정보로부터 방향정보에 따른 포인트, 선택신호, 드래그신호 및 드롭신호 판단하고 구현하는 제어부;
를 포함하고,
상기 혼합현실 구현부는 수신된 상기 방향정보 및 버튼 입력정보에 기초하여 상기 가상객체를 제어하되, 상기 버튼 입력정보에 따라 상기 가상객체의 선택, 드래그 및 드롭을 구현하며,
상기 제어부는 버튼 입력정보 수신 시 방향정보는 미리 설정된 시간 이전의 방향정보를 적용하는 보정을 수행하고,
상기 보정은 버튼 입력정보 수신 시의 방향정보에 따른 포인트와 미리 설정된 시간 이전의 방향정보에 따른 포인트와의 거리가 특정 거리 이하인 경우에만 수행하는 혼합현실 구현 시스템.
a mixed reality implementation unit for acquiring an image of a real environment and augmenting a virtual object on the acquired image; and a pointing manipulation unit for generating direction information and button input information according to a user's manipulation;
The mixed reality implementation unit,
a display unit for displaying image contents according to a user's manipulation;
a communication unit for receiving direction information and button input information from the pointing operation unit;
a storage unit for storing the direction information and button input information together with time information; and
a control unit for determining and implementing a point, a selection signal, a drag signal and a drop signal according to the direction information from the direction information and the button input information;
including,
The mixed reality implementation unit controls the virtual object based on the received direction information and button input information, and implements selection, drag and drop of the virtual object according to the button input information,
When the control unit receives the button input information, the direction information performs correction by applying the direction information prior to a preset time,
The correction is performed only when the distance between the point according to the direction information when the button input information is received and the point according to the direction information before the preset time is less than or equal to a specific distance.
 삭제delete 삭제delete 삭제delete 제1항에 있어서,
상기 버튼은 트리거(trigger) 버튼이고,
상기 제어부는 트리거 버튼으로부터 수신되는 값이 1일 때, 방향정보는 트리거 버튼으로부터 수신되는 값이 0.1인 방향정보를 적용하는 보정을 수행하는 혼합현실 구현 시스템.
According to claim 1,
The button is a trigger button,
When the value received from the trigger button is 1, the controller performs correction by applying direction information in which the value received from the trigger button is 0.1 as the direction information.
 제5항에 있어서,
상기 보정은 트리거 버튼으로부터 수신되는 값이 1일 때의 방향정보에 따른 포인트와 트리거 버튼으로부터 수신되는 값이 0.1일 때의 방향정보에 따른 포인트와의 거리가 특정 거리 이하인 경우에만 수행하는 혼합현실 구현 시스템.
6. The method of claim 5,
The correction is implemented only when the distance between the point according to the direction information when the value received from the trigger button is 1 and the point according to the direction information when the value received from the trigger button is 0.1 is less than a specific distance. system.
 제1항에 있어서,
상기 혼합현실 구현부는 상기 버튼 입력정보의 선택 신호가 수신되는 경우, 2 이상의 가상객체 중 가장 가까운 가상객체가 선택되도록 구현하는 혼합현실 구현 시스템.
According to claim 1,
The mixed reality realization unit implements such that, when the selection signal of the button input information is received, the closest virtual object among two or more virtual objects is selected.
 제7항에 있어서,
상기 혼합현실 구현부는 상기 버튼 입력정보의 선택 신호가 수신되고, 하기 식 1을 만족하는 경우, 2 이상의 가상객체 중 상기 방향정보에 따른 포인트와 가장 가까운 가상객체가 선택되도록 구현하는 혼합현실 구현 시스템:
[식 1]
L≥D
(상기 식 1에서 L은 모든 가상객체들의 중심에서 가장 먼 가상객체와의 거리이고, D는 상기 방향정보에 따른 포인트에서 가장 가까운 가상객체와의 거리임).
8. The method of claim 7,
When the selection signal of the button input information is received and the following equation 1 is satisfied, the mixed reality implementation unit implements a virtual object closest to the point according to the direction information among two or more virtual objects to be selected.
[Equation 1]
L≥D
(In Equation 1, L is the distance from the virtual object furthest from the center of all virtual objects, and D is the distance from the virtual object closest to the point according to the direction information).
 제1항에 있어서,
상기 혼합현실 구현부는 상기 버튼 입력정보의 드롭 신호가 수신되는 경우, 미리 설정된 2 이상의 드롭위치 중 가장 가까운 드롭 포인트에 드롭되도록 구현하는 혼합현실 구현 시스템.
According to claim 1,
The mixed reality realization unit implements such that when a drop signal of the button input information is received, it is dropped to the nearest drop point among two or more preset drop positions.
 제9항에 있어서,
상기 혼합현실 구현부는 상기 버튼 입력정보의 드롭 신호가 수신되고, 하기 식 2를 만족하는 경우, 2 이상의 드롭위치 중 상기 방향정보에 따른 포인트와 가장 가까운 드롭위치에 드롭되도록 구현하는 혼합현실 구현 시스템:
[식 2]
L≥D
(상기 식 1에서 L은 모든 드롭위치들의 중심에서 가장 먼 드롭위치와의 거리이고, D는 상기 방향정보에 따른 포인트에서 가장 가까운 드롭위치와의 거리임).
10. The method of claim 9,
When the drop signal of the button input information is received and the following Equation 2 is satisfied, the mixed reality implementation unit implements to drop to the drop position closest to the point according to the direction information among two or more drop positions:
[Equation 2]
L≥D
(In Equation 1, L is the distance from the center of all drop locations to the farthest drop location, and D is the distance from the drop location closest to the point according to the direction information).
KR1020200154661A 2020-11-18 2020-11-18 System for implementing mixed reality KR102391321B1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200154661A KR102391321B1 (en) 2020-11-18 2020-11-18 System for implementing mixed reality
KR1020220050363A KR102655253B1 (en) 2020-11-18 2022-04-22 System for implementing mixed reality
KR1020220050358A KR20220068202A (en) 2020-11-18 2022-04-22 System for implementing mixed reality
KR1020220050373A KR102655232B1 (en) 2020-11-18 2022-04-22 System for implementing mixed reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200154661A KR102391321B1 (en) 2020-11-18 2020-11-18 System for implementing mixed reality

Related Child Applications (3)

Application Number Title Priority Date Filing Date
KR1020220050358A Division KR20220068202A (en) 2020-11-18 2022-04-22 System for implementing mixed reality
KR1020220050363A Division KR102655253B1 (en) 2020-11-18 2022-04-22 System for implementing mixed reality
KR1020220050373A Division KR102655232B1 (en) 2020-11-18 2022-04-22 System for implementing mixed reality

Publications (1)

Publication Number Publication Date
KR102391321B1 true KR102391321B1 (en) 2022-04-27

Family

ID=81390132

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020200154661A KR102391321B1 (en) 2020-11-18 2020-11-18 System for implementing mixed reality
KR1020220050373A KR102655232B1 (en) 2020-11-18 2022-04-22 System for implementing mixed reality
KR1020220050358A KR20220068202A (en) 2020-11-18 2022-04-22 System for implementing mixed reality
KR1020220050363A KR102655253B1 (en) 2020-11-18 2022-04-22 System for implementing mixed reality

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020220050373A KR102655232B1 (en) 2020-11-18 2022-04-22 System for implementing mixed reality
KR1020220050358A KR20220068202A (en) 2020-11-18 2022-04-22 System for implementing mixed reality
KR1020220050363A KR102655253B1 (en) 2020-11-18 2022-04-22 System for implementing mixed reality

Country Status (1)

Country Link
KR (4) KR102391321B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120086266A (en) * 2011-01-25 2012-08-02 광주과학기술원 Object manipulation method in augmented reality environment and Apparatus for augmented reality implementing the same
KR20200022737A (en) * 2018-08-23 2020-03-04 주식회사 버넥트 Mixed reality-based mini folding screen system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120086266A (en) * 2011-01-25 2012-08-02 광주과학기술원 Object manipulation method in augmented reality environment and Apparatus for augmented reality implementing the same
KR20200022737A (en) * 2018-08-23 2020-03-04 주식회사 버넥트 Mixed reality-based mini folding screen system

Also Published As

Publication number Publication date
KR20220068204A (en) 2022-05-25
KR20220068202A (en) 2022-05-25
KR102655232B1 (en) 2024-04-05
KR20220068203A (en) 2022-05-25
KR102655253B1 (en) 2024-04-05

Similar Documents

Publication Publication Date Title
EP3177982B1 (en) Radar-based gesture sensing and data transmission
US7091997B2 (en) One-to-one direct communication
CN104956307B (en) Method for the system connection via 3D object detections
CN113874819A (en) Detecting input in an artificial reality system based on pinch and pull gestures
WO2017201162A1 (en) Virtual/augmented reality input device
WO2016189372A2 (en) Methods and apparatus for human centric "hyper ui for devices"architecture that could serve as an integration point with multiple target/endpoints (devices) and related methods/system with dynamic context aware gesture input towards a "modular" universal controller platform and input device virtualization
US20080218490A1 (en) Terminal and method of controlling terminal
JP5996605B2 (en) System, program, and method for operating screen by interlocking head mounted display and controller
US20180232051A1 (en) Automatic localized haptics generation system
US20180253144A1 (en) Assisted item selection for see through glasses
KR102391321B1 (en) System for implementing mixed reality
EP4345584A1 (en) Control device, control method, and program
KR102249423B1 (en) Mixed reality device
EP3051513B1 (en) Display apparatus and control method thereof
JP6883394B2 (en) Programs, computers and methods
CN115129277A (en) Interaction method, display device and VR device
US8970491B2 (en) Computer system, computer system control method, program, and information storage medium
CN109144234B (en) Virtual reality system with external tracking and internal tracking and control method thereof
US10095266B2 (en) System and method for interfacing between a display and a controller
KR101752595B1 (en) smart phone controller control method for user's 3D position control in virtual space
JP2020061162A (en) System for screen operation by interlocking head-mounted display with controller, program, and method
JP6242452B1 (en) Method for providing virtual space, method for providing virtual experience, program, and recording medium
JP6957712B1 (en) Program and field of view control method
CN115624742B (en) Control method, control terminal and computer program product
JP7480408B1 (en) Information processing system, information processing device, program, and information processing method

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant