KR20220068203A - 혼합현실 구현 시스템 - Google Patents

혼합현실 구현 시스템 Download PDF

Info

Publication number
KR20220068203A
KR20220068203A KR1020220050363A KR20220050363A KR20220068203A KR 20220068203 A KR20220068203 A KR 20220068203A KR 1020220050363 A KR1020220050363 A KR 1020220050363A KR 20220050363 A KR20220050363 A KR 20220050363A KR 20220068203 A KR20220068203 A KR 20220068203A
Authority
KR
South Korea
Prior art keywords
unit
mixed reality
direction information
information
button input
Prior art date
Application number
KR1020220050363A
Other languages
English (en)
Other versions
KR102655253B1 (ko
Inventor
민동구
박정철
Original Assignee
주식회사 모소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 모소 filed Critical 주식회사 모소
Priority to KR1020220050363A priority Critical patent/KR102655253B1/ko
Publication of KR20220068203A publication Critical patent/KR20220068203A/ko
Application granted granted Critical
Publication of KR102655253B1 publication Critical patent/KR102655253B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Architecture (AREA)

Abstract

본 발명의 혼합현실 구현 시스템은 실제 환경의 영상을 획득하고 획득된 상기 영상에 가상객체를 증강하는 혼합현실 구현부; 및 사용자의 조작에 따른 방향정보, 및 버튼 입력정보를 생성하는 포인팅 조작부;를 포함하고, 상기 혼합현실 구현부는, 사용자의 조작에 따라 영상 컨텐츠를 디스플레이하는 표시부; 상기 포인팅 조작부로부터 방향정보 및 버튼 입력정보를 수신하는 통신부; 상기 방향정보 및 버튼 입력정보를 시간정보와 함께 저장하는 저장부; 및 상기 방향정보 및 버튼 입력정보로부터 방향정보에 따른 포인트, 선택신호, 드래그신호 및 드롭신호 판단하고 구현하는 제어부;를 포함하는 혼합현실 구현 시스템.

Description

혼합현실 구현 시스템{SYSTEM FOR IMPLEMENTING MIXED REALITY}
본 발명은 혼합현실 구현 시스템에 관한 것이다.
최근 VR, AR 및 MR을 포함하는 다양한 가상현실을 구현하는 장치들이 개발되고 있다. 이와 함께 상기 장치를 이용하는 사용자가 상기 가상현실들 내에서 다양한 조작을 하기 위해 상기 가상현실 구현 장치 및 사용자 간의 인터랙션을 위한 장치들도 지속적으로 연구 중이다. 상기 인터랙션 장치로 매직리프를 예로 들 수 있다.
그러나, 지금까지의 인터랙션 장치들은 사용자가 조작하기가 쉽지 않으며, 특히 가상객체가 많거나, 작은 경우 미세한 컨트롤이 어려워, 사용자의 의도 대로 조작되지 않는 불편함이 컸다.
이에, 사용자의 의도를 충분히 반영하면서 미세하고 정확한 조작이 가능한 혼합현실 구현 시스템이 필요한 실정이다.
본 발명의 목적은 사용자의 의도를 충분히 반영하면서 미세하고 정확한 조작이 가능한 혼합현실 구현 시스템을 제공하기 위한 것이다.
본 발명의 상기 및 기타의 목적들은 하기 설명되는 본 발명에 의하여 모두 달성될 수 있다.
본 발명의 하나의 관점은 혼합현실 구현 시스템에 관한 것이다.
일 구체예에 따르면, 상기 혼합현실 구현 시스템은 실제 환경의 영상을 획득하고 획득된 상기 영상에 가상객체를 증강하는 혼합현실 구현부; 및 사용자의 조작에 따른 방향정보, 및 버튼 입력정보를 생성하는 포인팅 조작부;를 포함하고, 상기 혼합현실 구현부는, 사용자의 조작에 따라 영상 컨텐츠를 디스플레이하는 표시부; 상기 포인팅 조작부로부터 방향정보 및 버튼 입력정보를 수신하는 통신부; 상기 방향정보 및 버튼 입력정보를 시간정보와 함께 저장하는 저장부; 및 상기 방향정보 및 버튼 입력정보로부터 방향정보에 따른 포인트, 선택신호, 드래그신호 및 드롭신호 판단하고 구현하는 제어부;를 포함한다.
상기 혼합현실 구현부는 수신된 상기 방향정보 및 버튼 입력정보에 기초하여 상기 가상객체를 제어하되, 상기 버튼 입력정보에 따라 상기 가상객체의 선택, 드래그 및 드롭을 구현할 수 있다.
상기 제어부는 버튼 입력정보 수신 시 방향정보는 미리 설정된 시간 이전의 방향정보를 적용하는 보정을 수행할 수 있다.
상기 보정은 버튼 입력정보 수신 시의 방향정보에 따른 포인트와 미리 설정된 시간 이전의 방향정보에 따른 포인트와의 거리가 특정 거리 이하인 경우에만 수행할 수 있다.
상기 버튼은 트리거(trigger) 버튼이고, 상기 제어부는 트리거 버튼으로부터 수신되는 값이 1일 때, 방향정보는 트리거 버튼으로부터 수신되는 값이 0.1인 방향정보를 적용하는 보정을 수행할 수 있다.
상기 보정은 트리거 버튼으로부터 수신되는 값이 1일 때의 방향정보에 따른 포인트와 트리거 버튼으로부터 수신되는 값이 0.1일 때의 방향정보에 따른 포인트와의 거리가 특정 거리 이하인 경우에만 수행할 수 있다.
상기 혼합현실 구현부는 상기 버튼 입력정보의 선택 신호가 수신되는 경우, 2 이상의 가상객체 중 가장 가까운 가상객체가 선택되도록 구현할 수 있다.
상기 혼합현실 구현부는 상기 버튼 입력정보의 선택 신호가 수신되고, 하기 식 1을 만족하는 경우, 2 이상의 가상객체 중 상기 방향정보에 따른 포인트와 가장 가까운 가상객체가 선택되도록 구현할 수 있다.
[식 1]
L≥D
(상기 식 1에서 L은 모든 가상객체들의 중심에서 가장 먼 가상객체와의 거리이고, D는 상기 방향정보에 따른 포인트에서 가장 가까운 가상객체와의 거리임).
상기 혼합현실 구현부는 상기 버튼 입력정보의 드롭 신호가 수신되는 경우, 미리 설정된 2 이상의 드롭위치 중 가장 가까운 드롭 포인트에 드롭되도록 구현할 수 있다.
상기 혼합현실 구현부는 상기 버튼 입력정보의 드롭 신호가 수신되고, 하기 식 2를 만족하는 경우, 2 이상의 드롭위치 중 상기 방향정보에 따른 포인트와 가장 가까운 드롭위치에 드롭되도록 구현할 수 있다.
[식 2]
L≥D
(상기 식 1에서 L은 모든 드롭위치들의 중심에서 가장 먼 드롭위치와의 거리이고, D는 상기 방향정보에 따른 포인트에서 가장 가까운 드롭위치와의 거리임).
본 발명은 사용자의 의도를 충분히 반영하면서 미세하고 정확한 조작이 가능한 혼합현실 구현 시스템을 제공하는 효과를 갖는다.
도 1은 본 발명의 일 구체예에 따른 혼합현실 구현 시스템의 블록도를 간단히 도시한 것이다.
도 2는 본 발명의 일 구체예에 따른 혼합현실 구현부의 구성 블록도를 간단히 도시한 것이다.
도 3은 본 발명의 일 구체예에 따른 포인팅 조작부의 레이캐스트 (raycast) 방식을 설명하기 위한 참고도이다.
도 4는 본 발명의 일 구체예에 따른 포인팅 조작부의 구성 블록도를 간단히 도시한 것이다.
도 5는 본 발명의 일 구체예에 따른 포인팅 조작부의 예시를 간단히 도시한 것이다.
도 6은 본 발명의 일 구체예에 따른 포인팅 조작부의 가상객체 제어 효과를 설명하기 위한 참고도이다.
도 7 및 도 8은 본 발명의 일 구체예에 따른 가상객체 제어 시 선택 또는 드롭 가능 영역을 설명하기 위한 참고도이다.
이하, 첨부한 도면들을 참조하여, 본 출원의 구체예들을 보다 상세하게 설명하고자 한다. 그러나 본 출원에 개시된 기술은 여기서 설명되는 구체예들에 한정되지 않고 다른 형태로 구체화될 수도 있다.
단지, 여기서 소개되는 구체예들은 개시된 내용이 철저하고 완전해 질 줄 수 있도록 그리고 당업자에게 본 출원의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다. 도면에서 각 장치의 구성요소를 명확하게 표현하기 위하여 상기 구성요소의 폭이나 두께 등의 크기를 다소 확대하여 나타내었다. 또한 설명의 편의를 위하여 구성요소의 일부만을 도시하기도 하였으나, 당업자라면 구성요소의 나머지 부분에 대하여도 용이하게 파악할 수 있을 것이다.
전체적으로 도면 설명 시 관찰자 시점에서 설명하였고, 일 요소가 다른 요소 상부에 또는 하부에 위치하는 것으로 언급되는 경우, 이는 상기 일 요소가 다른 요소 상부에 또는 하부에 바로 위치하거나 또는 그들 요소들 사이에 추가적인 요소가 개재될 수 있다는 의미를 모두 포함한다. 또한 해당 분야에서 통상의 지식을 가진 자라면 본 출원의 기술적 사상을 벗어나지 않는 범위 내에서 본 출원의 사상을 다양한 다른 형태로 구현할 수 있을 것이다. 그리고, 복수의 도면들 상에서 동일 부호는 실질적으로 서로 동일한 요소를 지칭한다.
한편, 본 출원에서 서술되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함하는 것으로 이해되어야 하고, '포함하다' 또는 '가지다'등의 용어는 기술되는 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들의 조합한 것에 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들의 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에 있어서, 범위를 나타내는 'X 내지 Y'는 'X 이상 Y 이하'를 의미한다.
명세서 전체에서 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 '전기적으로 연결'되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛 (unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '∼부'들로 더 분리 될 수 있다. 뿐만 아니라 구성 요소들 및 '~부'들은 디 바이 스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU 들을 재생시키도록 구현될 수도 있다.
혼합현실 구현 시스템
도 1을 참고하여 본 발명의 일 구체예에 따른 혼합현실 구현 시스템을 설명한다. 도 1은 본 발명의 일 구체예에 따른 혼합현실 구현 시스템의 블록도를 간단히 도시한 것이다.
도 1을 참고하면 본 발명의 일 구체예에 따른 혼합현실 구현 시스템은 실제 환경의 영상을 획득하고 획득된 상기 영상에 가상객체를 증강하는 혼합현실 구현부(100); 및 사용자의 조작에 따른 방향정보, 및 버튼 입력정보를 생성하는 포인팅 조작부(200);를 포함한다.
본 발명에서 상기 혼합현실 구현부(100)는 상기 방향정보 및 버튼 입력정보를 수신하고, 수신된 상기 방향정보 및 버튼 입력정보에 기초하여 상기 가상객체를 제어하되, 상기 버튼 입력정보에 따라 상기 가상객체의 선택, 드래그 및 드롭을 구현한다.
이하, 혼합현실 구현부(100) 및 포인팅 조작부(200)에 대해서 자세히 설명한다.
도 2를 참고하면, 상기 혼합현실 구현부(100)는 사용자의 조작에 따라 영상 컨텐츠를 디스플레이하는 표시부(110); 상기 포인팅 조작부로부터 방향정보 및 버튼 입력정보를 수신하는 통신부(130); 상기 방향정보 및 버튼 입력정보를 시간정보와 함께 저장하는 저장부(150); 및 상기 방향정보 및 버튼 입력정보로부터 방향정보에 따른 포인트, 선택신호, 드래그신호 및 드롭신호 판단하고 구현하는 제어부(170);를 포함할 수 있다.
또한, 상기 혼합현실 구현부(100)는 실물배경을 인식하여 실물배경의 형태, 굴곡정도, 명도, 조도 및 색상을 포함하는 실물배경 영상 데이터를 추출하는 영상인식부를 더 포함할 수 있다.
상기 표시부(110)는 상기 영상인식부로부터 추출된 영상 데이터 및/또는 가상객체 등의 영상 컨텐츠를 디스플레이하여 혼합현실을 포함하는 다양한 가상현실을 제공할 수 있다.
또한,　표시부(110)는 영상 컨텐츠를 디스플레이하되, 상기 제어부(170)의 제어에 따라 가상의 객체의 상태가 변경되어 그 변경된 가상의 객체의 상태를 디스플레이할 수 있다.
상기 통신부(130)는 상기 포인팅 조작부(200)와 무선 연동하여 정보를 주고 받을 수 있다. 예를 들어, 상기 통신부(130)는 상기 포인팅 조작부(200)로부터 방향정보 및 버튼 입력정보 중 하나 이상을 수신할 수 있다.
상기 저장부(150)는 상기 수신된 방향정보 및 버튼 입력정보를 시간정보와 함께 저장할 수 있다. 이러한 시간 정보는 후술하는 포인트 위치의 보정에 활용될 수 있다.
상기 제어부(170)는 상기 방향정보 및 버튼 입력정보로부터 포인팅 방향을 산출하고, 상기 산출된 포인팅 방향에 위치하는 가상의 객체를 선택, 이동(드래그), 드랍 등을 수행할 수 있도록 한다. 상기 방향정보로부터 추출되는 포인팅 방향과 가상객체의 충돌(collision) 방식은 레이캐스트(raycast) 방식을 적용할 수 있으나 이에 제한되지는 않는다. 도 3을 참고하면, 상기 레이캐스트는 3차원 공간에 있는 가상객체를 찾기(hit) 위해 ray의 위치(position)와 방향을 갖는 ray를 쏘게 되는데, ray의 방향에 객체가 있으면 hit을 반환하여 해당 가상객체를 선택, 드래그 또는 드랍을 수행할 수 있는 기본 상태가 된다.
구체예에서, 상기 혼합현실 구현부(100)의 제어부(170)는 버튼 입력정보 수신 시 방향정보로 미리 설정된 시간 이전의 방향정보를 적용하는 보정을 수행할 수 있다.
사용자가 포인팅 조작부(200)로 원하는 방향을 설정하고, 해당 방향에서 버튼을 누르려고 하지만, 버튼을 누르려는 동작에 의해 원래 의도하던 방향과 오차가 생기는 경우가 많다. 때문에, 사용자는 의도하던 조작에 어려움을 겪을 수 있고, 특히 빠른 템포로 조작을 해야하는 경우 오차가 더욱 커질 수 있다.
본 발명의 혼합현실 구현 시스템은 저장부(150)에 저장된 시간 데이터를 활용하여 이를 해결할 수 있다.
구체적으로, 상기 포인팅 조작부(200)로부터 수신되는 방향정보 및 버튼 입력정보는 상기 저장부(150)에 시간 데이터와 함께 저장이 되며, 상기 제어부(170)는 이러한 시간 데이터를 활용하여, 버튼 입력정보 수신 시 0.05초 내지 0.3초 이전, 구체적으로 0.1초 내지 0.2초 이전, 예를 들어 0.15초 이전의 방향정보를 해당 방향정보로 판단할 수 있다.
상기 버튼 입력정보는 선택 또는 드롭일 수 있고, 상기 저장부(150)는 저장 용량을 줄이기 위해, 특정 시간 동안만 해당 데이터를 저장하는 것일 수 있다.
다른 구체예에서, 상기 보정은 버튼 입력정보 수신 시의 방향정보에 따른 포인트와 미리 설정된 시간 이전의 방향정보에 따른 포인트와의 거리가 특정 거리 이하인 경우에만 수행하는 것일 수 있다.
상기 특정 거리는 가상객체 위치 간의 거리 중 가장 짧은 거리의 3배 또는 드롭위치 간의 거리 중 가장 짧은 거리의 3배일 수 있다.
버튼 입력정보 수신 시의 방향정보에 따른 포인트와 미리 설정된 시간 이전의 방향정보에 따른 포인트와의 거리가 상기 특정 거리 보다 짧은 경우에는 사용자가 신중한 움직임에도 버튼 조작으로 인한 오차일 가능성이 높고, 상기 특정 거리 보다 긴 경우에는 빠른 템포의 조작을 위한 사용자의 의도일 가능성이 큰 점을 반영한 것이다.
또 다른 구체예에서, 상기 버튼은 트리거(trigger) 버튼이고, 상기 혼합현실 구현부의 제어부(170)는 트리거 버튼으로부터 수신되는 값이 1일 때, 방향정보는 트리거 버튼으로부터 수신되는 값이 0.1인 방향정보를 적용하는 보정을 수행하는 것일 수 있다. 버튼이 트리거 버튼인 경우에는 수신되는 값이 1일 때 선택신호에 대응될 수 있고, 트리거 버튼은 누르기 시작하면서부터 0 초과의 값이 부여되므로, 시간 대신 해당 값을 활용하여 보정을 수행할 수 있다.
이 경우 상기 저장부(150)는 트리거의 출력 값을 함께 저장하는 것일 수 있다.
상기 트리거 버튼에 의한 보정은 트리거 버튼으로부터 수신되는 값이 1일 때의 방향정보에 따른 포인트와 트리거 버튼으로부터 수신되는 값이 0.1일 때의 방향정보에 따른 포인트와의 거리가 특정 거리 이하인 경우에만 수행할 수 있다.
구체예에서, 상기 혼합현실 구현부(100)는 입력부(190)을 더 포함할 수 있으며, 상기 입력부(190)는 상요자의 메뉴 또는 키조작에 따른 정보를 입력받을 수 있다.
상기 포인팅 조작부(200)는 버튼, 트리거 등의 입력을 받는 입력부(210), 포인팅 조작부(200)의 위치정보 및/또는 방향정보를 획득하는 센서부(230), 상기 입력부(210) 및 센서부(210)로부터 입력받고 획득한 데이터를 혼합현실 구현부(100)로 전송하는 전송부(250) 및 상기 입력부(210), 센서부(230) 및 전송부(250)의 동작을 제어하는 제어부(270)을 포함할 수 있다.
도 5을 참고하면, 상기 입력부(210)는 가상객체를 선택, 드롭 등의 제어를 위한 사용자의 조작 정보를 입력 받을 수 있다. 구체적으로 상기 입력부(210)는 단추버튼(211), 트리거버튼(213) 및 원형패드(215) 중 하나 이상을 포함할 수 있다.
상기 단추버튼(211)은 포인팅 조작부(200)의 방향 설정에 의해 가상객체가 히팅(hit)된 상태에서 눌려지는 경우 상기 혼합현실 구현부의 제어부(170)는 선택 신호로 판단하고, 눌려지는 시간이 0.2초 이상인 경우에는 드래그(이동)가 가능한 상태로 판단하여, 포인팅 조작부(200)의 방향에 대응하여 이동이 가능하며, 단추버튼(211)이 해제되는 경우 제어부(170)은 드롭 신호로 판단할 수 있다. 이는 하나의 예시일 뿐 더블클릭 등의 동작으로 해당 신호에 대한 제어를 부여할 수 있다.
상기 트리거버튼(213)은 포인팅 조작부(200)의 방향 설정에 의해 가상객체가 히팅(hit)된 상태에서 1의 값을 가지는 경우 상기 혼합현실 구현부의 제어부(170)는 선택 신호로 판단하고, 1의 값을 갖는 시간이 0.2초 이상인 경우에는 드래그(이동)가 가능한 상태로 판단하여, 포인팅 조작부(200)의 방향에 대응하여 이동이 가능하며, 트리거버튼(213)이 해제되는 경우 제어부(170)은 드롭 신호로 판단할 수 있다. 이는 하나의 예시일 뿐 트리거버튼(213)의 값은 다양하게 변경하여 적용할 수 있다.
상기 원형패드(215)의 입력값 역시, 혼합현실 구현 시스템의 적용 환경 및 목적에 따라 다양하게 적용할 수 있으며, 예를 들어 가상객체의 회전에 대응되는 값으로 적용할 수 있다.
상기 센서부(230)는 사용자의 포인팅 조작부(200)의 조작에 따라 방향 및/또는 위치정보를 획득할 수 있다. 구체적으로, 상기 센서부(230)는 기울기 센서, 방위 센서 및 가속도 센서 중 하나 이상을 포함할 수 있으며, 필요에 따라 적외선 센서, 초음파 센서를 구비할 수 있다. 상기 센서들로부터 포인팅 조작부가 향하는 위치정보 및/또는 방향정보를 획득할 수 있으며, 이는 당업자에게 알려진 다양한 방법으로 수행할 수 있다.
상기 전송부(250)는 입력부(210) 및 센서부(230)로부터 획득된 버튼 입력정보들과, 위치정보, 방향정보 등을 혼합현실 구현부(100)로 전송할 수 있다.
상기 제어부(270)는 상기 입력부(210), 센서부(230) 및 전송부(250)의 동작을 제어할 수 있다.
본 발명에서는 제어부(170)의 알고리즘을 혼합현실에 적용하는 것을 예로들어 설명하였으나, 이에 제한되지 않고, 가상현실 및 증강현실에서도 적용 가능하며, 이는 당업자에게 용이한 변경으로 각 구성을 적용 및 제어할 수 있다.
특히, 본 발명 혼현현실 구현부(100)는 설계된 알고리즘을 적용함으로써, 가상객체의 선택 및 드롭 구현 시 사용자의 의도를 충분히 반영하면서 미세하고 정확한 조작이 가능한 장점이 있다.
구체예에서, 상기 혼합현실 구현부(100)는 상기 버튼 입력정보의 선택 신호가 수신되는 경우, 2 이상의 가상객체 중 가장 가까운 가상객체가 선택되도록 구현하는 것일 수 있다. 상기 선택 신호에 대해서는 후술한다.
예를 들어, 상기 혼합현실 구현부(100)는 상기 버튼 입력정보의 선택 신호가 수신되고, 하기 식 1을 만족하는 경우, 2 이상의 가상객체(A, B, C) 중 상기 방향정보에 따른 포인트(Q)와 가장 가까운 가상객체(도 6에서는 B)가 선택되도록 구현하는 것일 수 있다.
[식 1]
L≥D
(상기 식 1에서 L은 모든 가상객체들(A, B, C)의 중심(P)에서 가장 먼 가상객체와의 거리(l3)이고, D는 상기 방향정보에 따른 포인트(Q)에서 가장 가까운 가상객체와의 거리(d2)임).
도 6를 참고하여 설명하면, 상기 혼합현실 구현부(100)는 가상객체들 A, B, C을 기준으로 중심(P)과 가장 먼 거리인 l3에 비해 방향정보에 따른 포인트(Q)와 가장 짧은 거리인 d2)가 같거나 짧은 경우, 가장 가까운(가장 짧은) B가 선택되도록 구현할 수 있다.
이로써, 선택하고자 하는 가상객체를 정확하게 포인팅하지 않고 특정 거리 내로만 포인팅 하더라도 가장 근처의 가상객체가 선택됨으로써, 사용자는 정확한 조작이 가능한 장점이 있다.
구체적으로, 중심 P와 A, B, C 간의 거리 l1, l2, l3은 아래의 식 3으로 구할 수 있고, Q와 A, B, C 간의 거리 d1, d2, d3 역시 동일한 방식으로 산출 가능하다.
[식 3]
Figure pat00001
이후 l1, l2, l3 중 가장 큰 값이 d1(AQ), d2(BQ), d3(CQ) 중 가장 작은 값 이상인 경우, Q와 가장 가까운 위치(A, B, C 중)가 선택되게 된다.
[식 4]
Figure pat00002
이를 도 7 및 도 8을 참고하여 설명하면, 세개의 가상객체가 존재한다고 가정할 때, 가상객체의 중심으로부터 가장 먼 거리인 lmax가 산출되고, 각 가상객체 위치에서 lmax 거리 내에 방향정보에 따른 포인트를 위치시키고 선택 신호를 입력하면, 가장 가까운 가상객체가 선택이 되는 것이며, 이는 도 8과 같이 각 가상객체가 선택될 수 있는 영역이 설정될 수 있다.
구체예에서, 다수의 가상객체들이 이격되어 무리지어 있는 경우, 무리지어 있는 가상객체들을 하나의 단위로 상기 알고리즘을 수행할 수 있으며, 해당 이격 정도는 미리 설정이 가능하다. 상기 설정은 가상객체의 크기 및/또는 가상객체 간의 거리에 따라 적절히 조절할 수 있으며, 예를 들어 가상객체들 중 가장 가까운 거리의 2배 내지 6배, 구체적으로 2.5배 내지 4배, 더욱 구체적으로 3배로 적용할 수 있다.
또한, 상기 상기 혼합현실 구현부(100)는 드래그 후, 상기 버튼 입력정보의 드롭 신호가 수신되는 경우, 미리 설정된 2 이상의 드롭위치 중 가장 가까운 드롭 포인트에 드롭되도록 구현하는 것일 수 있다. 상기 드롭 신호에 대해서는 후술한다.
예를 들어, 상기 혼합현실 구현부(100)는 상기 버튼 입력정보의 드롭 신호가 수신되고, 하기 식 2를 만족하는 경우, 2 이상의 드롭위치 중 상기 방향정보에 따른 포인트와 가장 가까운 드롭위치에 드롭되도록 구현하는 것일 수 있다.
[식 2]
L≥D
(상기 식 1에서 L은 모든 드롭위치들의 중심에서 가장 먼 드롭위치와의 거리이고, D는 상기 방향정보에 따른 포인트에서 가장 가까운 드롭위치와의 거리임).
상기 드롭에 관한 알고리즘은 상기 가상객체 선택에 관한 알고리즘과 실질적으로 동일하게 적용될 수 있고, 이 때, 상기 드롭위치는 상기 가상객체의 위치에 대응되고, 상기 드롭 신호는 상기 선택 신호와 대응될 수 있다.
이상 본 발명의 구체예들을 설명하였으나, 본 발명은 상기 구체예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 구체예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.
100: 혼합현실 구현부 110: 표시부
130: 통신부 150: 저장부
170: 제어부 190: 입력부
200: 포인팅 조작부 210: 입력부
211: 단추버튼 213: 트리거버튼
215: 원형패드 230: 센서부
250: 전송부 270: 제어부
Q: 방향정보에 따른 포인트

Claims (4)

  1. 실제 환경의 영상을 획득하고 획득된 상기 영상에 가상객체를 증강하는 혼합현실 구현부; 및 사용자의 조작에 따른 방향정보, 및 버튼 입력정보를 생성하는 포인팅 조작부;를 포함하고,
    상기 혼합현실 구현부는,
    사용자의 조작에 따라 영상 컨텐츠를 디스플레이하는 표시부;
    상기 포인팅 조작부로부터 방향정보 및 버튼 입력정보를 수신하는 통신부;
    상기 방향정보 및 버튼 입력정보를 시간정보와 함께 저장하는 저장부; 및
    상기 방향정보 및 버튼 입력정보로부터 방향정보에 따른 포인트, 선택신호, 드래그신호 및 드롭신호 판단하고 구현하는 제어부;
    를 포함하는 혼합현실 구현 시스템.
  2. 제1항에 있어서,
    상기 혼합현실 구현부는 수신된 상기 방향정보 및 버튼 입력정보에 기초하여 상기 가상객체를 제어하되, 상기 버튼 입력정보에 따라 상기 가상객체의 선택, 드래그 및 드롭을 구현하는 혼합현실 구현 시스템.
  3. 제2항에 있어서,
    상기 혼합현실 구현부는 상기 버튼 입력정보의 선택 신호가 수신되는 경우, 2 이상의 가상객체 중 가장 가까운 가상객체가 선택되도록 구현하는 혼합현실 구현 시스템.
  4. 제3항에 있어서,
    상기 혼합현실 구현부는 상기 버튼 입력정보의 선택 신호가 수신되고, 하기 식 1을 만족하는 경우, 2 이상의 가상객체 중 상기 방향정보에 따른 포인트와 가장 가까운 가상객체가 선택되도록 구현하는 혼합현실 구현 시스템:
    [식 1]
    L≥D
    (상기 식 1에서 L은 모든 가상객체들의 중심에서 가장 먼 가상객체와의 거리이고, D는 상기 방향정보에 따른 포인트에서 가장 가까운 가상객체와의 거리임).

KR1020220050363A 2020-11-18 2022-04-22 근접 가상객체 선택이 가능한 혼합현실 구현 시스템 KR102655253B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220050363A KR102655253B1 (ko) 2020-11-18 2022-04-22 근접 가상객체 선택이 가능한 혼합현실 구현 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200154661A KR102391321B1 (ko) 2020-11-18 2020-11-18 혼합현실 구현 시스템
KR1020220050363A KR102655253B1 (ko) 2020-11-18 2022-04-22 근접 가상객체 선택이 가능한 혼합현실 구현 시스템

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020200154661A Division KR102391321B1 (ko) 2020-11-18 2020-11-18 혼합현실 구현 시스템

Publications (2)

Publication Number Publication Date
KR20220068203A true KR20220068203A (ko) 2022-05-25
KR102655253B1 KR102655253B1 (ko) 2024-04-05

Family

ID=81390132

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020200154661A KR102391321B1 (ko) 2020-11-18 2020-11-18 혼합현실 구현 시스템
KR1020220050363A KR102655253B1 (ko) 2020-11-18 2022-04-22 근접 가상객체 선택이 가능한 혼합현실 구현 시스템
KR1020220050373A KR102655232B1 (ko) 2020-11-18 2022-04-22 근접 드롭 구현이 가능한 혼합현실 구현 시스템
KR1020220050358A KR20220068202A (ko) 2020-11-18 2022-04-22 혼합현실 구현 시스템

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020200154661A KR102391321B1 (ko) 2020-11-18 2020-11-18 혼합현실 구현 시스템

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020220050373A KR102655232B1 (ko) 2020-11-18 2022-04-22 근접 드롭 구현이 가능한 혼합현실 구현 시스템
KR1020220050358A KR20220068202A (ko) 2020-11-18 2022-04-22 혼합현실 구현 시스템

Country Status (1)

Country Link
KR (4) KR102391321B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120086266A (ko) * 2011-01-25 2012-08-02 광주과학기술원 증강현실 환경에서의 가상객체 조작방법 및 이를 구현하는 증강현실 장치
KR20200022737A (ko) * 2018-08-23 2020-03-04 주식회사 버넥트 혼합현실 기반의 접이식 표시 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120086266A (ko) * 2011-01-25 2012-08-02 광주과학기술원 증강현실 환경에서의 가상객체 조작방법 및 이를 구현하는 증강현실 장치
KR20200022737A (ko) * 2018-08-23 2020-03-04 주식회사 버넥트 혼합현실 기반의 접이식 표시 시스템

Also Published As

Publication number Publication date
KR20220068204A (ko) 2022-05-25
KR20220068202A (ko) 2022-05-25
KR102655232B1 (ko) 2024-04-05
KR102391321B1 (ko) 2022-04-27
KR102655253B1 (ko) 2024-04-05

Similar Documents

Publication Publication Date Title
US7091997B2 (en) One-to-one direct communication
CN113874819A (zh) 基于捏和拉手势检测人工现实系统中的输入
JP5996605B2 (ja) ヘッドマウントディスプレイとコントローラとを連動させて画面操作するシステム、プログラム、及び方法
CN106489080A (zh) 基于雷达的手势感测和数据传输
US10456684B2 (en) Attention control for information processing apparatus, information processing system, information processing method, non-transitory computer-readable storage medium storing information processing program
US20080218490A1 (en) Terminal and method of controlling terminal
CN113892074A (zh) 用于人工现实系统的手臂凝视驱动的用户界面元素选通
CN111045511B (zh) 基于手势的操控方法及终端设备
KR20180094799A (ko) 자동 국부적 햅틱 생성 시스템
US20100157033A1 (en) Method of determining the motion of a pointing device
KR102391321B1 (ko) 혼합현실 구현 시스템
CN111736689B (zh) 虚拟现实装置、数据处理方法与计算机可读存储介质
EP4345584A1 (en) Control device, control method, and program
KR102249423B1 (ko) 혼합현실 장치
JP6883394B2 (ja) プログラム、コンピュータ及び方法
JP6854869B2 (ja) ヘッドマウントディスプレイとコントローラとを連動させて画面操作するシステム、プログラム、及び方法
JP2018032413A (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
CN115129277A (zh) 一种交互方法、显示设备及vr设备
US8970491B2 (en) Computer system, computer system control method, program, and information storage medium
US10095266B2 (en) System and method for interfacing between a display and a controller
CN109144234B (zh) 具有外置追踪及内置追踪的虚拟现实系统及其控制方法
KR101752595B1 (ko) 가상공간에서 사용자의 3차원 위치 제어를 위한 스마트폰 컨트롤러 제어방법
JP6242452B1 (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
US20180224950A1 (en) Information processing system and information processing method thereof
JP7480408B1 (ja) 情報処理システム、情報処理装置、プログラム及び情報処理方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant