KR101806864B1 - 증강 현실 환경에서 3d 객체를 제어하기 위한 장치 및 그 방법 - Google Patents

증강 현실 환경에서 3d 객체를 제어하기 위한 장치 및 그 방법 Download PDF

Info

Publication number
KR101806864B1
KR101806864B1 KR1020160128393A KR20160128393A KR101806864B1 KR 101806864 B1 KR101806864 B1 KR 101806864B1 KR 1020160128393 A KR1020160128393 A KR 1020160128393A KR 20160128393 A KR20160128393 A KR 20160128393A KR 101806864 B1 KR101806864 B1 KR 101806864B1
Authority
KR
South Korea
Prior art keywords
pointing
virtual object
controlling
user
calculating
Prior art date
Application number
KR1020160128393A
Other languages
English (en)
Inventor
한탁돈
김동철
서종훈
채승호
양윤식
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020160128393A priority Critical patent/KR101806864B1/ko
Application granted granted Critical
Publication of KR101806864B1 publication Critical patent/KR101806864B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명에 의한 증강현실 환경에서 객체를 제어하기 위한 장치 및 그 방법이 개시된다. 본 발명에 따른 증강현실 환경에서 객체를 제어하기 위한 장치는 사용자의 조작에 따라 사용자가 위치하는 공간 상에 디스플레이된 영상 컨텐츠 내 가상의 객체를 제어하기 위한 자세 정보를 획득하는 포인팅 디바이스; 및 상기 영상 컨텐츠를 디스플레이하고, 상기 디스플레이된 영상 컨텐츠 내 가상의 객체를 제어하기 위한 자세 정보를 상기 포인팅 디바이스로부터 전달 받아 상기 전달 받은 자세 정보를 기반으로 상기 가상의 객체의 상태를 제어하는 AR 디바이스를 포함한다.

Description

증강 현실 환경에서 3D 객체를 제어하기 위한 장치 및 그 방법{APPARATUS FOR CONTROLLING 3D OBJECT IN AUGMMENTED REALITY ENVIRONMENT AND METHOD THEREOF}
본 발명은 증강현실(Augmented Reality) 기술에 관한 것으로서, 특히, 포인팅 디바이스를 이용하여 증강현실 환경에서 3D 객체를 제어하기 위한 장치 및 그 에 관한 것이다.
컴퓨터와 컴퓨터 화면을 출력해주기 위한 여러 디스플레이가 대중화 되면서, 디스플레이된 화면에 포인터를 제어하기 위한 다양한 디바이스가 개발되었다. 디스플레이 화면에 포인터를 이동시키기 위해서 주로 사용된 것은 마우스이며, 마우스는 평면 위에서 볼의 회전 또는 반사된 광을 통해 이동량을 계산하는 방법을 이용한다.
기존의 마우스를 사용하는 경우 마우스와 직접 접촉이 가능한 평면이 필요하기 때문에 이러한 사용 제약을 극복하고자 3D 마우스나 터치 기능을 갖는 디스플레이와 같은 새로운 인터페이스 디바이스들에 대한 개발이 진행되었다.
그러나 3D 마우스나 터치 기능을 갖는 디스플레이와 같은 새로운 인터페이스 디바이스 또한 2D를 기반으로 디스플레이 되는 경우만을 예상하여 2D 객체나 화면을 제어하기 위한 수준에 그치고 있다.
또한 3D 객체를 제어하는 경우라 하더라도, 컴퓨터 모니터나 스마트폰 디스플레이 화면에 랜더링된 3D 객체를 제어하는 것이기 때문에 사용자의 위치 좌표 보다는 디스플레이 화면 상의 좌표가 상호 작용의 중심이 되는 기술이 대부분이다.
따라서 이러한 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 디스플레이 기기를 통해 디스플레이되는 가상의 3D 객체나 증강된 3D 객체를 지시하는 포인터 디바이스의 자세 정보를 획득하여 획득한 자세 정보를 기반으로 증강현실 환경에서 객체를 제어하기 위한 장치 및 그 방법을 제공하는데 있다.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적들을 달성하기 위하여, 본 발명의 한 관점에 따른 증강현실 환경에서 객체를 제어하기 위한 장치는 사용자의 조작에 따라 사용자가 위치하는 공간 상에 디스플레이된 영상 컨텐츠 내 가상의 객체를 제어하기 위한 자세 정보를 획득하는 포인팅 디바이스; 및 상기 영상 컨텐츠를 디스플레이하고, 상기 디스플레이된 영상 컨텐츠 내 가상의 객체를 제어하기 위한 자세 정보를 상기 포인팅 디바이스로부터 전달 받아 상기 전달 받은 자세 정보를 기반으로 상기 가상의 객체의 상태를 제어하는 AR 디바이스를 포함할 수 있다.
또한, 상기 AR 디바이스는 사용자의 조작에 따라 상기 포인팅 디바이스로부터 가상의 객체를 제어하기 위한 자세 정보를 전달 받고, 상기 전달 받은 자세 정보를 이용하여 포인팅 방향을 산출하여 상기 산출된 포인팅 방향에 위치하는 가상의 객체를 선택할 수 있다.
또한, 상기 AR 디바이스는 상기 포인팅 방향에 위치하는 다수의 가상의 객체 중 하나를 선택하기 위한 깊이값에 상응하는 제어 신호를 전달 받고, 상기 전달 받은 제어 신호를 이용하여 포인팅 위치를 산출하여 상기 산출된 포인팅 위치에 상응하는 가상의 객체를 선택할 수 있다.
또한, 상기 AR 디바이스는 사용자의 조작에 따라 상기 포인팅 디바이스로부터 가상의 객체를 제어하기 위한 자세 정보를 전달 받고, 상기 전달 받은 자세 정보를 이용하여 포인팅 방향을 산출하여 상기 산출된 포인팅 방향으로 상기 가상의 객체를 이동시킬 수 있다.
또한, 상기 AR 디바이스는 상기 포인팅 방향에 위치하는 가상의 객체를 제어하기 위한 깊이값에 상응하는 제어 신호를 전달 받고, 상기 전달 받은 제어 신호를 이용하여 포인팅 위치를 산출하여 상기 산출된 포인팅 위치에 상응하는 가상의 객체를 이동시킬 수 있다.
또한, 상기 자세 정보는, 상기 포인팅 디바이스 내에 설치된 적어도 하나의 기울기 센서로부터 감지된 기울기 정보를 포함할 수 있다.
또한, 상기 AR 디바이스는, 투과형 HMD(Head Mounted Display), 비투과형 HMD, 프로젝션 장치, 3D 홀로그램 장치를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 증강현실 환경에서 객체를 제어하기 위한 장치는 공간 상에서 상기 포인팅 디바이스를 조작하는 사용자의 모션을 인식하여 그 인식한 결과로 상기 포인팅 디바이스의 위치를 기준 위치로 산출하는 모션인식 디바이스를 더 포함할 수 있다.
또한, 상기 AR 디바이스는 상기 모션인식 디바이스로부터 산출된 기준 위치와 상기 제어 정보를 이용하여 상기 포인팅 방향을 산출할 수 있다.
본 발명의 다른 한 관점에 따른 증강현실 환경에서 객체를 제어하기 위한 장치는 사용자의 조작에 따라 사용자가 위치하는 공간 상에서 영상 컨텐츠를 디스플레이하는 표시부; 상기 디스플레이된 영상 컨텐츠 내 가상의 객체를 제어하기 위한 자세 정보를 포인팅 디바이스로부터 전달받는 통신부; 및 상기 전달 받은 자세 정보를 이용하여 포인팅 방향과 포인팅 위치를 산출하여 산출된 포인팅 방향과 상기 포인팅 위치를 기반으로 상기 가상의 객체의 상태를 제어하는 제어부를 포함할 수 있다.
또한, 상기 제어부는 사용자의 조작에 따라 상기 포인팅 디바이스로부터 가상의 객체를 제어하기 위한 자세 정보를 전달 받고, 상기 전달 받은 자세 정보를 이용하여 포인팅 방향을 산출하여 상기 산출된 포인팅 방향에 위치하는 가상의 객체를 선택할 수 있다.
또한, 상기 제어부는 상기 포인팅 방향에 위치하는 다수의 가상의 객체 중 하나를 선택하기 위한 깊이값에 상응하는 제어 신호를 전달 받고, 상기 전달 받은 제어 신호를 이용하여 포인팅 위치를 산출하여 상기 산출된 포인팅 위치에 상응하는 가상의 객체를 선택할 수 있다.
또한, 상기 제어부는 사용자의 조작에 따라 상기 포인팅 디바이스로부터 가상의 객체를 제어하기 위한 자세 정보를 전달 받고, 상기 전달 받은 자세 정보를 이용하여 포인팅 방향을 산출하여 상기 산출된 포인팅 방향으로 상기 가상의 객체를 이동시킬 수 있다.
또한, 상기 제어부는 상기 포인팅 방향에 위치하는 가상의 객체를 제어하기 위한 깊이값에 상응하는 제어 신호를 전달 받고, 상기 전달 받은 제어 신호를 이용하여 포인팅 위치를 산출하여 상기 산출된 포인팅 위치에 상응하는 가상의 객체를 이동시킬 수 있다.
본 발명의 또 다른 한 관점에 따른 증강현실 환경에서 객체를 제어하기 위한 방법은 사용자의 조작에 따라 사용자가 위치하는 공간 상에서 영상 컨텐츠를 디스플레이하는 단계; 상기 디스플레이된 영상 컨텐츠 내 가상의 객체를 제어하기 위한 자세 정보를 포인팅 디바이스로부터 전달받는 단계; 및 상기 전달 받은 자세 정보를 이용하여 포인팅 방향과 포인팅 위치를 산출하여 산출된 포인팅 방향과 상기 포인팅 위치를 기반으로 상기 가상의 객체의 상태를 제어하는 단계를 포함할 수 있다.
또한, 상기 제어하는 단계는 사용자의 조작에 따라 상기 포인팅 디바이스로부터 가상의 객체를 제어하기 위한 자세 정보를 전달 받고 상기 전달 받은 자세 정보를 이용하여 포인팅 방향을 산출하여 상기 산출된 포인팅 방향에 위치하는 가상의 객체를 선택하며, 상기 포인팅 방향에 위치하는 다수의 가상의 객체 중 하나를 선택하기 위한 깊이값에 상응하는 제어 신호를 전달 받고 상기 제어 신호를 이용하여 포인팅 위치를 산출하여 상기 산출된 포인팅 위치에 상응하는 가상의 객체를 선택할 수 있다.
또한, 상기 제어하는 단계는 사용자의 조작에 따라 상기 포인팅 디바이스로부터 가상의 객체를 제어하기 위한 자세 정보를 전달 받고 상기 전달 받은 자세 정보를 이용하여 포인팅 방향을 산출하여 상기 산출된 포인팅 방향으로 상기 가상의 객체를 이동시키며, 상기 포인팅 방향에 위치하는 가상의 객체를 제어하기 위한 깊이값에 상응하는 제어 신호를 전달 받고 상기 제어 신호를 이용하여 포인팅 위치를 산출하여 상기 산출된 포인팅 위치에 상응하는 가상의 객체를 이동시킬 수 있다.
이처럼, 본 발명은 디스플레이 기기를 통해 디스플레이되는 가상의 3D 객체나 증강된 3D 객체를 지시하는 포인터 디바이스의 자세 정보를 획득하여 획득한 자세 정보를 기반으로 증강현실 환경에서 객체를 제어하도록 함으로써, 증강 현실에 랜더링된 3D 객체를 각 환경에 적합한 형태로 제어할 수 있다.
또한 본 발명은 증강 현실에 랜더링된 3D 객체를 각 환경에 적합한 형태로 제어하는 것이 가능하기 때문에 증강 현실을 이용하여 사용자에게 편리를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 전체 시스템의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 포인팅 방향 산출 원리를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 기준 위치 산출 원리를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 객체 제어 원리를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 AR 디바이스의 상세한 구성을 나타내는 도면이다.
도 6a 내지 도 6b는 본 발명의 일 실시예에 따른 객체 제어 원리를 설명하기 위한 도면이다.
도 7a 내지 도 7b는 본 발명의 일 실시예에 따른 객체 선택 원리를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 포인팅 디바이스의 상세한 구성을 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따른 3D 객체를 제어하는 방법을 나타내는 도면이다.
이하에서는, 본 발명의 실시예에 따른 증강 현실 환경에서 3D 객체를 제어하기 위한 장치 및 그 방법을 첨부한 도면을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는 데 필요한 부분을 중심으로 상세히 설명한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 불구하고 동일한 참조부호를 부여할 수도 있다. 그러나, 이와 같은 경우라 하더라도 해당 구성 요소가 실시예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시예에서의 각각의 구성 요소에 대한 설명에 기초하여 판단하여야 할 것이다.
특히, 본 발명에서는 디스플레이 기기를 통해 디스플레이되는 가상의 3D 객체나 증강된 3D 객체를 지시하는 포인터 디바이스의 자세 정보를 획득하여 획득한 자세 정보를 기반으로 증강현실 환경에서 객체를 제어하도록 한 새로운 방안을 제안한다.
여기서, 증강 현실(Augmented Reality; AR)이란 사용자가 눈으로 보는 현실 세계에 가상 물체를 겹쳐 보여주는 기술로서, 현실 세계에 실시간으로 부가 정보를 갖는 가상 세계를 합쳐 하나의 영상으로 보여주기 때문에 혼합 현실(Mixed Reality; MR)이라고도 한다.
도 1은 본 발명의 일 실시예에 따른 전체 시스템의 구성을 나타내는 도면이다.
도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 전체 시스템은 AR 디바이스(100), 포인팅 디바이스(200), 및 포인팅 디바이스(200)와 연동하는 모션인식 디바이스(300)를 포함할 수 있다.
AR 디바이스(100)는 증강 현실을 제공하기 위한 장치로서, 가상의 3D 객체를 랜더링하거나 증강할 수 있다. 특히, 본 발명의 일 실시예에 따른 AR 디바이스(100)는 사용자가 조작하는 포인팅 디바이스(200)와 연동하여 사용자의 조작에 따라 변화하는 가상의 3D 객체의 제어 상태를 실시간으로 업데이트할 수 있다.
그 일예로, AR 디바이스(100)는 사용자의 조작에 따라 가상의 3D 객체를 선택하는 경우 그 가상의 3D 객체가 선택된 상태임을 표시하여 랜더링하거나 증강할 수 있다.
이러한 AR 디바이스(100)는 랜더링한 가상의 3D 객체와 포인팅 디바이스를 사용자가 모두 볼 수 있는 투과형 HMD(See Through Head Mounted Display)가 바람직할 수 있다. 하지만 본 발명에서는 이에 한정되지 않고 다양한 AR 디바이스가 사용될 수 있는데, 예컨대, AR 디바이스로는 증강 현실에서 랜더링된 3D 객체를 볼 수 있는 비투과형 HMD(Non-See Through Head Mounted Display), 사용자의 시야 방향에 따라 입체감을 형성하는 프로젝션 장치, 3D 홀로그램 장치 등을 포함할 수 있을 뿐 아니라, 디스플레이 내부의 좌표를 변경하는 것 이외에 사용자의 움직임에 따라 3D 객체가 다르게 보일 수 있는 장치에 모두 적용이 가능하다.
이하에서는 AR 디바이스(100)가 투과형 HMD인 경우를 일 예로 설명하기로 한다.
포인팅 디바이스(200)는 랜더링되거나 증강된 가상의 3D 객체를 제어하기 위한 자세 정보를 획득하고 획득한 자세 정보를 AR 디바이스(100)에 제공할 수 있다. 여기서, 자세 정보는 객체를 제어하기 위한 포인팅 방향, 포인팅 위치를 포함할 수 있다.
이러한 포인팅 디아비스(200)는 자세 정보를 획득하기 위한 자이로 센서와 다축 센서(예컨대, 가속도 센서 또는 기울기 센서)를 탑재한 포인팅 디바이스일 수 있는데, 여기서 포인팅 디바이스는 다양한 변경을 가할 수 있어 여러 가지 실시예를 가질 수 있다. 예컨대, 해당 상호 작용을 위하여 만든 자이로 센서와 가속도 센서를 탑재한 포인팅 디바이스가 사용될 수 있고, 자이로 센서와 가속도 센서를 미리 탑재하고 있는 스마트 폰이 포인팅 디바이스로 대체될 수 있으며, 자이로 센서와 가속도 센서를 탑재한 다양한 파장의 레이저 포인터 또한 포인팅 디바이스로 대체될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 포인팅 방향 산출 원리를 설명하기 위한 도면이다.
도 2에 도시한 바와 같이, 본원발명의 일 실시예에 따른 포인팅 디바이스(200)는 자이로 센서와 가속도 센서를 이용하여 포인팅 방향을 산출할 수 있다.
이렇게 자이로 센서와 가속도 센서를 모두 이용하는 이유는 두 센서가 서로의 단점을 보완하여 정확한 포인팅 방향 산출이 가능하기 때문이다.
즉, 가속도 센서는 수직 방향의 정보만 얻을 수 있고 수평 방향의 정보를 얻을 수 없으며, 정지된 상태에서는 비교적 정확한 측정값을 얻을 수 있지만 움직이는 상태에서는 가속도 값과 구분되지 않아 정확한 측정값을 얻을 수 없다. 그리고 자이로 센서는 수평 방향과 수직 방향의 정보를 획득할 수 있지만, 잡음 등으로 인한 측정 값의 에러가 누적되면 시간이 지날수록 그 오차가 커지게 된다.
따라서 본 발명은 가속도 센서를 이용한 측정값과 자이로 센서를 이용한 측정값을 이용한다.
예컨대, 포인팅 디바이스(200)를 바닥에 수평한 수평면에 놓았을 때 그 수평면에 수직이 되는 축인 중력축을 z축이라고 하고, 해당 축을 기준으로 나머지 두 방향을 x축, y축으로 정의한다.
포인팅 디바이스는 가속도 센서를 이용하여 y축에 대해 수직 방향의 값 즉, 수직 각도를 산출하고, 자이로 센서를 이용하여 x축, y축, z축에 대해 각각 회전하는 각도, 즉, 피치(pitch) 값, 롤(roll) 값, 요(yaw) 값을 획득하고, 이렇게 획득된 값 중 피치 값을 수직 방향의 값 즉, 수직 각도로 사용하고 요 값을 수평 방향의 값 즉, 수평 각도로 사용한다.
물론, 피치, 롤, 요 값은 센서의 설치 방향에 따라 달라질 수 있음은 자명하다.
모션인식 디바이스(300)는 공간 상에서 사용자의 모션을 인식하여 그 인식한 결과로 포인팅 디바이스(200)의 기준 위치 즉, 포인팅 디바이스의 자세 정보를 산출하기 위한 기준점 또는 기준 위치를 산출할 수 있다.
도 3은 본 발명의 일 실시예에 따른 기준 위치 산출 원리를 설명하기 위한 도면이다.
도 3을 참조하면, 모션인식 디바이스(300)는 사용자를 촬영하여 이미지를 획득하고 획득한 이미지를 이용하여 사용자의 모션을 인식하며 인식한 결과로 손을 검출하여 그 검출된 손의 위치를 포인팅 디바이스의 기준 위치로 산출할 수 있다.
모션인식 디바이스(300)는 사용자의 손 또는 포인팅 디바이스의 위치를 지속적으로 검출하는 것이 가능하기 때문에 포인팅 디바이스의 위치를 추적하는 것이 가능하다.
모션인식 디바이스(300)는 이렇게 포인팅 디바이스의 위치를 지속적으로 검출하여 검출된 포인팅 디바이스의 위치를 포인팅 디바이스(200)에 제공할 수 있다.
여기서는 모션인식 디바이스를 통해 포인팅 디바이스의 위치를 획득하고 있지만 반드시 이에 한정되지 않고 포인팅 디바이스 내 센서를 통해 획득할 수도 있다.
도 4는 본 발명의 일 실시예에 따른 객체 제어 개념을 설명하기 위한 도면이다.
도 4에 도시한 바와 같이, 사용자가 위치하는 공간 상에 가상의 3D 객체가 증강되는 경우, 사용자가 포인팅 디바이스(200)를 이용하여 위치 A에 있는 가상 객체(10)를 이동시켜 위치 B로 이동시키는 원리를 보여주고 있다.
즉, 사용자가 포인팅 디바이스(200)를 이용하여 위치 A에 있는 가상 객체(10)를 선택하게 되면, 공간 상에서 선택된 가상 객체(10)는 선택되었음을 나타내도록 표시될 수 있다.
이렇게 선택된 가상 객체(10)는 사용자가 포인팅 디바이스(200)의 이동에 따라 변화되는 자세 정보를 기반으로 함께 위치가 변경되어 위치 B로 이동될 수 있다.
도 5는 본 발명의 일 실시예에 따른 AR 디바이스의 상세한 구성을 나타내는 도면이다.
도 5에 도시한 바와 같이, 본 발명의 일 실시예에 따른 AR 디바이스(100)는 통신부(110), 입력부(120), 제어부(130), 표시부(140), 저장부(150)를 포함할 수 있다. 이러한 AR 디바이스(100)는 사용자의 머리에 착용할 수 있는 형태로 형성되어, 이를 착용한 사용자의 눈으로부터 일정 거리 내에서 영상 컨텐츠를 디스플레이할 수 있다.
통신부(110)는 포인터 디바이스(200)와 무선 연동하여 정보를 수신할 수 있다. 예컨대, 통신부(110)는 포인터 디바이스로부터 랜더링되거나 증강된 가상의 3D 객체를 제어하기 위한 자세 정보를 수신할 수 있다.
입력부(120)는 사용자의 메뉴 또는 키 조작에 따른 정보를 입력 받을 수 있다. 이러한 정보는 증강 현실을 제공하기 위한 기능을 활성화하거나 비활성화할 수 있다.
제어부(130)는 증강 현실을 제공하기 위한 영상 컨텐츠를 디스플레이하도록 제어할 수 있다. 특히, 제어부(130)는 디스플레이된 영상 컨텐츠 내 가상의 객체를 제어할 수 있는데, 포인터 디바이스로부터 제공 받은 자세 정보를 기반으로 영상 컨텐츠 내에서 가상의 객체를 선택하고, 그 선택된 가상의 객체의 상태를 제어할 수 있다.
여기서, 가상의 객체의 상태는 객체의 위치를 나타내는데, 반드시 이에 한정되지 않고 가상의 객체를 변경할 수 있는 정보 즉, 객체의 크기, 움직임, 방향 등을 포함할 수 있다.
이때, 제어부(130)는 포인터 디바이스로부터 제공 받은 자세 정보를 기반으로 포인팅 디바이스의 포인팅 방향과 포인팅 위치를 산출하고, 이렇게 산출된 포인팅 방향과 포인팅 위치를 이용하여 가상의 객체를 선택하거나 가상의 객체의 상태를 제어할 수 있다.
포인팅 디바이스에서 포인팅 방향의 시작점은 디바이스 형태에 따라 다를 수 있으나 실제 레이저 포인터를 사용하는 것과 유사하게 포인팅 디바이스에서 시작하여 나아가는 직선 방향을 통해 포인팅 위치를 지정한다.
도 6a 내지 도 6b는 본 발명의 일 실시예에 따른 객체 제어 원리를 설명하기 위한 도면이다.
도 6a를 참조하면, 제어부(130)는 제1 자세 정보를 기반으로 포인팅 디바이스에서 시작하여 나아가는 제1 직선 방향을 제1 포인팅 방향으로 산출하고, 산출된 상기 제1 포인팅 방향에 위치하는 가상의 객체를 선택한다.
이때, 제1 포인팅 방향에 위치하는 가상의 객체가 다수가 존재할 수 있는데, 이러한 경우에는 사용자의 조작에 따라 다수의 가상의 객체 중 어느 하나를 선택한다.
도 6b를 참조하면, 제어부(130)는 포인팅 디바이스의 이동에 따른 제2 자세 정보를 기반으로 포인팅 디바이스에서 시작하여 나아가는 제2 직선 방향을 제2 포인팅 방향으로 산출하고 산출된 제2 포인팅 방향 상에 위치하도록 선택된 가상의 객체를 이동시킨다.
이때, 가상의 객체는 제1 포인팅 방향에서 포인팅 디바이스의 시작점에서의 거리와 동일하게 제2 포인팅 방향 상에 위치할 수 있지만, 사용자의 조작에 따라 변경될 수 있다. 즉, 사용자가 제2 포인팅 방향 상에서 거리를 줄이거나 늘릴 수 있다.
도 7a 내지 도 7b는 본 발명의 일 실시예에 따른 객체 선택 원리를 설명하기 위한 도면이다.
도 7a 내지 도 7b를 참조하면, 하나의 포인팅 방향에 다수의 가상의 객체가 존재하는 경우 제어부(130)는 사용자의 조작에 따라 다수의 가상의 객체 중 하나를 선택할 수 있다.
예컨대, 도 7a와 같이 화면 상의 깊이 조절 버튼을 스와이프(swipe) 방식을 통해 제1 방향 또는 제2 방향으로 스크롤(scroll)하여 그 깊이 값을 조절함으로써 도 7b에서와 같이 동일한 포인팅 방향에 위치하는 다수의 가상의 객체 중 하나를 지정할 수 있다.
이렇게 조절이 가능한 깊이 값은 이론적으로 무한정으로 커질 수 있기 때문에 포인팅 디바이스로부터 매우 먼 거리에 위치하는 가상의 객체도 가리킬 수 있다.
표시부(140)는 증강 현실을 제공하기 위한 영상 컨텐츠를 디스플레이할 수 있다. 또한, 표시부(140)는 영상 컨텐츠를 디스플레이하되, 제어부의 제어에 따라 가상의 객체의 상태가 변경되어 그 변경된 가상의 객체의 상태를 디스플레이할 수 있다.
저장부(150)는 증강 현실을 제공하기 위한 다수의 영상 컨텐츠를 저장할 수 있다.
이처럼 AR 디바이스는 자세 정보를 통해 포인팅하고 있는 위치까지 랜더링할 수 있다. 이때, 렌더링된 포인팅 위치레이저 포인터처럼 레이저가 반사되어 눈에 보이게 되는 직선의 최종 도착지점을 나타내는 것이 아니라, 3D 랜더링을 통해 공중의 지점까지도 나타낼 수 있다. 공중의 한 지점을 가리킬 수 있기 때문에 3D 객체를 선택, 이동, 생성, 제거하는 등 여러 제어 방식들을 추가적으로 수행할 수 있다.
특히, 공간 상의 한 지점을 가리키는 포인팅 위치의 이동을 위해서는 3D 가속도 센서를 이용한 기울기 정보에 추가적으로 깊이 정보가 필요하다. 깊이 값을 제어하는 문제는 추가적인 버튼을 물리적 또는 가상적으로 생성하여 해결할 수 있다.
도 8은 본 발명의 일 실시예에 따른 포인팅 디바이스의 상세한 구성을 나타내는 도면이다.
도 8에 도시한 바와 같이, 본 발명의 일 실시예에 따른 포인팅 디바이스(200)는 입력부(210), 센서부(220), 제어부(230), 전송부(240)를 포함할 수 있다.
입력부(210)는 랜더링되거나 증강된 가상의 객체를 선택 또는 제어하기 위한 사용자의 조작 정보를 입력 받을 수 있다. 예컨대, 입력부(210)는 버튼으로 형성되어, 사용자에 의해 한번 눌려지는 경우 포인팅 방향에 위치하는 객체를 선택하고 두번 눌려지는 경우 포인팅 방향에 위치하는 객체의 선택을 해제할 수 있다.
이러한 입력부(210)는 공간 상에 증강된 객체와 상호 작용하기 위해 사용될 수 있는데, 예컨대, 단순 누름 버튼이거나 휠 버튼일 수 있으며 3D 포인팅 디바이스 역할을 하는 장치에 포함된 디스플레이를 터치하여 작동하는 가상 버튼일 수 있다.
센서부(220)는 사용자의 조작에 따라 자세 정보를 획득할 수 있다. 여기서 센서부(220)는 예컨대, 기울기 정보를 감지할 수 있는 가속도 센서를 사용할 수 있는데, 이러한 기울기 정보는 사용자가 지시하는 방향과 위치를 추정하는데 사용될 수 있다.
이때, 센서부(220)는 하나의 가속도 센서를 구비하도록 구성될 수 있지만, 반드시 이에 한정되지 않고 필요에 따라 다수의 가속도 센서를 구비하도록 구성될 수 있다.
제어부(230)는 사용자의 조작에 따라 주기적으로 센서부(220)로부터 감지된 자세 정보를 수집하고 수집된 자세 정보를 전송부(240)를 통해 전송하도록 제어할 수 있다.
전송부(240)는 랜더링되거나 증강된 가상의 객체를 제어하기 위한 사용자의 조작 정보에 따라 센서부(220)로부터 감지된 자세 정보를 AR 디바이스에 전송할 수 있다.
이처럼 본 발명에 따른 포인팅 디바이스는 증강된 객체를 정확히 포인팅할 수 있을 뿐 아니라 제어할 수 있어야 하기 때문에 포인팅 위치를 정의하고 표시하기 위해 자신의 기울기 정보를 송신할 수 있는 전송부(240)를 포함하도록 구성된다.
도 9는 본 발명의 일 실시예에 따른 3D 객체를 제어하는 방법을 나타내는 도면이다.
도 9에 도시한 바와 같이, 본 발명의 일 실시예에 따른 AR 디바이스는 사용자의 조작에 따라 증강 현실을 제공하기 위한 영상 컨텐츠를 디스플레이를 디스플레이할 수 있다(S901).
다음으로, 포인팅 디바이스는 디스플레이된 영상 컨텐츠 내 가상의 객체를 선택하기 위한 제1 자세 정보를 획득하고(S902) 획득된 제1 자세 정보를 AR 디바이스에 전송할 수 있다(S903).
이때, 포인팅 디바이스는 공간 상에서 자신의 위치를 나타내는 기준 위치를 획득하여 그 획득한 기준 위치를 포함하는 제1 자세 정보를 AR 디바이스에 전송할 수 있다.
이러한 기준 위치는 포인팅 디바이스 내 센서를 통해 자체적으로 획득되거나 별도의 디바이스 즉, 모션인식 디바이스로부터 획득될 수 있다.
다음으로, AR 디바이스는 제공 받은 제1 자세 정보를 기반으로 제1 포인팅 방향을 산출하고(S904) 산출된 제1 포인팅 방향에 위치하는 가상의 객체를 표시할 수 있다(S905).
다음으로, 포인팅 디바이스는 제1 포인팅 방향에 위치하는 다수의 가상의 객체 중 하나를 선택하고(S906) 그 선택에 따른 깊이값 상응하는 제1 제어 신호를 AR 디바이스에 전송할 수 있다(S907).
다음으로, AR 디바이스는 제공 받은 제1 제어 신호에 따라 제1 포인팅 위치를 산출하고(S908), 산출된 제1 포인팅 위치에 있는 가상의 객체가 선택되었음을 표시할 수 있다(S909).
다음으로, 포인팅 디바이스는 선택된 가상의 객체를 제어하기 위한 제2 자세 정보를 획득하고(S910) 획득된 제2 자세 정보를 AR 디바이스에 전송할 수 있다(S911).
다음으로, AR 디바이스는 제공 받은 제2 자세 정보를 기반으로 제2 포인팅 방향을 산출하고(S912) 산출된 제2 포인팅 방향에 위치하도록 가상의 객체를 이동시킬 수 있다(S913).
다음으로, 포인팅 디바이스는 제2 포인팅 방향에 위치하는 가상의 객체를 제어하고 그 제어에 따른 깊이값에 상응하는 제2 제어 신호를 AR 디바이스에 전송할 수 있다.
다음으로, AR 디바이스는 제공 받은 제2 제어 신호에 따라 제2 포인팅 위치를 산출하고, 산출된 제2 포인팅 위치에 가상의 객체가 위치하도록 표시할 수 있다.
한편, 이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
이상에서 설명한 실시예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: AR 디바이스
110: 통신부
120: 입력부
130: 제어부
140: 표시부
150: 저장부
200: 포인팅 디바이스
210: 입력부
220: 센서부
230: 제어부
240: 전송부

Claims (17)

  1. 사용자의 조작에 따라 사용자가 위치하는 공간 상에 디스플레이된 영상 컨텐츠 내 가상의 객체를 제어하기 위한 자세 정보를 획득하는 포인팅 디바이스;
    상기 영상 컨텐츠를 디스플레이하고, 상기 디스플레이된 영상 컨텐츠 내 가상의 객체를 제어하기 위한 자세 정보를 상기 포인팅 디바이스로부터 전달 받아 상기 전달 받은 자세 정보를 기반으로 상기 가상의 객체의 상태를 제어하는 AR 디바이스; 및
    상기 사용자가 위치하는 공간 상에서 상기 사용자를 촬영하여 상기 포인팅 디바이스의 위치를 추적하고, 상기 포인팅 디바이스의 위치를 상기 포인팅 디바이스의 자세 정보를 산출하기 위한 기준 위치로 산출하여 상기 AR 디바이스에 제공하는 모션인식 디바이스;를 포함하되,
    상기 AR 디바이스는, 상기 모션인식 디바이스에서 산출된 상기 기준 위치와 상기 포인팅 디바이스에서 획득한 상기 자세 정보를 기반으로 상기 포인팅 디바이스의 포인팅 방향과 포인팅 위치를 산출하고, 상기 산출된 포인팅 방향과 포인팅 위치를 이용하여 가상의 객체를 선택하거나 가상의 객체의 상태를 제어하는 것을 특징으로 하는 증강현실 환경에서 객체를 제어하기 위한 장치.
  2. 제1 항에 있어서,
    상기 AR 디바이스는,
    사용자의 조작에 따라 상기 포인팅 디바이스로부터 가상의 객체를 제어하기 위한 자세 정보를 전달 받고,
    상기 전달 받은 자세 정보를 이용하여 포인팅 방향을 산출하여 상기 산출된 포인팅 방향에 위치하는 가상의 객체를 선택하는, 증강현실 환경에서 객체를 제어하기 위한 장치.
  3. 제2 항에 있어서,
    상기 AR 디바이스는,
    상기 포인팅 방향에 위치하는 다수의 가상의 객체 중 하나를 선택하기 위한 깊이값에 상응하는 제어 신호를 전달 받고,
    상기 전달 받은 제어 신호를 이용하여 포인팅 위치를 산출하여 상기 산출된 포인팅 위치에 상응하는 가상의 객체를 선택하는, 증강현실 환경에서 객체를 제어하기 위한 장치.
  4. 제1 항에 있어서,
    상기 AR 디바이스는,
    사용자의 조작에 따라 상기 포인팅 디바이스로부터 가상의 객체를 제어하기 위한 자세 정보를 전달 받고,
    상기 전달 받은 자세 정보를 이용하여 포인팅 방향을 산출하여 상기 산출된 포인팅 방향으로 상기 가상의 객체를 이동시키는, 증강현실 환경에서 객체를 제어하기 위한 장치.
  5. 제4 항에 있어서,
    상기 AR 디바이스는,
    상기 포인팅 방향에 위치하는 가상의 객체를 제어하기 위한 깊이값에 상응하는 제어 신호를 전달 받고,
    상기 전달 받은 제어 신호를 이용하여 포인팅 위치를 산출하여 상기 산출된 포인팅 위치에 상응하는 가상의 객체를 이동시키는, 증강현실 환경에서 객체를 제어하기 위한 장치.
  6. 제1 항에 있어서,
    상기 자세 정보는, 상기 포인팅 디바이스 내에 설치된 적어도 하나의 기울기 센서로부터 감지된 기울기 정보를 포함하는, 증강현실 환경에서 객체를 제어하기 위한 장치.
  7. 제1 항에 있어서,
    상기 AR 디바이스는, 투과형 HMD(Head Mounted Display), 비투과형 HMD, 프로젝션 장치, 3D 홀로그램 장치를 포함하는, 증강현실 환경에서 객체를 제어하기 위한 장치.
  8. 삭제
  9. 삭제
  10. 사용자의 조작에 따라 사용자가 위치하는 공간 상에서 영상 컨텐츠를 디스플레이하는 표시부;
    상기 디스플레이된 영상 컨텐츠 내 가상의 객체를 제어하기 위한 자세 정보를 포인팅 디바이스로부터 전달받고, 모션인식 디바이스로부터 상기 포인팅 디바이스의 상기 자세 정보를 산출하기 위한 기준 위치를 전달받는 통신부; 및
    상기 전달 받은 기준 위치와 상기 자세 정보를 이용하여 포인팅 방향과 포인팅 위치를 산출하여 산출된 포인팅 방향과 상기 포인팅 위치를 기반으로 상기 가상의 객체의 상태를 제어하는 제어부;를 포함하되,
    상기 기준 위치는 상기 모션인식 디바이스가 상기 사용자가 위치하는 공간 상에서 상기 사용자를 촬영하여 상기 포인팅 디바이스의 위치를 추적하고, 상기 포인팅 디바이스의 위치를 상기 기준 위치로 산출하여 제공된 것을 특징으로 하는 증강현실 환경에서 객체를 제어하기 위한 장치.
  11. 제10 항에 있어서,
    상기 제어부는,
    사용자의 조작에 따라 상기 포인팅 디바이스로부터 가상의 객체를 제어하기 위한 자세 정보를 전달 받고,
    상기 전달 받은 자세 정보를 이용하여 포인팅 방향을 산출하여 상기 산출된 포인팅 방향에 위치하는 가상의 객체를 선택하는, 증강현실 환경에서 객체를 제어하기 위한 장치.
  12. 제11 항에 있어서,
    상기 제어부는,
    상기 포인팅 방향에 위치하는 다수의 가상의 객체 중 하나를 선택하기 위한 깊이값에 상응하는 제어 신호를 전달 받고,
    상기 전달 받은 제어 신호를 이용하여 포인팅 위치를 산출하여 상기 산출된 포인팅 위치에 상응하는 가상의 객체를 선택하는, 증강현실 환경에서 객체를 제어하기 위한 장치.
  13. 제10 항에 있어서,
    상기 제어부는,
    사용자의 조작에 따라 상기 포인팅 디바이스로부터 가상의 객체를 제어하기 위한 자세 정보를 전달 받고,
    상기 전달 받은 자세 정보를 이용하여 포인팅 방향을 산출하여 상기 산출된 포인팅 방향으로 상기 가상의 객체를 이동시키는, 증강현실 환경에서 객체를 제어하기 위한 장치.
  14. 제13 항에 있어서,
    상기 제어부는,
    상기 포인팅 방향에 위치하는 가상의 객체를 제어하기 위한 깊이 값에 상응하는 제어 신호를 전달 받고,
    상기 전달 받은 제어 신호를 이용하여 포인팅 위치를 산출하여 상기 산출된 포인팅 위치에 상응하는 가상의 객체를 이동시키는, 증강현실 환경에서 객체를 제어하기 위한 장치.
  15. 사용자의 조작에 따라 사용자가 위치하는 공간 상에서 영상 컨텐츠를 디스플레이하는 단계;
    상기 디스플레이된 영상 컨텐츠 내 가상의 객체를 제어하기 위한 자세 정보를 포인팅 디바이스로부터 전달받고, 모션인식 디바이스로부터 상기 포인팅 디바이스의 자세 정보를 산출하기 위한 기준 위치를 전달받는 단계; 및
    상기 전달 받은 기준 위치와 상기 자세 정보를 이용하여 포인팅 방향과 포인팅 위치를 산출하여 산출된 포인팅 방향과 상기 포인팅 위치를 기반으로 상기 가상의 객체의 상태를 제어하는 단계;를 포함하되,
    상기 기준 위치는 상기 모션인식 디바이스가 상기 사용자가 위치하는 공간 상에서 상기 사용자를 촬영하여 상기 포인팅 디바이스의 위치를 추적하고, 상기 포인팅 디바이스의 위치를 상기 기준 위치로 산출하여 제공된 것을 특징으로 하는 증강현실 환경에서 객체를 제어하기 위한 방법.
  16. 제15 항에 있어서,
    상기 제어하는 단계는,
    사용자의 조작에 따라 상기 포인팅 디바이스로부터 가상의 객체를 제어하기 위한 자세 정보를 전달 받고 상기 전달 받은 자세 정보를 이용하여 포인팅 방향을 산출하여 상기 산출된 포인팅 방향에 위치하는 가상의 객체를 선택하며,
    상기 포인팅 방향에 위치하는 다수의 가상의 객체 중 하나를 선택하기 위한 깊이 값에 상응하는 제어 신호를 전달 받고
    상기 제어 신호를 이용하여 포인팅 위치를 산출하여 상기 산출된 포인팅 위치에 상응하는 가상의 객체를 선택하는, 증강현실 환경에서 객체를 제어하기 위한 방법.
  17. 제15 항에 있어서,
    상기 제어하는 단계는,
    사용자의 조작에 따라 상기 포인팅 디바이스로부터 가상의 객체를 제어하기 위한 자세 정보를 전달 받고 상기 전달 받은 자세 정보를 이용하여 포인팅 방향을 산출하여 상기 산출된 포인팅 방향으로 상기 가상의 객체를 이동시키며,
    상기 포인팅 방향에 위치하는 가상의 객체를 제어하기 위한 깊이값에 상응하는 제어 신호를 전달 받고
    상기 제어 신호를 이용하여 포인팅 위치를 산출하여 상기 산출된 포인팅 위치에 상응하는 가상의 객체를 이동시키는, 증강현실 환경에서 객체를 제어하기 위한 방법.
KR1020160128393A 2016-10-05 2016-10-05 증강 현실 환경에서 3d 객체를 제어하기 위한 장치 및 그 방법 KR101806864B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160128393A KR101806864B1 (ko) 2016-10-05 2016-10-05 증강 현실 환경에서 3d 객체를 제어하기 위한 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160128393A KR101806864B1 (ko) 2016-10-05 2016-10-05 증강 현실 환경에서 3d 객체를 제어하기 위한 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101806864B1 true KR101806864B1 (ko) 2017-12-08

Family

ID=60920060

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160128393A KR101806864B1 (ko) 2016-10-05 2016-10-05 증강 현실 환경에서 3d 객체를 제어하기 위한 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101806864B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108415570A (zh) * 2018-03-07 2018-08-17 网易（杭州）网络有限公司 基于增强现实的控件选择方法和装置
KR102249423B1 (ko) * 2019-11-22 2021-05-07 주식회사 모소 혼합현실 장치
KR20210090438A (ko) 2020-01-10 2021-07-20 (주)얼라이브엔터테인먼트 코드 추출을 통한 영상 콘텐츠 오버래핑 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008040556A (ja) * 2006-08-01 2008-02-21 Canon Inc 複合現実感提示装置及びその制御方法、プログラム
KR101407249B1 (ko) * 2013-05-16 2014-06-13 한밭대학교 산학협력단 증강현실에 의한 프리젠테이션 제어 시스템 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008040556A (ja) * 2006-08-01 2008-02-21 Canon Inc 複合現実感提示装置及びその制御方法、プログラム
KR101407249B1 (ko) * 2013-05-16 2014-06-13 한밭대학교 산학협력단 증강현실에 의한 프리젠테이션 제어 시스템 및 그 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108415570A (zh) * 2018-03-07 2018-08-17 网易（杭州）网络有限公司 基于增强现实的控件选择方法和装置
CN108415570B (zh) * 2018-03-07 2021-08-24 网易（杭州）网络有限公司 基于增强现实的控件选择方法和装置
KR102249423B1 (ko) * 2019-11-22 2021-05-07 주식회사 모소 혼합현실 장치
KR20210090438A (ko) 2020-01-10 2021-07-20 (주)얼라이브엔터테인먼트 코드 추출을 통한 영상 콘텐츠 오버래핑 시스템

Similar Documents

Publication Publication Date Title
CN108780360B (zh) 虚拟现实导航
CN110603509B (zh) 计算机介导的现实环境中直接和间接交互的联合
CN108475120B (zh) 用混合现实系统的远程设备进行对象运动跟踪的方法及混合现实系统
US9778815B2 (en) Three dimensional user interface effects on a display
CN106662925B (zh) 使用头戴式显示器设备的多用户注视投影
CN107771309B (zh) 处理三维用户输入的方法
KR102289387B1 (ko) 니어 아이 디스플레이용 웹형 계층적 메뉴 디스플레이 구성
JP6057396B2 (ja) ３次元ユーザインタフェース装置及び３次元操作処理方法
US20160054791A1 (en) Navigating augmented reality content with a watch
US9256288B2 (en) Apparatus and method for selecting item using movement of object
US20080030499A1 (en) Mixed-reality presentation system and control method therefor
CN107015637B (zh) 虚拟现实场景下的输入方法和装置
JP6662914B2 (ja) 媒介現実
EP3118722B1 (en) Mediated reality
KR20110109974A (ko) 차량 전자 장치용 차량 유저 인터페이스 유닛
US20180005440A1 (en) Universal application programming interface for augmented reality
KR101806864B1 (ko) 증강 현실 환경에서 3d 객체를 제어하기 위한 장치 및 그 방법
US10437874B2 (en) Searching image content
US10462454B2 (en) Extensible authoring and playback platform for complex virtual reality interactions and immersive applications
JP2017182500A (ja) 入力装置、入力プログラム、及び入力方法
US20240053832A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
CN105320280A (zh) 一种信息处理方法和电子设备
US20070200847A1 (en) Method And Device For Controlling A Virtual Reality Graphic System Using Interactive Techniques
KR20210102210A (ko) 상호 작용을 위한 물리적 인터페이스로서의 모바일 플랫폼
US20240087255A1 (en) Information processing apparatus, system, control method, and non-transitory computer storage medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant