KR102065421B1 - 모바일 기기 및 모바일 기기를 활용한 가상현실 기기 컨트롤러 구동 방법. - Google Patents

모바일 기기 및 모바일 기기를 활용한 가상현실 기기 컨트롤러 구동 방법. Download PDF

Info

Publication number
KR102065421B1
KR102065421B1 KR1020170101491A KR20170101491A KR102065421B1 KR 102065421 B1 KR102065421 B1 KR 102065421B1 KR 1020170101491 A KR1020170101491 A KR 1020170101491A KR 20170101491 A KR20170101491 A KR 20170101491A KR 102065421 B1 KR102065421 B1 KR 102065421B1
Authority
KR
South Korea
Prior art keywords
controller
virtual
virtual reality
mobile device
driving
Prior art date
Application number
KR1020170101491A
Other languages
English (en)
Other versions
KR20190017143A (ko
Inventor
정석찬
김동훈
최고야
홍은경
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020170101491A priority Critical patent/KR102065421B1/ko
Priority to US15/853,179 priority patent/US20190050050A1/en
Publication of KR20190017143A publication Critical patent/KR20190017143A/ko
Application granted granted Critical
Publication of KR102065421B1 publication Critical patent/KR102065421B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/22—Setup operations, e.g. calibration, key configuration or button assignment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5375—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for graphically or textually suggesting an action, e.g. by displaying an arrow indicating a turn in a driving game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Abstract

본 발명은 모바일 기기 및 모바일 기기를 활용한 가상현실 기기 컨트롤러 구현 방법 및 가상현실 디스플레이 시스템에 관한 것이다. 본 발명의 일 실시예에 따른, 가상현실 기기 컨트롤러 구동 방법은, 가상현실 기기 구동을 위한 VR앱(Virtual Reality Application)을 실행하는 단계, 상기 VR앱과 연동되는 컨트롤러 연결 프로세서(processor)를 구동하는 단계, 상기 컨트롤러 연결 프로세서를 통해, 상기 가상현실 기기를 구동하는 컨트롤러로서 외부 컨트롤러 또는 가상 컨트롤러 중 어느 하나를 선택하는 단계, 상기 가상 컨트롤러 선택시, 선택된 가상 컨트롤러에 대응하는 데이터 패킷을 생성하여 상기 가상현실 기기와 통신하는 단계를 포함하여 이루어진 것을 특징으로 한다. 본 발명의 실시예에 따른, 모바일 기기는 가상현실 기기 구동을 위한 가상 컨트롤러를 제공하게 되어, 사용자가 더욱 편리하게 상기 가상현실 기기를 활용하는 것이 가능하게 된다.

Description

모바일 기기 및 모바일 기기를 활용한 가상현실 기기 컨트롤러 구동 방법. {MOBILE DEVICE AND METHOD OF PROVIDING A CONTROLLER FOR VIRTUAL REALITY DEVICE}
본 발명은 모바일 기기 및 모바일 기기를 활용한 가상현실 기기 컨트롤러 구현 방법 및 가상현실 디스플레이 시스템에 관한 것이다.
최근 무선통신 기술의 발달로, 소형의 모바일 기기(예를 들어 스마트폰, 테블렛 등) 사용이 증가하고 있다. 또한, 가상현실(Virtual Reality) 또는 증강현실(Augmented Reality)을 구현하는 다양한 기기(이하 "가상현실 기기" 또는 "VR기기"로 명칭한다)의 사용도 증가하고 있다.
관련하여, 최근에는 상기 가상현실 기기와 상기 모바일 기기를 통신으로 연결한, 테더드(tethered) 방식 가상현실 기기 활용이 증가하는 추세이다. 하지만, 일반적으로 상기 모바일 기기를 활용한 가상현실 기기를 효율적으로 구동하기 위해서는, 컨트롤러(controller) 사용이 필요하다.
도 1은 본 발명과 관련된 종래 일반적인 가상현실 디스플레이 시스템을 도시한 것이다. 일반적인 가상현실 디스플레이 시스템은, 가상현실 데이터를 시각적으로 제공하기 위한 디스플레이 수단을 포함하는 가상현실 기기(20)가 구비되고, 상기 가상현실 기기(20)를 구동하는 프로그램 및/또는 가상현실 또는 증강현실 데이터를 제공하는 모바일 기기(10)가 서로 유선 또는 무선(30)으로 연결되어 있다. 상기와 같은 구성의 가상현실 기기(20)를 특히 테더드(tethered) 방식 가상현실 기기로 명칭되고 있다.
또한, 상기 종래 가상현실 디스플레이 시스템은, 상기 가상현실 기기(20) 구동을 제어하는 외부 컨트롤러(41, 42)를 적어도 하나 이상 포함할 수 있다. 상기 외부 컨트롤러(41, 42)는 상기 모바일 기기(10)와 무선 통신 수단(50)으로 연결되어 있으며, 모바일 기기(10)를 통해 상기 가상현실 기기(20)를 제어하게 된다.
하지만, 상기 외부 컨트롤러(41, 42)만을 컨트롤러로 사용가능한 가상현실 디스플레이 시스템에서는, 부주의로 외부 컨트롤러(41, 42)를 잃어버렸거나 또는 외부 컨트롤러(41, 42)가 고장난 경우에는 전체 가상현실 디스플레이 시스템을 활용하지 못하는 단점이 있었다. 또한, 한 가지 타입의 고정된 외부 컨트롤러(41, 42)만을 사용함에 따라, 다양한 컨트롤러 기능을 제공하지 못하는 단점이 있었다.
본 발명의 목적은, 가상현실 디스플레이 시스템에 적용하기 위한 다양한 타입의 컨트롤러를 제공하는 데 있다.
또한, 본 발명의 목적은, 가상현실 디스플레이 시스템에 적용하기 위한 다양한 타입의 컨트롤러를 사용자가 직접 선택가능 하게 하는 모바일 기기를 제공하는 데 있다.
또한, 본 발명의 목적은, 가상현실 디스플레이 시스템에 사용되는 모바일 기기내에 가상 컨트롤러를 구현하는 데 있다.
또한, 본 발명의 목적은, 가상현실 디스플레이 시스템에 사용되는 가상 컨트롤러 및 외부 컨트롤러 중 어느 하나를 사용자가 직접 선택가능 하도록 모바일 기기를 제공하는 데 있다.
본 발명의 일 실시예에 따른, 가상현실 기기 컨트롤러 구동 방법은, 가상현실 기기 구동을 위한 VR앱(Virtual Reality Application)을 실행하는 단계, 상기 VR앱과 연동되는 컨트롤러 연결 프로세서(processor)를 구동하는 단계, 상기 컨트롤러 연결 프로세서를 통해, 상기 가상현실 기기를 구동하는 컨트롤러로서 외부 컨트롤러 또는 가상 컨트롤러 중 어느 하나를 선택하는 단계, 상기 가상 컨트롤러 선택시, 선택된 가상 컨트롤러에 대응하는 데이터 패킷을 생성하여 상기 가상현실 기기와 통신하는 단계를 포함하여 이루어진 것을 특징으로 한다.
또한, 상기 외부 컨트롤러 선택시, 선택된 외부 컨트롤러와 무선 통신으로 연결되도록 제어하는 단계를 포함하여 이루어진 것을 특징으로 한다.
또한, 상기 컨트롤러 연결 프로세서는, 사용 가능한 외부 컨트롤러 및 가상 컨트롤러에 대한 정보를 시각적으로 제공하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 상기 컨트롤러 연결 프로세서는, 가상 컨트롤러 선택시, 가상 컨트롤러 사용 메뉴얼을 제공하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 상기 컨트롤러 사용 메뉴얼은 배경화면에 오버레이(overlay) 방식으로 제공하는 것을 특징으로 한다.
또한, 상기 컨트롤러 연결 프로세서는, 컨트롤러 연결 프로그램(controller abstract layer)으로 구성하는 것을 특징으로 한다.
본 발명에 따른 모바일 기기는, 가상현실 기기 구동을 위한 VR앱을 저장하는 메모리와, 상기 VR앱과 연동되는 컨트롤러 연결 프로세서(processor)를 포함하는 제어부를 포함하는 모바일 기기에 있어서, 상기 제어부는, 상기 컨트롤러 연결 프로세서를 통해 상기 가상현실 기기를 구동하는 컨트롤러로서 외부 컨트롤러 또는 가상 컨트롤러 중 어느 하나를 선택하도록 하고, 상기 가상 컨트롤러 선택시, 선택된 가상 컨트롤러에 대응하는 데이터 패킷을 생성하여 상기 가상현실 기기와 통신하도록 제어하는 것을 특징으로 한다.
또한, 상기 모바일 기기는, 외부 컨트롤러 선택시, 선택된 외부 컨트롤러와 무선 통신가능한 근거리 통신 수단을 더 포함하는 것을 특징으로 한다.
또한, 상기 모바일 기기는, 사용 가능한 외부 컨트롤러 및 가상 컨트롤러에 대한 정보를 시각적으로 제공하기 위한 디스플레이 수단을 더 포함하는 것을 특징으로 한다.
또한, 가상 컨트롤러 선택시, 상기 제어부는 상기 디스플레이수단을 통해 가상 컨트롤러 사용 메뉴얼을 제공하는 것을 특징으로 한다.
또한, 상기 컨트롤러 사용 메뉴얼은 배경화면에 오버레이(overlay) 방식으로 제공하는 것을 특징으로 한다.
또한, 상기 컨트롤러 연결 프로세서는, 컨트롤러 연결 프로그램(controller abstract layer)으로 구성하는 것을 특징으로 한다.
또한, 상기 컨트롤러 연결 프로그램(controller abstract layer)은, 적어도 하나 이상의 가상 컨트롤러를 저장하는 가상 컨트롤러 타입 저장부와, 연결된 가상 컨트롤러 타입에 맞는 인터페이스를 선택하여 상기 VR앱과의 세션(session) 연결 과정을 수행하는 인터페이스부와, 상기 연결된 가상 컨트롤러 타입에 맞는 프로토콜(protocol)에 따라 데이터 패킷을 생성하는 패킷 생성부를 포함하는 것을 특징으로 한다.
또한, 상기 컨트롤러 연결 프로그램(controller abstract layer)은, 상기 연결된 가상 컨트롤러 타입에 맞는 센서 데이터를 수집하는 센서센싱부와, 상기 연결된 가상 컨트롤러 타입에 맞는 입력 터치(touch) 데이터를 수집하는 터치센싱부를 더 포함하는 것을 특징으로 한다.
본 발명에 따른 가상현실 디스플레이 시스템은, 가상현실 디스플레이 수단을 포함하는 테더드(tethered) 가상현실 기기와, 상기 가상현실 기기와 통신 연결되어 가상현실 디스플레이를 제어하는 모바일 기기와, 상기 가상현실 기기 구동을 제어하는 컨트롤러(controller)를 포함하는 가상현실 디스플레이 시스템에 있어서, 상기 컨트롤러는, 적어도 상기 모바일 기기내에서 제공되는 가상 컨트롤러와 상기 모바일 기기와 물리적으로 분리된 외부 컨트롤러중 어느 하나를 포함하고, 상기 모바일 기기는 상기 가상 컨트롤러 또는 외부 컨트롤러중 어느 하나를 컨트롤러로 선택하기 위한 컨트롤러 연결 프로세서(processor)를 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른, 모바일 기기는 가상현실 기기 구동을 위한 가상 컨트롤러를 제공하게 되어, 사용자가 더욱 편리하게 상기 가상현실 기기를 활용하는 것이 가능하게 된다.
본 발명의 실시예에 따른, 모바일 기기는 가상현실 기기 구동을 위한 가상 컨트롤러 또는 외부 컨트롤러 중 어느 하나를 선택 가능하도록 하는 기능을 제공하게 되어, 사용자가 더욱 편리하게 상기 가상현실 기기를 활용하는 것이 가능하게 된다.
도 1은 본 발명과 관련된 종래 일반적인 가상현실 디스플레이 시스템을 도시한 것이다.
도 2는 본 발명의 실시예에 따른, 모바일 기기 세부 구성을 도시한 것이다.
도 3은 본 발명 실시예에 따른, 모바일 기기에 의한 가현 기기 구동을 위한 컨트롤러 제공 방법을 도시한 것이다.
도 4는 본 발명 실시예에 따른, 모바일 기기의 디스플레이 화면의 일예를 도시한 것이다.
도 5는 본 발명 실시예에 따른, 모바일 기기의 디스플레이 화면의 또 다른예를 도시한 것이다.
도 6은 본 발명 실시예에 따른, 가상 컨트롤러 연결 프로세서 세부 구성을 도시한 것이다.
도 7 및 도 8은 본 발명 실시예에 따른, 가상 컨트롤러 연결 프로세서 동작을 설명하기 위해 도시한 것이다.
도 9는 본 발명 실시예에 따른, 가상 컨트롤러 연결 프로세서에 의해 외부 컨트롤러가 선택되고 실행되는 과정을 도시한 것이다.
도 10은 본 발명 실시예에 따른, 가상 컨트롤러 연결 프로세서에 의해 가상 컨트롤러가 선택되고 실행되는 과정을 도시한 것이다.
도 11 및 도 12는 본 발명 실시예에 따른, 가상 컨트롤러 연결 프로세서에 의해 가상 컨트롤러 선택시, 가상 컨트롤러별 데이터 포맷의 일 예를 각각 도시한 것이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 동일하거나 유사한 구성요소에는 동일한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈", "부" 및 "수단"은 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
특히, 본 명세서에서 설명되는, 모바일 기기는 사용자가 휴대하면서 사용하는 모든 전자기기를 통용하는 의미이다. 예를 들어, 현재 널리 활용중인 스마트폰(smart phone), 테블렛(tablet PC) 등이 해당될 수 있으나, 이에 한정되지는 않는다.
도 2는 본 발명의 실시예에 따른, 모바일 기기(10) 세부 구성을 도시한 것이다.
본 발명의 일 실시예에 따른 모바일 기기는, 적어도 제2 통신 수단(15), 메모리(16), 디스플레이 수단(17) 및 제어부(11)를 포함하여 구성된다. 또한, 본 발명의 모바일 기기는, 오디오 출력수단(11), 카메라 모듈(12) 및 제1 통신 수단(14)을 더 포함하는 것이 가능하다.
상기 제2 통신 수단(15)은 주변 기기와의 근거리 통신이 가능한 통신 수단으로서, 예를 들어, 블루투스(Bluetooth), 와이파이(Wifi), 지그비(Zigbee) 등을 활용한 통신 수단을 의미한다. 특히, 본 발명의 실시예와 관련하여서는, 상기 제2 통신 수단(15)은 전술한 외부 컨트롤러(41, 42)와의 통신에 활용되어 진다. 반면, 상기 제1 통신수단(14)은 원거리 이동 통신 수단으로서, 예를 들어, 3G, LTE, 5G 등을 활용한 통신 수단을 의미한다.
상기 메모리(16)는 모바일 기기 구동을 위한 다양한 프로그램 및 데이터를 저장하는 공간이다. 특히, 본 발명과 관련하여서는, 가상현실 기기 구동을 위한 VR앱(Application) 프로그램(162, 'VR앱' 또는 '앱' 이라 명칭함)을 저장하고 있다. 상기 VR앱(162)은 외부로부터 다운받은 내용이거나 또는 모바일 기기 최초 제작시에 설정된 프로그램일 수 있다. 또한, 상기 VR앱(162)은 특정 VR 기기만을 대상으로 하거나 또는 다양한 VR 기기를 통합적으로 활용하는 용도로 사용하는 것이 모두 가능하다. 특히, 본 발명과 관련하여서는 전술한 도1의 VR기기(20)에 가상현실 데이터를 제공하고, VR기기(20)의 동작, 예를 들어, 전원 온/오프, 볼륨 업/다운, 화면 밝기 조절 등을 제어하는 기능을 제공한다. 따라서, 상기 테더드(Tethered) VR기기(20) 구동을 위해서는 모바일 기기(10)내의 VR앱(162)이 우선적으로 실행되는 것이 필요하다.
상기 디스플레이 수단(17)은 모바일 기기(10) 사용자에게 시각적인 정보를 제공한다. 특히, 본 발명과 관련하여, VR기기 컨트롤러 선택을 위한 가이드 화면을 제공하는 것이 가능하다. 이에 대해서는 도 4 및 도 5에서 상세히 후술하고자 한다.
상기 제어부(11)는 상기 모바일 기기(11)를 구성하는 모든 구성 요소들의 동작을 제어하는 기능을 수행한다. 특히, 상기 제어부(11)는 본 발명의 실시와 관련하여, 가상 컨트롤러 연결 프로세서(processor)(111)를 더 포함하고 있다. 관련하여, 가상 컨트롤러(virtual controller)라 함은, 상기 VR기기(20) 구동을 위해 모바일 기기(10)내에 가상화되어 제공되는 모든 컨트롤러를 의미하며, 전술한 도 1의 외부 컨트롤러(41, 42)와는 달리 모바일 기기(10)와 근거리 제2 통신 수단(15)에 의한 통신 연결이 필요없게 된다.
상기 디스플레이 수단(17) 및 상기 제어부(11)는 사용자에 의한 직접 명령(user input)을 수신할 수 있다. 도 2에서는 미도시하였으나, 예를 들어, 모바일 기기(10)는 외부 형상을 구성하는 외곽 프레임내에 다양한 사용자 입력 버튼(button)을 구비하여, 사용자가 직접 모바일 기기(10) 기능 제어(예, 전원 온/오프, 볼륨 업/다운, 화면 밝기 조절 등)을 위한 사용자 명령을 입력받는 것이 가능하다.
도 3은 본 발명 실시예에 따른, 상기 모바일 기기 제어부(11)에 의한 가상현실 기기(20) 구동을 위한 컨트롤러 제공 방법을 도시한 것이다.
우선 전술한 VR앱(162)을 모바일 기기에서 실행한다(S110). 상기 VR앱(162)은 기존에 사용되던 VR앱을 그대로 활용하는 것이 가능하며, 본 발명 실시를 위해 특별히 더 추가되거나 수정될 필요는 없다. 즉, 본 발명은 기존 VR앱(162)과의 호환성을 유지하면서 구현되는 것을 특징으로 한다.
상기 VR앱(162)이 구동되면, 상기 제어부(11)의 가상 컨트롤러 연결 프로세서(111)에 의해, VR기기(20)를 위한 컨트롤러 연결 동작을 수행한다(S200). 상기 S200 단계는 다음과 같은 세부 단계로 구성되어 진다.
먼저, 모바일 기기(10)에 의한 가상 컨트롤러 지원 여부를 확인한다(S210). 만약, 모바일 기기(10)에서 가상 컨트롤러를 지원하지 않는다면 (VC 미지원), VR앱(162)이 지원하는 컨트롤러 연결 프로세스(process)로 이동한다(S120). 상기 S120 단계에서는, 해당 VR앱이 지원하는 컨트롤러 연결방식(예를 들어, 외부 컨트롤러 연결)으로 진행된다.
상기 S210 단계에서, 모바일 기기(10)에서 가상 컨트롤러를 지원한다면(VC지원, VC존재), 상기 가상 컨트롤러 연결 프로세서(111)는 컨트롤러 선택 가이드 화면을 디스플레이 수단(17)을 통해 제공한다(S220). 도 4는, 상기 S220 단계에 의해, 상기 디스플레이 수단(17)에 제공되는 컨트롤러 선택 메뉴 화면을 예를 들어 도시한 것이다. 만약, 모바일 기기(10)내에 하나 이상의 가상 컨트롤러(173)가 제공된다면, 외부 컨트롤러 (171, 172)와 함께 디스플레이 화면에 표시된다. 또한, 디스플레이 화면내에는 상기 가상 컨트롤러가 존재함을 안내하는 가이드 문구(174)가 표시될 수 있다. 도 4에서는 미도시하였으나, 만약 모바일 기기(10)에 의해 복수의 가상 컨트롤러가 지원되는 경우에는, 지원되는 가상 컨트롤러들로만 디스플레이 화면에 제공하고 사용자가 그중 하나를 VR기기 컨트롤러로 선택하게 하는 것도 가능하다.
상기 S220 단계를 통해, 사용자에 의해 특정의 VR기기 컨트롤러가 선택되면(S230), 선택된 컨트롤러를 VR앱(162)의 컨트롤러 연결 프로세스(S120)와 연동되도록 연결하게 된다. 이에 대해서는 도 6 ~ 도 12를 참조하여 후술하고자 한다.
이후 선택된 컨트롤러의 사용 메뉴얼(manual)을 디스플레이 화면으로 제공하는 것이 가능하다(S240). 도 5는 디스플레이 수단(17)에 시각적으로 제공되는 사용자 선택 컨트롤러의 사용 메뉴얼을 예를 들어 도시한 것이다. 예를 들어, 도 4에서 사용자가 가상 컨트롤러 173을 선택한 경우, 해당 컨트롤러의 사용 메뉴얼로서, 예를 들어, 볼륨 버튼(175), 앱버튼(176), 터치패드 선택 버튼(177) 및 홈버튼(179) 위치를 메뉴얼로 제공한다. 또한, 자이로스코프(Gyroscope), 엑셀리오미터(Accelerometer), 마그네토미터(magentometer)와 같은 센싱수단 위치(178)도 메뉴얼로 제공한다.
또한, 상기 사용자 메뉴얼은 사용자 편의를 위해 기존 모바일 기기(10) 배경화면과 오버레이(overlay) 방식으로 디스플레이 하는 것이 가능하다. 따라서, 사용자 메뉴얼이 페이드인(fade-in) 및 페이드아웃(fade-out)시에 상기 배경화면과 서로 오버레이 되도록 구성되어 진다.
도 6은 본 발명 실시예에 따른, 상기 가상 컨트롤러 연결 프로세서(111) 세부 구성을 도시한 것이다. 도 6을 참조하면, 본 발명의 상기 가상 컨트롤러 연결 프로세서(111)는 모바일 기기(10)내에 구비되며, 하드웨어 또는 소프트웨어 프로그램중 어느 하나로 구성하는 것이 가능하다.
특히, 상기 가상 컨트롤러 연결 프로세서(111)를 소프트웨어 프로그램으로 구현시 특히 "컨트롤러 연결 프로그램(controller abstract layer)"으로 구성하는 것이 가능하다. 상기 컨트롤러 연결 프로그램(controller abstract layer)은, 연결 관리부(112, connection manager), 컨트롤러 타입 저장부(113, Type DB), 인터페이스부(114, Interface Wrapper), 패킷 생성부(115, Protocol Abstracter), 센서센싱부(116, Sensor thread)와, 터치센싱부(117, KeyTouch thread)를 포함한다.
상기 컨트롤러 타입 저장부(113, Type DB)는, 적어도 하나 이상의 가상 컨트롤러 타입을 저장하고 있다. 상기 가상 컨트롤러 타입은 어느 하나로 한정되지 않으며, 다양한 타입으로 정의하는 것이 가능하다.
상기 인터페이스부(114, Interface Wrapper)는 VR앱(162)과 연결된 가상 컨트롤러 타입에 맞는 인터페이스를 선택하여 상기 VR앱(162)과의 세션(session) 연결 과정을 수행한다.
또한, 상기 센서센싱부(116, Sensor thread)와 터치센싱부(117, KeyTouch thread)를 통해, 상기 연결된 가상 컨트롤러 타입에 맞는 센서 데이터 및 터치(touch) 입력 데이터를 수신하는 것이 가능하다.
상기 패킷 생성부(115, Protocol Abstracter)는 상기 연결된 가상 컨트롤러 타입에 맞는 프로토콜(protocol)에 따라 데이터 패킷을 생성한다. 상기 데이터 패킷내에는 상기 센서센싱부(116, Sensor thread)와 터치센싱부(117, KeyTouch thread)를 통해 수집된 데이터를 특정 포맷에 맞게 구성되어 진다. 관련하여, 도 11 및 도 12는, 예를 들어 상기 선택된 가상 컨트롤러 타입에 따른 데이터 패킷 포맷(data packet format)을 도시한 것이다. 예를 들어, 도 11은 특정 방식의 가상 컨트롤러 타입(예를 들어, "Daydream")에 적용 가능한 데이터 패킷 포맷을 도시한 것이다. 도 11에 의하면, 데이터 패킷 포맷에는 전술한 자이로스코프(Gyroscope), 엑셀리오미터(Accelerometer), 마그네토미터(magentometer)에 의해 센싱된 값 및 버튼 또는 터치 입력 값을 포함하여 전송하는 것이 가능하다. 또한, 도 12는 또 다른 방식의 가상 컨트롤러 타입(예를 들어, "Joystick")에 적용 가능한 데이터 패킷 포맷을 도시한 것이다. 도 12에 의하면, 데이터 패킷 포맷에는 전술한 버튼 입력값을 포함하여 전송하는 것이 가능하다.
도 7 및 도 8은 본 발명 실시예에 따른, 상기 가상 컨트롤러 연결 프로세서(111)와 VR앱(162)간의 동작을 설명하기 위해 도시한 것이다. 관련하여, 도 7은 전체적인 시스템 구성을 도시한 것이고, 도 8은 VR앱(162) 실행시 상기 가상 컨트롤러 연결 프로세서(111)의 동작을 도시한 것이다.
도 7에 의하면, VR앱(162)은 상기 가상 컨트롤러 연결 프로세서(111)를 통해, 종래 외부 컨트롤러(41, 42)를 연결하는 프로세스(400)와 가상 컨트롤러 연결 프로세스(300)로 각각 진행된다. 관련하여, 도 7에 의하면, 종래 VR앱(162)이 실행되면 외부 컨트롤러와의 연동을 위한 프로세스(400)가 진행된다. 예를 들어, 안드로이드(Android) 방식 VR앱(162)의 경우, 연결 프레임워크(120, connectivity Framework) 및 하드웨어 연결 프로그램(121, Hardware Abstract Layer)을 통해 외부 컨트롤러(41, 42)와 통신 가능한 상태를 유지하게 된다.
하지만, 도 8에 의하면, VR앱(162)이 실행되면, 기존 연결 프레임워크(120, connectivity Framework)와의 연결을 제거함과 동시에 본 본발명의 상기 가상 컨트롤러 연결 프로세서(111)와 새로운 연결을 진행하게 된다 (1. 기존연결 제거)(1. 새로운 연결). 상기 가상 컨트롤러 연결 프로세서(111)는 전술한 연결 관리부(112, connection manager)를 통해 모든 과정을 제어한다. 구체적으로, 상기 연결 관리부(112, connection manager)는 상기 연결 프레임워크(120, connectivity Framework)을 통해 현재 사용 가능한 외부 컨트롤러의 존재 여부를 확인하고, 상기 컨트롤러 타입 저장부(113, Type DB)를 통해 사용 가능한 가상 컨트롤러 타입을 확인한다(2. 외부/가상 컨트롤러 검색). 상기 과정은 전술한 도 3의 S210 단계에 대응된다.
상기 연결 관리부(112, connection manager)는 사용 가능한 외부 컨트롤러 및/또는 가상 컨트롤러가 확인되면, 이를 디스플레이 수단(17)을 통해 사용자에게 안내하고 이후 사용자 선택에 따라 결정된 컨트롤러를 실행하게 된다(3. 사용자 컨트롤러 선택). 상기 과정은 전술한 도 3의 S220 단계 및 S230 단계에 대응된다.
상기 과정을 통해 본 발명은 기존 VR앱(162)의 수정없이 다양한 종류의 가상 컨트롤러를 모바일 기기(10)르르 통해 추가로 사용자에게 제공하는 것이 가능하게 된다. 이는 사용자가 VR기기(20)를 더욱 효율적으로 활용하는 것을 가능하게 한다.
도 9는 본 발명 실시예에 따른, 상기 가상 컨트롤러 연결 프로세서(111)에 의해 외부 컨트롤러(41, 42)가 선택되고 실행되는 과정을 도시한 것이다. 사용자에 의해 외부 컨트롤러가 선택되면, 도 9에 의한 외부 컨트롤러 연결 프로세스(400)는 전술한 바와 같이 종래 일반적인 방식대로 진행되어 진다. 종래 방식대로 연결 프로세스(400)가 구현된다는 것은, 상기 VR앱(162)을 수정없이 호환적으로 사용하기 위한 호환성을 제공한다. 즉, 예를 들어, 안드로이드(Android) 방식 VR앱(162)의 경우, 연결 프레임워크(120, connectivity Framework) 및 하드웨어 연결 프로그램(121, Hardware Abstract Layer)을 통해 외부 컨트롤러(41, 42)와 통신 가능한 상태를 유지하게 된다.
도 10은 본 발명 실시예에 따른, 상기 가상 컨트롤러 연결 프로세서(111)에 의해 가상 컨트롤러가 선택되고 실행되는 과정을 도시한 것이다. 사용자에 의해 가상 컨트롤러가 선택되면, 도 10에 의한 가상 컨트롤러 연결 프로세스(300)가 실행된다. 구체적으로, 상기 인터페이스부(114, Interface Wrapper)는 구동되는 VR앱(162)과의 통신 세션을 유지한다(1. session 연결). 상기 센서센싱부(116, Sensor thread)와 터치센싱부(117, KeyTouch thread)는 선택된 가상 컨트롤러 타입에 적합한 입력 데이터를 수집하여 이를 패킷 생성부(115, Protocol Abstracter)로 전송한다(2. Data 수집). 상기 패킷 생성부(115, Protocol Abstracter)는, 상기 센서센싱부(116, Sensor thread) 및 터치센싱부(117, KeyTouch thread)로부터 수집된 입력 테이터를, 선택된 가상 컨트롤러 타입별 기결정된 데이터 포맷에 맞추어 데이터 패킷을 생성하게 된다 (3. Packet 생성). 상기 생성된 데이터 패킷은 상기 인터페이스부(114, Interface Wrapper)를 통해 VR앱(162)에 전달되고, 이는 연결된 VR기기(20) 제어에 활용되어 진다. 전술한 바와 같이, 도 11 및 도 12는 상기 가상 컨트롤러 타입별 기결정된 데이터 포맷에 따라 생성되는 데이터 패킷 포맷을 예를 들어 도시한 것이다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 모바일 기기의 제어부(11)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
10 : 모바일 기기
20 : 가상현실 기기 (VR기기)
41, 42 : 외부 컨트롤러
11 : 제어부
111 : 가상 컨트롤러 연결 프로세서
17 : 디스플레이 수단

Claims (15)

  1. 가상현실 기기 구동을 위한 VR앱(Application)을 실행하는 단계,
    상기 VR앱과 연동되는 컨트롤러 연결 프로세서(processor)를 구동하는 단계,
    상기 컨트롤러 연결 프로세서를 통해, 상기 가상현실 기기를 구동하는 컨트롤러로서 외부 컨트롤러 또는 가상 컨트롤러 중 어느 하나를 선택하는 단계,
    상기 가상 컨트롤러 선택시, 선택된 가상 컨트롤러에 대응하는 데이터 패킷을 생성하여 상기 가상 현실 기기와 통신하는 단계를 포함하고,
    상기 컨트롤러 연결 프로세서는, 컨트롤러 연결 프로그램(controller abstract layer)으로 구성되고,
    상기 컨트롤러 연결 프로그램(controller abstract layer)은, 적어도 하나 이상의 가상 컨트롤러를 저장하는 가상 컨트롤러 타입 저장부와, 연결된 가상 컨트롤러 타입에 맞는 인터페이스를 선택하여 상기 VR앱과의 세션(session) 연결 과정을 수행하는 인터페이스부와, 상기 연결된 가상 컨트롤러 타입에 맞는 프로토콜(protocol)에 따라 데이터 패킷을 생성하는 패킷 생성부를 포함하는 것을 특징으로 하는 가상현실 기기 컨트롤러 구동 방법.
  2. 제 1항에 있어서,
    상기 외부 컨트롤러 선택시, 선택된 외부 컨트롤러와 무선 통신으로 연결되도록 제어하는 단계를 포함하여 이루어진 것을 특징으로 하는 가상현실 기기 컨트롤러 구동 방법.
  3. 제 1항에 있어서,
    상기 컨트롤러 연결 프로세서는, 사용 가능한 외부 컨트롤러 및 가상 컨트롤러에 대한 정보를 시각적으로 제공하는 단계를 더 포함하는 것을 특징으로 하는 가상현실 기기 컨트롤러 구동 방법.
  4. 제 1항에 있어서,
    상기 컨트롤러 연결 프로세서는, 가상 컨트롤러 선택시, 가상 컨트롤러 사용 메뉴얼을 제공하는 단계를 더 포함하는 것을 특징으로 하는 가상현실 기기 컨트롤러 구동 방법.
  5. 제 4항에 있어서,
    상기 컨트롤러 사용 메뉴얼은 배경화면에 오버레이(overlay) 방식으로 제공하는 것을 특징으로 하는 가상현실 기기 컨트롤러 구동 방법.
  6. 삭제
  7. 가상현실 기기 구동을 위한 VR앱(Application)을 저장하는 메모리와
    상기 VR앱과 연동되는 컨트롤러 연결 프로세서(processor)를 포함하는 제어부를 포함하는 모바일 기기에 있어서,
    상기 컨트롤러 연결 프로세서는, 컨트롤러 연결 프로그램(controller abstract layer)으로 구성되고,
    상기 제어부는, 상기 컨트롤러 연결 프로세서를 통해 상기 가상현실 기기를 구동하는 컨트롤러로서 외부 컨트롤러 또는 가상 컨트롤러 중 어느 하나를 선택하도록 하고, 상기 가상 컨트롤러 선택시, 선택된 가상 컨트롤러에 대응하는 데이터 패킷을 생성하여 상기 가상현실 기기와 통신하도록 제어하고,
    상기 컨트롤러 연결 프로그램(controller abstract layer)은, 적어도 하나 이상의 가상 컨트롤러를 저장하는 가상 컨트롤러 타입 저장부와, 연결된 가상 컨트롤러 타입에 맞는 인터페이스를 선택하여 상기 VR앱과의 세션(session) 연결 과정을 수행하는 인터페이스부와, 상기 연결된 가상 컨트롤러 타입에 맞는 프로토콜(protocol)에 따라 데이터 패킷을 생성하는 패킷 생성부를 포함하는 것을 특징으로 하는 모바일 기기.
  8. 제 7항에 있어서,
    상기 모바일 기기는, 외부 컨트롤러 선택시, 선택된 외부 컨트롤러와 무선 통신가능한 근거리 통신 수단을 더 포함하는 것을 특징으로 하는 모바일 기기.
  9. 제 7항에 있어서,
    상기 모바일 기기는, 사용 가능한 외부 컨트롤러 및 가상 컨트롤러에 대한 정보를 시각적으로 제공하기 위한 디스플레이수단을 더 포함하는 것을 특징으로 하는 모바일 기기.
  10. 제 9항에 있어서,
    가상 컨트롤러 선택시, 상기 제어부는 상기 디스플레이수단을 통해 가상 컨트롤러 사용 메뉴얼을 제공하는 것을 특징으로 하는 모바일 기기.
  11. 제 10항에 있어서,
    상기 컨트롤러 사용 메뉴얼은 배경화면에 오버레이(overlay) 방식으로 제공하는 것을 특징으로 하는 모바일 기기.
  12. 삭제
  13. 삭제
  14. 제 7항에 있어서,
    상기 컨트롤러 연결 프로그램(controller abstract layer)에는,
    상기 연결된 가상 컨트롤러 타입에 맞는 센서 데이터를 수집하는 센서센싱부와,
    상기 연결된 가상 컨트롤러 타입에 맞는 입력 터치(touch) 데이터를 수집하는 터치센싱부를 더 포함하는 것을 특징으로 하는 모바일 기기.
  15. 가상현실 디스플레이 수단을 포함하는 테더드(tethered) 가상현실 기기와,
    상기 가상현실 기기와 통신 연결되어 가상현실 디스플레이를 제어하는 모바일 기기와, 상기 가상현실 기기 구동을 제어하는 컨트롤러(controller)를 포함하는 가상현실 디스플레이 시스템에 있어서,
    상기 컨트롤러는, 적어도 상기 모바일 기기내에서 제공되는 가상 컨트롤러와 상기 모바일 기기와 물리적으로 분리된 외부 컨트롤러중 어느 하나를 포함하고,
    상기 모바일 기기는, 가상현실 기기 구동을 위한 VR앱(Application)을 저장하는 메모리와 상기 VR앱과 연동되는 컨트롤러 연결 프로세서(processor)를 포함하는 제어부를 포함하고,
    상기 컨트롤러 연결 프로세서는, 컨트롤러 연결 프로그램(controller abstract layer)으로 구성되고,
    상기 제어부는, 상기 컨트롤러 연결 프로세서를 통해 상기 가상현실 기기를 구동하는 컨트롤러로서 외부 컨트롤러 또는 가상 컨트롤러 중 어느 하나를 선택하도록 하고, 상기 가상 컨트롤러 선택시, 선택된 가상 컨트롤러에 대응하는 데이터 패킷을 생성하여 상기 가상현실 기기와 통신하도록 제어하고,
    상기 컨트롤러 연결 프로그램(controller abstract layer)은, 적어도 하나 이상의 가상 컨트롤러를 저장하는 가상 컨트롤러 타입 저장부와, 연결된 가상 컨트롤러 타입에 맞는 인터페이스를 선택하여 상기 VR앱과의 세션(session) 연결 과정을 수행하는 인터페이스부와, 상기 연결된 가상 컨트롤러 타입에 맞는 프로토콜(protocol)에 따라 데이터 패킷을 생성하는 패킷 생성부를 포함하는 것을 특징으로 하는 가상현실 디스플레이 시스템.
KR1020170101491A 2017-08-10 2017-08-10 모바일 기기 및 모바일 기기를 활용한 가상현실 기기 컨트롤러 구동 방법. KR102065421B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170101491A KR102065421B1 (ko) 2017-08-10 2017-08-10 모바일 기기 및 모바일 기기를 활용한 가상현실 기기 컨트롤러 구동 방법.
US15/853,179 US20190050050A1 (en) 2017-08-10 2017-12-22 Mobile device and method of implementing vr device controller using mobile device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170101491A KR102065421B1 (ko) 2017-08-10 2017-08-10 모바일 기기 및 모바일 기기를 활용한 가상현실 기기 컨트롤러 구동 방법.

Publications (2)

Publication Number Publication Date
KR20190017143A KR20190017143A (ko) 2019-02-20
KR102065421B1 true KR102065421B1 (ko) 2020-01-13

Family

ID=65274106

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170101491A KR102065421B1 (ko) 2017-08-10 2017-08-10 모바일 기기 및 모바일 기기를 활용한 가상현실 기기 컨트롤러 구동 방법.

Country Status (2)

Country Link
US (1) US20190050050A1 (ko)
KR (1) KR102065421B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11391257B2 (en) * 2019-07-23 2022-07-19 Ford Global Technologies, Llc Power supply during vehicle startup
US11529886B2 (en) 2019-07-23 2022-12-20 Ford Global Technologies, Llc Power supply during vehicle off state

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016191362A1 (en) * 2015-05-26 2016-12-01 Google Inc. Multidimensional graphical method for entering and exiting applications and activities in immersive media

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120100045A (ko) * 2011-03-02 2012-09-12 삼성전자주식회사 사용자 단말 장치, 디스플레이 장치, 그 ｕｉ 제공 방법 및 제어 방법
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
US20140188009A1 (en) * 2012-07-06 2014-07-03 University Of Southern California Customizable activity training and rehabilitation system
US10286308B2 (en) * 2014-11-10 2019-05-14 Valve Corporation Controller visualization in virtual and augmented reality environments
US10459519B2 (en) * 2017-01-19 2019-10-29 Google Llc Function allocation for virtual controller

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016191362A1 (en) * 2015-05-26 2016-12-01 Google Inc. Multidimensional graphical method for entering and exiting applications and activities in immersive media

Also Published As

Publication number Publication date
KR20190017143A (ko) 2019-02-20
US20190050050A1 (en) 2019-02-14

Similar Documents

Publication Publication Date Title
KR102425818B1 (ko) 스크린 미러링 서비스 제공장치 및 방법
US11789694B2 (en) Electronic device for controlling audio output and operation method thereof
KR102537210B1 (ko) 동영상 컨텐츠 제공 방법 및 이를 지원하는 전자 장치
US10181305B2 (en) Method of controlling display and electronic device for providing the same
EP3118730B1 (en) Method for operating electronic device, and electronic device
KR102383103B1 (ko) 전자 장치 및 이의 화면 표시 방법
US10091020B2 (en) Electronic device and gateway for network service, and operation method therefor
KR102459031B1 (ko) 전자 장치 및 그 어플리케이션 표시 방법
KR20170096408A (ko) 어플리케이션을 표시하는 방법 및 이를 지원하는 전자 장치
KR20180109439A (ko) 전자 장치 및 전자 장치 제어 방법
US20170052695A1 (en) Method for providing content search interface and electronic device for supporting the same
JP6602045B2 (ja) ディスプレイを用いる入力処理方法及び装置
KR20180109229A (ko) 전자 장치에서 증강현실 기능 제공 방법 및 장치
US10325533B2 (en) Electronic device and method for outputting electronic document in electronic device
KR102268540B1 (ko) 데이터 관리 방법 및 그 방법을 처리하는 전자 장치
KR20170019649A (ko) 사운드를 제공하는 전자 장치 및 방법
KR20170098106A (ko) 환경 설정 방법 및 장치
KR20170127809A (ko) 전자 장치 및 전자 장치에서의 정보 제공 방법
KR20160042739A (ko) 화면을 공유하기 위한 방법 및 그 전자 장치
KR102065421B1 (ko) 모바일 기기 및 모바일 기기를 활용한 가상현실 기기 컨트롤러 구동 방법.
KR20180010493A (ko) 전자 장치 및 전자 장치의 비디오 편집 방법
KR20170043840A (ko) 콘텐츠 정보를 제공하기 위한 방법 및 그 전자 장치
CN108139811B (zh) 记录执行屏幕的方法和处理该方法的电子设备
CN106796912B (zh) 用于设置块的电子装置和方法
KR20160068531A (ko) 어플리케이션 제어 방법 및 전자 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant