KR102551686B1 - 외부 전자 장치의 위치 및 움직임에 기반하여 외부 전자 장치와 관련된 객체를 표시하는 전자 장치 및 방법 - Google Patents

외부 전자 장치의 위치 및 움직임에 기반하여 외부 전자 장치와 관련된 객체를 표시하는 전자 장치 및 방법 Download PDF

Info

Publication number
KR102551686B1
KR102551686B1 KR1020180061384A KR20180061384A KR102551686B1 KR 102551686 B1 KR102551686 B1 KR 102551686B1 KR 1020180061384 A KR1020180061384 A KR 1020180061384A KR 20180061384 A KR20180061384 A KR 20180061384A KR 102551686 B1 KR102551686 B1 KR 102551686B1
Authority
KR
South Korea
Prior art keywords
electronic device
external electronic
processor
information
display
Prior art date
Application number
KR1020180061384A
Other languages
English (en)
Other versions
KR20190135870A (ko
Inventor
송현지
송우택
이태경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180061384A priority Critical patent/KR102551686B1/ko
Priority to EP19810932.4A priority patent/EP3796131A4/en
Priority to US17/059,374 priority patent/US11442274B2/en
Priority to CN201980035566.9A priority patent/CN112204503A/zh
Priority to PCT/KR2019/003336 priority patent/WO2019231090A1/ko
Publication of KR20190135870A publication Critical patent/KR20190135870A/ko
Application granted granted Critical
Publication of KR102551686B1 publication Critical patent/KR102551686B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/98—Accessories, i.e. detachable arrangements optional for the use of the video game device, e.g. grip supports of game controllers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Abstract

본 개시의 다양한 실시예들에 따른 전자 장치(electronic device)는, 지정된 시계(field of view, 시계)를 갖는 하나 이상의 카메라, 디스플레이, 통신 회로 및 프로세서를 포함하고, 상기 프로세서는, 상기 카메라를 이용하여 상기 지정된 시계에 포함된 하나 이상의 외부 객체들 중 외부 전자 장치를 확인하고, 상기 카메라를 통해 획득된 이미지 정보에 적어도 기반하여 확인된 상기 외부 전자 장치의 제1 위치 정보에 기반하여, 상기 외부 전자 장치에 대응하는 그래픽 객체(graphical object)를 상기 디스플레이를 통해 표시하고, 상기 외부 전자 장치가 상기 지정된 시계를 벗어나는 경우, 상기 지정된 시계를 벗어나기 이전에 상기 카메라를 통해 확인된 제2 위치 정보 및 상기 지정된 시계를 벗어난 이후에 상기 통신 회로를 통해 상기 외부 전자 장치로부터 수신된 상기 외부 전자 장치의 움직임과 관련된 정보에 기반하여, 상기 그래픽 객체를 상기 디스플레이를 통해 표시하도록 설정될 수 있다.

Description

외부 전자 장치의 위치 및 움직임에 기반하여 외부 전자 장치와 관련된 객체를 표시하는 전자 장치 및 방법 {ELECTRONIC DEVICE AND METHOD FOR REPRESENTING OBJECT RELATED TO EXTERNAL ELECTRONIC DEVICE BASED ON LOCATION AND MOVEMENT OF EXTERNAL ELECTRONIC DEVICE}
다양한 실시예들은 외부(external) 전자 장치에 대한 정보를 이용하여 외부 전자 장치와 관련된 객체를 표시하기 위한 전자 장치 및 그의 방법에 관한 것이다.
기술(technology)의 발달(development)로 인하여, 가상 현실(virtual reality, VR)과 관련된 서비스를 제공하기 위한 다양한 전자 장치들이 보급되고 있다. 다양한 전자 장치들은 가상 현실과 관련된 멀티미디어 콘텐트를 표시하기 위한 전자 장치 및 이러한 가상 현실과 관련된 멀티미디어 콘텐트 내에서 사용자의 입력을 위한 외부 전자 장치를 포함할 수 있다.
미국 특허출원공개공보 US2017/0252643호(발명의 명칭 - ACCESSORY MANAGEMENT OF VIRTUAL REALITY SYSTEM) 및 공개특허공보 제10-2017-0081727호(발명의 명칭 - 사용자의 손가락의 위치를 결정하기 위한 신호 발생 및 검출기 시스템 및 방법)는 본 발명의 배경이 되는 기술을 개시하고 있습니다.
전자 장치(electronic device)를 통해 VR(virtual reality, VR)과 관련된 서비스를 제공 받는 사용자는 시계(field of view)가 제한될 수 있다. 이러한 시계의 제한으로 인하여, 상기 VR과 관련된 서비스 내에서 사용자의 입력을 나타내기 위한 별도의 외부 전자 장치가 구비될 수 있다. 상기 전자 장치는, 상기 외부 전자 장치의 표시를 자연스럽게 하기 위한 방안이 요구된다.
본 문서에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 다양한 실시예들에 따른 전자 장치(electronic device)는, 지정된 시계(field of view)를 갖는 하나 이상의 카메라, 디스플레이, 통신 회로 및 프로세서를 포함하고, 상기 프로세서는, 상기 카메라를 이용하여 상기 지정된 시계에 포함된 하나 이상의 외부 객체들 중 외부 전자 장치를 확인하고, 상기 카메라를 통해 획득된 이미지 정보에 적어도 기반하여 확인된 상기 외부 전자 장치의 제1 위치 정보에 기반하여, 상기 외부 전자 장치에 대응하는 그래픽 객체(graphical object)를 상기 디스플레이를 통해 표시하고, 상기 외부 전자 장치가 상기 지정된 시계를 벗어나는 경우, 상기 지정된 시계를 벗어나기 이전에 상기 카메라를 통해 확인된 제2 위치 정보 및 상기 지정된 시계를 벗어난 이후에 상기 통신 회로를 통해 상기 외부 전자 장치로부터 수신된 상기 외부 전자 장치의 움직임과 관련된 정보에 기반하여, 상기 그래픽 객체를 상기 디스플레이를 통해 표시하도록 설정될 수 있다.
본 개시의 다양한 실시 예들에 따른 전자 장치는, 지정된 시계(field of view)를 가지는 하나 이상의 카메라, 외부 전자 장치로부터 수신된 데이터를 표시하기 위한 디스플레이, 상기 외부 전자 장치와 통신하기 위한 인터페이스, 상기 외부 전자 장치는 상기 외부 전자 장치의 위치 정보를 획득하기 위한 위치 센서를 포함하고, 프로세서를 포함하고, 상기 프로세서는, 상기 카메라를 이용하여, 상기 외부 전자 장치를 확인하고, 상기 지정된 시계 내에서 상기 외부 전자 장치가 확인되지 않을 경우, 상기 외부 전자 장치가 저전력 모드로 진입하기 이전의 지정된 시간 범위 동안에 획득된 하나 이상의 위치 정보들을 상기 외부 전자 장치로부터 수신하고, 상기 외부 전자 장치와 관련된 오브젝트의 표시 요청이 확인될 경우, 상기 하나 이상의 위치 정보들에 적어도 기반하여 상기 디스플레이를 이용하여 표시할 상기 오브젝트의 표시 위치를 결정하도록 설정될 수 있다.
본 개시의 다양한 실시 예들에 따른 전자 장치는, 하우징, 메모리, 상기 하우징의 제1 면의 적어도 일부를 통해 시각적으로 노출(exposed)되는 카메라, 상기 제1 면의 반대(opposite)에 위치하는, 상기 하우징의 제2 면의 적어도 일부를 통해 시각적으로 노출되는 디스플레이, 통신 모듈, 및 프로세서를 포함하고, 상기 프로세서는, 상기 카메라를 이용하여, 상기 전자 장치와 연동된 외부 전자 장치의 위치에 대한 정보를 획득하고, 상기 외부 전자 장치로부터, 상기 외부 전자 장치의 기울어짐(tilting)에 대한 정보를 수신하고, 상기 가상 현실과 관련된 멀티미디어 콘텐트와 함께, 상기 외부 전자 장치를 보여주기(representing) 위한 그래픽 객체(graphic object)를 제공하고, 상기 그래픽 객체는 상기 외부 전자 장치의 위치에 대한 정보 및 상기 외부 전자 장치의 기울어짐에 대한 정보에 적어도 기반하여 식별되고, 상기 외부 전자 장치가 상기 카메라의 시계로부터 이탈됨을 식별하고, 상기 식별에 응답하여, 상기 외부 전자 장치에게 상기 외부 전자 장치의 위치의 변화에 대한 정보를 송신할 것을 요청하고, 상기 카메라를 이용하여 획득된, 상기 이탈 시점에 상응하는 상기 외부 전자 장치의 위치에 대한 정보, 상기 외부 전자 장치로부터 수신된 상기 외부 전자 장치의 기울어짐에 대한 정보, 및 상기 외부 전자 장치로부터 수신된 상기 외부 전자 장치의 위치의 변화에 대한 정보에 적어도 기반하여, 상기 그래픽 객체의 표시를 변경하도록 설정될 수 있다.
본 개시의 다양한 실시 예들에 따른 전자 장치는, 하우징, 메모리, 상기 하우징의 제1 면의 적어도 일부를 통해 시각적으로 노출(exposed)되는 카메라, 상기 제1 면의 반대(opposite)에 위치하는, 상기 하우징의 제2 면의 적어도 일부를 통해 시각적으로 노출되는 디스플레이, 통신 모듈, 및 프로세서를 포함하고, 상기 프로세서는, 상기 카메라를 이용하여, 상기 전자 장치와 연동된 외부 전자 장치의 위치에 대한 정보를 획득하고, 상기 외부 전자 장치로부터, 상기 외부 전자 장치의 기울어짐(tilting)에 대한 정보를 수신하고, 상기 가상 현실과 관련된 멀티미디어 콘텐트와 함께, 상기 외부 전자 장치를 보여주기(representing) 위한 제1 그래픽 객체(graphic object)를 제공하고, 상기 그래픽 객체는 상기 외부 전자 장치의 위치에 대한 정보 및 상기 외부 전자 장치의 기울어짐에 대한 정보에 적어도 기반하여 식별되고, 상기 외부 전자 장치가 슬립 모드에 진입하였음을 식별하고, 상기 진입 시점에 상응하는 상기 외부 전자 장치의 위치에 대한 정보 및 상기 외부 전자 장치의 기울어짐에 대한 정보를 수신하고, 상기 슬립 모드가 해제되었음을 식별하고, 상기 해제 시점에 상응하는 상기 외부 전자 장치의 기울어짐에 대한 정보를 수신하고, 상기 진입 시점에 상응하는 상기 외부 전자 장치의 위치에 대한 정보, 상기 외부 전자 장치의 기울어짐에 대한 정보, 및 상기 해제 시점에 상응하는 상기 외부 전자 장치의 기울어짐에 대한 정보에 적어도 기반하여, 상기 외부 전자 장치의 위치를 지시하기 위한 제2 그래픽 객체를 표시하도록 설정될 수 있다.
다양한 실시 예들에 따른 전자 장치 및 그의 방법은, 전자 장치에 포함된 적어도 하나의 센서와 상기 전자 장치와 연동된 외부 전자 장치의 적어도 하나의 센서 중 적어도 하나를 이용하여, 상기 외부 전자 장치를 보여주기 위한 그래픽 객체를, VR을 제공하기 위한 멀티미디어 콘텐트와 함께 표시함으로써 향상된(enhanced) 사용자 경험(user experience, UX)을 제공할 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은, 다양한 실시예들에 따른, 외부 전자 장치의 위치 및 움직임에 기반하여 외부 전자 장치와 관련된 객체를 표시하는, 네트워크 환경 내의 전자 장치의 블럭도이다.
도 2는, 다양한 실시예들에 따른 전자 장치 및 외부 전자 장치의 기능적 구성의 예를 도시한다.
도 3은, 다양한 실시예들에 따른 전자 장치, 제1 외부 전자 장치 및 제2 외부 전자 장치의 기능적 구성의 예를 도시한다.
도 4a는, 다양한 실시예들에 따른 전자 장치의 카메라 시계에서 외부 전자 장치가 이탈되는 상황의 예를 도시한다..
도 4b는, 다양한 실시예들에 따른 카메라의 시계 및 사용자의 시계를 비교하기 위한 예를 도시한다.
도 5a는, 다양한 실시예들에 따라 전자 장치의 동작의 예를 도시한다.
도 5b는, 다양한 실시예들에 따라 전자 장치의 동작의 예를 도시한다.
도 6은, 다양한 실시예들에 따른 외부 전자 장치 및 외부 전자 장치에 상응하도록 표시되는 그래픽 객체의 예를 도시한다.
도 7은, 다양한 실시예들에 따른 전자 장치의 동작에 따라 표시되는 디스플레이의 시간적 흐름을 도시한다.
도 8은, 다양한 실시예들에 따른 센서 데이터를 이용한 보정의 효과를 비교하기 위한 예를 도시한다.
도 9a는, 다양한 실시예들에 따른 전자 장치의 전자 장치의 동작의 예를 도시한다.
도 9b는, 다양한 실시예들에 따른 전자 장치의 전자 장치의 동작의 예를 도시한다.
도 10은, 다양한 실시예들에 따른 전자 장치의 디스플레이에 표시되는 외부 전자 장치의 위치를 가이드하기 위한 그래픽 객체의 예를 도시한다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블럭도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 및 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 예를 들면, 표시 장치(160)(예: 디스플레이)에 임베디드된 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)의 경우와 같이, 일부의 구성요소들이 통합되어 구현될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 구동하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다. 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 운영되고, 추가적으로 또는 대체적으로, 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화된 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 여기서, 보조 프로세서(123)는 메인 프로세서(121)와 별개로 또는 임베디드되어 운영될 수 있다.
이런 경우, 보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 수행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부 구성 요소로서 구현될 수 있다. 메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 저장할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 저장되는 소프트웨어로서, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신하기 위한 장치로서, 예를 들면, 마이크, 마우스, 또는 키보드를 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력하기 위한 장치로서, 예를 들면, 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용되는 스피커와 전화 수신 전용으로 사용되는 리시버를 포함할 수 있다. 일 실시예에 따르면, 리시버는 스피커와 일체 또는 별도로 형성될 수 있다.
표시 장치(160)는 전자 장치(101)의 사용자에게 정보를 시각적으로 제공하기 위한 장치로서, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 표시 장치(160)는 터치 회로(touch circuitry) 또는 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 유선 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102)(예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 내부의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 외부 전자 장치(예: 전자 장치(102))와 유선 또는 무선으로 연결할 수 있는 지정된 프로토콜을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는 HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102))를 물리적으로 연결시킬 수 있는 커넥터, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈, 이미지 센서, 이미지 시그널 프로세서, 또는 플래시를 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리하기 위한 모듈로서, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구성될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급하기 위한 장치로서, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 유선 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되는, 유선 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함하고, 그 중 해당하는 통신 모듈을 이용하여 제 1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 상술한 여러 종류의 통신 모듈(190)은 하나의 칩으로 구현되거나 또는 각각 별도의 칩으로 구현될 수 있다.
일 실시예에 따르면, 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 사용자 정보를 이용하여 통신 네트워크 내에서 전자 장치(101)를 구별 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부로 송신하거나 외부로부터 수신하기 위한 하나 이상의 안테나들을 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)(예: 무선 통신 모듈(192))은 통신 방식에 적합한 안테나를 통하여 신호를 외부 전자 장치로 송신하거나, 외부 전자 장치로부터 수신할 수 있다.
상기 구성요소들 중 일부 구성요소들은 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input/output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되어 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 외부 전자 장치에서 실행될 수 있다. 일 실시예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 외부 전자 장치에게 요청할 수 있다. 상기 요청을 수신한 외부 전자 장치는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치 중 적어도 하나를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 명령어를 포함하는 소프트웨어(예: 프로그램(140))로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 전자 장치(101))를 포함할 수 있다. 상기 명령이 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
도 2는, 다양한 실시예들에 따른 전자 장치 및 외부 전자 장치의 기능적 구성의 예를 도시한다. 도 2의 전자 장치(201) 및 외부 전자 장치(202)의 기능적 구성의 적어도 일부는 도 1에 도시된 전자 장치(101) 및 도 1에 도시된 전자 장치(102)의 기능적 구성에 포함될 수 있다.
도 2를 참조하면, 환경(200)은 전자 장치(201) 및 외부 전자 장치(202)을 포함할 수 있다.
전자 장치(201)는 외부 전자 장치(202)와 연동될 수 있고, 사용자에게 가상 현실(virtual reality, VR)과 관련된 콘텐트를 제공하도록 설정될(configured) 수 있다. 전자 장치(201)는 메모리(210), 통신 모듈(220), 디스플레이(230), 카메라(240) 또는 프로세서(250)를 포함할 수 있다.
다양한 실시예들에서, 메모리(210)는, 도 1에 도시된 메모리(130)를 포함할 수 있고, 통신 모듈(220)은 도1에 도시된 통신 모듈(190)을 포함할 수 있고, 디스플레이(230)는, 도 1에 도시된 표시 장치(160)를 포함할 수 있고, 카메라(240)는, 도 1에 도시된 카메라(180)을 포함할 수 있고, 프로세서(250)는 도 1에 도시된 프로세서(120)를 포함할 수 있다.
다양한 실시예들에서, 프로세서(250)(예: 프로세서(120))는, 메모리(210), 통신 모듈(220), 디스플레이(230) 중 적어도 하나와 작동적으로(operatively 또는 operably) 결합될(coupled to) 수 있다.
다양한 실시예들에서, 프로세서(250)는, 카메라(240)를 이용하여 전자 장치(201)와 연동된 외부 전자 장치(202)의 위치에 대한 정보를 획득할 수 있다.
일 실시예에서, 프로세서(250)는, 카메라(240)를 이용하여 전자 장치(201)의 외부 환경에 대한 이미지를 획득할 수 있다. 상기 외부 환경에 대한 이미지는, 외부 전자 장치(202)를 포함하는 다수의 외부 객체들과 관련된 이미지를 포함할 수 있다. 일 실시예에서, 카메라(240)는, 전자 장치(201)의 구성요소들(예: 메모리(210), 통신 모듈(220), 디스플레이(230), 또는 프로세서(250))을 실장하기 위한 하우징(housing)의 제1 면의 적어도 일부를 통해 시각적으로 노출될 수 있다. 상기 하우징은, 상기 제1 면의 배면(opposite side)에 제2 면을 포함할 수 있고, 상기 제2 면의 적어도 일부를 통해 디스플레이(230)가 시각적으로 노출될 수 있다.
일 실시예에서, 카메라(240)는, 지정된 시계(field of view)를 가질 수 있다. 상기 시계는, 시야, 시야각, 화각, FOV, hFOV(horizontal FOV), vFOV(vertical FOV) 등의 다양한 용어들로 지칭될 수 있다. 예를 들어, 카메라(240)는, 미리 정해진 크기의 영역에 대응하는 이미지를 획득할 수 있다. 상기 미리 정해진 크기의 영역은, 상, 하, 좌, 우에 대한 일정 각도에 의해 형성되는 영역을 포함할 수 있다. 예를 들어, 도 6을 참조하면, 상기 미리 정해진 크기의 영역은, 이미지(610)에 포함되는 영역에 상응할 수 있다. 사용자 시계(401)는 디스플레이에 표시할 수 있는 시계(FOV) 영역에 상응할 수 있다. 카메라 시계(403)는 카메라(240)에 포함된 렌즈(lens)의 성능(capability)에 기반하여 결정될 수 있다. 예를 들어, 카메라(240)는 광각(wide angle) 렌즈를 포함할 수 있고, 카메라 시계(403)는 상기 광각 렌즈에 대응되는 큰 값의 각도를 가질 수 있다. 도 4b를 참조하면, 카메라 시계(403)는 점선으로 표시된 영역(412, 414, 416)에 상응할 수 있다.
다른 실시예에서, 카메라(240)는, 미리 정의된 크기의 영역에 대한 이미지를 획득할 수 있다. 카메라(240)의 시계에 기반하여, 상기 영역의 크기는 상이할 수 있다. 예를 들어, 카메라(240)가, 광각(wide lens) 카메라에 상응하는 경우, 상기 영역의 크기는 증가될 수 있다. 예를 들어 도 4b를 참조하면, 카메라 시계(FOV)는 사용자 시계(401)에 대응되고, 디스플레이에 출력되는 이미지 영역(410)보다 큰 시계(403)에 상응할 수 있다.
이하, 디스플레이(230)를 통해 표시되는 이미지(410)는, 사용자의 시계에 상응하는 이미지들을 포함할 수 있다. 다양한 실시예들에서, 카메라(240)의 시계는 디스플레이(230)를 통해 표시되는 이미지(410)의 표시 영역의 시계와 동일할 수 있다. 다만, 카메라(240)의 시계는 이에 한정되는 것은 아니며, 도 4b에 도시된 바와 같이, 사용자의 시계보다 작거나, 클 수 있다.
또 다른 실시예에서, 프로세서(250)는, 외부 전자 장치(202)와 연동될(linked 또는 interlocked) 수 있다. 예를 들어, 상기 연동은, 유선(wired) 또는 무선(wireless)에 의해 생성되는 연결을 포함할 수 있다. 상기 연동은, 전자 장치(201)에 포함되는 통신 모듈(220)에 의해 수행될 수 있다.
또 다른 실시예에서, 프로세서(250)는 외부 전자 장치(202)에서 출력된 신호를 검출함으로써 외부 전자 장치(202)를 검출할 수 있다. 예를 들어, 외부 전자 장치(202)는 발광부를 더 포함할 수 있다. 상기 발광부는, 적어도 하나의 LED(light emitting diode)를 포함할 수 있다. 예를 들어, 외부 전자 장치(202)는 임계 범위(예: 임계 값) 이상의 조도에 상응하는 빛을 상기 LED를 통해 출력할 수 있다. 전자 장치(201)의 프로세서(250)는 상기 임계 값 이상의 조도에 상응하는 빛을 수신함으로써 상기 외부 전자 장치(202)를 식별할 수 있다. 일 실시예에서, 프로세서(250)는, 카메라(240)에 의해 획득된 이미지 내에서 상기 외부 전자 장치 LED에서 출력한 신호를 검출하는 경우, 상기 카메라(240)의 시계 내에 외부 전자 장치(202)가 위치함(located)을 결정할 수 있다. 다른 예를 들어, 프로세서(250)는, 카메라(240)에 의해 획득된 이미지 내에 상기 외부 전자 장치 LED에서 출력한 신호를 검출하지 못한 경우, 상기 카메라(240)의 시계 내에 외부 전자 장치(202)가 위치하지 않음을 결정할 수 있다. 즉, 프로세서(250)는, 상기 획득된 이지미 내에 상기 임계 값을 초과하는 조도에 상응하는 영역이 검출되지 않는 경우, 카메라(240)의 시계에서 상기 외부 전자 장치(202)가 이탈됨을 결정할 수 있다.
일 실시예에 따라, 상기 외부 전자 장치(202)에 포함된 LED는, 미리 정해진 시간 간격마다 ON 또는 OFF될 수 있다. 전자 장치(201)는 외부 전자 장치(202)가 정해진 시간 간격마다 ON 또는 OFF 됨을 인식하여, 외부 전자 장치(202)에 포함된 상기 LED의 ON 또는 OFF에 대한 상기 미리 정해진 시간 간격에 대한 정보를 식별함으로써 외부 전자 장치(202)를 검출할 수 있다. 예를 들어, 외부 전자 장치(202)는 상기 LED를 0.1초마다 ON 또는 OFF를 반복하도록 제어할 수 있다. 외부 전자 장치(202)는, 미리 정해진 시간 간격마다 상기 LED를 ON 또는 OFF하도록 제어하는 경우, 전자 장치(201)에게 상기 미리 정해진 시간 간격을 지시하기 위한 주기 정보를 송신할 수 있다. 전자 장치(201)는 상기 주기 정보를 수신하고, 외부 전자 장치(202)에 포함된 상기 LED의 ON 또는 OFF에 대한 상기 미리 정해진 시간 간격에 대한 정보를 획득할 수 있다. 외부 전자 장치(202)는 상기 주기 정보에 기반하여, 상기 미리 정해진 시간 간격과 동일하게 ON 또는 OFF되는 LED를 식별함으로써 외부 전자 장치(202)를 검출할 수 있다. 일 실시예에서, 상기 미리 정해진 시간 간격은, 랜덤(random)하게 결정될 수 있다. 예를 들어, 상기 미리 정해진 시간 간격은, 외부 전자 장치(202)의 고유 ID에 기반하여 결정될 수 있다. 전자 장치(201)와 연동된 외부 전자 장치(202)의 고유 ID에 기반하여 ON 또는 OFF되는 시간 간격이 결정되므로, 전자 장치(201)는, 카메라(240)를 통해 다른 전자 장치와 연동된 다른 외부 전자 장치(예: 다른 사용자의 VR 컨트롤러)로부터 출력되는 LED를 인식하더라도, 전자 장치(201)와 연동된 외부 전자 장치(202)로부터 출력되는 LED를 정확하게 식별할 수 있다.
일 실시예에 따라, 상기 외부 전자 장치(202)는, 외부 전자 장치(202)에 포함된 조도 센서(미도시)를 통해 외부 환경에 대한 밝기를 측정할 수 있다. 외부 전자 장치(202)는 상기 외부 환경에 대한 밝기가 미리 정해진 값 이상인 경우, LED 출력 세기를 변경할 수 있다. 예를 들어, 외부 전자 장치(202)는, 상기 측정된 외부 환경에 대한 밝기가 미리 정해진 임계 값보다 크다는 것을 검출함에 응답하여, LED 출력 세기를 증가시킬 수 있다. 외부 전자 장치(202)는 LED 출력 세기를 증가시킴으로써, 전자 장치(201)에 의해 더욱 용이하게 식별될 수 있다. 외부 전자 장치(202)는 증가된 LED 출력 세기에 기반하여 상기 미리 정해진 시간 간격에 따라 LED를 ON하거나, OFF할 수 있다.
또 다른 실시예에서, 전자 장치(201)는 외부 전자 장치(202)의 위치에 대한 정보를 획득할 수 있다. 상기 위치에 대한 정보는, 외부 전자 장치(202)의 카메라(240)로부터 획득되는 이미지에 기반하여 결정되는 정보를 포함할 수 있다. 예를 들어, 상기 위치에 대한 정보는, 상기 획득된 이미지 내에서 외부 전자 장치(202)가 위치되는(positioned) 좌표에 대한 정보를 포함할 수 있다. 상기 위치에 대한 정보는, x 좌표 값, y 좌표 값, 또는 z 좌표 값을 포함할 수 있다. 상기 좌표에 대한 정보는, 프로세서(250)에 포함된 위치 추적 모듈(252)에 의해 획득될 수 있다.
또 다른 실시예에서, 프로세서(250)는 위치 추적 모듈(252)을 포함할 수 있다. 위치 추적 모듈(252)은, 카메라(240)에 의해 획득된 이미지에 포함되는 외부 전자 장치(202)의 위치에 대한 정보를 획득할 수 있다. 예를 들어, 위치 추적 모듈(252)은, 상기 획득된 이미지를 동일한 간격의 x 축과 y 축으로 분할하고, 외부 전자 장치(202)가 검출된 영역에 대응되는 x 좌표 또는 y 좌표를 획득할 수 있다. 다만, 다양한 실시예들에서, 상기 x축 좌표 및 상기 y축 좌표는, 동일한 간격의 분할에 기반하여 획득되는 것으로 제한되지 않으며, 다수의 위치에 대한 정보를 획득하는 기법들에 기반하여 획득할 수 있다. 다른 예를 들어, 위치 추적 모듈(252)은, 상기 획득된 이미지에 기반하여, 깊이(depth) 정보를 획득할 수 있다. 상기 깊이 정보는, 2차원 이미지로부터 상기 깊이 정보를 연산하기 위한 이미지 연산에 기반하여 획득될 수 있다. 다른 실시예에 따라, 위치 추적 모듈(252)은 2개의 이미지에 대한 차이 값에 기반하여 깊이 정보를 획득할 수 있다. 예를 들어, 전자 장치(201)는 2개의 카메라를 포함할 수 있고, 상기 2개의 카메라는, 외부 전자 장치(202)에 대한 이미지를 각각 획득할 수 있다. 상기 2개의 카메라는, 일정한 거리를 가지고 독립적으로 나란히 배치될 수 있다. 위치 추적 모듈(252)은, 상기 2개의 카메라로부터 각각 획득된 이미지들의 차이에 기반하여, 상기 깊이 정보를 획득할 수 있다. 위치 추적 모듈(252)는, 상기 획득된 깊이 정보에 따라 z 좌표 값을 획득할 수 있다.
다양한 실시예들에서, 프로세서(250)는, 외부 전자 장치(202)로부터 외부 전자 장치(202)의 기울어짐(tilting)에 대한 정보를 수신할 수 있다. 프로세서(250)는 통신 모듈(220)을 통해(via) 상기 기울어짐에 대한 정보를 수신할 수 있다.
일 실시예에 따라, 상기 기울어짐에 대한 정보는, 외부 전자 장치(202)에 포함된 적어도 하나의 센서에 의해 획득되는 정보를 포함할 수 있다. 예를 들어, 상기 적어도 하나의 센서는, 자이로(gyro) 센서를 포함할 수 있다. 상기 자이로 센서는, 상기 외부 전자 장치(202)의 기울어짐에 대한 센서 데이터(이하, 제1 센서 데이터)를 획득할 수 있다. 상기 제1 센서 데이터는, 피치(pitch), 롤(roll), 또는 요(yaw) 중 적어도 하나와 관련된 센서 데이터를 포함할 수 있다.
일 실시예에 따라, 상기 기울어짐에 대한 정보는, 외부 전자 장치(202)에서 전자 장치(201)로 송신될 수 있다. 예를 들어, 상기 기울어짐에 대한 정보는, 외부 전자 장치(202)의 상태 변화에 기반하여 전자 장치(201)에게 송신될 수 있다. 외부 전자 장치(202)는 외부 전자 장치(202)의 전원 켜짐, 온 상태(on status), 파워 온(power on), 활성화(activation) 상태에 응답하여, 전자 장치(201)에게 상기 기울어짐에 대한 정보를 송신할 수 있다. 상기 기울어짐에 대한 정보는, 외부 전자 장치(202)로부터 주기적으로 전자 장치(201)에게 송신될 수 있다. 일 실시예에서, 외부 전자 장치(202)는, 그립 센서(미도시)를 더 포함할 수 있다. 상기 그립 센서는, 외부 전자 장치(202)가 사용자에 의해 파지되었음을 검출하도록 구성될 수 있다. 프로세서(295)(예: 프로세서(250))는, 상기 그립 센서로부터 외부 전자 장치(202)가 상기 사용자에 의하여 파지되었음을 지시하는 신호를 수신하고, 상기 지시하는 신호의 수신에 응답하여, 상기 자이로 센서를 활성화할 수 있다. 프로세서(295)는, 상기 활성화된 자이로 센서를 통해(via), 상기 기울어짐에 대한 정보를 획득하고, 전자 장치(201)에게 송신할 수 있다.
다른 예를 들어, 외부 전자 장치(202)는 전자 장치(201)로부터 제어 신호를 수신함에 응답하여, 상기 기울어짐에 대한 정보를 전자 장치(201)에게 송신할 수 있다. 전자 장치(201)는 외부 전자 장치(202)와의 연동이 완료되었음을 검출하고, 상기 검출에 응답하여 외부 전자 장치(202)에게 상기 기울어짐에 대한 정보를 송신할 것을 요청하는 제어 신호를 송신할 수 있다. 상기 제어 신호는, 상기 자이로 센서 및/또는 가속도 센서를 활성화할 것을 지시하는 신호를 포함할 수 있다. 외부 전자 장치(202)는, 상기 제어 신호에 응답하여, 상기 자이로 센서를 활성화하고, 상기 제1 센서 데이터를 획득할 수 있다. 외부 전자 장치(202)는, 상기 제어 신호에 응답하여, 상기 가속도 센서를 활성화하고, 상기 제2 센서 데이터를 획득할 수 있다.
다양한 실시예들에서, 프로세서(250)는, 상기 VR과 관련된 멀티미디어 콘텐트(multimedia content)와 함께, 상기 외부 전자 장치(202)를 보여주기(representing) 위한 그래픽 객체(visual object)를 제공할 수 있다. 상기 그래픽 객체는, 가상 현실과 관련된 멀티미디어 콘텐트 내에서 사용자 입력을 지시하기 위해 디스플레이(230)상에 표시되는 객체를 지칭할 수 있다. 상기 사용자 입력은, 외부 전자 장치(202)의 움직임에 대한 정보를 포함할 수 있다. 상기 그래픽 객체는, 시각적 객체(visual object), 그래피컬 오브젝트(graphical object), 컨트롤러 객체(controller object) 등의 다양한 용어들로 지칭될 수 있다. 일 실시예에 따라, 상기 그래픽 객체는, 다양한 형상의 이미지들을 포함할 수 있다. 예를 들어, 상기 그래픽 객체는, 외부 전자 장치(202)의 형상과 동일 또는 유사한 형상의 이미지를 포함할 수 있다. 다른 예를 들어, 외부 전자 장치(202)는, 상기 멀티미디어 콘텐트의 유형에 기반하여 결정되는 이미지를 포함할 수 있다. 상기 콘텐트의 유형에 기반하여 결정되는 이미지는, 테니스 라켓(racket), 스티어링 휠(steering wheel), 칼 또는 검(sword) 등을 포함하는, 다양한 객체에 대한 이미지들을 포함할 수 있다.
일 실시예에서, 프로세서(250)는 상기 VR과 관련된 멀티미디어 콘텐트를 표시할 수 있다. 상기 멀티미디어 콘텐트는, 사용자에게 가상 현실 서비스를 제공하기 위한 3차원(3-dimensional) 또는 전방위(omni-directional) 이미지 중 적어도 하나 이상을 포함할 수 있다.
다른 실시예에서, 프로세서(250)는, 외부 전자 장치(202)를 보여주기 위한 상기 그래픽 객체를 디스플레이(230)상에 표시할 수 있다. 예를 들어, 상기 그래픽 객체는 상기 VR과 관련된 멀티미디어 콘텐트와 중첩(superimposed)되도록 표시될 수 있다. 프로세서(250)는 제1 시점에, 상기 VR과 관련된 멀티미디어 콘텐트를 랜더링하고, 상기 그래픽 객체를 랜더링(rendering)할 수 있다. 상기 그래픽 객체는, 상기 멀티미디어 콘텐트 상에 중첩되어 표시될 수 있다.
또 다른 실시예에서, 상기 그래픽 객체는, 외부 전자 장치(250)의 위치에 대한 정보 또는 외부 전자 장치(202)의 기울어짐에 대한 정보에 기반하여 식별될 수 있다. 예를 들어, 프로세서(250)는, 외부 전자 장치(202)의 상기 위치에 대한 정보를 획득하고, 상기 그래픽 객체를 표시할 위치를 식별할 수 있다. 예를 들어, 프로세서(250)는, 상기 기울어짐에 대한 정보에 기반하여, 상기 식별된 표시 위치에서 상기 그래픽 객체를 3차원적으로 표시할 것을 결정할 수 있다. 프로세서(250)는, 상기 카메라(240)를 통해 획득된 이미지 내에서 조도 값에 기반하여 외부 전자 장치(202)의 위치만을 식별하기 때문에, 3차원적으로 랜더링하기 위한 정보로서 상기 기울어짐에 대한 정보를 필요로 할 수 있다. 다른 예를 들어, 프로세서(250)는, 카메라(240)를 통해 획득된 이미지에 포함되는 외부 전자 장치(202)의 패턴 또는 마커에 기반하여, 상기 기울어짐에 대한 정보를 획득할 수도 있다. 일 실시예에서, 외부 전자 장치(202)는 적어도 하나의 마커(marker)를 포함할 수 있다. 상기 적어도 하나의 마커는, 외부 전자 장치(202)의 고정된 영역에 위치하기 때문에, 외부 전자 장치(202)가 기울어진(tilted) 경우, 상기 적어도 하나의 마커 또한 동일하게 기울어질 수 있다. 프로세서(250)는 카메라(240)를 통해 획득한 이미지 내에서 상기 기울어진 적어도 하나의 마커에 대한 이미지를 획득할 수 있다. 다른 실시예에서, 외부 전자 장치(202)는 LED를 통해 미리 결정된 패턴의 빛을 출력할 수 있다. 예를 들어, 외부 전자 장치(202)는, 외부 전자 장치(202)가 지표면과 직각을 이루도록 기울어진 경우, 0.1초 간격으로 LED를 ON 또는 OFF 할 수 있다. 다른 예를 들어, 외부 전자 장치(202)는 외부 전자 장치(202)가 지표면과 나란히 기울어진 경우, 0.5초 간격으로 LED를 ON 또는 OFF할 수 있다. 외부 전자 장치(202)는 상기 미리 결정된 패턴에 대한 정보를 전자 장치(201)에게 송신함으로써, 외부 전자 장치(202)의 기울어짐에 대한 정보를 간접적으로 제공할 수 있다.
또 다른 실시예에서, 상기 그래픽 객체는, 상기 VR과 관련된 멀티미디어 콘텐트에 기반하여 결정될 수 있다. 상기 VR과 관련된 멀티미디어 콘텐트는, 테니스 경기, 전쟁 게임, 자동차 게임 등을 포함할 수 있다. 예를 들어, 상기 멀티미디어 콘텐트가 테니스 경기에 상응하는 경우, 상기 그래픽 객체는, 테니스 라켓(racket)의 형상을 포함하는 이미지에 대응될 수 있다. 다른 예를 들어, 상기 멀티미디어 콘텐트가 전쟁 게임에 상응하는 경우, 상기 그래픽 객체는, 칼 또는 검(sword)의 형상을 포함하는 이미지에 대응될 수 있다. 또 다른 예를 들어, 상기 멀티미디어 콘텐트가 자동차 게임에 상응하는 경우, 상기 그래픽 객체는, 스티어링 휠(steering wheel)의 형상을 포함하는 이미지에 대응될 수 있다.
프로세서(250)는, 상기 위치에 대한 정보 중 x 좌표 및/또는 y 좌표에 대한 값을 참조하여, 디스플레이(230)에서 상기 x 좌표 및/또는 상기 y 좌표에 대한 값에 대응되는 점(point)을 결정할 수 있다. 프로세서(250)는 상기 위치에 대한 정보 중 z 좌표에 대한 값을 참조하여, 상기 결정된 점의 크기를 결정할 수 있다. 예를 들어, z 좌표에 대한 값이 큰 경우(예: 외부 전자 장치(202)가 사용자로부터 멀리 떨어져 있음), 원근감 효과를 위해, 상기 결정된 점은 작게 표시될 수 있다. 다른 예를 들어, z 좌표에 대한 값이 작은 경우(예: 외부 전자 장치(202)가 사용자로부터 가까이 위치함), 원근감 효과를 위해 상기 결정된 점은 크게 표시될 수 있다. 프로세서(250)는, 상기 기울어짐에 대한 정보에 기반하여, 상기 그래픽 객체의 3차원적 표시를 결정할 수 있다. 예를 들어, 프로세서(250)는, 상기 기울어짐에 대한 정보 중 피치(pitch), 롤(roll) 또는 요(yaw) 중 적어도 하나를 지시하는 자이로 센서 데이터를 참조하여, 3차원에서 기울어진 방향 또는 각도를 결정할 수 있다. 프로세서(250)는, 3차원에서 기울어진 방향 또는 각도에 따라 기울어진 상기 그래픽 객체를 상기 x 좌표, y 좌표 또는 z 좌표에 따라 결정된 위치에 표시할 수 있다. 예를 들어, 도 6을 참조하면, 프로세서(250)는 디스플레이(230)를 통해, 디스플레이 이미지(620)을 표시할 수 있다. 상기 디스플레이 이미지(620)는, 상기 멀티미디어 콘텐트에 관련된 배경 이미지 또는 상기 그래픽 객체(602)를 포함할 수 있다. 프로세서(250)는, 카메라 이미지(610)에 기반하여 식별된 외부 전자 장치(102)의 위치에 상응하는 영역 상으로 그래픽 객체(602)를 표시할 수 있다. 프로세서(250)는 외부 전자 장치(202)로부터 수신된 외부 전자 장치(202)의 상기 기울어짐에 대한 정보에 기반하여, 동일한 기울어짐을 갖도록 상기 그래픽 객체(602)를 표시할 수 있다. 디스플레이(230)를 통해 표시되는 이미지(620)는, 사용자의 시계에 상응하는 이미지들을 포함할 수 있다. 다양한 실시예들에서, 카메라(240)의 시계는 디스플레이(230)를 통해 표시되는 이미지(620)의 표시 영역의 시계와 동일할 수 있다.
다양한 실시예들에서, 프로세서(250)는, 외부 전자 장치(250)가 카메라(240)의 시계로부터 이탈됨을 식별할 수 있다. 예를 들어, 프로세서(250)는, 카메라(240)에 의해 획득된 이미지에 기반하여, 외부 전자 장치(202)의 이탈 여부를 식별할 수 있다. 프로세서(250)는, 상기 획득된 이미지 내에서 임계 값 이상의 조도에 대응되는 영역이 검출되지 않는 경우, 외부 전자 장치(202)가 카메라(240)의 시계에서 이탈했음을 결정할 수 있다. 다른 예로, 프로세서(250)는, 카메라(240)에 의해 획득된 이미지 내에 상기 임계 값 이상의 조도에 대응되는 영역이 검출되는 경우, 프로세서(250)는 외부 전자 장치(202)가 카메라(240)의 시계 내부에 위치함을 결정할 수 있다. 다른 예를 들어, 도 4a를 참조하면, 사용자는 전자 장치(201)를 착용한 상태에서 양 손으로 각각의 외부 전자 장치들(202-1, 202-2)을 파지할 수 있다. 상기 외부 전자 장치들(202-1, 202-2) 각각은, 도 2에 도시된 외부 전자 장치(202)에 상응할 수 있다. 도 4a를 참조하면, 전자 장치(201)의 사용자가 팔을 전방으로 향하는 경우(예: 실선으로 표시), 외부 전자 장치들(202-1, 202-2)은 전자 장치(201)의 시계각(401)에 포함되므로, 전자 장치(201)는 외부 전자 장치들(202-1, 202-2)을 포함하는 이미지를 획득할 수 있다. 프로세서(250)는, 상기 외부 전자 장치들(202-1, 202-2)로부터 방출되는, 임계 값 이상의 조도에 대응하는 영역을 검출함으로써, 상기 외부 전자 장치들(202-1, 202-2)이 시계 내부에 위치됨을 식별할 수 있다. 도 4a를 참조하면, 전자 장치(201)의 사용자가 팔을 측방으로 향하는 경우(예: 점선으로 표시된 팔의 예와 같이), 외부 전자 장치들(202-1, 202-2)은 전자 장치(201)의 시계각(401)에서 벗어나게 되므로, 전자 장치(201)는 외부 전자 장치들(202-1, 202-2)를 포함하는 이미지를 획득할 수 없다. 전자 장치(201)는, 상기 외부 전자 장치들(202-1, 202-2)로부터 방출되는, 임계 값 이상의 조도에 대응하는 영역을 검출할 수 없다. 전자 장치(201)는, 외부 전자 장치들(202-1, 202-2)이 카메라(240)의 시계에서 벗어남 또는 카메라(240)의 시계에서 이탈됨을 식별할 수 있다.
일 실시예에 따라, 프로세서(250)는, 상기 이탈 시점에 상응하는 외부 전자 장치(202)의 위치에 대한 정보를 저장할 수 있다. 예를 들어, 프로세서(250)는, 상기 이탈을 식별함에 응답하여, 외부 전자 장치(202)의 위치를 식별할 수 있다. 상기 식별된 위치는, 카메라(240)에 의해 획득된 이미지의 경계 면들 중 하나의 면에 위치할 수 있다. 프로세서(250)는, 상기 식별된 위치에 대한 정보를 제2 위치 정보로 저장할 수 있다. 상기 제2 위치 정보는, 카메라(240)에 의해 획득된 다수의 이미지들 중, 외부 전자 장치(202)를 포함하는 가장 최근 시점의 이미지에 의해 획득될 수 있다. 카메라(240)에 의해 획득된 이미지를 가로 축을 따라 x 축으로 분할하고, 세로 축을 따라 y 축으로 분할한 경우, 상기 제2 위치 정보는, x 좌표 값 또는 y 좌표 값 중 하나의 좌표 값만을 포함하는 점(point)들 중 하나의 점에 대한 정보를 포함할 수 있다.
다양한 실시예들에서, 프로세서(250)는, 상기 식별에 응답하여, 외부 전자 장치(202)에게 외부 전자 장치(202)의 위치의 변화에 대한 정보를 송신할 것을 요청할 수 있다. 카메라(240)의 시계로부터 외부 전자 장치(202)가 이탈되는 경우, 카메라(240)는 외부 전자 장치(202)를 포함하는 이미지를 획득할 수 없고, 따라서, 프로세서(250)는, 외부 전자 장치(202)의 위치에 대한 정보를 획득할 수 없다. 따라서, 프로세서(250)는 외부 전자 장치(202)의 상기 이탈을 검출하는 경우, 외부 전자 장치(202)에게 상기 위치의 변화에 대한 정보를 요청할 수 있다.
일 실시예에서, 상기 위치의 변화에 대한 정보는, 외부 전자 장치(202)의 적어도 하나의 센서에 의해 획득된 정보를 포함할 수 있다. 예를 들어, 외부 전자 장치(202)에 포함되는 상기 적어도 하나의 센서는, 제1 센서(292) 또는 제2 센서(294)를 포함할 수 있다. 상기 제1 센서(292)는 자이로(gyro) 센서에 상응할 수 있고, 상기 제2 센서(294)는 가속도(acceleration) 센서에 상응할 수 있다. 제1 센서(292)는 외부 전자 장치(202)의 기울어짐에 대한 정보를 획득할 수 있고, 제2 센서(294)는 외부 전자 장치(202)의 속도 변화에 대한 정보를 획득할 수 있다. 외부 전자 장치(202)는 제1 센서(292) 또는 제2 센서(294)로부터 획득된 정보들을, 상기 위치의 변화에 대한 정보의 요청에 응답하여 전자 장치(201)에게 송신할 수 있다. 즉, 외부 전자 장치(202)는, 전자 장치(201)에게 제1 센서(292)에 의한 상기 기울어짐에 대한 정보만을 송신하고, 상기 요청에 응답하여, 제1 센서(292)에 의한 상기 기울어짐에 대한 정보 또는 제2 센서(294)에 의한 상기 속도 변화에 대한 정보를 함께 송신할 수 있다. 상기 송신된 기울어짐에 대한 정보 또는 속도 변화에 대한 정보는, 전자 장치(201)의 프로세서(250)에 의해, 외부 전자 장치(202)의 상기 이탈 이후의 시점에 대한 외부 전자 장치(202)의 위치를 예측하는데 이용될 수 있다.
다른 실시예에서, 상기 위치의 변화에 대한 정보는, 외부 전자 장치(202)의 위치 변화량을 지시하는 데이터를 포함할 수 있다. 예를 들어, 상기 위치 변화량을 지시하는 데이터는, 벡터(vector) 정보를 포함할 수 있다. 상기 위치 변화량을 지시하는 데이터는, 외부 전자 장치(202)에 의해 획득될 수 있다. 외부 전자 장치(202)는 상기 제1 센서(292) 또는 제2 센서(294)에 의해 획득된 정보에 기반하여, 상기 벡터 정보를 획득할 수 있다. 외부 전자 장치(202)는 제1 센서(292) 또는 제2 센서(294)에 의해 획득된 센서 데이터를 송신하는 대신, 상기 센서 데이터에 기반하여 획득된 상기 벡터 정보를 송신할 수 있다.
일 실시예에서, 프로세서(295)는, 상기 기울어짐에 대한 정보를 통해 외부 전자 장치(202)의 이동 방향을 예측할 수 있다. 예를 들어, 프로세서(295)는, 회전 방향에 상응하는 방향으로 외부 전자 장치(202)의 이동을 예측할 수 있다. 사용자가 외부 전자 장치(202)를 손으로 파지하는 동안, 상기 자이로 센서에 의한 데이터가 검출되는 경우, 제자리의 회전 운동에 의해 데이터가 검출되는 경우에 대한 기대값은 매우 낮기 때문이다. 따라서, 프로세서(295)는 외부 전자 장치(202)가 x+ 방향으로 회전하였음을 지시하는 데이터를 획득하는 경우, 외부 전자 장치(202)가 x+ 방향으로 이동하였음을 예측할 수 있다. 다른 예를 들어, 프로세서(295)는, 반복적인 동작에 대한 상기 위치의 변화에 대한 정보를 저장할 수 있다. 다른 실시예에서, 프로세서(295)는, 제1 센서(292) 또는 제2 센서(294)로부터 획득된 데이터를 상기 저장된 정보와 비교할 수 있다. 프로세서(295)는, 획득된 데이터와 상기 저장된 정보가 일치하는 경우, 외부 전자 장치(202)를 파지한 사용자는, 반복적인 동작을 수행하고 있음을 결정할 수 있다. 프로세서(250)는, 상기 결정된 반복적인 동작에 기반하여, 그래픽 객체를 디스플레이(230)상에 표시할 수 있다.
또 다른 실시예에서, 상기 위치의 변화에 대한 정보를 송신할 것을 요청하는 신호는, 외부 전자 장치(202)의 제2 센서(294)를 활성화할 것을 지시하는 제어 신호를 포함할 수 있다. 외부 전자 장치(202)는, 상기 요청 신호에 포함되는 상기 제어 신호의 수신에 응답하여, 제2 센서(294)를 활성화하고, 상기 속도 변화에 대한 정보를 획득할 수 있다. 일 실시예에 따라, 프로세서(250)는 카메라(240)에 의해 획득된 이미지에 기반하여, 외부 전자 장치(202)를 식별하는 경우(예: 외부 전자 장치(202)가 카메라 시계(403)에 포함), 제1 센서(292)(예: 자이로 센서)를 활성화할 것을 지시하는 상기 제어 신호를 외부 전자 장치(202)에게 송신할 수 있다. 프로세서(250)는 제1 센서(292)로부터 외부 전자 장치(202)가 기울어진 방향 및/또는 각도에 대한 정보를 수신할 수 있다. 프로세서(250)는 카메라(240)에 의해 획득된 이미지 내에 외부 전자 장치(202)의 위치 상으로(on), 상기 기울어진 방향 및/또는 각도에 따라 외부 전자 장치(202)를 랜더링(rendering)할 수 있다. 다른 실시예에 따라, 프로세서(250)는 카메라(240)에 의해 획득된 이미지에 기반하여, 외부 전자 장치(202)를 식별할 수 없는 경우(예: 카메라 시계(403)로부터 외부 전자 장치(202)의 이탈을 검출), 제1 센서(292)(예: 자이로 센서) 및/또는 제2 센서(294)(예: 가속도 센서)를 모두 활성화할 것을 지시하는 제어 신호를 외부 전자 장치(202)에게 송신할 수 있다. 프로세서(250)는 제2 센서(294)로부터 카메라 시계(403)를 벗어난 외부 전자 장치(202)의 속도 변화에 대한 정보를 수신할 수 있다. 프로세서(250)는 상기 속도 변화에 대한 정보에 기반하여, 외부 전자 장치(202)가 이동했을 것으로 예측되는 위치를 획득할 수 있다. 프로세서(250)는 상기 자이로 센서로부터 외부 전자 장치(202)의 기울어진 방향 및/또는 기울어진 각도에 대한 정보를 수신할 수 있다. 프로세서(250)는 상기 외부 전자 장치(202)가 이동했을 것으로 예측되는 위치 상으로(on), 상기 외부 전자 장치(202)와 상응하는 그래픽 객체를 랜더링 할 수 있다. 프로세서(250)는 상기 기울어진 방향 및/또는 상기 기울어진 각도에 기반하여, 상기 그래픽 객체를 표시할 수 있다.
다양한 실시예들에 따라, 프로세서(250)는, 카메라(240)를 이용하여 획득된, 상기 이탈 시점에 상응하는 외부 전자 장치(202)의 위치에 대한 정보, 외부 전자 장치(202)로부터 수신된 외부 전자 장치(202)의 기울어짐에 대한 정보, 또는 외부 전자 장치(202)의 위치의 변화에 대한 정보에 적어도 기반하여, 상기 그래픽 객체의 표시를 변경할 수 있다.
일 실시예에 따라, 프로세서(250)는 현재 시점에 상응하는 외부 전자 장치(202)의 위치를 예측할 수 있다. 예를 들어, 프로세서(250)는, 외부 전자 장치(202)로부터 수신된 외부 전자 장치(202)의 상기 기울어짐에 대한 정보 또는 상기 속도 변화에 대한 정보에 기반하여, 외부 전자 장치(202)의 위치의 변화에 대한 정보를 생성할 수 있다. 상기 생성된 위치의 변화에 대한 정보는, 벡터 정보를 포함할 수 있다. 상기 벡터 정보는, 외부 전자 장치(202)의 변위에 대한 정보를 포함할 수 있다. 다른 예를 들어, 프로세서(250)는 외부 전자 장치(202)로부터 상기 위치의 변화에 대한 정보를 수신할 수도 있다. 외부 전자 장치(202)로부터 수신된 상기 위치의 변화에 대한 정보는, 상기 기울어짐에 대한 정보 또는 상기 속도 변화에 대한 정보에 기반하여, 외부 전자 장치(202)의 프로세서(295)에 의해 획득된 정보에 상응할 수 있다. 프로세서(250)는, 상기 위치의 변화에 대한 정보 및/또는 상기 이탈 시점에 상응하는 외부 전자 장치(202)의 위치에 대한 정보에 기반하여, 현재 외부 전자 장치(202)의 위치를 예측할 수 있다. 예를 들어, 프로세서(250)는, 외부 전자 장치(202)가 이탈된 영역을 시작점(starting point)로 결정하고, 상기 시작점 및/또는 벡터 정보에 기반하여, 카메라 시계에서 벗어난 이후, 외부 전자 장치(202)의 이동에 따른 위치 변화를 식별할 수 있다. 프로세서(250)는, 상기 예측된 외부 전자 장치(202)의 위치에 기반하여 상기 외부 전자 장치가 위치하는 방향을 지시하기 위한 시각적 효과 및/또는 별도의 그래픽 객체(예: 화살표)를 표시할 수 있다.
다양한 실시예들에서, 상기 시작점 및/또는 상기 벡터 정보는 전자 장치(201)의 움직임에 기반하여 변경될 수 있다. 프로세서(250)는 외부 전자 장치(202)가 카메라 시계(403)를 벗어난 시점 이후에, 전자 장치(201)의 움직임에 대한 정보를 획득할 수 있다. 상기 전자 장치(201)의 움직임에 대한 정보는, 전자 장치(201)에 구비된(equipped) 센서 모듈(예: 도 1의 센서 모듈(176))에 의해 획득될 수 있다. 일 실시예에서, 외부 전자 장치(202)가 카메라 시계(403)를 벗어난 이후, 전자 장치(201)가 좌측 방향으로 회전(예를 들어, VR 기기를 착용하고 머리를 왼쪽으로 회전)하는 경우, 시작점은, 전자 장치(201)의 움직임에 기반하여 변경될 수 있다. 예를 들어, 상기 시작점은, 전자 장치(201)의 좌측 방향 회전을 반영하여, 외부 전자 장치(202)가 이탈된 시점의 영역으로부터 좌측 방향으로 이동될 수 있다. 다른 실시예에서, 외부 전자 장치(202)가 카메라 시계(403)를 벗어난 이후, 전자 장치(201)가 좌측 방향으로 회전하는 경우, 벡터 정보는, 전자 장치(201)의 움직임에 기반하여 변경될 수 있다. 예를 들어, 상기 벡터 정보는, 전자 장치(201)의 좌측 방향 회전을 반영하여, 우측 방향으로의 추가적인 위치 변화를 지시하기 위한 정보를 더 포함할 수 있다.
일 실시예에 따라, 프로세서(250)는 제1 그래픽 객체의 일부를 표시할 수 있다. 상기 제1 그래픽 객체는, 상기 멀티미디어 콘텐트에 기반하여 결정된 그래픽 객체를 지칭할 수 있다. 예를 들어, 상기 제1 그래픽 객체가 칼(sword)에 상응하는 경우, 프로세서(250)는 상기 칼의 길이를 참조하여, 제1 그래픽 객체의 일부를 표시할 수 있다. 즉, 외부 전자 장치(202)가 카메라(240)의 시계 외부로 이탈되었지만, 상기 칼의 길이를 초과하여 움직이지 않은 경우, 프로세서(250)는 제1 그래픽 객체의 일부를 표시할 수 있다. 프로세서(250)는 외부 전자 장치(202)의 이탈 위치와 위치 변화에 대한 벡터 정보를 통해 현재 위치를 예측하고, 상기 예측된 현재 위치와 카메라(240)간에 거리가 칼의 길이보다 작은 경우, 칼의 일부(예를 들어, 칼날)를 표시할 수 있다.
일 실시예에 따라, 프로세서(250)는 제1 그래픽 객체의 표시를 생략하고, 상기 그래픽 객체와 구별되는 제2 그래픽 객체를 표시할 수 있다. 상기 제2 그래픽 객체는, 디스플레이(230) 되는 이미지의 외부 영역에 외부 전자 장치(202)가 위치하고 있음을 사용자에게 지시하기 위한 객체에 대응할 수 있다. 상기 제2 시각적 개체는, 상기 제1 그래픽 객체와 상이한 객체일 수 있다. 상기 제2 그래픽 객체는, 외부 전자 장치(202)의 형상과 동일 또는 유사한 형상의 이미지를 포함할 수 있다. 다른 예를 들어, 상기 제2 그래픽 객체는, 외부 전자 장치(202)가 카메라(240)의 시계 외부에 위치함을 지시하기 위한 화살표 형상의 이미지를 포함할 수 있다. 프로세서(250)는, 상기 제2 그래픽 객체와 함께, 외부 전자 장치(202)가 카메라(240)의 시계 외부에 위치함을 가이드하는 문구를 더 표시할 수도 있다. 예를 들어, 프로세서(250)는, 외부 전자 장치(202)의 상기 예측된 위치와 카메라(240)간에 거리가 상기 제1 그래픽 객체의 길이를 초과하는 경우, 상기 제1 그래픽 객체를 표시하지 않을 수 있다. 프로세서(250)는 상기 제1 그래픽 객체가 표시되지 않으므로, 외부 전자 장치(202)의 현재 위치를 지시하기 위한 제2 그래픽 객체를 표시할 수 있다.
외부 전자 장치(202)는, 전자 장치(201)와 연동되고, 가상 현실과 관련된 콘텐트 내에서 사용자의 입력을 제공하도록 설정될(configured) 수 있다. 외부 전자 장치(202)는, 메모리(260), 통신 모듈(270), 사용자 입력 모듈(280), 센서 모듈(290) 또는 프로세서(295)를 포함할 수 있다.
다양한 실시예들에서, 메모리(260)는, 도 1에 도시된 메모리(130)를 포함할 수 있고, 통신 모듈(220)은 도 1에 도시된 통신 모듈(190)을 포함할 수 있고, 사용자 입력 모듈(280)은 도 1에 도시된 입력 장치(150)를 포함할 수 있고, 센서 모듈(290)은 도 1에 도시된 센서 모듈(176)을 포함할 수 있다.
다양한 실시예들에서, 사용자 입력 모듈(280)은 외부 전자 장치(202)와 연동된 전자 장치(201)을 제어하기 위한 사용자 입력을 수신할 수 있다. 사용자 입력 모듈(280)은, 외부 전자 장치(202)의 상기 하우징(미도시)의 일부를 통해 시각적으로 노출될 수 있다. 다양한 실시예들에서, 상기 사용자 입력 모듈(280)은, 사용자의 터치 입력을 수신하기 위한 터치 패드(touch pad), 물리적 압력(pressure)을 수신할 수 있는 물리적 버튼(physical button) 또는 물리 키(physical key)를 포함할 수 있다.
다양한 실시예들에서, 프로세서(295)는, 메모리(260), 통신 모듈(270), 사용자 입력 모듈(280), 또는 센서 모듈(290) 중 적어도 하나와 작동적으로(operatively 또는 operably) 결합될(coupled to) 수 있다.
다양한 실시예들에서, 센서 모듈(290)은, 제1 센서(292) 또는 제2 센서(294)를 포함할 수 있다. 제1 센서(292)는, 자이로(gyro) 센서에 상응할 수 있고, 제2 센서(294)는, 가속도 센서에 상응할 수 있다.
다양한 실시예들에서, 프로세서(295)는, 전자 장치(201)에게 외부 전자 장치(202)의 기울어짐에 대한 정보를 송신할 수 있다. 예를 들어, 프로세서(295)는, 적어도 하나의 센서를 통해(via) 상기 기울어짐에 대한 정보를 획득할 수 있다. 상기 적어도 하나의 센서는, 자이로(gyro) 센서를 포함할 수 있다. 상기 기울어짐에 대한 정보는, 외부 전자 장치(202)의 3차원 각도 변화를 지시하기 위한 정보를 포함할 수 있다. 상기 기울어짐에 대한 정보는, 피치(pitch), 롤(roll), 요(yaw)의 변화량에 대한 데이터를 포함할 수 있다.
다양한 실시예들에서, 프로세서(295)는, 전자 장치(201)에게 외부 전자 장치(202)의 위치의 변화에 대한 정보를 송신할 수 있다. 상기 위치의 변화에 대한 정보는, 외부 전자 장치(202)의 제1 센서(292) 또는 제2 센서(294)에 의해 획득된 상기 기울어짐에 대한 정보 또는 상기 속도 변화에 대한 정보를 포함할 수 있다. 다른 예를 들어, 상기 위치의 변화에 대한 정보는, 상기 기울어짐에 대한 정보 또는 상기 속도 변화에 대한 정보에 기반하여 획득된 위치 변화량을 지시하는 정보를 포함할 수 있다. 상기 위치 변화량을 지시하는 정보는, 벡터 정보에 상응할 수 있다.
일 실시예에서, 프로세서(295)는, 전자 장치(201)에게 상기 위치의 변화에 대한 정보를 적응적으로 송신할 수 있다. 예를 들어, 프로세서(295)는, 미리 정의된 시간 간격마다 상기 위치의 변화에 대한 정보를 전자 장치(201)에게 송신할 수 있다. 상기 미리 정의된 시간 간격은, 외부 전자 장치(202)의 배터리의 잔량, 외부 전자 장치(202)와 전자 장치(201)간에 무선 통신의 품질에 적어도 기반하여 변경될 수 있다. 예를 들어, 외부 전자 장치(202)의 배터리의 충전 레벨이 높은 경우, 실시간으로 외부 전자 장치(202)의 움직임을 반영하기 위해 상기 미리 정의된 시간 간격은, 감소될 수 있다. 다른 예를 들어, 외부 전자 장치(202)의 배터리의 충전 레벨이 낮은 경우, 외부 전자 장치(202)의 구동 시간을 증가시키고 전력 소모를 감소시키기 위해, 상기 미리 정의된 시간 간격은 증가될 수 있다. 예를 들어, 프로세서(295)는, 상기 무선 통신의 품질이 열악한 경우, 데이터 전송의 신뢰성을 보장하기 위해, 상기 미리 정의된 시간 간격을 감소시킬 수 있다. 다른 예를 들어, 프로세서(295)는, 상기 무선 통신의 품질이 좋은 경우, 상기 미리 정의된 시간 간격을 증가시킬 수 있다.
또 다른 실시예에서, 프로세서(295)는, 전자 장치(201)에게 송신되는 상이한 정보와 함께 상기 위치의 변화에 대한 정보를 송신할 수 있다. 예를 들어, 프로세서(295)는 사용자의 물리 키 입력을 수신하고, 상기 수신된 입력과 함께 상기 위치의 변화에 대한 정보를 송신할 수 있다.
미 도시되었지만, 외부 전자 장치(202)는 발광부를 더 포함할 수 있다. 예를 들어, 상기 발광부는 상기 외부 전자 장치(202)의 온 상태(on status)를 감지함에 응답하여 상기 발광부를 활성화시킬 수 있다. 다른 예를 들어, 외부 전자 장치(202)는 전자 장치(201)로부터 빛을 발산할 것을 지시하는 신호를 수신함으로써, 빛을 생성할 수 있다. 전자 장치(201)는 카메라(240)를 통해 상기 발광부로부터 발산되는 빛을 캡쳐함으로써 상기 외부 전자 장치(202)의 위치에 대한 정보를 획득하도록 설정될 수 있다. 다양한 실시예들에서, 상기 발광부는 LED(light emitting diode) 광원을 포함할 수 있다.
도 3은, 다양한 실시예들에 따른 전자 장치, 제1 외부 전자 장치 및 제2 외부 전자 장치의 기능적 구성의 예를 도시한다. 도 3에 도시된 제2 외부 전자 장치(303)의 기능적 구성은, 도 2에 도시된 외부 전자 장치(202)의 기능적 구성에 포함될 수 있다. 도 3에 도시된 전자 장치(301)의 기능적 구성은, 도 2에 도시된 전자 장치(201)의 기능적 구성에 포함될 수 있다.
도 3을 참조하면, 제1 외부 전자 장치(302)는 메모리(321), 통신 모듈(322), 디스플레이(323), 카메라(324) 또는 프로세서(325)를 포함할 수 있다.
다양한 실시예들에서, 메모리(321)는, 도 2에 도시된 메모리(210)를 포함할 수 있고, 통신 모듈(322)은, 도 2에 도시된 통신 모듈(220)을 포함할 수 있고, 디스플레이(323)는, 도 2에 도시된 디스플레이(230)를 포함할 수 있고, 카메라(324)는, 도 2에 도시된 카메라(240)를 포함할 수 있고, 프로세서(325)는, 도 2에 도시된 프로세서(250)를 포함할 수 있다.
다양한 실시예들에서, 프로세서(325)는, 메모리(321), 통신 모듈(322), 디스플레이(323), 카메라(324) 중 적어도 하나와 작동적으로 결합될 수 있다.
다양한 실시예들에서, 프로세서(325)는, 제2 외부 전자 장치(303)의 위치에 대한 정보를 획득할 수 있다. 예를 들어, 제2 외부 전자 장치(303)가 카메라(324)의 시계 내부에 위치하는 경우, 프로세서(325)는, 카메라(324)를 통해(via) 제2 외부 전자 장치(303)를 포함하는 이미지를 획득할 수 있다. 일 실시예에 따라, 프로세서(325)는 위치 추적 모듈을 더 포함할 수 있다. 상기 위치 추적 모듈은 상기 획득된 이미지 내에서 제2 외부 전자 장치(303)의 위치에 대한 정보를 획득할 수 있다. 위치 추적 모듈은, 도 2에 도시된 프로세서(250)의 위치 추적 모듈(252)에 대응될 수 있다. 다른 실시예들에서, 상기 제2 외부 전자 장치(303)의 위치에 대한 정보는, 전자 장치(301)에 의해 획득될 수도 있다. 프로세서(325)는, 카메라(324)를 통해, 제2 외부 전자 장치(303)를 포함하는 이미지를 획득하고, 상기 획득된 이미지를 전자 장치(301)에게 송신할 수 있다. 전자 장치(301)는 제1 외부 전자 장치(302)로부터 수신된, 제2 외부 전자 장치(303)를 포함하는 이미지에 기반하여, 상기 이미지 내에서 제2 외부 전자 장치(303)의 위치에 대한 정보를 획득할 수 있다.
다양한 실시예들에서, 프로세서(325)는, 전자 장치(301)에게 제2 외부 전자 장치(303)의 이탈 시점에 상응하는 위치에 대한 정보를 송신할 수 있다. 예를 들어, 프로세서(325)는, 카메라(324)에 의해 획득된 이미지에 기반하여 제2 외부 전자 장치(303)가 카메라(324)의 시계에서 이탈되었는지 여부를 결정할 수 있다. 프로세서(325)는, 상기 획득된 이미지 내에 임계 값 이상의 조도에 대응되는 영역을 검출하는 경우, 상기 검출된 영역에 제2 외부 전자 장치(303)가 위치함을 결정할 수 있다. 다른 예를 들어, 프로세서(325)는 상기 획득된 이미지 내에 상기 임계 값 이상의 조도에 대응되는 영역이 검출되지 않는 경우, 제2 외부 전자 장치(303)가 카메라(324)의 시계에서 이탈됨을 결정할 수 있다. 프로세서(325)는, 상기 임계 값 이상의 조도에 대응되는 영역이 검출되지 않는 시점의 직전 시점에 대한 이미지를 버퍼(buffer)등에 임시로 저장할 수 있다. 따라서, 프로세서(325)는 상기 이탈이 식별된 경우, 버퍼 등에 저장된 다수의 이미지들 중 상기 제2 외부 전자 장치(303)를 포함하는 이미지를 식별할 수 있다. 프로세서(325)는, 위치 추적 모듈을 이용하여, 상기 식별된 이미지에서 상기 재2 외부 전자 장치(303)의 이탈 시점에 대한 위치 정보를 획득할 수 있다.
다양한 실시예들에서, 프로세서(325)는, 전자 장치(301)에게 상기 이탈을 지시하는 신호를 송신할 수 있다. 예를 들어, 프로세서(325)는 상기 이탈을 식별함에 응답하여, 전자 장치(301)에게 상기 이탈을 지시하는 신호를 송신할 수 있다. 전자 장치(301)는 카메라를 구비하지 않기 때문에, 제2 외부 전자 장치(303)의 이탈을 식별할 수 없다. 따라서, 프로세서(325)는, 전자 장치(301)에게 상기 이탈을 지시하는 신호를 송신할 수 있다. 다양한 실시예들에서, 프로세서(325)는, 전자 장치(301)에게 상기 신호와 함께, 이탈 시점에 상응하는 제2 외부 전자 장치(303)의 위치에 대한 정보를 송신할 수 있다.
다양한 실시예들에서, 프로세서(325)는, 디스플레이(323)를 통해 상기 멀티미디어 콘텐트와 관련된 이미지 또는 제2 외부 전자 장치(303)에 상응하는 그래픽 객체를 표시할 수 있다. 예를 들어, 프로세서(325)는, 전자 장치(301)로부터 상기 표시를 위한 데이터를 수신할 수 있다. 프로세서(325)는 전자 장치(301)로부터 제2 외부 전자 장치(303)가 위치할 것으로 예측되는 위치 정보를 수신하고, 상기 예측된 위치 정보에 기반하여, 그래픽 객체를 표시할 수 있다. 상기 예측된 위치 정보는, 전자 장치(301)에 의해 획득될 수 있다. 상기 예측된 위치 정보는, 제2 외부 전자 장치(303)로부터 전자 장치(301)에게 송신된 위치의 변화에 대한 정보 또는 제1 외부 전자 장치(302)로부터 전자 장치(301)에게 송신된 이탈 시점에 제2 외부 전자 장치(303)의 위치에 대한 정보에 기반하여 획득될 수 있다. .
다양한 실시예들에서, 전자 장치(301)는 제1 외부 전자 장치(302)의 디스플레이(323)에 출력할 그래픽 객체를 생성할 수 있다. 그래픽 객체는 상기 VR(예: VR의 동작)과 관련된 멀티미티어 콘텐트 및/또는 상기 외부 전자 장치(303)에 상응하는 그래픽 객체를 포함할 수 있다. 예를 들어, 전자 장치(301)의 프로세서(313)은 제1 외부 전자 장치(302)로부터 획득한 제2 외부 전자 장치(303)의 위치에 대한 정보 및/또는 제 2 외부 전자 장치(303)로부터 획득한 제 2 외부 전자 장치(303)의 위치에 대한 정보를 수신하고, 상기 수신한 제 2 외부 전자 장치(303)의 위치 정보를 기반으로 그래픽 객체를 생성할 수 있다. 상기 그래픽 객체는 제 1 외부 전자 장치(302)에 전달되어, 디스플레이(323)에서 출력될 수 있다.
도 4a는 다양한 실시예들에 따른 전자 장치의 카메라 시계에서 외부 전자 장치가 이탈되는 상황의 예를 도시한다. 도 4a에 도시된 전자 장치(201)는 도 2에 도시된 전자 장치(201)에 상응할 수 있다. 도 4a에 도시된 외부 전자 장치(202-1, 202-2)는 도 2에 도시된 외부 전자 장치(202)에 상응할 수 있다.
도 4a를 참조하면, 전자 장치(201)는 사용자의 신체에 착용된 상태에 대응할 수 있다. 상기 전자 장치(201)는 하우징(미도시)의 일 면에 디스플레이(230)를 포함할 수 있다. 상기 디스플레이(230)는 상기 전자 장치(301)의 착용 상태에서 사용자의 눈(eye)을 향하도록 배치될 수 있다. 전자 장치(201)는 상기 하우징의 일 면에 반대(opposite)되는 면에 카메라(240)을 포함할 수 있다. 상기 카메라(240)은 상기 반대되면 면에 배치됨으로써 사용자의 시선에 상응하는 방향의 외부 환경에 대한 이미지를 획득할 수 있다.
다양한 실시예들에 따라, 외부 전자 장치(202)는 사용자의 손에 의해 파지된 상태에 대응할 수 있다. 외부 전자 장치(202)는 사용자의 왼손과 오른손에 각각 파지될 수 있도록, 2개의 장치들(202-1, 202-2)(예를 들어, 컨트롤러)을 포함할 수 있다.
다양한 실시예들에 따라, 전자 장치(201)에 포함되는 카메라(240)은 일정한 각도(401)(예: 카메라(240)의 시계)에 상응하는 시계에 대한 이미지를 획득할 수 있다. 예를 들어, 카메라(240)은 외부 전자 장치(202)가 상기 각도(401)내에 위치되는 경우(예를 들어, 사용자가 팔을 정면으로 뻗는 경우), 상기 외부 전자 장치(202)에 대한 이미지를 획득할 수 있다. 일 실시예에서, 상기 외부 전자 장치(202)에 대한 이미지는, 외부 전자 장치(202)의 외형 이미지 또는 하우징에 대한 이미지를 포함할 수 있다. 다른 실시예에 따라, 상기 외부 전자 장치(202)에 대한 이미지는, LED, 패턴 또는 마커(marker)를 포함할 수 있다. 예를 들어, 외부 전자 장치(202)는 프로세서(250)에 의해 용이하게 인식되기 위해, 상기 외부 전자 장치의 하우징과 별도로 LED를 추가적으로 포함할 수 있다. 프로세서(250)는 외부 전자 장치(202)의 하우징에 대한 이미지를 처리함으로써 외부 전자 장치(202)를 인식하는 대신, 임계 조도 값 이상의 밝기를 방출하는 LED를 인식함으로써 카메라(240)에 의해 획득된 이미지 내에서 외부 전자 장치(202)에 대한 이미지를 식별할 수 있다. 다른 예를 들어, 외부 전자 장치(202)는, 적어도 하나의 마커를 포함할 수 있다. 상기 적어도 하나의 마커는, 각각 구별 가능한(distinguishable) 패턴의 마커들을 포함할 수 있다. 프로세서(250)는, 카메라(240)에 의해 획득된 이미지에서 상기 적어도 하나의 마커를 식별하고, 상기 획득된 이미지 내에서 외부 전자 장치(202)를 식별할 수 있다. 다른 예를 들어, 카메라(240)은 외부 전자 장치(202)가 상기 각도(401)를 벗어나는 경우(예를 들어, 사용자가 팔을 양쪽으로 벌리는 경우), 외부 전자 장치(202)는 상기 카메라(240)의 시계에서 이탈되고, 상기 카메라(240)은 외부 전자 장치(202)에 대한 이미지를 획득할 수 없다.
도 4b는 다양한 실시예들에 따른 전자 장치의 카메라에 대응되는 시계와 사용자 시선에 대응되는 시계를 비교하기 위한 예를 도시한다. 도 4b를 참조하면, 디스플레이(230)를 통해 표시되는 영역의 크기와 카메라(240)을 통해 획득하는 이미지의 영역은 상이할 수 있다. 일 실시예에 따라, 카메라(240)의 시계는 사용자의 시계(예를 들어, 디스플레이(230)를 통해 표시되는 영역)보다 큰 영역을 포함할 수 있다. 예를 들어, 도 4b에 도시된 이미지 (a)를 참조하면, 실선으로 표시된 영역(410)은 디스플레이(230)를 통해 표시되는 영역에 상응할 수 있다. 점선으로 표시된 영역(412)은, 카메라(240)가 획득할 수 있는 영역의 크기를 나타낸다. 따라서, 프로세서(250)는 외부 전자 장치(202)가 사용자의 시계를 벗어나더라도, 카메라(240)의 시계 내부에 위치하는 경우, 외부 전자 장치(202)를 포함하는 이미지를 획득할 수 있다. 프로세서(250)는 외부 전자 장치(202)를 포함하는 이미지에 기반하여, 외부 전자 장치(202)의 위치에 대한 정보를 획득할 수 있다. 따라서, 프로세서(250)는 상기 획득한 위치에 대한 정보에 기반하여, 외부 전자 장치(202)에 상응하는 그래픽 객체(411)를 표시할 수 있다.
다른 실시예에 따라, 카메라(240)의 시계는 사용자의 시계와 동일할 수 있다. 예를 들어, 도 4b에 도시된 이미지 (b)를 참조하면, 점선으로 표시된 영역(410)의 크기는, 실선으로 표시된 영역(414)의 크기와 같거나 유사할 수 있다. 따라서, 프로세서(250)는 외부 전자 장치(202)가 사용자의 시계를 벗어나는 경우, 카메라(240)의 시계를 벗어나기 때문에, 외부 전자 장치(202)에 대한 이미지를 획득할 수 없다. 프로세서(250)는 외부 전자 장치(202)가 사용자의 시계 내부에 위치하는 경우, 카메라(240)의 시계 내부에 위치하기 때문에, 외부 전자 장치(202)에 대한 이미지를 획득할 수 있다. 따라서, 프로세서(250)는 상기 이미지에 기반하여 외부 전자 장치(202)의 위치에 대한 정보를 획득하고, 외부 전자 장치(202)에 상응하는 그래픽 객체(411)를 표시할 수 있다.
또 다른 실시예에 따라, 카메라(240)의 시계는 사용자의 시계보다 작은 영역을 포함할 수 있다. 예를 들어, 도 4b에 도시된 이미지 (c)를 참조하면, 점선으로 표시된 영역(416)의 크기는 실선으로 표시된 영역(410)보다 작을 수 있다. 따라서, 프로세서(250)는 외부 전자 장치(202)가 사용자의 시계 내부에 위치함에도 불구하고, 카메라(240)의 시계의 외부에 위치하는 경우, 외부 전자 장치(202)를 포함하는 이미지를 획득할 수 없다. 프로세서(250)는 외부 전자 장치(202)에게 외부 전자 장치(202)의 위치의 변화에 대한 정보를 송신할 것을 요청할 수 있다. 프로세서(250)는 상기 위치의 변화에 대한 정보에 기반하여 외부 전자 장치(202)의 위치를 획득하고, 상기 획득된 위치 상에 외부 전자 장치(202)에 상응하는 그래픽 객체(411)를 표시할 수 있다.
도 5a는 다양한 실시예들에 따른 전자 장치의 동작을 도시한다. 이러한 동작은, 도 2에 도시된 전자 장치(201) 또는 전자 장치(201)에 포함된 프로세서(250)에 의해 수행될 수 있다.
도 5a를 참조하면, 동작 501에서, 프로세서(250)는, 카메라를 이용하여 지정된 시계(field of view)에 포함된 하나 이상의 외부 객체들 중 외부 전자 장치를 확인할 수 있다. 프로세서(250)는, 상기 카메라를 통해 상기 전자 장치(201)의 주변 환경에 대한 이미지를 획득할 수 있다. 상기 이미지는 전자 장치(201)의 주변에 위치하는 다수의 객체들을 포함할 수 있다. 프로세서(250)는, 상기 다수의 객체들 중 외부 전자 장치(202)를 식별할 수 있다. 예를 들어, 상기 외부 전자 장치(202)는 발광부를 더 포함할 수 있다. 프로세서(250)는, 상기 카메라를 통해 획득된 이미지 내에서 미리 정해진 조도(lux)를 초과하는 광원을 식별함으로써, 상기 외부 전자 장치(202)를 식별할 수 있다.
일 실시예에 따라, 외부 전자 장치(202)는 주변 밝기에 기반하여, LED의 밝기를 조절할 수 있다. 외부 전자 장치(202)는 조도 센서(미도시)를 더 포함할 수 있으며, 상기 조도 센서(미도시)를 이용하여, 외부 전자 장치(202)의 주변 밝기의 조도(lux)에 대한 값을 획득할 수 있다. 외부 전자 장치(202)는 상기 주변 밝기의 조도에 대한 값에 기반하여, 광원의 밝기를 조절할 수 있다. 예를 들어, 외부 전자 장치(202)는 상기 주변 밝기의 조도에 대한 값이 제1 구간에 포함되는 것을 식별함에 응답하여, 상기 제1 구간에 상응하는 제1 밝기의 빛을 출력할 수 있다. 다른 예를 들어, 상기 주변 밝기의 조도에 대한 값이 제2 구간에 포함되는 것을 식별함에 응답하여, 상기 제2 구간에 상응하는 제2 밝기의 빛을 출력할 수 있다. 상기 제1 밝기는, 상기 제1 구간의 주변 밝기로부터 별도로 식별되기 위해 요구되는 조도 값에 대응될 수 있다. 상기 제2 밝기는, 상기 제2 구간의 주변 밝기로부터 별도로 식별되기 위해 요구되는 조도 값에 대응될 수 있다.
동작 503에서, 프로세서(250)는, 상기 외부 전자 장치(202)의 제1 위치 정보에 기반하여, 상기 외부 전자 장치에 대응하는 그래픽 객체를 상기 디스플레이를 통해 표시할 수 있다. 프로세서(250)는, 상기 식별된 외부 전자 장치(202)의 위치 상에 상기 그래픽 객체를 표시할 수 있다. 상기 그래픽 객체는, 멀티미디어 콘텐트에 기반하여 결정될 수 있다. 예를 들어, 상기 그래픽 객체는 칼, 테니스 라켓, 또는 자동차 휠(wheel) 등, 다양한 형상의 이미지들을 포함할 수 있다.
동작 505에서, 프로세서(250)는, 상기 외부 전자 장치(202)가 지정된 시계를 벗어나는 경우, 지정된 시계를 벗어나기 이전에 상기 카메라를 통해 확인된 제2 위치 정보 및/또는 상기 지정된 시계를 벗어난 이후에 상기 통신 회로를 통해 상기 외부 전자 장치로부터 수신된 상기 외부 전자 장치의 움직임과 관련된 정보에 기반하여, 상기 그래픽 객체를 상기 디스플레이를 통해 표시할 수 있다. 일 실시예에 따라, 프로세서(250)는 외부 전자 장치(202)가 상기 지정된 시계를 벗어나는 시점의 제2 위치 정보를 저장할 수 있다. 상기 제2 위치 정보는, 디스플레이(210)를 통해 표시되는 이미지의 경계 면들 중 어느 하나의 지점(point)에 위치할 수 있다. 일 실시예에 따라, 프로세서(250)는 상기 지정된 시계를 벗어난 시점부터 외부 전자 장치(202)로부터 상기 외부 전자 장치(202)의 움직임과 관련된 정보를 수신할 수 있다. 상기 움직임과 관련된 정보는, 자이로 센서에 의해 획득된 데이터 및/또는 가속도 센서에 의해 획득된 데이터를 포함할 수 있다. 프로세서(250)는 상기 움직임과 관련된 정보에 기반하여, 외부 전자 장치의 움직임에 대한 벡터 값을 생성할 수 있다. 상기 벡터 값은 외부 전자 장치(202)가 이탈된 영역을 시점(starting point)으로 하고, 상기 움직임과 관련된 정보에 따라, 상기 벡터의 크기 및/또는 방향을 결정함으로 획득될 수 있다.
도 5b는 다양한 실시예들에 따른 전자 장치의 동작을 도시한다. 이러한 동작은, 도 2에 도시된 전자 장치(201) 또는 전자 장치(201)에 포함된 프로세서(250)에 의해 수행될 수 있다.
동작 511에서, 프로세서(250)는, 전자 장치(201)와 연동된 외부 전자 장치(202)의 위치에 대한 정보를 획득할 수 있다. 상기 외부 전자 장치(202)의 위치에 대한 정보는, 카메라(240)에 의해 획득되는 이미지 내에서 상기 외부 전자 장치(202)가 식별되는 좌표 값에 대한 정보를 지칭할 수 있다. 일 실시예에서, 프로세서(250)는 카메라(240)를 통해(via) 이미지를 획득할 수 있다. 프로세서(250)는, 상기 이미지에 기반하여, x 좌표 값 및/또는 y 좌표 값을 획득할 수 있다. 예를 들어, 프로세서(250)는, 상기 이미지를 분석함으로써, 상기 이미지 내에서 외부 전자 장치(202)가 위치된 영역에 대응하는 좌표 값을 식별할 수 있다. 다른 실시예에서, 프로세서(250)는 상기 이미지에 대한 이미지 분석에 기반하여, 깊이(depth) 정보를 획득할 수 있다. 프로세서(250)는, 상기 획득된 깊이 정보 및/또는 상기 획득된 x 좌표 값, y 좌표 값에 기반하여 z 좌표 값을 획득할 수 있다.
동작 513에서, 프로세서(250)는, 외부 전자 장치(202)의 기울어짐에 대한 정보를 수신할 수 있다. 상기 기울어짐에 대한 정보는, 상기 외부 전자 장치(202)에 포함된 제1 센서(292)에 의해 획득되는 센서 데이터를 포함할 수 있다. 예를 들어, 상기 기울어짐에 대한 정보는, 피치(pitch), 롤(roll) 또는 요(yaw) 중 적어도 하나의 변화량에 대한 정보를 포함할 수 있다. 일 실시예에 따라, 상기 기울어짐에 대한 정보는, 상기 외부 전자 장치(202)의 온 상태(on status) 또는 활성화(activation) 상태에 응답하여, 상기 외부 전자 장치(202)로부터 상기 전자 장치(201)에게 자동적으로(automatically) 송신되도록 설정될 수 있다. 다른 실시예에 따라, 상기 기울어짐에 대한 정보는, 상기 전자 장치(201)의 요청에 응답하여, 상기 전자 장치(201)에게 송신되도록 설정될 수 있다.
동작 515에서, 프로세서(250)는, 외부 전자 장치(202)를 보여주기 위한 그래픽 객체를 멀티미디어 콘텐트와 함께 제공할 수 있다. 프로세서(250)는, 상기 획득된 외부 전자 장치(202)의 기울어짐에 대한 정보 및/또는 카메라(240)에 의해 획득되는 외부 전자 장치(202)의 위치에 대한 정보를 이용함으로써, 상기 그래픽 객체를 표시할 수 있다. 예를 들어, 프로세서(250)는, 상기 카메라(240)로부터 x,y,z에 대한 좌표 값을 획득하고, 상기 외부 전자 장치(202)로부터 기울어짐에 대한 정보를 수신함으로써 3차원 공간에서 상기 외부 전자 장치(202)의 형상을 결정할 수 있다. 프로세서(250)는, 상기 결정된 외부 전자 장치(202)의 형상에 대응하도록 그래픽 객체를 표시할 수 있다. 예를 들어, 상기 그래픽 객체는, 외부 전자 장치(202)와 동일한 좌표 상에 동일한 기울어짐을 가지도록 표시될 수 있다. 다양한 실시예들에 따라, 상기 그래픽 객체는 멀티미디어 콘텐트에 기반하여 결정될 수 있다. 예를 들어, 상기 멀티미디어 콘텐트가 테니스와 관련된 콘텐트인 경우, 상기 그래픽 객체는 테니스 라켓의 형상을 포함할 수 있다. 다른 예Y 들어, 상기 멀티미디어 콘텐트가 전투 게임과 관련된 콘텐트인 경우, 상기 그래픽 객체는 칼(sword) 또는 검의 형상을 포함할 수 있다.
동작 517에서, 프로세서(250)는, 외부 전자 장치(202)가 카메라의 시계에서 이탈됨을 식별할 수 있다. 프로세서(250)는, 상기 카메라(240)에 의해 획득되는 이미지에 기반하여 상기 외부 전자 장치(202)가 존재하지 않음을 결정할 수 있다. 예를 들어, 프로세서(250)는, 상기 카메라(240)에 의해 획득되는 이미지가 상기 외부 전자 장치(202)의 발광부(미도시)로부터 발산되는 빛에 대한 이미지를 포함하지 않는 경우, 상기 외부 전자 장치(202)의 이탈을 식별할 수 있다. 다른 예를 들어, 프로세서(250)는 상기 획득된 이미지 내에서 미리 결정된 조도보다 밝은 영역이 검출되지 않는 경우, 외부 전자 장치(202)가 이탈되었음을 결정할 수 있다. 일 실시예에 따라, 프로세서(250)는 상기 이탈 시점에 대한 외부 전자 장치(202)의 위치에 대한 정보를 저장할 수 있다. 예를 들어, 프로세서(250)는 상기 이탈을 감지함에 응답하여, 외부 전자 장치(202)가 이탈하는 위치에 대한 정보를 저장할 수 있다.
동작 519에서, 프로세서(250)는, 외부 전자 장치(202)의 위치의 변화에 대한 정보를 송신할 것을 요청할 수 있다. 프로세서(250)는, 외부 전자 장치(202)가 상기 카메라(240)의 시계에서 이탈되는 경우, 상기 외부 전자 장치(202)의 위치에 대한 정보를 획득할 수 없다. 프로세서(250)는, 외부 전자 장치(202)에게 상기 외부 전자 장치(202)의 위치의 변화에 대한 정보를 송신할 것을 요청하는 신호를 전송할 수 있다. 다양한 실시예들에 따라, 상기 요청 신호는, 상기 외부 전자 장치(202)의 제2 센서(294)를 활성화할 것을 지시하는 제어 신호를 포함할 수 있다. 예를 들어, 외부 전자 장치(202)는 외부 전자 장치(202)가 상기 카메라(240)의 시계에 포함되는 경우, 제1 센서(292)만을 활성화하고, 상기 제1 센서(292)로부터 획득된 기울어짐에 대한 정보를 전자 장치(201)에게 송신할 수 있다. 다른 예를 들어, 외부 전자 장치(202)는, 외부 전자 장치(202)가 상기 카메라(240)의 시계에서 이탈되는 경우, 전자 장치(201)로부터 상기 제어 신호를 수신하고, 제2 센서(294)를 활성화할 수 있다. 외부 전자 장치(202)는 제1 센서(292)에 의해 획득된 상기 기울어짐에 대한 정보 및/또는 제2 센서(294)에 의해 획득된 상기 외부 전자 장치(202)의 속도 변화에 대한 정보를 전자 장치(201)에게 송신할 수 있다. 또 다른 예를 들어, 제2 센서(294)는, 전자 장치(201)로부터 제2 센서(294)의 활성화를 지시하는 제어 신호의 수신과 관계없이 전자 장치(201)에게 상기 속도 변화에 대한 정보를 송신할 수 있다. 외부 전자 장치(202)의 프로세서(295)는 외부 전자 장치(202)의 구동과 관련된 정보(예: 파워-온(power-on))를 확인(예: 검출)하고, 상기 확인에 응답하여, 제2 센서(294)를 활성화할 수 있다. 또한, 프로세서(295)는, 그립 센서(미도시)를 더 포함할 수 있고, 상기 그립 센서(미도시)는 외부 전자 장치(202)가 사용자에 의해 파지됨을 검출할 수 있다. 프로세서(295)는 상기 그립 센서(미도시)로부터 센서 값을 수신하고, 상기 수신에 응답하여 제2 센서(294)를 활성화할 수 있다. 제2 센서(294)가 외부 전자 장치(202)의 파워-온 또는 그립 센서(미도시)로부터 센서 값의 수신에 응답하여 활성화되는 경우, 제1 센서(292)에 의한 획득되는 외부 전자 장치(202)의 상기 기울어짐에 대한 정보 및/또는 제2 센서(294)에 의해 획득되는 외부 전자 장치(202)의 상기 속도 변화에 대한 정보는 전자 장치(201)에게 함께 송신될 수 있다. 다양한 실시예들에 따라, 프로세서(250)는, 외부 전자 장치(202)의 위치의 변화에 대한 벡터 값을 획득할 수 있다. 프로세서(250)는, 외부 전자 장치(202)로부터 상기 위치의 변화에 대한 정보를 수신하고, 상기 수신한 정보는 제1 센서(292)에 의해 획득된 데이터 및/또는 제2 센서(294)에 의해 획득된 데이터를 포함할 수 있다. 프로세서(250)는, 상기 제1 센서(292)에 의해 획득된 외부 전자 장치(202)의 기울어짐에 대한 데이터 및/또는 상기 제2 센서(294)에 의해 획득된 외부 전자 장치(202)의 속도 변화에 대한 데이터에 기반하여, 벡터 값을 획득할 수 있다. 상기 벡터 값은 외부 전자 장치(202)가 카메라(290)의 시계에서 이탈 시점에 대응하는 위치 정보로부터 어느 방향으로 얼마나 이동하였는지를 지시하는 정보를 포함할 수 있다.
다양한 실시예들에서, 프로세서(250)는, 전자 장치(201)의 위치의 변화에 대한 정보에 기반하여 상기 외부 전자 장치(202)의 위치의 변화에 대한 정보를 결정할 수 있다. 예를 들어, 전자 장치(201)는, 센서 모듈(미도시)을 포함할 수 있다. 상기 센서 모듈(미도시)는 가속도 센서 및/또는 자이로 센서를 포함할 수 있다. 상기 자이로 센서는, 전자 장치(201)의 기울어짐에 대한 정보를 획득할 수 있고, 상기 가속도 센서는, 전자 장치(201)의 속도 변화에 대한 정보를 획득할 수 있다. 전자 장치(201)는 제1 센서(292) 또는 제2 센서(294)로부터 외부 전자 장치(202)의 기울어짐에 대한 정보 또는 속도 변화에 대한 정보를 외부 전자 장치(202)로부터 미리 정해진 시간 동안 수신하지 못하거나, 널(null)을 지시하는 정보를 수신한 경우, 전자 장치(201)의 위치의 변화에 대한 정보를 획득할 수 있다. 프로세서(250)는, 외부 전자 장치(202)로부터 널을 지시하는 정보를 수신하거나, 상기 미리 정해진 시간 동안 상기 정보를 수신하지 못한 경우, 외부 전자 장치(202)는 움직이지 않고, 전자 장치(201)의 움직임에 의해 카메라(240)의 시계에서 이탈되었음을 결정할 수 있다. 따라서, 전자 장치(201)는 전자 장치(201)의 위치의 변화에 대한 정보를 획득하고, 이에 기반하여 외부 전자 장치(202)의 위치의 변화에 대한 정보를 생성할 수 있다. 예를 들어, 전자 장치(201)는 전자 장치(201)가 우상향으로 카메라(240)의 시계가 이동된 경우, 외부 전자 장치(202)가 반대방향(예를 들어, 좌측 아래 방향)으로 이동하였음을 결정할 수 있다. 사용자의 시계(예를 들어, 디스플레이(230))를 기준으로, 외부 전자 장치(202)의 위치의 변화는 전자 장치(201)의 이동방향과 반대방향으로 나타날 수 있기 때문이다.
동작 521에서, 프로세서(250)는, 상기 그래픽 객체의 표시를 변경할 수 있다. 프로세서(250)는, 상기 수신된 외부 전자 장치(202)의 위치의 변화에 대한 정보에 기반하여, 외부 전자 장치(202)가 이동할 것으로 예측되는 위치를 결정할 수 있다. 프로세서(250)는, 상기 예측되는 위치에 대응하도록 그래픽 객체의 표시를 변경할 수 있다. 일 실시예에 따라, 프로세서(250)는, 그래픽 객체의 일부를 표시하고, 나머지 일부를 표시하지 않도록 상기 그래픽 객체의 표시를 변경할 수 있다. 예를 들어, 도 7의 이미지(720)를 참조하면, 칼의 형상을 포함하는 그래픽 객체는, 일부만 표시될 수 있다. 다른 실시예에 따라, 프로세서(250)는, 그래픽 객체를 표시하지 않을 수 있다. 예를 들어, 도 7의 이미지(740)를 참조하면, 프로세서(250)는 칼의 형상을 포함하는 상기 그래픽 객체는 표시되지 않고, 멀티미디어 콘텐트와 관련된 이미지만 표시할 수 있다. 프로세서(250)는, 상기 기울어짐에 대한 정보 및/또는 상기 속도 변화에 대한 정보에 기반하여 예측된 외부 전자 장치(202)의 위치가 미리 정의된 거리를 벗어나는 경우, 상기 그래픽 객체의 표시를 중지할 수 있다. 예를 들어, 프로세서(250)는, 상기 그래픽 객체가 길이가 긴 형상을 포함하는 경우, 미리 정의된 거리의 크기를 크게 설정할 수 있다. 다른 예를 들어, 프로세서(250)는, 상기 그래픽 객체가 길이가 짧은 형상을 포함하는 경우, 미리 정의된 거리의 크기를 작게 설정할 수 있다.
도 6은, 다양한 실시예들에 따른 외부 전자 장치 및 외부 전자 장치에 상응하도록 표시되는 그래픽 객체의 예를 도시한다.
도 6의 (a) 및 (b)를 참조하면, 프로세서(250)는, 카메라(240)을 이용하여 카메라 이미지(610)를 획득할 수 있다. 예를 들어, 카메라 이미지(610)는 외부 전자 장치(202) 및 외부 전자 장치(202)를 파지하기 위한 사용자의 손(hand) 및 상기 사용자가 위치하는 외부 환경에 대한 이미지를 포함할 수 있다.
다양한 실시예들에서, 프로세서(250)는 디스플레이(230)를 통해 디스플레이 이미지(620)를 표시할 수 있다. 예를 들어, 디스플레이 이미지(620)는 멀티미디어 콘텐트 및/또는 외부 전자 장치(202)에 상응하는 그래픽 객체(602)를 포함할 수 있다. 예를 들어, 상기 그래픽 객체(602)는 칼(sword) 또는 검의 형상에 대응하는 이미지를 포함할 수 있다.
다양한 실시예들에 따라, 프로세서(250)는 상기 그래픽 객체(602)와 멀티미디어 콘텐트를 중첩(superimposed)하여 표시할 수 있다. 프로세서(250)는 멀티미디어 콘텐트와 관련되는 배경(background) 이미지를 랜더링(rendering) 또는 표시할 수 있다. 예를 들어, 상기 콘텐트가 테니스와 관련된 경우, 상기 배경 이미지는 테니스 코트 또는 테니스 경기장과 관련된 이미지에 대응될 수 있다. 예를 들어, 프로세서(250)는, 테니스 코트 또는 테니스 경기장과 관련된 배경 이미지 중 외부 전자 장치(202)에 대응하는 위치 상에 테니스 라켓(racket)을 표시함으로써, 상기 배경 이미지 및/또는 상기 그래픽 객체를 중첩하여 표시할 수 있다. 전자 장치(201)는, 디스플레이(230)를 통해 멀티미디어 콘텐트 및/또는 상기 멀티미디어 콘텐트에 그래픽 객체(602)를 중첩되도록 표시함으로써, VR과 관련된 몰입형 서비스를 제공할 수 있다.
도 7은, 다양한 실시예들에 따른 시간의 흐름에 따른 디스플레이 표시의 변화를 도시한다. 이하, 디스플레이(230)를 통해 표시되는 이미지들(710 내지 760)은, 사용자의 시계에 상응하는 이미지들을 포함할 수 있다. 다양한 실시예들에서, 카메라(240)의 시계는 디스플레이를 통해 표시되는 이미지들(710 내지 760)의 표시 영역의 시계와 동일할 수 있다. 다만, 카메라(240)의 시계는 이에 한정되는 것은 아니며, 도 4b에 도시된 바와 같이, 사용자의 시계보다 작거나, 클 수 있다.
도 7의 (a) 내지 (f)를 참조하면, 다양한 실시예에 따라, 프로세서(250)는 이미지(710)를 표시할 수 있다. 외부 전자 장치(202)가 카메라(240)의 시계 내부에 위치하는 경우, 프로세서(250)는, 카메라(240)에 의해 획득된 이미지에 기반하여, 외부 전자 장치(202)의 위치에 대한 정보를 획득할 수 있다. 프로세서(250)는 외부 전자 장치(202)로부터 수신된 외부 전자 장치(202)의 기울어짐에 대한 정보 및/또는 상기 위치에 대한 정보에 기반하여, 이미지(710)를 표시할 수 있다. 프로세서(250)는 카메라(240)의 시계 내부에 위치하는 전자 장치(201)의 위치를 식별하고, 상기 식별된 위치에 상기 기울어짐 정보에 기반하여, 3차원적으로 그래픽 객체(예를 들어, 검(sword) 또는 칼)를 표시할 수 있다. 예를 들어, 이미지(710)를 참조하면, 그래픽 객체는 칼의 형상을 포함하는 이미지로 표시될 수 있다. 상기 칼의 형상을 포함하는 이미지는, 카메라(240)을 통해 식별된 전자 장치의 위치에 대한 정보와 외부 전자 장치(202)로부터 수신한 기울어짐에 대한 정보에 기반하여 표시될 수 있고, 이미지(710)에 도시된 바와 같이 3차원 공간상에서 외부 전자 장치(202)와 동일하게 기울어지도록 표시될 수 있다. 일 실시예에 따라, 프로세서(250)는, 카메라(240)에 의해 획득된 이미지 내에서 외부 전자 장치(202)를 식별하고, 상기 식별된 외부 전자 장치(202)에 대응되는 위치 상으로 칼의 손잡이 부분을 표시할 수 있다. 프로세서(250)는, 외부 전자 장치(202)로부터 외부 전자 장치(202)의 기울어짐에 대한 정보를 수신하고, 상기 수신된 기울어짐에 대한 정보에 기반하여, 칼의 손잡이의 기울어짐과 칼의 날의 기울어짐을 표시할 수 있다. 예를 들어, 프로세서(250)는, 카메라(240)에 의해 획득된 이미지 내에서 LED에 의해 밝게 표시되는 영역을 식별하고, 외부 전자 장치(202)의 기울어짐에 대한 정보에 기반하여, 왼쪽으로 45도 기울어진 칼의 손잡이 부분 및 칼의 날 부분을 표시할 수 있다. 칼의 손잡이 부분은 상기 식별된 영역 상에 표시될 수 있다.
다양한 실시예에 따라, 프로세서(250)는 이미지(720)를 표시할 수 있다. 전자 장치(201)는 외부 전자 장치(202)가 카메라(240)의 시계에서 이탈되는 경우, 상기 이탈되는 시점의 위치 정보를 저장할 수 있다. 예를 들어, 프로세서(250)는, 카메라(240)에 의해 획득된 이미지 내에서 임계 조도 값 이상의 밝기를 검출하는데 실패한 경우, 상기 이탈을 감지할 수 있다. 다른 예를 들어, 프로세서(250)는, 카메라(240)에 의해 획득된 이미지의 이미지 처리에 기반하여, 상기 획득된 이미지 내에 외부 전자 장치(202)의 외형 이미지 또는 외부 전자 장치(202)에 부착된 마커에 대한 이미지를 식별할 수 있다. 프로세서(250)는, 상기 외형 이미지 또는 마커에 대한 이미지를 검출하는데 실패한 경우, 외부 전자 장치(202)가 카메라(240)의 시계에서 이탈되었음을 결정할 수 있다. 프로세서(250)는 상기 이탈을 감지하는 것에 응답하여, 외부 전자 장치(202)에게 외부 전자 장치(202)의 위치의 변화에 대한 정보를 송신할 것을 요청할 수 있다. 예를 들어, 이미지(720)를 참조하면, 사용자의 손은 카메라의 시계에서 이탈될 수 있다. 일 실시예에 따라, 프로세서(250)는 상기 그래픽 객체의 일부를 표시할 수 있다. 예를 들어, 프로세서(250)는 상기 이탈 시점 이후에, 외부 전자 장치(202)가 미리 정의된 거리만큼 멀어지지 않는 경우, 그래픽 객체의 일부만을 표시할 수 있다. 이미지(720)를 참조하면, 외부 전자 장치(202)는 카메라(240)의 시계에서 이탈된 이후, 칼의 길이를 초과하는 거리를 이동하지 않을 수 있다. 따라서, 프로세서(250)는 외부 전자 장치(202)에 대응하는 칼의 손잡이 부분은 표시하지 않을 수 있고 칼의 날 부분에 대응하는 그래픽 객체의 일부를 표시할 수 있다.
다양한 실시예에 따라 프로세서(250)는 이미지(730)를 표시할 수 있다. 프로세서(250)는 외부 전자 장치(202)로부터 위치의 변화에 대한 정보를 수신할 수 있다. 프로세서(250)는 수신된 외부 전자 장치(202)의 속도 변화에 대한 정보 및/또는 기울어짐에 대한 정보에 기반하여, 외부 전자 장치(202)가 일정 거리만큼 오른쪽 상단 방향으로 움직였음을 예측할 수 있다. 프로세서(250)는 상기 기울어짐 정보를 반영하여, 이미지(730)에 도시된 바와 같이, 그래픽 객체의 기울어진 각도의 표시를 변경할 수 있다. 프로세서(250)는, 외부 전자 장치(202)에 대응하는 칼의 손잡이 부분은 표시하지 않고, 칼의 날 부분에 대응하는 그래픽 객체를 표시한 상태에서, 외부 전자 장치(202)의 기울어짐에 대한 정보를 수신할 수 있다. 예를 들어, 프로세서(250)는, 외부 전자 장치(202)가 카메라(240)의 시계에서 벗어난 이후, 왼쪽으로 더 기울어졌음을 지시하는 상기 기울어짐에 대한 정보를 수신할 수 있다. 프로세서(250)는, 카메라(240)에 의해 획득되는 이미지에 외부 전자 장치(202)가 포함되지는 않지만, 상기 기울어짐에 대한 정보에 기반하여, 표시되는 칼의 날 부분의 각도를 변경할 수 있다. 프로세서(250)는, 상기 수신한 기울어짐에 대한 정보에 기반하여, 칼의 날에 대응하는 그래픽 객체를 왼쪽으로 기울어지도록 표시할 수 있다.
다양한 실시예에 따라, 프로세서(250)는 이미지(740)를 표시할 수 있다. 프로세서(250)는 외부 전자 장치(202)의 위치의 변화에 대한 정보를 수신하고, 디스플레이(230)상에 외부 전자 장치(202)와 상응하는 그래픽 객체를 표시하지 않을 수 있다. 예를 들어, 프로세서(250)는 외부 전자 장치(202)의 속도 변화에 대한 데이터 및/또는 기울어짐에 대한 데이터에 기반하여, 외부 전자 장치(202)가 이동했을 것으로 예측되는 위치를 획득할 수 있다. 프로세서(250)는 상기 예측된 위치가 미리 결정된 거리보다 멀리 위치한 경우, 상기 칼의 형상을 포함하는 그래픽 객체를 표시하지 않을 수 있다. 상기 미리 결정된 거리는, 예를 들어, 상기 칼의 형상을 포함하는 그래픽 객체의 길이와 동일한 거리일 수 있다.
다양한 실시예에 따라, 프로세서(250)는 이미지(750) 및/또는 이미지(760)를 표시할 수 있다. 프로세서(250)는 카메라(240)의 시계 내부로 외부 전자 장치(202)가 이동하였음을 검출할 수 있다. 따라서, 프로세서(250)는 카메라(240)을 통해 상기 외부 전자 장치(202)의 위치에 대한 정보를 획득하고, 상기 그래픽 객체를 표시할 수 있다. 일 실시예에 따라, 프로세서(250)는 외부 전자 장치(202)가 카메라(240)의 시계 내부로 진입하는 시점에 상응하는 이미지(750)를 표시할 수 있다. 프로세서(250)는 외부 전자 장치(202)의 기울어짐에 대한 정보에 기반하여, 상기 재진입 시점의 그래픽 객체를 표시할 수 있다. 예를 들어, 프로세서(250)는 진입 시점에 획득된 이미지에 기반하여 외부 전자 장치(202)의 진입 위치를 식별할 수 있다. 프로세서(250)는 수신된 위치의 변화에 대한 정보들 중 외부 전자 장치(202)의 기울어짐에 대한 정보에 기반하여 진입 위치상에 표시될 그래픽 객체의 기울어진 정도를 결정할 수 있다. 프로세서(250)는 상기 결정된 기울어진 정도 및/또는 상기 진입 위치에 기반하여, 상기 그래픽 객체를 표시할 수 있다.
도 8은, 다양한 실시예들에 따른 외부 전자 장치의 위치의 변화에 대한 정보에 기반한 보정의 효과를 비교하기 위한 예를 도시한다.
이하, 디스플레이(230)를 통해 표시되는 이미지들(810 및 820)은, 사용자의 시계에 상응하는 이미지들을 포함할 수 있다. 다양한 실시예들에서, 카메라(240)의 시계는 디스플레이(230)를 통해 표시되는 이미지들(810 및 820)의 표시 영역의 시계와 동일할 수 있다. 다만, 카메라(240)의 시계는 이에 한정되는 것은 아니며, 도 4b에 도시된 바와 같이, 사용자의 시계보다 작거나, 클 수 있다.
도 8의 (a) 이미지를 참조하면, 이미지(810)는 상기 위치의 변화에 대한 정보를 이용하여 그래픽 객체의 표시를 보정하지 않은 이미지에 대응될 수 있다. 예를 들어, 프로세서(250)는 외부 전자 장치(202)의 이탈 시점에 상응하는 정보를 저장할 수 있다. 프로세서(250)는 이탈 시점에 대한 외부 전자 장치의 위치(이하, 제1 위치 정보)(815) 및/또는 기울기(제1 센서 정보)를 저장할 수 있다. 이후, 외부 전자 장치(202)가 카메라(240)의 시계 내부로 이동하는 경우, 프로세서(250)는 외부 전자 장치(202)를 검출할 수 있다. 프로세서(250)는 외부 전자 장치(202)의 진입 시점에 대한 그래픽 객체(813)를 표시할 수 있다. 예를 들어, 프로세서(250)는 상기 이탈 시점 이후에 외부 전자 장치(202)로부터 기울어짐에 대한 정보를 수신하지 않을 수 있다. 프로세서(250)는 외부 전자 장치(202)의 상기 진입 시점에 대한 외부 전자 장치(202)의 위치(이하, 제2 위치 정보)(817)에 따라 그래픽 객체(813)를 표시할 수 있다. 프로세서(250)는 상기 진입 시점에 외부 전자 장치(202)의 기울어짐에 대한 정보를 아직 수신하지 않았으므로, 제1 센서 정보 및/또는 제2 위치 정보에 기반하여 상기 그래픽 객체(813)를 표시할 수 있다. 따라서, 실제 외부 전자 장치(102)는 오른쪽 상단을 향하도록 기울어져 있는 반면에, 프로세서(250)는 외부 전자 장치(202)의 상기 이탈 시점에 대응하는 기울기에 따라 상기 그래픽 객체(813)를 표시할 수 있다.
도 8의 (b) 이미지를 참조하면, 이미지(820)는 상기 위치의 변화에 대한 정보를 이용하여 그래픽 객체의 표시를 보정한 이미지에 대응될 수 있다. 예를 들어, 프로세서(250)는 상기 이탈 시점부터 상기 진입 시점까지의 시간범위 동안 외부 전자 장치(202)로부터 외부 전자 장치(202)의 위치의 변화에 대한 정보를 수신할 수 있다. 프로세서(250)는 상기 수신된 위치의 변화에 대한 정보에 기반하여, 상기 진입 시점에 대응하는 외부 전자 장치(202)의 기울어짐에 대한 정보를 식별할 수 있다. 따라서, 프로세서(250)는 외부 전자 장치(202)의 진입 시점에 대응하는 제2 위치 정보(817) 및/또는 진입 시점에 대응하는 외부 전자 장치(202)의 기울어짐에 대한 정보에 기반하여, 상기 그래픽 객체를 표시할 수 있다. 예를 들어, 도 8의 (a) 및 (b)를 참조하면, 외부 전자 장치(202)의 상기 이탈 시점에 상응하는 그래픽 객체(811)는, 이탈 시점에 왼쪽 상단을 향하여 기울어져 있을 수 있다. 이후, 도 8의 (b)를 참조하면, 외부 전자 장치(202)의 진입 시점에 표시되는 상기 그래픽 객체(821)는, 왼쪽 상단을 향하지 않고, 외부 전자 장치(202)의 기울어짐과 정합하도록 오른쪽 상단으로 기울어진 채로 표시될 수 있다. 상술한 실시예들에서, 프로세서(250)는 외부 전자 장치(202)가 카메라(240)의 시계에서 벗어난 이후, 다시 진입하는 시점까지의 시간 동안 외부 전자 장치(202)로부터 위치의 변화에 대한 정보를 수신함으로써, 상기 진입 시점에 그래픽 객체를 자연스럽게 표시할 수 있다.
도 9a는 다양한 실시예들에 따른 전자 장치의 동작의 예를 도시한다. 이러한 동작은, 도 2에 도시된 전자 장치(201)에 의해 수행될 수 있다.
동작 901에서, 프로세서(250)는, 카메라(240)를 이용하여 외부 전자 장치(202)를 확인할 수 있다. 일 실시예에 따라, 프로세서(250)는, 카메라(240)를 통해 외부 환경에 대한 이미지를 획득할 수 있다. 상기 외부 환경에 대한 이미지는 다수의 외부 객체들을 포함할 수 있다. 프로세서(250)는, 상기 다수의 외부 객체들 중 외부 전자 장치(202)를 식별할 수 있다. 예를 들어, 외부 전자 장치(202)는 하우징의 외부에 빛을 발생하기 위한 발광부를 더 포함할 수 있다. 프로세서(250)는, 카메라를 통해 획득한 이미지 내에서 미리 결정된 조도보다 밝은 영역을 식별함으로써 상기 외부 전자 장치(202)를 식별할 수 있다.
동작 903에서, 프로세서(250)는, 외부 전자 장치(202)가 카메라의 시계에서 벗어난 경우, 외부 전자 장치(202)가 저전력 모드로 진입하기 이전의 지정된 시간범위 동안 획득된 하나 이상의 위치 정보들을 외부 전자 장치(202)로부터 수신할 수 있다. 일 실시예에 따라, 상기 저전력 모드는, 외부 전자 장치(202)의 전력 소모를 감소시키기 위한 모드에 대응될 수 있다. 외부 전자 장치(202)는 상기 저전력 모드에 진입할 것을 결정하고, 다수의 구성요소들에게 제공되는 전력의 양을 제어할 수 있다. 예를 들어, 외부 전자 장치(202)는 전력 소모를 감소시키기 위해, 센서 모듈(290)의 동작 주기를 길게 변경할 수 있고, 센서 모듈(290)의 동작 횟수는 감소할 수 있다. 다양한 실시예들에 따라, 상기 저전력 모드는, 슬립(sleep) 모드, 휴면 모드, 비활성화 상태, 인액티브(inactive) 상태, 디액티베이션(deactivation) 상태 등을 포함하는 다양한 용어들로 지칭될 수 있다. 일 실시예에 따라, 외부 전자 장치(202)는 상기 지정된 시간범위 동안 센서 모듈(290)에 의한 데이터 획득 동작을 수행하지 않는 저전력 모드를 수행할 수 있다. 외부 전자 장치(202)는 제1 센서(292)에 의해 획득된 기울어짐에 대한 정보 및/또는 제2 센서(294)에 의해 획득된 속도 변화에 대한 정보 중 적어도 하나의 정보를 획득하는 경우, 저전력 모드에 진입하지 않을 수 있다. 외부 전자 장치(202)는 상기 저전력 모드에 진입하지 않는 경우, 상기 적어도 하나의 정보의 획득에 상응하는 시점으로부터 상기 지정된 시간범위 동안 상기 적어도 하나의 정보의 획득에 대한 모니터링을 수행할 수 있다. 다양한 실시예들에 따라, 외부 전자 장치(202)는 상기 지정된 시간범위 동안 하나 이상의 위치 정보들을 획득할 수 있다. 센서 모듈(290)은 상기 지정된 시간범위, 즉 사용자의 입력이 수신된 마지막 시점부터, 상기 저전력 모드가 수행되는 시점까지 활성화될 수 있다. 센서 모듈(290)은 상기 사용자 입력이 수신된 시점부터 상기 저전력 모드의 수행 시점까지 시간범위에 대응하는 외부 전자 장치(202)의 기울어짐에 대한 정보를 수신할 수 있다.
동작 905에서, 프로세서(250)는, 외부 전자 장치(202)와 관련된 그래픽 객체의 표시 요청을 수신할 수 있다. 상기 표시 요청은, 외부 전자 장치(202)의 동작 모드의 변경에 기반할 수 있다. 예를 들어, 프로세서(250)는, 동작 모드가 비활성 모드로부터 활성 모드로 변경되는 것을 검출하고, 상기 검출에 응답하여, 그래픽 객체의 표시를 요청하는 신호를 수신할 수 있다. 상기 요청 신호는, 다른 전자 장치(예: 또는 제2 외부 전자 장치(202))로부터 수신한 신호에 상응할 수 있다. 다른 실시예에 따라, 상기 요청 신호는, 외부 전자 장치(202)의 구성 요소들(element)로부터 수신한 제어 신호를 포함할 수 있다. 다른 예를 들어, 상기 그래픽 객체의 표시 요청은, 제1 센서(292)에 의해 획득된 외부 전자 장치(202)의 데이터 값이 임계 값의 초과를 검출함에 따라 생성될 수 있다. 예를 들어, 외부 전자 장치(202)가 미리 정해진 임계 값을 초과하는 움직임을 검출한 경우, 상기 그래픽 객체의 표시 요청을 전자 장치(201)에게 송신할 수 있다. 다른 예를 들어, 외부 전자 장치(202)는 검출한 움직임의 변화량이 미리 정해진 임계 값을 초과하지 않는 경우(예를 들어, 사용자의 부주의에 의한 진동), 상기 표시 요청을 생성하지 않을 수 있다. 또 다른 예를 들어, 외부 전자 장치(202)는 그립 센서(미도시)를 더 포함할 수 있다. 외부 전자 장치(202)는 상기 그립 센서에 의해 사용자의 파지를 검출하는 경우, 상기 표시 요청을 생성할 수 있다.
동작 907에서, 프로세서(250)는, 하나 이상의 위치 정보들에 기반하여, 그래픽 객체를 표시할 위치를 결정할 수 있다. 상기 하나 이상의 위치 정보들은, 카메라(240)의 시계에서 외부 전자 장치(202)가 벗어난 위치에 대한 정보, 상기 저저력 모드에 진입하는 시점에 대응하는 제1 센서 정보, 상기 저전력 모드가 해제되는 시점에 대응하는 제2 센서 정보를 포함할 수 있다.
도 9b는 다양한 실시예들에 따른 전자 장치의 동작의 예를 도시한다. 이러한 동작은, 도 2에 도시된 전자 장치(201)에 의해 수행될 수 있다.
동작 911에서, 프로세서(250)는, 전자 장치(201)와 연동된 외부 전자 장치(202)의 위치에 대한 정보를 획득할 수 있다. 동작 913에서, 프로세서(250)는, 외부 전자 장치(202)의 기울어짐에 대한 정보를 수신할 수 있다. 동작 915에서, 프로세서(250)는, 외부 전자 장치(202)를 보여주기(representing) 위한 시각적 개체를 멀티미디어 콘텐트와 함께 제공할 수 있다. 상기 동작 911 내지 동작 915는 도 5b에 도시된 동작 511 내지 동작 515에 각각 대응될 수 있다.
동작 917에서, 프로세서(250)는, 슬립 모드에 진입하였음을 결정할 수 있다. 상기 슬립 모드는, 상기 외부 전자 장치(202)의 전력 소모를 감소시키는 모드에 대응될 수 있다. 일 실시예에 따라, 프로세서(250)는 미리 정의된 길이의 시간 동안 사용자 입력을 수신하지 못한 경우, 슬립 모드에 진입하였음을 결정할 수 있다.
동작 919에서, 프로세서(250)는, 슬립 모드에 진입하는 시점에 상응하는 외부 전자 장치(202)의 위치 정보 및/또는 기울어짐에 대한 정보를 수신할 수 있다. 예를 들어, 프로세서(250)는, 상기 미리 정의된 길이의 시간 동안 사용자 입력을 수신하지 못한 경우, 저전력 모드에 진입하였음을 결정하고, 상기 진입 시점에 대응되는 외부 전자 장치(202)에 관련된 정보를 수신할 수 있다.
동작 921에서, 프로세서(250)는 슬립 모드가 해제됨을 식별할 수 있다. 상기 슬립 모드는, 외부 전자 장치(202)로부터 웨이크-업(wake-up) 신호를 수신함으로써 해제될 수 있다. 상기 웨이크-업 신호는, 페이징 신호, 활성화 신호 등의 다양한 용어들로 지칭될 수 있다. 예를 들어, 상기 웨이크-업 신호는, 상기 외부 전자 장치(202)의 미리 정의된 임계 값을 초과하는 움직임을 검출하는 경우, 생성될 수 있다. 다른 예를 들어, 외부 전자 장치(202)는 그립 센서(미도시)를 더 포함할 수 있다. 외부 전자 장치(202)는 상기 그립 센서로부터 사용자가 상기 외부 전자 장치(202)를 파지하였음을 지시하는 데이터를 획득함으로써 상기 웨이크-업 신호를 생성할 수 있다.
동작 923에서, 프로세서(250)는, 슬립 모드의 해제 시점에 상응하는 외부 전자 장치(202)의 기울어짐에 대한 정보, 슬립 모드에 진입하는 시점에 상응하는 외부 전자 장치(202)의 기울어짐에 대한 정보 및/또는 슬립 모드에 진입하는 시점에 상응하는 외부 전자 장치(202)의 위치 정보에 기반하여 외부 전자 장치(202)의 위치를 예측할 수 있다. 일 실시예에 따라, 프로세서(250)는 외부 전자 장치(202)의 기울어짐에 대한 정보들 중 상기 슬립 모드의 진입 시점에 대응하는 정보 및/또는 해제 시점에 대응하는 정보의 차이를 비교함으로써, 상기 외부 전자 장치(202)의 위치의 변화를 예측할 수 있다. 프로세서(250)는 상기 예측된 위치의 변화에 대한 정보를 상기 슬립 모드의 진입 시점에 대한 위치 정보에 적용함으로써 슬립 모드의 해제 시점에 위치할 것으로 예측되는 위치를 획득할 수 있다.
다양한 실시예들에 따라, 프로세서(250)는 상기 전자 장치(201)의 기울어짐에 대한 정보에 더 기반하여 상기 위치를 예측할 수 있다. 예를 들어, 전자 장치(201)는 상기 슬립 모드의 진입 시점부터 상기 해제 시점 사이에 이동할 수 있다. 프로세서(250)는 전자 장치(201)의 움직임을 반영하기 위해, 외부 전자 장치(202)가 슬립 모드에 진입하는 시점의 전자 장치(201)의 기울어짐에 대한 정보 및/또는 외부 전자 장치(202)가 슬립 모드를 해제하는 시점의 전자 장치(201)의 기울어짐에 대한 정보를 비교함으로써 전자 장치(201)의 움직임에 대한 정보를 획득할 수 있다.
동작 925에서, 프로세서(250)는 예측된 외부 전자 장치의 위치가 카메라의 시계에 포함되는지 여부를 결정할 수 있다. 프로세서(250)는 예측된 전자 장치(250)의 위치가 카메라(240)의 시계에 대한 영역 내에 위치하는 경우, 동작 929에서 예측된 외부 전자 장치(202)의 위치에 그래픽 객체를 표시할 수 있다. 프로세서(250)는 예측된 전자 장치의 위치가 카메라(240)의 시계에 대한 영역 밖에 위치하는 경우, 동작 927에서, 예측된 위치를 가이드하기 위한 그래픽 객체를 표시할 수 있다. 상기 그래픽 객체는, 외부 전자 장치(202)에 상응하는 그래픽 객체는 아닐 수 있다. 예를 들어, 상기 그래픽 객체는, 화살표 형상의 이미지를 포함할 수 있다. 다른 예를 들어, 상기 그래픽 객체는, 외부 전자 장치(202)의 형상과 동일 또는 유사한 이미지를 포함할 수 있다.
도 10은, 다양한 실시예들에 따른 외부 전자 장치의 위치를 가이드하는 그래픽 객체의 예를 도시한다. 이하, 디스플레이(230)를 통해 표시되는 이미지들(1010 및 1020)은, 사용자의 시계에 상응하는 이미지들을 포함할 수 있다. 다양한 실시예들에서, 카메라(240)의 시계는 디스플레이(230)를 통해 표시되는 이미지들(1010 및 1020)의 표시 영역의 시계와 동일할 수 있다. 다만, 카메라(240)의 시계는 이에 한정되는 것은 아니며, 도 4b에 도시된 바와 같이, 사용자의 시계보다 작거나, 클 수 있다.
도 10을 참조하면, 프로세서(250)는, 멀티미디어 콘텐트와 관련된 이미지(1010)를 디스플레이(230)를 통해 표시할 수 있다. 상기 멀티미디어 콘텐트와 관련된 이미지(1010)는, 전방위 이미지 또는 3차원 이미지 중 적어도 하나를 포함할 수 있다. 다양한 실시예들에서, 프로세서(250)는 외부 전자 장치(202)의 위치를 가이드하기 위한 그래픽 객체를 표시할 수 있다. 예를 들어, 프로세서(250)는 화살표 형상의 그래픽 객체(1012)를 표시할 수 있다. 상기 화살표 형상의 그래픽 객체(1012)는 상기 표시된 멀티미디어 콘텐트와 관련된 이미지에 중첩되도록 표시될 수 있다. 일 실시예에 따라, 프로세서(250)는 상기 화살표 형상의 그래픽 객체(1012)의 표시를 변경할 수 있다. 예를 들어, 프로세서(250)는 외부 전자 장치(202)가 전자 장치(201)로부터 멀어지는 경우, 상기 화살표 형상의 그래픽 객체(1012)의 굵기를 감소시킬 수 있다. 다른 예를 들어, 프로세서(250)는 외부 전자 장치(202)와 전자 장치(201)간에 거리가 감소하는 경우, 상기 화살표 형상의 그래픽 객체(1012)의 굵기를 증가시킬 수 있다. 다른 실시예에서, 프로세서(250)는 그래픽 객체의 색(color)를 변경할 수 있다. 프로세서(250)는 디스플레이(230)를 통해 표시되는 멀티미디어 콘텐트의 색에 기반하여, 상기 그래픽 객체의 색을 변경할 수 있다. 예를 들어, 프로세서(250)는 상기 화살표 형상의 그래픽 객체(1012)의 표시 영역을 결정하고, 상기 결정된 영역에 대응하는 멀티미디어 콘텐트와 관련된 이미지의 일부 영역을 식별할 수 있다. 프로세서(250)는, 상기 그래픽 객체(1012)에 대한 식별력을 향상시키기 위해, 상기 식별된 영역의 색을 식별하고, 상기 식별된 색과 보색(complementary color)으로 상기 화살표 형상의 그래픽 객체(1012)를 표시할 수 있다.
다양한 실시예들에서, 프로세서(250)는 시각적 효과(1022)를 표시할 수 있다. 프로세서(250)는 상기 멀티미디어 콘텐트와 관련된 이미지(1020)에 시각적 효과(1022)를 중첩하여 표시할 수 있다. 예를 들어, 프로세서(250)는 디스플레이(230)의 경계를 구성하는 4개의 면들 중 외부 전자 장치(202)가 위치하는 것으로 예측되는 방향의 경계 면으로 시각적 효과(1022)를 표시할 수 있다. 상기 시각적 효과(1022)는 상기 경계 면을 하이라이트 하는 효과를 포함할 수 있다. 미 도시되었지만, 프로세서(250)는 상기 경계 면을 흐리게 표시하기 위한 블러(blur)에 관련된 시각적 효과를 포함할 수 있다. 상술한 실시예에서, 그래픽 객체(1012)는 화살표 형상의 이미지를 포함하는 것으로 설명되었지만, 이에 한정되는 것은 아니다. 예를 들어, 그래픽 객체(1012)는 외부 전자 장치(202)와 동일 또는 유사한 형상의 이미지를 포함할 수 있다.
본 개시의 청구항 또는 명세서에 기재된 실시예들에 따른 방법들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합의 형태로 구현될(implemented) 수 있다.
소프트웨어로 구현하는 경우, 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 판독 가능 저장 매체에 저장되는 하나 이상의 프로그램은, 전자 장치(device) 내의 하나 이상의 프로세서에 의해 실행 가능하도록 구성된다(configured for execution). 하나 이상의 프로그램은, 전자 장치로 하여금 본 개시의 청구항 또는 명세서에 기재된 실시예들에 따른 방법들을 실행하게 하는 명령어(instructions)를 포함한다.
이러한 프로그램(소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리 (random access memory), 플래시(flash) 메모리를 포함하는 불휘발성(non-volatile) 메모리, 롬(ROM: read only memory), 전기적 삭제가능 프로그램가능 롬(EEPROM: electrically erasable programmable read only memory), 자기 디스크 저장 장치(magnetic disc storage device), 컴팩트 디스크 롬(CD-ROM: compact disc-ROM), 디지털 다목적 디스크(DVDs: digital versatile discs) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(magnetic cassette)에 저장될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.
또한, 상기 프로그램은 인터넷(Internet), 인트라넷(Intranet), LAN(local area network), WLAN(wide LAN), 또는 SAN(storage area network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(access)할 수 있는 부착 가능한(attachable) 저장 장치(storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 본 개시의 실시 예를 수행하는 장치에 접속할 수 있다. 또한, 통신 네트워크상의 별도의 저장장치가 본 개시의 실시 예를 수행하는 장치에 접속할 수도 있다.
상술한 본 개시의 구체적인 실시예들에서, 개시에 포함되는 구성 요소는 제시된 구체적인 실시 예에 따라 단수 또는 복수로 표현되었다. 그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 본 개시가 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라 하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.
한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 전자 장치에 있어서,
    지정된 시계(field of view)를 갖는 하나 이상의 카메라;
    디스플레이;
    통신 회로; 및
    프로세서를 포함하고, 상기 프로세서는,
    상기 하나 이상의 카메라를 이용하여 상기 지정된 시계에 포함된 하나 이상의 외부 객체들 중 외부 전자 장치를 확인하고,
    상기 하나 이상의 카메라를 통해 획득된 이미지 정보에 적어도 기반하여 확인된 상기 외부 전자 장치의 제1 위치 정보에 기반하여, 상기 외부 전자 장치에 대응하는 그래픽 객체(graphical object)를 상기 디스플레이를 통해 표시하고,
    상기 외부 전자 장치가 상기 지정된 시계를 벗어나는 경우, 상기 지정된 시계를 벗어나기 이전에 상기 하나 이상의 카메라를 통해 확인된 제2 위치 정보 및 상기 지정된 시계를 벗어난 이후에 상기 통신 회로를 통해 상기 외부 전자 장치로부터 수신된 상기 외부 전자 장치의 움직임과 관련된 정보에 기반하여, 상기 그래픽 객체를 상기 디스플레이를 통해 표시하도록 설정된 전자 장치.
  2. 청구항 1에 있어서,
    상기 외부 전자 장치는,
    자이로 센서를 포함하는 제1 센서; 및
    가속도 센서를 포함하는 제2 센서를 더 포함하고,
    상기 외부 전자 장치의 움직임과 관련된 정보는,
    상기 제1 센서에 의해 획득된 상기 외부 전자 장치의 기울어짐(tilting)과 관련된 데이터, 또는 상기 제2 센서에 의해 획득된 상기 외부 전자 장치의 속도 변화와 관련된 데이터 중 적어도 하나를 포함하는 전자 장치.
  3. 청구항 1에 있어서,
    상기 외부 전자 장치는,
    하나 이상의 LED를 포함하는 발광부를 더 포함하고,
    상기 프로세서는,
    상기 하나 이상의 카메라를 이용하여 상기 발광부의 적어도 일부를 포함하는 이미지를 획득하고,
    상기 이미지에 대한 이미지 연산에 적어도 기반하여, 상기 발광부와 관련된 위치를 추정하고,
    상기 추정된 위치에 적어도 기반하여, 상기 외부 전자 장치와 관련된 상기 제1 위치 정보를 결정하도록 설정된 전자 장치.
  4. 청구항 2에 있어서,
    상기 프로세서는,
    상기 외부 전자 장치가 상기 지정된 시계 이내에 위치하는 경우, 상기 제1 위치 정보 및 상기 외부 전자 장치의 기울어짐과 관련된 데이터에 적어도 기반하여 상기 그래픽 객체의 표시 위치를 식별하고,
    상기 외부 전자 장치가 상기 지정된 시계를 벗어나는 경우, 상기 제2 위치 정보 및 제3 위치 정보에 적어도 기반하여 상기 그래픽 객체의 표시 위치를 식별하되, 상기 제3 위치 정보는, 상기 외부 전자 장치의 기울어짐과 관련된 데이터 및 상기 외부 전자 장치의 속도 변화와 관련된 데이터에 기반하여 획득된 벡터 정보를 포함하고,
    상기 식별된 표시 위치에 기반하여, 상기 그래픽 객체를 표시하도록 설정된 전자 장치.
  5. 청구항 1에 있어서,
    상기 프로세서는,
    상기 전자 장치에 의해 제공되는, 가상 현실과 관련된 멀티미디어 콘텐트, 상기 제1 위치 정보 및 상기 제2 위치 정보에 기반하여, 상기 그래픽 객체를 표시하도록 설정된 전자 장치.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 청구항 1에 있어서,
    상기 프로세서는,
    상기 지정된 시계 내에서 상기 외부 전자 장치가 확인되지 않을 경우,
    상기 외부 전자 장치가 저전력 모드로 진입하기 이전의 지정된 시간 범위 동안에 획득된 하나 이상의 제3 위치 정보들을 상기 외부 전자 장치로부터 수신하고,
    상기 그래픽 객체의 표시 요청이 확인될 경우, 상기 하나 이상의 제3 위치 정보들에 적어도 기반하여 상기 디스플레이를 이용하여 표시할 상기 그래픽 객체의 표시 위치를 결정하도록 설정된 전자 장치.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 청구항 1에 있어서,
    상기 프로세서는,
    상기 외부 전자 장치가 슬립 모드에 진입하였음을 식별하고,
    상기 슬립 모드의 진입 시점에 상응하는 상기 외부 전자 장치의 제3 위치 정보 및 상기 슬립 모드의 진입 시점에 상응하는 상기 외부 전자 장치의 기울어짐과 관련된 정보를 수신하고,
    상기 슬립 모드가 해제되었음을 식별하고,
    상기 슬립 모드의 해제 시점에 상응하는 상기 외부 전자 장치의 기울어짐과 관련된 정보를 수신하고,
    상기 슬립 모드의 진입 시점에 상응하는 상기 외부 전자 장치의 제3 위치 정보, 상기 슬립 모드의 진입 시점에 상응하는 상기 외부 전자 장치의 기울어짐과 관련된 정보, 및 상기 슬립 모드의 해제 시점에 상응하는 상기 외부 전자 장치의 기울어짐과 관련된 정보에 적어도 기반하여, 상기 외부 전자 장치의 위치를 지시하기 위한 제2 그래픽 객체를 표시하도록 설정된 전자 장치.
  17. 청구항 16에 있어서,
    상기 제2 그래픽 객체는,
    상기 외부 전자 장치와 동일 또는 유사한 형상의 이미지 또는 화살표 형상의 이미지를 포함하는 전자 장치.
  18. 청구항 16에 있어서,
    상기 프로세서는,
    상기 슬립 모드의 진입 시점에 상응하는 상기 외부 전자 장치의 제3 위치 정보 및 상기 슬립 모드의 해제 시점에 상응하는 상기 외부 전자 장치의 제4 위치 정보를 더 저장하도록 설정된 전자 장치.
  19. 청구항 18에 있어서,
    상기 외부 전자 장치의 위치의 변화와 관련된 정보는,
    상기 외부 전자 장치에 포함되는 제1 센서 및 제2 센서에 의해 획득되는 데이터에 기반하여 결정되고,
    상기 제1 센서는, 가속도 센서에 상응하고,
    상기 제2 센서는, 자이로 센서에 상응하는 전자 장치.
  20. 청구항 16에 있어서,
    상기 제2 그래픽 객체는,
    가상 현실과 관련된 멀티미디어 콘텐트 상에 중첩(superimposed)되어 표시되고,
    상기 멀티미디어 콘텐트는,
    가상 현실 서비스를 제공하기 위한 콘텐트를 포함하는 전자 장치.
KR1020180061384A 2018-05-29 2018-05-29 외부 전자 장치의 위치 및 움직임에 기반하여 외부 전자 장치와 관련된 객체를 표시하는 전자 장치 및 방법 KR102551686B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180061384A KR102551686B1 (ko) 2018-05-29 2018-05-29 외부 전자 장치의 위치 및 움직임에 기반하여 외부 전자 장치와 관련된 객체를 표시하는 전자 장치 및 방법
EP19810932.4A EP3796131A4 (en) 2018-05-29 2019-03-22 ELECTRONIC DEVICE AND METHOD FOR DISPLAYING AN OBJECT ASSOCIATED WITH AN EXTERNAL ELECTRONIC DEVICE DEPENDING ON THE POSITION AND MOVEMENT OF THE EXTERNAL ELECTRONIC DEVICE
US17/059,374 US11442274B2 (en) 2018-05-29 2019-03-22 Electronic device and method for displaying object associated with external electronic device on basis of position and movement of external electronic device
CN201980035566.9A CN112204503A (zh) 2018-05-29 2019-03-22 用于基于外部电子装置的位置和移动来显示与外部电子装置相关联的对象的电子装置和方法
PCT/KR2019/003336 WO2019231090A1 (ko) 2018-05-29 2019-03-22 외부 전자 장치의 위치 및 움직임에 기반하여 외부 전자 장치와 관련된 객체를 표시하는 전자 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180061384A KR102551686B1 (ko) 2018-05-29 2018-05-29 외부 전자 장치의 위치 및 움직임에 기반하여 외부 전자 장치와 관련된 객체를 표시하는 전자 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190135870A KR20190135870A (ko) 2019-12-09
KR102551686B1 true KR102551686B1 (ko) 2023-07-05

Family

ID=68698234

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180061384A KR102551686B1 (ko) 2018-05-29 2018-05-29 외부 전자 장치의 위치 및 움직임에 기반하여 외부 전자 장치와 관련된 객체를 표시하는 전자 장치 및 방법

Country Status (5)

Country Link
US (1) US11442274B2 (ko)
EP (1) EP3796131A4 (ko)
KR (1) KR102551686B1 (ko)
CN (1) CN112204503A (ko)
WO (1) WO2019231090A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220026774A (ko) * 2020-08-26 2022-03-07 삼성전자주식회사 외부 장치의 위치를 보정하기 위한 전자 장치 및 그의 동작 방법
US11836301B2 (en) * 2021-08-10 2023-12-05 Qualcomm Incorporated Electronic device for tracking objects
US11748965B2 (en) * 2021-09-28 2023-09-05 Htc Corporation Virtual image display system and virtual image display method
WO2023153597A1 (ko) * 2022-02-08 2023-08-17 삼성전자주식회사 인식 공간을 기반으로 운동 컨텐츠를 제공하는 전자 장치 및 그 동작 방법
WO2024063330A1 (ko) * 2022-09-23 2024-03-28 삼성전자 주식회사 웨어러블 전자 장치 및 상기 웨어러블 전자 장치를 이용하여 컨트롤러를 식별하는 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140361956A1 (en) 2013-06-09 2014-12-11 Sony Computer Entertainment Inc. Head Mounted Display
US20170252643A1 (en) * 2016-03-07 2017-09-07 Htc Corporation Accessory management of virtual reality system
US20180330521A1 (en) 2017-05-09 2018-11-15 Microsoft Technology Licensing, Llc Calibration of stereo cameras and handheld object

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05143270A (ja) 1991-11-20 1993-06-11 Matsushita Electric Ind Co Ltd ウインドウシステム上のカーソル管理装置およびカーソル管理方法
US9804257B2 (en) * 2014-11-13 2017-10-31 WorldViz LLC Methods and systems for an immersive virtual reality system using multiple active markers
KR20160063834A (ko) 2014-11-27 2016-06-07 삼성전자주식회사 포인팅 장치, 인터페이스 장치 및 디스플레이 장치
US9746921B2 (en) * 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
US20160378176A1 (en) * 2015-06-24 2016-12-29 Mediatek Inc. Hand And Body Tracking With Mobile Device-Based Virtual Reality Head-Mounted Display
KR102412140B1 (ko) * 2015-08-24 2022-06-22 엘지전자 주식회사 카메라 및 이를 포함하는 가상 현실 시스템
WO2017039308A1 (en) * 2015-08-31 2017-03-09 Samsung Electronics Co., Ltd. Virtual reality display apparatus and display method thereof
KR101910529B1 (ko) * 2016-01-28 2018-10-22 엠더블유엔테크 주식회사 가상현실 소방체험 시스템
KR20170126295A (ko) 2016-05-09 2017-11-17 엘지전자 주식회사 헤드 마운티드 디스플레이 장치 및 그것의 제어방법
KR20170129509A (ko) 2016-05-17 2017-11-27 엘지전자 주식회사 헤드 마운티드 디스플레이 장치 및 그것의 제어방법
US10249090B2 (en) 2016-06-09 2019-04-02 Microsoft Technology Licensing, Llc Robust optical disambiguation and tracking of two or more hand-held controllers with passive optical and inertial tracking
US10078377B2 (en) 2016-06-09 2018-09-18 Microsoft Technology Licensing, Llc Six DOF mixed reality input by fusing inertial handheld controller with hand tracking
US10255658B2 (en) 2016-08-09 2019-04-09 Colopl, Inc. Information processing method and program for executing the information processing method on computer
JP6220937B1 (ja) * 2016-08-26 2017-10-25 株式会社コロプラ 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ
JP2018036720A (ja) * 2016-08-29 2018-03-08 株式会社タカラトミー 仮想空間観察システム、方法及びプログラム
KR20180043132A (ko) * 2016-10-19 2018-04-27 주식회사 글로벌이노베이션 사격 게임 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140361956A1 (en) 2013-06-09 2014-12-11 Sony Computer Entertainment Inc. Head Mounted Display
US20170252643A1 (en) * 2016-03-07 2017-09-07 Htc Corporation Accessory management of virtual reality system
US20180330521A1 (en) 2017-05-09 2018-11-15 Microsoft Technology Licensing, Llc Calibration of stereo cameras and handheld object

Also Published As

Publication number Publication date
CN112204503A (zh) 2021-01-08
EP3796131A1 (en) 2021-03-24
EP3796131A4 (en) 2021-07-14
WO2019231090A1 (ko) 2019-12-05
US11442274B2 (en) 2022-09-13
US20210239983A1 (en) 2021-08-05
KR20190135870A (ko) 2019-12-09

Similar Documents

Publication Publication Date Title
KR102551686B1 (ko) 외부 전자 장치의 위치 및 움직임에 기반하여 외부 전자 장치와 관련된 객체를 표시하는 전자 장치 및 방법
US11513605B2 (en) Object motion tracking with remote device
US9928650B2 (en) Computer program for directing line of sight
US10643390B2 (en) Head mounted display, method for controlling head mounted display, and computer program
US10635182B2 (en) Head mounted display device and control method for head mounted display device
US20170068326A1 (en) Imaging surround system for touch-free display control
US11044402B1 (en) Power management for optical position tracking devices
US20170352184A1 (en) Optically augmenting electromagnetic tracking in mixed reality
US10474226B2 (en) Head-mounted display device, computer program, and control method for head-mounted display device
EP3570144B1 (en) Electronic device for providing vr/ar content
US10438411B2 (en) Display control method for displaying a virtual reality menu and system for executing the display control method
KR102583682B1 (ko) 전자 장치 및 증강 현실 기반의 공유 정보 표시 방법
CN111656306B (zh) 根据与控制器接触的身体部分不同地显示图形对象的方法和电子装置
US20190285896A1 (en) Transmission-type head mounted display apparatus, method of controlling transmission-type head mounted display apparatus, and computer program for controlling transmission-type head mounted display apparatus
US10261327B2 (en) Head mounted display and control method for head mounted display
US11422609B2 (en) Electronic device and method for controlling operation of display in same
JP2019109850A (ja) 透過型表示装置、表示制御方法、およびコンピュータープログラム
JP6996115B2 (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
KR20210138923A (ko) 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법
EP3705982B1 (en) Apparatus and method for adaptively configuring user interface
JP6932917B2 (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
US11431900B2 (en) Image data processing method and device therefor
US20220350421A1 (en) Display apparatus communicably connected to external control apparatus that receives operator's operation, control method for same, and storage medium
JP2018056791A (ja) 表示装置、受信装置、プログラム、及び受信装置の制御方法。
KR102656447B1 (ko) 컨트롤러와 접촉된 신체 부위에 따라 그래픽 객체를 다르게 표시하는 방법 및 전자 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right