WO2024043527A1 - 가상 현실 장치를 제어하는 방법 및 이를 이용하는 가상 현실 장치 - Google Patents

가상 현실 장치를 제어하는 방법 및 이를 이용하는 가상 현실 장치 Download PDF

Info

Publication number
WO2024043527A1
WO2024043527A1 PCT/KR2023/010022 KR2023010022W WO2024043527A1 WO 2024043527 A1 WO2024043527 A1 WO 2024043527A1 KR 2023010022 W KR2023010022 W KR 2023010022W WO 2024043527 A1 WO2024043527 A1 WO 2024043527A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
virtual reality
content
reality device
information
Prior art date
Application number
PCT/KR2023/010022
Other languages
English (en)
French (fr)
Inventor
유진선
강석영
국승빈
이좌영
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220127172A external-priority patent/KR20240028893A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2024043527A1 publication Critical patent/WO2024043527A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Definitions

  • It relates to a method of controlling a virtual reality device and a virtual reality device using the same.
  • Virtual reality means showing virtual images in a virtual space so that they can be experienced as if they were real.
  • a virtual reality device is a device that can express 'virtual reality' and may be a head-mounted display device, a virtual reality helmet, or a goggle-type display device that can cover the entire user's field of view. You can.
  • a method for controlling a virtual reality device includes setting a first area and a second area different from the first area in a content viewing space based on scan space information about the content viewing space and content information about the content. Includes. Additionally, a method of controlling a virtual reality device includes sensing a first area and a second area using at least one image sensor. Additionally, the method of controlling a virtual reality device includes tracking an object located in the first area or the second area based on a sensing result. Additionally, the method for controlling the virtual reality device includes controlling a screen display of the virtual reality device based on the tracking results.
  • a computer-readable recording medium on which a program for executing the above-described method is recorded can be provided.
  • a virtual reality device includes a memory storing one or more instructions, a processor, at least one image sensor, a display engine unit, and a display.
  • the processor executes one or more instructions to set a first area and a second area different from the first area in the content viewing space based on scan space information about the content viewing space and content information about the content. .
  • the processor senses the first area and the second area using at least one image sensor by executing one or more instructions.
  • the processor tracks an object located in the first area or the second area based on the sensing result by executing one or more instructions.
  • the processor controls the screen display of the virtual reality device using the display engine unit and the display based on the tracking result by executing one or more instructions.
  • FIG. 1 is a diagram illustrating a user wearing a virtual reality device according to an embodiment of the present disclosure controlling the screen display of the virtual forming device as an object approaches while watching content through the virtual reality device.
  • FIG. 2 is a flowchart illustrating a method of controlling a virtual reality device according to an embodiment of the present disclosure.
  • Figure 3 is a detailed flowchart of the step of setting a first area and a second area in a space for viewing content according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram illustrating an example of a process for setting a first area and a second area in a space for viewing content on the screen of a virtual reality device according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating the area range of a first area according to the type of content in a virtual reality device according to an embodiment of the present disclosure.
  • Figure 6 is a detailed flowchart of the step of setting a first area and a second area in a space for viewing content according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating an example of a process for setting a first area and a second area in a space for viewing content on the screen of a virtual reality device according to an embodiment of the present disclosure.
  • Figure 8 is a detailed flowchart of the step of setting a first area and a second area in a space for viewing content according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram illustrating an example of a process of setting a first area and a second area in a space for viewing content on the screen of a virtual reality device according to an embodiment of the present disclosure.
  • Figure 10 is a detailed flowchart of the step of tracking an object located in a first area or a second area according to an embodiment of the present disclosure.
  • Figure 11 is a detailed flowchart of steps for controlling the screen display of a virtual reality device according to an embodiment of the present disclosure.
  • FIG. 12 is a diagram illustrating screen display control according to whether an object is located in a first area or a second area in a virtual reality device according to an embodiment of the present disclosure.
  • FIG. 13 is a diagram illustrating an example of tracking an object by communicating with a device of an object located in a second area in a virtual reality device according to an embodiment of the present disclosure, and displaying an indicator corresponding to the object on a content playback screen. am.
  • Figure 14 is a block diagram for explaining the configuration of a virtual reality device according to an embodiment of the present disclosure.
  • FIG. 15 is a block diagram illustrating the configuration of a server that communicates with a virtual reality device according to an embodiment of the present disclosure.
  • FIG. 1 shows a screen display of the virtual forming device 100 as an object approaches while a user wearing the virtual reality device 100 according to an embodiment of the present disclosure is watching content through the virtual reality device 100. This is a drawing showing control.
  • the virtual reality device 100 is a device capable of expressing virtual reality.
  • 'Virtual reality' means showing virtual images together in the digital environment space of a virtual world, or showing images corresponding to real world objects and virtual images together.
  • the virtual reality device 100 may be in the form of a Head Mounted Display Apparatus (HMD) or a Virtual Reality Helmet.
  • HMD Head Mounted Display Apparatus
  • the server 200 provides a virtual reality service or content based on a virtual reality service to the virtual reality device 100.
  • the server 200 may receive information related to the virtual reality service from the virtual reality device 100 or transmit information related to the virtual reality service to the virtual reality device 100 .
  • the server 200 provides a platform for a virtual reality service and provides a virtual reality service or content based on the virtual reality service to the virtual reality device 100 of a user registered for the virtual reality service or subscribing to the virtual reality service. You can.
  • Virtual reality devices 100 can exchange information with each other through the server 200, and virtual reality devices 100 within a predetermined range can be connected to each other through direct communication.
  • the virtual reality device 100 can set different areas in a space where content is viewed and track objects within the set areas.
  • the virtual reality device 100 may control the screen display of the virtual reality device 100 depending on whether there is an object in the first area or the second area set in the content viewing space.
  • the first area is a space of a size necessary for a user wearing the virtual reality device 100 to immerse himself in watching or experiencing content, and corresponds to an immersion area.
  • the second area is a predetermined space for the user wearing the virtual reality device 100 to recognize the approach of an external object, and corresponds to a safety area.
  • the virtual reality device 100 when a user wears the virtual reality device 100 and plays a game, the virtual reality device 100 can sense the first area and the second area set in the space where content is viewed. there is. Since the user wearing the virtual reality device 100 is in a light-shielded state and cannot see the external environment, the virtual reality device 100 can sense the surrounding environment using a camera or microphone.
  • the virtual reality device 100 may detect and track the object in the second area. When the entry of an object into the second area is confirmed, the virtual reality device 100 may identify the object and display information about the identified object on a portion of the game screen to inform the user. The user can check objects located in the second area while wearing the virtual reality device 100.
  • the virtual reality device 100 may confirm the entry of the object into the first area and display the game screen by converting it to a see-through full screen.
  • the virtual reality device 100 can close the game screen and instead capture the real world with a camera provided in the virtual reality device 100 and display it on the display of the virtual reality device 100 in real time. The user can check the external environment while wearing the virtual reality device 100.
  • the screen display of the virtual reality device 100 is controlled depending on whether an external object enters predetermined areas set in the content viewing space, and the predetermined areas are controlled while wearing the virtual reality device 100.
  • a method of controlling the virtual reality device 100 and the virtual reality device 100 that performs this so as to recognize an object entering will be described.
  • FIG. 2 is a flowchart illustrating a method of controlling the virtual reality device 100 according to an embodiment of the present disclosure.
  • the virtual reality device 100 may set a first area and a second area different from the first area in the space where the content is viewed, based on scan space information about the space where the content is viewed and content information about the content.
  • the virtual reality device 100 can provide content in various fields such as movies, education, sports, and games.
  • Scan space information is information obtained by sensing the space where a user wearing the virtual reality device 100 watches content with at least one sensor and scanning surrounding terrain or objects.
  • the first area may have a different area range depending on the type of content, and the second area may have a predetermined area range outside the first area.
  • an example of setting a total of two areas, a first area and a second area is provided, but the present invention is not limited thereto, and a total of N areas are set from the first area to the N th area. You can also set up an area.
  • the screen display of the virtual reality device 100 can be controlled differently each time an object enters each area.
  • Figure 3 is a detailed flowchart of the step of setting a first area and a second area in a space for viewing content according to an embodiment of the present disclosure.
  • FIG. 3 an example in which the virtual reality device 100 directly senses the space where content is viewed using at least one image sensor will be described.
  • the virtual reality device 100 can sense the space in which the content is viewed.
  • the virtual reality device 100 uses a camera or camera provided in the virtual reality device 100. Using an image sensor such as Ida, the surrounding environment can be sensed.
  • the virtual reality device 100 may scan a space where content is viewed using at least one image sensor.
  • the virtual reality device 100 may obtain depth information from a scanned image.
  • the virtual reality device 100 may obtain a 3D scan result of a space in which content is viewed using a plurality of captured images and a depth map including depth information.
  • the virtual reality device 100 may obtain a 3D scan result using a plurality of images taken of the space where content is viewed.
  • the virtual reality device 100 may determine the first area and the second area based on scan space information resulting from sensing and content information about the content for which the playback input has been received. (S320) The virtual reality device 100 may determine the first area and the second area. The area range of the first area and the area range of the second area may be determined based on scan space information obtained by scanning the space in which content is viewed and content information regarding the content selected by the user. Content information about content may be the name of the content, the type or field of the content, the way to view or experience the content, the distance required to immerse in the content, or the safe distance required to run the content safely.
  • Content information about content may be included in the form of metadata in an executable file of an application corresponding to each content, or may be obtained from the contents of the content or from an external device.
  • the virtual reality device 100 analyzes the content selected by the user, determines whether the user wearing the virtual reality device 100 moves a lot while the content is played or needs a large area, and selects the first area. You can set it. After setting the first area, the virtual reality device 100 can set a wider predetermined area as the second area.
  • the virtual reality device 100 may obtain information about permitted objects that may be located in the second area.
  • the user of the virtual reality device 100 is expected to enter the second area or may enter the second area.
  • information about the object can be registered.
  • Information about an object may be object identification information, image information such as a photo or avatar of the object, or membership information of the object.
  • the virtual reality device 100 may transmit information about the first area, information about the second area, and information about the obtained permitted objects to the server 200 that provides the content (S340). Such information By storing and using the content on the server 200, the virtual reality device 100 can simply and quickly process the process of setting the first area and the second area when playing the same or similar content.
  • FIG. 4 is a diagram illustrating an example of a process for setting a first area and a second area in a space for viewing content on the screen of the virtual reality device 100 according to an embodiment of the present disclosure.
  • a user wearing the virtual reality device 100 can run an application corresponding to the content they want to play among content in various fields and genres on the home screen displayed on the display of the virtual reality device 100. (S400)
  • the virtual reality device 100 may acquire scan space information by sensing the space in which the content is viewed (S410).
  • the virtual reality device 100 may set a first area and a second area in the content viewing space based on the acquired scan space information and content information about the content selected according to the user's input (S420).
  • the user wearing the virtual reality device 100 may register information about permitted objects that are expected to enter the second area or are permitted to enter the second area (S430).
  • the user wearing the virtual reality device 100 may register information on permitted objects that are expected to enter the second area (S430). You can add or remove objects, and enter information about permitted objects.
  • the virtual reality device 100 may transmit information about the set area or information about permitted objects to the server 200 that provides the content selected according to the user's input. (S440) Later, the virtual reality device 100 When the user requests execution of the content again from the server 200, the virtual reality device 100 performs the processes of S410 to S440 by receiving information about the set area or information about permitted objects from the server 200. It can be replaced.
  • the virtual reality device 100 may set a first area and a second area in the content viewing space and then display a content playback screen in response to the user's request to start content playback.
  • the virtual reality device ( 100) can sense the first area and the second area by monitoring the surrounding environment using at least one sensor while content is being played.
  • FIG. 5 is a diagram illustrating the area range of the first area according to the type of content in the virtual reality device 100 according to an embodiment of the present disclosure.
  • the area range of the first area varies depending on the type of content.
  • the virtual reality device 100 recognizes a real object such as a chair on which the user can sit, and considers the area corresponding to the chair to create a first area. can be set.
  • the virtual reality device 100 may set a first area centered on the location of the user wearing the virtual reality device 100. At this time, if there is an obstacle in the first area to be set, the virtual reality device 100 corrects and sets the first area and guides the user wearing the virtual reality device 100 to enter the set first area.
  • FIG. 6 is a detailed flowchart of steps for setting a first area and a second area in a space for viewing content according to an embodiment of the present disclosure.
  • FIG. 6 an example in which the virtual reality device 100 sets the first area and the second area by receiving information necessary to set the first area and the second area from the external server 200 will be described.
  • the virtual reality device 100 may receive information about the first area and information about the second area from the server 200 that provides the content with an execution history.
  • the virtual reality device 100 sends a first message to the server 200 that provides the content.
  • Information about the area and information about the second area can be requested.
  • the server 200 responds to a request from the virtual reality device 100, obtains information about the first area and information about the second area stored in the server 200, and transmits it to the virtual reality device 100. You can.
  • the virtual reality device 100 may determine the first area and the second area based on the information about the first area and the information about the second area received from the server 200. (S520) In this case, , the area range of the first area and the area range of the second area can be determined without scanning the space where the content is viewed or analyzing the content selected by the user.
  • the virtual reality device 100 may further receive information about pre-registered permitted objects from the server 200.
  • the virtual reality device 100 may use the information about permitted objects received from the server 200 to check whether an object located in the second area is an object already registered as an allowed object.
  • FIG. 7 is a diagram illustrating an example of a process of setting a first area and a second area in a space for viewing content on the screen of the virtual reality device 100 according to an embodiment of the present disclosure.
  • a user wearing the virtual reality device 100 can run an application corresponding to the content they want to play among content in various fields and genres on the home screen displayed on the display of the virtual reality device 100. (S600)
  • the virtual reality device 100 may communicate with the server 200 that provides the content with an execution history.
  • the virtual reality device 100 may receive information about the first area and information about the second area from the server 200 that provides content with an execution history (S610).
  • the virtual reality device 100 may set the first area and the second area based on the information about the first area and the information about the second area received from the server 200 (S620).
  • the virtual reality device 100 may set a first area and a second area in the content viewing space and then display a content playback screen in response to the user's request to start content playback.
  • the virtual reality device ( 100) can sense the first area and the second area by monitoring the surrounding environment using at least one sensor while content is being played.
  • Figure 8 is a detailed flowchart of the step of setting a first area and a second area in a space for viewing content according to an embodiment of the present disclosure.
  • the virtual reality device 100 uses at least one image sensor to detect the space in which the content is viewed, based on scan space information and content information about the content for which the playback input was received. , the first area and the second area can be determined (S710).
  • the virtual reality device 100 can adjust the first area and the second area according to the input of the user of the virtual reality device 100.
  • the virtual reality device 100 adjusts the automatically determined first area and the second area. 2 The area can be adjusted manually according to user input.
  • FIG. 9 is a diagram illustrating an example of a process of setting a first area and a second area in a space for viewing content on the screen of the virtual reality device 100 according to an embodiment of the present disclosure.
  • a user wearing the virtual reality device 100 can run an application corresponding to the content they want to play among content in various fields and genres on the home screen displayed on the display of the virtual reality device 100. (S800)
  • the virtual reality device 100 may determine the first area and the second area based on scan space information sensing the space in which content is viewed and content information regarding the content for which a playback input is received (S810).
  • the virtual reality device 100 specifies and displays automatically determined first and second areas, and provides tools for editing the first and second areas, allowing the user to edit the first and second areas. Adjustable input can be received (S820)
  • the virtual reality device 100 may set a first area and a second area in the content viewing space and then display a content playback screen in response to the user's request to start content playback. (S830)
  • the virtual reality device ( 100) can sense the first area and the second area by monitoring the surrounding environment using at least one sensor while content is being played.
  • the virtual reality device 100 may sense the first area and the second area using at least one image sensor. (S220)
  • the virtual reality device 100 includes a virtual reality device (S220).
  • the first zero filtration second area can be sensed using an image sensor provided on the top, front, rear, or side of 100). Additionally, the virtual reality device 100 may further use a microphone to acquire sounds or voices generated in the surrounding environment.
  • the virtual reality device 100 may track an object located in the first area or the second area based on the sensing result (S230). This will be described in detail below with reference to FIG. 10.
  • Figure 10 is a detailed flowchart of the step of tracking an object located in a first area or a second area according to an embodiment of the present disclosure.
  • the virtual reality device 100 may detect an object based on a sensing result using at least one image sensor (S910). Additionally, the virtual reality device 100 may detect an object using a sound or voice obtained using a microphone. On a further basis, objects can be detected. For example, the virtual reality device 100 can check the direction from which the sound or voice originated and check the intensity of the sound or voice. The virtual reality device 100 may determine the location of the object and the distance from the virtual reality device 100 based on the direction and intensity of the sound or voice.
  • the virtual reality device 100 may determine whether communication with the device of the object located in the second area is possible (S920).
  • the virtual reality device 100 may receive the location information and user information of the object from the device of the detected object (S930).
  • S920 and S930 are processes that can be omitted.
  • the virtual reality device 100 tracks the detected object based on the sensing result. If communication is possible, the virtual reality device 100 tracks the detected object based on the sensing result and the device of the detected object. The detected object can be tracked based on the object's location information and user information (S940).
  • the virtual reality device 100 may control the screen display of the virtual reality device 100 based on the tracking result. (S240) Hereinafter, with reference to FIGS. 11 to 13, details Explain.
  • FIG. 11 is a detailed flowchart of steps for controlling the screen display of the virtual reality device 100 according to an embodiment of the present disclosure.
  • the virtual reality device 100 may determine whether the tracked object is located in the first area or the second area, and display the screen of the virtual reality device 100 according to a screen display mode based on the determination result.
  • the description will be made on the assumption that the user is watching content while wearing the virtual reality device 100 after confirming that there are no external objects that may interfere with immersion in the content in the space where the user is watching the content.
  • the virtual reality device 100 may determine whether the object is located in the second area (S1010). The virtual reality device 100 may determine whether the tracked object enters the second area. If no object enters the second area, the virtual reality device 100 may continue to detect and track the object based on the results of sensing the first area and the second area.
  • the virtual reality device 100 may identify the object.
  • the virtual reality device 100 acquires an image from at least one image sensor, and obtains an image.
  • Objects can be identified according to classification information and appearance information of the object based on feature information extracted from the image.
  • the virtual reality device 100 uses feature vectors to form image classification models such as Deep Neural Network (DNN), Convolution Neural Network (CNN), Recurrent Neural Network (RNN), and Bidirectional Recurrent Deep Neural Network (BRDNN).
  • DNN Deep Neural Network
  • CNN Convolution Neural Network
  • RNN Recurrent Neural Network
  • BBDNN Bidirectional Recurrent Deep Neural Network
  • object localization model, object detection model, etc. can be input to perform object classification, appearance information measurement, object detection, etc.
  • the virtual reality device 100 may identify the object by classifying the object according to image classification, localizing the object to a bounding box, and measuring appearance information. Additionally, the virtual reality device 100 may identify an object based on the content of the object's speech obtained through a microphone. For example, the virtual reality device 100 may obtain identification information, such as the name of the object or the relationship with the user of the virtual reality device 100, from the content of the object's speech.
  • the virtual reality device 100 may determine whether the identified object is a pre-registered object as a permitted object (S1030).
  • the user of the virtual reality device 100 may identify an object that is expected to enter the second area or is permitted to enter the second area. For this reason, information about the object can be registered in advance as information about the permitted object.
  • the virtual reality device 100 may determine whether the identified object is a pre-registered object by comparing information on the identified object and information on permitted objects.
  • the virtual reality device 100 may display an indicator corresponding to the object on the content playback screen (S1040). Since the identified object is a permitted object, the virtual reality device 100 may display an indicator corresponding to the object. Based on the identification information of objects registered in advance as permitted objects, image information such as object photos or avatars, and object affiliation information, an indicator corresponding to the identified object is created and displayed on a portion of the content playback screen. You can.
  • the indicator may be in the form of an icon or thumbnail.
  • the virtual reality device 100 may display a see-through partial screen on the content playback screen. (S1050) The virtual reality device 100 checks information about the identified object. Therefore, a see-through partial screen may be displayed on a portion of the content playback screen so that the user can directly check the objects located in the second area.
  • the virtual reality device 100 may determine whether an object is located in the first area (S1060). The virtual reality device 100 may determine whether the tracked object enters the first area from the second area. If no object has entered the first area, the virtual reality device 100 may continue to track the object located in the second area and continue to display information about the identified object on a portion of the content playback screen.
  • the virtual reality device 100 may switch the content playback screen to a see-through full screen and display it. (S1070 ) Since a situation occurred in which the user could not immerse himself in the content, the virtual reality device 100 terminates the content playback screen and provides a see-through so that the user can check the external environment or objects while wearing the virtual reality device 100. The entire screen can be displayed.
  • FIG. 12 is a diagram illustrating screen display control according to whether an object is located in a first area or a second area in the virtual reality device 100 according to an embodiment of the present disclosure.
  • the virtual reality device 100 may provide content selected by the user through the display of the virtual reality device 100 in response to a request to start content playback by the user wearing the virtual reality device 100. Accordingly, a user wearing the virtual reality device 100 can watch the content immersed in it without being able to see the external environment in the light blocking mode.
  • the virtual reality device 100 may only display the content playback screen so that the user can continue to immerse himself in the content. there is.
  • the virtual reality device 100 displays the virtual reality device 100 according to one of two types of screen display modes, depending on whether the object is a pre-registered object.
  • a screen of (100) can be displayed.
  • the virtual reality device 100 may display an indicator corresponding to the object on the content playback screen.
  • the indicator may be generated based on the object's identification information, image information such as a photo or avatar of the object, and membership information of the object.
  • the indicator may be displayed on a portion of the content playback screen, and the position of the indicator on the content playback screen may be determined based on the location, movement direction, and movement speed of the identified object. For example, if the identified object is located in the north direction in the second area and moves in the west direction, the indicator may also be displayed while being located in the north direction of the content playback screen and moving in the west direction. Meanwhile, as shown in FIG. 12, when two objects are located in the second area, considering the location of each object, an indicator corresponding to each object may be displayed at a corresponding position on the content playback screen.
  • the virtual reality device 100 may display a see-through partial screen on the content playback screen.
  • the see-through partial screen may be displayed in a portion of the content playback screen, and the position of the see-through partial screen in the content playback screen may be determined based on the location, movement direction, and movement speed of the identified object. For example, when the identified object is located in the south direction within the second area and moves toward the east, the see-through partial screen may also be displayed while being located in the south direction of the content playback screen and moving toward the east.
  • the virtual reality device 100 may switch the content playback screen to a see-through full screen and display it.
  • the virtual reality device 100 may end the content playback screen and display the entire see-through screen so that the external environment or objects can be checked while wearing the virtual reality device 100.
  • the object located in the first area corresponds to an object registered as an exception object, for example, if it is a pet such as a dog or cat
  • the virtual reality device 100 displays the see-through full screen through exception processing. Without switching, you can maintain the content playback screen or display an indicator corresponding to the exception object on the content playback screen.
  • FIG. 13 is an example of tracking an object by communicating with a device of the object located in the second area in the virtual reality device 100 according to an embodiment of the present disclosure, and displaying an indicator corresponding to the object on the content playback screen. This is a drawing showing .
  • the virtual reality device 100 determines whether communication with the device of the object is possible. As a result of the determination, if communication with the device of the object located in the second area is possible, the virtual reality device 100 determines whether communication with the device of the object is possible. Object location information and user information can be received. The virtual reality device 100 may display an indicator corresponding to the object on a portion of the content playback screen based on the sensing result and the object location information and user information received from the device of the detected object.
  • a first object and a second object have entered the second area, and the virtual reality apparatus 100 is connected to the first object's device 310 (e.g., a smart phone) and the second object.
  • a message may be sent to the device 320 (eg, a virtual reality device) to determine whether communication can be performed, and a response message may be received.
  • device information of the object may be additionally displayed at the bottom right of the indicator corresponding to each of the first object and the second object, but is not limited to this.
  • the position of the indicator on the content playback screen may be determined based on the location, movement direction, and movement speed of the identified object.
  • FIG. 14 is a block diagram for explaining the configuration of a virtual reality device 100 according to an embodiment of the present disclosure.
  • the content described above regarding the method of controlling the virtual reality device 100 can also be applied to the virtual reality device 100, even if the content is omitted below.
  • the virtual reality device 100 includes a memory 110, a processor 120, an image sensor 130, a display engine unit 140, a display 150, an eye tracking sensor 160, and a communication interface. It may include a module 170 and an input unit 180. In addition, it may further include components such as a position sensor that detects the position of the virtual reality device 100 or a power supply unit that supplies power to the virtual reality device 100, and is commonly known in the technical field related to the embodiment of the present disclosure.
  • a position sensor that detects the position of the virtual reality device 100
  • a power supply unit that supplies power to the virtual reality device 100
  • Memory 110 may store instructions executable by processor 120.
  • the memory 110 can store a program composed of instructions.
  • the memory 110 includes, for example, RAM (Random Access Memory), SRAM (Static Random Access Memory), ROM (Read-Only Memory), flash memory, and EEPROM (Electrically Erasable Programmable Read- It may include at least one type of hardware device among (Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic disk, and optical disk.
  • Memory 110 may store at least one software module including instructions. Each software module is executed by the processor 120, allowing the virtual reality device 100 to perform a predetermined operation or function. For example, a space sensing module, an object tracking module, a screen display control module, etc. may be executed by the processor 120, but it is not limited thereto and may further include other software modules.
  • the processor 120 may control operations or functions performed by the virtual reality device 100 by executing instructions or programmed software modules stored in the memory 110.
  • the processor 120 may be comprised of hardware components that perform arithmetic, logic, input/output operations, and signal processing.
  • the processor 120 includes a central processing unit, a microprocessor, a graphics processing unit, application specific integrated circuits (ASICs), digital signal processors (DSPs), and digital signal processing devices (DSPDs). ), PLDs (Programmable Logic Devices), FPGAs (Field Programmable Gate Arrays), Application Processors, Neural Processing Units, or artificial intelligence processors designed with a hardware structure specialized for processing artificial intelligence models. It may consist of one, but is not limited to this. Each processor constituting the processor 120 may be a dedicated processor for performing a certain function.
  • the image sensor 130 is a device that photographs scenes in the real world and may be a stereo camera or a single camera. Additionally, the image sensor 130 may be a sensor such as a depth camera or lidar for detecting depth information.
  • the virtual reality device 100 may include a plurality of image sensors 130 corresponding to each function. For example, it may include a first camera for 3D scanning a real object, a second camera for photographing a direction at a specific angle, and a third camera for acquiring depth information.
  • the virtual reality device 100 can control screen display through the display engine unit 140 and the display 150.
  • Virtual images can be created through an optical engine and can include both static and dynamic images.
  • a virtual image is an image that a user sees in a virtual space through the virtual reality device 100, and is an image of content, an image of a real object taken from a real scene, or information or control about the operation of the virtual reality device 100. It may be an image representing a menu, etc.
  • the display engine unit 140 may include an optical engine that generates and projects a virtual image, and a guide unit that guides the light of the virtual image projected from the optical engine to the display 150.
  • the display 150 may display virtual images, such as images of content, images of real objects, information about the operation of the virtual reality device 100, or images representing control menus.
  • virtual images such as images of content, images of real objects, information about the operation of the virtual reality device 100, or images representing control menus.
  • a virtual image is displayed through the display 150, a user wearing the virtual reality device 100 may use the image sensor 130, the eye tracking sensor 160, or the input unit 180 to manipulate the virtual image. Images can be manipulated.
  • the gaze tracking sensor 160 can detect gaze information, such as the gaze direction of the user's eyes, the position of the pupil of the user's eye, or the coordinates of the center point of the pupil. For example, the gaze tracking sensor 160 can irradiate infrared light to the user's eyes and receive the reflected light, thereby detecting the pupil from the captured image and tracking its movement.
  • the processor 120 may determine the form of eye movement based on the user's gaze information detected by the gaze tracking sensor 160. For example, based on the gaze information acquired from the gaze tracking sensor 160, the processor 120 performs fixation to look at a certain point, pursuit to chase a moving object, and gaze from one gaze point to another.
  • the processor 120 of the virtual reality device 100 may use the gaze tracking sensor 160 to determine the user's gaze point or the user's gaze movement and use it to control the virtual reality device 100.
  • the communication interface module 170 is connected to a device located outside of the virtual reality device 100, and transmits information acquired or generated by the virtual reality device 100 to the device located outside, or transmits various information from the device located outside. types of information can be received.
  • the externally located device may be the server 200 or a user terminal (not shown).
  • the communication interface module 170 can communicate with other devices or networks.
  • the communication interface module 170 may include a communication module that supports at least one of various communication methods. For example, it may include a communication module that performs short-distance communication such as Wi-Fi (Wireless Fidelity) or Bluetooth, various types of mobile communication, or ultra-wideband communication.
  • the input unit 180 may receive an input from the user of the virtual reality device 100.
  • the input unit 180 may be a touch screen, a microphone that receives the user's voice, or a motion sensor that detects the user's motion, but is not limited thereto.
  • the input unit 180 may be replaced by receiving a user's input using the image sensor 130 and the eye tracking sensor 140.
  • the processor 120 may obtain gaze coordinates based on gaze information obtained using the gaze tracking sensor 160.
  • the processor 120 may recognize a gesture for selecting a virtual image corresponding to gaze coordinates based on the image captured through the image sensor 130.
  • the processor 120 can control overall operations for controlling the virtual reality device 100 by executing one or more instructions stored in the memory 110.
  • the processor 120 or the first processor constituting the processor 120 executes a spatial sensing module, based on scan space information about the space where content is viewed and content information about the content. , a first area and a second area different from the first area can be set within the space where content is viewed.
  • the processor 120 or the first processor may sense the first area and the second area using at least one image sensor 130.
  • the first area may be determined based on scan space information and content information
  • the second area may be determined based on scan space information.
  • the processor 120 or the first processor may sense the space in which the content is viewed using at least one image sensor 130. You can.
  • the processor 120 or the first processor may determine the first area and the second area based on scan space information resulting from sensing and content information regarding content for which a playback input has been received. Additionally, the processor 120 or the first processor may obtain information about permitted objects that may be located in the second area through the input unit 180.
  • the processor 120 or the first processor transmits information about the first area, information about the second area, and information about the obtained permitted object to the server 200 that provides the content through the communication interface module 170. You can.
  • the processor 120 or the first processor receives a playback input for content with an execution history through the input unit 180, the first area is generated from the server 200 that provides the content with an execution history. Information about and information about the second area can be received through the communication interface module 170. The processor 120 or the first processor may determine the first area and the second area based on the received information about the first area and information about the second area.
  • the server 200 stores the content viewing history of the virtual reality device 100, if there is a request for content with a viewing history from the virtual reality device 100, the previously set first area and second area Information about can be searched and transmitted to the virtual reality device 100. In this case, the virtual reality device 100 may omit some processes for setting the first area and the second area.
  • the processor 120 or the first processor determines the first area and the second area based on scan space information and content information about the content, and inputs the virtual reality device 100 through the input unit 180. According to the user's input, the first area and the second area can be adjusted.
  • the processor 120 or the first processor may set the area range of the first area differently depending on the type of content included in the content information.
  • the processor 120 or the second processor constituting the processor 120 executes an object tracking module to detect the first area or the second area based on the sensing results for the first area and the second area. An object located within the second area can be tracked.
  • the processor 120 or the second processor may confirm the current location, movement direction, movement speed, etc. of the object by continuously detecting the object in the first area or the second area.
  • the processor 120 or the second processor may detect an object and determine whether communication with a device of the object located in the second area is possible. As a result of the determination, the processor 120 or the second processor tracks the detected object based on the sensing result if communication with the device of the object located in the second area is impossible, and if communication is possible, the sensing result and the communication interface module The detected object can be tracked based on the location information and user information of the object received from the device of the detected object through 170 .
  • the processor 120 or the third processor constituting the processor 120 executes a screen display control module, based on the tracking result of an object located in the first area or the second area,
  • the screen display of the virtual reality device 100 can be controlled using the display engine unit 140 and the display 150.
  • the processor 120 or a third processor may determine whether the object is located in the first area or the second area.
  • the processor 120 or the third processor may display the screen of the virtual reality device 100 by controlling the display engine unit 140 and the display 150 according to the screen display mode based on the determination result.
  • the processor 120 or the third processor may identify the object and determine whether the identified object is an object that has already been registered as an allowed object. As a result of the determination, the processor 120 or the third processor displays an indicator corresponding to the object on the content playback screen if the identified object is a pre-registered object, and if the identified object is not a pre-registered object, an indicator corresponding to the object is displayed on the content playback screen.
  • the display engine unit 140 and the display 150 can be controlled to display a see-through portion of the screen.
  • the processor 120 or the second processor may determine the position of the indicator or the see-through partial screen on the content playback screen based on the location, movement direction, and movement speed of the identified object.
  • the processor 120 or the third processor may control the display engine unit 140 and the display 150 to switch the content playback screen to a see-through full screen when an object is located in the first area. there is.
  • the content playback screen is switched to a see-through full screen, the content being played is terminated, and the real world is filmed so that the user can feel as if they are directly viewing a real scene while wearing the virtual reality device 100.
  • One image can be displayed on the display 150 of the virtual reality device 100 in real time.
  • the see-through full screen becomes a content playback screen.
  • the indicator or see-through partial screen may be displayed on the content playback screen, or the indicator or see-through partial screen may not be displayed on the content playback screen so that the user no longer cares about objects that have already been checked. there is.
  • FIG. 15 is a block diagram for explaining the configuration of the server 200 that communicates with the virtual reality device 100 according to an embodiment of the present disclosure.
  • the server 200 includes a memory 210, a processor 220, a communication interface module 230, and a storage 240.
  • a processor 220 the server 200 includes a memory 210, a processor 220, a communication interface module 230, and a storage 240.
  • a storage 240 the server 200 includes a storage 240.
  • Those skilled in the art related to this embodiment will know that other general-purpose components may be included in addition to the components shown in FIG. 15.
  • Each component of the block diagram of FIG. 15 may be separated, added, or omitted depending on the implementation method of the server 200. That is, depending on the implementation method, one component may be subdivided into two or more components, two or more components may be combined into one component, or some components may be added or removed.
  • the server 200 is a device that provides virtual reality services and can provide a virtual reality service platform.
  • the server 200 is a device that provides content and may provide content based on a virtual reality service.
  • Memory 210 may store instructions executable by processor 220. Memory 210 may store software or programs.
  • the processor 220 may execute instructions stored in the memory 210.
  • the processor 220 may perform overall control of the server 200.
  • the processor 220 may obtain information and requests received through the communication interface module 230 and store the received information in the storage 240 . Additionally, the processor 220 may process received information. For example, the processor 220 may acquire information used in a second external device from information received from a first external device or process the received information. Additionally, the processor 220 may transfer information received from the first external device to the second external device.
  • the communication interface module 230 may communicate with an external device such as the virtual reality device 100.
  • the server 200 may receive information related to the virtual reality service from the virtual reality device 100 and, upon request from the virtual reality device 100, may transmit information related to the virtual reality service. For example, the server 200 receives information about the first area, information about the second area, and information about permitted objects from the virtual reality device 100, and receives information for each virtual reality device 100. can be saved.
  • Storage 240 can store various software and information.
  • the storage 240 may store programs running on the server 200, applications, and various data or information used to provide virtual reality services.
  • the server 200 may serve as an intermediary device to exchange information between virtual reality devices 100 within a predetermined range. To this end, the server 200 may pre-register information about the virtual reality device 100 for each user in the storage 240 and update information related to the virtual reality service. The server 200 may transmit a virtual reality service reflecting information received from the virtual reality device 100 to another virtual reality device 100.
  • Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and non-volatile media, removable and non-removable media. Additionally, computer-readable media may include computer storage media and communication media. Computer storage media includes both volatile and non-volatile, removable and non-removable media implemented in any method or technology for storage of information such as computer-readable instructions, data structures, program modules, or other data. Communication media typically may include computer readable instructions, data structures, or other data, such as modulated data signals, or program modules.
  • computer-readable storage media may be provided in the form of non-transitory storage media.
  • 'non-transitory storage medium' simply means that it is a tangible device and does not contain signals (e.g. electromagnetic waves). This term refers to cases where data is semi-permanently stored in a storage medium and temporary storage media. It does not distinguish between cases where it is stored as .
  • a 'non-transitory storage medium' may include a buffer where data is temporarily stored.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • a computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or through an application store or between two user devices (e.g. smartphones). It may be distributed in person or online (e.g., downloaded or uploaded). In the case of online distribution, at least a portion of the computer program product (e.g., a downloadable app) is stored on a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server. It can be temporarily stored or created temporarily.
  • a machine-readable storage medium such as the memory of a manufacturer's server, an application store's server, or a relay server. It can be temporarily stored or created temporarily.
  • a method for controlling a virtual reality device 100 is provided.
  • a method of controlling the virtual reality device 100 is to create a first area and a second area different from the first area in the space where the content is viewed, based on scan space information about the space where the content is viewed and content information about the content. Includes a setting step (S210). Additionally, the method of controlling the virtual reality device 100 includes sensing the first area and the second area using at least one image sensor 130 (S220). Additionally, the method of controlling the virtual reality device 100 includes tracking an object located in the first area or the second area based on the sensing result (S230). Additionally, the method of controlling the virtual reality device 100 includes controlling the screen display of the virtual reality device 100 based on the tracking result (S240).
  • controlling the screen display of the virtual reality device 100 includes determining whether the object is located in the first area or the second area (S1010, S1060). can do.
  • the step of controlling the screen display of the virtual reality device 100 (S240) includes steps of displaying the screen of the virtual reality device 100 according to a screen display mode based on the determination result (S1040, S1050, and S1070). can do.
  • the object is identified and the identified object is pre-registered as an allowed object. It may include determining whether it is an object (S1020, S1030).
  • the steps of displaying the screen of the virtual reality device 100 if the identified object is a pre-registered object as a result of the determination, an indicator corresponding to the object is displayed on the content playback screen, and the identified object is displayed.
  • a step of displaying a see-through partial screen on the content playback screen may be included.
  • the steps of displaying the screen of the virtual reality device 100 include, when an object is located in the first area (S1060), switching the content playback screen to a see-through full screen (S1070). may include.
  • the position of the indicator or see-through partial screen on the content playback screen may be determined based on the position, movement direction, and movement speed of the object.
  • the step of tracking an object may include a step of detecting the object (S910). Additionally, the step of tracking an object (S230) may include a step of determining whether communication with a device of the object located in the second area is possible (S920). In addition, in the object tracking step (S230), if communication with the device of the object located in the second area is impossible as a result of the determination, the detected object is tracked based on the sensing result, and the device of the object located in the second area is tracked. If communication is possible, it may include tracking the detected object based on the sensing result and the location information and user information of the object received from the device of the detected object (S930, S940).
  • the step of setting a first area and a second area different from the first area in a space for viewing content is performed by receiving a playback input for the content, It may include the step of sensing the space (S310, S410).
  • the step of setting the first area and the second area is the step of determining the first area and the second area based on scan space information according to sensing and content information about the content for which the playback input has been received ( S320, S420) may be included.
  • the step of setting the first area and the second area (S210) may include steps (S330, S430) of obtaining information about permitted objects that can be located in the second area.
  • steps (S330, S430) of obtaining information about permitted objects that can be located in the second area may include steps (S340, S440).
  • the step (S210) of setting a first area and a second area different from the first area within a space for viewing content is performed upon receiving a playback input for content that has an execution history.
  • It may include steps (S510, S610) of receiving information about the first area and information about the second area from the server 200 that provides content with an execution history.
  • the step of setting the first area and the second area (S210) includes the step of determining the first area and the second area based on the received information about the first area and the information about the second area (S520). , S620).
  • the step (S210) of setting a first area and a second area different from the first area within a content viewing space is based on scan space information and content information about the content, It may include steps of determining the first area and the second area (S710, S810).
  • setting the first area and the second area (S210) may include adjusting the first area and the second area according to the input of the user of the virtual reality device 100 (S720, S820). there is.
  • a computer-readable recording medium on which a program for executing the above-described method is recorded can be provided.
  • a virtual reality device 100 includes a memory 110 that stores one or more instructions, a processor 120, at least one image sensor 130, a display engine unit 140, and a display 150.
  • the processor 120 By executing one or more instructions, the processor 120 creates a first area and a second area different from the first area in the space where the content is viewed, based on scan space information about the space where the content is viewed and content information about the content. Set .
  • the processor 120 senses the first area and the second area using at least one image sensor 130 by executing one or more instructions.
  • the processor 120 tracks an object located in the first area or the second area based on the sensing result by executing one or more instructions.
  • the processor 120 controls the screen display of the virtual reality device 100 using the display engine unit 140 and the display 150 based on the tracking result by executing one or more instructions.
  • the processor 120 may determine whether an object is located in the first area or the second area by executing one or more instructions. Additionally, the processor 120 may display the screen of the virtual reality device 100 by controlling the display engine unit 140 and the display 150 according to the screen display mode based on the determination result.
  • the processor 120 may identify the object when the object is located in the second area and determine whether the identified object is an object that has already been registered as an allowed object. Additionally, as a result of the determination, the processor 120 displays an indicator corresponding to the object on the content playback screen if the identified object is a pre-registered object, and if the identified object is not a pre-registered object, a see-through display is displayed on the content playback screen.
  • the display engine unit 140 and the display 150 can be controlled to display a partial screen. Additionally, the processor 120 may control the display engine unit 140 and the display 150 to convert the content playback screen to a see-through full screen when an object is located in the first area by executing one or more instructions. there is.
  • the processor 120 may execute one or more instructions to determine the position of the indicator or the see-through partial screen on the content playback screen based on the location, movement direction, and movement speed of the identified object.
  • the virtual reality device 100 may further include a communication interface module 170.
  • the processor 120 may detect an object and determine whether communication with a device of the object located in the second area is possible by executing one or more instructions. As a result of the determination, if communication with the device of the object located in the second area is impossible, the processor 120 tracks the detected object based on the sensing result, and if communication is possible, sends the sensing result and the communication interface module 170. The detected object can be tracked based on the object's location information and user information received from the device of the detected object.
  • the virtual reality device 100 may further include an input unit 180.
  • the processor 120 executes one or more instructions to receive a playback input for content through the input unit 180 and senses the space in which the content is viewed using at least one image sensor 130. You can.
  • the processor 120 may determine the first area and the second area based on scan space information resulting from sensing and content information regarding content for which a playback input has been received.
  • the virtual reality device 100 may further include a communication interface module 170. Additionally, the processor 120 may obtain information about permitted objects that can be located in the second area through the input unit 180 by executing one or more instructions. The processor 120 may transmit information about the first area, information about the second area, and information about the obtained permitted object to the server 200 that provides content through the communication interface module 170.
  • the virtual reality device 100 may further include a communication interface module 170 and an input unit 180.
  • the processor 120 receives a playback input for content with an execution history through the input unit 180, thereby receiving information about the first area from the server 200 that provides the content with an execution history.
  • Information and information about the second area can be received through the communication interface module 170.
  • the processor 120 may determine the first area and the second area based on the received information about the first area and information about the second area.
  • the virtual reality device 100 may further include an input unit 180.
  • the processor 120 determines the first area and the second area based on the scan space information and the content information about the content by executing one or more instructions, and the user of the virtual reality device 100 through the input unit 180 According to the input, the first area and the second area can be adjusted.
  • the processor 120 may set the area range of the first area differently depending on the type of content included in the content information by executing one or more instructions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

콘텐츠를 시청하는 공간에 대한 스캔 공간 정보와 콘텐츠에 관한 콘텐츠 정보에 기초하여, 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정하고, 적어도 하나의 이미지 센서를 이용하여, 제1 영역과 제2 영역을 센싱하여, 센싱 결과에 기초하여, 제1 영역 또는 제2 영역 내에 위치하는 객체를 추적하고, 추적 결과에 기초하여, 가상 현실 장치의 화면 표시를 제어하는, 가상 현실 장치를 제어하는 방법 및 가상 현실 장치가 개시된다.

Description

가상 현실 장치를 제어하는 방법 및 이를 이용하는 가상 현실 장치
가상 현실 장치를 제어하는 방법 및 이를 이용하는 가상 현실 장치에 관한 것이다.
가상 현실(Virtual Reality)은 가상의 공간에서 가상 이미지를 현실처럼 체험하도록 보여주는 것을 의미한다. 가상 현실 장치(Vitual Reality Device)는 '가상 현실'을 표현할 수 있는 장치로서, 헤드 마운트 디스플레이 장치나, 가상 현실 헬멧(Vitual Reality Helmet), 사용자의 시야를 모두 덮을 수 있는 형태의 고글형 디스플레이 장치일 수 있다.
본 개시의 일 실시예에 따르면, 가상 현실 장치를 제어하는 방법이 제공된다. 가상 현실 장치를 제어하는 방법은 콘텐츠를 시청하는 공간에 대한 스캔 공간 정보와 콘텐츠에 관한 콘텐츠 정보에 기초하여, 콘텐츠를 시청하는 공간 내에 제1 영역과 제1 영역과 다른 제2 영역을 설정하는 단계를 포함한다. 또한, 가상 현실 장치를 제어하는 방법은 적어도 하나의 이미지 센서를 이용하여, 제1 영역과 제2 영역을 센싱하는 단계를 포함한다. 또한, 가상 현실 장치를 제어하는 방법은 센싱 결과에 기초하여, 제1 영역 또는 제2 영역 내에 위치하는 객체를 추적하는 단계를 포함한다. 또한, 가상 현실 장치를 제어하는 방법은 추적 결과에 기초하여, 가상 현실 장치의 화면 표시를 제어하는 단계를 포함한다.
본 개시의 일 실시예에 따르면, 전술한 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
본 개시의 일 실시예에 따르면, 가상 현실 장치가 제공된다. 가상 현실 장치는 하나 이상의 인스트럭션을 저장하는 메모리, 프로세서, 적어도 하나의 이미지 센서, 디스플레이 엔진부, 및 디스플레이를 포함한다. 프로세서는 하나 이상의 인스트럭션을 실행함으로써, 콘텐츠를 시청하는 공간에 대한 스캔 공간 정보와 콘텐츠에 관한 콘텐츠 정보에 기초하여, 콘텐츠를 시청하는 공간 내에 제1 영역과 제1 영역과 다른 제2 영역을 설정한다. 또한, 프로세서는 하나 이상의 인스트럭션을 실행함으로써, 적어도 하나의 이미지 센서를 이용하여, 제1 영역과 제2 영역을 센싱한다. 또한, 프로세서는 하나 이상의 인스트럭션을 실행함으로써, 센싱 결과에 기초하여, 제1 영역 또는 제2 영역 내에 위치하는 객체를 추적한다. 또한, 프로세서는 하나 이상의 인스트럭션을 실행함으로써, 추적 결과에 기초하여, 디스플레이 엔진부와 디스플레이를 이용하여, 가상 현실 장치의 화면 표시를 제어한다.
도 1은 본 개시의 일 실시예에 따른 가상 현실 장치를 착용한 사용자가 가상 현실 장치를 통해 콘텐츠를 시청하는 중에 객체가 접근함에 따라 가상 형성 장치의 화면 표시를 제어하는 모습을 나타낸 도면이다.
도 2는 본 개시의 일 실시예에 따른 가상 현실 장치를 제어하는 방법을 설명하기 위한 흐름도이다.
도 3은 본 개시의 일 실시예에 따른 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정하는 단계에 대한 상세 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 가상 현실 장치의 화면에 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정하는 과정을 표시한 예를 나타낸 도면이다.
도 5는 본 개시의 일 실시예에 따른 가상 현실 장치에서 콘텐츠의 타입에 따른 제1 영역의 영역 범위를 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시예에 따른 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정하는 단계에 대한 상세 흐름도이다.
도 7은 본 개시의 일 실시예에 따른 가상 현실 장치의 화면에 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정하는 과정을 표시한 예를 나타낸 도면이다.
도 8은 본 개시의 일 실시예에 따른 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정하는 단계에 대한 상세 흐름도이다.
도 9는 본 개시의 일 실시예에 따른 가상 현실 장치의 화면에 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정하는 과정을 표시한 예를 나타낸 도면이다.
도 10은 본 개시의 일 실시예에 따른 제1 영역 또는 제2 영역 내에 위치하는 객체를 추적하는 단계에 대한 상세 흐름도이다.
도 11은 본 개시의 일 실시예에 따른 가상 현실 장치의 화면 표시를 제어하는 단계에 대한 상세 흐름도이다.
도 12는 본 개시의 일 실시예에 따른 가상 현실 장치에서 제1 영역과 제2 영역에 객체가 위치하는지에 따라 화면 표시를 제어하는 모습을 나타낸 도면이다.
도 13은 본 개시의 일 실시예에 따른 가상 현실 장치에서 제2 영역 내에 위치하는 객체의 디바이스와 통신을 수행하여 객체를 추적하고, 콘텐츠 재생 화면에 객체에 대응되는 인디케이터를 표시한 예를 나타낸 도면이다.
도 14는 본 개시의 일 실시예에 따른 가상 현실 장치의 구성을 설명하기 위한 블록도이다.
도 15는 본 개시의 일 실시예에 따른 가상 현실 장치와 통신을 수행하는 서버의 구성을 설명하기 위한 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다. 본 개시에서, "a, b 또는 c 중 적어도 하나" 표현은 "a", "b", "c", "a 및 b", "a 및 c", "b 및 c", "a, b 및 c 모두", 혹은 그 변형들을 지칭할 수 있다.
본 개시에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 또한, 본 명세서에서 사용되는 '제1' 또는 '제2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시예에 따른 가상 현실 장치(100)를 착용한 사용자가 가상 현실 장치(100)를 통해 콘텐츠를 시청하는 중에 객체가 접근함에 따라 가상 형성 장치(100)의 화면 표시를 제어하는 모습을 나타낸 도면이다.
본 개시에서, 가상 현실 장치(100)는 가상 현실(Virtual Reality)을 표현할 수 있는 장치이다. '가상 현실'은 가상 세계의 디지털 환경 공간 내에 가상 이미지를 함께 보여주거나 현실 객체(real world object)에 대응되는 이미지와 가상 이미지를 함께 보여주는 것을 의미한다. 가상 현실 장치(100)는 헤드 마운트 디스플레이 장치(HMD: Head Mounted Display Apparatus) 또는 가상 현실 헬멧(Virtual Reality Helmet) 형태일 수 있다.
서버(200)는 가상 현실 장치(100)에 가상 현실 서비스나 가상 현실 서비스에 기반한 콘텐츠를 제공한다. 서버(200)는 가상 현실 장치(100)로부터 가상 현실 서비스에 관련된 정보를 수신하거나, 가상 현실 장치(100)에 가상 현실 서비스에 관련된 정보를 송신할 수 있다. 서버(200)는 가상 현실 서비스를 위한 플랫폼을 제공하며, 가상 현실 서비스에 등록되어 있거나 가상 현실 서비스를 구독 중인 사용자의 가상 현실 장치(100)에 가상 현실 서비스 또는 가상 현실 서비스에 기반한 콘텐츠를 제공할 수 있다. 가상 현실 장치(100)들은 서버(200)를 통해 서로 정보를 주고 받을 수 있으며, 소정의 범위 내에 있는 가상 현실 장치(100)들은 상호 간에 직접적인 통신을 통해 서로 연결될 수 있다.
도 1을 참고하면, 본 개시의 일 실시예에 따른 가상 현실 장치(100)는 콘텐츠를 시청하는 공간 내에 서로 다른 영역들을 설정하여, 설정된 영역들 내의 객체를 추척할 수 있다. 가상 현실 장치(100)는 콘텐츠를 시청하는 공간에 설정된 제1 영역 또는 제2 영역에 객체가 있는지에 따라, 가상 현실 장치(100)의 화면 표시를 제어할 수 있다. 제1 영역은 가상 현실 장치(100)를 착용한 사용자가 콘텐츠를 몰입하여 시청 또는 체험하기 위해 필요한 크기의 공간으로서, 몰입 영역에 해당한다. 제2 영역은 가상 현실 장치(100)를 착용한 사용자가 외부 객체의 접근을 인지하기 위한 소정의 공간으로서, 안전 영역에 해당한다.
도 1에 도시된 내용을 보면, 사용자가 가상 현실 장치(100)를 착용하고, 게임하는 경우, 가상 현실 장치(100)는 콘텐츠를 시청하는 공간 내에 설정된 제1 영역과 제2 영역을 센싱할 수 있다. 가상 현실 장치(100)를 착용한 사용자는 외부 환경을 볼 수 없는 광차폐 상태이기 때문에, 가상 현실 장치(100)가 카메라나 마이크 등을 이용하여, 주변 환경을 센싱할 수 있다.
제2 영역 밖에 있던 다른 사용자와 같은 객체가 제2 영역에 진입하게 되면, 가상 현실 장치(100)는 제2 영역에서 객체를 검출하고 추적할 수 있다. 가상 현실 장치(100)는 제2 영역에 객체 진입이 확인되면, 해당 객체를 식별하여, 식별된 객체에 대한 정보를 게임 화면의 일부분에 표시하여, 사용자에게 알려줄 수 있다. 사용자는 가상 현실 장치(100)를 착용한 상태에서 제2 영역에 위치한 객체를 확인할 수 있다.
제2 영역에 위치하던 객체가 제1 영역으로 진입하게 되면, 가상 현실 장치(100)는 제1 영역에 객체 진입을 확인하고, 게임 화면을 씨스루 전체 화면으로 전환하여 표시할 수 있다. 가상 현실 장치(100)는 게임 화면을 종료하고, 대신, 현실 세계를 가상 현실 장치(100)에 구비된 카메라로 촬영하여 실시간으로 가상 현실 장치(100)의 디스플레이에 표시할 수 있다. 사용자는 가상 현실 장치(100)를 착용한 상태에서 외부 환경을 확인할 수 있다.
이하, 콘텐츠를 시청하는 공간 내에 설정된 소정의 영역들에 대한 외부 객체의 진입 여부에 따라 가상 현실 장치(100)의 화면 표시를 제어하고, 가상 현실 장치(100)를 착용한 상태에서 소정의 영역들에 진입하는 객체를 인지할 수 있도록, 가상 현실 장치(100)를 제어하는 방법 및 이를 수행하는 가상 현실 장치(100)에 대해 설명한다.
도 2는 본 개시의 일 실시예에 따른 가상 현실 장치(100)를 제어하는 방법을 설명하기 위한 흐름도이다.
가상 현실 장치(100)는 콘텐츠를 시청하는 공간에 대한 스캔 공간 정보와 콘텐츠에 관한 콘텐츠 정보에 기초하여, 콘텐츠를 시청하는 공간 내에 제1 영역과 제1 영역과 다른 제2 영역을 설정할 수 있다.(S210) 가상 현실 장치(100)는 영화, 교육, 스포츠, 게임 등 다양한 분야의 콘텐츠를 제공할 수 있다. 스캔 공간 정보는 가상 현실 장치(100)를 착용한 사용자가 콘텐츠를 시청하는 공간을 적어도 하나의 센서로 센싱하여, 주변 지형이나 사물을 스캔한 정보이다. 제1 영역은 콘텐츠의 타입에 따라 영역 범위가 달라질 수 있으며, 제2 영역은 제1 영역 밖의 소정의 영역 범위를 가질 수 있다. 설명의 편의상, 본 개시의 일 실시예에서는 제1 영역과 제2 영역, 총 2개의 영역을 설정하는 예를 들어 설명하나, 이에 한정되는 것은 아니며, 제1 영역부터 제N 영역까지, 총 N개의 영역을 설정할 수도 있다. 가상 현실 장치(100)가 콘텐츠를 시청하는 공간에 총 N개의 영역을 설정하는 경우, 각 영역에 객체가 진입할 때마다, 가상 현실 장치(100)의 화면 표시를 다르게 제어할 수 있다. 이하, 도 3 내지 도 9를 참고하여, 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정하는 과정을 상세히 설명한다.
도 3은 본 개시의 일 실시예에 따른 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정하는 단계에 대한 상세 흐름도이다.
도 3에서는 가상 현실 장치(100)가 적어도 하나의 이미지 센서를 이용하여 콘텐츠를 시청하는 공간을 직접 센싱하는 예에 대해서 설명한다.
가상 현실 장치(100)는 콘텐츠에 대한 재생 입력을 수신함에 따라, 콘텐츠를 시청하는 공간을 센싱할 수 있다.(S310) 가상 현실 장치(100)는 가상 현실 장치(100)에 구비된 카메라나 라이다와 같은 이미지 센서를 이용하여, 주변 환경을 센싱할 수 있다.
예를 들어, 가상 현실 장치(100)는 적어도 하나의 이미지 센서를 이용하여 콘텐츠를 시청하는 공간을 스캔할 수 있다. 가상 현실 장치(100)는 스캔된 이미지로부터 깊이 정보를 획득할 수 있다. 가상 현실 장치(100)는 촬영된 복수의 이미지들과 깊이 정보를 포함하는 깊이 맵을 이용하여, 콘텐츠를 시청하는 공간에 대한 3차원 스캔 결과를 획득할 수 있다. 다른 예를 들어, 가상 현실 장치(100)는 콘텐츠를 시청하는 공간에 대해 촬영된 복수의 이미지들을 이용하여 3차원 스캔 결과를 획득할 수 있다.
가상 현실 장치(100)는 센싱에 따른 스캔 공간 정보와 재생 입력이 수신된 콘텐츠에 관한 콘텐츠 정보에 기초하여, 제1 영역과 제2 영역을 결정할 수 있다.(S320) 가상 현실 장치(100)는 콘텐츠를 시청하는 공간을 스캔한 스캔 공간 정보와 사용자가 선택한 콘텐츠에 관한 콘텐츠 정보에 기초하여, 제1 영역의 영역 범위과 제2 영역의 영역 범위를 결정할 수 있다. 콘텐츠에 관한 콘텐츠 정보는 콘텐츠의 명칭, 콘텐츠의 타입이나 분야, 콘텐츠를 시청하거나 체험하는 방식, 콘텐츠에 몰입하기 위해 요구되는 거리 또는 안전한 콘텐츠 실행에 요구되는 안전 거리 등이 될 수 있다. 콘텐츠에 관한 콘텐츠 정보는 각 콘텐츠에 대응되는 애플리케이션의 실행 파일에 메타데이터 형태로 포함되어 있거나, 콘텐츠의 내용으로부터 또는 외부의 장치로부터 획득될 수 있다. 예를 들어, 가상 현실 장치(100)는 사용자가 선택한 콘텐츠를 분석하여, 가상 현실 장치(100)를 착용한 사용자가 콘텐츠가 재생되는 동안 움직임이 많은지 또는 넓은 영역이 필요한지 판단하여, 제1 영역을 설정할 수 있다. 가상 현실 장치(100)는 제1 영역을 설정한 후, 더 넓은 소정의 영역 범위까지 제2 영역으로 설정할 수 있다.
더 나아가, 가상 현실 장치(100)는 제2 영역에 위치할 수 있는 허용 객체에 관한 정보를 획득할 수 있다.(S330) 가상 현실 장치(100)의 사용자는 제2 영역에 진입이 예상되거나 진입을 허용하는 객체에 대해서, 객체에 관한 정보를 등록해 둘 수 있다. 객체에 관한 정보는 객체의 식별 정보, 객체의 사진이나 아바타와 같은 이미지 정보, 객체의 소속 정보 등일 수 있다.
가상 현실 장치(100)는 제1 영역에 대한 정보, 제2 영역에 대한 정보, 및 획득된 허용 객체에 관한 정보를 콘텐츠를 제공하는 서버(200)에 전송할 수 있다.(S340) 이와 같은 정보들을 서버(200)에 저장해 두고 이용함으로써, 가상 현실 장치(100)는 동일하거나 유사한 콘텐츠를 재생할 때, 제1 영역과 제2 영역을 설정하는 과정을 간단하고 빠르게 처리할 수 있다.
도 4는 본 개시의 일 실시예에 따른 가상 현실 장치(100)의 화면에 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정하는 과정을 표시한 예를 나타낸 도면이다.
도 4를 참고하면, 가상 현실 장치(100)를 착용한 사용자는 가상 현실 장치(100)이 디스플레이에 표시된 홈 화면에서 다양한 분야 및 장르의 콘텐츠들 중, 재생하고자 하는 콘텐츠에 대응되는 애플리케이션을 실행시킬 수 있다.(S400)
가상 현실 장치(100)는 사용자가 선택한 콘텐츠를 재생하기 전에, 콘텐츠를 시청하는 공간을 센싱하여, 스캔 공간 정보를 획득할 수 있다.(S410)
가상 현실 장치(100)는 획득된 스캔 공간 정보와 사용자의 입력에 따라 선택된 콘텐츠에 관한 콘텐츠 정보에 기초하여, 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정할 수 있다.(S420)
가상 현실 장치(100)를 착용한 사용자는 제2 영역에 진입이 예상되거나 진입을 허용하는 허용 객체에 관한 정보를 등록해 둘 수 있다.(S430) 가상 현실 장치(100)를 착용한 사용자는 허용 객체를 추가하거나 제거할 수 있고, 허용 객체에 관한 정보를 입력할 수 있다.
가상 현실 장치(100)는 설정된 영역에 대한 정보나 허용 객체에 관한 정보를 사용자의 입력에 따라 선택된 콘텐츠를 제공하는 서버(200)에 전송할 수 있다.(S440) 추후, 가상 현실 장치(100)의 사용자가 해당 콘텐츠의 실행을 서버(200)에 다시 요청하는 경우, 가상 현실 장치(100)는 서버(200)로부터 설정된 영역에 대한 정보나 허용 객체에 관한 정보를 수신함으로써, S410 내지 S440의 과정을 대체할 수 있다.
가상 현실 장치(100)는 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정한 후, 사용자의 콘텐츠 재생 시작 요청에 따라, 콘텐츠 재생 화면을 표시할 수 있다.(S450) 가상 현실 장치(100)는 콘텐츠가 재생되는 동안, 적어도 하나의 센서를 이용하여 주변의 환경을 감시함으로써, 제1 영역과 제2 영역을 센싱할 수 있다.
도 5는 본 개시의 일 실시예에 따른 가상 현실 장치(100)에서 콘텐츠의 타입에 따른 제1 영역의 영역 범위를 설명하기 위한 도면이다.
도 5를 참고하면, 콘텐츠의 타입에 따라, 제1 영역의 영역 범위가 달라짐을 알 수 있다. 예를 들어, 영화나 레이싱 게임과 같은 제1 타입의 콘텐츠의 경우, 가상 현실 장치(100)는 사용자가 앉을 수 있는 의자와 같은 현실 객체를 인식하고, 의자에 해당하는 영역을 고려하여 제1 영역을 설정할 수 있다. 다른 예를 들어, 댄스나 리듬 게임과 같은 제2 타입의 콘텐츠의 경우, 가상 현실 장치(100)는 가상 현실 장치(100)를 착용한 사용자의 위치를 중심으로 제1 영역을 설정할 수 있다. 이때, 설정하고자 하는 제1 영역에 장애물이 있는 경우, 가상 현실 장치(100)는 제1 영역을 보정하여 설정하고, 가상 현실 장치(100)를 착용한 사용자에게 설정된 제1 영역 안으로 들어오도록 유도할 수 있다. 또 다른 예를 들어, 복싱이나 샌드박스형 게임과 같은 제3 타입의 콘텐츠의 경우, 사용자의 많은 움직임이 필요하므로 넓은 범위의 제1 영역을 확보할 수 있도록, 가상 현실 장치(100)는 가상 현실 장치(100)를 착용한 사용자에게 장애물을 치우도록 유도할 수 있다.
6은 본 개시의 일 실시예에 따른 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정하는 단계에 대한 상세 흐름도이다.
도 6에서는 가상 현실 장치(100)가 외부의 서버(200)로부터 제1 영역과 제2 영역을 설정하는데 필요한 정보를 수신하여 제1 영역과 제2 영역을 설정하는 예에 대해서 설명한다.
가상 현실 장치(100)는 실행 이력이 있는 콘텐츠에 대한 재생 입력을 수신함에 따라, 실행 이력이 있는 콘텐츠를 제공하는 서버(200)로부터 제1 영역에 대한 정보와 제2 영역에 대한 정보를 수신할 수 있다.(S510) 예를 들어, 가상 현실 장치(100)는 예전에 실행한 적이 있는 콘텐츠와 동일하거나 유사한 콘텐츠에 대한 사용자의 선택이 있는 경우, 해당 콘텐츠를 제공하는 서버(200)에 제1 영역에 대한 정보와 제2 영역에 대한 정보를 요청할 수 있다. 서버(200)는 가상 현실 장치(100)의 요청에 응답하여, 서버(200)에 저장되어 있는 제1 영역에 대한 정보와 제2 영역에 대한 정보를 회득하여, 가상 현실 장치(100)로 전송할 수 있다.
가상 현실 장치(100)는 서버(200)로부터 수신된, 제1 영역에 대한 정보와 제2 영역에 대한 정보에 기초하여, 제1 영역과 제2 영역을 결정할 수 있다.(S520) 이와 같은 경우, 콘텐츠를 시청하는 공간을 스캔하거나 사용자가 선택한 콘텐츠를 분석하는 과정 없이, 제1 영역의 영역 범위과 제2 영역의 영역 범위를 결정할 수 있다.
한편, 가상 현실 장치(100)는 서버(200)로부터 기등록된 허용 객체에 관한 정보를 더 수신할 수 있다. 가상 현실 장치(100)는 서버(200)로부터 수신된, 허용 객체에 관한 정보를 이용하여, 제2 영역에 위치하는 객체가 허용 객체로서 기등록된 객체인지 확인할 수 있다.
도 7은 본 개시의 일 실시예에 따른 가상 현실 장치(100)의 화면에 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정하는 과정을 표시한 예를 나타낸 도면이다.
도 7을 참고하면, 가상 현실 장치(100)를 착용한 사용자는 가상 현실 장치(100)의 디스플레이에 표시된 홈 화면에서 다양한 분야 및 장르의 콘텐츠들 중, 재생하고자 하는 콘텐츠에 대응되는 애플리케이션을 실행시킬 수 있다.(S600)
가상 현실 장치(100)는 실행 이력이 있는 콘텐츠에 대한 재생 입력을 수신함에 따라, 실행 이력이 있는 콘텐츠를 제공하는 서버(200)와 통신을 수행할 수 있다. 가상 현실 장치(100)는 실행 이력이 있는 콘텐츠를 제공하는 서버(200)로부터 제1 영역에 대한 정보와 제2 영역에 대한 정보를 수신할 수 있다.(S610)
가상 현실 장치(100)는 서버(200)로부터 수신된, 제1 영역에 대한 정보와 제2 영역에 대한 정보에 기초하여, 제1 영역과 제2 영역을 설정할 수 있다.(S620)
가상 현실 장치(100)는 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정한 후, 사용자의 콘텐츠 재생 시작 요청에 따라, 콘텐츠 재생 화면을 표시할 수 있다.(S630) 가상 현실 장치(100)는 콘텐츠가 재생되는 동안, 적어도 하나의 센서를 이용하여 주변의 환경을 감시함으로써, 제1 영역과 제2 영역을 센싱할 수 있다.
도 8은 본 개시의 일 실시예에 따른 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정하는 단계에 대한 상세 흐름도이다.
가상 현실 장치(100)는 콘텐츠에 대한 재생 입력을 수신함에 따라, 적어도 하나의 이미지 센서를 이용하여 콘텐츠를 시청하는 공간을 센싱한 스캔 공간 정보와 재생 입력이 수신된 콘텐츠에 관한 콘텐츠 정보에 기초하여, 제1 영역과 제2 영역을 결정할 수 있다.(S710)
가상 현실 장치(100)는 가상 현실 장치(100)의 사용자의 입력에 따라, 제1 영역과 제2 영역을 조정할 수 있다.(S720) 가상 현실 장치(100)는 자동으로 결정된 제1 영역과 제2 영역을, 사용자의 입력에 따라, 수동으로 조정할 수 있다.
도 9는 본 개시의 일 실시예에 따른 가상 현실 장치(100)의 화면에 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정하는 과정을 표시한 예를 나타낸 도면이다.
도 9를 참고하면, 가상 현실 장치(100)를 착용한 사용자는 가상 현실 장치(100)의 디스플레이에 표시된 홈 화면에서 다양한 분야 및 장르의 콘텐츠들 중, 재생하고자 하는 콘텐츠에 대응되는 애플리케이션을 실행시킬 수 있다.(S800)
가상 현실 장치(100)는 콘텐츠를 시청하는 공간을 센싱한 스캔 공간 정보와 재생 입력이 수신된 콘텐츠에 관한 콘텐츠 정보에 기초하여, 제1 영역과 제2 영역을 결정할 수 있다.(S810)
가상 현실 장치(100)는 자동으로 결정된 제1 영역과 제2 영역을 특정하여 표시하고, 제1 영역과 제2 영역을 편집할 수 있는 툴을 제공하여, 사용자로부터 제1 영역과 제2 영역을 조정하는 입력을 수신할 수 있다.(S820)
가상 현실 장치(100)는 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정한 후, 사용자의 콘텐츠 재생 시작 요청에 따라, 콘텐츠 재생 화면을 표시할 수 있다.(S830) 가상 현실 장치(100)는 콘텐츠가 재생되는 동안, 적어도 하나의 센서를 이용하여 주변의 환경을 감시함으로써, 제1 영역과 제2 영역을 센싱할 수 있다.
다시 도 2를 참고하면, 가상 현실 장치(100)는 적어도 하나의 이미지 센서를 이용하여, 제1 영역과 제2 영역을 센싱할 수 있다.(S220) 가상 현실 장치(100)는 가상 현실 장치(100)의 상부나 전면과 후면 또는 측면에 구비된 이미지 센서를 이용하여, 제1 영여과 제2 영역을 센싱할 수 있다. 또한, 가상 현실 장치(100)는 마이크로폰을 더 이용하여, 주변 환경에서 발생한 소리나 음성을 획득할 수도 있다.
가상 현실 장치(100)는 센싱 결과에 기초하여, 제1 영역 또는 제2 영역 내에 위치하는 객체를 추적할 수 있다.(S230) 이하, 도 10을 참고하여, 상세히 설명한다.
도 10은 본 개시의 일 실시예에 따른 제1 영역 또는 제2 영역 내에 위치하는 객체를 추적하는 단계에 대한 상세 흐름도이다.
가상 현실 장치(100)는 적어도 하나의 이미지 센서를 이용한 센싱 결과에 기초하여, 객체를 검출할 수 있다.(S910) 또한, 가상 현실 장치(100)는 마이크로폰을 더 이용하여 획득한 소리나 음성에 더 기초하여, 객체를 검출할 수 있다. 예를 들어, 가상 현실 장치(100)는 소리나 음성이 발생한 방향을 확인할 수 있고, 소리나 음성의 세기를 확인할 수 있다. 가상 현실 장치(100)는 소리나 음성의 방향 및 세기에 기초하여, 객체의 위치와 가상 현실 장치(100)로부터의 거리를 판단할 수 있다.
가상 현실 장치(100)는 검출된 객체가 제2 영역에 위치하는 경우, 제2 영역 내에 위치하는 객체의 디바이스와 통신이 가능한지 판단할 수 있다.(S920)
가상 현실 장치(100)는 판단 결과, 제2 영역 내에 위치하는 객체의 디바이스와 통신이 가능하면, 검출된 객체의 디바이스로부터 객체의 위치 정보 및 사용자 정보를 수신할 수 있다.(S930) 다만, 검출된 객체가 디바이스를 소지하지 않거나 디바이스를 소지하였더라도 통신이 불가할 수도 있으므로, S920 및 S930은 생략될 수 있는 과정이다.
가상 현실 장치(100)는 제2 영역 내에 위치하는 객체의 디바이스와 통신이 불가능하면, 센싱 결과에 기초하여 검출된 객체를 추적하고, 통신이 가능하면, 센싱 결과와 검출된 객체의 디바이스로부터 수신된 객체의 위치 정보 및 사용자 정보에 기초하여 검출된 객체를 추적할 수 있다.(S940)
다시 도 2를 참고하면, 가상 현실 장치(100)는 추적 결과에 기초하여, 가상 현실 장치(100)의 화면 표시를 제어할 수 있다.(S240) 이하, 도 11 내지 도 13을 참고하여, 상세히 설명한다.
도 11은 본 개시의 일 실시예에 따른 가상 현실 장치(100)의 화면 표시를 제어하는 단계에 대한 상세 흐름도이다.
가상 현실 장치(100)는 추적된 객체가 제1 영역 또는 제2 영역 내에 위치하는지 판단하고, 판단 결과에 기초한 화면 표시 모드에 따라, 가상 현실 장치(100)의 화면을 표시할 수 있다. 도 11에서는 사용자가 콘텐츠를 시청하는 공간에 콘텐츠의 몰입에 방해될 수 있는 외부의 객체가 없음을 확인한 후, 가상 현실 장치(100)를 착용하여 콘텐츠를 시청 중인 경우를 전제로 설명한다.
가상 현실 장치(100)는 제2 영역 내에 객체가 위치하는지 판단할 수 있다.(S1010) 가상 현실 장치(100)는 추적된 객체가 제2 영역에 진입하는지 판단할 수 있다. 제2 영역에 진입한 객체가 없으면, 가상 현실 장치(100)는 제1 영역과 제2 영역을 센싱한 결과로부터 객체를 계속해서 검출 및 추적할 수 있다.
가상 현실 장치(100)는 제2 영역 내에 객체가 위치하는 경우, 객체를 식별할 수 있다.(S1020) 예를 들어, 가상 현실 장치(100)는 적어도 하나의 이미지 센서로부터 이미지를 획득하고, 획득된 이미지로부터 추출된 특징 정보에 기초한, 객체의 분류 정보 및 외형 정보에 따라, 객체를 식별할 수 있다. 예를 들어, 가상 현실 장치(100)는 특징 벡터들을 DNN(Deep Neural Network), CNN(Convolution Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 형태의 이미지 분류 모델, 객체 지역화(localization) 모델, 객체 검출 모델 등에 입력하여, 대상 분류, 외형 정보 측정, 객체 검출 등을 수행할 수 있다. 가상 현실 장치(100)는 이미지 분류에 따라 객체를 분류하고, 객체를 바운딩 박스로 지역화하여 외형 정보를 계측하여, 객체를 식별할 수 있다. 또한, 가상 현실 장치(100)는 마이크로폰을 통해 획득된 객체의 발화 내용에 기초하여, 객체를 식별할 수 있다. 예를 들어, 가상 현실 장치(100)는 객체의 발화 내용으로부터 가상 현실 장치(100)의 사용자와의 관계나 객체의 이름과 같은 식별 정보를 획득할 수 있다.
가상 현실 장치(100)는 식별된 객체가 허용 객체로서 기등록된 객체인지 판단할 수 있다.(S1030) 가상 현실 장치(100)의 사용자는 제2 영역에 진입이 예상되거나 진입을 허용하는 객체에 대해서, 객체에 관한 정보를 허용 객체에 관한 정보로 사전에 등록해 둘 수 있다. 가상 현실 장치(100)는 식별된 객체의 정보와 허용 객체에 관한 정보를 비교하여, 식별된 객체가 기등록된 객체인지 판단할 수 있다.
가상 현실 장치(100)는 식별된 객체가 기등록된 객체이면, 콘텐츠 재생 화면에 객체에 대응되는 인디케이터를 표시할 수 있다.(S1040) 가상 현실 장치(100)는 식별된 객체가 허용 객체이므로, 허용 객체로서 사전에 등록해 둔 객체의 식별 정보, 객체의 사진이나 아바타와 같은 이미지 정보, 객체의 소속 정보 등에 기초하여, 식별된 객체에 대응되는 인디케이터를 생성하고, 콘텐츠 재생 화면의 일부분에 표시할 수 있다. 인디케이터는 아이콘 또는 썸네일의 형태일 수 있다.
가상 현실 장치(100)는 식별된 객체가 기등록된 객체가 아니면, 콘텐츠 재생 화면에 씨스루 부분 화면을 표시할 수 있다.(S1050) 가상 현실 장치(100)는 식별된 객체에 대한 정보를 확인할 수 없으므로, 제2 영역 내에 위치한 객체를 사용자가 직접 확인할 수 있도록, 콘텐츠 재생 화면의 일부분에 씨스루 부분 화면을 표시할 수 있다.
가상 현실 장치(100)는 제1 영역 내에 객체가 위치하는지 판단할 수 있다.(S1060) 가상 현실 장치(100)는 추적된 객체가 제2 영역에서 제1 영역으로 진입하는지 판단할 수 있다. 제1 영역에 진입한 객체가 없으면, 가상 현실 장치(100)는 제2 영역에 위치한 객체를 계속해서 추적하고, 식별된 객체에 대한 정보를 콘텐츠 재생 화면의 일부분에 계속해서 표시할 수 있다.
가상 현실 장치(100)는 추적된 객체가 제2 영역에서 제1 영역으로 진입하여, 제1 영역 내에 객체가 위치하는 경우, 콘텐츠 재생 화면을 씨스루 전체 화면으로 전환하여 표시할 수 있다.(S1070) 가상 현실 장치(100)는 사용자가 콘텐츠에 몰입할 수 없는 사정이 발생하였으므로, 콘텐츠 재생 화면을 종료하고, 가상 현실 장치(100)를 착용한 상태에서 외부 환경이나 객체를 확인할 수 있도록, 씨스루 전체 화면을 표시할 수 있다.
도 12는 본 개시의 일 실시예에 따른 가상 현실 장치(100)에서 제1 영역과 제2 영역에 객체가 위치하는지에 따라 화면 표시를 제어하는 모습을 나타낸 도면이다.
가상 현실 장치(100)는 가상 현실 장치(100)를 착용한 사용자의 콘텐츠 재생 시작 요청에 따라, 가상 현실 장치(100)의 디스플레이를 통해 사용자가 선택한 콘텐츠를 제공할 수 있다. 이에 따라, 가상 현실 장치(100)를 착용한 사용자는 광차폐 모드에서 외부 환경을 볼 수 없는 상태로, 콘텐츠에 몰입하여 시청할 수 있다.
도 12를 참고하면, 콘텐츠를 시청하는 공간 내의 제1 영역 또는 제2 영역에 위치한 객체가 없는 경우, 가상 현실 장치(100)는 사용자가 콘텐츠에 계속해서 몰입할 수 있도록 콘텐츠 재생 화면만 표시할 수 있다.
콘텐츠를 시청하는 공간 내의 제2 영역에 객체가 확인되는 경우, 가상 현실 장치(100)는 해당 객체가 기등록된 객체인지에 따라, 두 가지 형태의 화면 표시 모드 중 어느 하나에 따라, 가상 현실 장치(100)의 화면을 표시할 수 있다.
가상 현실 장치(100)는 식별된 객체가 등록된 객체이면, 콘텐츠 재생 화면에 객체에 대응되는 인디케이터를 표시할 수 있다. 인디케이터는 객체의 식별 정보, 객체의 사진이나 아바타와 같은 이미지 정보, 객체의 소속 정보 등에 기초하여, 식생성될 수 있다. 인디케이터는 콘텐츠 재생 화면의 일부분에 표시될 수 있으며, 콘텐츠 재생 화면에서 인디케이터의 위치는 식별된 객체의 위치, 이동 방향, 및 이동 속도에 기초하여 결정될 수 있다. 예를 들어, 식별된 객체가 제2 영역 내의 북쪽 방향에 위치하다가 서쪽 방향으로 이동하면, 인디케이터 역시 콘텐츠 재생 화면의 북쪽 방향에 위치하다가 서쪽 방향으로 이동하면서 표시될 수 있다. 한편, 도 12에 도시된 바와 같이, 제2 영역 내에 두 개의 객체가 위치하는 경우, 각 객체의 위치를 고려하여, 각 객체에 대응되는 인디케이터를 콘텐츠 재생 화면의 대응되는 위치에 표시할 수 있다.
가상 현실 장치(100)는 식별된 객체가 기등록된 객체가 아니면, 콘텐츠 재생 화면에 씨스루 부분 화면을 표시할 수 있다. 씨스루 부분 화면운 콘텐츠 재생 화면의 일부분에 표시될 수 있으며, 콘텐츠 재생 화면에서 씨스루 부분 화면의 위치는 식별된 객체의 위치, 이동 방향, 및 이동 속도에 기초하여 결정될 수 있다. 예를 들어, 식별된 객체가 제2 영역 내의 남쪽 방향에 위치하다가 동쪽 방향으로 이동하면, 씨스루 부분 화면 역시 콘텐츠 재생 화면의 남쪽 방향에 위치하다가 동쪽 방향으로 이동하면서 표시될 수 있다.
콘텐츠를 시청하는 공간 내의 제1 영역에 객체가 확인되는 경우, 가상 현실 장치(100)는 콘텐츠 재생 화면을 씨스루 전체 화면으로 전환하여 표시할 수 있다. 가상 현실 장치(100)는 콘텐츠 재생 화면을 종료하고, 가상 현실 장치(100)를 착용한 상태에서 외부 환경이나 객체를 확인할 수 있도록, 씨스루 전체 화면을 표시할 수 있다. 다만, 제1 영역에 위치한 객체가 예외 객체로 등록한 객체에 해당하는 경우, 예를 들어, 강아지나 고양이와 같은 애완 동물인 경우, 가상 현실 장치(100)는 예외 처리를 통해, 씨스루 전체 화면으로 전환하지 않고, 콘텐츠 재생 화면을 유지하거나 콘텐츠 재생 화면에 예외 객체에 대응되는 인디케이터를 표시할 수 있다.
도 13은 본 개시의 일 실시예에 따른 가상 현실 장치(100)에서 제2 영역 내에 위치하는 객체의 디바이스와 통신을 수행하여 객체를 추적하고, 콘텐츠 재생 화면에 객체에 대응되는 인디케이터를 표시한 예를 나타낸 도면이다.
가상 현실 장치(100)는 제2 영역 내에 객체가 위치하는 경우, 해당 객체의 디바이스와 통신이 가능한지 판단하여, 판단 결과, 제2 영역 내에 위치하는 객체의 디바이스와 통신이 가능하면, 객체의 디바이스로부터 객체의 위치 정보 및 사용자 정보를 수신할 수 있다. 가상 현실 장치(100)는 센싱 결과와 검출된 객체의 디바이스로부터 수신된 객체의 위치 정보 및 사용자 정보에 기초하여, 객체에 대응되는 인디케이터를 콘텐츠 재생 화면의 일부분에 표시할 수 있다.
도 13을 참고하면, 제2 영역에 제1 객체와 제2 객체가 진입한 상태이며, 가상 현실 장치(100)는 제1 객체의 디바이스(310)(예를 들어, 스마트 폰) 및 제2 객체의 디바이스(320)(예를 들어, 가상 현실 장치)에 통신을 수행할 수 있는지 메시지를 전송하고, 이에 대한 응답 메시지를 수신할 수 있다. 도 13에 도시된 바와 같이, 제1 객체와 제2 객체 각각에 대응되는 인디케이터의 우측 하단에 객체의 디바이스 정보를 추가로 표시할 수 있으나, 이에 한정되는 것은 아니다. 콘텐츠 재생 화면에서 인디케이터의 위치는 식별된 객체의 위치, 이동 방향, 및 이동 속도에 기초하여 결정될 수 있다.
도 14는 본 개시의 일 실시예에 따른 가상 현실 장치(100)의 구성을 설명하기 위한 블록도이다. 가상 현실 장치(100)를 제어하는 방법에 관하여 이상에서 설명한 내용은 이하 생략된 내용이라하더라도, 가상 현실 장치(100)에 대해서도 그대로 적용될 수 있다.
도 14를 참조하면, 가상 현실 장치(100)는 메모리(110), 프로세서(120), 이미지 센서(130), 디스플레이 엔진부(140), 디스플레이(150), 시선 추적 센서(160), 통신 인터페이스 모듈(170), 입력부(180)를 포함할 수 있다. 그 외에도 가상 현실 장치(100)의 위치를 감지하는 위치 센서나 가상 현실 장치(100)에 전원을 공급하는 전원부와 같은 구성들도 더 포함할 수 있으며, 본 개시의 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 도 14에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다.
메모리(110)는 프로세서(120)에 의해 실행 가능한 명령어들을 저장할 수 있다. 메모리(110)는 명령어들로 구성된 프로그램을 저장할 수 있다. 메모리(110)는 예를 들어, 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), 플래시 메모리(flash memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 하드웨어 장치를 포함할 수 있다.
메모리(110)는 명령어들을 포함하는 적어도 하나의 소프트웨어 모듈을 저장할 수 있다. 각 소프트웨어 모듈은 프로세서(120)에 의해 실행됨으로써, 가상 현실 장치(100)가 소정의 동작이나 기능을 수행하도록 한다. 예를 들어, 프로세서(120)에 의해 공간 센싱 모듈, 객체 추적 모듈, 화면 표시 제어 모듈 등이 실행될 수 있으나, 이에 한정되는 것은 아니며, 다른 소프트웨어 모듈을 더 포함할 수 있다.
프로세서(120)는 메모리(110)에 저장된 명령어들이나 프로그램화된 소프트웨어 모듈을 실행함으로써, 가상 현실 장치(100)가 수행하는 동작이나 기능을 제어할 수 있다. 프로세서(120)는 산술, 로직 및 입출력 연산과 시그널 프로세싱을 수행하는 하드웨어 구성 요소로 구성될 수 있다.
프로세서(120)는 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 처리 장치(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 애플리케이션 프로세서(Application Processor), 신경망 처리 장치(Neural Processing Unit) 또는 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계된 인공지능 전용 프로세서 중 적어도 하나로 구성될 수 있으나, 이에 제한되는 것은 아니다. 프로세서(120)를 구성하는 각 프로세서는 소정의 기능을 수행하기 위한 전용 프로세서일 수 있다.
이미지 센서(130)는 현실 세계의 장면을 촬영하는 장치로써, 스테레오 카메라이거나 단일 카메라일 수 있다. 또한, 이미지 센서(130)는 뎁스 정보를 감지하기 위한 뎁스 카메라나 라이다와 같은 형태의 센서일 수 있다. 가상 현실 장치(100)는 각 기능에 대응되는 이미지 센서(130)를 복수 개 구비할 수 있다. 예를 들어, 현실 객체를 3D 스캔하기 위한 제1 카메라, 특정 각도의 방향을 촬영하는 제2 카메라, 깊이 정보를 획득하는 제3 카메라 등을 구비할 수 있다.
가상 현실 장치(100)는 디스플레이 엔진부(140)와 디스플레이(150)를 통해 화면 표시를 제어할 수 있다. 가상 이미지는 광학 엔진을 통해 생성될 수 있으며, 정적 이미지와 동적 이미지를 모두 포함할 수 있다. 가상 이미지는 사용자가 가상 현실 장치(100)를 통해서 가상의 공간에서 보여지는 이미지로서, 콘텐츠의 이미지이거나 현실 장면을 촬영한 현실 객체에 대한 이미지 또는 가상 현실 장치(100)의 동작에 대한 정보나 제어 메뉴 등을 나타내는 이미지일 수 있다.
디스플레이 엔진부(140)는 가상 이미지를 생성하여 투사하는 광학 엔진과 광학 엔진으로부터 투사된 가상 이미지의 광을 디스플레이(150)까지 안내하는 가이드부를 포함할 수 있다.
디스플레이(150)는 콘텐츠의 이미지나 현실 객체에 대한 이미지 또는 가상 현실 장치(100)의 동작에 대한 정보나 제어 메뉴를 나타내는 이미지 등의 가상 이미지를 디스플레이할 수 있다. 디스플레이(150)를 통해 가상 이미지가 표시되는 경우, 가상 현실 장치(100)를 착용한 사용자는 가상 이미지를 조작하기 위해 이미지 센서(130)나 시선 추적 센서(160) 또는 입력부(180)를 통해 가상 이미지를 조작할 수 있다.
시선 추적 센서(160)는 사용자 눈이 향하는 시선 방향, 사용자 눈의 동공 위치 또는 동공의 중심점 좌표 등 시선 정보를 검출할 수 있다. 예를 들어, 시선 추적 센서(160)는 적외선 광을 사용자의 눈에 조사하여 반사된 광을 수신함으로써 촬영된 영상으로부터 동공을 검출하여 그 움직임을 추적할 수 있다. 프로세서(120)는 시선 추적 센서(160)에서 검출된 사용자의 시선 정보에 기초하여, 안구 움직임(eye movement) 형태를 판단할 수 있다. 예를 들어, 프로세서(120)는 시선 추적 센서(160)로부터 획득된 시선 정보에 기초하여, 어느 한 곳을 주시하는 고정(fixation), 움직이는 객체를 쫓는 추적(pursuit), 한 응시점에서 다른 응시점으로 신속하게 시선이 이동하는 도약(saccade) 등을 포함한 다양한 형태의 시선 움직임을 판단할 수 있다. 가상 현실 장치(100)의 프로세서(120)는 시선 추적 센서(160)를 이용하여 사용자의 응시점이나 사용자의 시선 이동을 판단하여, 가상 현실 장치(100)의 제어에 이용할 수 있다.
통신 인터페이스 모듈(170)은 가상 현실 장치(100)의 외부에 위치한 장치와 연결되어, 가상 현실 장치(100)에서 획득하거나 생성된 정보를 외부에 위치한 장치에 전송하거나, 외부에 위치한 장치로부터 여러 가지 종류의 정보를 수신할 수 있다. 예를 들어, 외부에 위치한 장치는 서버(200)나 사용자 단말(미도시)일 수 있다. 통신 인터페이스 모듈(170)은 다른 장치 또는 네트워크와 통신을 수행할 수 있다. 이를 위해, 통신 인터페이스 모듈(170)은 다양한 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, Wi-Fi(Wireless Fidelity), 블루투스와 같은 근거리 통신이나 다양한 종류의 이동 통신 또는 초광대역 통신을 수행하는 통신 모듈이 포함될 수 있다.
입력부(180)는 가상 현실 장치(100)의 사용자의 입력을 수신할 수 있다. 예를 들어, 입력부(180)는 터치 스크린, 사용자의 음성을 수신하는 마이크로폰, 사용자의 모션을 감지하는 모션 센서 등 일 수 있으나, 이에 제한되는 것은 아니다. 일 실시예에 따르면, 이미지 센서(130)와 시선 추적 센서(140)를 이용하여 사용자의 입력을 수신함으로써, 입력부(180)가 대체될 수 있다. 예를 들어, 프로세서(120)는 시선 추적 센서(160)를 이용하여 회득된 시선 정보에 기초하여, 시선 좌표를 획득할 수 있다. 프로세서(120)는 이미지 센서(130)를 통해 촬영된 영상에 기초하여, 시선 좌표에 대응되는 가상 이미지를 선택하는 제스처를 인식할 수 있다.
상기한 구성에 따라, 본 개시의 일 실시예에 따른 프로세서(120)는 메모리(110)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 가상 현실 장치(100)를 제어하기 위한 전반적인 동작들을 제어할 수 있다.
본 개시의 일 실시예에 따른 프로세서(120) 또는 프로세서(120)를 구성하는 제1 프로세서는 공간 센싱 모듈을 실행하여, 콘텐츠를 시청하는 공간에 대한 스캔 공간 정보와 콘텐츠에 관한 콘텐츠 정보에 기초하여, 콘텐츠를 시청하는 공간 내에 제1 영역과 제1 영역과 다른 제2 영역을 설정할 수 있다. 프로세서(120) 또는 제1 프로세서는 적어도 하나의 이미지 센서(130)를 이용하여, 제1 영역과 제2 영역을 센싱할 수 있다. 제1 영역은 스캔 공간 정보와 콘텐츠 정보에 기초하여 결정되고, 제2 영역은 스캔 공간 정보에 기초하여 결정될 수 있다.
일 실시예에 따른 프로세서(120) 또는 제1 프로세서는 콘텐츠에 대한 재생 입력을 입력부(180)를 통해 수신함에 따라, 적어도 하나의 이미지 센서(130)를 이용하여, 콘텐츠를 시청하는 공간을 센싱할 수 있다. 프로세서(120) 또는 제1 프로세서는 센싱에 따른 스캔 공간 정보와 재생 입력이 수신된 콘텐츠에 관한 콘텐츠 정보에 기초하여, 제1 영역과 제2 영역을 결정할 수 있다. 또한, 프로세서(120) 또는 제1 프로세서는 제2 영역에 위치할 수 있는 허용 객체에 관한 정보를 입력부(180)를 통해 획득할 수 있다. 프로세서(120) 또는 제1 프로세서는 제1 영역에 대한 정보, 제2 영역에 대한 정보, 및 획득된 허용 객체에 관한 정보를 통신 인터페이스 모듈(170)을 통해 콘텐츠를 제공하는 서버(200)에 전송할 수 있다.
일 실시예에 따른 프로세서(120) 또는 제1 프로세서는 실행 이력이 있는 콘텐츠에 대한 재생 입력을 입력부(180)를 통해 수신함에 따라, 실행 이력이 있는 콘텐츠를 제공하는 서버(200)로부터 제1 영역에 대한 정보와 제2 영역에 대한 정보를 통신 인터페이스 모듈(170)을 통해 수신할 수 있다. 프로세서(120) 또는 제1 프로세서는 수신된, 제1 영역에 대한 정보와 제2 영역에 대한 정보에 기초하여, 제1 영역과 제2 영역을 결정할 수 있다. 서버(200)가 가상 현실 장치(100)의 콘텐츠 시청 이력을 저장하고 있는 경우, 가상 현실 장치(100)로부터 시청 이력이 있는 콘텐츠에 대한 요청이 있으면, 이전에 설정했었던 제1 영역과 제2 영역에 대한 정보를 조회하여, 가상 현실 장치(100)로 전송해 줄 수 있다. 이와 같은 경우, 가상 현실 장치(100)는 제1 영역과 제2 영역을 설정하기 위한 일부 과정을 생략할 수 있다.
일 실시예에 따른 프로세서(120) 또는 제1 프로세서는 스캔 공간 정보와 콘텐츠에 관한 콘텐츠 정보에 기초하여, 제1 영역과 제2 영역을 결정하고, 입력부(180)를 통한 가상 현실 장치(100)의 사용자의 입력에 따라, 제1 영역과 제2 영역을 조정할 수 있다. 프로세서(120) 또는 제1 프로세서는 콘텐츠 정보에 포함된 콘텐츠의 타입에 따라 제1 영역의 영역 범위를 달리 설정할 수 있다.
본 개시의 일 실시예에 따른 프로세서(120) 또는 프로세서(120)를 구성하는 제2 프로세서는 객체 추적 모듈을 실행하여, 제1 영역과 제2 영역에 대한 센싱 결과에 기초하여, 제1 영역 또는 제2 영역 내에 위치하는 객체를 추적할 수 있다. 프로세서(120) 또는 제2 프로세서는 제1 영역 또는 제2 영역 내의 객체를 연속적으로 검출함으로써, 객체의 현재 위치, 이동 방향, 이동 속도 등을 확인할 수 있다.
일 실시예에 따른 프로세서(120) 또는 제2 프로세서는 객체를 검출하고, 제2 영역 내에 위치하는 객체의 디바이스와 통신이 가능한지 판단할 수 있다. 프로세서(120) 또는 제2 프로세서는 판단 결과, 제2 영역 내에 위치하는 객체의 디바이스와 통신이 불가능하면, 센싱 결과에 기초하여 검출된 객체를 추적하고, 통신이 가능하면, 센싱 결과와 통신 인터페이스 모듈(170)를 통해 검출된 객체의 디바이스로부터 수신된 객체의 위치 정보 및 사용자 정보에 기초하여 검출된 객체를 추적할 수 있다.
본 개시의 일 실시예에 따른 프로세서(120) 또는 프로세서(120)를 구성하는 제3 프로세서는 화면 표시 제어 모듈을 실행하여, 제1 영역 또는 제2 영역 내에 위치하는 객체의 추적 결과에 기초하여, 디스플레이 엔진부(140)와 디스플레이(150)를 이용하여, 가상 현실 장치(100)의 화면 표시를 제어할 수 있다.
일 실시예에 따른 프로세서(120) 또는 제3 프로세서는 객체가 제1 영역 또는 제2 영역 내에 위치하는지 판단할 수 있다. 프로세서(120) 또는 제3 프로세서는 판단 결과에 기초한 화면 표시 모드에 따라, 디스플레이 엔진부(140)와 디스플레이(150)를 제어하여 가상 현실 장치(100)의 화면을 표시할 수 있다.
일 실시예에 따른 프로세서(120) 또는 제3 프로세서는 제2 영역 내에 객체가 위치하는 경우, 객체를 식별하여, 식별된 객체가 허용 객체로서 기등록된 객체인지 판단할 수 있다. 프로세서(120) 또는 제3 프로세서는 판단 결과, 식별된 객체가 기등록된 객체이면, 콘텐츠 재생 화면에 객체에 대응되는 인디케이터를 표시하고, 식별된 객체가 기등록된 객체가 아니면, 콘텐츠 재생 화면에 씨스루 부분 화면을 표시하도록 디스플레이 엔진부(140)와 디스플레이(150)를 제어할 수 있다. 프로세서(120) 또는 제2 프로세서는 식별된 객체의 위치, 이동 방향, 및 이동 속도에 기초하여, 콘텐츠 재생 화면에서 인디케이터 또는 씨스루 부분 화면의 위치를 결정할 수 있다.
일 실시예에 따른 프로세서(120) 또는 제3 프로세서는 제1 영역 내에 객체가 위치하는 경우, 콘텐츠 재생 화면을 씨스루 전체 화면으로 전환하도록 디스플레이 엔진부(140)와 디스플레이(150)를 제어할 수 있다. 콘텐츠 재생 화면에서 씨스루 전체 화면으로 전환되면, 재생 중이던 콘텐츠는 종료되고, 사용자가 가상 현실 장치(100)를 착용한 상태에서, 현실 장면을 직접 보는 것과 같은 느낌을 줄 수 있도록, 현실 세계를 촬영한 이미지를 실시간으로 가상 현실 장치(100)의 디스플레이(150)에 표시할 수 있다.
가상 현실 장치(100)를 착용한 사용자가 씨스루 전체 화면을 통해 제1 영역 내에 진입한 객체를 확인한 후, 다시 콘텐츠를 재생하기 위한 입력 또는 제스쳐를 취하면, 씨스루 전체 화면은 콘텐츠 재생 화면으로 전환될 수 있다. 이때, 인디케이터 또는 씨스루 부분 화면은 사용자의 설정에 따라, 콘텐츠 재생 화면에 표시되거나, 사용자가 이미 확인한 객체에 대해서는 더 이상 신경쓰이지 않도록, 인디케이터 또는 씨스루 부분 화면이 콘텐츠 재생 화면에 표시되지 않을 수 있다.
도 15는 본 개시의 일 실시예에 따른 가상 현실 장치(100)와 통신을 수행하는 서버(200)의 구성을 설명하기 위한 블록도이다.
도 15를 참조하면, 서버(200)는 메모리(210), 프로세서(220), 통신 인터페이스 모듈(230), 스토리지(240)를 포함한다. 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 도 15에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다.
도 15의 블록도의 각 구성요소는 서버(200)의 구현 방식에 따라 분리, 추가, 또는 생략될 수 있다. 즉, 구현 방식에 따라 하나의 구성요소가 2 이상의 구성요소로 세분화되거나, 2 이상의 구성요소가 하나의 구성요소로 합쳐질 수도 있고, 일부 구성요소가 더 추가되거나 제거될 수 있다.
서버(200)는 가상 현실 서비스를 제공하는 장치로서, 가상 현실 서비스 플랫폼을 제공할 수 있다. 또는, 서버(200)는 콘텐츠를 제공하는 장치로서, 가상 현실 서비스에 기반한 콘텐츠를 제공할 수 있다.
메모리(210)는 프로세서(220)에 의해 실행 가능한 인스트럭션들을 저장할 수 있다. 메모리(210)는 소프트웨어 또는 프로그램을 저장할 수 있다.
프로세서(220)는 메모리(210)에 저장된 인스트럭션들을 실행할 수 있다. 프로세서(220)는 서버(200)의 전반적인 제어를 수행할 수 있다. 프로세서(220)는 통신 인터페이스 모듈(230)를 통해 수신되는 정보 및 요청 사항을 획득하고, 수신되는 정보를 스토리지(240)에 저장할 수 있다. 또한, 프로세서(220)는 수신되는 정보를 가공할 수 있다. 예를 들어, 프로세서(220)는 제1 외부 장치로부터 수신되는 정보로부터 제2 외부 장치에서 이용되는 정보를 획득하거나, 수신되는 정보를 가공하는 행위를 수행할 수 있다. 또한, 프로세서(220)는 제1 외부 장치로부터 수신되는 정보를 제2 외부 장치로 전달할 수 있다.
통신 인터페이스 모듈(230)는 가상 현실 장치(100)와 같은 외부 장치와 통신을 수행할 수 있다. 서버(200)는 가상 현실 장치(100)로부터 가상 현실 서비스와 관련된 정보를 수신할 수 있고, 가상 현실 장치(100)의 요청에 따라, 가상 현실 서비스와 관련된 정보를 전달할 수 있다. 예를 들어, 서버(200)는 가상 현실 장치(100)로부터 제1 영역에 대한 정보, 제2 영역에 대한 정보, 및 허용 객체에 관한 정보를 수신하여, 가상 현실 장치(100) 별로 수신된 정보를 저장할 수 있다.
스토리지(240)는 각종 소프트웨어 및 정보들을 저장할 수 있다. 예를 들어, 스토리지(240)는 서버(200)에서 실행되는 프로그램, 애플리케이션, 및 가상 현실 서비스를 제공하는데 이용되는 각종 데이터 또는 정보를 저장할 수 있다.
서버(200)는 소정의 범위 내에 있는 가상 현실 장치(100)들 간의 정보를 서로 교환하도록 중개 장치의 역할을 수행할 수 있다. 이를 위해, 서버(200)는 사용자 별로 가상 현실 장치(100)에 대한 정보를 스토리지(240)에 미리 등록하고, 가상 현실 서비스에 관련된 정보를 업데이트할 수 있다. 서버(200)는 가상 현실 장치(100)로부터 수신된 정보를 반영한 가상 현실 서비스를 다른 가상 현실 장치(100)로 전달할 수 있다.
한편, 본 개시의 실시예들은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독 가능 명령어, 데이터 구조, 또는 프로그램 모듈과 같은 변조된 데이터 신호의 기타 데이터를 포함할 수 있다.
또한, 컴퓨터에 의해 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
본 개시의 일 실시예에 따르면, 가상 현실 장치(100)를 제어하는 방법이 제공된다. 가상 현실 장치(100)를 제어하는 방법은 콘텐츠를 시청하는 공간에 대한 스캔 공간 정보와 콘텐츠에 관한 콘텐츠 정보에 기초하여, 콘텐츠를 시청하는 공간 내에 제1 영역과 제1 영역과 다른 제2 영역을 설정하는 단계(S210)를 포함한다. 또한, 가상 현실 장치(100)를 제어하는 방법은 적어도 하나의 이미지 센서(130)를 이용하여, 제1 영역과 제2 영역을 센싱하는 단계(S220)를 포함한다. 또한, 가상 현실 장치(100)를 제어하는 방법은 센싱 결과에 기초하여, 제1 영역 또는 제2 영역 내에 위치하는 객체를 추적하는 단계(S230)를 포함한다. 또한, 가상 현실 장치(100)를 제어하는 방법은 추적 결과에 기초하여, 가상 현실 장치(100)의 화면 표시를 제어하는 단계(S240)를 포함한다.
또한, 본 개시의 일 실시예에 따르면, 가상 현실 장치(100)의 화면 표시를 제어하는 단계(S240)는 객체가 제1 영역 또는 제2 영역 내에 위치하는지 판단하는 단계(S1010, S1060)를 포함할 수 있다. 또한, 가상 현실 장치(100)의 화면 표시를 제어하는 단계(S240)는 판단 결과에 기초한 화면 표시 모드에 따라, 가상 현실 장치(100)의 화면을 표시하는 단계(S1040, S1050, S1070)를 포함할 수 있다.
또한, 가상 현실 장치(100)의 화면을 표시하는 단계(S1040, S1050, S1070)는 제2 영역 내에 객체가 위치하는 경우(S1010), 객체를 식별하여, 식별된 객체가 허용 객체로서 기등록된 객체인지 판단하는 단계(S1020, S1030)를 포함할 수 있다. 또한, 가상 현실 장치(100)의 화면을 표시하는 단계(S1040, S1050, S1070)는 판단 결과, 식별된 객체가 기등록된 객체이면, 콘텐츠 재생 화면에 객체에 대응되는 인디케이터를 표시하고, 식별된 객체가 기등록된 객체가 아니면, 콘텐츠 재생 화면에 씨스루 부분 화면을 표시하는 단계(S1040, S1050)를 포함할 수 있다. 또한, 가상 현실 장치(100)의 화면을 표시하는 단계(S1040, S1050, S1070)는 제1 영역 내에 객체가 위치하는 경우(S1060), 콘텐츠 재생 화면을 씨스루 전체 화면으로 전환하는 단계(S1070)를 포함할 수 있다.
또한, 콘텐츠 재생 화면에서 인디케이터 또는 씨스루 부분 화면의 위치는 객체의 위치, 이동 방향, 및 이동 속도에 기초하여 결정될 수 있다.
또한, 본 개시의 일 실시예에 따르면, 객체를 추적하는 단계(S230)는 객체를 검출하는 단계(S910)를 포함할 수 있다. 또한, 객체를 추적하는 단계(S230)는 제2 영역 내에 위치하는 객체의 디바이스와 통신이 가능한지 판단하는 단계(S920)를 포함할 수 있다. 또한, 객체를 추적하는 단계(S230)는 판단 결과, 제2 영역 내에 위치하는 객체의 디바이스와 통신이 불가능하면, 센싱 결과에 기초하여 검출된 객체를 추적하고, 제2 영역 내에 위치하는 객체의 디바이스와 통신이 가능하면, 센싱 결과와 검출된 객체의 디바이스로부터 수신된 객체의 위치 정보 및 사용자 정보에 기초하여 검출된 객체를 추적하는 단계(S930, S940)를 포함할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 콘텐츠를 시청하는 공간 내에 제1 영역과 제1 영역과 다른 제2 영역을 설정하는 단계(S210)는 콘텐츠에 대한 재생 입력을 수신함에 따라, 콘텐츠를 시청하는 공간을 센싱하는 단계(S310, S410)를 포함할 수 있다. 또한, 제1 영역과 제2 영역을 설정하는 단계(S210)는 센싱에 따른 스캔 공간 정보와 재생 입력이 수신된 콘텐츠에 관한 콘텐츠 정보에 기초하여, 제1 영역과 제2 영역을 결정하는 단계(S320, S420)를 포함할 수 있다.
또한, 제1 영역과 제2 영역을 설정하는 단계(S210)는 제2 영역에 위치할 수 있는 허용 객체에 관한 정보를 획득하는 단계(S330, S430)를 포함할 수 있다. 또한, 제1 영역과 제2 영역을 설정하는 단계(S210)는 제1 영역에 대한 정보, 제2 영역에 대한 정보, 및 획득된 허용 객체에 관한 정보를 콘텐츠를 제공하는 서버(200)에 전송하는 단계(S340, S440)를 포함할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 콘텐츠를 시청하는 공간 내에 제1 영역과 제1 영역과 다른 제2 영역을 설정하는 단계(S210)는 실행 이력이 있는 콘텐츠에 대한 재생 입력을 수신함에 따라, 실행 이력이 있는 콘텐츠를 제공하는 서버(200)로부터 제1 영역에 대한 정보와 제2 영역에 대한 정보를 수신하는 단계(S510, S610)를 포함할 수 있다. 또한, 제1 영역과 제2 영역을 설정하는 단계(S210)는 수신된, 제1 영역에 대한 정보와 제2 영역에 대한 정보에 기초하여, 제1 영역과 제2 영역을 결정하는 단계(S520, S620)를 포함할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 콘텐츠를 시청하는 공간 내에 제1 영역과 제1 영역과 다른 제2 영역을 설정하는 단계(S210)는 스캔 공간 정보와 콘텐츠에 관한 콘텐츠 정보에 기초하여, 제1 영역과 제2 영역을 결정하는 단계(S710, S810)를 포함할 수 있다. 또한, 제1 영역과 제2 영역을 설정하는 단계(S210)는 가상 현실 장치(100)의 사용자의 입력에 따라, 제1 영역과 제2 영역을 조정하는 단계(S720, S820)를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 전술한 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
본 개시의 일 실시예에 따르면, 가상 현실 장치(100)가 제공된다. 가상 현실 장치(100)는 하나 이상의 인스트럭션을 저장하는 메모리(110), 프로세서(120), 적어도 하나의 이미지 센서(130), 디스플레이 엔진부(140), 및 디스플레이(150)를 포함한다. 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 콘텐츠를 시청하는 공간에 대한 스캔 공간 정보와 콘텐츠에 관한 콘텐츠 정보에 기초하여, 콘텐츠를 시청하는 공간 내에 제1 영역과 제1 영역과 다른 제2 영역을 설정한다. 또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 적어도 하나의 이미지 센서(130)를 이용하여, 제1 영역과 제2 영역을 센싱한다. 또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 센싱 결과에 기초하여, 제1 영역 또는 제2 영역 내에 위치하는 객체를 추적한다. 또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 추적 결과에 기초하여, 디스플레이 엔진부(140)와 디스플레이(150)를 이용하여, 가상 현실 장치(100)의 화면 표시를 제어한다.
또한, 본 개시의 일 실시예에 따르면, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 객체가 제1 영역 또는 제2 영역 내에 위치하는지 판단할 수 있다. 또한, 프로세서(120)는 판단 결과에 기초한 화면 표시 모드에 따라, 디스플레이 엔진부(140)와 디스플레이(150)를 제어하여 가상 현실 장치(100)의 화면을 표시할 수 있다.
또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 제2 영역 내에 객체가 위치하는 경우, 객체를 식별하여, 식별된 객체가 허용 객체로서 기등록된 객체인지 판단할 수 있다. 또한, 프로세서(120)는 판단 결과, 식별된 객체가 기등록된 객체이면, 콘텐츠 재생 화면에 객체에 대응되는 인디케이터를 표시하고, 식별된 객체가 기등록된 객체가 아니면, 콘텐츠 재생 화면에 씨스루 부분 화면을 표시하도록 디스플레이 엔진부(140)와 디스플레이(150)를 제어할 수 있다. 또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 제1 영역 내에 객체가 위치하는 경우, 콘텐츠 재생 화면을 씨스루 전체 화면으로 전환하도록 디스플레이 엔진부(140)와 디스플레이(150)를 제어할 수 있다.
또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 식별된 객체의 위치, 이동 방향, 및 이동 속도에 기초하여, 콘텐츠 재생 화면에서 인디케이터 또는 씨스루 부분 화면의 위치를 결정할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 가상 현실 장치(100)는 통신 인터페이스 모듈(170)를 더 포함할 수 있다. 또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 객체를 검출하고, 제2 영역 내에 위치하는 객체의 디바이스와 통신이 가능한지 판단할 수 있다. 프로세서(120)는 판단 결과, 제2 영역 내에 위치하는 객체의 디바이스와 통신이 불가능하면, 센싱 결과에 기초하여 검출된 객체를 추적하고, 통신이 가능하면, 센싱 결과와 통신 인터페이스 모듈(170)를 통해 검출된 객체의 디바이스로부터 수신된 객체의 위치 정보 및 사용자 정보에 기초하여 검출된 객체를 추적할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 가상 현실 장치(100)는 입력부(180)를 더 포함할 수 있다. 또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 콘텐츠에 대한 재생 입력을 입력부(180)를 통해 수신함에 따라, 적어도 하나의 이미지 센서(130)를 이용하여, 콘텐츠를 시청하는 공간을 센싱할 수 있다. 프로세서(120)는 센싱에 따른 스캔 공간 정보와 재생 입력이 수신된 콘텐츠에 관한 콘텐츠 정보에 기초하여, 제1 영역과 제2 영역을 결정할 수 있다.
또한, 가상 현실 장치(100)는 통신 인터페이스 모듈(170)를 더 포함할 수 있다. 또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 제2 영역에 위치할 수 있는 허용 객체에 관한 정보를 입력부(180)를 통해 획득할 수 있다. 프로세서(120)는 제1 영역에 대한 정보, 제2 영역에 대한 정보, 및 획득된 허용 객체에 관한 정보를 통신 인터페이스 모듈(170)을 통해 콘텐츠를 제공하는 서버(200)에 전송할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 가상 현실 장치(100)는 통신 인터페이스 모듈(170) 및 입력부(180)를 더 포함할 수 있다. 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 실행 이력이 있는 콘텐츠에 대한 재생 입력을 입력부(180)를 통해 수신함에 따라, 실행 이력이 있는 콘텐츠를 제공하는 서버(200)로부터 제1 영역에 대한 정보와 제2 영역에 대한 정보를 통신 인터페이스 모듈(170)을 통해 수신할 수 있다. 프로세서(120)는 수신된, 제1 영역에 대한 정보와 제2 영역에 대한 정보에 기초하여, 제1 영역과 제2 영역을 결정할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 가상 현실 장치(100)는 입력부(180)를 더 포함할 수 있다. 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 스캔 공간 정보와 콘텐츠에 관한 콘텐츠 정보에 기초하여, 제1 영역과 제2 영역을 결정하고, 입력부(180)를 통한 가상 현실 장치(100)의 사용자의 입력에 따라, 제1 영역과 제2 영역을 조정할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 콘텐츠 정보에 포함된 콘텐츠의 타입에 따라 제1 영역의 영역 범위를 달리 설정할 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 가상 현실 장치를 제어하는 방법에 있어서,
    콘텐츠를 시청하는 공간에 대한 스캔 공간 정보와 상기 콘텐츠에 관한 콘텐츠 정보에 기초하여, 상기 공간 내에 제1 영역과 상기 제1 영역과 다른 제2 영역을 설정하는 단계(S210);
    적어도 하나의 이미지 센서를 이용하여, 상기 제1 영역과 상기 제2 영역을 센싱하는 단계(S220);
    상기 센싱 결과에 기초하여, 상기 제1 영역 또는 상기 제2 영역 내에 위치하는 객체를 추적하는 단계(S230); 및
    상기 추적 결과에 기초하여, 상기 가상 현실 장치의 화면 표시를 제어하는 단계(S240);
    를 포함하는, 방법.
  2. 제1 항에 있어서,
    상기 화면 표시를 제어하는 단계(S240)는,
    상기 객체가 상기 제1 영역 또는 상기 제2 영역 내에 위치하는지 판단하는 단계(S1010, S1060); 및
    상기 판단 결과에 기초한 화면 표시 모드에 따라, 상기 가상 현실 장치의 화면을 표시하는 단계(S1040, S1050, S1070)를 포함하는, 방법.
  3. 제1 항 또는 제2 항에 있어서,
    상기 가상 현실 장치의 화면을 표시하는 단계(S1040, S1050, S1070)는,
    상기 제2 영역 내에 상기 객체가 위치하는 경우(S1010),
    상기 객체를 식별하여, 상기 식별된 객체가 허용 객체로서 기등록된 객체인지 판단하는 단계(S1020, S1030); 및
    상기 판단 결과, 상기 식별된 객체가 상기 기등록된 객체이면, 콘텐츠 재생 화면에 상기 객체에 대응되는 인디케이터를 표시하고, 상기 식별된 객체가 상기 기등록된 객체가 아니면, 상기 콘텐츠 재생 화면에 씨스루 부분 화면을 표시하는 단계(S1040, S1050)를 포함하고,
    상기 제1 영역 내에 상기 객체가 위치하는 경우(S1060),
    상기 콘텐츠 재생 화면을 씨스루 전체 화면으로 전환하는 단계(S1070)를 포함하는, 방법.
  4. 제1 항 내지 제3 항 중 어느 한 항에 있어서,
    상기 콘텐츠 재생 화면에서 상기 인디케이터 또는 상기 씨스루 부분 화면의 위치는 상기 식별된 객체의 위치, 이동 방향, 및 이동 속도에 기초하여 결정되는, 방법.
  5. 제1 항 내지 제4 항 중 어느 한 항에 있어서,
    상기 객체를 추적하는 단계(S230)는,
    상기 객체를 검출하는 단계(S910);
    상기 제2 영역 내에 위치하는 객체의 디바이스와 통신이 가능한지 판단하는 단계(S920); 및
    상기 판단 결과, 상기 통신이 불가능하면, 상기 센싱 결과에 기초하여 상기 검출된 객체를 추적하고, 상기 통신이 가능하면, 상기 센싱 결과와 상기 검출된 객체의 디바이스로부터 수신된 상기 객체의 위치 정보 및 사용자 정보에 기초하여 상기 검출된 객체를 추적하는 단계(S930, S940)를 포함하는, 방법.
  6. 제1 항 내지 제5 항 중 어느 한 항에 있어서,
    상기 설정하는 단계(S210)는,
    상기 콘텐츠에 대한 재생 입력을 수신함에 따라, 상기 콘텐츠를 시청하는 공간을 센싱하는 단계(S310, S410); 및
    상기 센싱에 따른 상기 스캔 공간 정보와 상기 재생 입력이 수신된 상기 콘텐츠에 관한 콘텐츠 정보에 기초하여, 상기 제1 영역과 상기 제2 영역을 결정하는 단계(S320, S420)를 포함하는, 방법.
  7. 제1 항 내지 제6 항 중 어느 한 항에 있어서,
    상기 설정하는 단계(S210)는,
    상기 제2 영역에 위치할 수 있는 허용 객체에 관한 정보를 획득하는 단계(S330, S430); 및
    상기 제1 영역에 대한 정보, 상기 제2 영역에 대한 정보, 및 상기 획득된 허용 객체에 관한 정보를 상기 콘텐츠를 제공하는 서버에 전송하는 단계(S340, S440)를 더 포함하는, 방법.
  8. 제1 항 내지 제7 항 중 어느 한 항에 있어서,
    상기 설정하는 단계(S210)는,
    실행 이력이 있는 콘텐츠에 대한 재생 입력을 수신함에 따라, 상기 실행 이력이 있는 콘텐츠를 제공하는 서버로부터 상기 제1 영역에 대한 정보와 상기 제2 영역에 대한 정보를 수신하는 단계(S510, S610); 및
    상기 수신된, 제1 영역에 대한 정보와 상기 제2 영역에 대한 정보에 기초하여, 상기 제1 영역과 상기 제2 영역을 결정하는 단계(S520, S620)를 포함하는, 방법.
  9. 제1 항 내지 제8 항 중 어느 한 항에 있어서,
    상기 설정하는 단계(S210)는,
    상기 스캔 공간 정보와 상기 콘텐츠에 관한 콘텐츠 정보에 기초하여, 상기 제1 영역과 상기 제2 영역을 결정하는 단계(S710, S810); 및
    상기 가상 현실 장치의 사용자의 입력에 따라, 상기 제1 영역과 상기 제2 영역을 조정하는 단계(S720, S820)를 포함하는, 방법.
  10. 제1 항 내지 제9 항 중 어느 한 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
  11. 가상 현실 장치(100)에 있어서,
    하나 이상의 인스트럭션을 저장하는 메모리(110);
    프로세서(120);
    적어도 하나의 이미지 센서(130);
    디스플레이 엔진부(140);
    디스플레이(150)를 포함하고,
    상기 프로세서(120)는 상기 하나 이상의 인스트럭션을 실행함으로써,
    콘텐츠를 시청하는 공간에 대한 스캔 공간 정보와 상기 콘텐츠에 관한 콘텐츠 정보에 기초하여, 상기 공간 내에 제1 영역과 상기 제1 영역과 다른 제2 영역을 설정하고, 상기 적어도 하나의 이미지 센서(130)를 이용하여, 상기 제1 영역과 상기 제2 영역을 센싱하고, 상기 센싱 결과에 기초하여, 상기 제1 영역 또는 상기 제2 영역 내에 위치하는 객체를 추적하고, 상기 추적 결과에 기초하여, 상기 디스플레이 엔진부(140)와 상기 디스플레이(150)를 이용하여, 상기 가상 현실 장치(100)의 화면 표시를 제어하는, 가상 현실 장치(100).
  12. 제11 항에 있어서,
    상기 프로세서(120)는 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 객체가 상기 제1 영역 또는 상기 제2 영역 내에 위치하는지 판단하고, 상기 판단 결과에 기초한 화면 표시 모드에 따라, 상기 디스플레이 엔진부(140)와 상기 디스플레이(150)를 제어하여 상기 가상 현실 장치(100)의 화면을 표시하는, 가상 현실 장치(100).
  13. 제11 항 또는 제12 항에 있어서,
    상기 프로세서(120)는 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 제2 영역 내에 상기 객체가 위치하는 경우, 상기 객체를 식별하여, 상기 식별된 객체가 허용 객체로서 기등록된 객체인지 판단하고, 상기 판단 결과, 상기 식별된 객체가 기등록된 객체이면, 콘텐츠 재생 화면에 상기 객체에 대응되는 인디케이터를 표시하고, 상기 식별된 객체가 상기 기등록된 객체가 아니면, 상기 콘텐츠 재생 화면에 씨스루 부분 화면을 표시하도록 상기 디스플레이 엔진부(140)와 상기 디스플레이(150)를 제어하고,
    상기 제1 영역 내에 상기 객체가 위치하는 경우, 상기 콘텐츠 재생 화면을 씨스루 전체 화면으로 전환하도록 상기 디스플레이 엔진부(140)와 상기 디스플레이(150)를 제어하는, 가상 현실 장치(100).
  14. 제11 항 내지 제13 항 중 어느 한 항에 있어서,
    통신 인터페이스 모듈(170)를 더 포함하고,
    상기 프로세서(120)는 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 객체를 검출하고, 상기 제2 영역 내에 위치하는 객체의 디바이스와 통신이 가능한지 판단하고, 상기 판단 결과, 상기 통신이 불가능하면, 상기 센싱 결과에 기초하여 상기 검출된 객체를 추적하고, 상기 통신이 가능하면, 상기 센싱 결과와 상기 통신 인터페이스 모듈(170)를 통해 상기 검출된 객체의 디바이스로부터 수신된 상기 객체의 위치 정보 및 사용자 정보에 기초하여 상기 검출된 객체를 추적하는, 가상 현실 장치(100).
  15. 제11 항 내지 제14 항 중 어느 한 항에 있어서,
    입력부(180)를 더 포함하고,
    상기 프로세서(120)는 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 콘텐츠에 대한 재생 입력을 상기 입력부(180)를 통해 수신함에 따라, 상기 적어도 하나의 이미지 센서(130)를 이용하여, 상기 콘텐츠를 시청하는 공간을 센싱하고, 상기 센싱에 따른 상기 스캔 공간 정보와 상기 재생 입력이 수신된 상기 콘텐츠에 관한 콘텐츠 정보에 기초하여, 상기 제1 영역과 상기 제2 영역을 결정하는, 가상 현실 장치(100).
PCT/KR2023/010022 2022-08-25 2023-07-13 가상 현실 장치를 제어하는 방법 및 이를 이용하는 가상 현실 장치 WO2024043527A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220107162 2022-08-25
KR10-2022-0107162 2022-08-25
KR10-2022-0127172 2022-10-05
KR1020220127172A KR20240028893A (ko) 2022-08-25 2022-10-05 가상 현실 장치를 제어하는 방법 및 이를 이용하는 가상 현실 장치

Publications (1)

Publication Number Publication Date
WO2024043527A1 true WO2024043527A1 (ko) 2024-02-29

Family

ID=90013700

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/010022 WO2024043527A1 (ko) 2022-08-25 2023-07-13 가상 현실 장치를 제어하는 방법 및 이를 이용하는 가상 현실 장치

Country Status (1)

Country Link
WO (1) WO2024043527A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140014117A (ko) * 2011-01-28 2014-02-05 소니 주식회사 정보 처리 장치, 통지 방법, 및 프로그램
WO2019003360A1 (ja) * 2017-06-28 2019-01-03 株式会社オプティム ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
JP2019537087A (ja) * 2016-09-30 2019-12-19 株式会社ソニー・インタラクティブエンタテインメント Ｈｍｄユーザを現実世界空間内で安全に案内するために、仮想現実シーンにおいて対話型コンテンツを提供する方法
KR20200044102A (ko) * 2017-09-29 2020-04-28 애플 인크. 물리적 경계 검출
KR20220040884A (ko) * 2020-09-24 2022-03-31 삼성전자주식회사 외부 물체에 대한 알림을 디스플레이하는 전자 장치 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140014117A (ko) * 2011-01-28 2014-02-05 소니 주식회사 정보 처리 장치, 통지 방법, 및 프로그램
JP2019537087A (ja) * 2016-09-30 2019-12-19 株式会社ソニー・インタラクティブエンタテインメント Ｈｍｄユーザを現実世界空間内で安全に案内するために、仮想現実シーンにおいて対話型コンテンツを提供する方法
WO2019003360A1 (ja) * 2017-06-28 2019-01-03 株式会社オプティム ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
KR20200044102A (ko) * 2017-09-29 2020-04-28 애플 인크. 물리적 경계 검출
KR20220040884A (ko) * 2020-09-24 2022-03-31 삼성전자주식회사 외부 물체에 대한 알림을 디스플레이하는 전자 장치 및 그 방법

Similar Documents

Publication Publication Date Title
WO2020171540A1 (en) Electronic device for providing shooting mode based on virtual character and operation method thereof
WO2020085694A1 (ko) 이미지 획득 장치 및 그의 제어 방법
WO2020171553A1 (en) An electronic device applying bokeh effect to image and controlling method thereof
WO2020130689A1 (ko) 놀이 컨텐츠를 추천하는 전자 장치 및 그의 동작 방법
WO2020262977A1 (ko) 인공지능을 이용하여 이미지의 객체를 제거하는 방법
WO2019156480A1 (ko) 시선에 기반한 관심 영역 검출 방법 및 이를 위한 전자 장치
WO2020153785A1 (ko) 전자 장치 및 이를 이용한 감정 정보에 대응하는 그래픽 오브젝트를 제공하는 방법
WO2019125029A1 (ko) 증강 현실을 위한 객체를 표시하기 위한 전자 장치 및 그의 동작 방법
US11393177B2 (en) Information processing apparatus, information processing method, and program
EP3655204A1 (en) Electronic device capable of moving and operating method thereof
WO2021045552A1 (en) Electronic device for image synthesis and operating method thereof
WO2018030567A1 (ko) Hmd 및 그 hmd의 제어 방법
WO2021085812A1 (ko) 전자장치 및 그 제어방법
WO2018117753A1 (en) Electronic device and method of controlling the same
WO2019139404A1 (ko) 전자 장치 및 그의 영상 처리 방법
WO2019039861A1 (ko) 전자 장치 및 전자 장치에서 카메라 기능과 연관된 콘텐트 제공 방법
WO2021221341A1 (ko) 증강 현실 장치 및 그 제어 방법
WO2021251615A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2021251534A1 (ko) 모션 및 얼굴 캡쳐를 이용한 실시간 방송플랫폼 제공 방법, 장치 및 그 시스템
WO2021221436A1 (ko) 카메라를 이용하여 공간의 깊이를 획득하는 디바이스 및 방법
WO2024043527A1 (ko) 가상 현실 장치를 제어하는 방법 및 이를 이용하는 가상 현실 장치
WO2019088338A1 (ko) 전자 장치 및 그 제어 방법
WO2018164317A1 (ko) 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치
WO2016047824A1 (ko) 화상 정보 영사 장치 및 그 영사 장치의 제어 방법
WO2020122513A1 (ko) 2차원 이미지 처리 방법 및 이 방법을 실행하는 디바이스

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23857564

Country of ref document: EP

Kind code of ref document: A1