WO2023158171A1 - 전자 장치 및 전자 장치의 제어 방법 - Google Patents

전자 장치 및 전자 장치의 제어 방법 Download PDF

Info

Publication number
WO2023158171A1
WO2023158171A1 PCT/KR2023/002047 KR2023002047W WO2023158171A1 WO 2023158171 A1 WO2023158171 A1 WO 2023158171A1 KR 2023002047 W KR2023002047 W KR 2023002047W WO 2023158171 A1 WO2023158171 A1 WO 2023158171A1
Authority
WO
WIPO (PCT)
Prior art keywords
identified
user
size
virtual
virtual reality
Prior art date
Application number
PCT/KR2023/002047
Other languages
English (en)
French (fr)
Inventor
한성주
류종엽
신우철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2023158171A1 publication Critical patent/WO2023158171A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Definitions

  • the present invention relates to an electronic device and a control method thereof, and more particularly, to an electronic device providing a VR image and a control method thereof.
  • VR Virtual Reality
  • VR technology refers to a technology that allows users to experience virtual reality similar to reality through simulation implemented with software technology.
  • Such VR technology can provide users with various experiences in virtual reality.
  • a user may interact with a virtual object in a virtual environment while watching VR content provided through an electronic device. For example, this corresponds to a user controlling a virtual electronic product in a virtual environment with a voice command.
  • this corresponds to a user controlling a virtual electronic product in a virtual environment with a voice command.
  • accurate interaction between the user and the virtual object cannot be achieved if external noise is introduced or information identifying a specific virtual object is not included in the user's voice command.
  • This can be solved by preparing a separate device (for example, an interface device such as a joystick) capable of identifying interaction with a virtual object, but this is possible only for limited VR content, and in particular, for preparing a separate device additional cost is required.
  • an electronic device controls a display to display virtual reality content corresponding to a sensor, a display, and a virtual reality environment, and determines a user's gaze direction based on data acquired through the sensor. identify a point where the gaze of the user is located on the virtual reality environment based on the gaze direction, identify a distance between the identified point and the user on the virtual reality environment, and The display is controlled to display a first object at a location corresponding to the identified point, and when a user command is received while the first object is displayed, a second object located at the identified point in the virtual reality environment is displayed. and a processor configured to identify whether a virtual object exists, and if it is identified that the virtual object exists, control the virtual object based on the user command, wherein at least one of the first and second objects is at the identified distance. is determined based on
  • the processor controls the display to identify the size of the first object based on the distance and display the first object having the identified size at a position corresponding to the identified point on the virtual reality content. and identifies a virtual object included in the second object based on the second object having a fixed size.
  • the processor identifies the size of the first object to be inversely proportional to the identified distance.
  • the processor identifies the number of virtual objects included in the virtual reality environment, and if the number of virtual objects is less than a preset value, identifies the size of the first object based on the identified distance;
  • the size of the second object is identified as a fixed size.
  • the processor identifies the size of the second object based on the identified distance, and displays the first object having a fixed size at a position corresponding to the identified point on the virtual reality content. and identifies a virtual object included in the second object based on the second object having the identified size.
  • the processor identifies the size of the second object to be proportional to the identified distance.
  • the processor identifies the number of virtual objects included in the virtual reality environment, and if the number of virtual objects is greater than or equal to a predetermined value, identifies the size of the first object as a fixed size, and determines the size of the first object as a fixed size. The size of the object is identified based on the identified distance.
  • the processor identifies the size of the first object as a fixed size, identifies the size of the second object based on the identified distance, and identifies the size of the second object based on the identified distance. If the determined distance is greater than or equal to a preset value, the size of the first object is identified based on the identified distance, and the size of the second object is identified as a fixed size.
  • the displaying may include identifying a size of the first object based on the identified distance, and displaying the first object having the identified size at a location corresponding to the identified point on the virtual reality content.
  • identifying whether the virtual object exists a virtual object included in the second object is identified based on the second object having a fixed size.
  • the size of the first object is identified in inverse proportion to the identified distance.
  • the number of virtual objects included in the virtual reality environment is identified, and if the number of virtual objects is less than a preset value, the size of the first object is identified based on the identified distance, and the second object is identified.
  • the size of is identified as a fixed size.
  • the displaying may include identifying a size of the second object based on the identified distance, displaying a first object having a fixed size at a position corresponding to the identified point on the virtual reality content, and In the step of identifying whether the virtual object exists, a virtual object included in the second object is identified based on the second object having the identified size.
  • the size of the second object is identified to be proportional to the identified distance.
  • the number of virtual objects included in the virtual reality environment is identified, and if the number of virtual objects is equal to or greater than a predetermined value, the size of the first object is identified as a fixed size, and the size of the second object is Identify based on the identified distance.
  • the size of the first object is identified as a fixed size
  • the size of the second object is identified based on the identified distance
  • the identified distance is determined as a default size. If it is equal to or greater than the set value, the size of the first object is identified based on the identified distance, and the size of the second object is identified as a fixed size.
  • FIG. 1 is an exemplary diagram of an electronic device according to an embodiment of the present disclosure.
  • FIG. 2 is a configuration diagram of an electronic device according to an embodiment of the present disclosure.
  • FIG 3 is a schematic flowchart of a control method of the electronic device 100 according to an embodiment of the present disclosure.
  • FIG. 4 is an exemplary diagram illustrating identification of a point where a user's gaze is located within a user's virtual reality environment according to an embodiment of the present disclosure.
  • FIG. 5 is an exemplary diagram illustrating identification of a distance between a user and a point where the user's gaze is located in a virtual reality environment according to an embodiment of the present disclosure.
  • FIG. 6 is an exemplary view illustrating displaying a first object on virtual reality content and identifying a second object in a virtual reality environment, according to an embodiment of the present disclosure.
  • FIG. 7 is an exemplary view illustrating determining a size of a first object based on an identified distance and identifying a size of a second object as a fixed size, according to an embodiment of the present disclosure.
  • FIG 8 is an exemplary view illustrating that a size of a first object is changed based on a change in an identified distance according to an embodiment of the present disclosure.
  • FIG. 9 is an exemplary diagram illustrating determining a size of a second object based on an identified distance and identifying a size of a first object as a fixed size, according to an embodiment of the present disclosure.
  • FIG. 10 is an exemplary diagram illustrating that the positions of a first object and a second object are changed according to a change in a position of a user's gaze on virtual reality content.
  • FIG. 11 is an exemplary diagram illustrating that a size of a second object is changed based on a change in an identified distance, according to an embodiment of the present disclosure.
  • FIG. 12 is a diagram comparing a size of a first object and a size of a second object according to a first method and a second method when a plurality of objects exist in a virtual reality environment according to an embodiment of the present disclosure.
  • FIG. 13 is an exemplary diagram illustrating a comparison between a first method and a second method based on an identification distance of a user according to an embodiment of the present disclosure.
  • FIG. 14 is an exemplary view illustrating applying different ratios of size change of a first object based on an identification distance of a user according to an embodiment of the present disclosure.
  • 15 is a detailed configuration diagram of an electronic device according to an embodiment of the present disclosure.
  • a component e.g., a first component
  • another component e.g., a second component
  • connection to it should be understood that an element may be directly connected to another element, or may be connected through another element (eg, a third element).
  • a “module” or “unit” performs at least one function or operation, and may be implemented in hardware or software or a combination of hardware and software.
  • a plurality of “modules” or a plurality of “units” are integrated into at least one module and implemented by at least one processor (not shown), except for “modules” or “units” that need to be implemented with specific hardware. It can be.
  • the term user may refer to a person using an electronic device or a device (eg, an artificial intelligence electronic device) using an electronic device.
  • a device eg, an artificial intelligence electronic device
  • FIG. 1 is an exemplary diagram of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 may be implemented as a head mounted display (HMD), which is a display device 120 worn on the head by a user.
  • HMD head mounted display
  • the electronic device 100 may be implemented as a user terminal device mounted on a VR device and providing images.
  • the electronic device 100 may be implemented as a smart phone or tablet that is attached to the front of a VR device body having a shape such as glasses, a headset, or a helmet and provides images to both eyes of the user.
  • the display 120 provided in the smart phone can display an image 120 close to both eyes of the user, and thus the user receives the image in front of his or her eyes.
  • a band or the like to enable the VR device body to be worn on the user's head may be formed on the rear surface of the VR device body.
  • a track pad for operation, a return button, a volume control key, and the like may be mounted on the main body of the VR device.
  • a user using the electronic device 100 may perform various interactions with virtual objects included in a virtual reality space. Assuming that a virtual object included in a virtual reality space corresponds to an electronic device, a user controlling a virtual object, that is, a virtual electronic device, using the electronic device 100 corresponds to this. Specifically, the user may input a voice command for controlling the virtual electronic device into the electronic device 100 . In addition, the processor 100 may control a virtual electronic device in the virtual reality space in response to the received user's voice command. For example, referring to FIG. 1 , a user inputs a voice command for executing an interaction with virtual objects included in virtual reality content, such as a refrigerator 210', a TV 220', and a washing machine 230'. can do.
  • virtual reality content such as a refrigerator 210', a TV 220', and a washing machine 230'.
  • the refrigerator 210', TV 220', and washing machine 230' included in the virtual reality content 200' are the refrigerator 210, TV 220, and washing machine included in the 3D virtual reality environment. It is a two-dimensional image respectively corresponding to (230). It is assumed that the user inputs a voice command "Open the refrigerator door” to a refrigerator among the plurality of virtual objects 200' included in the virtual reality content.
  • the processor identifies the refrigerator 210 as a virtual object that will interact with the user in the virtual reality environment 200 in response to the user's voice command (eg, open the refrigerator door). And the processor performs an operation to open the door of the refrigerator in a virtual reality environment. Then, the processor displays the image of the refrigerator 210' with the door open on the display as virtual reality content 200'.
  • the processor 130 of the electronic device 100 selects one of a plurality of virtual objects to interact with the user with only the user voice command “turn on the power”. Difficult to identify virtual objects. This is because information capable of identifying a virtual object in the user's voice is not included. Even if the user's voice contains information capable of identifying the virtual object, or even if external noise is input at the moment the user inputs a voice command, it will be difficult for the electronic device to accurately identify the virtual object.
  • the electronic device 100 of the present disclosure tracks the user's gaze on the virtual reality content 200' and identifies a virtual object based on the user's gaze.
  • the electronic device 100 of the present disclosure may display the object 10 at a position corresponding to the position of the user's gaze on the virtual reality content 200'. This is to accurately inform the user of where the user's gaze is located so that the user can accurately select a virtual object to execute an interaction with.
  • the object 10 corresponding to the user's line of sight is displayed between the refrigerator 210' and the TV 220'.
  • the electronic device 100 identifies that the user looks at the refrigerator 210' and the TV 220' at the same time, and when the user inputs a voice command "turn on the power" to the electronic device, the electronic device performs virtual reality. In space, an interaction for turning on the power of the refrigerator 210 and the TV 220, which are virtual objects, is performed.
  • the size of an object corresponding to the user's line of sight is adjusted in consideration of the characteristics of the virtual reality environment 200 .
  • the plurality of objects are displayed overlapping each other in the virtual reality content viewed by the user. Therefore, if the size of an object corresponding to the line of sight is displayed as a fixed size without considering the characteristics of the virtual reality environment 200, the user can identify the exact position of the line of sight of the user with respect to a plurality of overlapping virtual objects displayed.
  • the present disclosure adjusts the size of the object 10 corresponding to the user's line of sight in consideration of the characteristics of the virtual reality environment 200 and the location of the user on the virtual reality environment 200 .
  • embodiments of the present disclosure will be described in detail.
  • FIG. 2 is a configuration diagram of an electronic device according to an embodiment of the present disclosure
  • FIG. 3 is a schematic flowchart of a control method of an electronic device according to an embodiment of the present disclosure.
  • an electronic device 100 includes a sensor 110, a display 120, and a processor 130.
  • the sensor 110 detects a user's motion using the electronic device 100 .
  • the sensor 110 may include at least one of an acceleration sensor and a gyro sensor.
  • the acceleration sensor senses the acceleration of the electronic device 100
  • the gyro sensor senses the angular velocity of the electronic device 100 to detect a user's motion using the electronic device 100.
  • the electronic device 100 based on the user's movement detected by the sensor, the electronic device 100 identifies the user's gaze direction and location.
  • the display 120 may display various images.
  • the image is a concept including both still images and moving images
  • the moving images may be 2D images as well as VR images.
  • the display 120 may change the viewpoint of the displayed image according to the user's movement using the electronic device 100 or the user's gaze direction, and display the displayed image.
  • the display 120 may be implemented in various types of displays such as a liquid crystal display panel (LCD), organic light emitting diodes (OLED), liquid crystal on silicon (LCoS), and digital light processing (DLP).
  • the display 120 may also include a driving circuit, a back light unit, and the like, which may be implemented in the form of an a-si TFT, a low temperature poly silicon (LTPS) TFT, or an organic TFT (OTFT).
  • LCD liquid crystal display panel
  • OLED organic light emitting diodes
  • LCDoS liquid crystal on silicon
  • DLP digital light processing
  • the display 120 may also include a driving circuit, a back light unit, and the like, which may be implemented in the form of an a-si TFT, a low temperature poly silicon (LTPS) TFT, or an organic TFT (OTFT).
  • LTPS low temperature poly silicon
  • OTFT organic TFT
  • the processor 130 controls overall operations of the electronic device 100 .
  • the processor 130 may control hardware or software components connected to the processor 130 by driving an operating system or an application program, and may perform various data processing and operations.
  • the processor 130 may load and process commands or data received from at least one of the other components into a volatile memory, and store various data in a non-volatile memory.
  • the processor 130 is a dedicated processor (eg, an embedded processor) for performing the corresponding operation or a general-purpose processor capable of performing the corresponding operation by executing one or more software programs stored in a memory device. (e.g. CPU or application processor).
  • a dedicated processor e.g. an embedded processor
  • a general-purpose processor capable of performing the corresponding operation by executing one or more software programs stored in a memory device. (e.g. CPU or application processor).
  • the processor 130 displays virtual reality content 200' corresponding to the virtual reality environment 200 (S410).
  • the virtual reality content (200') is identified as being obtained from the user's point of view on the three-dimensional virtual reality environment (200), 2 for the three-dimensional virtual reality environment (200) It can be a dimensional image.
  • information about the virtual reality environment 200 for example, map data corresponding to the virtual reality environment 200 may be stored in a memory (not shown) of the electronic device 100 .
  • the processor Based on the map data, the processor identifies the user's location in the virtual reality environment 200 and changes the image of the 3D virtual reality environment 200 identified as being seen from the user's location into a 2D image. and displayed on the display 120. At this time, the 2D image may correspond to the virtual reality content 200'.
  • the virtual reality content 200 ′ may be obtained based on a user's position in the 3D virtual reality environment 200 and a gaze direction.
  • the position of the user is the plurality of virtual objects 210 and 220.
  • 230 is identified as located in front of it.
  • the processor 130 identifies that the user's gaze is directed toward the front of the plurality of objects 210, 220, and 230. Accordingly, the processor 130 obtains a 2D image from the front with respect to the refrigerator 210, the TV 220 and the washing machine 230 in the 3D virtual reality environment 200 based on the user's location and gaze direction. may be displayed on the display 120.
  • the processor 130 identifies the user's gaze direction based on the data obtained through the sensor 110 (S420). Specifically, the processor 130 may identify the movement of the electronic device 100 and the posture of the electronic device 100 based on acceleration data and angular velocity data acquired through the sensor 110 . Also, the processor 130 identifies the facing direction of the electronic device 100 based on the movement and posture of the electronic device 100 in the polar coordinate system using the polar coordinate system. Also, the processor 130 may identify a direction in which the electronic device 100 faces the user's line of sight. In this case, the polar coordinate system may coincide with the polar coordinate system on map data corresponding to the virtual reality environment 200 .
  • the processor 130 may identify the user's location in the virtual reality environment 200 based on data acquired through the sensor 110 . Specifically, when the user starts using the electronic device 100 , the processor 130 matches the location of the electronic device 100 with initially set coordinate values on map data corresponding to the virtual reality environment 200 . At this time, the processor 130 identifies the location of the electronic device 100 on the map data as the user's location. Further, the processor 130 detects the motion of the electronic device 100 based on data obtained through the sensor 110 (eg, a GPS sensor, an acceleration sensor, and a gyro sensor), and based on this, on the map data. A change in the position of the electronic device 100 and a coordinate value corresponding to the changed position may be identified. For example, the processor 130 uses a GPS sensor included in the sensor 100 to identify the user's real-time location, and applies the identified user's location to map data to create a virtual reality environment 200. The user's location can be identified.
  • a GPS sensor included in the sensor 100 to identify the user's real
  • the processor 130 may identify the movement of both eyes of the user wearing the electronic device 100 and identify the direction of the user's gaze based on the movement of the identified both eyes.
  • the electronic device 100 may include a sensor or a camera that identifies movements of both eyes of the user.
  • the processor 130 may detect movement of both eyes of the user using a sensor or a camera, and may identify a gaze direction of the user in a polar coordinate system based on the detected movement of both eyes.
  • FIG. 4 is an exemplary diagram illustrating identification of a point where a user's gaze is located within a user's virtual reality environment according to an embodiment of the present disclosure.
  • the processor 130 After identifying the direction of the user's gaze, the processor 130 identifies a point 30 where the user's gaze is located on the virtual reality environment 200 based on the identified gaze direction (S430). Specifically, referring to FIG. 4 , the processor 130 may identify a point 30 ′ where the user's gaze is located in the virtual reality content 200 ′ displayed on the display 120 . As described above, this may be detected through a camera included in the electronic device 100 . At this time, the processor 130 will be able to identify a coordinate value corresponding to the point 30' at which the gaze of the user identified on the virtual reality content 200' is located based on the size of the virtual reality content 200'. . For example, as the coordinate value of the point 30' where the identified user's gaze is located on the virtual reality content 200', a two-dimensional x-coordinate value and y-coordinate value may be identified.
  • the processor 130 uses the two-dimensional coordinates of the point 30' where the gaze of the identified user on the virtual reality content 200' is located, based on the identified user's position within the virtual reality environment 200.
  • the value is converted into a 3D coordinate value.
  • the processor 130 determines the position of both eyes of the user in the 3D virtual reality environment 200 by further identifying a z-coordinate value identified based on the user's position in the identified x-coordinate value and y-coordinate value can be identified.
  • a first object to which the extended straight line reaches among a plurality of virtual objects included in the virtual reality environment 200 is identified.
  • the point at which the extended straight line on the first object is reached is identified. That is, the processor 130 identifies the coordinate value of each object based on the location and size of each object based on the map data corresponding to the virtual reality environment 200, and based on this identifies the coordinate value corresponding to the user's line of sight. It is possible to identify the coordinate value of the point where the straight line and the object meet. Accordingly, the processor 130 may identify the point 30 where the user's gaze is located in the 3D virtual reality environment 200 .
  • the processor 130 determines a point 30 where the user's gaze is located within the virtual reality environment 200 based on the user's gaze direction and the user's location within the virtual reality environment 200. It can be identified as being located in the center of the refrigerator 210, which is a virtual object.
  • the processor 130 A point 30 at which the user's gaze is located on the virtual reality environment 200 may be identified based on the frontmost object among the plurality of objects.
  • FIG. 5 is an exemplary diagram illustrating identification of a distance between a user and a point where the user's gaze is located in a virtual reality environment according to an embodiment of the present disclosure.
  • the processor 130 identifies the distance between the identified point 30 and the user on the virtual reality environment 200 (S440). Specifically, the processor 130 based on the coordinate value corresponding to the starting point of the user's line of sight (eg, the position of the electronic device) on the map data and the coordinate value of the point 30 where the user's line of sight is located. , the distance between the identified point and the user may be identified by calculating the distance between the identified point and the user. For example, referring to FIG. 5 , the processor 130 determines the coordinate values of the positions of both eyes of the user identified on the map data corresponding to the virtual reality environment and the point 30 where the gaze of the user identified in step S430 is located. Based on the coordinate value corresponding to , the distance between the user and the low point identified on the virtual reality environment is identified as d.
  • the distance between the user and the low point identified on the virtual reality environment is identified as d.
  • the processor 130 displays the first object 10 at a location corresponding to the identified point on the virtual reality content (S450).
  • the first object 10 is generated based on the movement of both eyes of the user viewing the virtual reality content, and overlaps the virtual reality content 200' displayed on the display 120 by the processor 130. is displayed Through the first object 10, the user may identify the location and direction of the user's gaze on the virtual content 200'. Also, the user may select a virtual object included in the virtual reality content 200 ′ that the user wants to interact with by using the first object 10 . That is, the first object 10 may correspond to a user user interface (UI) for virtual reality content.
  • UI user user interface
  • FIG. 6 is an exemplary view illustrating displaying a first object on virtual reality content and identifying a second object in a virtual reality environment, according to an embodiment of the present disclosure.
  • the processor 130 creates a first object 10 in the form of a circle having a predetermined radius centered on a point 30' at which the gaze of the user identified on the virtual reality content 200' is located.
  • display In FIG. 6 , it is illustrated that the user's line of sight is positioned at the center of the top of the refrigerator 210' among the virtual objects, the refrigerator 210' and the washing machine 220'. Through this, the user wearing the electronic device 100 may recognize that the user's line of sight is located at the center of the top of the refrigerator 210' in the current virtual reality content 200'.
  • the first object 10 is described as having a circular shape in FIG. 6 , the first object 10 may be displayed in various shapes such as a triangle or a rectangle.
  • the processor 130 identifies a second object 20 within the virtual reality environment 200 corresponding to the first object 10 .
  • the second object 20 may be identified at a point where the user's gaze is located in the virtual reality environment 200 corresponding to the identified user's gaze position on the virtual reality content 200'.
  • the second object 20 is identified in the virtual reality environment 200 corresponding to the first object 10, and among a plurality of virtual objects included in the virtual reality environment 200, a virtual object that the user intends to interact with is a virtual object. It is used to identify the object of More specifically, if the first object 10 is used for the user to select a virtual object within the 3D virtual reality content by providing the user with information about the position of the user's gaze, the second object 20 is a processor 130 is used to identify the virtual object selected by the user in the 3D virtual reality environment 200 .
  • the second object 20 corresponds to the virtual reality environment 200 or the virtual reality environment 200. It may not be recognized by the user because it is identified on the map data.
  • the processor 130 identifies the second object 20 at the point 30 where the user's line of sight is located within the virtual reality environment 200 . Specifically, the processor 130 identifies the coordinate value of the point 30 where the user's gaze is located on the 3D map data. As described above, this may be identified based on the movement of the user wearing the electronic device 100 or the movement of both eyes of the user acquired through a camera included in the electronic device 100 . Meanwhile, the processor 130 identifies the second object 20 in the form of a sphere having a preset radius around the identified coordinate value. In FIG. 6 , the second object 20 is illustrated as having a sphere shape, but the second object 20 may also be set in various three-dimensional shapes such as a cube.
  • a virtual object is generated within the second object 20 located at the identified point 30 in the virtual reality environment 200. It identifies whether it exists (S460).
  • the processor 130 when receiving a user's command through the interface, the processor 130 identifies a virtual object included in the second object 20 having a sphere shape within the virtual reality environment 200. do. To this end, the processor 130 determines the range of the second object 20 on the map data based on the coordinate value of the point 30 where the user's gaze is located on the map data and the preset radius of the second object 20. identify Then, the processor 130 identifies whether a virtual object included in the range of the identified second object 20 exists based on the coordinate value and size of each virtual object identified on the map data.
  • the processor 130 may identify that the virtual object exists within the range of the second object 20 . Accordingly, referring to FIG. 6 , the processor 130 determines that only a portion of a refrigerator, which is a virtual object, is included in the second object 20, but a virtual object (eg, a refrigerator) exists in the second object 20. can be identified as
  • the processor 130 controls the virtual object based on the user command (S470). More specifically, the processor 130 performs a user's interaction with a virtual object in the virtual reality environment 200 in response to a user's command. For example, referring to FIG. 6 , the user directs the user's line of sight to the refrigerator 210' on the virtual reality contents 200' using the first object 10. Further, the processor 130 detects the user's gaze and identifies a point where the user's gaze is located within the 3D virtual reality environment 200 . Then, the processor 130 identifies the second object 20 at the identified point, and identifies that the refrigerator 210, which is a virtual object, is present in the second object 20.
  • the processor 130 identifies the second object 20 at the identified point, and identifies that the refrigerator 210, which is a virtual object, is present in the second object 20.
  • the processor 130 identifies that the virtual object selected by the user through the movement of the gaze is the refrigerator. Also, the processor 130 performs the user's interaction with the virtual object in the virtual reality environment 200 based on the user's input. For example, when the user inputs a voice command for a refrigerator, for example, “open the refrigerator door,” the processor 130 responds to the user's voice command within the virtual reality environment 200, which is a virtual object. , controls the refrigerator to open the door.
  • the processor 130 may control the operation of a real external electronic device rather than a virtual object.
  • the virtual reality environment 200 may be created by 3D modeling a real environment.
  • the virtual objects included in the virtual reality environment 200 are generated by matching each electronic device included in the real environment, and information of the electronic device matched to each virtual object may be included in a memory (not shown).
  • the processor 130 may identify an electronic device corresponding to the virtual object included in the second object 20 and transmit the user's command to the corresponding electronic device through the communication unit.
  • the processor 130 identifies that the second object 20 includes a refrigerator, which is a virtual object, based on the direction of the user's gaze, and sends a signal corresponding to the voice command "lower the temperature of the refrigerator" to the outside through the communication unit. It can be transmitted to an electronic device, a refrigerator.
  • At least one of the first object 10 and the second object 20 may be determined based on the identified distance. That is, the processor 130 may determine at least one of the size of the first object 10 and the size of the second object 20 based on the identified distance.
  • both the display position of the first object 10 and the identification position of the second object 20 are identified based on the user's gaze position, but the size of the first object 10 at each position and the second object 20 are identified.
  • the size of the object 20 may be identified based on the distance between the user and the point 30 where the user's line of sight is located within the virtual reality environment 200 .
  • the processor 130 enlarges and displays the size of the first object 10 as the distance between the user and the gaze point 30 increases, while the second object 20 has a fixed size. identifiable within the virtual reality environment 200 . That is, the size of the first object 10 displayed in the virtual reality content is changed according to the location of the user, but the size of the second object 20 that the processor 130 identifies within the virtual reality environment 200 is displayed. The size may be identified as a fixed size regardless of the user's location.
  • the processor 130 identifies the first object 10 as a fixed size regardless of the identified distance, and the size of the second object 20 increases as the distance between the user and the point where the gaze is located is closer. You might be able to zoom in and see. That is, the first object 10 displayed in the virtual reality content is displayed in a fixed size with only its position adjusted according to the user's gaze, but the second object identified by the processor 130 within the virtual reality environment 200.
  • the size of (20) can be identified by being enlarged as the identified distance decreases.
  • FIG. 7 is an exemplary view illustrating determining a size of a first object based on an identified distance and identifying a size of a second object as a fixed size, according to an embodiment of the present disclosure.
  • FIG 8 is an exemplary view illustrating that a size of a first object is changed based on a change in an identified distance according to an embodiment of the present disclosure.
  • the processor 130 identifies the size of the first object 10 based on the identified distance, and identifies the first object 10 having the identified size on the virtual reality content. It can be displayed at the location corresponding to the point. In this case, the processor 130 may identify whether a virtual object exists in the second object 20 based on the second object 20 having a fixed size.
  • the processor 130 may also change the size of the first object 10 in response to the change in size of the virtual object, thereby increasing the convenience of adjusting the user's gaze to the virtual object whose size has changed.
  • the size of the second object 20 identified by the processor 130 within the 3D virtual reality environment 200 may be fixed. Unlike the fact that the size of a virtual object in the virtual reality content displayed on the display 120 varies depending on the distance as described above, the size of a virtual object in the 3D virtual reality environment 200 identified by the processor 130 does not change. don't Therefore, even if the processor 130 identifies the point 30 where the user's gaze is located within the virtual reality environment 200 and uses the second object 20 having a fixed size at the identified point, the distance A virtual object included in the second object 20 may be accurately identified regardless of the change. Therefore, unlike the first object 10 whose size changes according to the distance, the processor 130 can identify the second object 20 as having a fixed size.
  • the distance between the user and the point 30 where the user's line of sight is located within the virtual reality environment 200 increases from d1 to d2.
  • the sizes of the virtual objects displayed on the display 120, the refrigerator 210' and the washing machine 220' will decrease. This is because the distance between the user and the virtual object in the virtual reality environment 200 has increased.
  • the processor 130 reduces the size of the first object 10 in inverse proportion to the increase in the distance between the user and the point 30 at which the user's gaze is located, and displays it on the display 120 .
  • the size of the second object 20 identified by the processor 130 within the virtual reality environment 200 is fixed regardless of the user's distance.
  • the processor 130 may identify the size of the first object 10 to be in inverse proportion to the identified distance.
  • the processor 130 reduces the size of the first object 10 as the identified distance increases, so that the user can more precisely adjust the gaze.
  • the distance between the user in the virtual reality environment 200 and the point 30 where the user's line of sight is located is increased from d1 to d2 and from d2 to d3.
  • the size of the first object 10 displayed on the display 120 also decreases from r1 to r2 and from r2 to r3.
  • the processor 130 fixes r4 despite the change in the distance between the user and the point 30 where the user's gaze is located. identified in the form of a sphere with a radius of
  • the amount of change in the size of the first object 10 may be set based on the amount of change in distance.
  • the processor 130 may identify the radius r2 of the first object 10 at d2 as a value corresponding to the ratio of d1/d2 of r1.
  • the processor 130 may identify the radius r3 of the first object 10 at d3 as a value corresponding to the ratio of d1/d3 of r1 or the ratio of d2/d3 of r2.
  • the size change amount or size change rate of the first object 10 may be set differently according to the user or the characteristics of the virtual reality environment.
  • the processor 130 may identify the radius (or size) of the first object 10 at each distance based on the basic radius (or basic size) r0 for the preset basic distance d0. For example, it is assumed that the basic distance is 1 m and the basic radius of the first object 10 is 1 cm. Also, assuming that d1 is 2 m in FIG. 6 , the first object 10 displayed on the display 120 may be displayed in a circle shape having a radius of 0.5 cm.
  • the processor 130 generates and displays the second object 20 having a fixed size on the map data corresponding to the virtual reality environment 200, and displays the virtual object and the second object 20 obtained at a user's distance on the map data.
  • the first object 10 may be displayed by displaying a 2D image of the object 20 on the display 120 .
  • the processor 130 obtains a 2D image of a virtual object and a 2D image of the second object 20 based on the user's position in the virtual reality environment 200 .
  • the processor 130 may display the 2D virtual reality content 200' and the first object 10 on the display 120 based on the acquired 2D image. That is, in this case, the first object 10 is obtained by converting the second object 20 into a two-dimensional image. Referring back to FIG.
  • the virtual reality content 200 ′ displayed on the display 120 is acquired by the processor 130 at a distance of d1 from the point 30 where the user is identified within the virtual reality environment 200. It may be a two-dimensional image of the virtual object and the second object 20 , identified as being. This is also true for virtual reality content displayed on d2 and d3.
  • the virtual object is also displayed in a reduced size corresponding to the increased distance on the display 120 .
  • the user may have difficulty in controlling the field of view.
  • the reduced-size first object 10 and the reduced-size virtual object are displayed at the same time, the user cannot clearly identify the first object 10 accurately, and in particular, the user is concerned with the user's gaze and the user's gaze. It is difficult to accurately position the corresponding first object 10 on the virtual object.
  • the position of the second object 20 in the virtual reality environment 200 is the position of the first object 10 even with slight movement of both eyes of the user wearing the electronic device 100 or the user's head. differs greatly from Accordingly, the virtual object identified by the processor 130 and included in the range of the second object 20 is also changed. This results in identifying a virtual object other than the virtual object with which the user intends to perform an interaction.
  • FIG. 9 is an exemplary diagram illustrating determining a size of a second object based on an identified distance and identifying a size of a first object as a fixed size, according to an embodiment of the present disclosure.
  • FIG. 10 is an exemplary diagram illustrating that the positions of a first object and a second object are changed according to a change in a position of a user's gaze on virtual reality content.
  • FIG. 11 is an exemplary diagram illustrating that a size of a second object is changed based on a change in an identified distance, according to an embodiment of the present disclosure.
  • the processor 130 identifies the size of the second object 20 based on the identified distance, and assigns the first object 10 having a fixed size to virtual reality content. It can be displayed at a position corresponding to the identified point on (200'). In this case, the processor 130 may identify a virtual object included in the second object 20 based on the second object 20 having the identified size.
  • the processor 130 sets the size of the first object 10 displayed on the display 120 while overlapping with the virtual content to a fixed value. For example, the processor 130 may set the size of the first object 10 to a preset size or a preset pixel size. Further, the processor 130 identifies a distance between the user in the virtual reality environment 200 and a point where the user's line of sight is located, and sets the size of the second object 20 based on the identified distance. Also, the processor 130 may generate and identify the second object 20 having a set size at a point where the user's gaze is located.
  • the distance between the user and the point 30 where the user's line of sight is located within the virtual reality environment 200 increases from d1 to d4.
  • the sizes of the virtual objects displayed on the display 120, the refrigerator 210' and the washing machine 220' will decrease. This is because the distance between the user and the virtual objects 210 and 220 in the virtual reality environment 200 has increased.
  • the processor 130 does not change the size of the first object 10, unlike displaying the refrigerator 210' and the washing machine 220' in reduced sizes. That is, the processor 130 displays the first object 10 on the display 120 in the form of a circle having a fixed radius of r1.
  • the processor 130 adjusts the size of the second object 20 identified in the virtual reality environment 200 according to the distance. Specifically, when the distance between the user and the point 30 where the user's line of sight is located is d1, the radius of the second object 20 is r4. However, when the distance between the user and the point 30 where the user's line of sight is located is changed to d4, the processor increases the radius of the second object 20 to r5 to identify it. Through this, the processor 130 enables the user to accurately identify the position of the user's gaze on the reduced-size virtual object.
  • the processor 130 may identify the size of the second object 20 to be proportional to the identified distance.
  • the processor 130 may differently identify a virtual object for which the user intends to perform an interaction or may not identify the virtual object due to the user's unintentional movement.
  • the processor 130 identifies that the point 30 where the user's gaze is located within the virtual reality environment 200 has changed significantly. Due to this, the processor 130 ultimately identifies the position of the second object 20 identified based on the point 30 where the user's gaze is located within the virtual reality environment 200 as also greatly changed.
  • the processor 130 may result in identifying that the virtual object included in the second object 20 at the changed position does not exist. there is. If the size of the second object 20 increases in proportion to the distance, the processor 130 may identify the virtual object, that is, the refrigerator 210, as being included within the range of the second object 20.
  • the distance between the user in the virtual reality environment 200 and the point 30 where the user's line of sight is located increases from d3 to d4 and from d4 to d5.
  • the radius of the sphere-shaped second object 20 that the processor 130 identifies within the virtual reality environment 200 also increases from r4 to r5 and from r5 to r6.
  • the processor 130 sets a fixed radius of r3 despite the change in the distance between the user and the point 30 where the user's line of sight is located. identified by the shape of a circle.
  • the amount of change in the size of the second object 20 may be set based on the amount of change in distance.
  • the processor 130 may identify the radius r5 of the second object 20 at d4 as a value corresponding to the ratio of d4/d3 to r3.
  • the processor 130 may identify the radius r6 of the second object 20 at d5 as a value corresponding to the ratio of d5/d3 of r3 or the ratio of d5/d4 of r5.
  • the processor 130 may identify the radius (or size) of the second object 20 at each distance based on the basic radius (or basic size) r0 for the preset basic distance d0. For example, it is assumed that the basic distance is 2m and the basic radius of the second object 20 is 1m. Also, assuming that d3 is 3m in FIG. 6 , the processor 130 may identify the second object 20 in the form of a sphere having a radius of 1.5m within the virtual reality environment 200 .
  • the processor 130 may further based on the width or pixel range of the first object 10 displayed on the display 120 together with the distance at which the user and the user's gaze are located, the second object within the virtual reality environment 200. (20) can also be identified. More specifically, the processor 130 displays the first object 10 having a predetermined pixel range (or having a fixed size) on the display 120 . Then, the processor 140 identifies the distance between the user in the virtual reality environment 200 and the point 30 where the user's line of sight is located. When the identified distance is increased, the processor 140 may increase and identify a pixel range corresponding to the increased distance, and identify the size of the second object 20 based on the increased pixel range. .
  • the processor 130 determines the first object 10 and the second object in consideration of, for example, the number of virtual objects included in the virtual reality environment 200, the location of a user identified in the virtual reality environment 200, and the like. Any one of the above methods of selectively adjusting (20) can be selected.
  • a method of adjusting the first object 10 and fixing the second object 20 according to the identified distance is referred to as a first method
  • the first object 10 is A method of fixing and adjusting the second object 20 according to the identified distance.
  • the processor 130 identifies the number of objects included in the virtual reality environment 200, and if the number of virtual objects is less than a preset number, the first object 10 The size is identified based on the identified distance, the size of the second object 20 is identified as a fixed size, and if the number of virtual objects is greater than or equal to a preset number, the size of the first object 10 is a fixed size. , and the size of the second object 20 can be identified based on the identified distance. That is, the processor 130 may selectively apply the first method and the second method as a method of displaying or identifying the first object 10 and the second object 20 based on the number of virtual objects. .
  • FIG. 12 is a diagram comparing a size of a first object and a size of a second object according to a first method and a second method when a plurality of objects exist in a virtual reality environment according to an embodiment of the present disclosure.
  • the processor 130 identifies the second object 20 as a fixed size r4. And, the processor 130 determines the size of the first object 10, that is, the radius of the circular first object 10 as r7 in inverse proportion to the distance d6 between the user and the point where the user's gaze is located. identify At this time, the processor 130 accurately converts the refrigerator 210 'where the user's gaze is located on the virtual reality content 200' into a virtual object included in the range of the second object 20 in the virtual reality environment 200. can be identified.
  • the processor 130 determines the distance where the user and the user's gaze are located ( The size of the second object 20 in proportion to d6), that is, the radius of the sphere-shaped second object 20 is identified as r8. At this time, even though the user places his or her eyes on the refrigerator 210 for interaction with the refrigerator 210 on the virtual reality contents, the processor 130 operates a TV other than the refrigerator 210 within the range of the second object 20. 230 and the virtual object of the washing machine 220 are identified as being included.
  • the processor 130 identifies virtual objects other than the virtual objects intended by the user as control targets. Accordingly, the processor 130 may accurately identify the virtual object for which the user intends to interact, regardless of distance, by using the second object 20 having a fixed size.
  • the processor 130 identifies the size of the first object 10 based on the identified distance, and the second object 20
  • the size of is identified as a fixed size, and if the identified distance is greater than or equal to a preset distance, the size of the first object 10 is identified as a fixed size, and the size of the second object 20 is based on the identified distance. can be identified.
  • FIG. 13 is an exemplary diagram illustrating a comparison between a first method and a second method based on an identification distance of a user according to an embodiment of the present disclosure.
  • the processor 130 determines the virtual reality environment 200.
  • a 2D image 210 ′ of a refrigerator as an object is displayed on the display 120 in a reduced form.
  • the processor 130 displays the first object 10 and the second object 20 according to the above-described first method, the size of the first object 10 displayed on the display 120 is different from that of the user. It will be very small in inverse proportion to the distance to the point 30 where the user's gaze is located. In this case, even with slight movement of the user wearing the electronic device 100, the first object 10 displayed on the display 120 has a large movement. ) to select a specific object.
  • the processor 130 displays the first object 10 and the second object 20 by the above-described second method
  • the processor 130 displays the first object 10 to the user and the user's line of sight. It is displayed on the display 120 in a fixed size regardless of the distance to the point 30 where it is located. Accordingly, the user can more easily select and accurately control a virtual object located at a farther distance than in the first method.
  • the size of the second object 20 used to identify objects within the virtual reality environment 200 increases in proportion to the distance to the point 30 where the user and the user's gaze are located. Therefore, the real processor 130 may accurately identify the virtual object where the user's gaze is located.
  • the processor 130 when the distance between the user and the point 30 at which the user's gaze is located is less than a predetermined distance (hereinafter referred to as a first distance), the processor 130 generates the first object 10 and the second object 10 based on the first method.
  • a predetermined distance hereinafter referred to as a first distance
  • the processor 130 When the object 20 is identified and the distance is greater than or equal to a preset distance, the first object 10 and the second object 20 may be identified based on the second method.
  • the preset distance may be set by the user or may be set by the processor 130 based on the average movement of the user wearing the electronic device 100 . For example, based on the sensing value obtained through the sensor 110 of the electronic device 100, the user's acceleration and/or angular velocity for a preset time period is identified, and the degree of average movement of the user is identified. Also, based on the identified average motion, the processor 130 may set a threshold distance that is changed from the first method to the second method.
  • the processor 130 may adjust the change rate of the size of the first or second object 20 based on the distance between the user and the point 30 where the user's gaze is located. This is to compensate for the disadvantages that occur when the first method or the second method is selectively used.
  • the processor 130 performs a second method (a method of identifying the size of a first object as a fixed size and determining the size of the second object based on the identified distance).
  • a second method a method of identifying the size of a first object as a fixed size and determining the size of the second object based on the identified distance.
  • the processor 130 adjusts the size of the second object 20 based on the first ratio, and the identified distance is the preset distance (the second distance). distance), the size of the second object may be adjusted based on the second ratio. In this case, the second ratio may be set to a value smaller than the first ratio.
  • the second distance may be set to a value greater than the aforementioned first distance. That is, the processor 130 identifies the first and second objects 20 based on the first method at a distance less than the first distance, and based on the second method when the first distance is less than the second distance.
  • the size of the second object 20 may be determined at a rate of 1, and when the distance is greater than or equal to the second distance, the size of the second object 20 may be determined at the second rate based on the second method.
  • the first method is more useful than the second method.
  • the size of the first object 10 decreases as the distance between the user and the virtual object increases, the user experiences inconvenience in precisely controlling the line of sight.
  • the processor 130 determines that the number of virtual objects in the virtual reality environment 200 is greater than or equal to a preset number and the distance between the user and the point 30 at which the user's gaze is located. If is less than the preset distance (hereinafter referred to as the third distance), the size of the first object 10 is adjusted based on the third ratio, and the distance between the user and the point 30 where the user's gaze is located is the preset distance If it is above, the size of the first object 10 may be adjusted based on the fourth ratio. At this time, the size of the second object 20 may be fixed. In this case, the third ratio may be greater than the fourth ratio.
  • the preset distance is 5 m.
  • the radius of the first object 10 is reduced from 10 cm to 6 cm (10 cm * 3/5).
  • the processor 130 may adjust the reduction rate of the size of the first object 10 by applying a weight value of 1.1 to the rate of change of the distance at or above the preset distance.
  • the processor 130 may simultaneously change the sizes of the first object 10 and the second object 20 based on the identified distance. More specifically, the processor 130 determines the size of the second object 20 based on a fifth ratio based on the identified distance, and determines the size of the first object 10 based on a sixth ratio based on the identified distance. ) can be determined. At this time, when the distance between the user and the point where the user's line of sight is located increases, the size of the second object 20 is determined to increase at a fifth rate, and the size of the first object 10 decreases at a sixth rate.
  • the processor 130 adjusts the size of the first object 10 in response to the decrease in the size of the virtual object displayed in the virtual reality content as the distance between the user and the point where the user's gaze is located increases. can be reduced and displayed.
  • the processor 130 may accurately identify the virtual object selected by the user in the virtual reality environment as the size of the second object 20 increases.
  • 15 is a detailed configuration diagram of an electronic device according to an embodiment of the present disclosure.
  • an electronic device includes a sensor 110, a display 120, a processor 130, a memory 140, a microphone 150, a graphic processing unit 160, and communication. interface 170.
  • Camera 140 acquires an image. Specifically, when the electronic device 100 is worn by the user, an image of movement of the user's both eyes may be acquired. Based on this, the processor 130 may identify the direction of the user's gaze. In addition, the processor 130 may acquire a plurality of images of the user's surroundings or external objects through the camera 140, and generate map data of the user's surroundings or external objects based on the obtained plurality of images. there is.
  • the microphone 150 receives a user's voice command. Specifically, the microphone 150 may receive a user's voice command for performing an interaction on a virtual object.
  • the graphic processing unit 160 uses a calculation unit (not shown) and a rendering unit (not shown) to create a screen including various objects such as icons, images, and text, for example, virtual environment content.
  • the calculation unit (not shown) calculates attribute values such as coordinate values, shape, size, color, etc. of each object to be displayed according to the layout of the screen of the display 120 based on the received control command.
  • the rendering unit (not shown) creates screens of various layouts including objects based on the attribute values calculated by the calculation unit (not shown). The screen created by the rendering unit (not shown) is displayed on the display 120 .
  • An operating system (O/S) for driving the electronic device 100 may be stored in the memory 170 .
  • various software programs or applications for operating the electronic device 100 may be stored in the memory 170 according to various embodiments of the present disclosure.
  • information about the virtual reality environment that is, map data corresponding to the virtual reality environment may be stored in the memory 170 .
  • the memory 150 may store various types of information, such as various types of data input, set, or generated during the execution of a program or application.
  • the communication interface 180 may transmit and receive various types of information by communicating with the electronic device 100 and various external devices.
  • the communication interface 180 receives a signal corresponding to a user's voice command for the virtual object. may be transmitted to an actual external electronic device that matches the virtual object.
  • the communication unit 110 may include a wireless communication unit, a wired communication unit, and an input interface.
  • the wireless communication unit may perform communication with various external devices using wireless communication technology or mobile communication technology.
  • wireless communication technologies include, for example, Bluetooth, Bluetooth Low Energy, CAN communication, Wi-Fi, Wi-Fi Direct, ultra-wideband communication (UWB, ultrawide band), Zigbee, infrared data association (IrDA), or NFC (Near Field Communication) may be included, and as mobile communication technologies, 3GPP, Wi-Max , LTE (Long Term Evolution), 5G, etc. may be included.
  • the electronic device 100 may provide content based on augmented reality. That is, the first object, which is the augmented reality content, may be displayed on the image acquired through the camera 140 and then displayed on the display 120 .
  • the sensor 110 may be implemented as Time of Flying (ToF).
  • the processor 130 may identify the distance between the user and the external electronic device through the ToF sensor. Through this, the processor 130 may display the first object on the display 120 without map data corresponding to the virtual reality environment. For example, the processor 130 displays an image obtained through the camera 160 rather than virtual reality content on the display 120, and the first object is displayed overlapping the image obtained through the camera 160.
  • ToF Time of Flying
  • the processor 130 displays the first object on an image obtained through a camera. Also, the processor 130 may identify a distance to the external electronic device based on the virtual ToF sensor, and adjust the size of the first object based on the identified distance. Meanwhile, to this end, the processor 130 may precede a process of acquiring the location of the external electronic device and the distance to the external electronic device in advance through the ToF sensor, and generating map data for the user's surrounding environment based on the obtained location. . Through this, the processor 130 may identify a point where the user's gaze is located on the map data, and may set a second object at the identified point. In addition, the size of the second object may also be adjusted based on the user's distance from the external electronic device detected based on the ToF sensor.
  • various embodiments of the present disclosure described above may be performed through an embedded server included in an electronic device or an external server of at least one of an electronic device and a display device.
  • a device is a device capable of calling a stored command from a storage medium and operating according to the called command, and may include an electronic device according to the disclosed embodiments.
  • the processor may perform a function corresponding to the command directly or by using other components under the control of the processor.
  • An instruction may include code generated or executed by a compiler or interpreter.
  • a device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary' only means that the storage medium does not contain a signal and is tangible, and does not distinguish whether data is stored semi-permanently or temporarily in the storage medium.
  • the method according to various embodiments described above may be provided by being included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product may be distributed in the form of a device-readable storage medium (eg compact disc read only memory (CD-ROM)) or online through an application store (eg Play StoreTM).
  • an application store eg Play StoreTM
  • at least part of the computer program product may be temporarily stored or temporarily created in a storage medium such as a manufacturer's server, an application store server, or a relay server's memory.
  • each of the components may be composed of a single object or a plurality of entities, and some sub-components among the aforementioned corresponding sub-components may be omitted, or other sub-components may be omitted. Sub-components may be further included in various embodiments.
  • some components eg, modules or programs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치 및 전자 장치의 제어 방법이 개시된다. 본 전자 장치는, 센서, 디스플레이, 및 가상 현실 환경에 대응되는 가상 현실 컨텐츠를 표시하도록 상기 디스플레이를 제어하고, 상기 센서를 통해 획득된 데이터에 기초하여 사용자의 시선 방향을 식별하고, 상기 시선 방향에 기초하여 상기 가상 현실 환경 상에서 상기 사용자의 시선이 위치하는 지점을 식별하고, 상기 가상 현실 환경 상에서 상기 식별된 지점 및 상기 사용자 간의 거리를 식별하고, 상기 가상 현실 컨텐츠 상에서 상기 식별된 지점에 대응되는 위치에 제1 오브젝트를 표시하도록 상기 디스플레이를 제어하고, 상기 제1 오브젝트가 표시된 상태에서 사용자 명령이 수신되면, 상기 가상 현실 환경에서 상기 식별된 지점에 위치하는 제2 오브젝트 내에 가상 오브젝트가 존재하는지 식별하고, 상기 가상 오브젝트가 존재하는 것으로 식별되면, 상기 사용자 명령에 기초하여 상기 가상 오브젝트를 제어하는 프로세서를 포함하며, 상기 제1 및 제2 오브젝트 중 적어도 하나는 상기 식별된 거리에 기초하여 결정된다.

Description

전자 장치 및 전자 장치의 제어 방법
본 발명은 전자 장치 및 그의 제어 방법에 관한 것으로, 보다 상세하게는 VR 영상을 제공하는 전자 장치 및 그의 제어 방법에 관한 것이다.
VR(Virtual Reality: 가상 현실) 기술은 소프트웨어 기술로 구현된 시뮬레이션을 통해 현실과 유사한 가상 현실을 경험할 수 있는 기술을 말한다. 이러한 VR 기술은 사용자에게 가상 현실 속에서의 다양한 경험을 제공할 수 있다. 최근, 코로나로 인한 팬데믹으로 인하여 해외 여행에 제약이 있는 상황 속에서 사용자에게 현실에서 벗어나 가상의 현실을 체험하도록 하는 VR 기술은 더욱 각광 받고 있는 실정이다.
사용자는 전자 장치를 통해 제공되는 VR 컨텐츠를 시청하면서 가상 환경 내의 가상 오브젝트와의 인터렉션(Interaction)을 수행할 수도 있다. 예를 들어, 사용자가 음성 명령으로 가상 환경 내의 가상 전자 제품을 제어하는 것이 이에 해당한다. 다만, 이러한 경우에는 외부 소음이 유입되거나 특히 사용자의 음성 명령에 특정 가상 오브젝트를 식별하는 정보가 포함되지 않으면, 사용자와 가상 오브젝트와의 정확한 인터렉션이 이루어질 수 없다. 가상 오브젝트와의 인터렉션을 식별할 수 있는 별도의 장치(예를 들어, 조이 스틱 등의 인터페이스 장치)를 마련한다면 이를 해결할 수 있으나, 이는 한정된 VR 컨텐츠에서만이 가능하고, 특히 별도의 장치를 마련하기 위한 추가적인 비용이 필요하다.
이에 따라, 별도의 장치 없이, 그리고 사용자의 음성 명령 없이도 사용자가 인터렉션을 실행하고자 하는 가상 오브젝트를 식별하는 방안이 요구되는 실정이다.
본 개시의 일 실시 예에 따른, 전자 장치는, 센서, 디스플레이 및 가상 현실 환경에 대응되는 가상 현실 컨텐츠를 표시하도록 상기 디스플레이를 제어하고, 상기 센서를 통해 획득된 데이터에 기초하여 사용자의 시선 방향을 식별하고, 상기 시선 방향에 기초하여 상기 가상 현실 환경 상에서 상기 사용자의 시선이 위치하는 지점을 식별하고, 상기 가상 현실 환경 상에서 상기 식별된 지점 및 상기 사용자 간의 거리를 식별하고, 상기 가상 현실 컨텐츠 상에서 상기 식별된 지점에 대응되는 위치에 제1 오브젝트를 표시하도록 상기 디스플레이를 제어하고, 상기 제1 오브젝트가 표시된 상태에서 사용자 명령이 수신되면, 상기 가상 현실 환경에서 상기 식별된 지점에 위치하는 제2 오브젝트 내에 가상 오브젝트가 존재하는지 식별하고, 상기 가상 오브젝트가 존재하는 것으로 식별되면, 상기 사용자 명령에 기초하여 상기 가상 오브젝트를 제어하는 프로세서를 포함하며, 상기 제1 및 제2 오브젝트 중 적어도 하나는 상기 식별된 거리에 기초하여 결정된다.
한편, 상기 프로세서는, 거리에 기초하여 상기 제1 오브젝트의 크기를 식별하고, 상기 식별된 크기를 갖는 제1 오브젝트를 상기 가상 현실 컨텐츠 상에서 상기 식별된 지점에 대응되는 위치에 표시하도록 상기 디스플레이를 제어하고, 고정된 크기를 갖는 상기 제2 오브젝트에 기초하여 상기 제2 오브젝트 내에 포함된 가상 오브젝트를 식별한다.
한편, 상기 프로세서는, 상기 식별된 거리에 반비례 하도록 상기 제1 오브젝트의 크기를 식별한다.
한편, 상기 프로세서는, 상기 가상 현실 환경에 포함된 가상 오브젝트의 개수를 식별하고, 상기 가상 오브젝트의 개수가 기 설정된 값 미만이면, 상기 제1 오브젝트의 크기는 상기 식별된 거리에 기초하여 식별하고, 상기 제2 오브젝트의 크기는 고정된 크기로 식별한다.
한편, 상기 프로세서는, 상기 식별된 거리에 기초하여 상기 제2 오브젝트의 크기를 식별하고, 고정된 크기를 갖는 제1 오브젝트를 상기 가상 현실 컨텐츠 상에서 상기 식별된 지점에 대응되는 위치에 표시하도록 상기 디스플레이를 제어하고, 상기 식별된 크기를 갖는 제2 오브젝트에 기초하여 상기 제2 오브젝트 내에 포함된 가상 오브젝트를 식별한다.
한편, 상기 프로세서는, 상기 식별된 거리에 비례 하도록 상기 제2 오브젝트의 크기를 식별한다.
한편, 상기 프로세서는, 상기 가상 현실 환경에 포함된 가상 오브젝트의 개수를 식별하고, 상기 가상 오브젝트의 개수가 기 설정된 값 이상이면, 상기 제1 오브젝트의 크기는 고정된 크기로 식별하고, 상기 제2 오브젝트의 크기는 상기 식별된 거리에 기초하여 식별한다.
한편, 상기 프로세서는, 상기 식별된 거리가 기 설정된 값 미만이면, 상기 제1 오브젝트의 크기는 고정된 크기로 식별하고, 상기 제2 오브젝트의 크기는 상기 식별된 거리에 기초하여 식별하고, 상기 식별된 거리가 기 설정된 값 이상이면, 상기 제1 오브젝트의 크기는 상기 식별된 거리에 기초하여 식별하고, 상기 제2 오브젝트의 크기는 고정된 크기로 식별한다.
상술한 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 전자 장치를 제어 하는 방법에 있어서, 가상 현실 환경에 대응되는 가상 현실 컨텐츠를 표시하는 단계, 상기 센서를 통해 획득된 데이터에 기초하여 사용자의 시선 방향을 식별하는 단계, 상기 시선 방향에 기초하여 상기 가상 현실 환경 상에서 상기 사용자의 시선이 위치하는 지점을 식별하는 단계, 상기 가상 현실 환경 상에서 상기 식별된 지점 및 상기 사용자 간의 거리를 식별하는 단계, 상기 가상 현실 컨텐츠 상에서 상기 식별된 지점에 대응되는 위치에 제1 오브젝트를 표시하는 단계, 상기 제1 오브젝트가 표시된 상태에서 사용자 명령이 수신되면, 상기 가상 현실 환경에서 상기 식별된 지점에 위치하는 제2 오브젝트 내에 가상 오브젝트가 존재하는지 식별하는 단계 및 상기 가상 오브젝트가 존재하는 것으로 식별되면, 상기 사용자 명령에 기초하여 상기 가상 오브젝트를 제어하는 단계를 포함하며, 상기 제1 및 제2 오브젝트 중 적어도 하나는 상기 식별된 거리에 기초하여 결정된다.
한편, 상기 표시하는 단계는, 상기 식별된 거리에 기초하여 상기 제1 오브젝트의 크기를 식별하고, 상기 식별된 크기를 갖는 제1 오브젝트를 상기 가상 현실 컨텐츠 상에서 상기 식별된 지점에 대응되는 위치에 표시하고, 상기 가상 오브젝트가 존재하는지 식별하는 단계는, 고정된 크기를 갖는 상기 제2 오브젝트에 기초하여 상기 제2 오브젝트 내에 포함된 가상 오브젝트를 식별한다.
한편, 상기 식별된 거리에 반비례 하도록 상기 제1 오브젝트의 크기를 식별한다.
한편, 상기 가상 현실 환경에 포함된 가상 오브젝트의 개수를 식별하고, 상기 가상 오브젝트의 개수가 기 설정된 값 미만이면, 상기 제1 오브젝트의 크기는 상기 식별된 거리에 기초하여 식별하고, 상기 제2 오브젝트의 크기는 고정된 크기로 식별한다.
한편, 상기 표시하는 단계는, 상기 식별된 거리에 기초하여 상기 제2 오브젝트의 크기를 식별하고, 고정된 크기를 갖는 제1 오브젝트를 상기 가상 현실 컨텐츠 상에서 상기 식별된 지점에 대응되는 위치에 표시하고, 상기 가상 오브젝트가 존재하는지 식별하는 단계는, 상기 식별된 크기를 갖는 제2 오브젝트에 기초하여 상기 제2 오브젝트 내에 포함된 가상 오브젝트를 식별한다.
한편, 상기 식별된 거리에 비례 하도록 상기 제2 오브젝트의 크기를 식별한다.
한편, 상기 가상 현실 환경에 포함된 가상 오브젝트의 개수를 식별하고, 상기 가상 오브젝트의 개수가 기 설정된 값 이상이면, 상기 제1 오브젝트의 크기는 고정된 크기로 식별하고, 상기 제2 오브젝트의 크기는 상기 식별된 거리에 기초하여 식별한다.
한편, 상기 식별된 거리가 기 설정된 값 미만이면, 상기 제1 오브젝트의 크기는 고정된 크기로 식별하고, 상기 제2 오브젝트의 크기는 상기 식별된 거리에 기초하여 식별하고, 상기 식별된 거리가 기 설정된 값 이상이면, 상기 제1 오브젝트의 크기는 상기 식별된 거리에 기초하여 식별하고, 상기 제2 오브젝트의 크기는 고정된 크기로 식별한다.
도 1은 본 개시의 일 실시 예에 따른, 전자 장치의 예시도이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성도이다.
도 3은 본 개시의 일 실시 예에 따른, 전자 장치(100)의 제어 방법의 개략적인 순서도이다.
도 4는 본 개시의 일 실시 예에 따른 사용자의 가상 현실 환경 내에서 사용자의 시선이 위치한 지점을 식별하는 것을 나타낸 예시도이다.
도 5는 본 개시의 일 실시 예에 따른, 가상 현실 환경에서의 사용자와 사용자의 시선이 위치한 지점 간의 거리를 식별하는 것을 나타낸 예시도이다.
도 6은 본 개시의 일 실시 예에 따른, 가상 현실 컨텐츠 상에 제1 오브젝트를 표시하고, 가상 현실 환경 내에서 제2 오브젝트를 식별하는 것을 나타낸 예시도이다.
도 7은 본 개시의 일 실시 예에 따른, 식별된 거리에 기초하여 제1 오브젝트의 크기를 결정하고, 제2 오브젝트의 크기를 고정된 크기로 식별하는 것을 나타낸 예시도이다.
도 8은 본 개시의 일 실시 예에 따른, 식별된 거리의 변화에 기초하여 제1 오브젝트의 크기가 변경되는 것을 나타낸 예시도이다.
도 9는 본 개시의 일 실시 예에 따른, 식별된 거리에 기초하여 제2 오브젝트의 크기를 결정하고, 제1 오브젝트의 크기를 고정된 크기로 식별하는 것을 나타낸 예시도이다.
도 10는 가상 현실 컨텐츠 상에서의 사용자의 시선의 위치 변화에 따라 제1 오브젝트와 제2 오브젝트의 위치가 변화되는 것을 나타낸 예시도이다.
도 11은 본 개시의 일 실시 예에 따른, 식별된 거리의 변화에 기초하여 제2 오브젝트의 크기가 변경되는 것을 나타낸 예시도이다.
도 12는 본 개시의 일 실시 예에 따른, 가상 현실 환경 내 복수의 오브젝트가 존재하는 경우 제1 방식 및 제2 방식에 따른 제1 오브젝트의 크기와 제2 오브젝트의 크기를 비교한 도면이다.
도 13은 본 개시의 일 실시 예에 따른, 사용자의 식별 거리에 기초하여, 제1 방식 및 제2 방식을 비교한 것을 나타낸 예시도이다.
도 14는 본 개시의 일 실시 예에 따른, 사용자의 식별 거리에 기초하여, 제1 오브젝트의 크기 변화 비율을 다르게 적용하는 것을 나타낸 예시도이다.
도 15는 본 개시의 일 실시 예에 따른 전자 장치의 세부 구성도이다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려 하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야 에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당 되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함 할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성 요 소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표 현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어 떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표 현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하 지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수 행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화 되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 명세서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세 하게 설명한다.
도 1은 본 개시의 일 실시 예에 따른, 전자 장치의 예시도이다.
도 1을 참조하면, 전자 장치(100)는 사용자가 머리에 착용하는 디스플레이(120) 장치인 HMD(Head Mounted Display)로 구현될 수 있다. 다만, 이에 제한되는 것은 아니며, 전자 장치(100)는 VR 기기에 장착되어 영상을 제공하는 사용자 단말 장치 등으로 구현될 수도 있다. 예를 들어, 전자 장치(100)는 안경, 헤드 셋 또는 헬멧 등의 형상을 갖는 VR 기기 본체의 전면에 부착되어 사용자의 양안에 영상을 제공하는 스마트 폰 또는 태블릿 등으로 구현될 수도 있다. 특히, 전자 장치(100)가 스마트 폰으로 구현되는 경우, 스마트 폰에 마련된 디스플레이(120)는 사용자의 양안에 근접하여 영상을 디스플레이(120) 할 수 있고, 이에 따라 사용자는 눈앞에서 영상을 제공 받을 수 있다. 이때, VR 기기 본체의 후면에는 VR 기기 본체가 사용자의 머리에 착용 가능하도록 하는 밴드 등이 형성될 수 있다. 이 밖에도, VR 기기 본체에는 조작용 트랙 패드, 리턴 버튼, 음량 조정 키 등이 탑재될 수 있다.
한편, 전자 장치(100)를 이용하는 사용자는 가상 현실 공간에 포함된 가상 오브젝트와의 다양한 인터렉션을 수행할 수 있다. 가상 현실 공간에 포함된 가상 오브젝트가 전자 장치에 해당한다고 가정하였을 때, 사용자가 전자 장치(100)를 이용하여 가상의 오브젝트, 즉 가상의 전자 장치를 제어하는 것이 이에 해당한다. 구체적으로, 사용자는 가상의 전자 장치를 제어하기 위한 음성 명령을 전자 장치(100)에 입력할 수 있다. 그리고 프로세서(100)는 수신한 사용자의 음성 명령에 대응하여 가상 현실 공간의 가상의 전자 장치를 제어할 수 있다. 예를 들어, 도 1을 참조하면, 사용자는 가상 현실 컨텐츠에 포함된 냉장고(210'), TV(220') 및 세탁기(230')와 같은 가상 오브젝트와의 인터렉션을 실행하기 위한 음성 명령을 입력할 수 있다. 이때, 가상 현실 컨텐츠(200')에 포함된 냉장고(210'), TV(220') 및 세탁기(230')는 3차원의 가상 현실 환경에 포함된 냉장고(210), TV(220) 및 세탁기(230)에 각각 대응하는 2차원 이미지이다. 사용자가 가상 현실 컨텐츠에 포함된 복수의 가상 오브젝트(200') 중 냉장고에 대하여 "냉장고 문 열어줘"라는 음성 명령을 입력하였다고 가정한다. 이때, 프로세서는 입력된 사용자의 음성 명령(예를 들어, 냉장고 문 열어줘)에 대응하여, 가상 현실 환경(200)에서 사용자와 인터렉션을 수행할 가상의 오브젝트로, 냉장고(210)를 식별한다. 그리고 프로세서는 가상 현실 환경에서 냉장고의 문을 여는 동작을 수행한다. 그리고, 프로세서는 문이 열리는 냉장고(210')의 이미지를 가상 현실 컨텐츠(200')로 디스플레이에 표시한다.
한편, 사용자가 "전원 켜줘"라는 음성 명령을 입력하였다고 가정하였을 때, 전자 장치(100)의 프로세서(130)는 "전원 켜줘"라는 사용자 음성 명령 만으로는 복수의 가상 오브젝트 중 사용자와 인터렉션을 실행하고자 하는 가상 오브젝트를 식별하기 어렵다. 사용자의 음성 내 가상 오브젝트를 식별할 수 있는 정보가 포함되지 않기 때문이다. 만약 사용자의 음성 내 가상 오브젝트를 식벽할 수 있는 정보가 포함된 경우에도, 사용자가 음성 명령을 입력하는 순간에 외부 소음이 같이 입력되는 경우에도 전자 장치는 가상 오브젝트를 정확히 식별하기 어려울 것이다.
이를 위해, 본 개시의 전자 장치(100)는 가상 현실 컨텐츠(200') 상에서의 사용자의 시선을 추적하고, 사용자의 시선에 기초하여 가상 오브젝트를 식별한다. 이때, 본 개시의 전자 장치(100)는 가상 현실 컨텐츠(200') 상에서 사용자의 시선의 위치에 대응되는 위치에 오브젝트(10)를 표시할 수 있다. 이는, 사용자에게 사용자의 시선이 위치한 곳이 어디인지를 정확히 알려줌으로써, 사용자가 인터렉션을 실행하고자 하는 가상 오브젝트를 정확히 선택할 수 있도록 하기 위함이다. 도 1을 다시 참조하면, 사용자의 시선에 대응되는 오브젝트(10)가 냉장고(210')와 TV(220') 사이에 표시되었다. 이때, 전자 장치(100)는 사용자가 냉장고(210')와 TV(220')를 동시에 바라본 것으로 식별하고, 사용자가 "전원 켜줘"라는 음성 명령을 전자 장치에 입력하는 경우, 전자 장치는 가상 현실 공간 상에서, 가상 오브젝트인, 냉장고(210)와 TV(220)의 전원을 키는 인터렉션을 수행한다.
한편, 본 개시는 사용자의 시선에 대응되는 오브젝트의 크기를 가상 현실 환경(200)의 특징을 고려하여 조정한다. 예를 들어, 가상 현실 환경(200) 내 다수의 가상 오브젝트가 있는 경우 사용자가 시청하는 가상 현실 컨텐츠에는 다수의 오브젝트가 서로 중첩되어 표시된다. 따라서, 시선에 대응되는 오브젝트의 크기가 이러한 가상 현실 환경(200)의 특징을 고려하지 않고, 고정된 크기로 표시된다면, 사용자는 중첩되어 표시된 다수의 가상 오브젝트 대해서 사용자의 시선의 정확한 위치를 식별할 수 없을 것이다. 이를 위해, 본 개시는 가상 현실 환경(200)의 특징과 가상 현실 환경(200) 상에서의 사용자의 위치 등을 고려하여 사용자의 시선에 대응되는 오브젝트(10)의 크기를 조정한다. 이하 본 개시의 실시 예에 대하여 자세히 설명한다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성도이고, 도 3은 본 개시의 일 실시 예에 따른, 전자 장치의 제어 방법의 개략적인 순서도이다.
도 2를 참조하면, 본 개시의 일 실시 예에 따라 전자 장치(100)는 센서(110), 디스플레이(120) 및 프로세서(130)를 포함한다.
센서(110)는 전자 장치(100)를 이용하는 사용자의 움직임을 감지한다. 이를 위해, 센서(110)는 가속도 센서 및 자이로 센서 중 적어도 하나를 포함할 수 있다. 구체적으로, 가속도 센서는 전자 장치(100)의 가속도를 센싱 하고, 자이로 센서는 전자 장치(100)의 각속도를 센싱 하여, 전자 장치(100)를 이용하는 사용자의 움직임을 감지한다. 그리고, 센서에 의해 감지된 사용자의 움직임에 기초하여 전자 장치(100)는 사용자의 시선 방향 및 위치를 식별한다.
디스플레이(120)는 다양한 영상을 디스플레이 할 수 있다. 여기서 영상은 정지 영상과 동영상을 모두 포함하는 개념으로써, 동영상은 2D 영상이 될 수 있음은 물론 VR 영상이 될 수도 있다. 특히, VR 영상의 경우, 디스플레이(120)는 전자 장치(100)를 이용한 사용자의 움직임 또는 사용자의 시선 방향에 따라 표시되는 영상의 시점을 변경하여 디스플레이 할 수 있다.
이를 위해, 디스플레이(120)는 LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes), LCoS(Liquid Crystal on Silicon), DLP(Digital Light Processing) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 또한, 디스플레이(120) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백 라이트 유닛 등도 함께 포함될 수 있다.
프로세서(130)는 전자 장치(100)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(130)는 운영 체제 또는 응용 프로그램을 구동하여 프로세서(130)에 연결된 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 또한, 프로세서(130)는 다른 구성요소들 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장할 수 있다.
이를 위해, 프로세서(130)는 해당 동작을 수행하기 위한 전용 프로세서(예, 임베디드 프로세서) 또는 메모리 디바이스에 저장된 하나 이상의 소프트웨어 프로그램을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)로 구현될 수 있다.
도 3을 참조하면, 프로세서(130)는 가상 현실 환경(200)에 대응되는 가상 현실 컨텐츠(200')를 표시한다(S410). 가상 현실 컨텐츠(Virtual Reality Content)(200')는 3차원의 가상 현실 환경(Virtual Reality Environment)(200) 상에서 사용자의 시점에서 획득되는 것으로 식별되는, 3차원의 가상 현실 환경(200)에 대한 2차원의 이미지일 수 있다. 구체적으로, 전자 장치(100)의 메모리(미도시)에는 가상 현실 환경(200)에 관한 정보, 예를 들어 가상 현실 환경(200)에 대응되는 맵 데이터가 저장될 수 있다. 프로세서는 맵 데이터를 기반으로, 가상 현실 환경(200)에서의 사용자의 위치를 식별하고, 사용자의 위치에서 보여지는 것으로 식별되는 3차원 가상 현실 환경(200)에 대한 이미지를 2차원의 이미지로 변경하여 디스플레이(120)에 표시할 수 있다. 이때, 2차원 이미지가 가상 현실 컨텐츠(200')에 해당될 수 있다.
한편, 가상 현실 컨텐츠(200')는, 3차원 가상 현실 환경(200)에서의 사용자의 위치, 시선 방향 등에 기초하여 획득될 수 있다. 예를 들어, 도 1을 다시 참조하면, 프로세서(130) 복수의 가상 오브젝트(210, 220, 230)를 포함하는 3차원 가상 현실 환경(200)에서 사용자의 위치가 복수의 가상 오브젝트(210, 220, 230)의 정면에 위치한 것으로 식별한다. 그리고, 프로세서(130)는 사용자의 시선이 복수의 오브젝트(210, 220, 230)의 정면을 향한 것으로 식별한다. 이에 따라, 프로세서(130)는 사용자의 위치와 시선 방향에 기초하여 3차원 가상 현실 환경(200)에서의 냉장고(210), TV(220) 및 세탁기(230)에 대하여 정면에서 획득되는 2차원 이미지를 디스플레이(120)에 표시할 수 있다.
다시 도 3을 참조하면, 본 개시의 일 실시 예에 따라, 프로세서(130)는 센서(110)를 통해 획득된 데이터에 기초하여 사용자의 시선 방향을 식별한다(S420). 구체적으로, 프로세서(130)는 센서(110)를 통해 획득한 가속도 데이터와 각속도 데이터를 기초로, 전자 장치(100)의 움직임과 전자 장치(100)의 자세를 식별할 수 있다. 그리고, 프로세서(130)는 극 좌표 계를 이용하여 극 좌표 계 내에서의 전자 장치(100)의 움직임과 자세를 기초로 전자 장치(100)가 대면하는 방향을 식별한다. 그리고 프로세서(130)는 전자 장치(100)가 대면하는 방향을 사용자의 시선 방향을 식별할 수 있다. 이때, 극 좌표 계는 가상 현실 환경(200)에 대응되는 맵 데이터 상에서의 극 좌표 계와 일치할 수 있다.
한편, 프로세서(130)는 센서(110)를 통해 획득된 데이터에 기초하여 가상 현실 환경(200)에서의 사용자의 위치를 식별할 수도 있을 것이다. 구체적으로, 사용자가 전자 장치(100)의 이용을 시작하면, 프로세서(130)는 가상 현실 환경(200)에 대응되는 맵 데이터 상에서, 전자 장치(100)의 위치를 최초 설정된 좌표 값으로 매칭한다. 이때, 프로세서(130)는 맵 데이터 상에서의 전자 장치(100)의 위치를 사용자의 위치로 식별한다. 그리고 프로세서(130)는 센서(110)(예를 들어, GPS 센서, 가속도 센서 및 자이로 센서 등)를 통해 획득된 데이터에 기초하여 전자 장치(100)의 움직임을 감지하고, 이를 기초로 맵 데이터 상에서의 전자 장치(100)의 위치의 변화와 변화된 위치에 대응되는 좌표 값을 식별할 수 있다. 예를 들어, 프로세서(130)는 센서(100)에 포함된 GPS 센서를 이용하여, 사용자의 실시간 위치를 식별하고, 식별된 사용자의 위치를 맵 데이터 상에 적용하여 가상 현실 환경(200)에서의 사용자의 위치를 식별할 수 있다.
한편, 프로세서(130)는 전자 장치(100)를 착용한 사용자의 양안의 움직임을 식별하고, 식별된 양안의 움직임을 기초로 사용자의 시선 방향을 식별할 수도 있다. 이를 위해 전자 장치(100)에는 사용자의 양안의 움직임을 식별하는 센서 또는 카메라 등이 포함될 수 있다. 프로세서(130)는 센서 또는 카메라를 이용하여 사용자의 양안의 움직임을 감지하고, 감지된 양안의 움직임에 기초하여, 극 좌표 계 내에서의 사용자의 시선 방향을 식별할 수도 있다.
도 4는 본 개시의 일 실시 예에 따른 사용자의 가상 현실 환경 내에서 사용자의 시선이 위치한 지점을 식별하는 것을 나타낸 예시도이다.
프로세서(130)는 사용자의 시선 방향을 식별한 후 식별된 시선 방향에 기초하여 가상 현실 환경(200) 상에서 사용자의 시선이 위치하는 지점(30)을 식별한다(S430). 구체적으로, 도 4를 참조하면, 프로세서(130)는 디스플레이(120) 에서 표시되는 가상 현실 컨텐츠(200')에서의 사용자의 시선이 위치한 지점(30')을 식별할 수 있다. 이는, 앞서 설명한 바와 같이, 전자 장치(100) 내부에 포함된 카메라를 통해 감지될 수 있다. 이때, 프로세서(130)는 가상 현실 컨텐츠(200')의 크기 등에 기초하여 가상 현실 컨텐츠(200') 상에서 식별된 사용자의 시선이 위치한 지점(30') 에 대응하는 좌표 값을 식별할 수 있을 것이다. 예를 들어, 가상 현실 컨텐츠(200') 상에서 식별된 사용자의 시선이 위치한 지점(30') 의 좌표 값은 2차원의 x 좌표 값과 y좌표 값을 식별될 수 있다.
그리고, 프로세서(130)는 가상 현실 환경(200) 내에서의 식별된 사용자의 위치에 기초하여, 가상 현실 컨텐츠(200') 상에서 식별된 사용자의 시선이 위치한 지점 (30')의 2차원의 좌표 값을 3차원의 좌표 값을 변환 한다. 프로세서(130)는, 식별된 x 좌표 값과 y 좌표 값에 사용자의 위치를 기초로 식별되는 z 좌표 값을 더 식별함으로써, 3차원의 가상 현실 환경(200) 내에서의 사용자의 양안의 위치를 식별할 수 있다. 그리고 사용자의 양안의 위치로부터 사용자가 시선 방향으로 사용자의 시선에 대응하는 직선을 연장한 후 가상 현실 환경(200) 내 포함된 복수의 가상 오브젝트 중 연장된 직선이 도달하는 최초 오브젝트를 식별한다. 그리고, 최초 오브젝트 상에서의 연장된 직선이 도달한 지점을 식별한다. 즉, 프로세서(130)는 가상 현실 환경(200)에 대응되는 맵 데이터에 기초하여 각각의 오브젝트의 위치와 크기에 기초한, 각각의 오브젝트의 좌표 값을 식별하고, 이에 기초하여 사용자의 시선에 대응하는 직선과 오브젝트가 만나는 지점의 좌표 값을 식별할 수 있다. 이로써, 프로세서(130)는 3차원의 가상 현실 환경(200)에서의 사용자의 시선이 위치한 지점(30)을 식별할 수 있다.
도 4를 참조하면, 프로세서(130)는 사용자의 시선 방향 및 가상 현실 환경(200) 내에서의 사용자의 위치에 기초하여 가상 현실 환경(200) 내에서 사용자의 시선이 위치하는 지점(30)을 가상 오브젝트인 냉장고(210)의 중앙에 위치한 것으로 식별할 수 있다.
한편, 본 개시의 일 실시 예에 따라, 가상 현실 컨텐츠(200')에서 복수의 오브젝트가 중첩되어 표시되고, 사용자의 시선이 복수의 오브젝트가 중첩된 영역에 위치한 것으로 식별되면, 프로세서(130)는 복수의 오브젝트 중, 가장 앞에 위치한 오브젝트를 기준으로, 가상 현실 환경(200) 상에서의 사용자의 시선이 위치하는 지점(30)을 식별할 수 있다.
도 5는 본 개시의 일 실시 예에 따른, 가상 현실 환경에서의 사용자와 사용자의 시선이 위치한 지점 간의 거리를 식별하는 것을 나타낸 예시도이다.
그리고, 프로세서(130)는 가상 현실 환경(200) 상에서 식별된 지점(30) 및 사용자 간의 거리를 식별한다(S440). 구체적으로, 프로세서(130)는 맵 데이터 상에서의 사용자의 시선이 시작되는 위치(예를 들어, 전자 장치의 위치)에 대응하는 좌표 값과 사용자의 시선이 위치하는 지점(30)의 좌표 값을 기초로, 식별된 지점과 사용자 간의 거리를 산출함으로써, 식별된 지점과 사용자 간의 거리를 식별할 수 있다. 예를 들어, 도 5를 참조하면, 프로세서(130)는 가상 현실 환경에 대응되는 맵 데이터 상에서의 식별되는 사용자의 양안의 위치의 좌표 값과 S430 단계에서 식별된 사용자의 시선이 위치한 지점(30)에 대응하는 좌표 값을 기초로, 사용자와 가상 현실 환경 상에서 식별된 저점의 거리를 d로 식별한다.
그리고, 프로세서(130)는 가상 현실 컨텐츠 상에서 식별된 지점에 대응되는 위치에 제1 오브젝트(10)를 표시한다(S450).
제1 오브젝트(10)는, 가상 현실 컨텐츠를 시청하는 사용자의 양안의 움직임에 기초하여 생성된 것으로서, 프로세서(130)에 의해 디스플레이(120)에 표시되는 가상 현실 컨텐츠(200') 상에 오버 랩 되어 표시된다. 제1 오브젝트(10)를 통해, 사용자는 가상 컨텐츠(200')에 대한 사용자의 시선의 위치 및 방향을 식별할 수 있다. 그리고 사용자는 제1 오브젝트(10)를 이용하여 사용자가 인터렉션을 수행하고자 하는 가상 현실 컨텐츠(200')에 포함된 가상 오브젝트를 선택할 수 있다. 즉, 제1 오브젝트(10)는 가상 현실 컨텐츠에 대한 사용자 UI(User Interface)에 해당할 수 있다.
도 6은 본 개시의 일 실시 예에 따른, 가상 현실 컨텐츠 상에 제1 오브젝트를 표시하고, 가상 현실 환경 내에서 제2 오브젝트를 식별하는 것을 나타낸 예시도이다.
도 6을 참조하면, 프로세서(130)는 가상 현실 컨텐츠(200') 상에서 식별된 사용자의 시선이 위치한 지점(30')을 중심으로 기 설정된 반경을 갖는 원의 형태로 제1 오브젝트(10)를 표시한다. 도 6에서는, 가상의 오브젝트인, 냉장고(210')와 세탁기(220') 중 냉장고(210')의 상부의 중앙에 사용자의 시선이 위치한 것으로 도시 되었다. 이를 통해, 전자 장치(100)를 착용한 사용자는 사용자의 시선이 현재 가상 현실 컨텐츠(200') 내 냉장고(210')의 상부의 중앙에 위치한 것으로 인지할 수 있다. 한편, 도 6에서는 제1 오브젝트(10)가 원의 형태를 가진 것으로 설명되었으나, 제1 오브젝트(10)는 삼각형, 사각형 등 다양한 형상으로 표시될 수 있다.
또한, 프로세서(130)는 제1 오브젝트(10)에 대응되는 가상 현실 환경(200) 내에서의 제2 오브젝트(20)를 식별한다. 구체적으로, 가상 현실 컨텐츠(200') 상에서 식별된 사용자의 시선 위치에 대응하는 가상 현실 환경(200)에서 사용자의 시선이 위치하는 지점에서 제2 오브젝트(20)를 식별할 수 있다.
제2 오브젝트(20)는, 제1 오브젝트(10)에 대응하여 가상 현실 환경(200)에서 식별되는 것으로, 가상 현실 환경(200)에 포함된 복수의 가상 오브젝트 중 사용자가 인터렉션을 수행하고자 하는 가상의 오브젝트를 식별하는데 이용된다. 보다 구체적으로, 제1 오브젝트(10)가 사용자에게 사용자의 시선의 위치 정보를 제공함으로써, 사용자가 3차원의 가상 현실 컨텐츠 내에서의 가상 오브젝트를 선택하는데 이용된다면, 제2 오브젝트(20)는 프로세서(130)가 사용자가 선택한 가상의 오브젝트를 3차원의 가상 현실 환경(200)에서 식별하는데 이용된다.
한편, 가상 현실 컨텐츠(200') 상에 표시됨에 따라, 사용자에게 인식되는 제1 오브젝트(10)와는 달리, 제2 오브젝트(20)는 가상 현실 환경(200) 또는 가상 현실 환경(200)에 대응하는 맵 데이터 상에서 식별되므로 사용자에게 인식되지 않을 수 있다.
도 6을 참조하면, 프로세서(130)는 가상 현실 환경(200) 내에서 사용자의 시선이 위치한 지점(30)에 제2 오브젝트(20)를 식별한다. 구체적으로, 프로세서(130)는 3차원의 맵 데이터 상에서 사용자의 시선이 위치한 지점(30)의 좌표 값을 식별한다. 이는, 앞서 설명한 바와 같이, 전자 장치(100)를 착용한 사용자의 움직임 또는 전자 장치(100)에 포함된 카메라를 통해 획득한 사용자 양안의 움직임에 기초하여 식별될 수 있다. 한편, 프로세서(130)는 식별된 좌표 값을 중심으로 기 설정된 반경을 갖는 구의 형태로 제2 오브젝트(20)를 식별한다. 도 6에서는, 제2 오브젝트(20)가 구의 형태를 가진 것으로 도시되어 있으나, 제2 오브젝트(20) 또한 정육면체 등의 다양한 3차원의 형상으로 설정될 수 있다.
다시 도 3을 참조하면, 제1 오브젝트(10)가 표시된 상태에서 사용자 명령이 수신되면, 가상 현실 환경(200)에서 상기 식별된 지점(30)에 위치하는 제2 오브젝트(20) 내에 가상 오브젝트가 존재하는지 식별한다(S460).
구체적으로, 도 6을 참조하면, 프로세서(130)는 인터페이스를 통해 사용자의 명령을 수신하면, 가상 현실 환경(200) 내에서 구의 형태를 갖는 제2 오브젝트(20)에 포함되는 가상의 오브젝트를 식별한다. 이를 위해, 프로세서(130)는 맵 데이터 상에서 사용자의 시선이 위치한 지점(30)의 좌표 값과 기 설정된 제2 오브젝트(20)의 반경을 기초로, 맵 데이터 상에서의 제2 오브젝트(20)의 범위를 식별한다. 그리고, 프로세서(130)는 맵 데이터 상에서 식별되는 가상 오브젝트 각각의 좌표 값과 크기 등에 기초하여 식별된 제2 오브젝트(20)의 범위 내 포함되는 가상 오브젝트가 존재하는지를 식별한다.
이때, 제2 오브젝트(20)의 범위에 가상 오브젝트의 일부분이 포함되더라도, 프로세서(130)는 제2 오브젝트(20) 범위 내 가상 오브젝트가 존재하는 것으로 식별할 수 있다. 따라서, 도 6을 참조하면, 프로세서(130)는 제2 오브젝트(20) 내에 가상 오브젝트인, 냉장고의 일부분 만이 포함되었으나, 제2 오브젝트(20) 내에 가상 오브젝트(예를 들어, 냉장고)가 존재하는 것으로 식별할 수 있다.
그리고, 프로세서(130)는 가상 오브젝트가 존재하는 것으로 식별되면, 사용자 명령에 기초하여 가상 오브젝트를 제어한다(S470). 보다 구체적으로, 프로세서(130)는 사용자의 명령에 대응하여 가상 현실 환경(200)에서의 가상 오브젝트에 대한 사용자의 인터렉션을 수행한다. 예를 들어, 도 6을 참조하면, 사용자는 제1 오브젝트(10)를 이용하여 가상 현실 컨텐츠(200') 상에서 사용자의 시선이 냉장고(210')에 위치하도록 하였다. 그리고 프로세서(130)는 사용자의 시선을 감지하고, 사용자의 시선이 3차원의 가상 현실 환경(200) 내에서 위치한 지점을 식별한다. 그리고 프로세서(130)는 식별된 지점에 제2 오브젝트(20)를 식별하고, 제2 오브젝트(20)에 가상 오브젝트인, 냉장고(210)가 존재하는 것으로 식별한다. 즉, 사용자가 시선의 움직임을 통해 선택한 가상 오브젝트가 냉장고인 것으로 프로세서(130)는 식별한다. 그리고, 프로세서(130)는 사용자의 입력에 기초하여 가상 현실 환경(200)에서의 가상 오브젝트와 사용자의 인터렉션을 수행한다. 예를 들어, 사용자가 냉장고에 대한 명령, 예를 들어 "냉장고 문 열어줘"의 음성 명령을 입력하면, 프로세서(130)는 가상 현실 환경(200) 내에서 사용자의 음성 명령에 대응하여 가상 오브젝트인, 냉장고가 문을 열도록 제어한다.
한편, 본 개시의 일 실시 예에 따라, 프로세서(130)는 가상 오브젝트가 아닌 실제 외부 전자 장치의 동작을 제어할 수도 있다. 구체적으로, 가상 현실 환경(200)은 실제 환경을 3차원 모델링하여 생성될 수 있다. 이때, 가상 현실 환경(200)에 포함된 가상 오브젝트는 실제 환경에 포함된 각각의 전자 장치에 매칭되어 생성되고, 메모리(미도시)에는 각각의 가상 오브젝트에 매칭되는 전자 장치의 정보가 포함될 수 있다. 이때, 프로세서(130)는 사용자의 명령이 수신되면, 제2 오브젝트(20)에 포함된 가상 오브젝트에 대응하는 전자 장치를 식별하고, 통신부를 통해 해당 전자 장치로 사용자의 명령을 송신할 수 있다. 예를 들어, 사용자가 실제 환경과 분리된 공간에서 전자 장치를 이용하여 가상 현실 환경 내의 냉장고를 바라보며, "냉장고 온도 내려줘"란 음성 명령을 입력하였다고 가정한다. 이때, 프로세서(130)는 사용자의 시선 방향에 기초하여 제2 오브젝트(20)에 가상 오브젝트인 냉장고가 포함된 것으로 식별하고, "냉장고 온도 내려줘"란 음성 명령에 대응하는 신호를 통신부를 통해 외부 전자 장치인, 냉장고로 송신할 수 있다.
한편, 본 개시의 일 실시 예에 따라, 제1 오브젝트(10)와 제2 오브젝트(20) 중 적어도 하나는 식별된 거리에 기초하여 결정될 수 있다. 즉, 프로세서(130)는 제1 오브젝트(10)의 크기와 제2 오브젝트(20)의 크기 중 적어도 하나를 식별된 거리에 기초하여 결정할 수 있다.
구체적으로, 제1 오브젝트(10)의 표시 위치와 제2 오브젝트(20)의 식별 위치는 모두 사용자의 시선 위치에 기초하여 식별되지만, 각각의 위치에서의 제1 오브젝트(10)의 크기와 제2 오브젝트(20)의 크기는 사용자와 가상 현실 환경(200) 내에서의 사용자의 시선이 위치한 지점(30)까지의 거리에 기초하여 식별될 수 있다.
예를 들어, 프로세서(130)는 사용자와 시선이 위치한 지점(30)까지의 거리가 멀수록 제1 오브젝트(10)의 크기를 확대하여 표시하는 반면, 제2 오브젝트(20)는 고정된 크기로 가상 현실 환경(200) 내에서 식별할 수 있다. 즉, 가상 현실 컨텐츠에 표시되는 제1 오브젝트(10)는 사용자의 위치에 따라 그 크기가 변경되어 표시되지만, 프로세서(130)가 가상 현실 환경(200) 내에서 식별하는 제2 오브젝트(20)의 크기는 사용자의 위치와 상관 없이 고정된 크기로 식별될 수 있다.
또는 이와는 다르게, 프로세서(130)는 제1 오브젝트(10)는 식별된 거리와 무관하게 고정된 크기로 식별하고, 제2 오브젝트(20)의 크기는 사용자와 시선이 위치한 지점까지의 거리가 가까울수록 확대하여 식별할 수도 있을 것이다. 즉, 가상 현실 컨텐츠에 표시되는 제1 오브젝트(10)는 사용자의 시선에 따라 위치만이 조정될 뿐 고정된 크기로 표시되지만, 프로세서(130)가 가상 현실 환경(200) 내에서 식별하는 제2 오브젝트(20)의 크기는 식별된 거리가 감소할수록 확대되어 식별될 수 있다.
이하에서는 사용자와 가상 현실 환경(200) 내에서의 사용자의 시선이 위치한 지점(30) 간의 거리에 기초하여, 제1 오브젝트(10) 및 제2 오브젝트(20) 중 적어도 하나의 크기를 조정하는 본원 발명의 실시 예에 대하여 설명하도록 한다.
도 7은 본 개시의 일 실시 예에 따른, 식별된 거리에 기초하여 제1 오브젝트의 크기를 결정하고, 제2 오브젝트의 크기를 고정된 크기로 식별하는 것을 나타낸 예시도이다.
도 8은 본 개시의 일 실시 예에 따른, 식별된 거리의 변화에 기초하여 제1 오브젝트의 크기가 변경되는 것을 나타낸 예시도이다.
본 개시의 일 실시 예에 따라, 프로세서(130)는 식별된 거리에 기초하여 제1 오브젝트(10)의 크기를 식별하고, 식별된 크기를 갖는 제1 오브젝트(10)를 상기 가상 현실 컨텐츠 상에서 식별된 지점에 대응되는 위치에 표시할 수 있다. 이때 프로세서(130)는 고정된 크기를 갖는 제2 오브젝트(20)에 기초하여 상기 제2 오브젝트(20) 내에 가상 오브젝트가 존재하는지를 식별할 수 있다.
예를 들어, 가상 현실 환경(200) 내에 포함된 다수의 가상 오브젝트가 포함되었다고 가정한다. 이때, 2차원의 이미지로 표시되는 가상 현실 컨텐츠 상에서는 복수의 가상 오브젝트의 이미지가 겹치거나 중복되어 표시된다. 특히, 가상 현실 환경(200) 내에서 사용자와 사용자의 시선이 위치한 지점(30)까지의 거리가 먼 경우에는, 가상 현실 컨텐츠(200')에 표시되는 복수의 가상 오브젝트의 이미지의 크기 또한 작아질 것이다. 이러한 경우, 거리에 무관하게 제1 오브젝트(10)의 크기가 고정된다면, 사용자는 가상 현실 컨텐츠(200') 상에서 인터렉션을 수행하고자 하는 가상 오브젝트를 선택하는데 어려움을 겪을 수 밖에 없다. 이를 위해, 프로세서(130)는 가상 오브젝트의 크기가 변경되는 것에 대응하여, 제1 오브젝트(10)의 크기 또한 변경함으로써, 크기가 변경된 가상 오브젝트에 대한 사용자의 시선 조정의 편의성을 높일 수 있다.
한편, 이 경우 프로세서(130)가 3차원의 가상 현실 환경(200) 내에서 식별하는 제2 오브젝트(20)의 크기는 고정될 수 있다. 디스플레이(120) 표시되는 가상 현실 컨텐츠 내 가상 오브젝트의 크기는 상술한 바와 같이 거리에 따라 달라지는 것과는 달리, 프로세서(130)가 식별하는 3차원의 가상 현실 환경(200)에서의 가상 오브젝트의 크기는 변하지 않는다. 그렇기 때문에, 프로세서(130)는 가상 현실 환경(200) 내에서의 사용자의 시선이 위치한 지점(30)을 식별한 후 식별된 지점에서 고정된 크기의 제2 오브젝트(20)를 이용하더라도, 거리의 변화와 무관하게 정확히 제2 오브젝트(20)에 포함되는 가상 오브젝트를 식별할 수 있다. 따라서 거리에 따라 크기가 변경되는 제1 오브젝트(10)와는 달리 프로세서(130)는 제2 오브젝트(20)를 고정된 크기로 식별할 수 있다.
도 7을 참조하면, 가상 현실 환경(200) 내에서 사용자와 사용자의 시선이 위치한 지점(30)까지의 거리가 d1에서 d2로 증가하였다. 이때, 디스플레이(120)에 표시되는 가상 오브젝트, 냉장고(210')와 세탁기(220')의 크기는 감소할 것이다. 가상 현실 환경(200) 내에서의 사용자와 가상 오브젝트 간의 거리가 멀어졌기 때문이다. 이때, 프로세서(130)는 사용자와 사용자의 시선이 위치한 지점(30)까지의 거리가 증가한 것과 반비례 하여 제1 오브젝트(10)의 크기를 축소하여 디스플레이(120)에 표시한다. 다만, 이 경우에도, 프로세서(130)가 가상 현실 환경(200) 내에서 식별하는 제2 오브젝트(20)의 크기는, 사용자의 거리와는 무관하게 고정된다.
한편, 본 개시의 일 실시 예에 따라, 프로세서(130)는 식별된 거리에 반비례 하도록 제1 오브젝트(10)의 크기를 식별할 수 있다.
구체적으로, 사용자와 사용자의 시선이 위치한 지점(30)까지의 거리가 멀어질수록, 디스플레이(120) 표시되는 가상 현실 컨텐츠(200') 내 가상 오브젝트의 크기는 작아지기 때문에, 사용자는 인터렉션을 실행하고자 하는 가상 오브젝트를 선택하기 위해서는 가상 현실 컨텐츠에 대한 보다 세밀한 시선 조정이 필요하다. 따라서, 프로세서(130)는 식별된 거리가 멀어질수록 제1 오브젝트(10)의 크기를 축소시킴으로써, 사용자가 시선을 보다 세밀하게 조정할 수 있도록 한다.
도 8을 참조하면, 가상 현실 환경(200) 내에서의 사용자와 사용자의 시선이 위치한 지점(30)까지의 거리가, d1에서 d2 그리고 d2에서 d3로 증가되었다. 이때, 디스플레이(120)에 표시되는 제1 오브젝트(10)의 크기 또한, r1에서 r2 그리고 r2 에서 r3로 감소하였다. 반면에, 가상 현실 환경(200) 내에서 식별되는 제2 오브젝트(20)의 경우, 프로세서(130)는, 사용자와 사용자의 시선이 위치한 지점(30)의 거리가 변경됨에도 불구하고, r4의 고정된 반경을 갖는 구의 형태로 식별한다.
한편, 제1 오브젝트(10)의 크기의 변화 량은 거리 변화 량에 기초하여 설정될 수 있다. 예를 들어, 프로세서(130)는 d2에서의 제1 오브젝트(10)의 반경, r2를 r1의 d1/d2의 비율에 해당하는 값으로 식별할 수 있다. 또한, 프로세서(130)는 d3에서의 제1 오브젝트(10)의 반경, r3를 r1의 d1/d3의 비율 또는 r2의 d2/d3의 비율에 해당하는 값으로 식별할 수 있다. 그러나 이에 제한되는 것은 아니다. 즉, 제1 오브젝트(10)의 크기 변화 량 또는 크기 변화 율은 사용자 또는 가상 현실 환경의 특성에 따라 다르게 설정될 수 있다.
또는 프로세서(130)는 기 설정된 기본 거리(d0)에 대한 기본 반경(또는 기본 크기)(r0)를 기초로 각각의 거리에서 제1 오브젝트(10)의 반경(또는 크기)를 식별할 수 있다. 예를 들어, 기본 거리가 1m이고, 제1 오브젝트(10)의 기본 반경이 1cm라고 가정한다. 그리고, 도 6에서 d1이 2m라고 가정한다면, 디스플레이(120) 표시되는 제1 오브젝트(10)는 0.5cm의 반경을 갖는 원의 형태로 표시될 수 있다.
또는 프로세서(130)는 고정된 크기의 제2 오브젝트(20)를 가상 현실 환경(200)에 대응되는 맵 데이터 상에 생성하여 표시하고, 맵 데이터 상에서의 사용자의 거리에 획득되는 가상 오브젝트 및 제2 오브젝트(20)의 2차원 이미지를 디스플레이(120)에 표시함으로써 제1 오브젝트(10)를 표시할 수도 있을 것이다. 구체적으로, 프로세서(130)는 가상 현실 환경(200) 내에서의 사용자의 위치를 바탕으로 가상 오브젝트에 대하여 획득되는 2차원 이미지 및 제2 오브젝트(20)의 2차원 이미지를 획득한다. 그리고, 프로세서(130)는 획득된 2차원 이미지를 기초로, 2차원의 가상 현실 컨텐츠(200')와 제1 오브젝트(10)를 디스플레이(120)에 표시할 수 있을 것이다. 즉, 이러한 경우 제1 오브젝트(10)는 제2 오브젝트(20)를 2차원 이미지로 변환한 것이다. 다시 도 8을 참조하면, 디스플레이(120) 표시된 가상 현실 컨텐츠(200')는, 프로세서(130)에 의해 가상 현실 환경(200) 내에서 사용자가 식별된 지점(30)으로부터 d1의 거리에서 획득될 것으로 식별되는, 가상 오브젝트 및 제2 오브젝트(20)에 관한 2차원 이미지일 수 있다. 이는, d2 및 d3에서 표시되는 가상 현실 컨텐츠의 경우에도 마찬가지이다.
한편, 가상 현실 환경(200) 내에서의 사용자와 사용자의 시선이 위치하는 지점까지의 거리가 매우 먼 경우를 가정한다. 이때, 디스플레이(120)에는 증가된 거리에 대응하여 가상 오브젝트 또한 축소된 크기로 표시된다. 만약, 제1 오브젝트(10) 또한 가상 오브젝트와 마찬가지로 축소된 크기로 표시한다면, 사용자는 시야 제어에 어려움을 겪을 수 있다. 축소된 크기의 제1 오브젝트(10)와 축소된 크기의 가상 오브젝트가 동시에 표시되는 경우, 사용자는 정확히 제1 오브젝트(10)를 명확히 식별할 수 없으며, 특히 사용자는 사용자의 시선 및 사용자의 시선에 대응하는 제1 오브젝트(10)를 가상 오브젝트에 정확히 위치 시키는데 어려움을 겪게 된다.
뿐만 아니라, 이때, 전자 장치(100)를 착용한 사용자의 양안 또는 사용자 머리의 미세한 움직임에도, 가상 현실 환경(200) 내에서의 제2 오브젝트(20)의 위치는 제1 오브젝트(10)의 위치와는 다르게 크게 변화한다. 이에 따라, 프로세서(130)가 식별하는, 제2 오브젝트(20)의 범위에 포함된 가상 오브젝트 또한 변경된다. 이는, 사용자가 인터렉션을 실행하고자 하는 가상 오브젝트 이외의 다른 가상 오브젝트를 식별하는 결과를 초래하게 된다.
도 9는 본 개시의 일 실시 예에 따른, 식별된 거리에 기초하여 제2 오브젝트의 크기를 결정하고, 제1 오브젝트의 크기를 고정된 크기로 식별하는 것을 나타낸 예시도이다.
도 10는 가상 현실 컨텐츠 상에서의 사용자의 시선의 위치 변화에 따라 제1 오브젝트와 제2 오브젝트의 위치가 변화되는 것을 나타낸 예시도이다.
도 11은 본 개시의 일 실시 예에 따른, 식별된 거리의 변화에 기초하여 제2 오브젝트의 크기가 변경되는 것을 나타낸 예시도이다.
이를 위해, 본 개시의 일 실시 예에 따라, 프로세서(130)는 식별된 거리에 기초하여 제2 오브젝트(20)의 크기를 식별하고, 고정된 크기를 갖는 제1 오브젝트(10)를 가상 현실 컨텐츠(200') 상에서 식별된 지점에 대응되는 위치에 표시할 수 있다. 이때, 프로세서(130)는 식별된 크기를 갖는 제2 오브젝트(20)에 기초하여 제2 오브젝트(20) 내에 포함된 가상 오브젝트를 식별할 수 있다.
구체적으로, 프로세서(130)는 디스플레이(120)에 가상 컨텐츠에 오버 랩 되어 표시되는 제1 오브젝트(10)의 크기를 고정된 값으로 설정한다. 예를 들어, 프로세서(130)는 기 설정된 크기 또는 기 설정된 픽셀 사이즈로 제1 오브젝트(10)의 크기를 설정할 수 있다. 그리고 프로세서(130)는 가상 현실 환경(200) 내에서의 사용자와 사용자의 시선이 위치하는 지점까지의 거리를 식별하고, 식별된 거리에 기초하여, 제2 오브젝트(20)의 크기를 설정한다. 그리고, 프로세서(130)는 설정된 크기를 갖는 제2 오브젝트(20)를, 사용자의 시선이 위치하는 지점에서 생성하여 식별할 수 있다.
도 9를 참조하면, 가상 현실 환경(200) 내에서 사용자와 사용자의 시선이 위치한 지점(30)까지의 거리가 d1에서 d4로 증가하였다. 이때, 디스플레이(120)에 표시되는 가상 오브젝트, 냉장고(210')와 세탁기(220')의 크기는 감소할 것이다. 가상 현실 환경(200) 내에서의 사용자와 가상 오브젝트(210, 220) 간의 거리가 멀어졌기 때문이다. 이때, 프로세서(130)는 냉장고(210')와 세탁기(220')를 각각 축소된 크기로 표시한 것과는 다르게, 제1 오브젝트(10)의 크기는 변경하지 않는다. 즉, 프로세서(130)는 r1의 고정된 반경을 갖는 원의 형태로 제1 오브젝트(10)를 디스플레이(120)에 표시한다. 반면에, 프로세서(130)는 가상 현실 환경(200)에서 식별하는 제2 오브젝트(20)의 크기를 거리에 따라 조정한다. 구체적으로, 사용자와 사용자의 시선이 위치한 지점(30)까지의 거리가 d1인 경우, 제2 오브젝트(20)의 반경은 r4이다. 그러나, 사용자와 사용자의 시선이 위치한 지점(30)까지의 거리가 d4로 변경되었을 때, 프로세서는 제2 오브젝트(20)의 반경을 r5로 증가시켜 식별한다. 이를 통해, 프로세서(130)는 축소된 크기의 가상 오브젝트에 대한 사용자의 시선의 위치를 사용자가 정확히 식별할 수 있도록 한다.
한편, 본 개시의 일 실시 예에 따라, 프로세서(130)는 식별된 거리에 비례 하도록 제2 오브젝트(20)의 크기를 식별할 수 있다.
가상 현실 환경(200) 내 가상 오브젝트의 개수가 적고, 사용자와 사용자의 시선이 위치한 지점(30)까지의 거리가 먼 경우를 가정한다. 이때, 전자 장치(100)를 이용한 사용자의 미세한 움직임에도, 가상 현실 환경(200) 내에서의 제2 오브젝트(20)의 위치는 크게 변화한다. 이로 인하여, 프로세서(130)는 사용자가 의도하지 않는 움직임으로 인하여, 사용자가 인터렉션을 실행하고자 하는 가상 오브젝트를 다르게 식별하거나, 가상 오브젝트를 식별하지 않을 수 있다.
예를 들어, 도 10을 참조하면, 가상 현실 환경(200) 내 하나의 가상 오브젝트(210)(예를 들어, 냉장고)가 존재하고 사용자와 사용자의 시선이 위치하는 지점까지의 거리가 매운 먼 경우를 가정한다. 즉 d4가 매우 큰 값을 가진 경우를 가정한다. 이때 디스플레이(120) 상에서 사용자 시선의 미세한 움직임에도 프로세서(130)는 가상 현실 환경(200) 내에서 사용자의 시선이 위치한 지점(30)이 크게 변화된 것으로 식별하게 된다. 이로 인하여, 프로세서(130)는 궁극적으로 가상 현실 환경(200) 내에서 사용자의 시선이 위치한 지점(30)을 기준으로 식별되는 제2 오브젝트(20)의 위치 또한 크게 변화한 것으로 식별한다. 이 경우, 제2 오브젝트(20)가 거리에 상관없이 고정된 크기라면, 프로세서(130)는 변경된 위치에서의 제2 오브젝트(20)에 포함된 가상 오브젝트가 존재하지 않는 것으로 식별하는 결과를 초래할 수 있다. 만약, 제2 오브젝트(20)의 크기가 거리에 비례하여 증가한다면, 프로세서(130)는 제2 오브젝트(20)의 범위 내에 가상 오브젝트, 즉 냉장고(210)가 포함된 것으로 식별할 수 있을 것이다.
도 11을 참조하면, 가상 현실 환경(200) 내에서의 사용자와 사용자의 시선이 위치한 지점(30)까지의 거리가, d3에서 d4 그리고 d4에서 d5로 증가되었다. 이때, 프로세서(130)가 가상 현실 환경(200) 내에서 식별하는, 구의 형태의 제2 오브젝트(20)의 반경 또한, r4에서 r5 그리고 r5 에서 r6으로 증가하였다. 반면에, 디스플레이(120)에 표시되는 제1 오브젝트(10)의 경우, 프로세서(130)는, 사용자와 사용자의 시선이 위치한 지점(30)의 거리가 변경됨에도 불구하고, r3의 고정된 반경을 갖는 원의 형태로 식별한다.
이때, 제2 오브젝트(20)의 크기의 변화 량은 거리 변화 량에 기초하여 설정될 수 있다. 예를 들어, 프로세서(130)는 d4에서의 제2 오브젝트(20)의 반경, r5를 r3의 d4/d3의 비율에 해당하는 값으로 식별할 수 있다. 또한, 프로세서(130)는 d5에서의 제2 오브젝트(20)의 반경, r6를 r3의 d5/d3의 비율 또는 r5의 d5/d4의 비율에 해당하는 값으로 식별할 수 있다. 그러나 이에 제한되는 것은 아니다.
프로세서(130)는 기 설정된 기본 거리(d0)에 대한 기본 반경(또는 기본 크기)(r0)를 기초로 각각의 거리에서 제2 오브젝트(20)의 반경(또는 크기)를 식별할 수 있다. 예를 들어, 기본 거리가 2m이고, 제2 오브젝트(20)의 기본 반경이 1m라고 가정한다. 그리고, 도 6에서 d3이 3m라고 가정한다면, 프로세서(130)는 1.5m의 반경을 갖는 구의 형태의 제2 오브젝트(20)를 가상 현실 환경(200) 내에서 식별할 수 있다.
또는 프로세서(130)는 사용자와 사용자의 시선이 위치한 거리와 함께, 디스플레이(120)에 표시된 제1 오브젝트(10)의 넓이 또는 픽셀 범위에 더 기초하여 가상 현실 환경(200) 내에서의 제2 오브젝트(20)의 크기를 식별할 수도 있다. 보다 구체적으로, 프로세서(130)는 디스플레이(120) 상에 기 설정된 픽셀 범위를 갖는(또는 고정된 크기를 갖는) 제1 오브젝트(10)를 표시한다. 그리고, 프로세서(140)는 가상 현실 환경(200)에서의 사용자와 사용자의 시선이 위치한 지점(30)까지 거리를 식별한다. 그리고 프로세서(140)는 식별된 거리가 증가되면, 증가된 거리에 대응하여 픽셀의 범위를 증가시켜 식별하고, 증가된 픽셀의 범위를 기초로, 제2 오브젝트(20)의 크기를 식별할 수 있다.
한편, 프로세서(130)는 예를 들어 가상 현실 환경(200)에 포함된 가상 오브젝트의 개수, 가상 현실 환경(200)에서 식별된 사용자의 위치 등을 고려하여 제1 오브젝트(10)와 제2 오브젝트(20)를 선택적으로 조정하는 상술한 방식 중에서 어느 하나를 선택할 수 있다. 이하, 본 개시의 설명을 위하여, 식별된 거리에 따라서, 제1 오브젝트(10)를 조정하고, 제2 오브젝트(20)를 고정하는 방식을 제1 방식이라 지칭하고, 제1 오브젝트(10)를 고정하고, 식별된 거리에 따라서 제2 오브젝트(20)를 조정하는 방식을 제2 방식이라 지칭한다.
먼저, 본 개시의 일 실시 예에 따라, 프로세서(130)는 가상 현실 환경(200)에 포함된 오브젝트에 개수를 식별하고, 가상 오브젝트의 개수가 기 설정된 개수 미만이면, 제1 오브젝트(10)의 크기는 식별된 거리에 기초하여 식별하고, 제2 오브젝트(20)의 크기는 고정된 크기로 식별하며, 가상 오브젝트의 개수가 기 설정된 개수 이상이면, 제1 오브젝트(10)의 크기는 고정된 크기로 식별하고, 제2 오브젝트(20)의 크기는 상기 식별된 거리에 기초하여 식별할 수 있다. 즉, 프로세서(130)는 가상 오브젝트의 개수에 기초하여, 제1 오브젝트(10) 및 제2 오브젝트(20)를 표시하거나 식별하는 방식을, 제1 방식과 제2 방식을 선택적으로 적용할 수 있다.
도 12는 본 개시의 일 실시 예에 따른, 가상 현실 환경 내 복수의 오브젝트가 존재하는 경우 제1 방식 및 제2 방식에 따른 제1 오브젝트의 크기와 제2 오브젝트의 크기를 비교한 도면이다.
도 12를 참조하면, 가상 현실 환경(200) 내에 3개의 가상 오브젝트(210, 220, 230)가 존재하고, 각각의 가상 오브젝트 간의 가상 현실 환경(200) 내에서의 이격 거리가 작은 것으로 가정한다.
이때, 사용자와 사용자의 시선이 위치한 거리와 무관하게 제2 오브젝트(20)의 크기를 고정하는 제1 방식의 경우, 사용자와 사용자의 시선이 위치한 지점까지의 거리(d6)와 무관하게, 프로세서(130)는 제2 오브젝트(20)를 고정된 크기(r4)로 식별한다. 그리고, 프로세서(130)는 사용자와 사용자의 시선이 위치한 지점까지의 거리(d6)에 반 비례하여 제1 오브젝트(10)의 크기, 즉 원의 형태의 제1 오브젝트(10)의 반경을 r7으로 식별한다. 이때, 프로세서(130)는 가상 현실 컨텐츠(200') 상에서의 사용자의 시선이 위치한 냉장고(210')를 가상 현실 환경(200)에서의 제2 오브젝트(20)의 범위에 포함된 가상 오브젝트로 정확히 식별할 수 있다.
한편, 사용자와 사용자의 시선이 위치한 지점(30)까지의 거리와 무관하게 제1 오브젝트(10)의 크기를 고정하는 제2 방식의 경우, 프로세서(130)는 사용자와 사용자의 시선이 위치한 거리(d6)에 비례하여 제2 오브젝트(20)의 크기, 즉 구의 형태의 제2 오브젝트(20)의 반경을 r8으로 식별한다. 이때, 가상 현실 컨텐츠 상에서 사용자는 냉장고(210)와의 인터렉션을 위하여 냉장고(210)에 시선을 위치 시켰음에도 불구하고, 프로세서(130)는 제2 오브젝트(20)의 범위 내 냉장고(210) 이외의 TV(230)와 세탁기(220)의 가상 오브젝트까지 포함된 것으로 식별한다. 즉, 프로세서(130)가 사용자가 의도한 가상 오브젝트 이외의 가상 오브젝트까지 제어 대상으로 식별하는 문제가 발생한다. 따라서, 거리에 상관없이 고정된 크기의 제2 오브젝트(20)를 이용하여, 프로세서(130)는 사용자가 인터렉션을 의도한 가상 오브젝트를 정확히 식별할 수 있다.
한편, 본 개시의 일 실시 예에 따라, 프로세서(130)는 식별된 거리가 기 설정된 거리 미만이면 제1 오브젝트(10)의 크기는 상기 식별된 거리에 기초하여 식별하고, 제2 오브젝트(20)의 크기는 고정된 크기로 식별하고, 식별된 거리가 기 설정된 거리 이상이면, 제1 오브젝트(10)의 크기는 고정된 크기로 식별하고, 제2 오브젝트(20)의 크기는 식별된 거리에 기초하여 식별할 수 있다.
도 13은 본 개시의 일 실시 예에 따른, 사용자의 식별 거리에 기초하여, 제1 방식 및 제2 방식을 비교한 것을 나타낸 예시도이다.
도 13을 참조하면, 사용자와 사용자의 시선이 위치한 지점(30)까지의 거리가 d7으로 도시되어 있다. 이때, d7이 큰 값을 가졌다고 가정(예를 들어, 사용자와 사용자의 시선이 위치한 지점(30)까지의 거리가 먼 것으로 가정)한다면, 프로세서(130)는, 가상 현실 환경(200) 내의 가상 오브젝트인 냉장고의 2차원 이미지(210')를 축소된 형태로 디스플레이(120)에 표시한다. 이때, 프로세서(130)가 상술한 제1 방식에 의하여 제1 오브젝트(10)와 제2 오브젝트(20)를 표시하는 경우, 디스플레이(120)에 표시되는 제1 오브젝트(10)의 크기는 사용자와 사용자의 시선이 위치한 지점(30)까지의 거리에 반 비례 하여 매우 작을 것이다. 이러한 경우에, 전자 장치(100)를 착용한 사용자의 미세한 움직임에도, 디스플레이(120) 표시되는 제1 오브젝트(10)는 큰 움직임을 갖게 되며, 이에 따라 사용자는 가상 현실 컨텐츠 상에서 제1 오브젝트(10)를 이용하여 특정 오브젝트를 선택하는데 어려움을 겪을 수 밖에 없다.
반면에, 프로세서(130)가 상술한 제2 방식에 의하여 제1 오브젝트(10)와 제2 오브젝트(20)를 표시하는 경우, 프로세서(130)는 제1 오브젝트(10)를 사용자와 사용자의 시선이 위치한 지점(30)까지의 거리에 상관 없이 고정된 크기로 디스플레이(120)에 표시한다. 이에 따라, 사용자는 제1 방식에 보다도 먼 거리에 위치한 가상 오브젝트를 보다 손쉽게 선택할 수 있으며 정확히 제어할 수 있다. 특히, 제2 방식의 경우, 가상 현실 환경(200) 내에서 오브젝트를 식별하기 위해 이용되는 제2 오브젝트(20)의 크기가, 사용자와 사용자의 시선이 위치한 지점(30)까지 거리에 비례하여 커지기 때문에, 실제 프로세서(130)는 사용자의 시선이 위치한 가상 오브젝트를 정확히 식별할 수 있을 것이다.
따라서, 프로세서(130)는 사용자와 사용자의 시선이 위치한 지점(30)까지 거리가 기 설정된 거리(이하, 제1 거리)미만인 경우에는, 제1 방식에 기초하여 제1 오브젝트(10) 및 제2 오브젝트(20)를 식별하고, 기 설정된 거리 이상인 경우에는, 제2 방식에 기초하여 제1 오브젝트(10) 및 제2 오브젝트(20)를 식별할 수도 있을 것이다.
한편, 기 설정된 거리는 사용자에 의해 설정될 수 있으며, 또는 전자 장치(100)를 착용한 사용자의 평균 움직임을 기초로, 프로세서(130)에 의하여 설정될 수도 있다. 예를 들어, 전자 장치(100)의 센서(110)를 통해 획득한 센싱 값을 기초로, 기 설정된 시간 동안의 사용자의 가속도 및/또는 각속도를 식별하고, 사용자의 평균 움직임의 정도를 식별한다. 그리고, 식별된 평균 움직임에 기초하여, 프로세서(130)는 제1 방식에서 제2 방식으로 변경되는 임계 거리를 설정할 수도 있을 것이다.
한편, 프로세서(130)는 사용자와 사용자의 시선이 위치한 지점(30)까지의 거리에 기초하여, 제1 또는 제2 오브젝트(20)의 크기의 변화 율을 조정할 수도 있을 것이다. 이는, 제1 방식 또는 제2 방식을 선택적으로 사용하는 경우 발생되는 단점을 보완하기 위함이다.
본 개시의 일 실시 예에 따라, 프로세서(130)는 제2 방식(제1 오브젝트의 크기를 고정된 크기로 식별하고, 제2 오브젝트의 크기는 식별된 거리에 기초하여 결정하는 방식)에 따라서 제1 오브젝트를 표시하고, 제2 오브젝트를 식별하는 경우, 식별된 거리가 기 설정된 거리(이하, 제2 거리)이상인 경우에는 제2 오브젝트(20)의 크기의 변화 율 및 변화 량을 변경할 수 있다.
보다 구체적으로, 사용자와 식별된 지점까지의 거리가 계속하여 증가하는 경우, 제2 오브젝트(20)의 크기 또한 이에 비례하여 증가하게 된다. 이때, 제2 오브젝트(20)의 크기가 과도하게 커지는 경우에는 사용자가 의도하지 않는 가상 오브젝트가 제2 오브젝트(20)의 범위에 포함되는 문제로 이어질 수 있다. 따라서, 프로세서(130)는 식별된 거리가 기 설정된 거리(제2 거리) 미만이면, 제2 오브젝트(20)의 크기를 제1 비율에 기초하여 조정하고, 식별된 거리가 기 설정된 거리(제2 거리) 이상이면 제2 비율에 기초하여 제2 오브젝트의 크기를 조정할 수 있다. 이때, 제2 비율은 제1 비율보다 작은 값으로 설정될 수 있다.
한편, 본 개시의 일 실시 예에 따라, 제2 거리는 상술한 제1 거리보다 큰 값을 설정될 수 있다. 즉, 프로세서(130)는 제1 거리 미만인 거리에서는 제1 방식에 기초하여 제1 및 제2 오브젝트(20)를 식별하고, 제1 거리 이상 제2 거리 미만인 경우에는 제2 방식에 기초하되, 제1 비율로 제2 오브젝트(20)의 크기를 결정하고, 제2 거리 이상인 경우에는 제2 방식에 기초하되, 제2 비율로 제2 오브젝트(20)의 크기를 결정 할 수 있다.
앞서 설명한 바와 같이 가상 현실 환경(200) 내에서 복수의 가상 오브젝트가 존재하는 경우 제2 방식보다는 제1 방식이 유용하다. 다만, 사용자와 가상 오브젝트 간의 거리가 멀어질수록 제1 오브젝트(10)의 크기가 작아짐에 따라 사용자는 시선을 세밀하게 제어하는데 불편함을 겪는다.
이를 위해, 본 개시의 일 실시 예에 따라, 프로세서(130)는, 가상 현실 환경(200) 내 가상 오브젝트의 개수가 기 설정된 개수 이상이고, 사용자와 사용자의 시선이 위치한 지점(30)까지의 거리가 기 설정된 거리(이하, 제3 거리) 미만이면, 제3 비율에 기초하여 제1 오브젝트(10)의 크기를 조정하고, 사용자와 사용자의 시선이 위치한 지점(30)까지의 거리가 기 설정된 거리 이상이면 제4 비율에 기초하여 제1 오브젝트(10)의 크기를 조정할 수도 있을 것이다. 이때, 제2 오브젝트(20)의 크기는 고정될 수 있다. 이때, 제3 비율은 제4 비율보다 큰 값일 수 있다.
도 14를 참조하면, 기 설정된 거리가 5m라고 가정한다. 이때, 사용자와 사용자의 시선이 위치한 지점(30)까지의 거리가 3m에서 5m로 변경된 경우, 제1 오브젝트(10)의 반경은 10cm에서 6cm(10cm * 3/5)로 감소한다. 한편, 사용자와 사용자의 시선이 위치한 지점(30)까지의 거리가 5m에서 6m로 변경된 경우, 제1 오브젝트(10)는 6cm에서 5.5cm(6cm * 5/6 * 1.1)로 변경된다. 즉, 프로세서(130)는 기 설정된 거리 이상에서는 거리 변화 율에 가중치인, 1.1을 적용하여 제1 오브젝트(10)의 크기의 감소 비율을 조정할 수 있다.
한편, 본 개시의 일 실시 예에 따라서 프로세서(130)는 식별된 거리에 기초하여, 제1 오브젝트(10)와 제2 오브젝트(20)의 크기를 동시에 변경할 수도 있다. 보다 구체적으로, 프로세서(130)는 식별된 거리에 기초하여 제5 비율에 기초하여 제2 오브젝트(20)의 크기를 결정하고, 식별된 거리에 기초하여 제6 비율에 기초하여 제1 오브젝트(10)의 크기를 결정할 수도 있을 것이다. 이때, 사용자와 사용자의 시선이 위치하는 지점까지의 거리가 증가하면 제2 오브젝트(20)의 크기는 제5 비율로 증가하도록 결정되고, 제1 오브젝트(10)의 크기는 제6 비율로 감소하도록 결정될 수 있을 것이다. 이를 통해, 사용자와 사용자의 시선이 위치하는 지점까지의 거리가 멀어짐에 따라, 가상 현실 컨텐츠에 표시되는 가상 오브젝트의 크기가 감소되는 것에 대응하여 프로세서(130)는 제1 오브젝트(10)의 크기를 감소시켜 표시할 수 있다. 다만, 제1 오브젝트(10)와는 달리, 프로세서(130)는 제2 오브젝트(20)의 크기는 증가시킴에 따라서, 가상 현실 환경 내에서 사용자가 선택한 가상 오브젝트를 정확히 식별할 수도 있을 것이다.
도 15는 본 개시의 일 실시 예에 따른 전자 장치의 세부 구성도이다.
도 15를 참조하면, 본 개시의 일 실시 예에 따라, 전자 장치는 센서(110), 디스플레이(120), 프로세서(130), 메모리(140), 마이크(150), 그래픽 처리부(160) 및 통신 인터페이스(170)를 포함한다.
센서(110), 디스플레이(120)와 프로세서(130)에 관하여는 상술하여 설명하였으므로, 자세한 설명은 생략하도록 한다.
카메라(140)는 이미지를 획득한다. 구체적으로, 전자 장치(100)를 사용자가 착용한 경우, 사용자의 양안의 움직임에 대한 이미지를 획득할 수 있다. 이를 기초로, 프로세서(130)는 사용자의 시선의 방향을 식별할 수 있을 것이다. 또한 프로세서(130)는 카메라(140)를 통해, 사용자 주변 환경 또는 외부 객체에 대한 복수의 이미지를 획득하고, 획득된 복수의 이미지를 기초로 사용자 주변 환경 또는 외부 객체에 대한 맵 데이터를 생성할 수도 있다.
한편, 마이크(150)는 사용자의 음성 명령을 수신한다. 구체적으로, 마이크(150)는 가상 오브젝트에 관한 인터렉션을 수행하기 위한 사용자의 음성 명령을 수신할 수 있다.
그래픽 처리부(160)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 오브젝트를 포함하는 화면, 예를 들어, 가상 환경 콘텐츠를 생성한다. 연산부(미도시)는 수신된 제어 명령에 기초하여 디스플레이(120) 화면의 레이 아웃에 따라 각 오브젝트들이 표시될 좌표 값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 오브젝트를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부(미도시)에서 생성된 화면은 디스플레이(120)에 표시된다.
메모리(170)에는 전자 장치(100)을 구동시키기 위한 O/S(Operating System)가 저장될 수 있다. 또한, 메모리(170)에는 본 개시의 다양한 실시 예들에 따라 전자 장치(100)를 동작하기 위한 각종 소프트웨어 프로그램이나 애플리케이션이 저장될 수도 있다. 예를 들어, 메모리(170)에는 가상 현실 환경에 대한 정보, 즉 가상 현실 환경에 대응하는 맵 데이터가 저장될 수 있다. 또한, 메모리(150)에는 프로그램 또는 애플리케이션의 실행 중에 입력되거나 설정 또는 생성되는 각종 데이터 등과 같은 다양한 정보가 저장될 수 있다.
통신 인터페이스(180)는 전자 장치(100)와 다양한 외부 장치와 통신을 수행하여 각종 정보를 송, 수신할 수 있다. 특히, 가상 현실 환경이 실제 사용자 환경을 기초로 생성되고, 가상 현실 환경에 포함되는 가상 오브젝트가 실제 외부 전자 장치와 매칭되는 경우, 통신 인터페이스(180)는 가상 오브젝트에 대한 사용자 음성 명령에 대응되는 신호를 가상 오브젝트와 매칭되는 실제 외부 전자 장치로 송신할 수 있다.
이를 위해, 통신부(110)는, 무선 통신부, 유선 통신부 및 입력 인터페이스를 포함할 수 있다. 무선 통신부는, 무선 통신 기술이나 이동 통신 기술을 이용하여 각종 외부 장치와 통신을 수행할 수 있다. 이러한 무선 통신 기술로는, 예를 들어, 블루투스(Bluetooth), 저전력 블루투스(Bluetooth Low Energy), 캔(CAN) 통신, 와이 파이(Wi-Fi), 와이파이 다이렉트(Wi-Fi Direct), 초광대역 통신(UWB, ultrawide band), 지그비(zigbee), 적외선 통신(IrDA, infrared Data Association) 또는 엔에프씨(NFC, Near Field Communication) 등이 포함될 수 있으며, 이동 통신 기술 로는, 3GPP, 와이맥스(Wi-Max), LTE(Long Term Evolution), 5G 등이 포함될 수 있다.
한편, 본 개시의 일 실시 예에 따라, 전자 장치(100)는 증강 현실 기반의 컨텐츠를 제공할 수도 있다. 즉, 카메라(140)를 통해 획득한 후 디스플레이(120)에 표시되는 이미지에 증강 현실 컨텐츠인 제1 오브젝트를 표시할 수 있다. 이를 위해, 본 개시의 일 실시 예에 따라 센서(110)는 ToF(Time of Flying)으로 구현될 수도 있다. 그리고, 프로세서(130)는 ToF 센서를 통해 사용자와 외부 전자 장치와의 거리를 식별할 수 있다. 이를 통해, 프로세서(130)는 가상 현실 환경에 대응하는 맵 데이터 없이도 디스플레이(120)에 제1 오브젝트를 표시할 수 있다. 예를 들어, 프로세서(130)가 디스플레이(120)에 가상 현실 컨텐츠가 아닌 카메라(160)를 통해 획득한 이미지를 표시하고, 제1 오브젝트가 카메라(160)를 통해 획득한 이미지에 중첩되어 표시되는 경우를 가정한다. 즉, 전자 장치(120)가 증강 현실의 컨텐츠를 제공하는 경우가 이에 해당한다. 프로세서(130)는 카메라를 통해 획득한 이미지 상에 제1 오브젝트를 표시한다. 그리고, 프로세서(130)는 가상 ToF 센서를 기초로 외부 전자 장치와의 거리를 식별하고, 식별된 거리에 기초하여 제1 오브젝트의 크기를 조절할 수 있다. 한편, 이를 위해, 프로세서(130)는 ToF 센서를 통해 외부 전자 장치의 위치 및 외부 전자 장치와의 거리 사전에 획득하고, 이를 기초로 사용자 주변 환경에 대한 맵 데이터를 생성하는 과정을 선행할 수도 있다. 이를 통해, 프로세서(130)는 맵 데이터 상에서의 사용자의 시선이 위치하는 지점을 식별하고, 식별된 지점에서 제2 오브젝트를 설정할 수도 있다. 또한, ToF 센서를 기초로 감지되는 외부 전자 장치와 사용자의 거리에 기초하여 제2 오브젝트의 크기 또한 조절할 수 있을 것이다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치 및 디스플레이 장치 중 적어도 하나의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있 다. 여기서, '비일시적'은 저장 매체가 신호(signal)를 포함하지 않으며 실재 (tangible)한다는 것을 의미할 뿐 데이터가 저장 매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실 시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되 어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구 성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다 양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소 들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양 한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작 들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하 였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청 구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    센서;
    디스플레이; 및
    가상 현실 환경에 대응되는 가상 현실 컨텐츠를 표시하도록 상기 디스플레이를 제어하고,
    상기 센서를 통해 획득된 데이터에 기초하여 사용자의 시선 방향을 식별하고, 상기 시선 방향에 기초하여 상기 가상 현실 환경 상에서 상기 사용자의 시선이 위치하는 지점을 식별하고, 상기 가상 현실 환경 상에서 상기 식별된 지점 및 상기 사용자 간의 거리를 식별하고, 상기 가상 현실 컨텐츠 상에서 상기 식별된 지점에 대응되는 위치에 제1 오브젝트를 표시하도록 상기 디스플레이를 제어하고, 상기 제1 오브젝트가 표시된 상태에서 사용자 명령이 수신되면, 상기 가상 현실 환경에서 상기 식별된 지점에 위치하는 제2 오브젝트 내에 가상 오브젝트가 존재하는지 식별하고, 상기 가상 오브젝트가 존재하는 것으로 식별되면, 상기 사용자 명령에 기초하여 상기 가상 오브젝트를 제어하는 프로세서;를 포함하며,
    상기 제1 및 제2 오브젝트 중 적어도 하나는 상기 식별된 거리에 기초하여 결정되는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    거리에 기초하여 상기 제1 오브젝트의 크기를 식별하고, 상기 식별된 크기를 갖는 제1 오브젝트를 상기 가상 현실 컨텐츠 상에서 상기 식별된 지점에 대응되는 위치에 표시하도록 상기 디스플레이를 제어하고, 고정된 크기를 갖는 상기 제2 오브젝트에 기초하여 상기 제2 오브젝트 내에 포함된 가상 오브젝트를 식별하는 전자 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 식별된 거리에 반비례 하도록 상기 제1 오브젝트의 크기를 식별하는 전자 장치.
  4. 제2항에 있어서,
    상기 프로세서는,
    상기 가상 현실 환경에 포함된 가상 오브젝트의 개수를 식별하고, 상기 가상 오브젝트의 개수가 기 설정된 값 미만이면, 상기 제1 오브젝트의 크기는 상기 식별된 거리에 기초하여 식별하고, 상기 제2 오브젝트의 크기는 고정된 크기로 식별하는, 전자 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 식별된 거리에 기초하여 상기 제2 오브젝트의 크기를 식별하고, 고정된 크기를 갖는 제1 오브젝트를 상기 가상 현실 컨텐츠 상에서 상기 식별된 지점에 대응되는 위치에 표시하도록 상기 디스플레이를 제어하고, 상기 식별된 크기를 갖는 제2 오브젝트에 기초하여 상기 제2 오브젝트 내에 포함된 가상 오브젝트를 식별하는 전자 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    상기 식별된 거리에 비례 하도록 상기 제2 오브젝트의 크기를 식별하는 전자 장치.
  7. 제5항에 있어서,
    상기 프로세서는,
    상기 가상 현실 환경에 포함된 가상 오브젝트의 개수를 식별하고, 상기 가상 오브젝트의 개수가 기 설정된 값 이상이면, 상기 제1 오브젝트의 크기는 고정된 크기로 식별하고, 상기 제2 오브젝트의 크기는 상기 식별된 거리에 기초하여 식별하는, 전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 식별된 거리가 기 설정된 값 미만이면, 상기 제1 오브젝트의 크기는 상기 식별된 거리에 기초하여 식별하고, 상기 제2 오브젝트의 크기는 고정된 크기로 식별하고,
    상기 식별된 거리가 기 설정된 값 이상이면, 상기 제1 오브젝트의 크기는 고정된 크기로 식별하고, 상기 제2 오브젝트의 크기는 상기 식별된 거리에 기초하여 식별하는, 전자 장치.
  9. 전자 장치를 제어 하는 방법에 있어서,
    가상 현실 환경에 대응되는 가상 현실 컨텐츠를 표시하는 단계;
    상기 센서를 통해 획득된 데이터에 기초하여 사용자의 시선 방향을 식별하는 단계;
    상기 시선 방향에 기초하여 상기 가상 현실 환경 상에서 상기 사용자의 시선이 위치하는 지점을 식별하는 단계;
    상기 가상 현실 환경 상에서 상기 식별된 지점 및 상기 사용자 간의 거리를 식별하는 단계;
    상기 가상 현실 컨텐츠 상에서 상기 식별된 지점에 대응되는 위치에 제1 오브젝트를 표시하는 단계;
    상기 제1 오브젝트가 표시된 상태에서 사용자 명령이 수신되면, 상기 가상 현실 환경에서 상기 식별된 지점에 위치하는 제2 오브젝트 내에 가상 오브젝트가 존재하는지 식별하는 단계; 및
    상기 가상 오브젝트가 존재하는 것으로 식별되면, 상기 사용자 명령에 기초하여 상기 가상 오브젝트를 제어하는 단계;를 포함하며,
    상기 제1 및 제2 오브젝트 중 적어도 하나는 상기 식별된 거리에 기초하여 결정되는 제어 방법.
  10. 제9항에 있어서,
    상기 표시하는 단계는,
    상기 식별된 거리에 기초하여 상기 제1 오브젝트의 크기를 식별하고, 상기 식별된 크기를 갖는 제1 오브젝트를 상기 가상 현실 컨텐츠 상에서 상기 식별된 지점에 대응되는 위치에 표시하고,
    상기 가상 오브젝트가 존재하는지 식별하는 단계는,
    고정된 크기를 갖는 상기 제2 오브젝트에 기초하여 상기 제2 오브젝트 내에 포함된 가상 오브젝트를 식별하는 제어 방법.
  11. 제10항에 있어서,
    상기 식별된 거리에 반비례 하도록 상기 제1 오브젝트의 크기를 식별하는 제어 방법.
  12. 제10항에 있어서,
    상기 가상 현실 환경에 포함된 가상 오브젝트의 개수를 식별하고, 상기 가상 오브젝트의 개수가 기 설정된 값 미만이면, 상기 제1 오브젝트의 크기는 상기 식별된 거리에 기초하여 식별하고, 상기 제2 오브젝트의 크기는 고정된 크기로 식별하는, 제어 방법.
  13. 제9항에 있어서,
    상기 표시하는 단계는,
    상기 식별된 거리에 기초하여 상기 제2 오브젝트의 크기를 식별하고, 고정된 크기를 갖는 제1 오브젝트를 상기 가상 현실 컨텐츠 상에서 상기 식별된 지점에 대응되는 위치에 표시하고,
    상기 가상 오브젝트가 존재하는지 식별하는 단계는,
    상기 식별된 크기를 갖는 제2 오브젝트에 기초하여 상기 제2 오브젝트 내에 포함된 가상 오브젝트를 식별하는 제어 방법.
  14. 제13항에 있어서,
    상기 식별된 거리에 비례 하도록 상기 제2 오브젝트의 크기를 식별하는 제어 방법.
  15. 제13항에 있어서,
    상기 가상 현실 환경에 포함된 가상 오브젝트의 개수를 식별하고, 상기 가상 오브젝트의 개수가 기 설정된 값 이상이면, 상기 제1 오브젝트의 크기는 고정된 크기로 식별하고, 상기 제2 오브젝트의 크기는 상기 식별된 거리에 기초하여 식별하는, 제어 방법.
PCT/KR2023/002047 2022-02-18 2023-02-13 전자 장치 및 전자 장치의 제어 방법 WO2023158171A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0021583 2022-02-18
KR1020220021583A KR20230124363A (ko) 2022-02-18 2022-02-18 전자 장치 및 전자 장치의 제어 방법

Publications (1)

Publication Number Publication Date
WO2023158171A1 true WO2023158171A1 (ko) 2023-08-24

Family

ID=87578516

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/002047 WO2023158171A1 (ko) 2022-02-18 2023-02-13 전자 장치 및 전자 장치의 제어 방법

Country Status (2)

Country Link
KR (1) KR20230124363A (ko)
WO (1) WO2023158171A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140160001A1 (en) * 2012-12-06 2014-06-12 Peter Tobias Kinnebrew Mixed reality presentation
KR20160029348A (ko) * 2014-09-05 2016-03-15 엘지전자 주식회사 글래스형 이동 단말기
JP2017058971A (ja) * 2015-09-16 2017-03-23 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
KR20200091988A (ko) * 2019-01-23 2020-08-03 삼성전자주식회사 장치를 제어하기 위한 방법 및 그 전자 장치
KR102283747B1 (ko) * 2014-01-07 2021-07-29 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 시선 추적을 갖는 타겟 위치결정

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140160001A1 (en) * 2012-12-06 2014-06-12 Peter Tobias Kinnebrew Mixed reality presentation
KR102283747B1 (ko) * 2014-01-07 2021-07-29 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 시선 추적을 갖는 타겟 위치결정
KR20160029348A (ko) * 2014-09-05 2016-03-15 엘지전자 주식회사 글래스형 이동 단말기
JP2017058971A (ja) * 2015-09-16 2017-03-23 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
KR20200091988A (ko) * 2019-01-23 2020-08-03 삼성전자주식회사 장치를 제어하기 위한 방법 및 그 전자 장치

Also Published As

Publication number Publication date
KR20230124363A (ko) 2023-08-25

Similar Documents

Publication Publication Date Title
WO2018155892A1 (en) Method for displaying virtual image, storage medium and electronic device therefor
WO2017131427A1 (en) Method for displaying image and electronic device thereof
WO2018128526A1 (en) System and method for augmented reality control
WO2020036343A1 (en) Electronic device and control method thereof
WO2017126741A1 (ko) Hmd 디바이스 및 그 제어 방법
WO2018236058A1 (en) ELECTRONIC DEVICE FOR PROVIDING PROPERTY INFORMATION OF AN EXTERNAL LIGHT SOURCE FOR AN OBJECT OF INTEREST
WO2018074893A1 (ko) 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법
WO2019164092A1 (ko) 디스플레이를 통해 표시된 제 1 콘텐트에 대해 제 2 콘텐트를 외부 객체의 움직임에 따라 제공하기 위한 전자 장치 및 그의 동작 방법
WO2017065535A1 (ko) 전자 장치 및 그 제어 방법
EP3167610A1 (en) Display device having scope of accreditation in cooperation with depth of virtual object and controlling method thereof
WO2017052150A1 (en) User terminal device, electronic device, and method of controlling user terminal device and electronic device
WO2017150815A1 (ko) 디스플레이의 밝기를 제어하는 방법, 전자 장치 및 컴퓨터 판독가능 기록매체
WO2020138602A1 (ko) 진정 사용자의 손을 식별하는 방법 및 이를 위한 웨어러블 기기
WO2019231090A1 (ko) 외부 전자 장치의 위치 및 움직임에 기반하여 외부 전자 장치와 관련된 객체를 표시하는 전자 장치 및 방법
WO2017146328A1 (en) Apparatus and method for simulating interaction with electronic device
WO2016111470A1 (ko) 마스터 기기, 슬레이브 기기 및 그 제어 방법
WO2014069722A1 (ko) 3차원 디스플레이 장치 및 그의 사용자 인터페이스 방법
WO2021025266A1 (en) Electronic apparatus and control method thereof
WO2021230568A1 (ko) 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법
WO2014193136A1 (ko) 전자 장치, 전자 장치의 제어 방법, 및 컴퓨터 판독 가능한 기록 매체
WO2019135550A1 (en) Electronic device for controlling image display based on scroll input and method thereof
WO2018097483A1 (ko) 움직임 정보 생성 방법 및 이를 지원하는 전자 장치
WO2021049730A1 (ko) 영상 인식 모델을 학습하는 전자 장치 및 그 동작 방법
WO2016122153A1 (en) Display apparatus and control method thereof
WO2023158171A1 (ko) 전자 장치 및 전자 장치의 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23756584

Country of ref document: EP

Kind code of ref document: A1