WO2024048195A1 - 表示制御装置 - Google Patents

表示制御装置 Download PDF

Info

Publication number
WO2024048195A1
WO2024048195A1 PCT/JP2023/028418 JP2023028418W WO2024048195A1 WO 2024048195 A1 WO2024048195 A1 WO 2024048195A1 JP 2023028418 W JP2023028418 W JP 2023028418W WO 2024048195 A1 WO2024048195 A1 WO 2024048195A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual
display control
glass
user
glass device
Prior art date
Application number
PCT/JP2023/028418
Other languages
English (en)
French (fr)
Inventor
有希 中村
康夫 森永
充宏 後藤
達哉 西▲崎▼
貴哉 長谷川
Original Assignee
株式会社Ｎｔｔドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｎｔｔドコモ filed Critical 株式会社Ｎｔｔドコモ
Publication of WO2024048195A1 publication Critical patent/WO2024048195A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus

Definitions

  • the present disclosure relates to a display control device.
  • HMD Head Mounted Display
  • An example of an HMD device is a glass device such as AR (Augmented Reality) glasses.
  • AR glasses an image of a virtual object that does not exist in real space is displayed superimposed on real space.
  • the user of the glass device can acquire information corresponding to the selected virtual object.
  • An operation for selecting a virtual object is called a ray operation.
  • the ray operation includes an aim operation in which a virtual indicator such as a cursor is positioned on a virtual object desired to be selected, and a determination operation in which the selection is confirmed.
  • An example of a mode for realizing the ray operation in a glass device is a mode in which a smartphone connected to the glass device plays the role of an operation device such as a 3D mouse.
  • the method of having a smartphone take on the role of an operating device has a problem in that the user's one hand is occupied due to the Ray operation.
  • the user has to take out the smartphone and check the UI screen every time the user performs a lay operation, and there is also the problem that erroneous operations such as pressing the wrong button are likely to occur.
  • Patent Document 1 discloses a technique that utilizes a user's line of sight for ray operation on a glass device.
  • a technology that uses the user's line of sight for ray operation is also referred to as HPG (Head Position Gaze).
  • HPG has a problem in that the user needs to keep staring at the virtual object he or she wishes to select for several seconds, resulting in a waiting time of several seconds before the selection is confirmed. Additionally, HPG has a problem in that erroneous selections may occur frequently, such as a virtual object that the user unconsciously continues to focus on being selected as an operation target. In order to deal with these problems, it is conceivable to provide the glass device with a dedicated button for the decision operation, but there is a problem that the development cost and manufacturing cost of the glass device increase.
  • a display control device includes a display control section and a determination section.
  • the display control unit displays on the glass device one or more virtual objects included in the field of view of the glass device in three-dimensional space. Further, the display control unit displays a virtual indicator for selecting any one of the one or more virtual objects on the glass device based on a line of sight of a user of the glass device.
  • the determination unit determines, as an operation target, a virtual object pointed to by the virtual indicator at the time when an input operation is performed on the wearable terminal worn on the user's body.
  • the present disclosure it is possible to quickly and accurately determine the virtual object to be manipulated, compared to a mode in which "the action of staring at a virtual object for several seconds" is interpreted as a "determination operation.” Further, according to the present disclosure, there is no need to provide a dedicated button for a decision operation on the glass device, and the development cost and manufacturing cost of the glass device do not increase.
  • FIG. 1 is a block diagram showing a configuration example of a display system 1A according to a first embodiment of the present disclosure.
  • 7 is a diagram showing an example of arrangement of virtual objects in a region R.
  • FIG. It is a figure which shows an example of the projection image G1. It is a figure which shows an example of the image G2 reflected in the eyes of the user U wearing the glass device 20.
  • FIG. 6 is a diagram illustrating an example of updating the indicated position of the virtual indicator VC.
  • It is a block diagram showing an example of composition of portable device 10A. It is a flowchart showing the flow of a display control method executed by the processing device 140 of the mobile device 10A according to the program PRA.
  • FIG. 2 is a block diagram showing a configuration example of a display system 1B according to a second embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating a configuration example of a display system 1C according to a third embodiment of the present disclosure.
  • It is a block diagram showing an example of composition of portable device 10B.
  • It is a flowchart showing the flow of a display control method executed by the processing device 140 of the mobile device 10B according to the program PRB.
  • FIG. 3 is a diagram for explaining the operation of the mobile device 10B.
  • FIG. 3 is a diagram for explaining the operation of the mobile device 10B.
  • FIG. 3 is a block diagram illustrating a configuration example of a display system 1D according to a fourth embodiment of the present disclosure.
  • FIG. 1 is a block diagram showing a configuration example of a display system 1A according to a first embodiment of the present disclosure.
  • the display system 1A includes a mobile device 10A, a glass device 20, and a wearable terminal 30A.
  • the glass device 20 is an HMD device worn on the head of the user U.
  • the glass device 20 displays an image of a virtual object that does not exist in real space without blocking the field of view of the user U who wears the glass device 20 on his head. Since the glass device 20 does not block the user's U's field of view, the image of the virtual object appears in the user's U's eyes superimposed on the real space.
  • the glass device 20 in this embodiment is an AR glass, it may also be a VR (Virtual Reality) glass.
  • the mobile device 10A is, for example, a smartphone.
  • the mobile device 10A is not limited to a smartphone, but may be, for example, a tablet or a notebook personal computer.
  • the mobile device 10A is worn on the user U's body similarly to the glass device 20.
  • the mobile device 10A is attached to the user U's body by hanging it from the user U's neck using a strap or the like.
  • a glass device 20 is connected to the mobile device 10A by wire.
  • a wearable terminal 30A is wirelessly connected to the mobile device 10A.
  • the mobile device 10A communicates with the management device 40 via the communication line NW.
  • the management device 40 is a server device that provides content distribution service in AR.
  • a plurality of virtual objects are arranged within a spherical area of a predetermined radius centered on the user U, and information is provided according to the virtual object selected by the user.
  • a spherical area in which a plurality of virtual objects are arranged moves as the user U moves. Therefore, the user U can experience moving in the real space while being surrounded by a plurality of virtual objects.
  • the management device 40 stores virtual object information and position information in advance.
  • the virtual object information represents an image of a virtual object placed within a spherical area centered on the user U.
  • the position information indicates the placement position of the virtual object within the area.
  • a spherical area centered on user U is an example of a three-dimensional space in the present disclosure.
  • the position information in this embodiment is information indicating a position in a three-dimensional coordinate system whose origin is the center of the spherical region R.
  • the mobile device 10A displays an image that the user U sees through the glass device 20 within the spherical area on the glass device 20 based on the virtual object information and position information received from the management device 40.
  • the image that the user U sees through the glass device 20 in the spherical area is referred to as an image corresponding to the field of view of the glass device 20.
  • An image corresponding to the field of view of the glass device 20 is determined according to the direction of the optical axis of the glass device 20.
  • the optical axis of the glass device 20 refers to the optical axis of a lens that guides image light representing real space to the user's U eyes.
  • the direction of the optical axis of the glass device 20 is an example of the direction of the glass device 20 in the present disclosure.
  • FIG. 2 is an overhead view of the spherical region R in which the virtual objects VOB1 to VOB6 are arranged, viewed from the vertical axis direction.
  • Point O in FIG. 2 corresponds to the position of user U wearing glass device 20
  • arrow S in FIG. 2 represents the direction of the optical axis of glass device 20 in the global coordinate system.
  • the glass device 20 if the glass device 20 has an imaging function, it can be specified by using a self-position recognition service in AR using an image captured by the imaging function. Can be done.
  • the optical axis of the glass device 20 in the global coordinate system is determined according to the output of the sensor.
  • the direction of the image may be specified.
  • the field of view of the glass device 20 means the range of a predetermined angle ⁇ within the spherical region.
  • the predetermined angle ⁇ is an angle bisected by a line having a direction along the optical axis of the glass device 20. Note that the predetermined angle ⁇ is actually a solid angle.
  • the fan-shaped OAB corresponds to the field of view of the glass device 20.
  • the field of view of the glass device 20 may include images of one or more virtual objects.
  • the image corresponding to the field of view of the glass device 20 is a projected image obtained by projecting the first image onto a plane orthogonal to the arrow S.
  • the first image is an image that is visually recognized when the first portion of region R is viewed from point O in the direction of arrow S.
  • the first portion of the region R is the range of the predetermined angle ⁇ within the region R.
  • the predetermined angle ⁇ for region R is an angle bisected by arrow S.
  • the mobile device 10A generates the projection image based on the virtual object information and position information received from the management device 40 and the direction of the optical axis of the glass device 20.
  • the mobile device 10A displays the generated projection image on the glass device 20.
  • a virtual object VOB1 and a virtual object VOB2 are arranged within the fan-shaped OAB. Therefore, as shown in FIG. 3, the mobile device 10A generates a projection image G1 in which images of the virtual object VOB1 and the virtual object VOB2 are arranged.
  • the mobile device 10A displays the projected image G1 on the glass device 20. Note that a portion of the projected image G1 that does not correspond to either the virtual object VOB1 or the virtual object VOB2 is transparent.
  • the mobile device 10A is an example of a display control device in the present disclosure.
  • the virtual object VOB1 in this embodiment is associated with video data. By determining the virtual object VOB1 as an operation target, the user U can view the video represented by the video data. Furthermore, the virtual object VOB2 in this embodiment is associated with character string data representing a news text regarding matters such as politics, economics, or sports. The user U can display the text of the news on the glass device 20 by determining the virtual object VOB2 as the operation target.
  • the mobile device 10A displays the virtual indicator VC on the glass device 20 superimposed on the projection image G1.
  • the virtual indicator VC is used to cause the user U to select one of the virtual objects displayed on the glass device 20 as an operation target.
  • the image G2 shown in FIG. 4 appears in the eyes of the user U.
  • Wearable terminal 30A is a device for operating virtual indicator VC displayed on glass device 20.
  • the virtual indicator VC in this embodiment includes a starting point SP located at a predetermined point within the projection image G1 and an end point EP.
  • the virtual indicator VC is an arrow-shaped line segment heading from the starting point SP to the ending point EP.
  • the starting point SP in this embodiment is the midpoint of the lower side of the four sides that partition the periphery of the projection image G1, that is, the midpoint of the lower side of the two sides perpendicular to the vertical axis.
  • the position of the midpoint of the lower side of the projection image G1 is the position of the center of the region R, that is, the position closest to the user's U position.
  • the mobile device 10A displays the virtual object VOBP corresponding to the user U at the position of the starting point SP, as shown in FIG. 4, but the display of the virtual object VOBP may be omitted.
  • the mobile device 10A sets the end point EP of the virtual indicator VC to the center OP of the projection image G1. Thereafter, the mobile device 10A updates the position of the end point EP of the virtual indicator VC according to the position and orientation of the wearable terminal 30A in the global coordinate system. That is, the position of the end point EP of the virtual indicator VC corresponds to the position indicated by the virtual indicator VC.
  • the indicated position of the virtual indicator VC immediately after the start of use of the content distribution service will be referred to as the initial indicated position.
  • the reason why the center OP of the projected image G1 is set as the initial designated position is because the center OP corresponds to the center of the field of view of the user U who is wearing the glass device 20, and the line of sight of the user U is located at the center of the field of view of the user U. This is because there are many cases where That is, the reason why the initial indicated position is set to the center OP is to display the virtual indicator VC according to the user's U line of sight. Note that if the glass device 20 has a function of detecting the position of the line of sight of the user U within the display area, the mobile device 10A may use the position detected by the function as the initial designated position.
  • the wearable terminal 30A is worn on the body of the user of the glass device 20.
  • the wearable terminal 30A is attached to the user's finger or arm of the glass device 20.
  • the wearable terminal 30A is, for example, a 3D mouse, a ring mouse, a smart ring, or a smart watch.
  • Wearable terminal 30A includes a sensor 300.
  • the sensor 300 detects changes in the position and orientation of the sensor 300 in the global coordinate system according to the movement of the finger or arm wearing the wearable terminal 30A.
  • the sensor 300 is, for example, a three-axis acceleration sensor and an angular velocity sensor.
  • wearable terminal 30A When the user U moves the finger or arm on which the wearable terminal 30A is attached, forward and backward, left and right, or up and down, the position and orientation of the wearable terminal 30A in the global coordinate system changes, and data corresponding to the change is output from the sensor 300. Wearable terminal 30A transmits data output from sensor 300 to mobile device 10A as first operation content data. Although details will be described later, the mobile device 10A updates the position indicated by the virtual indicator VC in accordance with the first operation content data received from the wearable terminal 30A.
  • FIG. 5 is a diagram showing an example of an image G2 that appears in the eyes of the user U after moving the wearable terminal 30A from right to left.
  • aim operation is realized by moving the wearable terminal 30A back and forth, left and right, or up and down. Therefore, compared to a mode in which the aiming operation is realized by moving the mobile device 10A back and forth, left and right, or up and down, it is possible to perform the aiming operation with high precision while reducing the frequency of occurrence of erroneous operations.
  • the wearable terminal 30A also includes an input device 310 that accepts input operations using the user's fingers.
  • the input device 310 includes a plurality of operators including a first operator, a second operator, and a third operator.
  • the first operator corresponds to a start operation to start using the content distribution service.
  • the second operator corresponds to a decision operation that confirms the selection of a virtual object.
  • the third operator corresponds to an end operation to end the use of the content distribution service.
  • the user U can perform a start operation, a decision operation, or an end operation by pressing any of these operators.
  • the input device 310 is provided with a plurality of operators each corresponding to a plurality of types of input operations, but the input device 310 is provided with one operator, and a long press or Each input operation may be performed by pressing the button twice in succession.
  • Wearable terminal 30A transmits second operation content data indicating the content of the input operation performed on input device 310 to mobile device 10A.
  • the second operation content data indicating that the first operator is pressed indicates a start operation.
  • the second operation content data indicating that the second operator is pressed indicates a decision operation.
  • the third operation content data indicating that the third operator is pressed indicates an end operation.
  • the mobile device 10A executes processing according to the content of the input operation indicated by the second operation content data received from the wearable terminal 30A.
  • FIG. 6 is a block diagram illustrating a configuration example of a mobile device 10A according to an embodiment of the present disclosure.
  • the mobile device 10A includes a first communication device 100, a second communication device 110, a third communication device 120, a storage device 130, a processing device 140, and a bus 150.
  • the first communication device 100, the second communication device 110, the third communication device 120, the storage device 130, and the processing device 140 are interconnected by a bus 150 that mediates data exchange.
  • the bus 150 may be configured using a single bus, or may be configured using different buses for each element.
  • the first communication device 100 is hardware (transmission/reception device) for communicating with the management device 40 via the communication line NW.
  • the first communication device 100 is also called, for example, a network device, a network controller, a network card, a communication module, or the like.
  • the first communication device 100 acquires virtual object information and position information by communicating with the management device 40 under the control of the processing device 140.
  • the second communication device 110 is a communication module for communicating with the glass device 20 by wire.
  • the second communication device 110 supplies data received from the glass device 20 to the processing device 140 . Further, the second communication device 110 transmits image data provided from the processing device 140 to the glass device 20.
  • the third communication device 120 is a communication module for wirelessly communicating with the wearable terminal 30A.
  • the third communication device 120 supplies the first operation content data and the second operation content data received from the wearable terminal 30A to the processing device 140.
  • the glass device 20 may be modified to communicate with the third communication device 120 wirelessly, and the second communication device 110 may be omitted in this mode.
  • the wearable terminal 30A may be modified to communicate with the second communication device 110 by wire, and the third communication device 120 may be omitted in this mode.
  • the storage device 130 is a recording medium that can be read by the processing device 140.
  • the storage device 130 may be configured of at least one of ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), RAM (Random Access Memory), and the like.
  • a program PRA is stored in the storage device 130 in advance. Although detailed illustration is omitted in FIG. 6, the program PRA includes a program that converts changes in position and orientation in the global coordinate system into changes in position and orientation in a two-dimensional coordinate system that defines the position within the display area of the glass device 20. Contains a transformation matrix for
  • the processing device 140 includes one or more CPUs (Central Processing Units). Upon receiving the second operation content data indicating the start operation from the wearable terminal 30A, the processing device 140 reads the program PRA from the storage device 130 and starts executing the program PRA. The processing device 140 operating according to the program PRA functions as a display control section 140a and a determination section 140b shown in FIG. Further, the processing device 140 operating according to the program PRA ends the execution of the program PRA upon receiving the second operation content data indicating the end operation from the wearable terminal 30A.
  • CPUs Central Processing Units
  • the display control unit 140a and determination unit 140b shown in FIG. 6 are software modules realized by operating a computer such as a CPU according to software such as a program.
  • the functions each of the display control section 140a and the determination section 140b are responsible for are as follows.
  • the display control unit 140a acquires virtual object information and position information by communicating with the management device 40 using the first communication device 100. Then, the display control unit 140a specifies the direction of the optical axis of the glass device 20 by communicating with the glass device 20 using the second communication device 110, and identifies the direction of the optical axis of the glass device 20 that is included in the field of view of the glass device 20. Images of a plurality of virtual objects are displayed on the glass device 20. To explain in more detail, the display control unit 140a generates the above-mentioned projection image for a range of a predetermined angle ⁇ within the region R. The predetermined angle ⁇ is an angle bisected by a line having a direction along the optical axis of the glass device 20 in the global coordinate system. Then, the display control unit 140a displays the projected image on the glass device 20 by transmitting image data representing the projected image to the glass device 20 using the second communication device 110.
  • the display control unit 140a sets the center of the display area of the glass device 20, that is, the center of the above-mentioned projection image, as the initial indication position, and displays the virtual indicator VC on the glass device 20, superimposed on the above-mentioned projection image. Then, each time the display control unit 140a receives the first operation content data via the third communication device 120, the display control unit 140a converts the changes in the position and orientation indicated by the first operation content data into a glass using the above-described conversion matrix. This is converted into a change in the position and orientation of the device 20 in the field of view, that is, a change in the position and orientation in the display area of the glass device 20. The display control unit 140a updates the indicated position of the virtual indicator VC by adding changes in the position and orientation of the glass device 20 in the display area to the current indicated position.
  • the determining unit 140b determines the virtual object indicated by the virtual indicator VC at the time when the determining operation is performed on the wearable terminal 30A as the operation target.
  • the virtual object is a virtual object indicated by the virtual indicator VC. Note that if there is no virtual object indicated by the virtual indicator VC, that is, if the indicated position of the virtual indicator VC does not exist in the image corresponding to any virtual object, the determining unit 140b determines the operation target. do not have.
  • the processing device 140 operating according to the program PRA executes the display control method shown in FIG. 7. As shown in FIG. 7, this display control method includes each process of step SA100 to step SA170. The contents of each process from step SA100 to step SA170 are as follows.
  • step SA100 the processing device 140 functions as the display control unit 140a and executes the acquisition process.
  • the processing device 140 acquires virtual object information and position information for each of the plurality of virtual objects to be placed within the spherical region R by communicating with the management device 40.
  • step SA110 the processing device 140 functions as the display control unit 140a and executes display control processing.
  • the processing device 140 specifies the direction of the optical axis of the glass device 20 and displays on the glass device 20 an image of one or more virtual objects that will be included in the field of view of the glass device 20.
  • the processing device 140 displays a projected image of a range of a predetermined angle ⁇ in the region R on the glass device 20.
  • the predetermined angle ⁇ is an angle bisected by a line having a direction along the optical axis of the glass device 20 in the global coordinate system.
  • the processing device 140 sets the center of the projected image as the initial pointing position, and displays the virtual indicator VC on the glass device 20 in a superimposed manner on the projected image.
  • step SA120 the processing device 140 determines whether a movement operation has been performed.
  • the moving operation refers to an operation that moves the position indicated by the virtual indicator VC.
  • step SA120 when the processing device 140 receives the first operation content data from the wearable terminal 30A via the third communication device 120, it determines that a movement operation has been performed. If the determination result in step SA120 is "Yes”, processing device 140 executes the process in step SA130 and then executes the process in step SA120 again. On the other hand, if the determination result in step SA120 is "No", processing device 140 executes the process in step SA140.
  • step SA130 the processing device 140 functions as the display control unit 140a and executes the movement process.
  • the processing device 140 updates the indicated position of the virtual indicator VC according to changes in the position and orientation of the wearable terminal 30A indicated by the first operation content data.
  • step SA140 the processing device 140 determines whether a determination operation has been performed.
  • the determining operation in this embodiment is pressing the second operator.
  • step SA140 the processing device 140 determines that the determining operation has been performed when the second operation content data indicating that the second operator is pressed is received from the wearable terminal 30A via the third communication device 120. If the determination result in step SA140 is "Yes”, processing device 140 executes the process in step SA120 again after executing the process in step SA150. If the determination result in step SA140 is "No", processing device 140 executes the process in step SA160.
  • step SA150 the processing device 140 functions as the determination unit 140b and executes determination processing.
  • the processing device 140 determines the virtual object indicated by the virtual indicator VC at the time when the determination operation is performed on the wearable terminal 30A as the operation target, and converts the virtual object determined as the operation target. Execute the appropriate processing. For example, when the virtual object VOB1 is determined as the operation target, the processing device 140 plays back the video associated with the virtual object VOB1.
  • step SA160 the processing device 140 determines whether the field of view of the glass device 20 has changed. In step SA160, the processing device 140 determines that the field of view of the glass device 20 has changed when the direction of the optical axis of the glass device 20 in the global coordinate system has changed. If the determination result in step SA160 is "Yes”, processing device 140 executes the process in step SA110 again. If the determination result in step SA160 is "No”, processing device 140 executes the process in step SA170.
  • step SA170 the processing device 140 determines whether a termination operation has been performed.
  • the ending operation in this embodiment is pressing the third operator.
  • step SA170 when processing device 140 receives second operation content data indicating that the third operator has been pressed from wearable terminal 30A via third communication device 120, processing device 140 determines that an end operation has been performed. If the determination result in step SA170 is "Yes”, processing device 140 ends this display control method. If the determination result in step SA170 is "No", processing device 140 executes the process in step SA120 again.
  • aim operation is performed by moving the wearable terminal 30A as an operation device back and forth, left and right, or up and down. Therefore, compared to a mode in which an aim operation is performed using the mobile device 10A as an operation device, it is possible to perform an accurate aim operation while reducing the frequency of occurrence of erroneous operations.
  • the virtual object pointed to by the virtual indicator VC at the time when the determination operation is performed by the input operation on the input device 310 is determined as the operation target. Therefore, the virtual object to be manipulated can be determined more quickly and accurately than in the case where "an action of staring at a virtual object for several seconds" is interpreted as a "determination operation.”
  • FIG. 8 is a block diagram showing a configuration example of a display system 1B according to a second embodiment of the present disclosure.
  • the same components as in FIG. 1 are given the same reference numerals.
  • the configuration of the display system 1B differs from the configuration of the display system 1A in that a wearable terminal 30B is provided instead of the wearable terminal 30A.
  • wearable terminal 30B differs from that of wearable terminal 30A in that a sound collection device 320 is provided instead of input device 310.
  • the sound collection device 320 is, for example, a microphone, and collects the user's voice.
  • Wearable terminal 30B transmits audio data representing the waveform of the audio collected by sound collection device 320 to mobile device 10A as second operation content data.
  • a first keyword is assigned to a start operation
  • a second keyword is assigned to a decision operation
  • a third keyword is assigned to an end operation.
  • User U performs each input operation by speaking the keyword assigned to each input operation.
  • the first keyword, the second keyword, and the third keyword may be arbitrarily set by the user U.
  • the second operation content data indicating the uttered sound of the first keyword indicates a start operation.
  • the second operation content data indicating the uttered sound of the second keyword indicates a determination operation.
  • the third operation content data indicating the uttered voice of the third operation keyword indicates an end operation. That is, this embodiment differs from the first embodiment in that the start operation, determination operation, and end operation are performed by voice input.
  • the aim operation is performed by using the wearable terminal 30B as an operation device. Therefore, compared to a mode in which an aim operation is performed using the mobile device 10A as an operation device, it is possible to perform an accurate aim operation while reducing the frequency of occurrence of erroneous operations. Also in this embodiment, the virtual object pointed to by the virtual indicator at the time when the determination operation is performed by voice input to the sound collection device 320 is determined as the operation target. Therefore, similarly to the first embodiment, it is possible to quickly and accurately determine the virtual object to be manipulated.
  • FIG. 9 is a block diagram showing a configuration example of a display system 1C according to a third embodiment of the present disclosure.
  • the same components as in FIG. 1 are given the same reference numerals.
  • the configuration of the display system 1C is that a wearable terminal 30C is provided in place of the wearable terminal 30A, and a portable device 10B is provided in place of the portable device 10A. , the configuration is different from that of the display system 1A.
  • FIG. 10 is a block diagram showing a configuration example of the mobile device 10B.
  • the same components as in FIG. 6 are given the same reference numerals.
  • the configuration of the mobile device 10B differs from the configuration of the mobile device 10A in that the program PRB is stored in the storage device 130 instead of the program PRA.
  • the processing device 140 reads the program PRB from the storage device 130 and starts executing the program PRB upon receiving the second operation content data indicating the start operation from the wearable terminal 30A.
  • the program PRB differs from the program PRA in that the processing device 140 operating according to the program PRB functions as the display control section 140c and the determination section 140b.
  • the display control unit 140c acquires virtual object information and position information from the management device 40, displays an image on the glass device 20 according to the field of view of the glass device 20, and initializes the center of the display area on the glass device 20. It is the same as the display control unit 140a in that it displays the virtual indicator VC on the glass device 20 by setting it as a pointing position.
  • the display control unit 140c differs from the display control unit 140a in that the indicated position of the virtual indicator VC is fixed at the initial indicated position.
  • the fact that the indicated position of the virtual indicator VC is fixed at the center of the display area of the glass device 20 means that the indicated position of the virtual indicator VC is fixed in response to changes in the field of view of the glass device 20 (changes in the orientation of the glass device 20). This means that it will be changed.
  • the display control unit 140c changes the indicated position of the virtual indicator VC according to a change in the field of view of the glass device 20 (a change in the orientation of the glass device 20), so that the user U wearing the glass device 20 on the head can Display of a virtual indicator VC based on line of sight is realized.
  • the program PRB also differs from the program PRA in that it causes the processing device 140 to execute the display control method shown in the flowchart of FIG. In FIG. 11, the same processes as those in FIG. 7 are given the same reference numerals.
  • the display control method according to the present embodiment does not include the processes of step SA120 and step SA130, and is the first step in that step SA140 is executed subsequent to step SA110. This is different from the display control method in the first embodiment.
  • the indicated position of the virtual indicator VC is changed according to a change in the field of view of the glass device 20 (a change in the orientation of the glass device 20). Therefore, the user U's operation to change the field of view, such as moving his head (action to change the orientation of the glass device 20), also serves as a movement operation. Therefore, in this embodiment, each process of step SA120 and step SA130 is unnecessary.
  • the user U rotates his head from right to left so that the center of the display area on the glass device 20 overlaps with the image of the virtual object VOB1.
  • the field of view of the glass device 20 changes as shown in FIG. 12.
  • the fan-shaped OAB corresponds to the field of view of the glass device 20, as in FIG.
  • the virtual object VOB1 is located at the center of the field of view.
  • the indicated position of the virtual indicator VC is fixed at the center of the display area of the glass device 20. Therefore, the image G2 shown in FIG. 13 is displayed on the glass device 20.
  • the aim operation is realized by moving the head equipped with the glass device 20. Therefore, compared to a mode in which an aim operation is performed by using the portable device 10B as an operation device, it is possible to perform an accurate aim operation while reducing the frequency of occurrence of erroneous operations.
  • the virtual object pointed to by the virtual indicator VC at the time when a determination operation is performed by an input operation on the input device 310 is determined as the operation target, as in the first embodiment. Therefore, the virtual object to be manipulated can be determined more quickly and accurately than in the case where "an action of staring at a virtual object for several seconds" is interpreted as a "determination operation.”
  • the display control unit 140c controls the operation target even if the orientation of the glass device 20 changes while the determination operation continues, that is, while the second operator continues to be pressed.
  • the position of the virtual object in the region R may be updated so that the display position of the determined virtual object on the glass device 20 is fixed. According to this aspect, while the user U continues to perform the determination operation, the virtual object determined as the operation target appears to be moving in the same direction as the direction of the head movement, and Drag and drop of objects is realized.
  • FIG. 14 is a block diagram showing a configuration example of a display system 1D according to a fourth embodiment of the present disclosure.
  • the same components as in FIG. 8 are given the same reference numerals.
  • the configuration of the display system 1D is that a wearable terminal 30D is provided in place of the wearable terminal 30B, and a portable device 10B is provided in place of the portable device 10A.
  • the configuration is different from that of the display system 1B.
  • the configuration of wearable terminal 30D differs from the configuration of wearable terminal 30B in that it does not include sensor 300.
  • aim operation is realized by moving the head equipped with the glass device 20. Therefore, compared to a mode in which an aim operation is performed by using the portable device 10B as an operation device, it is possible to perform an accurate aim operation while reducing the frequency of occurrence of erroneous operations. Also in this embodiment, the virtual object pointed to by the virtual indicator at the time when the determination operation is performed by voice input to the sound collection device 320 is determined as the operation target, as in the second embodiment. Therefore, the virtual object to be manipulated can be quickly and accurately determined.
  • the operation target The display control unit 140c may update the position of the virtual object in the region R so that the display position of the virtual object determined in the glass device 20 is fixed.
  • E Modification The present disclosure is not limited to the first embodiment and second embodiment illustrated above. Specific aspects of the modification are as follows. Two or more aspects arbitrarily selected from the examples below may be combined.
  • E-1 Modification 1
  • the virtual indicator VC in each of the above embodiments was a line segment having an immovable starting point at a predetermined position within the display area of the glass device 20 and an end point as a pointing position.
  • the virtual indicator VC in the present disclosure may be a figure such as a block arrow displayed at a designated position as shown in FIG. 15, similar to a so-called mouse pointer.
  • FIG. 15 is a diagram showing an example of an image G2 that appears in the eyes of the user U when a block arrow figure is used as the virtual indicator VC.
  • the virtual indicator VC is It may be a figure surrounding two virtual buttons.
  • FIG. 16 is a diagram showing an example of an image G2 that appears in the eyes of the user U when a rectangle surrounding a virtual button is used as the virtual indicator VC.
  • the initial indicated position of the virtual indicator VC may be any one of the positions of the plurality of virtual buttons included in the projected image.
  • the user U may arbitrarily set the display mode of the virtual indicator. Further, when the virtual objects arranged in the region R are hierarchical, the mobile devices 10A and 100B change the display mode of the virtual indicator VC according to the hierarchy of the virtual objects displayed on the glass device 20. You may switch. In the following, when there is no need to distinguish between the mobile device 10A and the mobile device 10B, the mobile device 10A and the mobile device 10B will be referred to as the mobile device 10. For example, when a virtual object corresponding to a major item such as a video or news is displayed on the glass device 20, the mobile device 10 displays the virtual indicator VC shown in FIG. 4 or 15 on the glass device 20.
  • the mobile device 10 displays the image shown in FIG. 16.
  • the virtual indicator VC shown is displayed on the glass device 20.
  • the wearable terminal 30A includes a sensor 300 that detects changes in the position and orientation of the sensor 300.
  • the mobile device 10A detects a change in the position and orientation of the wearable terminal 30A in the global coordinate system based on the output of the sensor 300, and updates the indicated position of the virtual indicator VC according to the change in the position and orientation of the wearable terminal 30A. do.
  • the glass device 20 is equipped with a function of detecting the position of the user's U's line of sight within the display area, the mobile device 10A provides virtual instructions according to the position of the user's U's line of sight detected by the function.
  • the indicated position of the body VC may be updated.
  • the indicated position of the virtual indicator VC is updated according to the position of the user U's line of sight, if the determining operation is accepted by an input operation on the input device 310, it can be quickly updated as in the first embodiment. Furthermore, it is possible to accurately determine the virtual object to be manipulated. Similarly, even if the second embodiment is modified so that the indicated position of the virtual indicator VC is updated according to the user's line of sight, as long as the decision operation is accepted by voice input, the operation target can be quickly and accurately updated. virtual objects can be determined.
  • E-3 Modification 3
  • the virtual object determined as the operation target is dragged by moving the wearable terminal 30A or moving the line of sight while continuing to perform the determination operation, that is, by continuing to press the second operator.
  • An and-drop may also be implemented.
  • drag and drop of the virtual object determined as the operation target may be realized by moving the wearable terminal 30B or moving the line of sight while continuing to utter the second keyword.
  • the virtual object in the three-dimensional space is By notifying the management device 40 of the position of the object after dragging and dropping, the position information stored in the management device 40, that is, the placement position of the virtual object in the region R may be updated. Further, a plurality of users U may share one area R, and a change in the display position of a virtual object by one user U may be reflected on all other users U.
  • the program PRA is stored in the storage device 130 of the mobile device 10A, but the program PRA may be manufactured or sold separately.
  • the program PRA may be provided to the purchaser, for example, by distributing a computer-readable recording medium such as a flash ROM on which the program PRA is written, or by downloading the program PRA via a telecommunications line. be.
  • the program PRB may be manufactured or sold separately.
  • the display control section 140a and the determination section 140b in the first embodiment and the second embodiment are both software modules.
  • one or both of the display control unit 140a and the determination unit 140b may be a hardware module.
  • the hardware module include a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), and an FPGA (Field Programmable Gate Array). Even if one or both of the display control unit 140a and the determination unit 140b is a hardware module, the same effects as in the first embodiment or the second embodiment can be achieved.
  • either or both of the display control unit 140c and the determination unit 140b in the third embodiment and the fourth embodiment may be a hardware module.
  • the start operation, the decision operation, and the end operation were performed on the wearable terminal worn on the user U's body, but the start operation and the end operation were performed on the mobile device 10.
  • the input operation performed on the wearable terminal may be only a decision operation.
  • the storage device 130 is exemplified as a ROM, a RAM, etc., but the storage device 130 can also be a flexible disk, a magneto-optical disk (for example, a compact disk, a digital versatile disk, a Blu-ray disk, etc.).
  • ray (registered trademark) disk) smart card
  • flash memory device e.g., card, stick, key drive
  • CD-ROM Compact Disc-ROM
  • register removable disk
  • hard disk floppy disk
  • magnetic It may be a strip, a database, a server or other suitable storage medium.
  • the information, signals, etc. described may be represented using any of a variety of different technologies.
  • data, instructions, commands, information, signals, bits, symbols, chips, etc. may refer to voltages, currents, electromagnetic waves, magnetic fields or magnetic particles, light fields or photons, or any of these. It may also be represented by a combination of
  • the input/output information may be stored in a specific location (for example, memory) or may be managed using a management table. Information etc. to be input/output may be overwritten, updated, or additionally written. The output information etc. may be deleted. The input information etc. may be transmitted to other devices.
  • the determination may be made based on a value represented by 1 bit (0 or 1), or may be made based on a truth value (Boolean: true or false). , may be performed by numerical comparison (for example, comparison with a predetermined value).
  • each function illustrated in FIG. 6 or FIG. 10 is realized by an arbitrary combination of at least one of hardware and software.
  • the method for realizing each functional block is not particularly limited. That is, each functional block may be realized using one physically or logically coupled device, or may be realized using two or more physically or logically separated devices directly or indirectly (e.g. , wired, wireless, etc.) and may be realized using a plurality of these devices.
  • the functional block may be realized by combining software with the one device or the plurality of devices.
  • the programs exemplified in the embodiments described above are instructions, instruction sets, codes, code segments, software, firmware, middleware, microcode, hardware description language, or other names. Should be broadly construed to mean program code, program, subprogram, software module, application, software application, software package, routine, subroutine, object, executable, thread of execution, procedure, function, etc.
  • software, instructions, information, etc. may be transmitted and received via a transmission medium.
  • a transmission medium For example, if the software uses wired technology (coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), etc.) and/or wireless technology (infrared, microwave, etc.) to create a website, When transmitted from a server or other remote source, these wired and/or wireless technologies are included within the definition of transmission medium.
  • wired technology coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), etc.
  • wireless technology infrared, microwave, etc.
  • the information, parameters, etc. described in this disclosure may be expressed using absolute values, relative values from a predetermined value, or other corresponding information. It may also be expressed as
  • the mobile device includes a mobile station (MS).
  • MS mobile station
  • a mobile station is defined by a person skilled in the art as a subscriber station, mobile unit, subscriber unit, wireless unit, remote unit, mobile device, wireless device, wireless communication device, remote device, mobile subscriber station, access terminal, mobile terminal, wireless It may also be referred to as a terminal, remote terminal, handset, user agent, mobile client, client, or some other suitable terminology. Further, in the present disclosure, terms such as “mobile station,” “user terminal,” “user equipment (UE),” and “terminal” may be used interchangeably.
  • connection refers to direct or indirect connections between two or more elements. Refers to any connection or combination and may include the presence of one or more intermediate elements between two elements that are “connected” or “coupled” to each other.
  • the bonds or connections between elements may be physical, logical, or a combination thereof.
  • connection may be replaced with "access.”
  • two elements may include one or more electrical wires, cables, and/or printed electrical connections, as well as in the radio frequency domain, as some non-limiting and non-inclusive examples. , electromagnetic energy having wavelengths in the microwave and optical (both visible and non-visible) ranges, and the like.
  • determining and “determining” used in this disclosure may encompass a wide variety of operations.
  • “Judgment” and “decision” include, for example, judging, calculating, computing, processing, deriving, investigating, looking up, search, and inquiry. (e.g., searching in a table, database, or other data structure), and regarding an ascertaining as a “judgment” or “decision.”
  • judgment and “decision” refer to receiving (e.g., receiving information), transmitting (e.g., sending information), input, output, and access.
  • (accessing) may include considering something as a “judgment” or “decision.”
  • judgment and “decision” refer to resolving, selecting, choosing, establishing, comparing, etc. as “judgment” and “decision”. may be included.
  • judgment and “decision” may include regarding some action as having been “judged” or “determined.”
  • judgment (decision) may be read as “assuming", “expecting", “considering”, etc.
  • a display control device includes a display control section and a determination section.
  • the display control unit displays one or more virtual objects included in the field of view of the glass device in a three-dimensional space on the glass device, and selects any one of the one or more virtual objects.
  • a virtual indicator is displayed on the glass device based on the line of sight of a user of the glass device.
  • the determination unit determines, as an operation target, a virtual object pointed to by the virtual indicator at the time when an input operation is performed on the wearable terminal worn on the user's body.
  • the virtual object pointed to by the virtual indicator at the time when an input operation is performed on the wearable terminal is determined as the operation target. Therefore, the virtual object to be manipulated can be determined more quickly and accurately than in the case where "an action of staring at a virtual object for several seconds" is interpreted as a "determination operation.”
  • the display control unit in the display control device according to a second aspect (an example of the first aspect) of the present disclosure may change the indicated position by the virtual indicator according to a change in the orientation of the glass device. good.
  • the user wearing the glass device on his head can update the indicated position of the virtual indicator by changing the direction of the head.
  • the display control unit in the display control device may be configured to control the display of the virtual object that is determined to be the operation target while the input operation continues.
  • the position of the virtual object determined as the operation target in the three-dimensional space may be updated according to a change in the orientation of the glass device so that the display position on the device is fixed.
  • a user wearing a glass device on his or her head can drag and drop a virtual object determined to be an operation target by moving his or her head while continuing an input operation.
  • the wearable terminal includes an input device that accepts input by the user's fingers.
  • the determining unit may determine whether the input operation has been performed based on data indicating an input to the input device.
  • the user can determine the virtual object to be operated by inputting with fingers.
  • the wearable terminal includes a sound collection device, and the determining unit is configured to It may be determined whether the input operation has been performed based on data indicating audio input to the sound collection device.
  • the user can determine the virtual object to be operated by inputting voice.
  • a display system includes a glass device, a display control device that displays on the glass device one or more virtual objects included in the field of view of the glass device in a three-dimensional space, and A wearable terminal connected to a control device and worn on the body of a user of the glass device.
  • the display control device displays a virtual indicator for selecting any one of the one or more virtual objects on the glass device based on the user's line of sight. Further, the display control device determines, as an operation target, a virtual object pointed to by the virtual indicator at the time when the input operation to the wearable terminal is performed.
  • the display system is faster and It is possible to accurately determine the virtual object to be manipulated.
  • 1A, 1B, 1C, 1D... Display system 10A, 10B... Portable device, 100... First communication device, 110... Second communication device, 120... Third communication device, 130... Storage device, 140... Processing device, 140a ...Display control unit, 140b...Decision unit, 150...Bus, PRA, PRB...Program, 20...Glass device, 30A, 30B, 30C, 30D...Wearable terminal, 300...Sensor, 310...Input device, 320...Sound collection device , 40...management device, NW...communication line.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

表示制御装置は、表示制御部と決定部とを備える。表示制御部は、３次元空間においてグラスデバイスの視界に含まれる１又は複数の仮想オブジェクトを前記グラスデバイスに表示するとともに、前記１又は複数の仮想オブジェクトの何れか１の仮想オブジェクトを選択するための仮想指示体を前記グラスデバイスのユーザの視線に基づいて前記グラスデバイスに表示する。決定部は、前記ユーザの身体に装着されるウェアラブル端末に対する入力操作が行われた時点において前記仮想指示体により指示されている仮想オブジェクトを、操作対象として決定する。

Description

表示制御装置
　本開示は、表示制御装置に関する。
　人の頭部に装着されるＨＭＤ（Head Mounted Display）装置が一般に普及している。ＨＭＤ装置の一例としては、ＡＲ（Augmented Reality）グラス等のグラスデバイスが挙げられる。ＡＲグラスでは、現実空間には存在しない仮想オブジェクトの画像が現実空間に重ねて表示される。グラスデバイスのユーザは、グラスデバイスに表示された仮想オブジェクトを選択することにより、選択した仮想オブジェクトに対応する情報の取得等を行うことができる。仮想オブジェクトを選択するための操作は、レイ操作と称される。レイ操作には、選択を所望する仮想オブジェクトにカーソル等の仮想指示体を位置づけるエイム操作と、選択を確定させる決定操作とが含まれる。
　グラスデバイスにおけるレイ操作の実現態様の一例としては、グラスデバイスに接続されたスマートフォンに３Ｄマウスのような操作デバイスの役割を担わせる態様が挙げられる。しかし、スマートフォンに操作デバイスの役割を担わせる態様には、レイ操作のためにユーザの片手が塞がる、といった問題がある。また、ユーザはレイ操作を行う度にスマートフォンを取り出してＵＩ画面を確認する必要があり、異なるボタンを押下する等の誤操作が発生し易い、といった問題もある。
　そもそも、スマートフォンは、３Ｄマウスとは異なり、レイ操作における操作デバイスに適した形状及び重さを有している訳ではない。このため、操作デバイスの役割を担うスマートフォンを前後左右又は上下にきめ細やかに動かすことは難しく、エイム操作の精度が低下する、といった問題もあった。そこで、グラスデバイスにおけるレイ操作を手軽且つ正確に行えるようにする技術が種々提案されている。一例としては、特許文献１に開示の技術が挙げられる。特許文献１には、グラスデバイスにおけるレイ操作にユーザの視線を利用する技術が開示されている。レイ操作にユーザの視線を利用する技術は、ＨＰＧ（Head Position Gaze）とも称される。
特開２０１７－０２７２０６号公報
　ＨＰＧでは、ユーザは選択を所望する仮想オブジェクトを数秒間見つめ続けることが必要となり、選択が確定されるまでに数秒の待機時間が発生する、といった問題がある。また、ＨＰＧには、ユーザが無意識のうちに視線を向け続けた仮想オブジェクトが操作対象として選択される等の誤選択が多発し得る、といった問題もある。これらの問題に対処するために、決定操作のための専用ボタンをグラスデバイスに設けることも考えられるが、グラスデバイスの開発コスト及び製造コストが増加する、といった問題がある。
　本開示の好適な態様に係る表示制御装置は、表示制御部と、決定部と、を備える。表示制御部は、３次元空間においてグラスデバイスの視界に含まれる１又は複数の仮想オブジェクトを前記グラスデバイスに表示する。また、表示制御部は、前記１又は複数の仮想オブジェクトの何れか１の仮想オブジェクトを選択するための仮想指示体を前記グラスデバイスのユーザの視線に基づいて前記グラスデバイスに表示する。決定部は、前記ユーザの身体に装着されるウェアラブル端末に対する入力操作が行われた時点において前記仮想指示体により指示されている仮想オブジェクトを、操作対象として決定する。
　本開示によれば、「仮想オブジェクトを数秒見つめ続ける動作」を「決定操作」と解釈する態様に比較して、迅速且つ正確に操作対象の仮想オブジェクトを確定することができる。また、本開示によれば、決定操作のための専用ボタンをグラスデバイスに設ける必要はなく、グラスデバイスの開発コスト及び製造コストが増加することはない。
本開示の第１実施形態による表示システム１Ａの構成例を示すブロック図である。 領域Ｒにおける仮想オブジェクトの配置例を示す図である。 投影画像Ｇ１の一例を示す図である。 グラスデバイス２０を装着したユーザＵの眼に映る画像Ｇ２の一例を示す図である。 仮想指示体ＶＣの指示位置の更新例を示す図である。 携帯機器１０Ａの構成例を示すブロック図である。 携帯機器１０Ａの処理装置１４０がプログラムＰＲＡに従って実行する表示制御方法の流れを示すフローチャートである。 本開示の第２実施形態による表示システム１Ｂの構成例を示すブロック図である。 本開示の第３実施形態による表示システム１Ｃの構成例を示すブロック図である。 携帯機器１０Ｂの構成例を示すブロック図である。 携帯機器１０Ｂの処理装置１４０がプログラムＰＲＢに従って実行する表示制御方法の流れを示すフローチャートである。 携帯機器１０Ｂの動作を説明するための図である。 携帯機器１０Ｂの動作を説明するための図である。 本開示の第４実施形態による表示システム１Ｄの構成例を示すブロック図である。 変形例（１）においてグラスデバイス２０を装着したユーザＵの眼に映る画像Ｇ２の一例を示す図である。 変形例（１）においてグラスデバイス２０を装着したユーザＵの眼に映る画像Ｇ２の他の一例を示す図である。
Ａ．第１実施形態
　図１は、本開示の第１実施形態による表示システム１Ａの構成例を示すブロック図である。図１に示されるように、表示システム１Ａは、携帯機器１０Ａと、グラスデバイス２０と、ウェアラブル端末３０Ａと、を含む。グラスデバイス２０は、ユーザＵの頭部に装着されるＨＭＤ装置である。グラスデバイス２０は、グラスデバイス２０を頭部に装着したユーザＵの視界を遮蔽せずに、現実空間には存在しない仮想オブジェクトの画像を表示する。グラスデバイス２０はユーザＵの視界を遮蔽しないため、ユーザＵの眼には現実空間に重ねて仮想オブジェクトの画像が映る。本実施形態におけるグラスデバイス２０はＡＲグラスであるが、ＶＲ（Virtual Reality）グラスであってもよい。
　携帯機器１０Ａは、例えばスマートフォンである。携帯機器１０Ａは、スマートフォンに限らず、例えば、タブレット又はノート型パーソナルコンピュータでもよい。携帯機器１０Ａは、グラスデバイス２０と同様にユーザＵの身体に装着される。例えば、携帯機器１０Ａは、ストラップ等を用いてユーザＵの首からぶら下げることでユーザＵの身体に装着される。携帯機器１０Ａには、グラスデバイス２０が有線にて接続される。また、携帯機器１０Ａには、ウェアラブル端末３０Ａが無線にて接続される。
　携帯機器１０Ａは、通信回線ＮＷを介して管理装置４０と通信する。管理装置４０は、ＡＲにおけるコンテンツ配信サービスを提供するサーバ装置である。本実施形態におけるコンテンツ配信サービスでは、ユーザＵを中心とする所定半径の球状の領域内に複数の仮想オブジェクトが配置され、ユーザにより選択された仮想オブジェクトに応じた情報の提供等が実施される。複数の仮想オブジェクトが配置される球状の領域はユーザＵの移動に伴って移動する。このため、ユーザＵは、複数の仮想オブジェクトに囲まれながら現実空間内を移動することを体験できる。
　管理装置４０には、仮想オブジェクト情報と位置情報とが予め記憶されている。仮想オブジェクト情報は、ユーザＵを中心とする球状の領域内に配置される仮想オブジェクトの画像を表す。位置情報は、当該領域内における当該仮想オブジェクトの配置位置を示す。ユーザＵを中心とする球状の領域は本開示における３次元空間の一例である。本実施形態における位置情報は、球状の領域Ｒの中心を原点とする３次元座標系における位置を示す情報である。管理装置４０は、コンテンツ配信サービスの利用開始を示す情報を、通信回線ＮＷを介して携帯機器１０Ａから受信すると、複数の仮想オブジェクトの各々に関する仮想オブジェクト情報及び位置情報を携帯機器１０Ａへ返信する。携帯機器１０Ａは、上記球状の領域内においてユーザＵがグラスデバイス２０越しに見る画像を、管理装置４０から受信した仮想オブジェクト情報及び位置情報に基づいてグラスデバイス２０に表示する。上記球状の領域においてユーザＵがグラスデバイス２０越しに見る画像は、グラスデバイス２０の視界に応じた画像と称される。グラスデバイス２０の視界に応じた画像はグラスデバイス２０の光軸の向きに応じて定まる。グラスデバイス２０の光軸とは、現実空間を表す画像光をユーザＵの眼に導くレンズの光軸のことをいう。グラスデバイス２０の光軸の向きは、本開示におけるグラスデバイス２０の向きの一例である。
　図２は、仮想オブジェクトＶＯＢ１～ＶＯＢ６が配置された球状の領域Ｒを鉛直軸方向から見た俯瞰図である。図２における点Ｏはグラスデバイス２０を装着したユーザＵの位置に対応し、図２における矢印Ｓはグローバル座標系におけるグラスデバイス２０の光軸の向きを表す。グラスデバイス２０の光軸の向きについては、グラスデバイス２０が撮像機能を備えている場合には、当該撮像機能により撮像された画像を用いてＡＲにおける自己位置認識サービスを利用することにより特定することができる。また、グラスデバイス２０が地磁気センサ等のグローバル座標系における絶対的な向きを示す情報を出力するセンサを備えている場合には、当該センサの出力に応じてグローバル座標系におけるグラスデバイス２０の光軸の向きが特定されてもよい。
　グラスデバイス２０の視界とは、球状の領域のうち所定の角度θの範囲を意味する。所定の角度θは、グラスデバイス２０の光軸に沿った方向を有する線によって二等分される角度である。なお、所定の角度θは実際には立体角である。図２に示す例では扇形ＯＡＢがグラスデバイス２０の視界に対応する。グラスデバイス２０の視界には、１又は複数の仮想オブジェクトの画像が含まれる場合がある。本実施形態では、グラスデバイス２０の視界に応じた画像は、第1画像を矢印Ｓに直交する平面に投影することで得られる投影画像である。第１画像は、領域Ｒの第１部分が点Ｏから矢印Ｓの方向に見られたときに視認される画像である。領域Ｒの第１部分は、領域Ｒのうち所定の角度θの範囲である。領域Ｒについての所定の角度θは、矢印Ｓによって二等分される角度である。携帯機器１０Ａは、管理装置４０から受信した仮想オブジェクト情報及び位置情報とグラスデバイス２０の光軸の向きとに基づいて上記投影画像を生成する。携帯機器１０Ａは、生成した投影画像をグラスデバイス２０に表示する。
　図２に示される例では、扇形ＯＡＢ内には仮想オブジェクトＶＯＢ１及び仮想オブジェクトＶＯＢ２が配置される。このため、携帯機器１０Ａは、図３に示されるように、仮想オブジェクトＶＯＢ１及び仮想オブジェクトＶＯＢ２の各々の画像を配置した投影画像Ｇ１を生成する。携帯機器１０Ａは、投影画像Ｇ１をグラスデバイス２０に表示する。なお、投影画像Ｇ１において仮想オブジェクトＶＯＢ１及び仮想オブジェクトＶＯＢ２の何れにも対応しない部分は透明である。携帯機器１０Ａは本開示における表示制御装置の一例である。
　本実施形態における仮想オブジェクトＶＯＢ１には動画データが対応付けられている。ユーザＵは、仮想オブジェクトＶＯＢ１を操作対象として決定することにより、当該動画データの表す動画を見ることができる。また、本実施形態における仮想オブジェクトＶＯＢ２には、例えば政治、経済、又はスポーツ等の事柄に関するニュースの文章を表す文字列データが対応づけられている。ユーザＵは、仮想オブジェクトＶＯＢ２を操作対象として決定することにより当該ニュースの文章をグラスデバイス２０に表示させることができる。
　また、携帯機器１０Ａは、仮想指示体ＶＣを投影画像Ｇ１に重ねてグラスデバイス２０に表示する。仮想指示体ＶＣは、グラスデバイス２０に表示させた仮想オブジェクトのうちの何れかを操作対象としてユーザＵに選択させるために用いられる。投影画像Ｇ１に重ねて仮想指示体ＶＣがグラスデバイス２０に表示される結果、ユーザＵの眼には、図４に示す画像Ｇ２が映る。ウェアラブル端末３０Ａは、グラスデバイス２０に表示される仮想指示体ＶＣを操作するための装置である。
　図４に示されるように、本実施形態における仮想指示体ＶＣは、投影画像Ｇ１内の所定の一点に位置する起点ＳＰと、終点ＥＰと、を含む。仮想指示体ＶＣは、起点ＳＰから終点ＥＰに向かう矢印状の線分である。本実施形態における起点ＳＰは、投影画像Ｇ１の周囲を区画する４辺のうちの下辺の中点、即ち鉛直軸に直交する２辺のうちの下側の辺の中点である。投影画像Ｇ１の下辺の中点の位置は、領域Ｒの中心の位置、即ちユーザＵの位置に最も近い位置である。投影画像Ｇ１の下辺の中点を仮想指示体ＶＣの起点ＳＰとすることで、３次元空間を２次元平面に投影することに起因するユーザＵの視線方向の歪みを軽減することができる。なお、本実施形態では、携帯機器１０Ａは、図４に示されるように、起点ＳＰの位置にユーザＵに対応する仮想オブジェクトＶＯＢＰを表示するが、仮想オブジェクトＶＯＢＰの表示は省略されてもよい。
　コンテンツ配信サービスの利用開始直後の状態では、携帯機器１０Ａは、仮想指示体ＶＣの終点ＥＰを、投影画像Ｇ１の中心ＯＰに設定する。以降、携帯機器１０Ａは、グローバル座標系におけるウェアラブル端末３０Ａの位置及び向きに応じて仮想指示体ＶＣの終点ＥＰの位置を更新する。つまり、仮想指示体ＶＣの終点ＥＰの位置は、仮想指示体ＶＣによる指示位置に対応する。
　以下では、コンテンツ配信サービスの利用開始直後における仮想指示体ＶＣの指示位置は初期指示位置と称される。投影画像Ｇ１の中心ＯＰを初期指示位置とするのは、中心ＯＰはグラスデバイス２０を装着しているユーザＵの視界の中心に対応し、ユーザＵの視線はユーザＵの視界の中心に位置していることが多いからである。つまり、初期指示位置を中心ＯＰとするのは、ユーザＵの視線に応じて仮想指示体ＶＣを表示するためである。なお、グラスデバイス２０が、表示領域内におけるユーザＵの視線の位置を検出する機能を備えている場合には、携帯機器１０Ａは当該機能により検出された位置を初期指示位置としてもよい。
　ウェアラブル端末３０Ａは、グラスデバイス２０のユーザの身体に装着される。本実施形態では、ウェアラブル端末３０Ａは、グラスデバイス２０のユーザの指又は腕に装着される。ウェアラブル端末３０Ａは、例えば、３Ｄマウス、リングマウス、スマートリング又はスマートウォッチである。ウェアラブル端末３０Ａは、センサ３００を含む。センサ３００は、ウェアラブル端末３０Ａを装着した指又は腕の動きに応じたグローバル座標系におけるセンサ３００の位置の変化及び向きの変化を検出する。センサ３００は、例えば、３軸の加速度センサ及び角速度センサである。
　ユーザＵがウェアラブル端末３０Ａを装着した指又は腕を前後左右又は上下に動かすと、グローバル座標系におけるウェアラブル端末３０Ａの位置及び向きが変化し、当該変化に応じたデータがセンサ３００から出力される。ウェアラブル端末３０Ａはセンサ３００から出力されるデータを第１操作内容データとして携帯機器１０Ａへ送信する。詳細については後述するが、携帯機器１０Ａは、ウェアラブル端末３０Ａから受信した第１操作内容データに応じて仮想指示体ＶＣによる指示位置を更新する。
　例えば、ユーザＵが、ウェアラブル端末３０Ａにより仮想オブジェクトＶＯＢ１を指し示すことをイメージしてウェアラブル端末３０Ａを右から左へ動かすと、図５に示されるように、仮想指示体ＶＣによる指示位置が更新される。図５は、ウェアラブル端末３０Ａを右から左へ動かした後にユーザＵの眼に映る画像Ｇ２の一例を示す図である。本実施形態では、ウェアラブル端末３０Ａを前後左右又は上下に動かすことでエイム操作が実現される。このため、携帯機器１０Ａを前後左右又は上下に動かすことでエイム操作を実現する態様に比較して、誤操作の発生頻度を低くしつつ、精度の高いエイム操作を行うことができる。
　また、ウェアラブル端末３０Ａは、ユーザの手指による入力操作を受け付ける入力装置３１０を含む。入力装置３１０は、第１操作子、第２操作子、及び第３操作子を有する複数の操作子を含む。第１操作子は、コンテンツ配信サービスの利用を開始する開始操作に対応する。第２操作子は、仮想オブジェクトの選択を確定させる決定操作に対応する。第３操作子は、コンテンツ配信サービスの利用を終了する終了操作に対応する。ユーザＵは、これら操作子の何れかを押下することにより、開始操作、決定操作、又は終了操作を行うことができる。本実施形態では、複数種の入力操作に各々対応する複数の操作子が入力装置３１０に設けられたが、入力装置３１０には１つの操作子が設けられ、当該１つの操作子の長押し又は２回連続押下等により各入力操作が行われてもよい。ウェアラブル端末３０Ａは、入力装置３１０に対して為された入力操作の内容を示す第２操作内容データを携帯機器１０Ａへ送信する。本実施形態では、第１操作子の押下を示す第２操作内容データは、開始操作を示す。また、第２操作子の押下を示す第２操作内容データは、決定操作を示す。また、第３操作子の押下を示す第３操作内容データは、終了操作を示す。詳細については後述するが、携帯機器１０Ａは、ウェアラブル端末３０Ａから受信した第２操作内容データの示す入力操作の内容に応じた処理を実行する。
　図６は、本開示の一実施形態による携帯機器１０Ａの構成例を示すブロック図である。図６に示されるように、携帯機器１０Ａは、第１通信装置１００と、第２通信装置１１０と、第３通信装置１２０と、記憶装置１３０と、処理装置１４０と、バス１５０と、を含む。第１通信装置１００、第２通信装置１１０、第３通信装置１２０及び記憶装置１３０と、処理装置１４０とは、データ授受を仲介するバス１５０によって相互に接続される。バス１５０は、単一のバスを用いて構成されてもよいし、要素間ごとに異なるバスを用いて構成されてもよい。
　第１通信装置１００は、通信回線ＮＷを介して管理装置４０と通信するためのハードウェア（送受信デバイス）である。第１通信装置１００は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、又は通信モジュール等とも呼ばれる。第１通信装置１００は、処理装置１４０による制御の下、管理装置４０と通信することにより、仮想オブジェクト情報及び位置情報を取得する。
　第２通信装置１１０は、有線にてグラスデバイス２０と通信するための通信モジュールである。第２通信装置１１０は、グラスデバイス２０から受信したデータを処理装置１４０へ供給する。また、第２通信装置１１０は、処理装置１４０から与えられる画像データをグラスデバイス２０に送信する。
　第３通信装置１２０は、無線にてウェアラブル端末３０Ａと通信するための通信モジュールである。第３通信装置１２０は、ウェアラブル端末３０Ａから受信した第１操作内容データ及び第２操作内容データを処理装置１４０へ供給する。なお、グラスデバイス２０が無線にて第３通信装置１２０と通信する態様に変形されてもよく、この態様では第２通信装置１１０は省略されてもよい。同様に、ウェアラブル端末３０Ａが有線にて第２通信装置１１０と通信する態様に変形されてもよく、この態様では第３通信装置１２０は省略されてもよい。
　記憶装置１３０は、処理装置１４０が読み取り可能な記録媒体である。記憶装置１３０は、例えば、ＲＯＭ（Read　Only　Memory）、ＥＰＲＯＭ（Erasable　Programmable　ＲＯＭ）、ＥＥＰＲＯＭ（Electrically　Erasable　Programmable　ＲＯＭ）、ＲＡＭ（Random　Access　Memory）等の少なくとも１つによって構成されてもよい。記憶装置１３０には、プログラムＰＲＡが予め記憶されている。図６では詳細な図示を省略したが、プログラムＰＲＡには、グローバル座標系における位置及び向きの変化をグラスデバイス２０の表示領域内の位置を規定する２次元座標系における位置及び向きの変化に変換するための変換行列が含まれる。
　処理装置１４０は、１又は複数のＣＰＵ（Central Processing Unit）を含む。処理装置１４０は、開始操作を示す第２操作内容データをウェアラブル端末３０Ａから受信したことを契機として、記憶装置１３０からプログラムＰＲＡを読み取り、プログラムＰＲＡの実行を開始する。プログラムＰＲＡに従って作動している処理装置１４０は、図６に示される表示制御部１４０ａ、及び決定部１４０ｂとして機能する。また、プログラムＰＲＡに従って作動している処理装置１４０は、終了操作を示す第２操作内容データをウェアラブル端末３０Ａから受信したことを契機としてプログラムＰＲＡの実行を終了する。
　図６に示される表示制御部１４０ａ、及び決定部１４０ｂは、ＣＰＵ等のコンピュータをプログラム等のソフトウェアに従って作動させることにより実現されるソフトウェアモジュールである。表示制御部１４０ａ、及び決定部１４０ｂの各々が担う機能は次の通りである。
　表示制御部１４０ａは、第１通信装置１００を用いて管理装置４０と通信することにより、仮想オブジェクト情報及び位置情報を取得する。そして、表示制御部１４０ａは、第２通信装置１１０を用いてグラスデバイス２０と通信することにより、グラスデバイス２０の光軸の向きを特定し、グラスデバイス２０の視界に含まれることになる１又は複数の仮想オブジェクトの画像をグラスデバイス２０に表示する。より詳細に説明すると、表示制御部１４０ａは、領域Ｒのうち所定の角度θの範囲について前述の投影画像を生成する。所定の角度θは、グローバル座標系におけるグラスデバイス２０の光軸に沿った方向を有する線によって二等分される角度である。そして、表示制御部１４０ａは、当該投影画像を表す画像データを、第２通信装置１１０を用いてグラスデバイス２０に送信することにより、当該投影画像をグラスデバイス２０に表示する。
　また、表示制御部１４０ａは、グラスデバイス２０の表示領域の中心、即ち上記投影画像の中心を初期指示位置として設定し、仮想指示体ＶＣを上記投影画像に重ねてグラスデバイス２０に表示する。そして、表示制御部１４０ａは、第３通信装置１２０を介して第１操作内容データを受信する毎に、当該第１操作内容データの示す位置及び向きの変化を、前述の変換行列を用いてグラスデバイス２０の視界における位置及び向きの変化、即ちグラスデバイス２０の表示領域における位置及び向きの変化に変換する。表示制御部１４０ａは、グラスデバイス２０の表示領域における位置及び向きの変化を現在の指示位置に加算することにより仮想指示体ＶＣの指示位置を更新する。
　決定部１４０ｂは、ウェアラブル端末３０Ａに対して決定操作が行われた時点において仮想指示体ＶＣにより指示されている仮想オブジェクトを、操作対象として決定する。仮想オブジェクトに対応する画像内に、仮想指示体ＶＣの指示位置が存在する場合、当該仮想オブジェクトは、仮想指示体ＶＣにより指示されている仮想オブジェクトである。なお、仮想指示体ＶＣにより指示されている仮想オブジェクトが無い場合、即ち仮想指示体ＶＣの指示位置が何れの仮想オブジェクトに対応する画像内に存在しない場合、決定部１４０ｂは操作対象の決定を行わない。
　また、プログラムＰＲＡに従って作動している処理装置１４０は、図７に示される表示制御方法を実行する。図７に示されるように、この表示制御方法は、ステップＳＡ１００～ステップＳＡ１７０の各処理を含む。ステップＳＡ１００～ステップＳＡ１７０の各処理の処理内容は次の通りである。
　ステップＳＡ１００では、処理装置１４０は、表示制御部１４０ａとして機能し、取得処理を実行する。この取得処理では、処理装置１４０は、管理装置４０と通信することにより、球状の領域Ｒ内に配置することになる複数の仮想オブジェクトの各々についての仮想オブジェクト情報及び位置情報を取得する。
　ステップＳＡ１００に後続するステップＳＡ１１０では、処理装置１４０は、表示制御部１４０ａとして機能し、表示制御処理を実行する。この表示制御処理では、処理装置１４０は、グラスデバイス２０の光軸の向きを特定し、グラスデバイス２０の視界に含まれることになる１又は複数の仮想オブジェクトの画像をグラスデバイス２０に表示する。具体的には、処理装置１４０は、領域Ｒのうち所定の角度θの範囲の投影画像を、グラスデバイス２０に表示する。所定の角度θは、グローバル座標系におけるグラスデバイス２０の光軸に沿った方向を有する線によって二等分される角度である。また、処理装置１４０は、当該投影画像の中心を初期指示位置として設定し、仮想指示体ＶＣを当該投影画像に重ねてグラスデバイス２０に表示する。
　ステップＳＡ１１０に後続するステップＳＡ１２０では、処理装置１４０は、移動操作が為されたか否かを判定する。移動操作とは、仮想指示体ＶＣによる指示位置を移動させる操作のことをいう。ステップＳＡ１２０では、処理装置１４０は、第３通信装置１２０を介してウェアラブル端末３０Ａから第１操作内容データを受信した場合に、移動操作が為されたと判定する。ステップＳＡ１２０の判定結果が“Ｙｅｓ”である場合、処理装置１４０はステップＳＡ１３０の処理を実行した後に、ステップＳＡ１２０の処理を再度実行する。これに対してステップＳＡ１２０の判定結果が“Ｎｏ”である場合、処理装置１４０はステップＳＡ１４０の処理を実行する。
　ステップＳＡ１３０では、処理装置１４０は、表示制御部１４０ａとして機能し、移動処理を実行する。この移動処理では、処理装置１４０は、第１操作内容データの示すウェアラブル端末３０Ａの位置及び向きの変化に応じて仮想指示体ＶＣの指示位置を更新する。
　ステップＳＡ１４０では、処理装置１４０は、決定操作が為されたか否かを判定する。本実施形態における決定操作は第２操作子の押下である。ステップＳＡ１４０では、処理装置１４０は、第３通信装置１２０を介してウェアラブル端末３０Ａから第２操作子の押下を示す第２操作内容データを受信した場合に決定操作が為されたと判定する。ステップＳＡ１４０の判定結果が“Ｙｅｓ”である場合、処理装置１４０は、ステップＳＡ１５０の処理を実行した後にステップＳＡ１２０の処理を再度実行する。ステップＳＡ１４０の判定結果が“Ｎｏ”である場合、処理装置１４０は、ステップＳＡ１６０の処理を実行する。
　ステップＳＡ１５０では、処理装置１４０は、決定部１４０ｂとして機能し、決定処理を実行する。この決定処理では、処理装置１４０は、ウェアラブル端末３０Ａに対する決定操作が行われた時点において仮想指示体ＶＣにより指示されている仮想オブジェクトを、操作対象として決定し、操作対象として決定された仮想オブジェクトに応じた処理を実行する。例えば、仮想オブジェクトＶＯＢ１が操作対象として決定された場合には、処理装置１４０は、仮想オブジェクトＶＯＢ１に対応付けられた動画を再生する。
　ステップＳＡ１６０では、処理装置１４０は、グラスデバイス２０の視界が変化したか否かを判定する。ステップＳＡ１６０では、処理装置１４０は、グローバル座標系におけるグラスデバイス２０の光軸の向きが変化した場合にグラスデバイス２０の視界が変化したと判定する。ステップＳＡ１６０の判定結果が“Ｙｅｓ”である場合、処理装置１４０はステップＳＡ１１０の処理を再度実行する。ステップＳＡ１６０の判定結果が“Ｎｏ”である場合、処理装置１４０はステップＳＡ１７０の処理を実行する。
　ステップＳＡ１７０では、処理装置１４０は、終了操作が為されたか否かを判定する。本実施形態における終了操作は第３操作子の押下である。ステップＳＡ１７０では、処理装置１４０は、第３通信装置１２０を介してウェアラブル端末３０Ａから第３操作子の押下を示す第２操作内容データを受信した場合に、終了操作が為されたと判定する。ステップＳＡ１７０の判定結果が“Ｙｅｓ”である場合、処理装置１４０は、本表示制御方法を終了する。ステップＳＡ１７０の判定結果が“Ｎｏ”である場合、処理装置１４０は、ステップＳＡ１２０の処理を再度実行する。
　以上説明したように、本実施態様によれば、ウェアラブル端末３０Ａを操作デバイスとして前後左右又は上下に動かすことでエイム操作が行われる。このため、携帯機器１０Ａを操作デバイスとして用いてエイム操作を行う態様に比較して、誤操作の発生頻度を低くしつつ正確なエイム操作を行うことができる。また、本実施形態によれば、入力装置３１０に対する入力操作により決定操作が行われた時点において仮想指示体ＶＣにより指示されている仮想オブジェクトが操作対象として決定される。このため、「仮想オブジェクトを数秒見つめ続ける動作」を「決定操作」と解釈する態様に比較して、迅速且つ正確に操作対象の仮想オブジェクトを確定することができる。
Ｂ：第２実施形態
　図８は、本開示の第２実施形態による表示システム１Ｂの構成例を示すブロック図である。図８では図１におけるものと同一の構成要素には同一の符号が付されている。図８と図１とを対比すれば明らかなように、表示システム１Ｂの構成は、ウェアラブル端末３０Ａに代えてウェアラブル端末３０Ｂを設けた点において表示システム１Ａの構成と異なる。
　ウェアラブル端末３０Ｂの構成は、入力装置３１０に代えて収音装置３２０を設けた点においてウェアラブル端末３０Ａの構成と異なる。収音装置３２０は、例えばマイクロフォンであり、ユーザの音声を収音する。ウェアラブル端末３０Ｂは、収音装置３２０により収音した音声の波形を表す音声データを第２操作内容データとして携帯機器１０Ａに送信する。本実施形態では、開始操作に対しては第１キーワードが割り当てられており、決定操作に対しては第２キーワードが割り当てられており、終了操作に対しては第３キーワードが夫々割り当てられている。ユーザＵは各入力操作に対して割り当てられたキーワードを発話することにより、各入力操作を行う。第１キーワードの例は「開始」であり、第２キーワードの例は「決定」であり、第３キーワードの例は「終了」である。第１キーワード、第２キーワード、及び第３キーワードはユーザＵによって任意に設定されてもよい。本実施形態では、第１キーワードの発話音声を示す第２操作内容データは、開始操作を示す。また、第２キーワードの発話音声を示す第２操作内容データは、決定操作を示す。また、第３操キーワードの発話音声を示す第３操作内容データは、終了操作を示す。つまり、本実施形態は、音声入力により、開始操作、決定操作、及び終了操作が為される点において第１実施形態と異なる。
　本実施態様においても、ウェアラブル端末３０Ｂを操作デバイスとして用いることによってエイム操作が行われる。このため、携帯機器１０Ａを操作デバイスとして用いてエイム操作を行う態様に比較して、誤操作の発生頻度を低くしつつ正確なエイム操作を行うことができる。また、本実施形態においても、収音装置３２０に対する音声入力により決定操作が行われた時点において仮想指示体により指示されている仮想オブジェクトが操作対象として決定される。このため、第１実施形態と同様に、迅速且つ正確に操作対象の仮想オブジェクトを確定することができる。
Ｃ：第３実施形態
　図９は、本開示の第３実施形態による表示システム１Ｃの構成例を示すブロック図である。図９では図１におけるものと同一の構成要素には同一の符号が付されている。図９と図１とを対比すれば明らかなように、表示システム１Ｃの構成は、ウェアラブル端末３０Ａに代えてウェアラブル端末３０Ｃを設けた点、及び携帯機器１０Ａに代えて携帯機器１０Ｂを設けた点、において表示システム１Ａの構成と異なる。
　ウェアラブル端末３０Ｃの構成は、センサ３００を有さない点においてウェアラブル端末３０Ａの構成と異なる。図１０は、携帯機器１０Ｂの構成例を示すブロック図である。図１０では図６におけるものと同一の構成要素には同一の符号が付されている。図１０と図６とを対比すれば明らかなように、携帯機器１０Ｂの構成は、プログラムＰＲＡに代えてプログラムＰＲＢが記憶装置１３０に記憶されている点、において携帯機器１０Ａの構成と異なる。本実施形態では、処理装置１４０は、開始操作を示す第２操作内容データをウェアラブル端末３０Ａから受信したことを契機として、記憶装置１３０からプログラムＰＲＢを読み取り、プログラムＰＲＢの実行を開始する。
　プログラムＰＲＢは、当該プログラムＰＲＢに従って作動している処理装置１４０を表示制御部１４０ｃ及び決定部１４０ｂとして機能させる点においてプログラムＰＲＡと異なる。表示制御部１４０ｃは、管理装置４０から仮想オブジェクト情報及び位置情報を取得する点、グラスデバイス２０の視界に応じた画像をグラスデバイス２０に表示する点、及びグラスデバイス２０における表示領域の中心を初期指示位置として設定して仮想指示体ＶＣをグラスデバイス２０に表示する点では、表示制御部１４０ａと同一である。表示制御部１４０ｃは、仮想指示体ＶＣの指示位置を初期指示位置に固定する点において表示制御部１４０ａと異なる。仮想指示体ＶＣの指示位置がグラスデバイス２０における表示領域の中心に固定されるということは、仮想指示体ＶＣの指示位置がグラスデバイス２０の視界の変化（グラスデバイス２０の向きの変化）に応じて変更されることを意味する。表示制御部１４０ｃは、仮想指示体ＶＣの指示位置をグラスデバイス２０の視界の変化（グラスデバイス２０の向きの変化）に応じて変更させることで、グラスデバイス２０を頭部に装着したユーザＵの視線に基づく仮想指示体ＶＣの表示を実現する。
　また、プログラムＰＲＢは、図１１のフローチャートにより示される表示制御方法を処理装置１４０に実行させる点においてもプログラムＰＲＡと異なる。図１１では、図７におけるものと同一の処理には同一の符号が付されている。図１１と図７とを対比すれば明らかなように本実施形態における表示制御方法は、ステップＳＡ１２０及びステップＳＡ１３０の各処理を含まず、ステップＳＡ１１０に後続してステップＳＡ１４０が実行される点において第１実施形態における表示制御方法と異なる。本実施形態では、仮想指示体ＶＣの指示位置はグラスデバイス２０の視界の変化（グラスデバイス２０の向きの変化）に応じて変更される。このため、ユーザＵが頭部を動かす等の視界を変化させる操作（グラスデバイス２０の向きを変化させる動作）が移動操作の役割を兼ねる。このため、本実施形態では、ステップＳＡ１２０及びステップＳＡ１３０の各処理は不要である。
　例えば、図４に示される画像Ｇ２がグラスデバイス２０に表示されている状態においてグラスデバイス２０における表示領域の中心が仮想オブジェクトＶＯＢ１の画像と重なるように、ユーザＵが頭部を右から左へ回転させたとする。この場合、グラスデバイス２０の視界が図１２に示されるように変化する。図１２では、図２と同様に扇形ＯＡＢがグラスデバイス２０の視界に対応する。図１２に示す状態では、グラスデバイス２０の視界内には仮想オブジェクトＶＯＢ１のみが当該視界の中央に位置している。仮想指示体ＶＣの指示位置はグラスデバイス２０における表示領域の中心に固定されている。このため、グラスデバイス２０には図１３に示される画像Ｇ２が表示される。
　本実施態様では、グラスデバイス２０を装着した頭部を動かすことによってエイム操作が実現される。このため、携帯機器１０Ｂを操作デバイスとして用いることによってエイム操作を行う態様に比較して、誤操作の発生頻度を低くしつつ正確なエイム操作を行うことができる。また、本実施形態においても、第１実施形態と同様に入力装置３１０に対する入力操作により決定操作が行われた時点において仮想指示体ＶＣにより指示されている仮想オブジェクトが操作対象として決定される。このため、「仮想オブジェクトを数秒見つめ続ける動作」を「決定操作」と解釈する態様に比較して、迅速且つ正確に操作対象の仮想オブジェクトを確定することができる。
　また、本実施形態では、表示制御部１４０ｃは、決定操作が継続している間、即ち第２操作子の押下が継続している間、グラスデバイス２０の向きが変化しても、操作対象に決定された仮想オブジェクトのグラスデバイス２０における表示位置が固定されるように、領域Ｒにおける当該仮想オブジェクトの位置を更新してもよい。本態様によれば、ユーザＵの眼には、決定操作を継続している間、操作対象に決定した仮想オブジェクトが頭部の動きの向きと同じ方向に移動しているように見え、当該仮想オブジェクトのドラッグアンドドロップが実現される。
Ｄ：第４実施形態
　図１４は、本開示の第４実施形態による表示システム１Ｄの構成例を示すブロック図である。図１４では図８におけるものと同一の構成要素には同一の符号が付されている。図１４と図８とを対比すれば明らかなように、表示システム１Ｄの構成は、ウェアラブル端末３０Ｂに代えてウェアラブル端末３０Ｄを設けた点、及び携帯機器１０Ａに代えて携帯機器１０Ｂを設けた点、において表示システム１Ｂの構成と異なる。ウェアラブル端末３０Ｄの構成は、センサ３００を有さない点においてウェアラブル端末３０Ｂの構成と異なる。
　本実施態様では、第３実施形態と同様にグラスデバイス２０を装着した頭部を動かすことによってエイム操作が実現される。このため、携帯機器１０Ｂを操作デバイスとして用いることによってエイム操作を行う態様に比較して、誤操作の発生頻度を低くしつつ正確なエイム操作を行うことができる。また、本実施形態においても、第２実施形態と同様に収音装置３２０に対する音声入力により決定操作が行われた時点において仮想指示体により指示されている仮想オブジェクトが操作対象として決定される。このため、迅速且つ正確に操作対象の仮想オブジェクトを確定することができる。なお、本実施形態においても第３実施形態と同様に、決定操作が継続している間、即ち第２キーワードの発話が継続している間、グラスデバイス２０の向きが変化しても、操作対象に決定した仮想オブジェクトのグラスデバイス２０における表示位置が固定されるように、表示制御部１４０ｃは、領域Ｒにおける当該仮想オブジェクトの位置を更新してもよい。
Ｅ：変形
　本開示は、以上に例示した第１実施形態及び第２実施形態に限定されない。具体的な変形の態様は以下の通りである。以下の例示から任意に選択された２以上の態様が併合されてもよい。
Ｅ－１：変形例１
　上記各実施形態における仮想指示体ＶＣは、グラスデバイス２０の表示領域内の所定の位置を不動の起点とし、終点を指示位置とする線分であった。しかし、本開示における仮想指示体ＶＣは、所謂マウスポインタと同様に、図１５に示されるように指示位置に表示されるブロック矢印等の図形であってもよい。図１５は、仮想指示体ＶＣとしてブロック矢印の図形を用いた場合にユーザＵの眼に映る画像Ｇ２の一例を示す図である。また、図１６に示される仮想オブジェクトＶＯＢＳ１～ＶＯＢＳ３のように、ユーザＵによる選択の対象となる仮想オブジェクトが仮想ボタンである場合には、仮想指示体ＶＣは、図１６に示されるように、一つの仮想ボタンを囲む図形であってもよい。図１６は、仮想指示体ＶＣとして仮想ボタンを囲む四角形を用いた場合にユーザＵの眼に映る画像Ｇ２の一例を示す図である。仮想指示体ＶＣが、仮想ボタンを囲む図形である場合、当該仮想指示体ＶＣの初期指示位置は、投影画像に含まれる複数の仮想ボタンの位置のうちの何れかであればよい。
　仮想指示体の表示態様をユーザＵが任意に設定してもよい。また、領域Ｒに配置される仮想オブジェクトが階層化されている場合には、携帯機器１０Ａおよび携帯機器１００Ｂは、グラスデバイス２０に表示する仮想オブジェクトの階層に応じて仮想指示体ＶＣの表示態様を切り替えてもよい。以下では、携帯機器１０Ａと携帯機器１０Ｂとを区別する必要が無い場合には、携帯機器１０Ａ及び携帯機器１０Ｂは携帯機器１０と称される。例えば、動画又はニュース等の大項目に対応する仮想オブジェクトをグラスデバイス２０に表示させている状態では、携帯機器１０は図４又は図１５に示す仮想指示体ＶＣをグラスデバイス２０に表示する。何れかの大項目の仮想オブジェクトを選択することにより政治、経済、及びスポーツ等の下位の項目の選択を促す仮想ボタンをグラスデバイス２０に表示させている状態では、携帯機器１０は、図１６に示す仮想指示体ＶＣをグラスデバイス２０に表示する。
Ｅ－２：変形例２
　ウェアラブル端末３０Ａは、センサ３００の位置の変化及び向きの変化を検出するセンサ３００を備える。携帯機器１０Ａは、センサ３００の出力に基づいてグローバル座標系におけるウェアラブル端末３０Ａの位置及び向きの変化を検出し、ウェアラブル端末３０Ａの位置及び向きの変化に応じて仮想指示体ＶＣの指示位置を更新する。しかし、グラスデバイス２０が、表示領域内におけるユーザＵの視線の位置を検出する機能を備えている場合には、携帯機器１０Ａは当該機能により検出されたユーザＵの視線の位置に応じて仮想指示体ＶＣの指示位置を更新してもよい。ユーザＵの視線の位置に応じて仮想指示体ＶＣの指示位置を更新する態様であっても、入力装置３１０に対する入力操作により決定操作を受け付ける態様であれば、第１実施形態と同様に、迅速且つ正確に操作対象の仮想オブジェクトを確定することができる。第２実施形態についても同様に、仮想指示体ＶＣの指示位置をユーザの視線に応じて更新する態様に変形されても、音声入力により決定操作を受け付ける態様であれば、迅速且つ正確に操作対象の仮想オブジェクトを確定することができる。
Ｅ－３：変形例３
　上記第１実施形態では、決定操作を継続して行いながら、即ち第２操作子を押下し続けながら、ウェアラブル端末３０Ａを動かすこと又は視線を動かすことにより、操作対象に決定された仮想オブジェクトのドラッグアンドドロップが実現されてもよい。第２実施形態についても同様に、第２キーワードを発話し続けながら、ウェアラブル端末３０Ｂを動かすこと又は視線を動かすことにより、操作対象に決定された仮想オブジェクトのドラッグアンドドロップが実現されてもよい。
　また、第１実施形態、第２実施形態、第３実施形態、及び第４実施形態の各々において、操作対象に決定された仮想オブジェクトのドラッグアンドドロップが行われた場合、３次元空間における当該仮想オブジェクトのドラッグアンドドロップ後の位置を携帯機器１０から管理装置４０へ通知することにより、管理装置４０に記憶されている位置情報、即ち領域Ｒにおける当該仮想オブジェクトの配置位置が更新されてもよい。また、複数のユーザＵに１つの領域Ｒを共有させてもよく、１のユーザＵによる仮想オブジェクトの表示位置の変更が他の全てのユーザＵに反映されてもよい。
Ｅ－４：変形例４
　上記第１実施形態及び第２実施形態では、携帯機器１０Ａの記憶装置１３０にプログラムＰＲＡが記憶されていたが、プログラムＰＲＡが単体で製造又は販売されてもよい。購入先へのプログラムＰＲＡの提供態様は、例えば、プログラムＰＲＡが書き込まれたフラッシュＲＯＭ等のコンピュータ読み取り可能な記録媒体が配布される態様、又は電気通信回線経由のダウンロードによりプログラムＰＲＡが配布する態様である。同様にプログラムＰＲＢが単体で製造又は販売されてもよい。
Ｅ－５：変形例５
　上記第１実施形態及び第２実施形態における表示制御部１４０ａ、及び決定部１４０ｂは何れもソフトウェアモジュールであった。しかし、表示制御部１４０ａ、及び決定部１４０ｂのうちの何れか一方、又は両方はハードウェアモジュールであってもよい。ハードウェアモジュールは、例えば、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等である。表示制御部１４０ａ、及び決定部１４０ｂのうちの何れか一方、又は両方がハードウェアモジュールであっても、上記第１実施形態又は第２実施形態と同一の効果が奏される。同様に、第３実施形態及び第４実施形態における表示制御部１４０ｃ、及び決定部１４０ｂのうちの何れか一方、又は両方はハードウェアモジュールであってもよい。また、上記実施形態では、ユーザＵの身体に装着されるウェアラブル端末に対して、開始操作、決定操作、及び終了操作が為されたが、開始操作及び終了操作は携帯機器１０に対して為され、ウェアラブル端末に対して為される入力操作は決定操作のみであってもよい。
Ｆ：その他
（１）上述した実施形態では、記憶装置１３０としてＲＯＭ及びＲＡＭ等が例示されたが、記憶装置１３０は、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、ＣＤ－ＲＯＭ（Compact　Disc－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体であってもよい。
（２）上述した実施形態において、説明した情報、信号等は、様々な異なる技術の何れかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップ等は、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
（３）上述した実施形態において、入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
（４）上述した実施形態において、判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
（５）上述した実施形態において例示した処理手順、シーケンス、フローチャート等は、矛盾の無い限り、順序が入れ替えられてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素が提示されており、提示された特定の順序に限定されない。
（６）図６又は図１０に例示された各機能は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線等を用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
（７）上述した実施形態で例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能等を意味するよう広く解釈されるべきである。
　また、ソフトウェア、命令、情報等は、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital　Subscriber　Line）等）及び無線技術（赤外線、マイクロ波等）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
（８）前述の各形態において、「システム」及び「ネットワーク」という用語は、互換的に使用される。
（９）本開示において説明した情報、パラメータ等は、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。
（１０）上述した実施形態において、携帯機器には、移動局（ＭＳ：Mobile　Station）である場合が含まれる。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語で呼ばれる場合もある。また、本開示においては、「移動局」、「ユーザ端末（user　terminal）」、「ユーザ装置（ＵＥ：User　Equipment）」、「端末」等の用語は、互換的に使用され得る。
（１１）上述した実施形態において、「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は、「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的且つ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギー等を用いて、互いに「接続」又は「結合」されると考えることができる。
（１２）上述した実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
（１３）本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking　up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事等を含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事等を含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)等した事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」等で読み替えられてもよい。
（１４）上述した実施形態において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。更に、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
（１５）本開示において、例えば、英語でのa,　an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
（１６）本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢが夫々Ｃと異なる」ことを意味してもよい。「離れる」、「結合される」等の用語も、「異なる」と同様に解釈されてもよい。
（１７）本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
Ｇ：上述の形態又は変形例から把握される態様
　以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。従って、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。上述の実施形態又は変形例の少なくとも１つから以下の態様が把握される。
　本開示の第１の態様による表示制御装置は、表示制御部と、決定部と、を備える。表示制御部は、３次元空間においてグラスデバイスの視界に含まれる１又は複数の仮想オブジェクトを前記グラスデバイスに表示するとともに、前記１又は複数の仮想オブジェクトの何れか１の仮想オブジェクトを選択するための仮想指示体を前記グラスデバイスのユーザの視線に基づいて前記グラスデバイスに表示する。決定部は、前記ユーザの身体に装着されるウェアラブル端末に対する入力操作が行われた時点において前記仮想指示体により指示されている仮想オブジェクトを、操作対象として決定する。
　第１の態様に係る表示制御装置によれば、ウェアラブル端末に対する入力操作が行われた時点において仮想指示体により指示されている仮想オブジェクトが操作対象として決定される。このため、「仮想オブジェクトを数秒見つめ続ける動作」を「決定操作」と解釈する態様に比較して、迅速且つ正確に操作対象の仮想オブジェクトを確定することができる。
　また、本開示の第２の態様（第１の態様の例）による表示制御装置における前記表示制御部は、前記仮想指示体による指示位置を前記グラスデバイスの向きの変化に応じて変更させてもよい。第２の態様の表示制御装置によれば、グラスデバイスを頭部に装着したユーザは、頭部の向きを変える動作により、仮想指示体の指示位置を更新できる。
　また、本開示の第３の態様（第２の態様の例）による表示制御装置における前記表示制御部は、前記入力操作が継続している間、前記操作対象に決定された仮想オブジェクトの前記グラスデバイスにおける表示位置が固定されるように、前記操作対象に決定された仮想オブジェクトの前記３次元空間における位置を前記グラスデバイスの向きの変化に応じて更新してもよい。第３の態様によれば、グラスデバイスを頭部に装着したユーザは、入力操作を継続しながら頭部を動かすことで、操作対象に決定した仮想オブジェクトをドラッグアンドドロップできる。
　また、本開示の第４の態様（第１の態様の例、第２の態様の例、又は第３の態様の例）では、ウェアラブル端末は、前記ユーザの手指による入力を受け付ける入力装置を含み、前記決定部は、前記入力装置に対する入力を示すデータに基づいて前記入力操作が行われたか否かを判定してもよい。第４の態様によれば、ユーザは、手指による入力により、操作対象とする仮想オブジェクトを決定することができる。
　また、本開示の第５の態様（第１の態様の例、第２の態様の例、又は第３の態様の例）では、前記ウェアラブル端末は収音装置を含み、前記決定部は、前記収音装置に対して入力された音声を示すデータに基づいて前記入力操作が行われたか否かを判定してもよい。第５の態様によれば、ユーザは、音声による入力により、操作対象とする仮想オブジェクトを決定することができる。
　また、本開示の第６の態様による表示システムは、グラスデバイスと、３次元空間において前記グラスデバイスの視界に含まれる１又は複数の仮想オブジェクトを前記グラスデバイスに表示する表示制御装置と、前記表示制御装置に接続され、前記グラスデバイスのユーザの身体に装着されるウェアラブル端末と、を備える。前記表示制御装置は、前記１又は複数の仮想オブジェクトの何れか１の仮想オブジェクトを選択するための仮想指示体を前記ユーザの視線に基づいて前記グラスデバイスに表示する。また、前記表示制御装置は、前記ウェアラブル端末に対する入力操作が行われた時点において前記仮想指示体により指示されている仮想オブジェクトを、操作対象として決定する。第６の態様に係る表示システムによれば、第１の態様に係る表示制御装置と同様に、「仮想オブジェクトを数秒見つめ続ける動作」を「決定操作」と解釈する態様に比較して、迅速且つ正確に操作対象の仮想オブジェクトを確定することができる。
１Ａ，１Ｂ，１Ｃ，１Ｄ…表示システム、１０Ａ，１０Ｂ…携帯機器、１００…第１通信装置、１１０…第２通信装置、１２０…第３通信装置、１３０…記憶装置、１４０…処理装置、１４０ａ…表示制御部、１４０ｂ…決定部、１５０…バス、ＰＲＡ、ＰＲＢ…プログラム、２０…グラスデバイス、３０Ａ，３０Ｂ，３０Ｃ，３０Ｄ…ウェアラブル端末、３００…センサ、３１０…入力装置、３２０…収音装置、４０…管理装置、ＮＷ…通信回線。

Claims (5)

  1. 　３次元空間においてグラスデバイスの視界に含まれる１又は複数の仮想オブジェクトを前記グラスデバイスに表示するとともに、前記１又は複数の仮想オブジェクトの何れか１の仮想オブジェクトを選択するための仮想指示体を前記グラスデバイスのユーザの視線に基づいて前記グラスデバイスに表示する表示制御部と、
    　前記ユーザの身体に装着されるウェアラブル端末に対する入力操作が行われた時点において前記仮想指示体により指示されている仮想オブジェクトを、操作対象として決定する決定部と、
    　を備える、表示制御装置。
  2. 　前記表示制御部は、前記仮想指示体による指示位置を前記グラスデバイスの向きの変化に応じて変更させる、請求項１に記載の表示制御装置。
  3. 　前記表示制御部は、前記入力操作が継続している間、前記操作対象に決定された仮想オブジェクトの前記グラスデバイスにおける表示位置が固定されるように、前記操作対象に決定された仮想オブジェクトの前記３次元空間における位置を前記グラスデバイスの向きの変化に応じて更新する、請求項２に記載の表示制御装置。
  4. 　前記ウェアラブル端末は、前記ユーザの手指による入力を受け付ける入力装置を含み、
    　前記決定部は、前記入力装置に対する入力を示すデータに基づいて前記入力操作が行われたか否かを判定する、
    　請求項１から３のうちの何れか１項に記載の表示制御装置。
  5. 　前記ウェアラブル端末は収音装置を含み、
    　前記決定部は、前記収音装置に対して入力された音声を示すデータに基づいて前記入力操作が行われたか否かを判定する、
    　請求項１から３のうちの何れか１項に記載の表示制御装置。
PCT/JP2023/028418 2022-09-02 2023-08-03 表示制御装置 WO2024048195A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-139770 2022-09-02
JP2022139770 2022-09-02

Publications (1)

Publication Number Publication Date
WO2024048195A1 true WO2024048195A1 (ja) 2024-03-07

Family

ID=90099184

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/028418 WO2024048195A1 (ja) 2022-09-02 2023-08-03 表示制御装置

Country Status (1)

Country Link
WO (1) WO2024048195A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018061667A (ja) * 2016-10-12 2018-04-19 株式会社カプコン ゲームプログラム及びゲーム装置
WO2020017261A1 (ja) * 2018-07-20 2020-01-23 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2021060627A (ja) * 2018-02-07 2021-04-15 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2022020686A (ja) * 2017-08-15 2022-02-01 株式会社コロプラ 情報処理方法、プログラム、およびコンピュータ
JP7126583B1 (ja) * 2021-03-31 2022-08-26 株式会社コーエーテクモゲームス ゲームプログラム、記録媒体、ゲーム処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018061667A (ja) * 2016-10-12 2018-04-19 株式会社カプコン ゲームプログラム及びゲーム装置
JP2022020686A (ja) * 2017-08-15 2022-02-01 株式会社コロプラ 情報処理方法、プログラム、およびコンピュータ
JP2021060627A (ja) * 2018-02-07 2021-04-15 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2020017261A1 (ja) * 2018-07-20 2020-01-23 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP7126583B1 (ja) * 2021-03-31 2022-08-26 株式会社コーエーテクモゲームス ゲームプログラム、記録媒体、ゲーム処理方法

Similar Documents

Publication Publication Date Title
US11017257B2 (en) Information processing device, information processing method, and program
US20200335065A1 (en) Information processing device
US10621766B2 (en) Character input method and device using a background image portion as a control region
WO2019130991A1 (ja) 情報処理装置
US11763489B2 (en) Body and hand correlation method and apparatus, device, and storage medium
WO2016147498A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2024048195A1 (ja) 表示制御装置
US11836978B2 (en) Related information output device
WO2020039703A1 (ja) 入力装置
JP6999822B2 (ja) 端末装置および端末装置の制御方法
JP7365501B2 (ja) 情報処理装置
WO2023210195A1 (ja) 特定システム
JP7344307B2 (ja) 情報処理装置
WO2022201739A1 (ja) 表示制御装置
US20240103625A1 (en) Interaction method and apparatus, electronic device, storage medium, and computer program product
WO2022201936A1 (ja) 表示制御装置
WO2023026798A1 (ja) 表示制御装置
WO2023223750A1 (ja) 表示装置
WO2022091760A1 (ja) 操作装置
JP2024075800A (ja) 表示制御装置
WO2023199627A1 (ja) ガイド画像管理装置
KR102539045B1 (ko) 착용형 증강현실 장치를 위한 대시보드 제어 장치 및 대시보드 제어 방법
WO2023218751A1 (ja) 表示制御装置
US11928264B2 (en) Fixed user interface navigation
WO2022190735A1 (ja) 表示制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23859964

Country of ref document: EP

Kind code of ref document: A1