WO2023026798A1 - 表示制御装置 - Google Patents

表示制御装置 Download PDF

Info

Publication number
WO2023026798A1
WO2023026798A1 PCT/JP2022/029702 JP2022029702W WO2023026798A1 WO 2023026798 A1 WO2023026798 A1 WO 2023026798A1 JP 2022029702 W JP2022029702 W JP 2022029702W WO 2023026798 A1 WO2023026798 A1 WO 2023026798A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
virtual space
user
information
displays
Prior art date
Application number
PCT/JP2022/029702
Other languages
English (en)
French (fr)
Inventor
怜央 水田
康夫 森永
達哉 西▲崎▼
有希 中村
Original Assignee
株式会社Ｎｔｔドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｎｔｔドコモ filed Critical 株式会社Ｎｔｔドコモ
Priority to US18/294,690 priority Critical patent/US20240289080A1/en
Priority to JP2023543777A priority patent/JPWO2023026798A1/ja
Publication of WO2023026798A1 publication Critical patent/WO2023026798A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Definitions

  • the present invention relates to a display control device that controls display on a display.
  • a transmissive head-mounted display allows a user to see the real world and to refer to information displayed on the display.
  • transmissive head-mounted displays information arranged in a virtual space is displayed according to the line of sight in the virtual space. Further, in this case, the line of sight is controlled so as to move according to the direction of the head mounted display or the like. With such control, the user wearing the head-mounted display can refer to virtual space information according to the orientation of his or her head, and can see the real world.
  • Sharing a display with another user may also occur in the above aspects of display. For example, it is conceivable to display common information by sharing a virtual space between head-mounted displays. In this case, when the user moves the information displayed in the virtual space, the display position of the information moves on the other user's display.
  • the movement of information by other users may hinder the user.
  • the user of the other head-mounted display is looking at something in the real world instead of the display, if the displayed information is moved in front of the user's actions, it interferes with the user's actions.
  • An embodiment of the present invention has been made in view of the above, and aims to provide a display control device capable of appropriately displaying information in a virtual space common to a plurality of displays. aim.
  • a display control device distributes display information commonly arranged in a virtual space shared with other displays to each display in the virtual space.
  • a display control device that controls display on a display that displays according to the line of sight, and includes a detection unit that detects the state of a user wearing another display, and a visual field of the virtual space that corresponds to the line of sight of the virtual space on the other display.
  • a view information acquisition unit that acquires information, and a control unit that controls operations related to display on the display according to the state of the user detected by the detection unit and the view information of the virtual space acquired by the view information acquisition unit. And prepare.
  • the operation related to the display of the display is controlled according to the state of the user wearing the other display and the field-of-view information of the virtual space.
  • the display can be controlled so that the display on the other display does not interfere with the user. Therefore, according to the display control device according to the embodiment of the present invention, it is possible to appropriately perform display when displaying common virtual space information among a plurality of displays.
  • display when displaying common virtual space information among a plurality of displays, display can be performed appropriately.
  • FIG. 3 is a diagram showing an example of a virtual space related to display on a display, display information arranged in the virtual space, and a displayed area; FIG. 3 illustrates sharing of virtual space and display information between displays;
  • FIG. 4 is a diagram showing an example of display control on a display;
  • FIG. 10 is a diagram showing an example of a region related to control;
  • 4 is a flow chart showing processing executed by a display that is a display control device according to an embodiment of the present invention; It is a figure which shows the hardware constitutions of the display which is a display control apparatus which concerns on embodiment of this invention.
  • FIG. 1 shows a display 10 which is a display control device according to this embodiment.
  • the display 10 which is a display device, controls display on the display 10 itself.
  • the display 10 displays display information arranged in a common virtual space with the other displays 20 according to the line of sight of each display in the virtual space.
  • the displays 10 and 20 display display information arranged in a virtual three-dimensional space according to the line of sight in the virtual space.
  • Display information is information displayed on the displays 10 and 20 .
  • the display information is, for example, contents such as characters, images, and moving images.
  • the display information may be of a scheduler, a browser, or the like that can change the displayed content.
  • the display information may be communication such as a chat between the users of the displays 10 and 20 .
  • the display information may be anything other than the above as long as it can be arranged in the virtual space and displayed according to the line of sight in the virtual space.
  • the displays 10 and 20 are, for example, displays that display virtual content (display information) using AR (Augmented Reality) or the like.
  • the displays 10 and 20 are transmissive displays worn on the user's eyes.
  • the displays 10 and 20 may be glasses-type head-mounted displays, that is, see-through glasses (smart glasses, AR glasses).
  • the displays 10 and 20 are used by different users. Also, the display 10 need not be worn by the user.
  • the displays 10 and 20 display the display information of the area visible in the direction of the line of sight in the virtual space from the reference position of the line of sight in the virtual space.
  • the line of sight in the virtual space includes the reference position of the line of sight in the virtual space and the direction of the line of sight in the virtual space.
  • the displays 10 and 20 can be displayed by moving the line of sight in the virtual space. By moving the line of sight in the virtual space, the display information seen in the virtual space changes, and the display on the displays 10 and 20 also changes.
  • the movement of the line of sight in the virtual space is performed according to a preset method.
  • the movement of the line of sight in the virtual space is performed with a preset degree of freedom.
  • the preset degree of freedom is, for example, 3DoF (Degree of Freedom).
  • 3DoF the reference position of the line of sight in the virtual space is fixed, and only the direction of the line of sight in the virtual space can be rotated around the X, Y, and Z axes of the virtual space.
  • the line of sight in the virtual space may be moved by a degree of freedom other than the above and by a method other than the above.
  • a sphere (omnidirectional sphere) 100 is provided in virtual space, and display information 200 is arranged along the sphere 100 .
  • the two-dimensional display information 200 is arranged along the tangential plane of the sphere 100 toward the center of the sphere 100 . That is, the display information 200 is arranged so as to be visible from the center of the sphere 100 .
  • the center of the sphere 100 is the reference position of the line of sight in the virtual space.
  • the displays 10 and 20 display the display information 200 of the area 300 of the sphere 100 visible in the direction of the line of sight in the virtual space from the reference position of the line of sight in the virtual space.
  • the shape of the area 300 is the shape of the display screens of the displays 10 and 20, for example, a rectangular shape as shown in FIG. Since the viewing angles of the displays 10 and 20 (the angles at which the virtual space can be displayed) are limited as described above, only a portion of the sphere 100 is displayed. In the example shown in FIG. 2, the position of the area 300 of the sphere 100 changes by changing the direction of the line of sight in the virtual space, and the display on the displays 10 and 20 changes.
  • displays 10 and 20 may be omnidirectional displays.
  • the display on the displays 10 and 20 may be performed by an application that performs the display.
  • the direction of the line of sight when the application is activated may be a preset default direction, or may be a different direction for each of the displays 10 and 20 .
  • the displays 10 and 20 may be provided with sensors that detect the movement and orientation of the displays 10 and 20 themselves.
  • an acceleration sensor that detects acceleration
  • a gyro sensor that detects angular velocity
  • the displays 10 and 20 may detect the movement and orientation of the displays 10 and 20 themselves using these sensors, and move the line of sight in the virtual space according to the detected movement and orientation. That is, the line of sight may be moved according to the direction of the head (face) of the user wearing the displays 10 and 20 .
  • the movement of the line of sight in the virtual space may be performed according to detection by sensors other than those described above.
  • the movement of the line of sight in the virtual space may be performed by the user's operation on the displays 10 and 20 instead of by the sensor.
  • the display on the displays 10 and 20 using the line of sight in the virtual space may be performed in the same manner as the conventional display by AR or the like.
  • the holding and processing of information about the virtual space may be performed in either of the displays 10 and 20, or may be performed in a cloud or the like connected to the displays 10 and 20.
  • the display on the display 10 and the display on the other display 20 use display information commonly arranged in a common virtual space. That is, the virtual space and display information may be shared among the multiple displays 10 and 20 . A plurality of displays 10 and 20 with which the virtual space and display information are shared are set in advance.
  • the line of sight of the virtual space in the display on the display 10 and the display on the other display 20 are independent for each of the displays 10 and 20 . If the lines of sight on the displays 10 and 20 are different, for example, in the case of 3DoF, if the directions of the lines of sight are different, the displays 10 and 20 perform different displays according to the respective lines of sight.
  • the same display is performed on the displays 10 and 20 .
  • an example in which two displays 10 and 20 share a virtual space is shown, but three or more displays 10 and 20 may share a virtual space.
  • operations related to display for example, user operations on display information are performed.
  • the displays 10 and 20 accept a user's operation to move the display information 200 in the virtual space, and move the display information 200 . Since the arrangement of the display information 200 in the virtual space is common as described above, when the display information 200 is moved on one of the displays 10 and 20, the other display 10 is moved as shown on the left side of FIG. , 20, the display information 200 moves. Operations other than those described above may be performed on the displays 10 and 20 . For example, operations such as enlargement and reduction of display information, character input for display information, and rotation of the sphere 100 may be performed.
  • the operation may be performed using, for example, an information processing device such as a smart phone carried by the user wearing the displays 10 and 20 .
  • the displays 10 and 20 and the smartphone are connected in advance so that information can be transmitted and received.
  • the operation is reflected on the displays 10 and 20 .
  • the smartphone held by the user may be displayed so that a laser pointer appears at the position where the smartphone is pointed.
  • the above displays and operations on the displays 10 and 20 may be performed in the same manner as in conventional methods.
  • the displays 10 and 20 conventional displays having the above functions can be used. Moreover, the displays 10 and 20 have a communication function. The communication functions of the displays 10 and 20 are used to share the virtual space and display information described above and to realize the functions according to the present embodiment. Further, some of the above-described functions of the displays 10 and 20 and some of the functions according to the present embodiment described later are possessed by an information processing device (for example, a smartphone) connected to the display device (for example, the above-described see-through glasses). may That is, the displays 10 and 20 according to the present embodiment may be realized by including the display device and the information processing device.
  • an information processing device for example, a smartphone
  • the display device for example, the above-described see-through glasses
  • the displays 10 and 20 are omnidirectional displays as described above
  • the displays 10 and 20 display images, videos, browsers, etc. as the display information as described above, so that the displays 10 and 20 are attached It is possible to construct a work space dedicated to a user who has
  • by sharing the virtual space and display information among the plurality of displays 10 and 20 as described above it is possible, for example, to share images with other remote users in the image of multiple people entering the omnidirectional display. Display information can be shared at the same time.
  • the displays 10 and 20 are see-through glasses, it is possible to use the displayed information while doing other work in the real space, that is, to use it while doing other work.
  • the display 10 includes a display section 11, a detection section 12, a view information acquisition section 13, and a control section .
  • Another display 20 sharing virtual space and display information with the display 10 has functions corresponding to the functions of the display 10 according to the present embodiment.
  • Other functions of the display 20 will be described together with the description of the functions of the display 10 according to the present embodiment below.
  • the display 10 may have functions other than those described above that conventional display devices, such as conventional see-through glasses, have.
  • the display 10 may have the functions of another display 20 according to this embodiment.
  • Other displays 20 may also have the functionality of this embodiment of the display 10 .
  • the display unit 11 is a functional unit that displays on the display 10.
  • the display unit 11 receives and displays display information to be displayed on the display 10 .
  • the display unit 11 may input display information stored in the display 10, or receive and input display information from the outside.
  • the display unit 11 displays the display information arranged in the virtual space according to the line of sight in the virtual space.
  • the display unit 11 shares the virtual space and display information with the other displays 20 .
  • the sharing of the virtual space and the display information is performed, for example, by transmitting/receiving the display information and the information indicating the position of the virtual space where the display information is arranged to/from the other display 20 .
  • the virtual space and display information may be shared not directly between the displays 10 and 20 but via a server with which the displays 10 and 20 can communicate. Also, the virtual space and display information may be shared between the displays 10 and 20 by a method other than the above. Information other than the above that is transmitted and received between the displays 10 and 20 may be transmitted and received directly between the displays 10 and 20, or may be transmitted and received via a server or the like.
  • the display unit 11 receives an operation related to display and executes the operation.
  • An operation related to display is, for example, an operation of moving display information in a virtual space. Also, the operation related to the display may be another operation.
  • An operation related to display is performed by the user of the display 10 . When the user of the display 10 performs an operation, the operation related to the display is accepted by accepting the user's input operation to the display 10, for example.
  • the display unit 11 transmits information indicating the accepted operation to the other display 20 .
  • the other display 20 receives the transmitted information indicating the operation and executes the operation so that the virtual space and the display information are shared with the display 10 .
  • the display unit 11 receives from the other display 20 information indicating the operation related to the display performed on the other display 20, and shares the virtual space and the display information with the other display 20. perform the operation as instructed.
  • the above function of the display unit 11 may be the same as the conventional function.
  • operations related to display by the display unit 11 are controlled by the control unit 14 .
  • the detection unit 12 is a functional unit that detects the state of the user wearing the other display 20 .
  • the detection unit 12 may detect the line of sight of the user in the physical space as the state of the user wearing the other display 20 .
  • the detection unit 12 may detect the focal length of the line of sight of the user in the physical space as the state of the user wearing the other display 20 .
  • the detection unit 12 may detect the line-of-sight direction of the user in the physical space as the state of the user wearing the other display 20 .
  • the detection unit 12 may detect the moving state of the user as the state of the user wearing the other display 20 .
  • the detection unit 12 receives information related to detection from another display 20 and performs the above detection.
  • another display 20 is provided with a sensor for detecting the state of the user who wears the other display 20, and the sensor is used to detect the state of the user.
  • another display 20 is provided with a camera capable of imaging the eyeball of the user. The other display 20 transmits to the display 10 the image of the user's eye obtained by imaging the camera.
  • the detection unit 12 receives images from other displays 20 .
  • the detection unit 12 detects the line of sight of the user in the real space, more specifically, the focal length and direction of the line of sight from the image of the user's eye received from the other display 20 .
  • the detection unit 12 detects the movement of the user's eyeball from the moving image of the user's eyeball, and detects the focal length and direction of the line of sight based on the movement.
  • the detection unit 12 detects, for example, the distance from the eyeball to the focal point as the focal length.
  • the detection unit 12 detects, as the direction of the line of sight, for example, the position of the line of sight in the physical space on the display screen of the other display 20 (the position of the intersection of the line of sight and the display screen, for example, coordinates on the display screen). Detection of the line of sight in the physical space from the image may be performed in the same manner as in the conventional method. Alternatively, another display 20 may perform processing for detecting the line of sight of the user in the real space from the above image, and transmit information on the detection result to the display 10 . The detection unit 12 receives detection result information from the other display 20 and detects the line of sight of the user in the real space.
  • the detection unit 12 may detect whether or not the user is walking as the movement state of the user.
  • the other display 20 is provided with an acceleration sensor, for example. Another display 20 transmits information obtained by the acceleration sensor to the display 10 .
  • the detector 12 receives the information from another display 20 .
  • the detection unit 12 detects whether or not the user is walking from the information obtained by the acceleration sensor received from the other display 20 . Detection of whether or not the user is walking from the acceleration may be performed in the same manner as in the conventional method.
  • the other display 20 is provided with a positioning function of its own device by GPS (Global Positioning System) or the like, and the detection unit 12 detects the position of the other display 20 based on the information indicating the position of the other display 20 obtained by the positioning function. , whether the user is moving (eg, walking) or stationary. This detection may also be performed in the same manner as in the conventional method.
  • the detection unit 12 continuously detects the state of the user, for example, at regular intervals.
  • the detection unit 12 outputs information indicating the detected state of the user to the control unit 14 each time of detection.
  • the detection unit 12 may detect at least one of the user states described above.
  • the detection unit 12 may detect the state of the user by a method other than the above-described method.
  • the detection unit 12 may detect user states other than those described above as long as they are useful for control by the control unit 14, which will be described later.
  • the view information acquisition unit 13 is a functional unit that acquires the view information of the virtual space according to the line of sight of the virtual space on the other display 20 .
  • the view information acquisition unit 13 receives and acquires the view information of the virtual space from the other display 20 .
  • the other display 20 transmits information indicating the range displayed on the display screen of the other display 20 to the display 10 as the field-of-view information of the virtual space.
  • the range displayed on the display screen is an area 300 of the sphere 100 that is visible in the direction of the line of sight of the virtual space from the reference position of the line of sight of the virtual space shown in FIG.
  • the other display 20 indicates, as virtual space field-of-view information, information capable of calculating the range displayed on the display screen of the other display 20, for example, the reference position of the line of sight in the virtual space and the direction of the line of sight in the virtual space. Send the information to the display 10 .
  • the reference position of the line of sight is a fixed position in the virtual space, so it does not need to be included in the visual field information of the virtual space.
  • the visibility information acquisition unit 13 continuously acquires visibility information of the virtual space, for example, at regular intervals, in the same manner as detection by the detection unit 12 .
  • the view information acquisition unit 13 outputs the acquired view information of the virtual space to the control unit 14 each time it is acquired.
  • the control unit 14 is a functional unit that controls operations related to display on the display 10 according to the state of the user detected by the detection unit 12 and the view information of the virtual space acquired by the view information acquisition unit 13. .
  • the control unit 14 may determine whether or not to perform control according to the focal length detected by the detection unit 12 .
  • the control unit 14 may set the control area according to the line-of-sight direction in the real space detected by the detection unit 12 .
  • the control unit 14 may set a control area according to the visibility information of the virtual space acquired by the visibility information acquisition unit 13, and control operations related to the display of the display 10 related to the set area. .
  • the control unit 14 may perform control to prohibit the operation of changing the display of the display information in the set area.
  • the control by the control unit 14 is, for example, to prevent operations on the display 10 from interfering with users wearing other displays 20 . Since the other display 20 is transmissive, the user wearing the other display 20 can also perform actions other than looking at the display 20 . For example, the user can view a bus timetable or walk while the display 20 is displaying.
  • the other display 20 displays the area 300 according to the line of sight of the virtual space on the other display 20 .
  • display information 200 is moved to an area at the same position as area 300 in virtual space by an operation on display 10 .
  • the display information 200 moves to the area 300 on the other display 20 as well. Due to this movement, the display information 200 that has not been displayed until now is displayed on the other display 20 .
  • the newly displayed display information 200 obstructs the user's view of the other displays 20 and interferes with the user's walking. Also, users of other displays 20 are in danger because they cannot see their surroundings. This is especially dangerous when other display 20 users are walking in crosswalks. Alternatively, even if the user of another display 20 is not looking at the display of the other display 20 and is looking at the real space other than walking, the newly displayed display information 200 is the behavior of the user. can be a hindrance to In this way, when the user of the other display 20 is performing an action such as work in the real world other than looking at the other display 20, the operation of the user of the display 10 is the same as that of the user of the other display 20. It can get in the way of movement.
  • control by the control unit 14 is to prevent the user's operation of the display 10 from interfering with the actions of the users of the other displays 20 .
  • control by the control unit 14 does not necessarily have to be performed for the above purposes, and may be performed for purposes other than the above.
  • the control unit 14 performs control as follows.
  • the control unit 14 receives information indicating the state of the user of the other display 20 from the detection unit 12 .
  • the control unit 14 inputs the visual field information of the virtual space from the visual field information acquisition unit 13 .
  • the control unit 14 determines whether or not to control the operation related to the display of the display 10, i.e., control the user's operation of the display 10, from the information input from the detection unit 12 based on pre-stored determination criteria. do. For example, if the information input from the detection unit 12 indicates the focal length in the real space, the control unit 14 makes the above determination based on whether the focal length is within a preset range.
  • the above range is, for example, a range in which it can be determined that the user wearing the other display 20 is focused on the display screen of the other display 20, that is, the user is looking at the display screen of the other display 20. is.
  • the control unit 14 determines not to control the operation related to the display of the display 10 assuming that the user is looking at the display screen of another display 20 . This is because it is considered that if the user is looking at the display screen of another display 20, the operation on the display 10 will not interfere with the user.
  • the control unit 14 determines to control the operation related to the display of the display 10, and the detection unit 12 If the input information indicates that the user is not walking, the control unit 14 determines not to control the operation related to the display on the display 10 . In the case where the control unit 14 determines whether or not to control the operation related to the display of the display 10 based on a plurality of determination criteria, if it is determined that the control is to be performed based on any of the determination criteria, (another determination (Even if it is determined not to perform control based on the standard), it is finally determined to perform control.
  • the control unit 14 determines to perform control of the user's operation related to the display of the display 10
  • the area 400 related to the control is displayed according to the virtual space view information input from the view information acquisition unit 13 . set.
  • the control unit 14 notifies the display unit 11 of the set area 400 and performs control according to the area 400 .
  • the control prohibits, for example, an operation related to display on the display 10 related to the set area 400 .
  • this control prohibits an operation to move the display information 200 from outside the set area 400 to the set area 400 .
  • the operation to be controlled is not limited to the above, and may include an operation of moving the display information 200 from the set area 400 to the outside of the set area 400 .
  • the operation to be controlled may include an operation of enlarging, reducing, or moving the display information within the set area 400 .
  • the control may prohibit some of the operations. For example, if the operation is to move the display information, the control may be a control to move the display information slightly without completely moving it according to the operation.
  • the control unit 14 sets the area 400 related to control as follows.
  • the control unit 14 sets an area 400 related to control based on the area 300 displayed on the other display 20 according to the visual field information of the virtual space acquired by the visual field information acquiring unit 13 .
  • the control unit 14 designates a region 410 of the virtual space at the same position as the region 300 corresponding to the line of sight of the virtual space displayed on the other display 20 as the region 400 related to control. set.
  • the position of the area 300 described above is indicated by view information in the virtual space.
  • FIG. 5A the control unit 14 designates a region 410 of the virtual space at the same position as the region 300 corresponding to the line of sight of the virtual space displayed on the other display 20 as the region 400 related to control. set.
  • the position of the area 300 described above is indicated by view information in the virtual space.
  • the control unit 14 may include a region 410 in the virtual space at the same position as the region 300 in the other display 20 and further include a region 420 extending the region 410 in one direction.
  • area 400 is set to .
  • the direction in which the area 420 is provided is, for example, the direction in the virtual space corresponding to the vertical downward direction in the real space.
  • the direction and the size of the area 420 are set in advance.
  • the control unit 14 controls the area 400 so as to include an area 410 in the virtual space at the same position as the area 300 in the other display 20 and further include an area 430 around the area 410. set.
  • Region 430 is, for example, rectangular region 410 that is larger than the rectangular region that contains rectangular region 410 .
  • the position of the area 430 with respect to the area 410 and the size of the area 430 are preset.
  • the display unit 11 receives control from the control unit 14 and performs processing according to the control.
  • the display unit 11 identifies whether or not the operation is an operation to be controlled. For example, the display unit 11 determines whether the received operation is to move display information included in the area 400 set in the control unit 14 or the like. When it is determined that the received operation is to move the display information included in the area 400 set in the control unit 14, the display unit 11 identifies the operation as an operation to be controlled. . If the operation is identified as an operation to be controlled, the display unit 11 prohibits the operation. When identifying that the operation is not an operation to be controlled, the display unit 11 performs the operation without prohibiting it.
  • control unit 14 may display the area 400 on the display 10 so that the user of the display 10 can recognize the area 400 related to control.
  • the frame portion of the area 400 or the entire area may be colored and displayed on the display 10 .
  • control does not necessarily have to be control that prohibits the operation, and may be control that changes the display related to the operation.
  • control may be performed to hide or translucent the display information related to the operation of the control target, or to display only the frame.
  • control may be performed to display the display information related to the operation of the controlled object at a preset position on the display 10, for example, at a corner of the field of view.
  • control other than the above-described control may be performed as long as it meets the above-described purpose.
  • control unit 14 may set the area 400 related to control using information input from the detection unit 12 based on pre-stored determination criteria. For example, if the information input from the detection unit 12 indicates the line-of-sight direction in the real space, the control unit 14 also sets the control-related area 400 from the line-of-sight direction.
  • the control unit 14 identifies the position of the sphere 100 in the virtual space corresponding to the line-of-sight position on the display screen, which is the line-of-sight direction. The identification may be performed by conventional methods.
  • the control unit 14 calculates a region along the sphere 100 with reference to the specified position.
  • the area is, for example, a preset circular or rectangular area centered on the specified position.
  • the control unit 14 sets the final control-related region 400 by overlapping the calculated region and the control-related region 400 set according to the visibility information of the virtual space as described above.
  • the area 400 related to control By setting the area 400 related to control in this way, the area 400 can be adapted to the line of sight of the user of the other display 20 in the real space.
  • the above is the function of the display 10 according to the present embodiment.
  • the state of the user wearing the other display 20 is detected by the detection unit 12 (S01). Detection of the state of the user is performed based on information transmitted from other displays 20 . Subsequently, the visual field information acquisition unit 13 receives and acquires virtual space visual field information corresponding to the line of sight of the virtual space on the other display 20 (S02). Subsequently, the control unit 14 controls the display unit 11 to operate the display 10 according to the user's state and the virtual space view information (S03). The above processes (S01 to S03) are repeated while the display unit 11 and other displays 20 are displaying. The above is the processing executed by the display 10 according to the present embodiment.
  • the operation related to the display of the display 10 is controlled according to the state of the user wearing the other display 20 and the view information of the virtual space.
  • the display can be controlled so that the display on the other display 20 due to the display on the display 10 does not interfere with the user. Therefore, according to the present embodiment, when displaying common virtual space information between the plurality of displays 10 and 20, it is possible to perform appropriate display.
  • the line of sight of the user in the physical space may be detected as the state of the user wearing the other display 20 .
  • the focal length of the line of sight of the user in the real space may be detected, and it may be determined whether or not to perform control according to the focal length.
  • control can be performed when the user is not looking at the display screen of the other display 20, and the display of the other display 20 may interfere with the user or cause the user to You can prevent it from creating danger.
  • the direction of the line of sight of the user in the real space may be detected, and the area 400 related to control may be set according to the direction of the line of sight. According to this configuration, for example, it is possible to control only the necessary area 400 according to the direction of the user's line of sight, and display on the display 10 can be performed more appropriately.
  • the movement state of the user more specifically, whether or not the user is walking may be detected.
  • control can be performed while the user is walking, and it is possible to prevent the display of the other display 20 from causing danger while the user is walking.
  • the state of the user wearing the other display 20 is not limited to the above, and other states may be detected and used as long as they are useful for controlling the display. For example, states such as whether the user is cooking, looking at a sign, or having a conversation may be detected.
  • an area 400 related to control may be set according to the field-of-view information of the virtual space, and the operation related to the display of the display 10 related to the set area 400 may be controlled.
  • the control may be control that prohibits an operation to change the display of the display information in the set area 400 .
  • display on the display 10 can be performed appropriately and reliably according to the state of the user of the other display 20 .
  • control other than the above may be performed as long as the control is such that the display on the display 10 is performed appropriately.
  • the detection unit 12 may detect the heartbeat or sweating state of the user in addition to or instead of the above information. Specifically, the detection unit 12 may detect the user's heart rate or perspiration amount, or both. In this case, a sensor for detecting a heart rate or a sensor for detecting the amount of perspiration is attached to the user, and the display 10 transmits information indicating the heart rate or the amount of perspiration of the user from the sensor via another display 20. to get Conventional sensors can be used as these sensors.
  • control unit 14 determines whether or not to control the operation related to the display of the display 10 based on the information input from the detection unit 12 based on the pre-stored determination criteria as described above. For example, the control unit 14 performs control when the sensor indicated by the information input from the detection unit 12 or the amount of perspiration is equal to or greater than a preset threshold value or is equal to or less than a preset threshold value. to decide. With the configuration as described above, appropriate display can be performed depending on the heart rate or the amount of perspiration of the user wearing the other display 20 .
  • the display control device has been described as the display 10 having a display function, but it does not necessarily have to have a display function.
  • the display control device displays display information commonly arranged in a virtual space shared with other displays in accordance with the line of sight of each display in the virtual space (that is, includes the display unit 11).
  • a device (system) that is connected to control display on a display and that includes the above-described detection unit 12 , view information acquisition unit 13 , and control unit 14 may be used.
  • each functional block may be implemented using one device that is physically or logically coupled, or directly or indirectly using two or more devices that are physically or logically separated (e.g. , wired, wireless, etc.) and may be implemented using these multiple devices.
  • a functional block may be implemented by combining software in the one device or the plurality of devices.
  • Functions include judging, determining, determining, calculating, calculating, processing, deriving, investigating, searching, checking, receiving, transmitting, outputting, accessing, resolving, selecting, choosing, establishing, comparing, assuming, expecting, assuming, Broadcasting, notifying, communicating, forwarding, configuring, reconfiguring, allocating, mapping, assigning, etc. can't
  • a functional block (component) responsible for transmission is called a transmitting unit or transmitter.
  • the implementation method is not particularly limited.
  • the display 10 in one embodiment of the present disclosure may function as a computer that performs information processing of the present disclosure.
  • FIG. 7 is a diagram illustrating an example of a hardware configuration of display 10 according to an embodiment of the present disclosure.
  • the display 10 described above may be physically configured as a computer device including a processor 1001, a memory 1002, a storage 1003, a communication device 1004, an input device 1005, an output device 1006, a bus 1007, and the like.
  • the hardware configuration of the other display 20 may be the one described here.
  • the term "apparatus” can be read as a circuit, device, unit, or the like.
  • the hardware configuration of the display 10 may be configured to include one or more of each device shown in the drawing, or may be configured without some of the devices.
  • Each function of the display 10 is performed by loading predetermined software (programs) on hardware such as the processor 1001 and the memory 1002 so that the processor 1001 performs calculations, controls communication by the communication device 1004, controls the communication by the memory 1002 and It is realized by controlling at least one of data reading and writing in the storage 1003 .
  • the processor 1001 for example, operates an operating system and controls the entire computer.
  • the processor 1001 may be configured by a central processing unit (CPU) including an interface with peripheral devices, a control device, an arithmetic device, registers, and the like.
  • CPU central processing unit
  • each function of display 10 described above may be implemented by processor 1001 .
  • the processor 1001 reads programs (program codes), software modules, data, etc. from at least one of the storage 1003 and the communication device 1004 to the memory 1002, and executes various processes according to them.
  • programs program codes
  • software modules software modules
  • data etc.
  • the program a program that causes a computer to execute at least part of the operations described in the above embodiments is used.
  • each function of display 10 may be implemented by a control program stored in memory 1002 and running on processor 1001 .
  • FIG. Processor 1001 may be implemented by one or more chips.
  • the program may be transmitted from a network via an electric communication line.
  • the memory 1002 is a computer-readable recording medium, and is composed of at least one of, for example, ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), RAM (Random Access Memory), etc. may be
  • ROM Read Only Memory
  • EPROM Erasable Programmable ROM
  • EEPROM Electrical Erasable Programmable ROM
  • RAM Random Access Memory
  • the memory 1002 may also be called a register, cache, main memory (main storage device), or the like.
  • the memory 1002 can store executable programs (program code), software modules, etc. for performing information processing according to an embodiment of the present disclosure.
  • the storage 1003 is a computer-readable recording medium, for example, an optical disc such as a CD-ROM (Compact Disc ROM), a hard disk drive, a flexible disc, a magneto-optical disc (for example, a compact disc, a digital versatile disc, a Blu-ray disk), smart card, flash memory (eg, card, stick, key drive), floppy disk, magnetic strip, and/or the like.
  • Storage 1003 may also be called an auxiliary storage device.
  • the storage medium included in display 10 may be, for example, a database, server, or other suitable medium including at least one of memory 1002 and storage 1003 .
  • the communication device 1004 is hardware (transmitting/receiving device) for communicating between computers via at least one of a wired network and a wireless network, and is also called a network device, a network controller, a network card, a communication module, or the like.
  • the input device 1005 is an input device (for example, keyboard, mouse, microphone, switch, button, sensor, etc.) that receives input from the outside.
  • the output device 1006 is an output device (eg, display, speaker, LED lamp, etc.) that outputs to the outside. Note that the input device 1005 and the output device 1006 may be integrated (for example, a touch panel).
  • Each device such as the processor 1001 and the memory 1002 is connected by a bus 1007 for communicating information.
  • the bus 1007 may be configured using a single bus, or may be configured using different buses between devices.
  • the display 10 includes hardware such as a microprocessor, a digital signal processor (DSP), an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), and an FPGA (Field Programmable Gate Array).
  • DSP digital signal processor
  • ASIC Application Specific Integrated Circuit
  • PLD Physical Location Deposition
  • FPGA Field Programmable Gate Array
  • a part or all of each functional block may be implemented by the hardware.
  • processor 1001 may be implemented using at least one of these pieces of hardware.
  • Input/output information may be stored in a specific location (for example, memory) or managed using a management table. Input/output information and the like can be overwritten, updated, or appended. The output information and the like may be deleted. The entered information and the like may be transmitted to another device.
  • the determination may be made by a value represented by one bit (0 or 1), by a true/false value (Boolean: true or false), or by numerical comparison (for example, a predetermined value).
  • notification of predetermined information is not limited to being performed explicitly, but may be performed implicitly (for example, not notifying the predetermined information). good too.
  • Software whether referred to as software, firmware, middleware, microcode, hardware description language or otherwise, includes instructions, instruction sets, code, code segments, program code, programs, subprograms, and software modules. , applications, software applications, software packages, routines, subroutines, objects, executables, threads of execution, procedures, functions, and the like.
  • software, instructions, information, etc. may be transmitted and received via a transmission medium.
  • the software uses at least one of wired technology (coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), etc.) and wireless technology (infrared, microwave, etc.) to website, Wired and/or wireless technologies are included within the definition of transmission medium when sent from a server or other remote source.
  • wired technology coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), etc.
  • wireless technology infrared, microwave, etc.
  • system and “network” used in this disclosure are used interchangeably.
  • information, parameters, etc. described in the present disclosure may be expressed using absolute values, may be expressed using relative values from a predetermined value, or may be expressed using other corresponding information. may be represented.
  • determining and “determining” used in this disclosure may encompass a wide variety of actions.
  • “Judgement” and “determination” are, for example, judging, calculating, computing, processing, deriving, investigating, looking up, searching, inquiring (eg, lookup in a table, database, or other data structure), ascertaining as “judged” or “determined”, and the like.
  • "judgment” and “determination” are used for receiving (e.g., receiving information), transmitting (e.g., transmitting information), input, output, access (accessing) (for example, accessing data in memory) may include deeming that a "judgment” or “decision” has been made.
  • judgment and “decision” are considered to be “judgment” and “decision” by resolving, selecting, choosing, establishing, comparing, etc. can contain.
  • judgment and “decision” may include considering that some action is “judgment” and “decision”.
  • judgment (decision) may be read as “assuming”, “expecting”, “considering”, or the like.
  • connection means any direct or indirect connection or coupling between two or more elements, It can include the presence of one or more intermediate elements between two elements being “connected” or “coupled.” Couplings or connections between elements may be physical, logical, or a combination thereof. For example, “connection” may be read as "access”.
  • two elements are defined using at least one of one or more wires, cables, and printed electrical connections and, as some non-limiting and non-exhaustive examples, in the radio frequency domain. , electromagnetic energy having wavelengths in the microwave and optical (both visible and invisible) regions, and the like.
  • any reference to elements using the "first,” “second,” etc. designations used in this disclosure does not generally limit the quantity or order of those elements. These designations may be used in this disclosure as a convenient method of distinguishing between two or more elements. Thus, reference to a first and second element does not imply that only two elements can be employed or that the first element must precede the second element in any way.
  • a and B are different may mean “A and B are different from each other.”
  • the term may also mean that "A and B are different from C”.
  • Terms such as “separate,” “coupled,” etc. may also be interpreted in the same manner as “different.”

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

複数のディスプレイ間で共通の仮想空間の情報を表示する場合に適切に表示を行う。　表示制御装置であるディスプレイ１０は、他のディスプレイ２０との間で共通の仮想空間に共通して配置された表示情報を、仮想空間のディスプレイ１０，２０毎の視線に応じて表示するディスプレイ１０における表示を制御する装置であって、他のディスプレイ２０を装着するユーザの状態を検出する検出部１２と、他のディスプレイ２０における仮想空間の視線に応じた仮想空間の視界情報を取得する視界情報取得部１３と、検出されたユーザの状態、及び取得された仮想空間の視界情報に応じて、ディスプレイ１０の表示に係る操作に対する制御を行う制御部１４とを備える。

Description

表示制御装置
　本発明は、ディスプレイにおける表示を制御する表示制御装置に関する。
　従来、透過型のヘッドマウントディスプレイが用いられている（例えば、特許文献１参照）。透過型のヘッドマウントディスプレイによれば、ユーザは、現実世界を見ると共にディスプレイに表示された情報を参照することができる。
特開２０１８－９１８８２号公報
　従来、透過型のヘッドマウントディスプレイにおいて、仮想空間に配置される情報を仮想空間の視線に応じて表示することが行われている。また、この場合、上記の視線を、ヘッドマウントディスプレイの向き等に応じて移動するように制御することが行われている。このような制御によって、ヘッドマウントディスプレイを装着したユーザは、自身の頭部の向き等に応じた仮想空間の情報を参照することができると共に現実世界を見ることができる。
　また、従来、ディスプレイにおける表示を別のユーザのディスプレイと共有する技術が用いられている。別のユーザとの表示の共有は、上記の態様の表示においても行われ得る。例えば、ヘッドマウントディスプレイ間で仮想空間を共通させて、共通する情報を表示することが考えられる。この場合、ユーザが仮想空間において表示される情報を移動させると、他のユーザのディスプレイでは情報の表示位置が移動する。
　この際、ヘッドマウントディスプレイのユーザが、ディスプレイを見る以外の行動をしていた場合、他のユーザによる情報の移動は、当該ユーザの邪魔になり得る。例えば、当該他のヘッドマウントディスプレイのユーザが、ディスプレイの表示ではなく現実世界のものを見ている際に、表示される情報が目の前に移動されると、ユーザの行動の邪魔になる。
　本発明の一実施形態は、上記に鑑みてなされたものであり、複数のディスプレイ間で共通の仮想空間の情報を表示する場合に適切に表示を行うことができる表示制御装置を提供することを目的とする。
　上記の目的を達成するために、本発明の一実施形態に係る表示制御装置は、他のディスプレイとの間で共通の仮想空間に共通して配置された表示情報を、仮想空間のディスプレイ毎の視線に応じて表示するディスプレイにおける表示を制御する表示制御装置であって、他のディスプレイを装着するユーザの状態を検出する検出部と、他のディスプレイにおける仮想空間の視線に応じた仮想空間の視界情報を取得する視界情報取得部と、検出部によって検出されたユーザの状態、及び視界情報取得部によって取得された仮想空間の視界情報に応じて、ディスプレイの表示に係る操作に対する制御を行う制御部と、を備える。
　本発明の一実施形態に係る表示制御装置では、他のディスプレイを装着するユーザの状態、及び仮想空間の視界情報に応じて、ディスプレイの表示に係る操作に対する制御が行われる。例えば、他のディスプレイを装着するユーザの状態に応じて、ディスプレイの表示による他のディスプレイの表示がユーザの邪魔にならないように表示を制御することができる。従って、本発明の一実施形態に係る表示制御装置によれば、複数のディスプレイ間で共通の仮想空間の情報を表示する場合に適切に表示を行うことができる。
　本発明の一実施形態によれば、複数のディスプレイ間で共通の仮想空間の情報を表示する場合に適切に表示を行うことができる。
本発明の実施形態に係る表示制御装置であるディスプレイの機能構成を示す図である。 ディスプレイにおける表示に係る仮想空間、仮想空間に配置される表示情報、及び表示される領域の例を示す図である。 ディスプレイ間での仮想空間及び表示情報の共有を示す図である。 ディスプレイにおける表示の制御の例を示す図である。 制御に係る領域の例を示す図である。 本発明の実施形態に係る表示制御装置であるディスプレイで実行される処理を示すフローチャートである。 本発明の実施形態に係る表示制御装置であるディスプレイのハードウェア構成を示す図である。
　以下、図面と共に本発明に係る表示制御装置の実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
　図１に本実施形態に係る表示制御装置であるディスプレイ１０を示す。表示装置であるディスプレイ１０は、ディスプレイ１０自身における表示を制御する。ディスプレイ１０は、他のディスプレイ２０との間で共通の仮想空間に共通して配置された表示情報を、仮想空間のディスプレイ毎の視線に応じて表示する。例えば、ディスプレイ１０，２０は、仮想的な三次元空間に配置された表示情報を仮想空間の視線に応じて表示する。表示情報は、ディスプレイ１０，２０に表示される情報である。表示情報は、例えば、文字、画像及び動画像等のコンテンツである。あるいは、表示情報は、スケジューラ又はブラウザ等の表示される内容が変更され得るものであってもよい。また、表示情報は、ディスプレイ１０，２０のユーザ間でチャット等のコミュニケーションを取れるものであってもよい。また、表示情報は、上記以外のものであっても、仮想空間に配置されて仮想空間の視線に応じて表示できるものであれば、どのようなものであってもよい。
　ディスプレイ１０，２０は、例えば、ＡＲ（Augmented　Reality）等によって仮想のコンテンツ（表示情報）の表示を行うディスプレイである。ディスプレイ１０，２０は、ユーザの眼の部分に装着される透過型のディスプレイである。例えば、ディスプレイ１０，２０は、眼鏡型のヘッドマウントディスプレイ、即ち、シースルーグラス（スマートグラス、ＡＲグラス）であってもよい。なお、ディスプレイ１０，２０は、互いに異なるユーザによって用いられる。また、ディスプレイ１０は、ユーザに装着されるものである必要はない。
　ディスプレイ１０，２０は、仮想空間における視線の基準位置から仮想空間の視線の方向に見える領域の表示情報を見えた状態で表示する。仮想空間の視線は、仮想空間の視線の基準位置と、仮想空間の視線の方向とを含んで構成される。ディスプレイ１０，２０では、仮想空間の視線を移動させて表示を行うことができる。仮想空間の視線を移動することで、仮想空間において見える表示情報が変化し、ディスプレイ１０，２０による表示も変化する。
　仮想空間の視線の移動は、予め設定された方法で行われる。例えば、仮想空間の視線の移動は、予め設定した自由度で行われる。予め設定した自由度は、例えば、３ＤｏＦ（Degree　of　Freedom）である。３ＤｏＦでは、仮想空間の視線の基準位置が固定されており、仮想空間の視線の方向のみが仮想空間のＸ軸、Ｙ軸、Ｚ軸の３軸周りに回転することができる。但し、上記以外の自由度及び上記以外の方法で仮想空間の視線の移動が行われてもよい。
　例えば、図２に示すように仮想空間に球（全天球）１００を設けて、球１００に沿って表示情報２００を配置する。例えば、平面的な表示情報２００については、球１００の接平面に沿って球１００の中心に向うように配置する。即ち、表示情報２００は、球１００の中心から見えるように配置される。この場合、球１００の中心を仮想空間の視線の基準位置とする。
　ディスプレイ１０，２０は、仮想空間の視線の基準位置から仮想空間の視線の方向に見える球１００の領域３００の表示情報２００を見えた状態で表示する。当該領域３００の形状は、ディスプレイ１０，２０における表示画面の形状、例えば、図２に示すように矩形の形状である。上記のようにディスプレイ１０，２０の視野角（仮想空間の表示できる角度）は限られているため、球１００の一部分のみが表示される。図２に示す例では、仮想空間の視線の方向が変わることで、球１００の領域３００の位置が変化し、ディスプレイ１０，２０による表示が変化する。このようにディスプレイ１０，２０は、全天球ディスプレイであってもよい。ディスプレイ１０，２０における上記の表示は、当該表示を行うアプリケーションによって行われてもよい。アプリケーションの起動時の視線の方向は、予め設定されたデフォルトの方向であってもよいし、ディスプレイ１０，２０毎に異なる方向であってもよい。
　ディスプレイ１０，２０には、ディスプレイ１０，２０自身の動き及び向きを検出するセンサが設けられていてもよい。例えば、加速度を検出する加速度センサ及び角速度を検出するジャイロセンサが設けられていてもよい。ディスプレイ１０，２０は、これらのセンサによって、ディスプレイ１０，２０自身の動き及び向きを検出して、検出した動き及び向きに応じて仮想空間の視線を移動させてもよい。即ち、ディスプレイ１０，２０が装着されるユーザの頭部（顔）の向きに応じて視線が移動されてもよい。但し、仮想空間の視線の移動は、上記以外のセンサによる検出に応じて行われてもよい。また、仮想空間の視線の移動は、センサによるものではなく、ディスプレイ１０，２０に対するユーザの操作によって行われてもよい。また、上記のように３ＤｏＦで視線を移動させる場合には、向きのみが検出又は操作されればよい。
　仮想空間の視線の移動を含む、仮想空間の視線を用いたディスプレイ１０，２０における表示は、従来のＡＲ等による表示と同様に行われればよい。なお、仮想空間に関する情報の保持及び処理は、ディスプレイ１０，２０の何れかにおいて行われてもよいし、ディスプレイ１０，２０に接続されるクラウド等において行われてもよい。
　ディスプレイ１０における表示と、他のディスプレイ２０における表示とには、共通の仮想空間に共通して配置された表示情報が用いられる。即ち、複数のディスプレイ１０，２０の間で仮想空間及び表示情報が共有されてもよい。仮想空間及び表示情報が共有される複数のディスプレイ１０，２０は、予め設定される。ディスプレイ１０における表示と、他のディスプレイ２０における表示とにおける仮想空間の視線は、ディスプレイ１０，２０毎の独立したものが用いられる。ディスプレイ１０，２０における視線が異なっていれば、例えば、３ＤｏＦの場合、視線の方向が異なっていれば、ディスプレイ１０，２０ではそれぞれの視線に応じた異なる表示が行われる。ディスプレイ１０，２０における視線が同じであれば、例えば、上記のように３ＤｏＦの場合、視線の方向が同じであれば、ディスプレイ１０，２０では同じ表示が行われる。なお、本実施形態では、２つのディスプレイ１０，２０で仮想空間が共通する例を示すが、３つ以上のディスプレイ１０，２０で仮想空間が共通してもよい。
　ディスプレイ１０，２０では、表示に係る操作、例えば、表示情報に対するユーザの操作が行われる。例えば、図３の右側に示すように、ディスプレイ１０，２０は、仮想空間で表示情報２００を移動させるユーザの操作を受け付けて、表示情報２００を移動させる。仮想空間における表示情報２００の配置は、上記のように共通しているので、何れかのディスプレイ１０，２０で表示情報２００が移動されると、図３の左側に示すように、他のディスプレイ１０，２０の表示でも表示情報２００が移動する。ディスプレイ１０，２０では、上記以外の操作が行われてもよい。例えば、表示情報の拡大及び縮小、表示情報に対する文字入力及び球１００の回転等の操作が行われてもよい。
　操作は、例えば、ディスプレイ１０，２０を装着したユーザによって携帯される、スマートフォン等の情報処理装置が用いられて行われてもよい。その場合、予めディスプレイ１０，２０とスマートフォンとが情報の送受信が可能であるように接続されている。ユーザがスマートフォンに対して操作を行うと、操作がディスプレイ１０，２０における表示に反映される。また、ユーザが手に持っているスマートフォンから、スマートフォンを向けている位置にレーザポインタが出ているような表示が行われてもよい。ディスプレイ１０，２０における上記の表示及び操作は、従来の方法と同様に行われればよい。
　ディスプレイ１０，２０としては、従来の上記の機能を有するディスプレイを用いることができる。また、ディスプレイ１０，２０は、通信機能を有している。ディスプレイ１０，２０の通信機能は、上記の仮想空間及び表示情報の共有、並びに本実施形態に係る機能の実現に用いられる。また、ディスプレイ１０，２０の上述した機能及び後述する本実施形態に係る機能の一部は、表示装置（例えば、上述したシースルーグラス）に接続される情報処理装置（例えば、スマートフォン）が有していてもよい。即ち、表示装置と情報処理装置とを含んで本実施形態に係るディスプレイ１０，２０が実現されてもよい。
　上記のようにディスプレイ１０，２０が、全天球ディスプレイであるとすると、ディスプレイ１０，２０が、表示情報として上記のように画像、動画及びブラウザ等を表示することで、ディスプレイ１０，２０を装着したユーザ専用の作業空間を構築することができる。また、上記のように複数のディスプレイ１０，２０の間で仮想空間及び表示情報が共有されることで、この全天球ディスプレイに複数人で入るようなイメージで、例えば、遠隔の他のユーザと同時に表示情報を共有することができる。また、ディスプレイ１０，２０が、シースルーグラスであるとすると現実空間での他の作業をしながら表示情報を利用すること、いわゆる、ながらの利用が可能である。
　引き続いて、本実施形態に係るディスプレイ１０の機能を説明する。図１に示すように、ディスプレイ１０は、表示部１１と、検出部１２と、視界情報取得部１３と、制御部１４とを備えて構成される。また、ディスプレイ１０と仮想空間及び表示情報が共有する他のディスプレイ２０は、ディスプレイ１０の本実施形態に係る機能に応じた機能を有している。他のディスプレイ２０の機能についても、以下のディスプレイ１０の本実施形態に係る機能の説明とあわせて説明する。また、ディスプレイ１０は、上記以外にも従来のシースルーグラス等の従来の表示装置が備える機能を備えていてもよい。また、ディスプレイ１０は、他のディスプレイ２０の本実施形態に係る機能を有していてもよい。他のディスプレイ２０も、ディスプレイ１０の本実施形態に係る機能を有していてもよい。
　表示部１１は、ディスプレイ１０での表示を行う機能部である。表示部１１は、ディスプレイ１０に表示する表示情報を入力して表示する。例えば、表示部１１は、ディスプレイ１０に記憶される表示情報を入力してもよいし、外部から表示情報を受信して入力してもよい。上述したように表示部１１は、仮想空間に配置された表示情報を仮想空間上の視線に応じて表示する。また、上述したように表示部１１は、他のディスプレイ２０との間で仮想空間及び表示情報を共有する。仮想空間及び表示情報の共有は、例えば、他のディスプレイ２０との間で表示情報及び当該表示情報が配置される仮想空間の位置を示す情報を送受信することで行われる。また、仮想空間及び表示情報の共有は、ディスプレイ１０，２０間の直接のやり取りではなく、ディスプレイ１０，２０それぞれが通信可能なサーバを介して行われてもよい。また、上記以外の方法でディスプレイ１０，２０間の仮想空間及び表示情報の共有が行われてもよい。なお、ディスプレイ１０，２０間で送受信される上記以外の情報についても、直接ディスプレイ１０，２０間で送受信されてもよいし、サーバ等を介して送受信されてもよい。
　表示部１１は、表示に係る操作を受け付けて当該操作を実行する。表示に係る操作は、例えば、仮想空間において表示情報を移動させる操作である。また、表示に係る操作は、それ以外の操作であってもよい。表示に係る操作は、ディスプレイ１０のユーザから行われる。ディスプレイ１０のユーザが操作する場合には、表示に係る操作の受け付けは、例えば、ディスプレイ１０に対するユーザの入力操作を受け付けることで行われる。
　ディスプレイ１０，２０間で仮想空間及び表示情報が共有されているため、ディスプレイ１０において入力された表示に係る操作は、他のディスプレイ２０でも操作結果が反映される。そのため、表示部１１は、受け付けられた操作を示す情報を他のディスプレイ２０に送信する。他のディスプレイ２０は、送信された操作を示す情報を受信して、ディスプレイ１０との間で仮想空間及び表示情報の共有が行われるように当該操作を実行する。また、表示部１１は、他のディスプレイ２０で行われた表示に係る操作を示す情報を、他のディスプレイ２０から受信して、他のディスプレイ２０との間で仮想空間及び表示情報の共有が行われるように当該操作を実行する。
　表示部１１による上記の機能は、従来の機能と同様のものでよい。また、後述するように表示部１１による表示に係る操作は、制御部１４からの制御を受ける。
　検出部１２は、他のディスプレイ２０を装着するユーザの状態を検出する機能部である。検出部１２は、他のディスプレイ２０を装着するユーザの状態として、当該ユーザの現実空間の視線を検出してもよい。検出部１２は、他のディスプレイ２０を装着するユーザの状態として、当該ユーザの現実空間の視線の焦点距離を検出してもよい。検出部１２は、他のディスプレイ２０を装着するユーザの状態として、当該ユーザの現実空間の視線の方向を検出してもよい。検出部１２は、他のディスプレイ２０を装着するユーザの状態として、当該ユーザの移動状態を検出してもよい。
　例えば、検出部１２は、他のディスプレイ２０から検出に係る情報を受信して上記の検出を行う。この場合、他のディスプレイ２０に他のディスプレイ２０を装着するユーザの状態を検出するためのセンサを設けておき、センサを用いてユーザの状態を検出する。ユーザの現実空間の視線を検出する場合には、他のディスプレイ２０に、ユーザの眼球を撮像できるカメラを設けておく。他のディスプレイ２０は、カメラの撮像によって得られたユーザの眼球の画像をディスプレイ１０に送信する。
　検出部１２は、他のディスプレイ２０から画像を受信する。検出部１２は、他のディスプレイ２０から受信されたユーザの眼球の画像から、ユーザの現実空間の視線、より具体的には、視線の焦点距離及び方向を検出する。例えば、検出部１２は、ユーザの眼球の動画像からユーザの眼球の動きを検出して、当該動きに基づいて視線の焦点距離及び方向を検出する。検出部１２は、焦点距離として、例えば、眼球から焦点までの距離を検出する。検出部１２は、視線の方向として、例えば、他のディスプレイ２０の表示画面における現実空間の視線の位置（視線と表示画面との交点の位置であり、例えば、表示画面における座標）を検出する。画像からの現実空間の視線の検出は、従来の方法と同様に行われればよい。あるいは、他のディスプレイ２０が、上記の画像からユーザの現実空間の視線の検出の処理を行って、検出結果の情報をディスプレイ１０に送信してもよい。検出部１２は、他のディスプレイ２０から検出結果の情報を受信してユーザの現実空間の視線を検出する。
　検出部１２は、ユーザの移動状態としては、ユーザが歩行しているか否かを検出してもよい。この場合には、他のディスプレイ２０に、例えば、加速度センサを設けておく。他のディスプレイ２０は、加速度センサによって得られた情報をディスプレイ１０に送信する。検出部１２は、他のディスプレイ２０から当該情報を受信する。検出部１２は、他のディスプレイ２０から受信された加速度センサによって得られた情報から、ユーザが歩行しているか否かを検出する。加速度からのユーザが歩行しているか否かの検出は、従来の方法と同様に行われればよい。あるいは、他のディスプレイ２０にＧＰＳ（グローバル・ポジショニング・システム）等による自装置の測位機能を設けておき、検出部１２は、測位機能によって得られた他のディスプレイ２０の位置を示す情報に基づいて、ユーザが移動中（例えば、歩行中）か静止中かの検出を行ってもよい。この検出も、従来の方法と同様に行われればよい。
　検出部１２は、継続的に、例えば、一定時間毎にユーザの状態を検出する。検出部１２は、検出したユーザの状態を示す情報を検出の度に制御部１４に出力する。なお、検出部１２は、上述したユーザの状態の少なくとも何れかについて検出を行えばよい。また、検出部１２は、上述した方法以外でユーザの状態を検出してもよい。あるいは、検出部１２は、後述する制御部１４による制御に有用であれば、上述した状態以外のユーザの状態を検出してもよい。
　視界情報取得部１３は、他のディスプレイ２０における仮想空間の視線に応じた仮想空間の視界情報を取得する機能部である。例えば、視界情報取得部１３は、他のディスプレイ２０から仮想空間の視界情報を受信して取得する。例えば、他のディスプレイ２０は、仮想空間の視界情報として、他のディスプレイ２０の表示画面に表示される範囲を示す情報をディスプレイ１０に送信する。表示画面に表示される範囲は、図２に示す仮想空間の視線の基準位置から仮想空間の視線の方向に見える球１００の領域３００である。
　あるいは、他のディスプレイ２０は、仮想空間の視界情報として、他のディスプレイ２０の表示画面に表示される範囲を算出できる情報、例えば、仮想空間の視線の基準位置及び仮想空間の視線の方向を示す情報をディスプレイ１０に送信する。なお、上記のように３ＤｏＦで視線を移動させる場合には、視線の基準位置は仮想空間において固定された位置であるため、仮想空間の視界情報に含められる必要はない。
　視界情報取得部１３は、検出部１２による検出と同様に継続的に、例えば、一定時間毎に仮想空間の視界情報を取得する。視界情報取得部１３は、取得した仮想空間の視界情報を取得の度に制御部１４に出力する。
　制御部１４は、検出部１２によって検出されたユーザの状態、及び視界情報取得部１３によって取得された仮想空間の視界情報に応じて、ディスプレイ１０の表示に係る操作に対する制御を行う機能部である。制御部１４は、検出部１２によって検出された焦点距離に応じて、制御を行うか否かを判断してもよい。制御部１４は、検出部１２によって検出された現実空間の視線の方向に応じて、制御に係る領域を設定してもよい。
　制御部１４は、視界情報取得部１３によって取得された仮想空間の視界情報に応じて制御に係る領域を設定し、設定した領域に関連するディスプレイ１０の表示に係る操作に対する制御を行ってもよい。制御部１４は、設定した領域において表示情報の表示を変更する操作を禁止する制御を行ってもよい。
　制御部１４による制御は、例えば、ディスプレイ１０における操作が他のディスプレイ２０を装着しているユーザの邪魔にならないようにするためのものである。他のディスプレイ２０は透過型であるため、他のディスプレイ２０を装着したユーザは、ディスプレイ２０を見る以外の行動をすることもできる。例えば、ディスプレイ２０の表示を行ったまま、ユーザは、バスの時刻表を見たり、歩行したりすることができる。
　例えば、他のディスプレイ２０を装着したユーザが、図４の左側に示すように、矢印で示す方向に歩いているとする。この際、他のディスプレイ２０には、他のディスプレイ２０での仮想空間の視線に応じた領域３００の表示が行われる。その際に、ディスプレイ１０での操作によって表示情報２００が、仮想空間において領域３００と同じ位置の領域に移動するとする。仮想空間及び表示情報の共有によって、他のディスプレイ２０でも、領域３００に表示情報２００が移動する。この移動によって、他のディスプレイ２０では、今まで表示されていなかった表示情報２００が表示されることとなる。
　新たに表示された表示情報２００は、他のディスプレイ２０のユーザの視界を遮る、当該ユーザの歩行の邪魔となるものである。また、他のディスプレイ２０のユーザは、周りが見えなくなり危険である。他のディスプレイ２０のユーザが横断歩道を歩行している際には特に危険である。あるいは、他のディスプレイ２０のユーザが、他のディスプレイ２０の表示を見ずに、歩行以外の現実空間を見る行動をしている場合にも、新たに表示された表示情報２００は当該ユーザの行動の支障になり得る。このように他のディスプレイ２０のユーザが、他のディスプレイ２０を見る以外の現実世界での作業等の行動を行っている場合には、ディスプレイ１０のユーザの操作が、他のディスプレイ２０のユーザの行動の邪魔になることがある。この場合の他のディスプレイ２０のユーザは、視界を塞がれたくない状態である。制御部１４による制御は、ディスプレイ１０のユーザの操作が、他のディスプレイ２０のユーザの行動の邪魔になることを防止するためのものである。但し、制御部１４による制御は、必ずしも上記の目的で行われなくてもよく、上記以外の目的で行われてもよい。例えば、制御部１４は、以下のように制御を行う。
　制御部１４は、検出部１２から、他のディスプレイ２０のユーザの状態を示す情報を入力する。制御部１４は、視界情報取得部１３から、仮想空間の視界情報を入力する。制御部１４は、予め記憶した判断基準に基づいて、検出部１２から入力した情報から、ディスプレイ１０の表示に係る操作に対する制御、即ち、ディスプレイ１０のユーザによる操作に対する制御を行うか否かを判断する。例えば、検出部１２から入力した情報が現実空間の焦点距離を示すものであった場合、制御部１４は、焦点距離が予め設定された範囲に含まれるか否かによって上記の判断を行う。上記の範囲は、例えば、他のディスプレイ２０を装着したユーザの焦点が他のディスプレイ２０の表示画面に合っている、即ち、当該ユーザが他のディスプレイ２０の表示画面を見ていると判断できる範囲である。
　焦点距離が上記の範囲に含まれない場合、当該ユーザは他のディスプレイ２０の表示画面を見ておらず、例えば、現実世界のものを見ている（注視している）として、制御部１４は、ディスプレイ１０の表示に係る操作に対する制御を行うと判断する。焦点距離が上記の範囲に含まれる場合、当該ユーザは他のディスプレイ２０の表示画面を見ているとして、制御部１４は、ディスプレイ１０の表示に係る操作に対する制御を行わないと判断する。当該ユーザが他のディスプレイ２０の表示画面を見ていれば、ディスプレイ１０における操作は当該ユーザの邪魔にならないと考えられるためである。
　あるいは、検出部１２から入力した情報が、ユーザが歩行していることを示すものであった場合、制御部１４は、ディスプレイ１０の表示に係る操作に対する制御を行うと判断し、検出部１２から入力した情報が、ユーザが歩行していないことを示すものであった場合、制御部１４は、ディスプレイ１０の表示に係る操作に対する制御を行わないと判断する。制御部１４は、複数の判断基準に基づいてディスプレイ１０の表示に係る操作に対する制御を行うか否かを判断する場合には、何れかの判断基準で制御を行うと判断したら、（他の判断基準で制御を行わないと判断しても）最終的に制御を行うと判断する。
　制御部１４は、ディスプレイ１０の表示に係るユーザからの操作に対する制御を行うと（最終的に）判断した場合、視界情報取得部１３から入力した仮想空間の視界情報に応じて制御に係る領域４００を設定する。制御部１４は、表示部１１に対して、設定した領域４００を通知する共に領域４００に応じた制御を行う。制御は、例えば、設定した領域４００に関連するディスプレイ１０の表示に係る操作を禁止するものである。具体的には、図４の右側に示すように、設定した領域４００の外から、設定した領域４００に表示情報２００を移動する操作を禁止する制御である。制御対象となる操作は、上記に限られず、設定した領域４００から、設定した領域４００の外に表示情報２００を移動する操作を含んでいてもよい。また、制御対象となる操作は、設定した領域４００内において、表示情報を拡大、縮小又は移動する操作を含んでいてもよい。また、制御は、操作の一部を禁止するものであってもよい。例えば、表示情報を移動させる操作であった場合、制御は、表示情報を操作通りに完全に移動させずに少しだけ移動させる制御であってもよい。
　制御部１４は、例えば、制御に係る領域４００を以下のように設定する。制御部１４は、視界情報取得部１３によって取得された仮想空間の視界情報に応じて、他のディスプレイ２０において表示される領域３００を基準として制御に係る領域４００を設定する。例えば、制御部１４は、図５（ａ）に示すように、他のディスプレイ２０において表示される仮想空間の視線に応じた領域３００と同じ位置の仮想空間の領域４１０を制御に係る領域４００と設定する。上記の領域３００の位置は、仮想空間の視界情報によって示される。あるいは、制御部１４は、図５（ｂ）に示すように、他のディスプレイ２０における領域３００と同じ位置の仮想空間の領域４１０を含み、更に領域４１０を一方向に延ばした領域４２０を含むように領域４００を設定する。領域４２０が設けられる方向は、例えば、現実空間における鉛直の下方向に対応する仮想空間の方向である。当該方向及び領域４２０の大きさは予め設定されている。このように領域４００を設定することで、他のディスプレイ２０のユーザが下方向を向いた際（例えば、足元を見た際）にも、当該ユーザの視界を確保することができる。
　あるいは、制御部１４は、図５（ｃ）に示すように、他のディスプレイ２０における領域３００と同じ位置の仮想空間の領域４１０を含み、更に領域４１０の周囲の領域４３０を含むように領域４００を設定する。領域４３０は、例えば、矩形の領域４１０に対して、当該矩形の領域４１０を含むような当該矩形よりも更に大きい矩形とする。領域４３０の領域４１０に対する位置及び領域４３０の大きさは予め設定されている。このように領域４００を設定することで、他のディスプレイ２０のユーザの方向が少し動いた際にも、当該ユーザの視界を確保することができる。
　表示部１１は、制御部１４からの制御を受けて、制御に応じた処理を行う。表示部１１は、制御部１４からの制御中にディスプレイ１０の表示に係る操作を受け付けると、当該操作が制御対象の操作であるか否かを識別する。例えば、表示部１１は、受け付けた操作が、制御部１４に設定された領域４００に含まれる表示情報の移動等を行うものであるかを判断する。受け付けた操作が、制御部１４に設定された領域４００に含まれる表示情報の移動等を行うものであると判断される場合、表示部１１は、当該操作が制御対象の操作であると識別する。当該操作が制御対象の操作であると識別した場合、表示部１１は、当該操作を禁止する。当該操作が制御対象の操作でないと識別した場合、表示部１１は、当該操作を禁止せずに実行する。
　制御部１４は、制御を行う場合、ディスプレイ１０のユーザが制御に係る領域４００を認識できるように、ディスプレイ１０に領域４００を表示させてもよい。例えば、領域４００の枠の部分又は領域全体に色を付けて、ディスプレイ１０に表示させてもよい。
　また、制御は、必ずしも、操作を禁止する制御でなくてもよく、操作に係る表示を変更する制御でもよい。例えば、制御対象の操作に係る表示情報を、非表示又は半透明にしたり、枠のみを表示したりする制御を行ってもよい。あるいは、制御対象の操作に係る表示情報を、ディスプレイ１０の予め設定された位置、例えば、視界の隅となる位置に表示させる制御を行ってもよい。また、上述した趣旨に沿うものであれば、上述したもの以外の制御が行われてもよい。制御部１４は、ディスプレイ１０の表示に係るユーザからの操作に対する制御を行わないと（最終的に）判断した場合、上記の制御を行わない。
　また、制御部１４は、予め記憶した判断基準に基づいて、検出部１２から入力した情報も用いて制御に係る領域４００を設定してもよい。例えば、検出部１２から入力した情報が現実空間の視線の方向を示すものであった場合、制御部１４は、視線の方向からも制御に係る領域４００を設定する。制御部１４は、視線の方向である表示画面における視線の位置に対応する仮想空間の球１００の位置を特定する。当該特定は、従来の方法によって行われればよい。制御部１４は、特定した位置を基準とした球１００に沿う領域を算出する。当該領域は、例えば、特定した位置を中心とした、予め設定した円又は矩形等の領域である。制御部１４は、算出した領域と、上述したように仮想空間の視界情報に応じて設定された制御に係る領域４００との重複部分を、最終的な制御に係る領域４００を設定する。このように制御に係る領域４００を設定することで、当該領域４００を、他のディスプレイ２０のユーザの現実空間の視線に即したものとすることができる。以上が、本実施形態に係るディスプレイ１０の機能である。
　引き続いて、図６のフローチャートを用いて、本実施形態に係るディスプレイ１０で実行される処理（ディスプレイ１０が行う動作方法）を説明する。本処理は、ディスプレイ１０において表示部１１による表示が行われる際のものである。また、ユーザに装着される他のディスプレイ２０では、ディスプレイ１０と仮想空間及び表示情報が共有された上で表示が行われる。
　本処理では、検出部１２によって、他のディスプレイ２０を装着するユーザの状態が検出される（Ｓ０１）。当該ユーザの状態の検出は、他のディスプレイ２０から送信される情報に基づいて行われる。続いて、視界情報取得部１３によって、他のディスプレイ２０における仮想空間の視線に応じた仮想空間の視界情報が、他のディスプレイ２０から受信されて取得される（Ｓ０２）。続いて、制御部１４によって、上記のユーザの状態及び仮想空間の視界情報に応じて、表示部１１に対してディスプレイ１０の表示に係る操作に対する制御が行われる（Ｓ０３）。上記の処理（Ｓ０１～Ｓ０３）は、表示部１１及び他のディスプレイ２０による表示が行われている間、繰り返し行われる。以上が、本実施形態に係るディスプレイ１０で実行される処理である。
　本実施形態では、他のディスプレイ２０を装着するユーザの状態、及び仮想空間の視界情報に応じて、ディスプレイ１０の表示に係る操作に対する制御が行われる。例えば、他のディスプレイ２０を装着するユーザの状態に応じて、ディスプレイ１０の表示による他のディスプレイ２０の表示がユーザの邪魔にならないように表示を制御することができる。従って、本実施形態によれば、複数のディスプレイ１０，２０間で共通の仮想空間の情報を表示する場合に適切に表示を行うことができる。
　本実施形態のように、他のディスプレイ２０を装着するユーザの状態として、当該ユーザの現実空間の視線を検出してもよい。より具体的には、当該ユーザの現実空間の視線の焦点距離を検出して、焦点距離に応じて制御を行うか否かを判断してもよい。この構成によれば、例えば、当該ユーザが他のディスプレイ２０の表示画面を見ていない場合に制御を行うことができ、他のディスプレイ２０の表示が、当該ユーザの邪魔になったり、当該ユーザに危険を生させたりすることを防止することができる。
　あるいは、当該ユーザの現実空間の視線の方向を検出して、視線の方向に応じて制御に係る領域４００を設定してもよい。この構成によれば、例えば、ユーザの視線の方向に応じて必要な領域４００に対してのみに制御を行うことができ、より適切にディスプレイ１０における表示を行うことができる。
　また、本実施形態のように、他のディスプレイ２０を装着するユーザの状態として、当該ユーザの移動状態、より具体的には、ユーザが歩行しているか否かを検出してもよい。この構成によれば、例えば、ユーザが歩行している場合に制御を行うことができ、他のディスプレイ２０の表示によってユーザが歩行している際に危険が生じることを防止することができる。なお、他のディスプレイ２０を装着するユーザの状態としては、上記のものに限られず、表示の制御を行うのに有用のものであれば、その他の状態を検出して用いてもよい。例えば、ユーザが、料理中であるか否か、看板を見ているか否か、又は会話中であるか否か等の状態を検出してもよい。
　また、本実施形態のように、仮想空間の視界情報に応じて制御に係る領域４００を設定し、設定した領域４００に関連するディスプレイ１０の表示に係る操作に対する制御を行ってもよい。当該制御は、設定した領域４００において表示情報の表示を変更する操作を禁止する制御であってもよい。この構成によれば、他のディスプレイ２０のユーザの状態に応じて適切かつ確実にディスプレイ１０における表示を行うことができる。但し、適切にディスプレイ１０における表示を行う制御であれば、上記以外の制御が行われてもよい。
　検出部１２は、他のディスプレイ２０を装着するユーザの状態として、上記の情報に加えて、あるいは上記の情報にかえて、当該ユーザの心拍又は発汗に係る状態を検出してもよい。具体的には、検出部１２は、当該ユーザの心拍数若しくは発汗量、又はそれらの両方を検出してもよい。この場合、当該ユーザに心拍数を検出するセンサ又は発汗量を検出するセンサを取り付けておき、ディスプレイ１０は、他のディスプレイ２０を介して、当該センサから当該ユーザの心拍数又は発汗量を示す情報を取得する。これらのセンサとしては、従来のものを用いることができる。
　この場合も、制御部１４は、上記と同様に予め記憶した判断基準に基づいて、検出部１２から入力した情報から、ディスプレイ１０の表示に係る操作に対する制御を行うか否かを判断する。例えば、制御部１４は、検出部１２から入力した情報によって示されるセンサ又は発汗量が予め設定された閾値以上であった場合、あるいは、予め設定された閾値以下であった場合、制御を行うと判断する。上記のような構成によって、他のディスプレイ２０を装着するユーザの心拍数又は発汗量の状況によって適切に表示を行うことができる。
　上述した実施形態では、表示制御装置は、表示機能を有するディスプレイ１０とて説明したが、必ずしも表示機能を有するものでなくてもよい。表示制御装置は、他のディスプレイとの間で共通の仮想空間に共通して配置された表示情報を、仮想空間のディスプレイ毎の視線に応じて表示する（即ち、表示部１１を備える）ディスプレイに接続されて、ディスプレイにおける表示を制御する装置（システム）であり、上述した検出部１２と、視界情報取得部１３と、制御部１４とを備えるものであればよい。
　なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
　機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信部（transmitting　unit）又は送信機（transmitter）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。
　例えば、本開示の一実施の形態におけるディスプレイ１０は、本開示の情報処理を行うコンピュータとして機能してもよい。図７は、本開示の一実施の形態に係るディスプレイ１０のハードウェア構成の一例を示す図である。上述のディスプレイ１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。また、他のディスプレイ２０のハードウェア構成も、ここで説明するものであってもよい。
　なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。ディスプレイ１０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
　ディスプレイ１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。
　プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central　Processing　Unit）によって構成されてもよい。例えば、上述のディスプレイ１０における各機能は、プロセッサ１００１によって実現されてもよい。
　また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、ディスプレイ１０における各機能は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
　メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read　Only　Memory）、ＥＰＲＯＭ（Erasable　Programmable　ＲＯＭ）、ＥＥＰＲＯＭ（Electrically　Erasable　Programmable　ＲＯＭ）、ＲＡＭ（Random　Access　Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る情報処理を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。
　ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact　Disc　ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。ディスプレイ１０が備える記憶媒体は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。
　通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
　入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。
　また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。
　また、ディスプレイ１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital　Signal　Processor）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＰＬＤ（Programmable　Logic　Device）、ＦＰＧＡ（Field　Programmable　Gate　Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。
　本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
　入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
　判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
　本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
　以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。
　ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
　また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital　Subscriber　Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
　本開示において使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。
　また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。
　本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking　up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。
　「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。
　本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
　本開示において使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみが採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。
　本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
　本開示において、例えば、英語でのa,　an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
　本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。
　１０…ディスプレイ、１１…表示部、１２…検出部、１３…視界情報取得部、１４…制御部、２０…他のディスプレイ、１００１…プロセッサ、１００２…メモリ、１００３…ストレージ、１００４…通信装置、１００５…入力装置、１００６…出力装置、１００７…バス。

Claims (8)

  1. 　他のディスプレイとの間で共通の仮想空間に共通して配置された表示情報を、仮想空間のディスプレイ毎の視線に応じて表示するディスプレイにおける表示を制御する表示制御装置であって、
    　前記他のディスプレイを装着するユーザの状態を検出する検出部と、
    　前記他のディスプレイにおける仮想空間の視線に応じた仮想空間の視界情報を取得する視界情報取得部と、
    　前記検出部によって検出されたユーザの状態、及び前記視界情報取得部によって取得された仮想空間の視界情報に応じて、前記ディスプレイの表示に係る操作に対する制御を行う制御部と、
    を備える表示制御装置。
  2. 　前記検出部は、前記他のディスプレイを装着するユーザの状態として、当該ユーザの現実空間の視線を検出する請求項１に記載の表示制御装置。
  3. 　前記検出部は、前記他のディスプレイを装着するユーザの状態として、当該ユーザの現実空間の視線の焦点距離を検出して、
    　前記制御部は、前記検出部によって検出された焦点距離に応じて、前記制御を行うか否かを判断する、請求項２に記載の表示制御装置。
  4. 　前記検出部は、前記他のディスプレイを装着するユーザの状態として、当該ユーザの現実空間の視線の方向を検出して、
    　前記制御部は、前記検出部によって検出された現実空間の視線の方向に応じて、前記制御に係る領域を設定する、請求項２又は３に記載の表示制御装置。
  5. 　前記検出部は、前記他のディスプレイを装着するユーザの状態として、当該ユーザの移動状態を検出する請求項１～４の何れか一項に記載の表示制御装置。
  6. 　前記制御部は、前記視界情報取得部によって取得された仮想空間の視界情報に応じて前記制御に係る領域を設定し、設定した領域に関連する前記ディスプレイの表示に係る操作に対する制御を行う請求項１～５の何れか一項に記載の表示制御装置。
  7. 　前記制御部は、設定した領域において表示情報の表示を変更する操作を禁止する制御を行う請求項６に記載の表示制御装置。
  8. 　前記検出部は、前記他のディスプレイを装着するユーザの状態として、当該ユーザの心拍又は発汗に係る状態を検出する請求項１～７の何れか一項に記載の表示制御装置。
PCT/JP2022/029702 2021-08-23 2022-08-02 表示制御装置 WO2023026798A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/294,690 US20240289080A1 (en) 2021-08-23 2022-08-02 Display control device
JP2023543777A JPWO2023026798A1 (ja) 2021-08-23 2022-08-02

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-135589 2021-08-23
JP2021135589 2021-08-23

Publications (1)

Publication Number Publication Date
WO2023026798A1 true WO2023026798A1 (ja) 2023-03-02

Family

ID=85323118

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/029702 WO2023026798A1 (ja) 2021-08-23 2022-08-02 表示制御装置

Country Status (3)

Country Link
US (1) US20240289080A1 (ja)
JP (1) JPWO2023026798A1 (ja)
WO (1) WO2023026798A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016082411A (ja) * 2014-10-17 2016-05-16 国立大学法人電気通信大学 ヘッドマウントディスプレイ、画像表示方法及びプログラム
JP2019028638A (ja) * 2017-07-28 2019-02-21 コニカミノルタ株式会社 ヘッドマウントディスプレイとその映像表示方法
WO2019220729A1 (ja) * 2018-05-16 2019-11-21 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体
JP2020102232A (ja) * 2014-07-31 2020-07-02 キヤノンマーケティングジャパン株式会社 情報処理システム、その制御方法、及びプログラム、並びに、情報処理装置、その制御方法、及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI493227B (zh) * 2014-03-07 2015-07-21 Bion Inc A head-mounted display device that displays motion information
KR20160064978A (ko) * 2014-11-28 2016-06-08 가부시키가이샤 한도오따이 에네루기 켄큐쇼 표시 장치, 모듈, 표시 시스템, 및 전자 기기

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020102232A (ja) * 2014-07-31 2020-07-02 キヤノンマーケティングジャパン株式会社 情報処理システム、その制御方法、及びプログラム、並びに、情報処理装置、その制御方法、及びプログラム
JP2016082411A (ja) * 2014-10-17 2016-05-16 国立大学法人電気通信大学 ヘッドマウントディスプレイ、画像表示方法及びプログラム
JP2019028638A (ja) * 2017-07-28 2019-02-21 コニカミノルタ株式会社 ヘッドマウントディスプレイとその映像表示方法
WO2019220729A1 (ja) * 2018-05-16 2019-11-21 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体

Also Published As

Publication number Publication date
JPWO2023026798A1 (ja) 2023-03-02
US20240289080A1 (en) 2024-08-29

Similar Documents

Publication Publication Date Title
US11017603B2 (en) Method and system for user interaction
US20200168177A1 (en) Electronic device, augmented reality device for providing augmented reality service, and method of operating same
EP3144775B1 (en) Information processing system and information processing method
US20200335065A1 (en) Information processing device
WO2019130991A1 (ja) 情報処理装置
US20180314326A1 (en) Virtual space position designation method, system for executing the method and non-transitory computer readable medium
KR20150082843A (ko) 헤드 마운티드 디스플레이 및 그 제어 방법
CN111309142A (zh) 用于切换显示设备的输入模态的方法和设备
WO2023026798A1 (ja) 表示制御装置
US20220083145A1 (en) Information display apparatus using line of sight and gestures
WO2022201739A1 (ja) 表示制御装置
WO2022201936A1 (ja) 表示制御装置
WO2023026700A1 (ja) 表示制御装置
WO2022190735A1 (ja) 表示制御装置
WO2022202065A1 (ja) 表示制御装置
JP6999822B2 (ja) 端末装置および端末装置の制御方法
WO2023026628A1 (ja) 表示制御装置
WO2023047865A1 (ja) 仮想空間提供装置
JP7267105B2 (ja) 情報処理装置及びプログラム
JPWO2020031490A1 (ja) 端末装置および端末装置の制御方法
WO2023007927A1 (ja) 仮想空間提供装置
JP2024089241A (ja) 表示制御装置
WO2023223750A1 (ja) 表示装置
WO2023218751A1 (ja) 表示制御装置
JP7139395B2 (ja) 制御装置、プログラム、及びシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22861089

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023543777

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18294690

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22861089

Country of ref document: EP

Kind code of ref document: A1