WO2023026628A1 - 表示制御装置 - Google Patents

表示制御装置 Download PDF

Info

Publication number
WO2023026628A1
WO2023026628A1 PCT/JP2022/022834 JP2022022834W WO2023026628A1 WO 2023026628 A1 WO2023026628 A1 WO 2023026628A1 JP 2022022834 W JP2022022834 W JP 2022022834W WO 2023026628 A1 WO2023026628 A1 WO 2023026628A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
sight
information
line
virtual space
Prior art date
Application number
PCT/JP2022/022834
Other languages
English (en)
French (fr)
Inventor
有希 中村
康夫 森永
充宏 後藤
達哉 西▲崎▼
怜央 水田
Original Assignee
株式会社Ｎｔｔドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｎｔｔドコモ filed Critical 株式会社Ｎｔｔドコモ
Priority to JP2023543701A priority Critical patent/JPWO2023026628A1/ja
Publication of WO2023026628A1 publication Critical patent/WO2023026628A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present invention relates to a display control device that controls display on a display.
  • Sharing of the display with another user can also be performed in the above display mode using the omnidirectional image.
  • information arranged in a virtual space may be displayed according to the line of sight in the virtual space, and the virtual space may be shared among the head-mounted displays to display common information.
  • the line of sight in the virtual space is made independent of each other for each head mounted display, the user of each head mounted display can refer to different displays according to the line of sight in the virtual space.
  • An embodiment of the present invention has been made in view of the above, and aims to provide a display control device capable of appropriately displaying information in a virtual space common to a plurality of displays. aim.
  • a display control device transfers display information commonly arranged in a virtual space shared with other displays in the real space of each display.
  • a display control device that performs control related to display on a display that displays according to the line of sight for each display of a virtual space based on the position or orientation of the virtual space on the other display according to the display on the other display.
  • a position-of-interest information acquisition unit that acquires position-of-interest information indicating a position of interest; Prepare.
  • the display control device can display display information arranged in a common virtual space with other displays in a virtual space based on the position or orientation of each display in the real space.
  • a display control device that performs control related to display on a display that is displayed according to the line of sight for each display in the space, and attention position information that indicates the attention position in the virtual space on the display according to the display on the display by a predetermined trigger.
  • a transmission unit configured to transmit the attention position information generated by the attention position information generation unit to another display.
  • the line of sight in the virtual space displayed on one display is moved based on the attention position in the virtual space on the other display according to the display on the other display. Therefore, display corresponding to the attention position in the virtual space is performed on any display, and for example, the same display information can be referred to by users of the respective displays.
  • the display control device according to the embodiment of the present invention, it is possible to appropriately perform display when displaying common virtual space information among a plurality of displays.
  • the display control device it is possible to appropriately perform display when displaying common virtual space information among a plurality of displays.
  • FIG. 3 is a diagram showing functional configurations of a moving-side display and a reference-side display, which are the display control device according to the embodiment of the present invention
  • FIG. FIG. 2 is a diagram showing an example of a virtual space related to display on a display and display information arranged in the virtual space
  • FIG. 10 is a diagram for explaining movement of the line of sight in virtual space
  • FIG. 11 is a diagram showing an example of display after movement of the line of sight in the virtual space
  • FIG. 4 is a diagram showing an example of information used for designating display information
  • FIG. 4 is a sequence diagram showing processing executed by the moving-side display and the reference-side display, which are the display control device according to the embodiment of the present invention.
  • 4 is a diagram showing the hardware configuration of a moving-side display and a reference-side display, which are display control devices according to an embodiment of the present invention;
  • FIG. 4 is a sequence diagram showing processing executed by the moving-side display and the reference-side display, which are the display control device according to the embodiment of the present invention.
  • FIG. 1 shows displays 10 and 20, each of which is a display control device according to this embodiment.
  • the display 10 is also referred to as the moving-side display 10 and the display 20 is also referred to as the reference-side display 20, depending on the functions according to this embodiment, which will be described later.
  • the displays 10 and 20, which are display devices, perform control related to display on the displays 10 and 20 themselves.
  • the displays 10 and 20 share display information arranged in a common virtual space with the other displays 10 and 20 (displays 10 and 20 other than themselves) in the line of sight of each of the displays 10 and 20 in the virtual space. display accordingly.
  • the line of sight for each of the displays 10 and 20 in the virtual space is based on the positions or orientations of the displays 10 and 20 in the real space.
  • the displays 10 and 20 display display information (assets) arranged in a virtual three-dimensional space according to the line of sight in the virtual space.
  • Display information is information displayed on the displays 10 and 20 .
  • the display information is, for example, contents such as characters, images, and moving images.
  • the display information may change the displayed contents of the scheduler, browser, SNS (social networking service), specific applications, and the like.
  • the specific contents of the display information may be, for example, recipes, memos, maps, news articles, source codes, blueprints, and various materials.
  • the display information may be communication such as a chat between the users of the displays 10 and 20 .
  • the display information may be a 3DCG (three-dimensional computer graphics) model.
  • the display information may be displayed using a cloud service.
  • the display information may be anything other than the above as long as it can be arranged in the virtual space and displayed according to the line of sight in the virtual space.
  • the displays 10 and 20 are, for example, displays that display virtual content (display information) using AR (Augmented Reality) or the like.
  • the displays 10 and 20 are transmissive displays worn on the user's eyes.
  • the displays 10 and 20 may be glasses-type head-mounted displays, that is, see-through glasses (smart glasses, AR glasses).
  • the displays 10 and 20 are used by different users. Also, the displays 10 and 20 need not be worn by the user.
  • the displays 10 and 20 display the display information of the area visible in the direction of the line of sight in the virtual space from the reference position of the line of sight in the virtual space.
  • the line of sight in the virtual space includes the reference position of the line of sight in the virtual space and the direction of the line of sight in the virtual space.
  • the displays 10 and 20 can be displayed by moving the line of sight in the virtual space. By moving the line of sight in the virtual space, the display information seen in the virtual space changes, and the display on the displays 10 and 20 also changes.
  • the movement of the line of sight in the virtual space is performed according to a preset method.
  • the movement of the line of sight in the virtual space is performed with a preset degree of freedom.
  • the preset degree of freedom is, for example, 3DoF (Degree of Freedom).
  • 3DoF the reference position of the line of sight in the virtual space is fixed, and only the direction of the line of sight in the virtual space can be rotated around the X, Y, and Z axes of the virtual space.
  • the line of sight in the virtual space may be moved by a degree of freedom other than the above and by a method other than the above.
  • a sphere (omnidirectional sphere) 100 is provided in the virtual space as shown in FIG.
  • the two-dimensional display information 200 is arranged along the tangential plane of the sphere 100 toward the center of the sphere 100 . That is, the display information 200 is arranged so as to be visible from the center of the sphere 100 .
  • the center of the sphere 100 is the reference position of the line of sight in the virtual space.
  • the displays 10 and 20 display the display information 200 visible in the direction of the line of sight in the virtual space from the reference position of the line of sight in the virtual space.
  • the shape of the displayed area is the shape of the display screens of the displays 10 and 20, such as a rectangular shape. Since the viewing angles of the displays 10 and 20 (the angles at which the virtual space can be displayed) are limited as described above, only a portion corresponding to a portion of the sphere 100 is displayed. By changing the direction of the line of sight in the virtual space, the position of the displayed area changes, and the display on the displays 10 and 20 changes. Thus, displays 10 and 20 may be omnidirectional displays.
  • the display on the displays 10 and 20 may be performed by an application that performs the display.
  • the direction of the line of sight when the application is activated may be a preset default direction, or may be a different direction for each of the displays 10 and 20 .
  • the line of sight for each display 10, 20 in the virtual space is based on the position or orientation of the display 10, 20 in the real space. Therefore, the displays 10 and 20 may be provided with sensors for detecting the movement (ie positional variation) and orientation (ie attitude) of the displays 10 and 20 themselves. For example, an acceleration sensor that detects acceleration and a gyro sensor that detects angular velocity may be provided.
  • the displays 10 and 20 detect the movement and orientation of the displays 10 and 20 by these sensors, and move the line of sight in the virtual space according to the detected movement and orientation. That is, the line of sight may be moved according to the direction of the head (face) of the user wearing the displays 10 and 20 .
  • the movement of the line of sight in the virtual space may be performed according to the detection of the position or orientation by sensors other than those described above. Also, when the line of sight is moved in 3DoF as described above, only the orientation needs to be detected.
  • the display on the displays 10 and 20 using the line of sight in the virtual space may be performed in the same manner as the conventional display by AR or the like.
  • the holding and processing of information about the virtual space may be performed in either of the displays 10 and 20, or may be performed in a cloud or the like connected to the displays 10 and 20.
  • Display information commonly arranged in a common virtual space is used for display on the displays 10 and 20 . That is, the virtual space and display information may be shared among the multiple displays 10 and 20 . A plurality of displays 10 and 20 with which the virtual space and display information are shared are set in advance.
  • the line of sight of the virtual space in the display on the displays 10 and 20 is independent for each of the displays 10 and 20. FIG. If the lines of sight on the displays 10 and 20 are different, for example, in the case of 3DoF, if the directions of the lines of sight are different, the displays 10 and 20 perform different displays according to the respective lines of sight.
  • the same display is performed on the displays 10 and 20 .
  • an example in which two displays 10 and 20 share a virtual space is shown, but three or more displays 10 and 20 may share a virtual space.
  • an operation related to display for example, a user's operation on the display information 200 may be performed.
  • the displays 10 and 20 receive user's operations and reflect the operations on the display. For example, operations such as movement of the display information 200 in the virtual space, enlargement and reduction of the display information, character input to the display information, and rotation of the sphere 100 may be performed.
  • the operation may be performed using, for example, an information processing device such as a smart phone carried by the user wearing the displays 10 and 20 .
  • the displays 10 and 20 and the smartphone are connected in advance so that information can be transmitted and received.
  • the operation is reflected on the displays 10 and 20 .
  • the smartphone held by the user may be displayed so that a laser pointer appears at the position where the smartphone is pointed.
  • an operation such as designation of display information may be performed by displaying such a laser pointer.
  • the operation may be performed by a dedicated controller attached to the head-mounted display.
  • the operation may be performed by a user's gesture.
  • the part of the user that makes the gesture is, for example, the hand.
  • an operation may be performed using a hand gesture.
  • an operation may be performed by a gesture using a part other than the hand.
  • a camera is provided so as to capture an image of the part where the gesture is performed, and the gesture is determined based on the moving image captured by the camera.
  • the operation may be performed in any manner other than the above.
  • the above displays and operations on the displays 10 and 20 may be performed in the same manner as in conventional methods.
  • the displays 10 and 20 conventional displays having the above functions can be used. Moreover, the displays 10 and 20 have a communication function. The communication functions of the displays 10 and 20 are used to share the virtual space and display information described above and to realize the functions according to the present embodiment. Further, some of the above-described functions of the displays 10 and 20 and functions according to the present embodiment described later may be performed by an information processing device (for example, a smartphone or a PC (personal computer )) may have. That is, the displays 10 and 20 according to the present embodiment may be realized by including the display device and the information processing device.
  • an information processing device for example, a smartphone or a PC (personal computer )
  • the displays 10 and 20 are omnidirectional displays as described above
  • the displays 10 and 20 display images, videos, browsers, etc. as the display information as described above, so that the displays 10 and 20 are attached It is possible to construct a work space dedicated to a user who has This makes it possible to build a world where you can carry your private space anytime, anywhere and concentrate or relax. Also, if the displays 10 and 20 are see-through glasses, it is possible to use the displayed information while doing other work in the real space, that is, to use it while doing other work.
  • Use cases for the displays 10 and 20 as personal tools include work, hobbies, shopping, commuting to work and school, and the like.
  • Use cases for sharing the virtual space and display information on the multiple displays 10 and 20 include meetings, workshops, chats, planning, and the like.
  • the movement-side display 10 may have the functions of the reference-side display 20 according to this embodiment.
  • the reference-side display 20 may have the functions of the movement-side display 10 according to this embodiment.
  • the displays 10 and 20 may have the functions according to this embodiment of both the moving-side display 10 and the reference-side display 20 .
  • the displays 10 and 20 may have functions that conventional display devices such as conventional see-through glasses have, in addition to the functions described below.
  • the function of the movement-side display 10 and the reference-side display 20 according to the present embodiment is to display the virtual space on the movement-side display 10 based on the attention position in the virtual space on the reference-side display 20 according to the display on the reference-side display 20. It moves the line of sight. By moving the line of sight in the virtual space on the movement-side display 10, the display on the movement-side display 10 changes. As a result, the display information displayed on the reference-side display 20 is displayed on the moving-side display 10, and each user can refer to the same display information. However, as will be described later, even when the line of sight in the virtual space moves on the movement-side display 10, the display information displayed on the reference-side display 20 may not be displayed on the movement-side display 10 in some cases.
  • a lion 200a, an elephant 200b, and a horse 200c which are display information 200, are arranged at respective positions in the virtual space.
  • the line of sight in the virtual space on the reference-side display 20 faces the direction in which the lion 200a is arranged, and the reference-side display 20 displays the lion 200a.
  • the elephant 200b and the horse 200c are arranged on the opposite side of the line of sight in the virtual space on the reference-side display 20, and the elephant 200b and the horse 200c are not displayed on the reference-side display 20.
  • the line of sight in the virtual space on the display 10 on the moving side faces the direction where the elephant 200b and the horse 200c are arranged, and the display on the moving side 10 shows the elephant 200b and the horse. 200c is displayed.
  • the lion 200a is arranged on the side opposite to the line-of-sight direction of the virtual space on the moving-side display 10, and the lion 200a is not displayed on the moving-side display 10. - ⁇ Therefore, the user of the moving display 10 and the reference display 20 cannot refer to the same display information 200 .
  • the virtual space on the moving-side display 10 is displayed based on the attention position in the virtual space on the reference-side display 20, as shown in FIG. 3(d).
  • 's line of sight is moved to face the direction where the lion 200a is arranged.
  • the lion 200a is also displayed on the display 10 on the moving side. Therefore, the user of the moving display 10 and the reference display 20 can refer to the same display information 200 (lion 200a in this example).
  • the movement-side display 10 includes a display unit 11, an attention position information acquisition unit 12, and a line-of-sight movement unit 13.
  • the display unit 11 is a functional unit that performs display on the mobile display 10 .
  • the display unit 11 receives and displays display information to be displayed on the display 10 .
  • the display unit 11 may input display information stored in the display 10, or receive and input display information from the outside.
  • the display unit 11 displays the display information arranged in the virtual space according to the line of sight in the virtual space.
  • the display unit 11 shares the virtual space and display information with the reference side display 20, which is another display. The sharing of the virtual space and the display information is performed, for example, by transmitting/receiving the information indicating the position of the display information and the virtual space where the display information is arranged to/from the reference side display 20 .
  • the virtual space and display information may be shared not directly between the displays 10 and 20 but via a server with which the displays 10 and 20 can communicate. Also, the virtual space and display information may be shared between the displays 10 and 20 by a method other than the above. Information other than the above that is transmitted and received between the displays 10 and 20 may be transmitted and received directly between the displays 10 and 20, or may be transmitted and received via a server or the like.
  • the above function of the display unit 11 may be the same as the conventional function. Further, the display by the display unit 11 is controlled by the line-of-sight movement unit 13 as will be described later.
  • the attention position information acquisition unit 12 is a functional unit that acquires attention position information indicating the attention position in the virtual space on the reference side display 20 according to the display on the reference side display 20, which is another display.
  • the attention position information is information that can specify the line of sight in the virtual space corresponding to the attention position.
  • the attention position information is information that can specify the direction of the line of sight in the virtual space.
  • the position-of-interest information indicates the coordinates of the sphere 100 in the coordinate system of the virtual space.
  • the attention position information may indicate two declination angles in the polar coordinate system of the virtual space.
  • the two declination angles in this case are the polar (zenith, elevation) ⁇ and azimuth ⁇ .
  • the virtual space corresponds to the real space
  • the polar angle ⁇ and azimuth angle ⁇ of the virtual space correspond to the polar angle and azimuth angle of the real space. That is, the polar angle ⁇ of the virtual space is an angle corresponding to the vertical direction of the real space, and the azimuth angle ⁇ of the virtual space is an angle corresponding to the horizontal direction of the real space.
  • the attention position information may be information other than the above as long as it indicates the attention position.
  • the focused position information acquisition unit 12 receives and acquires focused position information from the reference side display 20 .
  • the reference-side display 20 transmits attention position information to the moving-side display 10 in response to a request from the moving-side display 10 or by a trigger of the reference-side display 20 itself.
  • the attention position information acquisition unit 12 requests the attention position information from the reference side display 20.
  • the attention position information acquisition unit 12 receives an operation from the user who designates the user of the reference side display 20 through a UI (user interface) as shown in FIG. ) to request attention position information from the reference side display 20 corresponding to the specified user.
  • UI user interface
  • the attention position information acquisition unit 12 outputs the acquired attention position information to the line-of-sight movement unit 13 .
  • the line-of-sight movement unit 13 is a functional unit that moves the line-of-sight in the virtual space displayed on the movement-side display 10 based on the position-of-interest information acquired by the position-of-interest information acquisition unit 12 .
  • the line-of-sight moving unit 13 may also move the line of sight based on the line-of-sight in the virtual space displayed on the movement-side display 10 before movement.
  • the line-of-sight movement unit 13 may move the line-of-sight in a preset direction based on the line-of-sight in the virtual space in the display of the movement-side display 10 before movement.
  • the line-of-sight movement unit 13 moves the display indicating the position of the position of interest or the position of the display information.
  • the side display 10 that is, the display unit 11
  • the line-of-sight movement unit 13 may cause the movement-side display 10 (that is, the display unit 11) to display that the display information related to the attention position indicated by the attention position information is related to the attention position.
  • the line-of-sight movement unit 13 moves the line-of-sight in the virtual space displayed on the movement-side display 10 as follows.
  • the line-of-sight movement unit 13 receives the attention position information from the attention position information acquisition unit 12 .
  • the line-of-sight movement unit 13 moves (synchronizes, transitions) the line-of-sight in the virtual space displayed by the display unit 11 to a position specified by the input attention position information. Due to the movement, the display on the display unit 11 corresponds to the line of sight after the movement.
  • the line-of-sight movement unit 13 may move (rotate) the line-of-sight in the virtual space so that the line-of-sight in the virtual space after movement matches the line-of-sight specified by the attention position information only at the azimuth angle ⁇ . That is, the line-of-sight movement unit 13 may move the line-of-sight in the virtual space only in the horizontal direction.
  • the attention position information may include only information indicating the azimuth angle ⁇ . Further, if the attention position information does not directly indicate the azimuth angle ⁇ , the line-of-sight movement unit 13 may calculate the azimuth angle to be moved at this point.
  • the azimuth of attention ⁇ B ⁇ , which is the azimuth of the direction of the attention position in the virtual space of the reference side display 20 (USER-B) shown in FIG.
  • the line-of-sight moving unit 13 rotates the line-of-sight of the virtual space of the moving-side display 10 by ⁇ in the horizontal direction (that is, around the Z-axis) so that the virtual space of the moving-side display 10 becomes as shown in FIG.
  • the azimuth angle ⁇ A of the line of sight in the virtual space after movement in the space is set to ⁇ .
  • the virtual You can change the display of space.
  • the line-of-sight moving unit 13 may move the line of sight based on the line-of-sight in the virtual space displayed on the movement-side display 10 before movement.
  • the line-of-sight moving unit 13 may move the line of sight in a preset direction (direction of the azimuth angle in the above example) based on the line-of-sight in the virtual space displayed on the movement-side display 10 before movement. .
  • the display range on the moving-side display 10 may not include the attention position and the display information 200 (content of interest, target content) related to the attention position.
  • the display information 200 related to the attention position is, for example, the display information 200 at the attention position, the display information 200 closest to the attention position, or the display information 200 within a certain distance from the attention position. That is, when the line of sight in the virtual space moves, the display information 200 may be out of the field of view.
  • the sight line movement unit 13 moves the attention position or the attention position.
  • the display section 11 may be caused to display the position of the information 200 .
  • the line-of-sight movement unit 13 calculates the display range on the movement-side display 10 from the line-of-sight in the virtual space after movement.
  • the line-of-sight movement unit 13 determines whether or not the position of interest or the display information 200 is included in the calculated display range. , causing the display unit 11 to perform the above display.
  • the display is an arrow 210 (that is, an arrow tag following them) indicating the direction in which the position of interest or display information 200 is located, as shown in FIG. 4(a).
  • the user of the mobile display 10 can easily find the attention position or the display information 200 by referring to this display.
  • the line-of-sight movement unit 13 may cause the display unit 11 to display that the display information related to the attention position indicated by the attention position information is related to the attention position.
  • the display is a highlight display in which a red display 220 is placed around the display information 200 as shown in FIG. 4(b).
  • the display is an animation display in which the display information 200 is hopped up and down as shown in FIG. 4(c).
  • any display other than the above may be used as long as it indicates that the display is related to the position of interest.
  • these displays may be performed when the display information 200 is included in the display range of the moving-side display 10 in addition to when the display information 200 is not included in the display range.
  • the user of the mobile display 10 can easily find the display information 200 or easily recognize the display information 200 by referring to this display.
  • the functions of the mobile display 10 have been described above.
  • the reference side display 20 includes a display section 21, an attention position information generation section 22, and a transmission section .
  • the display unit 21 is a functional unit that displays on the reference side display 20 .
  • the display unit 21 has the same function as the display unit 11 of the mobile display 10 described above.
  • the display unit 21 shares the virtual space and display information with the mobile display 10, which is another display.
  • the function of the display unit 21 related to the sharing is also the same as the function of the display unit 11 of the mobile display 10 .
  • Information used for display by the display unit 21 is referred to by the attention position information generation unit 22 .
  • the attention position information generation unit 22 is a functional unit that generates attention position information indicating the attention position in the virtual space on the reference-side display 20 according to the display on the reference-side display 20 by a predetermined trigger.
  • the attention position information generation unit 22 may detect the line of sight in the physical space of the user wearing the reference side display 20 and generate the attention position information according to the detected line of sight.
  • the attention position information generator 22 may generate the attention position information according to the position specified by the user of the reference side display 20 in the display on the reference side display 20 .
  • the attention position information generation unit 22 may generate the attention position information according to the position of the display information designated by the user of the reference side display 20 in the display on the reference side display 20 .
  • the attention position information generation unit 22 may use an input by at least one of voice, operation, and gesture of the user of the reference-side display 20 as a predetermined trigger.
  • the attention position information generation unit 22 generates attention position information as follows, for example.
  • the attention position information generation unit 22 inputs a trigger for generating attention position information.
  • the attention position information generation unit 22 receives a request for attention position information from the mobile display 10 and inputs the received request as a trigger.
  • the attention position information generation unit 22 may input a trigger other than the following request from the mobile display 10 .
  • the attention position information generation unit 22 inputs the voice of the user of the reference side display 20 as a trigger.
  • the attention position information generation unit 22 inputs the voice (utterance) of the user of the reference-side display 20 through a microphone or the like provided on the reference-side display 20 .
  • the attention position information generation unit 22 recognizes the input voice and determines whether or not the character string obtained by the voice recognition is a tag, which is a character string set as a trigger in advance.
  • speech recognition may be performed by the reference-side display 20, or may be performed by a server that performs speech recognition. When speech recognition is performed by the server, the attention position information generation unit 22 transmits the speech to the server and receives the speech recognition result from the server.
  • the attention position information generation unit 22 determines that the character string obtained by voice recognition is a tag set as a trigger in advance, the voice is used as a trigger.
  • the tags are set in advance using, for example, the virtual space UI of the reference-side display 20 or the dedicated management system of the information processing device connected to the reference-side display 20 .
  • the attention position information generation unit 22 generates the target position information only while the user of the reference side display 20 is pressing a specific button or while the user is making a specific hand gesture. You may input the voice of the said user to .
  • the attention position information generation unit 22 inputs the user's operation of the reference-side display 20 as a trigger. For example, the attention position information generation unit 22 receives an operation of the user and determines whether or not the received operation is a pattern set as a trigger in advance. When the attention position information generation unit 22 determines that the received operation is a pattern set as a trigger in advance, the attention position information generation unit 22 uses the operation as a trigger. Presetting of the pattern may be performed in the same manner as in the case of using sound as a trigger.
  • the trigger pattern is, for example, an operation of tapping the center portion of the trackpad of the smartphone connected to the reference-side display 20 n consecutive times (n is a preset natural number; the same applies hereinafter).
  • the trigger pattern is an operation of pulling the trigger button n consecutive times or an operation of pressing a specific button (bumper) n consecutive times on the dedicated controller connected to the reference side display 20 .
  • the trigger pattern is an operation of reproducing a specific drawing by displaying a laser pointer in a virtual space on a smartphone.
  • a specific figure is, for example, the shape of a circle.
  • the graphical reproduction may be a simple sketch, an actual rendering, or any of the above.
  • the trigger pattern may be another operation.
  • the attention position information generation unit 22 inputs a gesture of the user of the reference-side display 20, such as a hand gesture, as a trigger. For example, the attention position information generation unit 22 receives a gesture of the user and determines whether or not the received gesture is a pattern set as a trigger in advance. When the attention position information generation unit 22 determines that the received gesture is a pattern set as a trigger in advance, the attention position information generation unit 22 uses the gesture as a trigger. Presetting of the pattern may be performed in the same manner as in the case of using sound as a trigger.
  • the trigger pattern is, for example, a gesture that can be detected by an existing conventional system (eg, Fist (hand gesture making a fist), OK (hand gesture making an OK sign), C (hand making a C shape). gesture)).
  • the trigger pattern may be another gesture.
  • it may be a peace sign, an action to switch from goo (clenched fist) to par (fingers spread), or clap.
  • the attention position information generation unit 22 generates attention position information when a trigger is input.
  • the position of interest in the virtual space related to the generated position-of-interest information is, for example, the coordinates of the sphere 100 in the virtual space corresponding to the central position (position of the reticle) of the display screen of the reference-side display 20 .
  • the direction of the line of sight in the virtual space is the center position of the display screen
  • the attention position information generation unit 22 refers to the information to generate attention position information.
  • the attention position information indicates only the predetermined direction of the attention position. (The same applies to the following).
  • the attention position in the virtual space related to the generated attention position information may also correspond to the line of sight in the real space of the user wearing the reference-side display 20 .
  • the attention position information generation unit 22 detects the line of sight of the user in the physical space.
  • the reference-side display 20 is provided with a camera capable of capturing an eyeball of the user.
  • the attention position information generation unit 22 inputs an image of the user's eyeball obtained by imaging with a camera.
  • the attention position information generation unit 22 detects the line of sight of the user in the physical space from the input image of the user's eyeballs.
  • the attention position information generation unit 22 detects the movement of the user's eyeball from the moving image of the user's eyeball, and detects the line of sight based on the movement. As the direction of the line of sight to be detected, the attention position information generation unit 22 uses, for example, the position of the line of sight in the real space on the display screen of the reference side display 20 (the position of the intersection of the line of sight and the display screen, for example, the coordinates on the display screen). ). The detection may be performed by conventional methods.
  • the position of interest in the virtual space related to the generated position-of-interest information is the coordinates of the sphere 100 in the virtual space corresponding to the position of the line of sight in the real space on the display screen of the reference side display 20 . Since the display unit 11 holds information indicating the direction of the line of sight in the virtual space (that is, information indicating the position in the virtual space corresponding to the display screen of the reference-side display 20), the attention position information generation unit 22 From the information and the detected line-of-sight position in the real space, the coordinates of the sphere 100 in the virtual space corresponding to the line-of-sight position are calculated and used as position-of-interest information. Calculation of the position in the virtual space of the coordinates on the display screen may be performed by a conventional method (the same applies to the following).
  • the attention position in the virtual space related to the generated attention position information may also correspond to the position (pointing position) designated by the user of the reference side display 20 in the display on the reference side display 20.
  • the user designates the position of the display screen (for example, coordinates on the display screen) on the reference side display 20 .
  • the designation of the position of the display screen is performed by the user's operation.
  • the designation of the position on the display screen may be performed with a cursor or a pointer.
  • the attention position information generation unit 22 receives a user's operation and acquires information indicating the position of the display screen designated by the operation.
  • the position of interest in the virtual space related to the generated position-of-interest information is the coordinates of the sphere 100 in the virtual space corresponding to the designated position on the display screen of the reference-side display 20 . Since the display unit 11 holds information indicating the direction of the line of sight in the virtual space (that is, information indicating the position in the virtual space corresponding to the display screen of the reference-side display 20), the attention position information generation unit 22 Based on the information and the specified position of the display screen, the coordinates of the sphere 100 in the virtual space corresponding to the specified position of the display screen are calculated and used as position-of-interest information.
  • the attention position in the virtual space related to the generated attention position information also corresponds to the position of the display information (content) specified by the user of the reference side display 20 in the display on the reference side display 20. good too.
  • the user specifies display information on the reference side display 20 .
  • the display information may be displayed on the reference side display 20 .
  • the user specifies display information on the reference side display 20 .
  • the attention position information generation unit 22 acquires information indicating the designated position of the display screen.
  • the attention position information generation unit 22 stores in advance the display information and the tags, which are character strings, in association with each other.
  • the lion 200a shown in FIG. 3 is associated with the tag "#LION”
  • the elephant 200b is associated with the tag "#ELEPHANT”
  • the horse 200c is associated with the tag "#HORSE”.
  • the attention position information generation unit 22 inputs the voice (utterance) of the user of the reference-side display 20 through a microphone or the like provided on the reference-side display 20 .
  • the attention position information generation unit 22 performs voice recognition on the input voice and determines whether or not the character string obtained by the voice recognition is a tag associated with the display information in advance. Note that voice recognition may be performed by the reference-side display 20 in the same manner as described above, or may be performed by a server that performs voice recognition.
  • the attention position information generation unit 22 determines that the character string obtained by voice recognition is a preset tag, it acquires the position in the virtual space of the display information associated with the tag. Since the display unit 11 holds information indicating the position of the display information in the virtual space, the attention position information generation unit 22 acquires the information.
  • the attention position information generation unit 22 calculates the coordinates of the sphere 100 in the virtual space corresponding to the position of the display information in the virtual space, and sets the coordinates of the virtual space sphere 100 as the attention position information. For example, when the display information is arranged on the sphere 100 in the virtual space, the information indicating the coordinates of the position of the display information in the virtual space is used as the position-of-interest information.
  • the position of the intersection of the sphere 100 in the virtual space and a straight line extending from the line-of-sight position in the virtual space and passing through the position in the virtual space of the display information is arranged outside the sphere 100 in the virtual space.
  • the information indicating the coordinates be attention position information.
  • the designation of display information may be performed by a user's operation other than the user's voice on the reference side display 20 .
  • the attention position information generation unit 22 stores in advance the display information and the user's operation in association with each other. For example, as shown in FIG. 5A, a content ID, which is an identifier of display information, and a controller pattern, which is a user's operation, are associated and stored. Examples of controller patterns are similar to the triggering user operations described above.
  • the attention position information generation unit 22 receives a user's operation on the reference side display 20 and uses display information associated with the received operation as designated display information.
  • display information may be designated by a gesture of the user of the reference-side display 20, for example, a hand gesture.
  • the attention position information generation unit 22 stores in advance the display information and the user's gesture in association with each other. For example, as shown in FIG. 5B, a content ID, which is an identifier of display information, and a hand gesture are associated and stored. Examples of hand gestures are similar to the triggering gestures described above.
  • the attention position information generation unit 22 accepts a gesture of the user of the reference-side display 20 and uses the display information associated with the accepted gesture as the designated display information.
  • designation of display information may be performed in a manner other than the above. For example, designation of display information may be performed with a cursor or a pointer. Further, when the display information is specified, the line of sight in the virtual space on the reference side display 20 may be aligned with the position of the display information. Further, when display information is designated as described above, the designation may be used as a trigger for generating attention position information.
  • the attention position information generation unit 22 outputs the generated attention position information to the transmission unit 23 .
  • the transmission unit 23 is a functional unit that transmits the position-of-interest information generated by the position-of-interest information generation unit 22 to the moving-side display 10, which is another display.
  • the transmission unit 23 receives the attention position information from the attention position information generation unit 22 .
  • the transmission unit 23 transmits the attention position information to the mobile display 10, which is the transmission source of the request.
  • the transmission unit 23 transmits the attention position information to the specified movement side display 10 .
  • the mobile display 10 to which the attention position information is transmitted may be designated in advance. For example, all the mobile displays 10 that share the virtual space and the display information may be the mobile displays 10 to which the attention position information is transmitted. Alternatively, the mobile display 10 to which the attention position information is transmitted may be designated by the user of the reference side display 20 at the time the attention position information is transmitted. The above is the function of the reference side display 20 .
  • the processing executed by the moving-side display 10 and the reference-side display 20 according to the present embodiment operation method performed by the moving-side display 10 and the reference-side display 20
  • This processing is performed when the display by the display unit 11 on the moving-side display 10 and the display by the display unit 21 on the reference-side display 20 are performed.
  • the movement-side display 10 and the reference-side display 20 share the virtual space and the display information with each other, and display is performed.
  • a trigger for generation of attention position information is input by the attention position information generation unit 22 on the reference side display 20 (S01). Subsequently, attention position information is generated by the attention position information generation unit 22 according to the display on the reference side display 20 (S02). Subsequently, the generated attention position information is transmitted to the mobile display 10 by the transmission unit 23 (S03).
  • the attention position information is received and acquired by the attention position information acquisition unit 12 (S04). Subsequently, the line-of-sight movement unit 13 moves the line-of-sight in the virtual space displayed on the movement-side display 10 based on the attention position information (S05).
  • the above is the processing executed by the moving-side display 10 and the reference-side display 20 according to the present embodiment.
  • the line of sight in the virtual space displayed on the movement-side display 10 is moved based on the attention position in the virtual space on the reference-side display 20 according to the display on the reference-side display 20 . Therefore, on both displays 10 and 20, display is performed according to the attention position in the virtual space, and for example, the same display information can be referred to by users of the respective displays.
  • the displayed information that can be seen differs for each user. If users can easily refer to the same display information according to the present embodiment, users can communicate with each other while referring to the display information without using words to communicate the position of the display information in the virtual space. It can be done smoothly. In other words, according to the present embodiment, it is possible to appropriately perform display when displaying common virtual space information between the plurality of displays 10 and 20 .
  • the mobile display 10 may have the following configuration.
  • the line of sight may also be moved based on the line of sight in the virtual space displayed on the movement-side display 10 before movement. More specifically, the line of sight may be moved only in a predetermined direction based on the line of sight in the virtual space in the display of the moving-side display 10 before movement, for example, the azimuth angle as described above. According to this configuration, it is possible to make it easier for the user of the movable display 10 to change the display by moving the line of sight.
  • the movement of the line of sight does not necessarily have to be performed as described above, and may be performed in any manner as long as it is based on the attention position information.
  • the display indicating the attention position or the position of the display information is displayed. You may let the part 11 perform. According to this configuration, as described above, the user of the mobile display 10 can easily find the attention position or the display information by referring to this display.
  • the display unit 11 may be caused to display that the display information related to the attention position indicated by the attention position information is related to the attention position. According to this configuration, as described above, the user of the mobile display 10 can easily find the display information 200 or easily recognize the display information 200 by referring to this display. However, it is not always necessary to perform these displays when moving the line of sight.
  • the reference side display 20 may have the following configuration.
  • the line of sight of the user wearing the reference-side display 20 in the physical space may be detected, and the position-of-interest information may also be generated according to the detected line of sight.
  • attention position information may be generated according to the position designated by the user of the reference side display 20 as well. According to these configurations, the user wearing the reference-side display 20 can share the line of sight based on the position where the user is paying more attention. As a result, when displaying common virtual space information between the plurality of displays 10 and 20, the display can be performed more appropriately.
  • attention position information may be generated according to the position of the display information designated by the user of the reference-side display 20 as well.
  • the user wearing the reference side display 20 can share the line of sight based on the display information that the user is paying attention to.
  • attention position information does not necessarily have to be generated in this manner, and may be performed according to the display on the reference-side display 20 .
  • an input by at least one of the user's voice, operation, and gesture on the reference-side display 20 may be used as a trigger for generating attention position information.
  • the user on the reference side display 20 side can easily share the line of sight.
  • the trigger for generating attention position information does not necessarily have to be the above.
  • the display control device has been described as the movement-side display 10 and the reference-side display 20 having a display function, but it does not necessarily have to have a display function.
  • the display control device displays display information arranged in a common virtual space with other displays according to the line of sight of each display in the virtual space (that is, the display unit 11 or the display unit 21 is displayed).
  • a device (system) that is connected to a display and controls display on the display, and includes the attention position information acquisition unit 12 and the line of sight movement unit 13 described above, or the attention position information generation unit 22 described above. , and the transmission unit 23 .
  • the movement of the line of sight in the virtual space on the moving-side display 10 may be a one-time synchronization performed at that moment in the form of a snapshot. It may be dynamic synchronization that tracks the virtual space line of sight on the display 20 .
  • attention position information is continuously transmitted from the reference side display 20 to the movement side display 10, and the movement side display 10 sequentially moves the line of sight in the virtual space based on the attention position information.
  • a tag or pattern used for detecting a trigger or designating information to be displayed on the reference side display 20 may be set only for a specific reference side display 20, or may be set for a plurality of (for example, all) reference side displays. It may be set in common in the display 20 .
  • settings are made only on a specific reference-side display 20, only a specific user using that reference-side display 20 can use the function based on the set information.
  • the setting is common to a plurality of (for example, all) reference-side displays 20, a plurality of (for example, all) users using the reference-side display 20 use the function based on the set information. be able to.
  • each functional block may be implemented using one device that is physically or logically coupled, or directly or indirectly using two or more devices that are physically or logically separated (e.g. , wired, wireless, etc.) and may be implemented using these multiple devices.
  • a functional block may be implemented by combining software in the one device or the plurality of devices.
  • Functions include judging, determining, determining, calculating, calculating, processing, deriving, investigating, searching, checking, receiving, transmitting, outputting, accessing, resolving, selecting, choosing, establishing, comparing, assuming, expecting, assuming, Broadcasting, notifying, communicating, forwarding, configuring, reconfiguring, allocating, mapping, assigning, etc. can't
  • a functional block (component) responsible for transmission is called a transmitting unit or transmitter.
  • the implementation method is not particularly limited.
  • the displays 10 and 20 in one embodiment of the present disclosure may function as computers that perform information processing of the present disclosure.
  • FIG. 7 is a diagram showing an example of a hardware configuration of displays 10 and 20 according to an embodiment of the present disclosure.
  • the displays 10 and 20 described above may physically be configured as a computer device including a processor 1001, a memory 1002, a storage 1003, a communication device 1004, an input device 1005, an output device 1006, a bus 1007, and the like.
  • the term "apparatus” can be read as a circuit, device, unit, or the like.
  • the hardware configuration of the displays 10 and 20 may be configured to include one or more of the devices shown in the figures, or may be configured without some of the devices.
  • Each function of the displays 10 and 20 is performed by causing the processor 1001 and the memory 1002 to load predetermined software (programs) into hardware such as the processor 1001 and the memory 1002, thereby causing the processor 1001 to perform calculations, control communication by the communication device 1004, and control the memory. It is realized by controlling at least one of data reading and writing in 1002 and storage 1003 .
  • the processor 1001 for example, operates an operating system and controls the entire computer.
  • the processor 1001 may be configured by a central processing unit (CPU) including an interface with peripheral devices, a control device, an arithmetic device, registers, and the like.
  • CPU central processing unit
  • each function of the displays 10 and 20 described above may be implemented by the processor 1001.
  • FIG. 1 A block diagram illustrating an exemplary computing environment in accordance with the present disclosure.
  • the processor 1001 reads programs (program codes), software modules, data, etc. from at least one of the storage 1003 and the communication device 1004 to the memory 1002, and executes various processes according to them.
  • programs program codes
  • software modules software modules
  • data etc.
  • the program a program that causes a computer to execute at least part of the operations described in the above embodiments is used.
  • each function of displays 10 and 20 may be implemented by a control program stored in memory 1002 and running on processor 1001 .
  • FIG. Processor 1001 may be implemented by one or more chips.
  • the program may be transmitted from a network via an electric communication line.
  • the memory 1002 is a computer-readable recording medium, and is composed of at least one of, for example, ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), RAM (Random Access Memory), etc. may be
  • ROM Read Only Memory
  • EPROM Erasable Programmable ROM
  • EEPROM Electrical Erasable Programmable ROM
  • RAM Random Access Memory
  • the memory 1002 may also be called a register, cache, main memory (main storage device), or the like.
  • the memory 1002 can store executable programs (program code), software modules, etc. for performing information processing according to an embodiment of the present disclosure.
  • the storage 1003 is a computer-readable recording medium, for example, an optical disc such as a CD-ROM (Compact Disc ROM), a hard disk drive, a flexible disc, a magneto-optical disc (for example, a compact disc, a digital versatile disc, a Blu-ray disk), smart card, flash memory (eg, card, stick, key drive), floppy disk, magnetic strip, and/or the like.
  • Storage 1003 may also be called an auxiliary storage device.
  • the storage medium included in displays 10 and 20 may be, for example, a database, server, or other suitable medium including at least one of memory 1002 and storage 1003 .
  • the communication device 1004 is hardware (transmitting/receiving device) for communicating between computers via at least one of a wired network and a wireless network, and is also called a network device, a network controller, a network card, a communication module, or the like.
  • the input device 1005 is an input device (for example, keyboard, mouse, microphone, switch, button, sensor, etc.) that receives input from the outside.
  • the output device 1006 is an output device (eg, display, speaker, LED lamp, etc.) that outputs to the outside. Note that the input device 1005 and the output device 1006 may be integrated (for example, a touch panel).
  • Each device such as the processor 1001 and the memory 1002 is connected by a bus 1007 for communicating information.
  • the bus 1007 may be configured using a single bus, or may be configured using different buses between devices.
  • the displays 10 and 20 include hardware such as a microprocessor, a digital signal processor (DSP), an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), and an FPGA (Field Programmable Gate Array). , and part or all of each functional block may be implemented by the hardware.
  • processor 1001 may be implemented using at least one of these pieces of hardware.
  • Input/output information may be stored in a specific location (for example, memory) or managed using a management table. Input/output information and the like can be overwritten, updated, or appended. The output information and the like may be deleted. The entered information and the like may be transmitted to another device.
  • the determination may be made by a value represented by one bit (0 or 1), by a true/false value (Boolean: true or false), or by numerical comparison (for example, a predetermined value).
  • notification of predetermined information is not limited to being performed explicitly, but may be performed implicitly (for example, not notifying the predetermined information). good too.
  • Software whether referred to as software, firmware, middleware, microcode, hardware description language or otherwise, includes instructions, instruction sets, code, code segments, program code, programs, subprograms, and software modules. , applications, software applications, software packages, routines, subroutines, objects, executables, threads of execution, procedures, functions, and the like.
  • software, instructions, information, etc. may be transmitted and received via a transmission medium.
  • the software uses at least one of wired technology (coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), etc.) and wireless technology (infrared, microwave, etc.) to website, Wired and/or wireless technologies are included within the definition of transmission medium when sent from a server or other remote source.
  • wired technology coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), etc.
  • wireless technology infrared, microwave, etc.
  • system and “network” used in this disclosure are used interchangeably.
  • information, parameters, etc. described in the present disclosure may be expressed using absolute values, may be expressed using relative values from a predetermined value, or may be expressed using other corresponding information. may be represented.
  • determining and “determining” used in this disclosure may encompass a wide variety of actions.
  • “Judgement” and “determination” are, for example, judging, calculating, computing, processing, deriving, investigating, looking up, searching, inquiring (eg, lookup in a table, database, or other data structure), ascertaining as “judged” or “determined”, and the like.
  • "judgment” and “determination” are used for receiving (e.g., receiving information), transmitting (e.g., transmitting information), input, output, access (accessing) (for example, accessing data in memory) may include deeming that a "judgment” or “decision” has been made.
  • judgment and “decision” are considered to be “judgment” and “decision” by resolving, selecting, choosing, establishing, comparing, etc. can contain.
  • judgment and “decision” may include considering that some action is “judgment” and “decision”.
  • judgment (decision) may be read as “assuming”, “expecting”, “considering”, or the like.
  • connection means any direct or indirect connection or coupling between two or more elements, It can include the presence of one or more intermediate elements between two elements being “connected” or “coupled.” Couplings or connections between elements may be physical, logical, or a combination thereof. For example, “connection” may be read as "access”.
  • two elements are defined using at least one of one or more wires, cables, and printed electrical connections and, as some non-limiting and non-exhaustive examples, in the radio frequency domain. , electromagnetic energy having wavelengths in the microwave and optical (both visible and invisible) regions, and the like.
  • any reference to elements using the "first,” “second,” etc. designations used in this disclosure does not generally limit the quantity or order of those elements. These designations may be used in this disclosure as a convenient method of distinguishing between two or more elements. Thus, reference to a first and second element does not imply that only two elements can be employed or that the first element must precede the second element in any way.
  • a and B are different may mean “A and B are different from each other.”
  • the term may also mean that "A and B are different from C”.
  • Terms such as “separate,” “coupled,” etc. may also be interpreted in the same manner as “different.”

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

複数のディスプレイ間で共通の仮想空間の情報を表示する場合に適切に表示を行う。　表示制御装置である移動側ディスプレイ１０は、他のディスプレイである基準側ディスプレイ２０との間で共通の仮想空間に共通して配置された表示情報を、ディスプレイ毎の現実空間での位置又は姿勢に基づく仮想空間のディスプレイ毎の視線に応じて表示する移動側ディスプレイ１０における表示に係る制御を行う装置であって、基準側ディスプレイ２０における表示に応じた、当該基準側ディスプレイ２０における仮想空間の注目位置を示す注目位置情報を取得する注目位置情報取得部１２と、取得された注目位置情報に基づいて、移動側ディスプレイ１０の表示における仮想空間の視線を移動させる視線移動部１３とを備える。

Description

表示制御装置
　本発明は、ディスプレイにおける表示に係る制御を行う表示制御装置に関する。
　従来、全天球画像をヘッドマウントディスプレイで表示することが提案されている（例えば、特許文献１参照）。例えば、ヘッドマウントディスプレイの向きに応じて全天球画像の一部が表示され、ヘッドマウントディスプレイの向き、即ち、ユーザの頭の向きを変えることで、全天球画像の他の部分が表示される。
特開２０２０－３９０５２号公報
　従来、ディスプレイにおける表示を別のユーザのディスプレイと共有する技術が用いられている。別のユーザとの表示の共有は、上記の全天球画像を用いた態様の表示においても行われ得る。例えば、複数のヘッドマウントディスプレイにおいて、仮想空間に配置される情報を仮想空間の視線に応じて表示し、ヘッドマウントディスプレイ間で仮想空間を共通させて、共通する情報を表示することが考えられる。この際、仮想空間の視線をヘッドマウントディスプレイ毎に互いに独立したものとすると、各ヘッドマウントディスプレイのユーザは、仮想空間の視線に応じた互いに異なる表示を参照することができる。
　上記のようなディスプレイ間での表示の共有において、別のユーザが仮想空間上のどのコンテンツを見ているかを把握したい場合がある。例えば、表示を共有しているディスプレイのユーザ同士で会話を行っている場合、ユーザ同士が同じコンテンツを参照したい場合がある。そのために、例えば、音声通話等の会話によってユーザ間で注目しているコンテンツの位置を伝え合うことが考えられる。しかしながら、この方法では、注目しているコンテンツを発見するのに時間がかかる。特に眼鏡型のディスプレイ等の視野角が狭いディスプレイでの表示の表示の場合、仮想空間に配置されるコンテンツの数が多い場合、及びディスプレイ間での視線の方向が大きく異なる場合（例えば、ディスプレイ間で仮想空間の視線の方位角が１８０度ズレている場合）等には、上記の問題が顕著である。また、注目するコンテンツ（即ち、ユーザ同士が参照したい対象の表示）が変わる度に表示の位置を指示する必要があり、円滑な会話が難しい。
　本発明の一実施形態は、上記に鑑みてなされたものであり、複数のディスプレイ間で共通の仮想空間の情報を表示する場合に適切に表示を行うことができる表示制御装置を提供することを目的とする。
　上記の目的を達成するために、本発明の一実施形態に係る表示制御装置は、他のディスプレイとの間で共通の仮想空間に共通して配置された表示情報を、ディスプレイ毎の現実空間での位置又は姿勢に基づく仮想空間のディスプレイ毎の視線に応じて表示するディスプレイにおける表示に係る制御を行う表示制御装置であって、他のディスプレイにおける表示に応じた、当該他のディスプレイにおける仮想空間の注目位置を示す注目位置情報を取得する注目位置情報取得部と、注目位置情報取得部によって取得された注目位置情報に基づいて、ディスプレイの表示における仮想空間の視線を移動させる視線移動部と、を備える。
　また、本発明の一実施形態に係る表示制御装置は、他のディスプレイとの間で共通の仮想空間に共通して配置された表示情報を、ディスプレイ毎の現実空間での位置又は姿勢に基づく仮想空間のディスプレイ毎の視線に応じて表示するディスプレイにおける表示に係る制御を行う表示制御装置であって、所定のトリガによって、ディスプレイにおける表示に応じて、ディスプレイにおける仮想空間の注目位置を示す注目位置情報を生成する注目位置情報生成部と、注目位置情報生成部によって生成された注目位置情報を他のディスプレイに送信する送信部と、を備える。
　これらの表示制御装置による制御によれば、一方のディスプレイの表示における仮想空間の視線が、他方のディスプレイにおける表示に応じた、当該他方のディスプレイにおける仮想空間の注目位置に基づいて移動される。従って、何れのディスプレイにおいても仮想空間の注目位置に応じた表示が行われ、例えば、それぞれのディスプレイのユーザ間で同じ表示情報を参照させることができる。即ち、本発明の一実施形態に係る表示制御装置によれば、複数のディスプレイ間で共通の仮想空間の情報を表示する場合に適切に表示を行うことができる。
　本発明の一実施形態に係る表示制御装置によれば、複数のディスプレイ間で共通の仮想空間の情報を表示する場合に適切に表示を行うことができる。
本発明の実施形態に係る表示制御装置である移動側ディスプレイ及び基準側ディスプレイの機能構成を示す図である。 ディスプレイにおける表示に係る仮想空間、及び仮想空間に配置される表示情報の例を示す図である。 仮想空間の視線の移動を説明するための図である。 仮想空間の視線の移動後の表示の例を示す図である。 表示情報の指定に用いられる情報の例を示す図である。 本発明の実施形態に係る表示制御装置である移動側ディスプレイ及び基準側ディスプレイで実行される処理を示すシーケンス図である。 本発明の実施形態に係る表示制御装置である移動側ディスプレイ及び基準側ディスプレイのハードウェア構成を示す図である。
　以下、図面と共に本発明に係る表示制御装置の実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
　図１にそれぞれが本実施形態に係る表示制御装置であるディスプレイ１０，２０を示す。後述する本実施形態に係る機能に応じて、以下の説明では、ディスプレイ１０は、移動側ディスプレイ１０とも呼び、ディスプレイ２０は、基準側ディスプレイ２０とも呼ぶ。表示装置であるディスプレイ１０，２０は、ディスプレイ１０，２０自身における表示に係る制御を行う。ディスプレイ１０，２０は、他のディスプレイ１０，２０（自身以外のディスプレイ１０，２０）との間で共通の仮想空間に共通して配置された表示情報を、仮想空間のディスプレイ１０，２０毎の視線に応じて表示する。仮想空間のディスプレイ１０，２０毎の視線は、ディスプレイ１０，２０の現実空間での位置又は姿勢に基づくものである。
　例えば、ディスプレイ１０，２０は、仮想的な三次元空間に配置された表示情報（アセット）を仮想空間の視線に応じて表示する。表示情報は、ディスプレイ１０，２０に表示される情報である。表示情報は、例えば、文字、画像及び動画像等のコンテンツである。あるいは、表示情報は、スケジューラ、ブラウザ、ＳＮＳ（ソーシャル・ネットワーキング・サービス）及び特定のアプリケーション等の表示される内容が変更され得るものであってもよい。上記の表示情報の具体的内容は、例えば、レシピ、メモ、マップ、ニュース記事、ソースコード、設計図及び各種の資料等であってもよい。また、表示情報は、ディスプレイ１０，２０のユーザ間でチャット等のコミュニケーションを取れるものであってもよい。また、表示情報は、３ＤＣＧ（３次元コンピュータグラフィックス）モデルであってもよい。また、表示情報の表示は、クラウドサービスが用いられて行われてもよい。また、表示情報は、上記以外のものであっても、仮想空間に配置されて仮想空間の視線に応じて表示できるものであれば、どのようなものであってもよい。
　ディスプレイ１０，２０は、例えば、ＡＲ（Augmented　Reality）等によって仮想のコンテンツ（表示情報）の表示を行うディスプレイである。ディスプレイ１０，２０は、ユーザの眼の部分に装着される透過型のディスプレイである。例えば、ディスプレイ１０，２０は、眼鏡型のヘッドマウントディスプレイ、即ち、シースルーグラス（スマートグラス、ＡＲグラス）であってもよい。なお、ディスプレイ１０，２０は、互いに異なるユーザによって用いられる。また、ディスプレイ１０，２０は、ユーザに装着されるものである必要はない。
　ディスプレイ１０，２０は、仮想空間における視線の基準位置から仮想空間の視線の方向に見える領域の表示情報を見えた状態で表示する。仮想空間の視線は、仮想空間の視線の基準位置と、仮想空間の視線の方向とを含んで構成される。ディスプレイ１０，２０では、仮想空間の視線を移動させて表示を行うことができる。仮想空間の視線を移動することで、仮想空間において見える表示情報が変化し、ディスプレイ１０，２０による表示も変化する。
　仮想空間の視線の移動は、予め設定された方法で行われる。例えば、仮想空間の視線の移動は、予め設定した自由度で行われる。予め設定した自由度は、例えば、３ＤｏＦ（Degree　of　Freedom）である。３ＤｏＦでは、仮想空間の視線の基準位置が固定されており、仮想空間の視線の方向のみが仮想空間のＸ軸、Ｙ軸、Ｚ軸の３軸周りに回転することができる。但し、上記以外の自由度及び上記以外の方法で仮想空間の視線の移動が行われてもよい。
　例えば、図２に示すように仮想空間に球（全天球）１００を設けて、球１００に沿って又は球１００の内側若しくは外側に表示情報２００を配置する。例えば、平面的な表示情報２００については、球１００の接平面に沿って球１００の中心に向うように配置する。即ち、表示情報２００は、球１００の中心から見えるように配置される。この場合、球１００の中心を仮想空間の視線の基準位置とする。
　ディスプレイ１０，２０は、仮想空間の視線の基準位置から仮想空間の視線の方向に見える表示情報２００を見えた状態で表示する。表示される領域の形状は、ディスプレイ１０，２０における表示画面の形状、例えば、矩形の形状である。上記のようにディスプレイ１０，２０の視野角（仮想空間の表示できる角度）は限られているため、球１００の一部分に相当する部分のみが表示される。仮想空間の視線の方向が変わることで、表示される領域の位置が変化し、ディスプレイ１０，２０による表示が変化する。このようにディスプレイ１０，２０は、全天球ディスプレイであってもよい。ディスプレイ１０，２０における上記の表示は、当該表示を行うアプリケーションによって行われてもよい。アプリケーションの起動時の視線の方向は、予め設定されたデフォルトの方向であってもよいし、ディスプレイ１０，２０毎に異なる方向であってもよい。
　上述したように仮想空間のディスプレイ１０，２０毎の視線は、ディスプレイ１０，２０の現実空間での位置又は姿勢に基づくものである。そのため、ディスプレイ１０，２０には、ディスプレイ１０，２０自身の動き（即ち、位置の変動）及び向き（即ち、姿勢）を検出するセンサが設けられていてもよい。例えば、加速度を検出する加速度センサ及び角速度を検出するジャイロセンサが設けられていてもよい。ディスプレイ１０，２０は、これらのセンサによって、ディスプレイ１０，２０自身の動き及び向きを検出して、検出した動き及び向きに応じて仮想空間の視線を移動させる。即ち、ディスプレイ１０，２０が装着されるユーザの頭部（顔）の向きに応じて視線が移動されてもよい。但し、仮想空間の視線の移動は、上記以外のセンサによる、位置又は姿勢の検出に応じて行われてもよい。また、上記のように３ＤｏＦで視線を移動させる場合には、向きのみが検出されればよい。
　仮想空間の視線の移動を含む、仮想空間の視線を用いたディスプレイ１０，２０における表示は、従来のＡＲ等による表示と同様に行われればよい。なお、仮想空間に関する情報の保持及び処理は、ディスプレイ１０，２０の何れかにおいて行われてもよいし、ディスプレイ１０，２０に接続されるクラウド等において行われてもよい。
　ディスプレイ１０，２０における表示には、共通の仮想空間に共通して配置された表示情報が用いられる。即ち、複数のディスプレイ１０，２０の間で仮想空間及び表示情報が共有されてもよい。仮想空間及び表示情報が共有される複数のディスプレイ１０，２０は、予め設定される。ディスプレイ１０，２０における表示における仮想空間の視線は、ディスプレイ１０，２０毎の独立したものが用いられる。ディスプレイ１０，２０における視線が異なっていれば、例えば、３ＤｏＦの場合、視線の方向が異なっていれば、ディスプレイ１０，２０ではそれぞれの視線に応じた異なる表示が行われる。ディスプレイ１０，２０における視線が同じであれば、例えば、上記のように３ＤｏＦの場合、視線の方向が同じであれば、ディスプレイ１０，２０では同じ表示が行われる。なお、本実施形態では、２つのディスプレイ１０，２０で仮想空間が共通する例を示すが、３つ以上のディスプレイ１０，２０で仮想空間が共通してもよい。
　ディスプレイ１０，２０では、表示に係る操作、例えば、表示情報２００に対するユーザの操作が行われてもよい。ディスプレイ１０，２０は、ユーザの操作を受け付けて、操作を表示に反映させる。例えば、表示情報２００の仮想空間での移動、表示情報の拡大及び縮小、表示情報に対する文字入力及び球１００の回転等の操作が行われてもよい。
　操作は、例えば、ディスプレイ１０，２０を装着したユーザによって携帯される、スマートフォン等の情報処理装置が用いられて行われてもよい。その場合、予めディスプレイ１０，２０とスマートフォンとが情報の送受信が可能であるように接続されている。ユーザがスマートフォンに対して操作を行うと、操作がディスプレイ１０，２０における表示に反映される。また、ユーザが手に持っているスマートフォンから、スマートフォンを向けている位置にレーザポインタが出ているような表示が行われてもよい。また、このようなレーザポインタの表示で表示情報の指定等の操作が行われてもよい。
　また、操作は、ヘッドマウントディスプレイに付属する専用コントローラによって行われてもよい。また、操作は、ユーザのジェスチャによって行われてもよい。ジェスチャを行うユーザの部分は、例えば、手である。即ち、ハンドジェスチャによる操作が行われてもよい。但し、手以外の部分でのジェスチャによる操作が行われてもよい。ユーザのジェスチャによる操作が行われる場合は、ジェスチャを行う部分を撮像できるようにカメラを設けておき、カメラによって撮像された動画像によってジェスチャが判断される。また、操作は、上記以外の任意の方法で行われてもよい。ディスプレイ１０，２０における上記の表示及び操作は、従来の方法と同様に行われればよい。
　ディスプレイ１０，２０としては、従来の上記の機能を有するディスプレイを用いることができる。また、ディスプレイ１０，２０は、通信機能を有している。ディスプレイ１０，２０の通信機能は、上記の仮想空間及び表示情報の共有、並びに本実施形態に係る機能の実現に用いられる。また、ディスプレイ１０，２０の上述した機能及び後述する本実施形態に係る機能の一部は、表示装置（例えば、上述したシースルーグラス）に接続される情報処理装置（例えば、スマートフォン又はＰＣ（パーソナルコンピュータ））が有していてもよい。即ち、表示装置と情報処理装置とを含んで本実施形態に係るディスプレイ１０，２０が実現されてもよい。
　上記のようにディスプレイ１０，２０が、全天球ディスプレイであるとすると、ディスプレイ１０，２０が、表示情報として上記のように画像、動画及びブラウザ等を表示することで、ディスプレイ１０，２０を装着したユーザ専用の作業空間を構築することができる。これによって、いつでもどこでもプライベート空間を持ち運び集中又はリラックスできる世界を構築することができる。また、ディスプレイ１０，２０が、シースルーグラスであるとすると現実空間での他の作業をしながら表示情報を利用すること、いわゆる、ながらの利用が可能である。
　また、上記のように複数のディスプレイ１０，２０の間で仮想空間及び表示情報が共有されることで、この全天球ディスプレイに複数人で入るようなイメージで、例えば、同じ場所又は遠隔の他のディスプレイ１０，２０を用いる他のユーザと同時に表示情報を共有することができる。従って、空間共有による視覚的かつ直感的なコミュニケーションを向上することができる。他のユーザと視点又はアイデアを直感的に共有することで、視野及び思考の幅を広げることができる。また、常に関係する情報が表示される会話がしやすい世界を構成することができる。
　ディスプレイ１０，２０の個人ツールとしてのユースケースは、仕事、趣味、買物、通勤及び通学等がある。また、複数のディスプレイ１０，２０での仮想空間及び表示情報の共有のユースケースとしては、会議、ワークショップ、雑談及びプランニング等がある。
　引き続いて、本実施形態に係る移動側ディスプレイ１０及び基準側ディスプレイ２０の機能を説明する。なお、移動側ディスプレイ１０は、基準側ディスプレイ２０の本実施形態に係る機能を有していてもよい。また、基準側ディスプレイ２０は、移動側ディスプレイ１０の本実施形態に係る機能を有していてもよい。ディスプレイ１０，２０は、移動側ディスプレイ１０及び基準側ディスプレイ２０の両方の本実施形態に係る機能を有したものであってもよい。また、ディスプレイ１０，２０は、以下に説明する以外にも従来のシースルーグラス等の従来の表示装置が備える機能を備えていてもよい。
　本実施形態に係る移動側ディスプレイ１０及び基準側ディスプレイ２０の機能は、基準側ディスプレイ２０における表示に応じた、基準側ディスプレイ２０における仮想空間の注目位置に基づいて、移動側ディスプレイ１０において仮想空間の視線を移動させるものである。移動側ディスプレイ１０において仮想空間の視線が移動されることで、移動側ディスプレイ１０における表示が変化する。これによって、移動側ディスプレイ１０において、基準側ディスプレイ２０で表示されている表示情報が表示され、それぞれのユーザが同じ表示情報を参照することができる。但し、後述するように、移動側ディスプレイ１０において仮想空間の視線が移動した場合であっても、移動側ディスプレイ１０において、基準側ディスプレイ２０で表示されている表示情報が表示されない場合もある。
　図３（ａ）に示すように仮想空間には、表示情報２００であるライオン２００ａ、ゾウ２００ｂ及びウマ２００ｃがそれぞれの位置に配置されている。図３（ａ）に示すように基準側ディスプレイ２０での仮想空間の視線は、ライオン２００ａが配置されている方に向いており、基準側ディスプレイ２０にはライオン２００ａが表示されている。ゾウ２００ｂ及びウマ２００ｃは、基準側ディスプレイ２０での仮想空間の視線の方向とは逆側に配置されており、基準側ディスプレイ２０にはゾウ２００ｂ及びウマ２００ｃは表示されていない。
　一方で、図３（ｂ）に示すように移動側ディスプレイ１０での仮想空間の視線は、ゾウ２００ｂ及びウマ２００ｃが配置されている方に向いており、移動側ディスプレイ１０にはゾウ２００ｂ及びウマ２００ｃが表示されている。また、ライオン２００ａは、移動側ディスプレイ１０での仮想空間の視線の方向とは逆側に配置されており、移動側ディスプレイ１０にはライオン２００ａは表示されていない。従って、移動側ディスプレイ１０のユーザと、基準側ディスプレイ２０とは、同じ表示情報２００を参照できない。
　本実施形態に係る移動側ディスプレイ１０及び基準側ディスプレイ２０の機能によって、図３（ｄ）に示すように、基準側ディスプレイ２０における仮想空間の注目位置に基づいて、移動側ディスプレイ１０での仮想空間の視線が、ライオン２００ａが配置されている方に向くように移動される。この視線の移動によって、移動側ディスプレイ１０でもライオン２００ａが表示されるようになる。従って、移動側ディスプレイ１０のユーザと、基準側ディスプレイ２０とは、同じ表示情報２００（この例の場合はライオン２００ａ）を参照できるようになる。
　図１に示すように、移動側ディスプレイ１０は、表示部１１と、注目位置情報取得部１２と、視線移動部１３とを備えて構成される。
　表示部１１は、移動側ディスプレイ１０での表示を行う機能部である。表示部１１は、ディスプレイ１０に表示する表示情報を入力して表示する。例えば、表示部１１は、ディスプレイ１０に記憶される表示情報を入力してもよいし、外部から表示情報を受信して入力してもよい。上述したように表示部１１は、仮想空間に配置された表示情報を仮想空間上の視線に応じて表示する。また、上述したように表示部１１は、他のディスプレイである基準側ディスプレイ２０との間で仮想空間及び表示情報を共有する。仮想空間及び表示情報の共有は、例えば、基準側ディスプレイ２０との間で表示情報及び当該表示情報が配置される仮想空間の位置を示す情報を送受信することで行われる。また、仮想空間及び表示情報の共有は、ディスプレイ１０，２０間の直接のやり取りではなく、ディスプレイ１０，２０それぞれが通信可能なサーバを介して行われてもよい。また、上記以外の方法でディスプレイ１０，２０間の仮想空間及び表示情報の共有が行われてもよい。なお、ディスプレイ１０，２０間で送受信される上記以外の情報についても、直接ディスプレイ１０，２０間で送受信されてもよいし、サーバ等を介して送受信されてもよい。
　表示部１１による上記の機能は、従来の機能と同様のものでよい。また、後述するように表示部１１による表示は、視線移動部１３からの制御を受ける。
　注目位置情報取得部１２は、他のディスプレイである基準側ディスプレイ２０における表示に応じた、基準側ディスプレイ２０における仮想空間の注目位置を示す注目位置情報を取得する機能部である。注目位置情報は、注目位置に対応する仮想空間の視線を特定可能な情報である。上記のような３ＤｏＦの場合、視線の基準位置は、球１００の中心であり特定されているので、注目位置情報は、仮想空間の視線の方向を特定可能な情報である。例えば、注目位置情報は、仮想空間の座標系における球１００の座標を示すものである。あるいは、注目位置情報は、仮想空間の極座標系における２つの偏角を示すものであってもよい。この場合の２つの偏角は、極角（天頂角、仰角）θ及び方位角φである。仮想空間は、現実空間に対応しており、仮想空間の極角θ及び方位角φは、現実空間の極角及び方位角に対応している。即ち、仮想空間の極角θは、現実空間の鉛直方向に対応する角度であり、仮想空間の方位角φは、現実空間の水平方向に対応する角度である。また、注目位置情報は、注目位置を示すものであれば上記以外の情報であってもよい。
　注目位置情報取得部１２は、基準側ディスプレイ２０から注目位置情報を受信して取得する。基準側ディスプレイ２０は、移動側ディスプレイ１０からの要求に応じて、又は基準側ディスプレイ２０自身のトリガによって移動側ディスプレイ１０に注目位置情報を送信する。
　例えば、移動側ディスプレイ１０において、注目位置情報を要求する旨のユーザの操作があった場合には、注目位置情報取得部１２は、基準側ディスプレイ２０に注目位置情報を要求する。具体的には、注目位置情報取得部１２は、図３（ｃ）に示すようなＵＩ（ユーザーインターフェース）で基準側ディスプレイ２０のユーザを指定するユーザからの操作（上述したレーザポインタの表示による操作）を受け付けて、指定されたユーザに対応する基準側ディスプレイ２０に注目位置情報を要求する。この場合、基準側ディスプレイ２０は複数あり、ユーザによって指定されたユーザの基準側ディスプレイ２０の注目位置情報を取得する。
　このように注目位置情報が取得される場合には、移動側ディスプレイ１０では、図３（ｂ）に示す視線の移動前の表示、図３（ｃ）に示す基準側ディスプレイ２０のユーザの指定の受け付け及び図３（ｄ）に示す視線の移動後の表示の順に処理が行われる。基準側ディスプレイ２０自身のトリガによって移動側ディスプレイ１０に注目位置情報を送信する場合については後述する。注目位置情報取得部１２は、取得した注目位置情報を視線移動部１３に出力する。
　視線移動部１３は、注目位置情報取得部１２によって取得された注目位置情報に基づいて、移動側ディスプレイ１０の表示における仮想空間の視線を移動させる機能部である。視線移動部１３は、移動前の移動側ディスプレイ１０の表示における仮想空間の視線にも基づいて視線を移動させてもよい。視線移動部１３は、移動前の移動側ディスプレイ１０の表示における仮想空間の視線を基準とした予め設定された方向に視線を移動させてもよい。視線移動部１３は、注目位置情報によって示される注目位置又は当該注目位置に係る表示情報が移動側ディスプレイ１０の表示に含まれない場合に、当該注目位置又は当該表示情報の位置を示す表示を移動側ディスプレイ１０（即ち、表示部１１）に行わせてもよい。視線移動部１３は、注目位置情報によって示される注目位置に係る表示情報について、注目位置に係るものであることを示す表示を移動側ディスプレイ１０（即ち、表示部１１）に行わせてもよい。
　視線移動部１３は、例えば、以下のように移動側ディスプレイ１０の表示における仮想空間の視線を移動させる。視線移動部１３は、注目位置情報取得部１２から注目位置情報を入力する。視線移動部１３は、表示部１１による表示に係る仮想空間の視線を、入力した注目位置情報によって特定される位置に移動（同期、遷移）させる。当該移動によって、表示部１１による表示が移動後の視線に応じたものとなる。
　また、視線移動部１３は、移動後の仮想空間の視線が方位角φのみ注目位置情報によって特定される視線とあうように、仮想空間の視線を移動（回転）させてもよい。即ち、視線移動部１３は、水平方向にのみ仮想空間の視線を移動させてもよい。この場合、注目位置情報は、方位角φを示す情報のみが含まれていてもよい。また、視線移動部１３は、注目位置情報が直接的に方位角φを示すものではなかった場合、移動させる方位角をこの時点で計算してもよい。
　例えば、図３（ａ）に示す基準側ディスプレイ２０（ＵＳＥＲ－Ｂ）の仮想空間における注目位置の方向の方位角である注目方位角φＢ＝φであり、図３（ｂ）に示す移動側ディスプレイ１０（ＵＳＥＲ－Ａ）の仮想空間における移動前の仮想空間の視線の方位角φＡ＝φ＋πであるとする。この場合、視線移動部１３は、移動側ディスプレイ１０の仮想空間の視線を水平方向（即ち、Ｚ軸周りに）πだけ回転させて、図３（ｄ）に示すように移動側ディスプレイ１０の仮想空間における移動後の仮想空間の視線の方位角φＡ＝φとなるようにする。
　このように方位角のみ仮想空間の視線を移動（同期）させる、即ち、視線の移動（同期）を自由度１に制限することで、極角方向の現実空間との対応を維持したまま、仮想空間の表示を変更させることができる。これによって、移動側ディスプレイ１０のユーザの空間認識に係るストレス及び酔いを軽減することができる。即ち、視線の移動による表示の変更を移動側ディスプレイ１０のユーザにとってより受け入れやすいものとすることができる。
　このように視線移動部１３は、移動前の移動側ディスプレイ１０の表示における仮想空間の視線にも基づいて視線を移動させてもよい。また、視線移動部１３は、移動前の移動側ディスプレイ１０の表示における仮想空間の視線を基準とした予め設定された方向（上記の例では、方位角の方向）に視線を移動させてもよい。
　上記のように方位角等の予め設定された方向にのみ仮想空間の視線を移動する場合、基準側ディスプレイ２０の仮想空間の視線の極角と移動側ディスプレイ１０の仮想空間の移動前の視線の極角とが互いに大きく異なっていると、移動側ディスプレイ１０における表示範囲に、注目位置及び注目位置に係る表示情報２００（注目コンテンツ、対象コンテンツ）が含まれなくなるおそれがある。注目位置に係る表示情報２００は、例えば、注目位置にある表示情報２００、注目位置から最も近い表示情報２００、又は注目位置から一定の距離以内にある表示情報２００である。即ち、仮想空間の視線が移動した際に上記の表示情報２００が視野外となるおそれがある。
　視線移動部１３は、仮想空間の視線の移動後に、注目位置情報によって示される注目位置又は注目位置に係る表示情報２００が移動側ディスプレイ１０の表示に含まれない場合に、当該注目位置又は当該表示情報２００の位置を示す表示を表示部１１に行わせてもよい。視線移動部１３は、移動後の仮想空間の視線から、移動側ディスプレイ１０における表示範囲を算出する。視線移動部１３は、算出した表示範囲に当該注目位置又は当該表示情報２００が含まれるか否かを判断して、表示範囲に当該注目位置又は当該表示情報２００が含まれないと判断した場合に、上記の表示を表示部１１に行わせる。例えば、当該表示は、図４（ａ）に示すように当該注目位置又は表示情報２００がある方向を示す矢印２１０（即ち、これらをフォローする矢印タグ）である。移動側ディスプレイ１０のユーザは、この表示を参照することで当該注目位置又は表示情報２００を容易に見つけることができる。
　また、視線移動部１３は、注目位置情報によって示される注目位置に係る表示情報について、注目位置に係るものであることを示す表示を表示部１１に行わせてもよい。例えば、当該表示は、図４（ｂ）に示すように当該表示情報２００の周囲に赤い表示２２０を入れたハイライト表示である。あるいは、当該表示は、図４（ｃ）に示すように当該表示情報２００を上下にホッピングさせるアニメーションの表示である。なお、注目位置に係るものであることを示す表示であれば、上記以外のものであってもよい。また、これら表示は、当該表示情報２００が移動側ディスプレイ１０における表示範囲に含まれない場合に加えて、含まれる場合に行われてもよい。移動側ディスプレイ１０のユーザは、この表示を参照することで当該表示情報２００を容易に見つける、又は当該表示情報２００を容易に認識することができる。以上が、移動側ディスプレイ１０の機能である。
　図１に示すように、基準側ディスプレイ２０は、表示部２１と、注目位置情報生成部２２と、送信部２３とを備えて構成される。
　表示部２１は、基準側ディスプレイ２０での表示を行う機能部である。表示部２１は、上述した移動側ディスプレイ１０の表示部１１の同様の機能を有する。表示部２１は、他のディスプレイである移動側ディスプレイ１０との間で仮想空間及び表示情報を共有する。当該共有に係る表示部２１の機能も、移動側ディスプレイ１０の表示部１１の機能と同じである。表示部２１による表示に用いられる情報は、注目位置情報生成部２２によって参照される。
　注目位置情報生成部２２は、所定のトリガによって、基準側ディスプレイ２０における表示に応じて、基準側ディスプレイ２０における仮想空間の注目位置を示す注目位置情報を生成する機能部である。注目位置情報生成部２２は、基準側ディスプレイ２０を装着するユーザの現実空間の視線を検出し、検出した視線にも応じて注目位置情報を生成してもよい。注目位置情報生成部２２は、基準側ディスプレイ２０における表示において、基準側ディスプレイ２０のユーザによって指定される位置にも応じて注目位置情報を生成してもよい。注目位置情報生成部２２は、基準側ディスプレイ２０における表示において、基準側ディスプレイ２０のユーザによって指定される表示情報の位置にも応じて注目位置情報を生成してもよい。注目位置情報生成部２２は、基準側ディスプレイ２０のユーザの音声、操作及びジェスチャの少なくとも何れかによる入力を所定のトリガとしてもよい。
　注目位置情報生成部２２は、例えば、以下のように注目位置情報を生成する。注目位置情報生成部２２は、注目位置情報の生成のためのトリガを入力する。例えば、注目位置情報生成部２２は、移動側ディスプレイ１０から注目位置情報の要求を受信し、受信した要求をトリガとして入力する。
　注目位置情報生成部２２は、以下のような、移動側ディスプレイ１０からの要求以外をトリガとして入力してもよい。注目位置情報生成部２２は、基準側ディスプレイ２０のユーザの音声をトリガとして入力する。例えば、注目位置情報生成部２２は、基準側ディスプレイ２０が備えるマイク等によって基準側ディスプレイ２０のユーザの音声（発声）を入力する。注目位置情報生成部２２は、入力した音声を音声認識して、音声認識によって得られた文字列が予めトリガとして設定された文字列であるタグであるか否かを判断する。なお、音声認識は、基準側ディスプレイ２０で行われてもよいし、音声認識を行うサーバで行われてもよい。サーバで音声認識を行う場合には、注目位置情報生成部２２は、サーバに音声を送信して、サーバから音声認識結果を受信する。
　注目位置情報生成部２２は、音声認識によって得られた文字列が予めトリガとして設定されたタグであると判断した場合、当該音声をトリガとする。タグの予めの設定は、例えば、基準側ディスプレイ２０の仮想空間のＵＩ又は基準側ディスプレイ２０に接続される情報処理装置の専用管理システムが用いられて行われる。また、ユーザ間との会話と区別するために、注目位置情報生成部２２は、基準側ディスプレイ２０のユーザが特定のボタンを押している間、又は当該ユーザが特定のハンドジェスチャを行っている間のみに当該ユーザの音声を入力してもよい。
　注目位置情報生成部２２は、基準側ディスプレイ２０のユーザの操作をトリガとして入力する。例えば、注目位置情報生成部２２は、当該ユーザの操作を受け付けて、受け付けた操作が予めトリガとして設定されたパターンであるか否かを判断する。注目位置情報生成部２２は、受け付けた操作が予めトリガとして設定されたパターンであると判断した場合、当該操作をトリガとする。パターンの予めの設定は、音声をトリガとする場合と同様に行われればよい。
　トリガとなるパターンは、例えば、基準側ディスプレイ２０に接続されるスマートフォンのトラックパッドの中央部をｎ回連続（ｎは予め設定される自然数、以下についても同様）でタップする操作である。また、トリガとなるパターンは、基準側ディスプレイ２０に接続される専用コントローラにおいて、トリガボタンをｎ回連続で引く操作、又は特定のボタン（バンパー）をｎ回連続で押下する操作である。また、トリガとなるパターンは、スマートフォンによる仮想空間でのレーザポインタの表示で特定の図面を再現する操作である。特定の図形は、例えば、丸の形状である。図形の再現は、単純な空書であっても、実際のレンダリングであってもよく、又はそれらの何れかであってもよい。あるいは、トリガとなるパターンは、それ以外の操作であってもよい。
　注目位置情報生成部２２は、基準側ディスプレイ２０のユーザのジェスチャ、例えば、ハンドジェスチャをトリガとして入力する。例えば、注目位置情報生成部２２は、当該ユーザのジェスチャを受け付けて、受け付けたジェスチャが予めトリガとして設定されたパターンであるか否かを判断する。注目位置情報生成部２２は、受け付けたジェスチャが予めトリガとして設定されたパターンであると判断した場合、当該ジェスチャをトリガとする。パターンの予めの設定は、音声をトリガとする場合と同様に行われればよい。
　トリガとなるパターンは、例えば、ジェスチャを既存する従来のシステムで検出可能なもの（例えば、Ｆｉｓｔ（握りこぶしをつくるハンドジェスチャ）、ＯＫ（ＯＫサインをつくるハンドジェスチャ）、Ｃ（Ｃの形状をつくるハンドジェスチャ））であってもよい。あるいは、トリガとなるパターンは、それ以外のジェスチャであってもよい。例えば、ピースサイン、グー（握りこぶし）からパー（指を広げた状態）に切り替える動作、又はクラップであってもよい。
　注目位置情報生成部２２は、トリガを入力すると注目位置情報を生成する。生成される注目位置情報に係る仮想空間の注目位置は、例えば、基準側ディスプレイ２０における表示画面の中央の位置（レティクルの位置）に相当する仮想空間の球１００の座標である。仮想空間の視線の方向を、表示画面の中央の位置とすると、視線の方向（レティクルを通る方向）と球１００との交点の座標である。表示部１１は、仮想空間の視線の方向を示す情報を保持しているので、注目位置情報生成部２２は、当該情報を参照して注目位置情報を生成する。上述したように移動側ディスプレイ１０での仮想空間の視線の移動が、所定の方向（例えば、方位角）のみに行われる場合には、注目位置情報は、注目位置の当該所定の方向のみを示すものであってもよい（以下についても同様である）。
　あるいは、生成される注目位置情報に係る仮想空間の注目位置は、基準側ディスプレイ２０を装着するユーザの現実空間の視線にも応じたものであってもよい。この場合、注目位置情報生成部２２は、当該ユーザの現実空間の視線を検出する。例えば、基準側ディスプレイ２０に、ユーザの眼球を撮像できるカメラを設けておく。注目位置情報生成部２２は、カメラの撮像によって得られたユーザの眼球の画像を入力する。注目位置情報生成部２２は、入力したユーザの眼球の画像から、ユーザの現実空間の視線を検出する。例えば、注目位置情報生成部２２は、ユーザの眼球の動画像からユーザの眼球の動きを検出して、当該動きに基づいて視線を検出する。注目位置情報生成部２２は、検出する視線の方向として、例えば、基準側ディスプレイ２０の表示画面における現実空間の視線の位置（視線と表示画面との交点の位置であり、例えば、表示画面における座標）を検出する。当該検出は、従来の方法によって行われればよい。
　生成される注目位置情報に係る仮想空間の注目位置は、基準側ディスプレイ２０の表示画面における現実空間の視線の位置に相当する仮想空間の球１００の座標である。表示部１１は、仮想空間の視線の方向を示す情報（即ち、基準側ディスプレイ２０の表示画面に相当する仮想空間の位置を示す情報）を保持しているので、注目位置情報生成部２２は、その情報と検出された現実空間の視線の位置とから、視線の位置に相当する仮想空間の球１００の座標を算出して注目位置情報とする。表示画面における座標の仮想空間における位置の算出は、従来の方法によって行われればよい（以下についても同様）。
　あるいは、生成される注目位置情報に係る仮想空間の注目位置は、基準側ディスプレイ２０における表示において、基準側ディスプレイ２０のユーザによって指定される位置（ポインティング位置）にも応じたものであってもよい。この場合、基準側ディスプレイ２０においてユーザは表示画面の位置（例えば、表示画面における座標）を指定する。表示画面の位置の指定は、ユーザの操作によって行われる。表示画面の位置の指定は、カーソル又はポインタによって行われてもよい。注目位置情報生成部２２は、ユーザの操作を受け付けて、操作によって指定される表示画面の位置を示す情報を取得する。
　生成される注目位置情報に係る仮想空間の注目位置は、基準側ディスプレイ２０の表示画面の指定される位置に相当する仮想空間の球１００の座標である。表示部１１は、仮想空間の視線の方向を示す情報（即ち、基準側ディスプレイ２０の表示画面に相当する仮想空間の位置を示す情報）を保持しているので、注目位置情報生成部２２は、その情報と指定される表示画面の位置とから、指定される表示画面の位置に相当する仮想空間の球１００の座標を算出して注目位置情報とする。
　あるいは、生成される注目位置情報に係る仮想空間の注目位置は、基準側ディスプレイ２０における表示において、基準側ディスプレイ２０のユーザによって指定される表示情報（コンテンツ）の位置にも応じたものであってもよい。この場合、基準側ディスプレイ２０においてユーザは表示情報を指定する。表示情報は、基準側ディスプレイ２０において表示されているものであってもよい。この場合、基準側ディスプレイ２０においてユーザは表示情報を指定する。注目位置情報生成部２２は、指定される表示画面の位置を示す情報を取得する。
　例えば、ユーザは以下のように表示情報を指定する。注目位置情報生成部２２は、予め表示情報と文字列であるタグとを対応付けて記憶しておく。例えば、図３に示すライオン２００ａには「＃ＬＩＯＮ」とのタグを、ゾウ２００ｂには「＃ＥＬＥＰＨＡＮＴ」とのタグを、ウマ２００ｃには「＃ＨＯＲＳＥ」とのタグを対応付けておく。注目位置情報生成部２２は、基準側ディスプレイ２０が備えるマイク等によって基準側ディスプレイ２０のユーザの音声（発声）を入力する。注目位置情報生成部２２は、入力した音声を音声認識して、音声認識によって得られた文字列が予め表示情報に対応付けられたタグであるか否かを判断する。なお、音声認識は、上記と同様に基準側ディスプレイ２０で行われてもよいし、音声認識を行うサーバで行われてもよい。
　注目位置情報生成部２２は、音声認識によって得られた文字列が予め設定されたタグであると判断した場合、タグに対応付けられた表示情報の仮想空間の位置を取得する。表示部１１は、表示情報の仮想空間の位置を示す情報を保持しているので、注目位置情報生成部２２は当該情報を取得する。注目位置情報生成部２２は、表示情報の仮想空間の位置から、当該位置に相当する仮想空間の球１００の座標を算出して注目位置情報とする。例えば、表示情報が仮想空間の球１００に配置される場合には、表示情報の仮想空間の位置の座標を示す情報を注目位置情報とする。例えば、表示情報が仮想空間の球１００以外に配置される場合には、仮想空間の視線位置から延びる、表示情報の仮想空間の位置を通る直線と、仮想空間の球１００との交点の位置の座標を示す情報を注目位置情報とする。
　表示情報の指定は、基準側ディスプレイ２０のユーザの音声以外のユーザの操作によって行われてもよい。注目位置情報生成部２２は、予め表示情報とユーザの操作とを対応付けて記憶しておく。例えば、図５（ａ）に示すように表示情報の識別子であるコンテンツＩＤと、ユーザの操作であるコントローラパターンとを対応付けて記憶しておく。コントローラパターンの例は、上述したトリガとなるユーザの操作と同様である。注目位置情報生成部２２は、基準側ディスプレイ２０のユーザの操作を受け付けて、受け付けた操作に対応付けられた表示情報を指定される表示情報とする。
　例えば、基準側ディスプレイ２０のユーザのジェスチャ、例えば、ハンドジェスチャによって表示情報の指定が行われてもよい。注目位置情報生成部２２は、予め表示情報とユーザのジェスチャとを対応付けて記憶しておく。例えば、図５（ｂ）に示すように表示情報の識別子であるコンテンツＩＤと、ハンドジェスチャとを対応付けて記憶しておく。ハンドジェスチャの例は、上述したトリガとなるジェスチャと同様である。注目位置情報生成部２２は、基準側ディスプレイ２０のユーザのジェスチャを受け付けて、受け付けたジェスチャに対応付けられた表示情報を指定される表示情報とする。
　また、表示情報の指定は、上記以外によって行われてもよい。例えば、表示情報の指定は、カーソル又はポインタによって行われてもよい。また、表示情報の指定がなされた際に、基準側ディスプレイ２０における仮想空間の視線が、表示情報の位置に合わされてもよい。また、上記のように表示情報の指定が行われる場合には、当該指定が注目位置情報の生成のトリガとされてもよい。注目位置情報生成部２２は、生成した注目位置情報を送信部２３に出力する。
　送信部２３は、注目位置情報生成部２２によって生成された注目位置情報を他のディスプレイである移動側ディスプレイ１０に送信する機能部である。送信部２３は、注目位置情報生成部２２から注目位置情報を入力する。移動側ディスプレイ１０から注目位置情報の要求を受信している場合には、送信部２３は、当該要求の送信元である移動側ディスプレイ１０に注目位置情報を送信する。
　基準側ディスプレイ２０側のトリガで注目位置情報が生成された場合には、送信部２３は、指定された移動側ディスプレイ１０に注目位置情報を送信する。注目位置情報が送信される移動側ディスプレイ１０は、予め指定されていてもよい。例えば、仮想空間及び表示情報を共有する全ての移動側ディスプレイ１０が、注目位置情報が送信される移動側ディスプレイ１０とされてもよい。あるいは、注目位置情報が送信される時点で基準側ディスプレイ２０のユーザによって、注目位置情報が送信される移動側ディスプレイ１０が指定されてもよい。以上が、基準側ディスプレイ２０の機能である。
　引き続いて、図６のシーケンス図を用いて、本実施形態に係る移動側ディスプレイ１０及び基準側ディスプレイ２０で実行される処理（移動側ディスプレイ１０及び基準側ディスプレイ２０が行う動作方法）を説明する。本処理は、移動側ディスプレイ１０において表示部１１による表示、及び基準側ディスプレイ２０において表示部２１による表示がそれぞれ行われる際のものである。また、移動側ディスプレイ１０及び基準側ディスプレイ２０では、互いに仮想空間及び表示情報が共有された上で表示が行われる。
　本処理では、基準側ディスプレイ２０において、注目位置情報生成部２２によって、注目位置情報の生成のトリガが入力される（Ｓ０１）。続いて、注目位置情報生成部２２によって、基準側ディスプレイ２０における表示に応じて注目位置情報が生成される（Ｓ０２）。続いて、生成された注目位置情報が、送信部２３によって移動側ディスプレイ１０に送信される（Ｓ０３）。
　移動側ディスプレイ１０では、注目位置情報取得部１２によって、注目位置情報が受信されて取得される（Ｓ０４）。続いて、視線移動部１３によって、注目位置情報に基づいて、移動側ディスプレイ１０の表示における仮想空間の視線が移動される（Ｓ０５）。以上が、本実施形態に係る移動側ディスプレイ１０及び基準側ディスプレイ２０で実行される処理である。
　本実施形態によれば、移動側ディスプレイ１０の表示における仮想空間の視線が、基準側ディスプレイ２０における表示に応じた、基準側ディスプレイ２０における仮想空間の注目位置に基づいて移動される。従って、何れのディスプレイ１０，２０においても、仮想空間の注目位置に応じた表示が行われ、例えば、それぞれのディスプレイのユーザ間で同じ表示情報を参照させることができる。
　上述したようにディスプレイ１０，２０毎に独立した視線を用いた表示では、ユーザ毎に見える表示情報が異なる。本実施形態によってユーザ間で同じ表示情報を容易に参照させることができれば、仮想空間における表示情報の位置の言葉での伝え合い等を行うことなく、表示情報を参照しつつのユーザ間のコミュニケーションを円滑に行わせることができる。即ち、本実施形態によれば、複数のディスプレイ１０，２０間で共通の仮想空間の情報を表示する場合に適切に表示を行うことができる。
　また、上述したように移動側ディスプレイ１０では、以下のような構成を取ってもよい。移動前の移動側ディスプレイ１０の表示における仮想空間の視線にも基づいて視線を移動させてもよい。より具体的には、移動前の移動側ディスプレイ１０の表示における仮想空間の視線を基準とした予め設定された方向、例えば、上述したように方位角のみに視線を移動させてもよい。この構成によれば、視線の移動による表示の変更を移動側ディスプレイ１０のユーザにとってより受け入れやすいものとすることができる。但し、視線の移動は必ずしも上記のように行われる必要はなく、注目位置情報に基づくものであればどのように行われてもよい。
　また、視線の移動後に、注目位置情報によって示される注目位置又は注目位置に係る表示情報が移動側ディスプレイ１０の表示に含まれない場合に、当該注目位置又は当該表示情報の位置を示す表示を表示部１１に行わせてもよい。この構成によれば、上述したように移動側ディスプレイ１０のユーザは、この表示を参照することで当該注目位置又は当該表示情報を容易に見つけることができる。
　また、上述したように視線の移動後に、注目位置情報によって示される注目位置に係る表示情報について、注目位置に係るものであることを示す表示を表示部１１に行わせてもよい。この構成によれば、上述したように移動側ディスプレイ１０のユーザは、この表示を参照することで当該表示情報２００を容易に見つける、又は当該表示情報２００を容易に認識することができる。但し、視線の移動時に必ずしもこれらの表示を行う必要はない。
　また、上述したように基準側ディスプレイ２０では、以下のような構成を取ってもよい。注目位置情報を生成において、基準側ディスプレイ２０を装着するユーザの現実空間の視線を検出し、検出した視線にも応じて注目位置情報を生成してもよい。また、基準側ディスプレイ２０における表示において、基準側ディスプレイ２０のユーザによって指定される位置にも応じて注目位置情報を生成してもよい。これらの構成によれば、基準側ディスプレイ２０を装着するユーザが、より注目している位置に基づいて視線の共有を行うことができる。この結果、複数のディスプレイ１０，２０間で共通の仮想空間の情報を表示する場合に更に適切に表示を行うことができる。
　また、基準側ディスプレイ２０における表示において、基準側ディスプレイ２０のユーザによって指定される表示情報の位置にも応じて注目位置情報を生成してもよい。この構成によれば、基準側ディスプレイ２０を装着するユーザが、注目している表示情報に基づいて視線の共有を行うことができる。この結果、複数のディスプレイ１０，２０間で共通の仮想空間の情報を表示する場合に更に適切に表示を行うことができる。但し、注目位置情報の生成は、必ずしもこのように行われる必要はなく、基準側ディスプレイ２０における表示に応じて行われればよい。
　また、基準側ディスプレイ２０のユーザの音声、操作及びジェスチャの少なくとも何れかによる入力を注目位置情報の生成のトリガとしてもよい。この構成によれば、基準側ディスプレイ２０側のユーザによって、容易の視線の共有を行わせることができる。但し、注目位置情報の生成のトリガは、必ずしも上記のものである必要はない。
　上述した実施形態では、表示制御装置は、表示機能を有する移動側ディスプレイ１０及び基準側ディスプレイ２０として説明したが、必ずしも表示機能を有するものでなくてもよい。表示制御装置は、他のディスプレイとの間で共通の仮想空間に共通して配置された表示情報を、仮想空間のディスプレイ毎の視線に応じて表示する（即ち、表示部１１又は表示部２１を備える）ディスプレイに接続されて、ディスプレイにおける表示を制御する装置（システム）であり、上述した注目位置情報取得部１２と、視線移動部１３とを備えるもの、又は上述した注目位置情報生成部２２と、送信部２３とを備えるものであればよい。
　なお、移動側ディスプレイ１０における仮想空間の視線の移動、例えば、基準側ディスプレイ２０における仮想空間の視線との同期は、スナップショット的にその瞬間において行われる単発同期であってもよいし、基準側ディスプレイ２０における仮想空間の視線をトラッキングする動的同期であってもよい。動的同期が行われる場合、注目位置情報が継続的に基準側ディスプレイ２０から移動側ディスプレイ１０に送信されて、移動側ディスプレイ１０では当該注目位置情報に基づいて順次仮想空間の視線の移動が行われる。
　また、基準側ディスプレイ２０において、トリガの検出又は表示情報の指定に用いられる、タグ又はパターンは、特定の基準側ディスプレイ２０においてのみ設定されてもよいし、複数（例えば、全ての）の基準側ディスプレイ２０において共通して設定されてもよい。特定の基準側ディスプレイ２０においてのみ設定されている場合、その基準側ディスプレイ２０を用いる特定のユーザのみが、設定された情報に基づく機能を利用することができる。複数（例えば、全ての）の基準側ディスプレイ２０において共通して設定されている場合、その基準側ディスプレイ２０を用いる複数の（例えば、全ての）ユーザが、設定された情報に基づく機能を利用することができる。
　なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
　機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信部（transmitting　unit）又は送信機（transmitter）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。
　例えば、本開示の一実施の形態におけるディスプレイ１０，２０は、本開示の情報処理を行うコンピュータとして機能してもよい。図７は、本開示の一実施の形態に係るディスプレイ１０，２０のハードウェア構成の一例を示す図である。上述のディスプレイ１０，２０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。
　なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。ディスプレイ１０，２０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
　ディスプレイ１０，２０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。
　プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central　Processing　Unit）によって構成されてもよい。例えば、上述のディスプレイ１０，２０における各機能は、プロセッサ１００１によって実現されてもよい。
　また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、ディスプレイ１０，２０における各機能は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
　メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read　Only　Memory）、ＥＰＲＯＭ（Erasable　Programmable　ＲＯＭ）、ＥＥＰＲＯＭ（Electrically　Erasable　Programmable　ＲＯＭ）、ＲＡＭ（Random　Access　Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る情報処理を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。
　ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact　Disc　ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。ディスプレイ１０，２０が備える記憶媒体は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。
　通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
　入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。
　また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。
　また、ディスプレイ１０，２０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital　Signal　Processor）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＰＬＤ（Programmable　Logic　Device）、ＦＰＧＡ（Field　Programmable　Gate　Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。
　本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
　入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
　判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
　本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
　以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。
　ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
　また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital　Subscriber　Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
　本開示において使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。
　また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。
　本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking　up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。
　「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。
　本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
　本開示において使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみが採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。
　本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
　本開示において、例えば、英語でのa,　an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
　本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。
　１０…移動側ディスプレイ、１１…表示部、１２…注目位置情報取得部、１３…視線移動部、２０…基準側ディスプレイ、２１…表示部、２２…注目位置情報生成部、２３…送信部、１００１…プロセッサ、１００２…メモリ、１００３…ストレージ、１００４…通信装置、１００５…入力装置、１００６…出力装置、１００７…バス。

Claims (10)

  1. 　他のディスプレイとの間で共通の仮想空間に共通して配置された表示情報を、ディスプレイ毎の現実空間での位置又は姿勢に基づく仮想空間のディスプレイ毎の視線に応じて表示するディスプレイにおける表示に係る制御を行う表示制御装置であって、
    　前記他のディスプレイにおける表示に応じた、当該他のディスプレイにおける仮想空間の注目位置を示す注目位置情報を取得する注目位置情報取得部と、
    　前記注目位置情報取得部によって取得された注目位置情報に基づいて、前記ディスプレイの表示における仮想空間の視線を移動させる視線移動部と、
    を備える表示制御装置。
  2. 　前記視線移動部は、移動前の前記ディスプレイの表示における仮想空間の視線にも基づいて視線を移動させる請求項１に記載の表示制御装置。
  3. 　前記視線移動部は、移動前の前記ディスプレイの表示における仮想空間の視線を基準とした予め設定された方向に視線を移動させる請求項２に記載の表示制御装置。
  4. 　前記視線移動部は、前記注目位置情報によって示される注目位置又は当該注目位置に係る表示情報が前記ディスプレイの表示に含まれない場合に、当該注目位置又は当該表示情報の位置を示す表示をディスプレイに行わせる請求項１～３の何れか一項に記載の表示制御装置。
  5. 　前記視線移動部は、前記注目位置情報によって示される注目位置に係る表示情報について、注目位置に係るものであることを示す表示をディスプレイに行わせる請求項１～４の何れか一項に記載の表示制御装置。
  6. 　他のディスプレイとの間で共通の仮想空間に共通して配置された表示情報を、ディスプレイ毎の現実空間での位置又は姿勢に基づく仮想空間のディスプレイ毎の視線に応じて表示するディスプレイにおける表示に係る制御を行う表示制御装置であって、
    　所定のトリガによって、前記ディスプレイにおける表示に応じて、前記ディスプレイにおける仮想空間の注目位置を示す注目位置情報を生成する注目位置情報生成部と、
    　前記注目位置情報生成部によって生成された注目位置情報を他のディスプレイに送信する送信部と、
    を備える表示制御装置。
  7. 　前記注目位置情報生成部は、前記ディスプレイを装着するユーザの現実空間の視線を検出し、検出した視線にも応じて注目位置情報を生成する請求項６に記載の表示制御装置。
  8. 　前記注目位置情報生成部は、前記ディスプレイにおける表示において、当該ディスプレイのユーザによって指定される位置にも応じて注目位置情報を生成する請求項６又は７に記載の表示制御装置。
  9. 　前記注目位置情報生成部は、前記ディスプレイにおける表示において、当該ディスプレイのユーザによって指定される表示情報の位置にも応じて注目位置情報を生成する請求項６～８の何れか一項に記載の表示制御装置。
  10. 　前記注目位置情報生成部は、前記ディスプレイのユーザの音声、操作及びジェスチャの少なくとも何れかによる入力を前記所定のトリガとする請求項６～９の何れか一項に記載の表示制御装置。
PCT/JP2022/022834 2021-08-25 2022-06-06 表示制御装置 WO2023026628A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023543701A JPWO2023026628A1 (ja) 2021-08-25 2022-06-06

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-137104 2021-08-25
JP2021137104 2021-08-25

Publications (1)

Publication Number Publication Date
WO2023026628A1 true WO2023026628A1 (ja) 2023-03-02

Family

ID=85321763

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/022834 WO2023026628A1 (ja) 2021-08-25 2022-06-06 表示制御装置

Country Status (2)

Country Link
JP (1) JPWO2023026628A1 (ja)
WO (1) WO2023026628A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091057A (ja) * 1996-09-17 1998-04-10 Mitsubishi Electric Corp 技術相談支援システム
JP2000020753A (ja) * 1998-07-07 2000-01-21 Mitsubishi Electric Corp 仮想空間制御装置
JP2018073172A (ja) * 2016-10-31 2018-05-10 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
JP2018142230A (ja) * 2017-02-28 2018-09-13 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091057A (ja) * 1996-09-17 1998-04-10 Mitsubishi Electric Corp 技術相談支援システム
JP2000020753A (ja) * 1998-07-07 2000-01-21 Mitsubishi Electric Corp 仮想空間制御装置
JP2018073172A (ja) * 2016-10-31 2018-05-10 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
JP2018142230A (ja) * 2017-02-28 2018-09-13 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
JPWO2023026628A1 (ja) 2023-03-02

Similar Documents

Publication Publication Date Title
EP3997552B1 (en) Virtual user interface using a peripheral device in artificial reality environments
US10102674B2 (en) Virtual reality headset connected to a mobile computing device
US10782793B2 (en) Context-sensitive hand interaction
US11054918B2 (en) Position-based location indication and device control
US9530232B2 (en) Augmented reality surface segmentation
US10275046B2 (en) Accessing and interacting with information
EP3479198B1 (en) Hover touch input compensation in augmented and/or virtual reality
US10950205B2 (en) Electronic device, augmented reality device for providing augmented reality service, and method of operating same
JP2020052991A (ja) ジェスチャ認識に基づく対話型ディスプレイの方法及び装置
WO2016118606A1 (en) Phone control and presence in virtual reality
CN111742281B (zh) 用于针对显示在显示器上的第一内容提供根据外部对象的移动的第二内容的电子装置及其操作方法
US10416783B2 (en) Causing specific location of an object provided to a device
WO2014137947A1 (en) Modifying functionality based on distances between devices
CN108549487A (zh) 虚拟现实交互方法与装置
WO2023026628A1 (ja) 表示制御装置
US20200033936A1 (en) Remote work supporting system, remote work supporting method, and program
JP6374203B2 (ja) 表示システム及びプログラム
WO2023026700A1 (ja) 表示制御装置
WO2022201739A1 (ja) 表示制御装置
WO2023026798A1 (ja) 表示制御装置
WO2022190735A1 (ja) 表示制御装置
WO2023223750A1 (ja) 表示装置
JP2024089241A (ja) 表示制御装置
WO2023007927A1 (ja) 仮想空間提供装置
JP2023181639A (ja) 情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22860923

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023543701

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE