WO2021085130A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2021085130A1
WO2021085130A1 PCT/JP2020/038735 JP2020038735W WO2021085130A1 WO 2021085130 A1 WO2021085130 A1 WO 2021085130A1 JP 2020038735 W JP2020038735 W JP 2020038735W WO 2021085130 A1 WO2021085130 A1 WO 2021085130A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
dimensional
display device
transition
content
Prior art date
Application number
PCT/JP2020/038735
Other languages
English (en)
French (fr)
Inventor
靖子 石原
浩丈 市川
敦 石原
一 若林
木村　隆臣
井上　正行
秀憲 青木
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2021554318A priority Critical patent/JP7484929B2/ja
Priority to US17/770,444 priority patent/US11770517B2/en
Publication of WO2021085130A1 publication Critical patent/WO2021085130A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes

Definitions

  • This technology relates to information processing devices, information processing methods and programs.
  • Patent Document 1 describes a system in which a user can simultaneously observe a two-dimensional content displayed on a two-dimensional display and a virtual object displayed on an AR (Augmented Reality) display device. ..
  • a two-dimensional display such as a television receiver and an AR display device such as a smartphone
  • a predetermined object of two-dimensional content such as a game or a movie displayed on the two-dimensional display is actually used as a three-dimensional display model.
  • a technique has been proposed to make a transition so that it pops out into space.
  • the purpose of this technology is to provide a natural appearance when a predetermined object of 2D content displayed on a 2D display is transitioned to the 3D display model of an AR display device, or vice versa. To do.
  • the information processing device includes a control unit that controls the transition so that the two-dimensional content is switched from the motion discriminant non-applied display to the motion discriminant applied display.
  • the control unit controls the transition so that the two-dimensional content is switched from the motion parallax non-applied display to the motion parallax applied display.
  • the control unit when there is one augmented reality display device, the motion parallax application display is displayed on the two-dimensional display, and when there are a plurality of augmented reality display devices, the motion parallax application display is the augmented reality display device. It may be controlled so that it is displayed in.
  • the motion parallax application display is displayed on the two-dimensional display, and a predetermined object on the two-dimensional display pops out as a three-dimensional display model, or the three-dimensional display model is two-dimensional. It is possible to make it look more natural to return as a predetermined object on the display.
  • the motion disparity application display is displayed on the augmented reality display device, and the motion disparity application display is performed according to the position of each augmented reality display device. It is possible to show the user a natural transition with an augmented reality display device.
  • control unit may be configured to control so that the transition is performed based on the information on the position and orientation of the augmented reality display device with respect to the two-dimensional display.
  • a communication unit that communicates with a two-dimensional display and an augmented reality display device is further provided, and the control unit acquires user gaze information based on position and orientation information from the augmented reality display device via the communication unit. May be done.
  • control unit may control so that the transition is performed when the distance between the two-dimensional display and the augmented reality display device is within a predetermined range.
  • control unit may be configured to control so that the transition is performed when the orientation of the augmented reality display device is within a predetermined range with respect to the two-dimensional display.
  • control unit may control so that the transition is performed when the line of sight of the user wearing the augmented reality display device is directed to the two-dimensional display.
  • control unit may be included in a cloud server connected to a two-dimensional display and an augmented reality display device via a network.
  • the cloud server may be set to be a game server.
  • the control unit controls so that the predetermined object is not displayed on the two-dimensional display after the transition and while the three-dimensional display model is displayed.
  • the 3D display model is transitioned as a predetermined object of the 2D content
  • the 3D display model is controlled not to be displayed on the extended reality display device after the transition and while the predetermined object of the 2D content is displayed. May be done.
  • the predetermined object of the two-dimensional content and the three-dimensional display model may be the content treated as the same object on the application executed by the control unit.
  • the transition is controlled so that the transition is performed after the two-dimensional content is switched from the motion disparity non-applied display to the motion disparity applied display. Therefore, it is possible to make the appearance look natural at the time of transition.
  • FIG. 1 shows a configuration example of the game system 10 as an embodiment.
  • the game system 10 includes a game server 100, a 2D (two dimensions) display 200, and one or more AR (Augmented Reality) display devices 300.
  • the game server 100 is a device that manages the progress of game content, and constitutes a control unit.
  • the game server 100 is a cloud server accessed on a network such as the Internet.
  • the 2D display 200 has a function equivalent to that of a PC (Personal Computer) or a game machine that executes a game.
  • the 2D display 200 is a television receiver, a projector, or the like.
  • the AR display device 300 has a function of presenting a three-dimensional display model of augmented reality to the user.
  • the AR display device 300 is an AR glass, an HMD (Head Mounted Display), or the like.
  • the 2D display 200 and the AR display device 300 are connected to the game server 100 via a network such as the Internet.
  • a client application of a game application is installed in the 2D display 200 and the AR display device 300 in advance, and the game progresses based on the game control by the game server 100.
  • information such as the user position is sent from the AR display device 300 to the game server 100.
  • the game server 100 determines that the user is gazing at the 2D display 200 through the display unit of the AR display device 300 and determines that it is a transition scene
  • the game server 100 displays a predetermined object of the two-dimensional content in three dimensions. Transition to the model, or transition the 3D display model to a predetermined object of 2D content.
  • the predetermined object of the two-dimensional content and the three-dimensional display model are the contents treated as the same object on the application executed by the game server 100.
  • the predetermined object of the two-dimensional content and the three-dimensional display model are the same object, the appearance of the object may change, for example, the shape of the object changes before and after the transition.
  • the predetermined object of the 2D content displayed on the 2D display 200 comes out as an augmented reality 3D display model.
  • the game server 100 uses the two-dimensional display 200 to display the predetermined object of the two-dimensional content after the transition and while the three-dimensional display model is displayed. Control so that it is not displayed in.
  • the augmented reality 3D display model enters as the predetermined object of the 2D content displayed on the 2D display 200.
  • the game server 100 uses the AR display device 300 for the 3D display model after the transition and while the predetermined object of the 2D content is displayed. Control so that it is not displayed in.
  • the motion parallax application display is a display method for displaying a predetermined object of two-dimensional content on the display so that it can be seen as a three-dimensional object according to the movement of the user's viewpoint position
  • the motion parallax non-application display is a display method for the user's viewpoint position. This is a display method for displaying a predetermined object of two-dimensional content on a display without depending on movement.
  • the game server 100 controls so that the motion parallax application display is displayed on the two-dimensional display 200. This makes it possible to make it look more natural that a predetermined object on the 2D display pops out as a 3D display model or the 3D display model returns as a predetermined object on the 2D display. ..
  • the AR display device 300 determines whether or not the user is gazing at the 2D display 200 from the sensor information of the mounted position and orientation, the sensor information of the user's line of sight, and the like. For example, the AR display device 300 may determine that the user is gazing at the 2D display 200 when the distance between the AR display device 300 and the 2D display 200 is within a predetermined range.
  • the AR display device 300 when the distance between the AR display device 300 and the 2D display 200 is within a predetermined range and the orientation of the AR display device 300 is within a predetermined range with respect to the 2D display 200. It may be determined that the user is gazing at the 2D display 200. In this case, the condition that the user's line of sight is directed to the 2D display 200 may be further added.
  • the AR display device 300 determines that the user is gazing at the 2D display 200
  • the AR display device 300 notifies the game server 100 of the user's gazing.
  • the game server 100 Upon receiving the notification of the gaze determination, the game server 100 notifies the 2D display 200 of switching to the motion parallax application display.
  • the 2D display 200 Upon receiving the notification, the 2D display 200 starts the motion parallax application display and notifies the game server 100 of the display.
  • the game server 100 that has received the notification notifies the AR display device 300 of the transition start permission.
  • the AR display device 300 starts a transition in which the three-dimensional display model exits the 2D display 200.
  • the 2D display 200 notifies the game server 100 of the start of the motion parallax application display, then erases the transition target object from the screen, and then returns to the normal display (motion parallax non-application display).
  • FIG. 2 shows a state in which two-dimensional content is displayed on the 2D display 200, and one user wearing the AR display device 300 is gazing at it.
  • the display should be switched to the AR display device 300 (transition scene)
  • the transition from the predetermined object of the two-dimensional content to the three-dimensional display model is performed.
  • FIG. 3A shows a state in which the two-dimensional content is displayed on the 2D display 200 and the user is gazing at it in front.
  • FIG. 3B shows a state in which the object 501A of the two-dimensional content directly transitions to the three-dimensional display model 501B corresponding to the front position. In this case, it's not too unnatural.
  • FIG. 3C shows a state in which a two-dimensional content is displayed on the 2D display 200 and the user is gazing at it from the right side.
  • FIG. 3D shows a state in which the object 501A of the two-dimensional content directly transitions to the three-dimensional display model 501B corresponding to the right position. In this case, the angle at which the three-dimensional display model 501B appears does not match the screen of the 2D display 200, resulting in an unnatural appearance.
  • FIG. 4A shows a state in which a two-dimensional content is displayed on the 2D display 200 and the user is gazing at it from the right side.
  • FIG. 4B shows a state in which the display of the two-dimensional content of the 2D display 200 is switched to the motion parallax application display corresponding to the right user position.
  • FIG. 4C shows a state in which the object 501A of the two-dimensional content in the state of the motion parallax application display has transitioned to the three-dimensional display model 501B corresponding to the right position.
  • the appearance is natural.
  • the game server 100 controls so that the motion parallax application display is displayed on the AR display device 300.
  • the position of each AR display device 300 that is, the motion parallax application display suitable for the user position is performed, so that all the AR display devices 300 can show a natural transition.
  • the AR display device 300 determines whether or not the user is gazing at the 2D display 200 from the sensor information of the mounted position and orientation, the sensor information of the user's line of sight, and the like. Although detailed description is omitted, the method of this determination is the same as in the case of the above-mentioned one-person play.
  • the AR display device 300 determines that the user is gazing at the 2D display 200, the AR display device 300 notifies the game server 100 of it.
  • the game server 100 that has received the notification of the gaze determination notifies the AR display device 300 of switching to the motion parallax application display.
  • the AR display device 300 starts the motion parallax application display of the two-dimensional content and notifies the game server 100 of it.
  • the game server 100 which has received the start notification of the motion parallax application display from all the AR display devices 300, notifies the 2D display 200 of the deletion of the transition target object. Upon receiving the notification, the 2D display 100 erases the transition target object from the screen. After notifying the game server 100 of the start of the motion parallax application display as described above, the AR display device 300 starts a transition in which the three-dimensional display model exits from the two-dimensional content of the motion parallax application display, and then the transition. End the display of the two-dimensional content.
  • FIG. 5 shows a state in which two-dimensional contents are displayed on the 2D display 200, and a plurality of users equipped with the AR display device 300, in this case, two users are watching the contents.
  • the display should be switched to the AR display device 300 (transition scene)
  • the transition from the predetermined object of the two-dimensional content to the three-dimensional display model is performed.
  • FIG. 6A shows a motion parallax application display corresponding to the right user position of the two-dimensional content displayed on the AR display device 300. Further, FIG. 6B shows a motion parallax application display corresponding to the left user position of the two-dimensional content displayed on the AR display device 300.
  • FIG. 7A shows a state in which the two-dimensional content is displayed on the 2D display 200 and the user is gazing at it from the right side.
  • FIG. 7B shows a state in which the display of the two-dimensional content of the 2D display 200 is switched to the motion parallax application display corresponding to the right user position. This motion parallax application display is displayed not on the 2D display 200 but on the AR display device 300 of the right user.
  • FIG. 7C shows a state in which the object 501A of the two-dimensional content in the state of the motion parallax application display has transitioned to the three-dimensional display model 501B corresponding to the right position. In this case, it looks natural.
  • FIG. 8A shows a state in which the two-dimensional content is displayed on the 2D display 200 and the user is gazing at it from the left side.
  • FIG. 8B shows a state in which the display of the two-dimensional content of the 2D display 200 is switched to the motion parallax application display corresponding to the left user position. This motion parallax application display is displayed not on the 2D display 200 but on the AR display device 300 of the left user.
  • FIG. 8C shows a state in which the object 501A of the two-dimensional content in the state of the motion parallax application display has transitioned to the three-dimensional display model 501B corresponding to the left position. In this case, it looks natural.
  • FIG. 9 shows a configuration example of the game server 100.
  • the game server 100 is a device that manages the progress of game content or video content.
  • the game server 100 has a control unit 101, a communication unit 102, and a storage unit 103.
  • the control unit 101 controls the operation of each unit of the game server 100 by using hardware such as a CPU and RAM imaged in the game server 100.
  • the control unit 101 includes a communication control unit 111, a transition determination unit 112, and a state management unit 113.
  • the configuration is the same as that of a general game server.
  • the communication control unit 111 has a function for communicating with a device (2D display 200, AR display device 300, etc.) that executes a game.
  • the transition determination unit 112 has a function of determining whether to switch the display from the 2D display 200 to the AR display device and vice versa, and determining on which device the motion parallax expression is executed. Specifically, the determination is made based on the user's gaze information of the 2D display 200 sent from the AR display device 300 and the progress of the game content or the video content.
  • the state management unit 113 has a function of managing the progress of the game content or the video content according to the state of the user. This is a standard feature in common online games.
  • FIG. 10 shows a configuration example of the 2D display 200.
  • the 2D display 200 has a control unit 201, a communication unit 202, a storage unit 203, and a display 204.
  • the control unit 201 controls the operation of each unit of the 2D display 200 by using hardware such as a CPU and RAM imaged in the 2D display 200.
  • the control unit 201 includes a communication control unit 211, a drawing processing unit 212, and a display control unit 213.
  • the configuration is the same as that of a general PC or game machine that executes a game.
  • the communication control unit 211 has a function for communicating with the game server 100.
  • the drawing control unit 212 has a function of rendering (drawing) the content to be displayed on the 2D display 200.
  • the drawing processing unit 212 also performs a process of generating an image in which motion parallax is enabled.
  • the display control unit 213 has a function of displaying the rendering result of the drawing processing unit 212 on the display 204.
  • FIG. 11 shows a configuration example of the AR display device 300.
  • the AR display device 300 includes a control unit 301, a communication unit 302, a sensor unit 303, a display unit 304, and a storage unit 305.
  • the sensor unit 303 is a sensor for obtaining user information and external environment information.
  • the sensor unit 303 includes various sensors such as a stereo camera and a gyro sensor.
  • the display unit 304 includes a left-eye display and a right-eye display.
  • the control unit 301 controls the operation of each part of the AR display device 300 by using hardware such as a CPU and RAM imaged in the AR display device 300.
  • the control unit 301 includes a communication control unit 311, a drawing processing unit 312, a display control unit 313, an input control unit 314, a recognition unit 315, and a gazing point determination unit 316.
  • the input control unit 314 has a function of managing input information from the camera and other sensors included in the sensor unit 303.
  • the communication control unit 311 has a function for communicating with the game server 100.
  • the recognition unit 315 recognizes the position and orientation of the AR display device 300 with respect to the 2D display 200, as well as the line of sight of the user, by recognizing an image of a camera image or the like.
  • the gaze point determination unit 316 determines whether or not the user is gazing at the 2D display 200 from the information obtained from the recognition unit 315 and the spatial map in advance.
  • the drawing processing unit 312 has a function of rendering (drawing) the content (three-dimensional display model) to be displayed on the AR display device 300.
  • the drawing processing unit 312 also controls a plurality of players to display two-dimensional content with motion parallax enabled at the position of the 2D display 200 at the time of display transition.
  • the display control unit 313 has a function of displaying the rendering result by the drawing processing unit 312 on the display unit 304.
  • the flowchart of FIG. 12 shows an example of the processing procedure of the game server 100 when the transition from the predetermined object of the two-dimensional content to the three-dimensional display model is performed.
  • the game server 100 repeatedly executes the process of the flowchart of FIG.
  • the game server 100 starts processing in step ST1 at, for example, at the timing of starting the game.
  • the game server 100 receives a gaze notification of the 2D display 200 from one or more AR display devices 300, and then in step ST3, a scene in which the display should be switched to the AR display device 300 ( Judge whether or not it is a transition scene).
  • the game server 100 ends the process in step ST4.
  • the game server 100 determines in step ST5 whether or not the game is played by a plurality of players.
  • the game server 100 determines that the AR display device 300 that received the gaze notification in step ST2 is one player play, and if there are a plurality of AR display devices 300, it is determined that the game server 100 is a plurality of players.
  • the game server 100 When it is determined that the game is not played by multiple players, that is, the game is played by one player, the game server 100 notifies the 2D display 200 of switching to the motion parallax application display (motion parallax presence display) in step ST6. Next, in step ST7, the game server 100 receives a notification of the start of the motion parallax application display from the 2D display 200.
  • step ST8 the game server 100 notifies the AR display device 300 of the transition start permission.
  • step ST9 the game server 100 notifies the 2D display 200 of the deletion of the transition target object. After the process of step ST9, the game server 100 proceeds to step ST4 and ends the process.
  • step ST5 when the game server 100 determines in step ST5 that a plurality of players are playing, the game server 100 notifies the plurality of AR display devices 300 of switching to the motion parallax application display (motion parallax presence display) in step ST10.
  • step ST11 the game server 100 receives notification of the start of the motion parallax application display from all the AR display devices 300, and then notifies the 2D display 200 of the deletion of the transition target object in step ST12. .
  • step ST12 After the process of step ST12, the game server 100 proceeds to step ST4 and ends the process.
  • the flowchart of FIG. 13 shows an example of the processing procedure of the AR display device 300 when the transition from the predetermined object of the two-dimensional content to the three-dimensional display model is performed.
  • the AR display device 300 repeatedly executes the process of the flowchart of FIG.
  • the AR display device 300 starts processing in step ST21, for example, at the timing of starting the game.
  • the AR display device 300 acquires position and orientation information in step ST22. In this case, the user's line-of-sight information may be further acquired.
  • step ST23 the AR display device 300 determines whether or not the 2D display 200 is being watched based on the information acquired in step ST22. When it is determined that the 2D display 200 is not being watched, the AR display device 300 ends the process in step ST24.
  • the AR display device 300 notifies the game server 100 of the watching of the 2D display 200 in step ST25.
  • the AR display device 300 receives a transition start permission notification from the game server 100 in step ST26.
  • the AR display device 300 starts the transition in which the three-dimensional display model comes out of the 2D display 200 in step ST27.
  • the AR display device 300 proceeds to step ST24 and ends the process.
  • the AR display device 300 receives a notification from the game server 100 of the motion parallax application display switching in step ST28. Next, the AR display device 300 starts the motion parallax application display in step ST29. That is, the AR display device 300 starts displaying the two-dimensional content in which the motion parallax is enabled at the position of the 2D display 200.
  • step ST30 the AR display device 300 notifies the game server 100 of the start of the motion parallax application display.
  • step ST31 the AR display device 300 starts a transition in which the three-dimensional display model exits from the 2D content in which the motion parallax is enabled.
  • step ST32 the AR display device 300 ends the display of the two-dimensional content for which the motion parallax is enabled. After the process of step ST32, the AR display device 300 proceeds to step ST24 and ends the process.
  • the flowchart of FIG. 14 shows an example of the processing procedure of the 2D display 200 when the transition from the predetermined object of the two-dimensional content to the three-dimensional display model is performed.
  • the 2D display 200 repeatedly executes the process of the flowchart of FIG.
  • the 2D display 200 starts processing in step ST41, for example, at the timing of starting the game.
  • the 2D display 200 receives a notification from the game server 100 of switching the motion parallax application display in step ST42.
  • the 2D display 200 starts the motion parallax application display in step ST43.
  • the 2D display 200 notifies the game server 100 of the start of the motion parallax application display.
  • step ST45 the 2D display 200 receives a deletion notification of the transition target object from the game server 100.
  • step ST46 the 2D display 200 erases the transition target object from the screen (two-dimensional content display screen).
  • the 2D display 200 is set to a normal display, that is, a display in which motion parallax is not applied (no motion parallax is displayed).
  • step ST47 the 2D display 200 proceeds to step ST48 and ends the process.
  • the 2D display 200 receives a deletion notification of the transition target object from the game server 100 in step ST49.
  • step ST50 the 2D display 200 erases the transition target object from the screen (two-dimensional content display screen).
  • step ST48 the process of step ST50.
  • the flowchart of FIG. 15 shows an example of the processing procedure of the game server 100 when the transition from the three-dimensional display model to the predetermined object of the two-dimensional content is performed.
  • the game server 100 repeatedly executes the process of the flowchart of FIG.
  • the game server 100 starts processing in step ST61, for example, at the timing of starting the game.
  • step ST62 the game server 100 receives a gaze notification of the 2D display 200 from one or more AR display devices 300, and then in step ST63, the scene (transition) in which the display should be switched to the 2D display 200. Judge whether or not it is a scene).
  • step ST64 the process in step ST64.
  • step ST65 it determines whether or not the game is played by a plurality of players.
  • the game server 100 determines that the AR display device 300 that received the gaze notification in step ST62 is one player play, and if there are a plurality of AR display devices 300, it is determined that the game server 100 is a plurality of players.
  • the game server 100 When it is determined that the game is not played by multiple players, that is, the game is played by one player, the game server 100 notifies the 2D display 200 of switching to the motion parallax application display (motion parallax presence display) in step ST66. Next, in step ST67, the game server 100 receives a notification of the start of the motion parallax application display from the 2D display 200.
  • step ST68 the game server 100 notifies the AR display device 300 of the transition start permission.
  • step ST69 the game server 100 receives a transition completion notification of the three-dimensional display model from the AR display device 300.
  • step ST70 the game server 100 notifies the 2D display 200 of the display of the transition target object. After the process of step ST70, the game server 100 proceeds to step ST64 and ends the process.
  • step ST65 when the game server 100 determines in step ST65 that a plurality of players are playing, the game server 100 notifies the plurality of AR display devices 300 of switching to the motion parallax application display (motion parallax presence display) in step ST71.
  • step ST72 the game server 100 receives a transition completion notification of the three-dimensional display model from all the AR display devices 300.
  • step ST73 the game server 100 notifies the AR display device 300 of the end of the motion parallax application display.
  • step ST74 the game server 100 notifies the 2D display 200 of the display of the transition target object. After the process of step ST74, the game server 100 proceeds to step ST64 and ends the process.
  • the flowchart of FIG. 16 shows an example of the processing procedure of the AR display device 300 when the transition from the three-dimensional display model to the predetermined object of the two-dimensional content is performed.
  • the AR display device 300 repeatedly executes the process of the flowchart of FIG.
  • the AR display device 300 starts processing in step ST81, for example, at the timing of starting the game.
  • the AR display device 300 acquires position and orientation information in step ST82. In this case, the user's line-of-sight information may be further acquired.
  • step ST83 the AR display device 300 determines whether or not the 2D display 200 is being watched based on the information acquired in step 82. When it is determined that the 2D display 200 is not being watched, the AR display device 300 ends the process in step ST84.
  • the AR display device 300 notifies the game server 100 of the watching of the 2D display 200 in step ST85.
  • the AR display device 300 receives a transition start permission notification from the game server 100 in step ST86.
  • step ST87 the AR display device 300 starts a transition in which the three-dimensional display model returns to the 2D display 200.
  • step ST88 the AR display device 300 notifies the game server 100 of the completion of the transition of the three-dimensional display model.
  • step ST89 the AR display device 300 proceeds to step ST84 and ends the process.
  • the AR display device 300 receives a notification from the game server 100 of the motion parallax application display switching in step ST90.
  • the AR display device 300 starts the motion parallax application display in step ST91. That is, the AR display device 300 starts displaying the two-dimensional content in which the motion parallax is enabled at the position of the 2D display 200.
  • step ST92 the AR display device 300 starts a transition in which the three-dimensional display model returns to the two-dimensional screen.
  • the AR display device 300 notifies the game server 100 of the completion of the transition of the three-dimensional display model.
  • the AR display device 300 receives a notification of the end of the motion parallax application display in step ST94.
  • the AR display device 300 ends the motion parallax application display in step ST95.
  • the AR display device 300 proceeds to step ST84 and ends the process.
  • the flowchart of FIG. 17 shows an example of the processing procedure of the 2D display 200 when the transition from the three-dimensional display model to the predetermined object of the two-dimensional content is performed.
  • the 2D display 200 repeatedly executes the process of the flowchart of FIG.
  • the 2D display 200 starts processing in step ST101, for example, at the timing of starting a game.
  • the 2D display 200 receives a notification from the game server 100 of switching the motion parallax application display in step ST102.
  • the 2D display 200 starts the motion parallax application display in step ST103.
  • the 2D display 200 notifies the game server 100 of the start of the motion parallax application display.
  • step ST105 the 2D display 200 receives a display notification of the transition target object from the game server 100.
  • step ST106 the 2D display 200 displays the transition target object on the screen (display screen of the two-dimensional content).
  • the 2D display 200 is set to a normal display, that is, a display in which motion parallax is not applied (no motion parallax display).
  • step ST107 the 2D display 200 proceeds to step ST108 and ends the process.
  • the 2D display 200 receives a display notification of the transition target object from the game server 100 in step ST109.
  • step ST110 the 2D display 200 displays the transition target object on the screen (display screen of the two-dimensional content).
  • the 2D display 200 proceeds to step ST108 and ends the process.
  • the 2D content is changed from the motion disparity non-applied display (no motion disparity display) to the motion disparity applied display (with motion disparity).
  • the transition is performed after switching to (display). Therefore, it can be made to look natural at the time of transition.
  • the motion parallax application display is displayed on the two-dimensional display. Therefore, it is possible to make it appear more natural that a predetermined object on the 2D display 200 pops out as a 3D display model or the 3D display model returns as a predetermined object on the 2D display 200. Become.
  • the motion parallax application display is displayed on the AR display device 300. Therefore, since the motion parallax application display is performed according to the position of each AR display device 300, it is possible to show the user a natural transition on all the AR display devices 300.
  • the game system 10 is composed of a game server 100, a 2D display 200, and an AR display device 300.
  • the function of the game server 100 is provided to the 2D display 200 or the AR display device 300.
  • a configuration that does not have the game server 100 is also conceivable.
  • the present technology can have the following configurations. (1) When a predetermined object of the two-dimensional content displayed on the two-dimensional display is transitioned as the three-dimensional display model of the extended reality display device, or the three-dimensional display model of the extended reality display device is displayed on the two-dimensional display.
  • An information processing device including a control unit that controls the transition so that the transition is performed after the two-dimensional content is switched from the motion discriminant non-applied display to the motion discriminant applied display when the two-dimensional content is transitioned as a predetermined object.
  • the control unit displays the motion parallax application display on the two-dimensional display when there is one augmented reality display device, and when there are a plurality of augmented reality display devices, the control unit said.
  • the information processing device which controls the motion parallax application display so as to be displayed on the augmented reality display device.
  • the information processing device controls so that the transition is performed when the orientation of the augmented reality display device is within a predetermined range with respect to the two-dimensional display.
  • the three-dimensional object is displayed after the transition and while the predetermined object of the two-dimensional content is displayed.
  • the information processing device according to any one of (1) to (7) above, which controls the display model so as not to be displayed on the augmented reality display device.
  • the information processing device according to (8), wherein the predetermined object of the two-dimensional content and the three-dimensional display model are contents treated as the same object on the application executed by the control unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

２次元ディスプレイに表示された２次元コンテンツの所定オブジェクトからＡＲ表示装置の３次元表示モデルへの遷移、またはその逆の遷移を自然な見え方とする。　２次元コンテンツを運動視差非適用表示から運動視差適用表示に切り替えた後に、遷移が行われるように制御する。例えば、ＡＲ示装置が一つである場合には運動視差適用表示を２次元ディスプレイに表示し、ＡＲ表示装置が複数である場合には運動視差適用表示をＡＲ表示装置に表示するように制御する。

Description

情報処理装置、情報処理方法およびプログラム
　本技術は、情報処理装置、情報処理方法およびプログラムに関する。
　従来、例えば、特許文献１には、２次元ディスプレイに表示される２次元コンテンツとＡＲ（拡張現実：Augmented Reality）表示装置で表示される仮想物体をユーザが同時に観察し得るシステムが記載されている。また、従来、例えば、テレビ受信機等の２次元ディスプレイとスマートフォンなどのＡＲ表示装置を使って、２次元ディスプレイに表示されたゲームや映画等の２次元コンテンツの所定オブジェクトを３次元表示モデルとして実空間に飛び出してくるように遷移させる技術が提案されている。
特開２００２－２４７６０２号公報
　２次元ディスプレイに表示された２次元コンテンツの所定オブジェクトをＡＲ表示装置の３次元表示モデルに遷移させる場合、ＡＲ表示装置が２次元ディスプレイに対して斜めに位置しているときは、３次元表示モデルの出現する角度が２次元ディスプレイにおける画面と一致せず、不自然な見え方となるという問題があった。この場合、２次元ディスプレイに表示された２次元コンテンツの所定オブジェクトが３次元表示モデルに遷移してきたように感じられない。
　本技術の目的は、２次元ディスプレイに表示された２次元コンテンツの所定オブジェクトをＡＲ表示装置の３次元表示モデルに遷移させる場合、またはその逆に遷移させる場合に、自然な見え方となるようにする、ことにある。
　本技術の概念は、
　２次元ディスプレイに表示されている２次元コンテンツの所定オブジェクトを拡張現実表示装置の３次元表示モデルとして遷移させる場合、または前記拡張現実表示装置の３次元表示モデルを前記２次元ディスプレイに表示される２次元コンテンツの所定オブジェクトとして遷移させる場合、前記２次元コンテンツを運動視差非適用表示から運動視差適用表示に切り替えた後に、前記遷移が行われるように制御する制御部を備える
　情報処理装置にある。
　本技術は、２次元ディスプレイに表示されている２次元コンテンツの所定オブジェクトを拡張現実表示装置の３次元表示モデルとして遷移させる場合、または拡張現実表示装置の３次元表示モデルを２次元ディスプレイに表示される２次元コンテンツの所定オブジェクトとして遷移させる場合の技術である。
　制御部により、２次元コンテンツを運動視差非適用表示から運動視差適用表示に切り替えた後に、遷移が行われるように制御される。例えば、制御部は、拡張現実表示装置が一つである場合には運動視差適用表示が２次元ディスプレイに表示され、拡張現実表示装置が複数である場合には運動視差適用表示が拡張現実表示装置に表示されるように制御する、ようにされてもよい。
　拡張現実表示装置が一つである場合には、運動視差適用表示が２次元ディスプレイに表示され、２次元ディスプレイ上の所定オブジェクトが３次元表示モデルとして飛び出してくる、または３次元表示モデルが２次元ディスプレイ上の所定オブジェクトとして戻っていくということを、より自然に見せることが可能となる。一方、拡張現実表示装置が複数である場合には、運動視差適用表示が拡張現実表示装置に表示され、それぞれの拡張現実表示装置の位置に合った運動視差適用表示がなされることから、全ての拡張現実表示装置で自然な遷移をユーザに見せることが可能となる。
　また、例えば、制御部は、２次元ディスプレイに対する拡張現実表示装置の位置と向きの情報に基づいて、遷移が行われるように制御する、ようにされてもよい。この場合、例えば、２次元ディスプレイおよび拡張現実表示装置と通信をする通信部をさらに備え、制御部は、通信部を介して、拡張現実表示装置から位置と向きの情報に基づくユーザ注視情報を取得する、ようにされてもよい。
　また、この場合、例えば、制御部は、２次元ディスプレイと拡張現実表示装置の間の距離が所定範囲内にあるとき、遷移が行われるように制御する、ようにされてもよい。このとき、例えば、制御部は、拡張現実表示装置の向きが２次元ディスプレイに対して所定範囲内にあるとき、遷移が行われるように制御する、ようにされてもよい。そして、このとき、例えば、制御部は、拡張現実表示装置を装着するユーザの視線が２次元ディスプレイに向いているとき、遷移が行われるように制御する、ようにされてもよい。
　また、例えば、制御部は、２次元ディスプレイおよび拡張現実表示装置とネットワークを介して接続されたクラウドサーバに含まれる、ようにされてもよい。この場合、例えば、クラウドサーバは、ゲームサーバである、ようにされてもよい。また、例えば、制御部は、２次元コンテンツの所定オブジェクトを３次元表示モデルとして遷移させる場合、遷移の後かつ３次元表示モデルが表示されている間は所定オブジェクトが２次元ディスプレイに表示されないよう制御する、または３次元表示モデルを２次元コンテンツの所定オブジェクトとして遷移させる場合、遷移の後かつ２次元コンテンツの所定オブジェクトが表示されている間は３次元表示モデルが拡張現実表示装置に表示されないよう制御する、ようにされてもよい。この場合、例えば、２次元コンテンツの所定オブジェクトと３次元表示モデルは制御部が実行するアプリケーション上で同一のオブジェクトとして扱われるコンテンツであってもよい。
　このように本技術においては、２次元ディスプレイに表示されている２次元コンテンツの所定オブジェクトを拡張現実表示装置の３次元表示モデルとして遷移させる場合、または拡張現実表示装置の３次元表示モデルを２次元ディスプレイに表示される２次元コンテンツの所定オブジェクトとして遷移させる場合に、２次元コンテンツを運動視差非適用表示から運動視差適用表示に切り替えた後に遷移が行われるように制御するものである。そのため、遷移時に自然な見え方となるようにすることが可能となる。
実施の形態としてのゲームシステムの構成例を示すブロック図である。 ２Ｄディスプレイに２次元コンテンツが表示されていて、ＡＲ表示装置を装着した一人のユーザがそれを注視している状態を示す図である。 ２次元コンテンツの所定オブジェクトから３次元表示モデルへの遷移が行われる場合に、２次元コンテンツを運動視差適用表示に切り替えない場合について説明するための図である。 ２次元コンテンツの所定オブジェクトから３次元表示モデルへの遷移が行われる場合に、２次元コンテンツの運動視差適用表示を介在させる場合について説明するための図である。 ２Ｄディスプレイに２次元コンテンツが表示されていて、ＡＲ表示装置を装着した二人のユーザがそれを注視している状態を示す図である。 ＡＲ表示装置に表示される２次元コンテンツの運動視差適用表示を説明するための図である。 ２次元コンテンツの所定オブジェクトから３次元表示モデルへの遷移が行われる場合に、２次元コンテンツの運動視差適用表示を介在させる場合について説明するための図である。 ２次元コンテンツの所定オブジェクトから３次元表示モデルへの遷移が行われる場合に、２次元コンテンツの運動視差適用表示を介在させる場合について説明するための図である。 ゲームサーバの構成例を示すブロック図である。 ２Ｄディスプレイの構成例を示すブロック図である。 ＡＲ表示装置の構成例を示すブロック図である。 ２次元コンテンツの所定オブジェクトから３次元表示モデルへの遷移が行われる場合におけるゲームサーバの処理手順の一例を示すフローチャートである。 ２次元コンテンツの所定オブジェクトから３次元表示モデルへの遷移が行われる場合におけるＡＲ表示装置の処理手順の一例を示すフローチャートである。 ２次元コンテンツの所定オブジェクトから３次元表示モデルへの遷移が行われる場合における２Ｄディスプレイの処理手順の一例を示すフローチャートである。 ３次元表示モデルから２次元コンテンツの所定オブジェクトへの遷移が行われる場合におけるゲームサーバの処理手順の一例を示すフローチャートである。 ３次元表示モデルから２次元コンテンツの所定オブジェクトへの遷移が行われる場合におけるＡＲ表示装置の処理手順の一例を示すフローチャートである。 ３次元表示モデルから２次元コンテンツの所定オブジェクトへの遷移が行われる場合における２Ｄディスプレイの処理手順の一例を示してフローチャートは、
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
　１．実施の形態
　２．変形例
　＜１．実施の形態＞
　［ゲームシステム］
　図１は、実施の形態としてのゲームシステム１０の構成例を示している。このゲームシステム１０は、ゲームサーバ１００と、２Ｄ（２次元：Two dimensions）ディスプレイ２００と、一つまたは複数のＡＲ（拡張現実：Augmented Reality）表示装置３００を有している。
　ゲームサーバ１００は、ゲームコンテンツの進行を管理する装置であり、制御部を構成している。この実施の形態において、ゲームサーバ１００は、インターネット等のネットワーク上でアクセスされるクラウドサーバである。２Ｄディスプレイ２００は、ゲームを実行するＰＣ（Personal Computer）またはゲーム機と同等の機能を備えている。２Ｄディスプレイ２００は、具体的には、テレビ受信機やプロジェクター等である。ＡＲ表示装置３００は、拡張現実の３次元表示モデルをユーザに提示する機能を有する。このＡＲ表示装置３００は、具体的には、ＡＲグラスやＨＭＤ（Head Mounted Display）等である。
　２Ｄディスプレイ２００およびＡＲ表示装置３００は、インターネット等のネットワークを介して、ゲームサーバ１００に接続される。２Ｄディスプレイ２００およびＡＲ表示装置３００には予めゲームアプリケーションのクライアントアプリケーションがインストールされており、ゲームサーバ１００によるゲーム制御に基づいてゲームが進行していく。
　この場合、ＡＲ表示装置３００からゲームサーバ１００には、ユーザ位置等の情報が送られる。ゲームサーバ１００は、ユーザがＡＲ表示装置３００の表示部を透過して２Ｄディスプレイ２００を注視していると判断し、かつ遷移シーンであると判断するとき、２次元コンテンツの所定オブジェクトを３次元表示モデルに遷移させる、あるいは３次元表示モデルを２次元コンテンツの所定オブジェクトに遷移させる。ここで、２次元コンテンツの所定オブジェクトと３次元表示モデルはゲームサーバ１００が実行するアプリケーション上で同一のオブジェクトとして扱われるコンテンツである。なお、２次元コンテンツの所定オブジェクトと３次元表示モデルは同一のオブジェクトであるが、例えば遷移の前後でオブジェクトの形が変化するなど、オブジェクトの外見に変化があってもよい。
　ここで、２次元コンテンツの所定オブジェクトから３次元表示モデルへの遷移により、２Ｄディスプレイ２００に表示された２次元コンテンツの所定オブジェクトが拡張現実の３次元表示モデルとして出てくる状態となる。このように２次元コンテンツの所定オブジェクトを３次元表示モデルとして遷移させる場合、ゲームサーバ１００は、遷移の後かつ３次元表示モデルが表示されている間は２次元コンテンツの所定オブジェクトが２次元ディスプレイ２００に表示されないよう制御する。一方、３次元表示モデルから２次元コンテンツの所定オブジェクトへの遷移により、拡張現実の３次元表示モデルが２Ｄディスプレイ２００に表示された２次元コンテンツの所定オブジェクトとして入っていく状態となる。このように３次元表示モデルを２次元コンテンツの所定オブジェクトとして遷移させる場合、ゲームサーバ１００は、遷移の後かつ２次元コンテンツの所定オブジェクトが表示されている間は３次元表示モデルがＡＲ表示装置３００に表示されないよう制御する。
　この実施の形態においては、ゲームサーバ１００は、このような遷移をさせる場合、２次元コンテンツを運動視差非適用表示（運動視差無表示）から運動視差適用表示（運動視差有表示）に切り替えた後に、遷移が行われるように制御する。これにより、自然な見え方で遷移が行われるようになる。なお運動視差適用表示とは、ユーザの視点位置の移動に応じて２次元コンテンツの所定オブジェクトを立体として見えるようにディスプレイに表示する表示手法であり、運動視差非適用表示とはユーザの視点位置の移動に依存せずに２次元コンテンツの所定オブジェクトをディスプレイに表示する表示手法である。
　ここで、ＡＲ表示装置３００が一つであるとき、つまり一人プレイであるときには、ゲームサーバ１００は、運動視差適用表示が２次元ディスプレイ２００に表示されるように制御する。これにより、２次元ディスプレイ上の所定オブジェクトが３次元表示モデルとして飛び出してくる、または３次元表示モデルが２次元ディスプレイ上の所定オブジェクトとして戻っていくということを、より自然に見せることが可能となる。
　この場合、ＡＲ表示装置３００は、搭載されている位置および向きのセンサ情報、さらにはユーザの視線のセンサ情報等から、ユーザが２Ｄディスプレイ２００を注視しているか判定する。例えば、ＡＲ表示装置３００は、ＡＲ表示装置３００と２Ｄディスプレイ２００の間の距離が所定範囲内にあるとき、ユーザが２Ｄディスプレイ２００を注視していると判定してもよい。
　また、例えば、ＡＲ表示装置３００は、ＡＲ表示装置３００と２Ｄディスプレイ２００の間の距離が所定範囲内にあり、かつＡＲ表示装置３００の向きが２Ｄディスプレイ２００に対して所定範囲内にあるとき、ユーザが２Ｄディスプレイ２００を注視していると判定してもよい。この場合、さらに、ユーザの視線が２Ｄディスプレイ２００に向いている、という条件をさらに付けくわえてもよい。
　ＡＲ表示装置３００は、ユーザが２Ｄディスプレイ２００を注視していると判定するとき、それをゲームサーバ１００にユーザ注視を通知する。注視判定の通知を受けたゲームサーバ１００は、２Ｄディスプレイ２００に、運動視差適用表示への切り替えを通知する。通知を受けた２Ｄディスプレイ２００は、運動視差適用表示を開始し、それをゲームサーバ１００に通知する。
　通知を受けたゲームサーバ１００は、ＡＲ表示装置３００に、遷移開始許可を通知する。通知を受けたＡＲ表示装置３００は、３次元表示モデルが２Ｄディスプレイ２００から出ていく遷移を開始する。２Ｄディスプレイ２００は、上述したように運動視差適用表示の開始をゲームサーバ１００に通知した後、遷移対象オブジェクトを画面から消去し、さらにその後、通常表示（運動視差非適用表示）に戻る。
　図２は、２Ｄディスプレイ２００に２次元コンテンツが表示されていて、ＡＲ表示装置３００を装着した一人のユーザがそれを注視している状態を示している。このような状態で、ＡＲ表示装置３００への表示切り替えをすべきシーン（遷移シーン）であるとき、２次元コンテンツの所定オブジェクトから３次元表示モデルへの遷移が行われる。
　図３（ａ）は、２Ｄディスプレイ２００に２次元コンテンツが表示されていて、ユーザがそれを正面で注視している状態を示している。図３（ｂ）は、２次元コンテンツのオブジェクト５０１Ａからこの正面位置に対応した３次元表示モデル５０１Ｂに直接遷移した状態を示している。この場合は、それほど不自然ではない。
　図３（ｃ）は、２Ｄディスプレイ２００に２次元コンテンツが表示されていて、ユーザがそれを右側から注視している状態を示している。図３（ｄ）は、２次元コンテンツのオブジェクト５０１Ａからこの右側位置に対応した３次元表示モデル５０１Ｂに直接遷移した状態を示している。この場合、３次元表示モデル５０１Ｂの出現する角度が２Ｄディスプレイ２００の画面と一致せず、不自然な見え方となる。
　図４（ａ）は、２Ｄディスプレイ２００に２次元コンテンツが表示されていて、ユーザがそれを右側から注視している状態を示している。図４（ｂ）は、２Ｄディスプレイ２００の２次元コンテンツの表示を右側ユーザ位置に対応した運動視差適用表示に切り替えた状態を示している。図４（ｃ）は、運動視差適用表示の状態にある２次元コンテンツのオブジェクト５０１Ａから右側位置に対応した３次元表示モデル５０１Ｂに遷移した状態を示している。この場合は、図３（ｄ）の場合と異なり、自然な見え方となる。
　上述の説明は、２次元コンテンツの所定オブジェクトから３次元表示モデルへの遷移の場合であるが、ここでは詳細説明は省略するが、３次元表示モデルから２次元コンテンツの所定オブジェクトへの遷移の場合も、略同様の動作となる。
　また、ここで、ＡＲ表示装置３００が複数であるとき、つまり複数人プレイであるときには、ゲームサーバ１００は、運動視差適用表示がＡＲ表示装置３００に表示されるように制御する。これにより、それぞれのＡＲ表示装置３００の位置、つまりユーザ位置に合った運動視差適用表示がなされることから、全てのＡＲ表示装置３００で自然な遷移を見せることが可能となる。
　この場合、ＡＲ表示装置３００は、搭載されている位置および向きのセンサ情報、さらにはユーザの視線のセンサ情報等から、ユーザが２Ｄディスプレイ２００を注視しているか判定する。詳細説明は省略するが、この判定の仕方は、上述の一人プレイの場合と同様である。ＡＲ表示装置３００は、ユーザが２Ｄディスプレイ２００を注視していると判定するとき、それをゲームサーバ１００に通知する。
　複数人プレイのときに、２Ｄディスプレイ２００の２次元コンテンツを特定のユーザの位置に合わせて運動視差適用表示に切り替えると、他のユーザの２Ｄディスプレイ２００の２次元コンテンツの見え方が不自然となる。そのため、複数人プレイのときは、注視判定の通知を受けたゲームサーバ１００は、ＡＲ表示装置３００に、運動視差適用表示への切り替えを通知する。通知を受けたＡＲ表示装置３００は、２次元コンテンツの運動視差適用表示を開始し、それをゲームサーバ１００に通知する。
　全てのＡＲ表示装置３００から運動視差適用表示の開始通知を受けたゲームサーバ１００は、２Ｄディスプレイ２００に、遷移対象オブジェクトの消去を通知する。通知を受けた２Ｄディスプレイ１００は、遷移対象オブジェクトを画面から消去する。ＡＲ表示装置３００は、上述したように運動視差適用表示の開始をゲームサーバ１００に通知した後、３次元表示モデルが運動視差適用表示の２次元コンテンツから出ていく遷移を開始し、その後にその２次元コンテンツの表示を終了する。
　図５は、２Ｄディスプレイ２００に２次元コンテンツが表示されていて、ＡＲ表示装置３００を装着した複数、ここでは２人のユーザがそれを注視している状態を示している。このような状態で、ＡＲ表示装置３００への表示切り替えをすべきシーン（遷移シーン）であるとき、２次元コンテンツの所定オブジェクトから３次元表示モデルへの遷移が行われる。
　図６（ａ）は、ＡＲ表示装置３００に表示される２次元コンテンツの右側ユーザ位置に対応した運動視差適用表示を示している。また、図６（ｂ）は、ＡＲ表示装置３００に表示される２次元コンテンツの左側ユーザ位置に対応した運動視差適用表示を示している。
　図７（ａ）は、２Ｄディスプレイ２００に２次元コンテンツが表示されていて、ユーザがそれを右側から注視している状態を示している。図７（ｂ）は、２Ｄディスプレイ２００の２次元コンテンツの表示を、右側ユーザ位置に対応した運動視差適用表示に切り替えた状態を示している。この運動視差適用表示は、２Ｄディスプレイ２００ではなく、右側ユーザのＡＲ表示装置３００に表示される。図７（ｃ）は、運動視差適用表示の状態にある２次元コンテンツのオブジェクト５０１Ａから右側位置に対応した３次元表示モデル５０１Ｂに遷移した状態を示している。この場合は、自然な見え方となる。
　図８（ａ）は、２Ｄディスプレイ２００に２次元コンテンツが表示されていて、ユーザがそれを左側から注視している状態を示している。図８（ｂ）は、２Ｄディスプレイ２００の２次元コンテンツの表示を、左側ユーザ位置に対応した運動視差適用表示に切り替えた状態を示している。この運動視差適用表示は、２Ｄディスプレイ２００ではなく、左側ユーザのＡＲ表示装置３００に表示される。図８（ｃ）は、運動視差適用表示の状態にある２次元コンテンツのオブジェクト５０１Ａから左側位置に対応した３次元表示モデル５０１Ｂに遷移した状態を示している。この場合は、自然な見え方となる。
　上述の説明は、２次元コンテンツの所定オブジェクトから３次元表示モデルへの遷移の場合であるが、ここでは詳細説明は省略するが、３次元表示モデルから２次元コンテンツの所定オブジェクトへの遷移の場合も、略同様の動作となる。
　図９は、ゲームサーバ１００の構成例を示している。ゲームサーバ１００は、ゲームコンテンツまたは映像コンテンツの進行を管理する装置である。このゲームサーバ１００は、制御部１０１と、通信部１０２と、記憶部１０３を有している。制御部１０１は、ゲームサーバ１００に内像されるＣＰＵやＲＡＭなどのハードウェアを用いて、ゲームサーバ１００の各部の動作を制御する。
　制御部１０１は、通信制御部１１１と、遷移判定部１１２と、状態管理部１１３を有している。ここで、遷移判定部１１２以外は、一般的なゲームサーバと同様の構成である。
　通信制御部１１１は、ゲームを実行する機器（２Ｄディスプレイ２００、ＡＲ表示装置３００など）と通信を行うための機能を有する。遷移判定部１１２は、２Ｄディスプレイ２００からＡＲ表示装置に、またはその逆に表示を切り替えるかどうかの判定、および運動視差表現をどのデバイスで実行するかを判定する機能を有する。具体的にＡＲ表示装置３００から送られてくる２Ｄディスプレイ２００のユーザ注視情報と、ゲームコンテンツまたは映像コンテンツの進行状況をもとに判断する。状態管理部１１３は、ユーザの状態に応じてゲームコンテンツまたは映像コンテンツの進行を管理する機能を有する。これは、一般的なオンラインゲームにおいて標準的な機能である。
　図１０は、２Ｄディスプレイ２００の構成例を示している。２Ｄディスプレイ２００は、制御部２０１と、通信部２０２と、記憶部２０３と、ディスプレイ２０４を有している。制御部２０１は、２Ｄディスプレイ２００に内像されるＣＰＵやＲＡＭなどのハードウェアを用いて、２Ｄディスプレイ２００の各部の動作を制御する。
　制御部２０１は、通信制御部２１１と、描画処理部２１２と、表示制御部２１３を有している。ここで、描画処理部２１２以外は、ゲームを実行する一般的なＰＣまたはゲーム機の構成と同等である。
　通信制御部２１１は、ゲームサーバ１００と通信を行うための機能を有する。描画制御部２１２は、２Ｄディスプレイ２００に表示するコンテンツのレンダリング（描画）を行う機能を有する。この描画処理部２１２は、運動視差を有効にした画像を生成する処理もする。表示制御部２１３は、描画処理部２１２によるレンダリング結果をディスプレイ２０４に表示する機能を有する。
　図１１は、ＡＲ表示装置３００の構成例を示している。ＡＲ表示装置３００は、制御部３０１と、通信部３０２と、センサ部３０３と、表示部３０４と、記憶部３０５を有している。
　センサ部３０３は、ユーザ情報や外環境情報を得るためのセンサである。このセンサ部３０３は、ステレオカメラ、ジャイロセンサ等の各種センサを含む。表示部３０４は、左眼ディスプレイ、右眼ディスプレイを含む。
　制御部３０１は、ＡＲ表示装置３００に内像されるＣＰＵやＲＡＭなどのハードウェアを用いて、ＡＲ表示装置３００の各部の動作を制御する。制御部３０１は、通信制御部３１１と、描画処理部３１２と、表示制御部３１３と、入力制御部３１４と、認識部３１５と、注視点判定部３１６を有している。
　入力制御部３１４は、センサ部３０３に含まれるカメラや他のセンサからの入力情報を管理する機能を有する。通信制御部３１１は、ゲームサーバ１００と通信を行うための機能を有する。認識部３１５は、カメラ画像に対する画像認識等により、２Ｄディスプレイ２００に対するＡＲ表示装置３００の位置や姿勢、さらにはユーザの視線を認識する。
　注視点判定部３１６は、認識部３１５から得た情報および事前の空間マップからのユーザが２Ｄディスプレイ２００を注視しているか否かを判定する。描画処理部３１２は、ＡＲ表示装置３００に表示するコンテンツ（３次元表示モデル）のレンダリング（描画）を行う機能を有する。描画処理部３１２は、複数人プレーヤにおいて、表示遷移時に、運動視差を有効にした２次元コンテンツを２Ｄディスプレイ２００の位置に表示する制御もする。表示制御部３１３は、描画処理部３１２によるレンダリング結果を表示部３０４に表示する機能を有する。
　図１２のフローチャートは、２次元コンテンツの所定オブジェクトから３次元表示モデルへの遷移が行われる場合におけるゲームサーバ１００の処理手順の一例を示している。ゲームサーバ１００は、この図１２のフローチャートの処理を繰り返し実行する。
　ゲームサーバ１００は、ステップＳＴ１において、例えばゲーム開始のタイミングで処理を開始する。次に、ゲームサーバ１００は、ステップＳＴ２において、一つまたは複数のＡＲ表示装置３００から、２Ｄディスプレイ２００の注視通知を受け、その後ステップＳＴ３において、ＡＲ表示装置３００への表示切り替えをすべきシーン（遷移シーン）であるか否かを判断する。当該シーンでないと判断するとき、ゲームサーバ１００は、ステップＳＴ４において、処理を終了する。
　また、ゲームサーバ１００は、ステップＳＴ３において、ＡＲ表示装置３００への表示切り替えをすべきシーンであると判断するとき、ステップＳＴ５において、複数人プレイであるか否かを判断する。ここで、ゲームサーバ１００は、ステップＳＴ２で注視通知を受けたＡＲ表示装置３００が一つであるときは一人プレイと判断し、それが複数であるときは複数人プレイであると判断する。
　複数人プレイでない、つまり一人プレイであると判断するとき、ゲームサーバ１００は、ステップＳＴ６において、２Ｄディスプレイ２００に、運動視差適用表示（運動視差有表示）への切り替えを通知する。次に、ゲームサーバ１００は、ステップＳＴ７において、２Ｄディスプレイ２００から運動視差適用表示の開始通知を受ける。
　次に、ゲームサーバ１００は、ステップＳＴ８において、ＡＲ表示装置３００に、遷移開始許可を通知する。次に、ゲームサーバ１００は、ステップＳＴ９において、２Ｄディスプレイ２００に、遷移対象オブジェクトの消去を通知する。このステップＳＴ９の処理の後、ゲームサーバ１００は、ステップＳＴ４に進み、処理を終了する。
　また、ゲームサーバ１００は、ステップＳＴ５で複数人プレイであると判断するとき、ステップＳＴ１０において、複数のＡＲ表示装置３００に、運動視差適用表示（運動視差有表示）への切り替えを通知する。次に、ゲームサーバ１００は、ステップＳＴ１１において、全てのＡＲ表示装置３００から、運動視差適用表示の開始通知を受け、その後に、ステップＳＴ１２において、２Ｄディスプレイ２００に、遷移対象オブジェクトの消去を通知する。このステップＳＴ１２の処理の後、ゲームサーバ１００は、ステップＳＴ４に進み、処理を終了する。
　図１３のフローチャートは、２次元コンテンツの所定オブジェクトから３次元表示モデルへの遷移が行われる場合におけるＡＲ表示装置３００の処理手順の一例を示している。ＡＲ表示装置３００は、この図１３のフローチャートの処理を繰り返し実行する。
　ＡＲ表示装置３００は、ステップＳＴ２１において、例えばゲーム開始のタイミングで処理を開始する。次に、ＡＲ表示装置３００は、ステップＳＴ２２において、位置、向きの情報を取得する。この場合、さらに、ユーザの視線の情報を取得してもよい。次に、ＡＲ表示装置３００は、ステップＳＴ２３において、ステップＳＴ２２で取得した情報に基づいて、２Ｄディスプレイ２００を注視しているか否かを判断する。２Ｄディスプレイ２００を注視していないと判断するとき、ＡＲ表示装置３００は、ステップＳＴ２４において、処理を終了する。
　また、ステップＳＴ２３で２Ｄディスプレイ２００を注視していると判断するとき、ＡＲ表示装置３００は、ステップＳＴ２５において、ゲームサーバ１００に、２Ｄディスプレイ２００の注視を通知する。
　次に、一人プレイである場合、ＡＲ表示装置３００は、ステップＳＴ２６において、ゲームサーバ１００から、遷移開始許可通知を受ける。次に、ＡＲ表示装置３００は、ステップＳＴ２７において、３次元表示モデルが２Ｄディスプレイ２００から出てくる遷移を開始する。このステップＳＴ２７の処理の後、ＡＲ表示装置３００は、ステップＳＴ２４に進み、処理を終了する。
　また、複数人プレイである場合、ＡＲ表示装置３００は、ステップＳＴ２８において、ゲームサーバ１００から、運動視差適用表示切り替えの通知を受ける。次に、ＡＲ表示装置３００は、ステップＳＴ２９において、運動視差適用表示を開始する。つまり、ＡＲ表示装置３００は、運動視差を有効にした２次元コンテンツを２Ｄディスプレイ２００の位置に表示することを開始する。
　次に、ＡＲ表示装置３００は、ステップＳＴ３０において、ゲームサーバ１００に、運動視差適用表示の開始を通知する。次に、ＡＲ表示装置３００は、ステップＳＴ３１において、三次元表示モデルが運動視差を有効にした２Ｄコンテンツから出ていく遷移を開始する。次に、ＡＲ表示装置３００は、ステップＳＴ３２において、運動視差を有効にした２次元コンテンツの表示を終了する。このステップＳＴ３２の処理の後、ＡＲ表示装置３００は、ステップＳＴ２４に進み、処理を終了する。
　図１４のフローチャートは、２次元コンテンツの所定オブジェクトから３次元表示モデルへの遷移が行われる場合における２Ｄディスプレイ２００の処理手順の一例を示している。２Ｄディスプレイ２００は、この図１４のフローチャートの処理を繰り返し実行する。
　２Ｄディスプレイ２００は、ステップＳＴ４１において、例えばゲーム開始のタイミングで処理を開始する。
　次に、一人プレイである場合、２Ｄディスプレイ２００は、ステップＳＴ４２において、ゲームサーバ１００から、運動視差適用表示の切り替えの通知を受ける。次に、２Ｄディスプレイ２００は、ステップＳＴ４３において、運動視差適用表示を開始する。次に、ステップＳＴ４４において、２Ｄディスプレイ２００は、ゲームサーバ１００に、運動視差適用表示の開始を通知する。
　次に、２Ｄディスプレイ２００は、ステップＳＴ４５において、ゲームサーバ１００から遷移対象オブジェクトの消去通知を受ける。次に、２Ｄディスプレイ２００は、ステップＳＴ４６において、遷移対象オブジェクトを画面（２次元コンテンツの表示画面）から消去する。次に、２Ｄディスプレイ２００は、通常表示、つまり運動視差非適用表示（運動視差無表示）にする。このステップＳＴ４７の処理の後、２Ｄディスプレイ２００は、ステップＳＴ４８に進み、処理を終了する。
　また、複数人プレイである場合、２Ｄディスプレイ２００は、ステップＳＴ４９において、ゲームサーバ１００から、遷移対象オブジェクトの消去通知を受ける。次に、２Ｄディスプレイ２００は、ステップＳＴ５０において、遷移対象オブジェクトを画面（２次元コンテンツの表示画面）から消去する。このステップＳＴ５０の処理の後、２Ｄディスプレイ２００は、ステップＳＴ４８に進み、処理を終了する。
　図１５のフローチャートは、３次元表示モデルから２次元コンテンツの所定オブジェクトへの遷移が行われる場合におけるゲームサーバ１００の処理手順の一例を示している。ゲームサーバ１００は、この図１５のフローチャートの処理を繰り返し実行する。
　ゲームサーバ１００は、ステップＳＴ６１において、例えばゲーム開始のタイミングで処理を開始する。次に、ゲームサーバ１００は、ステップＳＴ６２において、一つまたは複数のＡＲ表示装置３００から、２Ｄディスプレイ２００の注視通知を受け、その後ステップＳＴ６３において、２Ｄディスプレイ２００への表示切り替えをすべきシーン（遷移シーン）であるか否かを判断する。当該シーンでないと判断するとき、ゲームサーバ１００は、ステップＳＴ６４において、処理を終了する。
　また、ゲームサーバ１００は、ステップＳＴ６３において、２Ｄディスプレイへの表示切り替えをすべきシーンであると判断するとき、ステップＳＴ６５において、複数人プレイであるか否かを判断する。ここで、ゲームサーバ１００は、ステップＳＴ６２で注視通知を受けたＡＲ表示装置３００が一つであるときは一人プレイと判断し、それが複数であるときは複数人プレイであると判断する。
　複数人プレイでない、つまり一人プレイであると判断するとき、ゲームサーバ１００は、ステップＳＴ６６において、２Ｄディスプレイ２００に、運動視差適用表示（運動視差有表示）への切り替えを通知する。次に、ゲームサーバ１００は、ステップＳＴ６７において、２Ｄディスプレイ２００から運動視差適用表示の開始通知を受ける。
　次に、ゲームサーバ１００は、ステップＳＴ６８において、ＡＲ表示装置３００に、遷移開始許可を通知する。次に、ゲームサーバ１００は、ステップＳＴ６９において、ＡＲ表示装置３００から、３次元表示モデルの遷移完了通知を受ける。次に、ゲームサーバ１００は、ステップＳＴ７０において、２Ｄディスプレイ２００に、遷移対象オブジェクトの表示を通知する。このステップＳＴ７０の処理の後、ゲームサーバ１００は、ステップＳＴ６４に進み、処理を終了する。
　また、ゲームサーバ１００は、ステップＳＴ６５で複数人プレイであると判断するとき、ステップＳＴ７１において、複数のＡＲ表示装置３００に、運動視差適用表示（運動視差有表示）への切り替えを通知する。次に、ゲームサーバ１００は、ステップＳＴ７２において、全てのＡＲ表示装置３００から、３次元表示モデルの遷移完了通知を受ける。
　次に、ゲームサーバ１００は、ステップＳＴ７３において、ＡＲ表示装置３００に、運動視差適用表示の終了を通知する。次に、ゲームサーバ１００は、ステップＳＴ７４において、２Ｄディスプレイ２００に、遷移対象オブジェクトの表示を通知する。このステップＳＴ７４の処理の後、ゲームサーバ１００は、ステップＳＴ６４に進み、処理を終了する。
　図１６のフローチャートは、３次元表示モデルから２次元コンテンツの所定オブジェクトへの遷移が行われる場合におけるＡＲ表示装置３００の処理手順の一例を示している。ＡＲ表示装置３００は、この図１６のフローチャートの処理を繰り返し実行する。
　ＡＲ表示装置３００は、ステップＳＴ８１において、例えばゲーム開始のタイミングで処理を開始する。次に、ＡＲ表示装置３００は、ステップＳＴ８２において、位置、向きの情報を取得する。この場合、さらに、ユーザの視線の情報を取得してもよい。次に、ＡＲ表示装置３００は、ステップＳＴ８３において、ステップ８２で取得した情報に基づいて、２Ｄディスプレイ２００を注視しているか否かを判断する。２Ｄディスプレイ２００を注視していないと判断するとき、ＡＲ表示装置３００は、ステップＳＴ８４において、処理を終了する。
　また、ステップＳＴ８３で２Ｄディスプレイ２００を注視していると判断するとき、ＡＲ表示装置３００は、ステップＳＴ８５において、ゲームサーバ１００に、２Ｄディスプレイ２００の注視を通知する。
　次に、一人プレイである場合、ＡＲ表示装置３００は、ステップＳＴ８６において、ゲームサーバ１００から、遷移開始許可通知を受ける。次に、ＡＲ表示装置３００は、ステップＳＴ８７において、３次元表示モデルが２Ｄディスプレイ２００に戻っていく遷移を開始する。次に、ＡＲ表示装置３００は、ステップＳＴ８８において、ゲームサーバ１００に、３次元表示モデルの遷移完了を通知する。次に、ＡＲ表示装置３００は、３次元表示モデルを終了する。このステップＳＴ８９の処理の後、ＡＲ表示装置３００は、ステップＳＴ８４に進み、処理を終了する。
　また、複数人プレイである場合、ＡＲ表示装置３００は、ステップＳＴ９０において、ゲームサーバ１００から、運動視差適用表示切り替えの通知を受ける。次に、ＡＲ表示装置３００は、ステップＳＴ９１において、運動視差適用表示を開始する。つまり、ＡＲ表示装置３００は、運動視差を有効にした２次元コンテンツを２Ｄディスプレイ２００の位置に表示することを開始する。
　次に、ＡＲ表示装置３００は、ステップＳＴ９２において、３次元表示モデルが２次元画面に戻っていく遷移を開始する。次に、ＡＲ表示装置３００は、ステップＳＴ９３において、ゲームサーバ１００に、３次元表示モデルの遷移完了を通知する。次に、ＡＲ表示装置３００は、ステップＳＴ９４において、運動視差適用表示の終了の通知を受ける。次に、ＡＲ表示装置３００は、ステップＳＴ９５において、運動視差適用表示を終了する。このステップＳＴ９５の処理の後、ＡＲ表示装置３００は、ステップＳＴ８４に進み、処理を終了する。
　図１７のフローチャートは、３次元表示モデルから２次元コンテンツの所定オブジェクトへの遷移が行われる場合における２Ｄディスプレイ２００の処理手順の一例を示している。２Ｄディスプレイ２００は、この図１７のフローチャートの処理を繰り返し実行する。
　２Ｄディスプレイ２００は、ステップＳＴ１０１において、例えばゲーム開始のタイミングで処理を開始する。
　次に、一人プレイである場合、２Ｄディスプレイ２００は、ステップＳＴ１０２において、ゲームサーバ１００から、運動視差適用表示の切り替えの通知を受ける。次に、２Ｄディスプレイ２００は、ステップＳＴ１０３において、運動視差適用表示を開始する。次に、ステップＳＴ１０４において、２Ｄディスプレイ２００は、ゲームサーバ１００に、運動視差適用表示の開始を通知する。
　次に、２Ｄディスプレイ２００は、ステップＳＴ１０５において、ゲームサーバ１００から遷移対象オブジェクトの表示通知を受ける。次に、２Ｄディスプレイ２００は、ステップＳＴ１０６において、遷移対象オブジェクトを画面（２次元コンテンツの表示画面）に表示する。次に、２Ｄディスプレイ２００は、通常表示、つまり運動視差非適用表示（運動視差無表示）にする。このステップＳＴ１０７の処理の後、２Ｄディスプレイ２００は、ステップＳＴ１０８に進み、処理を終了する。
　また、複数人プレイである場合、２Ｄディスプレイ２００は、ステップＳＴ１０９において、ゲームサーバ１００から、遷移対象オブジェクトの表示通知を受ける。次に、２Ｄディスプレイ２００は、ステップＳＴ１１０において、遷移対象オブジェクトを画面（２次元コンテンツの表示画面）に表示する。このステップＳＴ１１０の処理の後、２Ｄディスプレイ２００は、ステップＳＴ１０８に進み、処理を終了する。
　上述したように、図１に示すゲームシステム１０においては、２次元ディスプレイ２００に表示されている２次元コンテンツの所定オブジェクトをＡＲ表示装置３００の３次元表示モデルとして遷移させる場合、またはＡＲ表示装置３００の３次元表示モデルを２次元ディスプレイ２００に表示される２次元コンテンツの所定オブジェクトとして遷移させる場合に、２次元コンテンツを運動視差非適用表示（運動視差無表示）から運動視差適用表示（運動視差有表示）に切り替えた後に遷移が行われる。そのため、遷移時に自然な見え方とすることができる。
　また、図１に示すゲームシステム１０においては、ＡＲ表示装置３００が一つである場合、つまり一人プレイである場合には、運動視差適用表示が２次元ディスプレイに表示される。そのため、２次元ディスプレイ２００上の所定オブジェクトが３次元表示モデルとして飛び出してくる、または３次元表示モデルが２次元ディスプレイ２００上の所定オブジェクトとして戻っていくということを、より自然に見せることが可能となる。
　また、図１に示すゲームシステム１０においては、ＡＲ表示装置３００が複数である場合、つまり複数人プレイである場合には、運動視差適用表示がＡＲ表示装置３００に表示される。そのため、それぞれのＡＲ表示装置３００の位置に合った運動視差適用表示がなされることから、全てのＡＲ表示装置３００で自然な遷移をユーザに見せることが可能となる。
　＜２．変形例＞
　なお、上述実施の形態において、ゲームシステム１０は、ゲームサーバ１００、２Ｄディスプレイ２００およびＡＲ表示装置３００から構成されているが、ゲームサーバ１００の機能を２Ｄディスプレイ２００あるいはＡＲ表示装置３００に持たせ、ゲームサーバ１００を持たない構成も考えられる。
　また、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は、以下のような構成もとることができる。
　（１）２次元ディスプレイに表示されている２次元コンテンツの所定オブジェクトを拡張現実表示装置の３次元表示モデルとして遷移させる場合、または前記拡張現実表示装置の３次元表示モデルを前記２次元ディスプレイに表示される２次元コンテンツの所定オブジェクトとして遷移させる場合、前記２次元コンテンツを運動視差非適用表示から運動視差適用表示に切り替えた後に、前記遷移が行われるように制御する制御部を備える
　情報処理装置。
　（２）前記制御部は、前記拡張現実表示装置が一つである場合には、前記運動視差適用表示が前記２次元ディスプレイに表示され、前記拡張現実表示装置が複数である場合には、前記運動視差適用表示が前記拡張現実表示装置に表示されるように制御する
　前記（１）に記載の情報処理装置。
　（３）前記制御部は、前記２次元ディスプレイに対する前記拡張現実表示装置の位置と向きの情報に基づいて、前記遷移が行われるように制御する
　前記（１）または（２）に記載の情報処理装置。
　（４）前記制御部は、前記２次元ディスプレイと前記拡張現実表示装置の間の距離が所定範囲内にあるとき、前記遷移が行われるように制御する
　前記（３）に記載の情報処理装置。
　（５）前記制御部は、前記拡張現実表示装置の向きが前記２次元ディスプレイに対して所定範囲内にあるとき、前記遷移が行われるように制御する
　前記（４）に記載の情報処理装置。
　（６）前記制御部は、前記拡張現実表示装置を装着するユーザの視線が前記２次元ディスプレイに向いているとき、前記遷移が行われるように制御する
　前記（５）に記載の情報処理装置。
　（７）前記２次元ディスプレイおよび前記拡張現実表示装置と通信をする通信部をさらに備え、
　前記制御部は、前記通信部を介して、前記拡張現実表示装置から前記位置と向きの情報に基づくユーザ注視情報を取得する
　前記（３）から（６）のいずれかに記載の情報処理装置。
　（８）前記制御部は、前記２次元コンテンツの前記所定オブジェクトを前記３次元表示モデルとして遷移させる場合、遷移の後かつ前記３次元表示モデルが表示されている間は前記所定オブジェクトが前記２次元ディスプレイに表示されないよう制御する、または前記３次元表示モデルを前記２次元コンテンツの前記所定オブジェクトとして遷移させる場合、遷移の後かつ前記２次元コンテンツの前記所定オブジェクトが表示されている間は前記３次元表示モデルが前記拡張現実表示装置に表示されないよう制御する
　前記（１）から（７）のいずれかに記載の情報処理装置。
　（９）前記２次元コンテンツの前記所定オブジェクトと前記３次元表示モデルは前記制御部が実行するアプリケーション上で同一のオブジェクトとして扱われるコンテンツである
　前記（８）に記載の情報処理装置。
　（１０）前記制御部は、前記２次元ディスプレイおよび前記拡張現実表示装置とネットワークを介して接続されたクラウドサーバに含まれる
　前記（１）から（９）のいずれかに記載の情報処理装置。
　（１１）前記クラウドサーバは、ゲームサーバである
　前記（１０）に記載の情報処理装置。
　（１２）２次元ディスプレイに表示されている２次元コンテンツの所定オブジェクトを拡張現実表示装置の３次元表示モデルとして遷移させる場合、または前記拡張現実表示装置の３次元表示モデルを前記２次元ディスプレイに表示される２次元コンテンツの所定オブジェクトとして遷移させる場合、前記２次元コンテンツを運動視差非適用表示から運動視差適用表示に切り替えた後に、前記遷移が行われるように制御する
　情報処理方法。
　（１３）コンピュータを、
　２次元ディスプレイに表示されている２次元コンテンツの所定オブジェクトを拡張現実表示装置の３次元表示モデルとして遷移させる場合、または前記拡張現実表示装置の３次元表示モデルを前記２次元ディスプレイに表示される２次元コンテンツの所定オブジェクトとして遷移させる場合、前記２次元コンテンツを運動視差非適用表示から運動視差適用表示に切り替えた後に、前記遷移が行われるように制御する制御手段として機能させる
　プログラム。
　１０・・・ゲームシステム
　１００・・・ゲームサーバ
　１０１・・・制御部
　１０２・・・通信部
　１０３・・・記憶部
　１１１・・・通信制御部
　１１２・・・遷移判定部
　１１３・・・状態管理部
　２００・・・２Ｄディスプレイ
　２０１・・・制御部
　２０２・・・通信部
　２０３・・・記憶部
　２０４・・・ディスプレイ
　２１１・・・通信制御部
　２１２・・・描画処理部
　２１３・・・表示制御部
　３００・・・ＡＲ表示装置
　３０１・・・制御部
　３０２・・・通信部
　３０３・・・センサ部
　３０４・・・表示部
　３０５・・・記憶部
　３１１・・・通信制御部
　３１２・・・描画処理部
　３１３・・・表示制御部
　３１４・・・入力制御部
　３１５・・・認識部
　３１６・・・注視点判定部
　５０１Ａ・・・オブジェクト
　５０１Ｂ・・・３次元表示モデル

Claims (13)

  1. 　２次元ディスプレイに表示されている２次元コンテンツの所定オブジェクトを拡張現実表示装置の３次元表示モデルとして遷移させる場合、または前記拡張現実表示装置の３次元表示モデルを前記２次元ディスプレイに表示される２次元コンテンツの所定オブジェクトとして遷移させる場合、前記２次元コンテンツを運動視差非適用表示から運動視差適用表示に切り替えた後に、前記遷移が行われるように制御する制御部を備える
    　情報処理装置。
  2. 　前記制御部は、前記拡張現実表示装置が一つである場合には、前記運動視差適用表示が前記２次元ディスプレイに表示され、前記拡張現実表示装置が複数である場合には、前記運動視差適用表示が前記拡張現実表示装置に表示されるように制御する
    　請求項１に記載の情報処理装置。
  3. 　前記制御部は、前記２次元ディスプレイに対する前記拡張現実表示装置の位置と向きの情報に基づいて、前記遷移が行われるように制御する
    　請求項１に記載の情報処理装置。
  4. 　前記制御部は、前記２次元ディスプレイと前記拡張現実表示装置の間の距離が所定範囲内にあるとき、前記遷移が行われるように制御する
    　請求項３に記載の情報処理装置。
  5. 　前記制御部は、前記拡張現実表示装置の向きが前記２次元ディスプレイに対して所定範囲内にあるとき、前記遷移が行われるように制御する
    　請求項４に記載の情報処理装置。
  6. 　前記制御部は、前記拡張現実表示装置を装着するユーザの視線が前記２次元ディスプレイに向いているとき、前記遷移が行われるように制御する
    　請求項５に記載の情報処理装置。
  7. 　前記２次元ディスプレイおよび前記拡張現実表示装置と通信をする通信部をさらに備え、
    　前記制御部は、前記通信部を介して、前記拡張現実表示装置から前記位置と向きの情報に基づくユーザ注視情報を取得する
    　請求項３に記載の情報処理装置。
  8. 　前記制御部は、前記２次元コンテンツの前記所定オブジェクトを前記３次元表示モデルとして遷移させる場合、遷移の後かつ前記３次元表示モデルが表示されている間は前記所定オブジェクトが前記２次元ディスプレイに表示されないよう制御する、または前記３次元表示モデルを前記２次元コンテンツの前記所定オブジェクトとして遷移させる場合、遷移の後かつ前記２次元コンテンツの前記所定オブジェクトが表示されている間は前記３次元表示モデルが前記拡張現実表示装置に表示されないよう制御する
    　請求項１に記載の情報処理装置。
  9. 　　前記２次元コンテンツの前記所定オブジェクトと前記３次元表示モデルは前記制御部が実行するアプリケーション上で同一のオブジェクトとして扱われるコンテンツである
    　請求項８に記載の情報処理装置。
  10. 　前記制御部は、前記２次元ディスプレイおよび前記拡張現実表示装置とネットワークを介して接続されたクラウドサーバに含まれる
    　請求項１に記載の情報処理装置。
  11. 　前記クラウドサーバは、ゲームサーバである
    　請求項１０に記載の情報処理装置。
  12. 　２次元ディスプレイに表示されている２次元コンテンツの所定オブジェクトを拡張現実表示装置の３次元表示モデルとして遷移させる場合、または前記拡張現実表示装置の３次元表示モデルを前記２次元ディスプレイに表示される２次元コンテンツの所定オブジェクトとして遷移させる場合、前記２次元コンテンツを運動視差非適用表示から運動視差適用表示に切り替えた後に、前記遷移が行われるように制御する
    　情報処理方法。
  13. 　コンピュータを、
    　２次元ディスプレイに表示されている２次元コンテンツの所定オブジェクトを拡張現実表示装置の３次元表示モデルとして遷移させる場合、または前記拡張現実表示装置の３次元表示モデルを前記２次元ディスプレイに表示される２次元コンテンツの所定オブジェクトとして遷移させる場合、前記２次元コンテンツを運動視差非適用表示から運動視差適用表示に切り替えた後に、前記遷移が行われるように制御する制御手段として機能させる
    　プログラム。
PCT/JP2020/038735 2019-10-28 2020-10-14 情報処理装置、情報処理方法およびプログラム WO2021085130A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021554318A JP7484929B2 (ja) 2019-10-28 2020-10-14 情報処理装置、情報処理方法およびプログラム
US17/770,444 US11770517B2 (en) 2019-10-28 2020-10-14 Information processing apparatus and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-194910 2019-10-28
JP2019194910 2019-10-28

Publications (1)

Publication Number Publication Date
WO2021085130A1 true WO2021085130A1 (ja) 2021-05-06

Family

ID=75716248

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/038735 WO2021085130A1 (ja) 2019-10-28 2020-10-14 情報処理装置、情報処理方法およびプログラム

Country Status (3)

Country Link
US (1) US11770517B2 (ja)
JP (1) JP7484929B2 (ja)
WO (1) WO2021085130A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220377313A1 (en) * 2019-10-28 2022-11-24 Sony Group Corporation Information processing apparatus, information processing method, and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017192467A1 (en) * 2016-05-02 2017-11-09 Warner Bros. Entertainment Inc. Geometry matching in virtual reality and augmented reality
JP2018181288A (ja) * 2017-04-11 2018-11-15 大豊精機株式会社 仮想作業表示方法、仮想作業データ作成方法、及び３次元空間けがきデータ作成方法
KR20190080692A (ko) * 2017-12-28 2019-07-08 (주)연우피씨엔지니어링 2d 도면과 bim모델을 기반으로, 건설용 골조 3d도면·3d형상을 생성하고 건설정보를 운용하는 가상·증강현실 시스템 및 모바일 어플리케이션
US10499044B1 (en) * 2019-05-13 2019-12-03 Athanos, Inc. Movable display for viewing and interacting with computer generated environments

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002247602A (ja) 2001-02-15 2002-08-30 Mixed Reality Systems Laboratory Inc 画像生成装置及びその制御方法並びにそのコンピュータプログラム
CA2669409C (en) * 2006-11-13 2019-09-17 Everyscape, Inc. Method for scripting inter-scene transitions
EP2232885A1 (en) * 2007-12-14 2010-09-29 Koninklijke Philips Electronics N.V. 3d mode selection mechanism for video playback
JP4819114B2 (ja) 2008-12-08 2011-11-24 シャープ株式会社 立体画像表示装置
JP5430266B2 (ja) * 2009-07-21 2014-02-26 富士フイルム株式会社 画像表示装置および方法並びにプログラム
EP2460361B1 (en) * 2009-07-27 2020-05-20 Koninklijke Philips N.V. Switching between 3d video and 2d video
JP2011114863A (ja) * 2009-11-23 2011-06-09 Samsung Electronics Co Ltd ３Ｄ映像の提供方法、３Ｄ映像の変換方法、ＧＵＩ提供方法及びこれを適用した３Ｄディスプレイ装置、そして３Ｄ映像の提供システム｛Ｍｅｔｈｏｄｆｏｒｐｒｏｖｉｄｉｎｇ３Ｄｉｍａｇｅ、ｍｅｔｈｏｄｆｏｒｃｏｎｖｅｒｔｉｎｇ３Ｄｉｍａｇｅ、ＧＵＩｐｒｏｖｉｄｉｎｇｍｅｔｈｏｄｒｅｌａｔｅｄｔｏ３Ｄｉｍａｇｅａｎｄ３Ｄｄｉｓｐｌａｙａｐｐａｒａｔｕｓａｎｄｓｙｓｔｅｍｆｏｒｐｒｏｖｉｄｉｎｇ３Ｄｉｍａｇｅ｝
JP2011182075A (ja) * 2010-02-26 2011-09-15 Hitachi Consumer Electronics Co Ltd 画像処理装置
US9030536B2 (en) * 2010-06-04 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for presenting media content
US8760396B2 (en) * 2010-06-11 2014-06-24 Lg Display Co., Ltd. Stereoscopic image display device
US10163261B2 (en) * 2014-03-19 2018-12-25 Matterport, Inc. Selecting two-dimensional imagery data for display within a three-dimensional model
US9317971B2 (en) * 2012-06-29 2016-04-19 Microsoft Technology Licensing, Llc Mechanism to give holographic objects saliency in multiple spaces
WO2014103065A1 (ja) * 2012-12-28 2014-07-03 株式会社日立製作所 医用画像処理装置および画像処理方法
US10296663B2 (en) * 2014-05-13 2019-05-21 Atheer, Inc. Method for moving and aligning 3D objects in a plane within the 2D environment
CN106663338A (zh) * 2014-08-01 2017-05-10 索尼公司 信息处理装置、信息处理方法和程序
US10675542B2 (en) * 2015-03-24 2020-06-09 Unity IPR ApS Method and system for transitioning between a 2D video and 3D environment
EP3306572A1 (en) * 2016-10-07 2018-04-11 Schneider Electric Industries SAS Method for 3d mapping of 2d point of interest
CN108235143B (zh) * 2016-12-15 2020-07-07 广州市动景计算机科技有限公司 视频播放模式转换方法、装置及移动终端
US10481678B2 (en) * 2017-01-11 2019-11-19 Daqri Llc Interface-based modeling and design of three dimensional spaces using two dimensional representations
US10593042B1 (en) * 2017-04-11 2020-03-17 Zoox, Inc. Perspective conversion for multi-dimensional data analysis
CN108737810B (zh) * 2018-05-23 2019-08-06 苏州新光维医疗科技有限公司 图像处理方法、装置及三维成像系统
US20200175756A1 (en) * 2018-12-03 2020-06-04 Intuitive Research And Technology Corporation Two-dimensional to three-dimensional spatial indexing
JP7484929B2 (ja) * 2019-10-28 2024-05-16 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017192467A1 (en) * 2016-05-02 2017-11-09 Warner Bros. Entertainment Inc. Geometry matching in virtual reality and augmented reality
JP2018181288A (ja) * 2017-04-11 2018-11-15 大豊精機株式会社 仮想作業表示方法、仮想作業データ作成方法、及び３次元空間けがきデータ作成方法
KR20190080692A (ko) * 2017-12-28 2019-07-08 (주)연우피씨엔지니어링 2d 도면과 bim모델을 기반으로, 건설용 골조 3d도면·3d형상을 생성하고 건설정보를 운용하는 가상·증강현실 시스템 및 모바일 어플리케이션
US10499044B1 (en) * 2019-05-13 2019-12-03 Athanos, Inc. Movable display for viewing and interacting with computer generated environments

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220377313A1 (en) * 2019-10-28 2022-11-24 Sony Group Corporation Information processing apparatus, information processing method, and program
US11770517B2 (en) * 2019-10-28 2023-09-26 Sony Group Corporation Information processing apparatus and information processing method

Also Published As

Publication number Publication date
JP7484929B2 (ja) 2024-05-16
US11770517B2 (en) 2023-09-26
US20220377313A1 (en) 2022-11-24
JPWO2021085130A1 (ja) 2021-05-06

Similar Documents

Publication Publication Date Title
US11568604B2 (en) HMD transitions for focusing on specific content in virtual-reality environments
US11571620B2 (en) Using HMD camera touch button to render images of a user captured during game play
US7532224B2 (en) Information processing method and apparatus
JP6058184B1 (ja) ヘッドマウントディスプレイシステムを制御するための方法、および、プログラム
RU2639118C2 (ru) Системы и способы использования сокращенных транзитных участков для создания сцены дополненной виртуальной реальности с помощью устанавливаемой на голове системы
CN105324738B (zh) 在头戴式显示器中切换操作模式
JP6620079B2 (ja) 画像処理システム、画像処理方法およびコンピュータプログラム
JP2018514093A (ja) ズーム関連方法および装置
GB2534580A (en) Image processing
CN105378596A (zh) 用于头戴式显示器中在透明模式与非透明模式之间转变的系统和方法
JP2003242527A (ja) 情報処理装置および方法
JP2019039988A (ja) 情報処理装置および画像表示方法
TWI831796B (zh) 用於產生場景之影像的設備及方法
WO2015011741A1 (ja) 画像処理プログラム、サーバ装置、画像処理システムおよび画像処理方法
KR20150003406A (ko) 동화상 배포 서버, 동화상 재생 장치, 제어 방법, 기록 매체, 및 동화상 배포 시스템
TW202015399A (zh) 用於產生影像資料串流之設備及方法
WO2021085130A1 (ja) 情報処理装置、情報処理方法およびプログラム
US11187895B2 (en) Content generation apparatus and method
KR101281314B1 (ko) 증강현실시스템 및 증강현실구현방법
JP7242448B2 (ja) 仮想現実制御装置、仮想現実制御方法およびプログラム
JP7030075B2 (ja) プログラム、情報処理装置、及び情報処理方法
JP2012141826A (ja) プログラム、情報記憶媒体、画像生成システム及びサーバシステム
CN113366540A (zh) 场景的图像表示
JP2017162443A (ja) ヘッドマウントディスプレイシステムを制御するための方法、および、プログラム
KR101659917B1 (ko) 모션 커맨드 입력 방식의 가상 대전 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20880444

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021554318

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20880444

Country of ref document: EP

Kind code of ref document: A1