WO2023228600A1 - 情報処理装置、情報処理方法および記憶媒体 - Google Patents

情報処理装置、情報処理方法および記憶媒体 Download PDF

Info

Publication number
WO2023228600A1
WO2023228600A1 PCT/JP2023/014221 JP2023014221W WO2023228600A1 WO 2023228600 A1 WO2023228600 A1 WO 2023228600A1 JP 2023014221 W JP2023014221 W JP 2023014221W WO 2023228600 A1 WO2023228600 A1 WO 2023228600A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information processing
parallax
character
display
Prior art date
Application number
PCT/JP2023/014221
Other languages
English (en)
French (fr)
Inventor
卓郎 野田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023228600A1 publication Critical patent/WO2023228600A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a storage medium.
  • Patent Document 1 discloses a technique that uses the Mona Lisa effect to provide a user who observes a character displayed on a flat display with the feeling of being watched.
  • the present disclosure proposes a new and improved information processing device, information processing method, and storage medium that can make a user feel like they are being watched by a character.
  • a control unit that controls display of an object on a multi-parallax display corresponding to multi-parallax in one direction, and a detection unit that detects the position of a user viewing the object displayed on the multi-parallax display.
  • an information processing device wherein the control unit controls correction for rotating the orientation of part or all of the object around an axis along a direction corresponding to the multi-parallax based on the position of the user.
  • controlling the display of an object on a multi-parallax display corresponding to multi-parallax in one direction, and detecting the position of a user viewing the object displayed on the multi-parallax display. and controlling the display of the object includes controlling a correction that rotates the orientation of some or all of the object about an axis along a direction corresponding to the multi-parallax based on the user's position.
  • the computer includes a control function for controlling display of an object on a multi-parallax display corresponding to multi-parallax in one direction, and a control function for controlling display of an object on a multi-parallax display corresponding to multi-parallax in one direction; a detection function that detects a position, and the control function performs a correction that rotates a part or all of the object around an axis along a direction corresponding to the multi-parallax based on the user's position.
  • a computer readable non-transitory storage medium having a program stored thereon is provided.
  • FIG. 1 is an explanatory diagram for explaining an overview of an information processing system according to the present disclosure.
  • FIG. 2 is an explanatory diagram for explaining an example of the functional configuration of the information processing device 10 according to the present disclosure.
  • FIG. 7 is an explanatory diagram for explaining a display example of a multi-parallax display 170 that supports multi-parallax in the horizontal direction.
  • FIG. 2 is an explanatory diagram for explaining an example of the direction of the line of sight of character A when character A is viewed from above in a virtual space.
  • 5 is an explanatory diagram for explaining an example of the direction of the line of sight of character A when character A shown in FIG. 4 is viewed from the side.
  • FIG. 5A is an explanatory diagram for explaining an example of an image of the character shown in FIG.
  • FIG. 5A that can be viewed by a user through a multi-parallax display 170.
  • FIG. FIG. 5 is an explanatory diagram for explaining a specific example of correcting the direction of the line of sight of the character A when the character A shown in FIG. 4 is viewed from the side.
  • 6A is an explanatory diagram illustrating an example of an image of the character shown in FIG. 6A that can be viewed by a user through a multi-parallax display 170.
  • FIG. FIG. 2 is an explanatory diagram for explaining an example of operation processing of the information processing device 10 according to the present disclosure.
  • FIG. 1 is a block diagram showing a hardware configuration of an information processing device 10 according to the present disclosure.
  • nonverbal interactions such as eye contact and joint attention can be important elements for conveying the state of the system.
  • a flat display may be used as a display for displaying characters.
  • a flat display can display a two-dimensional image of a character, and a user can communicate with the character in the two-dimensional image.
  • a multi-parallax display capable of multi-parallax display may be used as a display for displaying characters.
  • a plurality of users located in directions corresponding to the multiple parallaxes of the multi-parallax display can each view a three-dimensional image of the character corresponding to each direction.
  • the user feels that they are communicating more with the character image displayed on the multi-parallax display compared to the character image displayed on the flat display.
  • the multi-parallax display when a multi-parallax display is made to support multi-parallax in both the horizontal and vertical directions, the multi-parallax display may need to be equipped with pixels corresponding to each of the horizontal and vertical directions. In order to suppress such an increase in the number of pixels, it is assumed that a multi-parallax display that realizes multi-parallax in either the horizontal direction or the vertical direction is used as a display for displaying characters.
  • the character's head position and the user's head position are relatively different in height (i.e., vertical position).
  • the character's head position and eye direction may be controlled to match the user's head position and eye height.
  • the display of the character displayed on the multi-parallax display is controlled by controlling the character's line of sight in the virtual space to be directed toward the virtual user's position projected in the virtual space. be done.
  • one embodiment of the present disclosure relates to an information processing system that allows a user to feel as if they are being watched by a character.
  • FIG. 1 an overview of the information processing system according to the present disclosure will be described.
  • FIG. 1 is an explanatory diagram for explaining an overview of an information processing system according to the present disclosure.
  • the information processing system according to the present disclosure includes an information processing device 10 as shown in FIG. Further, the information processing device 10 according to the present disclosure includes a camera 110, as shown in FIG.
  • the camera 110 is a device that acquires a video of a user by photographing the environment in which it is installed.
  • the camera 110 acquires an image including the user U1, user U2, and user U3 shown in FIG.
  • the camera 110 according to the present disclosure may be, for example, an RGB camera, a ToF (Time of Flight) camera, a stereo camera, or an infrared camera.
  • the information processing device 10 may include LiDAR (Light Detection and Ranging).
  • LiDAR Light Detection and Ranging
  • the information processing device 10 includes a multi-parallax display 170 that supports multi-parallax in one direction, as shown in FIG.
  • the multi-parallax display 170 according to the present disclosure displays character A as an example of a virtual object, as shown in FIG. 1, for example.
  • the direction corresponding to multi-parallax is either the horizontal direction of the multi-parallax display 170 (the lateral direction of the multi-parallax display 170 shown in FIG. 1) or the vertical direction (the longitudinal direction of the multi-parallax display 170 shown in FIG. 1). There may be.
  • the direction corresponding to multiple parallaxes is the horizontal direction
  • the vertical direction of the multi-parallax display 170 is a direction that does not support multi-parallax.
  • user U1, user U2, and user U3 who are lined up in the horizontal direction as shown in FIG. 1 can view a three-dimensional image of character A having different postures.
  • the information processing device 10 detects the position of the user viewing the character A displayed on the multi-parallax display 170.
  • the information processing device 10 corrects the direction of part or all of the character A to be rotated around an axis along a direction corresponding to multiple parallaxes based on the detected user's position.
  • the part of character A may be one part such as the eye (pupil) or the head, or may be a plurality of parts such as the eye and the head.
  • FIG. 2 is an explanatory diagram for explaining an example of the functional configuration of the information processing device 10 according to the present disclosure.
  • the information processing device 10 according to the present disclosure includes a camera 110, a detection unit 130, a control unit 140, a drawing unit 150, and a multi-parallax display 170, as shown in FIG. Note that since the functional examples of the camera 110 and the multi-parallax display 170 have been described above, their description will be omitted below.
  • the detection unit 130 detects the position of the user viewing the character displayed on the multi-view display 170.
  • the detection unit 130 may detect the position of the user viewing the character from the video captured by the camera 110.
  • the user's position may be, for example, a relative position of the user with respect to a certain reference position, and the reference position may be a predetermined position of the multi-parallax display 170. Further, the user's position may be an absolute position.
  • the detection unit 130 may detect line-of-sight information indicating the direction of the user's line-of-sight from the video acquired by the camera 110. Then, the detection unit 130 may detect the user's orientation from the detected line of sight information.
  • the gaze information detection method is not limited to a detection method based on video.
  • the detection unit 130 may detect the line of sight information using a pupillary corneal reflex method.
  • the detection unit 130 may detect the orientation of a specific part of the user's face, etc., and determine whether the user is looking at the character based on the orientation of the face.
  • the detection unit 130 may detect the user's position using a marker affixed to the user.
  • Control unit 140 The control unit 140 according to the present disclosure controls the display of characters on the multi-view display 170. For example, when the detection unit 130 detects the position of the user viewing the character, the control unit 140 controls the display related to the character's movement.
  • control unit 140 may control the display related to the character's actions so as to direct the character's eyes and head toward the user viewing the character.
  • control unit 140 controls correction for rotating the orientation of part or all of the character around an axis along the horizontal direction of the multi-parallax display 170 based on the user's position detected by the detection unit 130.
  • control unit 140 controls correction for rotating the orientation of each part of the character, such as the eyes and head, around an axis along the horizontal direction of the multi-parallax display 170 based on the user's position detected by the detection unit 130. You can.
  • control unit 140 may control a predetermined action of the character when eye contact is established with the user to whom the character is looking.
  • establishment of eye contact may include, for example, that the line of sight of the character and the line of sight of the user toward whom the character's line of sight is directed meet for a predetermined period of time or more.
  • control unit 140 may determine that the character's line of sight and the user's line of sight match when the user's line of sight is included in a cone with the character's pupil as its apex.
  • control unit 140 may control a predetermined motion of the character when specific motion information of the user toward whom the character's line of sight is directed is obtained.
  • the specific motion information includes, for example, motion information including a waving motion, motion information including a smiling motion, and the like. Further, the specific motion information may include motion information including a motion in which the user approaches the character.
  • the predetermined action that is controlled when eye contact is established includes, for example, an action of smiling at the user with whom eye contact has been established.
  • the information processing device includes an input/output device related to audio such as a microphone or a speaker, the predetermined action may include an action that causes the character to have a dialogue.
  • the information processing device 10 can improve communication between the user and the character by controlling predetermined actions of the character depending on whether eye contact is established between the user and the character. It can be smooth.
  • the drawing unit 150 draws an image of the character controlled by the control unit 140.
  • the drawing unit 150 draws a stereoscopic image of a character having different postures depending on each position in the horizontal direction corresponding to multiple parallaxes.
  • FIG. 3 is an explanatory diagram for explaining a display example of the multi-parallax display 170 that supports multi-parallax in the horizontal direction. As shown in FIG. 3, by using a multi-parallax display 170 that supports multi-parallax in the horizontal direction, the image of the character A that the user can see can vary depending on the user's location.
  • the multi-parallax function of the multi-parallax display 170 can be realized by using a barrier or a lenticular lens to separate light rays depending on the direction.
  • a barrier or a lenticular lens to separate light rays depending on the direction.
  • users located at different positions in the horizontal direction corresponding to multiple parallaxes can view images of characters corresponding to their respective positions.
  • a user viewing the multi-parallax display 170 from the left side in the horizontal direction can visually recognize the image I1 of the character A viewed from the left side, as shown in FIG.
  • the user who views the multi-parallax display 170 from the front can visually recognize the image I2 of the character A viewed from the front, as shown in FIG.
  • a user viewing the multi-parallax display 170 from the right side in the horizontal direction can view an image I3 of the character viewed from the right side, as shown in FIG.
  • virtual camera VC1 corresponds to video I1
  • virtual camera VC2 corresponds to video I2
  • virtual camera VC3 corresponds to video I3.
  • each video obtained by the virtual cameras VC1 to VC3 at each of the arranged positions can be presented to the user. is possible.
  • the number of combinations according to the present disclosure is not limited to this example.
  • the number of pairs of the video I including the character A and the virtual camera VC may be two, four or more.
  • FIG. 4 is an explanatory diagram for explaining an example of the direction of the line of sight of the character A when the character A in the virtual space is viewed from above.
  • the upper side in the following description refers to the upper side (top of the head side) of the character A shown in FIG.
  • control unit 140 projects the user's virtual position VU in the virtual space based on the user's position detected by the detection unit 130. Then, the control unit 140 controls the orientation of the parts of the character A (for example, parts such as the eyes and head) based on the user's virtual position VU projected in the virtual space.
  • parts of the character A for example, parts such as the eyes and head
  • control unit 140 controls the direction of the eyes of the character A (hereinafter sometimes referred to as the direction of the line of sight) to direct the eyes of the character A toward the user's virtual position VU.
  • the virtual cameras VC1 to VC3 arranged in a horizontally shifted manner in the virtual space acquire images of the character A from the positions in the virtual space where they are each placed.
  • FIG. 5A is an explanatory diagram for explaining an example of the direction of the line of sight of character A when character A shown in FIG. 4 is viewed from the side.
  • the control unit 140 may move the character A to the reference position in FIG. As shown, the user's virtual position VU is projected above the virtual camera VC.
  • control unit 140 controls the direction of the line of sight of the character A to be directed toward the user's virtual position VU. That is, the line of sight of the character A is directed upward from the horizontal plane of the virtual cameras VC1 to VC3, as shown in FIG. 5A.
  • FIG. 5B is an explanatory diagram for explaining an example of the image of the character shown in FIG. 5A that can be viewed by the user through the multi-parallax display 170.
  • An example will be described in which the multi-parallax display 170 supports multi-parallax only in the horizontal direction and does not support multi-parallax in the vertical direction. Therefore, if the heights of character A's head position and the user's head position are the same, the user whose line of sight is directed from character A will be , you get the feeling that Character A is looking at you.
  • control unit 140 controls correction to rotate the orientation of part or all of the character A around an axis along the direction corresponding to multi-parallax (that is, the horizontal direction).
  • multi-parallax that is, the horizontal direction.
  • FIG. 6A is an explanatory diagram for explaining a specific example of correcting the direction of the line of sight of character A when character A shown in FIG. 4 is viewed from the side.
  • the control unit 140 may, for example, set a first vertical position indicating a virtual position VU of the user in the vertical direction in the virtual space, and a second vertical position indicating the vertical positions of the virtual cameras VC1 to VC3 arranged in the virtual space.
  • the line of sight and the direction of the head of character A may be controlled based on the position.
  • control unit 140 controls the angle between the straight line connecting the second vertical position and the correction position AE (for example, the eye position) where the orientation of the character is corrected, and the straight line connecting the first vertical position and the correction position AE.
  • DA may be calculated, and control may be performed to correct the line of sight and head direction of the character A based on the angle DA.
  • control unit 140 directs the line of sight of the character A and the direction reduced by the angle DA formed from the elevation angle of the character's line of sight and head directed toward the virtual position VU in the vertical direction of the user. Control to turn the head may also be performed. Note that in the following description, the line of sight or the direction of the head of character A may be simply expressed as the direction of character A.
  • FIG. 6B is an explanatory diagram for explaining an example of the image of the character shown in FIG. 6A that can be viewed by the user through the multi-parallax display 170.
  • the control unit 140 controls the correction of the vertical direction of the character A as described above, the Mona Lisa effect may occur.
  • the Mona Lisa effect refers to a phenomenon in which the user can feel that the user is being watched by the character, even though the direction of the line of sight of the character A is shifted from the user's position.
  • the Mona Lisa effect may occur when the polar coordinate angle of the user with the character's display position as the origin is within a predetermined angular range.
  • the user feels as if the character A's line of sight is looking in his or her direction even in a height direction that does not support multiple parallaxes, as shown in FIG. 6B.
  • the lines of sight of the user and the character A can more easily match in both the horizontal and vertical directions, so that eye contact can be more easily established.
  • control unit 140 may be determined according to the character's characteristics and characterization.
  • a reference value in the vertical direction may be set in advance for the character. More specifically, for example, in the case of a character whose characteristic is upward gaze, the reference value for the vertical direction of the eyes may be set to "+5°" with respect to the direction of the head.
  • control unit 140 corrects the direction of the character's head in the direction of ⁇ 5° in the vertical direction preset for the character, and corrects the direction of the character's head in the direction of +5° (i.e., 0°) with respect to the direction of the head. Control may be performed to correct the direction of the character's eyes.
  • the control unit 140 may perform control to correct the character's line of sight and the direction of the head when the angle DA shown in FIG. 6A is within a predetermined range. That is, if the angle DA shown in FIG. 6A is outside the predetermined range, the control unit 140 assumes that the Mona Lisa effect will not occur even if the character's line of sight and head direction are corrected. , it is not necessary to perform control to correct the orientation.
  • the predetermined range here may be, for example, an experimentally obtained range. Further, the predetermined range may be, for example, a range of 10° to 90°.
  • control unit 140 may perform control to correct the orientation of the character based on the projection method of the virtual camera.
  • the projection method here includes various methods such as parallel projection and perspective projection.
  • control unit 140 may perform control to correct the orientation of the character to match the horizontal plane of the virtual camera.
  • control unit 140 may perform control to correct the orientation of the character based on the center line of the projection plane of the virtual camera.
  • control unit 140 may estimate the user's movement based on time-series data of the user's position. Then, the control unit 140 may control the orientation of the character according to the estimated user's movement.
  • the method used to estimate the user's movement may be any method capable of estimating the user's movement, for example, a method using machine learning technology or a Kalman filter.
  • the process of correcting the orientation of the character described above is a process that is executed when the character's line of sight is directed toward the user viewing the multi-parallax display 170. Therefore, for example, when directing the character's line of sight to another virtual object placed in the virtual space or an object mapped from the real space to the virtual space, the control unit 140 corrects the above-mentioned direction. No processing is required.
  • control unit 140 may correct the character's line of sight and head direction in stages. For example, when directing the character's line of sight from the object to the user or from the user to the object, the control unit 140 may change the direction correction amount in stages.
  • FIG. 7 is an explanatory diagram for explaining an example of the operation processing of the information processing device 10 according to the present disclosure.
  • the detection unit 130 detects the position of the user viewing the character (S101).
  • control unit 140 projects the user's virtual position into the virtual space where the character exists (S105).
  • control unit 140 controls the line of sight and the direction of the head of the character to face the user's position in the virtual space based on the projected virtual position of the user (S109).
  • control unit 140 calculates the angle formed by the straight line connecting the above-mentioned second vertical position and the correction position and the straight line connecting the first vertical position and the correction position (S113).
  • control unit 140 performs control to correct the character's line of sight and head direction based on the calculated angle (S117).
  • the drawing unit 150 draws the character under the control of the control unit 140 (S121).
  • control unit 140 determines whether eye contact has been established between the user and the character (S125). If it is determined that eye contact has not been established (S125/No), the process returns to S101, and if it is determined that eye contact has been established (S125/Yes), the process proceeds to S129.
  • control unit 140 causes the character to interact with the user with whom eye contact has been established (S129), and the information processing device 10 according to the present disclosure performs processing. finish.
  • FIG. 8 is a block diagram showing the hardware configuration of the information processing device 10 according to the present disclosure.
  • the information processing device 10 includes a CPU (Central Processing Unit) 1001, a ROM (Read Only Memory) 1002, a RAM (Random Access Memory) 1003, and a host bus 1004. .
  • the information processing device 10 also includes a bridge 1005, an external bus 1006, an interface 1007, an input device 1008, an output device 1010, a storage device (HDD) 1011, a drive 1012, and a communication device 1015.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the information processing device 10 also includes a bridge 1005, an external bus 1006, an interface 1007, an input device 1008, an output device 1010, a storage device (HDD) 1011, a drive 1012, and a communication device 1015.
  • HDMI storage device
  • the CPU 1001 functions as an arithmetic processing device and a control device, and controls overall operations within the information processing device 10 according to various programs. Further, the CPU 1001 may be a microprocessor.
  • the ROM 1002 stores programs, calculation parameters, etc. used by the CPU 1001.
  • the RAM 1003 temporarily stores programs used in the execution of the CPU 1001 and parameters that change as appropriate during the execution. These are interconnected by a host bus 1004 composed of a CPU bus and the like. By cooperation of the CPU 1001, ROM 1002, RAM 1003, and software, functions such as the detection unit 130 and the control unit 140 described with reference to FIG. 2 can be realized.
  • the host bus 1004 is connected to an external bus 1006 such as a PCI (Peripheral Component Interconnect/Interface) bus via a bridge 1005.
  • an external bus 1006 such as a PCI (Peripheral Component Interconnect/Interface) bus
  • bridge 1005 Peripheral Component Interconnect/Interface
  • the host bus 1004, bridge 1005, and external bus 1006 do not necessarily need to be configured separately, and these functions may be implemented in one bus.
  • the input device 1008 includes input means for the user to input information, such as a mouse, keyboard, touch panel, button, microphone, switch, and lever, and an input control circuit that generates an input signal based on the user's input and outputs it to the CPU 1001. It is composed of etc.
  • input device 1008 By operating the input device 1008, the user of the information processing device 10 can input various data to the information processing device 10 and instruct processing operations.
  • the output device 1010 includes, for example, a display device such as Looking Glass or JDI light field display. Furthermore, output device 1010 includes audio output devices such as speakers and headphones. The output device 1010 outputs, for example, reproduced content. Specifically, the display device displays various information such as reproduced video data in the form of text or images. On the other hand, the audio output device converts the reproduced audio data etc. into audio and outputs the audio.
  • the storage device 1011 is a device for storing data.
  • the storage device 1011 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 1011 is configured with, for example, an HDD (Hard Disk Drive). This storage device 1011 drives a hard disk and stores programs executed by the CPU 1001 and various data.
  • HDD Hard Disk Drive
  • the drive 1012 is a reader/writer for storage media, and is either built into the information processing device 10 or attached externally.
  • the drive 1012 reads information recorded on the attached removable storage medium 15 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs it to the RAM 1003.
  • the drive 1012 can also write information to the removable storage medium 15.
  • the communication device 1015 is, for example, a communication interface configured with a communication device for connecting to a network. Furthermore, the communication device 1015 may be a wireless LAN compatible communication device, an LTE (Long Term Evolution) compatible communication device, or a wire communication device that performs wired communication.
  • LTE Long Term Evolution
  • the virtual object according to the present disclosure is not limited to such an example.
  • the virtual object may be a car, an airplane, or a gun muzzle in a game.
  • the object according to the present disclosure may be a real object.
  • the character according to the present disclosure may be a character without eyes (for example, a plant, etc.).
  • the control unit 140 may perform control to direct the character's face and body toward the user when the user visually recognizes the character.
  • the information processing device 10 does not need to include all the configurations shown in FIG. 2, and may include other configurations.
  • the information processing device 10 may not include the multi-view display 170 but may include a communication unit.
  • the communication unit included in the information processing device 10 may transmit various display information of the character controlled by the control unit 140 to a display device having a multi-parallax display.
  • each step in the processing of the information processing device 10 of this specification does not necessarily need to be processed in chronological order in the order described as a flowchart.
  • each step in the processing of the information processing system may be processed in a different order from that described in the flowchart or in parallel.
  • a control unit that controls display of an object on a multi-parallax display that supports unidirectional multi-parallax; a detection unit that detects the position of a user viewing the object displayed on the multi-parallax display; Equipped with The control unit includes: controlling a correction that rotates the orientation of part or all of the object around an axis along a direction corresponding to the multi-parallax based on the user's position; Information processing device.
  • the object is a virtual object placed in a virtual space; The information processing device according to (1) above.
  • the control unit includes: performing control to correct the orientation of part or all of the virtual object based on the user's virtual position projected in the virtual space based on the user's position; The information processing device according to (2) above.
  • the control unit includes: the virtual object based on a first vertical position indicating a vertical virtual position of the user in the virtual space; and a second vertical position indicating a vertical position of a virtual camera disposed within the virtual space. control to correct the orientation of some or all of the The information processing device according to (3) above.
  • the control unit includes: Based on the angle formed by the straight line connecting the second vertical position and the correction position where the orientation of the virtual object is corrected, and the straight line connecting the first vertical position and the correction position, part or all of the virtual object performs control to correct the orientation of The information processing device according to (4) above.
  • the control unit includes: controlling to correct the orientation of part or all of the virtual object in a reference direction preset for the virtual object based on the angle formed; The information processing device according to (5) above.
  • the control unit includes: performing control to correct the orientation of part or all of the virtual object when the angle formed is within a predetermined range; The information processing device according to any one of (5) and (6) above.
  • the control unit includes: performing control to correct the orientation of part or all of the virtual object based on a projection method of the virtual camera; The information processing device according to any one of (4) to (7) above.
  • the control unit includes: performing control to correct the orientation of part or all of the virtual object according to the movement of the user estimated based on time-series data of the user's position; The information processing device according to any one of (2) to (8) above.
  • the detection unit includes: detecting the position of the user viewing the virtual object displayed on the multi-parallax display from an image obtained by shooting with a camera; The information processing device according to any one of (2) to (9) above.
  • the virtual object includes a character
  • the control unit includes: performing control to correct the character's line of sight and head direction;
  • (12) further comprising the multi-parallax display,
  • An information processing method performed by a computer including: (14) to the computer, a control function that controls the display of objects on a multi-parallax display that supports unidirectional multi-parallax; a detection function that detects the position of a user viewing the object displayed on the multi-parallax display; Realize, The control function includes: controlling a correction that rotates the orientation of part or all of the object around an axis along a direction corresponding to the multi-parallax based on the user's position;
  • a computer-readable non-transitory storage medium having a program stored thereon

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】キャラクターに見られている感覚をユーザにより生じさせる。 【解決手段】一方向の多視差に対応する多視差ディスプレイ上のオブジェクトの表示を制御する制御部と、前記多視差ディスプレイに表示された前記オブジェクトを見ているユーザの位置を検出する検出部と、を備え、前記制御部は、前記ユーザの位置に基づき、前記多視差に対応する方向に沿う軸周りで前記オブジェクトの一部または全ての向きを回転させる補正を制御する、情報処理装置。

Description

情報処理装置、情報処理方法および記憶媒体
　本開示は、情報処理装置、情報処理方法および記憶媒体に関する。
　近年、キャラクターやロボットなどの対象がユーザとコミュニケーションを図る技術が開発されている。例えば、特許文献１では、モナリザ効果を利用して、平面ディスプレイ上に表示されたキャラクターに注視された感覚を、当該キャラクターを観察するユーザに提供する技術が開示されている。
特開２０２０―８７００３号公報
　しかし、特許文献１に記載の技術では、単に正面を向かせるようにキャラクターを制御するため、ユーザの感じるキャラクターに注視された感覚は限定的になり得る。
　そこで、本開示では、キャラクターに見られている感覚をユーザにより生じさせることが可能な、新規かつ改良された情報処理装置、情報処理方法および記憶媒体を提案する。
　本開示によれば、一方向の多視差に対応する多視差ディスプレイ上のオブジェクトの表示を制御する制御部と、前記多視差ディスプレイに表示された前記オブジェクトを見ているユーザの位置を検出する検出部と、を備え、前記制御部は、前記ユーザの位置に基づき、前記多視差に対応する方向に沿う軸周りで前記オブジェクトの一部または全ての向きを回転させる補正を制御する、情報処理装置が提供される。
　また、本開示によれば、一方向の多視差に対応する多視差ディスプレイ上のオブジェクトの表示を制御することと、前記多視差ディスプレイに表示された前記オブジェクトを見ているユーザの位置を検出することと、を含み、前記オブジェクトの表示を制御することは、前記ユーザの位置に基づき、前記多視差に対応する方向に沿う軸周りで前記オブジェクトの一部または全ての向きを回転させる補正を制御する、ことを含む、コンピュータにより実行される情報処理方法が提供される。
　また、本開示によれば、コンピュータに、一方向の多視差に対応する多視差ディスプレイ上のオブジェクトの表示を制御する制御機能と、前記多視差ディスプレイに表示された前記オブジェクトを見ているユーザの位置を検出する検出機能と、を実現させ、前記制御機能は、前記ユーザの位置に基づき、前記多視差に対応する方向に沿う軸周りで前記オブジェクトの一部または全ての向きを回転させる補正を制御すること、を含む、プログラムが記憶されたコンピュータにより読み取り可能な非一時的な記憶媒体が提供される。
本開示に係る情報処理システムの概要を説明するための説明図である。 本開示に係る情報処理装置１０の機能構成例を説明するための説明図である。 水平方向の多視差に対応する多視差ディスプレイ１７０の表示例を説明するための説明図である。 仮想空間内のキャラクターＡを上側から見た際における、キャラクターＡの視線の向きの一例を説明するための説明図である。 図４に示したキャラクターＡを側面から見た際における、キャラクターＡの視線の向きの一例を説明するための説明図である。 ユーザが多視差ディスプレイ１７０を通じて視認できる図５Ａに示したキャラクターの映像の一例を説明するための説明図である。 図４に示したキャラクターＡを側面から見た際における、キャラクターＡの視線の向きの補正に係る具体例を説明するための説明図である。 ユーザが多視差ディスプレイ１７０を通じて視認できる図６Ａに示したキャラクターの映像の一例を説明するための説明図である。 本開示に係る情報処理装置１０の動作処理の一例を説明するための説明図である。 本開示に係る情報処理装置１０のハードウェア構成を示したブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
　　１．情報処理システムの概要
　　１．１．概要
　　１．２．情報処理装置１０の機能構成例
　　２．キャラクターの表示制御に関する詳細
　　３．動作処理例
　　４．ハードウェア構成例
　　５．補足
　＜＜１．情報処理システムの概要＞＞
　近年、ユーザと機械のインタフェースとして、ＵＩ（Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）ボタンによる操作型のＵＩではなく、人や動物を模したようなキャラクターをディスプレイ上に表示してコミュニケーションが行われるＵＩが普及している。
　このようなユーザとキャラクターとのコミュニケーションに際して、アイコンタクトや共同注意のようなノンバーバルなインタラクションがシステムの状態を伝えるための重要な要素になり得る。
　また、ユーザがキャラクターとコミュニケーションを行っている感覚を得るためには、ユーザや他の物体等の状況に応じて、キャラクターの体の動きが動的に制御されることが望ましい。
　この際、ユーザがキャラクター見ている間や物体を見ている間だけでなく、それ以前の各部位の動きに応じて、キャラクターの動きに制約をかけることで、ユーザとアバターとの間でアイコンタクトがより自然に成立し得る。
　また、キャラクターを表示するディスプレイとして、平面ディスプレイを用いる場合がある。平面ディスプレイは、キャラクターの２次元映像を表示することが可能であり、ユーザは、当該２次元映像のキャラクターとの間でコミュニケーションを図ることが可能である。
　また、キャラクターを表示するディスプレイとして多視差表示が可能な多視差ディスプレイを用いる場合がある。この場合、多視差ディスプレイの多視差に対応する方向にいる複数のユーザは、それぞれ、各方向に応じたキャラクターの３次元映像を視認することが可能である。
　この結果、平面ディスプレイにより表示されたキャラクターの映像と比較して、多視差ディスプレイにより表示されたキャラクターの映像の方が、ユーザは、よりコミュニケーションをしている感覚を得る。
　一方、多視差ディスプレイの水平方向および垂直方向のいずれにおいても多視差に対応させた際に、当該多視差ディスプレイは、水平方向および垂直方向の各方向に対応する画素を搭載する必要が生じ得る。このような画素数の増加を抑えるため、キャラクターを表示するディスプレイとして、水平方向または垂直方向のいずれか一方に多視差を実現させる多視差ディスプレイを用いる場合が想定される。
　例えば、水平方向にのみ多視差を実現可能な多視差ディスプレイにおいて、キャラクターの頭部位置と、ユーザの頭部位置の高さ（即ち、垂直方向の位置）が相対的に異なる場合、キャラクターにアイコンタクトを試みさせるため、キャラクターの頭部位置や目の方向は、ユーザの頭部位置や目の高さに合わせるように制御され得る。この際に、仮想空間内に投影された仮想的なユーザの位置に向けて、仮想空間内におけるキャラクターの視線を向けるように制御されることで、多視差ディスプレイに表示されるキャラクターの表示が制御される。
　しかし、垂直方向は多視差に対応していないため、上述したようなキャラクター頭部位置と、ユーザの頭部位置の高さが相対的に異なる場合、頭部回転効果によりユーザはキャラクターの視線が自らの目への方向よりも上側または下側に向けられている感覚を得る場合がある。
　そこで、本開示の一実施形態は、キャラクターに見られている感覚をユーザにより生じさせることが可能な情報処理システムに関する。以下、図１を参照し、本開示に係る情報処理システムの概要を説明する。
　＜１．１．概要＞
　図１は、本開示に係る情報処理システムの概要を説明するための説明図である。本開示に係る情報処理システムは、図１に示すように情報処理装置１０を有する。また、本開示に係る情報処理装置１０は、図１に示すように、カメラ１１０を備える。
　本開示に係るカメラ１１０は、設置された環境を撮影することで、ユーザの映像を取得する装置である。例えば、カメラ１１０は、図１に示すユーザＵ１、ユーザＵ２、ユーザＵ３を含む映像を取得する。なお、本開示に係るカメラ１１０は、例えばＲＧＢカメラ、ＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）、ステレオカメラ、赤外カメラであってもよい。
　また、本開示に係る情報処理装置１０は、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）を備えてもよい。
　また、本開示に係る情報処理装置１０は、図１に示すように、一方向の多視差に対応する多視差ディスプレイ１７０を備える。本開示に係る多視差ディスプレイ１７０は、例えば図１に示すような、キャラクターＡを仮想オブジェクトの一例として表示する。
　多視差に対応する方向は、多視差ディスプレイ１７０の水平方向（図１に示す多視差ディスプレイ１７０の短手方向）または垂直方向（図１に示す多視差ディスプレイ１７０の長手方向）のいずれの方向であってもよい。以下の説明では、多視差に対応する方向が水平方向である例を主に説明する。即ち、以下の説明では、多視差ディスプレイ１７０の垂直方向は、多視差に対応していない方向である。例えば、図１に示すような水平方向に並ぶユーザＵ１、ユーザＵ２およびユーザＵ３は、それぞれ異なる姿勢を有するキャラクターＡの三次元映像を見ることが可能である。
　また、本開示に係る情報処理装置１０は、多視差ディスプレイ１７０に表示されているキャラクターＡを見ているユーザの位置を検出する。
　そして、情報処理装置１０は、検出されたユーザの位置に基づき、多視差に対応する方向に沿う軸回りでキャラクターＡの一部または全ての向きを回転させるように補正する。ここで、キャラクターＡの一部とは、目（瞳）または頭部などの一部位であってもよいし、目および頭部などの複数の部位であってもよい。
　以上、本開示に係る情報処理システムの概要を説明した。続いて、図２を参照し、本開示に係る情報処理装置１０の機能構成例を説明する。
　＜１．２．情報処理装置１０の機能構成例＞
　図２は、本開示に係る情報処理装置１０の機能構成例を説明するための説明図である。本開示に係る情報処理装置１０は、図２に示すように、カメラ１１０と、検出部１３０と、制御部１４０と、描画部１５０と、多視差ディスプレイ１７０と、を備える。なお、カメラ１１０および多視差ディスプレイ１７０の機能例については上述したため、以下では説明を省略する。
　（検出部１３０）
　本開示に係る検出部１３０は、多視差ディスプレイ１７０に表示されたキャラクターを見ているユーザの位置を検出する。例えば、検出部１３０は、カメラ１１０により取得された映像から、キャラクターを見ているユーザの位置を検出してもよい。
　なお、ユーザの位置とは、例えば、ある基準位置に対するユーザの相対位置であってもよく、基準位置は、多視差ディスプレイ１７０の所定の位置であってもよい。また、ユーザの位置は、絶対位置であってもよい。
　また、検出部１３０は、カメラ１１０により取得された映像からユーザの視線の向きを示す視線情報を検出してもよい。そして、検出部１３０は、検出された視線情報からユーザの向きを検出してもよい。
　なお、本開示に係る視線情報の検出方法は、映像に基づく検出方法に限定されない。例えば、検出部１３０は、瞳孔角膜反射法を用いて、視線情報を検出してもよい。
　また、検出部１３０は、ユーザの顔等の特定の部位の向きを検出し、当該顔の向きに基づき、ユーザがキャラクターを見ているか否かを判定してもよい。
　また、検出部１３０は、ユーザに貼り付けられたマーカにより、ユーザの位置を検出してもよい。
　（制御部１４０）
　本開示に係る制御部１４０は、多視差ディスプレイ１７０上のキャラクターの表示を制御する。例えば、制御部１４０は、検出部１３０によりキャラクターを見ているユーザの位置が検出された場合、キャラクターの動作に係る表示を制御する。
　例えば、制御部１４０は、キャラクターを見ているユーザに対し、キャラクターの目や頭を向けるようにキャラクターの動作に係る表示を制御してもよい。
　また、制御部１４０は、検出部１３０により検出されたユーザの位置に基づき、多視差ディスプレイ１７０の水平方向に沿う軸回りでキャラクターの一部または全ての向きを回転させる補正を制御する。
　例えば、制御部１４０は、検出部１３０により検出されたユーザの位置に基づき、多視差ディスプレイ１７０の水平方向に沿う軸回りでキャラクターの目や頭などの各部位の向きを回転させる補正を制御してもよい。
　また、制御部１４０は、キャラクターの視線が向けられたユーザとの間でアイコンタクトが成立した際に、キャラクターの所定の動作を制御してもよい。ここで、本開示に係るアイコンタクトの成立とは、例えば、キャラクターの視線とキャラクターの視線が向けられたユーザの視線とが所定の時間以上合ったことを含んでもよい。また、例えば、制御部１４０は、キャラクターの瞳を頂点とする円錐にユーザの視線が含まれている際に、キャラクターの視線と、ユーザの視線とが合っていると判定してもよい。
　また、制御部１４０は、キャラクターの視線が向けられたユーザの特定の動作情報が得られた際に、キャラクターの所定の動作を制御してもよい。特定の動作情報とは、例えば、手を振る動作を含む動作情報や笑みを浮かべる動作を含む動作情報などを含む。また、特定の動作情報は、ユーザがキャラクターに向かって近づく動作を含む動作情報を含んでもよい。
　また、アイコンタクトが成立した際に制御される所定の動作は、例えば、アイコンタクトが成立したユーザに対して微笑み掛ける動作を含む。また、本開示に係る情報処理装置がマイクやスピーカ等の音声に係る入出力装置を備えていた場合、所定の動作は、キャラクターに対話をさせる動作を含んでもよい。
　このように、本開示に係る情報処理装置１０は、ユーザとキャラクターとのアイコンタクトが成立したか否かに応じて、キャラクターの所定の動作を制御することにより、ユーザとキャラクターとのコミュニケーションがより円滑になり得る。
　（描画部１５０）
　本開示に係る描画部１５０は、制御部１４０により制御されたキャラクターの映像を描画する。例えば、描画部１５０は、多視差に対応する水平方向の各位置に応じて異なる姿勢を有するキャラクターの立体映像を描画する。
　以上、本開示に係る情報処理装置１０の機能構成例を説明した。続いて、本開示に係るキャラクターの制御に関する詳細を説明する。
　＜＜２．キャラクターの表示制御に関する詳細＞＞
　（多視差ディスプレイの表示例）
　図３は、水平方向の多視差に対応する多視差ディスプレイ１７０の表示例を説明するための説明図である。図３に示すように、水平方向の多視差に対応する多視差ディスプレイ１７０を用いることで、ユーザの存在する位置に応じて、当該ユーザの見えるキャラクターＡの映像が異なり得る。
　例えば、多視差ディスプレイ１７０による多視差の機能は、バリアやレンチキュラレンズを用いて方向に応じて光線を出し分けることで実現可能である。例えば、多視差に対応する水平方向でそれぞれ異なる位置に存在するユーザは、各位置に応じたキャラクターの映像を視認することが可能である。
　より具体的には、多視差ディスプレイ１７０を水平方向の左側から見たユーザは、図３に示すようにキャラクターＡを左側から見た映像Ｉ１を視認することが可能である。
　また、多視差ディスプレイ１７０を正面から見たユーザは、図３に示すようにキャラクターＡを正面から見た映像Ｉ２を視認することが可能である。
　また、多視差ディスプレイ１７０を水平方向の右側から見たユーザは、図３に示すようにキャラクターを右側から見た映像Ｉ３を視認することが可能である。
　このような各方向に応じた映像Ｉ１～Ｉ３を表示するためには、仮想空間ＶＳ内に各映像Ｉ１～Ｉ３に対応する仮想カメラＶＣ１～Ｖ３を配置することが望ましい。図３に示す例では、映像Ｉ１に仮想カメラＶＣ１が対応し、映像Ｉ２に仮想カメラＶＣ２が対応し、映像Ｉ３に仮想カメラＶＣ３が対応する。
　このように仮想カメラＶＣ１～ＶＣ３が仮想空間ＶＳ内に、水平方向にずらして配置されることで、配置された各位置にある仮想カメラＶＣ１～ＶＣ３により得られた各映像をユーザに提示することが可能である。
　なお、図３に示す例では、キャラクターＡを含む映像Ｉと、仮想カメラＶＣの組合せが３組存在する例を説明したが、本開示に係る組数は係る例に限定されない。例えば、キャラクターＡを含む映像Ｉと、仮想カメラＶＣの組数は、２組であってもよいし、４組以上であってもよい。
　以上、本開示に係る多視差ディスプレイの表示例を説明した。続いて、図４および図５を参照し、本開示に係る課題の整理について説明する。
　（課題の整理）
　図４は、仮想空間内のキャラクターＡを上側から見た際における、キャラクターＡの視線の向きの一例を説明するための説明図である。以下の説明における上側とは、図３に示したキャラクターＡの上側（頭頂部側）を示す。
　例えば、制御部１４０は、検出部１３０により検出されたユーザの位置に基づき、仮想空間内にユーザの仮想位置ＶＵを投影する。そして、制御部１４０は、仮想空間内に投影されたユーザの仮想位置ＶＵに基づき、キャラクターＡの部位（例えば、目や頭等の部位）の向きを制御する。
　例えば、制御部１４０は、キャラクターＡの目の向き（以下では、視線の向きと表現する場合がある。）をユーザの仮想位置ＶＵに向けるように制御する。
　そして、仮想空間において水平方向にずらして並べられた仮想カメラＶＣ１～ＶＣ３は、各々が配置された仮想空間内の位置からキャラクターＡの映像を取得する。
　図５Ａは、図４に示したキャラクターＡを側面から見た際における、キャラクターＡの視線の向きの一例を説明するための説明図である。例えば、多視差ディスプレイ１７０の基準位置に対して、キャラクターＡを見ているユーザの頭部または目等が高さ方向で上側に存在した場合、制御部１４０は、仮想空間内において、図５Ａに示すように仮想カメラＶＣより上側にユーザの仮想位置ＶＵを投影する。
　そして、制御部１４０は、キャラクターＡの視線の向きをユーザの仮想位置ＶＵに向けるように制御する。即ち、キャラクターＡの視線は、図５Ａに示すように、仮想カメラＶＣ１～ＶＣ３の水平面から上側を向けられる。
　図５Ｂは、ユーザが多視差ディスプレイ１７０を通じて視認できる図５Ａに示したキャラクターの映像の一例を説明するための説明図である。多視差ディスプレイ１７０は水平方向にのみ多視差に対応しており、垂直方向の多視差には対応していない一例を説明している。そのため、キャラクターＡの頭部位置とユーザの頭部位置の高さが同じであった場合、多視差に対応している水平方向のいずれの方向からでも、キャラクターＡから視線を向けられたユーザは、キャラクターＡが自分を見ているような感覚を得る。
　一方、多視差に対応していない垂直方向においては、図５Ａに示したキャラクターの視線によれば、ユーザは、図５Ｂに示すような、キャラクターＡが自分の方向ではなく、自分より上側を見ているような感覚を得る。その結果、ユーザはキャラクターＡに見られている感覚を得られず、ユーザとキャラクターＡとの間でアイコンタクトが成立しにくい恐れがあった。
　そこで、本開示に係る制御部１４０は、多視差に対応する方向（即ち、水平方向）に沿う軸回りでキャラクターＡの一部または全ての向きを回転させる補正を制御する。以下、図６Ａおよび図６Ｂを参照し、本開示に係る制御部１４０により、キャラクターＡの向きを補正する制御の詳細を説明する。
　（キャラクターＡの向きの補正）
　図６Ａは、図４に示したキャラクターＡを側面から見た際における、キャラクターＡの視線の向きの補正に係る具体例を説明するための説明図である。制御部１４０は、例えば、仮想空間におけるユーザの垂直方向の仮想位置ＶＵを示す第１の垂直位置と、仮想空間内に配置された仮想カメラＶＣ１～ＶＣ３の垂直方向の位置を示す第２の垂直位置とに基づきキャラクターＡの視線や頭部の向きを制御してもよい。
　例えば、制御部１４０は、第２の垂直位置およびキャラクターの向きが補正される補正位置ＡＥ（例えば、目の位置）を繋ぐ直線と、第１の垂直位置および補正位置ＡＥを繋ぐ直線のなす角ＤＡを算出し、当該なす角ＤＡに基づき、キャラクターＡの視線や頭部の向きを補正する制御を行ってもよい。
　より具体的には、制御部１４０は、ユーザの垂直方向の仮想位置ＶＵに向けられたキャラクターの視線や頭部の仰角からなす角ＤＡの角度だけ減少させた方向に対し、キャラクターＡの視線や頭部を向けさせる制御を行ってもよい。なお、以下の説明では、キャラクターＡの視線や頭部の向きを単にキャラクターＡの向きと表現する場合がある。
　図６Ｂは、ユーザが多視差ディスプレイ１７０を通じて視認できる図６Ａに示したキャラクターの映像の一例を説明するための説明図である。制御部１４０が上述したようなキャラクターＡの垂直方向の向きの補正を制御することで、モナリザ効果が生じ得る。
　モナリザ効果とは、キャラクターＡの視線の向きがユーザの位置からずれているものの、キャラクターから見られている感覚を得ることができる現象を表す。例えば、キャラクターの表示位置を原点とするユーザの極座標の偏角が所定の角度範囲内である場合にモナリザ効果は生じ得る。
　これにより、ユーザは、図６Ｂに示すような、多視差に対応していない高さ方向においても、キャラクターＡの視線が自分の方向を見ているような感覚を得る。この結果、水平方向および垂直方向のいずれの方向においても、ユーザとキャラクターＡの視線が一致しやすくなるため、アイコンタクトがより成立されやすくなり得る。
　なお、本開示に係る制御部１４０によるキャラクターの表示制御は上述した例に限定されない。例えば、キャラクターの特性や性格付けに応じて、キャラクターの視線の向きやキャラクターの頭の向きの基準値が決定されてもよい。
　例えば、キャラクターには予め垂直方向の基準値が設定されてもよい。より具体的には、例えば、上目遣いを特性とするキャラクターの場合、垂直方向の目の向きの基準値は、頭の向きに対して「＋５°」に設定されてもよい。
　この場合、制御部１４０は、キャラクターに予め設定された垂直方向の－５°の方向にキャラクターの頭の向きを補正し、当該頭の向きに対して＋５°（即ち、０°）の方向にキャラクターの目の向きを補正する制御を行ってもよい。
　また、上述したように、モナリザ効果が生じる角度範囲には限りがある。そのため、制御部１４０は、図６Ａに示したなす角ＤＡが所定の範囲内であった際に、キャラクターの視線や頭部の向きを補正する制御を行ってもよい。即ち、制御部１４０は、図６Ａに示したなす角ＤＡが所定の範囲外であった場合、キャラクターの視線や頭部の向きを補正した場合であってもモナリザ効果が生じないと見做し、向きを補正する制御を行わなくてもよい。なお、ここでの所定の範囲は、例えば実験的に得られる範囲であってもよい。また、所定の範囲は、例えば、１０°～９０°の範囲であってもよい。
　また、制御部１４０は、仮想カメラの投影方法に基づき、キャラクターの向きを補正する制御を行ってもよい。ここでの投影方法は、例えば平行投影や、透視投影等の各種方法を含む。
　例えば、投影方法が平行投影または、平行投影に類する場合、制御部１４０は、仮想カメラの水平面に合わせるようにキャラクターの向きを補正する制御を行ってもよい。
　また、投影方法が透視投影の場合、制御部１４０は、仮想カメラの投影面の中心線を基準として、キャラクターの向きを補正する制御を行ってもよい。
　また、ユーザのセンシングには、一定の時間を要する場合がある。そこで、制御部１４０は、ユーザの位置の時系列データに基づき、ユーザの動きを推定してもよい。そして、制御部１４０は、推定されたユーザの動きに応じてキャラクターの向きを制御してもよい。
　ユーザの動きの推定に用いる手法は、ユーザの動きを推定することが可能な任意の手法であってもよいが、例えば、機械学習技術や、カルマンフィルタを用いた手法であってもよい。
　また、上述したキャラクターの向きを補正する処理は、多視差ディスプレイ１７０を見ているユーザに対して、キャラクターの視線を向ける際に実行される処理である。そのため、例えば仮想空間内に配置された他の仮想オブジェクトや、実空間から仮想空間にマッピングされたオブジェクトに対して、キャラクターの視線を向ける際には、制御部１４０は、上述した向きを補正する処理を実行しなくてもよい。
　また、制御部１４０は、キャラクターの視線や頭部の向きを段階的に補正してもよい。例えば、オブジェクトからユーザ、または、ユーザからオブジェクトに対して、キャラクターの視線を向ける場合、制御部１４０は、段階的に向きの補正量を変更してもよい。
　以上、キャラクターの表示制御に関する詳細を説明した。続いて、図７を参照し、本開示に係る情報処理装置１０の動作処理の一例を説明する。
　＜＜３．動作処理例＞＞
　図７は、本開示に係る情報処理装置１０の動作処理の一例を説明するための説明図である。まず、検出部１３０は、キャラクターを見ているユーザの位置を検出する（Ｓ１０１）。
　続いて、制御部１４０は、キャラクターの存在する仮想空間内にユーザの仮想位置を投影する（Ｓ１０５）。
　次に、制御部１４０は、投影されたユーザの仮想位置に基づき、仮想空間内において、ユーザの位置を向くようにキャラクターの視線および頭の方向を制御する（Ｓ１０９）。
　そして、制御部１４０は、上述した第２の垂直位置および補正位置を繋ぐ直線と、第１の垂直位置および補正位置を繋ぐ直線のなす角を算出する（Ｓ１１３）。
　そして、制御部１４０は、算出したなす角に基づき、キャラクターの視線および頭の方向を補正する制御を行う（Ｓ１１７）。
　そして、描画部１５０は、制御部１４０による制御に従い、キャラクターを描画する（Ｓ１２１）。
　次に、制御部１４０は、ユーザとキャラクターとの間でアイコンタクトが成立されたか否かを判定する（Ｓ１２５）。アイコンタクトが成立されなかったと判定された場合（Ｓ１２５／Ｎｏ）、処理はＳ１０１に戻され、アイコンタクトが成立したと判定された場合（Ｓ１２５／Ｙｅｓ）、処理はＳ１２９に進められる。
　アイコンタクトが成立したと判定された場合（Ｓ１２５／Ｙｅｓ）、制御部１４０は、アイコンタクトが成立したユーザに対して、キャラクターに対話させ（Ｓ１２９）、本開示に係る情報処理装置１０は処理を終了する。
　以上、本開示に係る動作処理の具体例を説明した。続いて、図８を参照し、本開示に係る情報処理装置１０のハードウェア構成の一例を説明する。
　＜＜４．ハードウェア構成例＞＞
　以上、本開示に係る実施形態を説明した。上述した情報処理は、ソフトウェアと、以下に説明する情報処理装置１０のハードウェアとの協働により実現される。
　図８は、本開示に係る情報処理装置１０のハードウェア構成を示したブロック図である。情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１００１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１００２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１００３と、ホストバス１００４と、を備える。また、情報処理装置１０は、ブリッジ１００５と、外部バス１００６と、インタフェース１００７と、入力装置１００８と、出力装置１０１０と、ストレージ装置（ＨＤＤ）１０１１と、ドライブ１０１２と、通信装置１０１５とを備える。
　ＣＰＵ１００１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。また、ＣＰＵ１００１は、マイクロプロセッサであってもよい。ＲＯＭ１００２は、ＣＰＵ１００１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ１００３は、ＣＰＵ１００１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス１００４により相互に接続されている。ＣＰＵ１００１、ＲＯＭ１００２およびＲＡＭ１００３とソフトウェアとの協働により、図２を参照して説明した検出部１３０や制御部１４０などの機能が実現され得る。
　ホストバス１００４は、ブリッジ１００５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１００６に接続されている。なお、必ずしもホストバス１００４、ブリッジ１００５および外部バス１００６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置１００８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１００１に出力する入力制御回路などから構成されている。情報処理装置１０のユーザは、該入力装置１００８を操作することにより、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置１０１０は、例えば、Ｌｏｏｋｉｎｇ　Ｇｌａｓｓ、ＪＤＩライトフィールドディスプレイ等の表示装置を含む。さらに、出力装置１０１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。出力装置１０１０は、例えば、再生されたコンテンツを出力する。具体的には、表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。
　ストレージ装置１０１１は、データ格納用の装置である。ストレージ装置１０１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置１０１１は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）で構成される。このストレージ装置１０１１は、ハードディスクを駆動し、ＣＰＵ１００１が実行するプログラムや各種データを格納する。
　ドライブ１０１２は、記憶媒体用リーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ１０１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体１５に記録されている情報を読み出して、ＲＡＭ１００３に出力する。また、ドライブ１０１２は、リムーバブル記憶媒体１５に情報を書き込むこともできる。
　通信装置１０１５は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置１０１５は、無線ＬＡＮ対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
　＜＜５．補足＞＞
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、本開示に係る仮想オブジェクトがキャラクターである例を主に説明したが、本開示に係る仮想オブジェクトは係る例に限定されない。例えば、仮想オブジェクトは、車や飛行機であってもよいし、ゲームなどの銃口であってもよい。また、本開示に係るオブジェクトは、実オブジェクトであってもよい。
　また、本開示に係るキャラクターは目のないキャラクター（例えば、植物など）であってもよい。この場合、制御部１４０は、ユーザがキャラクターを視認した際に、キャラクターの顔の向きや体の向きをユーザに向ける制御を行ってもよい。
　また、本開示に係る情報処理装置１０は、図２に示した全ての構成を備えていなくてもよいし、他の構成を備えてもよい。例えば、情報処理装置１０は、多視差ディスプレイ１７０を備えず、通信部を備えてもよい。この場合、情報処理装置１０が備える通信部は、制御部１４０により制御されたキャラクターの各種表示情報を、多視差ディスプレイを有する表示装置に送信してもよい。
　また、本明細書の情報処理装置１０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理システムの処理における各ステップは、フローチャートとして記載した順序と異なる順序や並列的に処理されてもよい。
　また、情報処理装置１０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述した情報処理装置１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させた非一時的な記憶媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　一方向の多視差に対応する多視差ディスプレイ上のオブジェクトの表示を制御する制御部と、
　前記多視差ディスプレイに表示された前記オブジェクトを見ているユーザの位置を検出する検出部と、
を備え、
　前記制御部は、
　前記ユーザの位置に基づき、前記多視差に対応する方向に沿う軸周りで前記オブジェクトの一部または全ての向きを回転させる補正を制御する、
情報処理装置。
（２）
　前記オブジェクトは、仮想空間内に配置された仮想オブジェクトである、
前記（１）に記載の情報処理装置。
（３）
　前記制御部は、
　前記ユーザの位置に基づき前記仮想空間内に投影された前記ユーザの仮想位置に基づき、前記仮想オブジェクトの一部または全ての向きを補正する制御を行う、
前記（２）に記載の情報処理装置。
（４）
　前記制御部は、
　前記仮想空間における前記ユーザの垂直方向の仮想位置を示す第１の垂直位置と、前記仮想空間内に配置された仮想カメラの垂直方向の位置を示す第２の垂直位置と、に基づき前記仮想オブジェクトの一部または全ての向きを補正する制御を行う、
前記（３）に記載の情報処理装置。
（５）
　前記制御部は、
　前記第２の垂直位置および前記仮想オブジェクトの向きが補正される補正位置を繋ぐ直線と、前記第１の垂直位置および前記補正位置を繋ぐ直線のなす角に基づき、前記仮想オブジェクトの一部または全ての向きを補正する制御を行う、
前記（４）に記載の情報処理装置。
（６）
　前記制御部は、
　前記なす角に基づき、前記仮想オブジェクトに予め設定された基準となる方向に前記仮想オブジェクトの一部または全ての向きを補正する制御を行う、
前記（５）に記載の情報処理装置。
（７）
　前記制御部は、
　前記なす角が所定の範囲内であった際に、前記仮想オブジェクトの一部または全ての向きを補正する制御を行う、
前記（５）または前記（６）までのうちいずれか一項に記載の情報処理装置。
（８）
　前記制御部は、
　前記仮想カメラの投影方法に基づき、前記仮想オブジェクトの一部または全ての向きを補正する制御を行う、
前記（４）から前記（７）までのうちいずれか一項に記載の情報処理装置。
（９）
　前記制御部は、
　前記ユーザの位置の時系列データに基づき推定された前記ユーザの動きに応じて、前記仮想オブジェクトの一部または全ての向きを補正する制御を行う、
前記（２）から前記（８）までのうちいずれか一項に記載の情報処理装置。
（１０）
　前記検出部は、
　カメラの撮影により得られた映像から、前記多視差ディスプレイに表示された前記仮想オブジェクトを見ているユーザの位置を検出する、
前記（２）から前記（９）までのうちいずれか一項に記載の情報処理装置。
（１１）
　前記仮想オブジェクトは、キャラクターを含み、
　前記制御部は、
　前記キャラクターの視線および頭部の向きを補正する制御を行う、
前記（２）から前記（１０）までのうちいずれか一項に記載の情報処理装置。
（１２）
　前記多視差ディスプレイを更に備える、
前記（１）から前記（１１）までのうちいずれか一項に記載の情報処理装置。
（１３）
　一方向の多視差に対応する多視差ディスプレイ上のオブジェクトの表示を制御することと、
　前記多視差ディスプレイに表示された前記オブジェクトを見ているユーザの位置を検出することと、
を含み、
　前記オブジェクトの表示を制御することは、
　前記ユーザの位置に基づき、前記多視差に対応する方向に沿う軸周りで前記オブジェクトの一部または全ての向きを回転させる補正を制御する、
ことを含む、コンピュータにより実行される情報処理方法。
（１４）
　コンピュータに、
　一方向の多視差に対応する多視差ディスプレイ上のオブジェクトの表示を制御する制御機能と、
　前記多視差ディスプレイに表示された前記オブジェクトを見ているユーザの位置を検出する検出機能と、
を実現させ、
　前記制御機能は、
　前記ユーザの位置に基づき、前記多視差に対応する方向に沿う軸周りで前記オブジェクトの一部または全ての向きを回転させる補正を制御すること、
を含む、プログラムが記憶されたコンピュータにより読み取り可能な非一時的な記憶媒体。
１０　　情報処理装置
１１０　　カメラ
１３０　　検出部
１４０　　制御部
１５０　　描画部
１７０　　多視差ディスプレイ

Claims (14)

  1. 　一方向の多視差に対応する多視差ディスプレイ上のオブジェクトの表示を制御する制御部と、
    　前記多視差ディスプレイに表示された前記オブジェクトを見ているユーザの位置を検出する検出部と、
    を備え、
    　前記制御部は、
    　前記ユーザの位置に基づき、前記多視差に対応する方向に沿う軸周りで前記オブジェクトの一部または全ての向きを回転させる補正を制御する、
    情報処理装置。
  2. 　前記オブジェクトは、仮想空間内に配置された仮想オブジェクトである、
    請求項１に記載の情報処理装置。
  3. 　前記制御部は、
    　前記ユーザの位置に基づき前記仮想空間内に投影された前記ユーザの仮想位置に基づき、前記仮想オブジェクトの一部または全ての向きを補正する制御を行う、
    請求項２に記載の情報処理装置。
  4. 　前記制御部は、
    　前記仮想空間における前記ユーザの垂直方向の仮想位置を示す第１の垂直位置と、前記仮想空間内に配置された仮想カメラの垂直方向の位置を示す第２の垂直位置と、に基づき前記仮想オブジェクトの一部または全ての向きを補正する制御を行う、
    請求項３に記載の情報処理装置。
  5. 　前記制御部は、
    　前記第２の垂直位置および前記仮想オブジェクトの向きが補正される補正位置を繋ぐ直線と、前記第１の垂直位置および前記補正位置を繋ぐ直線のなす角に基づき、前記仮想オブジェクトの一部または全ての向きを補正する制御を行う、
    請求項４に記載の情報処理装置。
  6. 　前記制御部は、
    　前記なす角に基づき、前記仮想オブジェクトに予め設定された基準となる方向に前記仮想オブジェクトの一部または全ての向きを補正する制御を行う、
    請求項５に記載の情報処理装置。
  7. 　前記制御部は、
    　前記なす角が所定の範囲内であった際に、前記仮想オブジェクトの一部または全ての向きを補正する制御を行う、
    請求項６に記載の情報処理装置。
  8. 　前記制御部は、
    　前記仮想カメラの投影方法に基づき、前記仮想オブジェクトの一部または全ての向きを補正する制御を行う、
    請求項７に記載の情報処理装置。
  9. 　前記制御部は、
    　前記ユーザの位置の時系列データに基づき推定された前記ユーザの動きに応じて、前記仮想オブジェクトの一部または全ての向きを補正する制御を行う、
    請求項８に記載の情報処理装置。
  10. 　前記検出部は、
    　カメラの撮影により得られた映像から、前記多視差ディスプレイに表示された前記仮想オブジェクトを見ているユーザの位置を検出する、
    請求項９に記載の情報処理装置。
  11. 　前記仮想オブジェクトは、キャラクターを含み、
    　前記制御部は、
    　前記キャラクターの視線および頭部の向きを補正する制御を行う、
    請求項１０に記載の情報処理装置。
  12. 　前記多視差ディスプレイを更に備える、
    請求項１１に記載の情報処理装置。
  13. 　一方向の多視差に対応する多視差ディスプレイ上のオブジェクトの表示を制御することと、
    　前記多視差ディスプレイに表示された前記オブジェクトを見ているユーザの位置を検出することと、
    を含み、
    　前記オブジェクトの表示を制御することは、
    　前記ユーザの位置に基づき、前記多視差に対応する方向に沿う軸周りで前記オブジェクトの一部または全ての向きを回転させる補正を制御する、
    ことを含む、コンピュータにより実行される情報処理方法。
  14. 　コンピュータに、
    　一方向の多視差に対応する多視差ディスプレイ上のオブジェクトの表示を制御する制御機能と、
    　前記多視差ディスプレイに表示された前記オブジェクトを見ているユーザの位置を検出する検出機能と、
    を実現させ、
    　前記制御機能は、
    　前記ユーザの位置に基づき、前記多視差に対応する方向に沿う軸周りで前記オブジェクトの一部または全ての向きを回転させる補正を制御すること、
    を含む、プログラムが記憶されたコンピュータにより読み取り可能な非一時的な記憶媒体。
PCT/JP2023/014221 2022-05-23 2023-04-06 情報処理装置、情報処理方法および記憶媒体 WO2023228600A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-083754 2022-05-23
JP2022083754 2022-05-23

Publications (1)

Publication Number Publication Date
WO2023228600A1 true WO2023228600A1 (ja) 2023-11-30

Family

ID=88919134

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/014221 WO2023228600A1 (ja) 2022-05-23 2023-04-06 情報処理装置、情報処理方法および記憶媒体

Country Status (1)

Country Link
WO (1) WO2023228600A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007019666A (ja) * 2005-07-05 2007-01-25 Ntt Docomo Inc 立体画像表示装置及び立体画像表示方法
JP2013016116A (ja) * 2011-07-06 2013-01-24 Sony Corp 情報処理装置、画像表示装置、および情報処理方法
WO2022004382A1 (ja) * 2020-06-30 2022-01-06 ソニーグループ株式会社 画像生成装置、画像生成方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007019666A (ja) * 2005-07-05 2007-01-25 Ntt Docomo Inc 立体画像表示装置及び立体画像表示方法
JP2013016116A (ja) * 2011-07-06 2013-01-24 Sony Corp 情報処理装置、画像表示装置、および情報処理方法
WO2022004382A1 (ja) * 2020-06-30 2022-01-06 ソニーグループ株式会社 画像生成装置、画像生成方法、及びプログラム

Similar Documents

Publication Publication Date Title
EP3427103B1 (en) Virtual reality
EP3524328B1 (en) Image rendering responsive to user actions in head mounted display
JP5148660B2 (ja) プログラム、情報記憶媒体及び画像生成システム
JP6097377B1 (ja) 画像表示方法及びプログラム
EP3117290B1 (en) Interactive information display
US11277603B2 (en) Head-mountable display system
KR20170031733A (ko) 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들
JP7355006B2 (ja) 情報処理装置、情報処理方法、および記録媒体
KR101892735B1 (ko) 직관적인 상호작용 장치 및 방법
JP2011258159A (ja) プログラム、情報記憶媒体及び画像生成システム
KR20170062439A (ko) 제어 장치, 제어 방법 및 프로그램
US20220291744A1 (en) Display processing device, display processing method, and recording medium
WO2018146922A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6963399B2 (ja) プログラム、記録媒体、画像生成装置、画像生成方法
US11589001B2 (en) Information processing apparatus, information processing method, and program
WO2017191702A1 (ja) 画像処理装置
US11128836B2 (en) Multi-camera display
WO2023228600A1 (ja) 情報処理装置、情報処理方法および記憶媒体
GB2525304B (en) Interactive information display
EP3702008A1 (en) Displaying a viewport of a virtual space
KR101473234B1 (ko) 신체 트래킹에 기반한 영상 디스플레이 방법 및 시스템
US10834382B2 (en) Information processing apparatus, information processing method, and program
KR101514653B1 (ko) 특징점 추적 방법을 이용한 영상 컨텐츠 제어 방법 및 장치
JP2017097918A (ja) 画像表示方法及びプログラム
JP6955725B2 (ja) アニメーション制作システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23811478

Country of ref document: EP

Kind code of ref document: A1