WO2023120472A1 - アバター生成装置 - Google Patents

アバター生成装置 Download PDF

Info

Publication number
WO2023120472A1
WO2023120472A1 PCT/JP2022/046662 JP2022046662W WO2023120472A1 WO 2023120472 A1 WO2023120472 A1 WO 2023120472A1 JP 2022046662 W JP2022046662 W JP 2022046662W WO 2023120472 A1 WO2023120472 A1 WO 2023120472A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
user
information
avatar
unit
Prior art date
Application number
PCT/JP2022/046662
Other languages
English (en)
French (fr)
Inventor
智仁 山▲崎▼
洋平 藤本
一太郎 塚田
Original Assignee
株式会社Ｎｔｔドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｎｔｔドコモ filed Critical 株式会社Ｎｔｔドコモ
Publication of WO2023120472A1 publication Critical patent/WO2023120472A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to an avatar generation device.
  • avatars are sometimes used as users' alter ego.
  • 3D scanning has made it possible to use avatars, which are 3D images of users, especially in a 3D virtual space.
  • Patent Document 1 discloses a virtual fitting device using a three-dimensional image avatar.
  • the virtual try-on device receives a head image of a model, body type information of the model, a plurality of arbitrary pieces of clothing for the same part of the body, and a wearing order of the plurality of arbitrary pieces of clothing.
  • the virtual try-on apparatus extracts two-dimensional images corresponding to a plurality of arbitrary clothes from an image information database in which the wearing states of a plurality of clothes are converted into two-dimensional images.
  • the virtual fitting device generates a composite image by combining two-dimensional images based on the order of clothing.
  • the virtual fitting device converts the composite image into a three-dimensional image based on the body type information.
  • the virtual fitting device transmits the three-dimensional image and the head image to the terminal device.
  • the "head image” a three-dimensional image 3D-scanned by the user's terminal device is mentioned.
  • the user using the above terminal device can impersonate another person by inputting a head image different from himself/herself into the virtual fitting device.
  • an individual's reputation may be unduly compromised, for example, by someone with malicious intent.
  • the problem to be solved by the present invention is to suppress impersonation by generating a three-dimensional avatar that can be verified by the user.
  • An avatar generation device includes: a first acquisition unit that acquires a first image showing a front portion of a user's face; a second acquisition unit that acquires a second image showing a portion and a side portion; an authentication unit that authenticates the user based on the first image and the second image; and using the second image, and an image generating unit that generates a head image of the three-dimensional avatar corresponding to the user.
  • FIG. 2 is a perspective view showing the appearance of the MR glasses 30 according to the first embodiment
  • FIG. FIG. 4 is a schematic diagram of a virtual space VS provided to a user U1 by using the MR glasses 30 according to the first embodiment
  • FIG. 4 is a schematic diagram of a virtual space VS provided to a user U1 by using the MR glasses 30 according to the first embodiment
  • 2 is a block diagram showing a configuration example of the MR glasses 30 according to the first embodiment
  • FIG. 2 is a block diagram showing a configuration example of a terminal device 20 according to the first embodiment
  • FIG. 11 is a flow of generating a three-dimensional image WP of the entire avatar A1 according to the first embodiment
  • FIG. 2 is a block diagram showing a configuration example of a server 10 according to the first embodiment
  • FIG. 4 is a flowchart showing operations of the server 10 according to the first embodiment
  • the block diagram which shows the structural example of 10 A of servers which concern on 2nd Embodiment.
  • FIG. 12 is a block diagram showing a configuration example of a server 10B according to the third embodiment;
  • FIG. 1 First Embodiment
  • a server 10 as an avatar generation device according to a first embodiment of the present invention
  • FIG. 1 is a diagram showing the overall configuration of an information processing system 1 according to the first embodiment of the present invention.
  • the information processing system 1 uses MR technology to provide a virtual space to users U1 and U2 wearing the MR glasses 30 .
  • the information processing system 1 causes the MR glasses 30 to display an avatar A1 corresponding to the user U1 and an avatar A2 corresponding to the user U2.
  • the MR technology is a technology that precisely superimposes a digital virtual space on a real space using XR glasses such as the MR glasses 30 or a device such as an HMD (Head Mounted Display).
  • the MR technology allows users U1 and U2 to simultaneously experience a real space in which real objects are arranged and a virtual space in which virtual objects are arranged.
  • the information processing system 1 includes a server 10, a terminal device 20, and MR glasses 30.
  • the server 10 is an example of an avatar generation device.
  • the server 10 and the terminal device 20 are communicably connected to each other via a communication network NET.
  • the terminal device 20 and the MR glasses 30 are connected so as to be able to communicate with each other.
  • the combination of the terminal device 20 and the MR glasses 30 includes the combination of the terminal device 20-1 and the MR glasses 30-1 and the combination of the terminal device 20-2 and the MR glasses 30-2. Two sets are described. However, the number of sets is merely an example, and the information processing system 1 can include any number of sets of the terminal device 20 and the MR glasses 30 .
  • FIG. 1 it is assumed that user U1 uses a set of terminal device 20-1 and MR glasses 30-1, and user U2 uses a set of terminal device 20-2 and MR glasses 30-2. do.
  • the server 10 provides various data and cloud services to the terminal device 20 via the communication network NET.
  • the server 10 provides the terminal device 20 with various data for displaying the avatar A1 corresponding to the user U1 and the avatar A2 corresponding to the user U2 on the MR glasses 30 connected to the terminal device 20. do.
  • the server 10 provides the terminal device 20-1 with various data for displaying the avatar A2 on the display 38-1 of the MR glasses 30-1 used by the user U1.
  • the server 10 also provides the terminal device 20-2 with various data for displaying the avatar A1 on the display 38-2 of the MR glasses 30-2 used by the user U2.
  • the avatar A1 is a real avatar generated using a photographed image of the user U1.
  • avatar A2 is a real avatar generated using a photographed image of user U2.
  • the terminal device 20-1 causes the MR glasses 30-1 worn by the user U1 to display a virtual object arranged in the virtual space. Further, the terminal device 20-2 causes the MR glasses 30-2 worn on the head of the user U2 to display a virtual object arranged in the virtual space.
  • the virtual space is, for example, a celestial space.
  • the virtual objects are, for example, virtual objects representing data such as still images, moving images, 3DCG models, HTML files, and text files, and virtual objects representing applications. Examples of text files include memos, source codes, diaries, and recipes. Examples of applications include browsers, applications for using SNS, and applications for generating document files.
  • the terminal device 20-1 is preferably a mobile terminal device such as a smart phone and a tablet, for example.
  • the terminal device 20-1 displays a virtual object corresponding to the avatar A2 on the MR glasses 30-1. Also, the terminal device 20-2 causes the MR glasses 30-2 to display a virtual object corresponding to the avatar A1.
  • the MR glasses 30 are display devices worn on the heads of users U1 and U2. More specifically, the MR glasses 30-1 are display devices worn on the head of the user U1. Also, the MR glasses 30-2 are a display device worn on the head of the user U2. The MR glasses 30 are see-through wearable displays. The MR glasses 30 are controlled by the terminal device 20 to display virtual objects on the display panels provided corresponding to each of the binocular lenses. Note that the MR glasses 30 are an example of a display device.
  • FIG. 2 is a perspective view showing the appearance of the MR glasses 30.
  • the MR glasses 30 have temples 91 and 92, a bridge 93, frames 94 and 95, and lenses 41L and 41R, like general eyeglasses.
  • An imaging device 36 is provided in the bridge 93 .
  • the imaging device 36 images the outside world.
  • the imaging device 36 also outputs imaging information indicating the captured image.
  • Each of the lenses 41L and 41R has a half mirror.
  • a frame 94 is provided with a liquid crystal panel or an organic EL panel for the left eye.
  • a liquid crystal panel or an organic EL panel is hereinafter generically referred to as a display panel.
  • the frame 94 is provided with an optical member that guides the light emitted from the display panel for the left eye to the lens 41L.
  • the half mirror provided in the lens 41L transmits external light and guides it to the left eye, and reflects the light guided by the optical member to enter the left eye.
  • the frame 95 is provided with a right-eye display panel and an optical member that guides light emitted from the right-eye display panel to the lens 41R.
  • the half mirror provided in the lens 41R transmits external light and guides it to the right eye, and reflects the light guided by the optical member to enter the right eye.
  • the display 38 which will be described later, includes a lens 41L, a left-eye display panel, a left-eye optical member, and a lens 41R, a right-eye display panel, and a right-eye optical member.
  • the user U1 and the user U2 can observe the image displayed by the display panel in a see-through state in which the image is superimposed on the appearance of the outside world.
  • the MR glasses 30 display the image for the left eye on the display panel for the left eye and the image for the right eye on the display panel for the right eye, among the binocular images with parallax, thereby allowing the user U1 to And the user U2 is made to perceive the displayed image as if it had depth and stereoscopic effect.
  • FIG. 3 and 4 are schematic diagrams of the virtual space VS provided to the user U1 and the user U2 by using the MR glasses 30.
  • FIG. 3 As shown in FIG. 3, in the virtual space VS, virtual objects VO1 to VO5 representing various contents such as browsers, cloud services, images, and moving images are arranged.
  • the user U1 walks in and out of the public space while wearing the MR glasses 30 on which the virtual objects VO1 to VO5 arranged in the virtual space VS are displayed. You can experience the virtual space VS.
  • the user U1 can act in the public space while benefiting from the virtual objects VO1 to VO5 arranged in the virtual space VS. The same is true for user U2.
  • the user U1 and the user U2 can share the virtual space VS.
  • the user U1 and the user U2 share one or a plurality of virtual objects VO, and between the user U1 and the user U2 via the shared virtual object VO. communication becomes possible.
  • FIG. 5 is a block diagram showing a configuration example of the MR glasses 30.
  • the MR glasses 30 include a processing device 31 , a storage device 32 , a line-of-sight detection device 33 , a GPS device 34 , a motion detection device 35 , an imaging device 36 , a communication device 37 and a display 38 .
  • Each element of the MR glasses 30 is interconnected by one or more buses for communicating information.
  • the term "apparatus" in this specification may be replaced with another term such as a circuit, a device, or a unit.
  • the case where the MR glasses 30 are used by the user U1 that is, the case where the MR glasses 30 are the MR glasses 30-1 will be explained.
  • the processing device 31 is a processor that controls the MR glasses 30 as a whole.
  • the processing device 31 is configured using, for example, a single chip or multiple chips.
  • the processing device 31 is configured using, for example, a central processing unit (CPU) including an interface with peripheral devices, an arithmetic device, a register, and the like.
  • CPU central processing unit
  • Some or all of the functions of the processing device 31 are realized by hardware such as DSP (Digital Signal Processor), ASIC (Application Specific Integrated Circuit), PLD (Programmable Logic Device), and FPGA (Field Programmable Gate Array). You may The processing device 31 executes various processes in parallel or sequentially.
  • the storage device 32 is a recording medium that can be read and written by the processing device 31.
  • the storage device 32 also stores a plurality of programs including the control program PR1 executed by the processing device 31 .
  • the line-of-sight detection device 33 detects the line of sight of the user U1. Any method may be used for detection of the line of sight by the line of sight detection device 33 .
  • the line-of-sight detection device 33 may detect line-of-sight information based on, for example, the position of the inner corner of the eye and the position of the iris.
  • the line-of-sight detection device 33 also supplies line-of-sight information indicating the line-of-sight direction of the user U1 to the processing device 31, which will be described later, based on the detection result.
  • the line-of-sight information supplied to the processing device 31 is transmitted to the terminal device 20 via the communication device 37 .
  • the GPS device 34 receives radio waves from multiple satellites. Also, the GPS device 34 generates location information from the received radio waves.
  • the positional information indicates the position of the MR glasses 30 .
  • the location information may be in any format as long as the location can be specified.
  • the position information indicates the latitude and longitude of the MR glasses 30, for example.
  • location information is obtained from GPS device 34 .
  • the MR glasses 30 may acquire position information by any method.
  • the acquired position information is supplied to the processing device 31 .
  • the position information supplied to the processing device 31 is transmitted to the terminal device 20 via the communication device 37 .
  • the motion detection device 35 detects motion of the MR glasses 30 .
  • the motion detection device 35 corresponds to an inertial sensor such as an acceleration sensor that detects acceleration and a gyro sensor that detects angular acceleration.
  • the acceleration sensor detects acceleration in orthogonal X-, Y-, and Z-axes.
  • the gyro sensor detects angular acceleration around the X-, Y-, and Z-axes.
  • the motion detection device 35 can generate motion information indicating the motion of the MR glasses 30 based on the output information of the gyro sensor.
  • the motion information includes acceleration data indicating three-axis acceleration and angular acceleration data indicating three-axis angular acceleration.
  • the motion detection device 35 supplies motion information regarding the motion of the MR glasses 30 to the processing device 31 .
  • the motion information supplied to the processing device 31 is transmitted to the terminal device 20 via the communication device 37 .
  • the imaging device 36 outputs imaging information obtained by imaging the outside world.
  • the imaging device 36 includes, for example, a lens, an imaging element, an amplifier, and an AD converter.
  • the light condensed through the lens is converted into an image pickup signal, which is an analog signal, by the image pickup device.
  • the amplifier amplifies the imaging signal and supplies it to the AD converter.
  • the AD converter converts the amplified imaging signal, which is an analog signal, into imaging information, which is a digital signal.
  • the converted imaging information is supplied to the processing device 21 .
  • the imaging information supplied to the processing device 31 is transmitted to the terminal device 20 via the communication device 37 .
  • the communication device 37 is hardware as a transmission/reception device for communicating with other devices.
  • the communication device 37 is also called a network device, a network controller, a network card, a communication module, etc., for example.
  • the communication device 37 may include a connector for wired connection and an interface circuit corresponding to the connector.
  • the communication device 37 may have a wireless communication interface.
  • Products conforming to wired LAN, IEEE1394, and USB are examples of connectors and interface circuits for wired connection.
  • a wireless communication interface there are products conforming to wireless LAN, Bluetooth (registered trademark), and the like.
  • the display 38 is a device that displays images.
  • a display 38 displays various images under the control of the processing device 31 .
  • the display 38 includes the lens 41L, the left-eye display panel, the left-eye optical member, and the lens 41R, the right-eye display panel, and the right-eye optical member, as described above.
  • Various display panels such as a liquid crystal display panel and an organic EL display panel are preferably used as the display panel.
  • the processing device 31 functions as an acquisition unit 311 and a display control unit 312, for example, by reading the control program PR1 from the storage device 32 and executing it.
  • the acquisition unit 311 acquires image information indicating an image displayed on the MR glasses 30 from the terminal device 20 .
  • the acquisition unit 311 acquires line-of-sight information supplied from the line-of-sight detection device 33, position information supplied from the GPS device 34, motion information supplied from the motion detection device 35, and imaging information supplied from the imaging device 36. get. After that, the acquisition unit 311 supplies the acquired line-of-sight information, position information, motion information, and imaging information to the communication device 37 . The line-of-sight information, position information, motion information, and imaging information supplied to the communication device 37 are transmitted to the terminal device 20 .
  • the display control unit 312 Based on the image information acquired from the terminal device 20 by the acquisition unit 311, the display control unit 312 causes the display 38 to display an image indicated by the image information.
  • FIG. 6 is a block diagram showing a configuration example of the terminal device 20.
  • the terminal device 20 includes a processing device 21 , a storage device 22 , a communication device 23 , a display 24 , an input device 25 and an imaging device 26 .
  • Each element of the terminal device 20 is interconnected by one or more buses for communicating information.
  • the processing device 21 is a processor that controls the terminal device 20 as a whole. Also, the processing device 21 is configured using, for example, a single chip or a plurality of chips. The processing unit 21 is configured using, for example, a central processing unit (CPU) including interfaces with peripheral devices, arithmetic units, registers, and the like. A part or all of the functions of the processing device 21 may be realized by hardware such as DSP, ASIC, PLD, and FPGA. The processing device 21 executes various processes in parallel or sequentially.
  • CPU central processing unit
  • the storage device 22 is a recording medium that can be read and written by the processing device 21 .
  • the storage device 22 also stores a plurality of programs including the control program PR2 executed by the processing device 21 .
  • the communication device 23 is hardware as a transmission/reception device for communicating with other devices.
  • the communication device 23 is also called a network device, a network controller, a network card, a communication module, or the like, for example.
  • the communication device 23 may include a connector for wired connection and an interface circuit corresponding to the connector. Further, the communication device 23 may have a wireless communication interface. Products conforming to wired LAN, IEEE1394, and USB are examples of connectors and interface circuits for wired connection. Also, as a wireless communication interface, there are products conforming to wireless LAN, Bluetooth (registered trademark), and the like.
  • the display 24 is a device that displays images and character information.
  • the display 24 displays various images under the control of the processing device 21 .
  • various display panels such as a liquid crystal display panel and an organic EL (Electro Luminescence) display panel are preferably used as the display 24 .
  • the display 24 displays an image and character information instructing the user U1 to move the head when the server 10 authenticates the user U1.
  • the input device 25 accepts operations from the user U1 who wears the MR glasses 30 on his head.
  • the input device 25 includes a pointing device such as a keyboard, touch pad, touch panel, or mouse.
  • the input device 25 may also serve as the display 24 .
  • the user U1 uploads the first image TP1 showing the front part of the user U1's face from the terminal device 20 to the server 10 for the purpose of generating a three-dimensional real avatar.
  • the first image TP1 is typically a two-dimensional image generated based on the face photograph of the user U1.
  • the first image TP1 is not limited to a two-dimensional image generated based on the face photograph of the user U1.
  • FIG. 7 shows the generation flow of the entire three-dimensional image WP of the avatar A1, which is the real avatar corresponding to the user U1. As shown in FIG. 7, the first image TP1 is used for the head image HP of the avatar A1.
  • the input device 25 is used by the user U1 to input the first image TP1 to the terminal device 20 .
  • the first image TP1 may be obtained by capturing an image of the user U1 with an imaging device 26 described later, or may be obtained from an external device using the communication device 23 described above.
  • the imaging device 26 outputs imaging information obtained by imaging the outside world.
  • the imaging device 26 includes, for example, a lens, an imaging element, an amplifier, and an AD converter.
  • the light condensed through the lens is converted into an image pickup signal, which is an analog signal, by the image pickup device.
  • the amplifier amplifies the imaging signal and outputs it to the AD converter.
  • the AD converter converts the amplified imaging signal, which is an analog signal, into imaging information, which is a digital signal.
  • the converted imaging information is output to the processing device 21 .
  • the imaging information output to the processing device 21 is output to the server 10 via the communication device 23 .
  • the user U1 needs to be authenticated by the server 10 when generating the real avatar described above.
  • the user U1 moves his or her head based on the image and character information displayed on the display 24 that instruct the user U1 to move his or her head.
  • the imaging device 26 images the head of the user U1 when the head is in motion. It is preferable that the imaging device 26 generates a moving image that captures the movement of the head of the user U1.
  • the processing device 21 functions as an acquisition unit 211, an image generation unit 212, and an output unit 213 by reading the control program PR2 from the storage device 22 and executing it.
  • the acquisition unit 211 acquires the first image TP1 showing the front part of the face of the user U1. Also, the acquisition unit 211 acquires image information indicating an image displayed on the MR glasses 30 from the server 10 by using the communication device 23 . Furthermore, the acquisition unit 211 acquires line-of-sight information, position information, motion information, and imaging information from the MR glasses 30 using the communication device 23 .
  • the image generating unit 212 generates a second image FP showing the front part and the side part of the face of the user U1 based on the image of the head of the user U1 when the head is moving, which is captured by the imaging device 26.
  • the second image FP is typically a three-dimensional image.
  • the second image FP is not limited to the three-dimensional image.
  • the second image FP may be a plurality of two-dimensional images, each showing a front portion or a side portion of the user's U1 face.
  • the second image FP is used for the head image HP of avatar A1, which is the real avatar corresponding to user U1.
  • the output unit 213 transmits, to the server 10, the image information indicating the first image TP1 indicating the front portion of the face of the user U1, line-of-sight information, position information, movement information, and imaging information, which are obtained by the obtaining unit 211. . Also, the output unit 213 transmits to the server 10 the second image FP showing the front and side portions of the face of the user U1 generated by the image generation unit 212 .
  • the output unit 213 transmits the image information to the MR glasses 30 for the purpose of displaying the virtual object VO in the virtual space VS.
  • the image information is image information indicating an image of the virtual object VO.
  • the output unit 213 transmits the above image information to the MR glasses 30 so that the virtual object VO is displayed in the virtual space VS viewed by the user U1 through the MR glasses 30 .
  • FIG. 8 is a block diagram showing a configuration example of the server 10. As shown in FIG.
  • the server 10 comprises a processing device 11 , a storage device 12 , a communication device 13 , a display 14 and an input device 15 .
  • Each element of server 10 is interconnected by one or more buses for communicating information.
  • the processing device 11 is a processor that controls the server 10 as a whole. Also, the processing device 11 is configured using, for example, a single chip or a plurality of chips. The processing unit 11 is configured using, for example, a central processing unit (CPU) including interfaces with peripheral devices, arithmetic units, registers, and the like. A part or all of the functions of the processing device 11 may be implemented by hardware such as DSP, ASIC, PLD, and FPGA. The processing device 11 executes various processes in parallel or sequentially.
  • CPU central processing unit
  • the storage device 12 is a recording medium that can be read and written by the processing device 11.
  • the storage device 12 also stores a plurality of programs including the control program PR3 executed by the processing device 11 .
  • the storage device 12 also stores avatar information AI and instruction information DI.
  • the avatar information AI is information used when the image generation unit 114, which will be described later, generates image information indicating the body part image BP of the avatar A1.
  • the instruction information DI is information for instructing the movement of the head of the user U1, and is displayed on the MR glasses 30.
  • the communication device 13 is hardware as a transmission/reception device for communicating with other devices.
  • the communication device 13 is also called a network device, a network controller, a network card, a communication module, or the like, for example.
  • the communication device 13 may include a connector for wired connection and an interface circuit corresponding to the connector. Further, the communication device 13 may have a wireless communication interface. Products conforming to wired LAN, IEEE1394, and USB are examples of connectors and interface circuits for wired connection. Also, as a wireless communication interface, there are products conforming to wireless LAN, Bluetooth (registered trademark), and the like.
  • the display 14 is a device that displays images and character information.
  • the display 14 displays various images under the control of the processing device 11 .
  • various display panels such as a liquid crystal display panel and an organic EL display panel are preferably used as the display 14 .
  • the input device 15 is a device that receives operations from the administrator of the information processing system 1 .
  • the input device 15 includes a pointing device such as a keyboard, touch pad, touch panel, or mouse.
  • the input device 15 may also serve as the display 14 .
  • the processing device 11 functions as a first acquisition unit 111, a second acquisition unit 112, an authentication unit 113, an image generation unit 114, and an output unit 115 by reading and executing the control program PR3 from the storage device 12, for example. .
  • the first acquisition unit 111 acquires from the terminal device 20 the first image TP1 showing the front part of the face of the user U1. More specifically, the first acquisition unit 111 uses the communication device 23 to receive the first image TP1 representing the front part of the face of the user U1 from the terminal device 20 .
  • the first image TP1 is the first image TP1 representing the front part of the face of the user U1, which the user U1 has input to the terminal device 20 using the input device 25, as described above.
  • the second acquisition unit 112 acquires from the terminal device 20 the second image FP showing the front and side portions of the face of the user U1. More specifically, the second acquisition unit 112 uses the communication device 23 to receive the second image FP representing the front and side portions of the face of the user U1 from the terminal device 20 .
  • the second image FP is an image of the user U1 generated by the image generation unit 212 based on the image captured by the imaging device 26 provided in the terminal device 20 when the user U1 moves the head. It is the second image FP showing the front part and the side part of the face.
  • the authentication unit 113 authenticates the user U1 based on the first image TP1 acquired by the first acquisition unit 111 and the second image FP acquired by the second acquisition unit 112. For example, the authentication unit 113 generates a third image TP2 showing the front of the face of the user U1 based on the second image FP, and collates the first image TP1 and the third image TP2 to authenticate the user U1. do. In the collation, the authentication unit 113 preferably uses pattern matching technology, for example. Specifically, the authentication unit 113 recognizes the feature data representing the facial features of the user U1 extracted from the image information representing the first image TP1 and the face of the user U1 extracted from the image information representing the third image TP2. is compared with feature data indicating the features of As a result, when the degree of matching between the feature data of both is equal to or greater than a predetermined threshold value, the authentication unit 113 authenticates that the user U1 is valid.
  • the image generation unit 114 generates image information indicating an image displayed on the MR glasses 30 .
  • the image information is transmitted to the terminal device 20 by the communication device 13 .
  • the output unit 213 provided in the terminal device 20 outputs the image information to the MR glasses 30 for the purpose of displaying the virtual object VO in the virtual space VS based on the image information.
  • the image generating unit 114 when the authenticating unit 113 authenticates the user U1, the image generating unit 114 generates image information indicating the entire three-dimensional image WP of the avatar A1 corresponding to the user U1. .
  • the image generation unit 114 uses the second image FP acquired by the second acquisition unit 112 to generate image information indicating the head image HP of the avatar A1.
  • the image generation unit 114 may further use the first image TP1 acquired by the first acquisition unit 111 to generate image information indicating the head image HP of the avatar A1.
  • the image generation unit 114 uses not only the image showing the front of the face of the user U1 but also the image showing the side of the face of the user U1 included in the second image FP to generate an image showing the head image HP of the avatar A1. Generate information.
  • the server 10 can bring the head image HP of the avatar A1 closer to the face of the user U1 than when generating the 3D avatar A1 using only the image showing the front of the face of the user U1. can be done. Therefore, the quality of the head image HP of the avatar A1 is improved.
  • the image generator 114 uses the avatar information AI stored in the storage device 12 to generate image information indicating the body part image BP of the avatar A1. Finally, as shown in FIG. 7, the image generator 114 generates a three-dimensional image WP of the entire avatar A1 using the image information indicating the head image HP and the image information indicating the body image BP. Generate image information indicating
  • the output unit 115 transmits the instruction information DI stored in the storage device 12 to the terminal device 20 using the communication device 13 .
  • the instruction information DI is information for instructing the motion of the head of the user U1, and is displayed on the MR glasses 30.
  • FIG. the output unit 115 transmits image information representing the entire three-dimensional image WP of the avatar A1 generated by the image generation unit 114 to the terminal device 20 using the communication device 13 .
  • FIG. 9 is a flow chart showing the operation of the server 10 according to the first embodiment. The operation of the server 10 will be described below with reference to FIG.
  • step S ⁇ b>1 the processing device 11 functions as the first acquisition unit 111 .
  • the processing device 11 acquires from the terminal device 20 the first image TP1 showing the front portion of the face of the user U1.
  • step S2 the processing device 11 functions as the output unit 115.
  • the processing device 11 transmits the instruction information DI to the terminal device 20 using the communication device 13 .
  • the instruction information DI is information for instructing the motion of the head of the user U1, and is displayed on the MR glasses 30. FIG.
  • step S3 the processing device 11 functions as the second acquisition unit 112.
  • the processing device 11 acquires from the terminal device 20 the second image FP showing the front and side portions of the face of the user U1.
  • step S4 the processing device 11 functions as the authentication unit 113.
  • the processing device 11 authenticates the user U1 based on the first image TP1 acquired by the first acquisition unit 111 and the second image FP acquired by the second acquisition unit 112 .
  • the authentication unit 113 generates a third image TP2 showing the front part of the face of the user U1 based on the second image FP, and compares the first image TP1 and the third image TP2 to identify the user U1. Authenticate. If the user U1 is authenticated as valid, that is, if the result of the authentication in step S4 is affirmative, the processing device 11 executes the process of step S5. If the user U1 is not authenticated as legitimate, that is, if the authentication result in step S4 is negative, the processing device 11 executes the process of step S1.
  • step S5 the processing device 11 functions as the image generator 114.
  • the processing device 11 uses the second image FP acquired in step S3 to generate image information indicating the head image HP of the avatar A1.
  • step S6 the processing device 11 functions as the image generator 114.
  • the processing device 11 uses the avatar information AI stored in the storage device 12 to generate image information indicating the body part image BP of the avatar A1.
  • step S7 the processing device 11 functions as the image generator 114.
  • the processing device 11 uses the image information representing the head image HP and the image information representing the body part image BP to generate image information representing the entire three-dimensional image WP of the avatar A1.
  • step S8 the processing device 11 functions as the output unit 115.
  • the processing device 11 uses the communication device 13 to output image information representing the entire three-dimensional image WP of the avatar A1 generated in step S7 to the terminal device 20 . After that, the processing device 11 ends all the processing described in FIG.
  • the server 10 as the avatar generation device includes the first acquisition unit 111, the second acquisition unit 112, the authentication unit 113, and the image generation unit 114.
  • the first acquisition unit 111 acquires a first image TP1 showing the front part of the face of the user U1.
  • the second acquisition unit 112 acquires a second image FP showing the front and side portions of the face of the user U1 as the user U1 moves his/her head.
  • the authentication unit 113 authenticates the user U1 based on the first image TP1 and the second image FP.
  • the image generator 114 uses the second image FP to generate the head image HP of the three-dimensional avatar corresponding to the user U1.
  • the server 10 generates a three-dimensional avatar that is backed by user U1's identity verification. By this processing, the server 10 can suppress impersonation. In addition, the server 10 can improve the quality of the 3D avatar by generating the 3D avatar using the second image FP showing the face of the user U1, which is acquired with the movement of the head of the user U1. . Specifically, the server 10 can acquire not only the front part of the face of the user U1 but also the side part of the face by the movement of the user U1's head. The server 10 generates the head image HP of the three-dimensional avatar using not only the front image of the face but also the side image of the face. By this process, the server 10 can improve the quality of the 3D avatar.
  • the authentication unit 113 compares the first image TP1 and the third image TP2 generated from the second image FP and showing the front part of the face of the user U1. , authenticate user U1.
  • the server 10 can authenticate the user U1 using, for example, pattern matching technology. By this processing, the server 10 can generate a three-dimensional image WP of the avatar A1 corresponding to the user U1 whose validity has been authenticated. As a result, the server 10 can suppress impersonation by other users U.
  • the server 10 uses not only the image of the front part of the face but also the image of the side part of the face to generate the head image HP of the 3D avatar.
  • identity verification I can think of a way to do it.
  • only the image of the front part of the face is targeted for personal identification of the image itself.
  • the server 10 does not perform the process of supporting the identity verification on the image of the side of the face itself. , to verify identity based on how well they match. Therefore, the processing for identity verification in the present embodiment reduces the load on the server 10 compared to the processing in the method of identity verification for each of the front face image and the side face image. is small.
  • the second acquisition unit 112 acquires the second image FP based on the moving image of the motion of the head of the user U1.
  • the server 10 can generate a higher quality image as the image of the side of the face of the user U1 than in the case of using a plurality of still images photographing the movement of the head of the user U1. can be used.
  • the server 10 can generate a head image HP of higher image quality for the avatar A1, which is a three-dimensional avatar.
  • An information processing system 1A according to the second embodiment of the present invention differs from the information processing system 1 according to the first embodiment in that a server 10A is provided instead of the server 10. . Otherwise, the overall configuration of the information processing system 1A is the same as the overall configuration of the information processing system 1 according to the first embodiment shown in FIG. 1, so illustration and description thereof will be omitted.
  • the storage device 12A stores the learning model LM in addition to the control program PR3, avatar information AI, and instruction information DI.
  • the learning model LM is used by the later-described authentication unit 113A to authenticate the user U1 based on the second image FP showing the front and side portions of the face of the user U1, which is acquired by the second acquisition unit 112. Learning model.
  • the learning model LM is generated by learning teacher data in the learning phase.
  • the teacher data used to generate the learning model LM includes the first feature information extracted from the first image TP1 representing the faces of each of the plurality of persons, acquired by the first acquisition unit 111, and the It has a plurality of sets of authentication results for each person.
  • the learning model LM is generated outside the server 10 .
  • the learning model LM is preferably generated in a second server (not shown).
  • the server 10 acquires the learning model LM from a second server (not shown) via the communication network NET.
  • the processing device 11A includes an authentication unit 113A instead of the authentication unit 113 included in the processing device 11.
  • 113 A of authentication parts show the 2nd feature which shows the feature extracted from the 2nd image FP which was acquired from the 2nd acquisition part 112 and shows the front part and side part of the face of the user U1 with respect to the learning model LM. By entering information, user U1 is authenticated.
  • the processing device 11A provided in the server 10A according to the second embodiment functions as the authentication section 113A in step S4 described above.
  • the processing device 11A provides the learning model LM with a second feature indicating a feature extracted from the second image FP indicating the front and side portions of the face of the user U1, which is obtained from the second obtaining unit 112. By entering information, user U1 is authenticated.
  • the processing executed by the server 10A is the same as the processing executed by the server 10, so the illustration of the flowchart showing the operation of the server 10A is omitted.
  • the authentication unit 113A has the features extracted from the first image TP1 showing the faces of each of the plurality of persons. and the second feature information indicating the feature extracted from the second image FP is input to the learning model LM that has already learned the relationship between the first feature information indicating and the authentication results of a plurality of persons. By doing so, the user U1 is authenticated.
  • the server 10A can authenticate the user U1 using machine learning. By this processing, the server 10A can generate the three-dimensional image WP of the avatar A1 corresponding to the user U1 whose validity has been authenticated. In addition, the server 10A can prevent impersonation by other users U.
  • 3-1 Configuration of the third embodiment 3-1-1: Overall Configuration An information processing system 1B according to the third embodiment of the present invention differs from the information processing system 1 according to the first embodiment in that a server 10B is provided instead of the server 10. . Otherwise, the overall configuration of the information processing system 1B is the same as the overall configuration of the information processing system 1 according to the first embodiment shown in FIG. 1, so illustration and description thereof will be omitted.
  • the processing device 11B includes an authentication unit 113B instead of the authentication unit 113 included in the processing device 11. Further, the processing device 11B further includes a third acquisition unit 116 and a determination unit 117. FIG.
  • the third acquisition unit 116 uses the communication device 13 to acquire the motion information related to the motion of the MR glasses 30 from the terminal device 20 .
  • the third acquisition unit 116 also calculates motion information related to the motion of the head of the user U1 based on the acquired motion information, and outputs the motion information to the determination unit 117 .
  • the determination unit 117 determines the motion instructed by the instruction information DI instructing the motion of the head of the user U1 output to the terminal device 20 by the output unit 115 and the motion of the head of the user U1 indicated by the motion information. It is determined whether the value indicating the degree of matching is equal to or greater than a predetermined value.
  • the authentication unit 113B extracts feature data representing facial features of the user U1 extracted from image information representing the first image TP1, and an image representing the third image TP2.
  • the feature data representing the features of the user U1's face extracted from the information is compared, and the degree of matching between the two feature data is equal to or greater than a predetermined threshold, and the result of determination by the determination unit 117 is affirmative.
  • user U1 authenticates as valid.
  • the processing device 11B provided in the server 10B according to the third embodiment functions as the determination section 117 in step S4 described above.
  • the processing device 11B determines the degree of matching between the movement instructed by the instruction information DI for displaying the instruction of the movement of the head of the user U1 on the MR glasses 30 and the movement of the head of the user U1 indicated by the movement information. is greater than or equal to a predetermined value.
  • the processing device 11B functions as an authentication unit 113B. Processing device 11B authenticates that user U1 is valid when the result of determination by functioning as determination unit 117 is affirmative.
  • processing device 11B authenticates that user U1 is not valid when the result of determination by functioning as determination unit 117 is negative.
  • the processing executed by the server 10B is the same as the processing executed by the server 10, so the illustration of the flowchart showing the operation of the server 10B is omitted.
  • the server 10B as an avatar generation device includes the output unit 115 and the determination unit 117.
  • the output unit 115 outputs instruction information DI for displaying an instruction for the movement of the head of the user U1 on the MR glasses 30 as a display device.
  • the determination unit 117 determines whether a value indicating the degree of matching between the motion of the head of the user U1 and the motion instructed by the instruction information DI is equal to or greater than a predetermined value.
  • the authentication unit 113B authenticates that the user U1 is legitimate when the determination result of the determination unit 117 is affirmative, in addition to the same authentication as the authentication unit 113 according to the first embodiment.
  • the server 10B can authenticate the user U1 based on the motion of the head of the user U1. By this processing, the server 10B can generate a three-dimensional image WP of the avatar A1 corresponding to the user U1 whose validity has been authenticated. As a result, the server 10B can prevent impersonation by other users U.
  • the terminal device 20 includes an image generator 212 .
  • the image generation unit 212 shows the front part and the side part of the face of the user U1 based on the image of the head of the user U1 when the head is moving, which is imaged by the imaging device 26. Generate two images FP.
  • the operation may be performed by a device other than the terminal device 20 .
  • the servers 10 to 10B may include an image generation unit similar to the image generation unit 212 to generate the second image FP showing the front and side portions of the face of the user U1.
  • the image generating units 114 provided in the servers 10 to 10B also have the function of the image generating unit 212, so that the servers 10 to 10B generate the second image FP showing the front and side portions of the face of the user U1. may be generated.
  • the terminal device 20 and the MR glasses 30 are implemented separately.
  • the method of implementing the terminal device 20 and the MR glasses 30 in the embodiment of the present invention is not limited to this.
  • the terminal device 20 and the MR glasses 30 may be implemented within a single housing by providing the MR glasses 30 with the same functions as the terminal device 20 .
  • the information processing system 1 to the information processing system 1B include the MR glasses 30.
  • FIG. In the information processing systems 1 to 1B, instead of the MR glasses 30, HMDs employing VR (Virtual Reality) technology, HMDs employing AR (Augmented Reality) technology, and AR technology are employed. Any one of the AR glasses may be provided.
  • the information processing system 1 to information processing system 1B may include, instead of the MR glasses 30, any one of a normal smartphone and tablet equipped with an imaging device. These HMDs, AR glasses, smartphones, and tablets are examples of display devices.
  • the storage device 12, the storage device 22, and the storage device 32 are ROM and RAM, but flexible discs, magneto-optical discs (e.g., compact discs, digital versatile discs, Blu-ray discs), smart cards, flash memory devices (e.g. cards, sticks, key drives), CD-ROMs (Compact Disc-ROMs), registers, removable discs, hard disks, floppies ) disk, magnetic strip, database, server or other suitable storage medium.
  • the program may be transmitted from a network via an electric communication line.
  • the program may be transmitted from the communication network NET via an electric communication line.
  • the information, signals, etc. described may be represented using any of a variety of different technologies.
  • data, instructions, commands, information, signals, bits, symbols, chips, etc. may refer to voltages, currents, electromagnetic waves, magnetic fields or magnetic particles, light fields or photons, or any of these. may be represented by a combination of
  • input/output information and the like may be stored in a specific location (for example, memory), or may be managed using a management table. Input/output information and the like can be overwritten, updated, or appended. The output information and the like may be deleted. The entered information and the like may be transmitted to another device.
  • the determination may be made by a value (0 or 1) represented using 1 bit, or by a true/false value (Boolean: true or false). Alternatively, it may be performed by numerical comparison (for example, comparison with a predetermined value).
  • each function illustrated in FIGS. 1 to 11 is realized by any combination of at least one of hardware and software.
  • the method of realizing each functional block is not particularly limited. That is, each functional block may be implemented using one device physically or logically coupled, or directly or indirectly using two or more physically or logically separated devices (e.g. , wired, wireless, etc.) and may be implemented using these multiple devices.
  • a functional block may be implemented by combining software in the one device or the plurality of devices.
  • software, instructions, information, etc. may be transmitted and received via a transmission medium.
  • the software uses at least one of wired technology (coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), etc.) and wireless technology (infrared, microwave, etc.) to website, Wired and/or wireless technologies are included within the definition of transmission medium when sent from a server or other remote source.
  • wired technology coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), etc.
  • wireless technology infrared, microwave, etc.
  • system and “network” are used interchangeably.
  • Information, parameters, etc. described in this disclosure may be expressed using absolute values, may be expressed using relative values from a predetermined value, or may be expressed using corresponding other information. may be represented as
  • the servers 10 to 10B and the terminal device 20 may be mobile stations (MS).
  • a mobile station is defined by those skilled in the art as subscriber station, mobile unit, subscriber unit, wireless unit, remote unit, mobile device, wireless device, wireless communication device, remote device, mobile subscriber station, access terminal, mobile terminal, wireless It may also be called a terminal, remote terminal, handset, user agent, mobile client, client, or some other suitable term. Also, in the present disclosure, terms such as “mobile station”, “user terminal”, “user equipment (UE)”, “terminal”, etc. may be used interchangeably.
  • connection refers to any direct or indirect connection between two or more elements. Any connection or coupling is meant, including the presence of one or more intermediate elements between two elements that are “connected” or “coupled” to each other. Couplings or connections between elements may be physical couplings or connections, logical couplings or connections, or a combination thereof. For example, “connection” may be replaced with "access.”
  • two elements are defined using at least one of one or more wires, cables, and printed electrical connections and, as some non-limiting and non-exhaustive examples, in the radio frequency domain. , electromagnetic energy having wavelengths in the microwave and optical (both visible and invisible) regions, and the like.
  • the phrase “based on” does not mean “based only on,” unless expressly specified otherwise. In other words, the phrase “based on” means both “based only on” and “based at least on.”
  • determining and “determining” as used in this disclosure may encompass a wide variety of actions.
  • “Judgement” and “determination” are, for example, judging, calculating, computing, processing, deriving, investigating, looking up, searching, inquiring (eg, lookup in a table, database, or other data structure);
  • "judgment” and “determination” are used for receiving (e.g., receiving information), transmitting (e.g., transmitting information), input, output, access (accessing) (for example, accessing data in memory) may include deeming that a "judgment” or “decision” has been made.
  • judgment and “decision” are considered to be “judgment” and “decision” by resolving, selecting, choosing, establishing, comparing, etc. can contain.
  • judgment and “decision” may include considering that some action is “judgment” and “decision”.
  • judgment (decision) may be replaced by "assuming", “expecting”, “considering”, and the like.
  • the term "A and B are different” may mean “A and B are different from each other.” The term may also mean that "A and B are different from C”. Terms such as “separate,” “coupled,” etc. may also be interpreted in the same manner as “different.”
  • notification of predetermined information is not limited to explicit notification, but is performed implicitly (for example, not notification of the predetermined information). good too.
  • Acquisition unit 212 Image generation unit 213... Output unit 311... Acquisition unit 312... Display control unit A1, A2... Avatar PR1, PR2, PR3... Control program TI1, TI2... Image information, TP1: first two-dimensional image, TP2: second two-dimensional image, U1, U2: user, VO, VO1 to VO5: virtual object

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

アバター生成装置としてのサーバは、ユーザの顔の正面部を示す第１画像を取得する第１取得部と、ユーザの頭部の動作に伴ってユーザの顔の正面部と側面部とを示す第２画像を取得する第２取得部と、第１画像と第２画像とに基づいて、ユーザを認証する認証部と、第２画像を用いて、ユーザに対応する３次元アバターの頭部画像を生成する画像生成部と、を備える。

Description

アバター生成装置
　本発明は、アバター生成装置に関する。
　インターネットにおいて、アバター（avatar）と呼称される、ユーザの分身となるキャラクターが用いられることがある。近年、３Ｄスキャン等の技術を用いることにより、とりわけ３次元の仮想空間において、ユーザの姿を３次元画像としたアバターが汎用可能となった。
　例えば特許文献１は、３次元画像のアバターを用いた仮想試着装置を開示している。当該仮想試着装置は、モデルの頭部画像及び当該モデルの体型情報、身体の同一部位における任意の複数の衣服、及び当該任意の複数の衣服の着衣順序を受け付ける。また、当該仮想試着装置は、複数の衣服の着衣状態を２次元画像に変換した画像情報データベースから任意の複数の衣服に対応する２次元画像を抽出する。また、当該仮想試着装置は、着衣順序に基づいて２次元画像を合成した合成画像を生成する。また、当該仮想試着装置は、合成画像を体型情報に基づいて３次元画像に変換をする。また、当該仮想試着装置は、３次元画像及び頭部画像を端末装置へ送信する。更に、「頭部画像」の例として、ユーザの端末装置によって３Ｄスキャンされた３次元画像が挙げられている。
国際公開第２０２０／００９０６６号
　しかし、特許文献１に係る技術においては、上記の端末装置を使用するユーザが、自身とは異なる頭部画像を仮想試着装置に入力することにより、他人に成りすますことが可能である。このような成りすまし行為が行われた場合、例えば、悪意を持った人物によって、個人の評判が不当に下げられかねない。
　そこで、本発明は、ユーザによる本人確認の裏付けの取れた３次元アバターを生成することにより、成りすまし行為を抑制することを解決課題とする。
　本発明の好適な態様に係るアバター生成装置は、ユーザの顔の正面部を示す第１画像を取得する第１取得部と、前記ユーザの頭部の動作に伴って前記ユーザの顔の前記正面部と側面部とを示す第２画像を取得する第２取得部と、前記第１画像と前記第２画像とに基づいて、前記ユーザを認証する認証部と、前記第２画像を用いて、前記ユーザに対応する３次元アバターの頭部画像を生成する画像生成部と、を備えるアバター生成装置である。
　本発明によれば、ユーザによる本人確認の裏付けの取れた３次元アバターを生成することにより、成りすまし行為を抑制することが可能となる。
第１実施形態に係る情報処理システム１の全体構成を示す図。 第１実施形態に係るＭＲグラス３０の外観を示す斜視図。 第１実施形態に係るＭＲグラス３０を用いることによりユーザＵ１に提供される仮想空間ＶＳの模式図。 第１実施形態に係るＭＲグラス３０を用いることによりユーザＵ１に提供される仮想空間ＶＳの模式図。 第１実施形態に係るＭＲグラス３０の構成例を示すブロック図。 第１実施形態に係る端末装置２０の構成例を示すブロック図。 第１実施形態に係るアバターＡ１の全体の３次元画像ＷＰの生成フロー。 第１実施形態に係るサーバ１０の構成例を示すブロック図。 第１実施形態に係るサーバ１０の動作を示すフローチャート。 第２実施形態に係るサーバ１０Ａの構成例を示すブロック図。 第３実施形態に係るサーバ１０Ｂの構成例を示すブロック図。
１：第１実施形態
　以下、図１～図９を参照することにより、本発明の第１実施形態に係るアバター生成装置としてのサーバ１０を含む情報処理システム１の構成について説明する。
１－１：第１実施形態の構成
１－１－１：全体構成
　図１は、本発明の第１実施形態に係る情報処理システム１の全体構成を示す図である。情報処理システム１は、ＭＲグラス３０を装着したユーザＵ１及びユーザＵ２に対して、ＭＲ技術を用いて、仮想空間を提供する。とりわけ本実施形態において、情報処理システム１は、ユーザＵ１に対応するアバターＡ１と、ユーザＵ２に対応するアバターＡ２とを、ＭＲグラス３０に表示させる。なお、ＭＲ技術とは、ＭＲグラス３０等のＸＲグラス、又はＨＭＤ（Head Mounted Display）等の装置を用いて、現実空間に対してデジタルの仮想空間を精緻に重ね合わせる技術のことである。当該ＭＲ技術により、ユーザＵ１及びユーザＵ２は、現実の物体が配置される現実空間と、仮想オブジェクトが配置される仮想空間とを同時に体験できる。
　情報処理システム１は、サーバ１０、端末装置２０、及びＭＲグラス３０を備える。サーバ１０は、アバター生成装置の一例である。情報処理システム１において、サーバ１０と端末装置２０とは、通信網ＮＥＴを介して互いに通信可能に接続される。また、端末装置２０とＭＲグラス３０とは互いに通信可能に接続される。なお、図１において、端末装置２０とＭＲグラス３０との組として、端末装置２０－１とＭＲグラス３０－１との組、及び端末装置２０－２とＭＲグラス３０－２との組の合計２組が記載される。しかし、当該組数はあくまで一例であって、情報処理システム１は、任意の数の端末装置２０とＭＲグラス３０との組を備えることが可能である。なお、図１においては、ユーザＵ１が端末装置２０－１とＭＲグラス３０－１の組を使用し、ユーザＵ２が端末装置２０－２とＭＲグラス３０－２の組を使用することを前提とする。
　サーバ１０は、通信網ＮＥＴを介して、端末装置２０に対して各種データ及びクラウドサービスを提供する。とりわけ、サーバ１０は、端末装置２０に接続されるＭＲグラス３０に、ユーザＵ１に対応するアバターＡ１、及びユーザＵ２に対応するアバターＡ２を表示させるための各種データを、端末装置２０に対して提供する。より詳細には、サーバ１０は、ユーザＵ１が使用するＭＲグラス３０－１に備わるディスプレイ３８－１に、アバターＡ２を表示させるための各種データを、端末装置２０－１に対して提供する。また、サーバ１０は、ユーザＵ２が使用するＭＲグラス３０－２に備わるディスプレイ３８－２に、アバターＡ１を表示させるための各種データを、端末装置２０－２に対して提供する。また、本実施形態において、アバターＡ１は、ユーザＵ１の実写画像を用いて生成されたリアルアバターである。同様に、アバターＡ２は、ユーザＵ２の実写画像を用いて生成されたリアルアバターである。
　端末装置２０－１は、ユーザＵ１が頭部に装着するＭＲグラス３０－１に対して、仮想空間に配置される仮想オブジェクトを表示させる。また、端末装置２０－２は、ユーザＵ２が頭部に装着するＭＲグラス３０－２に対して、仮想空間に配置される仮想オブジェクトを表示させる。当該仮想空間は、一例として、天球型の空間である。また、仮想オブジェクトは、例として、静止画像、動画、３ＤＣＧモデル、ＨＴＭＬファイル、及びテキストファイル等のデータを示す仮想オブジェクト、及びアプリケーションを示す仮想オブジェクトである。ここで、テキストファイルとしては、例として、メモ、ソースコード、日記、及びレシピが挙げられる。また、アプリケーションとしては、例として、ブラウザ、ＳＮＳを用いるためのアプリケーション、及びドキュメントファイルを生成するためのアプリケーションが挙げられる。なお、端末装置２０－１は、例として、スマートフォン、及びタブレット等の携帯端末装置であることが好適である。
　とりわけ本実施形態において、端末装置２０－１は、ＭＲグラス３０－１に対してアバターＡ２に対応する仮想オブジェクトを表示させる。また、端末装置２０－２は、ＭＲグラス３０－２に対してアバターＡ１に対応する仮想オブジェクトを表示させる。
　ＭＲグラス３０は、ユーザＵ１及びユーザＵ２の頭部に装着する表示装置である。より詳細には、ＭＲグラス３０－１は、ユーザＵ１の頭部に装着する表示装置である。また、ＭＲグラス３０－２は、ユーザＵ２の頭部に装着する表示装置である。ＭＲグラス３０は、シースルー型のウェアラブルディスプレイである。ＭＲグラス３０は、端末装置２０が制御することによって、両眼用のレンズの各々に対応して設けられた表示パネルに仮想オブジェクトを表示させる。なお、ＭＲグラス３０は表示装置の一例である。
１－１－２：ＭＲグラスの構成
　図２は、ＭＲグラス３０の外観を示す斜視図である。図２に示されるようにＭＲグラス３０の外観は、一般的な眼鏡と同様にテンプル９１及び９２、ブリッジ９３、フレーム９４及び９５、並びにレンズ４１Ｌ及び４１Ｒを有する。ブリッジ９３には撮像装置３６が設けられる。撮像装置３６は外界を撮像する。また、撮像装置３６は、撮像した画像を示す撮像情報を出力する。
　レンズ４１Ｌ及び４１Ｒの各々は、ハーフミラーを備えている。フレーム９４には、左眼用の液晶パネル又は有機ＥＬパネルが設けられる。液晶パネル又は有機ＥＬパネルは、以下、表示パネルと総称する。また、フレーム９４には、左眼用の表示パネルから射出された光をレンズ４１Ｌに導光する光学部材が設けられる。レンズ４１Ｌに設けられるハーフミラーは、外界の光を透過させて左眼に導くと共に、光学部材によって導光された光を反射して、左眼に入射させる。フレーム９５には、右眼用の表示パネルと、右眼用の表示パネルから射出された光をレンズ４１Ｒに導光する光学部材とが設けられる。レンズ４１Ｒに設けられるハーフミラーは、外界の光を透過させて右眼に導くと共に、光学部材によって導光された光を反射して、右眼に入射させる。
　後述するディスプレイ３８は、レンズ４１Ｌ、左眼用の表示パネル、及び左眼用の光学部材、並びにレンズ４１Ｒ、右眼用の表示パネル、及び右眼用の光学部材を含む。
　以上の構成において、ユーザＵ１及びユーザＵ２は表示パネルが表示する画像を、外界の様子と重ね合わせたシースルーの状態で観察できる。また、ＭＲグラス３０は、視差を伴う両眼画像のうち、左眼用画像を左眼用の表示パネルに表示させ、右眼用画像を右眼用の表示パネルに表示させることによって、ユーザＵ１及びユーザＵ２に対し、表示された画像があたかも奥行き、及び立体感を持つかのように知覚させられる。
　図３及び図４は、ＭＲグラス３０を用いることによりユーザＵ１及びユーザＵ２に提供される仮想空間ＶＳの模式図である。図３に示されるように、当該仮想空間ＶＳには、例えばブラウザ、クラウドサービス、画像、及び動画等の各種コンテンツを示す仮想オブジェクトＶＯ１～仮想オブジェクトＶＯ５が配置される。ユーザＵ１は、当該仮想空間ＶＳに配置される仮想オブジェクトＶＯ１～仮想オブジェクトＶＯ５が表示されたＭＲグラス３０を装着した状態で公共の空間を行き来することにより、公共の空間において、プライベートな空間としての当該仮想空間ＶＳを体験できる。延いては、当該ユーザＵ１が、当該仮想空間ＶＳに配置された仮想オブジェクトＶＯ１～仮想オブジェクトＶＯ５のもたらす便益を受けながら、公共の空間において行動することが可能となる。ユーザＵ２についても同様である。
　また、図４に示されるように、ユーザＵ１及びユーザＵ２で仮想空間ＶＳを共有することも可能である。ユーザＵ１及びユーザＵ２が仮想空間ＶＳを共有することにより、当該ユーザＵ１及びユーザＵ２で、１又は複数の仮想オブジェクトＶＯを共用すると共に、共用する仮想オブジェクトＶＯを介した、ユーザＵ１及びユーザＵ２間のコミュニケーションが可能となる。
　図５は、ＭＲグラス３０の構成例を示すブロック図である。ＭＲグラス３０は、処理装置３１、記憶装置３２、視線検出装置３３、ＧＰＳ装置３４、動き検出装置３５、撮像装置３６、通信装置３７、及びディスプレイ３８を備える。ＭＲグラス３０が有する各要素は、情報を通信するための単体又は複数のバスによって相互に接続される。なお、本明細書における「装置」という用語は、回路、デバイス又はユニット等の他の用語に読替えてもよい。また、以下の説明では、ＭＲグラス３０をユーザＵ１が使用する場合、すなわちＭＲグラス３０がＭＲグラス３０－１である場合について説明する。
　処理装置３１は、ＭＲグラス３０の全体を制御するプロセッサである。処理装置３１は、例えば、単数又は複数のチップを用いて構成される。また、処理装置３１は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置（ＣＰＵ：Central Processing Unit）を用いて構成される。なお、処理装置３１の機能の一部又は全部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、及びＦＰＧＡ（Field Programmable Gate Array）等のハードウェアによって実現してもよい。処理装置３１は、各種の処理を並列的又は逐次的に実行する。
　記憶装置３２は、処理装置３１による読取及び書込が可能な記録媒体である。また、記憶装置３２は、処理装置３１が実行する制御プログラムＰＲ１を含む複数のプログラムを記憶する。
　視線検出装置３３は、ユーザＵ１の視線を検出する。視線検出装置３３による視線の検出は、どのような方法を用いてもよい。視線検出装置３３は、例えば、目頭の位置と虹彩の位置に基づいて視線情報を検出してもよい。また、視線検出装置３３は、検出結果に基づいてユーザＵ１の視線の方向を示す視線情報を、後述の処理装置３１に供給する。処理装置３１に供給された視線情報は、通信装置３７を介して、端末装置２０に送信される。
　ＧＰＳ装置３４は、複数の衛星からの電波を受信する。また、ＧＰＳ装置３４は、受信した電波から位置情報を生成する。位置情報は、ＭＲグラス３０の位置を示す。位置情報は、位置を特定できるのであれば、どのような形式であってもよい。位置情報は、例えば、ＭＲグラス３０の緯度と経度とを示す。一例として、位置情報はＧＰＳ装置３４から得られる。しかし、ＭＲグラス３０は、どのような方法によって位置情報を取得してもよい。取得された位置情報は、処理装置３１に供給される。処理装置３１に供給された位置情報は、通信装置３７を介して、端末装置２０に送信される。
　動き検出装置３５は、ＭＲグラス３０の動きを検出する。動き検出装置３５としては、加速度を検出する加速度センサ及び角加速度を検出するジャイロセンサなどの慣性センサが該当する。加速度センサは、直交するＸ軸、Ｙ軸、及びＺ軸の加速度を検出する。ジャイロセンサは、Ｘ軸、Ｙ軸、及びＺ軸を回転の中心軸とする角加速度を検出する。動き検出装置３５は、ジャイロセンサの出力情報に基づいて、ＭＲグラス３０の動きを示す動き情報を生成できる。動き情報は、３軸の加速度を各々示す加速度データ及び３軸の角加速度を各々示す角加速度データを含む。また、動き検出装置３５は、ＭＲグラス３０の動きに係る動き情報を処理装置３１に供給する。処理装置３１に供給された動き情報は、通信装置３７を介して、端末装置２０に送信される。
　撮像装置３６は、外界を撮像して得られた撮像情報を出力する。また、撮像装置３６は、例えば、レンズ、撮像素子、増幅器、及びＡＤ変換器を備える。レンズを介して集光された光は、撮像素子によってアナログ信号である撮像信号に変換される。増幅器は撮像信号を増幅した上でＡＤ変換器に供給する。ＡＤ変換器はアナログ信号である増幅された撮像信号をデジタル信号である撮像情報に変換する。変換された撮像情報は、処理装置２１に供給される。処理装置３１に供給された撮像情報は、通信装置３７を介して、端末装置２０に送信される。
　通信装置３７は、他の装置と通信を行うための、送受信デバイスとしてのハードウェアである。また、通信装置３７は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。通信装置３７は、有線接続用のコネクターを備え、上記コネクターに対応するインタフェース回路を備えていてもよい。また、通信装置３７は、無線通信インタフェースを備えていてもよい。有線接続用のコネクター及びインタフェース回路としては有線ＬＡＮ、ＩＥＥＥ１３９４、及びＵＳＢに準拠した製品が挙げられる。また、無線通信インタフェースとしては無線ＬＡＮ及びＢｌｕｅｔｏｏｔｈ（登録商標）等に準拠した製品が挙げられる。
　ディスプレイ３８は、画像を表示するデバイスである。ディスプレイ３８は、処理装置３１による制御のもとで各種の画像を表示する。ディスプレイ３８は、上記のように、レンズ４１Ｌ、左眼用の表示パネル、及び左眼用の光学部材、並びにレンズ４１Ｒ、右眼用の表示パネル、及び右眼用の光学部材を含む。表示パネルとしては、例えば、液晶表示パネル及び有機ＥＬ表示パネル等の各種の表示パネルが好適に利用される。
　処理装置３１は、例えば、記憶装置３２から制御プログラムＰＲ１を読み出して実行することによって、取得部３１１、及び表示制御部３１２として機能する。
　取得部３１１は、端末装置２０から、ＭＲグラス３０に表示される画像を示す画像情報を取得する。
　また、取得部３１１は、視線検出装置３３から供給される視線情報、ＧＰＳ装置３４から供給される位置情報、動き検出装置３５から供給される動き情報、及び撮像装置３６から供給される撮像情報を取得する。その上で、取得部３１１は、取得した視線情報、位置情報、動き情報、及び撮像情報を、通信装置３７に供給する。通信装置３７に供給された視線情報、位置情報、動き情報、及び撮像情報は、端末装置２０に送信される。
　表示制御部３１２は、取得部３１１によって端末装置２０から取得された画像情報に基づいて、ディスプレイ３８に対して、画像情報によって示される画像を表示させる。
１－１－３：端末装置の構成
　図６は、端末装置２０の構成例を示すブロック図である。端末装置２０は、処理装置２１、記憶装置２２、通信装置２３、ディスプレイ２４、入力装置２５、及び撮像装置２６を備える。端末装置２０が有する各要素は、情報を通信するための単体又は複数のバスによって相互に接続される。
　処理装置２１は、端末装置２０の全体を制御するプロセッサである。また、処理装置２１は、例えば、単数又は複数のチップを用いて構成される。処理装置２１は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置（ＣＰＵ）を用いて構成される。なお、処理装置２１が有する機能の一部又は全部を、ＤＳＰ、ＡＳＩＣ、ＰＬＤ、及びＦＰＧＡ等のハードウェアによって実現してもよい。処理装置２１は、各種の処理を並列的又は逐次的に実行する。
　記憶装置２２は、処理装置２１による読取及び書込が可能な記録媒体である。また、記憶装置２２は、処理装置２１が実行する制御プログラムＰＲ２を含む複数のプログラムを記憶する。
　通信装置２３は、他の装置と通信を行うための、送受信デバイスとしてのハードウェアである。通信装置２３は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、及び通信モジュール等とも呼ばれる。通信装置２３は、有線接続用のコネクターを備え、上記コネクターに対応するインタフェース回路を備えていてもよい。また、通信装置２３は、無線通信インタフェースを備えていてもよい。有線接続用のコネクター及びインタフェース回路としては有線ＬＡＮ、ＩＥＥＥ１３９４、及びＵＳＢに準拠した製品が挙げられる。また、無線通信インタフェースとしては無線ＬＡＮ及びＢｌｕｅｔｏｏｔｈ（登録商標）等に準拠した製品が挙げられる。
　ディスプレイ２４は、画像及び文字情報を表示するデバイスである。ディスプレイ２４は、処理装置２１の制御のもとで各種の画像を表示する。例えば、液晶表示パネル及び有機ＥＬ（Electro　Luminescence）表示パネル等の各種の表示パネルがディスプレイ２４として好適に利用される。
　とりわけ本実施形態において、ディスプレイ２４は、サーバ１０がユーザＵ１を認証する場合に、ユーザＵ１に対して頭部の動作を指示する画像及び文字情報を表示する。
　入力装置２５は、ＭＲグラス３０を頭部に装着したユーザＵ１からの操作を受け付ける。例えば、入力装置２５は、キーボード、タッチパッド、タッチパネル又はマウス等のポインティングデバイスを含んで構成される。ここで、入力装置２５は、タッチパネルを含んで構成される場合、ディスプレイ２４を兼ねてもよい。
　本実施形態において、ユーザＵ１は、３次元のリアルアバターを生成することを目的に、ユーザＵ１の顔の正面部を示す第１画像ＴＰ１を、端末装置２０からサーバ１０にアップロードする。第１画像ＴＰ１は、典型的には、ユーザＵ１の顔写真に基づいて生成される２次元画像である。しかし、第１画像ＴＰ１は、ユーザＵ１の顔写真に基づいて生成される２次元画像に限定されない。図７は、ユーザＵ１に対応するリアルアバターである、アバターＡ１の全体の３次元画像ＷＰの生成フローを示す。図７に示されるように、第１画像ＴＰ１は、当該アバターＡ１の頭部画像ＨＰのために用いられる。アップロード時において、入力装置２５は、ユーザＵ１が上記の第１画像ＴＰ１を端末装置２０に入力するために用いられる。第１画像ＴＰ１は、後述の撮像装置２６によって、ユーザＵ１を撮像することによって得られてもよく、上記の通信装置２３を用いることにより、外部機器から取得されてもよい。
　撮像装置２６は、外界を撮像して得られた撮像情報を出力する。また、撮像装置２６は、例えば、レンズ、撮像素子、増幅器、及びＡＤ変換器を備える。レンズを介して集光された光は、撮像素子によってアナログ信号である撮像信号に変換される。増幅器は撮像信号を増幅した上でＡＤ変換器に出力する。ＡＤ変換器はアナログ信号である増幅された撮像信号をデジタル信号である撮像情報に変換する。変換された撮像情報は、処理装置２１に出力される。処理装置２１に出力された撮像情報は、通信装置２３を介して、サーバ１０に出力される。
　本実施形態において、ユーザＵ１は、上記のリアルアバター生成時において、自身をサーバ１０に認証してもらう必要がある。当該認証時において、ディスプレイ２４に表示される、ユーザＵ１の頭部の動作を指示する画像及び文字情報に基づいて、ユーザＵ１は自身の頭部を動作させる。撮像装置２６は、頭部の動作時におけるユーザＵ１の当該頭部を撮像する。撮像装置２６は、ユーザＵ１の頭部の動作を撮像した動画を生成することが好適である。
　処理装置２１は、記憶装置２２から制御プログラムＰＲ２を読み出して実行することによって、取得部２１１、画像生成部２１２、及び出力部２１３として機能する。
　取得部２１１は、ユーザＵ１の顔の正面部を示す第１画像ＴＰ１を取得する。また、取得部２１１は、通信装置２３を用いることにより、サーバ１０から、ＭＲグラス３０に表示される画像を示す画像情報を取得する。更に、取得部２１１は、通信装置２３を用いて、ＭＲグラス３０から、視線情報、位置情報、動き情報、及び撮像情報を取得する。
　画像生成部２１２は、撮像装置２６によって撮像された、ユーザＵ１の頭部の動作時の当該頭部の画像に基づいて、ユーザＵ１の顔の正面部と側面部とを示す第２画像ＦＰを生成する。第２画像ＦＰは、典型的には３次元画像である。しかし、第２画像ＦＰは、当該３次元画像に限定されない。例えば、第２画像ＦＰは、各々がユーザＵ１の顔の正面部又は側面部を示す、複数の２次元画像であってもよい。図７に示されるように第２画像ＦＰは、ユーザＵ１に対応するリアルアバターである、アバターＡ１の頭部画像ＨＰのために用いられる。
　出力部２１３は、取得部２１１によって取得された、ユーザＵ１の顔の正面部を示す第１画像ＴＰ１を示す画像情報、視線情報、位置情報、動き情報、及び撮像情報を、サーバ１０に送信する。また、出力部２１３は、画像生成部２１２によって生成されたユーザＵ１の顔の正面部と側面部とを示す第２画像ＦＰを、サーバ１０に送信する。
　更に、出力部２１３は、取得部２１１によって取得された画像情報に基づいて、仮想オブジェクトＶＯを仮想空間ＶＳ上に表示させることを目的に、当該画像情報を、ＭＲグラス３０に対して送信する。画像情報は、仮想オブジェクトＶＯの画像を示す画像情報である。詳細には、出力部２１３は、ユーザＵ１がＭＲグラス３０を通じて視聴する仮想空間ＶＳに、仮想オブジェクトＶＯが表示されるように、上記の画像情報を、ＭＲグラス３０に対して送信する。
１－１－４：サーバの構成
　図８は、サーバ１０の構成例を示すブロック図である。サーバ１０は、処理装置１１、記憶装置１２、通信装置１３、ディスプレイ１４、及び入力装置１５を備える。サーバ１０が有する各要素は、情報を通信するための単体又は複数のバスによって相互に接続される。
　処理装置１１は、サーバ１０の全体を制御するプロセッサである。また、処理装置１１は、例えば、単数又は複数のチップを用いて構成される。処理装置１１は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置（ＣＰＵ）を用いて構成される。なお、処理装置１１の機能の一部又は全部を、ＤＳＰ、ＡＳＩＣ、ＰＬＤ、及びＦＰＧＡ等のハードウェアによって実現してもよい。処理装置１１は、各種の処理を並列的又は逐次的に実行する。
　記憶装置１２は、処理装置１１による読取及び書込が可能な記録媒体である。また、記憶装置１２は、処理装置１１が実行する制御プログラムＰＲ３を含む複数のプログラムを記憶する。また、記憶装置１２は、アバター情報ＡＩ、及び指示情報ＤＩを記憶する。アバター情報ＡＩは、後述の画像生成部１１４が、アバターＡ１の体部画像ＢＰを示す画像情報を生成する際に用いる情報である。また、指示情報ＤＩは、ユーザＵ１の頭部の動作の指示する情報であり、ＭＲグラス３０に表示される。
　通信装置１３は、他の装置と通信を行うための、送受信デバイスとしてのハードウェアである。通信装置１３は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、及び通信モジュール等とも呼ばれる。通信装置１３は、有線接続用のコネクターを備え、上記コネクターに対応するインタフェース回路を備えていてもよい。また、通信装置１３は、無線通信インタフェースを備えていてもよい。有線接続用のコネクター及びインタフェース回路としては有線ＬＡＮ、ＩＥＥＥ１３９４、及びＵＳＢに準拠した製品が挙げられる。また、無線通信インタフェースとしては無線ＬＡＮ及びＢｌｕｅｔｏｏｔｈ（登録商標）等に準拠した製品が挙げられる。
　ディスプレイ１４は、画像及び文字情報を表示するデバイスである。ディスプレイ１４は、処理装置１１による制御のもとで各種の画像を表示する。例えば、液晶表示パネル及び有機ＥＬ表示パネル等の各種の表示パネルがディスプレイ１４として好適に利用される。
　入力装置１５は、情報処理システム１の管理者からの操作を受け付ける機器である。例えば、入力装置１５は、キーボード、タッチパッド、タッチパネル又はマウス等のポインティングデバイスを含んで構成される。ここで、入力装置１５は、タッチパネルを含んで構成される場合、ディスプレイ１４を兼ねてもよい。
　処理装置１１は、例えば、記憶装置１２から制御プログラムＰＲ３を読み出して実行することによって、第１取得部１１１、第２取得部１１２、認証部１１３、画像生成部１１４、及び出力部１１５として機能する。
　第１取得部１１１は、端末装置２０から、ユーザＵ１の顔の正面部を示す第１画像ＴＰ１を取得する。より詳細には、第１取得部１１１は、通信装置２３を用いて、端末装置２０からユーザＵ１の顔の正面部を示す第１画像ＴＰ１を受信する。当該第１画像ＴＰ１は、上記のように、ユーザＵ１が入力装置２５を用いて端末装置２０に入力した、ユーザＵ１の顔の正面部を示す第１画像ＴＰ１である。
　第２取得部１１２は、端末装置２０から、ユーザＵ１の顔の正面部と側面部とを示す第２画像ＦＰを取得する。より詳細には、第２取得部１１２は、通信装置２３を用いて、端末装置２０からユーザＵ１の顔の正面部と側面部とを示す第２画像ＦＰを受信する。当該第２画像ＦＰは、上記のように、ユーザＵ１による頭部の動作時に、端末装置２０に備わる撮像装置２６によって撮像された画像に基づいて、画像生成部２１２によって生成された、ユーザＵ１の顔の正面部と側面部とを示す第２画像ＦＰである。
　認証部１１３は、第１取得部１１１によって取得された第１画像ＴＰ１と、第２取得部１１２によって取得された第２画像ＦＰとに基づいてユーザＵ１を認証する。例えば、認証部１１３は、第２画像ＦＰに基づいてユーザＵ１の顔の正面を示す第３画像ＴＰ２を生成し、第１画像ＴＰ１と第３画像ＴＰ２とを照合することにより、ユーザＵ１を認証する。当該照合において、認証部１１３は、一例として、パターンマッチングの技術を用いることが好適である。具体的には、認証部１１３は、第１画像ＴＰ１を示す画像情報から抽出されたユーザＵ１の顔の特徴を示す特徴データと、第３画像ＴＰ２を示す画像情報から抽出されたユーザＵ１の顔の特徴を示す特徴データとを比較する。その結果、双方の特徴データの合致した度合いが所定の閾値以上となった場合に、認証部１１３は、ユーザＵ１が正当であると認証する。
　画像生成部１１４は、ＭＲグラス３０に表示される画像を示す画像情報を生成する。当該画像情報は、通信装置１３により、端末装置２０に送信される。端末装置２０に備わる出力部２１３は、上記のように、画像情報に基づいて、仮想オブジェクトＶＯを仮想空間ＶＳ上に表示させることを目的に、当該画像情報を、ＭＲグラス３０に出力する。
　とりわけ本実施形態において、画像生成部１１４は、認証部１１３によってユーザＵ１が正当であると認証された場合に、ユーザＵ１に対応するアバターＡ１の全体の３次元画像ＷＰを示す画像情報を生成する。
　より詳細には、画像生成部１１４は、第２取得部１１２によって取得された第２画像ＦＰを用いて、アバターＡ１の頭部画像ＨＰを示す画像情報を生成する。画像生成部１１４は、第１取得部１１１によって取得された第１画像ＴＰ１を更に用いて、アバターＡ１の頭部画像ＨＰを示す画像情報を生成してもよい。画像生成部１１４は、ユーザＵ１の顔の正面を示す画像のみならず、上記の第２画像ＦＰに含まれるユーザＵ１の顔の側面の画像も用いて、アバターＡ１の頭部画像ＨＰを示す画像情報を生成する。この構成により、サーバ１０は、ユーザＵ１の顔の正面を示す画像のみを用いて３ＤのアバターＡ１を生成する場合と比較して、アバターＡ１の頭部画像ＨＰをよりユーザＵ１の顔に近づけることができる。よって、アバターＡ１の頭部画像ＨＰの品質が向上する。
　また、画像生成部１１４は、記憶装置１２に記憶されるアバター情報ＡＩを用いて、アバターＡ１の体部画像ＢＰを示す画像情報を生成する。最終的に、画像生成部１１４は、図７に示されるように、頭部画像ＨＰを示す画像情報と、体部画像ＢＰを示す画像情報とを用いて、アバターＡ１の全体の３次元画像ＷＰを示す画像情報を生成する。
　出力部１１５は、記憶装置１２に記憶される指示情報ＤＩを、通信装置１３を用いて端末装置２０に送信する。指示情報ＤＩは、ユーザＵ１の頭部の動作を指示する情報であり、ＭＲグラス３０に表示される。また、出力部１１５は、画像生成部１１４によって生成されたアバターＡ１の全体の３次元画像ＷＰを示す画像情報を、通信装置１３を用いて端末装置２０に送信する。
１－２：第１実施形態の動作
　図９は、第１実施形態に係るサーバ１０の動作を示すフローチャートである。以下、図９を参照することにより、サーバ１０の動作について説明する。
　ステップＳ１において、処理装置１１は、第１取得部１１１として機能する。処理装置１１は、端末装置２０から、ユーザＵ１の顔の正面部を示す第１画像ＴＰ１を取得する。
　ステップＳ２において、処理装置１１は、出力部１１５として機能する。処理装置１１は、指示情報ＤＩを、通信装置１３を用いて、端末装置２０に送信する。指示情報ＤＩは、ユーザＵ１の頭部の動作を指示する情報であり、ＭＲグラス３０に表示される。
　ステップＳ３において、処理装置１１は、第２取得部１１２として機能する。処理装置１１は、端末装置２０から、ユーザＵ１の顔の正面部と側面部とを示す第２画像ＦＰを取得する。
　ステップＳ４において、処理装置１１は、認証部１１３として機能する。処理装置１１は、第１取得部１１１によって取得された第１画像ＴＰ１と、第２取得部１１２によって取得された第２画像ＦＰとに基づいてユーザＵ１を認証する。例えば、認証部１１３は、第２画像ＦＰに基づいてユーザＵ１の顔の正面部を示す第３画像ＴＰ２を生成し、第１画像ＴＰ１と第３画像ＴＰ２とを照合することにより、ユーザＵ１を認証する。ユーザＵ１が正当であると認証された場合、すなわちステップＳ４における認証の結果が肯定であった場合には、処理装置１１は、ステップＳ５の処理を実行する。ユーザＵ１が正当であると認証されなかった場合、すなわちステップＳ４における認証の結果が否定であった場合には、処理装置１１は、ステップＳ１の処理を実行する。
　ステップＳ５において、処理装置１１は、画像生成部１１４として機能する。処理装置１１は、ステップＳ３において取得された第２画像ＦＰを用いて、アバターＡ１の頭部画像ＨＰを示す画像情報を生成する。
　ステップＳ６において、処理装置１１は、画像生成部１１４として機能する。処理装置１１は、記憶装置１２に記憶されるアバター情報ＡＩを用いて、アバターＡ１の体部画像ＢＰを示す画像情報を生成する。
　ステップＳ７において、処理装置１１は、画像生成部１１４として機能する。処理装置１１は、頭部画像ＨＰを示す画像情報と、体部画像ＢＰを示す画像情報とを用いて、アバターＡ１の全体の３次元画像ＷＰを示す画像情報を生成する。
　ステップＳ８において、処理装置１１は、出力部１１５として機能する。処理装置１１は、ステップＳ７において生成されたアバターＡ１の全体の３次元画像ＷＰを示す画像情報を、通信装置１３を用いて、端末装置２０に出力する。その後、処理装置１１は、図９に記載の全ての処理を終了する。
１－３：第１実施形態が奏する効果
　以上の説明によれば、アバター生成装置としてのサーバ１０は、第１取得部１１１、第２取得部１１２、認証部１１３、及び画像生成部１１４を備える。第１取得部１１１は、ユーザＵ１の顔の正面部を示す第１画像ＴＰ１を取得する。第２取得部１１２は、ユーザＵ１の頭部の動作に伴ってユーザＵ１の顔の正面部と側面部とを示す第２画像ＦＰを取得する。認証部１１３は、上記の第１画像ＴＰ１と上記の第２画像ＦＰとに基づいて、ユーザＵ１を認証する。画像生成部１１４は、上記の第２画像ＦＰを用いて、ユーザＵ１に対応する３次元アバターの頭部画像ＨＰを生成する。
　サーバ１０は、上記の構成を用いることにより、ユーザＵ１による本人確認の裏付けの取れた３次元アバターを生成する。この処理により、サーバ１０は、成りすまし行為を抑制できる。また、サーバ１０は、ユーザＵ１の頭部の動作に伴って取得されたユーザＵ１の顔を示す第２画像ＦＰを用いて、３次元アバターを生成することにより、３次元アバターの品質を向上できる。具体的には、ユーザＵ１の頭部の動作により、サーバ１０は、ユーザＵ１の顔の正面部のみならず、顔の側面部の画像も取得できる。サーバ１０は、顔の正面の画像のみならず、顔の側面の画像も用いて、３次元アバターの頭部画像ＨＰを生成する。この処理により、サーバ１０は、３次元アバターの品質を向上できる。
　また以上の説明によれば、認証部１１３は、上記の第１画像ＴＰ１と、上記の第２画像ＦＰから生成されるユーザＵ１の顔の正面部を示す第３画像ＴＰ２とを照合することにより、ユーザＵ１を認証する。
　サーバ１０は、上記の構成を用いることにより、例えばパターンマッチングの技術を用いて、ユーザＵ１を認証できる。この処理により、サーバ１０は、正当であることが認証されたユーザＵ１に対応するアバターＡ１の３次元画像ＷＰを生成できる。延いては、サーバ１０は、他のユーザＵによる成りすまし行為を抑制できる。
　また上記のように、サーバ１０は、顔の正面部の画像のみならず、顔の側面部の画像も用いて、３次元アバターの頭部画像ＨＰを生成する。サーバ１０が、頭部画像ＨＰの生成時に、ユーザＵ１の本人確認の裏付け処理をする場合、一例として、顔の正面部の画像と、顔の側面部の画像とのそれぞれに対して、本人確認をする方法が考えられる。しかし、本実施形態においては、画像自体の本人確認として、顔の正面部の画像のみが対象となる。サーバ１０は、顔の側面部の画像の取得時に、当該顔の側面部の画像自体に本人確認の裏付け処理をするのではなく、ユーザＵ１の頭部の動作が、指示情報ＤＩの示す動作と、どの程度一致しているかに基づいて、本人確認を行う。従って、本実施形態における本人確認のための処理は、顔の正面部の画像と、顔の側面部の画像とのそれぞれに対して本人確認をする方法における処理に比較して、サーバ１０の負荷が小さくて済む。
　また以上の説明によれば、第２取得部１１２は、ユーザＵ１の頭部の動作を撮影した動画に基づいて上記の第２画像ＦＰを取得する。
　サーバ１０は、上記の構成を用いることにより、ユーザＵ１の頭部の動作を撮影した複数の静止画を用いる場合に比較して、ユーザＵ１の顔の側面の画像として、より画質の高い画像を用いることが出来る。この処理により、サーバ１０は、３次元アバターであるアバターＡ１の、より画質の高い頭部画像ＨＰを生成できる。
２：第２実施形態
　以下、図１０を参照することにより、本発明の第２実施形態に係るアバター生成装置としてのサーバ１０Ａを含む情報処理システム１Ａの構成について説明する。なお、以下の説明では、説明の簡略化を目的に、第２実施形態に係る情報処理システム１Ａが備える構成要素のうち、第１実施形態に係る情報処理システム１と同一の構成要素については、同一の符号を用いると共に、その説明を省略することがある。
２－１：第２実施形態の構成
２－１－１：全体構成
　本発明の第２実施形態に係る情報処理システム１Ａは、第１実施形態に係る情報処理システム１に比較して、サーバ１０の代わりにサーバ１０Ａを備える点で異なる。それ以外の点では、情報処理システム１Ａの全体構成は、図１に示される第１実施形態に係る情報処理システム１の全体構成と同一であるので、その図示と説明を省略する。
２－１－２：サーバの構成
　図１０は、サーバ１０Ａの構成例を示すブロック図である。サーバ１０Ａはサーバ１０と異なり、処理装置１１の代わりに処理装置１１Ａを、記憶装置１２の代わりに記憶装置１２Ａを備える。
　記憶装置１２Ａは、制御プログラムＰＲ３、アバター情報ＡＩ、及び指示情報ＤＩに加えて、学習モデルＬＭを記憶する。
　学習モデルＬＭは、後述の認証部１１３Ａが、第２取得部１１２によって取得された、ユーザＵ１の顔の正面部と側面部とを示す第２画像ＦＰに基づいて、ユーザＵ１を認証するための学習モデルである。
　学習モデルＬＭは、学習フェーズにおいて、教師データを学習することによって生成される。学習モデルＬＭを生成するために用いられる教師データは、第１取得部１１１によって取得された、複数の人物の各々の顔を示す第１画像ＴＰ１から抽出される第１の特徴情報と、複数の人物の各々の認証結果との組を複数有する。
　また、学習モデルＬＭは、サーバ１０の外部において生成される。とりわけ学習モデルＬＭは、図示しない第２のサーバにおいて生成されることが好適である。この場合、サーバ１０は、通信網ＮＥＴを介して図示しない第２のサーバから学習モデルＬＭを取得する。
　処理装置１１Ａは、処理装置１１に備わる認証部１１３の代わりに、認証部１１３Ａを備える。
　認証部１１３Ａは、学習モデルＬＭに対して、第２取得部１１２から取得された、ユーザＵ１の顔の正面部と側面部とを示す第２画像ＦＰから抽出される特徴を示す第２の特徴情報を入力することにより、ユーザＵ１を認証する。
２－２：第２実施形態の動作
　第１実施形態に係るサーバ１０と異なり、第２実施形態に係るサーバ１０Ａに備わる処理装置１１Ａは、上記のステップＳ４において、認証部１１３Ａとして機能する。処理装置１１Ａは、学習モデルＬＭに対して、第２取得部１１２から取得された、ユーザＵ１の顔の正面部と側面部とを示す第２画像ＦＰから抽出される特徴を示す第２の特徴情報を入力することにより、ユーザＵ１を認証する。その他のステップにおいて、サーバ１０Ａが実行する処理は、サーバ１０が実行する処理と同一であるので、サーバ１０Ａの動作を示すフローチャートの図示は省略する。
２－３：第２実施形態が奏する効果
　以上の説明によれば、アバター生成装置としてのサーバ１０Ａにおいて、認証部１１３Ａは、複数の人物の各々の顔を示す第１画像ＴＰ１から抽出される特徴を示す第１の特徴情報と、複数の人物の認証結果との関係を学習済みである学習モデルＬＭに対して、上記の第２画像ＦＰから抽出される特徴を示す第２の特徴情報を入力することにより、ユーザＵ１を認証する。
　サーバ１０Ａは、上記の構成を用いることにより、機械学習を用いてユーザＵ１を認証できる。この処理により、サーバ１０Ａは、正当であることが認証されたユーザＵ１に対応するアバターＡ１の３次元画像ＷＰを生成できる。延いては、サーバ１０Ａは、他のユーザＵによる成りすまし行為を抑制できる。
３：第３実施形態
　以下、図１１を参照することにより、本発明の第３実施形態に係るアバター生成装置としてのサーバ１０Ｂを含む情報処理システム１Ｂの構成について説明する。なお、以下の説明では、説明の簡略化を目的に、第３実施形態に係る情報処理システム１Ｂが備える構成要素のうち、第１実施形態に係る情報処理システム１と同一の構成要素については、同一の符号を用いると共に、その説明を省略することがある。
３－１：第３実施形態の構成
３－１－１：全体構成
　本発明の第３実施形態に係る情報処理システム１Ｂは、第１実施形態に係る情報処理システム１に比較して、サーバ１０の代わりにサーバ１０Ｂを備える点で異なる。それ以外の点では、情報処理システム１Ｂの全体構成は、図１に示される第１実施形態に係る情報処理システム１の全体構成と同一であるので、その図示と説明を省略する。
３－１－２：サーバの構成
　図１１は、サーバ１０Ｂの構成例を示すブロック図である。サーバ１０Ｂはサーバ１０と異なり、処理装置１１の代わりに処理装置１１Ｂを備える。
　処理装置１１Ｂは、処理装置１１に備わる認証部１１３の代わりに、認証部１１３Ｂを備える。また、処理装置１１Ｂは、更に、第３取得部１１６、及び判定部１１７を備える。
　第３取得部１１６は、通信装置１３を用いて、端末装置２０から、ＭＲグラス３０の動きに係る、上記の動き情報を取得する。また、第３取得部１１６は、取得した動き情報に基づいて、ユーザＵ１の頭部の動作に係る運動情報を算出し、判定部１１７に出力する。
　判定部１１７は、出力部１１５によって端末装置２０に出力された、ユーザＵ１の頭部の動作を指示する指示情報ＤＩの指示する動作と、運動情報によって示されるユーザＵ１の頭部の動作との一致度を示す値が所定値以上であるかを判定する。
　認証部１１３Ｂは、第１実施形態に係る認証方法と同様に、例えば、第１画像ＴＰ１を示す画像情報から抽出されたユーザＵ１の顔の特徴を示す特徴データと、第３画像ＴＰ２を示す画像情報から抽出されたユーザＵ１の顔の特徴を示す特徴データとを比較し、双方の特徴データの合致した度合いが所定の閾値以上となると共に、更に判定部１１７によって判定された結果が肯定である場合に、ユーザＵ１は正当であると認証する。
３－２：第３実施形態の動作
　第１実施形態に係るサーバ１０と異なり、第３実施形態に係るサーバ１０Ｂに備わる処理装置１１Ｂは、上記のステップＳ４において、判定部１１７として機能する。処理装置１１Ｂは、ユーザＵ１の頭部の動作の指示をＭＲグラス３０に表示させるための指示情報ＤＩの指示する動作と、上記の動作情報によって示されるユーザＵ１の頭部の動作との一致度を示す値が所定値以上であるかを判定する。また、処理装置１１Ｂは、認証部１１３Ｂとして機能する。処理装置１１Ｂは、判定部１１７として機能することによって判定された結果が肯定である場合に、ユーザＵ１は正当であると認証する。一方で、処理装置１１Ｂは、判定部１１７として機能することによって判定された結果が否定である場合に、ユーザＵ１は正当ではないと認証する。その他のステップにおいて、サーバ１０Ｂが実行する処理は、サーバ１０が実行する処理と同一であるので、サーバ１０Ｂの動作を示すフローチャートの図示は省略する。
３－３：第３実施形態が奏する効果
　以上の説明によれば、アバター生成装置としてのサーバ１０Ｂは、出力部１１５と判定部１１７を備える。出力部１１５は、ユーザＵ１の頭部の動作の指示を、表示装置としてのＭＲグラス３０に表示させるための指示情報ＤＩを出力する。判定部１１７は、ユーザＵ１の頭部の動作と指示情報ＤＩの指示する動作との一致の程度を示す値が所定値以上であるかを判定する。認証部１１３Ｂは、第１実施形態に係る認証部１１３と同様の認証に加えて、更に、判定部１１７による判定の結果が肯定である場合に、前記ユーザＵ１が正当であることを認証する。
　サーバ１０Ｂは、上記の構成を用いることにより、ユーザＵ１の頭部の動作自体に基づいて、ユーザＵ１を認証できる。この処理により、サーバ１０Ｂは、正当であることが認証されたユーザＵ１に対応するアバターＡ１の３次元画像ＷＰを生成できる。延いては、サーバ１０Ｂは、他のユーザＵによる成りすまし行為を抑制できる。
４：変形例
　本開示は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を併合してもよい。
４－１：変形例１
　上記の実施形態に係る端末装置２０は、画像生成部２１２を備える。その上で、画像生成部２１２が、撮像装置２６によって撮像された、ユーザＵ１の頭部の動作時の当該頭部の画像に基づいて、ユーザＵ１の顔の正面部と側面部とを示す第２画像ＦＰを生成する。しかし、当該動作は、端末装置２０以外の装置で実行されてもよい。例えば、サーバ１０～サーバ１０Ｂが、画像生成部２１２と同様の画像生成部を備えることにより、ユーザＵ１の顔の正面部と側面部とを示す第２画像ＦＰを生成してもよい。例えば、サーバ１０～サーバ１０Ｂに備わる画像生成部１１４が、画像生成部２１２の機能を兼ね備えることにより、サーバ１０～サーバ１０Ｂが、ユーザＵ１の顔の正面部と側面部とを示す第２画像ＦＰを生成してもよい。
４－２：変形例２
　上記の実施形態に係る情報処理システム１～情報処理システム１Ｂにおいて、端末装置２０とＭＲグラス３０とは別体として実現されている。しかし、本発明の実施形態における、端末装置２０とＭＲグラス３０の実現方法は、これには限定されない。例えば、ＭＲグラス３０が、端末装置２０と同一の機能を備えることにより、端末装置２０とＭＲグラス３０とが単一の筐体内において実現されてもよい。
４－３：変形例３
　上記の実施形態に係る情報処理システム１～情報処理システム１Ｂは、ＭＲグラス３０を備える。しかし、情報処理システム１～情報処理システム１Ｂは、ＭＲグラス３０の代わりに、ＶＲ（Virtual Reality）技術が採用されたＨＭＤ、ＡＲ（Augmented Reality）技術が採用されたＨＭＤ、及びＡＲ技術が採用されたＡＲグラスのうちいずれか１つを備えてもよい。あるいは、情報処理システム１～情報処理システム１Ｂは、ＭＲグラス３０の代わりに、撮像装置を備えた通常のスマートフォン及びタブレットのうちいずれか１つを備えてもよい。これらのＨＭＤ、ＡＲグラス、スマートフォン、及びタブレットは、表示装置の例である。
５：その他
（１）上述した実施形態では、記憶装置１２、記憶装置２２、及び記憶装置３２は、ＲＯＭ及びＲＡＭなどを例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、ＣＤ－ＲＯＭ（Compact　Disc－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。また、プログラムは、電気通信回線を介して通信網ＮＥＴから送信されてもよい。
（２）上述した実施形態において、説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
（３）上述した実施形態において、入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
（４）上述した実施形態において、判定は、１ビットを用いて表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
（５）上述した実施形態において例示した処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
（６）図１～図１１に例示された各機能は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
（７）上述した実施形態において例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称を用いて呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
　また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital　Subscriber　Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
（８）前述の各形態において、「システム」及び「ネットワーク」という用語は、互換的に使用される。
（９）本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。
（１０）上述した実施形態において、サーバ１０～サーバ１０Ｂ、及び端末装置２０は、移動局（ＭＳ：Mobile　Station）である場合が含まれる。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語によって呼ばれる場合もある。また、本開示においては、「移動局」、「ユーザ端末（user　terminal）」、「ユーザ装置（ＵＥ：User　Equipment）」、「端末」等の用語は、互換的に使用され得る。
（１１）上述した実施形態において、「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含められる。要素間の結合又は接続は、物理的な結合又は接続であっても、論理的な結合又は接続であっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」を用いて読み替えられてもよい。本開示において使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えられる。
（１２）上述した実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
（１３）本開示において使用される「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking　up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などによって読み替えられてもよい。
（１４）上述した実施形態において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。更に、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
（１５）本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
（１６）本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」等の用語も、「異なる」と同様に解釈されてもよい。
（１７）本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行う通知に限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
　以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施できる。したがって、本開示の記載は、例示説明を目的とし、本開示に対して何ら制限的な意味を有さない。
１、１Ａ、１Ｂ…情報処理システム、１０、１０Ａ、１０Ｂ…サーバ、１１、１１Ａ、１１Ｂ…処理装置、１２、１２Ａ…記憶装置、１３…通信装置、１４…ディスプレイ、１５…入力装置、１６…撮像装置、２０…端末装置、２１…処理装置、２２…記憶装置、２３…通信装置、２４…ディスプレイ、２５…入力装置、２６…撮像装置、３０…ＭＲグラス、３１…処理装置、３２…記憶装置、３３…視線検出装置、３４…ＧＰＳ装置、３５…動き検出装置、３６…撮像装置、３７…通信装置、３８…ディスプレイ、４１Ｌ、４１Ｒ…レンズ、９１、９２…テンプル、９３…ブリッジ、９４、９５…フレーム、１１１…第１取得部、１１２…第２取得部、１１３、１１３Ａ、１１３Ｂ…認証部、１１４…画像生成部、１１５…出力部、１１６…第３取得部、１１７…判定部、２１１…取得部、２１２…画像生成部、２１３…出力部、３１１…取得部、３１２…表示制御部、Ａ１、Ａ２…アバター、ＰＲ１、ＰＲ２、ＰＲ３…制御プログラム、ＴＩ１、ＴＩ２…画像情報、ＴＰ１…第１の２次元画像、ＴＰ２…第２の２次元画像、Ｕ１、Ｕ２…ユーザ、ＶＯ、ＶＯ１～ＶＯ５…仮想オブジェクト

Claims (5)

  1. 　ユーザの顔の正面部を示す第１画像を取得する第１取得部と、
    　前記ユーザの頭部の動作に伴って前記ユーザの顔の前記正面部と側面部とを示す第２画像を取得する第２取得部と、
    　前記第１画像と前記第２画像とに基づいて、前記ユーザを認証する認証部と、
    　前記第２画像を用いて、前記ユーザに対応する３次元アバターの頭部画像を生成する画像生成部と、
    を備えるアバター生成装置。
  2. 　前記認証部は、前記第１画像と、前記第２画像から生成される前記ユーザの顔の前記正面部を示す第３画像とを照合することにより、前記ユーザを認証する、請求項１に記載のアバター生成装置。
  3. 　前記認証部は、複数の人物の各々の顔の正面部を示す第１画像から抽出される特徴を示す第１の特徴情報と、前記複数の人物の各々の認証結果との関係を学習済みである学習モデルに対して、前記第２画像から抽出される特徴を示す第２の特徴情報を入力することにより、前記ユーザを認証する、請求項１に記載のアバター生成装置。
  4. 　前記ユーザの頭部の動作の指示を表示装置に表示させるための指示情報を出力する出力部と、
    　前記ユーザの頭部の動作と前記指示情報の指示する動作との一致の程度を示す値が所定値以上であるかを判定する判定部を更に備え、
    　前記認証部は、更に、前記判定部の判定結果が肯定である場合に、前記ユーザが正当であることを認証する、請求項１から請求項３のいずれか１項に記載のアバター生成装置。
  5. 　前記第２取得部は、前記ユーザの頭部の動作を撮影した動画に基づいて前記３次元画像を取得する、請求項１から請求項４のいずれか１項に記載のアバター生成装置。
PCT/JP2022/046662 2021-12-23 2022-12-19 アバター生成装置 WO2023120472A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021209149 2021-12-23
JP2021-209149 2021-12-23

Publications (1)

Publication Number Publication Date
WO2023120472A1 true WO2023120472A1 (ja) 2023-06-29

Family

ID=86902444

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/046662 WO2023120472A1 (ja) 2021-12-23 2022-12-19 アバター生成装置

Country Status (1)

Country Link
WO (1) WO2023120472A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007233787A (ja) * 2006-03-02 2007-09-13 Nec Corp 情報処理装置及びキーロック解除方法並びにプログラム
JP2017004398A (ja) * 2015-06-15 2017-01-05 株式会社セキュア 認証装置及び認証方法
JP2020129175A (ja) * 2019-02-07 2020-08-27 ＯＦＩＬＭ．Ｊａｐａｎ株式会社 ３次元情報生成装置、生体認証装置および３次元画像生成装置
JP2020136921A (ja) * 2019-02-20 2020-08-31 株式会社オプテージ ビデオ通話システム、およびコンピュータプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007233787A (ja) * 2006-03-02 2007-09-13 Nec Corp 情報処理装置及びキーロック解除方法並びにプログラム
JP2017004398A (ja) * 2015-06-15 2017-01-05 株式会社セキュア 認証装置及び認証方法
JP2020129175A (ja) * 2019-02-07 2020-08-27 ＯＦＩＬＭ．Ｊａｐａｎ株式会社 ３次元情報生成装置、生体認証装置および３次元画像生成装置
JP2020136921A (ja) * 2019-02-20 2020-08-31 株式会社オプテージ ビデオ通話システム、およびコンピュータプログラム

Similar Documents

Publication Publication Date Title
US11127210B2 (en) Touch and social cues as inputs into a computer
KR102293008B1 (ko) 정보 디스플레이 방법, 디바이스, 및 시스템
US20130174213A1 (en) Implicit sharing and privacy control through physical behaviors using sensor-rich devices
KR20160145976A (ko) 영상 공유 방법 및 이를 수행하는 전자 장치
WO2017112042A1 (en) Fair, secured, and efficient completely automated public turing test to tell computers and humans apart (captcha)
KR20160068830A (ko) 아이 트래킹
CN112991494B (zh) 图像生成方法、装置、计算机设备及计算机可读存储介质
CN109074435A (zh) 用于提供用户信息的电子设备和方法
Farrukh et al. FaceRevelio: a face liveness detection system for smartphones with a single front camera
CN114282035A (zh) 图像检索模型的训练和检索方法、装置、设备及介质
KR20170073273A (ko) 헤드 마운트 디스플레이 장치
WO2023120472A1 (ja) アバター生成装置
WO2023162499A1 (ja) 表示制御装置
WO2023149255A1 (ja) 表示制御装置
WO2023079875A1 (ja) 情報処理装置
WO2023074852A1 (ja) 情報処理装置
WO2023149498A1 (ja) 表示制御装置
WO2023149256A1 (ja) 表示制御装置
WO2023149379A1 (ja) 情報処理装置
WO2023145892A1 (ja) 表示制御装置及びサーバ
WO2023139961A1 (ja) 情報処理装置
WO2023145265A1 (ja) メッセージ送信装置及びメッセージ受信装置
Nguyen et al. Personalized Image-based User Authentication using Wearable Cameras
JP7266329B2 (ja) 現実空間で視認可能な位置に存在する副端末を特定する主端末、プログラム、システム及び方法
WO2024009604A1 (ja) 認証装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22911174

Country of ref document: EP

Kind code of ref document: A1