WO2018135343A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2018135343A1
WO2018135343A1 PCT/JP2018/000274 JP2018000274W WO2018135343A1 WO 2018135343 A1 WO2018135343 A1 WO 2018135343A1 JP 2018000274 W JP2018000274 W JP 2018000274W WO 2018135343 A1 WO2018135343 A1 WO 2018135343A1
Authority
WO
WIPO (PCT)
Prior art keywords
importance
user
data
information processing
virtual space
Prior art date
Application number
PCT/JP2018/000274
Other languages
English (en)
French (fr)
Inventor
健志 後藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP18741963.5A priority Critical patent/EP3573026B1/en
Priority to US16/476,618 priority patent/US11386681B2/en
Priority to CN201880006845.8A priority patent/CN110178158B/zh
Publication of WO2018135343A1 publication Critical patent/WO2018135343A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162User input
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process

Definitions

  • the present technology relates to an information processing apparatus, an information processing method, and a program applicable to generation of a model displayed in a virtual space or the like.
  • Patent Document 1 describes a video conference system capable of mutually transmitting and receiving images and sounds of users who are in different bases.
  • it is determined whether or not the user is making a gesture based on the captured image of the user.
  • an image of the upper body of the user is cut out from the captured image.
  • no gesture is performed, an image of the user's face is cut out.
  • the clipped upper body image or face image is transmitted to the other terminal device and displayed on the display.
  • an object of the present technology is to provide an information processing apparatus, an information processing method, and a program that enable good communication in a virtual space.
  • an information processing apparatus includes an acquisition unit and a generation control unit.
  • the acquisition unit acquires importance related to at least one part of the object.
  • the generation control unit controls generation of the model of the object displayed in the virtual space based on the acquired importance.
  • the importance of at least one part of the object is acquired, and generation of the object model is controlled based on the importance.
  • the importance of at least one part of the object is acquired, and generation of the object model is controlled based on the importance.
  • the generation control unit may control a data amount of a corresponding part of the object model corresponding to at least one part of the object from which the importance is acquired. This makes it possible to control the data amount of each corresponding part of the object model based on the importance. As a result, for example, it is possible to reduce the load of data transmission and the amount of processing calculation.
  • the generation control unit may increase the data amount of the corresponding part corresponding to the part for which high importance is acquired, and reduce the data amount of the corresponding part corresponding to the part for which low importance is acquired. .
  • the generation control unit may control a data amount of generation data for generating a model of the object. This makes it possible to control the amount of data such as the image of the object used to generate the object model. Therefore, it is possible to reduce the load of data transmission and the amount of processing calculation.
  • the generation data may include part data for generating each part of the object model.
  • the generation control unit may control a data amount of the part data corresponding to at least one part of the object from which the importance is acquired. As a result, the amount of data can be controlled for each corresponding part of the model of the object based on the importance, and good communication in the virtual space is possible.
  • the generation control unit may increase the data amount of the part data corresponding to the part from which the high importance is acquired, and reduce the data amount of the part data corresponding to the part from which the low importance is acquired. .
  • the acquisition unit may acquire the importance based on information about the virtual space. Accordingly, it is possible to generate a model according to the situation in the virtual space, and good communication is possible.
  • the information related to the virtual space may include information on a scene in the virtual space.
  • the acquisition unit may acquire the importance based on the scene information. As a result, it is possible to generate a model according to the scene in the virtual space, and good communication is possible.
  • the acquisition unit may acquire a high importance level with respect to a main part related to the scene of the virtual space, and acquire a low importance level with respect to the non-main part. As a result, for example, it is possible to increase the data amount of the main part related to the scene and display it with high resolution, and it is possible to perform good communication in the virtual space.
  • the acquisition unit may acquire the importance based on an operation of the object. As a result, a model corresponding to the movement of the object can be generated, and good communication is possible.
  • the acquisition unit may acquire a high importance level with respect to a main part related to the motion of the object, and may acquire a low importance level with respect to the non-main part. As a result, for example, it is possible to increase the importance of the moving part of the object. As a result, it is possible to accurately reproduce the operation of the object.
  • the acquisition unit may acquire the importance based on an instruction regarding the importance input from a user. This makes it possible to achieve good communication through, for example, the own model or the like on which the part desired by the user is displayed with high accuracy.
  • the said acquisition part may acquire the said importance based on the said importance regarding the model of the other target object displayed on the said virtual space. As a result, for example, it is possible to acquire the same importance as the model of another object, and good communication is possible.
  • the acquisition unit may acquire the importance based on an operation related to a model of another object displayed in the virtual space. As a result, it becomes possible to easily generate a model of an object in accordance with the operation of another object model. As a result, good communication in the virtual space becomes possible.
  • the acquisition unit may acquire the importance based on an instruction regarding the importance of a model of another object displayed in the virtual space, which is input from another user. As a result, for example, it is possible to acquire an importance level similar to the importance level designated by the majority of users, and it is possible to generate a user model that matches the communication on the spot.
  • An information processing method is an information processing method executed by a computer system, and includes obtaining an importance level related to at least one part of an object. Based on the acquired importance, generation of a model of the object displayed in the virtual space is controlled.
  • a program causes a computer system to execute the following steps. Obtaining importance relating to at least one part of the object; Controlling generation of a model of the object displayed in a virtual space based on the acquired importance.
  • FIG. 1 is a schematic diagram for explaining an overview of a virtual space generation system according to the first embodiment of the present technology.
  • the virtual space generation system 100 includes a plurality of cameras 10, a client device 20, a server device 30, and a display device 40.
  • the user (object) 1 in the real space R is photographed by the plurality of cameras 10, and an image of the user 1 is transmitted to the client device 20.
  • Generation data for generating the virtual model 2 of the user 1 is generated by the client device 20 and transmitted to the server device 30.
  • the virtual space V including the virtual model 2 of the user 1 is generated by the server device 30 and transmitted to the client device 20.
  • the generated virtual space V is output to the display device 40, and the virtual space V including the virtual model 2 is displayed.
  • the virtual model 2 for example, a three-dimensional (3D) computer graphics (CG) in which the state of the user 1, such as the facial expression, posture, and motion, is reproduced. As will be described later, only a part of the face or the like is reproduced, and a default model may be displayed for the other part.
  • the target of the virtual model 2 is not limited to a person, and the virtual model 2 can be generated for an arbitrary target such as a pet or a robot.
  • the plurality of cameras 10 are respectively arranged at different positions on the basis of a predetermined shooting area. Accordingly, it is possible to acquire a plurality of images obtained by shooting the user 1 who has moved to the shooting area from various directions.
  • a digital camera including an image sensor such as a CMOS (Complementary Metal-Oxide Semiconductor) sensor or a CCD (Charge Coupled Device) sensor is used.
  • CMOS Complementary Metal-Oxide Semiconductor
  • CCD Charge Coupled Device
  • a depth camera provided with a distance sensor such as a millimeter wave radar or an infrared laser may be used as appropriate.
  • a sound collection device such as a microphone is arranged in the shooting area.
  • the sound of the user 1 is acquired by the sound collecting device as the user's 1 image is taken.
  • communication such as conversation can be achieved in the virtual space V.
  • the type or the like of the sound collection device is not limited, and for example, a directional microphone is used as appropriate.
  • the display device 40 for example, a display device using liquid crystal, EL (Electro-Luminescence), a projector, or the like is used.
  • the user 1 can experience the virtual space V through his / her own alternation (virtual model 2) displayed on the display device 40.
  • a display device 40 such as an HMD (Head1Mount Display) worn by the user 1 may be used. Thereby, it is possible to enjoy an experience as if the user 1 is in the virtual space V.
  • any display device may be used.
  • the client device 20 and the server device 30 can be realized by an arbitrary computer such as a PC (Personal Computer) or a server system.
  • the client device 20 corresponds to an embodiment of an information processing device according to the present technology.
  • connection form of the plurality of cameras 10, the client device 20, the server device 30, and the display device 40 is not limited.
  • each device may be connected via a network such as a LAN (Local Area Network) or a WAN (Wide Area Network), or may be directly connected using a cable or the like.
  • a network such as a LAN (Local Area Network) or a WAN (Wide Area Network)
  • LAN Local Area Network
  • WAN Wide Area Network
  • a plurality of cameras 10, a client device 20, and a display device 40 are arranged in the vicinity of the user 1, and only the server device 30 is arranged on the network.
  • the client device 20 and the server device 30 are arranged on the network.
  • any connection form and device arrangement may be employed.
  • FIG. 2 is a block diagram illustrating a functional configuration example of the client device 20 and the server device 30.
  • one client device 20 used by the user 1 is connected to the server device 30.
  • a plurality of client devices 20 used by other users who share the virtual space V are connected to the server device 30.
  • the client device 20 has hardware necessary for the configuration of the computer, such as a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and an HDD (Hard Disk Drive).
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • HDD Hard Disk Drive
  • Each function block shown in FIG. 2 is realized by the CPU loading and executing the program according to the present technology stored in the ROM or HDD into the RAM. And the information processing method concerning this art is performed by these functional blocks.
  • dedicated hardware such as an FPGA (Field Programmable Gate Array) or an image processing IC (Integrated Circuit) may be used as appropriate.
  • the program is installed in the client device 20 via various recording media, for example.
  • the program may be installed via the Internet or the like.
  • the client device 20 includes an operation receiving unit 201, an operation control unit 202, an imaging sound collection unit 203, an operation detection unit 204, an importance calculation unit 205, and a data control unit 206.
  • the client device 20 includes a data receiving unit 207, a data decompressing unit 208, a data compressing unit 209, a data transmitting unit 210, a data interpolating unit 211, a signal processing unit 212, and a display output unit 213.
  • the operation reception unit 201 receives an instruction or the like input from the user 1 via an operation device such as a keyboard or a controller. For example, an instruction relating to importance, which will be described later, an instruction for specifying a scene in the virtual space V, and the like are accepted. In addition, various instructions such as an instruction related to the operation of the virtual model 2 and a local instruction such as adjustment of the volume are accepted.
  • the operation control unit 202 controls each functional block of the client device 20 based on an instruction from the user 1 received by the operation receiving unit 201.
  • the connection (arrow) between the operation control unit 202 and each functional block is omitted.
  • the imaging sound collecting unit 203 generates image data of the user 1 including a plurality of images of the user 1 captured by the plurality of cameras 10. In addition, the imaging sound collection unit 203 generates user 1 sound data including the sound of the user 1 collected by a microphone or the like.
  • the operation detection unit 204 detects the operation of the user 1 based on the image data of the user 1.
  • the motion amount for each part of the body of the user 1 such as the head, both hands, both feet, and the torso is calculated.
  • the region of the body of the user 1 is extracted from the image of the user 1 based on the feature amount of the human body stored in advance.
  • Each part of the body is detected by bone estimation (skeleton estimation) or the like.
  • a motion vector representing a deviation (motion) from a part detected in the past for example, one frame before
  • the motion amount of each part is calculated.
  • the amount of movement of each part becomes high around both feet.
  • the movement amount of both hands of the user 1 is high, and the movement amount of both feet and the torso is low.
  • the method for detecting the movement amount is not limited, and a method using any image recognition technique, machine learning, or the like may be used as appropriate.
  • the importance calculation unit 205 calculates the importance related to each part of the body of the user 1.
  • the importance is a parameter related to the generation of the virtual model 2 and is typically reflected in the generation accuracy of each part. For example, in the virtual space V, a high importance is set for a part that is to be displayed with high accuracy or a part that needs to be displayed with high precision.
  • the method of calculating the importance of each part of the user 1 is not limited. For example, a high importance is calculated for a main part related to the scene of the virtual space V, the movement of the user 1, and the like. And a low importance is calculated for non-major sites. The calculation of the importance will be specifically described later.
  • the importance calculation unit 205 corresponds to an acquisition unit that acquires the importance related to at least one part of the object.
  • the data control unit 206 generates data for generation for generating the virtual model 2 of the user 1.
  • the generation data is generated based on the image data and audio data of the user 1 input from the imaging sound collection unit 203.
  • the data amount of the generation data is appropriately controlled based on the importance calculated by the importance calculation unit 205.
  • part data for generating each part of the virtual model 2 is generated as the generation data.
  • region data is generated for each region such as the head, both hands, both feet, and the torso.
  • the method of dividing the region is not limited, and it is possible to divide the region into three regions: the head, upper body, and lower body.
  • the data control unit 206 controls the data amount of the part data of each part based on the importance of each part of the body of the user 1 acquired by the importance calculation part 205. For example, the data amount of the part data corresponding to the part of the user 1 whose high importance is calculated is increased.
  • a high-resolution part image is acquired as an image of the corresponding part (in this embodiment, a plurality of part images taken in different directions are acquired. explain).
  • the high-resolution part image corresponds to part data whose data amount is controlled.
  • the resolution of the captured image may correspond to the high resolution mentioned here. That is, the reference for increasing or decreasing the data amount may be arbitrarily set, and increasing the data amount of the part data may include acquiring the photographed part image as it is.
  • the data control unit 206 reduces the data amount of the part data corresponding to the part of the user 1 from which the low importance is acquired. For example, in the image data of the user 1, a part image with a low resolution is acquired as an image of a corresponding part. Typically, the resolution of the imaged part image is reduced. Thereby, the part data with the reduced data amount is generated. In addition, when generating data with increased resolution of the captured image is generated by default, acquiring the captured part image as it is (acquisition without increasing the default resolution) reduces the amount of data. It may be included in the generation of the processed part data.
  • reduction includes deletion. That is, the amount of data of the part data of the user 1 having low importance is reduced to zero. This means that the part data is deleted for the part of the user 1 with low importance.
  • the data control unit generates setting data regarding various settings input by the user 1 in addition to the generation data.
  • the setting data includes, for example, an instruction for designating a scene in the virtual space V.
  • the data control unit 206 corresponds to a generation control unit.
  • the data receiving unit 207 receives display data for displaying the virtual space V transmitted from the server device 30.
  • the display data includes 3D data and audio data in the virtual space V, scene information in the virtual space V, and the like. Note that the display data is compressed and transmitted by the server device 30.
  • the data decompression unit 208 decompresses the display data received by the data reception unit 207.
  • the data compression unit 209 performs data compression in a predetermined compression format on the generation data and setting data input from the data control unit 206.
  • the data transmission unit 210 transmits the generation data compressed by the data compression unit 209 to the server device 30.
  • Compressing formats such as display data and generation data, the type of decompression processing, etc. are not limited, and any data compression / decompression technique may be used.
  • the data interpolation unit 211 interpolates the 3D data of the virtual space V transmitted from the server device 30. For example, when transmitted from the server device 30, there may be a case where a part of an object or a virtual model constituting the virtual space V is lost.
  • the data interpolation unit 211 estimates the interpolation data of the missing part and performs interpolation by filling the missing part.
  • Interpolation data is generated by using, for example, a library in which 3D data of past frames, default 3D data for each part of the virtual model, or the like is stored. Or according to the operation
  • movement may be newly produced
  • the method for estimating and interpolating the defect site is not limited, and any CG processing technique or the like may be used as appropriate.
  • the signal processing unit 212 generates video data to be displayed on the display device 40 based on the 3D data of the virtual space V output from the data interpolation unit 211. For example, a video overlooking the virtual model 2 or a video viewed from the viewpoint of the virtual model 2 is appropriately generated. For example, viewpoint information including the position and direction of the viewpoint with respect to the virtual space V is generated based on the movement of the user 1, the line-of-sight direction, instructions, and the like. Video data is generated based on the viewpoint information. Other methods may be used.
  • the signal processing unit 212 generates audio data that is reproduced by an audio reproducing device such as a speaker. That is, voice data emitted from the virtual model 2 or an object is generated.
  • the generation method of video data and audio data is not limited, and any technique may be used.
  • the display output unit 213 outputs the video and audio data of the virtual space V generated by the signal processing unit 212 to the display device 40 and the audio reproduction device.
  • the server device 30 includes a virtual space control unit 301, a data generation unit 302, a data reception unit 303, a data decompression unit 304, a data compression unit 305, and a data transmission unit 306.
  • the virtual space control unit 301 generates a virtual space V including the virtual model 2 of the user 1.
  • the virtual model 2 of the user 1 is generated based on the generation data transmitted from the client device 20. Specifically, based on the part data included in the generation data, a corresponding part of the virtual model 2 corresponding to the part data is generated.
  • the corresponding part of the virtual model 2 corresponding to the part of the user 1 whose high importance is calculated is generated based on, for example, a high-resolution part image (part data). Accordingly, the corresponding part with high importance has a large amount of data and is generated with high accuracy.
  • the corresponding part of the virtual model 2 corresponding to the part of the user 1 whose low importance is calculated is generated based on, for example, a low-resolution part image (part data). Therefore, the corresponding part with low importance is generated with a small amount of data and with reduced accuracy.
  • a default part model or the like is used as the corresponding part.
  • a site model with a sufficiently small amount of data is used.
  • the method for generating the corresponding part of the virtual model 2 based on the part image or the like is not limited. For example, based on a plurality of part images taken from different directions, a mesh model of the part is generated, and the surface skin color, clothing color, and the like are added thereto. In addition, any technique capable of generating a 3D model may be used.
  • the generated corresponding parts are combined to generate the virtual model 2 of the user 1.
  • the virtual model 2 in which the accuracy of each part is controlled according to the importance is generated.
  • a virtual model 2 having a high accuracy of the head and a low accuracy of the lower body or the like (or a default model) is generated.
  • the virtual model 2 with high accuracy of each part of the whole body is generated.
  • the virtual space control unit 301 generates other elements of the virtual space V based on the setting data transmitted from the client device 20. For example, a virtual space V in which a scene designated by the user 1 is expressed is generated. In the case of a conference scene, a virtual space V including a 3D model such as an interior of a conference room, a desk, a chair, and a white board is generated. However, the present invention is not limited to this, and a virtual space V adapted to various scenes such as sports and meals is appropriately generated.
  • virtual models 2 of other users are also generated.
  • the virtual model 2 of the other user is also generated with the data amount controlled based on the importance.
  • the virtual model 2 of each user including itself is appropriately arranged, and the virtual space V is constructed.
  • the data generation unit 302 generates display data to be transmitted to the client device 20.
  • the display data includes 3D data and audio data in the virtual space V, scene information in the virtual space V, and the like.
  • the data reception unit 303 and the data decompression unit 304 receive and decompress the generation data transmitted from the client device 20.
  • the data compression unit 305 and the data transmission unit 306 execute compression of the display data generated by the data generation unit 302 and transmission to the client device 20.
  • FIG. 3 is a flowchart showing an example of the operation of the client device 20.
  • an image and sound of the user 1 are acquired by the imaging sound collection unit 203, and image data and sound data of the user 1 are generated (step 101).
  • the importance calculation unit 205 calculates the importance of each part of the body of the user 1 (step 102).
  • a data decompression unit 208 and an operation detection unit 204 are connected to the importance level calculation unit 205.
  • Information on the scene of the virtual space V and the like are input from the data decompression unit 208, and the motion amount of each part of the body of the user 1 detected based on the image data of the user 1 is input from the motion detection unit 204.
  • the importance calculation unit 205 calculates the importance based on the input scene information of the virtual space V and the motion amount of each part of the body of the user 1. Further, when the user 1 designates the importance level, the importance level is calculated according to the designation. Hereinafter, the calculation of the importance will be specifically described.
  • FIG. 4 is a table showing an example of the importance of each part of the body of the user 1 in the scene.
  • 5 to 7 are schematic diagrams for explaining an example of a scene.
  • FIG. 4 shows the importance of each part of the user 1 in a plurality of scenes assumed in the virtual space V.
  • the importance of the face, the importance of the upper body, and the importance of the lower body are shown.
  • Examples of possible scenes include scenes of sports, dining / restaurants, table games, meetings, classes, driving, watching TV, and cinemas / concerts. Of course, various scenes other than these scenes are assumed in the virtual space.
  • the importance of each part of the user 1 is shown in three stages: high, medium, and low.
  • the importance setting typically, a high importance is set for a main part related to a scene, and a low importance is set for a non-main part.
  • which part is mainly used in relation to the scene may be arbitrarily set.
  • the importance may be set based on a judgment criterion that is different from whether or not it is main.
  • the degree of importance may be set more finely in four or five stages instead of the three stages of high, medium and low.
  • the importance may be expressed using a percentage (percent) or the like.
  • the importance calculation unit 205 sets the importance of each part of the face, upper body, and lower body of the user 1 based on the table shown in FIG. In the present embodiment, based on the scene information in the virtual space V, for example, a table in which data similar to the table in FIG. 4 is recorded is referred to, and the importance of each part of the user 1 is set.
  • the form of the user 1 such as serve or receive, the facial expression of the user 1, etc. are important. That is, the face 51, the upper body 52, and the lower body 53 of the user 1 are main parts related to the sports scene. Therefore, based on the table shown in FIG. 4, high importance is set for the whole body of the user 1 (face 51, upper body 52, and lower body 53).
  • the importance of each unit set in relation to the scene can be dynamically changed based on, for example, the operation amount of the user 1 or the like. For example, when the movement amount of the whole body centering on the lower body 53 decreases, it is determined that the person is resting, and the importance of each part is changed to a low value. Of course, since it may be possible to have a conversation during a break, the importance of the face 51 may be maintained high. Note that the decrease in the operation amount is determined based on, for example, a predetermined threshold.
  • the user 1 in a scene where the user 1 is in a meeting, the user 1 has a conversation with another user while sitting on the seat. Therefore, the facial expression of the user 1 is important, and the face 51 of the user 1 is a main part related to the conference scene.
  • the lower body 53 and the upper body 52 of the user 1 are not main parts. Therefore, based on the table shown in FIG. 4, a high importance level is set for the face 51 of the user 1 and a low importance level is set for the upper body 52 and the lower body 53.
  • the amount of movement of the upper body 52 of the user 1 is higher than a predetermined threshold, it is determined that the user 1 is speaking with a gesture in a meeting scene, for example.
  • a speech with a gesture is performed, the movement of the hand of the user 1 is important for communication. Accordingly, the importance of the upper body 52 is changed to a high value.
  • the possibility that the user 1 is the main speaker is high. For example, when the user is giving a presentation. In such a case, for example, it is possible to set so that the importance level of the upper body 52 of the speaker is easily increased by lowering the threshold regarding the movement amount of the upper body 52 of the speaker (user 1). Thus, the importance of each part of the user 1 may be changed based on the operation frequency of the user 1 or the like.
  • the movement amount of the lower body 53 of the user 1 changes in a meeting scene or the like, for example, it is determined that the user 1 is standing or walking.
  • the importance level of the upper body of the user 1 is set to be easily increased.
  • the setting relating to the importance of the upper body 52 may be performed based on the change in the movement amount of the lower body 53.
  • the facial expression, body movement, etc. of the user 1 are not particularly important in communication. Accordingly, the face 51, the upper body 52, and the lower body 53 of the user 1 are not main parts in the movie theater scene, and a low importance is set for the whole body of the user 1 according to the table shown in FIG.
  • the user 1 may perform an action such as stretching his body or rearranging his legs. These actions are not particularly important in communication. Accordingly, in a scene or the like where a movie is being watched, even if the amount of movement of the upper body 52 or the like of the user 1 changes, it may not be necessary to change the importance of the upper body 52 or the like. For example, in order to make it difficult for the importance of each part of the user 1 to increase, it is possible to set a high threshold for the operation amount of the user 1.
  • the motion amount of the lower body 53 of the user 1 is not changed while being low. For example, it is determined whether or not a movie is being shown based on the scene information in the virtual space V. If the movie is being shown, a setting is made such that the importance of the lower body 53 of the user 1 is maintained at a low value. The When the movie ends, the setting is changed so that the importance of each part is changed based on the movement amount of each part of the user 1.
  • the importance of each part of the body is changed according to the instruction. For example, when an instruction indicating that facial expression (face) information or the like is not necessary is input in a scene where a class is being taken, the importance of the face is set low. Also, when an instruction to increase the importance level of a face is input in a movie theater scene or the like when it is desired to reproduce the expression being viewed with high accuracy, the importance level of the face is increased. Since the importance of each part can be changed based on an instruction from the user 1, good communication or the like desired by the user 1 can be performed.
  • generation data for generating the virtual model 2 of the user 1 is generated by the data control unit 206 (step 103).
  • part data for generating a corresponding part of the virtual model 2 is generated as the generation data.
  • a high importance is set for the face of the user 1.
  • a high-resolution image of the face of the user 1 (partial image) is generated as part data relating to the face of the user 1.
  • the data control unit 206 controls the data amount of the generation data by reducing the data amount of the non-important part in the communication while sufficiently securing the data amount of the part important in the communication in the virtual space.
  • a low importance is set for the whole body of the user 1.
  • the illumination becomes dark, and it is not necessary to reproduce the facial expression of the user 1.
  • the virtual model 2 of the user 1 can be expressed using, for example, an avatar prepared by default.
  • the data control unit 206 can control the generation of the virtual model 2 by controlling the data amount of the generation data for generating the virtual model 2 of the user 1.
  • the generation data generated by the data control unit 206 is compressed by the data compression unit 209.
  • the compressed generation data is transmitted from the data transmission unit 210 to the server device 30 (step 104).
  • the importance level of at least one part of the user 1 is acquired, and the generation of the virtual model 2 of the user 1 is controlled based on the importance level.
  • the importance level for example, it is possible to control the amount of data in accordance with the importance, and it is possible to reduce the load of data transmission and the amount of processing calculation. As a result, good communication on the virtual space V is possible.
  • a technique for detecting a speaker or a technique for calculating the line of sight of the user 1 may be used as appropriate.
  • a technique that can suppress a decrease in information necessary for communication desired by a user while suppressing the amount of information of transmitted video may be used as appropriate.
  • the importance calculation unit 205 calculates the importance of each part of the body of the user 1. Thereby, for example, how much each part is required in communication on the virtual space V can be expressed with high accuracy using the importance.
  • the data control unit 206 controls the data amount of each part data of the virtual model 2 based on the importance of each part of the body of the user 1. As a result, a highly accurate virtual model based on the importance is generated.
  • the amount of data such as an image for generating the virtual model 2 can be controlled with high accuracy, and the amount of data transmitted via the network can be sufficiently suppressed.
  • the importance level is calculated based on the scene information in the virtual space V, the action of the user 1, and the like. Accordingly, it is possible to calculate the importance with high accuracy according to various scenes and situations assumed in the virtual space V. As a result, on the virtual space V, the virtual model 2 or the like corresponding to the situation at the time is displayed, and the user 1 can communicate smoothly.
  • information regarding the virtual model of another user (other object) displayed in the virtual space is used in the process of calculating the importance (see step 102 in FIG. 3).
  • the degree of importance regarding the virtual model of the other user, the operation regarding the virtual model of the other user, and the instruction regarding the degree of importance of the virtual model of the other user input from the other user are used.
  • the importance regarding the virtual model of the other user is the importance of each part of the body of the other user calculated by the importance calculating unit of the client device used by the other user.
  • the operation related to the virtual model of another user is the operation of another user. That is, the movement amount of each part of the body of the other user detected by the movement detection unit of the client device used by the other user corresponds.
  • the instruction regarding the importance of the virtual model of the other user is an instruction of the importance that the other user inputs to each part of his / her virtual model.
  • the client device 20 used by each of a plurality of users is connected to the server device 30 via a network. Accordingly, the server device 30 collects, from each client device, the degree of importance of each part of each user's body, the amount of movement of each part, and instructions regarding the degree of importance.
  • the data generation unit 302 of the server device 30 transmits information regarding the virtual model of another user to each client device 20 together with the display data.
  • information related to the virtual model of another user is input to the importance calculation unit 205. Then, based on the information on the scene in the virtual space V and the information on the virtual model of the other user, the importance regarding each part of the body of the user 1 is calculated.
  • a scene where a sports game or practice involving a large number of players such as soccer and basketball is also assumed.
  • the importance level is set to the upper body 52 and the lower body 53 of the opponent, for example, it is determined that the opponent is standing and giving a presentation.
  • the user 1 is the listening side, for example, a process of changing the importance of the upper body 52 and the lower body 53 to be low may be performed.
  • the importance of the whole body of the user 1 is changed to a high value, and the operation of the user 1 is sufficiently expressed.
  • the amount of movement of other users is small, for example, it is determined that the next song is being prepared, and the importance of the upper body 52 and the lower body 53 of the user 1 is changed to a low value.
  • the importance level of the user 1 is dynamically changed based on the amount of movement of other users.
  • the information on the upper body is not important in that scene. It is determined. In this case, for example, the importance level of the upper body of the user 1 is also changed to a low value.
  • the majority of other users designate the importance level of the upper body 52 as a high value, it is determined that the meal operation or the like is important, and the upper level of the user 1 is set to a high importance level. Is done.
  • the process for controlling the data amount of the part data (generation data) based on the importance of each part of the user's body was executed.
  • the data amount of the corresponding part (model of each part) of the virtual model may be directly controlled based on the importance of each part of the user's body when the virtual model is generated.
  • the image data generated by the imaging sound collection unit of the client device and the importance of each part of the user's body are transmitted to the server device.
  • the server device Based on the importance of each part of the body, the server device generates a virtual model of the user while appropriately controlling the data amount of the corresponding part.
  • a part model with a small number of vertexes of the mesh model (rough mesh) or a low surface resolution is generated.
  • a default part model with a small amount of data is generated. Thereby, it is possible to reduce the data amount of the corresponding part corresponding to the part for which the low importance is set.
  • a part model with a fine mesh and high resolution is generated. As a result, it is possible to increase the data amount of the corresponding part corresponding to the part for which high importance is set.
  • a method for controlling the data amount of the 3D site model is not limited, and any technique may be used.
  • the data amount of each corresponding part of the virtual model may be controlled. Thereby, quality control such as resolution of each corresponding part based on importance is realized.
  • the virtual model in which the data amount of each corresponding part is controlled is transmitted to the client device as display data. Therefore, it is possible to reduce the load of data transmission of display data while securing information necessary for communication. Moreover, since the data amount of the corresponding part of the virtual model is directly controlled by the server device, the arithmetic processing in the data control unit or the like of the client device is sufficiently reduced. As a result, it is possible to avoid processing delays in the client device.
  • the generation of the user's virtual model imitating the user's appearance was controlled. Instead, the generation of an avatar or the like having an appearance different from that of the user may be controlled.
  • the user's avatar is a character that operates according to the user's motion, and is generated based on motion data related to the user's motion. Therefore, when the avatar is generated, an image or the like taken of the user is not always necessary.
  • User motion data is generated by motion capture.
  • a predetermined marker or the like is attached to each part of the user's body, and the movement of each marker is detected as the movement of each part of the user's body.
  • the motion capture method and the like are not limited, and any method such as an optical method, a gyro method, a magnetic method, and a video method may be used. Further, other techniques that can detect the user's action may be used.
  • user operation data and importance of each part of the user's body are generated by the client device and transmitted to the server device.
  • the server device generates the user's avatar based on the importance of each part of the user. For example, the corresponding part of the avatar corresponding to the part for which the low importance is set is generated with a rough resolution and the like, and suppressing the data amount. For example, the corresponding part of the avatar corresponding to the part for which high importance is set is generated with high resolution and high accuracy.
  • the data amount of each corresponding part of the avatar may be controlled based on the importance of each part of the user's body. As a result, good communication can be performed via an avatar or the like.
  • All or part of the functions of the server device described above may be mounted on the client device.
  • a virtual model and a virtual space generation process may be performed by the client device.
  • a connection form in which client devices used by each of a plurality of users are connected by a method such as P2P (PeerPto Peer) without using a server or the like may be realized.
  • all or some of the functions related to information processing among the functions of the client device may be mounted on the server device.
  • the server device may perform processing for calculating the importance of each part of the user's body based on the amount of movement of each part of the user's body detected by the client device.
  • Each function of the client device and the server device is distributed among the devices according to the calculation load on the server device and the client device, the change of the data transmission speed in the network, the data transmission amount, the delay of the data transmission, etc. May be.
  • the virtual device generation processing is performed by the client device
  • the calculation load of the server device is reduced
  • the virtual device generation processing is performed by the server device.
  • the information processing method according to the present technology is executed by a computer such as a PC operated by a user has been described.
  • the information processing method and the program according to the present technology may be executed by another computer that can communicate with the computer operated by the user via a network or the like.
  • a simulation system according to the present technology may be constructed in conjunction with a computer operated by a user and another computer.
  • the information processing method and the program according to the present technology can be executed not only in a computer system configured by a single computer but also in a computer system in which a plurality of computers operate in conjunction with each other.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems.
  • the information processing method and the program according to the present technology by the computer system include, for example, a process of acquiring (calculating) the importance of each part of the user's body, a process of controlling the generation of the user's virtual model, and the like. It includes both the case where it is executed by a computer and the case where each process is executed by a different computer.
  • the execution of each process by a predetermined computer includes causing another computer to execute a part or all of the process and acquiring the result.
  • the information processing method and program according to the present technology can be applied to a configuration of cloud computing in which one function is shared by a plurality of devices via a network and is processed jointly.
  • this technique can also take the following structures.
  • an acquisition unit that acquires importance regarding at least one part of the object;
  • An information processing apparatus comprising: a generation control unit that controls generation of a model of the object displayed in a virtual space based on the acquired importance.
  • the generation control unit controls a data amount of a corresponding part of a model of the target object corresponding to at least one part of the target object for which the importance is acquired.
  • the generation control unit increases the data amount of the corresponding part corresponding to the part for which high importance is acquired, and reduces the data amount of the corresponding part corresponding to the part for which low importance is acquired. .
  • the generation control unit controls a data amount of data for generation for generating a model of the object.
  • the generation data includes part data for generating each part of the model of the object, The generation control unit controls a data amount of the part data corresponding to at least one part of the object from which the importance is acquired.
  • the information processing apparatus according to (5), The generation control unit increases a data amount of the part data corresponding to a part for which high importance is acquired, and reduces a data amount of the part data corresponding to a part for which low importance is acquired. .
  • the information processing apparatus includes scene information of the virtual space, The acquisition unit acquires the importance based on information on the scene.
  • the information processing apparatus according to any one of (1) to (9), The information processing apparatus, wherein the acquisition unit acquires the importance based on an action of the object.
  • the information processing apparatus according to (10) The acquisition unit acquires a high importance level for a main part related to the motion of the object, and acquires a low importance level for a non-main part.
  • the information processing apparatus acquires the importance based on an instruction regarding the importance input from a user.
  • the information processing apparatus acquires the importance based on the importance related to a model of another object displayed in the virtual space.
  • the information processing apparatus acquires the importance based on an operation related to a model of another object displayed in the virtual space.
  • the acquisition unit acquires the importance based on an instruction regarding the importance of a model of another object displayed in the virtual space, which is input from another user.
  • R Real space V ... Virtual space 1 ... User 2 ... Virtual model 10 ... Camera 20 ... Client device 30 ... Server device 40 ... Display device 51 ... Face 52 ... Upper body 53 ... Lower body 201 ... Operation accepting unit 202 ... Operation control unit 203 DESCRIPTION OF SYMBOLS ... Image pickup part 204 ... Motion detection part 205 ... Importance calculation part 206 ... Data control part 301 ... Virtual space control part 302 ... Data generation part 100 ... Virtual space generation system

Abstract

本技術の一形態に係る情報処理装置は、取得部と、生成制御部とを具備する。前記取得部は、対象物の少なくとも1つの部位に関する重要度を取得する。前記生成制御部は、前記取得された重要度に基づいて、仮想空間に表示される前記対象物のモデルの生成を制御する。

Description

情報処理装置、情報処理方法及びプログラム
 本技術は、仮想空間等に表示されるモデルの生成に適用可能な情報処理装置、情報処理方法、及びプログラムに関する。
 従来からネットワーク等を介してお互いの映像や音声を共有して遠隔コミュニケーションを行う技術が知られている。例えば離れた場所にいるユーザ同士が、お互いの映像や音声をリアルタイムに送り合うことが可能である。これにより離れた場所にいる相手とも、お互いの状態を把握しながらコミュニケーションを行うことが可能である。
 例えば特許文献1には、別拠点にいるユーザの画像及び音声を互いに送受信可能なテレビ会議システムについて記載されている。特許文献1では、ユーザの撮影画像に基づいてユーザがジェスチャーを行っているか否かが判断される。ジェスチャーを行っている場合はユーザの上半身の画像が撮影画像から切り出される。ジェスチャーを行っていない場合は、ユーザの顔の画像が切り出される。切り出された上半身の画像又は顔の画像は、相手側の端末装置に送信されディスプレイに表示される。これによりジェスチャーを交えて円滑にテレビ会議を行うことが可能となり、良好なコミュニケーションが可能となる(特許文献1の明細書段落[0030]、[0057]、[0092]、図5、図6等)
特開2010-239499号公報
 近年、コンピュータシステム等により構築された仮想空間上に各ユーザのモデルを表示させることで、遠隔コミュニケーションを実現するシステムも開発されている。仮想空間上で、良好なコミュニケーションを可能とする技術が求められている。
 以上のような事情に鑑み、本技術の目的は、仮想空間上での良好なコミュニケーションを可能とする情報処理装置、情報処理方法、及びプログラムを提供することにある。
 上記目的を達成するため、本技術の一形態に係る情報処理装置は、取得部と、生成制御部とを具備する。
 前記取得部は、対象物の少なくとも1つの部位に関する重要度を取得する。
 前記生成制御部は、前記取得された重要度に基づいて、仮想空間に表示される前記対象物のモデルの生成を制御する。
 この情報処理装置では、対象物の少なくとも1つの部位の重要度が取得され、その重要度に基づいて対象物のモデルの生成が制御される。これにより、例えば重要度に応じたデータ量の制御等が可能となり、データ伝送の負荷や処理演算量の低減等を図ることが可能となる。この結果、仮想空間上での良好なコミュニケーションが可能となる。
 前記生成制御部は、前記重要度が取得された前記対象物の少なくとも1つの部位に対応する前記対象物のモデルの対応部位のデータ量を制御してもよい。
 これにより重要度に基づいて対象物のモデルの各対応部位のデータ量を制御可能となる。この結果、例えばデータ伝送の負荷や処理演算量の低減等を図ることが可能となる。
 前記生成制御部は、高い重要度が取得された部位に対応する前記対応部位のデータ量を増加し、低い重要度が取得された部位に対応する前記対応部位のデータ量を削減してもよい。
 これにより、例えば全体のデータ量の増加を抑えつつ、対象物のモデルの重要度の高い対応部位を高精度に生成することが可能となる。この結果、仮想空間上での良好なコミュニケーションが可能となる。
 前記生成制御部は、前記対象物のモデルを生成するための生成用データのデータ量を制御してもよい。
 これにより対象物のモデルの生成に用いられる対象物の画像等のデータ量を制御可能となる。従ってデータ伝送の負荷や処理演算量の低減等を図ることが可能となる。
 前記生成用データは、前記対象物のモデルの各部位を生成するための部位データを含んでもよい。この場合、前記生成制御部は、前記重要度が取得された前記対象物の少なくとも1つの部位に対応する前記部位データのデータ量を制御してもよい。
 これにより重要度に基づいて対象物のモデルの各対応部位ごとにデータ量を制御することが可能となり、仮想空間上での良好なコミュニケーションが可能となる。
 前記生成制御部は、高い重要度が取得された部位に対応する前記部位データのデータ量を増加し、低い重要度が取得された部位に対応する前記部位データのデータ量を削減してもよい。
 これにより、例えば全体のデータ量の増加を抑えつつ、対象物のモデルの重要度の高い対応部位を高精度に生成することが可能となる。この結果、仮想空間上での良好なコミュニケーションが可能となる。
 前記取得部は、前記仮想空間に関する情報に基づいて前記重要度を取得してもよい。
 これにより仮想空間での状況等に応じたモデルの生成が可能となり、良好なコミュニケーションが可能となる。
 前記仮想空間に関する情報は、前記仮想空間のシーンの情報を含んでもよい。この場合、前記取得部は、前記シーンの情報に基づいて前記重要度を取得してもよい。
 これにより仮想空間でのシーンに応じたモデルの生成が可能となり、良好なコミュニケーションが可能となる。
 前記取得部は、前記仮想空間のシーンに関連した主要な部位に関して高い重要度を取得し、前記主要でない部位に関して低い重要度を取得してもよい。
 これにより例えばシーンに関連した主要な部位のデータ量を増やして高解像度で表示するといったことが可能となり、仮想空間上での良好なコミュニケーションが可能となる。
 前記取得部は、前記対象物の動作に基づいて前記重要度を取得してもよい。
 これにより対象物の動きに応じたモデルの生成が可能となり、良好なコミュニケーションが可能となる。
 前記取得部は、前記対象物の動作に関連した主要な部位に関して高い重要度を取得し、前記主要でない部位に関して低い重要度を取得してもよい。
 これにより例えば対象物の動いている部位の重要度を上げるといった処理が可能となる。この結果、対象物の動作を正確に再現すること等が可能となる。
 前記取得部は、ユーザから入力された前記重要度に関する指示に基づいて、前記重要度を取得してもよい。
 これにより、例えばユーザが所望する部位が高精度に表示された自身のモデル等を介して良好なコミュニケーションを図ることが可能となる。
 前記取得部は、前記仮想空間に表示される他の対象物のモデルに関する前記重要度に基づいて、前記重要度を取得してもよい。
 これにより、例えば他の対象物のモデルと同様の重要度を取得すること等が可能となり、良好なコミュニケーションが可能となる。
 前記取得部は、前記仮想空間に表示される他の対象物のモデルに関する動作に基づいて、前記重要度を取得してもよい。
 これにより他の対象物のモデルの動作等に合わせた対象物のモデルを容易に生成することが可能となる。この結果、仮想空間上での良好なコミュニケーションが可能となる。
 前記取得部は、他のユーザから入力された前記仮想空間に表示される他の対象物のモデルの前記重要度に関する指示に基づいて、前記重要度を取得してもよい。
 これにより、例えば大多数のユーザが指示した重要度と同様の重要度を取得可能となり、その場のコミュニケーションに合わせたユーザのモデルを生成可能となる。
 本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、対象物の少なくとも1つの部位に関する重要度を取得することを含む。
 前記取得された重要度に基づいて、仮想空間に表示される前記対象物のモデルの生成が制御される。
 本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
 対象物の少なくとも1つの部位に関する重要度を取得するステップ。
 前記取得された重要度に基づいて、仮想空間に表示される前記対象物のモデルの生成を制御するステップ。
 以上のように、本技術によれば、仮想空間上での良好なコミュニケーションが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
第1の実施形態に係る仮想空間生成システムの概要を説明するための模式図である。 クライアント装置及びサーバ装置の機能的な構成例を示すブロック図である。 クライアント装置の動作の一例を示すフローチャートである。 シーンにおけるユーザの体の各部位の重要度の一例を示す表である。 シーンの例を説明するための模式図である。 シーンの例を説明するための模式図である。 シーンの例を説明するための模式図である。
 以下、本技術に係る実施形態を、図面を参照しながら説明する。
 <第1の実施形態>
 [仮想空間生成システム]
 図1は、本技術の第1の実施形態に係る仮想空間生成システムの概要を説明するための模式図である。仮想空間生成システム100は、複数のカメラ10と、クライアント装置20と、サーバ装置30と、表示装置40とを有する。
 複数のカメラ10により実空間Rのユーザ(対象物)1が撮影され、ユーザ1の画像等がクライアント装置20に送信される。クライアント装置20により、ユーザ1の仮想モデル2を生成するための生成用データが生成され、サーバ装置30に送信される。サーバ装置30により、ユーザ1の仮想モデル2を含む仮想空間Vが生成され、クライアント装置20に送信される。生成された仮想空間Vは、表示装置40に出力され、仮想モデル2を含む仮想空間Vが表示される。
 仮想モデル2としては、例えばユーザ1の表情、姿勢、及び動作等の状態が再現された三次元(3D)のCG(Computer Graphics)等が生成される。後に説明するように、顔等の一部の部位のみが再現され、他の部位はデフォルトのモデルが表示される場合もあり得る。なお仮想モデル2の対象は人物に限定されず、ペットやロボットといった任意の対象物について仮想モデル2を生成することも可能である。
 図1に示すように複数のカメラ10は、所定の撮影エリアを基準として、互いに異なる位置にそれぞれ配置される。従って、撮影エリアに移動したユーザ1を様々な方向から撮影した複数の画像を取得可能である。
 カメラ10としては、例えばCMOS(Complementary Metal-Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサ等のイメージセンサを備えるデジタルカメラが用いられる。また例えばミリ波レーダや赤外線レーザ等の距離センサを備えたDepthカメラ等が適宜用いられてよい。
 本実施形態では、撮影エリアにマイク等の集音装置(図示省略)が配置される。集音装置により、ユーザ1の画像を撮影するのに合わせて、ユーザ1の音声が取得される。これにより例えば仮想空間Vにおいて会話等のコミュニケーションを図ることが可能となる。集音装置の種類等は限定されず、例えば指向性マイク等が適宜用いられる。
 表示装置40としては、例えば液晶やEL(Electro-Luminescence)等を用いたディスプレイ装置や、プロジェクタ等が用いられる。ユーザ1は表示装置40に表示された自身の分身(仮想モデル2)を介して、仮想空間Vを体験することが可能である。またHMD(Head Mount Display)等のユーザ1が装着して使用する表示装置40が用いられてもよい。これによりユーザ1自身が仮想空間V内にいるかのような体験を楽しむことが可能となる。その他、任意の表示デバイスが用いられてよい。
 クライアント装置20及びサーバ装置30は、例えばPC(Personal Computer)やサーバシステム等の任意のコンピュータにより実現可能である。本実施形態において、クライアント装置20は、本技術に係る情報処理装置の一実施形態に相当する。
 複数のカメラ10、クライアント装置20、サーバ装置30及び表示装置40の接続形態は限定されない。例えばLAN(Local Area Network)やWAN(Wide Area Network)等のネットワークを介して各装置が接続されてもよいし、ケーブル等を用いて直接的に接続されてもよい。
 例えば複数のカメラ10、クライアント装置20、及び表示装置40がユーザ1の近傍に配置され、サーバ装置30のみがネットワーク上に配置される。あるいは、クライアント装置20及びサーバ装置30がネットワーク上に配置される。その他、任意の接続形態、及び装置の配置構成が採用されてよい。
 図2は、クライアント装置20及びサーバ装置30の機能的な構成例を示すブロック図である。図2では、ユーザ1が使用する1台のクライアント装置20が、サーバ装置30に接続されている。実際には、仮想空間Vを共有する他のユーザが使用する複数のクライアント装置20が、サーバ装置30に接続される。
 クライアント装置20は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)等のコンピュータの構成に必要なハードウェアを有する。
 CPUが、ROMやHDDに格納された本技術に係るプログラムをRAMにロードして実行することにより、図2に示す各機能ブロックが実現される。そしてこれらの機能ブロックにより、本技術に係る情報処理方法が実行される。なお各機能ブロックを実現するために、FPGA(Field Programmable Gate Array)や画像処理IC(Integrated Circuit)等の専用のハードウェアが適宜用いられてもよい。
 プログラムは、例えば種々の記録媒体を介してクライアント装置20にインストールされる。又はインターネット等を介してプログラムのインストールが実行されてもよい。
 図2に示すように、クライアント装置20は、操作受付部201、操作制御部202、撮像集音部203、動作検出部204、重要度算出部205、及びデータ制御部206を有する。またクライアント装置20は、データ受信部207、データ解凍部208、データ圧縮部209、データ送信部210、データ補間部211、信号処理部212、及び表示出力部213を有する。
 操作受付部201は、例えばキーボードやコントローラ等の操作デバイスを介してユーザ1から入力された指示等を受け付ける。例えば後述する重要度に関する指示や、仮想空間Vのシーンを指定する指示等が受け付けられる。その他、仮想モデル2の操作に関する指示や、音量等の調節といったローカルな指示等の様々な指示が受け付けられる。
 操作制御部202は、操作受付部201により受け付けられたユーザ1からの指示に基づいて、クライアント装置20の各機能ブロックを制御する。なお図2に示す例では、操作制御部202と各機能ブロックとの接続(矢印)が省略されている。
 撮像集音部203は、複数のカメラ10により撮影されたユーザ1の複数の画像を含むユーザ1の画像データを生成する。また撮像集音部203は、マイク等により集音されたユーザ1の音声を含むユーザ1の音声データを生成する。
 動作検出部204は、ユーザ1の画像データに基づいて、ユーザ1の動作を検出する。本実施形態では、頭、両手、両足、胴体等の、ユーザ1の体の部位ごとの動作量が算出される。例えば予め記憶された人体の特徴量等に基づいて、ユーザ1の画像からユーザ1の体の領域が抽出される。そしてボーン推定(骨格推定)等により、体の各部位が検出される。各部位について、過去(例えば1フレーム前)に検出された部位とのずれ(動作)を表す動作ベクトルが算出される。当該動作ベクトルの方向や大きさに基づいて、各部位の動作量が算出される。
 例えばユーザ1が立ち上がって移動する場合には、両足を中心に各部位の動作量が高くなる。1つの場所で、ユーザ1が両手を使ったジェスチャー等を行う場合には、ユーザ1の両手の動作量が高くなり、両足や胴体等の動作量は低くなる。動作量を検出する方法等は限定されず、任意の画像認識技術や機械学習等を用いた方法が適宜用いられてよい。
 重要度算出部205は、ユーザ1の体の各部位に関する重要度を算出する。重要度は、仮想モデル2の生成に関するパラメータであり、典型的には、各部位の生成精度に反映される。例えば、仮想空間Vにおいて、高精度に表示させたい部位や、高精度に表示することが必要な部位に、高い重要度が設定される。
 例えば会議等が行われるシーン等において、席に着いた状態で、他のユーザと会話が行われるとする。この場合には、ユーザ1の表情等がコミュニケーションを行う上で重要となるので、ユーザの頭部の重要度が高く設定される。一方、デスクの下等に表示されるユーザ1の下半身等は、特に重要ではないので重要度は低く設定される。
 テニスの試合のシーン等において、他のユーザとテニスをする場合には、全身の動きが重要となるので、ユーザ1の全身の各部位の重要度が高く設定される。なおテニスコートを俯瞰したシーン等において、表情までは見えない場合には、ユーザ1の頭部の重要度が下げられる、といったことも可能である。
 ユーザ1の各部位の重要度を算出する方法(重要度を設定する方法)は限定されず、例えば仮想空間Vのシーンや、ユーザ1の動き等に関連した主要な部位に関して高い重要度が算出され、主要でない部位に関して低い重要度が算出される。重要度の算出については、後に具体的に説明する。本実施形態において、重要度算出部205は、対象物の少なくとも1つの部位に関する重要度を取得する取得部に相当する。
 データ制御部206は、ユーザ1の仮想モデル2を生成するための生成用データを生成する。生成用データは、撮像集音部203から入力されたユーザ1の画像データ及び音声データに基づいて生成される。本実施形態では、重要度算出部205により算出された重要度に基づいて、生成用データのデータ量が適宜制御される。
 具体的には、生成用データとして、仮想モデル2の各部位を生成するための部位データが生成される。例えば頭部、両手、両足、胴体等の各部位ごとに部位データが生成される。もちろん部位の分け方は限定されず、頭部、上半身、下半身の3つの部位に分けることも可能である。
 データ制御部206は、重要度算出部205により取得されたユーザ1の体の各部位の重要度に基づいて、各部位の部位データのデータ量を制御する。例えば高い重要度が算出されたユーザ1の部位に対応する部位データのデータ量を増加する。
 例えばユーザ1の画像データにおいて、該当する部位の画像として、解像度の高い部位画像が取得される(本実施形態では、異なる方向で撮影された複数の部位画像が取得されるが、単に部位画像として説明する)。当該解像度の高い部位画像が、データ量が制御された部位データに相当する。なお撮影された画像の解像度が、ここで言う高い解像度に相当する場合もあり得る。すなわちデータ量の増減の基準は任意に設定されてよく、部位データのデータ量を増加することが、撮影された部位画像をそのまま取得することを含んでもよい。
 またデータ制御部206は、低い重要度が取得されたユーザ1の部位に対応する部位データのデータ量を削減する。例えばユーザ1の画像データにおいて、該当する部位の画像として、解像度の低い部位画像が取得される。典型的には、撮影された部位画像の解像度が削減される。これによりデータ量が削減された部位データが生成される。なおデフォルトで撮影画像の解像度が増加された生成用データが生成される場合等では、撮影された部位画像をそのまま取得(デフォルトの解像度の増加をせずに取得)することが、データ量が削減された部位データの生成に含まれる場合もある。
 なお本開示では、削減は、削除を含む。すなわち重要度が低いユーザ1の部位データのデータ量が0に削減されることが含まれる。このことは、重要度が低いユーザ1の部位については、部位データが削除されることを意味する。
 なおデータ制御部は、生成用データの他に、ユーザ1により入力された種々の設定に関する設定データを生成する。設定データには、例えば仮想空間Vのシーンを指定する指示等が含まれる。本実施形態において、データ制御部206は、生成制御部に相当する。
 データ受信部207は、サーバ装置30から送信された仮想空間Vを表示するための表示用データを受信する。表示用データには、仮想空間Vの3Dデータ及び音声データや仮想空間Vのシーンの情報等が含まれる。なお表示用データは圧縮されて、サーバ装置30により送信される。
 データ解凍部208は、データ受信部207により受信された表示用データを解凍する。データ圧縮部209は、データ制御部206から入力された生成用データ及び設定データ、に対して所定の圧縮形式でのデータ圧縮を実行する。データ送信部210は、データ圧縮部209で圧縮された生成用データをサーバ装置30に送信する。
 表示用データや生成用データ等の圧縮形式や解凍処理の種類等は限定されず、任意のデータ圧縮・データ解凍技術が用いられてよい。
 データ補間部211は、サーバ装置30から送信された仮想空間Vの3Dデータを補間する。例えばサーバ装置30から送信される際に、仮想空間Vを構成するオブジェクトや仮想モデルの一部が欠損する場合もあり得る。データ補間部211は、欠損している部分の補間データを推定し、欠損部分を埋めることで補間を行う。
 補間データの生成は、例えば過去のフレームの3Dデータや、仮想モデルの部位ごとのデフォルトの3Dデータ等が記憶されたライブラリ等を用いることで実行される。あるいはユーザ1の動作に応じて、当該動作に応じた各部位の3Dデータが新たに生成され補間データとして用いられてもよい。また音声データ等に基づいて、顔の発話動作を補間することも可能である。欠損部位を推定及び補間する方法は限定されず、任意のCG処理技術等が適宜用いられてよい。
 信号処理部212は、データ補間部211から出力された仮想空間Vの3Dデータに基づいて、表示装置40に表示される映像データを生成する。例えば仮想モデル2を俯瞰した映像や、仮想モデル2の視点から見た映像が適宜生成される。例えばユーザ1の動き、視線方向、指示等に基づいて、仮想空間Vに対する視点の位置や方向等を含む視点情報が生成される。当該視点情報に基づいて、映像データが生成される。他の方法が用いられてもよい。
 また信号処理部212は、スピーカ等の音声再生装置により再生される音声データを生成する。すなわち仮想モデル2やオブジェクト等から発せられる音声のデータが生成される。映像データ及び音声データの生成方法は限定されず、任意の技術が用いられてよい。
 表示出力部213は、信号処理部212により生成された仮想空間Vの映像及び音声のデータを、表示装置40や音声再生装置に出力する。
 サーバ装置30は、仮想空間制御部301、データ生成部302、データ受信部303、データ解凍部304、データ圧縮部305、及びデータ送信部306を有する。
 仮想空間制御部301は、ユーザ1の仮想モデル2を含む仮想空間Vを生成する。本実施形態では、クライアント装置20から送信された生成用データに基づいて、ユーザ1の仮想モデル2が生成される。具体的には生成用データに含まれる部位データに基づいて、当該部位データに対応する仮想モデル2の対応部位が生成される。
 高い重要度が算出されたユーザ1の部位に対応する仮想モデル2の対応部位は、例えば高い解像度の部位画像(部位データ)に基づいて生成される。従って高い重要度の対応部位は、データ量が大きく高精度に生成される。
 低い重要度が算出されたユーザ1の部位に対応する仮想モデル2の対応部位は、例えば低い解像度の部位画像(部位データ)に基づいて生成される。従って低い重要度の対応部位は、データ量が小さく精度が抑えられて生成される。なお部位データが削除された部位については、例えばデフォルトの部位モデル等が対応部位として用いられる。典型的には、データ量が十分に小さい部位モデルが用いられる。
 部位画像等に基づいて仮想モデル2の対応部位を生成する方法は限定されない。例えば異なる方向から撮影された複数の部位画像等に基づいて、当該部位のメッシュモデルが生成され、そこに表面の肌の色や服の色等が付加される。その他、3Dモデルを生成可能な任意の技術が用いられてよい。
 生成された各々の対応部位が組み合わされて、ユーザ1の仮想モデル2が生成される。これにより、各部位の精度が重要度に応じて制御された仮想モデル2が生成される。例えば会議等が行われるシーンにおいて、頭部の精度が高く、下半身等は精度が低い(あるいはデフォルトのモデルである)仮想モデル2が生成される。あるいはテニスの試合のシーン等において、全身の各部位の精度が高い仮想モデル2が生成される。
 また仮想空間制御部301は、クライアント装置20から送信された設定データに基づいて仮想空間Vの他の要素を生成する。例えばユーザ1から指定されたシーンが表現された仮想空間Vが生成される。会議のシーンである場合には、会議室の内装、机、椅子、ホワイトボード等の3Dモデルを含む仮想空間Vが生成される。これに限定されず、スポーツや食事等の様々なシーン等に合わせた仮想空間Vが、適宜生成される。
 他のユーザと仮想空間Vを共有している場合には、他のユーザの仮想モデル2も生成される。当該他のユーザの仮想モデル2も、重要度に基づいてデータ量が制御されて生成されている。自身を含む各ユーザの仮想モデル2が適宜配置され、仮想空間Vが構築される。
 データ生成部302は、クライアント装置20に送信される表示用データを生成する。上記したように表示用データには、仮想空間Vの3Dデータ及び音声データ、仮想空間Vのシーンの情報等が含まれる。
 データ受信部303及びデータ解凍部304により、クライアント装置20から送信された生成用データ等の受信及び解凍が実行される。データ圧縮部305及びデータ送信部306により、データ生成部302により生成された表示用データの圧縮、及びクライアント装置20への送信が実行される。
 図3は、クライアント装置20の動作の一例を示すフローチャートである。まず撮像集音部203により、ユーザ1の画像及び音声が取得され、ユーザ1の画像データ及び音声データが生成される(ステップ101)。重要度算出部205により、ユーザ1の体の各部位の重要度が算出される(ステップ102)。
 図2に示すように重要度算出部205には、データ解凍部208及び動作検出部204が接続される。データ解凍部208からは仮想空間Vのシーンの情報等が入力され、動作検出部204からはユーザ1の画像データに基づいて検出されたユーザ1の体の各部位の動作量が入力される。
 重要度算出部205は、入力された仮想空間Vのシーンの情報と、ユーザ1の体の各部位の動作量とに基づいて重要度を算出する。またユーザ1から重要度に関する指定がある場合には、その指定に応じて重要度が算出される。以下、重要度の算出について具体的に説明する。
 図4は、シーンにおけるユーザ1の体の各部位の重要度の一例を示す表である。図5~図7は、シーンの例を説明するための模式図である。
 図4には、仮想空間Vで想定される複数のシーンにおける、ユーザ1の各部位の重要度が示されている。ここでは、顔の重要度、上半身の重要度、及び下半身の重要度がそれぞれ示されている。想定されるシーンとしては、スポーツ、食事・レストラン、テーブルゲーム、会議、授業、ドライブ、TV鑑賞、及び映画館・コンサートの各シーンが例として挙げられている。もちろん仮想空間ではこれらのシーンの他にも様々なシーンが想定される。
 図4に示す例では、ユーザ1の各部位の重要度が高、中、及び低の3段階で示されている。重要度の設定は、典型的には、シーンに関連した主要な部位に関して高い重要度が設定され、主要でない部位に関して低い重要度が設定される。もちろんシーンに関連してどの部位を主要とするか否かは、任意に設定されてよい。また主要であるか否かとは異なる判断基準にて、重要度が設定されてもよい。
 また重要度をどのように表すかという点も限定されない。高、中、及び低の3段階ではなく、4段階や5段階、さらに細かく重要度が設定されてもよい。また百分率(パーセント)等を使って重要度が表されてもよい。
 重要度算出部205は、図4に示す表に基づいて、ユーザ1の顔、上半身、及び下半身の各部位の重要度を設定する。本実施形態では、仮想空間Vのシーンの情報に基づいて、例えば図4の表と同様のデータが記録されたテーブル等が参照され、ユーザ1の各部位の重要度が設定される。
 例えば、図5に示すようにユーザ1がテニス(スポーツ)をプレイ中であるといったシーンでは、サーブやレシーブ等のユーザ1のフォームや、ユーザ1の表情等が重要となる。すなわちユーザ1の顔51、上半身52、及び下半身53がスポーツのシーンに関連した主要な部位となる。従って図4に示す表に基づいて、ユーザ1の全身(顔51、上半身52、及び下半身53)に対して高い重要度が設定される。
 また本実施形態では、シーンに関連して設定された各部の重要度を、例えばユーザ1の動作量等に基づいて、動的に変更することも可能である。例えば下半身53を中心とした全身の動作量が減少した場合には、休憩中であると判定され、各部位の重要度が低い値に変更される。もちろん休憩中に会話する場合も考えられるので、顔51の重要度は高く維持されてもよい。なお動作量の減少は、例えば所定の閾値を基準として判定される。
 ユーザが歩き始め、下半身53を中心として動作量が増加した場合には、休憩が終了しプレイが再開されたと判定され、各部位の重要度が高い値に戻される。このようにユーザ1の動作に基づいて各部位の重要度を動的に変更することで、高品質で良好なコミュニケーションが可能となる。
 図6に示すようにユーザ1が会議中であるといったシーンでは、ユーザ1は席に着いた状態で他のユーザとの会話等が行われる。従ってユーザ1の表情等が重要となり、ユーザ1の顔51が会議のシーンに関連した主要な部位となる。一方で会議のシーンにおいてユーザ1の手の位置や座り方等は特に重要ではないため、ユーザ1の下半身53や上半身52は主要でない部位となる。従って図4に示す表に基づいて、ユーザ1の顔51に対して高い重要度が設定され、上半身52及び下半身53に対して低い重要度が設定される。
 例えば、ユーザ1の上半身52の動作量が所定の閾値よりも高くなった場合には、例えば会議のシーンにおいて、ユーザ1がジェスチャーを交えて発言を行っていると判定される。ジェスチャーを交えた発言が行われる場合には、ユーザ1の手の動作等がコミュニケーションを行う上で重要となる。従って、上半身52の重要度が高い値に変更される。
 頻繁にユーザ1の上半身52の動作量が変化する場合には、ユーザ1が主たる発言者である可能性が高い。例えばユーザがプレゼンテーションを行っている場合等である。このような場合、例えば発言者(ユーザ1)の上半身52の動作量に関する閾値を低くすることで、発言者の上半身52の重要度が上がりやすくなるように設定することも可能である。このようにユーザ1の動作の頻度等に基づいて、ユーザ1の各部位の重要度が変更されてもよい。
 また会議のシーン等においてユーザ1の下半身53の動作量が変化する場合、例えばユーザ1が立ち上がっている、あるいは歩行中であると判定される。このような場合、ユーザ1は主たる発言者となっている可能性が高いため、例えばユーザ1の上半身の重要度が上がりやすくなるように設定される。このように下半身53の動作量の変化に基づいて、上半身52の重要度に関する設定が行われてもよい。
 図7に示すようにユーザ1が映画を鑑賞中であるといったシーンでは、ユーザ1の表情や体の動き等はコミュニケーションにおいて特に重要とはならない。従ってユーザ1の顔51、上半身52、及び下半身53は映画館のシーンにおいて主要でない部位となり、図4に示す表に従って、ユーザ1の全身に対して低い重要度が設定される。
 映画を鑑賞しているシーンにおいて、ユーザ1が体を伸ばしたり足を組み替えたりといった動作を行う場合が考えられる。これらの動作は、コミュニケーションにおいて特に重要とならない。従って映画を鑑賞しているシーン等においては、ユーザ1の上半身52等の動作量が変化した場合であっても、上半身52等の重要度を変更する必要がない場合があり得る。例えばユーザ1の各部位の重要度が上がりにくくするために、ユーザ1の動作量に関する閾値を高く設定することも可能である。
 また映画の上映中にユーザ1の下半身53の動作量が大きく増加した場合には、例えばユーザ1がトイレ等に行くために席を立ったと判定される。この場合、ユーザ1の歩行動作等は重要ではないため、下半身53の動作量は低いまま変更されない。例えば、仮想空間Vのシーンの情報に基づいて映画が上映中であるか否かが判定され、上映中である場合にはユーザ1の下半身53の重要度を低い値に維持するといった設定がなされる。なお、映画が終了した場合には、ユーザ1の各部位の動作量等に基づいて各部位の重要度が変更される設定に切り替えられる。
 ユーザ1から体の各部位に関する重要度が指示されている場合には、当該指示に応じて各部位の重要度が変更される。例えば授業を受けているシーン等において、表情(顔)の情報等が必要ない旨の指示が入力されている場合には、顔の重要度が低く設定される。また映画館のシーン等において、鑑賞中の表情を高精度に再現したい場合等において、顔の重要度を増加する指示が入力された場合には、顔の重要度が増加される。ユーザ1からの指示に基づいて各部位の重要度が変更可能であるので、ユーザ1が所望する良好なコミュニケーション等が可能となる。
 図3に戻り、データ制御部206によりユーザ1の仮想モデル2を生成するための生成用データが生成される(ステップ103)。本実施形態では、生成用データとして仮想モデル2の対応部位を生成するための部位データが生成される。
 例えば仮想空間Vにおいて会議が行われているシーンでは、ユーザ1の顔に高い重要度が設定される。この場合、例えばユーザ1の顔に関する部位データとして、高い解像度のユーザ1の顔の画像(部位画像)が生成される。またユーザ1の上半身及び下半身に低い重要度が設定されている場合には、低い解像度の上半身及び下半身の部位画像が生成される。従ってデータ制御部206は、仮想空間でのコミュニケーションにおいて重要となる部位のデータ量を十分に確保しつつ、コミュニケーションにおいて重要でない部位のデータ量を削減して、生成用データのデータ量を制御する。
 また仮想空間Vにおいて映画を鑑賞しているといったシーンでは、例えばユーザ1の全身に対して低い重要度が設定される。映画館のシーン等では照明が暗くなり、ユーザ1の表情等を再現する必要がなくなる。この場合、例えばユーザ1の顔、上半身、及び下半身の各部位画像が生成されず、各部位データのデータ量が0に削減されるといった処理もあり得る。従って生成用データとしてユーザ1の音声データのみが生成され、生成用データのデータ量が十分に削減される。なおユーザ1の仮想モデル2は、例えばデフォルトで用意されたアバター等を使って表現することが可能である。
 このようにデータ制御部206は、ユーザ1の仮想モデル2を生成するための生成用データのデータ量を制御することで、仮想モデル2の生成を制御することが可能である。データ制御部206により生成された生成用データは、データ圧縮部209により圧縮される。そして圧縮された生成用データが、データ送信部210からサーバ装置30に送信される(ステップ104)。
 以上、本実施形態に係るクライアント装置20では、ユーザ1の少なくとも1つの部位の重要度が取得され、その重要度に基づいてユーザ1の仮想モデル2の生成が制御される。これにより、例えば重要度に応じたデータ量の制御等が可能となり、データ伝送の負荷や処理演算量の低減等を図ることが可能となる。この結果、仮想空間V上での良好なコミュニケーションが可能となる。
 仮想空間V上での遠隔コミュニケーションの品質を向上するために、例えば発話者を検出する技術やユーザ1の視線を算出する技術等を適宜用いることが考えられる。また伝送される映像の情報量を抑制しつつも、ユーザが所望するコミュニケーションに必要な情報の低下を抑えることが可能な技術も求められている。
 本実施形態では、重要度算出部205によりユーザ1の体の各部位の重要度が算出される。これにより、例えば仮想空間V上でのコミュニケーションにおいて各部位がどのくらい必要とされているかを、重要度を使って高精度に表すことが可能となる。またデータ制御部206により、ユーザ1の体の各部位の重要度に基づいて、仮想モデル2の各部位データのデータ量が制御される。この結果、重要度に基づいた高精度な仮想モデルが生成される。
 すなわち本実施形態では、仮想モデル2を生成するための画像等のデータ量を高精度に制御することが可能となり、ネットワークを介して伝送されるデータ量を十分に抑制することが可能である。一方で、コミュニケーションを行う上で重要となる部位が高精度に生成された仮想モデルを生成することが可能である。これにより、データ伝送の負荷や処理演算量を十分に低減しつつも、ユーザ1が所望するコミュニケーションに必要な情報を十分に確保することが可能である。
 本実施形態では、仮想空間Vのシーンの情報やユーザ1の動作等に基づいて重要度が算出される。従って、仮想空間Vで想定される様々なシーンや状況に応じて高精度に重要度を算出することが可能となる。この結果、仮想空間V上には、その時々の状況等に応じた仮想モデル2等が表示され、ユーザ1は円滑にコミュニケーションを行うことが可能となる。
 <第2の実施形態>
 本技術の第2の実施形態に係る仮想空間生成システムについて説明する。これ以降の説明では、上記の実施形態で説明した仮想空間生成システム100における構成及び作用と同様な部分については、その説明を省略又は簡略化する。
 本実施形態に係るクライアント装置では、重要度を算出する処理(図3のステップ102参照)において、仮想空間に表示される他のユーザ(他の対象物)の仮想モデルに関する情報が用いられる。具体的には、他のユーザの仮想モデルに関する重要度、他のユーザの仮想モデルに関する動作、及び他のユーザから入力された他のユーザの仮想モデルの重要度に関する指示等が用いられる。
 他のユーザの仮想モデルに関する重要度とは、他のユーザが使用するクライアント装置の重要度算出部により算出される、他のユーザの体の各部位の重要度のことである。他のユーザの仮想モデルに関する動作とは、他のユーザの動作のことである。すなわち他のユーザが使用するクライアント装置の動作検出部により検出される、他のユーザの体の各部位の動作量が相当する。他のユーザの仮想モデルの重要度に関する指示は、他のユーザが自身の仮想モデルの各部位に対して入力する重要度の指示である。
 複数のユーザの各々が使用するクライアント装置20は、ネットワークを介してサーバ装置30に接続される。従ってサーバ装置30には、各々のクライアント装置から、各々のユーザの体の各部位の重要度、各部位の動作量、及び重要度に関する指示等が集められる。
 サーバ装置30のデータ生成部302は、各々のクライアント装置20に、表示用データとともに、他のユーザの仮想モデルに関する情報を送信する。各クライアント装置20では、他のユーザの仮想モデルに関する情報が、重要度算出部205に入力される。そして仮想空間Vのシーンの情報等、及び他のユーザの仮想モデルに関する情報に基づいて、ユーザ1の体の各部位に関する重要度が算出される。
 例えば図5に示すテニスをプレイ中のシーンにおいて、例えば対戦相手(他のユーザ)の上半身52及び下半身53の動作量が急激に減少した場合に、対戦相手が急遽休憩に入った、その場に座り込んだ、審判と話し始めた等により、試合が中断されたと判定される。そしてそれに合わせて、ユーザ1の上半身52及び下半身53の重要度が下げられる。
 その後、対戦相手の動作量が増加した場合には、試合が再開されたと判定され、ユーザ1の各部位の重要度が再び増加される。このように、他のユーザの動作量に基づいてユーザ1の重要度を変更することで、他のユーザに合わせて仮想モデル2の表示等を容易に制御することが可能となる。
 例えばサッカーやバスケといった多数のプレイヤーが参加するスポーツの試合や練習が行われるシーンも想定される。このようなシーンでは、大多数のプレイヤー(大多数の他のユーザ)の動作量が減少した場合に、休憩に入ったと判定することも可能である。例えば半分以上のプレイヤーの上半身52及び下半身53の動作量が減少した場合に、ユーザ1の各部位の重要度を下げるといった処理が実行される。
 図6に示す会議のシーンにおいて、例えば会議の相手(他のユーザ)の上半身52の重要度が高く設定されており、相手がジェスチャー等を交えて発言しているとする。この場合に、相互にジェスチャーを行いながら話し合うことを想定し、ユーザ1の上半身52の重要度も同じよう高く設定される、といったことも可能である。
 また相手の上半身52及び下半身53に高い重要度が設定されている場合には、例えば相手は立ってプレゼンテーション等を行っていると判定される。この場合ユーザ1は聴き側となるので、例えば上半身52及び下半身53の重要度を低く変更するといった処理が行われてもよい。
 図7に示す映画の鑑賞中のシーンにおいて、大多数の他のユーザの動作量が小さい場合は、他のユーザは座席についており映画が上映中であると判定される。この場合、ユーザ1の全身(顔51、上半身52、及び下半身53)の重要度が低く設定される。
 また映画館にいる大多数の他のユーザの動作量が増加した場合、例えば映画のスタッフロールが流れて本編が終了したと判定される。従って例えば映画の上映が完全に終了していない場合であっても、他のユーザの動作量の変化に基づいて、ユーザ1の全身の重要度を高い値に変更するといった処理が実行可能である。このように、仮想空間Vのシーンが完全に切替えられる前に、その場の状況に応じてユーザ1の重要度を動的に変更可能である。
 他の例としてライブコンサートのシーンにおいて、ライブ会場にいる他のユーザの動作量が大きい場合、例えばライブが盛り上がっていると判定される。この場合、例えばユーザ1の全身の重要度が高い値に変更され、ユーザ1の動作等が十分に表現される。一方、他のユーザの動作量が小さい場合には、例えば次の曲が準備中であると判定され、ユーザ1の上半身52や下半身53の重要度が低い値に変更される。このように、他のユーザの動作量の大きさ等に基づいてユーザ1の重要度が動的に変更される。これにより、ライブコンサートのその場の雰囲気に合わせた臨場感のある仮想空間を実現することが可能となり、高度の仮想体験を楽しむことが可能となる。
 またライブコンサートのシーンにおいて、所定のタイミングで両腕を使った独特のジェスチャーを一斉に行うことが定例となっている場合等において、他の多くのユーザが両腕の重要度を高い値に指定しているとする。この場合、当該他のユーザの指定に合わせて自身の両腕の重要度が上げられる。これにより周りの他のユーザ(仮想モデル)の動きに合わせて、その独特なジェスチャーをした場合に、自分の両腕の動きが高精度に表示され、非常に高揚した気持ちになりコンサートを楽しむことが可能となる。
 また例えば、レストランで食事をしているシーンにおいて、大多数の他のユーザが上半身の重要度を低い値に指定しているといった場合、そのシーンでは上半身の情報(食事の動作等)が重要でないと判定される。この場合、例えばユーザ1の上半身の重要度も低い値に変更される。一方で、大多数の他のユーザが上半身52の重要度を高い値に指定している場合、食事の動作等が重要となっていると判定され、ユーザ1の上半身には高い重要度が設定される。
 このように他のユーザの重要度に関する指定等に基づいて、ユーザ1の重要度を変更することで、その場のコミュニケーションで注目されている部位の重要度を容易に変更することが可能となる。これにより非常に良好なコミュニケーションが可能となる。
 <その他の実施形態>
 本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
 上記では、ユーザの仮想モデルの生成を制御する処理として、ユーザの体の各部位の重要度に基づいて部位データ(生成用データ)のデータ量を制御する処理が実行された。これに代えて、仮想モデルの生成時に、ユーザの体の各部位の重要度に基づいて、仮想モデルの対応部位(各部位のモデル)のデータ量が直接的に制御されてもよい。
 例えばクライアント装置の撮像集音部により生成された画像データと、ユーザの体の各部位の重要度とがサーバ装置に送信される。サーバ装置は、体の各部位の重要度に基づいて、対応部位のデータ量を適宜制御しながら、ユーザの仮想モデルを生成する。
 例えば低い重要度が設定されている部位については、メッシュモデルの頂点の数が少ない(メッシュが粗い)、または表面の解像度が低い部位モデル等が生成される。あるいは、データ量の少ないデフォルトの部位モデル等が生成される。これにより低い重要度が設定された部位に対応する対応部位のデータ量を削減することができる。
 高い重要度が設定されている部位については、メッシュが細かく解像度の高い部位モデル等が生成される。これにより高い重要度が設定された部位に対応する対応部位のデータ量を増加することが可能となる。なお3Dの部位モデルのデータ量を制御する方法は限定されず、任意の技術が用いられてよい。
 このように、ユーザの体の各部位の重要度に基づいて、仮想モデルの各対応部位のデータ量が制御されてもよい。これにより重要度に基づいた各対応部位の解像度等の品質の制御が実現される。
 各対応部位のデータ量が制御された仮想モデルは、表示用データとしてクライアント装置に送信される。従って、コミュニケーションに必要な情報等を確保しつつ、表示用データのデータ伝送の負荷等を低減することが可能となる。また、サーバ装置により仮想モデルの対応部位のデータ量が直接的に制御されるため、クライアント装置のデータ制御部等での演算処理が十分に低減される。この結果、クライアント装置での処理の遅延等を回避することが可能となる。
 上記では、ユーザの姿等を模したユーザの仮想モデルの生成が制御された。これに代えて、ユーザとは異なる外見を持つアバター等の生成が制御されてもよい。ユーザのアバターは、ユーザの動作に応じて動作するキャラクターであり、ユーザの動作に関する動作データ等に基づいて生成される。従ってアバターを生成する際には、ユーザを撮影した画像等は必ずしも必要ではない。
 ユーザの動作データは、モーションキャプチャーにより生成される。例えばユーザの体の各部位に所定のマーカ等を装着され、各マーカの動きがユーザの体の各部位の動作として検出される。モーションキャプチャーの方式等は限定されず、光学方式、ジャイロ方式、磁気方式、及びビデオ方式等の任意の方式が使用されてよい。またユーザの動作を検出可能な他の技術等が用いられてもよい。
 例えばクライアント装置により、ユーザの動作データと、ユーザの体の各部位の重要度とが生成され、サーバ装置に送信される。サーバ装置により、ユーザの各部位の重要度に基づいて、ユーザのアバターが生成される。例えば低い重要度が設定されている部位に対応するアバターの対応部位は、解像度等が粗くデータ量を抑えて生成される。また例えば高い重要度が設定されている部位に対応するアバターの対応部位は、高い解像度で高精度に生成される。
 このように、ユーザの体の各部位の重要度に基づいて、アバターの各対応部位のデータ量が制御されてもよい。この結果、アバター等を介して良好なコミュニケーションを行うことが可能となる。
 上記したサーバ装置の機能の全部または一部が、クライアント装置に搭載されてもよい。例えばクライアント装置により、仮想モデル及び仮想空間の生成処理等が行われてもよい。この場合例えば、複数のユーザの各々が使用するクライアント装置が、サーバ等を介さないP2P(Peer to Peer)等の方式で接続される接続形態が実現されてもよい。また、クライアント装置の各機能のうち、情報処理に関する機能の全部または一部が、サーバ装置に搭載されてもよい。例えばサーバ装置により、クライアント装置が検出したユーザの体の各部位の動作量等に基づいて、ユーザの体の各部位の重要度の算出処理等が行われてもよい。
 サーバ装置及びクライアント装置での計算負荷、ネットワーク等でのデータ伝送速度の変化、データ伝送量、及びデータ伝送の遅延等に応じて、クライアント装置及びサーバ装置の各機能が、各装置間で振り分けられてもよい。例えば、サーバ装置の計算負荷が大きい場合には、クライアント装置により仮想モデルの生成処理等が行われ、サーバ装置の計算負荷が減少した場合には、サーバ装置により仮想モデルの生成処理等が行われてもよい。
 上記ではユーザにより操作されるPC等のコンピュータにより、本技術に係る情報処理方法が実行される場合を説明した。しかしながらユーザが操作するコンピュータとネットワーク等を介して通信可能な他のコンピュータにより、本技術に係る情報処理方法、及びプログラムが実行されてもよい。またユーザが操作するコンピュータと、他のコンピュータとが連動して、本技術に係るシミュレーションシステムが構築されてもよい。
 すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれもシステムである。
 コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えばユーザの体の各部位の重要度を取得(算出)する処理、ユーザの仮想モデルの生成を制御する処理等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
 すなわち本技術に係る情報処理方法及びプログラムは、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
 以上説明した本技術に係る特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
 なお、本技術は以下のような構成も採ることができる。
(1)対象物の少なくとも1つの部位に関する重要度を取得する取得部と、
 前記取得された重要度に基づいて、仮想空間に表示される前記対象物のモデルの生成を制御する生成制御部と
 を具備する情報処理装置。
(2)(1)に記載の情報処理装置であって、
 前記生成制御部は、前記重要度が取得された前記対象物の少なくとも1つの部位に対応する前記対象物のモデルの対応部位のデータ量を制御する
 情報処理装置。
(3)(2)に記載の情報処理装置であって、
 前記生成制御部は、高い重要度が取得された部位に対応する前記対応部位のデータ量を増加し、低い重要度が取得された部位に対応する前記対応部位のデータ量を削減する
 情報処理装置。
(4)(1)から(3)のうちいずれか1つに記載の情報処理装置であって、
 前記生成制御部は、前記対象物のモデルを生成するための生成用データのデータ量を制御する
 情報処理装置。
(5)(4)に記載の情報処理装置であって、
 前記生成用データは、前記対象物のモデルの各部位を生成するための部位データを含み、
 前記生成制御部は、前記重要度が取得された前記対象物の少なくとも1つの部位に対応する前記部位データのデータ量を制御する
 情報処理装置。
(6)(5)に記載の情報処理装置であって、
 前記生成制御部は、高い重要度が取得された部位に対応する前記部位データのデータ量を増加し、低い重要度が取得された部位に対応する前記部位データのデータ量を削減する
 情報処理装置。
(7)(1)から(6)のうちいずれか1つに記載の情報処理装置であって、
 前記取得部は、前記仮想空間に関する情報に基づいて前記重要度を取得する
 情報処理装置。
(8)(7)に記載の情報処理装置であって、
 前記仮想空間に関する情報は、前記仮想空間のシーンの情報を含み、
 前記取得部は、前記シーンの情報に基づいて前記重要度を取得する
 情報処理装置。
(9)(8)に記載の情報処理装置であって、
 前記取得部は、前記仮想空間のシーンに関連した主要な部位に関して高い重要度を取得し、前記主要でない部位に関して低い重要度を取得する
 情報処理装置。
(10)(1)から(9)のうちいずれか1つに記載の情報処理装置であって、
 前記取得部は、前記対象物の動作に基づいて前記重要度を取得する
 情報処理装置。
(11)(10)に記載の情報処理装置であって、
 前記取得部は、前記対象物の動作に関連した主要な部位に関して高い重要度を取得し、前記主要でない部位に関して低い重要度を取得する
 情報処理装置。
(12)(1)から(11)に記載の情報処理装置であって、
 前記取得部は、ユーザから入力された前記重要度に関する指示に基づいて、前記重要度を取得する
 情報処理装置。
(13)(1)から(12)に記載の情報処理装置であって、
 前記取得部は、前記仮想空間に表示される他の対象物のモデルに関する前記重要度に基づいて、前記重要度を取得する
 情報処理装置。
(14)(1)から(13)のうちいずれか1つに記載の情報処理装置であって、
 前記取得部は、前記仮想空間に表示される他の対象物のモデルに関する動作に基づいて、前記重要度を取得する
 情報処理装置。
(15)(1)から(14)に記載の情報処理装置であって、
 前記取得部は、他のユーザから入力された前記仮想空間に表示される他の対象物のモデルの前記重要度に関する指示に基づいて、前記重要度を取得する
 情報処理装置。
 R…実空間
 V…仮想空間
 1…ユーザ
 2…仮想モデル
 10…カメラ
 20…クライアント装置
 30…サーバ装置
 40…表示装置
 51…顔
 52…上半身
 53…下半身
 201…操作受付部
 202…操作制御部
 203…撮像集音部
 204…動作検出部
 205…重要度算出部
 206…データ制御部
 301…仮想空間制御部
 302…データ生成部
 100…仮想空間生成システム

Claims (17)

  1.  対象物の少なくとも1つの部位に関する重要度を取得する取得部と、
     前記取得された重要度に基づいて、仮想空間に表示される前記対象物のモデルの生成を制御する生成制御部と
     を具備する情報処理装置。
  2.  請求項1に記載の情報処理装置であって、
     前記生成制御部は、前記重要度が取得された前記対象物の少なくとも1つの部位に対応する前記対象物のモデルの対応部位のデータ量を制御する
     情報処理装置。
  3.  請求項2に記載の情報処理装置であって、
     前記生成制御部は、高い重要度が取得された部位に対応する前記対応部位のデータ量を増加し、低い重要度が取得された部位に対応する前記対応部位のデータ量を削減する
     情報処理装置。
  4.  請求項1に記載の情報処理装置であって、
     前記生成制御部は、前記対象物のモデルを生成するための生成用データのデータ量を制御する
     情報処理装置。
  5.  請求項4に記載の情報処理装置であって、
     前記生成用データは、前記対象物のモデルの各部位を生成するための部位データを含み、
     前記生成制御部は、前記重要度が取得された前記対象物の少なくとも1つの部位に対応する前記部位データのデータ量を制御する
     情報処理装置。
  6.  請求項5に記載の情報処理装置であって、
     前記生成制御部は、高い重要度が取得された部位に対応する前記部位データのデータ量を増加し、低い重要度が取得された部位に対応する前記部位データのデータ量を削減する
     情報処理装置。
  7.  請求項1に記載の情報処理装置であって、
     前記取得部は、前記仮想空間に関する情報に基づいて前記重要度を取得する
     情報処理装置。
  8.  請求項7に記載の情報処理装置であって、
     前記仮想空間に関する情報は、前記仮想空間のシーンの情報を含み、
     前記取得部は、前記シーンの情報に基づいて前記重要度を取得する
     情報処理装置。
  9.  請求項8に記載の情報処理装置であって、
     前記取得部は、前記仮想空間のシーンに関連した主要な部位に関して高い重要度を取得し、前記主要でない部位に関して低い重要度を取得する
     情報処理装置。
  10.  請求項1に記載の情報処理装置であって、
     前記取得部は、前記対象物の動作に基づいて前記重要度を取得する
     情報処理装置。
  11.  請求項10に記載の情報処理装置であって、
     前記取得部は、前記対象物の動作に関連した主要な部位に関して高い重要度を取得し、前記主要でない部位に関して低い重要度を取得する
     情報処理装置。
  12.  請求項1に記載の情報処理装置であって、
     前記取得部は、ユーザから入力された前記重要度に関する指示に基づいて、前記重要度を取得する
     情報処理装置。
  13.  請求項1に記載の情報処理装置であって、
     前記取得部は、前記仮想空間に表示される他の対象物のモデルに関する前記重要度に基づいて、前記重要度を取得する
     情報処理装置。
  14.  請求項1に記載の情報処理装置であって、
     前記取得部は、前記仮想空間に表示される他の対象物のモデルに関する動作に基づいて、前記重要度を取得する
     情報処理装置。
  15.  請求項1に記載の情報処理装置であって、
     前記取得部は、他のユーザから入力された前記仮想空間に表示される他の対象物のモデルの前記重要度に関する指示に基づいて、前記重要度を取得する
     情報処理装置。
  16.  対象物の少なくとも1つの部位に関する重要度を取得し、
     前記取得された重要度に基づいて、仮想空間に表示される前記対象物のモデルの生成を制御する
     ことをコンピュータシステムが実行する情報処理方法。
  17.  対象物の少なくとも1つの部位に関する重要度を取得するステップと、
     前記取得された重要度に基づいて、仮想空間に表示される前記対象物のモデルの生成を制御するステップと
     をコンピュータシステムに実行させるプログラム。
PCT/JP2018/000274 2017-01-19 2018-01-10 情報処理装置、情報処理方法及びプログラム WO2018135343A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP18741963.5A EP3573026B1 (en) 2017-01-19 2018-01-10 Information processing apparatus, information processing method, and program
US16/476,618 US11386681B2 (en) 2017-01-19 2018-01-10 Information processing apparatus, information processing method, and program
CN201880006845.8A CN110178158B (zh) 2017-01-19 2018-01-10 信息处理装置、信息处理方法和记录介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017007449A JP2018116537A (ja) 2017-01-19 2017-01-19 情報処理装置、情報処理方法及びプログラム
JP2017-007449 2017-01-19

Publications (1)

Publication Number Publication Date
WO2018135343A1 true WO2018135343A1 (ja) 2018-07-26

Family

ID=62908428

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/000274 WO2018135343A1 (ja) 2017-01-19 2018-01-10 情報処理装置、情報処理方法及びプログラム

Country Status (5)

Country Link
US (1) US11386681B2 (ja)
EP (1) EP3573026B1 (ja)
JP (1) JP2018116537A (ja)
CN (1) CN110178158B (ja)
WO (1) WO2018135343A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022202145A1 (ja) * 2021-03-23 2022-09-29 株式会社Jvcケンウッド 3次元モデル生成装置、3次元モデル生成方法およびプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7369333B2 (ja) * 2018-12-21 2023-10-26 Toppanホールディングス株式会社 三次元形状モデル生成システム、三次元形状モデル生成方法、及びプログラム
US11388326B2 (en) * 2019-01-18 2022-07-12 Justin Dion Cowell Camera collaboration configuration
CN111935491B (zh) * 2020-06-28 2023-04-07 百度在线网络技术(北京)有限公司 直播的特效处理方法、装置以及服务器
JP7142392B1 (ja) 2021-06-09 2022-09-27 クラスター株式会社 アバター出力装置、端末装置、アバター出力方法、およびプログラム
JP6995416B1 (ja) 2021-06-09 2022-01-14 クラスター株式会社 アバター出力装置、端末装置、アバター出力方法、およびプログラム
JP7015597B1 (ja) 2021-06-25 2022-02-03 クラスター株式会社 アバター出力装置、端末装置、アバター出力方法、およびプログラム
JP7460922B2 (ja) 2022-03-10 2024-04-03 株式会社カプコン 情報処理システムおよびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000090288A (ja) * 1998-09-11 2000-03-31 Nippon Telegr & Teleph Corp <Ntt> 3次元共有仮想空間通信サービスにおける顔画像制御方法,3次元共有仮想空間通信用装置およびそのプログラム記録媒体
JP2010239499A (ja) 2009-03-31 2010-10-21 Brother Ind Ltd 通信端末装置、通信制御装置、通信端末装置の通信制御方法、通信制御プログラム
JP2011039860A (ja) * 2009-08-13 2011-02-24 Nomura Research Institute Ltd 仮想空間を用いる会話システム、会話方法及びコンピュータプログラム
JP2013197740A (ja) * 2012-03-16 2013-09-30 Toshiba Corp 電子機器、電子機器の制御方法、電子機器の制御プログラム
JP2015132678A (ja) * 2014-01-10 2015-07-23 ソフトバンクモバイル株式会社 プログラム及び表示制御装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002095684A1 (fr) * 2001-05-18 2002-11-28 Sony Computer Entertainment Inc. Afficheur
US7265762B2 (en) * 2003-12-17 2007-09-04 Quid Novi, S.A., Inc. Method and apparatus for representing data using layered objects
US7720295B2 (en) * 2004-06-29 2010-05-18 Sanyo Electric Co., Ltd. Method and apparatus for coding images with different image qualities for each region thereof, and method and apparatus capable of decoding the images by adjusting the image quality
EP1789928A4 (en) * 2004-07-30 2011-03-16 Extreme Reality Ltd SYSTEM AND METHOD FOR PICTURE PROCESSING BASED ON THE 3D ROOM DIMENSION
US8447128B2 (en) * 2008-04-07 2013-05-21 Fujifilm Corporation Image processing system
CN101577015B (zh) * 2009-06-08 2012-05-16 北京理工大学 一种基于多分辨率体元的动态地形建模方法
US20120293506A1 (en) * 2009-11-10 2012-11-22 Selex Sistemi Integrati S.P.A. Avatar-Based Virtual Collaborative Assistance
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
CN103460256B (zh) * 2011-03-29 2016-09-14 高通股份有限公司 在扩增现实系统中将虚拟图像锚定到真实世界表面
JP5926210B2 (ja) * 2012-03-21 2016-05-25 国立大学法人浜松医科大学 自閉症診断支援システム及び自閉症診断支援装置
US9424678B1 (en) * 2012-08-21 2016-08-23 Acronis International Gmbh Method for teleconferencing using 3-D avatar
US9443289B2 (en) * 2013-06-21 2016-09-13 Xerox Corporation Compensating for motion induced artifacts in a physiological signal extracted from multiple videos
JP6643659B2 (ja) * 2014-04-09 2020-02-12 パナソニックIpマネジメント株式会社 表示制御装置、表示制御方法、および表示制御プログラム
JP2016024208A (ja) * 2014-07-16 2016-02-08 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
JP6405836B2 (ja) * 2014-09-26 2018-10-17 セイコーエプソン株式会社 位置検出装置、プロジェクター、及び、位置検出方法
JP6501501B2 (ja) * 2014-11-12 2019-04-17 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
US10281976B2 (en) * 2015-07-07 2019-05-07 Seiko Epson Corporation Display device, control method for display device, and computer program
JP6232649B2 (ja) * 2016-02-18 2017-11-22 国立大学法人名古屋大学 仮想空間表示システム
US11216080B2 (en) * 2016-09-13 2022-01-04 Xin Tian Methods and devices for information acquisition, detection, and application of foot gestures
JP6298130B2 (ja) * 2016-09-14 2018-03-20 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
JP6373920B2 (ja) * 2016-09-14 2018-08-15 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
JP6765917B2 (ja) * 2016-09-21 2020-10-07 キヤノン株式会社 探索装置及び、その撮像装置及び、探索方法
KR102102761B1 (ko) * 2017-01-17 2020-04-21 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000090288A (ja) * 1998-09-11 2000-03-31 Nippon Telegr & Teleph Corp <Ntt> 3次元共有仮想空間通信サービスにおける顔画像制御方法,3次元共有仮想空間通信用装置およびそのプログラム記録媒体
JP2010239499A (ja) 2009-03-31 2010-10-21 Brother Ind Ltd 通信端末装置、通信制御装置、通信端末装置の通信制御方法、通信制御プログラム
JP2011039860A (ja) * 2009-08-13 2011-02-24 Nomura Research Institute Ltd 仮想空間を用いる会話システム、会話方法及びコンピュータプログラム
JP2013197740A (ja) * 2012-03-16 2013-09-30 Toshiba Corp 電子機器、電子機器の制御方法、電子機器の制御プログラム
JP2015132678A (ja) * 2014-01-10 2015-07-23 ソフトバンクモバイル株式会社 プログラム及び表示制御装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OKAMOTO, ATSUSHI: "The development of breaststroke motion learning system by VRML", TECHNICAL REPORT OF IEICE, vol. 100, no. 716, 15 March 2001 (2001-03-15), pages 17 - 22, XP009515604, ISSN: 0913-5685 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022202145A1 (ja) * 2021-03-23 2022-09-29 株式会社Jvcケンウッド 3次元モデル生成装置、3次元モデル生成方法およびプログラム

Also Published As

Publication number Publication date
US20190362131A1 (en) 2019-11-28
CN110178158A (zh) 2019-08-27
JP2018116537A (ja) 2018-07-26
EP3573026A1 (en) 2019-11-27
EP3573026A4 (en) 2020-01-01
US11386681B2 (en) 2022-07-12
CN110178158B (zh) 2024-03-01
EP3573026B1 (en) 2023-10-25

Similar Documents

Publication Publication Date Title
WO2018135343A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6961007B2 (ja) 複合現実デバイスにおける仮想および実オブジェクトの記録
US10277813B1 (en) Remote immersive user experience from panoramic video
US10819967B2 (en) Methods and systems for creating a volumetric representation of a real-world event
US20180225880A1 (en) Method and Apparatus for Providing Hybrid Reality Environment
JP6317854B2 (ja) 仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体
US10602121B2 (en) Method, system and apparatus for capture-based immersive telepresence in virtual environment
JPWO2016009865A1 (ja) 情報処理装置及び方法、表示制御装置及び方法、再生装置及び方法、プログラム、並びに情報処理システム
US10998870B2 (en) Information processing apparatus, information processing method, and program
JP2001160154A (ja) 仮想空間通信システムにおけるアバタ表示装置、アバタ表示方法および記憶媒体
JP2023169282A (ja) コンピュータプログラム、サーバ装置、端末装置、及び方法
JP6812181B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
US20230154106A1 (en) Information processing apparatus, information processing method, and display apparatus
KR20210056414A (ko) 혼합 현실 환경들에서 오디오-가능 접속된 디바이스들을 제어하기 위한 시스템
JP2020144748A (ja) 情報処理装置、情報処理方法及びプログラム
EP4270155A1 (en) Virtual content
EP4306192A1 (en) Information processing device, information processing terminal, information processing method, and program
Pereira et al. Hybrid Conference Experiences in the ARENA
US20240114181A1 (en) Information processing device, information processing method, and program
WO2022209129A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2024009653A1 (ja) 情報処理装置、情報処理方法、及び情報処理システム
JP2023002032A (ja) 表示制御装置、表示制御方法および表示制御プログラム
CN117135393A (zh) 基于虚拟现实的录制处理方法、装置及电子设备
JP2015060539A (ja) コンテンツ生成装置及びコンテンツ生成プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18741963

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018741963

Country of ref document: EP

Effective date: 20190819