WO2019026598A1 - 画像処理装置、画像処理方法、プログラム、および遠隔コミュニケーションシステム - Google Patents

画像処理装置、画像処理方法、プログラム、および遠隔コミュニケーションシステム Download PDF

Info

Publication number
WO2019026598A1
WO2019026598A1 PCT/JP2018/026656 JP2018026656W WO2019026598A1 WO 2019026598 A1 WO2019026598 A1 WO 2019026598A1 JP 2018026656 W JP2018026656 W JP 2018026656W WO 2019026598 A1 WO2019026598 A1 WO 2019026598A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
user
torso
face
captured
Prior art date
Application number
PCT/JP2018/026656
Other languages
English (en)
French (fr)
Inventor
雅人 赤尾
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201880049438.5A priority Critical patent/CN110959286A/zh
Priority to US16/631,748 priority patent/US20200186729A1/en
Publication of WO2019026598A1 publication Critical patent/WO2019026598A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Definitions

  • the present disclosure relates to an image processing apparatus, an image processing method, a program, and a remote communication system, and in particular, an image processing apparatus, an image processing method, and a program capable of providing a good user experience with less calculation amount. And remote communication system.
  • Patent Document 1 discloses a communication system capable of displaying an image that looks as if the lines of sight of the speakers agree with each other by perspective correction, even when the speakers are not facing the display surface. It is done.
  • Patent Document 2 discloses a communication system capable of displaying an image that looks like a front by generating three-dimensional model data and attaching a texture to the surface of the three-dimensional model. .
  • Patent Document 1 By the way, with the technique disclosed in the above-mentioned Patent Document 1, it is difficult to make the lines of sight of users agree with each other when it is applied to a large screen while it is not compatible with a whole body image. Further, in the technology disclosed in Patent Document 2 described above, in addition to the enormous amount of calculation being required, high-precision depth information is required, and thus a more sophisticated device has been required.
  • the present disclosure has been made in view of such a situation, and enables to provide a good user experience with less calculation amount.
  • An image processing apparatus is a face area where a user's face is photographed from an image captured by an imaging apparatus from a direction other than the front of a user who faces the front of a display apparatus displaying an image;
  • a detection unit that detects a torso area including a body of the user;
  • a front face generation unit that generates a front face image such as an image of the user's face taken from the front based on the face area;
  • the torso correction unit corrects the front torso image of the user's torso based on the region, and a combining unit combining the front face image and the front torso image.
  • An image processing method or program is a face area in which a user's face is captured from an image captured by an imaging device from a direction other than the front of a display device displaying an image. And detecting a torso area in which the torso of the user is copied, generating a front face image as if the user's face was captured from the front based on the face area, and And correcting the front torso image as if the user's torso was captured from the front, and combining the front face image and the front torso image.
  • a remote communication system includes a communication partner, a communication device that transmits and receives at least an image, a display device that displays an image transmitted from the other party, and a user facing the front of the display device.
  • a face area in which the user's face is photographed, and a torso area in which the user's torso is photographed, from an image pickup apparatus which picks up an image from a direction other than the front, and an image of the user The torso of the user from the front based on the detection unit, a front face generation unit that generates a front face image such as an image of the user's face taken from the front based on the face area, and the torso area
  • the torso correction unit corrects the front torso image as described above, and the combining unit combines the front face image and the front torso image.
  • the torso image is corrected and the front face image and the front torso image are combined.
  • a good user experience can be provided with less computational effort.
  • FIG. 1 is a block diagram illustrating a configuration example of an embodiment of a remote communication system to which the present technology is applied. It is a block diagram which shows the structure of a communication processing part. It is a flowchart explaining a remote communication process. It is a figure explaining an example which carries out image processing of a front face image and a front torso image separately. It is a flowchart explaining the 1st processing example of person image synthetic processing. It is a figure explaining the process which carries out the perspective correction of an upper limb or a leg individually separately. It is a flowchart explaining the 2nd processing example of person image synthetic processing. It is a figure explaining a process when a plurality of people are photographed. It is a flowchart explaining the 3rd processing example of person image synthetic processing.
  • Fig. 21 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of a telecommunication system to which the present technology is applied.
  • the remote communication system 11 is configured by connecting communication terminals 13A and 13B at remote locations via a network 12 such as the Internet.
  • the communication terminals 13A and 13B communicate remotely through the network 12, it is possible to mutually transmit and receive images and sounds in real time.
  • the user A who is on the communication terminal 13A side and the user B who is on the communication terminal 13B can talk as if they are facing each other, and more realistic communication can be achieved.
  • Communication terminals 13A and 13B are configured in the same manner, and when it is not necessary to distinguish them, they are simply referred to as communication terminal 13, and the respective parts constituting communication terminals 13A and 13B are also referred to similarly. Further, a user who is on the communication terminal 13 side (for example, the user A for the communication terminal 13A and the user B for the communication terminal 13B) is referred to as a user on the own side. Then, the user who is the communication partner of the user (for example, the user B for the communication terminal 13A and the user A for the communication terminal 13B) is referred to as the user on the other side.
  • the communication terminal 13 includes a sensor unit 21, a presentation unit 22, and a communication processing unit 23.
  • the sensor unit 21 is, for example, an image pickup device for imaging a user who is in front of the presentation unit 22, a depth sensor for acquiring depth information in an imaging range by the image pickup device, and voice input such as a microphone for inputting voice emitted by the user It is configured to have an element. Then, the sensor unit 21 is an image signal obtained by imaging the user on the own side, depth information obtained by detecting the depth of the user being imaged, an audio signal obtained from the voice of the user on the own side, etc. Are supplied to the communication processing unit 23 and transmitted to the communication terminal 13 on the opposite side via the network 12.
  • a depth sensor a TOF (Time Of Flight) sensor using reflection of infrared light can be used, or a stereo camera using a plurality of imaging elements can be used.
  • TOF Time Of Flight
  • the presentation unit 22 is configured to have, for example, a display for displaying an image in which a user on the other party side is photographed, and an audio output element such as a speaker for outputting an audio uttered by the user.
  • an image signal and an audio signal transmitted from the communication terminal 13 on the opposite side via the network 12 are supplied from the communication processing unit 23 to the presentation unit 22.
  • the communication processing unit 23 performs various processes necessary for communication, such as communication processing for communication via the network 12 and image processing for enabling mutual communication between users. Perform the processing of
  • an imaging element constituting the sensor unit 21 is disposed above the display constituting the presentation unit 22, and the sensor unit 21 is a user who is in front of the presentation unit 22. Will be imaged from the top. For this reason, the image which the sensor part 21 of such arrangement
  • the communication processing unit 23 takes a posture in which the user's entire body is facing the front, and the user's face is facing the front with high accuracy.
  • image processing hereinafter, referred to as human image combining processing
  • an image in which the user's face is directed to the front with high accuracy is, for example, when the user on the self side looks at the front, the user on the other side is recognized as if the lines of sight are in line with each other. It is an image photographed so that the face is facing the front to some extent. Therefore, the communication terminal 13 allows the user to perform remote communication with a more comfortable image, and a better user experience can be obtained. In the following, among the communication processing performed by the communication terminal 13, only the processing relating to the image will be described, and the description relating to the processing relating to the sound will be omitted.
  • the communication processing unit 23 includes a local information processing unit 31, an encoding unit 32, a transmitting unit 33, a receiving unit 34, a decoding unit 35, and a remote information processing unit 36.
  • the local information processing unit 31 When the image signal and the depth information are supplied from the sensor unit 21, the local information processing unit 31 performs various types of processing (hereinafter, referred to as local information processing) on the image captured by the user on the own side. For example, the local information processing unit 31 locally performs a person image combining process in which an image is synthesized as if the user's entire body is facing forward and the user's face is taken with high accuracy facing forward. Perform as information processing. Then, the local information processing unit 31 supplies the image signal subjected to the local information processing to the encoding unit 32.
  • local information processing various types of processing
  • the encoding unit 32 is a block corresponding to a communication protocol such as H.320 / H.323, for example, performs encoding on the image signal supplied from the local information processing unit 31, and supplies the encoded signal to the transmitting unit 33. .
  • the transmitting unit 33 transmits the image signal encoded by the encoding unit 32 to the communication terminal 13 on the opposite side via the network 12.
  • the receiving unit 34 receives an image signal transmitted from the communication terminal 13 on the opposite side via the network 12 and supplies the image signal to the decoding unit 35.
  • the decoding unit 35 is a block corresponding to the same communication protocol as the encoding unit 32, and an image signal supplied from the receiving unit 34 (an image signal encoded by the encoding unit 32 of the communication terminal 13 on the opposite side) ) Are supplied to the remote information processing unit 36.
  • the remote information processing unit 36 When the image signal is supplied from the decoding unit 35, the remote information processing unit 36 performs various types of processing (hereinafter referred to as remote information processing) on the image captured by the user on the other party side, and supplies it to the presenting unit 22. To display. For example, when the person image combining process is not performed in the communication processing unit 23 on the opposite side, the remote information processing unit 36 performs the person image combining process as a remote information process.
  • the communication processing unit 23 is configured, and by performing the person image combining process by the local information processing unit 31 or the remote information processing unit 36, the user's face is facing the front and the other party is It is possible to display an image that looks as it looks when viewed from the user. By causing the user to perform remote communication using such an image, the communication terminal 13 can provide a better user experience.
  • FIG. 3 is a flow chart for explaining the remote communication process performed in the communication terminal 13.
  • step S11 the transmitting unit 33 and the receiving unit 34 establish a communication with the communication terminal 13 on the other side. I do. Then, when communication is started between the communication terminals 13 and imaging of the user is performed by the respective sensor units 21 and transmission and reception of images are performed, images in which the users are photographed are displayed on the presentation unit 22 of the other party Be done.
  • step S12 for example, the local information processing unit 31 or the remote information processing unit 36 is an image as if the entire body of the user is facing forward and the face of the user is photographed with high accuracy facing forward. Perform human figure composition processing (see FIG. 5) for combining
  • step S13 the communication processing unit 23 can determine whether or not to continue communication based on whether or not an operation to end the remote communication has been performed on the application activated in step S11. .
  • step S13 If it is determined in step S13 that communication is to be continued, the process returns to step S12, and the same process is repeated thereafter. On the other hand, when it is determined in step S13 that the remote communication is not to be continued, the process proceeds to step S14. In step S14, the transmission unit 33 and the reception unit 34 perform processing for cutting off communication with the communication terminal 13 on the other party side, and the communication is ended.
  • the image looks like looking down from above. That is, the image is an image in which the user is photographed in such a posture that the face is facing downward and the torso becomes narrower as it goes downward.
  • the face area in which the user's face is photographed an area surrounded by a two-dot chain line
  • the trunk area in which the user's torso is photographed (a dashed line Region) is detected, and image processing using each of the face region and the torso region is individually performed.
  • 3D modeling is performed on the face area to generate a front face image as if the user's face was captured from the front. That is, based on the face area, a depth information is used to create a 3D model of the user's face, rotation processing is performed on the 3D model of the face to face the front, and then a texture of the face is attached.
  • Generate high-precision front face images By performing such image processing, for example, when the user on the self side looks at the front, the user's face is viewed from the front to the extent that the user on the other side is made to recognize as if the lines of sight are in line with each other. It is possible to generate a frontal face image with less discomfort as captured.
  • perspective projection conversion is performed on the torso region to perform perspective correction so that the torso image of the user's torso is captured from the front.
  • the parameters follow the angle between the direction in which the user is imaged by the virtual imaging unit virtually arranged in front of the user and the direction in which the sensor unit 21 images the user from the upper side as shown in A of FIG.
  • the perspective correction is performed on the assumption that the user's torso is a plane as shown in FIG.
  • the parameters for performing the perspective correction may be manually adjusted, and the position of the virtual imaging unit can be statically or dynamically adjusted with respect to the position of the subject (distance and left and right). By performing such image processing, it is possible to obtain, for example, a front torso image in which the user's torso is imaged from the front with a small amount of calculation.
  • an image of the user's entire body taken from a higher position is captured.
  • human image composition processing to such an image, it is possible to effectively perform, particularly, perspective correction on the torso region in such a manner that the user's entire body is photographed in a posture facing forward. Can be generated.
  • processing for generating a frontal face image with high accuracy by 3D modeling is performed on the entire face including the contour of the face, as shown in C of FIG. 4.
  • the process may be performed only on the area inside the face contour (face internal area).
  • face internal area As described above, by using only the face inside area, it is possible to reduce the amount of calculation in the process of generating a front face image with high accuracy in 3D modeling as compared with the case of using the entire face. Further, even when a frontal face image is generated using only the face inside area, an image in which the user's face is directed to the front with high accuracy can be generated as in the case of using the entire face.
  • FIG. 5 is a flowchart for explaining a first processing example of the human image combining processing performed in step S12 of FIG.
  • the remote information processing unit 36 operates on an image photographed by the other user The same process is performed when performing the process.
  • step S21 the local information processing unit 31 recognizes the user shown in the image based on the image signal supplied from the sensor unit 21, and detects the face area and body area of the user.
  • step S22 the local information processing unit 31 generates a more accurate front face image by performing 3D modeling using depth information based on the face area detected in step S21.
  • step S23 the local information processing unit 31 performs perspective correction so as to be a front body image by perspective projection conversion based on the body region detected in step S21.
  • the process of step S22 and the process of step S23 can be performed in parallel after the process of step S21.
  • step S24 the local information processing unit 31 performs image processing to combine the front face image generated in step S22 and the front body image generated in step S23, and then the process ends.
  • image processing for combining a front face image and a front torso image by image stitching
  • the amount of calculation can be reduced by using information on the positions of the face region and the torso region.
  • an occlusion area or the like can be filled by performing image inpainting.
  • the local information processing unit 31 is photographed in a posture in which the whole body of the user is facing the front and the face of the user is facing the front with high accuracy. Images can be output with a small amount of calculation. As a result, the communication terminal 13 can provide a better user experience in which the users face each other in front and can communicate with each other in line of sight.
  • the user when performing perspective correction on the assumption that the user's torso is a flat surface, for example, the user may have a posture in which his limbs are released, or may sit or bow.
  • An unnatural front torso image results when the upper or lower limbs are off the torso (including the plane assumption).
  • the upper or lower limb deviates from the plane hypothesis set to include the user's torso
  • the upper or lower limb is assumed to be a bar
  • Image processing that can be combined with the torso can be performed.
  • the user's gesture is recognized and the upper limb or the lower limb is a specific gesture that deviates from the plane assumption of the torso
  • the upper limb, the lower limbs, or the torso may be individually perspective corrected to obtain a more natural front torso. It can be an image.
  • image processing may be performed such that the hand that performs the handshake performs perspective correction separately from the torso.
  • FIG. 7 is a flowchart for explaining a second process example of the human image combining process performed in step S12 of FIG.
  • steps S31 and S32 the same processes as steps S21 and S22 in FIG. 5 are performed, and in step S33, the local information processing unit 31 detects the upper and lower limbs of the user from the torso region detected in step S31. Do.
  • step S34 the local information processing unit 31 recognizes the user's gesture based on the upper and lower limbs detected in step S33. Then, the local information processing unit 31 recognizes that such a specific gesture is performed when a specific gesture is performed such that the upper or lower limbs deviate from the plane assumption of the trunk.
  • step S35 the local information processing unit 31 determines whether the upper limbs or the lower limbs of the user conform to a plane hypothesis set so as to include the user's torso. For example, if the local information processing unit 31 recognizes that a specific gesture is being performed in step S34, the upper limbs or the lower limbs of the user follow the plane hypothesis set to include the user's torso. It is determined that there is not.
  • step S35 If the local information processing unit 31 determines in step S35 that the upper or lower limbs of the user conform to the plane hypothesis set to include the user's torso, the process proceeds to step S36.
  • step S36 the local information processing unit 31 performs perspective correction on the upper and lower limbs together with the torso on the assumption of a plane set to include the torso of the user, as in step S23 of FIG.
  • step S35 the local information processing unit 31 determines in step S35 that the upper or lower limbs of the user do not conform to the plane assumption set so as to include the user's torso
  • the process proceeds to step S37.
  • step S37 the local information processing unit 31 performs perspective correction on the upper and lower limbs and the torso individually. In this case, only the upper limbs or the lower limbs determined not to be in line with the plane assumption may be individually subjected to the perspective correction. For example, as described above, when a handshake gesture is recognized, only the hand for which the handshake is sought may be perspectively corrected individually.
  • step S36 or S37 the process proceeds to step S38, and the local information processing unit 31 performs an image process of combining the front face image and the front torso image as in step S24 of FIG. It is finished.
  • the local information processing unit 31 is subjected to image processing that is unnatural even in the posture in which the user's hand, foot, etc. are brought forward. Can be avoided.
  • the user makes a handshake gesture
  • the hand for which the handshake is requested is perspective-corrected with the plane assumption set to include the user's torso, it becomes unnatural that the hand that appeared before is long Image processing is applied.
  • the image processing can be performed so as to obtain a more natural image by performing the perspective correction individually on the hand.
  • a parameter for performing perspective correction on the key person is used.
  • a plurality of persons may be perspective corrected.
  • a person at the center may be recognized as an important person, or a person in conversation may be recognized as an important person.
  • depth information of an area where each person is photographed can be acquired, and when the depth range is narrow, perspective correction using parameters of the important person can be performed. If the depth range is wide, fallback may be performed without performing the perspective correction.
  • FIG. 9 is a flowchart for explaining a third processing example of the human image combining processing performed in step S12 of FIG.
  • step S ⁇ b> 41 the local information processing unit 31 detects a plurality of persons captured in an image based on the image signal supplied from the sensor unit 21.
  • steps S42 and S43 the same processes as steps S21 and S22 of FIG. 5 are performed, and in step S44, the local information processing unit 31 detects gestures of a plurality of persons detected in step S41, and those persons are detected. Recognize important people from within.
  • step S45 the local information processing unit 31 determines whether or not each person can be separated individually, based on the ratio at which the body regions of a plurality of persons are superimposed. For example, the local information processing unit 31 may separate the two persons individually if the ratio in which the torso regions of the two persons overlap is less than a predetermined ratio (for example, 30%). It can be determined that it is possible.
  • a predetermined ratio for example, 30%
  • step S45 If it is determined in step S45 that each person can be separated individually, the process proceeds to step S46, and the trunk regions of the important person recognized in step S44 and other persons are perspectively corrected individually .
  • step S45 when it is determined in step S45 that each person can not be separated individually, the process proceeds to step S47.
  • step S47 the local information processing unit 31 determines whether or not the depth range from the closest person to the farthest person among the plurality of persons detected in step S41 is wider than the defined range.
  • the specified range serving as the determination reference is a depth range in which a sense of incongruity does not occur even if the body regions of a plurality of persons are perspectively corrected with a single parameter.
  • step S47 If it is determined in step S47 that the depth range is not wider than the specified range, the process proceeds to step S48, and the local information processing unit 31 is a parameter for performing perspective correction on the torso area of the important person. Perform perspective correction on the torso area of.
  • step S47 If it is determined in step S47 that the depth range is wider than the defined range after the process of step S46, or after the process of step S48, the process proceeds to step S49.
  • step S49 the local information processing unit 31 performs image processing for combining the face area and the body area of a plurality of persons, and then the process is ended.
  • the local information processing unit 31 is in a posture in which each whole body of the plurality of persons faces the front, and each face is displayed with high accuracy. It is possible to output an image that has been photographed with a small amount of calculation.
  • the imaging element which comprises the sensor part 21 may be arrange
  • the series of processes (image processing method) described above can be performed by hardware or software.
  • the various functions are executed by installing a computer in which a program constituting the software is incorporated in dedicated hardware or various programs.
  • the program can be installed, for example, on a general-purpose personal computer from a program recording medium on which the program is recorded.
  • FIG. 10 is a block diagram showing an example of a hardware configuration of a computer that executes the series of processes described above according to a program.
  • a central processing unit (CPU) 101 a read only memory (ROM) 102, and a random access memory (RAM) 103 are mutually connected by a bus 104.
  • CPU central processing unit
  • ROM read only memory
  • RAM random access memory
  • the input / output interface 105 is connected to the bus 104.
  • the input / output interface 105 includes an input unit 106 including a keyboard, a mouse and a microphone, an output unit 107 including a display and a speaker, a storage unit 108 including a hard disk and a non-volatile memory, and a communication unit 109 including a network interface.
  • a drive 110 for driving a removable medium 111 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is connected.
  • the CPU 101 loads the program stored in the storage unit 108 into the RAM 103 via the input / output interface 105 and the bus 104 and executes the program. Processing is performed.
  • the program executed by the computer (CPU 101) is, for example, a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc), etc.), a magneto-optical disk, or a semiconductor It is recorded on a removable medium 111 which is a package medium including a memory or the like, or is provided via a wired or wireless transmission medium such as a local area network, the Internet, and digital satellite broadcasting.
  • the program can be installed in the storage unit 108 via the input / output interface 105 by mounting the removable media 111 in the drive 110.
  • the program can be received by the communication unit 109 via a wired or wireless transmission medium and installed in the storage unit 108.
  • the program can be installed in advance in the ROM 102 or the storage unit 108.
  • the present technology can also have the following configurations.
  • a face area where the user's face is taken from an image taken by the imaging device from a direction other than the front of the user facing the front of the display device displaying the image, and a torso area where the user's torso is taken A detection unit for detecting
  • a front face generation unit configured to generate a front face image as if the user's face was captured from the front based on the face area
  • a torso correction unit that corrects the front torso image as if the user's torso was captured from the front based on the torso region
  • An image processing apparatus comprising: a combination unit configured to combine the front face image and the front body image.
  • the front face generation unit generates a 3D model of the user's face from the face area, performs rotation processing on the 3D model so as to face the front, and then pastes the texture of the user's face.
  • the image processing apparatus according to (1) which generates a front face image.
  • the torso correction unit assumes a plane including the torso of the user, and corrects the upper limb or the lower limb separately from the torso region when the upper limb or the lower limb of the user is not along the plane.
  • the image processing apparatus as described in 2.).
  • the torso correction unit individually corrects the torso region of each person when a plurality of persons are captured in an image captured by the imaging device, according to any one of (1) to (4). Image processing device. (6) When a plurality of persons are photographed in the image captured by the imaging device, the torso correction unit uses all of the parameters of the person used for correcting the torso region of a specific person among the persons.
  • the image processing apparatus according to any one of (1) to (4) above, which corrects the torso region of a person.
  • An image processing apparatus for processing the image in remote communication for transmitting and receiving the image;
  • a face area where the user's face is taken from an image taken by the imaging device from a direction other than the front of the user facing the front of the display device displaying the image, and a torso area where the user's torso is taken To detect Based on the face area, a front face image as if the user's face was captured from the front is generated, and based on the torso area, the user's torso is corrected to a front torso image as captured from the front And Combining the frontal face image and the frontal body image.
  • An image processing apparatus for processing the image in remote communication for transmitting and receiving the image;
  • a face area where the user's face is taken from an image taken by the imaging device from a direction other than the front of the user facing the front of the display device displaying the image, and a torso area where the user's torso is taken To detect Based on the face area, a front face image as if the user's face was captured from the front is generated, and based on the torso area, the user's torso is corrected to a front torso image as captured from the front
  • a program that causes a computer to execute image processing including combining the frontal face image and the frontal body image.
  • a communication device and at least a communication device for transmitting and receiving an image
  • a display device for displaying an image sent from the other party
  • An imaging device for imaging a user facing the front of the display device from a direction other than the front
  • a detection unit that detects, from an image obtained by capturing the user by the imaging device, a face area in which the user's face is captured, and a torso area in which the user's torso is captured
  • a front face generation unit configured to generate a front face image as if the user's face was captured from the front based on the face area
  • a torso correction unit that corrects the front torso image as if the user's torso was captured from the front based on the torso region
  • a telecommunications system comprising: a combining unit for combining the frontal face image and the frontal body image.

Abstract

本開示は、より少ない計算量で良好なユーザ体験を提供することができるようにする画像処理装置、画像処理方法、プログラム、および遠隔コミュニケーションシステムに関する。 表示装置の正面に向かうユーザを、その正面以外の方向から撮像装置により撮像した画像から、ユーザの顔が写された顔領域、および、ユーザの胴体が写された胴体領域が検出される。そして、顔領域に基づいて、ユーザの顔を正面から撮像したような正面顔画像が生成され、胴体領域に基づいて、ユーザの胴体を正面から撮像したような正面胴体画像に補正されて、正面顔画像および正面胴体画像が結合される。本技術は、例えば、遠隔コミュニケーションシステムに適用できる。

Description

画像処理装置、画像処理方法、プログラム、および遠隔コミュニケーションシステム
　本開示は、画像処理装置、画像処理方法、プログラム、および遠隔コミュニケーションシステムに関し、特に、より少ない計算量で良好なユーザ体験を提供することができるようにした画像処理装置、画像処理方法、プログラム、および遠隔コミュニケーションシステムに関する。
　従来、遠隔地に居るユーザどうしが、お互いに顔を合わせているかのようにコミュニケーションを図ることができる遠隔コミュニケーションシステムの開発が進められている。このような遠隔コミュニケーションシステムでは、それぞれのユーザが正面を向いているような画像を表示することで、例えば、ユーザどうしの視線を一致させることや、ユーザが互いに正面から見たような姿勢とすることなどができる。これにより、遠隔コミュニケーションを行うユーザに、良好なユーザ体験を提供することができる。
　例えば、特許文献１には、会話者が表示面に正対していない場合でも、パース補正によって、会話者どうしの視線が一致しているかのように見える画像を表示することができるコミュニケーションシステムが開示されている。また、特許文献２には、３次元モデルデータを生成し、３次元モデルの表面にテクスチャを貼り付けることによって、正面を向いたように見える画像を表示することができるコミュニケーションシステムが開示されている。
特開２０１１－９７４４７号公報 特開２０１４－８６７７３号公報
　ところで、上述の特許文献１で開示されている技術では、全身像に対応していないとともに、大画面に適用した場合には、互いのユーザの視線を一致させることは困難であった。また、上述の特許文献２で開示されている技術では、計算量が膨大となるのに加えて、高精度なデプス情報が必要となるため、より高性能な装置が必要となっていた。
　本開示は、このような状況に鑑みてなされたものであり、より少ない計算量で良好なユーザ体験を提供することができるようにするものである。
　本開示の一側面の画像処理装置は、画像を表示する表示装置の正面に向かうユーザを、その正面以外の方向から撮像装置により撮像した画像から、前記ユーザの顔が写された顔領域、および、前記ユーザの胴体が写された胴体領域を検出する検出部と、前記顔領域に基づいて、前記ユーザの顔を正面から撮像したような正面顔画像を生成する正面顔生成部と、前記胴体領域に基づいて、前記ユーザの胴体を正面から撮像したような正面胴体画像に補正する胴体補正部と、前記正面顔画像および前記正面胴体画像を結合する結合部とを備える。
　本開示の一側面の画像処理方法またはプログラムは、画像を表示する表示装置の正面に向かうユーザを、その正面以外の方向から撮像装置により撮像した画像から、前記ユーザの顔が写された顔領域、および、前記ユーザの胴体が写された胴体領域を検出することと、前記顔領域に基づいて、前記ユーザの顔を正面から撮像したような正面顔画像を生成することと、前記胴体領域に基づいて、前記ユーザの胴体を正面から撮像したような正面胴体画像に補正することと、前記正面顔画像および前記正面胴体画像を結合することとを含む。
　本開示の一側面の遠隔コミュニケーションシステムは、コミュニケーションの相手と、少なくとも画像の送受信を行う通信装置と、相手側から送信されてきた画像を表示する表示装置と、前記表示装置の正面に向かうユーザを、その正面以外の方向から撮像する撮像装置と、前記撮像装置により前記ユーザを撮像した画像から、前記ユーザの顔が写された顔領域、および、前記ユーザの胴体が写された胴体領域を検出する検出部と、前記顔領域に基づいて、前記ユーザの顔を正面から撮像したような正面顔画像を生成する正面顔生成部と、前記胴体領域に基づいて、前記ユーザの胴体を正面から撮像したような正面胴体画像に補正する胴体補正部と、前記正面顔画像および前記正面胴体画像を結合する結合部とを備える。
　本開示の一側面においては、画像を表示する表示装置の正面に向かうユーザを、その正面以外の方向から撮像装置により撮像した画像から、ユーザの顔が写された顔領域、および、ユーザの胴体が写された胴体領域が検出され、顔領域に基づいて、ユーザの顔を正面から撮像したような正面顔画像が生成され、胴体領域に基づいて、ユーザの胴体を正面から撮像したような正面胴体画像に補正され、正面顔画像および正面胴体画像が結合される。
　本開示の一側面によれば、より少ない計算量で良好なユーザ体験を提供することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した遠隔コミュニケーションシステムの一実施の形態の構成例を示すブロック図である。 コミュニケーション処理部の構成を示すブロック図である。 遠隔コミュニケーション処理を説明するフローチャートである。 正面顔画像および正面胴体画像を個別に画像処理する例について説明する図である。 人物像合成処理の第１の処理例を説明するフローチャートである。 上肢または下肢を個別にパース補正する処理について説明する図である。 人物像合成処理の第２の処理例を説明するフローチャートである。 複数の人物が写されているときの処理について説明する図である。 人物像合成処理の第３の処理例を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　＜遠隔コミュニケーションシステムの構成例＞
　図１は、本技術を適用した遠隔コミュニケーションシステムの一実施の形態の構成例を示すブロック図である。
　図１に示すように、遠隔コミュニケーションシステム１１は、インターネットなどのネットワーク１２を介して、遠隔地にあるコミュニケーション端末１３Ａおよび１３Ｂが接続されて構成される。
　例えば、遠隔コミュニケーションシステム１１では、コミュニケーション端末１３Ａおよび１３Ｂがネットワーク１２を通して遠隔通信することで、画像および音声をリアルタイムに相互に送受信することができる。これにより、コミュニケーション端末１３Ａ側に居るユーザＡと、コミュニケーション端末１３Ｂ側に居るユーザＢとは、互いに対面しているかのように会話をすることができ、よりリアルなコミュニケーションを図ることができる。
　なお、コミュニケーション端末１３Ａおよび１３Ｂは、同様に構成されており、それらを区別する必要がない場合、単にコミュニケーション端末１３と称し、コミュニケーション端末１３Ａおよび１３Ｂを構成する各部についても同様に称する。また、コミュニケーション端末１３側に居るユーザ（例えば、コミュニケーション端末１３Ａに対するユーザＡ、コミュニケーション端末１３Ｂに対するユーザＢ）を、自身側のユーザと称する。そして、そのユーザのコミュニケーションの相手となるユーザ（例えば、コミュニケーション端末１３Ａに対するユーザＢ、コミュニケーション端末１３Ｂに対するユーザＡ）を、相手側のユーザと称する。
　コミュニケーション端末１３は、センサ部２１、提示部２２、およびコミュニケーション処理部２３を備えて構成される。
　センサ部２１は、例えば、提示部２２の前方に居るユーザを撮像する撮像素子、撮像素子による撮像範囲におけるデプス情報を取得するデプスセンサ、および、そのユーザが発した音声を入力するマイクロフォンなどの音声入力素子を有して構成される。そして、センサ部２１は、自身側のユーザを撮像して得られる画像信号や、その撮像されているユーザのデプスを検出して得られるデプス情報、自身側のユーザの音声から得られる音声信号などをコミュニケーション処理部２３に供給し、ネットワーク１２を介して、相手側のコミュニケーション端末１３に送信させる。ここで、デプスセンサとしては、赤外光の反射を利用したＴＯＦ（Time Of Flight）センサを利用したり、複数の撮像素子を利用したステレオカメラを利用したりすることができる。
　提示部２２は、例えば、相手側のユーザが写されている画像を表示するディスプレイ、および、そのユーザが発話した音声を出力するスピーカなどの音声出力素子を有して構成される。例えば、提示部２２には、相手側のコミュニケーション端末１３からネットワーク１２を介して送信されてくる画像信号や音声信号などが、コミュニケーション処理部２３から供給される。
　コミュニケーション処理部２３は、ネットワーク１２を介して通信を行うための通信処理や、互いのユーザどうしが良好なコミュニケーションを図ることができるようにするための画像処理など、コミュニケーションを行うのに必要な各種の処理を行う。
　例えば、コミュニケーション端末１３では、図示するように、提示部２２を構成するディスプレイの上側に、センサ部２１を構成する撮像素子が配置されており、センサ部２１は、提示部２２の前方に居るユーザを上側から撮像することになる。このため、このような配置のセンサ部２１がユーザを撮像した画像は、そのユーザが正面を向いていないように写されることになる。即ち、上側からユーザを見下ろしたように撮像されるため、例えば、ユーザどうしの視線を一致させることができず、互いのユーザを正面から見たような姿勢とは異なって写したような違和感のある画像で遠隔コミュニケーションが行われてしまう。
　そこで、コミュニケーション処理部２３は、センサ部２１から供給される画像信号およびデプス情報を用いて、ユーザの全身が正面を向いている姿勢で、かつ、ユーザの顔が高精度に正面を向いて写されたように画像を合成する画像処理（以下、人物像合成処理と称する）を施すことができる。ここで、ユーザの顔が高精度に正面を向いている画像とは、例えば、自身側のユーザが正面を見たときに、互いの視線が合っているかのように相手側のユーザに認識させる程度に顔が正面を向いているように写されている画像である。従って、コミュニケーション端末１３により、ユーザは、より違和感のない画像で遠隔コミュニケーションを行うことができ、より良好なユーザ体験を得ることができる。なお、以下では、コミュニケーション端末１３で行われるコミュニケーション処理のうち、画像に関する処理についてのみ説明を行い、音声に関する処理についての説明は省略する。
　図２を参照して、コミュニケーション処理部２３の構成について説明する。
　図２に示すように、コミュニケーション処理部２３は、ローカル情報処理部３１、符号化部３２、送信部３３、受信部３４、復号部３５、およびリモート情報処理部３６を備えて構成される。
　ローカル情報処理部３１は、センサ部２１から画像信号およびデプス情報が供給されると、自身側のユーザが写された画像に対する各種の処理（以下、ローカル情報処理と称する）を行う。例えば、ローカル情報処理部３１は、ユーザの全身が正面を向いている姿勢で、かつ、ユーザの顔が高精度に正面を向いて写されたように画像を合成する人物像合成処理を、ローカル情報処理として行う。そして、ローカル情報処理部３１は、ローカル情報処理を施した画像信号を、符号化部３２に供給する。
　符号化部３２は、例えば、H.320/H.323などの通信プロトコルに対応するブロックであり、ローカル情報処理部３１から供給される画像信号に対する符号化を行って、送信部３３に供給する。
　送信部３３は、符号化部３２により符号化された画像信号を、ネットワーク１２を介して相手側のコミュニケーション端末１３に送信する。
　受信部３４は、ネットワーク１２を介して相手側のコミュニケーション端末１３から送信されてくる画像信号を受信して、復号部３５に供給する。
　復号部３５は、符号化部３２と同様の通信プロトコルに対応するブロックであり、受信部３４から供給される画像信号（相手側のコミュニケーション端末１３の符号化部３２で符号化されている画像信号）を復号して、リモート情報処理部３６に供給する。
　リモート情報処理部３６は、復号部３５から画像信号が供給されると、相手側のユーザが写された画像に対する各種の処理（以下、リモート情報処理と称する）を行って、提示部２２に供給して表示させる。例えば、リモート情報処理部３６は、相手側のコミュニケーション処理部２３において人物像合成処理が行われていない場合には、その人物像合成処理を、リモート情報処理として行う。
　以上のようにコミュニケーション処理部２３は構成されており、ローカル情報処理部３１またはリモート情報処理部３６により人物像合成処理を行うことで、ユーザの顔が正面を向いていて、かつ、相手側のユーザから見たときに見た目通りの姿勢となるような画像を表示することができる。このような画像を利用してユーザに遠隔コミュニケーションを行わせることで、コミュニケーション端末１３は、より良好なユーザ体験を提供することができる。
　図３は、コミュニケーション端末１３において行われる遠隔コミュニケーション処理について説明するフローチャートである。
　例えば、コミュニケーション端末１３の電源が投入され、遠隔コミュニケーションを行うアプリケーションが起動すると処理が開始され、ステップＳ１１において、送信部３３および受信部３４は、相手側のコミュニケーション端末１３との通信を確立する処理を行う。そして、コミュニケーション端末１３どうしで通信が開始され、それぞれのセンサ部２１によりユーザの撮像が行われて画像の送受信が行われると、互いのユーザが写された画像が相手側の提示部２２に表示される。
　ステップＳ１２において、例えば、ローカル情報処理部３１またはリモート情報処理部３６は、ユーザの全身が正面を向いている姿勢で、かつ、ユーザの顔が高精度に正面を向いて写されたように画像を合成する人物像合成処理（図５参照）を行う。
　ステップＳ１３において、コミュニケーション処理部２３は、例えば、ステップＳ１１で起動したアプリケーションに対して遠隔コミュニケーションを終了する操作が行われたか否かに基づいて、コミュニケーションを継続するか否かを判定することができる。
　ステップＳ１３において、コミュニケーションを継続すると判定された場合、処理はステップＳ１２に戻り、以下、同様の処理が繰り返して行われる。一方、ステップＳ１３において、遠隔コミュニケーションを継続しないと判定された場合、処理はステップＳ１４に進む。ステップＳ１４において、送信部３３および受信部３４は、相手側のコミュニケーション端末１３との通信を切断する処理を行い、通信を終了する。
　＜人物像合成処理の第１の処理例＞
　図４および図５を参照して、人物像合成処理の第１の処理例について説明する。
　例えば、図４のＡに示すように、提示部２２を構成するディスプレイの上側に配置されたセンサ部２１を構成する撮像素子によりユーザを撮像すると、図４のＢの左側に示すように、ユーザを上から見下ろしたような画像が撮像される。即ち、顔が下方を向いていて、胴体が下側に向かうに従って狭まるような姿勢となるようにユーザが写された画像となる。
　このような画像に対し、人物像合成処理では、ユーザの顔が写された顔領域（二点鎖線で囲われた領域）と、ユーザの胴体が写された胴体領域（一点鎖線で囲われた領域）とが検出され、顔領域および胴体領域それぞれを用いた画像処理が個別に行われる。
　例えば、人間は、顔の向きを認識する感度が高いため、顔領域に対しては、３Ｄモデリングを行うことで、ユーザの顔を正面から撮像したような正面顔画像を生成する。即ち、顔領域に基づいて、デプス情報を用いてユーザの顔の３Ｄモデルを作成し、正面を向くように顔の３Ｄモデルに対する回転処理を行った後、顔のテクスチャを貼り付けることにより、より高精度な正面顔画像を生成する。このような画像処理を行うことで、例えば、自身側のユーザが正面を見たときに、互いの視線が合っているかのように相手側のユーザに認識させる程度に、ユーザの顔を正面から撮像したような、より違和感の少ない正面顔画像を生成することができる。
　一方、人間は、胴体の向きを認識する感度は低いため、胴体領域に対しては、透視投影変換を行うことで、ユーザの胴体を正面から撮像したような正面胴体画像となるようにパース補正を施す。例えば、ユーザの正面に仮想的に配置された仮想撮像部によりユーザを撮像する方向と、図４のＡに示すように上側からセンサ部２１によりユーザを撮像する方向との角度に従ったパラメータで、ユーザの胴体を、図４のＡに示すような平面と仮定してパース補正を行う。なお、パース補正を行うためのパラメータは手動調整してもよく、仮想撮像部の位置は、被写体の位置（距離および左右）に対して静的または動的に調整することができる。このような画像処理を行うことで、例えば、ユーザの胴体を正面から撮像したような正面胴体画像を、少ない計算量で求めることができる。
　そして、それぞれ画像処理を個別に行って得られる正面顔画像および正面胴体画像を結合することで、図４のＢの右側に示すように、ユーザの全身が正面を向いている姿勢で、かつ、ユーザの顔が高精度に正面を向いて写されたような画像を生成することができる。
　例えば、提示部２２として縦型の大型ディスプレイを使用する構成では、より高い位置からユーザの全身を写した画像が撮像されることになる。このような画像に対し、人物像合成処理を施すことによって、効果的に、特に、胴体領域に対するパース補正が効果的に、ユーザの全身が正面を向いている姿勢で写されたような画像を生成することができる。
　また、３Ｄモデリングで高精度に正面顔画像を生成する処理について、図４のＢに示すように、顔の輪郭も含めた顔全体に対して処理を行う他、図４のＣに示すように、顔の輪郭の内側の領域（顔内部領域）に対してのみ処理を行うようにしてもよい。このように、顔内部領域のみ用いることで、３Ｄモデリングで高精度に正面顔画像を生成する処理における計算量を、顔全体を用いる場合よりも削減することができる。また、顔内部領域のみ用いて正面顔画像を生成した場合でも、顔全体を用いる場合と同様に、ユーザの顔が高精度に正面を向いている画像を生成することができる。
　図５は、図３のステップＳ１２において行われる人物像合成処理の第１の処理例を説明するフローチャートである。なお、以下では、ローカル情報処理部３１が自身側のユーザが写された画像に対して処理を行う場合について説明するが、リモート情報処理部３６が相手側のユーザが写された画像に対して処理を行う場合も同様の処理が行われる。
　ステップＳ２１において、ローカル情報処理部３１は、センサ部２１から供給される画像信号に基づく画像に写されているユーザを認識し、そのユーザの顔領域および胴体領域を検出する。
　ステップＳ２２において、ローカル情報処理部３１は、ステップＳ２１で検出した顔領域に基づいて、デプス情報を用いた３Ｄモデリングを行うことにより、より高精度な正面顔画像を生成する。
　ステップＳ２３において、ローカル情報処理部３１は、ステップＳ２１で検出した胴体領域に基づいて、透視投影変換により、正面胴体画像となるようにパース補正を施す。なお、ステップＳ２２の処理およびステップＳ２３の処理は、ステップＳ２１の処理後、並列的に行うことができる。
　ステップＳ２４において、ローカル情報処理部３１は、ステップＳ２２で生成された正面顔画像、および、ステップＳ２３で生成された正面胴体画像を結合する画像処理を行った後、処理は終了される。例えば、正面顔画像および正面胴体画像を結合する画像処理を、画像連結（image stitching）で行う際に、顔領域および胴体領域の位置の情報を利用することで、計算量を削減することができる。また、この画像処理を行う際に、画像修復（image inpainting）することで、例えば、オクルージョン領域などを穴埋めすることができる。
　以上のような人物像合成処理を行うことにより、ローカル情報処理部３１は、ユーザの全身が正面を向いている姿勢で、かつ、ユーザの顔が高精度に正面を向いて写されたような画像を、少ない計算量で出力することができる。これにより、コミュニケーション端末１３は、ユーザどうしが、正面を向かい合っていて、互いの視線を合わせてコミュニケーションを図ることができるような、より良好なユーザ体験を提供することができる。
　＜人物像合成処理の第２の処理例＞
　図６および図７を参照して、人物像合成処理の第２の処理例について説明する。
　例えば、図４を参照して上述したように、ユーザの胴体を平面と仮定してパース補正を行う場合、例えば、ユーザが手足を出すような姿勢であったり、座ったり屈んだりするように、上肢または下肢が胴体（を含む平面仮定）から外れていると、不自然な正面胴体画像となる。
　即ち、図６のＡに示すように、ユーザが、片手を前に出して、握手をするようなジェスチャを行う場合、その片手が、胴体の平面仮定から外れることになる。また、図６のＢに示すように、ユーザが椅子などに座っている場合、ユーザの足が、胴体の平面仮定から外れることになる。
　このように、ユーザの上肢または下肢が、ユーザの胴体を含むように設定される平面仮定から外れた場合には、その上肢または下肢を棒と仮定して、胴体とは別にパース補正した後、胴体と結合するような画像処理を施すことができる。例えば、ユーザのジェスチャを認識して、上肢または下肢が胴体の平面仮定から外れるような特定のジェスチャである場合には、上肢、下肢、胴体を個別にパース補正することで、より自然な正面胴体画像とすることができる。具体的には、握手をするジェスチャが認識された場合には、握手を行う手を、胴体とは別にパース補正するような画像処理を施すことができる。
　図７は、図３のステップＳ１２において行われる人物像合成処理の第２の処理例を説明するフローチャートである。
　ステップＳ３１およびＳ３２において、図５のステップＳ２１およびＳ２２と同様の処理が行われ、ステップＳ３３において、ローカル情報処理部３１は、ステップＳ３１で検出した胴体領域の中から、ユーザの上肢および下肢を検出する。
　ステップＳ３４において、ローカル情報処理部３１は、ステップＳ３３で検出した上肢および下肢に基づいて、ユーザのジェスチャを認識する。そして、ローカル情報処理部３１は、上肢または下肢が胴体の平面仮定から外れるような特定のジェスチャが行われている場合には、そのような特定のジェスチャが行われていることを認識する。
　ステップＳ３５において、ローカル情報処理部３１は、ユーザの上肢または下肢が、ユーザの胴体を含むように設定される平面仮定に沿っているか否かを判定する。例えば、ローカル情報処理部３１は、ステップＳ３４で特定のジェスチャが行われていることを認識した場合には、ユーザの上肢または下肢が、ユーザの胴体を含むように設定される平面仮定に沿っていないと判定する。
　ステップＳ３５において、ローカル情報処理部３１が、ユーザの上肢または下肢が、ユーザの胴体を含むように設定される平面仮定に沿っていると判定した場合、処理はステップＳ３６に進む。ステップＳ３６において、ローカル情報処理部３１は、図５のステップＳ２３と同様に、ユーザの胴体を含むように設定される平面仮定で、胴体とともに上肢および下肢をパース補正する。
　一方、ステップＳ３５において、ローカル情報処理部３１が、ユーザの上肢または下肢が、ユーザの胴体を含むように設定される平面仮定に沿っていないと判定した場合、処理はステップＳ３７に進む。ステップＳ３７において、ローカル情報処理部３１は、上肢、下肢、および胴体を個別にパース補正する。なお、この場合、平面仮定に沿っていないと判定された上肢または下肢だけを、個別にパース補正してもよい。例えば、上述したように、握手をするジェスチャが認識された場合には、その握手を求めた手だけを個別にパース補正してもよい。
　ステップＳ３６またはＳ３７の処理後、処理はステップＳ３８に進み、ローカル情報処理部３１は、図５のステップＳ２４と同様に、正面顔画像および正面胴体画像を結合する画像処理を行った後、処理は終了される。
　以上のような人物像合成処理を行うことにより、ローカル情報処理部３１は、ユーザの手や足などが前方に出されるような姿勢であっても、不自然となるような画像処理が施されることを回避することができる。例えば、ユーザが握手をするジェスチャを行う場合、その握手を求める手を、ユーザの胴体を含むように設定される平面仮定でパース補正すると、前に出した手が長く見えるような不自然となる画像処理が施されてしまう。これに対し、そのジェスチャを認識したときには、手を個別にパース補正することで、より自然な画像となるように画像処理を施すことができる。
　＜人物像合成処理の第３の処理例＞
　図８および図９を参照して、人物像合成処理の第３の処理例について説明する。
　例えば、図８の上側に示すように、複数（図８の例では二人）の人物が撮像された画像において、それぞれの人物を個別に分離することができる場合、人物ごとにパース補正を行うことができる。これにより、図８の下側に示すように、それぞれの人物について、全身が正面を向いている姿勢で、かつ、顔が高精度に正面を向いて写されたように画像を合成する画像処理を行うことができる。
　また、例えば、複数の人物の中から、ジェスチャを検出することによって重要人物を認識し、それぞれの人物を個別に分離することができない場合には、その重要人物に対するパース補正を行うパラメータを使用して、複数の人物をパース補正してもよい。また、例えば、複数の人物のうち、中心にいる人物を重要人物として認識したり、会話中の人物を重要人物として認識したりしてもよい。
　このとき、それぞれの人物が写されている領域のデプス情報を取得して、デプス範囲が狭いとき、重要人物のパラメータを使用したパース補正を行うようにすることができる。なお、デプス範囲が広い場合には、パース補正を行わずにフォールバックしてもよい。
　図９は、図３のステップＳ１２において行われる人物像合成処理の第３の処理例を説明するフローチャートである。
　ステップＳ４１において、ローカル情報処理部３１は、センサ部２１から供給される画像信号に基づく画像に写されている複数の人物を検出する。
　ステップＳ４２およびＳ４３において、図５のステップＳ２１およびＳ２２と同様の処理が行われ、ステップＳ４４において、ローカル情報処理部３１は、ステップＳ４１で検出した複数の人物のジェスチャを検出して、それらの人物の中から重要人物を認識する。
　ステップＳ４５において、ローカル情報処理部３１は、複数の人物の胴体領域が重畳している割合に基づいて、それぞれの人物を個別に分離することができるか否かを判定する。例えば、ローカル情報処理部３１は、二人の人物の胴体領域が重畳している割合が、所定の割合（例えば、３割）未満であれば、その二人の人物を個別に分離することができると判定することができる。
　ステップＳ４５において、それぞれの人物を個別に分離することができると判定された場合、処理はステップＳ４６に進み、ステップＳ４４で認識した重要人物と、その他の人物との胴体領域を個別にパース補正する。
　一方、ステップＳ４５において、それぞれの人物を個別に分離することができないと判定された場合、処理はステップＳ４７に進む。
　ステップＳ４７において、ローカル情報処理部３１は、ステップＳ４１で検出した複数の人物のうちの、最も近い人物から最も遠い人物までのデプス範囲が、規定範囲よりも広いか否かを判定する。ここで、判定の基準となる規定範囲は、複数の人物の胴体領域を単一のパラメータでパース補正しても、違和感が発生しないようなデプス範囲とされる。
　ステップＳ４７において、デプス範囲が規定範囲よりも広くないと判定された場合、処理はステップＳ４８に進み、ローカル情報処理部３１は、重要人物の胴体領域をパース補正するためのパラメータで、複数の人物の胴体領域をパース補正する。
　ステップＳ４６の処理後、ステップＳ４７でデプス範囲が規定範囲よりも広いと判定された場合、または、ステップＳ４８の処理後、処理はステップＳ４９に進む。
　ステップＳ４９において、ローカル情報処理部３１は、複数の人物の顔領域および胴体領域を、それぞれ結合する画像処理を行った後、処理は終了される。
　以上のような人物像合成処理を行うことにより、ローカル情報処理部３１は、複数の人物に対して、それぞれの全身が正面を向いている姿勢で、かつ、それぞれの顔が高精度に正面を向いて写されたような画像を、少ない計算量で出力することができる。
　なお、センサ部２１を構成する撮像素子は、提示部２２を構成するディスプレイの上側に配置されるのに限らず、ディスプレイの右側または左側などの側方に配置されていてもよく、ディスプレイの正面に向かうユーザを正面以外の方向から撮像するように配置されていればよい。
　＜コンピュータの構成例＞
　なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、単一のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
　また、上述した一連の処理（画像処理方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
　図１０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
　バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロフォンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
　以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
　そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
　＜構成の組み合わせ例＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　画像を表示する表示装置の正面に向かうユーザを、その正面以外の方向から撮像装置により撮像した画像から、前記ユーザの顔が写された顔領域、および、前記ユーザの胴体が写された胴体領域を検出する検出部と、
　前記顔領域に基づいて、前記ユーザの顔を正面から撮像したような正面顔画像を生成する正面顔生成部と、
　前記胴体領域に基づいて、前記ユーザの胴体を正面から撮像したような正面胴体画像に補正する胴体補正部と、
　前記正面顔画像および前記正面胴体画像を結合する結合部と
　を備える画像処理装置。
（２）
　前記正面顔生成部は、前記顔領域から前記ユーザの顔の３Ｄモデルを作成し、正面を向くように前記３Ｄモデルに対する回転処理を行った後、前記ユーザの顔のテクスチャを貼り付けることで前記正面顔画像を生成する
　上記（１）に記載の画像処理装置。
（３）
　前記胴体補正部は、前記胴体領域に対して透視投影変換を行うことで前記正面胴体画像を求める
　上記（１）または（２）に記載の画像処理装置。
（４）
　前記胴体補正部は、前記ユーザの胴体を含む平面を仮定し、その平面に前記ユーザの上肢または下肢が沿っていない場合、前記胴体領域とは個別に前記上肢または前記下肢を補正する
　上記（３）に記載の画像処理装置。
（５）
　前記胴体補正部は、前記撮像装置により撮像した画像に複数の人物が写されている場合、それぞれの人物の前記胴体領域を個別に補正する
　上記（１）から（４）までのいずれかに記載の画像処理装置。
（６）
　前記胴体補正部は、前記撮像装置により撮像した画像に複数の人物が写されている場合、それらの人物のうちの、特定の人物の前記胴体領域の補正に用いるパラメータを使用して、全ての人物の前記胴体領域を補正する
　上記（１）から（４）までのいずれかに記載の画像処理装置。
（７）
　画像を送受信する遠隔コミュニケーションにおける前記画像を処理する画像処理装置が、
　画像を表示する表示装置の正面に向かうユーザを、その正面以外の方向から撮像装置により撮像した画像から、前記ユーザの顔が写された顔領域、および、前記ユーザの胴体が写された胴体領域を検出することと、
　前記顔領域に基づいて、前記ユーザの顔を正面から撮像したような正面顔画像を生成することとし
　前記胴体領域に基づいて、前記ユーザの胴体を正面から撮像したような正面胴体画像に補正することと、
　前記正面顔画像および前記正面胴体画像を結合することと
　を含む画像処理方法。
（８）
　画像を送受信する遠隔コミュニケーションにおける前記画像を処理する画像処理装置が、
　画像を表示する表示装置の正面に向かうユーザを、その正面以外の方向から撮像装置により撮像した画像から、前記ユーザの顔が写された顔領域、および、前記ユーザの胴体が写された胴体領域を検出することと、
　前記顔領域に基づいて、前記ユーザの顔を正面から撮像したような正面顔画像を生成することとし
　前記胴体領域に基づいて、前記ユーザの胴体を正面から撮像したような正面胴体画像に補正することと、
　前記正面顔画像および前記正面胴体画像を結合することと
　を含む画像処理をコンピュータに実行させるプログラム。
（９）
　コミュニケーションの相手と、少なくとも画像の送受信を行う通信装置と、
　相手側から送信されてきた画像を表示する表示装置と、
　前記表示装置の正面に向かうユーザを、その正面以外の方向から撮像する撮像装置と、
　前記撮像装置により前記ユーザを撮像した画像から、前記ユーザの顔が写された顔領域、および、前記ユーザの胴体が写された胴体領域を検出する検出部と、
　前記顔領域に基づいて、前記ユーザの顔を正面から撮像したような正面顔画像を生成する正面顔生成部と、
　前記胴体領域に基づいて、前記ユーザの胴体を正面から撮像したような正面胴体画像に補正する胴体補正部と、
　前記正面顔画像および前記正面胴体画像を結合する結合部と
　を備える遠隔コミュニケーションシステム。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１１　遠隔コミュニケーションシステム，　１２　ネットワーク，　１３　コミュニケーション端末，　２１　センサ部，　２２　提示部，　２３　コミュニケーション処理部，　３１　ローカル情報処理部，　３２　符号化部，　３３　送信部，　３４　受信部，　３５　復号部，　３６　リモート情報処理部

Claims (9)

  1. 　画像を表示する表示装置の正面に向かうユーザを、その正面以外の方向から撮像装置により撮像した画像から、前記ユーザの顔が写された顔領域、および、前記ユーザの胴体が写された胴体領域を検出する検出部と、
    　前記顔領域に基づいて、前記ユーザの顔を正面から撮像したような正面顔画像を生成する正面顔生成部と、
    　前記胴体領域に基づいて、前記ユーザの胴体を正面から撮像したような正面胴体画像に補正する胴体補正部と、
    　前記正面顔画像および前記正面胴体画像を結合する結合部と
    　を備える画像処理装置。
  2. 　前記正面顔生成部は、前記顔領域から前記ユーザの顔の３Ｄモデルを作成し、正面を向くように前記３Ｄモデルに対する回転処理を行った後、前記ユーザの顔のテクスチャを貼り付けることで前記正面顔画像を生成する
    　請求項１に記載の画像処理装置。
  3. 　前記胴体補正部は、前記胴体領域に対して透視投影変換を行うことで前記正面胴体画像を求める
    　請求項１に記載の画像処理装置。
  4. 　前記胴体補正部は、前記ユーザの胴体を含む平面を仮定し、その平面に前記ユーザの上肢または下肢が沿っていない場合、前記胴体領域とは個別に前記上肢または前記下肢を補正する
    　請求項３に記載の画像処理装置。
  5. 　前記胴体補正部は、前記撮像装置により撮像した画像に複数の人物が写されている場合、それぞれの人物の前記胴体領域を個別に補正する
    　請求項１に記載の画像処理装置。
  6. 　前記胴体補正部は、前記撮像装置により撮像した画像に複数の人物が写されている場合、それらの人物のうちの、特定の人物の前記胴体領域の補正に用いるパラメータを使用して、全ての人物の前記胴体領域を補正する
    　請求項１に記載の画像処理装置。
  7. 　画像を送受信する遠隔コミュニケーションにおける前記画像を処理する画像処理装置が、
    　画像を表示する表示装置の正面に向かうユーザを、その正面以外の方向から撮像装置により撮像した画像から、前記ユーザの顔が写された顔領域、および、前記ユーザの胴体が写された胴体領域を検出することと、
    　前記顔領域に基づいて、前記ユーザの顔を正面から撮像したような正面顔画像を生成することとし
    　前記胴体領域に基づいて、前記ユーザの胴体を正面から撮像したような正面胴体画像に補正することと、
    　前記正面顔画像および前記正面胴体画像を結合することと
    　を含む画像処理方法。
  8. 　画像を送受信する遠隔コミュニケーションにおける前記画像を処理する画像処理装置のコンピュータに、
    　画像を表示する表示装置の正面に向かうユーザを、その正面以外の方向から撮像装置により撮像した画像から、前記ユーザの顔が写された顔領域、および、前記ユーザの胴体が写された胴体領域を検出することと、
    　前記顔領域に基づいて、前記ユーザの顔を正面から撮像したような正面顔画像を生成することと、
    　前記胴体領域に基づいて、前記ユーザの胴体を正面から撮像したような正面胴体画像に補正することと、
    　前記正面顔画像および前記正面胴体画像を結合することと
    　を含む画像処理をコンピュータに実行させるプログラム。
  9. 　コミュニケーションの相手と、少なくとも画像の送受信を行う通信装置と、
    　相手側から送信されてきた画像を表示する表示装置と、
    　前記表示装置の正面に向かうユーザを、その正面以外の方向から撮像する撮像装置と、
    　前記撮像装置により前記ユーザを撮像した画像から、前記ユーザの顔が写された顔領域、および、前記ユーザの胴体が写された胴体領域を検出する検出部と、
    　前記顔領域に基づいて、前記ユーザの顔を正面から撮像したような正面顔画像を生成する正面顔生成部と、
    　前記胴体領域に基づいて、前記ユーザの胴体を正面から撮像したような正面胴体画像に補正する胴体補正部と、
    　前記正面顔画像および前記正面胴体画像を結合する結合部と
    　を備える遠隔コミュニケーションシステム。
PCT/JP2018/026656 2017-07-31 2018-07-17 画像処理装置、画像処理方法、プログラム、および遠隔コミュニケーションシステム WO2019026598A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201880049438.5A CN110959286A (zh) 2017-07-31 2018-07-17 图像处理装置、图像处理方法、程序以及远程通讯系统
US16/631,748 US20200186729A1 (en) 2017-07-31 2018-07-17 Image processing apparatus, image processing method, program, and remote communication system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017147338 2017-07-31
JP2017-147338 2017-07-31

Publications (1)

Publication Number Publication Date
WO2019026598A1 true WO2019026598A1 (ja) 2019-02-07

Family

ID=65232798

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/026656 WO2019026598A1 (ja) 2017-07-31 2018-07-17 画像処理装置、画像処理方法、プログラム、および遠隔コミュニケーションシステム

Country Status (3)

Country Link
US (1) US20200186729A1 (ja)
CN (1) CN110959286A (ja)
WO (1) WO2019026598A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022024199A1 (ja) * 2020-07-27 2022-02-03 株式会社Vrc 情報処理装置、３ｄモデル生成方法、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002342789A (ja) * 2001-05-17 2002-11-29 Sharp Corp ３次元キャラクタ画像を生成する画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体
JP2011199503A (ja) * 2010-03-18 2011-10-06 Pfu Ltd 撮像装置及びプログラム
JP2014049866A (ja) * 2012-08-30 2014-03-17 Sharp Corp 画像処理装置及び画像表示装置
JP2015106212A (ja) * 2013-11-29 2015-06-08 カシオ計算機株式会社 表示装置、画像処理方法及びプログラム
JP2017021603A (ja) * 2015-07-10 2017-01-26 日本電信電話株式会社 正当性確認装置、方法、媒体発行装置、方法、及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2534617B2 (ja) * 1993-07-23 1996-09-18 株式会社エイ・ティ・アール通信システム研究所 人物像の実時間認識合成方法
US7859551B2 (en) * 1993-10-15 2010-12-28 Bulman Richard L Object customization and presentation system
US7106358B2 (en) * 2002-12-30 2006-09-12 Motorola, Inc. Method, system and apparatus for telepresence communications
US8577084B2 (en) * 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
CN102340648A (zh) * 2011-10-20 2012-02-01 鸿富锦精密工业（深圳）有限公司 用于视频通信系统的视频通信装置、图像处理器及方法
JP6229314B2 (ja) * 2013-05-30 2017-11-15 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
US9232177B2 (en) * 2013-07-12 2016-01-05 Intel Corporation Video chat data processing
CN104935860A (zh) * 2014-03-18 2015-09-23 北京三星通信技术研究有限公司 视频通话实现方法及装置
JP6572893B2 (ja) * 2014-06-30 2019-09-11 ソニー株式会社 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像処理システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002342789A (ja) * 2001-05-17 2002-11-29 Sharp Corp ３次元キャラクタ画像を生成する画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体
JP2011199503A (ja) * 2010-03-18 2011-10-06 Pfu Ltd 撮像装置及びプログラム
JP2014049866A (ja) * 2012-08-30 2014-03-17 Sharp Corp 画像処理装置及び画像表示装置
JP2015106212A (ja) * 2013-11-29 2015-06-08 カシオ計算機株式会社 表示装置、画像処理方法及びプログラム
JP2017021603A (ja) * 2015-07-10 2017-01-26 日本電信電話株式会社 正当性確認装置、方法、媒体発行装置、方法、及びプログラム

Also Published As

Publication number Publication date
US20200186729A1 (en) 2020-06-11
CN110959286A (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
US10959037B1 (en) Gaze-directed audio enhancement
KR102197544B1 (ko) 공간화 오디오를 가진 혼합 현실 시스템
JP6017854B2 (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
US11082662B2 (en) Enhanced audiovisual multiuser communication
US20240048932A1 (en) Personalized hrtfs via optical capture
WO2023119557A1 (ja) アバター表示装置、アバター生成装置及びプログラム
US9948885B2 (en) Virtual encounters
Zhang et al. Viewport: A distributed, immersive teleconferencing system with infrared dot pattern
CN109691141B (zh) 空间化音频系统以及渲染空间化音频的方法
CN105721983A (zh) 具有图像捕获能力的听力设备
JP2022538511A (ja) レガシーオーディオビジュアルメディアからの空間化された仮想音響シーンの決定
CN106664501A (zh) 基于所通知的空间滤波的一致声学场景再现的系统、装置和方法
JP7100824B2 (ja) データ処理装置、データ処理方法及びプログラム
KR20050084263A (ko) 비디오 폰 이미지에서 머리 자세를 보정하기 위한 방법 및장치
CN107005678A (zh) 调节视频会议系统中的空间一致性
US20230421987A1 (en) Dynamic speech directivity reproduction
JP2014187559A (ja) 仮想現実提示システム、仮想現実提示方法
JP6580516B2 (ja) 処理装置および画像決定方法
JP3488096B2 (ja) ３次元共有仮想空間通信サービスにおける顔画像制御方法，３次元共有仮想空間通信用装置およびそのプログラム記録媒体
WO2021246183A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
US11810219B2 (en) Multi-user and multi-surrogate virtual encounters
WO2019026598A1 (ja) 画像処理装置、画像処理方法、プログラム、および遠隔コミュニケーションシステム
JP2016192687A (ja) 映像表示システム及び映像表示方法
JP5894505B2 (ja) 画像コミュニケーションシステム、画像生成装置及びプログラム
WO2017183292A1 (ja) 処理装置および画像決定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18841293

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18841293

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP