WO2020031742A1 - 画像処理装置および画像処理方法、並びにプログラム - Google Patents

画像処理装置および画像処理方法、並びにプログラム Download PDF

Info

Publication number
WO2020031742A1
WO2020031742A1 PCT/JP2019/029365 JP2019029365W WO2020031742A1 WO 2020031742 A1 WO2020031742 A1 WO 2020031742A1 JP 2019029365 W JP2019029365 W JP 2019029365W WO 2020031742 A1 WO2020031742 A1 WO 2020031742A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
foreground
unit
processing
background
Prior art date
Application number
PCT/JP2019/029365
Other languages
English (en)
French (fr)
Inventor
雅人 赤尾
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2020031742A1 publication Critical patent/WO2020031742A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to an image processing apparatus, an image processing method, and a program, and more particularly, to an image processing apparatus, an image processing method, and a program capable of performing smoother remote communication.
  • a remote communication system has been developed in which users in remote locations can communicate with each other as if they face each other.
  • a remote communication system it is considered to perform various image processing on images transmitted and received with each other so as to obtain a better user experience.
  • Patent Document 1 image processing for synthesizing an image such that an image with a small luminance difference is not buried in an image with a large luminance difference
  • Patent Document 2 image processing based on context information including attribute information that supplements the characteristics of a subject
  • a composite image obtained by compositing a region where a user is taken as a foreground and a background image different from the actual background of the user as a background may be used.
  • remote communication is smoothly performed by reducing the image quality difference between the foreground and the background image and generating a composite image that does not cause a sense of discomfort.
  • the present disclosure has been made in view of such a situation, and is intended to enable smoother remote communication.
  • An image processing device is configured such that an area in which a user performing communication is taken as a foreground, and at least one of the foreground and the background image according to an image quality difference from a background image synthesized as a background with respect to the foreground.
  • a correction unit that adaptively corrects image quality; and a combining unit that combines the foreground and the background image after the correction to generate a combined image.
  • An image processing method or a program is configured such that an area in which a user performing communication is taken as a foreground, and at least the foreground and the background image according to an image quality difference from a background image synthesized as a background with respect to the foreground.
  • the method includes adaptively correcting one image quality and generating a synthesized image by synthesizing the corrected foreground and background images.
  • an area in which a user performing communication is taken as a foreground, and at least one of the image quality of the foreground and the background image is adaptively adjusted according to an image quality difference from a background image synthesized as a background for the foreground.
  • the corrected foreground and background images are combined to generate a combined image.
  • smoother remote communication can be performed.
  • FIG. 9 is a diagram illustrating image processing when a foreground is bright.
  • FIG. 9 is a diagram illustrating image processing when the foreground is dark.
  • FIG. 3 is a block diagram illustrating a configuration example of a communication processing unit.
  • FIG. 3 is a block diagram illustrating a configuration example of an image processing unit.
  • FIG. 4 is a diagram illustrating an example of a database stored in a memory unit.
  • FIG. 3 is a block diagram illustrating a configuration example of a brightness adjustment processing unit. It is a flowchart explaining a brightness adjustment process.
  • 9 is a flowchart illustrating a first example of a lighting adjustment process.
  • FIG. 21 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
  • FIG. 1 is a block diagram illustrating a configuration example of an embodiment of a remote communication system to which the present technology is applied.
  • the remote communication system 11 is configured by connecting communication terminals 13A and 13B at remote locations via a network 12 such as the Internet.
  • the communication terminals 13A and 13B perform remote communication through the network 12, so that video and audio can be mutually transmitted and received in real time.
  • the user A at the communication terminal 13A and the user B at the communication terminal 13B can have a conversation as if facing each other, and more realistic communication can be achieved.
  • the communication terminals 13A and 13B have the same configuration, and when it is not necessary to distinguish them, the communication terminals 13 are simply referred to as communication terminals 13 and the respective units constituting the communication terminals 13A and 13B are also referred to similarly.
  • a user on the communication terminal 13 side (for example, a user A on the communication terminal 13A and a user B on the communication terminal 13B) is referred to as a user on the own side.
  • a user with whom the user communicates (for example, the user B for the communication terminal 13A and the user A for the communication terminal 13B) is referred to as a user on the other side.
  • the communication terminal 13 includes a sensor unit 21, a presentation unit 22, and a communication processing unit 23.
  • the sensor unit 21 is configured to include, for example, an image sensor that captures an image of a user located in front of the presentation unit 22 and a voice input device such as a microphone that inputs a voice uttered by the user.
  • the sensor unit 21 may include a depth sensor that detects depth, an illuminance sensor that detects the brightness of the surrounding environment, and the like.
  • the sensor unit 21 supplies the communication processing unit 23 with an image signal obtained by capturing an image of the user on the own side, an audio signal obtained from the voice of the user on the own side, and the like. Is transmitted to the communication terminal 13.
  • the presentation unit 22 is configured to include, for example, a display that displays an image of the partner user and an audio output element such as a speaker that outputs a voice spoken by the partner user.
  • an image signal, an audio signal, and the like transmitted from the communication terminal 13 of the other party via the network 12 are supplied to the presentation unit 22 from the communication processing unit 23.
  • the communication processing unit 23 performs various kinds of processing necessary for remote communication, such as communication processing for performing communication via the network 12 and image processing for enabling mutual communication between users. I do.
  • the communication processing unit 23 can generate a composite image in which a region in which a user is captured is set as a foreground and a background image different from the actual background of the user is a background, and can perform remote communication.
  • the composite image is used when considering the privacy of the user or when using presentation information (for example, a virtual blackboard or a video material) presented to the other party in the remote communication.
  • the communication processing unit 23 can perform image processing to adaptively correct the image quality of the foreground or background image according to the image quality difference between the foreground and the background image. Thereby, the communication processing unit 23 can generate a composite image with less discomfort.
  • the communication terminal 13 configured as described above uses a synthesized image obtained by synthesizing the foreground in which the user is photographed with a background image different from the actual background of the user so as to reduce the image quality difference. , More realistic remote communication can be performed. Thereby, smoother remote communication is performed between the users.
  • voice, video, and meta information are transmitted and received between the communication terminals 13.
  • voice, video, and meta information are transmitted and received between the communication terminals 13.
  • FIG. 4 is a block diagram illustrating a configuration example of the communication processing unit 23 in FIG.
  • the communication processing unit 23 includes a transmission information processing unit 31, an encoding unit 32, a transmission unit 33, a reception unit 34, a decoding unit 35, a reception information processing unit 36, and a memory unit 37. Is done.
  • the image signal of the image captured by the sensor unit 21 is supplied to the transmission information processing unit 31. Then, the transmission information processing unit 31 performs various types of information processing required for transmitting the image signal, and supplies the image signal to the encoding unit 32.
  • the encoding unit 32 is, for example, a block corresponding to a communication protocol such as H.320 / H.323, and performs encoding on an image signal supplied from the sensor unit 21 via the transmission information processing unit 31. This is supplied to the transmission unit 33.
  • the transmission unit 33 transmits the image signal encoded by the encoding unit 32 to the communication terminal 13 on the other side via the network 12 in FIG.
  • the receiving unit 34 receives the image signal transmitted from the communication terminal 13 on the other side via the network 12 in FIG. 1 and supplies the image signal to the decoding unit 35.
  • the decoding unit 35 is a block corresponding to a communication protocol similar to that of the encoding unit 32, and includes an image signal supplied from the reception unit 34 (an image signal encoded by the encoding unit 32 of the communication terminal 13 on the other side). ) Is decoded and supplied to the reception information processing unit 36.
  • the reception information processing unit 36 performs information processing required to display the image of the received image signal on the display of the presentation unit 22 with respect to the image signal supplied from the decoding unit 35, and displays the image. 22 is displayed.
  • the memory unit 37 stores various types of information that the reception information processing unit 36 refers to when performing information processing, and supplies the information to the reception information processing unit 36 as appropriate. Although not shown, the memory unit 37 can be configured to supply information to the transmission information processing unit 31 as well.
  • the communication processing unit 23 is configured as described above, and the transmission information processing unit 31 and the reception information processing unit 36 perform image processing for generating a composite image by combining a foreground and a background image as described above. Can be.
  • the image processing may be performed by one of the transmission information processing unit 31 and the reception information processing unit 36 depending on the use of the remote communication.
  • FIG. 5 is a block diagram illustrating a configuration example of an image processing unit that performs image processing for generating a composite image as described above.
  • the image processing unit 41 includes a foreground / background separation unit 42, a foreground / background correction unit 43, and a foreground / background synthesis unit 44, and uses a background image stored in the memory unit 37. Image processing can be performed.
  • an image captured by the sensor unit 21 on the own side is input to the image processing unit 41.
  • an image captured and transmitted by the sensor unit 21 on the partner side is input to the image processing unit 41.
  • an image input to the image processing unit 41 is appropriately referred to as an input image.
  • the foreground / background separation unit 42 extracts, from the input image, a region where the user is photographed as the foreground, and separates the region from other background regions. Then, the foreground / background separation unit 42 generates, for example, a foreground mask image in which the foreground pixel value is 1 and the background pixel value is 0, and supplies the foreground / background correction unit 43.
  • the foreground / background correction unit 43 uses the foreground mask image supplied from the foreground / background separation unit 42 and adaptively performs a correction process on the input image or the background image according to the image quality difference between the foreground and the background image. Then, the foreground / background correction unit 43 supplies a corrected image obtained by performing a correction process to the input image or the background image to the foreground / background synthesis unit 44. Further, when the foreground / background correction unit 43 corrects the boundary between the foreground and the background, it generates a correction mask in which the correction is applied to the foreground mask image, and supplies the correction mask to the foreground / background synthesis unit 44. If the correction for the boundary between the foreground and the background has not been performed, the foreground mask image is supplied as it is to the foreground / background combining unit 44 as a correction mask.
  • a corrected image obtained by correcting the input image is supplied to the foreground / background synthesis unit 44, and the background image is stored in the memory unit 37 from the foreground / background. It is supplied to the synthesizing unit 44.
  • the background image is corrected by the foreground / background correcting unit 43, the corrected image obtained by correcting the background image is supplied to the foreground / background synthesizing unit 44, and the input image is used as it is. It is supplied to the unit 44.
  • the foreground / background combining unit 44 generates and outputs a combined image in which the foreground is combined with the background image using the correction image and the correction mask supplied from the foreground / background correction unit 43. For example, when the input image is corrected, the foreground / background combining unit 44 combines a foreground obtained by applying a correction mask to the corrected image (corrected input image) to the background image. When the background image has been corrected, the foreground / background combining unit 44 combines the foreground obtained by applying the correction mask to the input image with the corrected image (corrected background image).
  • the foreground / background correction unit 43 has an image quality difference reduction unit 51 and a processing selection unit 52.
  • the image quality difference reducing unit 51 reduces the image quality difference between the foreground obtained by applying the foreground mask image supplied from the foreground / background separating unit 42 to the input image and the background image supplied from the memory unit 37. , And executes image processing according to the selection by the processing selection unit 52 among the plurality of image processing.
  • the image quality difference reducing unit 51 includes a luminance adjustment processing unit 61, a lighting adjustment processing unit 62, a perspective correction processing unit 63, a noise reduction processing unit 64, a resolution adjustment processing unit 65, a color temperature adjustment processing unit 66, and a foreground boundary adjustment. It has a processing unit 67 and performs corresponding image processing.
  • the luminance adjustment processing unit 61 performs image processing for adjusting the luminance of the foreground so that the luminance difference between the foreground and the background image is reduced, as described with reference to FIGS. 2 and 3, for example.
  • the detailed configuration of the brightness adjustment processing unit 61 will be described later with reference to FIG.
  • the lighting adjustment processing unit 62 performs image processing to adjust the foreground lighting in accordance with, for example, the lighting position or intensity of the background image so that the difference in the lighting position or intensity of the foreground and the background image is reduced.
  • the lighting adjustment processing unit 62 can use a technique called real-time specular reflection component removal based on a dichroic reflection model to extract the specular reflection component.
  • the lighting adjustment processing unit 62 uses the foreground specular reflection component I_in_fg of the input image, the maximum value I_in_fg_max of the foreground specular reflection component of the input image, and the maximum value I_in_bg_max of the background image of the input image, for example.
  • the specular reflection component I_out_fg of the foreground of the corrected image according to Expression (1), the intensity of the specular reflection component of the foreground and the background image can be matched.
  • the perspective correction processing unit 63 corrects the foreground perspective by adjusting the position of the foreground vanishing point so as to reduce the difference between the perspective of the foreground and the background image, for example, to match the vanishing point of the background image. Correction). Further, the perspective correction processing unit 63 can also perform correction such as scaling and correction of a synthesis position at which the foreground is synthesized with the background image. For example, when the foot of the user in the foreground is visible, the foot is Image processing is performed to adjust the scale of the foreground, the synthesis position, and the like so as not to be seen.
  • the noise reduction processing unit 64 performs, for example, noise reduction on one of the foreground and background images having a large amount of noise so as to reduce the difference between the noise intensities of the foreground and background images, and adjusts the noise reduction to the other with a small amount of noise. Perform image processing.
  • the resolution adjustment processing unit 65 performs, for example, high resolution processing on one of the foreground and the background image that has a low resolution so as to reduce the difference in resolution between the foreground and the background image, and has a high resolution. Perform image processing to match the other. Further, the resolution adjustment processing unit 65 uses the depth detected by the sensor unit 21, and when the depth of the foreground is different from the depth of the background image, the resolution adjustment processing unit 65 emphasizes the difference in resolution according to the depth difference. In addition, while performing the high resolution processing on the foreground, the low resolution processing can be performed on the background image.
  • the color temperature adjustment processing unit 66 adjusts one color temperature of the foreground and the background image to match the other color temperature, for example, so as to reduce the difference between the color temperatures of the foreground and the background image. I do.
  • the foreground boundary adjustment processing unit 67 performs a spatial low-pass on the foreground mask image so that the boundary between the foreground and the background image changes gradually. Perform image processing to apply the filter. Accordingly, the foreground boundary adjustment processing unit 67 can generate a correction mask in which the mixture ratio at the boundary between the foreground and the background image has been adjusted.
  • the processing selection unit 52 is executed by the image quality difference reduction unit 51 adaptively according to the calculation amount of each image processing in the image quality difference reduction unit 51, the effect of each image processing, the purpose of the remote communication context, and the like. Select the image processing to be performed.
  • the resolution adjustment processing unit 65 and the color temperature adjustment processing unit 66 only perform the product-sum operation on a pixel-by-pixel basis, the amount of calculation is relatively small. Further, since the parse correction processing unit 63 performs the product-sum operation in units of blocks, the calculation amount is larger than that of the resolution adjustment processing unit 65 and the color temperature adjustment processing unit 66. Further, since the noise reduction processing unit 64 uses a frame memory, the amount of calculation (cost) is the largest.
  • the amount of calculation for each image processing in the image quality difference reduction unit 51 is different. Then, as shown in FIG. 6A, a database in which calculation amounts (for example, calculation amount C0 for luminance adjustment and calculation amount C1 for lighting adjustment) for each image processing to be controlled are registered. , Are stored in the memory unit 37.
  • the processing selection unit 52 refers to the database stored in the memory unit 37 and selects the image processing to be applied in the image quality difference reduction unit 51 according to the amount of calculation required for each of the plurality of image processing. For example, when a reduction in the amount of calculation is requested, the process selection unit 52 selects image processing with a smaller amount of calculation. Further, the processing selection unit 52 selects image processing that satisfies the predetermined limit calculation amount according to a predetermined limit calculation amount of the entire system. Further, the processing selection unit 52 can monitor the operating temperature of the system, and can adaptively select the image processing so as to switch to the image processing with a small amount of calculation when the increase in the operating temperature is detected. .
  • image processing for adjusting the boundary between the foreground and the background image has the effect of suppressing deterioration from being noticeable due to blurring of the boundary, while the synthesis feeling has become noticeable due to the decrease in resolution.
  • the synthesis feeling becomes conspicuous due to the reduction in resolution.
  • a change in luminance accompanies a conspicuous feeling of synthesis.
  • the second control target image processing which adversely affects the effect of the first control target image processing is registered in the database in association with the second control target image processing, and stored in the memory unit 37.
  • image processing for adjusting the resolution adversely affects image processing for adjusting the mixing ratio of the boundary, image processing for correcting perspective, and image processing for performing noise reduction.
  • image processing for adjusting the luminance adversely affects the image processing for adjusting the color temperature and the image processing for adjusting the lighting.
  • the image processing for adjusting the noise adversely affects the image processing for adjusting the mixing ratio of the boundary.
  • the processing selection unit 52 adjusts the combination of the image processing executed by the image quality difference reduction unit 51 from the image processing according to the priority image quality factor.
  • the priority of the image quality factor can be determined in advance and set in the processing selection unit 52.
  • the process selection unit 52 may change the priority image quality factor according to the situation of the remote communication. Further, for example, when the input image has a high resolution, the processing selection unit 52 can select the image processing so as to give priority to maintaining the high resolution.
  • the processing selection unit 52 can select image processing for the purpose of improving the image quality. For example, when the room is dark, imaging noise is large, so that the processing selection unit 52 gives priority to noise reduction, but selects image processing so as not to perform resolution adjustment. When the lighting positions of the foreground and background images are reversed and the difference in lighting is conspicuous, the processing selection unit 52 gives priority to the lighting adjustment, but does not perform the brightness correction of the entire screen. Select image processing.
  • the processing selection unit 52 can select image processing so as not to adversely affect the image quality factor to be protected. For example, when the resolution of the image pickup apparatus used is high and the image quality deteriorates conspicuously in the image processing in which the resolution is reduced, the processing selection unit 52 adjusts the color temperature but does not perform the perspective correction. Select
  • the process selection unit 52 can select an image process from an image quality factor other than an image quality factor that does not require improvement. For example, when the foreground and the background image can be separated with high precision, the processing selection unit 52 performs image processing (for example, perspective correction) other than adjusting the mixing ratio of the boundary according to the user's selection. )I do.
  • image processing for example, perspective correction
  • the processing selection unit 52 can selectively use the image processing executed by the image quality difference reduction unit 51 according to the context of the remote communication (purpose, infrastructure, conversation content, attribute of the target person, etc.).
  • the processing selection unit 52 can selectively use the image processing executed by the image quality difference reduction unit 51 for each purpose of the remote communication, and in the use of the distance education, the foreground so that the expressions of the teacher and the student can be read. Priority is given to maintaining high resolution. In addition, in the remote consulting application, the processing selection unit 52 gives priority to maintaining a high resolution of the foreground so that the expression of the consultant can be read. In addition, in the case of telemedicine, the processing selection unit 52 gives priority to maintaining the color reproducibility of the foreground so that the patient's condition can be confirmed. In the case of personal video distribution, the processing selection unit 52 protects privacy. Priority is given to complete hiding of the background (foreground boundary correction).
  • the processing selection unit 52 can selectively use the image processing executed by the image quality difference reduction unit 51 for each remote communication infrastructure, and when displaying a composite image on a large screen display, the processing selection unit 52 is adjusted to the actual size. Give priority to perspective correction.
  • the processing selection unit 52 can selectively use the image processing executed by the image quality difference reduction unit 51 for each conversation content of the remote communication, and request high image quality when a chat with no purpose is performed. Prioritize power saving. Further, when the grandparents talk with the remote grandchild, the processing selection unit 52 gives priority to the full-size display according to the growth of the grandchild.
  • the processing selection unit 52 can selectively use the image processing executed by the image quality difference reduction unit 51 for each attribute of a target person who performs remote communication, and is used by an elderly person (for example, a user with weak vision). Priority is given to image processing for reducing the difference in brightness over resolution. Furthermore, the processing selection unit 52 may switch the priority image processing according to the user's preference by using an individual case database for remote communication.
  • FIG. 7 is a block diagram illustrating a configuration example of a luminance adjustment processing unit.
  • the luminance adjustment processing unit 61 includes a YUV conversion unit 71, a degamma processing unit 72, a black level correction unit 73, a white level correction unit 74, a gamma processing unit 75, and an RGB conversion unit 76. Is done.
  • the YUV conversion unit 71 converts a color input image composed of RGB signals into a YUV signal, acquires luminance information (Y signal), and supplies the luminance information (Y signal) to the degamma processing unit 72. Further, the YUV conversion unit 71 supplies the U signal and the V signal to the RGB conversion unit 76.
  • the degamma processing unit 72 performs degamma processing on the luminance information supplied from the YUV conversion unit 71, converts the luminance information into a linear color space, and supplies the linear color space to the black level correction unit 73.
  • the black level correction unit 73 performs black level correction for adjusting the luminance information of the input image so as to brighten the dark part of the foreground obtained by applying the foreground mask image to the input image and reduce the luminance difference from the luminance of the background image. Do. That is, as shown in FIG. 3, the black level correction unit 73 performs correction to increase the luminance of the input image so that the minimum value of the luminance of the foreground matches the minimum value of the luminance of the background image.
  • the white level correction unit 74 adjusts the luminance information of the input image so as to darken the bright part of the foreground obtained by applying the foreground mask image to the input image and reduce the luminance difference from the luminance of the background image. I do. That is, as shown in FIG. 2, the white level correction unit 74 performs a correction to reduce the luminance of the input image so that the maximum value of the luminance of the foreground matches the maximum value of the luminance of the background image.
  • the black level correction unit 73 performs black level correction
  • the white level correction unit 74 performs white level correction.
  • the corrected intensity is fed back and referred to in the processing of the next frame. That is, the black level correction unit 73 and the white level correction unit 74 can gradually change the parameter over time with reference to the correction intensity one frame before, and avoid a sudden change in the luminance of the foreground. can do.
  • the gamma processing unit 75 performs gamma processing on the luminance information of the input image that has been subjected to the black level correction by the black level correction unit 73 and the white level correction by the white level correction unit 74, and outputs the processed luminance information to RGB. It is supplied to the conversion unit 76.
  • the RGB conversion unit 76 obtains a color image by converting the luminance information (Y signal) supplied from the gamma processing unit 75 and the U signal and V signal supplied from the YUV conversion unit 71 into RGB signals. Then, the image is output as a corrected image.
  • the luminance adjustment processing unit 61 is configured as described above, and by reducing the luminance difference between the foreground and the background image, it is possible to generate a composite image with a reduced composite feeling.
  • FIG. 8 is a flowchart illustrating image processing executed by the luminance adjustment processing unit 61.
  • step S11 the YUV conversion unit 71 converts a color input image composed of RGB signals into a YUV signal, and acquires luminance information (Y signal). Then, the YUV conversion unit 71 supplies the Y signal to the degamma processing unit 72 and supplies the U signal and the V signal to the RGB conversion unit 76.
  • step S12 the degamma processing unit 72 performs degamma processing on the luminance information supplied from the YUV conversion unit 71 in step S11, and supplies the luminance information to the black level correction unit 73.
  • step S13 the black level correction unit 73 performs black level correction to reduce the luminance difference between the luminance of the dark part of the foreground obtained by applying the foreground mask image to the input image and the luminance of the dark part of the background image. Adjust the brightness information of the image.
  • step S14 the white level correction unit 74 performs white level correction so as to reduce the luminance difference between the luminance of the bright part of the foreground obtained by applying the foreground mask image to the input image and the luminance of the light part of the background image. And adjust the luminance information of the input image.
  • step S15 the gamma processing unit 75 performs gamma processing on the luminance information of the input image on which the black level correction in step S12 and the white level correction in step S13 have been performed, and then supplies the gamma processing to the RGB conversion unit 76.
  • step S16 the RGB conversion unit 76 converts the luminance information (Y signal) supplied from the gamma processing unit 75 in step S15 and the U signal and V signal supplied from the YUV conversion unit 71 in step S11, Get a color image (RGB signal). Then, after the color image is output as the corrected image, the image processing for adjusting the luminance is terminated.
  • FIG. 9 is a flowchart illustrating a first processing example of image processing executed by the lighting adjustment processing unit 62.
  • step S21 the lighting adjustment processing unit 62 separates the specular reflection component and the diffuse reflection component of the foreground obtained by applying the foreground mask image to the input image, and separates the specular reflection component and the diffuse reflection component of the background image.
  • step S22 the lighting adjustment processing unit 62 adjusts the intensity of one specular reflection component of the foreground and background images in accordance with the intensity of the other specular reflection component.
  • step S23 the lighting adjustment processing unit 62 adjusts the lighting after integrating the specular reflection component and the diffuse reflection component with respect to one of the foreground and background images, the intensity of which has been adjusted in step S22.
  • the image processing ends.
  • FIG. 10 is a flowchart illustrating a second processing example of the image processing executed by the lighting adjustment processing unit 62.
  • step S31 the lighting adjustment processing unit 62 estimates the light source position where the light source is arranged in the background image.
  • step S32 the lighting adjustment processing unit 62 adds a catchlight to the iris of the user's pupil in the foreground obtained by applying the foreground mask image to the input image according to the light source position estimated in step S31. After that, the image processing for adjusting the lighting is ended.
  • the image processing of adding the catchlight by adjusting the foreground lighting position in accordance with the lighting position of the background image can reduce the sense of synthesis of the foreground and the background image in the synthesized image.
  • FIG. 11 is a flowchart illustrating a first processing example of the image processing executed by the perspective correction processing unit 63.
  • step S41 the perspective correction processing unit 63 detects a vanishing point of the foreground obtained by applying the foreground mask image to the input image and detects a vanishing point of the background image.
  • step S42 the perspective correction processing unit 63 corrects the foreground perspective so that the foreground vanishing point matches the vanishing point of the background image detected in step S41, and the image processing for correcting the perspective ends. Is done.
  • FIG. 12 is a flowchart illustrating a second example of the image processing performed by the perspective correction processing unit 63.
  • step S51 the perspective correction processing unit 63 applies the foreground mask image to the input image and extracts the foreground from the input image.
  • step S52 the perspective correction processing unit 63 determines whether or not the user's feet, which are captured as the foreground extracted in step S51, are visible.
  • step S52 If it is determined in step S52 that the user's feet are visible, the process proceeds to step S53, and the perspective correction processing unit 63 clips the foreground to the height of the feet so that the user's feet become invisible.
  • step S52 determines whether the user's feet are visible, or after the processing in step S53. If it is determined in step S52 that the user's feet are not visible, or after the processing in step S53, the image processing for correcting the perspective is ended.
  • the image processing of clipping the foreground so that the user's feet become invisible can be compared with, for example, a strong synthetic feeling when the user's feet are visible. Can be reduced.
  • FIG. 13 is a flowchart illustrating image processing executed by the noise reduction processing unit 64.
  • the noise reduction processing unit 64 detects the noise intensity of the foreground obtained by applying the foreground mask image to the input image, and also detects the noise intensity of the background image.
  • the noise intensity is obtained by calculating an average value of the differences between frames.
  • step S62 the noise reduction processing unit 64 applies the noise reduction to one of the noise intensities of the foreground and background images detected in step S61 having a large noise intensity, and then ends the image processing of performing the noise reduction. Is done.
  • a spatial low-pass filter, a spatiotemporal IIR (Infinite Impulse Response) filter, or the like is used as noise reduction.
  • FIG. 14 is a flowchart illustrating a first processing example of the image processing performed by the resolution adjustment processing unit 65.
  • the resolution adjustment processing unit 65 detects the resolution of the foreground obtained by applying the foreground mask image to the input image, detects the resolution of the background image, and obtains the difference between the resolutions.
  • the resolution adjustment processing unit 65 can detect a resolution by calculating a spatial frequency characteristic.
  • step S72 the resolution adjustment processing unit 65 applies a high-resolution processing for eliminating the difference in resolution to one of the resolutions of the foreground and the background image detected in step S71, which has a smaller resolution.
  • the image processing for adjusting the resolution ends.
  • FIG. 15 is a flowchart illustrating a second processing example of the image processing executed by the resolution adjustment processing unit 65.
  • step S81 the resolution adjustment processing unit 65 detects the resolution of the foreground obtained by applying the foreground mask image to the input image and the resolution of the background image. Further, the resolution adjustment processing unit 65 uses the depth detected by the sensor unit 21 to detect the depth of the foreground. Also, the depth is set for the background image, and the resolution adjustment processing unit 65 acquires the depth of the background image.
  • step S82 the resolution adjustment processing unit 65 determines whether or not the depth of the foreground and the depth of the background image detected in step S81 are different, that is, whether or not the depth difference is large.
  • step S82 if it is determined that the depth of the foreground and the depth of the background image are different, that is, if it is determined that the depth difference is large, the process proceeds to step S83.
  • step S83 the resolution adjustment processing unit 65 applies the high-resolution processing to the foreground so as to emphasize the difference in resolution according to the depth difference between the foreground and the background, while applying the high-resolution processing to the background image.
  • a low-resolution processing for example, a spatial low-pass filter
  • step S82 determines whether the depth of the foreground is not different from the depth of the background image, that is, if it is determined that the depth difference is small. If it is determined in step S82 that the depth of the foreground is not different from the depth of the background image, that is, if it is determined that the depth difference is small, the process proceeds to step S84.
  • step S83 as in step S72 of FIG. 14, the resolution adjustment processing unit 65 performs a high-resolution process for eliminating one of the resolutions of the foreground and background images having a smaller resolution to eliminate the difference in resolution. Apply.
  • step S83 or S84 After the processing in step S83 or S84, the image processing for adjusting the resolution is ended.
  • the difference between the resolution is emphasized and the background is blurred by performing image processing to blur the background. Combined feeling can be reduced.
  • FIG. 16 is a flowchart illustrating image processing performed by the color temperature adjustment processing unit 66.
  • step S91 the color temperature adjustment processing unit 66 detects the color temperature of the foreground obtained by applying the foreground mask image to the input image, detects the color temperature of the background image, and obtains the color temperature difference between them.
  • step S92 the color temperature adjustment processing unit 66 applies a process for correcting one of the color temperatures of the foreground and background images detected in step S91 so as to eliminate the color temperature difference. Then, the image processing for adjusting the color temperature ends.
  • the processing of correcting the color temperature for example, the technology described in Japanese Patent Application No. 2017-160167 filed by the present applicant can be used.
  • FIG. 17 is a flowchart illustrating image processing executed by the foreground boundary adjustment processing unit 67.
  • the foreground boundary adjustment processing unit 67 detects the accuracy of separation of the foreground from the input image by the foreground / background separation unit 42. For example, the foreground boundary adjustment processing unit 67 detects the separation accuracy of the foreground by calculating the difference between the average of the distant pixel differences at the boundary of the foreground mask image and the average of the adjacent pixel differences around the boundary. Can be.
  • step S102 the foreground boundary adjustment processing unit 67 determines whether or not the separation accuracy of the foreground detected in step S101 is equal to or smaller than a preset threshold.
  • step S102 If it is determined in step S102 that the separation accuracy of the foreground is equal to or smaller than the threshold, the process proceeds to step S103, and the foreground boundary adjustment processing unit 67 applies a spatial low-pass filter to the boundary between the foreground and the background image in the foreground mask image. Apply. Thus, the foreground boundary adjustment processing unit 67 generates a correction mask in which the mixture ratio at the boundary between the foreground and the background image has been adjusted.
  • step S103 After the processing in step S103 or in step S102, if it is determined that the separation accuracy of the foreground is not smaller than or equal to the threshold (that is, larger than the threshold), the image processing for adjusting the mixing ratio at the boundary of the foreground is ended.
  • the image processing for adjusting the mixing ratio at the boundary of the foreground suppresses the appearance of artifacts that occur when the separation accuracy for separating the foreground from the input image is low, and the synthesized image between the foreground and the background image in the synthesized image. Can be reduced.
  • FIG. 18 is a flowchart illustrating a first processing example of the selection processing performed by the processing selection unit 52.
  • step S111 the processing selection unit 52 acquires a calculation amount required to be reduced, such as a limit calculation amount of the entire system or a reduction in the calculation amount due to a change in the operating temperature of the system. .
  • step S112 the process selection unit 52 selects the image processing to be applied in the image quality difference reduction unit 51, as described above, according to the requested calculation amount acquired in step S111, and After instructing the selection, the process ends.
  • the processing selection unit 52 can adaptively select the image processing to be applied in the image quality difference reduction unit 51 according to the required amount of calculation.
  • FIG. 19 is a flowchart illustrating a second example of the selection process performed by the process selection unit 52.
  • step S121 the processing selection unit 52 sets a priority image quality factor according to a predetermined priority, a remote communication situation, an image quality (for example, resolution) of an input image, and the like.
  • step S122 the process selection unit 52 adjusts the combination of the image processing executed by the image quality difference reduction unit 51 according to the image quality factor set in step S121, as described above, and then the process ends. .
  • the processing selection unit 52 can adaptively select the image processing to be applied in the image quality difference reduction unit 51 according to the priority image quality factor.
  • FIG. 20 is a flowchart illustrating overall image processing performed by the image processing unit 41 of FIG.
  • step S131 the foreground / background separation unit 42 extracts, from the input image, a region where the user is captured as the foreground, Separate from the background area. Then, the foreground / background separation unit 42 generates, for example, a foreground mask image in which the foreground pixel value is 1 and the background pixel value is 0, and supplies the foreground / background correction unit 43.
  • step S132 the processing selection unit 52 adaptively selects the image processing to be executed by the image quality difference reduction unit 51 and issues an instruction to the image quality difference reduction unit 51, as described above with reference to FIGS. Do.
  • step S133 the image quality difference reducing unit 51 applies the foreground or background image obtained by applying the foreground mask image supplied from the foreground / background separation unit 42 in step S131 to the input image, and in step S132, selects the processing selection unit 52 in step S132.
  • the image processing instructed is performed. That is, the image quality difference reducing unit 51 executes any one of the image processes described above with reference to FIGS. 8 to 17 according to the instruction from the process selecting unit 52, and performs the image processing for reducing the image quality difference.
  • the image and the correction mask are generated and supplied to the foreground / background combining unit 44.
  • step S134 the foreground / background combining unit 44 generates a combined image in which the foreground is combined with the background image by using the correction image and the correction mask supplied from the foreground / background correction unit 43 in step S133. Then, after the foreground / background combining unit 44 outputs the combined image, the image processing ends.
  • FIG. 21 is a block diagram showing a configuration example of an embodiment of a computer in which a program for executing the above-described series of processes is installed.
  • the program can be recorded in advance on the hard disk 105 or the ROM 103 as a recording medium built in the computer.
  • the program can be stored (recorded) in the removable recording medium 111 driven by the drive 109.
  • a removable recording medium 111 can be provided as so-called package software.
  • examples of the removable recording medium 111 include a flexible disk, CD-ROM (Compact Disc Only Memory), MO (Magneto Optical) disc, DVD (Digital Versatile Disc), magnetic disc, and semiconductor memory.
  • the program may be installed on the computer from the removable recording medium 111 as described above, or may be downloaded to the computer via a communication network or a broadcast network and installed on the built-in hard disk 105. That is, for example, the program is wirelessly transferred from a download site to a computer via a satellite for digital satellite broadcasting, or is transmitted to a computer via a network such as a LAN (Local Area Network) or the Internet by wire. be able to.
  • LAN Local Area Network
  • the computer has a built-in CPU (Central Processing Unit) 102, and an input / output interface 110 is connected to the CPU 102 via a bus 101.
  • CPU Central Processing Unit
  • the CPU 102 executes a program stored in a ROM (Read Only Memory) 103 when a command is input by a user operating the input unit 107 or the like via the input / output interface 110. .
  • the CPU 102 loads a program stored in the hard disk 105 into a random access memory (RAM) 104 and executes the program.
  • RAM random access memory
  • the CPU 102 performs the processing according to the above-described flowchart or the processing performed by the configuration of the above-described block diagram. Then, the CPU 102 causes the processing result to be output from the output unit 106 or transmitted from the communication unit 108 via the input / output interface 110 as necessary, and further recorded on the hard disk 105, for example.
  • the input unit 107 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 106 includes an LCD (Liquid Crystal Display), a speaker, and the like.
  • the processing performed by the computer according to the program does not necessarily need to be performed in chronological order in the order described in the flowchart. That is, the processing performed by the computer in accordance with the program includes processing executed in parallel or individually (for example, parallel processing or processing by an object).
  • the program may be processed by a single computer (processor) or may be processed in a distributed manner by a plurality of computers. Further, the program may be transferred to a remote computer and executed.
  • a system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network and one device housing a plurality of modules in one housing are all systems. .
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configuration described above as a plurality of devices (or processing units) may be configured as one device (or processing unit).
  • a configuration other than those described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit).
  • the present technology can take a configuration of cloud computing in which one function is shared by a plurality of devices via a network and processed jointly.
  • the above-described program can be executed in any device.
  • the device only has to have necessary functions (functional blocks and the like) and can obtain necessary information.
  • each step described in the above-described flowchart can be executed by a single device, or can be shared and executed by a plurality of devices.
  • the plurality of processes included in the one step can be executed by one device or can be shared and executed by a plurality of devices.
  • a plurality of processes included in one step can be executed as a plurality of steps.
  • the processing described as a plurality of steps can be collectively executed as one step.
  • the computer-executable program may be configured so that the processing of the steps for describing the program is executed in chronological order according to the order described in this specification, or may be executed in parallel or by calling. It may be executed individually at a necessary timing such as time. That is, as long as no contradiction occurs, the processing of each step may be performed in an order different from the order described above. Further, the processing of the steps for describing the program may be executed in parallel with the processing of another program, or may be executed in combination with the processing of another program.
  • a correction unit that adaptively corrects the image quality of at least one of the foreground and the background image according to an image quality difference from a background image synthesized as a background with respect to the foreground, with a region in which a user performing communication is captured as a foreground
  • a combining unit that combines the corrected foreground and background images to generate a combined image.
  • the image processing apparatus further including: a separation unit configured to generate a foreground mask image that extracts the foreground from the input image in which the user is captured.
  • the correction unit A plurality of image processing for reducing the image quality difference between the foreground and the background image, an image quality difference reduction unit that applies to at least one of the foreground and the background image, A processing selection unit that adaptively selects an image processing to be applied by the image quality difference reduction unit from among the plurality of image processings.
  • the image processing device according to (1) or (2).
  • the image quality difference reduction unit includes a luminance adjustment processing unit that performs image processing for adjusting luminance so as to reduce a luminance difference between the foreground and the background image.
  • the image quality difference reduction unit includes a lighting adjustment processing unit that performs image processing for adjusting lighting so as to reduce a difference in lighting position or intensity between the foreground and the background image. (3) or (4).
  • the image quality difference reducing unit includes a geometric correction processing unit that performs image processing for performing geometric correction so as to reduce a difference in perspective between the foreground and the background image. Any of the above (3) to (5)
  • the image quality difference reduction unit includes a noise reduction processing unit that performs image processing for noise reduction so as to reduce a difference in noise intensity between the foreground and the background image.
  • the image quality difference reduction unit includes a resolution adjustment processing unit that performs image processing for adjusting the resolution so as to reduce the difference in resolution between the foreground and the background image. Any of the above (3) to (7) The image processing apparatus according to any one of the preceding claims. (9) The image quality difference reduction unit includes a color temperature adjustment processing unit that performs image processing for adjusting a color temperature so as to reduce a difference in color temperature between the foreground and the background image. An image processing device according to any one of the above. (10) The image quality difference reduction unit includes a boundary adjustment processing unit that adjusts a mixing ratio at a boundary between the foreground and the background image in the foreground mask image.
  • Image processing device (11) The process selection unit selects an image process to be applied by the image quality difference reduction unit according to a calculation amount necessary for each of the plurality of image processes. Image processing device. (12) The image processing device according to any one of (3) to (11), wherein the processing selection unit selects image processing to be applied by the image quality difference reduction unit according to a context in communication using the composite image. . (13) The processing selection unit according to any one of (3) to (12), wherein a combination of image processing applied by the image quality difference reduction unit is adjusted according to an effect of the plurality of image processings on image quality. Image processing device.
  • An image processing device that performs image processing, Adaptively correcting the image quality of at least one of the foreground and the background image according to the image quality difference from the background image synthesized as the background with respect to the foreground, with the area in which the user performing the communication is taken as the foreground; Combining the corrected foreground and background images to generate a combined image.
  • the computer of the processing device that performs image processing Adaptively correcting the image quality of at least one of the foreground and the background image according to the image quality difference from the background image synthesized as the background with respect to the foreground, with the area in which the user performing the communication is taken as the foreground; Combining the foreground and the background image after correction to generate a combined image.
  • 11 remote communication system 12 network, 13 communication terminal, 21 sensor unit, 22 presentation unit, 23 communication processing unit, 31 transmission information processing unit, 32 encoding unit, 33 transmission unit, 34 reception unit, 35 decoding unit, 36 reception Information processing section, ⁇ 37 ⁇ memory section, ⁇ 41 ⁇ image processing section, ⁇ 42 ⁇ foreground / background separation section, ⁇ 43 ⁇ foreground / background correction section, ⁇ 44 ⁇ foreground / background synthesis section, ⁇ 51 ⁇ image quality difference reduction section, ⁇ 52 ⁇ processing selection section, ⁇ 61 ⁇ brightness adjustment processing section, ⁇ 62 ⁇ lighting Adjustment processing unit, ⁇ 63 ⁇ perspective correction processing unit, ⁇ 64 ⁇ noise reduction processing unit, ⁇ 65 ⁇ resolution adjustment processing unit, ⁇ 66 ⁇ color temperature adjustment processing unit, ⁇ 67 ⁇ foreground boundary adjustment processing unit, ⁇ 71 ⁇ YUV conversion unit, ⁇ 72 ⁇ degamma processing unit, 73 black level correction unit, 74 white level correction unit 75 gamma processing unit, 76 RGB conversion unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本開示は、より円滑な遠隔コミュニケーションを行うことができるようにする画像処理装置および画像処理方法、並びにプログラムに関する。 補正部は、コミュニケーションを行うユーザが写された領域を前景とし、その前景に対する背景として合成される背景画像との画質差に従って、前景および背景画像の少なくとも一方の画質を適応的に補正し、合成部は、補正後の前景および背景画像を合成して合成画像を生成する。本技術は、例えば、遠隔コミュニケーションシステムに適用できる。

Description

画像処理装置および画像処理方法、並びにプログラム
　本開示は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、より円滑な遠隔コミュニケーションを行うことができるようにした画像処理装置および画像処理方法、並びにプログラムに関する。
　従来、遠隔地に居るユーザどうしが、お互いに顔を合わせているかのようにコミュニケーションを図ることができる遠隔コミュニケーションシステムの開発が進められている。このような遠隔コミュニケーションシステムでは、より良好なユーザ体験が得られるように、互いに送受信される画像に対して様々な画像処理を施すことが検討される。
　例えば、輝度差の大きい画像に輝度差の小さい画像が埋もれないように画像を合成する画像処理（特許文献１参照）や、被写体の特徴を補足する属性情報を含むコンテキスト情報に基づいた画像処理（特許文献２参照）などがある。
特開２０１５－２２７３８号公報 国際公開第２０１３／１３６７９２
　ところで、上述したような遠隔コミュニケーションシステムにおいて、ユーザが写された領域を前景とし、そのユーザの実際の背景とは異なる背景画像を背景として合成した合成画像が利用されることがある。このような合成画像を利用する場合には、前景と背景画像との画質差を低減し、より違和感のないような合成画像を生成することによって、遠隔コミュニケーションが円滑に行われると考えられる。
　本開示は、このような状況に鑑みてなされたものであり、より円滑な遠隔コミュニケーションを行うことができるようにするものである。
　本開示の一側面の画像処理装置は、コミュニケーションを行うユーザが写された領域を前景とし、前記前景に対する背景として合成される背景画像との画質差に従って、前記前景および前記背景画像の少なくとも一方の画質を適応的に補正する補正部と、補正後の前記前景および前記背景画像を合成して合成画像を生成する合成部とを備える。
　本開示の一側面の画像処理方法またはプログラムは、コミュニケーションを行うユーザが写された領域を前景とし、前記前景に対する背景として合成される背景画像との画質差に従って、前記前景および前記背景画像の少なくとも一方の画質を適応的に補正することと、補正後の前記前景および前記背景画像を合成して合成画像を生成することとを含む。
　本開示の一側面においては、コミュニケーションを行うユーザが写された領域を前景とし、その前景に対する背景として合成される背景画像との画質差に従って、前景および背景画像の少なくとも一方の画質が適応的に補正され、補正後の前景および背景画像を合成して合成画像が生成される。
　本開示の一側面によれば、より円滑な遠隔コミュニケーションを行うことができるようにすることができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した遠隔コミュニケーションシステムの一実施の形態の構成例を示すブロック図である。 前景が明るい場合の画像処理について説明する図である。 前景が暗い場合の画像処理について説明する図である。 コミュニケーション処理部の構成例を示すブロック図である。 画像処理部の構成例を示すブロック図である。 メモリ部に記憶されるデータベースの一例を示す図である。 輝度調整処理部の構成例を示すブロック図である。 輝度調整処理を説明するフローチャートである。 ライティング調整処理の第１の処理例を説明するフローチャートである。 ライティング調整処理の第２の処理例を説明するフローチャートである。 パース補正処理の第１の処理例を説明するフローチャートである。 パース補正処理の第２の処理例を説明するフローチャートである。 ノイズリダクション処理を説明するフローチャートである。 解像度調整処理の第１の処理例を説明するフローチャートである。 解像度調整処理の第２の処理例を説明するフローチャートである。 色温度調整処理を説明するフローチャートである。 前景境界調整処理を説明するフローチャートである。 選択処理の第１の処理例を説明するフローチャートである。 選択処理の第２の処理例を説明するフローチャートである。 全体的な画像処理を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　＜遠隔コミュニケーションシステムの構成例＞
　図１は、本技術を適用した遠隔コミュニケーションシステムの一実施の形態の構成例を示すブロック図である。
　図１に示すように、遠隔コミュニケーションシステム１１は、インターネットなどのネットワーク１２を介して、遠隔地にあるコミュニケーション端末１３Ａおよび１３Ｂが接続されて構成される。
　例えば、遠隔コミュニケーションシステム１１では、コミュニケーション端末１３Ａおよび１３Ｂがネットワーク１２を通して遠隔通信することで、映像および音声をリアルタイムに相互に送受信することができる。これにより、コミュニケーション端末１３Ａ側に居るユーザＡと、コミュニケーション端末１３Ｂ側に居るユーザＢとは、互いに対面しているかのように会話をすることができ、よりリアルなコミュニケーションを図ることができる。
　なお、コミュニケーション端末１３Ａおよび１３Ｂは、同様に構成されており、それらを区別する必要がない場合、単にコミュニケーション端末１３と称し、コミュニケーション端末１３Ａおよび１３Ｂを構成する各部についても同様に称する。また、コミュニケーション端末１３側のユーザ（例えば、コミュニケーション端末１３Ａに対するユーザＡ、コミュニケーション端末１３Ｂに対するユーザＢ）を、自身側のユーザと称する。一方、そのユーザのコミュニケーションの相手となるユーザ（例えば、コミュニケーション端末１３Ａに対するユーザＢ、コミュニケーション端末１３Ｂに対するユーザＡ）を、相手側のユーザと称する。
　コミュニケーション端末１３は、センサ部２１、提示部２２、およびコミュニケーション処理部２３を備えて構成される。
　センサ部２１は、例えば、提示部２２の前方に居るユーザを撮像する撮像素子、および、そのユーザが発した音声を入力するマイクロフォンなどの音声入力素子を有して構成される。その他、センサ部２１は、デプスを検出するデプスセンサや、周辺環境の明るさを検出する照度センサなどを有していてもよい。そして、センサ部２１は、自身側のユーザを撮像して得られる画像信号や、自身側のユーザの音声から得られる音声信号などをコミュニケーション処理部２３に供給し、ネットワーク１２を介して、相手側のコミュニケーション端末１３に送信させる。
　提示部２２は、例えば、相手側のユーザが写されている画像を表示するディスプレイ、および、相手側のユーザが発話した音声を出力するスピーカなどの音声出力素子を有して構成される。例えば、提示部２２には、相手側のコミュニケーション端末１３からネットワーク１２を介して送信されてくる画像信号や音声信号などが、コミュニケーション処理部２３から供給される。
　コミュニケーション処理部２３は、ネットワーク１２を介して通信を行うための通信処理や、互いのユーザどうしが良好なコミュニケーションを図ることができるようにするための画像処理など、遠隔コミュニケーションに必要な各種の処理を行う。
　例えば、コミュニケーション処理部２３は、ユーザが写された領域を前景とし、そのユーザの実際の背景とは異なる背景画像を背景として合成した合成画像を生成し、遠隔コミュニケーションを行わせることができる。例えば、ユーザのプライバシーを配慮するときや、遠隔コミュニケーションにおいて相手側に提示される提示情報（例えば、バーチャルな黒板や映像資料など）を用いる際などに合成画像が利用される。
　そして、コミュニケーション処理部２３は、合成画像を生成する際に、前景と背景画像との画質差に従って、前景または背景画像の画質を適応的に補正するような画像処理を施すことができる。これにより、コミュニケーション処理部２３は、より違和感の低減された合成画像を生成することができる。
　例えば、図２に示すように、背景画像に対して前景が明るい場合に、背景画像に前景をそのまま合成すると、暗い背景画像から前景が浮いているように見える合成画像が生成されてしまう。そこで、それらの輝度差が低減されるように、前景の輝度を下げた後に、背景画像に前景を合成する画像処理が施される。
　また、図３に示すように、背景画像に対して前景が暗い場合に、背景画像に前景をそのまま合成すると、明るい背景画像から前景が沈んでいるように見える合成画像が生成されてしまう。そこで、それらの輝度差が低減されるように、前景の輝度を上げた後に、背景画像に前景を合成する画像処理が施される。
　このように構成されるコミュニケーション端末１３は、ユーザが写されている前景を、ユーザの実際の背景とは異なる背景画像に対して、画質差が低減するように合成した合成画像を利用することで、よりリアリティのある遠隔コミュニケーションが行われるようにすることができる。これにより、ユーザどうしで、より円滑な遠隔コミュニケーションが行われる。
　ここで、遠隔コミュニケーションシステム１１では、コミュニケーション端末１３どうしの間で、音声、映像、およびメタ情報（コマンド、ユーザ情報、視聴環境情報、機器設定値など）が送受信される。なお、以下では、コミュニケーション端末１３で行われるコミュニケーション処理のうち、映像に関する処理についてのみ説明を行い、音声に関する処理についての説明は省略する。
　＜コミュニケーション処理部の構成例＞
　図４は、図１のコミュニケーション処理部２３の構成例を示すブロック図である。
　図４に示すように、コミュニケーション処理部２３は、送信情報処理部３１、符号化部３２、送信部３３、受信部３４、復号部３５、受信情報処理部３６、およびメモリ部３７を備えて構成される。
　送信情報処理部３１には、センサ部２１により撮像された画像の画像信号が供給される。そして、送信情報処理部３１は、画像信号を送信するにあたって必要となる各種の情報処理を行って、その画像信号を符号化部３２に供給する。
　符号化部３２は、例えば、H.320/H.323などの通信プロトコルに対応するブロックであり、送信情報処理部３１を介してセンサ部２１から供給される画像信号に対する符号化を行って、送信部３３に供給する。
　送信部３３は、符号化部３２により符号化された画像信号を、図１のネットワーク１２を介して相手側のコミュニケーション端末１３に送信する。
　受信部３４は、図１のネットワーク１２を介して相手側のコミュニケーション端末１３から送信されてくる画像信号を受信して、復号部３５に供給する。
　復号部３５は、符号化部３２と同様の通信プロトコルに対応するブロックであり、受信部３４から供給される画像信号（相手側のコミュニケーション端末１３の符号化部３２で符号化されている画像信号）を復号して、受信情報処理部３６に供給する。
　受信情報処理部３６は、復号部３５から供給される画像信号に対して、受信した画像信号の画像を提示部２２のディスプレイに表示するにあたって必要となる情報処理を行って、その画像を提示部２２のディスプレイに表示させる。
　メモリ部３７には、受信情報処理部３６が情報処理を行う際に参照する各種の情報が記憶されており、適宜、受信情報処理部３６に情報を供給する。なお、図示しないが、メモリ部３７は、送信情報処理部３１にも情報を供給するように構成することができる。
　このようにコミュニケーション処理部２３は構成されており、送信情報処理部３１および受信情報処理部３６において、上述したような、前景と背景画像とを合成して合成画像を生成する画像処理を行うことができる。なお、この画像処理は、遠隔コミュニケーションの用途によって、送信情報処理部３１および受信情報処理部３６のどちらか一方で行われる構成とすればよい。
　＜画像処理部の構成例＞
　図５は、上述したような合成画像を生成する画像処理を実行する画像処理部の構成例を示すブロック図である。
　図５に示すように、画像処理部４１は、前景背景分離部４２、前景背景補正部４３、および前景背景合成部４４を備えて構成され、メモリ部３７に記憶されている背景画像を用いて画像処理を行うことができる。
　ここで、図４の送信情報処理部３１において画像処理が行われる構成では、画像処理部４１には、自身側のセンサ部２１により撮像された画像が入力される。一方、図４の受信情報処理部３６において画像処理が行われる構成では、画像処理部４１には、相手側のセンサ部２１により撮像されて送信されてきた画像が入力される。なお、以下適宜、画像処理部４１に入力される画像を入力画像と称する。
　前景背景分離部４２は、入力画像から、ユーザが写されている領域を前景として抽出し、それ以外の背景となる領域から分離する。そして、前景背景分離部４２は、例えば、前景の画素値を１とし、背景の画素値を０とした前景マスク画像を生成し、前景背景補正部４３に供給する。
　前景背景補正部４３は、前景背景分離部４２から供給される前景マスク画像を利用し、前景と背景画像との画質差に従って、適応的に、入力画像または背景画像に対する補正処理を行う。そして、前景背景補正部４３は、入力画像または背景画像に対して補正処理を施すことにより得られる補正画像を前景背景合成部４４に供給する。また、前景背景補正部４３は、前景と背景との境界に対する補正を行った場合には、その補正を前景マスク画像に対して適用した補正マスクを生成し、前景背景合成部４４に供給する。なお、前景と背景との境界に対する補正が行われなかった場合には、前景マスク画像がそのまま、補正マスクとして前景背景合成部４４に供給される。
　なお、前景背景補正部４３において入力画像に対して補正処理が施された場合には、その入力画像を補正した補正画像が前景背景合成部４４に供給され、背景画像はメモリ部３７から前景背景合成部４４へ供給される。また、前景背景補正部４３において背景画像に対して補正処理が施された場合には、その背景画像を補正した補正画像が前景背景合成部４４に供給されるとともに、入力画像がそのまま前景背景合成部４４へ供給される。
　前景背景合成部４４は、前景背景補正部４３から供給される補正画像および補正マスクを利用して、背景画像に対して前景を合成した合成画像を生成して出力する。例えば、前景背景合成部４４は、入力画像が補正されている場合、補正画像（補正された入力画像）に対して補正マスクを適用した前景を、背景画像に対して合成する。また、前景背景合成部４４は、背景画像が補正されている場合、入力画像に対して補正マスクを適用した前景を、補正画像（補正された背景画像）に対して合成する。
　また、図示するように、前景背景補正部４３は、画質差低減部５１および処理選択部５２を有している。
　画質差低減部５１は、前景背景分離部４２から供給される前景マスク画像を入力画像に対して適用した前景に対し、メモリ部３７から供給される背景画像との画質差が低減されるように、複数の画像処理のうち、処理選択部５２による選択に従った画像処理を実行する。
　例えば、画質差低減部５１は、輝度調整処理部６１、ライティング調整処理部６２、パース補正処理部６３、ノイズリダクション処理部６４、解像度調整処理部６５、色温度調整処理部６６、および前景境界調整処理部６７を有し、それぞれ対応する画像処理を行う。
　輝度調整処理部６１は、例えば、図２および図３を参照して説明したように、前景および背景画像の輝度差が縮小するように、前景の輝度を調整する画像処理を行う。なお、輝度調整処理部６１の詳細な構成については、図７を参照して後述する。
　ライティング調整処理部６２は、前景および背景画像のライティングの位置または強度の違いが低減するように、例えば、背景画像のライティングの位置または強度に合わせて、前景のライティングを調整する画像処理を行う。ここで、ライティング調整処理部６２は、鏡面反射成分を抽出するのに、二色性反射モデルに基づくリアルタイム鏡面反射成分除去という手法を用いることができる。
　また、ライティング調整処理部６２は、例えば、入力画像の前景の鏡面反射成分I_in_fg、入力画像の前景の鏡面反射成分の最大値I_in_fg_max、および背景画像の鏡面反射成分の最大値I_in_bg_maxを用いて、次の式（１）に従って、補正画像の前景の鏡面反射成分I_out_fgを算出することで、前景と背景画像との鏡面反射成分の強度を合わせることができる。
Figure JPOXMLDOC01-appb-M000001
　パース補正処理部６３は、前景および背景画像のパースの違いが低減するように、例えば、背景画像の消失点に合わせるように前景の消失点の位置を調整して、前景のパースを補正（幾何補正）する画像処理を行う。また、パース補正処理部６３は、スケーリングなどの補正や、背景画像に対して前景を合成する合成位置の補正なども行うことができ、例えば、前景のユーザの足元が見える場合に、その足元が見えないように前景のスケールや合成位置などを調整する画像処理を行う。
　ノイズリダクション処理部６４は、前景および背景画像のノイズ強度の違いが低減するように、例えば、前景および背景画像のうちの、ノイズが多い一方に対してノイズリダクションを施し、ノイズが少ない他方に合わせる画像処理を行う。
　解像度調整処理部６５は、前景および背景画像の解像度の違いが低減するように、例えば、前景および背景画像のうちの、低解像度である一方に対して高解像度化処理を施し、高解像度である他方に合わせる画像処理を行う。また、解像度調整処理部６５は、センサ部２１において検出されるデプスを利用し、前景のデプスと背景画像のデプスとが異なる場合には、それらのデプス差に合わせて解像度の差を強調するように、前景に対して高解像度化処理を施す一方で、背景画像に対して低解像度化処理を施すことができる。
　色温度調整処理部６６は、前景および背景画像の色温度の違いが低減するように、例えば、前景および背景画像のうちの、一方の色温度を他方の色温度に合わせるように調整する画像処理を行う。
　前景境界調整処理部６７は、例えば、入力画像から前景を分離する分離精度が低くてアーティファクトが目立つ場合、前景と背景画像との境界が緩やかに変化するように、前景マスク画像に対して空間ローパスフィルタを適用する画像処理を行う。これにより、前景境界調整処理部６７は、前景と背景画像との境界部での混合率が調整された補正マスクを生成することができる。
　処理選択部５２は、画質差低減部５１における各画像処理の計算量や、それぞれの画像処理による効果、遠隔コミュニケーションのコンテキストなどの目的に応じて、適応的に、画質差低減部５１で実行される画像処理を選択する。
　例えば、解像度調整処理部６５および色温度調整処理部６６は、画素単位の積和演算を行うだけであるため、計算量は比較的に少ない方である。また、パース補正処理部６３は、ブロック単位の積和演算を行うため、解像度調整処理部６５および色温度調整処理部６６よりも、計算量は多くなる。また、ノイズリダクション処理部６４は、フレームメモリを使用するため、計算量（コスト）が最も多くなる。
　このように、画質差低減部５１における画像処理ごとの計算量は異なっている。そして、図６のＡに示すように、制御対象となる画像処理それぞれに対する計算量（例えば、輝度調整に対して計算量Ｃ０や、ライティング調整に対して計算量Ｃ１など）が登録されたデータベースが、メモリ部３７に記憶されている。
　そこで、処理選択部５２は、メモリ部３７に記憶されているデータベースを参照し、複数の画像処理それぞれで必要となる計算量に応じて、画質差低減部５１において適用させる画像処理を選択する。例えば、処理選択部５２は、計算量の削減が要求されている場合には、より計算量の少ない画像処理を選択する。また、処理選択部５２は、予め決められているシステム全体の限界計算量に応じて、その限界計算量を満たすような画像処理を選択する。さらに、処理選択部５２は、システムの動作温度を監視し、動作温度の上昇が検出されたときに、計算量の少ない画像処理に切り替えるように、適応的に、画像処理を選択することができる。
　ところで、画質差低減部５１において実行される画像処理においては、ある画像処理による効果が他の画像処理に対して、合成感が目立つような悪影響を及ぼすことが想定される。
　例えば、前景と背景画像との境界を調整する画像処理は、境界をぼかすことによって劣化が目立ってしまうことを抑制する効果がある一方で、解像度が低下することによって合成感が目立つようになってしまう。また、パースまたはスケーリングを補正する画像処理、および、ノイズリダクションを施す画像処理は、解像度の低下が伴うことによって合成感が目立つようになってしまう。また、色温度を補正する画像処理は、輝度の変化が伴うことによって合成感が目立つようになってしまう。
　そこで、図６のＢに示すように、第１の制御対象となる画像処理による効果が悪影響を及ぼす第２の制御対象となる画像処理が対応付けられてデータベースに登録され、メモリ部３７に記憶されている。例えば、解像度を調整する画像処理は、境界部の混合率を調整する画像処理、パースを補正する画像処理、および、ノイズリダクションを施す画像処理に悪影響を及ぼす。また、輝度を調整する画像処理は、色温度を調整する画像処理、および、ライティングを調整する画像処理に悪影響を及ぼす。また、ノイズを調整する画像処理は、境界部の混合率を調整する画像処理に悪影響を及ぼす。
　そこで、処理選択部５２は、優先する画質ファクタに応じて、それらの画像処理の中から、画質差低減部５１で実行される画像処理の組み合わせを調整する。例えば、画質ファクタの優先度は、予め決定して処理選択部５２に設定することができる。または、処理選択部５２は、遠隔コミュニケーションの状況に応じて、優先する画質ファクタを変更してもよい。また、処理選択部５２は、例えば、入力画像が高解像度である場合には、高解像度を維持することを優先するように、画像処理を選択することができる。
　また、処理選択部５２は、画質劣化が目立つ場合には、その改善を目的とした画像処理を選択することができる。例えば、処理選択部５２は、部屋が暗い場合には撮像ノイズが大きいので、ノイズ低減を優先して行うが、解像度調整は行わないように画像処理を選択する。また、処理選択部５２は、前景と背景画像の照明位置が逆となっていて、ライティングの差が目立つ場合には、ライティングの調整を優先して行うが、画面全体の輝度補正は行わないように画像処理を選択する。
　また、処理選択部５２は、保護したい画質ファクタに悪影響を及ぼさないように画像処理を選択することができる。例えば、処理選択部５２は、使用している撮像装置の解像度が高く、解像度を落とすような画像処理では画質劣化が目立つ場合には、色温度調整は行うがパース補正は行わないように画像処理を選択する。
　また、処理選択部５２は、改善の必要が無い画質ファクタ以外から画像処理を選択することができる。例えば、処理選択部５２は、前景と背景画像とを高精度に分離することができている場合には、境界の混合率の調整以外から、ユーザの選択に応じた画像処理（例えば、パース補正）を行う。
　さらに、処理選択部５２は、遠隔コミュニケーションのコンテキスト（目的や、インフラ、会話内容、対象者の属性など）に応じて、画質差低減部５１で実行される画像処理を使い分けることができる。
　例えば、処理選択部５２は、遠隔コミュニケーションの目的ごとに、画質差低減部５１で実行される画像処理を使い分けることができ、遠隔教育の用途においては、教師と生徒の表情が読み取れるように、前景の高解像度を保つことを優先する。また、処理選択部５２は、遠隔コンサルティング用途においては、相談者の表情が読み取れるように、前景の高解像度を保つことを優先する。また、処理選択部５２は、遠隔医療の用途においては、患者の状態を確認できるように、前景の色再現性を保つことを優先し、個人の映像配信の用途においては、プライバシーを保護するために背景の完全な隠蔽（前景境界補正）を優先する。
　また、処理選択部５２は、遠隔コミュニケーションのインフラごとに、画質差低減部５１で実行される画像処理を使い分けることができ、大画面ディスプレイに合成画像を表示する場合には、実物大に合わせたパース補正を優先する。
　さらに、処理選択部５２は、遠隔コミュニケーションの会話内容ごとに、画質差低減部５１で実行される画像処理を使い分けることができ、目的のない雑談をしている場合には、高画質を要求せずに省電力を優先する。また、処理選択部５２は、祖父母が遠隔の孫と会話する場合には、孫の成長に合わせて実物大表示を優先する。
　また、処理選択部５２は、遠隔コミュニケーションを行う対象者の属性ごとに、画質差低減部５１で実行される画像処理を使い分けることができ、年配者（例えば、視力の弱いユーザ）が使用する場合、解像度よりも明るさの差異を低減する画像処理を優先する。さらには、処理選択部５２は、遠隔コミュニケーションを行う個人別の事例データベースを用いて、ユーザの嗜好に応じて、優先する画像処理を切り替えるようにしてもよい。
　図７は、輝度調整処理部の構成例を示すブロック図である。
　図７に示すように、輝度調整処理部６１は、YUV変換部７１、デガンマ処理部７２、黒レベル補正部７３、白レベル補正部７４、ガンマ処理部７５、およびRGB変換部７６を備えて構成される。
　YUV変換部７１は、RGB信号からなるカラーの入力画像をYUV信号に変換し、輝度情報（Y信号）を取得して、デガンマ処理部７２に供給する。また、YUV変換部７１は、U信号およびV信号をRGB変換部７６に供給する。
　デガンマ処理部７２は、YUV変換部７１から供給される輝度情報に対してデガンマ処理を施し、線形色空間に置き換えて、黒レベル補正部７３に供給する。
　黒レベル補正部７３は、入力画像に前景マスク画像を適用した前景の暗部を明るくして、背景画像の輝度との輝度差を縮小するように、入力画像の輝度情報を調整する黒レベル補正を行う。即ち、黒レベル補正部７３は、図３に示したように、前景の輝度の最小値を背景画像の輝度の最小値に合わせるように入力画像の輝度を上昇させる補正を行う。
　白レベル補正部７４は、入力画像に前景マスク画像を適用した前景の明部を暗くして、背景画像の輝度との輝度差を縮小するように、入力画像の輝度情報を調整する白レベル補正を行う。即ち、白レベル補正部７４は、図２に示したように、前景の輝度の最大値を背景画像の輝度の最大値に合わせるように入力画像の輝度を低下させる補正を行う。
　ここで、輝度調整処理部６１では、入力画像の１フレームごとに処理が行われ、黒レベル補正部７３が黒レベル補正を施した補正強度、および、白レベル補正部７４が白レベル補正を施した補正強度がフィードバックされ、次のフレームの処理で参照される。つまり、黒レベル補正部７３および白レベル補正部７４は、１フレーム前の補正強度を参照して、時間的に徐々にパラメータを変更することができ、前景の輝度が急激に変化するのを回避することができる。
　ガンマ処理部７５は、黒レベル補正部７３による黒レベル補正および白レベル補正部７４による白レベル補正が施された入力画像の輝度情報に対してガンマ処理を施し、その処理後の輝度情報をRGB変換部７６に供給する。
　RGB変換部７６は、ガンマ処理部７５から供給される輝度情報（Y信号）と、YUV変換部７１から供給されるU信号およびV信号とを、RGB信号に変換することによりカラーの画像を取得し、補正画像として出力する。
　以上のように輝度調整処理部６１は構成されており、前景と背景画像との輝度差を縮小することで、より合成感の低減された合成画像を生成することができる。
　図８は、輝度調整処理部６１が実行する画像処理を説明するフローチャートである。
　ステップＳ１１において、YUV変換部７１は、RGB信号からなるカラーの入力画像をYUV信号に変換し、輝度情報（Y信号）を取得する。そして、YUV変換部７１は、Y信号をデガンマ処理部７２に供給するとともに、U信号およびV信号をRGB変換部７６に供給する。
　ステップＳ１２において、デガンマ処理部７２は、ステップＳ１１でYUV変換部７１から供給される輝度情報に対してデガンマ処理を施した後、黒レベル補正部７３に供給する。
　ステップＳ１３において、黒レベル補正部７３は、黒レベル補正を行って、入力画像に前景マスク画像を適用した前景の暗部の輝度と背景画像の暗部の輝度との輝度差を縮小するように、入力画像の輝度情報を調整する。
　ステップＳ１４において、白レベル補正部７４は、白レベル補正を行って、入力画像に前景マスク画像を適用した前景の明部の輝度と背景画像の明部の輝度との輝度差を縮小するように、入力画像の輝度情報を調整する。
　ステップＳ１５において、ガンマ処理部７５は、ステップＳ１２の黒レベル補正およびステップＳ１３の白レベル補正が施された入力画像の輝度情報に対してガンマ処理を施した後、RGB変換部７６に供給する。
　ステップＳ１６において、RGB変換部７６は、ステップＳ１５でガンマ処理部７５から供給される輝度情報（Y信号）と、ステップＳ１１でYUV変換部７１から供給されるU信号およびV信号とを変換し、カラーの画像（RGB信号）を取得する。そして、そのカラーの画像が補正画像として出力された後、輝度を調整する画像処理は終了される。
　このように、前景と背景画像との輝度差を縮小するように輝度を調整する画像処理により、合成画像における前景と背景画像との合成感を低減することができる。
　図９は、ライティング調整処理部６２が実行する画像処理の第１の処理例を説明するフローチャートである。
　ステップＳ２１において、ライティング調整処理部６２は、入力画像に前景マスク画像を適用した前景の鏡面反射成分と拡散反射成分とを分離するとともに、背景画像の鏡面反射成分と拡散反射成分とを分離する。
　ステップＳ２２において、ライティング調整処理部６２は、前景および背景画像のうちの、一方の鏡面反射成分の強度を、他方の鏡面反射成分の強度に合わせて調整する。
　ステップＳ２３において、ライティング調整処理部６２は、前景および背景画像のうちの、ステップＳ２２で鏡面反射成分の強度を調整した一方について、鏡面反射成分と拡散反射成分とを統合した後、ライティングを調整する画像処理は終了される。
　このように、前景と背景画像とのライティングの強度を調整する画像処理により、合成画像における前景と背景画像との合成感を低減することができる。
　図１０は、ライティング調整処理部６２が実行する画像処理の第２の処理例を説明するフローチャートである。
　ステップＳ３１において、ライティング調整処理部６２は、背景画像において光源が配置されている光源位置を推定する。
　ステップＳ３２において、ライティング調整処理部６２は、ステップＳ３１で推定した光源位置に合わせて、入力画像に前景マスク画像を適用した前景に写されているユーザの瞳における黒目に対して、キャッチライトを付加した後、ライティングを調整する画像処理は終了される。
　このように、背景画像のライティングの位置に合わせて、前景のライティングの位置を調整してキャッチライトを付加する画像処理により、合成画像における前景と背景画像との合成感を低減することができる。
　図１１は、パース補正処理部６３が実行する画像処理の第１の処理例を説明するフローチャートである。
　ステップＳ４１において、パース補正処理部６３は、入力画像に前景マスク画像を適用した前景の消失点を検出するとともに、背景画像の消失点を検出する。
　ステップＳ４２において、パース補正処理部６３は、ステップＳ４１で検出した背景画像の消失点に対して、前景の消失点を合わせるように、前景のパースを補正した後、パースを補正する画像処理は終了される。
　このように、前景と背景画像とのパースを合わせるように調整する画像処理により、合成画像における前景と背景画像との合成感を低減することができる。
　図１２は、パース補正処理部６３が実行する画像処理の第２の処理例を説明するフローチャートである。
　ステップＳ５１において、パース補正処理部６３は、入力画像に前景マスク画像を適用し、入力画像から前景を抽出する。
　ステップＳ５２において、パース補正処理部６３は、ステップＳ５１で抽出した前景として写されているユーザの足元が見えるか否かを判定する。
　ステップＳ５２において、ユーザの足元が見えると判定された場合、処理はステップＳ５３に進み、パース補正処理部６３は、ユーザの足元が見えなくなるように、その足元の高さまで前景をクリッピングする。
　一方、ステップＳ５２において、ユーザの足元が見えないと判定された場合、または、ステップＳ５３の処理後、パースを補正する画像処理は終了される。
　このように、ユーザの足元が見えなくなるように前景をクリッピングする画像処理により、例えば、ユーザの足元が見える場合には強い合成感となってしまうのと比較して、合成画像における前景と背景画像との合成感を低減することができる。
　図１３は、ノイズリダクション処理部６４が実行する画像処理を説明するフローチャートである。
　ステップＳ６１において、ノイズリダクション処理部６４は、入力画像に前景マスク画像を適用した前景のノイズ強度を検出するとともに、背景画像のノイズ強度を検出する。例えば、ノイズ強度は、フレーム間差分の平均値を算出することにより求められる。
　ステップＳ６２において、ノイズリダクション処理部６４は、ステップＳ６１で検出した前景および背景画像のノイズ強度のうちの、ノイズ強度が大きい一方に対してノイズリダクションを適用した後、ノイズリダクションを施す画像処理は終了される。例えば、ノイズリダクションとして、空間ローパスフィルタや時空間IIR（Infinite Impulse Response）フィルタなどが用いられる。
　このように、前景と背景画像とのノイズ強度を合わせるようにノイズリダクションする画像処理により、合成画像における前景と背景画像との合成感を低減することができる。
　図１４は、解像度調整処理部６５が実行する画像処理の第１の処理例を説明するフローチャートである。
　ステップＳ７１において、解像度調整処理部６５は、入力画像に前景マスク画像を適用した前景の解像度を検出するとともに、背景画像の解像度を検出し、それらの解像度差を求める。例えば、解像度調整処理部６５は、空間周波数特性を算出することにより解像度を検出することができる。
　ステップＳ７２において、解像度調整処理部６５は、ステップＳ７１で検出した前景および背景画像の解像度のうちの、解像度が小さい一方に対して、解像度差を解消するような高解像度化処理を適用した後、解像度を調整する画像処理は終了される。
　このように、前景と背景画像との解像度を合わせるように高解像度化する画像処理により、合成画像における前景と背景画像との合成感を低減することができる。
　図１５は、解像度調整処理部６５が実行する画像処理の第２の処理例を説明するフローチャートである。
　ステップＳ８１において、解像度調整処理部６５は、入力画像に前景マスク画像を適用した前景の解像度を検出するとともに、背景画像の解像度を検出する。さらに、解像度調整処理部６５は、センサ部２１において検出されるデプスを利用し、前景のデプスを検出する。また、背景画像にもデプスが設定されており、解像度調整処理部６５は、背景画像のデプスを取得する。
　ステップＳ８２において、解像度調整処理部６５は、ステップＳ８１で検出した前景のデプスと背景画像のデプスとが異なるか否か、即ち、デプス差が大きいか否かを判定する。
　ステップＳ８２において、前景のデプスと背景画像のデプスとが異なると判定された場合、即ち、デプス差が大きいと判定された場合、処理はステップＳ８３に進む。ステップＳ８３において、解像度調整処理部６５は、前景と背景とのデプス差に合わせて、解像度の差を強調するように、前景に対して高解像度化処理を適用する一方で、背景画像に対して低解像度化処理（例えば、空間ローパスフィルタなど）を適用する。
　一方、ステップＳ８２において、前景のデプスと背景画像のデプスとが異ならないと判定された場合、即ち、デプス差が小さいと判定された場合、処理はステップＳ８４に進む。ステップＳ８３において、解像度調整処理部６５は、図１４のステップＳ７２と同様に、前景および背景画像の解像度のうちの、解像度が小さい一方に対して、解像度差を解消するような高解像度化処理を適用する。
　ステップＳ８３またはＳ８４の処理後、解像度を調整する画像処理は終了される。
　このように、例えば、前景に対して背景画像が遠い（デプス差が大きい）場合には、解像度の差を強調して、背景をぼかすような画像処理により、合成画像における前景と背景画像との合成感を低減することができる。
　図１６は、色温度調整処理部６６が実行する画像処理を説明するフローチャートである。
　ステップＳ９１において、色温度調整処理部６６は、入力画像に前景マスク画像を適用した前景の色温度を検出するとともに、背景画像の色温度を検出し、それらの色温度差を求める。
　ステップＳ９２において、色温度調整処理部６６は、ステップＳ９１で検出した前景および背景画像の色温度のうちの、いずれか一方に対して、色温度差を解消するように補正する処理を適用した後、色温度を調整する画像処理は終了される。なお、色温度を補正する処理には、例えば、本願出願人により出願済みの特願2017-160167に記載の技術を利用することができる。
　このように、前景と背景画像との色温度を合わせるように調整する画像処理により、合成画像における前景と背景画像との合成感を低減することができる。
　図１７は、前景境界調整処理部６７が実行する画像処理を説明するフローチャートである。
　ステップＳ１０１において、前景境界調整処理部６７は、前景背景分離部４２による入力画像からの前景の分離精度を検出する。例えば、前景境界調整処理部６７は、前景マスク画像の境界での離接画素差分の平均と、その周囲での隣接画素差分の平均との差を求めることで、前景の分離精度を検出することができる。
　ステップＳ１０２において、前景境界調整処理部６７は、ステップＳ１０１で検出した前景の分離精度は、予め設定されている閾値以下であるか否かを判定する。
　ステップＳ１０２において、前景の分離精度が閾値以下であると判定された場合、処理はステップＳ１０３に進み、前景境界調整処理部６７は、前景マスク画像における前景と背景画像との境界に空間ローパスフィルタを適用する。これにより、前景境界調整処理部６７は、前景と背景画像との境界部での混合率が調整された補正マスクを生成する。
　ステップＳ１０３の処理後、または、ステップＳ１０２において、前景の分離精度が閾値以下でない（即ち、閾値より大きい）と判定された場合、前景の境界における混合率を調整する画像処理は終了される。
　このように、前景の境界における混合率を調整する画像処理により、入力画像から前景を分離する分離精度が低い場合に生じるアーティファクトが目立つのを抑制し、合成画像における前景と背景画像との合成感を低減することができる。
　図１８は、処理選択部５２が実行する選択処理の第１の処理例を説明するフローチャートである。
　ステップＳ１１１において、処理選択部５２は、例えば、システム全体の限界計算量や、システムの動作温度の変化に伴う計算量の低減などのような、削減されることが要求される計算量を取得する。
　ステップＳ１１２において、処理選択部５２は、ステップＳ１１１で取得した要求される計算量に応じて、上述したように、画質差低減部５１において適用させる画像処理を選択し、画質差低減部５１に対して選択を指示した後、処理は終了される。
　このように、処理選択部５２は、要求される計算量に従って適応的に、画質差低減部５１において適用させる画像処理を選択することができる。
　図１９は、処理選択部５２が実行する選択処理の第２の処理例を説明するフローチャートである。
　ステップＳ１２１において、処理選択部５２は、予め決定されている優先度や、遠隔コミュニケーションの状況、入力画像の画質（例えば、解像度）などに従って、優先する画質ファクタを設定する。
　ステップＳ１２２において、処理選択部５２は、ステップＳ１２１で設定された画質ファクタに応じて、上述したように、画質差低減部５１で実行される画像処理の組み合わせを調整した後、処理は終了される。
　このように、処理選択部５２は、優先する画質ファクタに従って適応的に、画質差低減部５１において適用させる画像処理を選択することができる。
　図２０は、図５の画像処理部４１が実行する全体的な画像処理を説明するフローチャートである。
　例えば、画像処理部４１に入力画像が供給されると処理が開始され、ステップＳ１３１において、前景背景分離部４２は、入力画像から、ユーザが写されている領域を前景として抽出し、それ以外の背景となる領域から分離する。そして、前景背景分離部４２は、例えば、前景の画素値を１とし、背景の画素値を０とした前景マスク画像を生成し、前景背景補正部４３に供給する。
　ステップＳ１３２において、処理選択部５２は、図１８および図１９を参照して上述したように、画質差低減部５１において実行される画像処理を適応的に選択し、画質差低減部５１に対する指示を行う。
　ステップＳ１３３において、画質差低減部５１は、ステップＳ１３１で前景背景分離部４２から供給される前景マスク画像を入力画像に対して適用した前景、または、背景画像に対し、ステップＳ１３２で処理選択部５２に指示された画像処理を施す。即ち、画質差低減部５１は、処理選択部５２による指示に従って、図８乃至図１７を参照して上述したいずれかの画像処理を実行し、画質差を低減するための画像処理を施した補正画像およびを補正マスク生成して前景背景合成部４４に供給する。
　ステップＳ１３４において、前景背景合成部４４は、ステップＳ１３３で前景背景補正部４３から供給される補正画像および補正マスクを利用して、背景画像に対して前景を合成した合成画像を生成する。そして、前景背景合成部４４が合成画像を出力した後、画像処理は終了される。
　＜コンピュータの構成例＞
　次に、上述した一連の処理（画像処理方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　図２１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
　あるいはまた、プログラムは、ドライブ１０９によって駆動されるリムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウェアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
　CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
　これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
　なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　＜構成の組み合わせ例＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　コミュニケーションを行うユーザが写された領域を前景とし、前記前景に対する背景として合成される背景画像との画質差に従って、前記前景および前記背景画像の少なくとも一方の画質を適応的に補正する補正部と、
　補正後の前記前景および前記背景画像を合成して合成画像を生成する合成部と
　を備える画像処理装置。
（２）
　前記ユーザが写されている入力画像から、前記前景を抽出する前景マスク画像を生成する分離部
　をさらに備える上記（１）に記載の画像処理装置。
（３）
　前記補正部は、
　　前記前景と前記背景画像との画質差を低減させるための複数の画像処理を、前記前景および前記背景画像の少なくとも一方に対して適用する画質差低減部と、
　　前記複数の画像処理のうち、前記画質差低減部において適用させる画像処理を適応的に選択する処理選択部と
　を有する
　上記（１）または（２）に記載の画像処理装置。
（４）
　前記画質差低減部は、前記前景と前記背景画像との輝度差を縮小するように輝度を調整する画像処理を行う輝度調整処理部を有する
　上記（３）に記載の画像処理装置。
（５）
　前記画質差低減部は、前記前景と前記背景画像とのライティングの位置または強度の違いが低減するようにライティングを調整する画像処理を行うライティング調整処理部を有する
　上記（３）または（４）に記載の画像処理装置。
（６）
　前記画質差低減部は、前記前景と前記背景画像とのパースの違いが低減するように幾何補正を施す画像処理を行う幾何補正処理部を有する
　上記（３）から（５）までのいずれかに記載の画像処理装置。
（７）
　前記画質差低減部は、前記前景と前記背景画像とのノイズ強度の違いが低減するようにノイズリダクションする画像処理を行うノイズリダクション処理部を有する
　上記（３）から（６）までのいずれかに記載の画像処理装置。
（８）
　前記画質差低減部は、前記前景と前記背景画像との解像度の違いが低減するように解像度を調整する画像処理を行う解像度調整処理部を有する
　上記（３）から（７）までのいずれかに記載の画像処理装置。
（９）
　前記画質差低減部は、前記前景と前記背景画像との色温度の違いが低減するように色温度を調整する画像処理を行う色温度調整処理部を有する
　上記（３）から（８）までのいずれかに記載の画像処理装置。
（１０）
　前記画質差低減部は、前記前景マスク画像において、前記前景と前記背景画像との境界部での混合率を調整する境界調整処理部を有する
　上記（３）から（９）までのいずれかに記載の画像処理装置。
（１１）
　前記処理選択部は、前記複数の画像処理それぞれで必要となる計算量に応じて、前記画質差低減部において適用させる画像処理を選択する
　上記（３）から（１０）までのいずれかに記載の画像処理装置。
（１２）
　前記処理選択部は、前記合成画像を利用したコミュニケーションにおけるコンテキストに応じて、前記画質差低減部において適用させる画像処理を選択する
　上記（３）から（１１）までのいずれかに記載の画像処理装置。
（１３）
　前記処理選択部は、前記複数の画像処理が画質に及ぼす効果に応じて、前記画質差低減部において適用させる画像処理の組み合わせを調整する
　上記（３）から（１２）までのいずれかに記載の画像処理装置。
（１４）
　画像処理を行う画像処理装置が、
　コミュニケーションを行うユーザが写された領域を前景とし、前記前景に対する背景として合成される背景画像との画質差に従って、前記前景および前記背景画像の少なくとも一方の画質を適応的に補正することと、
　補正後の前記前景および前記背景画像を合成して合成画像を生成することと
　を含む画像処理方法。
（１５）
　画像処理を行う処理装置のコンピュータに、
　コミュニケーションを行うユーザが写された領域を前景とし、前記前景に対する背景として合成される背景画像との画質差に従って、前記前景および前記背景画像の少なくとも一方の画質を適応的に補正することと、
　補正後の前記前景および前記背景画像を合成して合成画像を生成することと
　を含む画像処理を実行させるためのプログラム。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１１　遠隔コミュニケーションシステム，　１２　ネットワーク，　１３　コミュニケーション端末，　２１　センサ部，　２２　提示部，　２３　コミュニケーション処理部，　３１　送信情報処理部，　３２　符号化部，　３３　送信部，　３４　受信部，　３５　復号部，　３６　受信情報処理部，　３７　メモリ部，　４１　画像処理部，　４２　前景背景分離部，　４３　前景背景補正部，　４４　前景背景合成部，　５１　画質差低減部，　５２　処理選択部，　６１　輝度調整処理部，　６２　ライティング調整処理部，　６３　パース補正処理部，　６４　ノイズリダクション処理部，　６５　解像度調整処理部，　６６　色温度調整処理部，　６７　前景境界調整処理部，　７１　YUV変換部，　７２　デガンマ処理部，　７３　黒レベル補正部，　７４　白レベル補正部，　７５　ガンマ処理部，　７６　RGB変換部

Claims (15)

  1. 　コミュニケーションを行うユーザが写された領域を前景とし、前記前景に対する背景として合成される背景画像との画質差に従って、前記前景および前記背景画像の少なくとも一方の画質を適応的に補正する補正部と、
    　補正後の前記前景および前記背景画像を合成して合成画像を生成する合成部と
    　を備える画像処理装置。
  2. 　前記ユーザが写されている入力画像から、前記前景を抽出する前景マスク画像を生成する分離部
    　をさらに備える請求項１に記載の画像処理装置。
  3. 　前記補正部は、
    　　前記前景と前記背景画像との画質差を低減させるための複数の画像処理を、前記前景および前記背景画像の少なくとも一方に対して適用する画質差低減部と、
    　　前記複数の画像処理のうち、前記画質差低減部において適用させる画像処理を適応的に選択する処理選択部と
    　を有する
    　請求項２に記載の画像処理装置。
  4. 　前記画質差低減部は、前記前景と前記背景画像との輝度差を縮小するように輝度を調整する画像処理を行う輝度調整処理部を有する
    　請求項３に記載の画像処理装置。
  5. 　前記画質差低減部は、前記前景と前記背景画像とのライティングの位置または強度の違いが低減するようにライティングを調整する画像処理を行うライティング調整処理部を有する
    　請求項３に記載の画像処理装置。
  6. 　前記画質差低減部は、前記前景と前記背景画像とのパースの違いが低減するように幾何補正を施す画像処理を行う幾何補正処理部を有する
    　請求項３に記載の画像処理装置。
  7. 　前記画質差低減部は、前記前景と前記背景画像とのノイズ強度の違いが低減するようにノイズリダクションする画像処理を行うノイズリダクション処理部を有する
    　請求項３に記載の画像処理装置。
  8. 　前記画質差低減部は、前記前景と前記背景画像との解像度の違いが低減するように解像度を調整する画像処理を行う解像度調整処理部を有する
    　請求項３に記載の画像処理装置。
  9. 　前記画質差低減部は、前記前景と前記背景画像との色温度の違いが低減するように色温度を調整する画像処理を行う色温度調整処理部を有する
    　請求項３に記載の画像処理装置。
  10. 　前記画質差低減部は、前記前景マスク画像において、前記前景と前記背景画像との境界部での混合率を調整する境界調整処理部を有する
    　請求項３に記載の画像処理装置。
  11. 　前記処理選択部は、前記複数の画像処理それぞれで必要となる計算量に応じて、前記画質差低減部において適用させる画像処理を選択する
    　請求項３に記載の画像処理装置。
  12. 　前記処理選択部は、前記合成画像を利用したコミュニケーションにおけるコンテキストに応じて、前記画質差低減部において適用させる画像処理を選択する
    　請求項３に記載の画像処理装置。
  13. 　前記処理選択部は、前記複数の画像処理が画質に及ぼす効果に応じて、前記画質差低減部において適用させる画像処理の組み合わせを調整する
    　請求項３に記載の画像処理装置。
  14. 　画像処理を行う画像処理装置が、
    　コミュニケーションを行うユーザが写された領域を前景とし、前記前景に対する背景として合成される背景画像との画質差に従って、前記前景および前記背景画像の少なくとも一方の画質を適応的に補正することと、
    　補正後の前記前景および前記背景画像を合成して合成画像を生成することと
    　を含む画像処理方法。
  15. 　画像処理を行う処理装置のコンピュータに、
    　コミュニケーションを行うユーザが写された領域を前景とし、前記前景に対する背景として合成される背景画像との画質差に従って、前記前景および前記背景画像の少なくとも一方の画質を適応的に補正することと、
    　補正後の前記前景および前記背景画像を合成して合成画像を生成することと
    　を含む画像処理を実行させるためのプログラム。
PCT/JP2019/029365 2018-08-10 2019-07-26 画像処理装置および画像処理方法、並びにプログラム WO2020031742A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018151533A JP2020027409A (ja) 2018-08-10 2018-08-10 画像処理装置および画像処理方法、並びにプログラム
JP2018-151533 2018-08-10

Publications (1)

Publication Number Publication Date
WO2020031742A1 true WO2020031742A1 (ja) 2020-02-13

Family

ID=69415231

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/029365 WO2020031742A1 (ja) 2018-08-10 2019-07-26 画像処理装置および画像処理方法、並びにプログラム

Country Status (2)

Country Link
JP (1) JP2020027409A (ja)
WO (1) WO2020031742A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112887624A (zh) * 2021-01-26 2021-06-01 维沃移动通信有限公司 一种拍摄方法、装置和电子设备
CN116095510A (zh) * 2023-02-03 2023-05-09 维沃移动通信有限公司 拍摄方法及其装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230129028A1 (en) * 2020-03-12 2023-04-27 Sony Group Corporation Telemedicine system, telemedicine method, information processing device, and program
KR20230152022A (ko) 2021-02-24 2023-11-02 소니그룹주식회사 화상 처리 장치, 화상 처리 방법, 프로젝터 장치

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003153121A (ja) * 2001-11-19 2003-05-23 Asahi National Broadcasting Co Ltd コンテンツ再生プログラム
JP2004240732A (ja) * 2003-02-06 2004-08-26 Konica Minolta Holdings Inc 画像合成方法、画像合成装置、画像合成プログラム及び画像記録装置
JP2004266746A (ja) * 2003-03-04 2004-09-24 Megachips System Solutions Inc 画像音声通信システム
JP2004304791A (ja) * 2003-03-28 2004-10-28 Eastman Kodak Co デジタルシネマフレームコンテンツを修正する方法及び装置
JP2012174116A (ja) * 2011-02-23 2012-09-10 Ntt Docomo Inc オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
JP2014175837A (ja) * 2013-03-08 2014-09-22 Kddi Corp 被写体画像抽出および合成装置
JP2017108377A (ja) * 2015-11-30 2017-06-15 キヤノン株式会社 画像処理装置および画像処理方法、撮像装置、プログラム、記憶媒体
JP2017143376A (ja) * 2016-02-09 2017-08-17 三菱電機インフォメーションネットワーク株式会社 画像合成装置および画像合成プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003153121A (ja) * 2001-11-19 2003-05-23 Asahi National Broadcasting Co Ltd コンテンツ再生プログラム
JP2004240732A (ja) * 2003-02-06 2004-08-26 Konica Minolta Holdings Inc 画像合成方法、画像合成装置、画像合成プログラム及び画像記録装置
JP2004266746A (ja) * 2003-03-04 2004-09-24 Megachips System Solutions Inc 画像音声通信システム
JP2004304791A (ja) * 2003-03-28 2004-10-28 Eastman Kodak Co デジタルシネマフレームコンテンツを修正する方法及び装置
JP2012174116A (ja) * 2011-02-23 2012-09-10 Ntt Docomo Inc オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
JP2014175837A (ja) * 2013-03-08 2014-09-22 Kddi Corp 被写体画像抽出および合成装置
JP2017108377A (ja) * 2015-11-30 2017-06-15 キヤノン株式会社 画像処理装置および画像処理方法、撮像装置、プログラム、記憶媒体
JP2017143376A (ja) * 2016-02-09 2017-08-17 三菱電機インフォメーションネットワーク株式会社 画像合成装置および画像合成プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112887624A (zh) * 2021-01-26 2021-06-01 维沃移动通信有限公司 一种拍摄方法、装置和电子设备
CN116095510A (zh) * 2023-02-03 2023-05-09 维沃移动通信有限公司 拍摄方法及其装置

Also Published As

Publication number Publication date
JP2020027409A (ja) 2020-02-20

Similar Documents

Publication Publication Date Title
WO2020031742A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP7422832B2 (ja) 様々なレベルのメタデータを含む色管理を制御するスケーラブルシステム
US9672603B2 (en) Image processing apparatus, image processing method, display apparatus, and control method for display apparatus for generating and displaying a combined image of a high-dynamic-range image and a low-dynamic-range image
EP3465673B1 (en) Transitioning between video priority and graphics priority
US10720091B2 (en) Content mastering with an energy-preserving bloom operator during playback of high dynamic range video
US10832636B2 (en) Image processing apparatus, image processing method, and program
JP2015122110A (ja) 高ダイナミック・レンジ画像の発生およびレンダリング
US20210217150A1 (en) Object aware local tone mapping
JP5142837B2 (ja) 表示制御装置および表示制御方法
EP3343913A1 (en) Display device and method for controlling same
US10257542B1 (en) Compression encoding of images
KR20210111733A (ko) 영상을 처리하는 방법, 장치 및 기록매체
US7738723B2 (en) System and method for image display enhancement
US11544830B2 (en) Enhancing image data with appearance controls
US10298932B1 (en) Compression encoding of images
WO2015107880A1 (ja) 画像処理装置、画像処理方法及びプログラムを記録した記録媒体
KR20170048890A (ko) 콘텐츠 에코시스템에서 콘텐츠의 명암비 제어 장치 및 방법
JP2019012179A (ja) Ｈｄｒ画像表示システム
WO2021012217A1 (en) Technologies for preserving highlight details in images
Zamir et al. Automatic, fast and perceptually accurate gamut mapping based on vision science models
US10043484B2 (en) Dual-target image color rendering
JP6693269B2 (ja) 映像処理装置、映像処理方法及びプログラム
JP2024538575A (ja) メタデータを使用した複数意図画像およびビデオのエンコードおよびデコード
KR20230030435A (ko) 화상회의시 AI(artificial intelligence)를 이용한 다운스케일 및 업스케일 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19848529

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19848529

Country of ref document: EP

Kind code of ref document: A1