WO2016152633A1 - 画像処理システムおよび画像処理方法、並びにプログラム - Google Patents

画像処理システムおよび画像処理方法、並びにプログラム Download PDF

Info

Publication number
WO2016152633A1
WO2016152633A1 PCT/JP2016/058065 JP2016058065W WO2016152633A1 WO 2016152633 A1 WO2016152633 A1 WO 2016152633A1 JP 2016058065 W JP2016058065 W JP 2016058065W WO 2016152633 A1 WO2016152633 A1 WO 2016152633A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving image
subject
image processing
image
user
Prior art date
Application number
PCT/JP2016/058065
Other languages
English (en)
French (fr)
Inventor
理央 山崎
貴晶 中川
秀男 岡本
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2017508249A priority Critical patent/JP6627861B2/ja
Priority to US15/559,421 priority patent/US10600169B2/en
Priority to EP16768536.1A priority patent/EP3276951A4/en
Publication of WO2016152633A1 publication Critical patent/WO2016152633A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure

Definitions

  • the present disclosure relates to an image processing system, an image processing method, and a program, and more particularly, to an image processing system, an image processing method, and a program that enable better communication.
  • Patent Document 1 proposes a technique in which a user uses a parallax camera to cut out only the user himself / herself from a captured moving image and arranges it in the same space as the co-starring partner.
  • Patent Document 2 proposes a technique in which a user manipulates the size and movement of a virtual object including the user himself / herself by gesture in a television apparatus.
  • JP 2014-238731 A Japanese Patent Laid-Open No. 2000-197030
  • the position where the clipped user is arranged can be displayed only at a predetermined place such as “next to the other user”. It was difficult for the user to operate freely. Further, in the technique proposed in Patent Document 2 described above, for example, an operation corresponding to a case where the user's own cutout area is excessively larger than the user's intention cannot be performed, and the user himself is cut out appropriately. It was difficult.
  • the present disclosure has been made in view of such a situation, and is intended to enable better communication.
  • An image processing system for a subject moving image generated so as to include a region where the subject is reflected from a moving image in which a predetermined subject is captured, for each subject.
  • the image processing unit that performs image processing according to the operation performed on the subject moving image, the subject moving image that has been subjected to the image processing, and another moving image are combined to generate at least one
  • a composite image generation processing unit that generates a composite moving image in which the subject is arranged.
  • An image processing method or program provides, for each subject, a subject moving image that is generated from a moving image in which a predetermined subject is captured to include a region where the subject is reflected. Individually performing image processing according to the operation content performed on the subject moving image, combining the subject moving image subjected to the image processing with another moving image, and at least one of the subjects Generating a synthesized moving image in which is arranged.
  • a subject moving image that is generated from a moving image in which a predetermined subject is captured so as to include a region where the subject is reflected is individually converted into a subject moving image.
  • a composite moving image in which at least one subject is arranged by synthesizing a plurality of subject moving images subjected to the image processing and other moving images after image processing is performed according to the operation performed on the subject. An image is generated.
  • FIG. 18 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
  • FIG. 1 is a block diagram illustrating a configuration example of an embodiment of a communication system to which the present technology is applied.
  • the communication system 11 in FIG. 1 provides a service for communicating between a plurality of users at remote locations using images, and can perform image processing in the entire system.
  • the communication system 11 is configured by connecting a plurality of information processing apparatuses 13 and a distribution server 14 via a network 12 such as the Internet.
  • FIG. 1 shows a configuration example in which three information processing apparatuses 13-1 to 13-3 are connected via a network 12.
  • the information processing apparatuses 13-1 to 13-3 are, for example, camera devices having a communication function, and generate a user clipped moving image obtained by clipping a region where the user is captured from a moving image captured of each user. To do. Then, each of the information processing apparatuses 13-1 to 13-3 transmits the generated user clipped moving images to the distribution server 14 via the network 12.
  • the detailed configuration of the information processing apparatus 13 will be described later with reference to FIG.
  • the distribution server 14 aggregates all user cutout moving images transmitted from the information processing apparatuses 13-1 to 13-3 via the network 12 and performs an image composition process for superimposing them on a predetermined background moving image.
  • the distribution server 14 distributes the synthesized moving image generated by the image synthesis process to the information processing apparatuses 13-1 to 13-3 via the network 12. The detailed configuration of the distribution server 14 will be described later with reference to FIG.
  • FIG. 2 shows moving images A1 to A3 that are image processing targets in the information processing apparatuses 13-1 to 13-3, and the moving images A1 to A3 are shown on the right side of each.
  • User cutout moving images B1 to B3 obtained by cutting out the user are shown.
  • Such user clipped moving images B1 to B3 are transmitted to the distribution server 14, and, as shown on the right side of FIG. 2, a synthesized moving image C is generated by combining the user clipped moving images B1 to B3 with a predetermined background moving image. And distributed from the distribution server 14.
  • the information processing apparatuses 13-1 to 13-3 are configured in the same manner, and when it is not necessary to distinguish the information processing apparatuses 13-1 to 13-3, they are simply referred to as the information processing apparatus 13 hereinafter.
  • the moving images A1 to A3 and the user cutout moving images B1 to B3 are also referred to as a moving image A and a user cutout moving image B, respectively.
  • FIG. 3 is a block diagram showing a configuration example of the information processing apparatus 13 of FIG.
  • the information processing apparatus 13 includes a digital signal processing unit 21, a distance measurement unit 22, a cut-out image generation unit 23, a communication unit 24, a display unit 25, and an operation unit 26.
  • the digital signal processing unit 21 is supplied with, for example, a moving image A (see FIG. 2) using RGB signals imaged by an imaging device (not shown).
  • the digital signal processing unit 21 performs digital signal processing necessary for performing image processing in the cutout image generation unit 23 on the moving image A, for example, for each frame constituting the moving image A. Is obtained and supplied to the cut-out image generation unit 23.
  • the distance measuring unit 22 measures the distance to the subject shown in the moving image A supplied to the digital signal processing unit 21.
  • the distance measuring unit 22 is supplied with a plurality of moving images captured by at least two or more imaging devices (not shown) with the same composition as the moving image A. Then, the distance measuring unit 22 measures the distance to the subject imaged in the moving image A by calculating the parallax of those moving images.
  • the distance measuring unit 22 generates a depth map in which the distance from the imaging device to the subject is mapped for each pixel, and supplies the depth map to the cut-out image generating unit 23.
  • the cut-out image generation unit 23 is an object on which the target object to be cut out is copied based on the depth map supplied from the distance measurement unit 22 with respect to the moving image A supplied from the digital signal processing unit 21. By masking the region, image processing for cutting out the object from the moving image A is performed. For example, when the user is shown as shown in FIG. 2, the cut-out image generation unit 23 sets the user as a target based on the depth map, and cuts out only the user from the moving image A. 2). Then, the cut-out image generation unit 23 supplies the generated user cut-out moving image B to the communication unit 24.
  • the communication unit 24 transmits the user clipped moving image B supplied from the clipped image generation unit 23 to the distribution server 14 via the network 12. Further, when an operation by the user using the operation unit 26 is performed, the communication unit 24 adds the operation content to the user clipped moving image B and transmits the operation content. Further, the communication unit 24 receives the synthesized moving image C (see FIG. 2) distributed from the distribution server 14 and supplies it to the display unit 25.
  • the display unit 25 is configured by, for example, a liquid crystal display or an organic EL (Electro Luminescence) display, and displays the synthesized moving image C received by the communication unit 24.
  • the display unit 25 is a graphical user representing various operation contents necessary for the user to operate the user clipped moving image B synthesized with the synthesized moving image C using the operation unit 26. Display the interface.
  • the operation unit 26 includes, for example, a touch panel arranged on the surface of the display unit 25, acquires operation contents input by a user touching a user interface displayed on the display unit 25, and transmits the operation content to the communication unit 24. Supply.
  • the information processing apparatus 13 configured as described above can transmit the user clipped moving image B to the distribution server 14 and receive and display the synthesized moving image C distributed from the distribution server 14. In addition, when an operation is performed by the user, the information processing apparatus 13 can transmit the operation content added to the user clipped moving image B and can receive the synthesized moving image C in which the operation content is reflected. .
  • FIG. 4 is a block diagram showing a configuration example of the distribution server 14 of FIG.
  • the distribution server 14 includes a communication unit 31, a user management unit 32, individual user processing units 33-1 to 33-3, a background recording unit 34, and an entire image composition unit 35. .
  • the communication unit 31 receives the user clipped moving image B transmitted from the communication unit 24 of the information processing apparatus 13 via the network 12 and supplies the user cutout moving image B to the user management unit 32. In addition, the communication unit 31 transmits the synthesized moving image C supplied from the entire image synthesis unit 35 to the information processing device 13 via the network 12.
  • the user management unit 32 performs a process of distributing the user cutout moving image B for each information processing apparatus 13 that has transmitted the user cutout moving image B supplied from the communication unit 31. For example, as shown in FIG. 1, when communication is performed by the users of the information processing devices 13-1 to 13-3, the user management unit 32 is transmitted from the information processing devices 13-1 to 13-3.
  • the user clipped moving images B1 to B3 are distributed to the user individual processing units 33-1 to 33-3. That is, the user management unit 32 supplies the user cutout moving image B1 to the information processing device 13-1, supplies the user cutout moving image B2 to the information processing device 13-2, and supplies the user cutout moving image B3 to the information processing device 13. -3.
  • the user individual processing unit 33-1 includes an individual image recording unit 41-1, an operation recording unit 42-1, and an image processing unit 43-1.
  • the individual image recording unit 41-1 records the user cutout moving image B1 of the information processing apparatus 13-1 supplied from the user management unit 32.
  • the operation recording unit 42-1 extracts and records the operation content.
  • the image processing unit 43-1 processes the information processing device 13 recorded in the operation recording unit 42-1 with respect to the user clipped moving image B1 of the information processing device 13-1 recorded in the individual image recording unit 41-1.
  • the image processing according to the operation content of ⁇ 1 is performed and supplied to the entire image composition unit 35.
  • the individual image recording unit 41-1 updates and records the user cutout moving image B1 for each frame.
  • the operation recording unit 42-1 updates and records the operation content only when the operation content is added to the user cutout moving image B1. Therefore, the image processing unit 43-1 continues to perform image processing with the same operation content on the user cutout moving image B1 until the operation content recorded in the operation recording unit 42-1 is updated. become.
  • the user individual processing units 33-2 and 33-3 include individual image recording units 41-2 and 41-3, operation recording units 42-2 and 42-3, and The image processing units 43-2 and 42-3 are provided.
  • the user individual processing units 33-2 and 33-3 perform image processing on the user clipped moving images B2 and B3 and supply the processed image to the whole image composition unit 35.
  • the background recording unit 34 records various background moving images serving as backgrounds of the user clipped moving images B1 to B3 in the combined moving image C distributed from the distribution server 14, and the predetermined background moving image is recorded as an entire image combining unit. 35.
  • the whole image synthesis unit 35 synthesizes the user clipped moving images B1 to B3 individually subjected to image processing in the user individual processing units 33-1 to 33-3 with the background moving image supplied from the background recording unit 34. Image processing is performed to generate a composite moving image C. Then, the overall image composition unit 35 supplies the generated synthesized moving image C to the communication unit 31 and distributes it to the information processing devices 13-1 to 13-3 via the network 12.
  • the distribution server 14 configured as described above can individually perform image processing reflecting operation contents on the user cutout moving images B1 to B3. Then, the distribution server 14 can distribute the combined moving image C obtained by combining the user cutout moving images B1 to B3 reflecting the operation content to the information processing devices 13-1 to 13-3.
  • the images C can communicate with each other. Accordingly, in the communication system 11, for example, a communication with a sense of presence and a sense of unity between a plurality of users at remote bases is achieved, rather than a communication system in which the moving images A1 to A3 are arranged as they are on the same screen. be able to.
  • each user can perform various operations on the user clipped moving image B with respect to the synthesized moving image C displayed on the display unit 25 of the information processing apparatus 13. And since each operation content is reflected in real time, the user can concentrate on communication, without feeling the stress that the intended operation is not reflected. Therefore, in the communication system 11, better communication can be achieved among a plurality of users located at remote locations.
  • FIG. 5 shows an example in which the user of the information processing apparatus 13-1 performs an operation of freely deforming the user cutout moving image B1.
  • the operation unit 26 displays the synthesized moving image C1 on which the user interface D1 for performing free deformation is superimposed so as to surround the user cutout moving image B1 with a rectangle. To display.
  • the user touches the grid displayed at the four corners or the center of the four sides of the user interface D1 and moves the user clipped moving image B1 outward by moving the grid, and reduces the user clipped moving image B1 by moving the grid to the inside. be able to.
  • the user can translate the user cutout moving image B1 by moving it while touching an arbitrary point inside the user interface D1.
  • the user can rotate the user cutout moving image B1 by relatively rotating the two points while touching any two points inside the user interface D1.
  • the operation content (for example, touch position) is added to the user cutout moving image B1 for each frame and transmitted from the information processing apparatus 13-1.
  • the image processing unit 43-1 can perform image processing according to the operation content on the user cutout moving image B1. Therefore, the information processing apparatus 13-1 can display the synthesized moving image C1 in which the free deformation using the user interface D1 is reflected in the user cutout moving image B1 while the user is moving.
  • the user of the information processing apparatus 13-1 confirms the size and arrangement of the user clipped moving image B1 in real time while checking the size and arrangement of the user clipped moving images B2 and B3 combined with the synthesized moving image C1. Can be changed.
  • FIG. 6 shows an example in which the user of the information processing apparatus 13-1 performs an operation for deleting an unnecessary area of the user clipped moving image B1.
  • the cut-out image generation unit 23 performs image processing for cutting out the user cut-out moving image B1 from the moving image A1
  • the user has made a mistake in recognizing the displayed region, and as a result, an unnecessary region that should be deleted originally remains. May remain.
  • the synthesized moving image C2 shown in FIG. 6 shows a state in which an unnecessary area remains as indicated by a broken line outside the right arm of the user cutout moving image B1.
  • an eraser type user interface D2 for erasing the unnecessary area is displayed as the synthesized moving image. It is displayed superimposed on C2.
  • the unnecessary area is hidden.
  • the unnecessary area deletion is reset, and the unnecessary area that has been hidden is displayed.
  • the image processing unit 43 can retain accuracy information indicating the accuracy of being an unnecessary region for each region pixel, and can perform image processing for erasing the pixels with higher accuracy so that the transparency is higher.
  • an accuracy information image E1 represented by the density according to the accuracy information corresponding to the moving image A is shown, and in the lower side of FIG. 7, a user interface D2 is used.
  • An accuracy information image E2 showing a state in which the unnecessary area is deleted is shown.
  • the information processing device 13 adds the accuracy information that is really a target for each pixel of the user cutout moving image B (the higher the area is the actual target), the user cutout moving image B is added and transmitted. To do. Thereby, the image processing unit 43 can automatically adjust the influence degree of the operation according to the target object accuracy of the pixel of the user clipped moving image B.
  • the distance measurement unit 22 when calculating the distance to the subject, the distance measurement unit 22 obtains probability information indicating the probability that the calculation result is correct, and supplies the probability information to the cut-out image generation unit 23. Then, when the cut-out image generation unit 23 generates the user cut-out moving image B from the moving image A, the cut-out image generation unit 23 adds accuracy information that is a cut-out object in units of pixels.
  • the accuracy information image E1 in FIG. 7 indicates that the darker the pixel, the higher the accuracy of being an object.
  • the deletion is performed in inverse proportion to the accuracy so that the pixel having the certain degree of accuracy is not deleted.
  • the cutout moving image E3 shows deletion areas D2-a and D2-b where the user has performed an operation of deleting an unnecessary area using the user interface D2.
  • the position displayed by the user moving is moved.
  • the unnecessary area may move accompanying the user who is the object of clipping, and the unnecessary area may move from the location specified in the clipping moving image E3 one frame before.
  • the deletion area D2-b is set so as to move in accordance with the movement of the user with reference to the center of the user's face.
  • the automatic operation is performed every frame.
  • the unnecessary area of the target size at the target position can be erased. That is, even in an unnecessary area whose position moves for each frame, the user can easily continue deleting such an unnecessary area without specifying the position to be deleted for each frame. It can be carried out.
  • this center extraction method may be to detect a point where the feature point of the object region can be easily analyzed, for example, the center position of the face and its size.
  • the deletion area D2-a appears fixedly in the vicinity of the edge of the screen and does not move.
  • the deletion area D2-a is fixedly set based on the edge of the screen.
  • FIG. 9 shows an example in which the user of the information processing apparatus 13-1 sets a border design around the user cutout moving image B1.
  • the user touches and specifies the user cutout moving image B1 displayed on the display unit 25, the user operates a button (not shown) that specifies setting of the border design.
  • a synthesized moving image C3 on which the border design D3 is superimposed is displayed so as to surround the user cutout moving image B1.
  • the border design D3 is displayed not only on the display unit 25 of the information processing apparatus 13-1, but also on the display units 25 of the information processing apparatuses 13-2 and 13-3.
  • the user can specify, for example, the type of border to be designed (shape, color, etc.), the border area (width from the person toward the outside), or the degree of blurring of the edge to be cut out.
  • the specified contents are added as operation contents to the user cutout moving image B1, transmitted to the distribution server 14, and recorded in the operation recording unit 42-1.
  • the image processing unit 43-1 can perform image processing for generating a border design D3 in accordance with the user's movement according to the operation content recorded in the operation recording unit 42-1. In this way, the designated contents are reflected in the border design D3 in real time.
  • FIG. 10 shows an example in which the user of the information processing apparatus 13-1 performs an operation of trimming the user cutout moving image B1.
  • the operation unit 26 displays on the display unit 25 the synthesized moving image C4 on which the user interface D4 for performing trimming is superimposed so as to surround the user cutout moving image B1 with a rectangle. Display.
  • the user can perform an operation of designating an area in which a part outside the user interface D4 is not displayed by moving the grid displayed in the center of the four sides of the user interface D4 inward while touching.
  • the operation content for example, the position and size of the user interface D4
  • the image processing unit 43-1 can perform image processing according to the operation content on the user cutout moving image B1. Therefore, the information processing apparatus 13-1 can display the synthesized moving image C4 in which the trimming using the user interface D4 is reflected in the user cutout moving image B1 while the user is moving.
  • FIG. 11 shows an example in which the user of the information processing apparatus 13-1 performs an operation of designating the depth (Z-axis) coordinates of the user clipped moving image B1.
  • the operation unit 26 combines the user interfaces D5-a and D5-b that are used to designate the display position in the depth direction of the user clipped moving image B1.
  • the moving image C5 is displayed on the display unit 25.
  • the user interface D5-a is displayed in order to identify what is selected as a target for designating depth coordinates.
  • the user interface D5-a is displayed so as to be superimposed on the user cutout moving image B, and the user cutout moving image B is selected as a target for specifying the depth coordinate. It is shown.
  • a target for specifying the depth coordinate for example, a virtual object F1 or F2 as shown in FIG.
  • the user interface D5-b is an indicator for changing the depth coordinate, and the depth coordinate of the target selected on the user interface D5-a can be changed by performing an operation of moving the slider.
  • the maximum depth (the innermost layer) is specified by moving the slider of the user interface D5-b to the uppermost end
  • the minimum depth (frontmost) is determined by moving the slider of the user interface D5-b to the lowermost end. Side layer).
  • operation contents for example, depth coordinates
  • the image processing unit 43-1 can set a layer for the user clipped moving image B1 according to the operation content, and the composition processing by the whole image composition unit 35 is performed in the order corresponding to the layer. Is called. Therefore, the user of the information processing apparatus 13-1 can set the depth coordinate of the user cutout moving image B1 while confirming the relative depth with respect to the user cutout moving image B2 or B3.
  • the user interface D5-b will be further described with reference to FIG.
  • FIG. 12A shows a synthesized moving image C6 in which the user clipped moving images B4 and B5 and the virtual objects F1 and F2 are synthesized.
  • FIG. 12B shows a layer structure of the synthesized moving image C6. It is shown.
  • the synthesized moving image C6 is configured by superimposing five layers L1 to L5.
  • a background image is set for the layer L1
  • a user cutout moving image B4 is set for the layer L2.
  • a virtual object F1 (sofa) is set in the layer L3
  • a user cutout moving image B5 is set in the layer L4
  • a virtual object F2 (houseplant) is set in the layer L5.
  • the user cutout moving image B4 is displayed behind the virtual object F1
  • the user cutout moving image B5 is displayed on the front side of the virtual object F1.
  • the user interface D5-b displayed on the synthesized moving image C5 in FIG. 11 corresponds to the depth coordinates of the layers L1 to L5, as shown in B of FIG.
  • the background moving image and the user cut-out moving image B are arranged in the space represented by the X-axis direction, the Y-axis direction, and the Z-axis direction, and a synthesized moving image C in which they are combined is displayed. Displayed on the unit 25. And since the synthetic
  • a layer structure as shown in FIG. 12B can be displayed temporarily only during the operation.
  • a layer structure in which all moving images used when the entire image combining unit 35 generates the combined moving image C is arranged in an oblique direction according to the layer information is transmitted from the distribution server 14 to the information processing device 13.
  • the user can visually grasp the depth coordinates of all moving images, and can easily perform an operation of setting desired depth information.
  • a layer structure as shown in FIG. 12B is displayed.
  • a desired location on the user interface D5-b for example, a location indicated by a white arrow
  • a more intuitive operation can be provided as compared with an operation in which depth (Z-axis) coordinates are input as an absolute value.
  • the user can perform an operation on the user cutout moving image B using various user interfaces, and can easily reflect the operation on the synthesized moving image C.
  • the operation content is assumed that the user clipped moving image B before operation is in a three-dimensional space in the X-axis direction (horizontal direction), the Y-axis direction (vertical direction), and the Z-axis direction (depth direction).
  • the user clipped moving image B after the operation is classified into those that can be expressed by affine transformation and those that cannot be expressed by affine transformation.
  • affine transformation is described as an example of image processing that uses a conversion parameter that is uniquely determined corresponding to a user clipped moving image even if the user moves in the image processing according to the operation content. To do.
  • image processing using such a conversion parameter other than affine transformation (for example, projective transformation, similarity transformation, inversion transformation, etc.) may be applied.
  • the operation contents that can be expressed by affine transformation are operations such as enlargement or reduction of the user clipped moving image B, translation, and rotation (see FIG. 5).
  • the center coordinates of the user clipped moving image B before operation are fixed as the origin of conversion, the user can specify once even in continuous moving images by continuing to execute the same processing on the target area for each frame. Can be reflected continuously.
  • the operation contents that cannot be expressed by affine transformation include operations for trimming a user-designated area in the user clipped moving image B (see FIG. 10) and operations for erasing a user-designated part by pixel flattening processing. (See FIG. 6).
  • the operation content transmitted from the information processing apparatus 13 to the distribution server 14 can include information indicating whether the operation can be expressed by affine transformation, in addition to the information indicating the operation content itself.
  • FIG. 13 is a diagram showing the format of the operation content transmitted from the information processing apparatus 13 to the distribution server 14.
  • the operation content includes an operation ID (Identification), a target user ID, type information, reference information, a conversion flag, remaining time information, and a conversion parameter.
  • the operation ID in order to identify all operation contents transmitted / received in the communication system 11, for example, a number that is moved up and registered in the order of transmission / reception is set.
  • the target user ID a number assigned to identify the information processing apparatus 13 connected to the communication system 11 is set. For example, the target user ID “0” is assigned to the information processing device 13-1, the target user ID “1” is assigned to the information processing device 13-1, and the target user ID “2” is assigned to the information processing device 13-1. It is done.
  • the type information information indicating the operation content performed by the user is set. For example, as described above with reference to FIG. 6, the type information “delete” is set when the user performs an operation of deleting an unnecessary area.
  • the type information “enlargement” is set.
  • the type information “animation” is set.
  • the type information “trimming” is set.
  • the reference position information information indicating a reference position when reflecting the operation content is set.
  • the reference information “face center” is set when an operation for deleting an unnecessary area is performed with the face center of the user clipped moving image B as a reference.
  • the reference information “upper right” is set when an operation for deleting an unnecessary area is performed around the upper right end of the user interface D2-a.
  • the conversion flag information indicating whether or not the operation content is reflected by affine transformation is set. For example, when the operation content is deletion or trimming, a conversion flag “N” indicating that the operation content is not reflected by the affine transformation is set. On the other hand, when the operation content is enlargement or animation, a conversion flag “Y” indicating that the operation content is reflected by the conversion is set.
  • ⁇ Various parameters necessary to reflect the operation details are set in the conversion parameters. For example, as described above with reference to FIG. 8, when the user performs an operation of deleting an unnecessary area, the positional relationship centered on the position set as the deletion reference and the strongness of the deletion are deleted. A conversion parameter “positional relationship from relative center, strength” is set. When the user performs an operation of enlarging the user clipped moving image B using the user interface D1 shown in FIG. 5, the center position set as the enlargement reference and the magnification for enlarging are performed. A conversion parameter “enlargement center and enlargement ratio” is set.
  • an “animation ID” for designating an animation is set as the conversion parameter.
  • the relative trimming is performed with the position set as the trimming reference as the center.
  • a conversion parameter “relative position from the center, relative size” indicating the position and size to be performed is set.
  • the operation content in the format as described above is transmitted from the information processing device 13 to the distribution server 14, so that the distribution server 14 can perform image processing according to the operation content.
  • FIG. 14 is a flowchart for explaining processing performed in the information processing apparatus 13 of FIG.
  • step S ⁇ b> 11 the digital signal processing unit 21 acquires the moving image A (see FIG. 2) captured by an imaging device (not shown), performs digital signal processing, and image data for each frame constituting the moving image A. Is supplied to the cut-out image generation unit 23.
  • step S ⁇ b> 12 the distance measurement unit 22 calculates, for example, the parallax of a plurality of moving images, generates a depth map in which the distance from the imaging device to the subject is mapped for each pixel, and supplies the depth map to the cut-out image generation unit 23. .
  • step S13 the cut-out image generation unit 23 cuts out an object from the moving image A supplied from the digital signal processing unit 21 in step S11, based on the depth map supplied from the distance measurement unit 22 in step S12. I do. Thereby, the cut-out image generation unit 23 generates the user cut-out moving image B and supplies it to the communication unit 24.
  • step S14 the communication unit 24 determines whether or not there is an operation by the user. For example, the communication unit 24 determines that there is an operation by the user when the operation content according to the operation by the user is supplied from the operation unit 26, and if the operation content is not supplied from the operation unit 26, the operation by the user is performed. Judge that there was no.
  • step S14 If it is determined in step S14 that there is an operation by the user, the process proceeds to step S15, and the communication unit 24 adds the operation content to the user cutout moving image B supplied from the cutout image generation unit 23 in step S13. To the distribution server 14.
  • step S14 determines whether there is no operation by the user. If it is determined in step S14 that there is no operation by the user, the process proceeds to step S16, and the communication unit 24 transmits the user clipped moving image B supplied from the clipped image generation unit 23 in step S13 to the distribution server. 14 to send.
  • step S15 or S16 the process proceeds to step S17, and the communication unit 24 receives the synthesized moving image C transmitted from the distribution server 14 and supplies it to the display unit 25.
  • the display unit 25 Display image C. Thereafter, the process returns to step S11, and the same process is repeated thereafter.
  • the information processing apparatus 13 can transmit the user cutout moving image B obtained by cutting out the user from the moving image A to the distribution server 14. Further, when an operation by the user is performed, the operation content can be added to the user cutout moving image B and transmitted to the distribution server 14.
  • FIG. 15 is a flowchart for explaining processing performed in the distribution server 14 of FIG.
  • processing is started when a plurality of information processing devices 13 are notified of participation in a service provided in the communication system 11.
  • the communication unit 31 receives the user cutout moving image B transmitted from the information processing apparatus 13 and supplies the user cutout moving image B to the user management unit 32.
  • the user management unit 32 refers to the target user ID added to the user cutout moving image B, for example, and the user individual processing unit 33 corresponding to the information processing apparatus 13 that has transmitted the user cutout moving image B.
  • a user cutout moving image B is supplied.
  • the user individual processing unit 33 records the user cutout moving image B in the individual image recording unit 41 and, if the operation content is added to the user cutout moving image B, stores the operation content in the operation recording unit 42. Record.
  • step S23 out of a predetermined number of user individual processing units 33 corresponding to the number of information processing devices 13 connected to the communication system 11, non-affine transformation processing content is recorded in the operation recording unit 42.
  • the image processing unit 43 individually performs image processing on the user cutout moving image B. That is, image processing according to the operation content in which the conversion flag “N” is set in the operation content recorded in the operation recording unit 42 of the user individual processing unit 33, for example, operations such as trimming and unnecessary area deletion are supported.
  • the image processing to be performed is performed individually.
  • step S24 the whole image composition unit 35 requests the user clipped moving image B in descending order of depth from the predetermined number of user individual processing units 33.
  • step S25 the predetermined number of user individual processing units 33 determines whether or not the user clipped moving image B is requested. Then, for the user individual processing unit 33 that determines that the user cutout moving image B is not requested, the process returns to step S24, and the process waits. On the other hand, the user individual processing unit 33 that has determined that the user cutout moving image B has been requested is a target to which the user cutout moving image B is transmitted, and the processing proceeds to step S26.
  • step S ⁇ b> 26 the target user individual processing unit 33 supplies the user cutout moving image B in response to a request from the overall image synthesis unit 35. At this time, if the operation content for which the conversion flag “Y” is set is recorded in the operation recording unit 42, the target user individual processing unit 33 includes the processing content as well as the user clipped moving image B for the entire image composition unit 35. To supply.
  • the entire image composition unit 35 superimposes the user clipped moving image B on the background moving image supplied from the background recording unit 34 in the order of depth.
  • the entire image synthesis unit 35 performs image processing reflecting the processing content, for example, image processing corresponding to an operation such as enlargement or reduction, and the user The cutout moving image B is superimposed on the synthesized moving image C.
  • step S27 the whole image composition unit 35 determines whether or not all the user cutout moving images B corresponding to the predetermined number of user individual processing units 33 have been synthesized.
  • step S27 If it is determined in step S27 that the entire image composition unit 35 has not synthesized all the user cutout moving images B corresponding to the predetermined number of user individual processing units 33, the process returns to step S24. Then, the same processing is repeated for the user cutout moving image B having the next deepest depth.
  • step S27 if it is determined in step S27 that the entire image composition unit 35 has synthesized all the user cutout moving images B corresponding to the predetermined number of user individual processing units 33, the process proceeds to step S28.
  • step S28 the entire image composition unit 35 supplies the generated synthesized moving image C to the communication unit 31 and transmits it to the information processing device 13 via the network 12. Thereafter, the processing returns to step S21, and the same processing is repeated thereafter with the next frame as a processing target.
  • the distribution server 14 can perform image processing individually for the non-affine transformation processing, and perform image processing for the affine transformation processing when the user clipped moving image B is synthesized. Then, a synthesized moving image C obtained by synthesizing all the user clipped moving images B in order of depth can be generated and transmitted to the information processing apparatus 13.
  • the method for calculating the distance to the subject by the distance measuring unit 22 of the information processing device 13 is not limited to the method for calculating the parallax as described above, and generating a map for clipping the target object. It is possible to adopt various methods that are possible.
  • the distance measuring unit 22 calculates the distance based on the time difference from when the subject is irradiated with infrared rays until the infrared rays are reflected and returned, or according to the surface of the subject by applying pattern light. A method of calculating the distance based on the degree of deformation of the pattern may be employed.
  • imaging is performed with a specific color such as a green background or a blue background as a background, and the background is removed by making the component of the specific color transparent, so that the user can It is possible to generate a moving image (moving image excluding the region where the user is shown) composed of the displayed region. That is, in addition to generating a user cutout moving image by cutting out a region where the user is shown, a moving image including a region where the user is shown is generated by a method other than the cutout and synthesized with the combined moving image. Also good.
  • the function sharing between the information processing device 13 and the distribution server 14 is limited to the configuration described above with reference to FIGS. It will never be done.
  • the image processing for each user clipped moving image B performed by the user individual processing unit 33 in the distribution server 14 may be performed in the information processing apparatus 13, and the user clipped moving image that has been subjected to image processing in the information processing apparatus 13 Image B may be transmitted.
  • these functions may be implemented as software on an information processing terminal such as a personal computer or a smartphone, a digital signal may be acquired from an external camera device, and the subsequent processing may be performed.
  • FIG. 16 is a block diagram illustrating a modified example of the information processing apparatus 13.
  • the information processing apparatus 13 ⁇ / b> A includes two separate apparatuses, an image transmission apparatus 51 and a user interface apparatus 52.
  • the image transmission device 51 includes a digital signal processing unit 21, a distance measurement unit 22, a cut-out image generation unit 23, and a communication unit 24-1. A user cut-out moving image B generated by the cut-out image generation unit 23 is displayed. Transmit to the distribution server 14.
  • the image transmission device 51 can be provided by software as a partial function of a camera device having an imaging function.
  • the user interface device 52 includes a communication unit 24-2, a display unit 25, and an operation unit 26.
  • the user interface device 52 displays the synthesized moving image C distributed from the distribution server 14 on the display unit 25.
  • the operation content input by the operation is transmitted to the distribution server 14.
  • the user interface device 52 can use a web browser that provides operation content input, image display, and the like by software.
  • an image displayed on the user interface device 52, an input operation content, and the like are held as a web program on the distribution server 14 side, and the user accesses the distribution server 14 from a web browser so that the distribution server 14 14 functions can be used.
  • the display may be changed according to the interaction between the user cutout moving images B, in addition to the display changing according to the user's operation on the operation unit 26.
  • user cutout moving images B1 and B2 are displayed side by side.
  • layers are set at the same depth coordinate.
  • the user of the information processing apparatus 13-2 tilts toward the user side of the information processing apparatus 13-1 with a certain degree of acceleration, as shown in the middle synthesized video C7-2 in FIG. It is assumed that the head of B2 is in contact with the head of the user cutout moving image B1.
  • the whole image composition unit 35 can interpret the interaction when a head-to-head operation is performed, and performs image processing according to the interaction.
  • the entire image synthesizing unit 35 can perform image processing such that the user clipped moving image B1 flies while turning around.
  • the operator who provides the service by the communication system 11 can set in advance the contents that change the display according to the interaction between the user cutout moving images B and the conditions that cause the change of the display.
  • each user may set the contents and conditions exclusively for himself / herself.
  • the display in addition to the operation using the user interface, the display is automatically performed (without operation) in accordance with a predetermined interaction based on the positional relationship and the situation between the user clipped moving images B. Can be changed. Further, for example, the display may be changed automatically (without operation) in accordance with the positional relationship and the situation between the user cutout moving image B and the background moving image.
  • FIG. 18 illustrates processing for reflecting pre-registered operation contents at a specified time.
  • the communication system 11 As described above, in the communication system 11, various operation contents are reflected in the user clipped moving image in real time, and a composite moving image subjected to image processing according to the operation contents is distributed.
  • the communication system 11 does not reflect the operation content on the object in real time.
  • the operation content is registered in advance so that the operation content is reflected at the specified time.
  • a synthesized moving image that has been subjected to image processing according to the operation content can be distributed.
  • the operation content registration screen 101 shown in FIG. 18 is used to pre-register operation content, and displays a preview window 102, a work window 103, a toolbar 104, and a time management window 105.
  • the current frame of the synthesized moving image distributed from the distribution server 14 and the layer structure of the frame are displayed.
  • three layers are displayed, and a layer number indicating the order of each layer is displayed at the upper left of the frame representing the layer.
  • a background moving image is set for the layer of layer number 1
  • a person A on the left side is set for the layer of layer number 2
  • a person B on the right side is set for the layer of layer number 3
  • a composite moving image for which is set is displayed.
  • a layer for specifying the operation content is displayed.
  • a state in which operations are performed on five layers is illustrated, and layer numbers indicating the order of the layers are displayed on the upper left of the frame representing the layers.
  • the letter A arranged on the left side is set in the layer of layer number 4, and the layer of layer number 5 is arranged on the right side.
  • the letter B is set.
  • the toolbar 104 displays buttons for selecting various tools used when designating the operation content.
  • time management window 105 a time bar for designating the timing for reflecting the operation content registered in the work window 103 is displayed for each layer displayed in the work window 103.
  • the arrow displayed at the left end of the time bar indicates the time of the currently displayed frame, and the operation content specified using the time bar flows to the left as time passes.
  • the timing for starting the reflection of the operation content and the timing for completing the reflection of the operation content can be registered in advance in association with the operation content.
  • the display magnification of the composite moving image is currently set to 1 ( ⁇ 1.0), and zooming is started from a predetermined timing to increase the display magnification of the composite moving image to 1.25 times.
  • An example in which operation contents are registered is shown.
  • the display magnification change starts from the timing of the arrow shown on the left side of the operation content registration screen 101 near the center, and the display magnification becomes 1.25 times ( ⁇ 1.25) at the timing of the arrow shown on the right side.
  • the two people and the background are enlarged and displayed.
  • the operation content registration screen 101 the operation content for displaying the characters A and B during the period when the display magnification is changed is registered. Accordingly, the characters A and B are displayed at the timing when the zoom is started, and the characters A and B are not displayed at the timing when the zoom is completed. At this time, the characters A and B are also enlarged and displayed in accordance with the change in display magnification.
  • the communication system 11 transmits the operation content pre-registered using the operation content registration screen 101 from the information processing device 13 to the distribution server 14 according to the timing of reflecting the operation content. It is possible to deliver the synthesized moving image that has been subjected to the image processing according to the operation content at the timing when it becomes.
  • the operation contents to be reflected can be determined according to a predetermined method.
  • the operation content determination screen 111 shown in FIG. 19 is used in a method of determining the operation content to be reflected by viewers voting on the operation content registered in advance by a large number of users. As shown in the figure, a preview window 112, a trial viewing window 113, and an entry window 114 are displayed on the operation content determination screen 111.
  • the current frame of the synthesized moving image distributed from the distribution server 14 is displayed.
  • the composite moving image reflecting the operation content registered in advance by an arbitrary user is viewed as a trial, the composite moving image is displayed. Then, when trial viewing a moving image reflecting the operation content and voting for the operation content, an operation is performed on the good button arranged in the test viewing window 113.
  • operation contents pre-registered by various users are represented by bands for each time axis. Then, by touching the band displayed in the entry window 114, the synthesized moving image reflecting the operation content is displayed in the trial viewing window 113.
  • the operation content determination screen 111 shown in FIG. 19 an example in which operations for all layers of a synthesized moving image are voted together has been described.
  • a layer such as a background layer or a person layer is used. You may make it vote for every. For example, what kind of voting is performed can be selected when the distributor of the moving image starts distribution.
  • bands of operation contents pre-registered for each layer are displayed for each layer. Then, voting is performed for each layer. For example, in the case of the operation content pre-registered by different users in the background layer and the person layer, the ones with the most votes are combined. Has been adopted.
  • the method of determining the pre-registered operation content is not limited to the method of determining by such voting.
  • the operation content may be determined by a method that employs the operation content in which those materials are most frequently used.
  • the operation content may be determined by the selection of the user by a method in which any one user (for example, a moving image distributor) has the right to determine.
  • the processing for synthesizing all the user clipped moving images transmitted from the information processing devices 13-1 to 13-3 in the distribution server 14 has been described.
  • the user clipped moving image transmitted from the information processing device 13 may be combined with the background moving image and distributed.
  • a virtual object generated by computer graphics may be combined with one user cut out moving image and distributed.
  • the processes described with reference to the flowcharts described above do not necessarily have to be processed in chronological order in the order described in the flowcharts, but are performed in parallel or individually (for example, parallel processes or objects). Processing).
  • the program may be processed by one CPU, or may be distributedly processed by a plurality of CPUs.
  • the above-described series of processing can be executed by hardware or can be executed by software.
  • a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs.
  • the program is installed in a general-purpose personal computer from a program recording medium on which the program is recorded.
  • FIG. 20 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 205 is further connected to the bus 204.
  • the input / output interface 205 includes an input unit 206 composed of a keyboard, mouse, microphone, etc., an output unit 207 composed of a display, a speaker, etc., a storage unit 208 composed of a hard disk or nonvolatile memory, and a communication unit 209 composed of a network interface.
  • a drive 210 for driving a removable medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is connected.
  • the CPU 201 loads, for example, the program stored in the storage unit 208 to the RAM 203 via the input / output interface 205 and the bus 204 and executes the program. Is performed.
  • Programs executed by the computer (CPU 201) are, for example, a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc), etc.), a magneto-optical disk, or a semiconductor.
  • the program is recorded on a removable medium 211 that is a package medium composed of a memory or the like, or provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 208 via the input / output interface 205 by attaching the removable medium 211 to the drive 210.
  • the program can be received by the communication unit 209 via a wired or wireless transmission medium and installed in the storage unit 208.
  • the program can be installed in the ROM 202 or the storage unit 208 in advance.
  • this technique can also take the following structures.
  • a subject moving image generated so as to include a region where the subject is reflected from a moving image in which a predetermined subject is captured the subject moving image is performed individually for each subject.
  • An image processing unit that performs image processing according to the operation content;
  • An image processing system comprising: a synthesized image generation processing unit configured to synthesize the subject moving image subjected to image processing and another moving image to generate a synthesized moving image in which at least one subject is arranged.
  • the image processing system wherein the image processing unit reflects the latest operation content recorded in the operation recording unit on the subject moving image recorded in the individual image recording unit. .
  • a distance measuring unit that measures the distance to the subject that is captured in the moving image; (1) or (1), further comprising: a cut-out image processing unit that performs image processing for cutting out the subject from the moving image in which a predetermined subject is captured based on the distance to the subject measured by the distance measurement unit.
  • the image processing system adds accuracy information indicating the probability that the calculation result is correct when performing an operation for measuring the distance to the subject to the subject moving image in units of pixels constituting the moving image.
  • the image processing unit refers to the accuracy information when an operation for deleting the unnecessary area is performed in a state where the unnecessary area that should be deleted is left by the cut-out image processing unit.
  • the image processing unit performs image processing to delete the unnecessary area according to a relative position and a relative size from the one area part, with the one area part automatically detectable in the subject moving image as a center.
  • Image processing system (6)
  • the image processing unit performs image processing to delete the unnecessary area that appears fixedly in the moving image that is a target for generating the subject moving image according to a position set with respect to the moving image. Or the image processing system as described in (5).
  • the image processing unit based on the operation content to be trimmed with respect to the subject moving image, based on the position and size for performing relative trimming around a reference position set as a reference for the trimming
  • the image processing system according to any one of (1) to (6), wherein image processing for trimming a moving image is performed.
  • the image processing unit performs image processing corresponding to the operation content on the subject moving image using a conversion parameter uniquely determined corresponding to the subject moving image even if the subject moves.
  • the image processing system according to any one of 1) to (7).
  • the image processing unit Register in advance so that the operation content is reflected at the specified time, The image processing unit performs image processing corresponding to the registered operation content on the subject moving image at the timing when the designated time comes. Any one of (1) to (9) The image processing system described. (11) When a plurality of the operation details are registered in advance to be reflected at a predetermined designated time, among those operation details, a vote is performed for the operation content to be actually reflected, The image processing system according to (10), wherein the image processing unit performs image processing on the subject moving image at the timing when the designated time is reached, according to the operation content having received the most votes.
  • a subject moving image generated so as to include a region where the subject is reflected from a moving image in which a predetermined subject is captured the subject moving image is performed individually for each subject.
  • An image processing method comprising: synthesizing the subject moving image subjected to image processing and another moving image to generate a combined moving image in which at least one subject is arranged.
  • the subject moving image is performed individually for each subject.
  • a program for causing a computer to execute image processing including a step of combining the subject moving image subjected to image processing and another moving image to generate a combined moving image in which at least one of the subjects is arranged.
  • 11 communication system 12 network, 13-1 to 13-3 information processing device, 14 distribution server, 21 digital signal processing unit, 22 distance measurement unit, 23 cutout image generation unit, 24 communication unit, 25 display unit, 26 operation unit , 31 Communication unit, 32 User management unit, 33-1 to 33-3 User individual processing unit, 34 Background recording unit, 35 Whole image composition unit, 41-1 to 41-3 Individual image recording unit, 42-1 to 42 -3 Operation recording unit, 43-1 to 43-3 Image processing unit, 51 Image transmission device, 52 User interface device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

　本開示は、より良好なコミュニケーションを図ることができるようにする画像処理システムおよび画像処理方法、並びにプログラムに関する。 情報処理装置は、所定の被写体が撮像されている動画像から被写体を切り抜く画像処理を行い、被写体の切り抜き動画像を生成する切り抜き部と、被写体の切り抜き動画像に対して行われた操作の操作内容を取得する操作内容取得部とを備える。配信サーバは、複数の被写体の切り抜き動画像に対して、被写体ごとに個別に、操作内容に応じた画像処理を行う画像処理部と、画像処理が施された複数の被写体の切り抜き動画像を合成して、複数の被写体が配置される合成動画像を生成する合成部とを備える。本技術は、例えば、画像を利用して遠隔拠点にいる複数のユーザどうしのコミュニケーションを図るコミュニケーションシステムに適用できる。

Description

画像処理システムおよび画像処理方法、並びにプログラム
　本開示は、画像処理システムおよび画像処理方法、並びにプログラムに関し、特に、より良好なコミュニケーションを図ることができるようにした画像処理システムおよび画像処理方法、並びにプログラムに関する。
　近年、テレビ電話やテレビ会議、ユーザによる公開生放送などのように、動画像を利用したコミュニケーションシステムを提供するサービスが増加している。例えば、コミュニケーションシステムの中には、遠隔拠点にいる複数のユーザが同一の画面上に共演するというユースケースがある。
　このような共演の演出手法としては、遠隔拠点のそれぞれが持つビデオカメラで撮影した動画像を、そのまま同じ画面上に並べて配置するものが主流である。この手法では、同時に各ユーザの様子を閲覧することはできるものの、複数のユーザそれぞれの動画像が並んでいるだけなので、ユーザ達が共演して配信をしているという臨場感や一体感がなかった。
　これに対して、特許文献１には、ユーザが、視差カメラを使用して、撮影した動画像からユーザ自身だけを切り抜いて、共演の相手と同じ空間に配置する技術が提案されている。また、特許文献２には、テレビ装置において、ユーザ自身を含む仮想オブジェクトの大きさや動きを、ユーザが身振りにより操作する技術が提案されている。
特開２０１４－２３８７３１号公報 特開２０００－１９７０３０号公報
　ところで、上述した特許文献１で提案されている技術では、例えば、切り抜いたユーザを配置する位置を「相手ユーザの隣」など、あらかじめ決められた箇所にしか表示することができず、表示方法に関してユーザが自由に操作することは困難であった。また、上述した特許文献２で提案されている技術では、例えば、ユーザ自身の切抜き領域がユーザの意図よりも余分に大きい場合などに対応する操作を行うことができず、ユーザ自身を適切に切り抜くことは困難であった。
　このように、従来の技術では、コミュニケーションシステムにおいて、ユーザの操作を適切に反映させることが困難な場合があり、より良好なコミュニケーションを図ることができないことがあった。
　本開示は、このような状況に鑑みてなされたものであり、より良好なコミュニケーションを図ることができるようにするものである。
　本開示の一側面の画像処理システムは、所定の被写体が撮像されている動画像から前記被写体が映されている領域を含むように生成された被写体動画像に対して、前記被写体ごとに個別に、前記被写体動画像に対して行われた操作内容に応じた画像処理を行う画像処理部と、画像処理が施された前記被写体動画像と、他の動画像とを合成して、少なくとも１つの前記被写体が配置される合成動画像を生成する合成画像生成処理部とを備える。
　本開示の一側面の画像処理方法またはプログラムは、所定の被写体が撮像されている動画像から前記被写体が映されている領域を含むように生成された被写体動画像に対して、前記被写体ごとに個別に、前記被写体動画像に対して行われた操作内容に応じた画像処理を行い、画像処理が施された前記被写体動画像と、他の動画像とを合成して、少なくとも１つの前記被写体が配置される合成動画像を生成するステップを含む。
　本開示の一側面においては、所定の被写体が撮像されている動画像から被写体が映されている領域を含むように生成された被写体動画像に対して、被写体ごとに個別に、被写体動画像に対して行われた操作内容に応じた画像処理が行われ、その画像処理が施された複数の被写体動画像と、他の動画像とが合成されて、少なくとも１つの被写体が配置される合成動画像が生成される。
　本開示の一側面によれば、より良好なコミュニケーションを図ることができることができる。
本技術を適用したコミュニケーションシステムの一実施の形態の構成例を示すブロック図である。 コミュニケーションシステムにおいて配信される合成動画像について説明する図である。 情報処理装置の構成例を示すブロック図である。 配信サーバの構成例を示すブロック図である。 ユーザ切り抜き動画像に対する自由変形の操作について説明する図である。 ユーザ切り抜き動画像に対する不要領域消去の操作について説明する図である。 確度情報に基づいた画像処理について説明する図である。 不要領域の削除が継続して行われる処理について説明する図である。 ユーザ切り抜き動画像の周囲に縁取りデザインを設定する操作について説明する図である。 ユーザ切り抜き動画像に対するトリミングの操作について説明する図である。 ユーザ切り抜き動画像に対して奥行き座標を指定する操作について説明する図である。 奥行き座標について説明する図である。 操作内容のフォーマットを示す図である。 情報処理装置において行われる処理を説明するフローチャートである。 配信サーバにおいて行われる処理を説明するフローチャートである。 情報処理装置の変形例を示すブロック図である。 ユーザ切り抜き動画像どうしのインタラクションによる表示の変化について説明する図である。 事前登録された操作内容を指定時刻に反映させる処理について説明する図である。 反映させる操作内容を決定する方法について説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　図１は、本技術を適用したコミュニケーションシステムの一実施の形態の構成例を示すブロック図である。
　図１のコミュニケーションシステム１１は、画像を利用して遠隔拠点にいる複数のユーザどうしのコミュニケーションを図るサービスを提供し、システム全体で画像処理を行うことができる。例えば、図示するように、コミュニケーションシステム１１は、インターネットなどのネットワーク１２を介して、複数台の情報処理装置１３と配信サーバ１４とが接続されて構成される。例えば、図１には、３台の情報処理装置１３－１乃至１３－３がネットワーク１２を介して接続された構成例が示されている。
　情報処理装置１３－１乃至１３－３は、例えば、通信機能を備えたカメラ機器であり、それぞれのユーザを撮像した動画像から、ユーザが写されている領域を切り抜いたユーザ切り抜き動画像を生成する。そして、情報処理装置１３－１乃至１３－３は、それぞれ生成したユーザ切り抜き動画像を、ネットワーク１２を介して配信サーバ１４に送信する。なお、情報処理装置１３の詳細な構成については、図３を参照して後述する。
　配信サーバ１４は、ネットワーク１２を介して情報処理装置１３－１乃至１３－３から送信されてくる全てのユーザ切り抜き動画像を集約し、所定の背景動画像に重畳する画像合成処理を行う。そして、配信サーバ１４は、画像合成処理により生成した合成動画像を、ネットワーク１２を介して情報処理装置１３－１乃至１３－３に配信する。なお、配信サーバ１４の詳細な構成については、図４を参照して後述する。
　例えば、図２を参照して、図１のコミュニケーションシステム１１において配信される合成動画像について説明する。
　図２の左側には、情報処理装置１３－１乃至１３－３において画像処理の対象となる動画像Ａ１乃至Ａ３が示されており、それぞれの右側に、動画像Ａ１乃至Ａ３に写されているユーザを切り抜いたユーザ切り抜き動画像Ｂ１乃至Ｂ３が示されている。このようなユーザ切り抜き動画像Ｂ１乃至Ｂ３が配信サーバ１４に送信され、図２の右側に示すように、所定の背景動画像にユーザ切り抜き動画像Ｂ１乃至Ｂ３を合成した合成動画像Ｃが生成されて、配信サーバ１４から配信される。
　なお、情報処理装置１３－１乃至１３－３は、それぞれ同様に構成されており、情報処理装置１３－１乃至１３－３を区別する必要がない場合、以下、単に情報処理装置１３と称する。また、動画像Ａ１乃至Ａ３およびユーザ切り抜き動画像Ｂ１乃至Ｂ３についても、同様に、動画像Ａおよびユーザ切り抜き動画像Ｂと称する。
　次に、図３は、図１の情報処理装置１３の構成例を示すブロック図である。
　図３に示すように、情報処理装置１３は、デジタル信号処理部２１、距離測定部２２、切り抜き画像生成部２３、通信部２４、表示部２５、および操作部２６を備えて構成される。
　デジタル信号処理部２１には、例えば、図示しない撮像装置により撮像されたＲＧＢ信号による動画像Ａ（図２参照）が供給される。そして、デジタル信号処理部２１は、その動画像Ａに対して、切り抜き画像生成部２３において画像処理を行うのに必要なデジタル信号処理を施すことにより、例えば、動画像Ａを構成する１フレームごとの画像データを取得して、切り抜き画像生成部２３に供給する。
　距離測定部２２は、デジタル信号処理部２１に供給される動画像Ａに写されている被写体までの距離を測定する。例えば、距離測定部２２には、動画像Ａと同一の構図で、少なくとも２台以上の撮像装置（図示せず）により撮像された複数の動画像が供給される。そして、距離測定部２２は、それらの動画像の視差を演算することにより、動画像Ａに写されている被写体までの距離を測定する。そして、距離測定部２２は、撮像装置から被写体までの距離をピクセルごとにマッピングしたデプスマップを生成し、切り抜き画像生成部２３に供給する。
　切り抜き画像生成部２３は、デジタル信号処理部２１から供給される動画像Ａに対し、距離測定部２２から供給されるデプスマップに基づいて、切り抜きの対象となる対象物が写されている対象物領域をマスクすることで、動画像Ａから対象物を切り抜く画像処理を行う。例えば、図２に示したようにユーザが映されている場合、切り抜き画像生成部２３は、デプスマップに基づいてユーザを対象物とし、動画像Ａからユーザのみを切り抜いたユーザ切り抜き動画像Ｂ（図２参照）を生成する。そして、切り抜き画像生成部２３は、生成したユーザ切り抜き動画像Ｂを通信部２４に供給する。
　通信部２４は、切り抜き画像生成部２３から供給されるユーザ切り抜き動画像Ｂを、ネットワーク１２を介して配信サーバ１４に送信する。また、通信部２４は、操作部２６を利用したユーザによる操作が行われると、その操作内容を、ユーザ切り抜き動画像Ｂに付加して送信する。さらに、通信部２４は、配信サーバ１４から配信される合成動画像Ｃ（図２参照）を受信して表示部２５に供給する。
　表示部２５は、例えば、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイなどにより構成され、通信部２４が受信した合成動画像Ｃを表示する。また、表示部２５は、合成動画像Ｃに合成されているユーザ切り抜き動画像Ｂに対して操作部２６を利用してユーザが操作を行うのに必要な、各種の操作内容を表すグラフィカルなユーザインタフェースを表示する。
　操作部２６は、例えば、表示部２５の表面に配置されるタッチパネルにより構成され、表示部２５に表示されるユーザインタフェースをユーザがタッチすることにより入力される操作内容を取得し、通信部２４に供給する。
　以上のように構成される情報処理装置１３は、ユーザ切り抜き動画像Ｂを配信サーバ１４に送信し、配信サーバ１４から配信される合成動画像Ｃを受信して表示することができる。また、情報処理装置１３は、ユーザによる操作が行われた場合には、ユーザ切り抜き動画像Ｂに操作内容を付加して送信し、操作内容が反映された合成動画像Ｃを受信することができる。
　次に、図４は、図１の配信サーバ１４の構成例を示すブロック図である。
　図４に示すように、配信サーバ１４は、通信部３１、ユーザ管理部３２、ユーザ個別処理部３３－１乃至３３－３、背景記録部３４、および全体画像合成部３５を備えて構成される。
　通信部３１は、ネットワーク１２を介して、情報処理装置１３の通信部２４から送信されてくるユーザ切り抜き動画像Ｂを受信して、ユーザ管理部３２に供給する。また、通信部３１は、全体画像合成部３５から供給される合成動画像Ｃを、ネットワーク１２を介して情報処理装置１３に送信する。
　ユーザ管理部３２は、通信部３１から供給されるユーザ切り抜き動画像Ｂを送信してきた情報処理装置１３ごとにユーザ切り抜き動画像Ｂを振り分ける処理を行う。例えば、図１に示したように、情報処理装置１３－１乃至１３－３のユーザによるコミュニケーションが行われる場合、ユーザ管理部３２は、情報処理装置１３－１乃至１３－３から送信されてきたユーザ切り抜き動画像Ｂ１乃至Ｂ３を、ユーザ個別処理部３３－１乃至３３－３に振り分ける。即ち、ユーザ管理部３２は、ユーザ切り抜き動画像Ｂ１を情報処理装置１３－１に供給し、ユーザ切り抜き動画像Ｂ２を情報処理装置１３－２に供給し、ユーザ切り抜き動画像Ｂ３を情報処理装置１３－３に供給する。
　ユーザ個別処理部３３－１は、個別画像記録部４１－１、操作記録部４２－１、および画像処理部４３－１を有して構成される。
　個別画像記録部４１－１は、ユーザ管理部３２から供給される情報処理装置１３－１のユーザ切り抜き動画像Ｂ１を記録する。操作記録部４２－１は、ユーザ管理部３２から供給される情報処理装置１３－１のユーザ切り抜き動画像Ｂ１に操作内容が付加されている場合、その操作内容を取り出して記録する。画像処理部４３－１は、個別画像記録部４１－１に記録されている情報処理装置１３－１のユーザ切り抜き動画像Ｂ１に対し、操作記録部４２－１に記録されている情報処理装置１３－１の操作内容に従った画像処理を施して、全体画像合成部３５に供給する。
　このとき、個別画像記録部４１－１では、１フレームごとにユーザ切り抜き動画像Ｂ１を更新して記録する。一方、操作記録部４２－１では、ユーザ切り抜き動画像Ｂ１に操作内容が付加されているときだけ、操作内容を更新して記録する。従って、画像処理部４３－１は、操作記録部４２－１に記録されている操作内容が更新されるまで継続して、同一の操作内容による画像処理をユーザ切り抜き動画像Ｂ１に対して施すことになる。
　また、ユーザ個別処理部３３－２および３３－３は、ユーザ個別処理部３３－１と同様に、個別画像記録部４１－２および４１－３、操作記録部４２－２および４２－３、並びに、画像処理部４３－２および４２－３をそれぞれ有して構成される。そして、ユーザ個別処理部３３－２および３３－３は、ユーザ個別処理部３３－１と同様に、ユーザ切り抜き動画像Ｂ２およびＢ３に対する画像処理を施して、全体画像合成部３５に供給する。
　背景記録部３４は、配信サーバ１４から配信される合成動画像Ｃにおいてユーザ切り抜き動画像Ｂ１乃至Ｂ３の背景となる様々な背景動画像を記録しており、所定の背景動画像を全体画像合成部３５に供給する。
　全体画像合成部３５は、ユーザ個別処理部３３－１乃至３３－３において個別に画像処理が施されたユーザ切り抜き動画像Ｂ１乃至Ｂ３を、背景記録部３４から供給される背景動画像に合成する画像処理を行って、合成動画像Ｃを生成する。そして、全体画像合成部３５は、生成した合成動画像Ｃを通信部３１に供給し、ネットワーク１２を介して情報処理装置１３－１乃至１３－３に配信する。
　以上のように構成される配信サーバ１４は、ユーザ切り抜き動画像Ｂ１乃至Ｂ３に対して操作内容を反映した画像処理を個別に施すことができる。そして、配信サーバ１４は、操作内容を反映したユーザ切り抜き動画像Ｂ１乃至Ｂ３を合成した合成動画像Ｃを、情報処理装置１３－１乃至１３－３に配信することができる。
　このように、情報処理装置１３－１乃至１３－３および配信サーバ１４から構成されるコミュニケーションシステム１１では、情報処理装置１３－１乃至１３－３のユーザが同一の仮想空間に配置された合成動画像Ｃにより互いにコミュニケーションを行うことができる。従って、コミュニケーションシステム１１では、例えば、動画像Ａ１乃至Ａ３がそのまま同一の画面上に並べて配置したようなコミュニケーションシステムよりも、遠隔拠点にいる複数のユーザどうしで臨場感や一体感のあるコミュニケーションを図ることができる。
　さらに、コミュニケーションシステム１１では、情報処理装置１３の表示部２５に表示される合成動画像Ｃに対して、それぞれのユーザが自身のユーザ切り抜き動画像Ｂに対して各種の操作を行うことができる。そして、それぞれの操作内容がリアルタイムに反映されるので、ユーザは、意図した操作が反映されないなどのストレスを感じることなくコミュニケーションに集中することができる。従って、コミュニケーションシステム１１では、遠隔拠点にいる複数のユーザどうしで、より良好なコミュニケーションを図ることができる。
　次に、図５乃至図１２を参照して、情報処理装置１３の表示部２５に表示される合成動画像Ｃに対してユーザが行う操作について説明する。
　図５には、情報処理装置１３－１のユーザが、ユーザ切り抜き動画像Ｂ１を自由変形する操作を行う例が示されている。
　例えば、情報処理装置１３－１のユーザは、表示部２５に表示されているユーザ切り抜き動画像Ｂ１をタッチして指定した後に、自由変形の操作を指定するボタン（図示せず）を操作する。これに応じて、操作部２６は、図５に示すように、ユーザ切り抜き動画像Ｂ１を矩形で囲うように、自由変形を行うためのユーザインタフェースＤ１が重畳された合成動画像Ｃ１を表示部２５に表示させる。
　そして、ユーザは、ユーザインタフェースＤ１の四隅または四辺中央に表示されるグリッドをタッチしたまま、外側に動かすことでユーザ切り抜き動画像Ｂ１を拡大させ、内側に動かすことでユーザ切り抜き動画像Ｂ１を縮小させることができる。また、ユーザは、ユーザインタフェースＤ１の内側の任意の一点をタッチしたまま移動させることによりユーザ切り抜き動画像Ｂ１を平行移動させることができる。また、ユーザは、ユーザインタフェースＤ１の内側の任意の二点をタッチしたまま、その二点を相対的に回転させることによりユーザ切り抜き動画像Ｂ１を回転させることができる。
　これらの操作に応じて、例えば、１フレームごとに操作内容（例えば、タッチ位置）がユーザ切り抜き動画像Ｂ１に付加されて情報処理装置１３－１から送信される。そして、配信サーバ１４では、画像処理部４３－１が、操作内容に従った画像処理をユーザ切り抜き動画像Ｂ１に施すことができる。従って、情報処理装置１３－１では、ユーザが動いた状態のまま、ユーザインタフェースＤ１を利用した自由変形がユーザ切り抜き動画像Ｂ１に反映された合成動画像Ｃ１を表示することができる。
　これにより、情報処理装置１３－１のユーザは、合成動画像Ｃ１に合成されているユーザ切り抜き動画像Ｂ２およびＢ３の大きさや配置を確認しながら、ユーザ切り抜き動画像Ｂ１の大きさや配置をリアルタイムに変更することができる。
　図６には、情報処理装置１３－１のユーザが、ユーザ切り抜き動画像Ｂ１の不要領域消去する操作を行う例が示されている。
　例えば、切り抜き画像生成部２３が、動画像Ａ１からユーザ切り抜き動画像Ｂ１を切り抜く画像処理を行うときに、ユーザが表示されている領域の認識を間違えた結果、本来は削除するべき不要領域が残ったままとなることがある。例えば、図６に示す合成動画像Ｃ２では、ユーザ切り抜き動画像Ｂ１の右腕の外側に、破線で囲って示すように、不要領域が残った状態が示されている。
　そこで、ユーザが、不要領域の消去を指定するボタン（図示せず）を操作して、ユーザ切り抜き動画像Ｂ１をタッチすると、不要領域の消去を行うための消しゴム型のユーザインタフェースＤ２が合成動画像Ｃ２に重畳して表示される。そして、ユーザが、タッチしたまま不要領域上を擦ると、不要領域が非表示となる。また、ユーザが、不要領域の消去の解除を指定するボタン（図示せず）を操作すると、不要領域の削除がリセットされて、非表示となっていた不要領域が表示される。
　このとき、画像処理部４３では、領域ピクセルごとに不要領域である確度を示す確度情報を保持し、確度の高いピクセルほど、透明度が高くなるように消去する画像処理を施すことができる。
　例えば、図７を参照して、確度情報に基づいた画像処理について説明する。
　図７の上側には、動画像Ａに対応して確度情報に従った濃さで表される確度情報画像Ｅ１が示されており、図７の下側には、ユーザインタフェースＤ２を利用して不要領域を削除している状態を示す確度情報画像Ｅ２が示されている。
　例えば、従来、ユーザなどの切抜き対象物の近辺領域へのピクセル単位の操作、具体的には、タッチやペン入力によって周りのゴミデータを取り除いたり、ぼかしたり、縁取りを付けるなどの操作は、細かい作業である上に、動画であるため対象物が動いてしまうので、入力がしづらかったりミスしやすいものであった。
　そこで、情報処理装置１３は、ユーザ切り抜き動画像Ｂのピクセルごとに、本当に対象物である確度情報（高いほどその領域は実際の対象物である）を、ユーザ切り抜き動画像Ｂに付加して送信する。これにより、画像処理部４３は、ユーザ切り抜き動画像Ｂのピクセルの対象物確度に応じて、操作の影響度を自動調節することができる。
　例えば、距離測定部２２は、被写体までの距離を演算する際に、その演算結果が正しい確率を示す確率情報を求めて、切り抜き画像生成部２３に供給する。そして、切り抜き画像生成部２３は、動画像Ａからユーザ切り抜き動画像Ｂを生成する際に、画素単位で切り抜き対象物である確度情報を付加しておく。
　図７の確度情報画像Ｅ１では、色が濃いピクセルほど対象物である確度が高いことを示している。そして、ユーザが、ユーザインタフェースＤ２を利用して、ユーザの近辺の不要領域を削除するとき、ある程度以上の確度を持ったピクセルに対しては消去を行わないように、確度に反比例して消去を行う影響度が強く出るようにすることで、注意深く回りをなぞらなくても対象物のみを残し易くすることができる。
　このように、削除された不要領域は、次のフレーム以降も、そのエリアに出る不要領域の削除が継続して行われる。
　例えば、図８を参照して、不要領域の削除が継続して行われる処理について説明する。
　図８の上側に示す切り抜き動画像Ｅ３のように、ユーザの近辺や画面の端部近傍に、ユーザが意図した切り抜き対象物ではないのに切り抜かれて、ユーザ切り抜き動画像Ｂに残ってしまう不要領域が、グレーのハッチングにより表されている。このような不要領域を削除するために、ユーザは、図６に示したような消しゴム型のユーザインタフェースＤ２を利用して、切り抜き動画像Ｅ３に対して不要領域を削除する操作を行う。
　例えば、切り抜き動画像Ｅ３には、ユーザがユーザインタフェースＤ２を利用して不要領域を削除する操作を行った削除領域Ｄ２－ａおよびＤ２－ｂが示されている。
　そして、切り抜き動画像Ｅ３の次のフレームの切り抜き動画像Ｅ４では、ユーザが動いたことで表示される位置が移動している。このとき、不要領域の特性によっては、切り抜きの対象であるユーザに付随して移動してしまい、１フレーム前の切り抜き動画像Ｅ３で指定した箇所から不要領域が移動していることがある。
　そのため、削除領域Ｄ２－ｂは、例えば、ユーザの顔の中心を基準として、ユーザの移動に応じて移動するように設定される。このように、切り抜き動画像Ｅ３の中で自動検出可能な一領域部分（例えば、ユーザの顔）を中心とし、そこからの相対位置と相対サイズのみを記録しておくことで、毎フレームにおいて自動的に目的位置の目的サイズの不要領域を消去することができる。即ち、毎フレームごとに位置が移動するような不要領域であっても、ユーザが、毎フレームに対して削除する位置を指定することなく、容易に、そのような不要領域の削除を継続して行うことができる。
　なお、この中心の抽出方法は、対象物領域の特徴点解析しやすい点、例えば、顔の中心位置とその大きさを検出することが考えられる。この手法により、アフィン変換で表現できない操作についても、ユーザが一度指示をすれば、連続的な動画像についても継続的に操作を反映させることができる。
　一方、削除領域Ｄ２－ａは、画面の端部近傍に固定的に表れており移動することはないので、例えば、画面の端部を基準として固定的に設定される。
　図９には、情報処理装置１３－１のユーザが、ユーザ切り抜き動画像Ｂ１の周囲に縁取りデザインを設定する例が示されている。
　例えば、ユーザは、表示部２５に表示されているユーザ切り抜き動画像Ｂ１をタッチして指定した後に、縁取りデザインの設定を指定するボタン（図示せず）を操作する。これに応じて、図９に示すように、ユーザ切り抜き動画像Ｂ１を囲うように、縁取りデザインＤ３が重畳された合成動画像Ｃ３が表示される。なお、縁取りデザインＤ３は、情報処理装置１３－１の表示部２５だけでなく、情報処理装置１３－２および１３－３の表示部２５にも表示される。
　また、ユーザは、例えば、デザインされる縁取りの種類（形状や色など）、縁取りの領域（人物から外側に向かう幅）、または、切り抜くエッジのぼかし具合を、指定することができる。そして、これらを指定すると、指定された内容が操作内容としてユーザ切り抜き動画像Ｂ１に付加されて配信サーバ１４に送信され、操作記録部４２－１に記録される。そして、画像処理部４３－１は、操作記録部４２－１に記録されている操作内容に従って、ユーザの動きに合わせて、縁取りデザインＤ３を生成する画像処理を行うことができる。このように、指定された内容が、縁取りデザインＤ３にリアルタイムで反映される。
　図１０には、情報処理装置１３－１のユーザが、ユーザ切り抜き動画像Ｂ１をトリミングする操作を行う例が示されている。
　例えば、ユーザは、表示部２５に表示されているユーザ切り抜き動画像Ｂ１をタッチして指定した後に、トリミングの操作を指定するボタン（図示せず）を操作する。これに応じて、操作部２６は、図１０に示すように、ユーザ切り抜き動画像Ｂ１を矩形で囲うように、トリミングを行うためのユーザインタフェースＤ４が重畳された合成動画像Ｃ４を表示部２５に表示させる。
　そして、ユーザは、ユーザインタフェースＤ４の四辺中央に表示されるグリッドをタッチしたまま内側に動かすことで、ユーザインタフェースＤ４の外側となる一部分が表示されない領域を指定する操作を行うことができる。このような操作に応じて、例えば、１フレームごとに操作内容（例えば、ユーザインタフェースＤ４の位置およびサイズ）がユーザ切り抜き動画像Ｂ１に付加されて情報処理装置１３－１から送信される。そして、配信サーバ１４では、画像処理部４３－１が、操作内容に従った画像処理をユーザ切り抜き動画像Ｂ１に施すことができる。従って、情報処理装置１３－１では、ユーザが動いた状態のまま、ユーザインタフェースＤ４を利用したトリミングがユーザ切り抜き動画像Ｂ１に反映された合成動画像Ｃ４を表示することができる。
　図１１には、情報処理装置１３－１のユーザが、ユーザ切り抜き動画像Ｂ１の奥行き（Ｚ軸）座標を指定する操作を行う例が示されている。
　例えば、ユーザは、表示部２５に表示されているユーザ切り抜き動画像Ｂ１をタッチして指定した後に、奥行き座標を指定するボタン（図示せず）を操作する。これに応じて、操作部２６は、図１１に示すように、ユーザ切り抜き動画像Ｂ１の奥行き方向の表示位置を指定するのに利用されるユーザインタフェースＤ５－ａおよびＤ５－ｂが重畳された合成動画像Ｃ５を表示部２５に表示させる。
　ユーザインタフェースＤ５－ａは、奥行き座標を指定する対象として選択されているものを特定ために表示される。図１１に示す合成動画像Ｃ５では、ユーザ切り抜き動画像Ｂに重畳するようにユーザインタフェースＤ５－ａが表示されており、ユーザ切り抜き動画像Ｂが、奥行き座標を指定する対象として選択されていることが示されている。なお、奥行き座標を指定する対象としては、例えば、後述する図１２に示すような仮想オブジェクトＦ１またはＦ２も選択することができる。
　ユーザインタフェースＤ５－ｂは、奥行き座標を変更するためのインジケータであり、スライダを移動させる操作を行うことで、ユーザインタフェースＤ５－ａで選択されている対象の奥行き座標を変更することができる。例えば、ユーザインタフェースＤ５－ｂのスライダを最上端まで移動させることで最大奥行き（最も奥側のレイヤ）に指定され、ユーザインタフェースＤ５－ｂのスライダを最下端まで移動させることで最小奥行き（最も手前側のレイヤ）に指定される。
　このようなユーザインタフェースＤ５－ｂに対する操作に応じて、例えば、１フレームごとに操作内容（例えば、奥行き座標）がユーザ切り抜き動画像Ｂ１に付加されて情報処理装置１３－１から送信される。そして、配信サーバ１４では、画像処理部４３－１が、操作内容に従ってユーザ切り抜き動画像Ｂ１に対するレイヤを設定することができ、そのレイヤに応じた順番で、全体画像合成部３５による合成処理が行われる。従って、情報処理装置１３－１のユーザは、ユーザ切り抜き動画像Ｂ２またはＢ３に対する相対的な奥行きを確認しながら、ユーザ切り抜き動画像Ｂ１の奥行き座標を設定することができる。
　図１２を参照して、ユーザインタフェースＤ５－ｂについてさらに説明する。
　図１２のＡには、ユーザ切り抜き動画像Ｂ４およびＢ５と、仮想オブジェクトＦ１およびＦ２とが合成された合成動画像Ｃ６が示されており、図１２のＢには、合成動画像Ｃ６のレイヤ構造が示されている。
　図１２のＢに示すように、合成動画像Ｃ６は、５枚のレイヤＬ１乃至Ｌ５が重ねられて構成されている。レイヤ構造の奥側から順に、レイヤＬ１には背景画像が設定され、レイヤＬ２にはユーザ切り抜き動画像Ｂ４が設定されている。さらに、レイヤＬ３には仮想オブジェクトＦ１（ソファー）が設定され、レイヤＬ４にはユーザ切り抜き動画像Ｂ５が設定され、レイヤＬ５には仮想オブジェクトＦ２（観葉植物）が設定されている。
　従って、図１２のＡに示すように、合成動画像Ｃ６では、例えば、ユーザ切り抜き動画像Ｂ４は仮想オブジェクトＦ１の背後側に表示され、ユーザ切り抜き動画像Ｂ５は仮想オブジェクトＦ１の手前側に表示される。そして、図１１の合成動画像Ｃ５に表示されるユーザインタフェースＤ５－ｂは、図１２のＢに示すように、レイヤＬ１乃至Ｌ５の奥行き座標に対応している。
　ところで、コミュニケーションシステム１１では、Ｘ軸方向、Ｙ軸方向、およびＺ軸方向で表される空間に、背景動画像やユーザ切り抜き動画像Ｂが配置され、それらが合成された合成動画像Ｃが表示部２５に表示される。そして、表示部２５では、合成動画像Ｃが平面的に表示されるため、ユーザは、平面方向（Ｘ軸方向およびＹ軸方向）への操作については直観的に実施し易いのに対し、奥行き方向（Ｚ軸方向）への操作については直観的に実施することは困難である。
　そこで、コミュニケーションシステム１１では、奥行き座標を設定する操作が選択されると、その操作を行う間だけ一時的に、図１２のＢに示すようなレイヤ構造を表示することができる。例えば、全体画像合成部３５が合成動画像Ｃを生成する際に用いる全ての動画像を、それらのレイヤ情報に従って斜め方向に配置したレイヤ構造が配信サーバ１４から情報処理装置１３に送信される。
　これにより、ユーザは、全ての動画像の奥行き座標を視覚的に把握することができ、所望の奥行き情報を設定する操作を容易に行うことができる。
　例えば、ユーザ切り抜き動画像Ｂ４のユーザが、ユーザ切り抜き動画像Ｂ５よりも前であって、かつ、仮想オブジェクトＦ２よりも後ろに配置したい場合には、図１２のＢに示すようなレイヤ構造を表示させ、ユーザインタフェースＤ５－ｂ上の所望箇所（例えば、白抜きの矢印で示される箇所）を選択することができる。このような操作により、例えば、奥行き（Ｚ軸）座標を絶対値で入力するような操作と比較して、より直観的な操作を提供することができる。
　以上のように、ユーザは、各種のユーザインタフェースを利用して、ユーザ切り抜き動画像Ｂに対する操作を行うことができ、その操作を合成動画像Ｃに容易に反映させることができる。
　ところで、操作内容は、操作前のユーザ切り抜き動画像ＢがＸ軸方向（横方向）、Ｙ軸方向（縦方向）、およびＺ軸方向（奥行き方向）の三次元からなる空間にあるとしたとき、操作後のユーザ切り抜き動画像Ｂをアフィン変換で表現できるものと、アフィン変換で表現できないものとに分類される。なお、本明細書では、操作内容に応じた画像処理において、ユーザが動いたとしてもユーザ切り抜き動画像に対応して一意に決定される変換パラメータを利用する画像処理の一例として、アフィン変換について説明する。もちろん、このような変換パラメータを利用する画像処理としては、アフィン変換以外のもの（例えば、射影変換や、相似変換、反転変換など）を適用してもよい。
　即ち、アフィン変換で表現できる操作内容は、ユーザ切り抜き動画像Ｂの拡大または縮小や、平行移動、回転などの操作（図５参照）である。例えば、操作前のユーザ切り抜き動画像Ｂの中心座標を変換の原点として固定したとき、フレームごとに対象領域に同一の処理を実行し続けることで、連続的な動画像においても、ユーザが一度指定した操作を継続的に反映させることができる。
　一方、アフィン変換で表現できない操作内容は、ユーザ切り抜き動画像Ｂのうち、ユーザが指定した領域をトリミングする操作（図１０参照）や、ピクセルの平坦化処理によりユーザが指定した部分を消去する操作（図６参照）などである。
　そこで、情報処理装置１３から配信サーバ１４に送信される操作内容には、操作内容そのものを示す情報の他、操作をアフィン変換で表現できるものであるか否かを示す情報を含めることができる。
　図１３は、情報処理装置１３から配信サーバ１４に送信される操作内容のフォーマットを示す図である。
　図示するように、操作内容は、操作ＩＤ（Identification）、対象ユーザＩＤ，種別情報、基準情報、変換フラグ、残り時間情報、および変換パラメータを含んで構成される。
　操作ＩＤには、コミュニケーションシステム１１で送受信される全ての操作内容を識別するため、例えば、送受信された順番に従って繰り上げられて登録される番号が設定される。
　対象ユーザＩＤには、コミュニケーションシステム１１に接続されている情報処理装置１３を識別するために割り当てられた番号が設定される。例えば、情報処理装置１３－１には対象ユーザＩＤ「０」、情報処理装置１３－１には対象ユーザＩＤ「１」、情報処理装置１３－１には対象ユーザＩＤ「２」が、それぞれ割り当てられる。
　種別情報には、ユーザが行った操作内容を示す情報が設定される。例えば、図６を参照して上述したように、ユーザが、不要領域を削除する操作を行った場合には、種別情報「削除」が設定される。また、ユーザが、図５に示したユーザインタフェースＤ１を利用して、ユーザ切り抜き動画像Ｂを拡大する操作を行った場合には、種別情報「拡大」が設定される。また、ユーザが、例えば、所定のアニメーションによる演出効果を行う操作を行った場合には、種別情報「アニメ」が設定される。また、ユーザが、図１０に示したユーザインタフェースＤ４を利用して、ユーザ切り抜き動画像Ｂをトリミングする操作を行った場合には、種別情報「トリミング」が設定される。
　基準位置情報には、操作内容を反映させる際における基準となる位置を示す情報が設定される。例えば、図８を参照して上述したように、ユーザ切り抜き動画像Ｂの顔の中心を基準として不要領域を削除する操作を行った場合には、基準情報「顔中心」が設定される。同様に、図８を参照して上述したように、ユーザインタフェースＤ２－ａの右上の端部を中心として不要領域を削除する操作を行った場合には、基準情報「右上」が設定される。
　変換フラグには、アフィン変換により操作内容が反映されるものであるか否かを示す情報が設定される。例えば、操作内容が削除やトリミングである場合には、アフィン変換では操作内容が反映されないことを示す変換フラグ「Ｎ」が設定される。一方、操作内容が拡大やアニメである場合には、変換により操作内容が反映されることを示す変換フラグ「Ｙ」が設定される。
　残り時間情報には、操作内容の反映を終了させるまでの残り時間を示す情報が設定される。例えば、操作が行われた際に操作内容を反映させる時間が指定されていない場合には、残り時間情報「無限」が設定される。また、操作が行われた際に操作内容を反映させる時間が指定されていた場合、例えば、その時間が25秒であるとき、残り時間情報「ｔ＝２５」が設定される。
　変換パラメータには、操作内容を反映させるのに必要な各種のパラメータが設定される。例えば、図８を参照して上述したように、ユーザが、不要領域を削除する操作を行った場合には、削除の基準として設定された位置を中心とした位置関係、および、削除を行う強さを示す変換パラメータ「相対中心からの位置関係、強さ」が設定される。また、ユーザが、図５に示したユーザインタフェースＤ１を利用して、ユーザ切り抜き動画像Ｂを拡大する操作を行った場合には、拡大の基準として設定された中心位置、および、拡大を行う倍率を示す変換パラメータ「拡大中心と拡大率」が設定される。
　また、ユーザが、例えば、所定のアニメーションによる演出効果を行う操作を行った場合には、変換パラメータにはアニメーションを指定する「アニメＩＤ」が設定される。また、ユーザが、図１０に示したユーザインタフェースＤ４を利用して、ユーザ切り抜き動画像Ｂをトリミングする操作を行った場合には、トリミングの基準として設定された位置を中心として相対的なトリミングを行う位置およびサイズを示す変換パラメータ「中心からの相対位置、相対サイズ」が設定される。
　以上のようなフォーマットの操作内容が、情報処理装置１３から配信サーバ１４に送信されることで、配信サーバ１４において操作内容に従った画像処理を行うことができる。
　次に、図１４は、図３の情報処理装置１３において行われる処理を説明するフローチャートである。
　例えば、ユーザが、コミュニケーションシステム１１において提供されるサービスに参加するように操作部２６に対する操作を行うと、処理が開始される。ステップＳ１１において、デジタル信号処理部２１は、図示しない撮像装置により撮像された動画像Ａ（図２参照）を取得してデジタル信号処理を施して、動画像Ａを構成する１フレームごとの画像データを、切り抜き画像生成部２３に供給する。
　ステップＳ１２において、距離測定部２２は、例えば、複数の動画像の視差を演算し、撮像装置から被写体までの距離をピクセルごとにマッピングしたデプスマップを生成して、切り抜き画像生成部２３に供給する。
　ステップＳ１３において、切り抜き画像生成部２３は、ステップＳ１１でデジタル信号処理部２１から供給される動画像Ａから、ステップＳ１２で距離測定部２２から供給されるデプスマップに基づいて対象物を切り抜く画像処理を行う。これにより、切り抜き画像生成部２３は、ユーザ切り抜き動画像Ｂを生成して、通信部２４に供給する。
　ステップＳ１４において、通信部２４は、ユーザによる操作があったか否かを判定する。例えば、通信部２４は、ユーザによる操作に応じた操作内容が操作部２６から供給されると、ユーザによる操作があったと判定し、操作部２６から操作内容の供給がなければ、ユーザによる操作がなかったと判定する。
　ステップＳ１４において、ユーザによる操作があったと判定された場合、処理はステップＳ１５に進み、通信部２４は、ステップＳ１３で切り抜き画像生成部２３から供給されたユーザ切り抜き動画像Ｂに操作内容を付加し、配信サーバ１４に送信する。
　一方、ステップＳ１４において、ユーザによる操作がなかったと判定された場合、処理はステップＳ１６に進み、通信部２４は、ステップＳ１３で切り抜き画像生成部２３から供給されたユーザ切り抜き動画像Ｂを、配信サーバ１４に送信する。
　ステップＳ１５またはＳ１６の処理後、処理はステップＳ１７に進み、通信部２４は、配信サーバ１４から送信されてくる合成動画像Ｃを受信して表示部２５に供給し、表示部２５は、合成動画像Ｃを表示する。その後、処理はステップＳ１１に戻り、以下、同様の処理が繰り返される。
　以上のように、情報処理装置１３では、動画像Ａからユーザを切り抜いたユーザ切り抜き動画像Ｂを配信サーバ１４に送信することができる。また、ユーザによる操作が行われたときには、その操作内容をユーザ切り抜き動画像Ｂに付加して配信サーバ１４に送信することができる。
　次に、図１５は、図４の配信サーバ１４において行われる処理を説明するフローチャートである。
　例えば、複数台の情報処理装置１３から、コミュニケーションシステム１１において提供されるサービスに参加することが通知されると、処理が開始される。ステップＳ２１において、通信部３１は、情報処理装置１３から送信されてくるユーザ切り抜き動画像Ｂを受信して、ユーザ管理部３２に供給する。
　ステップＳ２２において、ユーザ管理部３２は、例えば、ユーザ切り抜き動画像Ｂに付加されている対象ユーザＩＤを参照し、ユーザ切り抜き動画像Ｂを送信してきた情報処理装置１３に対応するユーザ個別処理部３３にユーザ切り抜き動画像Ｂを供給する。これにより、ユーザ個別処理部３３では、ユーザ切り抜き動画像Ｂを個別画像記録部４１に記録するとともに、ユーザ切り抜き動画像Ｂに操作内容が付加されていれば、その操作内容を操作記録部４２に記録する。
　ステップＳ２３において、コミュニケーションシステム１１に接続されている情報処理装置１３の数に応じた所定個数のユーザ個別処理部３３のうち、非アフィン変換の処理内容が操作記録部４２に記録されているユーザ個別処理部３３において、個別に、画像処理部４３がユーザ切り抜き動画像Ｂに対する画像処理を行う。即ち、ユーザ個別処理部３３の操作記録部４２に記録されている操作内容において変換フラグ「Ｎ」が設定されている操作内容に従った画像処理、例えば、トリミングや不要領域消去などの操作に対応する画像処理が個別に行われる。
　ステップＳ２４において、全体画像合成部３５は、所定個数のユーザ個別処理部３３に対して奥行きの深い順に、ユーザ切り抜き動画像Ｂを要求する。
　ステップＳ２５において、所定個数のユーザ個別処理部３３は、ユーザ切り抜き動画像Ｂが要求されたか否かを判定する。そして、ユーザ切り抜き動画像Ｂが要求されていないと判定したユーザ個別処理部３３について、処理はステップＳ２４に戻り、処理が待機される。一方、ユーザ切り抜き動画像Ｂが要求されたと判定したユーザ個別処理部３３は、ユーザ切り抜き動画像Ｂを送信する対象となり、処理はステップＳ２６に進む。
　ステップＳ２６において、対象のユーザ個別処理部３３は、全体画像合成部３５からの要求に応じてユーザ切り抜き動画像Ｂを供給する。このとき、対象のユーザ個別処理部３３は、変換フラグ「Ｙ」が設定されている操作内容が操作記録部４２に記録されていれば、ユーザ切り抜き動画像Ｂとともに処理内容も全体画像合成部３５に供給する。
　そして、全体画像合成部３５は、背景記録部３４から供給される背景動画像に対して、奥行きの深い順に従ってユーザ切り抜き動画像Ｂを重畳する。このとき、全体画像合成部３５は、アフィン変換の処理内容が供給されていれば、その処理内容を反映させた画像処理、例えば、拡大や縮小などの操作に対応する画像処理を行って、ユーザ切り抜き動画像Ｂを合成動画像Ｃに重畳する。
　ステップＳ２７において、全体画像合成部３５は、所定個数のユーザ個別処理部３３に対応する全てのユーザ切り抜き動画像Ｂを合成したか否かを判定する。
　ステップＳ２７において、全体画像合成部３５が、所定個数のユーザ個別処理部３３に対応する全てのユーザ切り抜き動画像Ｂを合成していないと判定した場合、処理はステップＳ２４に戻る。そして、次に奥行きの深いユーザ切り抜き動画像Ｂを対象として、以下、同様の処理が繰り返される。
　一方、ステップＳ２７において、全体画像合成部３５が、所定個数のユーザ個別処理部３３に対応する全てのユーザ切り抜き動画像Ｂを合成したと判定した場合、処理はステップＳ２８に進む。
　ステップＳ２８において、全体画像合成部３５は、生成した合成動画像Ｃを通信部３１に供給し、ネットワーク１２を介して情報処理装置１３に送信する。その後、処理はステップＳ２１に戻り、次のフレームを処理の対象として、以下、同様の処理が繰り返される。
　以上のように、配信サーバ１４では、非アフィン変換処理については、個別に画像処理を行って、アフィン変換処理については、ユーザ切り抜き動画像Ｂを合成する際に画像処理を行うことができる。そして、全てのユーザ切り抜き動画像Ｂを奥行きの深い順に合成した合成動画像Ｃを生成して情報処理装置１３に送信することができる。
　なお、情報処理装置１３の距離測定部２２が被写体までの距離を算出する方法は、上述したような視差を演算する方法に限定されることはなく、対象物を切り抜くためのマップを生成することが可能な様々な方法を採用することができる。例えば、距離測定部２２は、被写体に赤外線を照射してから、赤外線が反射して返ってくるまでの時間差に基づいて距離を演算する方法や、パターン光を照射して、被写体の表面に応じたパターンの変形度合いに基づいて距離を演算する方法などを採用してもよい。
　また、例えば、クロマキー合成の技術を用いて、グリーンバックやブルーバックなどの特定の色を背景として撮像を行い、その特定の色の成分を透明にすることで背景を排除することで、ユーザが映されている領域からなる動画像（ユーザが映されている領域以外を排除した動画像）を生成することができる。即ち、ユーザが映されている領域を切り抜いてユーザ切り抜き動画像を生成する他、切り抜き以外の方法によって、ユーザが映されている領域を含む動画像を生成して、合成動画像に合成してもよい。
　また、情報処理装置１３および配信サーバ１４からなるコミュニケーションシステム１１全体として提供される機能について、情報処理装置１３と配信サーバ１４とによる機能分担は、図３および図４に示して上述した構成に限定されることはない。例えば、配信サーバ１４においてユーザ個別処理部３３により実施されるユーザ切り抜き動画像Ｂごとの画像処理を、情報処理装置１３において実施してもよく、情報処理装置１３において画像処理を施したユーザ切り抜き動画像Ｂを送信してもよい。
　また、情報処理装置１３の機能を１つの装置内で処理する必要はない。例えば、パーソナルコンピュータやスマートフォンなどの情報処理端末上にソフトウエアとしてこれらの機能を実装し、外付けのカメラ機器からデジタル信号を取得し、それ以降の処理を実施してもよい。
　図１６は、情報処理装置１３の変形例を示すブロック図である。
　図１６に示すように、情報処理装置１３Ａは、画像送信装置５１およびユーザインタフェース装置５２の２つの個別の装置により構成される。
　画像送信装置５１は、デジタル信号処理部２１、距離測定部２２、切り抜き画像生成部２３、および通信部２４－１を備えて構成され、切り抜き画像生成部２３において生成されるユーザ切り抜き動画像Ｂを配信サーバ１４に送信する。例えば、画像送信装置５１は、撮像機能を備えたカメラ機器の一部の機能として、ソフトウエアにより提供することができる。
　ユーザインタフェース装置５２は、通信部２４－２、表示部２５、および操作部２６を備えて構成され、配信サーバ１４から配信される合成動画像Ｃを表示部２５に表示し、操作部２６に対するユーザの操作により入力される操作内容を配信サーバ１４に送信する。例えば、ユーザインタフェース装置５２は、操作内容の入力や画像の表示などをソフトウエアにより提供するウェブブラウザを用いることができる。この場合、ユーザインタフェース装置５２に表示される画像や、入力される操作内容などは、配信サーバ１４側にウェブプログラムとして保持され、ユーザが、配信サーバ１４へウェブブラウザからアクセスすることで、配信サーバ１４の機能を利用することができる。
　さらに、コミュニケーションシステム１１では、上述したように、操作部２６に対するユーザの操作に応じて表示が変化する他、例えば、ユーザ切り抜き動画像Ｂどうしのインタラクションにより表示が変化するようにしてもよい。
　図１７を参照して、ユーザ切り抜き動画像Ｂどうしのインタラクションによる表示の変化について説明する。
　図１７の上段の合成動画像Ｃ７－１に示すように、ユーザ切り抜き動画像Ｂ１およびＢ２が並んで表示されている。また、ユーザ切り抜き動画像Ｂ１およびＢ２は、同一の奥行き座標にレイヤが設定されている。
　このとき、図１７の中段の合成動画像Ｃ７－２に示すように、情報処理装置１３－２のユーザが、ある程度の加速度で情報処理装置１３－１のユーザ側に傾いて、ユーザ切り抜き動画像Ｂ２の頭部が、ユーザ切り抜き動画像Ｂ１の頭部に接したとする。この場合、全体画像合成部３５は、例えば、頭突きする操作が行われたとインタラクションを解釈することができ、そのインタラクションに応じた画像処理を行う。
　これにより、図１７の下段の合成動画像Ｃ７－３に示すように、全体画像合成部３５は、ユーザ切り抜き動画像Ｂ１が、くるくると回りながら飛んでいくような画像処理を行うことができる。
　このようなユーザ切り抜き動画像Ｂどうしのインタラクションに応じて表示が変化する内容、および、表示の変化を発生させる条件は、コミュニケーションシステム１１によるサービスを提供する運営者が、あらかじめ設定することができる。また、それぞれのユーザが、内容および条件を自分専用に設定してもよい。
　このように、コミュニケーションシステム１１では、ユーザインタフェースを利用した操作以外にも、ユーザ切り抜き動画像Ｂどうしの位置関係および状況に基づき、所定のインタラクションに応じて自動的に（操作することなく）、表示を変化させることができる。また、例えば、ユーザ切り抜き動画像Ｂと背景動画像との位置関係および状況に応じて自動的に（操作することなく）、表示を変化させてもよい。
　次に、図１８および図１９を参照して、コミュニケーションシステム１１による他の処理例について説明する。
　図１８には、事前登録された操作内容を指定時刻に反映させる処理について説明する。
　上述したように、コミュニケーションシステム１１では、各種の操作内容はリアルタイムにユーザ切り抜き動画像に反映され、操作内容に従った画像処理が施された合成動画像が配信される。これに対し、コミュニケーションシステム１１では、操作内容をリアルタイムに対象物に反映させるのではなく、例えば、操作内容が指定時刻に反映されるように事前登録しておき、指定時刻になったタイミングで、操作内容に従った画像処理が施された合成動画像が配信されるようにすることができる。
　図１８に示す操作内容登録画面１０１は、操作内容を事前登録するために利用され、プレビューウィンドウ１０２、作業ウィンドウ１０３、ツールバー１０４、およびタイム管理ウィンドウ１０５が表示される。
　プレビューウィンドウ１０２には、配信サーバ１４から配信される合成動画像の現在のフレームと、そのフレームのレイヤ構造が表示される。図１８の例では、３つのレイヤが表示されており、レイヤを表す枠の左上に、それぞれのレイヤの順番を示すレイヤ番号が表示されている。例えば、プレビューウィンドウ１０２には、レイヤ番号１のレイヤには背景動画像が設定され、レイヤ番号２のレイヤには左側に居る人物Ａが設定され、レイヤ番号３のレイヤには右側に居る人物Ｂが設定される合成動画像が表示されている。
　作業ウィンドウ１０３には、操作内容を指定するレイヤが表示される。図１８の例では、５つのレイヤに対して操作を行う状態が示されており、レイヤを表す枠の左上に、それぞれのレイヤの順番を示すレイヤ番号が表示されている。例えば、プレビューウィンドウ１０２と同様に、レイヤ番号１乃至３のレイヤに加えて、レイヤ番号４のレイヤには左側に配置される文字Ａが設定され、レイヤ番号５のレイヤには右側に配置される文字Ｂが設定されている。
　ツールバー１０４には、操作内容を指定する際に使用される様々なツールを選択するためのボタンが表示される。
　タイム管理ウィンドウ１０５には、作業ウィンドウ１０３で登録した操作内容を反映させるタイミングを指定するためのタイムバーが、作業ウィンドウ１０３に表示されているレイヤごとに表示される。例えば、タイムバーの左端に表示される矢印が、現在表示されているフレームの時刻を示しており、時刻の経過に従って、タイムバーを利用して指定された操作内容が左側に流れるように表示される。
　このような操作内容登録画面１０１において、例えば、操作内容に対応付けて、操作内容の反映を開始させるタイミング、および、操作内容の反映を完了させるタイミングを事前に登録することができる。
　例えば、操作内容登録画面１０１では、現在、合成動画像の表示倍率が１倍（×1.0）とされており、所定のタイミングからズームを開始して、合成動画像の表示倍率を1.25倍にする操作内容が登録された例が示されている。例えば、操作内容登録画面１０１の中央近傍の左側に示されている矢印のタイミングから表示倍率の変更が開始され、その右側に示されている矢印のタイミングで表示倍率が1.25倍（×1.25）となり、二人の人物および背景が拡大して表示される。
　また、操作内容登録画面１０１では、表示倍率を変更している期間に、文字Ａおよび文字Ｂを表示させる操作内容が登録されている。従って、ズームが開始されたタイミングで文字Ａおよび文字Ｂが表示され、ズームが終了したタイミングで文字Ａおよび文字Ｂが非表示とされる。このとき、文字Ａおよび文字Ｂも表示倍率の変更に従って、拡大して表示される。
　このように、操作内容登録画面１０１を使用して事前登録された操作内容を、操作内容を反映させるタイミングに従って、情報処理装置１３から配信サーバ１４に送信することで、コミュニケーションシステム１１では、指定時刻になったタイミングで、操作内容に従った画像処理が施された合成動画像が配信されるようにすることができる。
　さらに、コミュニケーションシステム１１では、複数のユーザが同じタイミングで操作内容を事前登録している場合には、所定の方法に従って、反映させる操作内容を決定することができる。
　図１９を参照して、反映させる操作内容を決定する方法について説明する。
　図１９に示す操作内容決定画面１１１は、多数のユーザが事前登録した操作内容に対して視聴者が投票することにより反映させる操作内容を決定する方法において利用される。図示するように、操作内容決定画面１１１には、プレビューウィンドウ１１２、試し見ウィンドウ１１３、およびエントリーウィンドウ１１４が表示される。
　プレビューウィンドウ１１２には、配信サーバ１４から配信される合成動画像の現在のフレームが表示される。
　試し見ウィンドウ１１３には、任意のユーザが事前登録した操作内容を反映した合成動画像を試し見する際に、その合成動画像が表示される。そして、操作内容が反映された動画像を試し見して、その操作内容に対して投票する場合には、試し見ウィンドウ１１３に配置されているグッドボタンに対する操作を行う。
　エントリーウィンドウ１１４では、様々なユーザによって事前登録された操作内容が、時間軸ごとの帯により表される。そして、エントリーウィンドウ１１４に表示される帯をタッチすることで、その操作内容が反映された合成動画像が試し見ウィンドウ１１３に表示される。
　なお、図１９に示す操作内容決定画面１１１では、合成動画像の全レイヤに対しての操作を一括して投票する例について説明しているが、例えば、背景レイヤや人物レイヤなどのようにレイヤごとに投票するようにしてもよい。例えば、どのような投票を行うかは、動画像の配信者が配信を開始するときに選択することができる。この場合、エントリーウィンドウ１１４には、レイヤごとに事前登録された操作内容の帯が、レイヤごとに表示される。そして、レイヤごとに投票が行われ、例えば、背景レイヤと人物レイヤとで、最多の投票が異なるユーザにより事前登録された操作内容であった場合には、それぞれ最多の投票であったものが組み合わされて採用される。
　なお、事前登録された操作内容を決定する方法としては、このような投票によって決定する方法に限られることはない。例えば、選択式で選べる素材（ハートやキラキラ、音符など）を使用している場合、それらの素材が最も多く使用されている操作内容を採用する方法により操作内容を決定してもよい。また、任意の一人のユーザ（例えば、動画像の配信者）が決定権を持つ方法により、そのユーザの選択によって操作内容を決定してもよい。
　さらに、上述した本実施の形態においては、配信サーバ１４において情報処理装置１３－１乃至１３－３から送信されてくる全てのユーザ切り抜き動画像を合成する処理について説明したが、例えば、少なくとも１つの情報処理装置１３から送信されてくるユーザ切り抜き動画像を背景動画像に合成して配信してもよい。また、さらに、１枚のユーザ切り抜き動画像に、撮像された動画像から切り抜かれた被写体ではなく、コンピュータグラフィックにより生成された仮想的なオブジェクトを合成して配信してもよい。
　なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
　また、上述した一連の処理（情報処理方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
　図２０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。
　以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
　そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　所定の被写体が撮像されている動画像から前記被写体が映されている領域を含むように生成された被写体動画像に対して、前記被写体ごとに個別に、前記被写体動画像に対して行われた操作内容に応じた画像処理を行う画像処理部と、
　画像処理が施された前記被写体動画像と、他の動画像とを合成して、少なくとも１つの前記被写体が配置される合成動画像を生成する合成画像生成処理部と
　を備える画像処理システム。
（２）
　複数の前記被写体ごとに、前記被写体動画像を記録する個別画像記録部と、
　複数の前記被写体ごとに、前記被写体動画像に対して操作が行われるたびに前記操作内容を記録する操作記録部と
　をさらに備え、
　前記画像処理部は、前記操作記録部に記録されている最新の操作内容を、前記個別画像記録部に記録されている前記被写体動画像に対して反映させる
　上記（１）に記載の画像処理システム。
（３）
　前記動画像に写されている前記被写体までの距離を測定する距離測定部と、
　前記距離測定部により測定された前記被写体までの距離に基づいて、所定の被写体が撮像されている前記動画像から前記被写体を切り抜く画像処理を行う切り抜き画像処理部と
　をさらに備える上記（１）または（２）に記載の画像処理システム。
（４）
　前記距離測定部は、前記被写体までの距離を測定する演算を行う際に、その演算結果が正しい確率を示す確度情報を、前記動画像を構成する画素単位で前記被写体動画像に対して付加し、
　前記画像処理部は、前記切り抜き画像処理部により本来であれば削除すべき不要領域が残ったままの状態に対して、前記不要領域を削除する操作が行われた場合、前記確度情報を参照して、前記不要領域を削除する画像処理を行う
　上記（３）に記載の画像処理システム。
（５）
　前記画像処理部は、前記被写体動画像の中で自動検出可能な一領域部分を中心とし、前記一領域部分からの相対位置および相対サイズに従って、前記不要領域を削除する画像処理を行う
　上記（４）に記載の画像処理システム。
（６）
　前記画像処理部は、前記被写体動画像を生成する対象となる前記動画像において固定的に表れる前記不要領域を、前記動画像を基準に設定された位置に従って削除する画像処理を行う
　上記（４）または（５）に記載の画像処理システム。
（７）
　前記画像処理部は、前記被写体動画像に対してトリミングさせる前記操作内容に応じて、そのトリミングの基準として設定された基準位置を中心として相対的なトリミングを行う位置およびサイズに基づいて、前記被写体動画像をトリミングする画像処理を行う
　上記（１）から（６）までのいずれかに記載の画像処理システム。
（８）
　前記画像処理部は、前記被写体が動いたとしても前記被写体動画像に対応して一意に決定される変換パラメータを利用して、前記被写体動画像に対する前記操作内容に応じた画像処理を行う
　上記（１）から（７）までのいずれかに記載の画像処理システム。
（９）
　前記画像処理部は、前記被写体動画像に対して拡大、縮小、平行移動、または回転させる前記操作内容に応じて、前記変換パラメータを利用した画像処理を行う
　上記（８）に記載の画像処理システム。
（１０）
　前記操作内容が指定時刻に反映されるように事前に登録しておき、
　前記画像処理部は、前記指定時刻になったタイミングで、前記被写体動画像に対して、登録されている前記操作内容に応じた画像処理を行う
　上記（１）から（９）までのいずれかに記載の画像処理システム。
（１１）
　所定の指定時刻で反映されるように複数の前記操作内容が事前に登録されている場合、それらの操作内容のうち、実際に反映させる操作内容に対する投票が行われ、
　前記画像処理部は、最多の投票があった前記操作内容に応じた画像処理を、前記指定時刻になったタイミングで前記被写体動画像に対して行う
　上記（１０）に記載の画像処理システム。
（１２）
　所定の被写体が撮像されている動画像から前記被写体が映されている領域を含むように生成された被写体動画像に対して、前記被写体ごとに個別に、前記被写体動画像に対して行われた操作内容に応じた画像処理を行い、
　画像処理が施された前記被写体動画像と、他の動画像とを合成して、少なくとも１つの前記被写体が配置される合成動画像を生成する
　ステップを含む画像処理方法。
（１３）
　所定の被写体が撮像されている動画像から前記被写体が映されている領域を含むように生成された被写体動画像に対して、前記被写体ごとに個別に、前記被写体動画像に対して行われた操作内容に応じた画像処理を行い、
　画像処理が施された前記被写体動画像と、他の動画像とを合成して、少なくとも１つの前記被写体が配置される合成動画像を生成する
　ステップを含む画像処理をコンピュータに実行させるプログラム。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　１１　コミュニケーションシステム，　１２　ネットワーク，　１３－１乃至１３－３　情報処理装置，　１４　配信サーバ，　２１　デジタル信号処理部，　２２　距離測定部，　２３　切り抜き画像生成部，　２４　通信部，　２５　表示部，　２６　操作部，　３１　通信部，　３２　ユーザ管理部，　３３－１乃至３３－３　ユーザ個別処理部，　３４　背景記録部，　３５　全体画像合成部，　４１－１乃至４１－３　個別画像記録部，　４２－１乃至４２－３　操作記録部，　４３－１乃至４３－３　画像処理部，　５１　画像送信装置，　５２　ユーザインタフェース装置

Claims (13)

  1. 　所定の被写体が撮像されている動画像から前記被写体が映されている領域を含むように生成された被写体動画像に対して、前記被写体ごとに個別に、前記被写体動画像に対して行われた操作内容に応じた画像処理を行う画像処理部と、
    　画像処理が施された前記被写体動画像と、他の動画像とを合成して、少なくとも１つの前記被写体が配置される合成動画像を生成する合成画像生成処理部と
    　を備える画像処理システム。
  2. 　複数の前記被写体ごとに、前記被写体動画像を記録する個別画像記録部と、
    　複数の前記被写体ごとに、前記被写体動画像に対して操作が行われるたびに前記操作内容を記録する操作記録部と
    　をさらに備え、
    　前記画像処理部は、前記操作記録部に記録されている最新の操作内容を、前記個別画像記録部に記録されている前記被写体動画像に対して反映させる
    　請求項１に記載の画像処理システム。
  3. 　前記動画像に写されている前記被写体までの距離を測定する距離測定部と、
    　前記距離測定部により測定された前記被写体までの距離に基づいて、所定の被写体が撮像されている前記動画像から前記被写体を切り抜く画像処理を行うことにより、前記被写体動画像を生成する切り抜き画像処理部と
    　をさらに備える請求項１に記載の画像処理システム。
  4. 　前記距離測定部は、前記被写体までの距離を測定する演算を行う際に、その演算結果が正しい確率を示す確度情報を、前記動画像を構成する画素単位で前記被写体動画像に対して付加し、
    　前記画像処理部は、前記切り抜き画像処理部により本来であれば削除すべき不要領域が残ったままの状態に対して、前記不要領域を削除する操作が行われた場合、前記確度情報を参照して、前記不要領域を削除する画像処理を行う
    　請求項３に記載の画像処理システム。
  5. 　前記画像処理部は、前記被写体動画像の中で自動検出可能な一領域部分を中心とし、前記一領域部分からの相対位置および相対サイズに従って、前記不要領域を削除する画像処理を行う
    　請求項４に記載の画像処理システム。
  6. 　前記画像処理部は、前記被写体動画像を生成する対象となる前記動画像において固定的に表れる前記不要領域を、前記動画像を基準に設定された位置に従って削除する画像処理を行う
    　請求項４に記載の画像処理システム。
  7. 　前記画像処理部は、前記被写体動画像に対してトリミングさせる前記操作内容に応じて、そのトリミングの基準として設定された基準位置を中心として相対的なトリミングを行う位置およびサイズに基づいて、前記被写体動画像をトリミングする画像処理を行う
    　請求項１に記載の画像処理システム。
  8. 　前記画像処理部は、前記被写体が動いたとしても前記被写体動画像に対応して一意に決定される変換パラメータを利用して、前記被写体動画像に対する前記操作内容に応じた画像処理を行う
    　請求項１に記載の画像処理システム。
  9. 　前記画像処理部は、前記被写体動画像に対して拡大、縮小、平行移動、または回転させる前記操作内容に応じて、前記変換パラメータを利用した画像処理を行う
    　請求項８に記載の画像処理システム。
  10. 　前記操作内容が指定時刻に反映されるように事前に登録しておき、
    　前記画像処理部は、前記指定時刻になったタイミングで、前記被写体動画像に対して、登録されている前記操作内容に応じた画像処理を行う
    　請求項１に記載の画像処理システム。
  11. 　所定の指定時刻で反映されるように複数の前記操作内容が事前に登録されている場合、それらの操作内容のうち、実際に反映させる操作内容に対する投票が行われ、
    　前記画像処理部は、最多の投票があった前記操作内容に応じた画像処理を、前記指定時刻になったタイミングで前記被写体動画像に対して行う
    　請求項１０に記載の画像処理システム。
  12. 　所定の被写体が撮像されている動画像から前記被写体が映されている領域を含むように生成された被写体動画像に対して、前記被写体ごとに個別に、前記被写体動画像に対して行われた操作内容に応じた画像処理を行い、
    　画像処理が施された前記被写体動画像と、他の動画像とを合成して、少なくとも１つの前記被写体が配置される合成動画像を生成する
    　ステップを含む画像処理方法。
  13. 　所定の被写体が撮像されている動画像から前記被写体が映されている領域を含むように生成された被写体動画像に対して、前記被写体ごとに個別に、前記被写体動画像に対して行われた操作内容に応じた画像処理を行い、
    　画像処理が施された前記被写体動画像と、他の動画像とを合成して、少なくとも１つの前記被写体が配置される合成動画像を生成する
    　ステップを含む画像処理をコンピュータに実行させるプログラム。
PCT/JP2016/058065 2015-03-26 2016-03-15 画像処理システムおよび画像処理方法、並びにプログラム WO2016152633A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017508249A JP6627861B2 (ja) 2015-03-26 2016-03-15 画像処理システムおよび画像処理方法、並びにプログラム
US15/559,421 US10600169B2 (en) 2015-03-26 2016-03-15 Image processing system and image processing method
EP16768536.1A EP3276951A4 (en) 2015-03-26 2016-03-15 Image processing system, image processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015064806 2015-03-26
JP2015-064806 2015-03-26

Publications (1)

Publication Number Publication Date
WO2016152633A1 true WO2016152633A1 (ja) 2016-09-29

Family

ID=56977474

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/058065 WO2016152633A1 (ja) 2015-03-26 2016-03-15 画像処理システムおよび画像処理方法、並びにプログラム

Country Status (4)

Country Link
US (1) US10600169B2 (ja)
EP (1) EP3276951A4 (ja)
JP (1) JP6627861B2 (ja)
WO (1) WO2016152633A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6392945B1 (ja) * 2017-07-19 2018-09-19 株式会社コロプラ 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
JP2019021324A (ja) * 2017-07-19 2019-02-07 株式会社コロプラ 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
KR20190019605A (ko) * 2017-08-18 2019-02-27 삼성전자주식회사 심도 맵을 이용하여 이미지를 편집하기 위한 장치 및 그에 관한 방법
JP2020048117A (ja) * 2018-09-20 2020-03-26 大日本印刷株式会社 画像提供システム
JP2022514766A (ja) * 2018-12-21 2022-02-15 フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 画像情報を蓄積するための多開口撮像装置を備える装置
JP7026364B1 (ja) 2020-09-17 2022-02-28 健太郎 風間 撮像プログラム及びコンピュータ
JP2022049799A (ja) * 2020-09-17 2022-03-30 健太郎 風間 撮像方法、撮像システム、撮像装置、サーバ、及びプログラム
JP2022067190A (ja) * 2020-10-20 2022-05-06 株式会社タカラトミー 情報処理システム及び情報処理方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6275310B1 (ja) * 2017-05-26 2018-02-07 株式会社テクテック 拡張現実表示システム、プログラム及び方法
JP2019097591A (ja) * 2017-11-28 2019-06-24 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN111010590B (zh) * 2018-10-08 2022-05-17 阿里巴巴（中国）有限公司 一种视频裁剪方法及装置
US10609332B1 (en) 2018-12-21 2020-03-31 Microsoft Technology Licensing, Llc Video conferencing supporting a composite video stream
JP7447417B2 (ja) * 2019-09-27 2024-03-12 ソニーグループ株式会社 画像処理装置、画像処理方法、プログラム
US20210144297A1 (en) * 2019-11-12 2021-05-13 Shawn Glidden Methods System and Device for Safe-Selfie
CN111031178A (zh) * 2019-12-19 2020-04-17 维沃移动通信有限公司 一种视频流裁剪方法及电子设备
CN114205512B (zh) * 2020-09-17 2023-03-31 华为技术有限公司 拍摄方法和装置
US11601482B2 (en) * 2020-11-27 2023-03-07 Zoom Video Communications, Inc. Methods and apparatus for performing virtual relocation during a network conference
US11363088B1 (en) 2020-11-27 2022-06-14 Zoom Video Communications, Inc. Methods and apparatus for receiving virtual relocation during a network conference

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10260808A (ja) * 1997-03-19 1998-09-29 Agency Of Ind Science & Technol 映像表示システムおよびその臨場感向上方法
JP2004128614A (ja) * 2002-09-30 2004-04-22 Toshiba Corp 画像表示制御装置及び画像表示制御プログラム
JP2005094696A (ja) * 2003-09-19 2005-04-07 Victor Co Of Japan Ltd テレビ電話装置
JP2005191964A (ja) * 2003-12-25 2005-07-14 Toshiba Corp 画像処理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3672166B2 (ja) 1998-12-24 2005-07-13 株式会社東芝 対話型視聴装置および描画制御方法および記録媒体
JP2001285832A (ja) * 2000-01-24 2001-10-12 Matsushita Electric Ind Co Ltd データ受信装置，データ受信方法，データ伝送方法，およびデータ記憶媒体
JP3677779B2 (ja) * 2003-04-04 2005-08-03 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
US8830293B2 (en) * 2009-05-26 2014-09-09 Cisco Technology, Inc. Video superposition for continuous presence
US8451994B2 (en) * 2010-04-07 2013-05-28 Apple Inc. Switching cameras during a video conference of a multi-camera mobile device
US8488881B2 (en) * 2010-07-27 2013-07-16 International Business Machines Corporation Object segmentation at a self-checkout
JP2012099876A (ja) * 2010-10-29 2012-05-24 Sanyo Electric Co Ltd 画像処理装置、撮像装置、画像処理方法、プログラム
WO2014013628A1 (ja) * 2012-07-20 2014-01-23 楽天株式会社 動画処理装置、動画処理方法、ならびに、情報記録媒体
US9208580B2 (en) * 2012-08-23 2015-12-08 Qualcomm Incorporated Hand detection, location, and/or tracking
KR101978219B1 (ko) * 2013-03-15 2019-05-14 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
WO2014168616A1 (en) * 2013-04-10 2014-10-16 Thomson Licensing Tiering and manipulation of peer's heads in a telepresence system
US9191643B2 (en) * 2013-04-15 2015-11-17 Microsoft Technology Licensing, Llc Mixing infrared and color component data point clouds
JP2014238731A (ja) 2013-06-07 2014-12-18 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理システム、および画像処理方法
JP6245885B2 (ja) * 2013-08-02 2017-12-13 キヤノン株式会社 撮像装置およびその制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10260808A (ja) * 1997-03-19 1998-09-29 Agency Of Ind Science & Technol 映像表示システムおよびその臨場感向上方法
JP2004128614A (ja) * 2002-09-30 2004-04-22 Toshiba Corp 画像表示制御装置及び画像表示制御プログラム
JP2005094696A (ja) * 2003-09-19 2005-04-07 Victor Co Of Japan Ltd テレビ電話装置
JP2005191964A (ja) * 2003-12-25 2005-07-14 Toshiba Corp 画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3276951A4 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019021122A (ja) * 2017-07-19 2019-02-07 株式会社コロプラ 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
JP2019021324A (ja) * 2017-07-19 2019-02-07 株式会社コロプラ 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
JP6392945B1 (ja) * 2017-07-19 2018-09-19 株式会社コロプラ 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
KR102423175B1 (ko) * 2017-08-18 2022-07-21 삼성전자주식회사 심도 맵을 이용하여 이미지를 편집하기 위한 장치 및 그에 관한 방법
KR20190019605A (ko) * 2017-08-18 2019-02-27 삼성전자주식회사 심도 맵을 이용하여 이미지를 편집하기 위한 장치 및 그에 관한 방법
CN111033569A (zh) * 2017-08-18 2020-04-17 三星电子株式会社 使用深度图编辑图像的装置及其方法
EP3642802A4 (en) * 2017-08-18 2020-07-15 Samsung Electronics Co., Ltd. DEVICE FOR EDITING IMAGES USING A DEPTH MAP AND METHOD THEREFOR
US10721391B2 (en) 2017-08-18 2020-07-21 Samsung Electronics Co., Ltd. Apparatus for editing image using depth map and method thereof
US11032466B2 (en) 2017-08-18 2021-06-08 Samsung Electronics Co., Ltd. Apparatus for editing image using depth map and method thereof
CN111033569B (zh) * 2017-08-18 2024-02-13 三星电子株式会社 使用深度图编辑图像的装置及其方法
JP2020048117A (ja) * 2018-09-20 2020-03-26 大日本印刷株式会社 画像提供システム
JP2022514766A (ja) * 2018-12-21 2022-02-15 フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 画像情報を蓄積するための多開口撮像装置を備える装置
JP2022050310A (ja) * 2020-09-17 2022-03-30 健太郎 風間 撮像プログラム及びコンピュータ
JP2022049799A (ja) * 2020-09-17 2022-03-30 健太郎 風間 撮像方法、撮像システム、撮像装置、サーバ、及びプログラム
JP7026364B1 (ja) 2020-09-17 2022-02-28 健太郎 風間 撮像プログラム及びコンピュータ
JP2022067190A (ja) * 2020-10-20 2022-05-06 株式会社タカラトミー 情報処理システム及び情報処理方法
JP7261207B2 (ja) 2020-10-20 2023-04-19 株式会社タカラトミー 情報処理システム及び情報処理方法

Also Published As

Publication number Publication date
JPWO2016152633A1 (ja) 2018-01-18
EP3276951A1 (en) 2018-01-31
US20180075590A1 (en) 2018-03-15
JP6627861B2 (ja) 2020-01-08
US10600169B2 (en) 2020-03-24
EP3276951A4 (en) 2018-09-12

Similar Documents

Publication Publication Date Title
WO2016152633A1 (ja) 画像処理システムおよび画像処理方法、並びにプログラム
Mori et al. A survey of diminished reality: Techniques for visually concealing, eliminating, and seeing through real objects
US10095458B2 (en) Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system
US11257233B2 (en) Volumetric depth video recording and playback
US9978174B2 (en) Remote sensor access and queuing
US7965304B2 (en) Image processing method and image processing apparatus
US20190228263A1 (en) Training assistance using synthetic images
EP3090424A1 (en) Assigning virtual user interface to physical object
US20240078703A1 (en) Personalized scene image processing method, apparatus and storage medium
CN102668556A (zh) 医疗支援装置，医疗支援方法以及医疗支援系统
WO2018213702A1 (en) Augmented reality system
CN103391396B (zh) 显示控制设备和显示控制方法
JP6686547B2 (ja) 画像処理システム、プログラム、画像処理方法
KR101875047B1 (ko) 사진측량을 이용한 3d 모델링 시스템 및 방법
CN114125421A (zh) 图像处理方法、移动终端及存储介质
WO2018025825A1 (ja) 撮像システム
JP7241812B2 (ja) 情報可視化システム、情報可視化方法、及びプログラム
CN113412479A (zh) 混合现实显示装置和混合现实显示方法
JP6617547B2 (ja) 画像管理システム、画像管理方法、プログラム
Caruso et al. Augmented reality system for the visualization and interaction with 3D digital models in a wide environment
JP6817736B2 (ja) 情報共有支援システム、情報共有支援方法、及びプログラム
JP6826829B2 (ja) 情報共有支援システム、情報共有支援方法、及びプログラム
JP2019040357A (ja) 画像処理装置、画像処理方法、コンピュータプログラム
TWM642447U (zh) 全景影像處理系統
CN117351074A (zh) 基于头戴式眼动仪和深度相机的视点位置检测方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16768536

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017508249

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15559421

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2016768536

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE