WO2016088583A1 - 情報処理装置および情報処理方法、並びにプログラム - Google Patents
情報処理装置および情報処理方法、並びにプログラム Download PDFInfo
- Publication number
- WO2016088583A1 WO2016088583A1 PCT/JP2015/082721 JP2015082721W WO2016088583A1 WO 2016088583 A1 WO2016088583 A1 WO 2016088583A1 JP 2015082721 W JP2015082721 W JP 2015082721W WO 2016088583 A1 WO2016088583 A1 WO 2016088583A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- face
- mask
- unit
- person
- moving image
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 64
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000001514 detection method Methods 0.000 claims abstract description 110
- 238000000034 method Methods 0.000 claims abstract description 78
- 230000008569 process Effects 0.000 claims abstract description 72
- 230000000873 masking effect Effects 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims description 108
- 230000007423 decrease Effects 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000003384 imaging method Methods 0.000 description 22
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
Definitions
- the present disclosure relates to an information processing apparatus, an information processing method, and a program, and more particularly, to an information processing apparatus, an information processing method, and a program that can perform reliable mask processing easily.
- Patent Document 1 discloses an apparatus for recognizing and masking not only a forward-facing face but also a face facing sideways.
- Patent Document 2 discloses an apparatus that prevents a face image not masked from flowing on the Internet by separating the background and the face portion when uploading to the Internet.
- the technique for performing mask processing as described above is effective when face recognition is successful, but for example, all moving images such as streaming distribution in which continuously captured moving images are transmitted.
- face recognition does not always succeed with this frame
- even when masking is performed on a moving image captured in advance instead of streaming distribution the masking is not always accurately performed on all frames of the moving image. For this reason, it is necessary to manually search for a frame on which no mask is displayed and perform mask processing, which requires a great deal of labor, and it is difficult to easily perform reliable mask processing.
- the present disclosure has been made in view of such a situation, and makes it possible to easily perform reliable mask processing.
- An information processing apparatus includes a face detection unit that detects a face of a person shown in a moving image, and the face of the person when the face detection unit has successfully detected the face of the person
- An automatic mask unit that performs mask processing for masking, and a determination unit that determines whether to distribute the moving image based on a face detection result obtained by the face detection unit detecting the face of the person .
- An information processing method or program detects a person's face shown in a moving image, and performs mask processing to mask the person's face when the person's face is successfully detected. And determining the distribution of the moving image based on a face detection result obtained by detecting the face of the person.
- a mask process is performed to mask the face of the person. Then, based on a face detection result obtained by detecting a person's face, a determination is made regarding moving image distribution.
- reliable mask processing can be easily performed.
- FIG. 18 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
- FIG. 1 is a block diagram illustrating a configuration example of an embodiment of a distribution system to which the present technology is applied.
- the distribution system 11 includes a performer-side information processing device 13, a distribution server 14, and N (multiple) viewer-side information processing devices 15 ⁇ via a network 12 such as the Internet. 1 to 15-N are connected.
- the performer-side information processing device 13 sequentially transmits moving images obtained by capturing performers to the distribution server 14 via the network 12, as will be described later with reference to FIG.
- the distribution server 14 distributes the moving image transmitted from the performer-side information processing device 13 to the viewer-side information processing devices 15-1 to 15-N via the network 12. At this time, for example, the distribution server 14 performs image processing such that comments transmitted from the viewer-side information processing devices 15-1 to 15-N are superimposed on the distributed moving images, and the like Can be distributed.
- the viewer-side information processing devices 15-1 to 15-N display the moving image distributed from the distribution server 14 via the network 12 and allow the viewer to view it. Then, the viewer-side information processing devices 15-1 to 15-N transmit, to the distribution server 14, comments and the like input by the respective viewers in response to the moving images.
- the performer-side information processing device 13 when the performer wants to distribute a moving image without revealing the face, the performer-side information processing device 13 superimposes on the area where the performer's face is shown. Thus, face mask processing for displaying a mask image can be performed. Then, a moving image in which the face of the distributor is hidden by the mask image by performing the face mask processing is transmitted from the performer side information processing apparatus 13 via the distribution server 14 to the viewer side information processing apparatus 15-1. To 15-N.
- FIG. 2 is a block diagram showing a configuration example of the performer side information processing apparatus 13.
- the performer-side information processing device 13 includes a communication unit 21, an imaging unit 22, a display unit 23, a storage unit 24, an operation unit 25, and an image processing unit 26.
- the communication unit 21 performs communication via the network 12 in FIG. 1 and transmits, for example, a moving image subjected to image processing in the image processing unit 26 to the distribution server 14.
- the imaging unit 22 includes, for example, an imaging element, an optical lens, and the like, and supplies a moving image obtained by imaging one or more performers as a subject to the image processing unit 26 to perform face mask processing. To do.
- the imaging unit 22 can supply the captured moving image to the display unit 23 and cause the display unit 23 to display a moving image that has not undergone face mask processing.
- the display unit 23 is configured by, for example, a liquid crystal display or an organic EL (Electro Luminescence) display, and displays a moving image subjected to image processing by the image processing unit 26, a moving image captured by the imaging unit 22, and the like. indicate.
- the display unit 23 can display a moving image that has been supplied with the moving image distributed from the distribution server 14 via the communication unit 21 and has been subjected to image processing in the distribution server 14.
- the storage unit 24 includes a hard disk drive, a semiconductor memory, and the like, and stores information necessary for the image processing unit 26 to perform image processing (for example, a face detection result or a specific face table described later).
- the storage unit 24 stores information (for example, a mask target flag described later) input by the performer performing an operation on the operation unit 25.
- the operation unit 25 includes a keyboard, a mouse, a touch panel, etc., and is operated by the performer. For example, the performer operates the operation unit 25 to set a mask target flag indicating whether or not the performer's face is a target to be masked, or as a position where the performer should first project a face on the screen. An identified initial mask position can be specified.
- the image processing unit 26 A face mask process (see FIG. 4) is performed to display a mask image so as to be superimposed on the region where is shown. Then, the image processing unit 26 supplies the moving image on which the face mask process has been performed to the display unit 23 for display, and transmits the moving image to the distribution server 14 via the communication unit 21. Further, the image processing unit 26 performs a target face input process (see FIG. 5) for setting a target face to be subjected to the face mask process before performing the face mask process.
- a target face input process see FIG. 5
- the image processing unit 26 includes a digital signal processing unit 31, a face detection unit 32, a mask determination unit 33, an automatic mask unit 34, a prediction mask unit 35, an initial mask unit 36, and an overall mask unit 37. And a display image generation unit 38.
- the digital signal processing unit 31 performs various digital signal processing necessary for performing image processing in the image processing unit 26 on the moving image (image signal) supplied from the imaging unit 22, for example, The image data for each frame constituting is supplied to the face detection unit 32.
- the face detection unit 32 performs face detection processing for detecting the face shown in the image for each image data sequentially supplied from the digital signal processing unit 31. Then, when a face is detected by the face detection process, the face detection unit 32 identifies face area information for specifying the position and size of the area in which the face is shown, and a specific face. The face detection result including the face identification information is supplied to the mask determination unit 33 and the storage unit 24. Further, when no face is detected by the face detection process, the face detection unit 32 outputs a face detection result indicating that no face is detected from the processing target image.
- face detection results for a predetermined period of time supplied from the face detection unit 32 are stored in the storage unit 24, and those face detection results are used as face region prediction data to predict face regions in the next and subsequent image data. Used to do. Further, the storage unit 24 is registered in association with a specific face detection result detected by the face detection unit 32 and a mask target flag indicating whether or not the face is to be masked. The face table is stored.
- the mask determination unit 33 reads the specific face table stored in the storage unit 24, determines whether it is necessary to perform mask processing on the image to be processed, and the face detection unit 32 succeeds in face detection. In accordance with the determination as to whether or not the masking process is performed, one of the determination that the automatic mask unit 34 performs mask processing, the determination that the prediction mask unit 35 performs mask processing, and the determination that mask processing is not performed is performed.
- the mask determination unit 33 needs to mask the image to be processed, and when the face detection unit 32 succeeds in face detection, the mask determination unit 33 determines to perform the mask processing on the automatic mask unit 34.
- the face detection result is supplied to the automatic mask unit 34.
- the mask determination unit 33 needs to mask the image to be processed, and when the face detection unit 32 fails to detect the face, the mask determination unit 33 determines to make the prediction mask unit 35 perform mask processing. Do. In this case, the mask determination unit 33 reads face detection results for a predetermined period of time stored in the storage unit 24 as face area prediction data, and based on those face detection results, the position of the face that failed to be detected The face prediction area is obtained by predicting the size and supplied to the prediction mask unit 35.
- the mask determination unit 33 determines that the mask process is not performed when it is not necessary to mask the image to be processed. For example, if the mask target flag associated with the face detection result indicates that the mask target flag is not a target to be masked, the mask determination unit 33 determines not to perform mask processing.
- the automatic mask unit 34 generates a mask image to be superimposed on the face shown in the processing target image based on the face area information included in the face detection result by the face detection unit 32 according to the determination by the mask determination unit 33. And supplied to the display image generation unit 38.
- the prediction mask unit 35 generates a mask image to be superimposed on the face predicted to be displayed in the processing target image based on the face prediction area obtained by the mask determination unit 33 according to the determination by the mask determination unit 33. And supplied to the display image generation unit 38.
- the initial mask unit 36 generates a mask image displayed at the initial mask position in the target face input process (flowchart in FIG. 5) for inputting the target face to be masked before the face mask process is performed. And supplied to the display image generation unit 38.
- the overall mask unit 37 is output from the image processing unit 26 instead of the mask processing by the prediction mask unit 35. If it is determined that the entire image is to be masked, a mask image for masking the entire image is generated and supplied to the display image generation unit 38.
- the display image generation unit 38 generates a display image in which the mask image generated in the automatic mask unit 34, the prediction mask unit 35, the initial mask unit 36, or the overall mask unit 37 is superimposed on the image captured by the imaging unit 22. And output.
- the performer-side information processing device 13 is configured, and for example, even when the face detection process by the face detection unit 32 fails, a mask image can be displayed according to the face prediction region. Thereby, mask processing can be more reliably performed.
- the prediction mask unit 35 can generate a mask image.
- the mask image generated by the automatic mask unit 34 is displayed in the frames d1, d4, and d5, and the mask image generated by the prediction mask unit 35 is displayed in the frames d2 and d3. Therefore, the performer-side information processing device 13 can more reliably mask the performer's face.
- the performer-side information processing device 13 masks the performer's face with a high probability. be able to. Accordingly, the performer-side information processing device 13 is preferably used for a service with high real-time characteristics, for example, video streaming. Further, as compared with a case where a frame in which no mask is displayed is manually searched and mask processing is performed, the performer-side information processing device 13 masks a face for privacy protection when uploading a moving image. Work can be made more efficient.
- FIG. 4 is a flowchart for explaining the face mask processing performed in the image processing unit 26.
- step S11 the mask determination unit 33 stores The specific face table stored in the unit 24 is read.
- step S12 the face detection unit 32 sequentially performs face detection processing on the image data supplied from the digital signal processing unit 31 as a processing target. Then, the face detection unit 32 supplies the face detection result obtained by performing the face detection process to the mask determination unit 33 and also supplies it to the storage unit 24 for storage.
- the mask determination unit 33 refers to the specific face table read from the storage unit 24 in step S11, and performs processing on the image to be processed based on the face detection result supplied from the face detection unit 32 in step S12. To determine whether it is necessary to mask.
- the mask determination unit 33 sets the target image to be processed. On the other hand, it is determined that it is necessary to mask. On the other hand, in the specific face table, when the mask target flag associated with the face identification information included in the face detection result indicates that it is not a target to be masked, it is necessary to mask the image to be processed. Judge that there is no. Furthermore, even if the face detection result indicates that the face is not detected from the processing target image, the mask determination unit 33 needs to mask the image one frame before the processing target image. If it is determined that there is an image, it is determined that it is necessary to mask the image to be processed.
- step S13 when the mask determination unit 33 determines that the image to be processed needs to be masked, the process proceeds to step S14.
- step S14 the mask determination unit 33 compares the face detection result in the image one frame before the processing target image to determine whether or not the face has been successfully detected in the current face detection process in step S12. Determine whether.
- step S14 if the mask determination unit 33 determines that face detection has been successful, the process proceeds to step S15. For example, if the face detected in the image one frame before is also detected in the face detection process in this step S12, the mask determination unit 33 detects the face in the face detection process in this step S12. Judge that it was successful.
- step S15 the mask determination unit 33 supplies the face detection result to the automatic mask unit 34, and the automatic mask unit 34 detects the position of the face detected from the image based on the face area information included in the face detection result. Then, automatic mask processing for generating a mask image corresponding to the size is performed.
- step S14 determines in step S14 that face detection has not succeeded (has failed)
- the process proceeds to step S16. For example, when the face is detected in the center area (for example, the area inside the predetermined width from the edge of the image) in the image one frame before, that is, the mask determination unit 33 is to frame out during one frame. If a face has been detected at an unthinkable position, it is determined that face detection has not been successful in the face detection process in this step S12.
- step S16 the mask determination unit 33 reads the face detection results for a certain past time stored in the storage unit 24 as face region prediction data.
- step S17 the mask determination unit 33 determines whether or not the reading of the face area prediction data in step S16 is successful. If it is determined that the reading of the face area prediction data is successful, the process proceeds to step S18. .
- step S18 the mask determination unit 33 predicts the position and size of the face that has failed to be detected based on the face area prediction data that has been successfully read, that is, based on face detection results for a certain past time. To obtain a face prediction area. For example, the mask determination unit 33 predicts the face position predicted to have moved during one frame as the face prediction area based on the face position in the past fixed time and the moving speed of the face. .
- step S19 the mask determination unit 33 determines whether or not the face prediction area obtained in step S18 is included in the image. If it is determined that the face prediction area is included in the image, the process proceeds to step S20. move on.
- step S20 the mask determination unit 33 supplies the face prediction area obtained in step S18 to the prediction mask unit 35.
- the prediction mask unit 35 performs a prediction mask process for generating a mask image corresponding to the position and size of the face predicted by the mask determination unit 33 based on the face prediction region, and then the process proceeds to step S21.
- step S13 when it is determined in step S13 that the mask determination unit 33 does not need to mask the image to be processed, and in step S15, after the automatic mask unit 34 performs the automatic mask process, the process is performed. Advances to step S21.
- step S17 if the mask determination unit 33 determines that the face area prediction data has not been successfully read (failed to read), it is assumed that the performer has not been in the screen for a long time, and the mask image Is not performed, and the process proceeds to step S21.
- step S19 if the mask determination unit 33 determines that the face prediction area is not included in the image, it is estimated that the face prediction area is completely outside the image and out of the frame, and a mask image is generated. The process to be performed is not performed, and the process proceeds to step S21.
- step S ⁇ b> 21 when the mask image generated by the automatic mask unit 34 or the prediction mask unit 35 is supplied, the display image generation unit 38 displays a display image obtained by superimposing the mask image on the image captured by the imaging unit 22. Generate and output. The display image output from the display image generation unit 38 is displayed on the display unit 23 and transmitted to the distribution server 14 via the communication unit 21.
- step S22 it is determined whether or not the supply of moving images from the imaging unit 22 has been completed. If it is determined that the supply of moving images from the imaging unit 22 has not ended, the process returns to step S12, and the next Hereinafter, the same processing is repeated with the image data of the frame as a processing target. On the other hand, if it is determined in step S22 that the supply of moving images from the imaging unit 22 has been completed, the processing is terminated.
- the performer-side information processing device 13 can display the mask image according to the face prediction area even when the face detection process by the face detection unit 32 fails, and more reliable mask processing can be performed. Can be easily applied.
- FIG. 5 is a flowchart for explaining the target face input process performed in the image processing unit 26.
- step S ⁇ b> 31 when the performer performs an operation of inputting the target face to the operation unit 25, the display image generation unit 38 generates a target face input screen for inputting the target face and displays it on the display unit 23. Let Then, the performer operates the operation unit 25, and thereafter inputs whether or not it is necessary to mask the face shown in the image captured by the image capturing unit 22, and masks according to the input.
- the target flag is set.
- the mask target flag is set not to be masked, the following processing is not performed, and only when the mask target flag is set to be masked, the following processing is performed. Is called.
- step S32 the initial mask unit 36 sets an initial mask position, which is a position where the mask is first displayed when performing the face mask process, as an initial setting before the performer's face is projected.
- the initial mask unit 36 can randomly determine the initial mask position for an arbitrary part of the screen. Note that another method of setting the initial mask position will be described later with reference to FIG.
- step S33 the initial mask unit 36 generates a mask image, supplies it to the display image generation unit 38, and displays it at the initial mask position set in step S32. Then, the initial mask unit 36 provides guidance to the performer so that the new performer is hidden by the mask image displayed at the initial mask position.
- step S34 the face detection unit 32 sequentially performs face detection processing on the image data supplied from the digital signal processing unit 31 as a processing target.
- step S35 the face detection unit 32 determines whether or not a new face that has not been detected so far has been detected in the initial mask position in the face detection process in step S34. If the face detection unit 32 determines in step S35 that a new face has not been detected, the process returns to step S34, and the face detection process is repeated with the image data of the next frame as the processing target, and a new face is obtained. If it is determined that is detected, the process proceeds to step S36.
- step S36 since the initial mask unit 36 has recognized the face, the initial mask unit 36 instructs the display image generation unit 38 to generate a message indicating that the face can be masked even if the performer moves, thereby generating a display image.
- the unit 38 generates a message to that effect and displays it on the display unit 23.
- step S37 the face detection unit 32 associates the face detection result of the face detected in step S34 with the mask target flag set for the face, and stores the specific face table stored in the storage unit 24. Register with. Thereafter, the target face input process is ended, and the face mask process (FIG. 4) is started.
- the performer-side information processing device 13 can reliably execute the face mask process for a performer who wants to input a target face and does not want to reveal the face before starting the distribution of moving images. .
- FIG. 6 is a diagram illustrating a user interface displayed when setting the mask target flag in step S31 of FIG. 5 described above.
- a live view screen 51 that displays an image captured by the imaging unit 22, an image subjected to image processing by the image processing unit 26, and the like in real time, and operation input by performers are performed.
- a user interface screen 52 used for the above is displayed.
- the performer participates in the distribution of the moving image on the user interface screen 52 as shown in FIG. 6B.
- a participation button 61 for determining is displayed.
- a user interface screen 52 as shown in FIG. 6C is displayed.
- the user interface screen 52 does not require a mask for inputting that the performer's face needs to be masked and a mask necessity button 62 for inputting that the performer's face need not be masked.
- Button 62 is displayed. Then, when the performer performs an operation on the mask necessity button 62 using the operation unit 25, in the above-described step S31 of FIG.
- the mask target flag is set as it is necessary to perform masking.
- FIG. 7 is a diagram illustrating a user interface displayed when setting the initial mask position in step S32 of FIG. 5 described above.
- the performer causes the imaging unit 22 to image a paper or the like on which a specific image recognizable marker (X mark in the example of FIG. 7A) is drawn.
- the position is set as the initial mask position.
- the initial mask unit 36 displays an initial mask designation mark 64 on the live view screen 51 in which the initial mask position is set.
- the performer is imaged by the imaging unit 22 in a specific pose (in the example of FIG. 7B, a pose in front of the face with a hand), The position of the performer's face at that time is set as the initial mask position. Then, the initial mask unit 36 displays an initial mask designation mark 64 on the live view screen 51 in which the initial mask position is set.
- the initial mask portion 36 is positioned at an arbitrary position (in the example of FIG. 7C, the upper left position of the live view image 65 displayed on the user interface screen 52). May be automatically set and the initial mask designation mark 64 may be displayed.
- the initial mask position set by the initial mask unit 36 indicates that the performer performs an operation on the initial mask designation mark 64 (in the example of FIG. 7D, an operation using the touch panel), as shown in D of FIG. It can be moved by doing.
- the operation for the initial mask designation mark 64 can be performed with a mouse cursor or a finger gesture imaged by the imaging unit 22.
- FIG. 8 is a diagram for explaining a user interface that is displayed until a mask image is displayed at the initial mask position and face mask processing is performed.
- the initial mask unit 36 displays the mask image 66 at the initial mask position designated by the initial mask designation mark 64 (step S33 in FIG. 5).
- an image for guiding the performer can be displayed at a position where the face is hidden by the mask image 66, or voice can be output.
- step S34 in FIG. 5 the message “Face recognition is complete. Move and OK” is displayed on the message display section 68 of the user interface screen 52 (step S36 in FIG. 5). ).
- the face mask process described above with reference to FIG. 4 is performed, and the mask image 66 moves according to the movement of the performer's face, and the moving image is displayed with the performer's face hidden as shown in FIG. The image is distributed.
- the mask image 66 (initial mask) displayed at the initial mask position can be displayed on the live view screen 51 at a timing when performers increase, for example.
- an initial mask may be applied using a test screen.
- the live view screen 51 is hidden (blackout or distribution stopped), the initial mask is displayed on the test screen, and the success level of the face recognition by the face detection unit 32 is displayed. Then, after the mask image 66 can be moved according to the movement of the performer's face, the live view screen 51 may be displayed (blackout cancellation or distribution start).
- FIG. 9A when there are two performers, mask images 66-1 and 66-2 are displayed on the live view screen 51 in accordance with the position of each performer's face.
- the face detection unit 32 identifies each performer by the face identification information ID1 and ID2.
- FIG. 9B shows a live view screen 51 used for internal processing of the face detection unit 32.
- the performer's face recognition frame 67-1 identified by the face identification information ID1 and the face identification information are shown.
- a face recognition frame 67-2 of the performer identified by ID2 is displayed.
- the face detection unit 32 it is assumed that the face recognition rate of the performer identified by the face identification information ID2 is reduced, and the probability of correctly displaying the mask image 66-2 is reduced.
- the message display section 68 of the user interface screen 52 displays the message “ID2 mask success rate has fallen.
- a distribution stop button 69 for instructing the stop is displayed. At this time, if the performer performs an operation on the distribution stop button 69 using the operation unit 25, the distribution of the moving image is stopped, and the appearance of the performer's face can be avoided.
- mask images 66-1 and 66-2 are displayed on the live view screen 51 in accordance with the position of each performer's face.
- the performer identified by the face identification information ID2 performs an operation of changing the mask target flag set as needing masking so that the mask target flag does not need to mask.
- the operation content display unit 70 of the user interface screen 52 displays the operation content “ID2 mask setting” and is operated when masking is necessary.
- a mask necessity button 71, a mask unnecessary button 72 that is operated when masking is not necessary, and a determination button 73 that is operated when determining the operation content are displayed.
- the mask image 66-2 may be hidden on the live view screen 51 as shown in FIG. 10C. it can.
- mask images 66-1 and 66-2 are displayed on the live view screen 51 in accordance with the positions of the faces of the performers.
- the performer identified by the face identification information ID1 performs an operation of changing the mask image.
- a message “Change the mask of ID1. Please select the mask you want to attach.” Is displayed on the message display unit 74 of the user interface screen 52.
- the user interface screen 52 has icons 75 to 77 showing mask images that can be selected by performers, a selection frame 87 for highlighting the selected mask image, and a selection content.
- a determination button 79 to be operated is displayed.
- the selection frame 87 is displayed in a state where the performer has selected the mask image of the icon 77.
- the live view screen is displayed as shown in FIG. 11C.
- a mask image 66-1 ′ corresponding to the icon 77 is displayed.
- the mask determination unit 33 can automatically change the mask image 66 according to the performer, and the performer is registered in advance according to the performer recognized by the face detection unit 32. A certain mask image 66 can be displayed. Further, the mask determination unit 33 can recognize the facial expression (emotion) of the performer and change the mask image 66 according to the facial expression.
- the performer side information processing apparatus 13 can perform the target face input process and the face mask process.
- the method of masking the performer's face by the image processing unit 26 is not limited to the method of generating the mask image 66 as described above.
- Image processing that cannot be recognized may be performed. For example, perform a mosaic process on the performer's face, display any image other than the face, paint it in black, apply effects such as eyes, etc. They may be superimposed.
- the mask determination unit 33 when the mask determination unit 33 fails to detect the face to be masked and cannot find the region to be masked, the mask determination unit 33 replaces part or all of the mask processing by the prediction mask unit 35 with the entire mask unit. 37, it can be determined to mask the entire image. As a result, the reliability of face concealment can be further improved when the entire mask unit 37 masks the entire area predicted to be masked, as compared to masking only the region predicted to be masked. . Note that the mask processing by the prediction mask unit 35 and the mask processing by the entire mask unit 37 may be performed in parallel.
- the mask determination unit 33 determines to stop the distribution of the moving image itself, or determines to stop only the distribution of the frame in which the face detection has failed, Control can be performed.
- the mask processing by the prediction mask unit 35 can be switched. . Accordingly, it is possible to reduce stress due to the fact that new frames are not distributed while preventing the reliability of face concealment from being lowered by relying only on the mask processing by the prediction mask unit 35.
- the trigger is an aim that eliminates the need to make the entire moving image invisible. For example, the trigger of the target face is successfully detected in the subsequent frames, or “the face can be hidden well in the current environment”.
- a confirmation screen for displaying the question “There is a fear that there is no possibility of continuing distribution” is displayed on the display unit 23, and the performer operates the operation unit 25 to obtain an input for agreeing to the question. And so on.
- the mask determination unit 33 may determine to continue outputting the immediately preceding frame that has been successfully detected when the detection of the face to be masked fails and the area to be masked cannot be found. . Alternatively, in this case, the mask determination unit 33 may determine to output a substitute image on which a predetermined comment (for example, please wait for a while) is displayed. As described above, the mask determination unit 33 can perform various determinations for switching the distribution of moving images so that the face of the performer is not disclosed at the timing when the face recognition fails, in addition to performing the mask process. Further, the performer-side information processing device 13 can perform a delay distribution in which the distribution is delayed by a predetermined delay time. By this delay time, for example, until the moving image distribution is switched from the timing when the face recognition fails. Can be reliably performed.
- the mask determination unit 33 displays the moving image. It may be determined to start the distribution of. That is, if there are not a plurality of performer members, the moving image is not distributed.
- the mask determination unit 33 may switch the mask processing based on the degree of coincidence with the number of faces registered in advance. Specifically, if the degree of coincidence with the number of faces is large, the initial mask is used. Mask processing by the unit 36 can be performed.
- the present technology is used, for example, to perform various types of imaging devices such as Web cameras connected to personal computers, wearable devices worn by performers, fixed point cameras, surveillance cameras, and television broadcasting. It can be applied to broadcasting equipment.
- the present technology can be incorporated as one function in, for example, a chip of an imaging element built in various imaging devices.
- the processes described with reference to the flowcharts described above do not necessarily have to be processed in chronological order in the order described in the flowcharts, but are performed in parallel or individually (for example, parallel processes or objects). Processing).
- the program may be processed by one CPU, or may be distributedly processed by a plurality of CPUs.
- the above-described series of processing can be executed by hardware or can be executed by software.
- a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs.
- the program is installed in a general-purpose personal computer from a program recording medium on which the program is recorded.
- FIG. 12 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
- a CPU Central Processing Unit
- ROM Read Only Memory
- RAM Random Access Memory
- An input / output interface 105 is further connected to the bus 104.
- the input / output interface 105 includes an input unit 106 including a keyboard, a mouse, and a microphone, an output unit 107 including a display and a speaker, a storage unit 108 including a hard disk and nonvolatile memory, and a communication unit 109 including a network interface.
- a drive 110 for driving a removable medium 111 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is connected.
- the CPU 101 loads, for example, the program stored in the storage unit 108 to the RAM 103 via the input / output interface 105 and the bus 104 and executes the program. Is performed.
- the program executed by the computer (CPU 101) is, for example, a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc), etc.), a magneto-optical disc, or a semiconductor.
- the program is recorded on a removable medium 111 that is a package medium including a memory or the like, or is provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
- the program can be installed in the storage unit 108 via the input / output interface 105 by attaching the removable medium 111 to the drive 110. Further, the program can be received by the communication unit 109 via a wired or wireless transmission medium and installed in the storage unit 108. In addition, the program can be installed in the ROM 102 or the storage unit 108 in advance.
- this technique can also take the following structures.
- a face detection unit for detecting the face of a person shown in a moving image;
- An automatic mask unit that performs a mask process for masking the face of the person when the face detection unit succeeds in detecting the face of the person;
- An information processing apparatus comprising: a determination unit configured to determine whether to distribute the moving image based on a face detection result obtained by the face detection unit detecting the face of the person.
- a prediction mask unit that performs a mask process for masking a face prediction region where the face of the person is predicted to be reflected in the moving image; When the face detection unit fails to detect the person's face, the determination unit determines to distribute the moving image that has been subjected to the mask processing by the prediction mask unit.
- the information processing apparatus wherein the face prediction area is obtained based on the face detection result. (3) The information processing apparatus according to (1) or (2), wherein the determination unit instructs the prediction mask unit to perform mask processing when the calculated face prediction region is included in the moving image. . (4) An overall mask portion for performing a mask process for masking the entire moving image; The determination unit determines to distribute the moving image that has been subjected to mask processing by the overall mask unit when the face detection unit fails to detect the person's face.
- the information processing apparatus according to any of the above.
- a setting unit that sets a mask target flag indicating whether or not the mask processing is performed on a specific face;
- the determination unit instructs the automatic mask unit or the prediction mask unit to perform mask processing on a face set to be subjected to mask processing in the mask target flag.
- the information processing apparatus according to any one of 4).
- An initial mask unit for applying an initial mask for masking a predetermined position of the moving image as an initial setting before the face of the person is projected when detecting the face of a person who newly appears in the moving image;
- the information processing apparatus according to any one of (1) to (5).
- (7) The information processing apparatus according to (6), wherein the initial mask unit guides the person so that the face of the person who newly appears is hidden by the initial mask.
- the apparatus Before detecting the face of the person who newly appears in the moving image, the apparatus further includes a setting unit that sets a mask target flag indicating whether or not the face of the person is to be masked.
- the information processing apparatus according to 6) or (7).
- the information processing apparatus according to any one of the above. (10)
- the determination unit notifies that the face recognition rate has decreased and instructs to stop the distribution of the moving image.
- the information processing apparatus according to any one of (1) to (9), wherein a determination is made to stop delivery of the moving image according to an operation being performed.
- the determination unit determines to stop the distribution of the moving image itself when the face detection unit fails to detect the person's face, to determine to switch to the distribution of an image as a substitute for the moving image, Any one of the above determinations (1) to (10), wherein either the determination to continue distributing the frame immediately before the face detection failure or the determination to stop only the distribution of the frame for which the face detection has failed is performed.
- Information processing device is any one of (1) to (9), wherein a determination is made to stop delivery of the moving image according to an operation being performed.
- 11 distribution system, 12 network, 13 performer side information processing device, 14 distribution server, 15-1 to 15-N viewer side information processing device, 21 communication unit, 22 imaging unit, 23 display unit, 24 storage unit, 25 Operation section, 26 image processing section, 31 digital signal processing section, 32 face detection section, 33 mask judgment section, 34 automatic mask section, 35 prediction mask section, 36 initial mask section, 37 overall mask section, 38 display image generation section
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本開示は、確実なマスク処理を容易に施すことができる情報処理装置および情報処理方法、並びにプログラムに関する。 情報処理装置は、動画像に映されている人物の顔を検出する顔検出部と、顔検出部による人物の顔の検出が成功した場合に、その人物の顔をマスクするマスク処理を施す自動マスク部と、動画像に人物の顔が映されていると予測される顔予測領域をマスクするマスク処理を施す予測マスク部と、顔検出部が人物の顔の検出を行うことにより得られる顔検出結果に基づいて、動画像の配信に対する判断を行う判断部とを備える。そして、判断部は、顔検出部による人物の顔の検出が失敗した場合に、予測マスク部によるマスク処理が施された動画像の配信を行うと判断し、過去の一定時間分の顔検出結果に基づいて顔予測領域を求める。本技術は、例えば、リアルタイムに動画像を配信する配信システムに適用できる。
Description
本開示は、情報処理装置および情報処理方法、並びにプログラムに関し、特に、確実なマスク処理を容易に施すことができるようにした情報処理装置および情報処理方法、並びにプログラムに関する。
近年、Webカメラやスマートフォンに付属のカメラなどを使用して、自身で撮影した動画像をインターネット経由で動画配信サイトにアップロードしたり、ストリーミング配信したりすることが可能となっている。
しかしながら、不特定多数の人に対して顔を公開することに不安を抱く人が多く、そのような人は、自身や特定の人物を撮影した動画像の配信を敬遠したり、公開範囲を限定して配信したりしていた。また、例えば、お面等で顔を隠した状態で撮影した動画像を配信したり、手作業で動画像の顔部分にマスク処理を施した後に配信したりする人も多く見られる。
従来より、静止画像および動画像の顔に対してマスク処理を施す際の確実性を向上させる技術は、数多く開発されている。例えば、特許文献1には、前向きの顔だけでなく、横を向いた顔でも認識してマスク処理する装置が開示されている。また、特許文献2には、インターネットにアップロードする際に、背景と顔の部分を切り離しておくことで、マスク処理されていない顔画像はインターネット上に流れないようにする装置が開示されている。
しかしながら、上述したようなマスク処理を施す技術は、顔認識に成功した場合には有効であるが、例えば、連続的に撮像した動画像を送信していくストリーミング配信のような、動画像の全てのフレームで必ずしも顔認識に成功すると限らない用途では、確実にマスク処理を施すことは困難であった。また、例えば、ストリーミング配信ではなく、事前に撮像した動画像にマスク処理を施す場合であっても、動画像の全てのフレームで正確にマスク処理が施されるとは限られない。そのため、マスクが表示されていないフレームを手作業で探してマスク処理を施さなければならず非常に大きな労力が必要であり、確実なマスク処理を容易に施すことは困難であった。
本開示は、このような状況に鑑みてなされたものであり、確実なマスク処理を容易に施すことができるようにするものである。
本開示の一側面の情報処理装置は、動画像に映されている人物の顔を検出する顔検出部と、前記顔検出部による前記人物の顔の検出が成功した場合に、その人物の顔をマスクするマスク処理を施す自動マスク部と、前記顔検出部が前記人物の顔の検出を行うことにより得られる顔検出結果に基づいて、前記動画像の配信に対する判断を行う判断部とを備える。
本開示の一側面の情報処理方法またはプログラムは、動画像に映されている人物の顔を検出し、前記人物の顔の検出が成功した場合に、その人物の顔をマスクするマスク処理を施し、前記人物の顔の検出を行うことにより得られる顔検出結果に基づいて、前記動画像の配信に対する判断を行うステップを含む。
本開示の一側面においては、動画像に映されている人物の顔が検出され、人物の顔の検出が成功した場合に、その人物の顔をマスクするマスク処理が施される。そして、人物の顔の検出を行うことにより得られる顔検出結果に基づいて、動画像の配信に対する判断が行われる。
本開示の一側面によれば、確実なマスク処理を容易に施すことができる。
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
図1は、本技術を適用した配信システムの一実施の形態の構成例を示すブロック図である。
図1に示すように、配信システム11は、インターネットなどのネットワーク12を介して、出演者側情報処理装置13、配信サーバ14、および、N台(複数台)の視聴者側情報処理装置15-1乃至15-Nが接続されて構成される。
出演者側情報処理装置13は、図2を参照して後述するように、ネットワーク12を介して、出演者を撮像した動画像を逐次的に配信サーバ14に送信する。
配信サーバ14は、出演者側情報処理装置13から送信されてくる動画像を、ネットワーク12を介して視聴者側情報処理装置15-1乃至15-Nに配信する。このとき、配信サーバ14は、例えば、配信された動画像に対して視聴者側情報処理装置15-1乃至15-Nから送信されたコメントが流れるように重畳される画像処理を施し、そのような画像処理が施された動画像を配信することができる。
視聴者側情報処理装置15-1乃至15-Nは、ネットワーク12を介して配信サーバ14から配信されてくる動画像を表示して、視聴者に視聴させる。そして、視聴者側情報処理装置15-1乃至15-Nは、それぞれの視聴者が動画像に応答して入力するコメントなどを、配信サーバ14に送信する。
このように構成される配信システム11において、出演者が顔を公開せずに動画像の配信を行いたい場合、出演者側情報処理装置13は、出演者の顔が映されている領域に重畳するようにマスク画像を表示する顔マスク処理を行うことができる。そして、顔マスク処理が施されることによって配信者の顔がマスク画像で隠された動画像が、出演者側情報処理装置13から配信サーバ14を介して、視聴者側情報処理装置15-1乃至15-Nに配信される。
次に、図2は、出演者側情報処理装置13の構成例を示すブロック図である。
図2に示すように、出演者側情報処理装置13は、通信部21、撮像部22、表示部23、記憶部24、操作部25、および画像処理部26を備えて構成される。
通信部21は、図1のネットワーク12を介した通信を行い、例えば、画像処理部26において画像処理が施された動画像を配信サーバ14に送信する。
撮像部22は、例えば、撮像素子や光学レンズなどを有して構成されており、1人または複数人の出演者を被写体として撮像した動画像を、画像処理部26に供給して顔マスク処理を行わせる。また、撮像部22は、撮像した動画像を表示部23に供給して、顔マスク処理が施されていない動画像を、表示部23に表示させることができる。
表示部23は、例えば、液晶ディスプレイや有機EL(Electro Luminescence)ディスプレイなどにより構成されており、画像処理部26により画像処理が施された動画像や、撮像部22により撮像された動画像などを表示する。また、表示部23は、配信サーバ14から配信される動画像が通信部21を介して供給され、配信サーバ14において画像処理が施された動画像を表示することができる。
記憶部24は、ハードディスクドライブや半導体メモリなどを有して構成されており、画像処理部26が画像処理を行う際に必要となる情報(例えば、後述する顔検出結果や特定顔テーブルなど)を記憶する。また、記憶部24は、出演者が操作部25に対する操作を行って入力される情報(例えば、後述するマスク対象フラグなど)を記憶する。
操作部25は、キーボードやマウス、タッチパネルなどにより構成されており、出演者により操作される。例えば、出演者は、操作部25を操作して、出演者の顔がマスクを施す対象であるか否かを示すマスク対象フラグの設定や、出演者が最初に画面に顔を映すべき位置として特定される初期マスク位置を指定することができる。
画像処理部26は、撮像部22により撮像された動画像に、顔マスク処理を施す対象となる顔(以下適宜、対象顔と称する)として設定済みの顔が映されている場合、その対象顔が映されている領域に重畳するようにマスク画像を表示する顔マスク処理(図4参照)を行う。そして、画像処理部26は、顔マスク処理が施された動画像を、表示部23に供給して表示させるとともに、通信部21を介して配信サーバ14に送信させる。また、画像処理部26は、顔マスク処理を行う前に、顔マスク処理を行う対象となる対象顔を設定する対象顔入力処理(図5参照)を行う。
また、画像処理部26は、図2に示すように、デジタル信号処理部31、顔検出部32、マスク判断部33、自動マスク部34、予測マスク部35、初期マスク部36、全体マスク部37、および表示画像生成部38を有して構成される。
デジタル信号処理部31は、撮像部22から供給される動画像(画像信号)に対して、画像処理部26において画像処理を行うのに必要な各種のデジタル信号処理を施し、例えば、動画像を構成する1フレームごとの画像データを顔検出部32に供給する。
顔検出部32は、デジタル信号処理部31から順次供給される画像データごとに、画像に映されている顔を検出する顔検出処理を行う。そして、顔検出部32は、顔検出処理により顔が検出された場合には、その顔が映されている領域の位置および大きさを特定する顔領域情報と、特定の顔を識別するための顔識別情報とを含む顔検出結果を、マスク判断部33および記憶部24に供給する。また、顔検出部32は、顔検出処理により顔が検出されなかった場合には、処理対象の画像から顔が検出されなかった旨を示す顔検出結果を出力する。
ここで、顔検出部32から供給された過去の一定時間分の顔検出結果が記憶部24に記憶され、それらの顔検出結果は顔領域予測データとして、次回以降の画像データにおいて顔領域を予測するのに利用される。また、記憶部24には、顔検出部32により検出された特定の顔検出結果と、その顔がマスクを施す対象であるか否かを示すマスク対象フラグがと対応付けられて登録された特定顔テーブルが記憶される。
マスク判断部33は、記憶部24に記憶されている特定顔テーブルを読み込み、処理対象の画像に対してマスク処理を施す必要があるか否かの判断、顔検出部32において顔検出に成功しているか否かの判断に従って、自動マスク部34にマスク処理を行わせるという決定、予測マスク部35にマスク処理を行わせる決定、および、マスク処理を行わないという決定のいずれかを行う。
例えば、マスク判断部33は、処理対象の画像に対してマスクをする必要があり、かつ、顔検出部32において顔検出に成功している場合、自動マスク部34にマスク処理を行わせる決定を行い、自動マスク部34に顔検出結果を供給する。
また、マスク判断部33は、処理対象の画像に対してマスクをする必要があり、かつ、顔検出部32において顔検出に失敗している場合、予測マスク部35にマスク処理を行わせる決定を行う。この場合、マスク判断部33は、記憶部24に記憶されている過去の一定時間分の顔検出結果を顔領域予測データとして読み込み、それらの顔検出結果に基づいて、検出に失敗した顔の位置および大きさを予測して顔予測領域を求め、予測マスク部35に供給する。
また、マスク判断部33は、処理対象の画像に対してマスクをする必要がない場合、マスク処理を行わないという決定を行う。例えば、マスク判断部33は、顔検出結果に対応付けられているマスク対象フラグがマスクを施す対象でないことを示している場合、マスク処理を行わないという決定を行う。
自動マスク部34は、マスク判断部33による決定に従い、顔検出部32による顔検出結果に含まれる顔領域情報に基づいて、処理対象の画像に映されている顔に重畳させるマスク画像を生成し、表示画像生成部38に供給する。
予測マスク部35は、マスク判断部33による決定に従い、マスク判断部33により求められた顔予測領域に基づいて、処理対象の画像に映されていると予測される顔に重畳させるマスク画像を生成し、表示画像生成部38に供給する。
初期マスク部36は、顔マスク処理が行われる前に行われる、マスク処理の対象とする対象顔を入力する対象顔入力処理(図5のフローチャート)において初期マスク位置に表示されるマスク画像を生成し、表示画像生成部38に供給する。
全体マスク部37は、例えば、マスク判断部33が、顔検出部32による出演者の顔認識に失敗した場合に、予測マスク部35によるマスク処理に替えて、画像処理部26から出力される画像の全体をマスクすると判断すると、画像の全体をマスクするマスク画像を生成し、表示画像生成部38に供給する。
表示画像生成部38は、自動マスク部34、予測マスク部35、初期マスク部36、または全体マスク部37において生成されたマスク画像を、撮像部22により撮像された画像に重畳した表示画像を生成して出力する。
以上のように出演者側情報処理装置13は構成されており、例えば、顔検出部32による顔検出処理が失敗した場合であっても、顔予測領域に従ってマスク画像を表示することができる。これにより、より確実にマスク処理を施すことができる。
ここで、図3を参照して、顔マスク処理の効果について説明する。
図3のAには、撮像部22により撮像された動画像、即ち、画像処理部26において顔マスク処理が施される前の動画像がフレームごとに(5枚のフレームa1~フレームa5)表示されている。このような動画像において、顔認識に失敗することがなければ、図3のBに示すように、全てのフレームb1~フレームb5において、出演者の顔に重畳するようにマスク画像を表示することができる。
ところで、従来、例えば、フレームa2に対する顔認識が失敗し、フレームa4に対する顔認識から復旧した場合には、図3のCに示すように、フレームc2およびC3にはマスク画像が表示されずに、出演者の顔が公開されることになる。
これに対し、出演者側情報処理装置13では、フレームa2に対する顔認識が失敗し、フレームa4に対する顔認識から復旧した場合であっても、予測マスク部35がマスク画像を生成することができる。これにより、フレームd1、フレームd4、およびフレームd5では、自動マスク部34により生成されたマスク画像が表示され、フレームd2およびフレームd3では、予測マスク部35により生成されたマスク画像が表示される。従って、出演者側情報処理装置13では、より確実に、出演者の顔をマスクすることができる。
このように、顔認識に失敗するような状況において、従来では出演者の顔をマスクすることができなかったとしても、出演者側情報処理装置13では、高い確率で出演者の顔をマスクすることができる。これにより、出演者側情報処理装置13は、リアルタイム性の高いサービス、例えば、動画ストリーミングなどに使用することが好適である。また、マスクが表示されていないフレームを手作業で探してマスク処理を施す場合と比較して、出演者側情報処理装置13は、動画像をアップロードする際のプライバシー保護のために顔をマスクする作業も効率化できる。
次に、図4は、画像処理部26において行われる顔マスク処理を説明するフローチャートである。
例えば、動画像の配信を行う際に顔マスク処理を実行するように設定され、撮像部22から動画像の供給が開始されると処理が開始され、ステップS11において、マスク判断部33は、記憶部24に記憶されている特定顔テーブルを読み込む。
ステップS12において、顔検出部32は、デジタル信号処理部31から供給される画像データを順次、処理対象として顔検出処理を行う。そして、顔検出部32は、顔検出処理を行うことにより得られる顔検出結果をマスク判断部33に供給するとともに、記憶部24に供給して記憶させる。
ステップS13において、マスク判断部33は、ステップS11で記憶部24から読み出した特定顔テーブルを参照し、ステップS12で顔検出部32から供給された顔検出結果に基づいて、処理対象の画像に対してマスクをする必要があるか否かを判定する。
例えば、マスク判断部33は、特定顔テーブルにおいて、顔検出結果に含まれる顔識別情報に対応付けられているマスク対象フラグがマスクを施す対象であることを示している場合、処理対象の画像に対してマスクをする必要があると判定する。一方、特定顔テーブルにおいて、顔検出結果に含まれる顔識別情報に対応付けられているマスク対象フラグがマスクを施す対象でないことを示している場合、処理対象の画像に対してマスクをする必要がないと判定する。さらに、マスク判断部33は、顔検出結果が、処理対象の画像から顔が検出されなかった旨を示している場合であっても、処理対象の画像の1フレーム前の画像においてマスクをする必要があると判定されていれば、処理対象の画像に対してマスクをする必要があると判定する。
ステップS13において、マスク判断部33が、処理対象の画像に対してマスクをする必要があると判定した場合、処理はステップS14に進む。
ステップS14において、マスク判断部33は、処理対象の画像の1フレーム前の画像における顔検出結果との比較を行うことにより、今回のステップS12における顔検出処理において顔の検出が成功していたか否かを判定する。
ステップS14において、マスク判断部33が、顔の検出が成功していたと判定した場合、処理はステップS15に進む。例えば、マスク判断部33は、1フレーム前の画像において検出されていた顔が、今回のステップS12における顔検出処理においても検出されている場合、今回のステップS12における顔検出処理において顔の検出が成功していたと判定する。
ステップS15において、マスク判断部33は、顔検出結果を自動マスク部34に供給し、自動マスク部34は、その顔検出結果に含まれる顔領域情報に基づいて、画像から検出された顔の位置および大きさに対応するマスク画像を生成する自動マスク処理を行う。
一方、ステップS14において、マスク判断部33が、顔の検出が成功していなかった(失敗していた)と判定した場合、処理はステップS16に進む。例えば、マスク判断部33は、1フレーム前の画像における中央領域(例えば、画像の縁から所定幅よりも内側の領域)に顔が検出されていた場合、即ち、1フレーム間にフレームアウトするとは考えられないような位置に顔が検出されていた場合、今回のステップS12における顔検出処理において顔の検出が成功していなかったと判定する。
ステップS16において、マスク判断部33は、記憶部24に記憶されている過去の一定時間分の顔検出結果を、顔領域予測データとして読み込みを行う。
ステップS17において、マスク判断部33は、ステップS16での顔領域予測データの読み込みに成功したか否かを判定し、顔領域予測データの読み込みに成功したと判定した場合、処理はステップS18に進む。
ステップS18において、マスク判断部33は、読み込みに成功した顔領域予測データに基づいて、即ち、過去の一定時間分の顔検出結果に基づいて、検出に失敗した顔の位置および大きさを予測して顔予測領域を求める。例えば、マスク判断部33は、過去の一定時間分における顔の位置、および、顔が移動する速度に基づいて、1フレームの間に移動したと予測される顔の位置を顔予測領域として予測する。
ステップS19において、マスク判断部33は、ステップS18で求めた顔予測領域が画像内に含まれるか否かを判定し、顔予測領域が画像内に含まれると判定した場合、処理はステップS20に進む。
ステップS20において、マスク判断部33は、ステップS18で求めた顔予測領域を予測マスク部35に供給する。予測マスク部35は、顔予測領域に基づいて、マスク判断部33により予測された顔の位置および大きさに対応するマスク画像を生成する予測マスク処理を行った後、処理はステップS21に進む。
ここで、ステップS13において、マスク判断部33が処理対象の画像に対してマスクをする必要がないと判定した場合、および、ステップS15において、自動マスク部34が自動マスク処理を行った後、処理はステップS21に進む。また、ステップS17において、マスク判断部33が、顔領域予測データの読み込みに成功しなかった(読み込みに失敗した)と判定した場合、出演者が画面内に長時間いなかったと推測され、マスク画像を生成する処理は行われず、処理はステップS21に進む。また、ステップS19において、マスク判断部33が、顔予測領域が画像内に含まれないと判定した場合、顔予測領域が画像の完全に外側でありフレームアウトしている推測され、マスク画像を生成する処理は行われず、処理はステップS21に進む。
ステップS21において、表示画像生成部38は、自動マスク部34または予測マスク部35により生成されたマスク画像が供給されている場合、撮像部22により撮像された画像にマスク画像を重畳した表示画像を生成して出力する。表示画像生成部38から出力された表示画像は、表示部23に表示されるとともに、通信部21を介して配信サーバ14に送信される。
ステップS22において、撮像部22から動画像の供給が終了したか否かが判定され、撮像部22から動画像の供給が終了していないと判定された場合、処理はステップS12に戻り、次のフレームの画像データを処理対象として、以下、同様の処理が繰り返される。一方、ステップS22において、撮像部22から動画像の供給が終了したと判定された場合、処理は終了される。
以上のように、出演者側情報処理装置13では、顔検出部32による顔検出処理が失敗した場合であっても、顔予測領域に従ってマスク画像を表示することができ、より確実なマスク処理を容易に施すことができる。
次に、図5は、画像処理部26において行われる対象顔入力処理を説明するフローチャートである。
ステップS31において、出演者が操作部25に対して対象顔入力を行う操作を行うと、表示画像生成部38は、対象顔を入力するための対象顔入力画面を生成し、表示部23に表示させる。そして、出演者は、操作部25を操作して、この後、撮像部22により撮像される画像に映される顔に対してマスクをする必要があるか否かを入力し、その入力に従ってマスク対象フラグが設定される。ここで、マスク対象フラグがマスクをする必要がないと設定された場合には、以下の処理は行われず、マスク対象フラグがマスクをする必要があると設定された場合のみ、以下の処理が行われる。
ステップS32において、初期マスク部36は、顔マスク処理を行う際に最初にマスクを表示する位置である初期マスク位置を、出演者の顔が映される前の初期設定として設定する。例えば、初期マスク部36は、画面の任意の一部分に対してランダムに初期マスク位置を決定することができる。なお、初期マスク位置を設定する他の方法については、図7を参照して後述する。
ステップS33において、初期マスク部36は、マスク画像を生成して表示画像生成部38に供給し、ステップS32で設定した初期マスク位置に表示させる。そして、初期マスク部36は、初期マスク位置に表示されるマスク画像により、新たな出演者が隠れるように、出演者に対する案内を行う。
ステップS34において、顔検出部32は、デジタル信号処理部31から供給される画像データを順次、処理対象として顔検出処理を行う。
ステップS35において、顔検出部32は、ステップS34の顔検出処理において初期マスク位置内に、これまで検出されてこなかった新しい顔が検出されたか否かを判定する。ステップS35において、顔検出部32が、新しい顔が検出されていないと判定した場合、処理はステップS34に戻り、次のフレームの画像データを処理対象として顔検出処理が繰り返して行われ、新しい顔が検出されたと判定した場合、処理はステップS36に進む。
ステップS36において、初期マスク部36は、顔認識ができたので、出演者が動いても顔をマスクすることができる旨のメッセージを生成するように表示画像生成部38に指示し、表示画像生成部38は、その旨のメッセージを生成して表示部23に表示する。
ステップS37において、顔検出部32は、ステップS34で検出した顔の顔検出結果と、その顔に対して設定されたマスク対象フラグとを対応付けて、記憶部24に記憶されている特定顔テーブルに登録する。その後、対象顔入力処理は終了されて、顔マスク処理(図4)が開始される。
以上のように、出演者側情報処理装置13では、動画像の配信を開始する前に、対象顔を入力し、顔を公開したくない出演者に対する顔マスク処理を確実に実行することができる。
次に、図6乃至図11を参照して、出演者側情報処理装置13において対象顔入力処理および顔マスク処理が実行されるときに、表示部23に表示されるユーザインタフェースの例について説明する。
図6は、上述の図5のステップS31においてマスク対象フラグを設定する際に表示されるユーザインタフェースを説明する図である。
例えば、表示部23には、撮像部22により撮像された画像や画像処理部26により画像処理が施された画像などをリアルタイムに表示するライブビュー画面51、および、出演者による操作入力を行うのに利用されるユーザインタフェース画面52が表示される。
図6のAに示すように、ライブビュー画面51に出演者が映される前に、図6のBに示すように、ユーザインタフェース画面52に、出演者が動画像の配信に参加することを決定するための参加ボタン61が表示される。
出演者が、操作部25を利用して参加ボタン61に対する操作を行い、動画像の配信に参加することを決定すると、図6のCに示すようなユーザインタフェース画面52が表示される。このユーザインタフェース画面52には、出演者の顔にマスクをする必要があることを入力するためのマスク必要ボタン62と、出演者の顔にマスクをする必要がないことを入力するためのマスク不要ボタン62とが表示される。そして、出演者が、操作部25を利用してマスク必要ボタン62に対する操作を行うと、上述の図5のステップS31において、この後、撮像部22により撮像される画像に映される顔に対してマスクをする必要があるとしてマスク対象フラグが設定される。
図7は、上述の図5のステップS32において初期マスク位置を設定する際に表示されるユーザインタフェースを説明する図である。
図7のAに示すように、出演者が、特定の画像認識可能なマーカー(図7のAの例では×印)が描かれた紙などを撮像部22に撮像させることで、そのマーカーの位置が初期マスク位置として設定される。そして、初期マスク部36は、初期マスク位置が設定されたライブビュー画面51上に、初期マスク指定マーク64を表示する。
また、図7のBに示すように、出演者が、特定のポーズ(図7のBの例では、手で顔の前に×印をするポーズ)で撮像部22に撮像されることで、そのときの出演者の顔の位置が初期マスク位置として設定される。そして、初期マスク部36は、初期マスク位置が設定されたライブビュー画面51上に、初期マスク指定マーク64を表示する。
また、図7のCに示すように、初期マスク部36が任意の位置(図7のCの例では、ユーザインタフェース画面52上に表示されるライブビュー画像65の左上の位置)に初期マスク位置を自動的に設定し、初期マスク指定マーク64を表示してもよい。なお、初期マスク部36により設定された初期マスク位置は、図7のDに示すように、出演者が初期マスク指定マーク64に対する操作(図7のDの例では、タッチパネルを利用した操作)を行うことにより移動させることができる。なお、初期マスク指定マーク64に対する操作は、マウスのカーソルにより行ったり、撮像部22により撮像される指のジェスチャにより行ったりすることができる。
図8は、初期マスク位置にマスク画像を表示して、顔マスク処理が行われるまでに表示されるユーザインタフェースを説明する図である。
図8のAに示すように、初期マスク部36は、初期マスク指定マーク64で指定される初期マスク位置に、マスク画像66を表示する(図5のステップS33)。このとき、例えば、マスク画像66により顔が隠れるような位置に出演者を案内する画像を表示したり、音声を出力したりすることができる。
そして、図8のBに示すように、ライブビュー画面51の外側から出演者が、マスク画像66に顔が隠れる位置で撮像部22により撮像されるように映り込むと、出演者の顔が顔認識される(図5のステップS34)。これにより、図8のCに示すように、ユーザインタフェース画面52のメッセージ表示部68には、「顔認識ができました。動いてOKです。」というメッセージが表示される(図5のステップS36)。その後、図4を参照して上述した顔マスク処理が行われ、出演者の顔の移動に従ってマスク画像66が移動し、図8のDに示すように、出演者の顔を隠した状態で動画像が配信される。
なお、初期マスク位置に表示されるマスク画像66(初期マスク)は、例えば、出演者が増加するタイミングでライブビュー画面51に表示することができる。また、ライブビュー画面51とは別に、テスト用画面を利用して初期マスクを施すようにしてもよい。例えば、ライブビュー画面51を非表示(ブラックアウトまたは配信停止状態)にして、テスト用画面において初期マスクを表示するとともに、顔検出部32による顔認識成の成功度合を表示する。そして、出演者の顔の移動に従ってマスク画像66の移動ができる状態になった後に、ライブビュー画面51を表示(ブラックアウト解除または配信開始)するようにしてもよい。
図9を参照して、出演者の顔をマスクする成功確率が低下したときのユーザインタフェースについて説明する。
図9のAに示すように出演者が二人いる場合、ライブビュー画面51には、それぞれの出演者の顔の位置に従ってマスク画像66-1および66-2が表示される。このとき、顔検出部32は、それぞれの出演者を、顔識別情報ID1およびID2により識別している。図9のBには、顔検出部32の内部処理に用いられるライブビュー画面51が示されており、顔識別情報ID1で識別される出演者の顔認識枠67-1、および、顔識別情報ID2で識別される出演者の顔認識枠67-2が表示されている。
そして、例えば、顔検出部32による顔検出処理において、顔識別情報ID2で識別される出演者の顔認識率が低下し、マスク画像66-2を正確に表示する確率が低下したとする。この場合、図9のCに示すように、ユーザインタフェース画面52のメッセージ表示部68には、「ID2のマスク成功率が落ちています。現在:××%」というメッセージが表示されるとともに、配信の停止を指示する配信停止ボタン69が表示される。このとき、出演者が、操作部25を利用して配信停止ボタン69に対する操作を行うと、動画像の配信が停止され、出演者の顔が公開されることを回避することができる。
図10を参照して、マスク対象フラグの設定を変更するときのユーザインタフェースについて説明する。
図10のAに示すように出演者が二人いる場合、ライブビュー画面51には、それぞれの出演者の顔の位置に従ってマスク画像66-1および66-2が表示される。このとき、顔識別情報ID2で識別される出演者が、マスクをする必要があると設定されているマスク対象フラグを、マスク対象フラグがマスクをする必要がないに変更する操作を行うとする。このとき、図10のBに示すように、ユーザインタフェース画面52の操作内容表示部70には、「ID2のマスク設定」という操作内容が表示されるとともに、マスクをする必要があるときに操作されるマスク必要ボタン71、マスクをする必要がないときに操作されるマスク不要ボタン72、および、操作内容を決定するときに操作される決定ボタン73が表示される。
そして、出演者が、マスク不要ボタン72に対する操作を行って、その操作内容を決定すると、図10のCに示すように、ライブビュー画面51において、マスク画像66-2を非表示にすることができる。
図11を参照して、マスク画像を変更するときのユーザインタフェースについて説明する。
図11のAに示すように出演者が二人いる場合、ライブビュー画面51には、それぞれの出演者の顔の位置に従ってマスク画像66-1および66-2が表示される。このとき、顔識別情報ID1で識別される出演者が、マスク画像を変更する操作を行ったとする。これに従い、図11のBに示すように、ユーザインタフェース画面52のメッセージ表示部74には、「ID1のマスクを変更します。つけたいマスクをえらんでください。」というメッセージが表示される。さらに、ユーザインタフェース画面52には、出演者が選択可能なマスク画像が表されたアイコン75乃至77、選択されたマスク画像を強調表示するための選択枠87、および、選択内容を決定するときに操作される決定ボタン79が表示される。
図11のBの例では、出演者が、アイコン77のマスク画像を選択した状態で選択枠87が表示されており、その選択内容を決定すると、図11のCに示すように、ライブビュー画面51では、アイコン77に対応するマスク画像66-1’が表示される。
なお、例えば、マスク判断部33は、出演者に応じてマスク画像66を自動的に変更することができ、顔検出部32により認識された出演者に応じて、その出演者が予め登録してあるマスク画像66を表示することができる。また、マスク判断部33は、出演者の表情(感情)を認識して、表情に合わせてマスク画像66を変更することができる。
以上のようなユーザインタフェースを利用して、出演者側情報処理装置13は、対象顔入力処理および顔マスク処理を行うことができる。
なお、例えば、画像処理部26が出演者の顔をマスクする方法としては、上述したようなマスク画像66を生成する方法に限定されることはなく、視聴者が見て、誰の顔であるか認識することができないような画像処理を行えばよい。例えば、出演者の顔に対してモザイク処理を施したり、顔以外の任意の画像を表示したり、真っ黒に塗りつぶしたり、目線などのエフェクトをかけたり、いわゆるアバターと称されるキャラクターの顔画像を重畳したりしてもよい。
また、例えば、マスク判断部33は、マスクすべき顔の検出に失敗し、マスクすべき領域を見つけられないときに、予測マスク部35によるマスク処理の一部または全部に替えて、全体マスク部37によって画像の全体をマスクするように判断することができる。これにより、マスクすべきと予測した領域のみを予測マスク部35によりマスクするのと比較して、全体マスク部37により全体をマスクした場合には、顔隠蔽の確実性をさらに向上させることができる。なお、予測マスク部35によるマスク処理と全体マスク部37によるマスク処理とを並行的に行ってもよい。
同様に、マスク判断部33は、マスクすべき顔の検出に失敗し、マスクすべき領域を見つけられない場合、表示画像生成部38に対して表示画像の生成を停止するように、即ち、出演者の顔をマスクできない恐れがあるフレームが表示されないようにしてもよい。さらに、この場合、マスク判断部33は、動画像の配信自体を停止するように判断して、または、顔の検出が失敗したフレームの配信のみを停止するように判断して、通信部21に対する制御を行うことができる。
なお、動画像の全体をマスクした場合や、動画像の配信自体を停止した場合などにおいて、その後、一定時間内に所定のトリガが発生しないとき、予測マスク部35によるマスク処理に切り替えることができる。これにより、予測マスク部35によるマスク処理のみに頼って顔隠ぺいの確実性を下げるのを防止しつつ、新しいコマの配信が行われないことによるストレスを低減することができる。ここで、トリガとは、動画像の全体を不可視にする必要がなくなる目途のことであり、例えば、次以降のコマで目的の顔検出に成功することや、「現在の環境では顔をうまく隠せない恐れがあるが配信を続けるか」という旨の質問を表示する確認画面を表示部23に表示し、出演者が操作部25を操作して、その質問に対して同意する入力が得られることなどを指す。
さらに、マスク判断部33は、マスクすべき顔の検出に失敗し、マスクすべき領域を見つけられない場合、顔の検出に成功していた直前のフレームを出力し続けるように判断してもよい。または、この場合、マスク判断部33は、所定のコメント(例えば、少々お待ちください)などが表示される代替え画像を出力するように判断してもよい。このように、マスク判断部33は、マスク処理を施す他、顔認識が失敗したタイミングで、出演者の顔が公開されないように動画像の配信を切り替える様々な判断を行うことができる。また、出演者側情報処理装置13は、所定のディレイ時間だけ遅れて配信を行うディレイ配信を行うことができ、このディレイ時間により、例えば、顔認識が失敗したタイミングから動画像の配信を切り替えるまでの処理を確実に行うことができる。
また、例えば、事前に登録された所定数の顔の認識が成功してマスク画像が表示されたときに、即ち、複数の出演者のメンバーが揃ったときに、マスク判断部33は、動画像の配信を開始するように判断してもよい。つまり、複数の出演者のメンバーが揃っていなければ、動画像の配信は行われない。また、例えば、マスク判断部33は、事前に登録された顔の数との一致度に基づいてマスク処理を切り替えてもよく、具体的には、顔の数との一致度が多ければ初期マスク部36によるマスク処理を行わせることができる。
なお、本技術は、例えば、パーソナルコンピュータなどに接続されるWebカメラや、出演者が身体に装着するウェアラブルデバイス、定点カメラや監視カメラなど様々な撮像装置、テレビジョン放送を行うために使用される放送機器などに適用することができる。また、本技術は、例えば、各種の撮像装置に内蔵される撮像素子のチップに一機能として組み込むことができる。
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。また、プログラムは、1のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
また、上述した一連の処理(情報処理方法)は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
図12は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)101,ROM(Read Only Memory)102,RAM(Random Access Memory)103は、バス104により相互に接続されている。
バス104には、さらに、入出力インタフェース105が接続されている。入出力インタフェース105には、キーボード、マウス、マイクロホンなどよりなる入力部106、ディスプレイ、スピーカなどよりなる出力部107、ハードディスクや不揮発性のメモリなどよりなる記憶部108、ネットワークインタフェースなどよりなる通信部109、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア111を駆動するドライブ110が接続されている。
以上のように構成されるコンピュータでは、CPU101が、例えば、記憶部108に記憶されているプログラムを、入出力インタフェース105及びバス104を介して、RAM103にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU101)が実行するプログラムは、例えば、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等)、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア111に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア111をドライブ110に装着することにより、入出力インタフェース105を介して、記憶部108にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部109で受信し、記憶部108にインストールすることができる。その他、プログラムは、ROM102や記憶部108に、あらかじめインストールしておくことができる。
なお、本技術は以下のような構成も取ることができる。
(1)
動画像に映されている人物の顔を検出する顔検出部と、
前記顔検出部による前記人物の顔の検出が成功した場合に、その人物の顔をマスクするマスク処理を施す自動マスク部と、
前記顔検出部が前記人物の顔の検出を行うことにより得られる顔検出結果に基づいて、前記動画像の配信に対する判断を行う判断部と
を備える情報処理装置。
(2)
前記動画像に前記人物の顔が映されていると予測される顔予測領域をマスクするマスク処理を施す予測マスク部
をさらに備え、
前記判断部は、前記顔検出部による前記人物の顔の検出が失敗した場合に、前記予測マスク部によるマスク処理が施された前記動画像の配信を行うと判断し、過去の一定時間分の前記顔検出結果に基づいて前記顔予測領域を求める
上記(1)に記載の情報処理装置。
(3)
前記判断部は、求めた前記顔予測領域が、前記動画像内に含まれる場合に、前記予測マスク部がマスク処理を行うように指示する
上記(1)または(2)に記載の情報処理装置。
(4)
前記動画像の全体をマスクするマスク処理を施す全体マスク部
をさらに備え、
前記判断部は、前記顔検出部による前記人物の顔の検出が失敗した場合に、前記全体マスク部によるマスク処理が施された前記動画像の配信を行うと判断する
上記(1)から(3)までのいずれかに記載の情報処理装置。
(5)
特定の顔に対してマスク処理を行う対象であるか否かを示すマスク対象フラグを設定する設定部
をさらに備え、
前記判断部は、前記マスク対象フラグにおいてマスク処理を行う対象であると設定されている顔に対し、前記自動マスク部または前記予測マスク部がマスク処理を行うように指示する
上記(1)から(4)までのいずれかに記載の情報処理装置。
(6)
前記動画像に新たに出演する人物の顔を検出する際に、その人物の顔が映される前の初期設定として前記動画像の所定位置をマスクする初期マスクを施す初期マスク部
をさらに備える上記(1)から(5)までのいずれかに記載の情報処理装置。
(7)
前記初期マスク部は、新たに出演する前記人物の顔が前記初期マスクにより隠れるように前記人物に対する案内を行う
上記(6)に記載の情報処理装置。
(8)
前記動画像に新たに出演する前記人物の顔を検出する前に、その人物の顔に対してマスク処理を行う対象であるか否かを示すマスク対象フラグを設定する設定部をさらに備える
上記(6)または(7)に記載の情報処理装置。
(9)
前記初期マスクが施された所定位置において前記人物の顔を検出した顔検出結果と、前記設定部により設定された前記マスク対象フラグとを対応付けて記憶する記憶部
をさらに備える上記(6)から(8)までのいずれかに記載の情報処理装置。
(10)
前記判断部は、マスク処理を行う対象とされている前記人物の顔に対する顔認識率が低下した場合、顔認識率が低下した旨を通知し、前記動画像の配信を停止することを指示する操作が行われるのに応じて、前記動画像の配信を停止する判断する
上記(1)から(9)までのいずれかに記載の情報処理装置。
(11)
前記判断部は、前記顔検出部による前記人物の顔の検出が失敗した場合に、前記動画像の配信自体を停止する判断、前記動画像に対して代替えとなる画像の配信に切り替える判断、前記顔の検出が失敗した直前のフレームを配信し続ける判断、および、前記顔の検出が失敗したフレームの配信のみ停止する判断のいずれかを行う
上記(1)から(10)までのいずれかに記載の情報処理装置。
(12)
動画像に映されている人物の顔を検出し、
前記人物の顔の検出が成功した場合に、その人物の顔をマスクするマスク処理を施し、
前記人物の顔の検出を行うことにより得られる顔検出結果に基づいて、前記動画像の配信に対する判断を行う
ステップを含む情報処理方法。
(13)
動画像に映されている人物の顔を検出し、
前記人物の顔の検出が成功した場合に、その人物の顔をマスクするマスク処理を施し、
前記人物の顔の検出を行うことにより得られる顔検出結果に基づいて、前記動画像の配信に対する判断を行う
ステップを含む情報処理をコンピュータに実行させるプログラム。
(1)
動画像に映されている人物の顔を検出する顔検出部と、
前記顔検出部による前記人物の顔の検出が成功した場合に、その人物の顔をマスクするマスク処理を施す自動マスク部と、
前記顔検出部が前記人物の顔の検出を行うことにより得られる顔検出結果に基づいて、前記動画像の配信に対する判断を行う判断部と
を備える情報処理装置。
(2)
前記動画像に前記人物の顔が映されていると予測される顔予測領域をマスクするマスク処理を施す予測マスク部
をさらに備え、
前記判断部は、前記顔検出部による前記人物の顔の検出が失敗した場合に、前記予測マスク部によるマスク処理が施された前記動画像の配信を行うと判断し、過去の一定時間分の前記顔検出結果に基づいて前記顔予測領域を求める
上記(1)に記載の情報処理装置。
(3)
前記判断部は、求めた前記顔予測領域が、前記動画像内に含まれる場合に、前記予測マスク部がマスク処理を行うように指示する
上記(1)または(2)に記載の情報処理装置。
(4)
前記動画像の全体をマスクするマスク処理を施す全体マスク部
をさらに備え、
前記判断部は、前記顔検出部による前記人物の顔の検出が失敗した場合に、前記全体マスク部によるマスク処理が施された前記動画像の配信を行うと判断する
上記(1)から(3)までのいずれかに記載の情報処理装置。
(5)
特定の顔に対してマスク処理を行う対象であるか否かを示すマスク対象フラグを設定する設定部
をさらに備え、
前記判断部は、前記マスク対象フラグにおいてマスク処理を行う対象であると設定されている顔に対し、前記自動マスク部または前記予測マスク部がマスク処理を行うように指示する
上記(1)から(4)までのいずれかに記載の情報処理装置。
(6)
前記動画像に新たに出演する人物の顔を検出する際に、その人物の顔が映される前の初期設定として前記動画像の所定位置をマスクする初期マスクを施す初期マスク部
をさらに備える上記(1)から(5)までのいずれかに記載の情報処理装置。
(7)
前記初期マスク部は、新たに出演する前記人物の顔が前記初期マスクにより隠れるように前記人物に対する案内を行う
上記(6)に記載の情報処理装置。
(8)
前記動画像に新たに出演する前記人物の顔を検出する前に、その人物の顔に対してマスク処理を行う対象であるか否かを示すマスク対象フラグを設定する設定部をさらに備える
上記(6)または(7)に記載の情報処理装置。
(9)
前記初期マスクが施された所定位置において前記人物の顔を検出した顔検出結果と、前記設定部により設定された前記マスク対象フラグとを対応付けて記憶する記憶部
をさらに備える上記(6)から(8)までのいずれかに記載の情報処理装置。
(10)
前記判断部は、マスク処理を行う対象とされている前記人物の顔に対する顔認識率が低下した場合、顔認識率が低下した旨を通知し、前記動画像の配信を停止することを指示する操作が行われるのに応じて、前記動画像の配信を停止する判断する
上記(1)から(9)までのいずれかに記載の情報処理装置。
(11)
前記判断部は、前記顔検出部による前記人物の顔の検出が失敗した場合に、前記動画像の配信自体を停止する判断、前記動画像に対して代替えとなる画像の配信に切り替える判断、前記顔の検出が失敗した直前のフレームを配信し続ける判断、および、前記顔の検出が失敗したフレームの配信のみ停止する判断のいずれかを行う
上記(1)から(10)までのいずれかに記載の情報処理装置。
(12)
動画像に映されている人物の顔を検出し、
前記人物の顔の検出が成功した場合に、その人物の顔をマスクするマスク処理を施し、
前記人物の顔の検出を行うことにより得られる顔検出結果に基づいて、前記動画像の配信に対する判断を行う
ステップを含む情報処理方法。
(13)
動画像に映されている人物の顔を検出し、
前記人物の顔の検出が成功した場合に、その人物の顔をマスクするマスク処理を施し、
前記人物の顔の検出を行うことにより得られる顔検出結果に基づいて、前記動画像の配信に対する判断を行う
ステップを含む情報処理をコンピュータに実行させるプログラム。
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
11 配信システム, 12 ネットワーク, 13 出演者側情報処理装置, 14 配信サーバ, 15-1乃至15-N 視聴者側情報処理装置, 21 通信部, 22 撮像部, 23 表示部, 24 記憶部, 25 操作部, 26 画像処理部, 31 デジタル信号処理部, 32 顔検出部, 33 マスク判断部, 34 自動マスク部, 35 予測マスク部, 36 初期マスク部, 37 全体マスク部, 38 表示画像生成部
Claims (13)
- 動画像に映されている人物の顔を検出する顔検出部と、
前記顔検出部による前記人物の顔の検出が成功した場合に、その人物の顔をマスクするマスク処理を施す自動マスク部と、
前記顔検出部が前記人物の顔の検出を行うことにより得られる顔検出結果に基づいて、前記動画像の配信に対する判断を行う判断部と
を備える情報処理装置。 - 前記動画像に前記人物の顔が映されていると予測される顔予測領域をマスクするマスク処理を施す予測マスク部
をさらに備え、
前記判断部は、前記顔検出部による前記人物の顔の検出が失敗した場合に、前記予測マスク部によるマスク処理が施された前記動画像の配信を行うと判断し、過去の一定時間分の前記顔検出結果に基づいて前記顔予測領域を求める
請求項1に記載の情報処理装置。 - 前記判断部は、求めた前記顔予測領域が、前記動画像内に含まれる場合に、前記予測マスク部がマスク処理を行うように指示する
請求項2に記載の情報処理装置。 - 前記動画像の全体をマスクするマスク処理を施す全体マスク部
をさらに備え、
前記判断部は、前記顔検出部による前記人物の顔の検出が失敗した場合に、前記全体マスク部によるマスク処理が施された前記動画像の配信を行うと判断する
請求項1に記載の情報処理装置。 - 特定の顔に対してマスク処理を行う対象であるか否かを示すマスク対象フラグを設定する設定部
をさらに備え、
前記判断部は、前記マスク対象フラグにおいてマスク処理を行う対象であると設定されている顔に対し、前記自動マスク部または前記予測マスク部がマスク処理を行うように指示する
請求項1に記載の情報処理装置。 - 前記動画像に新たに出演する人物の顔を検出する際に、その人物の顔が映される前の初期設定として前記動画像の所定位置をマスクする初期マスクを施す初期マスク部
をさらに備える請求項1に記載の情報処理装置。 - 前記初期マスク部は、新たに出演する前記人物の顔が前記初期マスクにより隠れるように前記人物に対する案内を行う
請求項6に記載の情報処理装置。 - 前記動画像に新たに出演する前記人物の顔を検出する前に、その人物の顔に対してマスク処理を行う対象であるか否かを示すマスク対象フラグを設定する設定部をさらに備える
請求項6に記載の情報処理装置。 - 前記初期マスクが施された所定位置において前記人物の顔を検出した顔検出結果と、前記設定部により設定された前記マスク対象フラグとを対応付けて記憶する記憶部
をさらに備える請求項6に記載の情報処理装置。 - 前記判断部は、マスク処理を行う対象とされている前記人物の顔に対する顔認識率が低下した場合、顔認識率が低下した旨を通知し、前記動画像の配信を停止することを指示する操作が行われるのに応じて、前記動画像の配信を停止する判断する
請求項1に記載の情報処理装置。 - 前記判断部は、前記顔検出部による前記人物の顔の検出が失敗した場合に、前記動画像の配信自体を停止する判断、前記動画像に対して代替えとなる画像の配信に切り替える判断、前記顔の検出が失敗した直前のフレームを配信し続ける判断、および、前記顔の検出が失敗したフレームの配信のみ停止する判断のいずれかを行う
請求項1に記載の情報処理装置。 - 動画像に映されている人物の顔を検出し、
前記人物の顔の検出が成功した場合に、その人物の顔をマスクするマスク処理を施し、
前記人物の顔の検出を行うことにより得られる顔検出結果に基づいて、前記動画像の配信に対する判断を行う
ステップを含む情報処理方法。 - 動画像に映されている人物の顔を検出し、
前記人物の顔の検出が成功した場合に、その人物の顔をマスクするマスク処理を施し、
前記人物の顔の検出を行うことにより得られる顔検出結果に基づいて、前記動画像の配信に対する判断を行う
ステップを含む情報処理をコンピュータに実行させるプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014245855 | 2014-12-04 | ||
JP2014-245855 | 2014-12-04 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016088583A1 true WO2016088583A1 (ja) | 2016-06-09 |
Family
ID=56091533
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/082721 WO2016088583A1 (ja) | 2014-12-04 | 2015-11-20 | 情報処理装置および情報処理方法、並びにプログラム |
Country Status (2)
Country | Link |
---|---|
TW (1) | TW201633216A (ja) |
WO (1) | WO2016088583A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111639545A (zh) * | 2020-05-08 | 2020-09-08 | 浙江大华技术股份有限公司 | 一种人脸识别方法、装置、设备及介质 |
US11495023B2 (en) | 2018-01-04 | 2022-11-08 | Socionext Inc. | Moving image analysis apparatus, system, and method |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0646414A (ja) * | 1992-07-23 | 1994-02-18 | Matsushita Electric Ind Co Ltd | テレビ電話 |
JP2008197837A (ja) * | 2007-02-09 | 2008-08-28 | Fujifilm Corp | 画像処理装置 |
-
2015
- 2015-11-20 WO PCT/JP2015/082721 patent/WO2016088583A1/ja active Application Filing
- 2015-11-24 TW TW104138952A patent/TW201633216A/zh unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0646414A (ja) * | 1992-07-23 | 1994-02-18 | Matsushita Electric Ind Co Ltd | テレビ電話 |
JP2008197837A (ja) * | 2007-02-09 | 2008-08-28 | Fujifilm Corp | 画像処理装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11495023B2 (en) | 2018-01-04 | 2022-11-08 | Socionext Inc. | Moving image analysis apparatus, system, and method |
CN111639545A (zh) * | 2020-05-08 | 2020-09-08 | 浙江大华技术股份有限公司 | 一种人脸识别方法、装置、设备及介质 |
CN111639545B (zh) * | 2020-05-08 | 2023-08-08 | 浙江大华技术股份有限公司 | 一种人脸识别方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
TW201633216A (zh) | 2016-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10181197B2 (en) | Tracking assistance device, tracking assistance system, and tracking assistance method | |
RU2702160C2 (ru) | Устройство поддержки отслеживания, система поддержки отслеживания и способ поддержки отслеживания | |
KR100883065B1 (ko) | 모션 검출에 의한 녹화 제어장치 및 방법 | |
US10042420B2 (en) | Gaze-aware control of multi-screen experience | |
JP2020098606A (ja) | 異常検知装置及び異常検知方法 | |
KR101825569B1 (ko) | 흥미 알고리즘을 이용한 시청각 통신을 위한 기술 | |
EP2757771B1 (en) | Image pickup apparatus, remote control apparatus, and methods of controlling image pickup apparatus and remote control apparatus | |
EP3701715B1 (en) | Electronic apparatus and method for controlling thereof | |
US20170347068A1 (en) | Image outputting apparatus, image outputting method and storage medium | |
US10771716B2 (en) | Control device, monitoring system, and monitoring camera control method | |
CN105208323B (zh) | 一种全景拼接画面监控方法及装置 | |
JP2018508135A (ja) | ビデオトリガ解析 | |
JP2010206745A (ja) | 通信端末装置、表示制御方法、表示制御プログラム | |
JP2018507439A (ja) | 表示機器のカムフラージュ/回復システム及び制御方法 | |
JP2016063468A (ja) | 映像処理装置、映像処理方法及び映像処理システム | |
WO2016088583A1 (ja) | 情報処理装置および情報処理方法、並びにプログラム | |
US20200045242A1 (en) | Display control device, display control method, and program | |
US10187610B2 (en) | Controlling display based on an object position in an imaging space | |
US20140055355A1 (en) | Method for processing event of projector using pointer and an electronic device thereof | |
JP6766009B2 (ja) | 監視装置、監視方法、コンピュータプログラム、及び記憶媒体 | |
US10311292B2 (en) | Multiple-media performance mechanism | |
WO2014122879A1 (ja) | 解析処理システム | |
US20230186654A1 (en) | Systems and methods for detection and display of whiteboard text and/or an active speaker | |
US10979777B2 (en) | Processing system for performing reverse video content output generation | |
JP6684009B1 (ja) | プログラム、映像処理装置及び認証方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15866014 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
NENP | Non-entry into the national phase |
Ref country code: JP |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 15866014 Country of ref document: EP Kind code of ref document: A1 |