WO2021220814A1 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

情報処理装置、情報処理方法、及び、プログラム Download PDF

Info

Publication number
WO2021220814A1
WO2021220814A1 PCT/JP2021/015463 JP2021015463W WO2021220814A1 WO 2021220814 A1 WO2021220814 A1 WO 2021220814A1 JP 2021015463 W JP2021015463 W JP 2021015463W WO 2021220814 A1 WO2021220814 A1 WO 2021220814A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
target
processing
mask
unit
Prior art date
Application number
PCT/JP2021/015463
Other languages
English (en)
French (fr)
Inventor
宗毅 海老原
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/919,667 priority Critical patent/US20230153955A1/en
Priority to CN202180030427.4A priority patent/CN115462065A/zh
Publication of WO2021220814A1 publication Critical patent/WO2021220814A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • This technology is related to information processing devices, information processing methods, and programs, and is quick and reliable, especially when the image to be processed such as a photographed image contains a large number of abstract objects such as a person's face. It relates to an information processing device, an information processing method, and a program that can abstract all abstract objects.
  • Patent Document 1 discloses a technique for concealing (abstracting) a predetermined subject in a captured image.
  • the information processing apparatus or program of the present technology has a first process of individually abstracting the image area of the abstraction target in the target image according to the number of abstraction targets included in the target image, and the target. It is an information processing device having an image processing unit that switches and executes a second process that abstracts the entire image, or a program for operating a computer as such an information processing device.
  • the image processing unit of the information processing apparatus having an image processing unit individually sets the image area of the abstraction target in the target image according to the number of abstraction targets included in the target image. This is an information processing method in which the first process of abstracting the target image and the second process of abstracting the entire target image are switched and executed.
  • the first process of individually abstracting the image area of the abstraction target in the target image and the entire target image are abstracted according to the number of abstraction targets included in the target image.
  • the second process is switched and executed.
  • FIG. 1 It is a block diagram which illustrated the outline of the whole structure of the image pickup apparatus to which this technique was applied. It is a functional block diagram which illustrated the function which the 1st form of an image processing part has by a block. It is the figure which showed the example of the target image in a simplified manner. It is a figure explaining the privacy protection processing performed in the 1st form of the image processing unit with respect to the target image of FIG. It is a figure exemplifying the target image after the privacy protection processing performed by the image processing unit with respect to the target image of FIG. 3, and exemplifies the target image after processing when the first mask processing is executed in the mask processing unit. It is a figure.
  • FIG. 6 It is a simplified figure which showed an example of the target image when the number of masked objects is larger than the threshold value of processing switching. It is a figure explaining the privacy protection processing performed by the image processing unit with respect to the target image of FIG. It is a figure exemplifying the target image after the privacy protection processing performed by the image processing unit with respect to the target image of FIG. 6, and exemplifies the target image after processing when the second mask processing is executed in the mask processing unit. It is a figure. It is a flowchart which exemplifies the processing procedure of the privacy protection processing in the 1st form of the image processing unit. It is a functional block diagram which illustrated the function which the 2nd form of an image processing part has by a block.
  • FIG. 1 is a block diagram illustrating an outline of the overall configuration of the image pickup apparatus 1 to which the present technology is applied.
  • the image pickup device 1 in FIG. 1 is, for example, an image pickup device used as a situation grasping camera, and may be a surveillance camera, a digital camera, a digital video camera, a tablet terminal, a smartphone, or the like.
  • the image pickup device 1 is communicably connected to an external device such as a server (not shown).
  • the external device acquires the image captured by the image pickup device 1, stores the acquired image, performs predetermined image processing on the acquired image, distributes the acquired image to another external device, and the like.
  • the external device may be an information processing device used for any purpose.
  • the image captured by the image pickup apparatus 1 may be either a still image or a moving image.
  • the image pickup device 1 includes an image sensor 11, an application processor 12, an operation unit 13, a display unit 14, and a communication unit 15.
  • the image pickup device 1 does not have the operation unit 13 and the display unit 14, and the external device communicably connected to the image pickup device 1 does not function as the operation unit 13 or the display unit 14. There may be.
  • the image sensor 11 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor composed of one chip.
  • the image sensor 11 receives the incident light from the subject in the shooting range, performs photoelectric conversion, and acquires an image corresponding to the received amount of the incident light as an electric signal. Further, the image sensor 11 outputs an image obtained by subjecting the acquired image to the application processor 12.
  • CMOS Complementary Metal Oxide Semiconductor
  • the application processor 12 is a processor such as a CPU (Central Processing Unit) that executes various applications.
  • the application processor 12 executes various processes according to the application being executed. Further, the application processor 12 performs a process of detecting a user operation based on an operation signal from the operation unit 13, a process of displaying an image from the image sensor 11 on the display unit 14, an image from the image sensor 11 and the like in the communication unit 15. Executes processing such as transmission to an external device via.
  • a CPU Central Processing Unit
  • the operation unit 13 includes an input device such as various switches and a touch panel, and supplies an operation signal according to the user's operation to the input device to the application processor 12.
  • the display unit 14 includes a display device such as a display and outputs an image supplied from the application processor 12.
  • the communication unit 15 exchanges various information with an external device by wired or wireless communication.
  • the communication unit 15 can communicate with an external device via an arbitrary network such as a WAN (Wide Area Network) (including the Internet), a LAN (Local Area Network), a public switched telephone network, or a mobile communication network. Connecting.
  • the communication unit 15 is directly connected to an external device so as to be communicable according to a standard such as USB (Universal Serial Bus) or Bluetooth (registered trademark).
  • the image sensor 11 includes an image pickup unit 21, a control unit 22, a signal processing unit 23, an image processing unit 24, a storage unit 25, and a selection unit 26.
  • the imaging unit 21 receives the incident light from the subject in the shooting range, performs photoelectric conversion, and acquires an image corresponding to the received amount of the incident light.
  • the imaging unit 21 includes an optical system 31 and a pixel array unit 32.
  • the optical system 31 collects the incident light incident on the optical system 31 from the subject in the photographing range and forms an image on the light receiving surface of the pixel array unit 32.
  • the pixel array unit 32 is configured by arranging unit pixels including a light receiving element (photoelectric conversion unit) in a two-dimensional matrix.
  • the pixel array unit 32 photoelectrically converts the incident light on each unit pixel and accumulates an electric charge according to the amount of the incident light.
  • the imaging unit 21 reads out the charge for each unit pixel stored in the pixel array unit 32 and converts it from an analog signal to a digital signal by an AD converter (not shown).
  • the imaging unit 21 supplies the converted digital signal to the signal processing unit 23 as a signal representing an image captured by the imaging unit 21.
  • the image captured by the imaging unit 21 may be, for example, an RGB (red, green, blue) color image or a black-and-white image having only brightness. Further, the imaging unit 21 captures a subject image formed on the light receiving surface of the pixel array unit 32 at a predetermined cycle, and supplies the captured image to the signal processing unit 23 to provide a moving image to the signal processing unit 23. Supply.
  • RGB red, green, blue
  • the control unit 22 receives an instruction to the operation unit 13 based on the user operation, an operation mode, and the like from the application processor 12.
  • the control unit 22 controls each unit in the image sensor 11 according to the user operation and the operation mode received from the application processor 12.
  • the signal processing unit 23 executes various processes on the image supplied from the imaging unit 21. For example, the signal processing unit 23 executes processing such as noise removal and white balance adjustment on the image from the imaging unit 21. The signal processing unit 23 temporarily stores the processed image in the storage unit 25. Further, the signal processing unit 23 supplies the processed image to the selection unit 26.
  • the image processing unit 24 reads out the image after processing by the signal processing unit 23 temporarily stored in the storage unit 25 as a target image for privacy protection processing (hereinafter, simply referred to as a target image).
  • the image processing unit 24 detects (recognizes) a mask target (abstraction target) such as a person's face included in the target image as a privacy protection process for the target image. Further, the image processing unit 24 abstracts (hides) the image area to be masked in the target image by mask processing (abstraction processing). Then, the image processing unit 24 temporarily stores the target image after the privacy protection processing, which abstracts the image area to be masked, in the storage unit 25.
  • a target image for privacy protection processing hereinafter, simply referred to as a target image.
  • the image processing unit 24 detects (recognizes) a mask target (abstraction target) such as a person's face included in the target image as a privacy protection process for the target image. Further, the image processing unit 24 abstracts (hides)
  • the storage unit 25 temporarily stores an image processed by the signal processing unit 23 (an image not subjected to privacy protection processing), an image subjected to privacy protection processing by the image processing unit 24, and the like. Further, the storage unit 25 stores data used for processing of the signal processing unit 23, the image processing unit 24, and the like.
  • the selection unit 26 supplies the image from the signal processing unit 23 or the image read from the storage unit 25 to the application processor 12 in accordance with the instruction from the control unit 22. For example, in the normal mode in which the privacy protection process is not performed, the selection unit 26 supplies the image from the signal processing unit 23 to the application processor 12. On the other hand, in the privacy protection mode (privacy mask mode) in which the privacy protection process is performed, the selection unit 26 reads the image stored in the storage unit 25 after the privacy protection process is performed by the image processing unit 24 from the storage unit 25. It is supplied to the application processor 12.
  • the image supplied from the imaging unit 21 to the signal processing unit 23 is supplied from the signal processing unit 23 to the image processing unit 24 without going through the storage unit 25, and the image processing unit 24 performs the privacy protection processing.
  • the image with the above may be supplied from the image processing unit 24 to the selection unit 26 without going through the storage unit 25. Further, even when the image processing unit 24 exchanges images with the signal processing unit 23 and the selection unit 26 via the storage unit 25 as shown in FIG. 1, the image captured by the imaging unit 21 ( The still image or moving image) is output from the image sensor 11 after being subjected to privacy protection processing by the image processing unit 24 without any delay.
  • FIG. 2 is a functional block diagram illustrating the functions of the first form of the image processing unit 24 with blocks.
  • the image processing unit 24 includes an image capturing unit 51, a mask target detection unit (abstraction target detection unit) 52, a mask processing unit 53, and a trimming unit 54.
  • the image capture unit 51 captures the target image of the privacy protection process from the storage unit 25 of FIG. 1 in the privacy protection mode.
  • the image capture unit 51 supplies the captured target image to the mask target detection unit 52.
  • the mask target detection unit 52 detects (recognizes) a mask target (abstraction target) such as a person's face included in the target image from the image capture unit 51. That is, the mask target detection unit 52 detects the image area of the mask target in the target image.
  • a mask target abtraction target
  • the mask target is a subject or information that is concealed (abstracted) by mask processing (abstraction processing).
  • Examples of the types that the mask target detection unit 52 can mask the target include a person's face, a person's body, a person's posture, a person's clothes, and a character string.
  • the character string is character information such as a vehicle license plate, a telephone number, and a name included in the target image.
  • the types of mask targets detected by the mask target detection unit 52 include a person's face, a person's body, a person's posture, a person's clothing, and a character string, etc., by a predetermined operation on the operation unit 13 (see FIG. 1) by the user. Specify one or more types from the selectable types of. The type of mask target specified by the user is given by the mask target designation from the control unit 22 to the mask target detection unit 52.
  • the mask target detected by the mask target detection unit 52 is a person's face
  • a masked object such as a person's face
  • Any method may be used. The description of these methods will be omitted.
  • the mask target detection unit 52 When the mask target detection unit 52 detects the mask target included in the target image, the mask target detection unit 52 sets an image area having a predetermined shape including the image area of the mask target as the mask target range.
  • the shape of the mask target range is fixed to a predetermined shape, and in the first form (and the second form below), for example, an ellipse is used.
  • the shape of the mask target range may be any shape such as a quadrangle, and the shape of the mask target range can be switched to any one of a plurality of candidate shapes by user operation or the like. You may.
  • FIG. 3 is a simplified diagram showing an example of the target image.
  • the target image 71 includes the faces of a plurality of people.
  • FIG. 4 is a diagram for explaining the privacy protection process performed in the first form of the image processing unit 24 with respect to the target image 71 of FIG.
  • the faces X1 to X8 of a plurality of persons included in the target image 71 are detected by the mask target detection unit 52 as mask targets. Since a part of the face Y1 of the person is outside the range of the target image 71, it is assumed that the face Y1 is not detected as a mask target.
  • An elliptical mask target range FX1 to FX8 including those image areas is set in each image area of a person's face X1 to X8 detected as a mask target.
  • the mask target detection unit 52 supplies the target image from the image capture unit 51 and the information of the mask target range set for the target image to the mask processing unit 53.
  • the information of the mask target range is information for specifying the position, shape, and size of the mask target range in the target image.
  • the mask target detection unit 52 supplies the number of mask targets (number of mask targets) detected from the target image to the control unit 22.
  • the mask target detection unit 52 may detect the mask target range including the mask target image area instead of detecting the mask target image area. In this case, it is not necessary to specify the image area to be masked on a pixel-by-pixel basis, the processing capacity required by the masked object detection unit 52 can be reduced, and the masked object can be detected quickly with an inexpensive device. The processing of unit 52 can be carried out. However, the mask target detection unit 52 may detect the mask target image area, and the mask target range may be the mask target image area itself (the range of the mask target image area).
  • the mask processing unit 53 receives a processing switching instruction from the control unit 22.
  • the mask processing unit 53 has a first process (hereinafter, first mask process) that individually abstracts the image area (mask target range) of the mask target in the target image in response to the process switching instruction from the control unit 22.
  • the second process (hereinafter referred to as the second mask process) that abstracts the entire target image is switched and executed.
  • the control unit 22 gives a process switching instruction to the mask processing unit 53 to execute the first mask processing.
  • the control unit 22 is second to the mask processing unit 53. Gives a process switching instruction to execute mask processing.
  • the control unit 22 instructs the mask processing unit 53 to supply the target image from the image capturing unit 51 to the trimming unit 54 as it is.
  • the threshold value is, for example, 19 in the first form (second form below).
  • the processing switching threshold of 19 that is, when it is 20 or more
  • the processing load on the masked object detecting unit 52 is the masked object detection process.
  • the mask processing unit 53 executes the second mask processing that abstracts the entire target image.
  • the mask processing unit 53 switches between the first mask processing and the second mask processing according to the number of mask objects included in the target image.
  • the number of masked objects included in the target image corresponds to the magnitude of the processing load of the masked object detecting unit 52 (image processing unit 24) required to detect all the target images included in the target image. If the number of masked objects included in the target image is larger than a predetermined number, the processing load exceeds the limit of the processing capacity of the image processing unit 24, and the processing capacity of the image processing unit 24 may not be sufficient. Examples of cases where the processing capacity of the image processing unit 24 is exceeded include cases where the time required to detect all mask targets exceeds the time limit allocated for detection of mask targets, and cases where the mask target included in the target image is exceeded. This applies not only to the time limit but also to the case where the number of the above exceeds the maximum number that can be detected by the mask target detection unit 52.
  • the threshold value for processing switching is set to a number smaller than the number when the number of mask targets included in the target image reaches the limit of the processing capacity of the image processing unit 24.
  • the threshold value for processing switching is larger than the number of masked objects (hereinafter referred to as the limit number) when the processing load required for the image processing unit 24 (masked object detection unit 52) to detect the masked object reaches the limit of the processing capacity.
  • the limit number is set as the processing switching threshold value
  • the number of masked objects detected by the masked object detecting unit 52 is large even when the number of masked objects included in the target image is larger than the processing switching threshold value. It always becomes the threshold value for processing switching, and a situation may occur in which switching to the second mask processing is not performed. Therefore, the threshold value for processing switching is set to a number smaller than the limit number.
  • the mask processing unit 53 sets the number. 1 Mask processing is executed. Further, when the number of mask objects included in the target image is larger than the threshold value for processing switching smaller than the limit number, that is, when the number is at least the limit number or more, the mask processing unit 53 executes the second mask processing.
  • NS In the first form (second form below), for example, the limit number is set to 20, and the threshold value for processing switching is set to 19, which is a number 1 smaller than the limit number.
  • the magnitude of the processing load required for the image processing unit 24 (mask target detection unit 52) to detect the mask target is a detection value (processing time, etc.) other than the number of mask targets detected by the mask target detection unit 52. You may evaluate it. In this case, for example, when the processing load required for detecting the masked object is equal to or less than a predetermined threshold value, the mask processing unit 53 executes the first mask processing, and the processing load required for detecting the masked object is larger than the predetermined threshold value. Occasionally, the mask processing unit 53 may execute the second mask processing.
  • the mask processing unit 53 executes the first mask processing, the mask target range set for the target image among the target images based on the information of the target image and the mask target range from the mask target detection unit 52.
  • the image of is abstracted by mask processing (abstraction processing).
  • FIG. 5 is a diagram illustrating the target image after the privacy protection processing performed in the first form of the image processing unit 24 with respect to the target image 71 of FIG. 3, and the mask processing unit 53 executes the first mask processing. It is a figure which illustrated the target image after the processing in the case of.
  • the target image 72 of FIG. 5 is an image obtained by subjecting the target image 71 of FIG. 3 to privacy protection processing by the image processing unit 24.
  • the number of mask targets included in the target image 71 is 8, and the processing switching threshold is 19 or less.
  • the mask processing unit 53 executes the first mask processing to generate the target image 72 of FIG.
  • the images of the mask target ranges FX1 to FX8 (see FIG. 3) of the human faces X1 to X8 set by the mask target detection unit 52 are each subjected to the mask processing in the first mask processing.
  • the mask images M1 to M8 are superimposed and individually abstracted. As a result, the faces X1 to X8 of the person cannot be identified, and the privacy of the faces X1 to X8 of the person is protected.
  • the mask images M1 to M8 in FIG. 5 exemplify a case where the mask target range FX1 to FX8 is filled with a predetermined color by a fill process as a mask process.
  • the mask processing in the first mask processing may be a processing other than the filling processing such as the mosaic processing, the blurring processing, the blending processing, or the fixed image superimposition processing, and may be a processing for abstracting the image in the masked range. Any processing may be used.
  • the mosaic processing for example, the image within the mask target range is divided into a plurality of square areas, and the internal color (luminance) is averaged in each area.
  • each pixel of the image within the masked range is replaced with the average value of the surrounding colors (luminance).
  • the image within the masked range is replaced with an arbitrary image such as a monochromatic image and an alpha-blended image.
  • the fixed image superimposition process for example, an image within the mask target range is superposed with an arbitrary fixed image determined in advance.
  • the mask processing unit 53 abstracts the entire target image by the mask processing (abstraction processing).
  • FIG. 6 is a simplified diagram showing an example of a target image when the number of mask targets is larger than the threshold value for processing switching.
  • the target image 81 of FIG. 6 includes the faces of 20 or more people who exceed the processing switching threshold value 19.
  • FIG. 7 is a diagram illustrating privacy protection processing performed by the image processing unit 24 with respect to the target image 81 of FIG.
  • the faces X1 to X20 of the person are detected by the mask target detection unit 52 as mask targets.
  • the faces X1 to X3 and X20 of the person are indicated by reference numerals. Since the number of masked objects detected by the masked object detecting unit 52 is larger than the processing switching threshold value 19 for the target image 81, the entire target image 81 is subjected to the second masking process by the masked object detecting unit 53. Is abstracted.
  • the mask processing unit 53 abstracts the entire target image 81 by the second processing and protects the privacy of all persons.
  • FIG. 8 is a diagram illustrating a target image after privacy protection processing performed by the image processing unit 24 with respect to the target image 81 of FIG. 6, and is a process when the mask processing unit 53 executes the second mask processing. It is a figure which illustrated the later target image.
  • the target image 82 of FIG. 8 is an image obtained by subjecting the target image 81 of FIG. 6 to privacy protection processing by the image processing unit 24.
  • the target image 81 of FIG. 6 is subjected to mosaic processing as a mask processing in the second mask processing, and the whole is abstracted.
  • the mask processing in the second mask processing may be processing other than mosaic processing such as blurring processing, blending processing, fixed image superimposition processing, and filling processing, and any processing that abstracts the entire target image may be used. It may be processed.
  • the mask processing unit 53 supplies the target image that has been masked by the above first mask processing or the second mask processing to the trimming unit 54 in FIG.
  • the trimming unit 54 in FIG. 2 cuts out the left edge and right edge regions (image areas) of the target image from the mask processing unit 53 by the trimming process.
  • the trimming unit 54 supplies the target image after the trimming process to the storage unit 25 of FIG. 1 as the target image after the privacy protection process in the image processing unit 24.
  • the face Y1 of the person near the left edge is partially outside the range of the target image 71, so that the mask target detection unit 52 It may not be detected as a mask target in. Therefore, the image area of the human face Y1 may not be abstracted by the first mask processing of the mask processing unit 53. On the other hand, even a part of the image of the face Y1 of the person may identify the person.
  • the trimming unit 54 cuts out the left edge region EL and the right edge region ER of the target image 71 by the trimming process.
  • the images of the left edge region EL and the right edge region ER of the target image 71 are cut out, and the image of the person's face Y1 is cut out. The image is excluded from the target image 72.
  • the images of the left edge region EL and the right edge region ER are cut out as in the target image 82 after the privacy protection processing by the image processing unit 24 of FIG.
  • the trimming unit 54 does not have to perform the trimming process on the target image.
  • the trimming unit 54 may cut out not the left edge and right edge regions but the upper edge and lower edge regions by the trimming process on the target image from the mask processing unit 53.
  • the trimming unit 54 may cut out any one or more of the left edge, right edge, upper edge, and lower edge regions with respect to the target image, and which region is used. The user may be able to select whether to cut.
  • the trimming unit 54 may perform a mask processing (abstraction processing) instead of the trimming processing as a processing corresponding to the trimming processing for the target image.
  • trimming process (or mask processing) by the trimming unit 54 may not be performed on the target image of the privacy protection processing, and the image processing unit 24 does not have to have the trimming unit 54.
  • information indicating that the image is a privacy-protected image may be added to the target image after the privacy protection processing, for example, by the mask processing unit 53, the trimming unit 54, or the like.
  • the information may be a logo, a character string, a license number, or the like indicating that the image has been subjected to privacy protection processing.
  • information indicating that the privacy protection function is provided may be displayed or displayed on the exterior of the device to which the present technology is applied, the website of the server that provides the service using the present technology, and the like.
  • All or part of the above processing of the image processing unit 24 may be performed by the DSP (Digital Signal Processor) of the image sensor 11.
  • the DSP executes various processes using a trained machine learning model or the like by executing a program stored in the storage unit 25, for example.
  • a machine learning model for example, a neural network, particularly a deep neural network (DNN: Deep Neural Network) such as CNN (Convolutional Neural Network) is used.
  • DNN Deep Neural Network
  • CNN Convolutional Neural Network
  • the mask target detection unit 52 can perform the mask target detection process.
  • the target image of the privacy protection process read from the storage unit 25 is used as input data to the machine learning model, and the position and size of the image area to be masked such as the face of a person included in the target image, or the mask.
  • the position and size of the mask target range of a predetermined shape including the target image area are calculated by the DSP as output data from the machine learning model.
  • the processing by the mask processing unit 53 and the trimming unit 54 can also be performed.
  • processing of the mask target detection unit 52 by the machine learning model using the neural network can be performed only when the DSP is used.
  • a part of the processing performed by the components (control unit 22, signal processing unit 23, image processing unit 24, storage unit 25, selection unit 26) other than the imaging unit 21 built in the image sensor 11 of FIG. 1 or All can be carried out, for example, in any information processing device such as a server to which the image pickup device 1 is communicated.
  • the target image of the privacy protection process does not have to be an image directly supplied from a predetermined imaging device.
  • a sensor such as a ToF (Time of Flight) sensor, a millimeter wave radar, or a LIDER (Light Detection And Ringing) may be used to detect the masked object.
  • FIG. 9 is a flowchart illustrating the processing procedure of the privacy protection processing in the first form of the image processing unit 24.
  • step S11 the image processing unit 24 (image capturing unit 51) captures the target image for privacy protection processing from the storage unit 25 (see FIG. 1). The process proceeds from step S11 to step S12.
  • step S12 the image processing unit 24 (mask target detection unit 52) recognizes (detects) the mask target included in the target image captured in step S11. The process proceeds from step S12 to step S13.
  • step S13 the image processing unit 24 (control unit 22) determines whether or not there is a mask target recognized in step S12 (whether the number of mask targets is 1 or more).
  • step S13 If it is determined in step S13 that there is no recognized mask target, the process proceeds to step S14, and the image processing unit 24 (mask processing unit 53) does not perform mask processing on the target image. The process proceeds from step S14 to step S18.
  • step S13 If it is determined in step S13 that there is a recognized mask target, the process proceeds to step S15, and the control unit 22 limits the processing capacity of the processing load for recognizing (detecting) the mask target in step S12. Judge whether or not (the limit of recognition processing capacity) has been reached. Specifically, it is determined whether or not the number of masked objects (number of masked objects) recognized in step S12 is 19 or less.
  • step S15 If it is determined in step S15 that the limit of the recognition processing capacity has not been reached (when the number of mask targets is 19 or less), the process proceeds to step S16, and the image processing unit 24 (mask processing unit 53) moves. The masked objects are individually abstracted (indistinguishable) by the first mask processing. The process proceeds from step S16 to step S18.
  • step S15 When it is determined in step S15 that the limit of the recognition processing capacity has been reached (when the number of mask targets is larger than 19), the process proceeds to step S17, and the image processing unit 24 (mask processing unit 53) is in the first position. 2 By mask processing, the entire target image captured in step S11 is abstracted (indistinguishable) by mask processing such as mosaic processing. The process proceeds from step S17 to step S18.
  • step S18 the image processing unit 24 (trimming unit 54) cuts, for example, a left edge or right edge region of the target image obtained in step S14, step S16, or step S17 by trimming.
  • the process proceeds from step S18 to step S19.
  • step S19 the image processing unit 24 (trimming unit 54) outputs the target image after the trimming process in step S18 to the storage unit 25 (FIG. 1) as the target image after the privacy protection process.
  • the first mask processing and the second mask processing are switched and executed according to the number of masked objects included in the target image, so that the number of masked objects is increased. Therefore, the masked object can be abstracted quickly and surely. As a result, privacy protection can be reliably performed for real-time images (still images or moving images) of a live camera or the like without any delay.
  • FIG. 10 is a functional block diagram illustrating the functions of the second form of the image processing unit 24 with blocks.
  • the parts corresponding to the image processing unit 24 in FIG. 2 are designated by the same reference numerals, and the description thereof will be omitted.
  • the modes (extended examples, modified examples, etc.) that can be adopted in the first form of the image processing unit 24 can be similarly adopted in the second form, and thus the description thereof will be omitted.
  • the image processing unit 24 of FIG. 10 includes an image capturing unit 51, a mask target detection unit 52, a mask processing unit 53, a trimming unit 54, and a non-mask target detection unit 101. Therefore, the image processing unit 24 of FIG. 10 is common to the case of FIG. 2 in that it has an image capturing unit 51, a mask target detecting unit 52, a mask processing unit 53, and a trimming unit 54. However, the image processing unit 24 of FIG. 10 is different from the case of FIG. 2 in that the non-mask target detection unit 101 is newly provided.
  • the non-mask target detection unit 101 receives from the mask target detection unit 52 the target image captured by the image capture unit 51 and the information of the mask target range set by the mask target detection unit 52 for the target image.
  • the non-mask target detection unit 101 acquires an image of the non-mask target (non-abstraction target) from the non-mask target storage unit 102.
  • the non-masked object is a masked object that is excluded from the abstracted objects among the masked objects included in the target image. For example, when the mask target is a person's face, the face of a specific person excluded from the abstraction target is the non-mask target.
  • the non-masked target storage unit 102 indicates a portion of the storage unit 25 of FIG. 1 that stores information on the non-masked target.
  • a predetermined non-masked target image is stored in the non-masked target storage unit 102.
  • one or a plurality of images of the unmasked object are stored in the unmasked object storage unit 102.
  • the non-masked target detection unit 101 reads out one or a plurality of images of the non-masked target designated as the non-masked target by the user operation. Is done.
  • the non-masking target for example, a specific clothing, a specific character string, or the like can be set in addition to the face of a specific person.
  • the masked object is assumed to be the face of a person, and the non-masked object is assumed to be the face of a specific person.
  • FIG. 11 is a simplified diagram showing an example of an image of the unmasked object stored in the unmasked object storage unit 102.
  • Image 91 of FIG. 11 shows the face T1 of the person to be unmasked.
  • the image 91 in which the face T1 of the person to be excluded from the mask target is captured is stored in advance in the non-mask target storage unit 102.
  • the non-mask target detection unit 101 detects (recognizes) the face of the non-mask target specific person included in the target image based on the face image of the non-mask target specific person acquired from the non-mask target storage unit 102. )do. That is, the non-masked target detection unit 101 detects the image region of the face of the same person as the face of the specific person to be unmasked in the target image.
  • the non-mask target detection unit 101 may detect the face of the same person as the face of the non-mask target specific person from the mask target range set by the mask target detection unit 52 for the target image.
  • the non-mask target detection unit 101 newly sets the mask target range other than the mask target range including the image area in which the face of the non-mask target specific person is detected in the mask target range set by the mask target detection unit 52. Set as a mask target range. Then, the non-mask target detection unit 101 supplies the target image from the mask target detection unit 52 and the information of the newly set mask target range to the mask processing unit 53.
  • the mask processing unit 53 executes mask processing in the same manner as in the first embodiment based on the target image from the non-mask target detection unit 101 and the newly set mask target range.
  • FIG. 12 is a diagram illustrating privacy protection processing performed in the second form of the image processing unit 24 with respect to the target image 71 of FIG.
  • the parts corresponding to those in FIG. 4 are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
  • the faces X1 to X8 of a plurality of persons included in the target image 71 are detected by the mask target detection unit 52 as mask targets.
  • an elliptical mask target range FX1 to FX8 including those image areas is set by the mask target detection unit 52.
  • the non-mask target detection unit 101 detects (recognizes) the person's face X1 as the face of the non-mask target person among the faces X1 to X8 of the person detected by the mask target detection unit 52, for example. At this time, the non-mask target detection unit 101 newly sets the mask target range FX2 to FX8 excluding the mask target range FX1 among the mask target ranges FX1 to FX8 as the mask target range and supplies the mask processing unit 53.
  • the mask processing unit 53 performs mask processing on the mask target ranges FX2 to FX8 set as the mask target range as in the first embodiment. Further, in the trimming unit 54, the left edge region EL and the right edge region ER of the target image 71 are cut out as in the first form.
  • FIG. 13 is a diagram illustrating the target image after the privacy protection processing performed in the second form of the image processing unit 24 with respect to the target image 71 of FIG. 3, and the mask processing unit 53 executes the first mask processing. It is a figure which illustrated the target image after the processing in the case of. In the drawings, the parts corresponding to those in FIG. 5 are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
  • the target image 73 of FIG. 13 is an image obtained by subjecting the target image 71 of FIG. 3 to privacy protection processing by the image processing unit 24.
  • the number of mask targets included in the target image 71 is 8, which is equal to or less than the processing switching threshold value 19.
  • the mask processing unit 53 executes the first mask processing to generate the target image 73 of FIG.
  • the faces X2 to X8 of the person excluding the face X1 of the person detected by the non-mask target detection unit 101 (FIG. 13).
  • the images in (see 12) are individually abstracted by superimposing mask images M2 to M8 by the first mask processing of the mask processing unit 53.
  • the image area of the face X1 of the person to be unmasked is excluded from the area to be abstracted.
  • the non-masked object detection unit 101 When the number of masked objects included in the target image is larger than the threshold value for processing switching as shown in FIGS. 6 and 7, the non-masked object detection unit 101 does not perform the processing, and the masked object detection unit 101 does not perform the processing.
  • the target image supplied from 52 to the non-mask target detection unit 101 and the information of the mask target range are supplied to the mask processing unit 53 as they are. Then, the second mask processing of the mask processing unit 53 abstracts the entire target image as shown in FIG.
  • the operation mode is set by a user operation or the like to set the mode in which the process of excluding the non-masked target from the masked target is not performed.
  • the processing by the non-mask target detection unit 101 is not performed, and the target image supplied from the mask target detection unit 52 to the non-mask target detection unit 101 and the information of the mask target range are masked as they are. It is supplied to the processing unit 53. Therefore, in this case, the same privacy protection processing as in the first embodiment is carried out.
  • the detection process of the non-masked object of the non-masked object detection unit 101 any of the well-known methods using the feature amount extraction algorithm, template matching, machine learning model, etc., as in the case of the masked object detection process. Method can be used. Further, similarly to the mask target detection process, the non-mask target detection process can be performed by DSP arithmetic processing using a machine learning model such as a neural network.
  • FIG. 14 is a flowchart illustrating the processing procedure of the privacy protection processing in the second form of the image processing unit 24.
  • step S31 the image processing unit 24 (image capturing unit 51) captures the target image for privacy protection processing from the storage unit 25 (see FIG. 1). The process proceeds from step S31 to step S32.
  • step S32 the image processing unit 24 (mask target detection unit 52) recognizes (detects) the mask target included in the target image captured in step S31. The process proceeds from step S32 to step S33.
  • step S33 the image processing unit 24 (non-mask target detection unit 101) recognizes the non-mask target included in the target image captured in step S31. The process proceeds from step S33 to step S34.
  • step S34 the image processing unit 24 (control unit 22) determines whether or not there is a mask target recognized in step S32 (whether the number of mask targets is 1 or more).
  • step S34 If it is determined in step S34 that there is no recognized mask target, the process proceeds to step S35, and the image processing unit 24 (mask processing unit 53) does not perform mask processing on the target image. The process proceeds from step S35 to step S39.
  • step S34 If it is determined in step S34 that there is a recognized mask target, the process proceeds to step S36, and the control unit 22 limits the processing capacity of the processing load for recognizing (detecting) the mask target in step S32. Judge whether or not (the limit of recognition processing capacity) has been reached. Specifically, it is determined whether or not the number of masked objects (number of masked objects) recognized in step S32 is 19 or less.
  • step S36 If it is determined in step S36 that the limit of the recognition processing capacity has not been reached (when the number of mask targets is 19 or less), the process proceeds to step S37, and the image processing unit 24 (mask processing unit 53) moves.
  • the image processing unit 24 mask processing unit 53
  • the masked objects recognized in step S32 the masked objects other than the non-masked objects recognized in step S33 are individually abstracted (unidentifiable) by the first masking process. The process proceeds to step S39.
  • step S36 When it is determined in step S36 that the limit of the recognition processing capacity has been reached (when the number of mask targets is larger than 19), the process proceeds from step S36 to step S38, and the image processing unit 24 (mask processing unit 53) Is abstracted (indistinguishable) by mask processing such as mosaic processing on the entire target image captured in step S31 by the second mask processing.
  • step S38 the image processing unit 24 (mask processing unit 53) Is abstracted (indistinguishable) by mask processing such as mosaic processing on the entire target image captured in step S31 by the second mask processing.
  • step S39 the image processing unit 24 (trimming unit 54) cuts out the left edge or right edge region of the target image obtained in step S35, step S37, or step S38 by trimming. The process proceeds from step S39 to step S40.
  • step S40 the image processing unit 24 (trimming unit 54) outputs the target image after the trimming process in step S39 to the storage unit 25 (FIG. 1) as the target image after the privacy protection process.
  • the first mask processing and the second mask processing are switched and executed according to the number of masked objects included in the target image, so that the number of masked objects is increased. Therefore, the masked object can be abstracted quickly and surely. Further, among the masked objects, the image of a specific masked object that is not abstracted can be left in the target image in a non-abstracted state. As a result, privacy protection other than a specific subject can be surely performed without delay even for real-time images (still images or moving images) of a live camera or the like.
  • the series of privacy protection processes in the image processing unit 24 and the like described above can be executed by hardware or by software.
  • the programs constituting the software are installed on the computer.
  • the computer includes a computer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 15 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • a CPU Central Processing Unit
  • ROM ReadOnly Memory
  • RAM RandomAccessMemory
  • An input / output interface 205 is further connected to the bus 204.
  • An input unit 206, an output unit 207, a storage unit 208, a communication unit 209, and a drive 210 are connected to the input / output interface 205.
  • the input unit 206 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 207 includes a display, a speaker, and the like.
  • the storage unit 208 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 209 includes a network interface and the like.
  • the drive 210 drives a removable medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 201 loads the program stored in the storage unit 208 into the RAM 203 via the input / output interface 205 and the bus 204 and executes the above-described series. Is processed.
  • the program executed by the computer can be recorded and provided on the removable media 211 as a package media or the like, for example.
  • the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 208 via the input / output interface 205 by mounting the removable media 211 in the drive 210. Further, the program can be received by the communication unit 209 and installed in the storage unit 208 via a wired or wireless transmission medium. In addition, the program can be pre-installed in the ROM 202 or the storage unit 208.
  • the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the present technology can also have the following configurations.
  • (1) According to the number of abstraction targets included in the target image, the first process of individually abstracting the image area of the abstraction target in the target image and the second process of abstracting the entire target image are performed.
  • An information processing device that has an image processing unit that switches and executes.
  • (2) The image processing unit When the number of abstraction targets included in the target image is equal to or less than a predetermined threshold value, the first process is executed.
  • the information processing apparatus according to (1), wherein the second process is executed when the number of abstraction targets included in the target image is larger than the threshold value.
  • (3) The image processing unit It has an abstraction target detection unit that detects the abstraction target included in the target image.
  • the threshold is The information processing apparatus according to (2), wherein the number is smaller than the limit number of abstraction targets when the processing capacity of the abstraction target detection unit is limited.
  • the threshold is The information processing apparatus according to (3), wherein the number is smaller than the limit number by one.
  • the image processing unit When the processing load required for detecting the abstraction target for the target image is equal to or less than a predetermined threshold value, the first process is executed.
  • the information processing apparatus according to (1), wherein the second process is executed when the processing load is larger than the threshold value.
  • the first process is The information processing apparatus according to any one of (1) to (5) above, which abstracts an image area having a predetermined shape including the image area to be abstracted.
  • the first process is The information processing apparatus according to any one of (1) to (6) above, which abstracts the image area to be abstracted by mosaic processing, blurring processing, blending processing, fixed image superimposition processing, or filling processing.
  • the image processing unit The target image is cut out or abstracted from any one or more of the left edge, right edge, upper edge, and lower edge regions (1) to (7). ) Is described in any of the information processing devices.
  • the image processing unit The information processing apparatus according to any one of (1) to (8) above, wherein the abstraction target is detected by a feature extraction algorithm or a neural network.
  • the abstraction target is The information processing apparatus according to any one of (1) to (9) above, which includes at least one of a person's face, a person's body, a person's posture, a person's clothing, and a character string.
  • the first process is The information processing apparatus according to any one of (1) to (10) above, which abstracts the abstraction target excluding a predetermined non-abstraction target among the abstraction targets.
  • the non-abstract object is The information processing device according to (11) above, which is a specific person's face, a specific clothing, and a specific character string.
  • the image processing unit The information processing device according to any one of (1) to (12), which is built in an image sensor.
  • the image processing unit The information processing according to any one of (1) to (13) above, in which information indicating that the image generated by the first processing or the second processing is an image subjected to privacy protection processing is added.
  • Device. The image processing unit of the information processing device having an image processing unit is According to the number of abstraction targets included in the target image, the first process of individually abstracting the image area of the abstraction target in the target image and the second process of abstracting the entire target image are performed. An information processing method that is switched and executed. (16) Computer, According to the number of abstraction targets included in the target image, the first process of individually abstracting the image area of the abstraction target in the target image and the second process of abstracting the entire target image are performed. A program that functions as an image processing unit that switches and executes.
  • 1 image pickup device 11 image sensor, 12 application processor, 13 operation unit, 14 display unit, 15 communication unit, 21 imaging unit, 22 control unit, 23 signal processing unit, 24 image processing unit, 25 storage unit, 26 selection unit, 51 Image capture unit, Mask target detection unit, 53 Mask processing unit, 54 Trimming unit, 101 Non-mask target detection unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本技術は、撮影画像などの処理対象の画像に人物の顔などの多数の抽象化対象が含まれる場合であっても、迅速かつ確実に全ての抽象化対象を抽象化できるようにする情報処理装置、情報処理方法、及び、プログラムに関する。 対象画像に含まれる抽象化対象の個数に応じて、前記対象画像における前記抽象化対象の画像領域を個別に抽象化する第１処理と、前記対象画像の全体を抽象化する第２処理とが切り替えて実行される。本技術は、撮像装置やイメージセンサに適用できる。

Description

情報処理装置、情報処理方法、及び、プログラム
　本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、撮影画像などの処理対象の画像に人物の顔などの多数の抽象化対象が含まれる場合であっても、迅速かつ確実に全ての抽象化対象を抽象化できるようにした情報処理装置、情報処理方法、及び、プログラムに関する。
　特許文献１には、撮影画像における所定の被写体を隠蔽（抽象化）する技術が開示されている。
特開２０１９－０９２０７６号公報
　撮影画像などの処理対象の画像に人物の顔などの多数の抽象化対象が含まれる場合には、処理負荷が増大して迅速かつ確実に全ての抽象化対象を抽象化することが難しい。
　本技術はこのような状況に鑑みてなされたものであり、撮影画像などの処理対象の画像に人物の顔などの多数の抽象化対象が含まれる場合であっても、迅速かつ確実に全ての抽象化対象を抽象化できるようにする。
　本技術の情報処理装置、又は、プログラムは、対象画像に含まれる抽象化対象の個数に応じて、前記対象画像における前記抽象化対象の画像領域を個別に抽象化する第１処理と、前記対象画像の全体を抽象化する第２処理とを切り替えて実行する画像処理部を有する情報処理装置、又は、そのような情報処理装置として、コンピュータを機能させるためのプログラムである。
　本技術の情報処理方法は、画像処理部を有する情報処理装置の前記画像処理部は、対象画像に含まれる抽象化対象の個数に応じて、前記対象画像における前記抽象化対象の画像領域を個別に抽象化する第１処理と、前記対象画像の全体を抽象化する第２処理とを切り替えて実行する情報処理方法である。
　本技術においては、対象画像に含まれる抽象化対象の個数に応じて、前記対象画像における前記抽象化対象の画像領域を個別に抽象化する第１処理と、前記対象画像の全体を抽象化する第２処理とが切り替えて実行される。
本技術が適用された撮像装置の全体構成の概略を例示したブロック図である。 画像処理部の第１形態が有する機能をブロックで例示した機能ブロック図である。 対象画像の一例を簡素化して示した図である。 図３の対象画像に対して画像処理部の第１形態で行われるプライバシー保護処理を説明する図である。 図３の対象画像に対して画像処理部で行われるプライバシー保護処理後の対象画像を例示した図であり、マスク処理部において第１マスク処理が実行された場合の処理後の対象画像を例示した図である。 マスク対象の個数が処理切替の閾値よりも大きい場合の対象画像の一例を簡素化して示した図である。 図６の対象画像に対して画像処理部で行われるプライバシー保護処理を説明する図である。 図６の対象画像に対して画像処理部で行われるプライバシー保護処理後の対象画像を例示した図であり、マスク処理部において第２マスク処理が実行された場合の処理後の対象画像を例示した図である。 画像処理部の第１形態でのプライバシー保護処理の処理手順を例示したフローチャートである。 画像処理部の第２形態が有する機能をブロックで例示した機能ブロック図である。 非マスク対象記憶部に記憶される非マスク対象の画像の一例を簡素化して示した図である。 図３の対象画像に対して画像処理部の第２形態で行われるプライバシー保護処理を説明する図である。 図３の対象画像に対して画像処理部で行われるプライバシー保護処理後の対象画像を例示した図であり、マスク処理部において第１マスク処理が実行された場合の処理後の対象画像を例示した図である。 画像処理部の第２形態でのプライバシー保護処理の処理手順を例示したフローチャートである。 一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　以下、図面を参照しながら本技術の実施の形態について説明する。
＜＜本技術が適用された撮像装置１＞＞
　図１は、本技術が適用された撮像装置１の全体構成の概略を例示したブロック図である。
　図１の撮像装置１は、例えば、状況把握カメラとして用いられる撮像装置であり、監視カメラ、デジタルカメラ、デジタルビデオカメラ、タブレット端末、又は、スマートフォンなどであってよい。
　撮像装置１は、不図示のサーバ等の外部装置と通信可能に接続される。外部装置は、撮像装置１で撮影された画像を取得して、取得した画像の記憶、取得した画像に対する所定の画像加工、又は、取得した画像の他の外部装置への配信等を行う。なお、外部装置は、任意の用途に用いられる情報処理装置であってよい。また、撮像装置１で撮影される画像は、静止画像と動画像のいずれでもよい。
　撮像装置１は、イメージセンサ１１、アプリケーションプロセッサ１２、操作部１３、表示部１４、及び、通信部１５を有する。なお、撮像装置１は、操作部１３及び表示部１４を有せず、撮像装置１に通信可能に接続された外部装置が操作部１３又は表示部１４に相当する機能を機能していない場合であってもよい。
　イメージセンサ１１は、例えば１チップで構成されるCMOS（Complementary Metal Oxide Semiconductor）イメージセンサである。イメージセンサ１１は、撮影範囲の被写体からの入射光を受光し、光電変換を行って、入射光の受光量に対応する画像を電気信号として取得する。また、イメージセンサ１１は、取得した画像に対して所定の処理を施した画像をアプリケーションプロセッサ１２に出力する。
　アプリケーションプロセッサ１２は、各種アプリケーションを実行するCPU（Central Processing Unit）などのプロセッサである。アプリケーションプロセッサ１２は、実行しているアプリケーションに応じた各種処理を実行する。また、アプリケーションプロセッサ１２は、操作部１３からの操作信号に基づいてユーザ操作を検出する処理、イメージセンサ１１からの画像を表示部１４に表示する処理、イメージセンサ１１からの画像等を通信部１５を介して外部装置に送信する処理などを実行する。
　操作部１３は、各種スイッチやタッチパネル等の入力装置を含み、入力装置に対するユーザの操作に応じた操作信号をアプリケーションプロセッサ１２に供給する。
　表示部１４は、ディスプレイ等の表示装置を含み、アプリケーションプロセッサ１２から供給された画像を出力する。
　通信部１５は、有線又は無線の通信により外部装置との間で各種情報のやり取りを行う。通信部１５は、例えば、WAN（Wide Area Network）（インターネットを含む）、LAN（Local Area Network）、公衆回線網、又は、移動体通信網などの任意のネットワークを介して外部装置と通信可能に接続する。または、通信部１５は、例えば、USB（Universal Serial Bus）、ブルートゥース（登録商標）等の規格により直接的に外部装置と通信可能に接続する。
（イメージセンサ１１の構成）
　イメージセンサ１１は、撮像部２１、制御部２２、信号処理部２３、画像処理部２４、記憶部２５、及び、選択部２６を有する。
　撮像部２１は、撮影範囲の被写体からの入射光を受光し、光電変換を行って、入射光の受光量に対応する画像を取得する。撮像部２１は、光学系３１と画素アレイ部３２とを含む。
　光学系３１は、撮影範囲の被写体から光学系３１に入射した入射光を集光し、画素アレイ部３２の受光面に結像する。
　画素アレイ部３２は、受光素子（光電変換部）を含む単位画素が２次元マトリクス状に配列されて構成される。画素アレイ部３２は、各単位画素への入射光を光電変換し、入射光の光量に応じた電荷を蓄積する。
　撮像部２１は、画素アレイ部３２に蓄積された単位画素毎の電荷を読み出し、不図示のAD変換器によりアナログ信号からデジタル信号に変換する。撮像部２１は、変換したデジタル信号を撮像部２１で撮像された画像を表す信号として信号処理部２３に供給する。
　なお、撮像部２１で撮像される画像は、例えば、ＲＧＢ（赤、緑、青）のカラー画像であってもよいし、輝度のみの白黒画像であってもよい。また、撮像部２１は、画素アレイ部３２の受光面に結像された被写体像を所定周期で撮像し、撮像した画像を信号処理部２３に供給することで、信号処理部２３に動画像を供給する。
　制御部２２は、操作部１３に対するユーザ操作に基づく指示や動作モード等をアプリケーションプロセッサ１２から受け取る。制御部２２は、アプリケーションプロセッサ１２から受け取ったユーザ操作や動作モードに従って、イメージセンサ１１内の各部を制御する。
　信号処理部２３は、撮像部２１から供給された画像に対して各種の処理を実行する。例えば、信号処理部２３は、撮像部２１からの画像に対し、ノイズ除去やホワイトバランス調整等の処理を実行する。信号処理部２３は、処理後の画像を記憶部２５に一時的に格納する。また、信号処理部２３は、処理後の画像を選択部２６に供給する。
　画像処理部２４は、記憶部２５に一時的に格納された信号処理部２３での処理後の画像をプライバシー保護処理の対象画像（以下、単に対象画像という）として読み出す。画像処理部２４は、対象画像に対するプライバシー保護処理として、対象画像に含まれる人物の顔等のマスク対象（抽象化対象）を検出（認識）する。また、画像処理部２４は、対象画像のうちのマスク対象の画像領域をマスク処理（抽象化処理）により抽象化（隠蔽）する。そして、画像処理部２４は、マスク対象の画像領域を抽象化したプライバシー保護処理後の対象画像を記憶部２５に一時的に格納する。なお、画像処理部２４のプライバシー保護処理の詳細は後述する。
　記憶部２５は、信号処理部２３で処理された画像（プライバシー保護処理が施されていない画像）、及び、画像処理部２４でプライバシー保護処理が施された画像等を一時的に格納する。また、記憶部２５は、信号処理部２３及び画像処理部２４等の処理に使用するデータを記憶する。
　選択部２６は、制御部２２からの指示に従い、信号処理部２３からの画像、又は、記憶部２５から読み出した画像をアプリケーションプロセッサ１２に供給する。例えば、プライバシー保護処理を実施しない通常モードでは、選択部２６は、信号処理部２３からの画像をアプリケーションプロセッサ１２に供給する。一方、プライバシー保護処理を実施するプライバシー保護モード（プライバシーマスクモード）では、選択部２６は、画像処理部２４によりプライバシー保護処理が施されて記憶部２５に格納された画像を記憶部２５から読み出してアプリケーションプロセッサ１２に供給する。
　尚、プライバシー保護モードでは、撮像部２１から信号処理部２３に供給された画像が、信号処理部２３から記憶部２５を介さずに画像処理部２４に供給され、画像処理部２４でプライバシー保護処理が施された画像が画像処理部２４から記憶部２５を介さずに選択部２６に供給されるようになっていてもよい。また、図１のように画像処理部２４が記憶部２５を介して信号処理部２３や選択部２６との間で画像のやり取りを行う場合であっても、撮像部２１で撮影された画像（静止画像又は動画像）は、略遅滞無く、画像処理部２４でプライバシー保護処理が施されてイメージセンサ１１から出力される。
＜画像処理部２４の第１形態の詳細＞
　次に、図１の画像処理部２４の第１形態について説明する。
　図２は、画像処理部２４の第１形態が有する機能をブロックで例示した機能ブロック図である。
　図２において、画像処理部２４は、画像取込部５１、マスク対象検出部（抽象化対象検出部）５２、マスク処理部５３、及び、トリミング部５４を有する。
　画像取込部５１は、プライバシー保護モードにおいて、プライバシー保護処理の対象画像を図１の記憶部２５から取り込む。画像取込部５１は取り込んだ対象画像をマスク対象検出部５２に供給する。
　マスク対象検出部５２は、画像取込部５１からの対象画像に含まれる人物の顔等のマスク対象（抽象化対象）を検出（認識）する。即ち、マスク対象検出部５２は、対象画像におけるマスク対象の画像領域を検出する。
　マスク対象は、マスク処理（抽象化処理）により隠蔽（抽象化）する被写体又は情報である。マスク対象検出部５２がマスク対象とし得る種類としては、例えば、人物の顔、人物の体、人物の姿勢、人物の服装、及び、文字列等がある。文字列は、対象画像に含まれる車のナンバープレート、電話番号、氏名等の文字情報である。
　マスク対象検出部５２が検出するマスク対象の種類は、ユーザが操作部１３（図１参照）に対する所定の操作により人物の顔、人物の体、人物の姿勢、人物の服装、及び、文字列等の選択可能な種類のうちから１又は複数の種類を指定する。ユーザが指定したマスク対象の種類は、制御部２２からマスク対象検出部５２へのマスク対象指定により与えられる。
　なお、本第１形態（及び下記の第２形態）では、マスク対象検出部５２が検出するマスク対象が人物の顔である場合を例に説明する。また、人物の顔などのマスク対象の検出には、マスク対象と類似した特徴量を有する画像領域の検出する特徴量抽出アルゴリズム、テンプレートマッチング、又は、機械学習モデル等を用いた周知の手法のうちの任意の手法を用いてよい。これらの手法についての説明は省略する。
　マスク対象検出部５２は、対象画像に含まれるマスク対象を検出すると、マスク対象の画像領域を含む所定形状の画像領域をマスク対象範囲として設定する。マスク対象範囲の形状は、予め決められた形状に固定され、本第１形態（及び下記の第２形態）では、例えば、楕円形とする。ただし、マスク対象範囲の形状は、四角形等の任意の形状であってよく、また、マスク対象範囲の形状は、ユーザ操作等により、複数の候補形状のうちのいずれかの形状に切り替えられるようにしてもよい。
　図３は、対象画像の一例を簡素化して示した図である。
　図３の対象画像の例では、対象画像７１に複数の人物の顔が含まれる。
　図４は、図３の対象画像７１に対して画像処理部２４の第１形態で行われるプライバシー保護処理を説明する図である。
　図４において、対象画像７１に含まれる複数の人物の顔Ｘ１乃至Ｘ８がマスク対象としてマスク対象検出部５２により検出される。人物の顔Ｙ１は、一部が対象画像７１の範囲外であるため、マスク対象としては検出されないものとする。
　マスク対象として検出された人物の顔Ｘ１乃至Ｘ８のそれぞれの画像領域には、それらの画像領域を含む楕円形のマスク対象範囲ＦＸ１乃至ＦＸ８が設定される。
　図２において、マスク対象検出部５２は、画像取込部５１からの対象画像と、対象画像に対して設定したマスク対象範囲の情報をマスク処理部５３に供給する。マスク対象範囲の情報は、対象画像におけるマスク対象範囲の位置、形状、及び、大きさを特定する情報である。
　また、マスク対象検出部５２は、対象画像の中から検出したマスク対象の個数（マスク対象数）を制御部２２に供給する。
　なお、マスク対象検出部５２は、マスク対象の画像領域を検出するのではなく、マスク対象の画像領域を含むマスク対象範囲を検出してもよい。この場合、画素単位でのマスク対象の画像領域の特定が不要であり、マスク対象検出部５２が必要とする処理能力の低減を図ることができ、安価な装置で、かつ、迅速にマスク対象検出部５２の処理を実施できる。ただし、マスク対象検出部５２は、マスク対象の画像領域を検出するものとし、マスク対象範囲は、マスク対象の画像領域そのもの（マスク対象の画像領域の範囲）であるとしてもよい。
　図２において、マスク処理部５３は、制御部２２からの処理切替指示を受け取る。マスク処理部５３は、制御部２２からの処理切替指示に応じて、対象画像におけるマスク対象の画像領域（マスク対象範囲）を個別に抽象化する第１処理（以下、第１マスク処理）と、対象画像の全体を抽象化する第２処理（以下、第２マスク処理）とを切り替えて実行する。制御部２２は、マスク対象検出部５２からのマスク対象数が所定の閾値以下の場合には、マスク処理部５３に対して第１マスク処理を実行させる処理切替指示を与える。また、制御部２２は、マスク対象検出部５２からのマスク対象の個数（検出数）が所定の閾値よりも大きい場合（所定の閾値を超える場合）には、マスク処理部５３に対して第２マスク処理を実行させる処理切替指示を与える。なお、マスク対象の個数が０の場合には、制御部２２は、画像取込部５１からの対象画像をそのままトリミング部５４に供給するようにマスク処理部５３に指示する。
　閾値（処理切替の閾値）は、本第１形態（下記の第２形態）では、例えば１９であるとする。マスク対象検出部５２により検出されたマスク対象の個数が処理切替の閾値である１９よりも大きい場合、即ち、２０以上の場合には、マスク対象検出部５２での処理負荷がマスク対象検出の処理能力の限界を超えている可能性があるとして、マスク処理部５３は、対象画像の全体を抽象化する第２マスク処理を実行する。
　即ち、マスク処理部５３は、対象画像に含まれるマスク対象の個数に応じて、第１マスク処理と第２マスク処理とを切り替えて実行する。対象画像に含まれるマスク対象の個数は、対象画像に含まれる全ての対象画像を検出するために必要なマスク対象検出部５２（画像処理部２４）の処理負荷の大きさに対応する。対象画像に含まれるマスク対象の個数が所定数よりも大きいと、処理負荷が画像処理部２４の処理能力の限界を超え、画像処理部２４の処理能力では対応できないという事態が生じる。画像処理部２４の処理能力の限界を超える場合としては、例えば、全てのマスク対象を検出するために要する時間がマスク対象の検出に割り当てられる制限時間を超える場合や、対象画像に含まれるマスク対象の個数が制限時間の制限に限らずマスク対象検出部５２で検出可能な最大個数を超える場合などが該当する。
　そこで、処理切替の閾値は、対象画像に含まれるマスク対象の個数が画像処理部２４の処理能力の限界となるときの個数よりも小さい数とする。言い換えると、処理切替の閾値は、画像処理部２４（マスク対象検出部５２）でのマスク対象検出に要する処理負荷が処理能力の限界となるときのマスク対象の個数（以下、限界個数）よりも小さい数とする。このとき、限界個数を処理切替の閾値とした場合には、対象画像に含まれるマスク対象の個数が処理切替の閾値よりも大きいときでも、マスク対象検出部５２で検出されるマスク対象の個数が常に処理切替の閾値となり、第２マスク処理への切替が行われないという事態が生じ得る。そのため、処理切替の閾値は、限界個数よりも小さい数とする。
　これにより、対象画像に含まれるマスク対象の個数が、限界個数よりも小さい処理切替の閾値以下の場合、即ち、限界個数よりも小さく、かつ、閾値以下の場合には、マスク処理部５３で第１マスク処理が実行される。また、対象画像に含まれるマスク対象の個数が、限界個数よりも小さい処理切替の閾値よりも大きい場合、即ち、少なくとも限界個数以上の場合には、マスク処理部５３で第２マスク処理が実行される。本第１形態（下記の第２形態）では、例えば、限界個数を２０として、処理切替の閾値を限界個数よりも１だけ小さい数の１９としている。
　なお、画像処理部２４（マスク対象検出部５２）がマスク対象の検出に要する処理負荷の大きさを、マスク対象検出部５２で検出されるマスク対象の個数以外の検出値（処理時間等）で評価してもよい。この場合に、例えば、マスク対象の検出に要する処理負荷が所定の閾値以下のときには、マスク処理部５３で第１マスク処理を実行し、マスク対象の検出に要する処理負荷が所定の閾値よりも大きいときには、マスク処理部５３で第２マスク処理を実行するようにしてもよい。
　マスク処理部５３は、第１マスク処理を実行する場合、マスク対象検出部５２からの対象画像及びマスク対象範囲の情報に基づいて、対象画像のうち、対象画像に対して設定されたマスク対象範囲の画像をマスク処理（抽象化処理）により抽象化する。
　図５は、図３の対象画像７１に対して画像処理部２４の第１形態で行われるプライバシー保護処理後の対象画像を例示した図であり、マスク処理部５３において第１マスク処理が実行された場合の処理後の対象画像を例示した図である。
　図５の対象画像７２は、図３の対象画像７１に対して画像処理部２４でのプライバシー保護処理が施された画像である。図３の対象画像７１では、図４に示したように対象画像７１に含まれるマスク対象の個数が８であり、処理切替の閾値１９以下である。この場合に、マスク処理部５３では第１マスク処理が実行されて図５の対象画像７２が生成される。
　図５の対象画像７２において、マスク対象検出部５２により設定された人物の顔Ｘ１乃至Ｘ８のマスク対象範囲ＦＸ１乃至ＦＸ８（図３参照）の画像は、第１マスク処理でのマスク処理により、それぞれマスク画像Ｍ１乃至Ｍ８が重畳されて個別に抽象化される。これによって、人物の顔Ｘ１乃至Ｘ８の識別不能となり、人物の顔Ｘ１乃至Ｘ８のプライバシーが保護される。
　図５のマスク画像Ｍ１乃至Ｍ８は、マスク処理として塗りつぶし処理によりマスク対象範囲ＦＸ１乃至ＦＸ８を所定の色で塗りつぶす場合を例示している。ただし、第１マスク処理におけるマスク処理は、モザイク処理、ぼかし処理、ブレンド処理、又は、固定画像重畳処理等の塗りつぶし処理以外の処理であってよく、マスク対象範囲の画像を抽象化する処理であればどのような処理でもよい。モザイク処理では、例えば、マスク対象範囲内の画像が複数の四角いエリアに分割され、各エリアにおいて内部の色（輝度）が平均化される。ぼかし処理では、例えば、マスク対象範囲内の画像の各画素が周辺の色（輝度）の平均値に置換される。ブレンド処理では、例えば、マスク対象範囲内の画像が、単色画像等の任意の画像とアルファブレンディングされた画像に置換される。固定画像重畳処理では、例えば、マスク対象範囲内の画像が、予め決められた任意の固定画像で重畳される。
　マスク処理部５３は、第２マスク処理を実行する場合、マスク処理（抽象化処理）により対象画像の全体を抽象化する。
　図６は、マスク対象の個数が処理切替の閾値よりも大きい場合の対象画像の一例を簡素化して示した図である。
　図６の対象画像８１の例では、対象画像８１に処理切替の閾値１９を超える２０人以上の人物の顔が含まれる。
　図７は、図６の対象画像８１に対して画像処理部２４で行われるプライバシー保護処理を説明する図である。
　図７において、対象画像８１に含まれる２０以上の人物の顔のうち、人物の顔Ｘ１乃至Ｘ２０がマスク対象としてマスク対象検出部５２により検出される。なお、図７では、人物の顔Ｘ１乃至Ｘ３、及び、Ｘ２０のみを符号で示す。この対象画像８１に対しては、マスク対象検出部５２で検出されるマスク対象の個数が処理切替の閾値１９よりも大きいため、マスク処理部５３での第２マスク処理により、対象画像８１の全体が抽象化される。即ち、マスク対象検出部５２の処理能力では、対象画像８１に含まれる人物の顔を検出することが困難であり、第１処理により全ての人物の顔の画像領域を個別に抽象化することが難しい。そのため、マスク処理部５３は、第２処理により対象画像８１の全体を抽象化し、全ての人物のプライバシーを保護する。
　図８は、図６の対象画像８１に対して画像処理部２４で行われるプライバシー保護処理後の対象画像を例示した図であり、マスク処理部５３において第２マスク処理が実行された場合の処理後の対象画像を例示した図である。
　図８の対象画像８２は、図６の対象画像８１に対して画像処理部２４でのプライバシー保護処理が施された画像である。図８の対象画像８２では、図６の対象画像８１に対して第２マスク処理でのマスク処理としてモザイク処理が施されて、全体が抽象化される。
　第２マスク処理でのマスク処理は、ぼかし処理、ブレンド処理、固定画像重畳処理、塗りつぶし処理等のモザイク処理以外の処理であってよく、対象画像の全体を抽象化する処理であればどのような処理でもよい。
　マスク処理部５３は、以上の第１マスク処理又は第２マスク処理によりマスク処理を施した対象画像を図２のトリミング部５４に供給する。
　図２のトリミング部５４は、マスク処理部５３からの対象画像に対して、トリミング処理により、左縁及び右縁の領域（画像領域）を切り取る。トリミング部５４は、トリミング処理後の対象画像を画像処理部２４でのプライバシー保護処理後の対象画像として図１の記憶部２５に供給する。
　例えば、図１の画像取込部５１に取り込まれた図４の対象画像７１において、左縁付近の人物の顔Ｙ１は、一部が対象画像７１の範囲外であるため、マスク対象検出部５２においてマスク対象として検出されない可能性がある。そのため、人物の顔Ｙ１の画像領域は、マスク処理部５３の第１マスク処理では抽象化されない可能性がある。一方、人物の顔Ｙ１の一部の画像であっても、人物が特定される可能性がある。
　そこで、トリミング部５４は、トリミング処理により対象画像７１の左縁の領域ＥＬと右縁の領域ＥＲとを切り取る。図２の対象画像７１に対して図５のプライバシー保護処理後の対象画像７２では、対象画像７１の左縁の領域ＥＬ及び右縁の領域ＥＲの画像が切り取られており、人物の顔Ｙ１の画像が対象画像７２から排除されている。
　なお、図６の対象画像８１に対しても図８の画像処理部２４でのプライバシー保護処理後の対象画像８２のように左縁の領域ＥＬ及び右縁の領域ＥＲの画像が切り取られる。但し、マスク処理部５３での第２マスク処理により対象画像の全体が抽象化された場合はトリミング部５４はその対象画像に対してトリミング処理を行わなくてもよい。
　また、トリミング部５４は、マスク処理部５３からの対象画像に対してトリミング処理により、左縁及び右縁の領域ではなく、上縁及び下縁の領域を切り取るようにしてもよい。または、トリミング部５４は、対象画像に対して、左縁、右縁、上縁、及び、下縁の領域のうちのいずれか１つ又は複数の領域を切り取るようにしてもよく、どの領域を切り取るかをユーザが選択できるようにしてもよい。
　また、トリミング部５４は、対象画像に対するトリミング処理に相当する処理として、トリミング処理の代わりにマスク処理（抽象化処理）を実施してもよい。
　また、プライバシー保護処理の対象画像に対してトリミング部５４によるトリミング処理（又はマスク処理）が行われないようにしてもよく、画像処理部２４は、トリミング部５４を有していなくてもよい。
　また、プライバシー保護処理後の対象画像には、プライバシー保護の処理が施された画像であることを表す情報が例えばマスク処理部５３やトリミング部５４等で付加されるようにしてもよい。例えば、その情報は、プライバシー保護の処理が施された画像であることを表すロゴや文字列、ライセンス番号等であってよい。また、本技術が適用される装置の外装や、本技術を利用したサービスを提供するサーバのウェブサイトなどにもプライバシー保護の機能を備えたことを表す情報を表記又は表示してもよい。
　以上の画像処理部２４の全て又は一部の処理は、イメージセンサ１１が有するDSP（Digital Signal Processor）により実施されるようにしてもよい。DSPは、例えば、記憶部２５に格納されているプログラムを実行することで、学習済みの機械学習モデル等を用いて各種処理を実行する。機械学習モデルとしては、例えばニューラルネットワーク、特に、CNN（Convolutional Neural Network）等のディープニューラルネットワーク（DNN：Deep Neural Network）が用いられる。
　機械学習モデルを用いたDSPの演算処理によれば、マスク対象検出部５２でのマスク対象の検出処理を実施することができる。例えば、記憶部２５から読み出されたプライバシー保護処理の対象画像を機械学習モデルへの入力データとして、対象画像に含まれる人物の顔等のマスク対象の画像領域の位置及び大きさ、又は、マスク対象の画像領域を含む所定形状のマスク対象範囲の位置及び大きさが機械学習モデルからの出力データとしてDSPにより算出される。
　また、DSPの演算処理によれば、マスク処理部５３及びトリミング部５４での処理も実施することができる。
　なお、ニューラルネットワークを用いた機械学習モデルによるマスク対象検出部５２の処理は、DSPを用いる場合に限らす実施することができる。
　また、図１のイメージセンサ１１に内蔵された撮像部２１以外の構成要素（制御部２２、信号処理部２３、画像処理部２４、記憶部２５、選択部２６）が実施する処理の一部又は全ては、例えば、撮像装置１が通信接続されるサーバ等の任意の情報処理装置において実施することができる。また、プライバシー保護処理の対象画像は、所定の撮像装置から直接的に供給された画像でなくてもよい。また、マスク対象の検出には、ToF（Time of Flight）センサ、ミリ波レーダ、LIDER（Light Detection And Ranging）などのセンサを用いてもよい。
（画像処理部２４の第１形態の処理手順）
　図９は、画像処理部２４の第１形態でのプライバシー保護処理の処理手順を例示したフローチャートである。
　ステップＳ１１では、画像処理部２４（画像取込部５１）は、記憶部２５（図１参照）からプライバシー保護処理の対象画像を取り込む。処理はステップＳ１１からステップＳ１２に進む。
　ステップＳ１２では、画像処理部２４（マスク対象検出部５２）は、ステップＳ１１で取り込まれた対象画像に含まれるマスク対象を認識（検出）する。処理はステップＳ１２からステップＳ１３に進む。
　ステップＳ１３では、画像処理部２４（制御部２２）は、ステップＳ１２で認識されたマスク対象があるか（マスク対象の個数が１以上か）否かを判定する。
　ステップＳ１３において、認識されたマスク対象がないと判定された場合には、処理はステップＳ１４に進み、画像処理部２４（マスク処理部５３）は対象画像に対してマスク処理を行わない。処理はステップＳ１４からステップＳ１８に進む。
　ステップＳ１３において、認識されたマスク対象があると判定された場合には、処理はステップＳ１５に進み、制御部２２は、ステップＳ１２でのマスク対象の認識（検出）の処理負荷が処理能力の限界（認識の処理能力の限界）に達したか否かを判定する。具体的には、ステップＳ１２で認識されたマスク対象の個数（マスク対象数）が１９以下であるか否かを判定する。
　ステップＳ１５において、認識の処理能力の限界に達していないと判定された場合（マスク対象数が１９以下である場合）、処理はステップＳ１６に進み、画像処理部２４（マスク処理部５３）は、第１マスク処理によりマスク対象を個別に抽象化（識別不能化）する。処理はステップＳ１６からステップＳ１８に進む。
　ステップＳ１５において、認識の処理能力の限界に達したと判定された場合（マスク対象数が１９よりも大きい場合）、処理はステップＳ１７に進み、画像処理部２４（マスク処理部５３）は、第２マスク処理により、ステップＳ１１で取り込まれた対象画像の全体をモザイク処理等のマスク処理により抽象化（識別不能化）する。処理はステップＳ１７からステップＳ１８に進む。
　ステップＳ１８では、画像処理部２４（トリミング部５４）は、ステップＳ１４、ステップＳ１６、又は、ステップＳ１７で得られた対象画像に対してトリミング処理により例えば左縁又は右縁の領域を切り取る。処理はステップＳ１８からステップＳ１９に進む。
　ステップＳ１９では、画像処理部２４（トリミング部５４）は、ステップＳ１８でのトリミング処理後の対象画像をプライバシー保護処理後の対象画像として記憶部２５（図１）に出力する。
　以上の画像処理部２４の第１形態によれば、対象画像に含まれるマスク対象の個数に応じて、第１マスク処理と第２マスク処理とが切り替えて実行されるため、マスク対象が個数によらず、迅速かつ確実にマスク対象を抽象化することができる。これにより、リアルタイムなライブカメラ等の画像（静止画像又は動画像）に対しても略遅滞無く確実にプライバシー保護が行われるようになる。
＜画像処理部２４の第２形態の詳細＞
　次に、図１の画像処理部２４の第２形態について説明する。
　図１０は、画像処理部２４の第２形態が有する機能をブロックで例示した機能ブロック図である。なお、図中、図２の画像処理部２４と対応する部分については、同一の符号を付してあり、その説明は省略する。また、画像処理部２４の第１形態において採用し得る態様（拡張例や変形例等）は、本第２形態においても同様に採用し得るので、その説明は省略する。
　図１０の画像処理部２４は、画像取込部５１、マスク対象検出部５２、マスク処理部５３、トリミング部５４、及び、非マスク対象検出部１０１を有する。したがって、図１０の画像処理部２４は、画像取込部５１、マスク対象検出部５２、マスク処理部５３、及び、トリミング部５４を有する点で、図２の場合と共通する。但し、図１０の画像処理部２４は、非マスク対象検出部１０１が新たに設けられている点で、図２の場合と相違する。
　非マスク対象検出部１０１は、画像取込部５１で取り込まれた対象画像と、対象画像に対してマスク対象検出部５２で設定されたマスク対象範囲の情報をマスク対象検出部５２から受け取る。
　また、非マスク対象検出部１０１は、非マスク対象記憶部１０２から非マスク対象（非抽象化対象）の画像を取得する。非マスク対象は、対象画像に含まれるマスク対象のうち、抽象化する対象から除外するマスク対象である。例えば、マスク対象が人物の顔の場合、抽象化する対象から除外する特定人物の顔が非マスク対象となる。
　非マスク対象記憶部１０２は、図１の記憶部２５の非マスク対象の情報を記憶している部分を示す。非マスク対象記憶部１０２には、事前に決められた非マスク対象の画像が記憶される。また、非マスク対象記憶部１０２には、１又は複数の非マスク対象の画像が記憶される。非マスク対象検出部１０１には、例えば、非マスク対象記憶部１０２に記憶された非マスク対象の画像のうち、ユーザ操作により非マスク対象として指定された１又は複数の非マスク対象の画像が読み出される。非マスク対象としては、例えば、特定の人物の顔以外に、特定の服装や特定の文字列等を設定することができる。
　なお、本第２形態においてもマスク対象は人物の顔であるとし、非マスク対象は特定人物の顔であるとして説明する。
　図１１は、非マスク対象記憶部１０２に記憶される非マスク対象の画像の一例を簡素化して示した図である。
　図１１の画像９１には、非マスク対象とする人物の顔Ｔ１が写されている。このようなマスク対象から除外する人物の顔Ｔ１を撮影した画像９１が予め非マスク対象記憶部１０２に記憶される。
　非マスク対象検出部１０１は、非マスク対象記憶部１０２から取得した非マスク対象の特定人物の顔の画像に基づいて、対象画像の中に含まれる非マスク対象の特定人物の顔を検出（認識）する。即ち、非マスク対象検出部１０１は、対象画像のうち、非マスク対象の特定人物の顔と同一人物の顔の画像領域を検出する。なお、非マスク対象検出部１０１は、対象画像に対してマスク対象検出部５２で設定されたマスク対象範囲のうちから非マスク対象の特定人物の顔と同一人物の顔を検出してもよい。
　非マスク対象検出部１０１は、マスク対象検出部５２で設定されたマスク対象範囲のうち、非マスク対象の特定人物の顔が検出された画像領域を含むマスク対象範囲以外のマスク対象範囲を、新たなマスク対象範囲として設定する。そして、非マスク対象検出部１０１は、マスク対象検出部５２からの対象画像と、新たに設定したマスク対象範囲の情報とをマスク処理部５３に供給する。
　マスク処理部５３では、非マスク対象検出部１０１からの対象画像と、新たに設定されたマスク対象範囲とに基づいて、第１形態と同様にマスク処理を実行する。
　図１２は、図３の対象画像７１に対して画像処理部２４の第２形態で行われるプライバシー保護処理を説明する図である。尚、図中、図４と対応する部分については、同一の符号を付してあり、その説明は適宜省略する。
　図１２において、対象画像７１に含まれる複数の人物の顔Ｘ１乃至Ｘ８がマスク対象としてマスク対象検出部５２により検出される。
　マスク対象として検出された人物の顔Ｘ１乃至Ｘ８のそれぞれの画像領域には、それらの画像領域を含む楕円形のマスク対象範囲ＦＸ１乃至ＦＸ８がマスク対象検出部５２により設定される。
　非マスク対象検出部１０１は、例えば、マスク対象検出部５２により検出された人物の顔Ｘ１乃至Ｘ８のうち、人物の顔Ｘ１を非マスク対象の人物の顔として検出（認識）したとする。このとき、非マスク対象検出部１０１は、マスク対象範囲ＦＸ１乃至ＦＸ８のうち、マスク対象範囲ＦＸ１を除くマスク対象範囲ＦＸ２乃至ＦＸ８をマスク対象範囲として新たに設定し、マスク処理部５３に供給する。
　マスク処理部５３では、第１形態と同様にマスク対象範囲として設定されたマスク対象範囲ＦＸ２乃至ＦＸ８に対してマスク処理が実施される。また、トリミング部５４では第１形態と同様に対象画像７１の左縁の領域ＥＬと右縁の領域ＥＲが切り取られる。
　図１３は、図３の対象画像７１に対して画像処理部２４の第２形態で行われるプライバシー保護処理後の対象画像を例示した図であり、マスク処理部５３において第１マスク処理が実行された場合の処理後の対象画像を例示した図である。尚、図中、図５と対応する部分については、同一の符号を付してあり、その説明は適宜省略する。
　図１３の対象画像７３は、図３の対象画像７１に対して画像処理部２４でのプライバシー保護処理が施された画像である。図３の対象画像７１では、図１２に示したように対象画像７１に含まれるマスク対象の個数が８であり、処理切替の閾値１９以下である。この場合に、マスク処理部５３では第１マスク処理が実行されて図１３の対象画像７３が生成される。
　図１３の対象画像７３において、マスク対象検出部５２により設定された人物の顔Ｘ１乃至Ｘ８のうち、非マスク対象検出部１０１により検出された人物の顔Ｘ１を除く人物の顔Ｘ２乃至Ｘ８（図１２参照）の画像は、マスク処理部５３の第１マスク処理により、それぞれマスク画像Ｍ２乃至Ｍ８が重畳されて個別に抽象化される。非マスク対象である人物の顔Ｘ１の画像領域は、抽象化される領域から除外される。
　なお、図６及び図７に示したように対象画像に含まれるマスク対象の個数が処理切替の閾値よりも大きい場合には、非マスク対象検出部１０１での処理は行われず、マスク対象検出部５２から非マスク対象検出部１０１に供給された対象画像と、マスク対象範囲の情報とが、そのままマスク処理部５３に供給される。そして、マスク処理部５３の第２マスク処理により、図８に示したように対象画像の全体が抽象化される。
　また、マスク対象から除外する非マスク対象が非マスク対象記憶部１０２に記憶されていない場合、又は、ユーザ操作等による動作モードの設定によりマスク対象から非マスク対象を除外する処理を実施しないモードに設定された場合には、非マスク対象検出部１０１での処理は行われず、マスク対象検出部５２から非マスク対象検出部１０１に供給された対象画像と、マスク対象範囲の情報とが、そのままマスク処理部５３に供給される。従って、この場合には第１形態と同様のプライバシー保護処理が実施される。
　なお、非マスク対象検出部１０１の非マスク対象の検出処理についても、マスク対象の検出処理と同様に特徴量抽出アルゴリズム、テンプレートマッチング、又は、機械学習モデル等を用いた周知の手法のうちの任意の手法を用いることができる。また、マスク対象の検出処理と同様に、ニューラルネットワーク等の機械学習モデルを用いたDSPの演算処理により非マスク対象の検出処理を行うことができる。
（画像処理部２４の第２形態の処理手順）
　図１４は、画像処理部２４の第２形態でのプライバシー保護処理の処理手順を例示したフローチャートである。
　ステップＳ３１では、画像処理部２４（画像取込部５１）は、記憶部２５（図１参照）からプライバシー保護処理の対象画像を取り込む。処理はステップＳ３１からステップＳ３２に進む。
　ステップＳ３２では、画像処理部２４（マスク対象検出部５２）は、ステップＳ３１で取り込まれた対象画像に含まれるマスク対象を認識（検出）する。処理はステップＳ３２からステップＳ３３に進む。
　ステップＳ３３では、画像処理部２４（非マスク対象検出部１０１）は、ステップＳ３１で取り込まれた対象画像に含まれる非マスク対象を認識する。処理はステップＳ３３からステップＳ３４に進む。
　ステップＳ３４では、画像処理部２４（制御部２２）は、ステップＳ３２で認識されたマスク対象があるか（マスク対象の個数が１以上か）否かを判定する。
　ステップＳ３４において、認識されたマスク対象がないと判定された場合には、処理はステップＳ３５に進み、画像処理部２４（マスク処理部５３）は対象画像に対してマスク処理を行わない。処理はステップＳ３５からステップＳ３９に進む。
　ステップＳ３４において、認識されたマスク対象があると判定された場合には、処理はステップＳ３６に進み、制御部２２は、ステップＳ３２でのマスク対象の認識（検出）の処理負荷が処理能力の限界（認識の処理能力の限界）に達したか否かを判定する。具体的には、ステップＳ３２で認識されたマスク対象の個数（マスク対象数）が１９以下であるか否かを判定する。
　ステップＳ３６において、認識の処理能力の限界に達していないと判定された場合（マスク対象数が１９以下である場合）、処理はステップＳ３７に進み、画像処理部２４（マスク処理部５３）は、ステップＳ３２で認識されたマスク対象のうち、ステップＳ３３で認識された非マスク対象以外のマスク対象を第１マスク処理により個別に抽象化（識別不能化）する。処理はステップＳ３９に進む。
　ステップＳ３６において、認識の処理能力の限界に達したと判定された場合（マスク対象数が１９よりも大きい場合）、処理はステップＳ３６からステップＳ３８に進み、画像処理部２４（マスク処理部５３）は、第２マスク処理により、ステップＳ３１で取り込まれた対象画像の全体をモザイク処理等のマスク処理により抽象化（識別不能化）する。処理はステップＳ３８からステップＳ３９に進む。
　ステップＳ３９では、画像処理部２４（トリミング部５４）は、ステップＳ３５、ステップＳ３７、又は、ステップＳ３８で得られた対象画像に対してトリミング処理により左縁又は右縁の領域を切り取る。処理はステップＳ３９からステップＳ４０に進む。
　ステップＳ４０では、画像処理部２４（トリミング部５４）は、ステップＳ３９でのトリミング処理後の対象画像をプライバシー保護処理後の対象画像として記憶部２５（図１）に出力する。
　以上の画像処理部２４の第２形態によれば、対象画像に含まれるマスク対象の個数に応じて、第１マスク処理と第２マスク処理とが切り替えて実行されるため、マスク対象が個数によらず、迅速かつ確実にマスク対象を抽象化することができる。また、マスク対象のうち、抽象化しない特定のマスク対象の画像に対しては抽象化しない状態で対象画像内に残すことができる。これにより、リアルタイムなライブカメラ等の画像（静止画像又は動画像）に対しても略遅滞無く確実に特定の被写体以外のプライバシー保護が行われるようになる。
＜プログラム＞
　上述した画像処理部２４等におけるプライバシー保護処理の一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
　入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
　以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
本技術は以下のような構成も取ることができる。
（１）
　対象画像に含まれる抽象化対象の個数に応じて、前記対象画像における前記抽象化対象の画像領域を個別に抽象化する第１処理と、前記対象画像の全体を抽象化する第２処理とを切り替えて実行する画像処理部
　を有する情報処理装置。
（２）
　前記画像処理部は、
　　前記対象画像に含まれる前記抽象化対象の個数が所定の閾値以下の場合に前記第１処理を実行し、
　　前記対象画像に含まれる前記抽象化対象の個数が前記閾値よりも大きい場合に前記第２処理を実行する
　前記（１）に記載の情報処理装置。
（３）
　前記画像処理部は、
　　前記対象画像に含まれる前記抽象化対象を検出する抽象化対象検出部
　を有し、
　前記閾値は、
　　前記抽象化対象検出部の処理能力の限界となるときの前記抽象化対象の限界個数よりも小さい数である
　前記（２）に記載の情報処理装置。
（４）
　前記閾値は、
　　前記限界個数よりも１だけ小さい数である
　前記（３）に記載の情報処理装置。
（５）
　前記画像処理部は、
　　前記対象画像に対する前記抽象化対象の検出に要する処理負荷が所定の閾値以下の場合に前記第１処理を実行し、
　　前記処理負荷が前記閾値よりも大きい場合に前記第２処理を実行する
　前記（１）に記載の情報処理装置。
（６）
　前記第１処理は、
　　前記抽象化対象の画像領域を含む所定形状の画像領域を抽象化する
　前記（１）乃至前記（５）のいずれかに記載の情報処理装置。
（７）
　前記第１処理は、
　　モザイク処理、ぼかし処理、ブレンド処理、固定画像重畳処理、又は、塗りつぶし処理により前記抽象化対象の画像領域を抽象化する
　前記（１）乃至前記（６）のいずれかに記載の情報処理装置。
（８）
　前記画像処理部は、
　　前記対象画像に対して、左縁、右縁、上縁、及び、下縁の領域のうちのいずれか１つ又は複数の領域の切り取り、又は、抽象化を行う
　前記（１）乃至前記（７）のいずれかに記載の情報処理装置。
（９）
　前記画像処理部は、
　　特徴量抽出アルゴリズム又はニューラルネットワークにより前記抽象化対象を検出する
　前記（１）乃至前記（８）のいずれかに記載の情報処理装置。
（１０）
　前記抽象化対象は、
　　人物の顔、人物の体、人物の姿勢、人物の服装、及び、文字列のうちの少なくとも１つを含む
　前記（１）乃至前記（９）のいずれかに記載の情報処理装置。
（１１）
　前記第１処理は、
　　前記抽象化対象のうち、事前に決められた非抽象化対象を除外した前記抽象化対象を抽象化する
　前記（１）乃至前記（１０）のいずれかに記載の情報処理装置。
（１２）
　前記非抽象化対象は、
　　特定の人物の顔、特定の服装、特定の文字列である
　前記（１１）に記載の情報処理装置。
（１３）
　前記画像処理部は、
　　イメージセンサに内蔵された
　前記（１）乃至前記（１２）のいずれかに記載の情報処理装置。
（１４）
　前記画像処理部は、
　　前記第１処理又は第２処理により生成した画像に対してプライバシー保護の処理が施された画像であることを表す情報を付加する
　前記（１）乃至前記（１３）のいずれかに記載の情報処理装置。
（１５）
　画像処理部
　を有する
　情報処理装置の
　前記画像処理部は、
　　対象画像に含まれる抽象化対象の個数に応じて、前記対象画像における前記抽象化対象の画像領域を個別に抽象化する第１処理と、前記対象画像の全体を抽象化する第２処理とを切り替えて実行する
　情報処理方法。
（１６）
　コンピュータを、
　　対象画像に含まれる抽象化対象の個数に応じて、前記対象画像における前記抽象化対象の画像領域を個別に抽象化する第１処理と、前記対象画像の全体を抽象化する第２処理とを切り替えて実行する画像処理部
　として機能させるためのプログラム。
１　撮像装置，　１１　イメージセンサ，　１２　アプリケーションプロセッサ，　１３　操作部，　１４　表示部，　１５　通信部，　２１　撮像部，　２２　制御部，　２３　信号処理部，　２４　画像処理部，　２５　記憶部，　２６　選択部，　５１　画像取込部，　マスク対象検出部，　５３　マスク処理部，　５４　トリミング部，　１０１　非マスク対象検出部

Claims (16)

  1. 　対象画像に含まれる抽象化対象の個数に応じて、前記対象画像における前記抽象化対象の画像領域を個別に抽象化する第１処理と、前記対象画像の全体を抽象化する第２処理とを切り替えて実行する画像処理部
    　を有する情報処理装置。
  2. 　前記画像処理部は、
    　　前記対象画像に含まれる前記抽象化対象の個数が所定の閾値以下の場合に前記第１処理を実行し、
    　　前記対象画像に含まれる前記抽象化対象の個数が前記閾値よりも大きい場合に前記第２処理を実行する
    　請求項１に記載の情報処理装置。
  3. 　前記画像処理部は、
    　　前記対象画像に含まれる前記抽象化対象を検出する抽象化対象検出部
    　を有し、
    　前記閾値は、
    　　前記抽象化対象検出部の処理能力の限界となるときの前記抽象化対象の限界個数よりも小さい数である
    　請求項２に記載の情報処理装置。
  4. 　前記閾値は、
    　　前記限界個数よりも１だけ小さい数である
    　請求項３に記載の情報処理装置。
  5. 　前記画像処理部は、
    　　前記対象画像に対する前記抽象化対象の検出に要する処理負荷が所定の閾値以下の場合に前記第１処理を実行し、
    　　前記処理負荷が前記閾値よりも大きい場合に前記第２処理を実行する
    　請求項１に記載の情報処理装置。
  6. 　前記第１処理は、
    　　前記抽象化対象の画像領域を含む所定形状の画像領域を抽象化する
    　請求項１に記載の情報処理装置。
  7. 　前記第１処理は、
    　　モザイク処理、ぼかし処理、ブレンド処理、固定画像重畳処理、又は、塗りつぶし処理により前記抽象化対象の画像領域を抽象化する
    　請求項１に記載の情報処理装置。
  8. 　前記画像処理部は、
    　　前記対象画像に対して、左縁、右縁、上縁、及び、下縁の領域のうちのいずれか１つ又は複数の領域の切り取り、又は、抽象化を行う
    　請求項１に記載の情報処理装置。
  9. 　前記画像処理部は、
    　　特徴量抽出アルゴリズム又はニューラルネットワークにより前記抽象化対象を検出する
    　請求項１に記載の情報処理装置。
  10. 　前記抽象化対象は、
    　　人物の顔、人物の体、人物の姿勢、人物の服装、及び、文字列のうちの少なくとも１つを含む
    　請求項１に記載の情報処理装置。
  11. 　前記第１処理は、
    　　前記抽象化対象のうち、事前に決められた非抽象化対象を除外した前記抽象化対象を抽象化する
    　請求項１に記載の情報処理装置。
  12. 　前記非抽象化対象は、
    　　特定の人物の顔、特定の服装、特定の文字列である
    　請求項１１に記載の情報処理装置。
  13. 　前記画像処理部は、
    　　イメージセンサに内蔵された
    　請求項１に記載の情報処理装置。
  14. 　前記画像処理部は、
    　　前記第１処理又は第２処理により生成した画像に対してプライバシー保護の処理が施された画像であることを表す情報を付加する
    　請求項１に記載の情報処理装置。
  15. 　画像処理部
    　を有する
    　情報処理装置の
    　前記画像処理部は、
    　　対象画像に含まれる抽象化対象の個数に応じて、前記対象画像における前記抽象化対象の画像領域を個別に抽象化する第１処理と、前記対象画像の全体を抽象化する第２処理とを切り替えて実行する
    　情報処理方法。
  16. 　コンピュータを、
    　　対象画像に含まれる抽象化対象の個数に応じて、前記対象画像における前記抽象化対象の画像領域を個別に抽象化する第１処理と、前記対象画像の全体を抽象化する第２処理とを切り替えて実行する画像処理部
    　として機能させるためのプログラム。
PCT/JP2021/015463 2020-04-28 2021-04-14 情報処理装置、情報処理方法、及び、プログラム WO2021220814A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/919,667 US20230153955A1 (en) 2020-04-28 2021-04-14 Information processing apparatus, information processing method, and program
CN202180030427.4A CN115462065A (zh) 2020-04-28 2021-04-14 信息处理装置、信息处理方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-078965 2020-04-28
JP2020078965 2020-04-28

Publications (1)

Publication Number Publication Date
WO2021220814A1 true WO2021220814A1 (ja) 2021-11-04

Family

ID=78373516

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/015463 WO2021220814A1 (ja) 2020-04-28 2021-04-14 情報処理装置、情報処理方法、及び、プログラム

Country Status (3)

Country Link
US (1) US20230153955A1 (ja)
CN (1) CN115462065A (ja)
WO (1) WO2021220814A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023175728A1 (ja) * 2022-03-15 2023-09-21 日本電気株式会社 処理装置、処理方法、および記録媒体

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116320787A (zh) * 2023-03-03 2023-06-23 浙江大学 一种具有隐私保护功能的摄像头及其隐私保护方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009094946A (ja) * 2007-10-11 2009-04-30 Fujifilm Corp 撮像装置及び撮像装置における肖像権保護方法
JP2015222881A (ja) * 2014-05-23 2015-12-10 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
JP2017098879A (ja) * 2015-11-27 2017-06-01 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
JP2019071050A (ja) * 2017-10-06 2019-05-09 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2020057224A (ja) * 2018-10-02 2020-04-09 大日本印刷株式会社 検出装置、識別器、コンピュータプログラム及び検出方法
JP2020061664A (ja) * 2018-10-10 2020-04-16 国立大学法人横浜国立大学 撮像装置及び撮像システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009094946A (ja) * 2007-10-11 2009-04-30 Fujifilm Corp 撮像装置及び撮像装置における肖像権保護方法
JP2015222881A (ja) * 2014-05-23 2015-12-10 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
JP2017098879A (ja) * 2015-11-27 2017-06-01 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
JP2019071050A (ja) * 2017-10-06 2019-05-09 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2020057224A (ja) * 2018-10-02 2020-04-09 大日本印刷株式会社 検出装置、識別器、コンピュータプログラム及び検出方法
JP2020061664A (ja) * 2018-10-10 2020-04-16 国立大学法人横浜国立大学 撮像装置及び撮像システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023175728A1 (ja) * 2022-03-15 2023-09-21 日本電気株式会社 処理装置、処理方法、および記録媒体

Also Published As

Publication number Publication date
US20230153955A1 (en) 2023-05-18
CN115462065A (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
JP7226851B2 (ja) 画像処理の方法および装置並びにデバイス
US20220021816A1 (en) Control apparatus, control method, program, and electronic device system that provide low power consumption
JP7266672B2 (ja) 画像処理方法および画像処理装置、ならびにデバイス
CN107395898B (zh) 一种拍摄方法及移动终端
JP5757063B2 (ja) 情報処理装置および方法、並びにプログラム
WO2021220814A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
US9002061B2 (en) Image processing device, image processing method and computer-readable medium
WO2017104411A1 (ja) 撮像素子、画像処理装置および方法、並びにプログラム
CN109218663B (zh) 图像处理设备、图像处理方法和存储介质
US10095941B2 (en) Vision recognition apparatus and method
US10516860B2 (en) Image processing method, storage medium, and terminal
CN110944160B (zh) 一种图像处理方法及电子设备
JP2016111475A (ja) 画像処理装置、画像処理方法、及び撮像システム
US20130194184A1 (en) Method and apparatus for controlling mobile terminal using user interaction
CN112788320B (zh) 图像传感器、图像采集装置、电子设备及其控制方法
CN113014803A (zh) 滤镜添加方法、装置及电子设备
US20100123802A1 (en) Digital image signal processing method for performing color correction and digital image signal processing apparatus operating according to the digital image signal processing method
CN110944163A (zh) 一种图像处理方法及电子设备
CN113727085B (zh) 一种白平衡处理方法、电子设备、芯片系统和存储介质
US7835552B2 (en) Image capturing apparatus and face area extraction method
JP2014053722A (ja) 撮像システム及び撮像方法
WO2010109919A1 (ja) 撮像装置
JP2010021916A (ja) 画像処理装置
JP2007102270A (ja) 画像処理装置
US20100150435A1 (en) Image processing method and apparatus, and digital photographing apparatus using the image processing apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21797698

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21797698

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP