WO2017006778A1 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

画像処理装置、および画像処理方法、並びにプログラム Download PDF

Info

Publication number
WO2017006778A1
WO2017006778A1 PCT/JP2016/068752 JP2016068752W WO2017006778A1 WO 2017006778 A1 WO2017006778 A1 WO 2017006778A1 JP 2016068752 W JP2016068752 W JP 2016068752W WO 2017006778 A1 WO2017006778 A1 WO 2017006778A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
face image
face
detected
luminance
Prior art date
Application number
PCT/JP2016/068752
Other languages
English (en)
French (fr)
Inventor
源吾 森年
恭子 石田
星野　和弘
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2017006778A1 publication Critical patent/WO2017006778A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications

Definitions

  • the present technology relates to an image processing device, an image processing method, and a program, and in particular, notifies a reflection of a face image of a person unintended by a photographer in a captured image so that processing can be performed as necessary.
  • the present invention relates to an image processing apparatus, an image processing method, and a program.
  • Recent imaging apparatuses are provided with a face detection function for detecting a face image existing within a range captured as an image including a subject.
  • This face image detection function is a function for detecting, as a face image, an area in which a face is imaged from a subject within an imaging range in which the image is imaged, and is generally at the center of the face in the detected face image.
  • Image processing such as exposure, focus, and color correction is performed on the basis of the pixel value.
  • some imaging devices are provided with a face recognition function for recognizing and identifying the face image detected by the face image detection function. This is done by digitizing the positional relationship of each organ of the face in the image detected as a face image and comparing it with the numerical data in the face image that has already been registered (referred to from the network etc. in another form).
  • the function performs predetermined correction, authentication, image tracking, or the like.
  • a smartphone or the like having a camera function equivalent to that of such an imaging device is generally popular, and it is possible to capture an image and upload it to the Internet easily.
  • the black object whose surface is glossed is, for example, a glare-processed liquid crystal display or a piano mirror-finished furniture.
  • a glare-processed liquid crystal display or a piano mirror-finished furniture Although there is a means for preventing the reflection with a protective film or the like, the original purpose of glare processing is good color development, black tightening, etc., and these good characteristics are erased. In addition, putting a film on furniture may damage the aesthetic landscape.
  • Patent Document 2 a technique for protecting privacy by detecting a face image in a captured image and replacing the detected face image of a person with an average face image so as not to feel uncomfortable has been proposed (see Patent Document 2).
  • the present technology has been made in view of such a situation, and in particular, an image with brightness adjusted appropriately by detecting a face image while changing the brightness of the captured image to various brightnesses. In addition to notifying the photographer of a face image that is easily overlooked and reflected in an unintended state, it can be corrected as necessary.
  • An image processing apparatus includes a luminance adjustment unit that sequentially changes the luminance of an image, a face image detection unit that sequentially detects a face image from an image whose luminance is changed by the luminance adjustment unit,
  • the image processing apparatus includes an image processing unit that adds a mark indicating that the face image is detected at a position where the face image is detected by the face image detection unit.
  • the face image is detected from an image other than an image having an appropriate luminance among images detected by the face image detection unit.
  • a mark indicating that the face image has been detected can be added to the position.
  • a function indicating the relationship between the brightness value at the time of capturing the image and the brightness value when the face image detection unit performs processing for detecting the face image can be set as the brightness.
  • the brightness of the image can be adjusted so that the brightness changes in a predetermined step within a range.
  • the function indicating the relationship between the luminance value at the time of capturing the image and the luminance value at the time of performing the process of detecting the face image by the face image detecting unit is as follows. It is possible to use a plurality of functions that linearly change the luminance value when the face image detection unit performs the process of detecting the face image.
  • a function indicating the relationship between the luminance value at the time of capturing the image and the luminance value at the time of performing the process of detecting the face image by the face image detection unit is the luminance at the time of imaging and the face by the face image detection unit.
  • the median with the brightness when processing to detect the image is fixed, and the curvature becomes the maximum when the value is 1/4 of the maximum value of the brightness at the time of imaging, from the minimum value to the median value.
  • the maximum values it can be a plurality of functions consisting of a curve that is 3/4 of the luminance at the time of imaging.
  • the function indicating the relationship between the luminance value at the time of capturing the image and the luminance value when the face image detecting unit performs the process of detecting the face image is a curve obtained by connecting a plurality of curves by linear interpolation. Can be a plurality of functions.
  • the image processing unit can add a window for selecting a correction method of a face image corresponding to the mark to the image.
  • the selectable correction methods can include deleting the face image, performing mask processing, mosaic processing, and no processing.
  • the image processing unit can add a face image corresponding to the mark to the image.
  • the image processing unit can add a face image corresponding to the mark to the image with luminance when the face image is detected.
  • the mark may be an icon indicating that the face image has been detected.
  • the image processing method sequentially changes the luminance of an image, sequentially detects a face image from the image having the changed luminance, and the position of the face image is detected in the image.
  • An image processing method includes a step of adding a mark indicating that a face image has been detected.
  • a program includes a luminance adjustment unit that sequentially changes the luminance of an image, a face image detection unit that sequentially detects a face image from an image whose luminance is changed by the luminance adjustment unit,
  • the program causes a computer to function as an image processing unit that adds a mark indicating that the face image has been detected to a position where the face image is detected by the face image detection unit.
  • the brightness of the image is sequentially changed
  • the face image is sequentially detected from the image having the changed brightness
  • the face image is detected at a position in the image where the face image is detected. A mark indicating that this is added.
  • the image processing device may be an independent device or a block that functions as an image processing device.
  • FIG. 4 is a diagram for explaining a change in luminance different from that in FIG.
  • FIG. 11 is a diagram illustrating a configuration example of a general-purpose personal computer.
  • FIG. 1 illustrates a configuration example of a terminal device to which the present technology is applied.
  • the terminal device 1 in FIG. 1 is a tablet-shaped information processing device having a function of capturing an image, for example, as shown in FIG. More specifically, the terminal device 1 picks up an image, searches for a face image reflected in the picked-up image, notifies the face image, and performs image processing on the searched face image as necessary. It is something to apply.
  • the terminal device 1 includes an image sensor 11, a control unit 12, a buffer 13, and a display operation unit 14.
  • the image sensor 11 includes, for example, a CMOS (Complementary Metal Oxide Semiconductor), a CCD (Charge Coupled Device), and the like.
  • the image sensor 11 captures an area where a subject exists, converts the image into an RGB image signal, and transmits the image signal to the control unit 12. Output.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the control unit 12 changes the luminance of the image supplied from the image sensor 11 in a predetermined step, and determines the intention of the photographer according to the presence / absence of a face image detected in an image having a luminance different from the appropriate luminance.
  • the reflection of the face image not to be detected is detected and displayed on the display unit 14b such as an LCD (Liquid Crystal Display) in the display operation unit 14.
  • the control unit 12 does not intend in the image according to the instruction content.
  • the face image captured in the state is processed.
  • the control unit 12 appropriately uses the buffer 13 when processing the image.
  • control unit 12 includes a normal processing unit 31, a face detection preprocessing unit 32, a face detection unit 33, a face correction processing unit 34, and an output unit 35.
  • the normal processing unit 31 sequentially converts the image signals composed of RGB signals supplied from the image sensor 11 into YC signals composed of YCbCr, and stores them in the buffer 13.
  • the face detection pre-processing unit 32 sequentially switches the luminance Y in the image composed of YC signals stored in the buffer 13 from the minimum value to the maximum value of the range in a predetermined step and stores it in the buffer 13.
  • the face detection unit 33 sequentially reads the images stored in the buffer 13 switched to various luminances Y, detects a face image from each image, and outputs the detection result to the buffer 13.
  • the face detection unit 33 detects, for example, each organ such as the eyes, nose, mouth, and ears constituting the face image, and detects an image that becomes a face image from the arrangement by, for example, block matching.
  • the face detection unit 33 stores information such as a detection position and a size in the buffer 13.
  • the face correction processing unit 34 displays the detected face image, an icon indicating that the face image has been detected at the display position of the detected face image, and a window for receiving a face image correction instruction.
  • the face image is corrected according to the instruction and stored in the buffer 13.
  • a mark other than an icon may be used. For example, a mark that serves as a mark may be displayed.
  • the output unit 35 converts the image formed of the YC signal stored in the buffer 13 into an RGB signal for display on the display unit 14b in the display operation unit 14, and displays the conversion result on the display unit 14b.
  • step S ⁇ b> 11 the normal processing unit 31 of the control unit 12 acquires the image captured by the image sensor 11 and buffers it in the buffer 13.
  • step S12 the face detection preprocessing unit 32 sets the parameter for setting the luminance value to the lowest value of the range when sequentially changing the luminance value in the image stored in the buffer 13.
  • step S13 the face detection preprocessing unit 32 reads an image composed of RGB signals stored in the buffer 13, converts the image into YC signal images composed of YCbCr signals, and stores them in the buffer 13.
  • step S14 the face detection preprocessing unit 32 adjusts the luminance of the image formed of the YC signal to the value of the parameter for setting the luminance, and stores it in the buffer 13. That is, in the first case, since the minimum value in the luminance range is set, the luminance value is set to the minimum value.
  • step S15 the face detection preprocessing unit 32 reads an image composed of the YC signal whose luminance has been adjusted from the buffer 13, converts it into an RGB signal, and stores it in the buffer 13.
  • step S16 the face detection unit 33 reads an image made up of RGB signals whose luminance has been adjusted, and detects a face image. More specifically, the face detection unit 33 detects a face image, for example, by block matching or the like, with respect to the face image adjusted in luminance stored in the buffer 13.
  • step S17 the face detection unit 33 determines whether or not a face image is detected from the image whose luminance has been adjusted. For example, if a face image is detected, the process proceeds to step S18.
  • step S18 the face detection unit 33 stores the detected face image, the brightness value of the current image, and the position in the image where the face image is detected in association with each other in the buffer 13. If no face image is detected in step S17, the process in step S18 is skipped.
  • step S19 the face detection preprocessing unit 32 determines whether or not the parameter for setting the current luminance is the maximum value of the range. If the parameter is not the maximum value, the process proceeds to step S20.
  • step S20 the face detection preprocessing unit 32 increases the parameter for adjusting the luminance value by a minimum step (for example, one step), the process returns to step S13, and the luminance value is the maximum value of the range. Steps S13 to S20 are repeated until it is considered that the face image is detected while increasing the luminance value by one step for the same image.
  • an appropriate luminance value corresponding to the pixel value of each pixel in the image is set and captured.
  • the pixel value at the time of display corresponding to the appropriate luminance value is set as a general pixel value.
  • the generally appropriate luminance is, for example, black in FIG. It is assumed that the relationship is represented by a bold line.
  • the horizontal axis is the luminance value (Luminance (IN)) at the time of imaging of each pixel
  • the vertical axis is the luminance value (Luminance (OUT)) set when detecting the face image. is there. That is, a straight line represented by a straight line rising to the right in FIG. 4 is one luminance setting.
  • a bright image with high luminance is set.
  • As the y intercept decreases a dark image with a low luminance decreases. Setting.
  • the luminance value at the time of imaging is the luminance value when displayed as it is.
  • the appropriate luminance range is generally a luminance that is adjusted so that a color that is almost the same as that viewed by the photographer when viewing or printing is reproduced. Any range is acceptable. Therefore, not only the example set by one straight line shown by the black thick line in FIG. 4, but also a range including a straight line in the vicinity thereof, or a range between two predetermined straight lines in FIG. It may be.
  • the relationship between the luminance value at the time of imaging and the luminance value set for detecting the face image is the minimum step within the range indicated by the range (RANGE). It is changed by one step (STEP).
  • the luminance value of the image is changed by changing one step at a time so that the relationship shown by the dotted line in FIG. 4 is obtained.
  • the images P1 to P3 in FIG. 5 are all the same image, and a mirror M1 is provided in the left part of the image, and the face image of the person H1 on the right side in the figure is reflected in the mirror. Yes. Further, since it is only necessary to gradually change the luminance setting, it is not necessary to make every minimum step, and it may be changed by a predetermined number of steps.
  • step S21 the luminance parameter in the range (RANGE) is increased step by step, and in step S19, the luminance value parameter is regarded as the maximum value of the range (RANGE). If so, the process proceeds to step S21.
  • the face correction processing unit 34 extracts a face image stored in the buffer 13 when the brightness value is adjusted to an inappropriate luminance value from the detected face images. For example, a straight line other than the thick black line that has been adjusted to an appropriate luminance value among the face images detected from each image set to the luminance indicated by the dotted line or the thick black line shown in FIG. Only the face image detected from the image for which the brightness has been set is extracted. In general, since a human face can be visually recognized for a face image detected in an image set to appropriate luminance, only the face image that is difficult to recognize visually is extracted.
  • the face correction processing unit 34 may have a face image reflected at a position where the face image is detected in an image with an inappropriate brightness value on the image set to an appropriate brightness.
  • An image with an icon indicating “” is generated and stored in the buffer 13.
  • the output unit 35 reads an image with an icon stored in the buffer 13 and outputs and displays the image on the display unit 14b of the display operation unit 14, for example, as shown in FIG.
  • FIG. 6 an image with appropriate luminance captured on the display unit 14 b in the display operation unit 14 is displayed, and the face image is reflected at a position where the face image is detected in the image with an inappropriate luminance value.
  • An icon L1 indicating the possibility is displayed. More specifically, the icon L1 is displayed on the surface of the display 51 in the image, and if the image is set to an inappropriate brightness on the display 51 at the position of the icon L1, a reflected face image is detected. Has been shown to be.
  • FIG. 6 shows an example in which one icon L1 is displayed.
  • each icon L1 is positioned at the detected position.
  • a plurality of items may be displayed.
  • the icon L1 is operated by the operation unit (touch pad) 14a in the display operation unit 14 (for example, when touched), a window for selecting a face image correction process or a face image is detected.
  • a face image detected by luminance is displayed.
  • step S23 the face correction processing unit 34 determines whether or not one of the icons L1 has been selected by operating the operation unit 14a. In step S23, for example, when the icon L1 in FIG. 6 is selected, the process proceeds to step S24.
  • step S24 for example, as shown in FIG. 7, the face correction processing unit 34 detects a window W for specifying correction contents for the face image detected in association with the selected icon L1, and is detected at that time.
  • the face image L2 having the brightness is added (overlapped) to the image and stored in the buffer 13.
  • the output unit 35 displays an image to which the window W and the face image L2 having the brightness detected at that time are added on the display unit 14b.
  • buttons B1 to B4 are provided from the top in the figure as options for correction contents of the face image, and “remove (erase processing)” and “mask ( “Mask processing”, “mosaic (mosaic processing)”, and “ignore (ignore (no processing))” are displayed.
  • buttons B1 to B4 When any of these buttons B1 to B4 is operated by the operation unit 14a, the corresponding correction content is instructed.
  • the face image L2 corresponding to the icon L1 is displayed as an image in the brightness state where the face image is detected, so what kind of face image is actually detected with what brightness image. Can be recognized.
  • step S25 the face correction processing unit 34 determines whether any of the correction contents is instructed by operating the operation unit 14a and operating any of the buttons B1 to B4. In step S25, for example, when any of the buttons B1 to B4 is operated, it is considered that any correction content is instructed, and the process proceeds to step S26.
  • step S26 the face correction processing unit 34 applies the correction process corresponding to the operated button B1 to B4 to the face image corresponding to the selected icon, and stores it in the buffer 13.
  • the output unit 35 displays the corrected image of the face image stored in the buffer 13 on the display unit 14b.
  • the face correction processing unit 34 performs correction to delete the detected face image.
  • the button B2 displayed as “mask (mask processing)” the face correction processing unit 34 detects, for example, an area where the face image detected by the icon L1 or the like exists, for example. The face image is corrected by performing a process of masking the surrounding image of the face image with a color that is familiar to the face image.
  • the button B3 displayed as “mosaic (mosaic processing)” the face correction processing unit 34 performs correction by performing a mosaic processing for reducing the resolution of the detected face image.
  • the button B4 displaying “ignore (ignore (no processing))” the face correction processing unit 34 leaves the detected face image as it is without any particular processing.
  • step S27 the control part 12 will complete
  • step S23 the processing of steps S24 to S26 is skipped, and if any button B1 to B4 is not operated in step S25, the processing of step S26 is skipped.
  • step S27 the processes in steps S23 to S27 are repeated until an end is instructed.
  • a function for linearly changing the luminance value to be displayed with respect to the luminance value at the time of imaging is expressed in a predetermined step (STEP) within the range (RANGE).
  • the median (max / 2) between the luminance at the time of imaging and the luminance to be displayed is fixed, and the minimum value is Set up a function consisting of a curve with the maximum curvature near the maximum of 1/4 of the median, and the maximum curvature near the maximum of 3/4 of the median to maximum.
  • the curves q1, q2... Qm set while changing the curvature are set with a predetermined step (STEP) for the set range (RANGE), and the curves q1, q2.
  • the face image may be detected while switching.
  • the face image may be detected while changing the luminance by sequentially switching the function including the curve obtained by connecting the points by linear interpolation.
  • ⁇ Example executed by software> By the way, the series of processes described above can be executed by hardware, but can also be executed by software.
  • a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose personal computer or the like.
  • FIG. 10 shows a configuration example of a general-purpose personal computer.
  • This personal computer incorporates a CPU (Central Processing Unit) 1001.
  • An input / output interface 1005 is connected to the CPU 1001 via a bus 1004.
  • a ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004.
  • the input / output interface 1005 includes an input unit 1006 including an input device such as a keyboard and a mouse for a user to input an operation command, an output unit 1007 for outputting a processing operation screen and an image of the processing result to a display device, programs, and various types.
  • a storage unit 1008 including a hard disk drive for storing data, a LAN (Local Area Network) adapter, and the like are connected to a communication unit 1009 that executes communication processing via a network represented by the Internet.
  • magnetic disks including flexible disks
  • optical disks including CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc)), magneto-optical disks (including MD (Mini Disc)), or semiconductors
  • a drive 1010 for reading / writing data from / to a removable medium 1011 such as a memory is connected.
  • the CPU 1001 is read from a program stored in the ROM 1002 or a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, installed in the storage unit 1008, and loaded from the storage unit 1008 to the RAM 1003. Various processes are executed according to the program.
  • the RAM 1003 also appropriately stores data necessary for the CPU 1001 to execute various processes.
  • the CPU 1001 loads the program stored in the storage unit 1008 to the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the program, for example. Is performed.
  • the program executed by the computer (CPU 1001) can be provided by being recorded on the removable medium 1011 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 1008 via the input / output interface 1005 by attaching the removable medium 1011 to the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008. In addition, the program can be installed in advance in the ROM 1002 or the storage unit 1008.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • this technique can also take the following structures.
  • a brightness adjustment unit that sequentially changes the brightness of the image
  • a face image detection unit that sequentially detects face images from images whose luminance has been changed by the luminance adjustment unit
  • An image processing apparatus comprising: an image processing unit that adds a mark indicating that the face image has been detected to a position in the image where the face image is detected by the face image detection unit.
  • the image processing unit detects the face image when the face image is detected from an image other than an image having an appropriate luminance among images detected by the face image detection unit.
  • the image processing apparatus according to ⁇ 1>, wherein a mark indicating that the face image has been detected is added to a position within the position.
  • the luminance adjustment unit sets, as the luminance, a function indicating a relationship between a luminance value at the time of capturing the image and a luminance value when the face image detection unit detects the face image.
  • the image processing device according to ⁇ 1> or ⁇ 2>, wherein the luminance of the image is adjusted so that the luminance is changed in a predetermined step within a possible range.
  • the function indicating the relationship between the luminance value at the time of capturing the image and the luminance value at the time of performing the process of detecting the face image by the face image detecting unit is the luminance value at the time of capturing the image.
  • the image processing device according to ⁇ 3>, wherein the facial image detection unit is a plurality of functions that linearly change a luminance value when the facial image is detected.
  • the function indicating the relationship between the luminance value at the time of capturing the image and the luminance value at the time of performing the process of detecting the face image by the face image detecting unit is the luminance at the time of imaging and the face image detecting unit.
  • the image processing device is a plurality of functions including a curve that is a 3/4 value of the luminance at the time of imaging, from a median value to a maximum value.
  • the function indicating the relationship between the brightness value at the time of capturing the image and the brightness value when the face image detection unit performs the process of detecting the face image is performed by linearly interpolating points that become a plurality of curves.
  • the image processing device is a plurality of functions including connected curves.
  • the image processing unit adds a window for selecting a correction method of a face image corresponding to the mark to the image.
  • the selectable correction method includes deleting the face image, performing mask processing, mosaic processing, and no processing.
  • the image processing unit adds a face image corresponding to the mark to the image.
  • the image processing unit adds a face image corresponding to the mark to the image with brightness when the face image is detected. Image processing according to ⁇ 9> apparatus.
  • ⁇ 11> The image processing apparatus according to any one of ⁇ 1> to ⁇ 10>, wherein the mark is an icon indicating that the face image has been detected.
  • ⁇ 12> Change the brightness of the image sequentially, The face image is sequentially detected from the image whose luminance has been changed, An image processing method including a step of adding a mark indicating that the face image is detected to a position in the image where the face image is detected.
  • a brightness adjusting unit that sequentially changes the brightness of the image
  • a face image detection unit that sequentially detects face images from images whose luminance has been changed by the luminance adjustment unit
  • a program that causes a computer to function as an image processing unit that adds a mark indicating that the face image is detected to a position in the image where the face image is detected by the face image detection unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本技術は、写り込んだ顔画像を報知することができるようにする画像処理装置、および画像処理方法、並びにプログラムに関する。 画像の輝度を変化させながら順次顔画像を検出し、適切な輝度の画像を除く、画像において、顔画像が検出されたとき、その顔画像を写り込みにより生じた顔画像であるものとみなし、その顔画像が検出された位置に、写り込んだ顔画像が検出されたことを示す目印を付加して表示する。本技術は、携帯端末に適用することができる。

Description

画像処理装置、および画像処理方法、並びにプログラム
　本技術は、画像処理装置、および画像処理方法、並びにプログラムに関し、特に、撮像された画像内における撮像者の意図しない人物の顔画像の映り込みを報知し、必要に応じて処理を施せるようにした画像処理装置、および画像処理方法、並びにプログラムに関する。
　近年の撮像装置には、被写体を含む画像として撮像される範囲内に存在する顔画像を検出する顔検出機能が設けられている。この顔画像検出機能は、画像が撮像される撮像範囲内において、被写体の中から顔が撮像された領域を顔画像として検出する機能で、一般的には検出された顔画像における顔の中心における画素値を基準として、露出、焦点、および色補正などの画処理が施される。
　さらに、撮像装置には、顔画像検出機能により検出された顔画像を認識して識別する顔認識機能が設けられたものもある。これは顔画像として検出された画像内における顔の各器官の位置関係などを数値化し、既に登録された（別形態ではネットワーク上などから参照される）顔画像における数値データとの比較により、一致した場合、所定の補正、認証、または画像追跡等を行う機能である。
　ところで、このような撮像装置と同等のカメラ機能を備えたスマートフォン等が一般に普及しており、画像を撮像して、気軽にインターネット上にアップロードすることが可能となっている。
　ところが、画像のアップロードが気軽になった反面、撮像者本人が、表面が光沢加工されたような比較的黒い物体などに顔画像が写り込んでいるのに気付かず、撮像者は顔が写り込んでいないものと思っている意図に反し、匿名性を保持できずに撮像画像がアップロードされてしまうようなケースが散見されるようになった。
　表面が光沢加工されたような黒い物体とは、例えば、グレア加工された液晶ディスプレイであったり、ピアノ鏡面塗装された家具であったりする。保護フィルム等で写り込みを防止する手段もあるが、グレア加工本来の目的は発色の良さ、黒の引き締まりなどであり、これらの良特性を消すことになる。また、家具などにフィルムを張るのは美的景観を損なう可能性がある。
　そこで、撮像画像内の顔画像を検出し、事前に登録された顔画像と左右反転などを行って顔画像による認証を行って写り込みの有無を判定したり、撮像者にマーカを照射しながら撮像し、画像内部に、そのマーカの写り込みの有無により、意図しない顔画像の写り込みを検出する技術が提案されている（特許文献１参照）。
　また、撮像画像内の顔画像を検出し、検出された人物の顔画像を違和感がないように平均的な顔画像に置き換えることでプライバシを保護する技術が提案されている（特許文献２参照）。
特開２０１２－１１９９１２号公報 特開２０１４－０８５７９６号公報
　しかしながら、特許文献１の技術の場合、撮像者を顔画像により認識するには、予め撮像者の顔画像を登録しておく必要がある。また、撮像者にマーカを照射するには、撮像者に対してマーカを照射するための構成が必要になる。
　さらに、特許文献２の技術の場合、平均的な顔画像に置き換えられることで、プライバシは守ることができるが、本来の画像とは異なる画像になってしまう。
　本技術は、このような状況に鑑みてなされたものであり、特に、撮像画像の様々な輝度に変化させつつ、顔画像を検出することで、適切に調整された輝度の画像では、一見して見落とし易い、意図しない状態で写り込んだ顔画像を撮像者に報知すると共に、必要に応じて補正できるようにするものである。
　本技術の一側面の画像処理装置は、画像の輝度を順次変化させる輝度調整部と、前記輝度調整部により輝度が変化された画像より順次顔画像を検出する顔画像検出部と、前記画像内の、前記顔画像検出部により顔画像が検出された位置に、前記顔画像が検出されたことを示す目印を付加する画像処理部とを含む画像処理装置である。
　前記画像処理部には、前記顔画像検出部により顔画像が検出された画像のうち、適正な輝度の画像以外の画像から顔画像検出されたとき、前記顔画像が検出された前記画像内の位置に、前記顔画像が検出されたことを示す目印を付加させるようにすることができる。
　前記輝度調整部には、前記画像の撮像時の輝度値と、前記顔画像検出部により前記顔画像を検出する処理をするときの輝度値との関係を示す関数を、前記輝度として設定可能なレンジ内で、前記輝度を所定のステップで変化するように、前記画像の輝度を調整させるようにすることができる。
　前記画像の撮像時の輝度値と、前記顔画像検出部により前記顔画像を検出する処理をするときの輝度値との関係を示す関数は、前記画像の撮像時の輝度値に対して、前記顔画像検出部により前記顔画像を検出する処理をするときの輝度値を線形的に変化させる複数の関数とすることができる。
　前記画像の撮像時の輝度値と、前記顔画像検出部により前記顔画像を検出する処理をするときの輝度値との関係を示す関数は、撮像時の輝度と前記顔画像検出部により前記顔画像を検出する処理をするときの輝度との中央値を固定して、最小値から中央値のうち、前記撮像時の輝度の最大値の1/4値のとき曲率が最大となり、中央値から最大値のうち、前記撮像時の輝度の3/4値とされる曲線からなる複数の関数とすることができる。
　前記画像の撮像時の輝度値と、前記顔画像検出部により前記顔画像を検出する処理をするときの輝度値との関係を示す関数は、複数のカーブとなるポイントを線形補間により繋いだ曲線からなる複数の関数とすることができる。
　前記画像処理部には、前記目印が選択されると、前記目印に対応する顔画像の補正方法を選択するウィンドウを前記画像に付加させるようにすることができる。
　選択可能な補正方法には、前記顔画像を削除する、マスク処理する、モザイク処理、および無処理を含ませるようにすることができる。
　前記画像処理部には、前記目印が選択されると、前記目印に対応する顔画像を、前記画像に付加させるようにすることができる。
　前記画像処理部には、前記目印が選択されると、前記目印に対応する顔画像を、前記顔画像が検出されたときの輝度で前記画像に付加させるようにすることができる。
　前記目印は、前記顔画像が検出されたことを示すアイコンとすることができる。
　本技術の一側面の画像処理方法は、画像の輝度を順次変化させ、前記輝度が変化された画像より順次顔画像を検出し、前記画像内の、前記顔画像が検出された位置に、前記顔画像が検出されたことを示す目印を付加するステップを含む画像処理方法である。
　本技術の一側面のプログラムは、画像の輝度を順次変化させる輝度調整部と、前記輝度調整部により輝度が変化された画像より順次顔画像を検出する顔画像検出部と、前記画像内の、前記顔画像検出部により顔画像が検出された位置に、前記顔画像が検出されたことを示す目印を付加する画像処理部としてコンピュータを機能させるプログラムである。
　本技術の一側面においては、画像の輝度が順次変化され、輝度が変化された画像より順次顔画像が検出され、前記画像内の、顔画像が検出された位置に、前記顔画像が検出されたことを示す目印が付加される。
　本技術の一側面の画像処理装置は、それぞれ独立した装置であっても良いし、画像処理装置として機能するブロックであっても良い。
　本技術の一側面によれば、意図しない状態で写り込んだ顔画像を撮像者に報知すると共に、必要に応じて補正することが可能となる。
本技術を適用した端末装置の構成例を説明する図である。 図１の端末装置の外観構成図である。 図１の端末装置による写り込み検出処理を説明するフローチャートである。 輝度の変更を説明する図である。 輝度を変化させたときの画像の例を説明する図である。 図１の端末装置の操作表示部に顔画像が検出されたことを示すアイコンが表示された状態を説明する図である。 図６の端末装置の操作表示部に表示されたアイコンが操作されたときに、表示される画像の例を示す図である。 図４とは異なる輝度の変更を説明する図である。 図４とは、異なる輝度の変更を説明する図である。 汎用のパーソナルコンピュータの構成例を説明する図である。
　＜端末装置の構成例＞
　図１は、本技術を適用した端末装置の構成例を示している。図１の端末装置１は、画像を撮像する機能を備えた、例えば、図２で示されるような、タブレット状の情報処理装置である。より詳細には、端末装置１は、画像を撮像し、撮像した画像内に写り込んでいる顔画像を検索して報知すると共に、検索された顔画像に対して、必要に応じて画像処理を施すものである。
　より具体的には、端末装置１は、イメージセンサ１１、制御部１２、バッファ１３、および表示操作部１４を備えている。
　イメージセンサ１１は、例えば、CMOS（Complementary Metal Oxide Semiconductor）やCCD（Charge Coupled Device）などから構成されており、被写体の存在する領域を撮像し、RGBからなる画像信号に変換して制御部１２に出力する。
　制御部１２は、イメージセンサ１１より供給されてくる画像の輝度を所定のステップで変化させながら、適正な輝度とは異なる輝度の画像において検出される顔画像の有無に応じて、撮像者の意図しない顔画像の写り込みを検出して、表示操作部１４におけるLCD（Liquid Crystal Display）などからなる表示部１４ｂに表示させる。このとき、表示操作部１４の操作部１４ａが操作されて、表示された顔画像の写り込みに対しての処理が指示されると、制御部１２は、指示内容に応じて画像内の意図しない状態で写り込んだ顔画像を処理する。制御部１２は、画像に対する処理をするにあたって、適宜バッファ１３を使用する。
　より詳細には、制御部１２は、通常処理部３１、顔検出前処理部３２、顔検出部３３、顔補正処理部３４、および出力部３５を備えている。
　通常処理部３１は、イメージセンサ１１より供給されてくるRGBの信号からなる画像信号を順次YCbCrからなるYC信号に変換し、バッファ１３に格納させる。
　顔検出前処理部３２は、バッファ１３に格納されているYC信号からなる画像における輝度Yをレンジの最小値から最大値まで、所定のステップで順次切り替えてバッファ１３に格納させる。
　顔検出部３３は、様々な輝度Yに切り替えられた、バッファ１３に格納されている画像を順次読み出し、各画像より顔画像を検出し、検出結果をバッファ１３に出力する。顔検出部３３は、例えば、顔画像を構成する目、鼻、口、および耳といった各器官を検出すると共に、その配置から顔画像となる画像を、例えば、ブロックマッチングなどにより検出する。顔画像が検出された場合、顔検出部３３は、検出位置、および大きさといった情報をバッファ１３に格納させる。
　顔補正処理部３４は、検出された顔画像の表示、検出された顔画像の表示位置に顔画像が検出されたことを示すアイコン、および顔画像の補正指示を受け付けるためのウィンドウを表示すると共に、補正指示を受け付けた場合、指示に応じて顔画像を補正し、バッファ１３に記憶する。尚、顔画像が検出されたことを示すことができれば、アイコン以外の他の目印でもよく、例えば、目印になるマークなどを表示するようにしても良い。
　出力部３５は、表示操作部１４における表示部１４ｂに表示するため、バッファ１３に格納されているYC信号からなる画像をRGB信号に変換し、変換結果を表示部１４ｂに表示する。
　＜写り込み検出処理＞
　次に、図３のフローチャートを参照して、図１の端末装置１における写り込み検出処理について説明する。
　ステップＳ１１において、制御部１２の通常処理部３１は、イメージセンサ１１により撮像された画像を取得し、バッファ１３にバッファリングする。
　ステップＳ１２において、顔検出前処理部３２は、バッファ１３に格納されている画像における輝度値を順次変更するに当たって、輝度値を設定するパラメータを、レンジの最低値に設定する。
　ステップＳ１３において、顔検出前処理部３２は、バッファ１３に格納されている、RGB信号からなる画像を読み出して、YCbCr信号からなるYC信号の画像に変換してバッファ１３に格納する。
　ステップＳ１４において、顔検出前処理部３２は、YC信号からなる画像の輝度を、輝度を設定するパラメータの値に調整し、バッファ１３に格納する。すなわち、最初の場合、輝度のレンジにおける最小値に設定されているので、輝度の値が最小値に設定される。
　ステップＳ１５において、顔検出前処理部３２は、輝度が調整されたYC信号からなる画像をバッファ１３より読み出して、RGB信号に変換してバッファ１３に格納する。
　ステップＳ１６において、顔検出部３３は、輝度が調整されたRGB信号からなる画像を読み出して、顔画像を検出する。より詳細には、顔検出部３３は、バッファ１３に格納されている、輝度が調整された顔画像に対して、例えば、ブロックマッチングなどにより顔画像を検出する。
　ステップＳ１７において、顔検出部３３は、輝度が調整された画像から顔画像が検出されたか否かを判定し、例えば、顔画像が検出された場合、処理は、ステップＳ１８に進む。
　ステップＳ１８において、顔検出部３３は、検出された顔画像、現在の画像の輝度値、および顔画像が検出された画像内の位置を対応付けてバッファ１３に記憶する。尚、ステップＳ１７において、顔画像が検出されない場合、ステップＳ１８の処理はスキップされる。
　ステップＳ１９において、顔検出前処理部３２は、現在の輝度を設定するパラメータが、レンジの最大値であるか否かを判定し、最大値ではない場合、処理は、ステップＳ２０に進む。
　ステップＳ２０において、顔検出前処理部３２は、輝度値を調整するパラメータを最小ステップ（例えば、１ステップ）分だけ上昇させて、処理は、ステップＳ１３に戻り、輝度値がレンジの最大値であると見なされるまで、ステップＳ１３乃至Ｓ２０の処理が繰り替えされて、同一の画像について、１ステップ分ずつ輝度値を上昇させながら、顔画像を検出する処理が繰り返される。
　すなわち、各画像は、撮像された際には、画像内の各画素の画素値に応じた適正な輝度値が設定されて撮像される。この適正な輝度値に対応して表示される際の画素値が、一般的な画素値として設定されることになるが、その一般的に適正とされる輝度は、例えば、図４の黒の太線で表される関係であるものとする。ここで、図４は、横軸が各画素の撮像時の輝度値（Luminance（IN））であり、縦軸が、顔画像を検出するときに設定される輝度値（Luminance（OUT））である。すなわち、図４における右上がりの直線で表される直線が１つの輝度の設定となり、ｙ切片が大きくなるにつれて、高輝度の明るい画像の設定となり、ｙ切片が小さくなるにつれて低輝度の暗い画像の設定となる。
　従って、一般に適正とされる輝度値の設定が、黒の太線で示される設定である場合、撮像時の輝度値がそのまま表示される際の輝度値となる。尚、適正とされる輝度の範囲については、一般に、撮像者が、視聴したり、プリントしたりするときの、自らで目視したときと、ほぼ近い色が再現されるように調整される輝度の範囲であればよい。したがって、図４における黒の太線で示される１本の直線で設定される例のみならず、その近傍の直線を含む範囲としてもよいし、図４における所定の２直線の間の範囲とするようにしてもよい。
　ステップＳ１３乃至Ｓ２０の処理が繰り返されることにより、撮像時の輝度値と、顔画像を検出するために設定される輝度値との関係は、レンジ（RANGE）で示される範囲で、最小ステップである１ステップ（STEP）ずつ変化される。
　すなわち、図４における点線で示されるような関係になるように、１ステップずつ変化させて画像の輝度値が変化される。
　その結果、図５で示されるように、元々の撮像された時点での輝度値を、レンジ（RANGE）内において低くすると、例えば、暗い画像Ｐ１となり、徐々に表示される輝度を高くすることにより、画像は、画像Ｐ２，Ｐ３と徐々に明るい画像へと変化する。そして、このように輝度を徐々に明るくするように変化させつつ、各輝度における画像内で顔画像の検出が繰り返されることにより、例えば、図５で示されるように、画像Ｐ３で示される輝度になると範囲Ｚ１において、顔画像が検出され、検出されたときの顔画像、輝度値、および、顔画像の位置が記憶される。
　尚、図５の画像Ｐ１乃至Ｐ３は、いずれも同一の画像であり、画像中左部分に鏡Ｍ１が設けられ、図中右側の人物Ｈ１の顔画像が鏡に写り込んでいる画像となっている。また、輝度の設定を徐々に変化させられればよいので、最小ステップずつである必要はなく、所定数ステップずつ変化させるようにしてもよい。
　ステップＳ１３乃至Ｓ２０の処理が繰り返されることで、レンジ（RANGE）内の輝度のパラメータが１ステップずつ上昇され、ステップＳ１９において、輝度値のパラメータがレンジ（RANGE）の最大値であるとみなされた場合、処理は、ステップＳ２１に進む。
　ステップＳ２１において、顔補正処理部３４は、バッファ１３に記憶されている、検出された顔画像のうち、適正外の輝度値に調整されたときの顔画像を抽出する。例えば、図４で示される点線、または黒太線で示されるいずれかの輝度に設定された状態の各画像より検出された顔画像のうち、適正な輝度値に調整されている黒太線以外の直線で輝度が設定された画像より検出された顔画像のみを抽出する。これは、一般に、適正輝度に設定された画像内で検出される顔画像については、人間が目視により認識できるので、目視により認識が困難な顔画像のみを抽出する処理となる。
　ステップＳ２２において、顔補正処理部３４は、適正な輝度に設定された画像上であって、適正ではない輝度値の画像において顔画像が検出された位置に、顔画像が写り込んでいる可能性を示すアイコンを付した画像を生成しバッファ１３に格納する。出力部３５は、バッファ１３に格納されているアイコンが付されている画像を読み出して、例えば、図６で示されるように、表示操作部１４の表示部１４ｂに出力して表示させる。
　図６においては、表示操作部１４における表示部１４ｂに撮像された適正な輝度の画像が表示され、適正ではない輝度値の画像において顔画像が検出された位置に、顔画像が写り込んでいる可能性を示すアイコンＬ１が表示されている。より具体的には、画像内におけるディスプレイ５１の表面上にアイコンＬ１が表示されており、アイコンＬ１の位置に、ディスプレイ５１に、適正ではない輝度にした画像にすると、写り込んだ顔画像が検出されることが示されている。
　このアイコンＬ１は、図６においては、１個が表示された例が示されているが、例えば、複数の輝度の状態において、それぞれ顔画像が検出されていた場合、それぞれが検出された位置に、複数表示されるようにしても良いものである。また、アイコンＬ１は、表示操作部１４における操作部（タッチパッド）１４ａで操作されると（例えば、タッチされると）、顔画像の補正処理を選択するウィンドウや顔画像が検出されたときの輝度で検出された顔画像が表示される。
　ステップＳ２３において、顔補正処理部３４は、操作部１４ａが操作されて、いずれかのアイコンＬ１が選択されたか否かを判定する。ステップＳ２３において、例えば、図６におけるアイコンＬ１が選択された場合、処理は、ステップＳ２４に進む。
　ステップＳ２４において、顔補正処理部３４は、例えば、図７で示されるように、選択されたアイコンＬ１に対応付けて検出されている顔画像に対する補正内容を指定するウィンドウＷと、そのとき検出された輝度の顔画像Ｌ２とを画像に付加して（オーバーラップして）バッファ１３に格納する。出力部３５は、ウィンドウＷとそのとき検出された輝度の顔画像Ｌ２とが付加された画像を表示部１４ｂに表示する。
　ここで、ウィンドウＷには、顔画像の補正内容の選択肢として、図中の上からボタンＢ１乃至Ｂ４が設けられており、それぞれには、補正内容として「remove（消去処理）」、「mask（マスク処理）」、「mosaic（モザイク処理）」、および「ignore（無視（処理無し））」が表示されている。
　これらのボタンＢ１乃至Ｂ４のいずれかが操作部１４ａにより操作されると、対応する補正内容が指示される。また、アイコンＬ１に対応する顔画像Ｌ２が、顔画像が検出された輝度の状態の画像として表示されることにより、実際にどのような輝度の画像で、どのような顔画像が検出されたのかを認識することが可能となる。
　ステップＳ２５において、顔補正処理部３４は、操作部１４ａが操作されて、ボタンＢ１乃至Ｂ４のいずれかが操作されて、いずれかの補正内容が指示されたか否かを判定する。ステップＳ２５において、例えば、ボタンＢ１乃至Ｂ４のいずれかが操作された場合、いずれかの補正内容が指示されたものとみなして、処理は、ステップＳ２６に進む。
　ステップＳ２６において、顔補正処理部３４は、ボタンＢ１乃至Ｂ４のいずれか操作されたボタンに対応する補正処理を選択されたアイコンに対応する顔画像に施してバッファ１３に格納する。出力部３５は、バッファ１３に格納された顔画像が補正された画像を表示部１４ｂに表示する。
　より具体的には、「remove（消去処理）」と表示されたボタンＢ１が操作された場合、顔補正処理部３４は、検出された顔画像を消去する補正を施す。また、「mask（マスク処理）」と表示されたボタンＢ２が操作された場合、顔補正処理部３４は、例えば、アイコンＬ１などで検出された顔画像の存在する領域を、例えば、検出された顔画像の周辺の画像に馴染みやすい色などでマスクする処理を施して顔画像を補正する。さらに、「mosaic（モザイク処理）」と表示されたボタンＢ３が操作された場合、顔補正処理部３４は、検出された顔画像の解像度を低減させるといったモザイク処理を施して補正する。また、「ignore（無視（処理無し））」が表示されたボタンＢ４が操作された場合、顔補正処理部３４は、検出された顔画像に特に処理を加えることなく、そのままにする。
　そして、ステップＳ２７において、制御部１２は、表示操作部１４の操作部１４ａが操作されて、処理の終了が指示された場合、処理は終了する。
　また、ステップＳ２３において、いずれのアイコンも操作されない場合、ステップＳ２４乃至Ｓ２６の処理がスキップされ、ステップＳ２５において、いずれのボタンＢ１乃至Ｂ４も操作されなかった場合、ステップＳ２６の処理はスキップされる。
　そして、ステップＳ２７において、終了が指示されるまで、ステップＳ２３乃至Ｓ２７の処理が繰り返される。
　以上の処理により、適正輝度の画像からは認識しにくい顔画像のみが検出されて、アイコンＬ１のように表示されることで、意図しない顔画像の写り込みを認識することが可能となり、さらに、必要に応じて、適切に補正することが可能となる。
　尚、以上においては、適正輝度以外の輝度において検出される顔画像のみを、写り込みによる顔画像とみなして、必要に応じて処理を施す例について説明してきたが、適正輝度における顔画像も写り込み画像として検索させるようにして、撮像時には意図して撮像した顔画像についても、後から写り込んだ顔画像として補正できるようにしても良い。また、適正輝度で撮像された顔画像以外の顔画像を写り込んだ顔画像として見なす場合、適正輝度の画像については、顔画像の検索をしないようにしても良い。
　また、以上においては、図４で示されるように、撮像時の輝度値に対して、表示する輝度値を直線的に変化させる関数を、レンジ（RANGE）内において、所定のステップ（STEP）で変化させながら顔画像を検出する例について説明してきたが、例えば、図８で示されるように、撮像時の輝度と表示する輝度との中央値（max/2）を固定して、最小値から中央値までのうち、最大値の1/4値付近で曲率が最大となり、中央値から最大値までのうち、最大値の3/4値付近で曲率が最大とされる曲線からなる関数を設定し、曲率を変化させながら設定した曲線ｑ１，ｑ２・・・ｑｍを、設定されたレンジ（RANGE）に対して、所定のステップ（STEP）を設定して曲線ｑ１，ｑ２・・・ｑｍを順次切り替えながら、顔画像を検出するようにしてもよい。
　また、図９で示されるように、tpA[N](N=0.1.2・・・)、tpB[N](N=0.1.2・・・)・・・でカーブとなるポイントを設定し、そのポイントを線形補間により繋いだ曲線からなる関数を順次切り替えて輝度を変化させながら顔画像を検出するようにしても良い。
　以上においては、RGB信号をYC信号に変換して、輝度Yを変化させる例について説明してきたが、輝度が調整できればYC信号以外でもよく、例えば、HSV信号に変換して、輝度Hを調整するようにしても良い。
　＜ソフトウェアにより実行させる例＞
　ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
　図１０は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
　入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
　CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　尚、本技術は、以下のような構成も取ることができる。
＜１＞　画像の輝度を順次変化させる輝度調整部と、
　前記輝度調整部により輝度が変化された画像より順次顔画像を検出する顔画像検出部と、
　前記画像内の、前記顔画像検出部により顔画像が検出された位置に、前記顔画像が検出されたことを示す目印を付加する画像処理部と
　を含む画像処理装置。
＜２＞　前記画像処理部は、前記顔画像検出部により顔画像が検出された画像のうち、適正な輝度の画像以外の画像から顔画像検出されたとき、前記顔画像が検出された前記画像内の位置に、前記顔画像が検出されたことを示す目印を付加する
　＜１＞に記載の画像処理装置。
＜３＞　前記輝度調整部は、前記画像の撮像時の輝度値と、前記顔画像検出部により前記顔画像を検出する処理をするときの輝度値との関係を示す関数を、前記輝度として設定可能なレンジ内で、前記輝度を所定のステップで変化するように、前記画像の輝度を調整する
　＜１＞または＜２＞に記載の画像処理装置。
＜４＞　前記画像の撮像時の輝度値と、前記顔画像検出部により前記顔画像を検出する処理をするときの輝度値との関係を示す関数は、前記画像の撮像時の輝度値に対して、前記顔画像検出部により前記顔画像を検出する処理をするときの輝度値を線形的に変化させる複数の関数である
　＜３＞に記載の画像処理装置。
＜５＞　前記画像の撮像時の輝度値と、前記顔画像検出部により前記顔画像を検出する処理をするときの輝度値との関係を示す関数は、撮像時の輝度と前記顔画像検出部により前記顔画像を検出する処理をするときの輝度との中央値を固定して、最小値から中央値のうち、前記撮像時の輝度の最大値の1/4値のとき曲率が最大となり、中央値から最大値のうち、前記撮像時の輝度の3/4値とされる曲線からなる複数の関数である
　＜３＞に記載の画像処理装置。
＜６＞　前記画像の撮像時の輝度値と、前記顔画像検出部により前記顔画像を検出する処理をするときの輝度値との関係を示す関数は、複数のカーブとなるポイントを線形補間により繋いだ曲線からなる複数の関数である
　＜３＞に記載の画像処理装置。
＜７＞　前記画像処理部は、前記目印が選択されると、前記目印に対応する顔画像の補正方法を選択するウィンドウを前記画像に付加する
　＜１＞乃至＜６＞のいずれかに記載の画像処理装置。
＜８＞　選択可能な補正方法は、前記顔画像を削除する、マスク処理する、モザイク処理、および無処理を含む
　＜７＞に記載の画像処理装置。
＜９＞　前記画像処理部は、前記目印が選択されると、前記目印に対応する顔画像を、前記画像に付加する
　＜１＞に記載の画像処理装置。
＜１０＞　前記画像処理部は、前記目印が選択されると、前記目印に対応する顔画像を、前記顔画像が検出されたときの輝度で前記画像に付加する
　＜９＞に記載の画像処理装置。
＜１１＞　前記目印は、前記顔画像が検出されたことを示すアイコンである
　＜１＞乃至＜１０＞のいずれかに記載の画像処理装置。
＜１２＞　画像の輝度を順次変化させ、
　前記輝度が変化された画像より順次顔画像を検出し、
　前記画像内の、前記顔画像が検出された位置に、前記顔画像が検出されたことを示す目印を付加する
　ステップを含む画像処理方法。
＜１３＞　画像の輝度を順次変化させる輝度調整部と、
　前記輝度調整部により輝度が変化された画像より順次顔画像を検出する顔画像検出部と、
　前記画像内の、前記顔画像検出部により顔画像が検出された位置に、前記顔画像が検出されたことを示す目印を付加する画像処理部と
　してコンピュータを機能させるプログラム。
　１　端末装置，　１１　イメージセンサ，　１２　制御部，　１３　バッファ，　１４　表示操作部，　１４ａ　操作部，　１４ｂ　表示部，　３１　通常処理部，　３２　顔検出前処理部，　３３　顔検出部，　３４　顔補正処理部，　３５　出力部

Claims (13)

  1. 　画像の輝度を順次変化させる輝度調整部と、
    　前記輝度調整部により輝度が変化された画像より順次顔画像を検出する顔画像検出部と、
    　前記画像内の、前記顔画像検出部により顔画像が検出された位置に、前記顔画像が検出されたことを示す目印を付加する画像処理部と
    　を含む画像処理装置。
  2. 　前記画像処理部は、前記顔画像検出部により顔画像が検出された画像のうち、適正な輝度の画像以外の画像から顔画像検出されたとき、前記顔画像が検出された前記画像内の位置に、前記顔画像が検出されたことを示す目印を付加する
    　請求項１に記載の画像処理装置。
  3. 　前記輝度調整部は、前記画像の撮像時の輝度値と、前記顔画像検出部により前記顔画像を検出する処理をするときの輝度値との関係を示す関数を、前記輝度として設定可能なレンジ内で、前記輝度を所定のステップで変化するように、前記画像の輝度を調整する
    　請求項１に記載の画像処理装置。
  4. 　前記画像の撮像時の輝度値と、前記顔画像検出部により前記顔画像を検出する処理をするときの輝度値との関係を示す関数は、前記画像の撮像時の輝度値に対して、前記顔画像検出部により前記顔画像を検出する処理をするときの輝度値を線形的に変化させる複数の関数である
    　請求項３に記載の画像処理装置。
  5. 　前記画像の撮像時の輝度値と、前記顔画像検出部により前記顔画像を検出する処理をするときの輝度値との関係を示す関数は、撮像時の輝度と前記顔画像検出部により前記顔画像を検出する処理をするときの輝度との中央値を固定して、最小値から中央値のうち、前記撮像時の輝度の最大値の1/4値のとき曲率が最大となり、中央値から最大値のうち、前記撮像時の輝度の3/4値とされる曲線からなる複数の関数である
    　請求項３に記載の画像処理装置。
  6. 　前記画像の撮像時の輝度値と、前記顔画像検出部により前記顔画像を検出する処理をするときの輝度値との関係を示す関数は、複数のカーブとなるポイントを線形補間により繋いだ曲線からなる複数の関数である
    　請求項３に記載の画像処理装置。
  7. 　前記画像処理部は、前記目印が選択されると、前記目印に対応する顔画像の補正方法を選択するウィンドウを前記画像に付加する
    　請求項１に記載の画像処理装置。
  8. 　選択可能な補正方法は、前記顔画像を削除する、マスク処理する、モザイク処理、および無処理を含む
    　請求項７に記載の画像処理装置。
  9. 　前記画像処理部は、前記目印が選択されると、前記目印に対応する顔画像を、前記画像に付加する
    　請求項１に記載の画像処理装置。
  10. 　前記画像処理部は、前記目印が選択されると、前記目印に対応する顔画像を、前記顔画像が検出されたときの輝度で前記画像に付加する
    　請求項９に記載の画像処理装置。
  11. 　前記目印は、前記顔画像が検出されたことを示すアイコンである
    　請求項１に記載の画像処理装置。
  12. 　画像の輝度を順次変化させ、
    　前記輝度が変化された画像より順次顔画像を検出し、
    　前記画像内の、前記顔画像が検出された位置に、前記顔画像が検出されたことを示す目印を付加する
    　ステップを含む画像処理方法。
  13. 　画像の輝度を順次変化させる輝度調整部と、
    　前記輝度調整部により輝度が変化された画像より順次顔画像を検出する顔画像検出部と、
    　前記画像内の、前記顔画像検出部により顔画像が検出された位置に、前記顔画像が検出されたことを示す目印を付加する画像処理部と
    　してコンピュータを機能させるプログラム。
PCT/JP2016/068752 2015-07-08 2016-06-24 画像処理装置、および画像処理方法、並びにプログラム WO2017006778A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015136841A JP2017022480A (ja) 2015-07-08 2015-07-08 画像処理装置、および画像処理方法、並びにプログラム
JP2015-136841 2015-07-08

Publications (1)

Publication Number Publication Date
WO2017006778A1 true WO2017006778A1 (ja) 2017-01-12

Family

ID=57685566

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/068752 WO2017006778A1 (ja) 2015-07-08 2016-06-24 画像処理装置、および画像処理方法、並びにプログラム

Country Status (2)

Country Link
JP (1) JP2017022480A (ja)
WO (1) WO2017006778A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009284235A (ja) * 2008-05-22 2009-12-03 Fujifilm Corp 撮像装置
JP2010004543A (ja) * 2009-07-13 2010-01-07 Panasonic Electric Works Co Ltd 撮像装置
JP2011258144A (ja) * 2010-06-11 2011-12-22 Toshiba Corp 画像撮影装置、画像補正処理方法及び画像補正処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009284235A (ja) * 2008-05-22 2009-12-03 Fujifilm Corp 撮像装置
JP2010004543A (ja) * 2009-07-13 2010-01-07 Panasonic Electric Works Co Ltd 撮像装置
JP2011258144A (ja) * 2010-06-11 2011-12-22 Toshiba Corp 画像撮影装置、画像補正処理方法及び画像補正処理プログラム

Also Published As

Publication number Publication date
JP2017022480A (ja) 2017-01-26

Similar Documents

Publication Publication Date Title
JP5089405B2 (ja) 画像処理装置及び画像処理方法並びに撮像装置
JP5136669B2 (ja) 画像処理装置、画像処理方法及びプログラム
US9373022B2 (en) Image processing apparatus, method of processing image, and computer-readable storage medium
EP2107500B1 (en) Target image detection device, controlling method of the same, control program and recording medium recorded with program, and electronic apparatus equipped with target image detection device
US8334914B2 (en) Gradation correcting apparatus, and recording medium storing a program recorded therein
US8467627B2 (en) Method and apparatus for performing warp processing on an input image
US20170220228A1 (en) Display apparatus and method
EP2806402A1 (en) Applying different visual effects to object and background in camera live view image frames
JP5624809B2 (ja) 画像信号処理装置
US10855885B2 (en) Image processing apparatus, method therefor, and storage medium
US8570429B2 (en) Image processing method and apparatus and digital photographing apparatus using the same
US9906732B2 (en) Image processing device, image capture device, image processing method, and program
US9207768B2 (en) Method and apparatus for controlling mobile terminal using user interaction
US9111129B2 (en) Subject detecting method and apparatus, and digital photographing apparatus
JP6904788B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20070091184A1 (en) Method and apparatus for maintaining consistent white balance in successive digital images
US11610293B2 (en) Image processing apparatus and image processing method
US8334919B2 (en) Apparatus and method for digital photographing to correct subject area distortion caused by a lens
JP5370555B2 (ja) 撮像装置、撮像方法及びプログラム
CN104871526A (zh) 图像处理装置、摄像装置、图像处理方法、图像处理程序
KR20110090098A (ko) 디지털 영상 처리 장치 및 그 제어 방법
JP6450107B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
WO2017006778A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP5133202B2 (ja) 情報処理装置、その色調整方法、およびコンピュータが実行可能なプログラム
US9524702B2 (en) Display control device, display control method, and recording medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16821247

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16821247

Country of ref document: EP

Kind code of ref document: A1