WO2010026696A1 - 画像処理装置、画像処理方法、画像処理プログラム、撮像装置 - Google Patents

画像処理装置、画像処理方法、画像処理プログラム、撮像装置 Download PDF

Info

Publication number
WO2010026696A1
WO2010026696A1 PCT/JP2009/003441 JP2009003441W WO2010026696A1 WO 2010026696 A1 WO2010026696 A1 WO 2010026696A1 JP 2009003441 W JP2009003441 W JP 2009003441W WO 2010026696 A1 WO2010026696 A1 WO 2010026696A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
face
specific area
image data
importance
Prior art date
Application number
PCT/JP2009/003441
Other languages
English (en)
French (fr)
Inventor
宮腰隆一
小倉康伸
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN2009801338332A priority Critical patent/CN102138322A/zh
Publication of WO2010026696A1 publication Critical patent/WO2010026696A1/ja
Priority to US12/985,665 priority patent/US20110102454A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Definitions

  • This disclosure relates to an image processing technique for accurately displaying a detection result of a specific area (for example, a face area).
  • a face area detection function in imaging apparatuses and image processing apparatuses such as digital cameras (digital still cameras, digital video cameras, mobile phones with cameras, etc.), surveillance cameras, door phone cameras, and the like.
  • digital still cameras automatic focus control (Automatic Focus: AF) or automatic exposure compensation (Automatic Exposure: AE) is performed on the detected face area.
  • surveillance cameras The detected face area is stored to be used for identifying a suspicious person.
  • the detection result is influenced by a minute position change, luminance change, and field angle change of the face area to be detected.
  • the detection result varies from frame to frame.
  • Patent Document 1 There is Patent Document 1 as a prior art document related to the present invention, and FIG.
  • a face detection unit 206 detects a face area from a captured image, stores a detection history including a past detection result and the latest detection result of the face area in an internal memory 207, and a determination unit 208 Referring to the detection history, it is determined whether or not the face area is to be detected in the latest acquired image. With reference to the detection history again, the face area treated as detected is smoothed and displayed on the through image. In this way, it is solved that the position and size of the face frame change and it becomes difficult to see.
  • each detection result includes the number of detected faces, and information on each face including unique information and link information.
  • the unique information is information including the face center position, size, inclination, orientation, and face-likeness value representing the face-likeness of the detected face output by the face detection unit 206, and the link information is unique information.
  • This is information in which past and latest detection results are associated with each other. However, when the detection results as shown in FIGS. 3 (a) to 3 (c) are continuously obtained, the link information is not updated correctly, and the face frame is displayed incorrectly.
  • FIG. 3 shows a case where subjects (A) 302, 305, and 308 and subjects (B) 303, 306, and 309 having different luminance values are photographed in three consecutive frames.
  • FIG. 3 (a) shows frame data two frames before
  • FIG. 3 (b) shows frame data one frame before.
  • FIG. 3 (c) shows the frame data of the latest frame, and subject (A) 305 and subject (B) 306 one frame before shown in Fig. 3 (b) become subject (A) 308 and subject (B) 309. It has moved as shown.
  • the determination unit 208 refers to the detection history in FIGS.
  • the face frames 310 and 311 shown in FIG. 3 (c) are displayed.
  • the face frame 310 is a face frame corresponding to the subject (A)
  • the face frame 311 is a face frame corresponding to the subject (B).
  • the present invention is an invention made in view of the above, and it is an object to display specific area information (for example, a face frame) based on a detection result of a specific area (for example, a face area) easily and accurately on a through image. To do.
  • specific area information for example, a face frame
  • a detection result of a specific area for example, a face area
  • an embodiment of the present invention stores a detection result and luminance information of a specific area (for example, a face area) in input image data, and stores the latest image data when the latest image data is input.
  • the importance level is calculated based on the detection result and brightness information and the detection result and brightness information of the specific area in the latest image data, and it is determined based on the importance level whether or not to display the specific area information.
  • the luminance information is calculated from the image data based on the detection result of the specific area.
  • specific area information for example, a face frame
  • a specific area for example, a face area
  • FIG. 1 is a block diagram showing the overall configuration of the imaging apparatus according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram showing a schematic configuration of the apparatus of Patent Document 1.
  • FIG. 3 is a diagram for explaining the problems of the prior art.
  • FIG. 4 is a flowchart showing the flow of processing performed in the image processing apparatus 113 shown in FIG.
  • FIG. 5A is a diagram illustrating a configuration of data output from the face detection unit 106.
  • FIG. 5B is a diagram showing a configuration of data stored in the information storage unit 109.
  • FIG. 6 is a flowchart showing a flow of processing for dividing the image data into F ⁇ G blocks and calculating luminance information based on the detection result in the latest image data.
  • FIG. 1 is a block diagram showing the overall configuration of the imaging apparatus according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram showing a schematic configuration of the apparatus of Patent Document 1.
  • FIG. 3 is a diagram for explaining the
  • FIG. 7 is a flowchart showing a flow of processing for dividing the image data into blocks based on the detection result in the latest image data and calculating luminance information based on the detection result in the latest image data.
  • FIG. 8 is a flowchart showing the flow of initialization processing in the information storage unit 109.
  • FIG. 9 is a flowchart showing the flow of importance calculation processing in the importance calculation unit 108.
  • FIG. 10 is a flowchart showing the flow of face information deletion processing in the information deletion determination unit 111.
  • FIG. 11 is a flowchart showing the flow of display determination in the display determination unit 110 and face frame display processing in the display control unit 112.
  • FIG. 12 is a diagram for explaining problems in the first embodiment.
  • FIG. 13 is a flowchart showing the flow of face information update processing according to the second embodiment.
  • FIG. 1 is a diagram showing an overall configuration of an imaging apparatus according to the first embodiment of the present invention.
  • the imaging device 114 includes an optical lens (optical system) 101, an imaging element 102, an analog signal processing unit 103, a digital signal processing unit 104, and an image processing device 113.
  • the optical lens 101 condenses the subject image on the image sensor 102.
  • the image sensor 102 captures a subject image condensed by the optical lens 101 (hereinafter, the CCD is described as an example of the image sensor 102).
  • the analog signal processing unit 103 performs predetermined processing on the analog image signal output from the image sensor 102 and converts the analog image signal into a digital image signal.
  • the digital signal processing unit 104 performs predetermined processing on the digital image pickup signal output from the analog signal processing unit 103.
  • the image processing device 113 performs a predetermined process on the digital imaging signal (image data) to which the predetermined process output from the digital signal processing unit 104 is added, and displays a face frame on the image data.
  • the image processing apparatus 113 includes a frame memory 105, a face detection unit 106, a luminance information calculation unit 107, an importance calculation unit 108, an information storage unit 109, a display determination unit 110, an information deletion determination unit 111, and a display control unit 112. Yes.
  • the frame memory 105 stores image data that has been subjected to digital signal processing.
  • the face detection unit 106 detects a human face area in the image data.
  • the luminance information calculation unit 107 calculates luminance information of an arbitrary area in the image data.
  • the importance calculation unit 108 calculates the importance of the detection result output by the face detection unit 106.
  • the information storage unit 109 stores the number of face information and face information including the detection result output from the face detection unit 106, the luminance information output from the luminance information calculation unit 107, and the importance calculated by the importance calculation unit 108.
  • the display determination unit 110 determines whether or not to display the face information stored in the information storage unit 109 based on the importance.
  • the information deletion determination unit 111 determines whether to delete the face information stored in the information storage unit 109 based on the importance.
  • the display control unit 112 displays a face frame on the image data according to the determination of the display determination unit 110.
  • the importance calculated by the importance calculation unit 108 is a three-dimensional evaluation value calculated based on each detection result in a plurality of image data, and is output by the face detection unit 106. This is different from the accuracy of the detection result in the image data of one sheet.
  • the image data input from the digital signal processing unit 104 to the image processing device 113 is stored in the frame memory 105 (S401), and the face area in the image data is detected by the face detection unit 106 (S402). Further, the luminance information calculation unit 107 calculates luminance information for the image data input from the digital signal processing unit 104 to the image processing apparatus 113 (S403).
  • step S404 it is determined whether or not to initialize the information storage unit 109 (S404).
  • the face information and the number of face information stored in the information storage unit 109 are initialized (S405), and the process proceeds to step S408.
  • the information storage unit 109 is not initialized (No in S404)
  • the importance level is calculated by the importance level calculation unit 108 based on the luminance information output from the luminance information calculation unit 107 for the image data (S406).
  • the information deletion determination unit 111 determines whether or not to delete the face information stored in the information storage unit 109 (S407).
  • FIG. 5 (a) shows the face area output by the face detection unit 106 and the number of face areas (detected face number), and FIG. 5 (b) shows the number of face information and face information stored in the information storage unit 109 ( Memory face count).
  • the detection result 518 output by the face detection unit 106 includes a detected face number 501 and a face area 502 corresponding to the detected face number 501.
  • Each face area 502 includes a face center position 503, a face size 504, a face orientation 505, a face inclination 506, and a face-likeness value 507.
  • the center position 503 of the face may be represented by the positions of the four corners of the face area, or the x and y coordinates on the image data.
  • the information on the face orientation 505 and the face inclination 506 may be used together as the face orientation.
  • the information storage unit 109 stores the number of stored faces 508 and the face information 509 corresponding to the number of stored faces 508.
  • Each face information 509 includes a face center position 510, a face size 511, a face orientation 512, a face inclination 513, a face likelihood value 514, luminance information 515 calculated by the luminance information calculation unit 107, and an importance calculation unit 108. Is calculated from an importance level 516 and an update flag 517 indicating whether the importance level has been updated.
  • the face center position 510 may be represented by the positions of the four corners of the face area, the x-coordinate and the y-coordinate on the image data, and the face orientation.
  • the information of 512 and face inclination 513 may be combined to make the face direction.
  • step S403 Details of the processing in step S403 will be described with reference to FIGS.
  • FIG. 6 shows a flow of dividing the image data into F ⁇ G blocks (F, G: arbitrary integers) and calculating luminance information based on the detection result in the latest image data.
  • the input image data is divided into F ⁇ G blocks (S601), and a counting variable i is initialized (S602).
  • a counting variable i is initialized (S602).
  • the luminance information is calculated by performing the processing of steps S601 to S605.
  • FIG. 7 shows a flow of dividing the image data into blocks based on the detection result in the latest image data and calculating luminance information based on the detection result in the latest image data.
  • the count variable j and the block size setting variable BlockSize are initialized (S701), and it is determined whether or not the variable j is larger than the number of detected faces 501 in the latest image data (S702).
  • variable j is smaller than the detected face number 501 (Yes in step S702), it is determined whether or not the variable BlockSize is larger than the face size 504 of the face area [j] 502 (S703). If the variable BlockSize is larger than the face size 504 of the face area [j] 502 (Yes in step S703), the face size 504 of the face area [j] 502 is substituted for the variable BlockSize (S704), and the variable j is Increment (S705) and return to step S702. On the other hand, when the variable BlockSize is equal to or smaller than the face size 504 of the face area [j] 502 (No in step S703), the variable j is incremented (S705), and the process returns to step S702.
  • step S702 If the variable j is greater than or equal to 501 detected faces (No in step S702), the image data is divided into blocks so that the block size is BlockSize ⁇ BlockSize (S706). Subsequent to step S706, the counting variable i is initialized (S707), and it is determined whether or not the variable i is larger than the detected face number 501 (S708). If the variable i is greater than or equal to 501 detected faces (No in step S708), the luminance information calculation processing in the luminance information calculation unit 107 is terminated.
  • step S708 If the variable i is smaller than the detected face count 501 (Yes in step S708), the luminance information of the block including the center position 503 of the face in the face area [i] 502 is calculated (S709), and the variable i is incremented ( S710), the process returns to step S708.
  • the luminance information is calculated by performing the processing of steps S701 to S710.
  • the number of detected faces 501 in step S702 is replaced with the number of stored faces 508 stored in the information storage unit 109, and the face size [j] 502 of the face area [j] 502 in steps S703 and S704 is further replaced.
  • the image data can be divided into blocks based on the detection result stored in the information storage unit 109, and the luminance information can be calculated.
  • the luminance information calculated according to the flow shown in FIGS. 6 and 7 is used for importance calculation in the importance calculation unit 108 described later.
  • the block since the block is divided and the luminance information is calculated based on the detection result output from the face detection unit 106, it can be an effective importance calculation process.
  • it is desirable to set the maximum value (INI_BLOCK) of the detected face size.
  • FIG. 8 shows an initialization flow of the information storage unit 109.
  • the count variable k is initialized (S801), and it is determined whether or not the variable k is smaller than the number of stored faces 508 stored in the information storage unit 109 (S802).
  • variable k is smaller than the number of stored faces 508 (Yes in step S802)
  • the face center position 510, the face size 511, the face orientation 512, the face inclination 513, and the face likelihood value of the face information [k] 509 514, luminance information 515, importance 516, and update flag 517 are initialized (S803)
  • variable k is incremented (S804), and the process returns to step S802.
  • the update flag 517 is turned on (FLG_ON) when the importance 516 is updated, and the update flag 517 is turned off (FLG_OFF) when the importance is not updated.
  • variable k is greater than or equal to 508 stored faces (No in step S802)
  • the stored face count 508 and the counting variable l are initialized (S805), and whether or not the variable l is smaller than the detected face count 501 in the latest image data. Is determined (S806).
  • variable l is greater than or equal to 501 detected faces (No in step S806), the detected face number 501 is substituted for the stored face number 508 (S810), and the initialization process of the information storage unit 109 is terminated.
  • the face center position 510, the face size 511, the face orientation 512, the face inclination 513, and the face likelihood value 514 of the face information [l] 509 are obtained.
  • face center position 503, face size 504, face orientation 505, face inclination 506 and face likelihood value 507 in the face area [l] 502 are substituted for the face center position 503, face size 504, face orientation 505, face inclination 506 and face likelihood value 507 in the face area [l] 502 (S807), respectively.
  • the luminance information output from the luminance information calculation unit 107 is substituted into the luminance information 515, and the importance initial value INI_SCORE is substituted into the importance 516 of the face information [l] 509 (S809).
  • the variable l is incremented (S810), and the process returns to step S806.
  • the initialization processing of the information storage unit 109 is performed by performing the processing of steps S801 to S810.
  • the initialization of the information storage unit 109 is performed at an arbitrary timing such as when the camera system is turned on or when the camera system mode is changed.
  • FIG. 9 shows an importance calculation flow in the importance calculation unit 108.
  • the count variable m and the face information count variable Add_Imfo added to the information storage unit 109 are initialized (S901), and it is determined whether the variable m is smaller than the number of detected faces 501 in the latest image data (S902). .
  • variable Add_Imfo is added to the stored face number 508 stored in the information storage unit 109 (S916), and the importance calculation process is terminated.
  • step S903 the counting variable n is initialized (S903), and it is determined whether the variable n is smaller than the stored face number 508 (S904).
  • variable n is smaller than the number of stored faces 508 (Yes in step S904)
  • the absolute value of the difference between the luminance information output from the luminance information calculation unit 107 and the luminance information 515 of the face information [n] 509 is substituted into the variable Y_DIFF.
  • C any natural number
  • variable Y_DIFF is greater than or equal to the threshold C (No in step S907), the variable n is incremented (S912), and the process returns to step S904.
  • variable SIZE_DIFF is smaller than the threshold C (Yes in step S907), the absolute value of the difference between the face size 504 of the face area [m] 502 and the face size 511 of the face information [n] 509 is assigned to the variable SIZE_DIFF. Then, it is determined whether or not the variable SIZE_DIFF is smaller than the threshold B_SIZE (B_SIZE: any natural number) (S909).
  • variable SIZE_DIFF is greater than or equal to the threshold B_SIZE (No in step S909), the variable n is incremented (S912), and the process returns to step S904.
  • variable SIZE_DIFF is smaller than the threshold B_SIZE (Yes in step S909)
  • the center distance is calculated from the face center position 503 of the face area [m] 502 and the face center position 510 of the face information [n] 509, and the variable DIST_DIFF is set. Substitution is performed (S910), and it is determined whether or not the variable DIST_DIFF is smaller than a threshold B_DIST (B_DIST: any natural number) (S911).
  • variable DIST_DIFF is greater than or equal to the threshold B_DIST (No in step S911), the variable n is incremented (S912), and the process returns to step S904.
  • Step S911 When the variable DIST_DIFF is smaller than the threshold B_DIST (Yes in Step S911), ADD_SCORE (ADD_SCORE: any natural number) is added to the importance 516 of the face information [n] 509, and FLG_ON is set to the update flag 517 of the face information [n] 509. Is substituted (S913), the variable m is incremented (S914), and the process returns to step S902.
  • ADD_SCORE ADD_SCORE: any natural number
  • step S905 the face information [(number of stored faces ⁇ 1) + Add_Imfo] 509 is converted into the face area [m] in the face center position 510, face size 511, face orientation 512, face inclination 513, and face likelihood value 514.
  • the face center position 503, face size 504, face orientation 505, face inclination 506, and face-likeness value 507 are assigned to the brightness information 515 of the face information [n + Add_Imfo] 509 from the brightness calculation unit 107.
  • step S915 The luminance information to be output is substituted, and the initial value INI_SCORE (INI_SCORE: arbitrary natural number) of the importance 516 is substituted for the importance 516 of the face information [n + Add_Imfo] 509. Subsequent to step S915, the variable m is incremented (S914), and the process returns to step S902.
  • INI_SCORE arbitrary natural number
  • the importance calculation processing is performed by performing the processing of steps S901 to S916.
  • the absolute value difference of the luminance information is compared with the threshold (S906 and S907), the absolute value difference of the face is compared with the threshold (S908 and S909), the distance between the center of the face and the threshold Processing is performed in the order of comparison (S910 and S911), but there is no problem even if these processing orders are switched.
  • the absolute value difference of the luminance information is compared with the threshold (S906 and S907), the absolute value difference of the face is compared with the threshold (S908 and S909), the distance between the center of the face and the threshold
  • the importance 516 is calculated by performing the comparison (S910 and S911).
  • FIG. 10 shows a determination flow in the information deletion determination unit 111 as to whether or not to delete face information stored in the information storage unit 109.
  • the count variable p is initialized (S1001), and it is determined whether or not the variable p is smaller than the number of stored faces 508 stored in the information storage unit 109 (S1002).
  • variable p is greater than or equal to 508 stored face counts (No in step S1002), the face information deletion determination process ends.
  • step S1003 If the variable p is smaller than the number of stored faces 508 (Yes in step S1002), it is determined whether or not the update flag 517 of the face information [p] 509 is FLG_OFF (S1003).
  • step S1003 When the update flag 517 of the face information [p] 509 is FLG_ON (No in step S1003), the update flag 517 of the face information [p] 509 is set to FLG_OFF (S1004), the variable p is incremented (S1005), and the process proceeds to step S1002. Return.
  • DEC_SCORE DEC_SCORE: any natural number
  • E E: an arbitrary natural number
  • step S1007 If the importance 516 of the face information [p] 509 is greater than or equal to the threshold E (No in step S1007), the variable p is incremented (S1005), and the process returns to step S1002.
  • step S1007 When the importance 516 of the face information [p] 509 is smaller than the threshold E (Yes in step S1007), p is substituted for the counting variable q (S1008), and whether or not the variable q is smaller than the stored face count 508 is determined. Judgment is made (S1009).
  • step S1010 face information [q + 1] 509 is substituted for face information [q] 509 (S1010).
  • the face center [510] of face information [q] 509, face size 511, face orientation 512, face inclination 513, face likelihood value 514, luminance information 515, update score 516, and update flag 517 are set.
  • Face center position 510, face size 511, face orientation 512, face inclination 513, face likelihood value 514, luminance information 515, update score 516, and update flag 517 are substituted for face information [q + 1] 509, respectively.
  • the variable q is incremented (S1011), and the process returns to step S1009.
  • step S1009 If the variable q is greater than or equal to 508 stored faces (No in step S1009), the stored face count 508 is decremented (S1012), and the process returns to step S1002.
  • FIG. 11 shows a flow of determination by the display determination unit 110 as to whether or not to display face information stored in the information storage unit 109 and face frame display by the display control unit 112.
  • the count variable r is initialized (S1101), and it is determined whether or not the variable r is smaller than the stored face count 508 stored in the information storage unit 109 (S1102).
  • variable r is greater than or equal to 508 stored face counts (No in step S1102), the display determination and face frame display processing is terminated.
  • step S1103 If the variable r is smaller than the number of stored faces 508 (Yes in step S1102), it is determined whether the importance 516 of the face information [r] 509 is greater than a threshold D (D: an arbitrary natural number) (S1103).
  • D an arbitrary natural number
  • step S1103 If the importance 516 of the face information [r] 509 is less than or equal to the threshold D (No in step S1103), the variable r is incremented (S1105), and the process returns to step S1102.
  • the display control unit 112 displays a face frame based on the face information [r] 509 (S1104), and sets the variable r to Increment (S1105) and return to step S1102.
  • steps S1101 to S1105 is performed to determine whether or not to display face information and to display a face frame.
  • step S904 in FIG. 9 the absolute value of the difference between the luminance information output from the luminance information calculation unit 107 and the luminance information 515 of the face information [n] 509 is substituted into a variable Y_DIFF (S1301), and the variable Y_DIFF Is less than the threshold value C (S1302).
  • step S1302 If the variable Y_DIFF is greater than or equal to the threshold C (No in step S1302), the process returns to step S912.
  • step S1303 If the variable Y_DIFF is smaller than the threshold C (Yes in step S1302), it is determined whether the variable Y_DIFF is smaller than the threshold C_RENEW (C_RENEW: any natural number) (S1303).
  • step S1303 When the variable Y_DIFF is smaller than the threshold C_RENEW (Yes in step S1303), the luminance information output from the luminance information calculation unit 107 is substituted into the luminance information 515 of the face information [n] 509 (S1304).
  • variable Y_DIFF is greater than or equal to the threshold C_RENEW (No in step S1303), or following the processing in step S1304, the face size 504 of the face area [m] 502 and the face size 511 of the face information [n] 509
  • the absolute value of the difference is substituted into the variable SIZE_DIFF (S1305), and it is determined whether or not the variable SIZE_DIFF is smaller than the threshold B_SIZE (S1306).
  • variable SIZE_DIFF is smaller than the threshold B_SIZE (Yes in step S1306), it is determined whether or not the variable SIZE_DIFF is smaller than the threshold B_SIZE_RENEW (B_SIZE_RENEW: any natural number) (S1307).
  • the face size 504 of the face area [m] 502 is substituted for the face size 511 of the face information [n] 509 (S1308).
  • variable SIZE_DIFF is greater than or equal to the threshold B_SIZE_RENEW (No in step S1307), or following the processing in step S1308, the face center position 503 of the face area [m] 502 and the face center position 510 of the face information [n] 509
  • the distance between the centers is calculated and substituted into the variable DIST_DIFF (S1309), and it is determined whether the variable DIST_DIFF is smaller than the threshold B_DIST (S1310).
  • step S1310 If the variable DIST_DIFF is greater than or equal to the threshold B_DIST (No in step S1310), the process returns to step S912.
  • variable DIST_DIFF is smaller than the threshold B_DIST (Yes in step S1310), it is determined whether the variable DIST_DIFF is smaller than the threshold B_DIST_RENEW (B_DIST_RENEW: any natural number) (S1311).
  • step S1311 If the variable DIST_DIFF is smaller than the threshold B_DIST_RENEW (Yes in step S1311), the face center position 503 of the face area [m] 502 is substituted into the face center position 510 of the face information [n] 509 (S1312).
  • step S914 is performed.
  • the update determination of the face information 509 is performed by performing the processing of steps S1301 to S1312.
  • the absolute value of the difference in luminance information is compared with a threshold (S1301, S1302, S1303, S1304)
  • the absolute value of the difference in face size is compared with a threshold (S1305, S1306, S1307, S1308)
  • Processing is performed in the order of comparison of the distance between the center of the face and the threshold (S1309, S1310, S1311, S1312), but there is no problem even if these processing orders are switched.
  • the absolute value difference of the luminance information is compared with the threshold value (S1301, S1302, S1303, S1304)
  • the absolute value difference of the face size is compared with the threshold value (S1305, S1306, S1307, S1308)
  • the brightness information 515, the face size 511, and the face center position 510 are updated by performing the comparison between the face center distance and the threshold (S1309, S1310, S1311, S1312).
  • Added comparison of absolute value and threshold of difference in facialness value (507 and 514), comparison of threshold and difference of face orientation (505 and 512), and comparison of difference and threshold of face inclination (506 and 513) It is also possible to update the faceness value 514, the face orientation 512, and the face inclination 513.
  • the data size stored in the information storage unit 109 will be described.
  • Patent Document 1 all detection results in a plurality of image data are stored, and as the number of face areas detected in each image data increases, the data size that must be stored also increases.
  • the absolute value difference of the luminance information and the threshold value are compared with the detection result of the latest image data, the absolute value difference of the face size is compared with the threshold value, and the distance between the centers of the faces.
  • the threshold information are compared, and the luminance information 515, the face size 511, the face center position 510, and the importance 516 stored in the information storage unit 109 are updated. Get smaller.
  • the image processing device 113 and the imaging device 114 including the image processing device 113 have been described as embodiments of the present invention.
  • a program that functions as means corresponding to the determination unit 110, the information deletion determination unit 111, and the display control unit 112 and performs the processing shown in FIG. 4 is also one embodiment of the present invention.
  • the face frame display method described in the first and second embodiments is merely an example, and it is needless to say that various modifications are possible.
  • the present invention it is possible to display an accurate face frame that is easy to see on a through image. Therefore, it is useful to apply the present invention to a digital camera, a surveillance camera, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

　特定領域の検出結果および輝度情報を記憶しておき、最新の画像データが入力された場合に、記憶してある検出結果および輝度情報と最新の画像における特定領域の検出結果および輝度情報に基づいて重要度を算出し、特定領域情報を表示するか否かを重要度に基づいて判定することを特徴とする。また、画像データから輝度情報を算出する際、特定領域の検出結果に基づいて算出する。

Description

画像処理装置、画像処理方法、画像処理プログラム、撮像装置
　本開示は、特定領域(たとえば顔領域)の検出結果を精度良く表示する画像処理技術に関する。
　近年、デジタルカメラ(デジタルスチルカメラ，デジタルビデオカメラ，カメラ付き携帯等)や監視カメラ，ドアフォンカメラ等の撮像装置および画像処理装置において顔領域検出機能の搭載が一般的となってきている。デジタルスチルカメラにおいては、検出された顔領域に対して自動合焦制御(Automatic Focus：AF)を行ったり、自動露出補正(Automatic Exposure：AE)を行ったりしており、また、監視カメラにおいては、検出された顔領域を記憶することで不審者の特定に用いられたりする。
　顔領域の検出においては、標準的な顔のパーツ(目や口等)の位置関係から検出する方法，顔の色やエッジ情報を基に検出する方法，予め用意した顔の特徴データとの比較により検出する方法等、多くの技術が考案されている。また、上記のどの方法においても、検出結果は、検出対象となる顔領域の微小な位置変化，輝度変化，画角変化に影響を及ぼされる。ここで、連続したフレームに対する検出を想定した場合、検出対象となっている被写体がたとえ静止していたとしても、検出結果はフレーム毎に異なる。この検出結果を基に顔枠情報を作成し、OSD(On Screen Display)機能等を利用してスルー画像(モニタ画像)上に表示した場合、顔枠の位置や大きさが常時変化し、非常に見辛いことになる。
　本発明に関連する先行技術文献としては特許文献1があり、図2に特許文献1の装置構成の概略を示す。特許文献1では、顔検出部206が、撮影された画像から顔領域を検出し、内部メモリ207に顔領域の過去の検出結果と最新の検出結果とからなる検出履歴を保存し、判定部208が検出履歴を参照して、最新で取得された画像において顔領域を検出扱いとするか否かを判定する。再度検出履歴を参照して、検出扱いとした顔領域の平滑化を実施し、スルー画像上に表示する。このようにして、顔枠の位置や大きさが変化して見づらくなることを解決している。
特開2008-54295号公報
　顔領域検出機能が搭載されたデジタルスチルカメラや監視カメラにおいて、連続フレームに対して顔領域の検出を実施し、検出結果をスルー画像上に表示する場合も少なくない。特許文献1では、過去および最新のM回分の顔の検出結果を検出履歴として内部メモリ207に記憶し、検出履歴を参照することでN(M≧N)回以上リンク付けされている検出結果に対して平滑化を実施しスルー画像上に表示することで、顔枠の位置や大きさが変化して見づらくなることを解決する技術が提案されている。ここで、各回の検出結果は、検出された顔の数と、固有情報およびリンク情報からなる各顔の情報からなる。また、固有情報とは、顔検出部206が出力する顔の中心位置，大きさ，傾き，向き，検出した顔の顔らしさを表す顔らしさ値からなる情報であり、リンク情報とは、固有情報に基づいて過去および最新の検出結果を対応付けた情報である。しかしながら、図3(a)～(c)に示すような検出結果が連続で得られた場合、リンク情報の更新が正しく行なわれないため、顔枠の表示に不備が生じる。図3は、輝度値の異なる被写体(A)302,305,308と被写体(B)303,306,309を3フレーム連続で撮影した場合である。図3(a)は、2フレーム前のフレームデータを示しており、図3(b)は、1フレーム前のフレームデータを示している。図3(c)は、最新フレームのフレームデータを示し、図3(b)に示す1フレーム前の被写体(A)305および被写体(B)306が被写体(A)308および被写体(B)309に示すように移動している。ここで、特許文献１においてM＝3,N＝2とし、2フレーム前における被写体(A)302と1フレーム前における被写体(A)305および2フレーム前における被写体(B)303と1フレーム前における被写体(B)306が各々リンク付けされていたとすると、最新フレームの検出結果によるリンク情報の更新では、被写体(B)303,306の検出結果に被写体(A)308がリンク付けられてしまう。ここで、判定部208が図3(a)～(c)における検出履歴を参照して、最新フレーム307において顔領域を検出扱いとするか否かを判定し、判定結果に基づいて顔枠を表示した場合、図3(c)に示す顔枠310,311が表示される。ここで、顔枠310は被写体(A)に対応する顔枠であり、顔枠311は被写体(B)に対応する顔枠である。このように誤ったリンク付けが行なわれることで、正確な顔枠表示ができなくなる。また、顔検出結果に基づいてAFターゲットを設定するようなカメラシステムを想定した場合、仮に図3(a),(b)において被写体(B)303,306がAFターゲットに設定されていたとすると、誤ったリンク付けが行なわれることでAFターゲットの設定が変わってしまう。
　本願発明は上記に鑑みてなされた発明であり、特定領域(たとえば顔領域)の検出結果に基づく特定領域情報(たとえば顔枠)をスルー画像上に見やすく,かつ,正確に表示することを課題とする。
　上記課題を解決するために本発明のある実施形態は、入力画像データにおける特定領域(たとえば顔領域)の検出結果および輝度情報を記憶しておき、最新の画像データが入力された場合に、記憶してある検出結果および輝度情報と最新の画像データにおける特定領域の検出結果および輝度情報に基づいて重要度を算出し、特定領域情報を表示するか否かを重要度に基づいて判定する。ある実施形態によれば、画像データから輝度情報を算出する際、特定領域の検出結果に基づいて算出する。
　本発明によれば、特定領域(たとえば顔領域)の検出結果に基づく特定領域情報(たとえば顔枠)をスルー画像上に見やすく,かつ,正確に表示することが可能となる。
図１は本発明の第1の実施形態による撮像装置の全体構成を示すブロック図である。 図２は特許文献1の装置の概略構成を示すブロック図である。 図３は従来技術の課題を説明するための図である。 図４は図1に示した画像処理装置113において行われる処理の流れを示すフローチャートである。 図５(a)は、顔検出部106が出力するデータの構成を示す図である。図５(b)は、情報記憶部109に記憶されているデータの構成を示す図である。 図６は画像データをF×G個のブロックに分割し、最新の画像データにおける検出結果に基づいて輝度情報を算出する処理の流れを示すフローチャートである。 図７は最新の画像データにおける検出結果に基づいて画像データをブロック分割し、最新の画像データにおける検出結果に基づいて輝度情報を算出する処理の流れを示すフローチャートである。 図８は情報記憶部109における初期化処理の流れを示すフローチャートである。 図９は重要度算出部108における重要度算出処理の流れを示すフローチャートである。 図１０は情報削除判定部111における顔情報削除処理の流れを示すフローチャートである。 図１１は表示判定部110における表示判定および表示制御部112における顔枠表示処理の流れを示すフローチャートである。 図１２は第1の実施形態における問題点を説明するための図である。 図１３は第2の実施形態による顔情報更新処理の流れを示すフローチャートである。
　以下、図面を参照して本発明の実施の形態について説明する。なお、以下で説明する実施の形態はあくまで一例であり、様々な改変を行うことが可能である。また、以下の実施形態では、本発明の構成要素である特定領域検出部の具体的な一例として、人物の顔領域を検出する顔検出部を採りあげて説明し、また、それに伴い特定領域情報を顔情報として説明する。
　(第1の実施形態)
　図1は、本発明の第1の実施形態による撮像装置の全体構成を示す図である。この撮像装置114は、光学レンズ(光学系)101，撮像素子102，アナログ信号処理部103，デジタル信号処理部104，画像処理装置113を備えている。
　光学レンズ101は、被写体像を撮像素子102上に集光する。撮像素子102は、光学レンズ101によって集光された被写体像を撮像する(以下では撮像素子102としてCCDを例に説明する)。アナログ信号処理部103は、撮像素子102から出力されるアナログ撮像信号に所定の処理を加え、デジタル撮像信号に変換する。デジタル信号処理部104は、アナログ信号処理部103から出力されるデジタル撮像信号に所定の処理を加える。画像処理装置113は、デジタル信号処理部104から出力される所定の処理が加えられたデジタル撮像信号(画像データ)に所定の処理を施し、画像データ上に顔枠を表示する。
　画像処理装置113は、フレームメモリ105，顔検出部106，輝度情報算出部107，重要度算出部108，情報記憶部109，表示判定部110，情報削除判定部111，表示制御部112を備えている。
　フレームメモリ105は、デジタル信号処理を施された画像データを記憶する。顔検出部106は、画像データにおいて人物の顔領域を検出する。輝度情報算出部107は、画像データにおいて任意の領域の輝度情報を算出する。重要度算出部108は、顔検出部106が出力する検出結果の重要度を算出する。情報記憶部109は、顔検出部106が出力する検出結果と輝度情報算出部107が出力する輝度情報と重要度算出部108が算出する重要度からなる顔情報および顔情報の個数を記憶する。表示判定部110は、重要度に基づいて情報記憶部109に記憶されている顔情報を表示するか否かを判定する。情報削除判定部111は、重要度に基づいて情報記憶部109に記憶されている顔情報を削除するか否かを判定する。表示制御部112は、表示判定部110の判定に従って画像データ上に顔枠を表示する。
　なお、重要度算出部108にて算出される重要度とは、複数の画像データにおける各々の検出結果に基づいて算出される3次元的な評価値であって、顔検出部106が出力する1枚の画像データにおける検出結果の確からしさとは異なる。
　次に、以上のように構成された撮像装置114の動作について説明する。以下では、本発明の特徴的な処理である、検出結果および輝度情報に基づいた重要度の算出処理および重要度に基づいた表示処理に関して説明する。この処理は図1の画像処理装置113において行われる。以下、図4のフローチャートを参照しつつ説明する。
　まず、デジタル信号処理部104から画像処理装置113に入力された画像データはフレームメモリ105に記憶され(S401)、顔検出部106にて当該画像データ内の顔領域が検出される(S402)。また、デジタル信号処理部104から画像処理装置113に入力された画像データに対して輝度情報算出部107にて輝度情報が算出される(S403)。
　次に、情報記憶部109を初期化するか否かが判断される(S404)。情報記憶部109を初期化する場合(S404でYes)、情報記憶部109に記憶されている顔情報および顔情報の個数が初期化され(S405)、次にステップS408にすすむ。一方、情報記憶部109を初期化しない場合(S404でNo)は、情報記憶部109に記憶されている顔情報と，最新の画像データに対して顔検出部106が出力する検出結果と，最新の画像データに対して輝度情報算出部107が出力する輝度情報とに基づいて重要度算出部108にて重要度が算出される(S406)。そして、算出された重要度に基づいて、情報削除判定部111にて、情報記憶部109に記憶されている顔情報を削除するか否かが判断される(S407)。
　次に、情報記憶部109に記憶されている顔情報を表示するか否かの判断が表示判定部110にて重要度に基づいて行われ(S408)、この表示判定部110の判定に従って表示制御部112にて顔枠が表示される(S409)。
　上記ステップS403～S409の各処理の詳細を以下で説明する。なお、上記ステップS401およびS402の処理に関しては様々な公知技術が存在するため説明を省略する。
　図5(a)に顔検出部106が出力する顔領域および顔領域の個数(検出顔数)を示し、図5(b)に情報記憶部109に記憶される顔情報および顔情報の個数(記憶顔数)を示す。
　図5(a)に示すように、顔検出部106が出力する検出結果518は、検出顔数501と検出顔数501分の顔領域502からなる。各顔領域502は、顔の中心位置503，顔の大きさ504，顔の向き505，顔の傾き506，顔の顔らしさ値507からなる。ここで、顔の中心位置503は、顔領域の四隅の位置や、画像データ上でのx座標およびy座標で表すこともある。また、顔の向き505と顔の傾き506の情報を併せて顔の向きとすることもある。
　図5(b)に示すように、情報記憶部109には、記憶顔数508と記憶顔数508分の顔情報509が記憶される。各顔情報509は、顔の中心位置510，顔の大きさ511，顔の向き512，顔の傾き513，顔らしさ値514，輝度情報算出部107が算出する輝度情報515，重要度算出部108が算出する重要度516，重要度が更新されたか否かを表す更新フラグ517からなる。顔検出部106が出力する検出結果518と同様に、顔の中心位置510は、顔領域の四隅の位置や、画像データ上でのx座標およびy座標で表すこともあり、また、顔の向き512と顔の傾き513の情報を併せて顔の向きとすることもある。
　上記ステップS403の処理の詳細を図6,7を参照しつつ説明する。
　図6に、画像データをF×G個(F,G：任意の整数)のブロックに分割し、最新の画像データにおける検出結果に基づいて輝度情報を算出するフローを示す。
　まず、入力された画像データをF×Gのブロックに分割し(S601)、カウント用変数iを初期化する(S602)。次に、変数iが最新の画像データにおける検出顔数501より大きいか否かを判断する(S603)。変数iが検出顔数501以上の場合(ステップS603でNo)、輝度情報算出部107における輝度情報の算出処理を終了する。一方、変数iが検出顔数501より小さい場合(ステップS603でYes)、顔領域[i]502の顔の中心位置503が含まれるブロックの輝度情報を算出し(S604)、変数iをインクリメントして(S605)、ステップS603に戻る。
　以上のようにステップS601～S605の処理を実施することにより輝度情報を算出する。
　図7に、最新の画像データにおける検出結果に基づいて画像データをブロック分割し、最新の画像データにおける検出結果に基づいて輝度情報を算出するフローを示す。
　まず、カウント用変数jおよびブロックサイズ設定用変数BlockSizeを初期化し(S701)、変数jが最新の画像データにおける検出顔数501より大きいか否かを判断する(S702)。
　変数jが検出顔数501より小さい場合(ステップS702でYes)、変数BlockSizeが顔領域[j]502の顔の大きさ504より大きいか否かを判断する(S703)。変数BlockSizeが顔領域[j]502の顔の大きさ504より大きい場合(ステップS703でYes)、変数BlockSizeに顔領域[j]502の顔の大きさ504を代入し(S704)、変数jをインクリメントして(S705)、ステップS702に戻る。一方、変数BlockSizeが顔領域[j]502の顔の大きさ504以下の場合(ステップS703でNo)、変数jをインクリメントして(S705)、ステップS702に戻る。
　また、変数jが検出顔数501以上の場合(ステップS702でNo)、ブロックサイズがBlockSize×BlockSizeとなるように画像データをブロック分割する(S706)。ステップS706の処理に続き、カウント用変数iを初期化し(S707)、変数iが検出顔数501よりも大きいか否かを判断する(S708)。変数iが検出顔数501以上の場合(ステップS708でNo)、輝度情報算出部107における輝度情報の算出処理を終了する。変数iが検出顔数501より小さい場合(ステップS708でYes)、顔領域[i]502の顔の中心位置503が含まれるブロックの輝度情報を算出し(S709)、変数iをインクリメントして(S710)、ステップS708に戻る。
　以上のようにステップS701～S710の処理を実施することにより輝度情報を算出する。
　図7に示すフローのうち、ステップS702における検出顔数501を情報記憶部109に記憶されている記憶顔数508に置き換え、さらにステップS703およびS704における顔領域[j]502の顔の大きさ504を顔情報[j]509の顔の大きさ511に置き換えることにより、情報記憶部109に記憶されている検出結果に基づいて画像データをブロック分割し、輝度情報を算出することが可能となる。
　また、図6および図7に示すフローに従って算出された輝度情報は、後述する重要度算出部108における重要度算出に用いられる。特に、図7に示すフローにおいては、顔検出部106から出力される検出結果に基づいてブロックを分割し、輝度情報を算出しているため、有効な重要度算出処理と成り得る。なお、ステップS701におけるブロックサイズ設定用変数BlockSizeの初期化では、検出される顔の大きさの最大値(INI_BLOCK)を設定することが望ましい。
　次に、上記ステップS405(図4)の処理の詳細を説明する。図8に情報記憶部109の初期化フローを示す。
　カウント用変数kを初期化し(S801)、変数kが情報記憶部109に記憶されている記憶顔数508よりも小さいか否かを判断する(S802)。
　変数kが記憶顔数508よりも小さい場合(ステップS802でYes)、顔情報[k]509の顔の中心位置510，顔の大きさ511，顔の向き512，顔の傾き513，顔らしさ値514，輝度情報515，重要度516，更新フラグ517を初期化し(S803)、変数kをインクリメントして(S804)、ステップS802に戻る。
　なお、本実施形態では、重要度516が更新された場合は更新フラグ517をオン(FLG_ON)とし、更新されていない場合は更新フラグ517をオフ(FLG_OFF)としている。
　変数kが記憶顔数508以上の場合(ステップS802でNo)、記憶顔数508およびカウント用変数lを初期化し(S805)、変数lが最新の画像データにおける検出顔数501よりも小さいか否かを判断する(S806)。
　変数lが検出顔数501以上の場合(ステップS806でNo)、記憶顔数508に検出顔数501を代入し(S810)、情報記憶部109の初期化処理を終了する。
　変数lが検出顔数501より小さい場合(ステップS806でYes)、顔情報[l]509の顔の中心位置510，顔の大きさ511，顔の向き512，顔の傾き513および顔らしさ値514に、顔領域[l]502の顔の中心位置503，顔の大きさ504，顔の向き505，顔の傾き506および顔らしさ値507をそれぞれ代入し(S807)、顔情報[l]509の輝度情報515に輝度情報算出部107から出力される輝度情報を代入し、顔情報[l]509の重要度516に重要度の初期値INI_SCOREを代入する(S809)。次に変数lをインクリメントして(S810)、ステップS806に戻る。
　以上のようにステップS801～S810の処理を実施することにより情報記憶部109の初期化処理を実施する。
　なお、情報記憶部109の初期化は、カメラシステムの電源投入時やカメラシステムのモードの変更時等、任意のタイミングで実施することを想定している。
　次に、上記ステップS406(図4)の処理の詳細を説明する。図9に重要度算出部108における重要度算出フローを示す。
　カウント用変数mおよび情報記憶部109に追加される顔情報カウント用変数Add_Imfoを初期化し(S901)、変数mが最新の画像データにおける検出顔数501よりも小さいか否かを判断する(S902)。
　変数mが検出顔数501以上の場合(ステップS902でNo)、情報記憶部109に記憶されている記憶顔数508に変数Add_Imfoを加算し(S916)、重要度算出処理を終了する。
　変数mが検出顔数501より小さい場合(ステップS902でYes)、カウント用変数nを初期化し(S903)、変数nが記憶顔数508より小さいか否かを判断する(S904)。
　変数nが記憶顔数508より小さい場合(ステップS904でYes)、輝度情報算出部107から出力される輝度情報と顔情報[n]509の輝度情報515の差の絶対値を変数Y_DIFFに代入し(S906)、変数Y_DIFFが閾値C(C：任意の自然数)より小さいか否かを判断する(S907)。
　変数Y_DIFFが閾値C以上の場合(ステップS907でNo)、変数nをインクリメントして(S912)、ステップS904に戻る。
　変数Y_DIFFが閾値Cより小さい場合(ステップS907でYes)、顔領域[m]502の顔の大きさ504と顔情報[n]509の顔の大きさ511の差の絶対値を変数SIZE_DIFFに代入し(S908)、変数SIZE_DIFFが閾値B_SIZE(B_SIZE：任意の自然数)より小さいか否かを判断する(S909)。
　変数SIZE_DIFFが閾値B_SIZE以上の場合(ステップS909でNo)、変数nをインクリメントして(S912)、ステップS904に戻る。
　変数SIZE_DIFFが閾値B_SIZEより小さい場合(ステップS909でYes)、顔領域[m]502の顔の中心位置503と顔情報[n]509の顔の中心位置510から中心間距離を算出し変数DIST_DIFFに代入し(S910)、変数DIST_DIFFが閾値B_DIST(B_DIST：任意の自然数)より小さいか否かを判断する(S911)。
　変数DIST_DIFFが閾値B_DIST以上の場合(ステップS911でNo)、変数nをインクリメントして(S912)、ステップS904に戻る。
　変数DIST_DIFFが閾値B_DISTより小さい場合(ステップS911でYes)、顔情報[n]509の重要度516にADD_SCORE(ADD_SCORE：任意の自然数)を加算し、顔情報[n]509の更新フラグ517にFLG_ONを代入し(S913)、変数mをインクリメントして(S914)、ステップS902に戻る。
　また、変数nが記憶顔数508以上の場合(ステップS904でNo)、変数Add_Imfoをインクリメントして(S905)、顔領域[m]502を情報記憶部109に追加する(S915)。ステップS915では、顔情報[(記憶顔数－1)＋Add_Imfo]509の顔の中心位置510，顔の大きさ511，顔の向き512，顔の傾き513および顔らしさ値514に、顔領域[m]502の顔の中心位置503，顔の大きさ504，顔の向き505，顔の傾き506および顔らしさ値507をそれぞれ代入し、顔情報[n＋Add_Imfo]509の輝度情報515に輝度算出部107から出力される輝度情報を代入し、顔情報[n＋Add_Imfo]509の重要度516に重要度516の初期値INI_SCORE(INI_SCORE：任意の自然数)を代入する。ステップS915の処理に続いて変数mをインクリメントして(S914)、ステップS902に戻る。
　以上のようにステップS901～S916の処理を実施することにより重要度算出処理を実施する。
　なお、図9では、輝度情報の差の絶対値と閾値の比較(S906およびS907)，顔の大きさの差の絶対値と閾値の比較(S908およびS909)，顔の中心間距離と閾値の比較(S910およびS911)の順で処理を実施しているが、これらの処理順番が入れ替わっても問題無い。また、図9では、輝度情報の差の絶対値と閾値の比較(S906およびS907)，顔の大きさの差の絶対値と閾値の比較(S908およびS909)，顔の中心間距離と閾値の比較(S910およびS911)を実施することにより重要度516を算出しているが、これらの処理に顔らしさ値(507および514)の差の絶対値と閾値の比較，顔の向き(505および512)の差と閾値の比較，顔の傾き(506および513)の差と閾値の比較を追加し、重要度を算出することも可能である。
　次に、上記ステップS407(図4)の処理の詳細を説明する。図10に、情報記憶部109に記憶されている顔情報を削除するか否かの情報削除判定部111における判定フローを示す。
　カウント用変数pを初期化し(S1001)、変数pが情報記憶部109に記憶されている記憶顔数508よりも小さいか否かを判断する(S1002)。
　変数pが記憶顔数508以上の場合(ステップS1002でNo)、顔情報の削除判定処理を終了する。
　変数pが記憶顔数508より小さい場合(ステップS1002でYes)、顔情報[p]509の更新フラグ517がFLG_OFFか否かを判断する(S1003)。
　顔情報[p]509の更新フラグ517がFLG_ONの場合(ステップS1003でNo)、顔情報[p]509の更新フラグ517をFLG_OFFにし(S1004)、変数pをインクリメントし(S1005)、ステップS1002に戻る。
　顔情報[p]509の更新フラグ517がFLG_OFFの場合(ステップS1003でYes)、顔情報[p]509の重要度516からDEC_SCORE(DEC_SCORE：任意の自然数)を減算し(S1006)、顔情報[p]509の重要度516が閾値E(E：任意の自然数)より小さいか否かを判断する(S1007)。
　顔情報[p]509の重要度516が閾値E以上の場合(ステップS1007でNo)、変数pをインクリメントし(S1005)、ステップS1002に戻る。
　顔情報[p]509の重要度516が閾値Eより小さい場合(ステップS1007でYes)、カウント用変数qにpを代入し(S1008)、変数qが記憶顔数508よりも小さいか否かを判断する(S1009)。
　変数qが記憶顔数508よりも小さい場合(ステップS1009でYes)、顔情報[q]509に顔情報[q＋1]509を代入する(S1010)。ステップS1010では、顔情報[q]509の顔の中心位置510，顔の大きさ511，顔の向き512，顔の傾き513，顔らしさ値514，輝度情報515，更新スコア516，更新フラグ517に、顔情報[q＋1]509の顔の中心位置510，顔の大きさ511，顔の向き512，顔の傾き513，顔らしさ値514，輝度情報515，更新スコア516，更新フラグ517をそれぞれ代入する。ステップS1010の処理に続いて変数qをインクリメントし(S1011)、ステップS1009に戻る。
　変数qが記憶顔数508以上の場合(ステップS1009でNo)、記憶顔数508をディクリメントし(S1012)、ステップS1002に戻る。
　以上のようにステップS1001～S1012の処理を実施することにより、情報記憶部109に記憶されている顔情報を削除するか否かを判定する。
　次に、上記ステップS408,S409(図4)の処理の詳細を説明する。図11に、情報記憶部109に記憶されている顔情報を表示するか否かの表示判定部110における判定および表示制御部112における顔枠表示のフローを示す。
　カウント用変数rを初期化し(S1101)、変数rが情報記憶部109に記憶されている記憶顔数508よりも小さいか否かを判断する(S1102)。
　変数rが記憶顔数508以上の場合(ステップS1102でNo)、表示判定および顔枠表示の処理を終了する。
　変数rが記憶顔数508より小さい場合(ステップS1102でYes)、顔情報[r]509の重要度516が閾値D(D：任意の自然数)より大きいか否かを判断する(S1103)。
　顔情報[r]509の重要度516が閾値D以下の場合(ステップS1103でNo)、変数rをインクリメントし(S1105)、ステップS1102に戻る。
　顔情報[r]509の重要度516が閾値Dより大きい場合(ステップS1103でYes)、顔情報[r]509に基づいて表示制御部112にて顔枠を表示し(S1104)、変数rをインクリメントして(S1105)、ステップS1102に戻る。
　以上のようにステップS1101～S1105の処理を実施することにより、顔情報を表示するか否かの判定および顔枠表示を実施する。
　（第2の実施形態）
　第1の実施形態で説明したフローに従って顔枠を表示した場合、情報記憶部109に記憶されている顔情報509の顔の中心位置510，顔の大きさ511および輝度情報515は更新されない。図12(a)(b)に示すように被写体が前後に移動した画像データが連続して入力された場合、図12(b)に示すように実際の顔の大きさと顔枠の大きさに差異が生じてしまい、見辛くなってしまう。この問題を解決するために図9に示す重要度算出フローを改良し、顔の中心位置510，顔の大きさ511および輝度情報515の更新を実施する。図13に、顔の中心位置510，顔の大きさ511および輝度情報515の更新フローを示す。
　図9におけるステップS904が肯定された場合、輝度情報算出部107から出力される輝度情報と顔情報[n]509の輝度情報515の差の絶対値を変数Y_DIFFに代入し(S1301)、変数Y_DIFFが閾値Cより小さいか否かを判断する(S1302)。
　変数Y_DIFFが閾値C以上の場合(ステップS1302でNo)、ステップS912に戻る。
　変数Y_DIFFが閾値Cより小さい場合(ステップS1302でYes)、変数Y_DIFFが閾値C_RENEW(C_RENEW：任意の自然数)より小さいか否かを判断する(S1303)。
　変数Y_DIFFが閾値C_RENEWより小さい場合(ステップS1303でYes)、顔情報[n]509の輝度情報515に輝度情報算出部107から出力される輝度情報を代入する(S1304)。
　変数Y_DIFFが閾値C_RENEW以上の場合(ステップS1303でNo),または,ステップS1304の処理に続いて、顔領域[m]502の顔の大きさ504と顔情報[n]509の顔の大きさ511の差の絶対値を変数SIZE_DIFFに代入し(S1305)、変数SIZE_DIFFが閾値B_SIZEより小さいか否かを判断する(S1306)。
　変数SIZE_DIFFが閾値B_SIZE以上の場合(ステップS1306でNo)、ステップS912に戻る。
　変数SIZE_DIFFが閾値B_SIZEより小さい場合(ステップS1306でYes)、変数SIZE_DIFFが閾値B_SIZE_RENEW(B_SIZE_RENEW：任意の自然数)より小さいか否かを判断する(S1307)。
　変数SIZE_DIFFが閾値B_SIZE_RENEWより小さい場合(ステップS1307でYes)、顔情報[n]509の顔の大きさ511に顔領域[m]502の顔の大きさ504を代入する(S1308)。
　変数SIZE_DIFFが閾値B_SIZE_RENEW以上の場合(ステップS1307でNo),または,ステップS1308の処理に続いて、顔領域[m]502の顔の中心位置503と顔情報[n]509の顔の中心位置510から中心間距離を算出し変数DIST_DIFFに代入し(S1309)、変数DIST_DIFFが閾値B_DISTより小さいか否かを判断する(S1310)。
　変数DIST_DIFFが閾値B_DIST以上の場合(ステップS1310でNo)、ステップS912に戻る。
　変数DIST_DIFFが閾値B_DISTより小さい場合(ステップS1310でYes)、変数DIST_DIFFが閾値B_DIST_RENEW(B_DIST_RENEW：任意の自然数)より小さいか否かを判断する(S1311)。
　変数DIST_DIFFが閾値B_DIST_RENEWより小さい場合(ステップS1311でYes)、顔情報[n]509の顔の中心位置510に顔領域[m]502の顔の中心位置503を代入する(S1312)。
　変数DIST_DIFFが閾値B_DIST_RENEW以上の場合(ステップS1311でNo),または,ステップS1312に続いて、ステップS914を実施する。
　以上のようにステップS1301～S1312の処理を実施することにより顔情報509の更新判定を実施する。
　なお、図13では、輝度情報の差の絶対値と閾値の比較(S1301,S1302,S1303,S1304)，顔の大きさの差の絶対値と閾値の比較(S1305,S1306,S1307,S1308)，顔の中心間距離と閾値の比較(S1309,S1310,S1311,S1312)の順で処理を実施しているが、これらの処理順番が入れ替わっても問題無い。
　また、図13では、輝度情報の差の絶対値と閾値の比較(S1301,S1302,S1303,S1304)，顔の大きさの差の絶対値と閾値の比較(S1305,S1306,S1307,S1308)，顔の中心間距離と閾値の比較(S1309,S1310,S1311,S1312)を実施することにより輝度情報515，顔の大きさ511，顔の中心位置510を更新しているが、これらの処理に、顔らしさ値(507および514)の差の絶対値と閾値の比較，顔の向き(505および512)の差と閾値の比較，および顔の傾き(506および513)の差と閾値の比較を追加し、顔らしさ値514，顔の向き512，および顔の傾き513を更新することも可能である。
　次に、情報記憶部109に記憶されるデータサイズについて説明する。特許文献1では、複数の画像データにおける検出結果を全て記憶する形態となっており、各画像データで検出された顔領域の数が増えると、記憶しなければならないデータサイズも大きくなる。しかしながら、本発明の実施形態では、最新の画像データの検出結果に対して輝度情報の差の絶対値と閾値の比較，顔の大きさの差の絶対値と閾値の比較，顔の中心間距離と閾値の比較を実施し、情報記憶部109に記憶されている輝度情報515，顔の大きさ511，顔の中心位置510，重要度516を更新する形態をとるため、記憶されるデータサイズは小さくなる。
　以上、本発明の実施形態として画像処理装置113およびこれを備えた撮像装置114について説明したが、コンピュータを、図1に示した顔検出部106，輝度算出部107，重要度算出部108，表示判定部110，情報削除判定部111，表示制御部112に対応する手段として機能させ、図4に示した処理を行なわせるプログラムも本発明の実施形態の１つである。
　また、実施形態1,2で説明した顔枠の表示方法はあくまで一例に過ぎず、様々な改変が可能であることは言うまでもない。
　本発明は、上述の実施形態に限定されず、その精神又は主要な特徴から逸脱することなく他の色々な形で実施することができる。上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈されるべきではない。本発明の範囲は特許請求の範囲によって規定されるべきであって、明細書に記載された詳細には限定されない。特許請求の範囲の均等範囲に属する変形や変更も全て本発明の範囲内である。
　本発明さまざまな実施形態によれば、スルー画像上に見やすく，かつ，正確な顔枠を表示することが可能となるため、デジタルカメラ，監視カメラ等に本発明を適用すれば有用である。
101…光学系
102…撮像素子
103…アナログ信号処理部
104…デジタル信号処理部
105…フレームメモリ
106…顔検出部
107…輝度算出部
108…重要度算出部
109…情報記憶部
110…表示判定部
111…情報削除判定部
112…表示制御部
113…画像処理装置
114…撮像装置

Claims (16)

  1. 　入力された画像データを記憶するフレームメモリと、
    　前記画像データ内の輝度情報を基に、前記画像データ内の特定領域を表示するか否かを判定する表示判定部と、
    　前記表示判定部の判定に従って前記特定領域情報を表示する表示制御部と、
    を備える、
    画像処理装置。
  2. 　入力された画像データを記憶するフレームメモリと、
    　前記画像データ内の特定領域を検出する特定領域検出部と、
    　前記画像データ内の輝度情報を算出する輝度情報算出部と、
    　前記特定領域検出部が出力する検出結果の重要度を算出する重要度算出部と、
    　前記検出結果と前記輝度情報と前記重要度からなる特定領域情報および前記特定領域情報の個数を記憶する情報記憶部と、
    　前記特定領域情報を表示するか否かを判定する表示判定部と、
    　前記表示判定部の判定に従って前記特定領域情報を表示する表示制御部と、
    を備える、
    画像処理装置。
  3. 　前記情報記憶部から前記特定領域情報を削除するか否かを判定する情報削除判定部をさらに備える、
    請求項２に記載の画像処理装置。
  4. 　請求項２において、
    　前記重要度算出部は、
    　前記情報記憶部に記憶されている前記検出結果と、最新の入力画像データにおいて前記特定領域検出部にて検出される検出結果との比較結果に基づいて前記重要度を算出する、
    画像処理装置。
  5. 　請求項２において、
    　前記重要度算出部は、
    　前記情報記憶部に記憶されている前記輝度情報と、最新の入力画像データにおいて前記輝度情報算出部にて算出される輝度情報との比較結果に基づいて前記重要度を算出する、
    画像処理装置。
  6. 　請求項２において、
    　前記表示判定部は、
    　前記特定領域情報を表示するか否かを前記重要度に基づいて判定する、
    画像処理装置。
  7. 　請求項３において、
    　前記情報削除判定部は、
    　前記情報記憶部から前記特定領域情報を削除するか否かを前記重要度に基づいて判定する、
    画像処理装置。
  8. 　請求項２において、
    　前記輝度情報算出部は、
    　前記画像データをF×G個(F,G：任意の整数)のブロックに分割し、前記ブロックにおける輝度情報を算出する、
    画像処理装置。
  9. 　請求項２において、
    　前記輝度情報算出部は、
    　前記情報記憶部に記憶されている前記検出結果,または,最新の入力画像データにおいて前記特定領域検出部にて検出される検出結果に基づいて前記画像データをブロックに分割し、前記ブロックにおける輝度情報を算出する、
    画像処理装置。
  10. 　請求項８または９において、
    　前記輝度情報算出部は、
    　最新の入力画像データにおいて前記特定領域検出部にて検出される検出結果に基づいて任意のブロックにおける輝度情報を算出する、
    画像処理装置。
  11. 　請求項２において、
    　前記特定領域は、人の顔の領域である、
    画像処理装置。
  12. 　光学レンズを介して入射した被写体光を受光して撮像信号に変換して出力する撮像素子と、

    　前記撮像素子から出力された撮像信号をデジタル信号に変換するアナログ信号処理部と、
    　前記アナログ信号処理部から出力されたデジタル信号に対して所定の信号処理を施すデジタル信号処理部と、
    　前記デジタル信号処理部が出力する画像データを入力画像データとして処理を行う請求項２に記載の画像処理装置と、
    を備える、
    撮像装置。
  13. 　入力された画像データを記憶するステップ(a)と、
    　前記画像データ内の特定領域を検出するステップ(b)と、
    　前記画像データ内の輝度情報を算出するステップ(c)と、
    　前記ステップ(b)における検出結果の重要度を算出するステップ(d)と、
    　前記ステップ(b)における検出結果と前記ステップ(c)により算出された輝度情報と前記ステップ(d)により算出された重要度とを含む特定領域情報,および,前記特定領域情報の個数を記憶するステップ(e)と、
    　前記特定領域情報を表示するか否かを前記重要度に基づいて判定するステップ(f)と、
    　ステップ(e)において記憶した前記特定領域情報を削除するか否かを前記重要度に基づいて判定するステップ(g)と、
    　前記ステップ(f)における判定に従って前記特定領域情報を表示するステップ(h)と、
    を備える、
    画像処理方法。
  14. 　請求項１３において、
    　前記特定領域は、人の顔の領域である、
    画像処理方法。
  15. 　入力された画像データを記憶するステップ(a)，
    　前記画像データ内の特定領域を検出するステップ(b)，
    　前記画像データ内の輝度情報を算出するステップ(c)，
    　前記ステップ(b)における検出結果の重要度を算出するステップ(d)，
    　前記ステップ(b)における検出結果と前記ステップ(c)により算出された輝度情報と前記ステップ(d)により算出された重要度とを含む特定領域情報,および,前記特定領域情報の個数を記憶するステップ(e)，
    　前記特定領域情報を表示するか否かを前記重要度に基づいて判定するステップ(f)，
    　ステップ(e)において記憶した前記特定領域情報を削除するか否かを前記重要度に基づいて判定するステップ(g)，
    　前記ステップ(f)における判定に従って前記特定領域情報を表示するステップ(h)，
    をコンピュータに実行させるための画像処理プログラム。
  16. 　請求項１５において、
    　前記特定領域は、人の顔の領域である、
    画像処理プログラム。
PCT/JP2009/003441 2008-09-08 2009-07-22 画像処理装置、画像処理方法、画像処理プログラム、撮像装置 WO2010026696A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN2009801338332A CN102138322A (zh) 2008-09-08 2009-07-22 图像处理装置、图像处理方法、图像处理程序、摄像装置
US12/985,665 US20110102454A1 (en) 2008-09-08 2011-01-06 Image processing device, image processing method, image processing program, and imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008229858A JP2010068030A (ja) 2008-09-08 2008-09-08 画像処理装置、画像処理方法、画像処理プログラム、撮像装置
JP2008-229858 2008-09-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/985,665 Continuation US20110102454A1 (en) 2008-09-08 2011-01-06 Image processing device, image processing method, image processing program, and imaging device

Publications (1)

Publication Number Publication Date
WO2010026696A1 true WO2010026696A1 (ja) 2010-03-11

Family

ID=41796882

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/003441 WO2010026696A1 (ja) 2008-09-08 2009-07-22 画像処理装置、画像処理方法、画像処理プログラム、撮像装置

Country Status (4)

Country Link
US (1) US20110102454A1 (ja)
JP (1) JP2010068030A (ja)
CN (1) CN102138322A (ja)
WO (1) WO2010026696A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101058726B1 (ko) * 2009-11-11 2011-08-22 삼성전자주식회사 조명 성분을 제거하기 위한 이미지 보정 장치 및 방법
JP2012213092A (ja) * 2011-03-31 2012-11-01 Sony Corp ドアホン装置、来訪者評価方法及びドアホンシステム
US9521355B2 (en) * 2012-12-04 2016-12-13 Samsung Electronics Co., Ltd. Image processing apparatus, image processing method and program thereof
WO2015115104A1 (ja) 2014-01-29 2015-08-06 京セラ株式会社 撮像装置、カメラシステム、および信号出力方法
CN106156312B (zh) * 2016-06-30 2019-07-26 维沃移动通信有限公司 信息处理的方法及移动终端
CN106373158B (zh) * 2016-08-24 2019-08-09 广东杰思通讯股份有限公司 自动化图像检测方法
JP7222683B2 (ja) * 2018-12-06 2023-02-15 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
CN110825337B (zh) * 2019-11-27 2023-11-28 京东方科技集团股份有限公司 显示控制方法、装置、电子设备以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007274207A (ja) * 2006-03-30 2007-10-18 Fujifilm Corp 画像表示装置、撮像装置および画像表示方法
JP2008040709A (ja) * 2006-08-04 2008-02-21 Sony Corp 顔検出装置、撮像装置および顔検出方法
JP2008131405A (ja) * 2006-11-21 2008-06-05 Sony Corp 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3731584B2 (ja) * 2003-03-31 2006-01-05 コニカミノルタフォトイメージング株式会社 撮像装置、およびプログラム
US7844076B2 (en) * 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
JP4130641B2 (ja) * 2004-03-31 2008-08-06 富士フイルム株式会社 ディジタル・スチル・カメラおよびその制御方法
JP4867365B2 (ja) * 2006-01-30 2012-02-01 ソニー株式会社 撮像制御装置、撮像装置および撮像制御方法
JP4819001B2 (ja) * 2006-07-25 2011-11-16 富士フイルム株式会社 撮影装置および方法並びにプログラム、画像処理装置および方法並びにプログラム
JP4218720B2 (ja) * 2006-09-22 2009-02-04 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4254873B2 (ja) * 2007-02-16 2009-04-15 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007274207A (ja) * 2006-03-30 2007-10-18 Fujifilm Corp 画像表示装置、撮像装置および画像表示方法
JP2008040709A (ja) * 2006-08-04 2008-02-21 Sony Corp 顔検出装置、撮像装置および顔検出方法
JP2008131405A (ja) * 2006-11-21 2008-06-05 Sony Corp 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム

Also Published As

Publication number Publication date
CN102138322A (zh) 2011-07-27
JP2010068030A (ja) 2010-03-25
US20110102454A1 (en) 2011-05-05

Similar Documents

Publication Publication Date Title
WO2010026696A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム、撮像装置
EP2928180B1 (en) Image processing apparatus, method for controlling image processing apparatus and program
JP6244655B2 (ja) 画像処理装置および画像処理方法
US10810438B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
JP5399502B2 (ja) 追尾対象選択装置、方法、プログラム及び回路
JP6525611B2 (ja) 画像処理装置およびその制御方法
JP5450791B2 (ja) 立体表示装置及び立体撮影装置、並びに利き目判定方法及びこれに用いる利き目判定プログラム並びに記録媒体
JP6226539B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
KR20210028218A (ko) 이미지 처리 방법과 장치, 전자 기기 및 저장 매체
CN109902725A (zh) 移动目标的检测方法、装置及电子设备和存储介质
EP3629570A2 (en) Image capturing apparatus and image recording method
US20170344858A1 (en) Control device, control method, and computer program product
CN109451240B (zh) 对焦方法、装置、计算机设备和可读存储介质
JP5822545B2 (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
KR20190027079A (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
CN109981989B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
JP2019007993A (ja) 撮像装置、その制御方法、および制御プログラム
JP6175583B1 (ja) 画像処理装置、実寸法表示方法、及び実寸法表示処理プログラム
US9307142B2 (en) Imaging method and imaging apparatus
TWI694719B (zh) 影像處理方法，電子裝置及非暫態電腦可讀取儲存媒體
JP2021005168A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、及びプログラム
JP2019041188A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
CN113168823A (zh) 显示控制方法、电子设备及计算机可读存储介质
JP2018006803A (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP2016220148A (ja) 制御装置、制御方法、システム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980133833.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09811226

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09811226

Country of ref document: EP

Kind code of ref document: A1