WO2017130407A1 - 情報生成装置、情報生成方法、情報生成プログラム及び記録媒体 - Google Patents

情報生成装置、情報生成方法、情報生成プログラム及び記録媒体 Download PDF

Info

Publication number
WO2017130407A1
WO2017130407A1 PCT/JP2016/052786 JP2016052786W WO2017130407A1 WO 2017130407 A1 WO2017130407 A1 WO 2017130407A1 JP 2016052786 W JP2016052786 W JP 2016052786W WO 2017130407 A1 WO2017130407 A1 WO 2017130407A1
Authority
WO
WIPO (PCT)
Prior art keywords
inclination
information
vine
face
straight line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/052786
Other languages
English (en)
French (fr)
Inventor
良司 野口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Japan Automobile Research Institute Inc
Original Assignee
Pioneer Corp
Japan Automobile Research Institute Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp, Japan Automobile Research Institute Inc filed Critical Pioneer Corp
Priority to JP2017563651A priority Critical patent/JP6697006B2/ja
Priority to PCT/JP2016/052786 priority patent/WO2017130407A1/ja
Publication of WO2017130407A1 publication Critical patent/WO2017130407A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Definitions

  • the present application relates to a technical field such as an information generation apparatus that creates direction information indicating a direction in which a face is facing based on an image of a head image.
  • Patent Literature 1 acquires the position and size of a reflected image of light on spectacles worn by the subject, and estimates the position of the subject's face based on the position and size of the reflected image. To do.
  • the present invention can create direction information indicating the direction in which the face is facing based on the image captured by the camera even when the face is in the lateral direction with respect to the camera. It is an object to provide a generation device and the like.
  • the invention according to claim 1 is based on detection means for detecting the inclination of the characteristic portion of the wearing object in an image obtained by photographing the head wearing the wearing object from the side, and the inclination of the characteristic part detected by the detection means. And generating means for generating face direction information indicating the direction in which the face is facing.
  • the invention according to claim 6 is an information generation method performed by the information generation apparatus, and includes a detection step of detecting an inclination of a characteristic portion of the wearing object in an image obtained by photographing a head wearing the wearing object from a side surface; A generation step of generating face direction information indicating a direction in which the face is facing based on the inclination of the feature detected by the detection step.
  • a detecting means for detecting the inclination of the characteristic portion of the wearing object in an image obtained by photographing the head of the wearing object from the side, and the characteristic portion detected by the detecting means. It is made to function as a production
  • a detection means for detecting a tilt of a characteristic portion of the wearing object in an image obtained by photographing the head of the wearing object from a side surface, and the feature portion detected by the detecting means. It is a computer-readable recording medium having recorded thereon an information generation program that functions as generation means for generating face direction information indicating the direction in which the face is directed from an inclination.
  • FIG. 1 is a block diagram of an information generation device 1.
  • FIG. It is an example of the block diagram of the face orientation determination apparatus D.
  • 3 is a functional block diagram illustrating a configuration example for realizing a function of a determination device D.
  • FIG. It is a flowchart which shows the operation example at the time of the determination apparatus D determining the direction of a face. It is a flowchart which shows an example of the spectacles wear determination process by the determination apparatus D.
  • (A) is the image which image
  • (B) is the image which image
  • (C) is the vine part of spectacles of the pattern C It is the image which photographed.
  • 12 is a flowchart illustrating an example of eyeglass orientation determination processing by the determination device D.
  • 5 is a flowchart illustrating an example of a first pitch angle determination process performed by a determination device D. It is a figure showing the relationship between the pitch angle of the spectacles of the pattern A, and the inclination of a vine part straight line. It is a flowchart which shows an example of the vine part straight line extraction process by the determination apparatus D.
  • 10 is a flowchart illustrating an example of a second pitch angle determination process by the determination device D. It is a figure showing the relationship between the pitch angle of the spectacles of the pattern B, and the inclination of a vine part straight line.
  • FIG. 5 is a flowchart illustrating an example of a yaw angle determination process performed by a determination device D. It is a figure which shows the relationship between the direction of spectacles, and the inclination of a vine part straight line.
  • 10 is a flowchart illustrating an example of face orientation determination processing by a determination device D.
  • A) is an example figure which shows the vine part whose shape of a vine is a special pattern.
  • the information generating apparatus 1 includes a detecting unit 111A, a generating unit 111B, a storage control unit 111C, and a storage unit 111D. Note that the storage means may be provided outside the information generating apparatus 1.
  • Detecting means 111A detects the inclination of the characteristic part of the wearing object in an image obtained by photographing the head wearing the wearing object from the side.
  • the wearing items include glasses and a mask.
  • a characteristic part is a part located in the side surface of the head in a wearing thing.
  • edge of spectacles or a mask is mentioned. More specifically, it is “vine” in the case of glasses, and “string” to be worn on the ear in the case of a mask.
  • the generating unit 111B generates face direction information indicating the direction in which the face is facing based on the inclination of the feature detected by the detecting unit 111A.
  • the direction in which the face is directed is indicated by, for example, a pitch angle (vertical angle) and a yaw angle (lateral angle).
  • the generation unit 111B generates wearing object direction information indicating the direction in which the wearing object is directed from the inclination of the feature part, and indicates a difference between the reference direction and the face direction when the wearing object faces the reference direction. Based on the difference information, the face direction information is generated by correcting the wearing direction information. As a result, correct face direction information can be generated even when the direction in which the attachment is facing does not match the direction in which the face is facing.
  • the information generation device 1 even when the face is directed laterally with respect to the camera, face direction information indicating the direction in which the face is directed is created based on the image of the head taken by the camera. can do.
  • the storage unit 111D may store the inclination information indicating the inclination of the characteristic portion and the generated face direction information in association with each other.
  • the generation unit 111B associates with the inclination information when inclination information indicating an inclination whose difference from the inclination of the characteristic portion detected by the detection unit 111A is equal to or less than the threshold is stored in the storage unit 111D.
  • the stored face direction information is acquired.
  • the threshold value is a value for determining a width in which the inclination of the characteristic portion detected by the detection unit 111A and the inclination indicated by the inclination information stored in the storage unit 111D can be regarded as substantially the same inclination.
  • the generation unit 111B does not generate new face direction information when the newly detected inclination of the feature is almost the same as the inclination of the feature when the face direction information was generated in the past. Therefore, it is possible to reduce the processing load related to the process for generating the face direction information from the inclination of the feature part.
  • the detection unit 111A detects a line indicating the edge of the feature
  • the generation unit 111B detects the inclination of the two lines and the distance between the two lines when the detection unit 111 detects the two lines.
  • the type information indicating the type of the wearing object may be further generated.
  • the storage control unit 111C further associates the type information with the tilt information and the face direction information and stores the type information in the storage unit 111D.
  • the generation unit 111B newly generates the type information
  • the storage unit 111D generates the type information.
  • the face direction information associated with the type information indicating the same type as the type information may be acquired.
  • the inclination of the characteristic portion and the face direction information are stored in association with each type. Can be made. Therefore, when wearing the same type of attachment as the one used to generate face direction information in the past, the newly detected inclination of the feature is the characteristic when the face direction information was generated in the past. When it is almost the same as the inclination of the part, it is not necessary to newly generate face direction information, so the processing load related to the process for generating the face direction information from the inclination of the characteristic part can be reduced.
  • the storage control unit 111C stores the face direction information generated by the generation unit 111B in the storage unit 111D, and the generation unit 111B includes a plurality of directions indicated by the face direction information when generating new face direction information. If there is a candidate, the face direction information may be generated based on at least one face direction information stored within a predetermined period. This prevents generation of face direction information indicating a direction far from the direction indicated by the latest face direction information even if there are a plurality of candidates as the direction indicated by the face direction information for some reason. can do.
  • Example described below is an Example at the time of applying this invention to the face direction determination apparatus D (Hereinafter, it may be called "determination apparatus D.”).
  • the determination apparatus D detects the edge of the vine of the glasses from an image obtained by photographing the head of the subject wearing the glasses, and calculates the inclination of the edge, thereby determining the direction of the glasses and the direction of the face. Determine.
  • the determination device D can determine the orientation of the face based on the inclination of the vine edge of the glasses.
  • the edge of the eyeglasses is detected from the image (determined that the eyeglasses are worn)
  • the direction of the vertical direction (sometimes referred to as the pitch direction) and the horizontal direction (sometimes referred to as the yaw direction) of the glasses / face camera with respect to the camera is determined.
  • the determination device D is roughly configured to include a control unit 111, a storage unit 112, a communication unit 113, a display unit 114, and an operation unit 115.
  • the storage unit 112 is configured by a hard disk drive, for example, and stores various programs including an OS (Operating System) and a face orientation determination program for determining the face orientation. In addition, the storage unit 112 stores an image captured by the camera C and various data used for the face orientation determination program.
  • OS Operating System
  • face orientation determination program for determining the face orientation.
  • the storage unit 112 stores an image captured by the camera C and various data used for the face orientation determination program.
  • the I / F unit 113 controls data exchange with the camera C.
  • the camera C is installed in front of the subject's face and photographs the subject's head.
  • the display unit 114 is configured by, for example, a liquid crystal display or the like, and displays an image or the like taken by the camera C.
  • the operation unit 115 includes, for example, a keyboard, a mouse, and the like, and receives an operation instruction from an operator and outputs the instruction content to the control unit 111 as an instruction signal.
  • the control unit 111 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like.
  • the CPU implements various functions by reading and executing various programs including the face orientation determination program stored in the ROM or the storage unit 112.
  • FIG. 3 is a functional block diagram illustrating a configuration example for realizing the function of the determination device D.
  • the control unit 111 of the determination apparatus D executes the face orientation determination program, thereby causing the image acquisition unit 11, the spectacle vine region determination unit 12, the spectacle wear determination unit 13, the edge detection unit 14, the vine straight line detection unit 15, and the spectacles. It operates as a direction determination unit 16, a linear inclination calculation unit 17, a pitch direction determination unit 18, a yaw direction determination unit 19, a face direction determination unit 21, and a direction information generation unit 22.
  • the image acquisition unit 11 acquires an image in which the camera C images the head (face).
  • the glasses vine region determination unit 12 determines whether the face is facing sideways (for example, 30 degrees or more in the horizontal direction) from the image, and determines the region next to the eye as the vine region where the glasses vine exists.
  • the edge detection unit 14 detects an edge (a line representing the boundary of the vine portion in the image) in the region, and detects the vine portion straight line from the edge detected by the vine portion straight line detection unit 15.
  • the glasses wearing determination unit 13 determines whether glasses are worn depending on whether a vine straight line is detected.
  • the linear inclination calculation unit 17 calculates the inclination of the vine line
  • the pitch direction determination unit 18 determines the angle of the pitch direction of the glasses from the inclination
  • the yaw direction determination unit 19 Determines the angle of the glasses in the yaw direction.
  • the slope of the vine part straight line the slope of the upper edge straight line (line indicating the upper boundary of the vine part) and the slope of the lower edge straight line (line indicating the lower boundary of the vine part), or the upper edge straight line or the lower edge straight line Either one of the slopes can be used.
  • the face direction determination unit 21 determines the face direction based on the determined spectacle direction and the face direction reference information (an example of difference information), and the direction information generation unit 22 determines the face direction.
  • the direction information shown is generated.
  • FIG. 4 is a flowchart illustrating an example of the determination process of the determination device D.
  • control unit 111 as the image acquisition unit 11 acquires an image in which the camera C images the subject's head (step S ⁇ b> 11).
  • control unit 111 as the eyeglass vine region determination unit 12 determines whether or not the face shown in the image acquired in the process of step S11 is in the horizontal direction (step S12). Specifically, facial features (eyes, nose, mouth, ears, etc.) are extracted by a conventionally known method, and the orientation of the face is determined based on the positional relationship. In this embodiment, when the yaw angle is 30 degrees or more, it is determined to be in the landscape orientation.
  • step S12 determines that the face is not in the horizontal direction (step S12: NO).
  • step S12 determines that the face is sideways (step S12: YES)
  • step S13 determines a vine region in the image (step S13). Specifically, the x-coordinate standard and y-coordinate standard of the hanging area are determined based on the positions of the eyes, eyebrows, ears, nose, facial contour characteristics, and the like, and the hanging area is determined.
  • control unit 111 as the spectacle wear determination unit 13 performs spectacle wear determination processing (step S14).
  • spectacle wearing determination process will be described with reference to the flowchart of FIG.
  • control unit 111 as the edge detection unit 14 cuts out an image of the vine region determined in the process of step S13 (step S31).
  • control unit 111 performs edge detection on the image of the vine region (step S32).
  • edge detection a general edge detection method such as the Canny method can be used.
  • the control part 111 as the vine part straight line detection part 15 performs a vine part straight line detection process (step S33).
  • general straight line detection processing such as Hough transform is performed on the binarized image subjected to edge detection.
  • a general method such as a Hough transform can be used as a method for detecting a straight line representing the vine portion (vine portion straight line).
  • a straight line other than the straight line representing the vine part may be detected.
  • step S34 determines whether or not the vine portion straight line has been detected.
  • step S34: YES determines that the vine straight line has been detected
  • step S35 ends the process of the flowchart.
  • step S36 determines with not wearing glasses
  • a YES / NO determination may be made based on the number of detected straight lines. For example, (1) YES is determined when at least one straight line is detected, (2) YES is determined when two straight lines are detected, and (3) two or more straight lines are detected. It is good also as determining with YES in that case.
  • a straight line other than the straight line representing the vine portion (for example, a straight line representing the hairline) may be detected.
  • two straight lines having close inclinations are detected.
  • the number of images that can be detected with the straight line of the vine is greater than or equal to a predetermined number. It may be determined that the user is wearing glasses, and if the number is less than the predetermined number, it may be determined that the user is not wearing glasses. Thereby, even if a vine part straight line is erroneously detected by image processing, a robust vine part straight line detection process can be performed without being affected by such noise.
  • step S15 of FIG. 4 determines whether or not glasses are worn based on the processing result of step S14 (step S15).
  • step S15 NO
  • step S11 When the process proceeds to step S11 and glasses are worn (step S15: YES), glasses direction determination processing described later with reference to FIGS. 6 to 15 is performed (step S16).
  • control unit 111 performs a face orientation determination process described later with reference to FIG. 16 (step S17).
  • step S18 determines whether or not to continue the determination process.
  • step S18: YES the control unit 111 proceeds to the process of step S11, and when it is determined that the determination process is not to be continued (step S18: NO), the flowchart.
  • the eyeglasses are worn for three patterns of eyeglasses having different inclinations of the upper edge straight line and the lower edge straight line.
  • An example of determination processing is shown.
  • 6A shows the vine portion of the pattern A glasses
  • FIG. 6B shows the vine portion of the pattern B glasses
  • FIG. 6C shows the vine portion of the pattern C glasses.
  • the upper edge straight line 200U and the lower edge straight line 200L are substantially parallel and the interval is about 3 mm.
  • the inclination of the upper edge straight line 200U and the inclination of the lower edge straight line 200L are almost the same, so even if only one of the upper edge straight line 200U or the lower edge straight line 200L can be detected Therefore, the pitch angle of the glasses (face) can be determined.
  • the vine portion width is large (about 10 mm), and when the vine portion is far from the lens portion, the vine portion width is thin (about 2 mm).
  • the eyeglasses of pattern B since the inclination of the upper edge straight line 200U and the inclination of the lower edge straight line 200L are different, when only either the upper edge straight line 200U or the lower edge straight line 200L is detected, the eyeglasses are determined from the edge straight line. In order to determine the pitch angle of (face), it is determined whether one detected edge straight line is the upper edge straight line 200U or the lower edge straight line 200L, and the upper edge straight line 200U (or the lower edge) is determined.
  • the inclination with respect to the reference angle needs to be found.
  • the reference is determined such that the inclination of the upper edge straight line 200U is 10 degrees and the inclination of the lower edge straight line 200L is 0 degree, and the detected single edge straight line is the upper edge straight line. If either 200U or the lower edge straight line 200L is known, one edge straight line (even when wearing spectacles of pattern B in which the inclination of the upper edge straight line 200U and the inclination of the lower edge straight line 200L are different)
  • the pitch angle of the glasses (face) can be determined.
  • the width of the vine portion becomes thicker (about 7 mm) when the vine portion is closer to the lens portion, and the width of the vine portion becomes thinner (about 4 mm) when it is farther from the lens portion. However, it is not as thin as pattern B.
  • the control unit 111 as the eyeglass orientation determination unit 16 determines whether or not there is one vine straight line detected in the process of step S33 (step S51).
  • step S51: YES the control unit 111 performs a first pitch angle determination process, which will be described later with reference to FIG. 8 (step S52), and the process of step S56.
  • step S53 the control unit 111 determines whether there are two vine straight lines detected in the process of step S33.
  • step S53: NO determines that the number of detected vine straight lines is not two (three or more)
  • step S54 performs vine straight line extraction processing described later with reference to FIG. 11
  • step S55 a second pitch angle determination process described later with reference to FIG. 12 is performed
  • step S55 determines that there are two detected vine straight lines
  • step S55 determines that there are two detected vine straight lines
  • step S55 performs a second pitch angle determination process, which will be described later with reference to FIG. 12 (step S55). The process proceeds to S56.
  • control unit 111 performs a yaw angle determination process to be described later with reference to FIG. 15 (step S56).
  • the controller 111 determines the pitch angle of the glasses determined in the first pitch angle determination process in step S52 or the second pitch angle determination process in step S55 and the yaw of the glasses determined in the yaw angle determination process in step S56.
  • the spectacle direction information indicating the corner is generated (step S57), and the spectacle direction determination process is terminated.
  • the first pitch angle determination process is a process of determining the angle of the pitch direction facing the glasses from the inclination when there is one vine straight line.
  • control unit 111 as the spectacle direction determination unit 16 determines whether or not the type of the spectacles worn is type A (step S71). Specifically, for example, the user or the person who performs face orientation determination inputs in advance which type of glasses is worn, and the determination is made based on the input result.
  • step S71 NO
  • step S71: NO it is determined whether the vine straight line is the upper edge or the lower edge, and it is determined whether the inclination with respect to the reference angle is determined.
  • the control unit 111 determines “NO” because there are two detected vine straight lines, but the designer of the determination device D determines the processing load.
  • the designer In order to reduce the pitch angle with only the upper edge or the lower edge (that is, one vine straight line) instead of the two vine straight lines, the designer must determine whether the upper edge or the lower edge. Is set in advance.
  • the control unit 111 determines whether the vine straight line is the upper edge or the lower edge. Is determined to be confirmed. Further, depending on whether table information indicating an inclination corresponding to the reference angle is stored in advance in the storage unit 112 for the upper edge or the lower edge (edge set in advance by the designer) of the type of eyeglasses to be processed. Then, the control unit 111 determines whether or not an inclination with respect to the reference angle is determined. That is, when two vine line straight lines are detected and the designer wants to determine the pitch angle with one vine line line to reduce the processing load, the designer selects the upper edge or the lower edge.
  • Preliminarily setting and preparing table information indicating the inclination corresponding to the reference angle for the set edge allows the control unit 111 to determine “YES” in the process of step S72.
  • the pitch angle can be determined by a partial straight line. If the control unit 111 determines “NO” (step S ⁇ b> 72: NO), the first pitch angle determination process ends. On the other hand, if the control unit 111 determines “YES” (step S72: YES), the control unit 111 proceeds to the process of step S73.
  • step S71 determines that the type is A in the process of step S71 (step S71: YES)
  • the control unit 111 proceeds to the process of step S73.
  • control unit 111 as the linear inclination calculating unit 17 calculates the inclination of the vine straight line detected in the process of step S33 (step S73).
  • control unit 111 as the pitch direction determination unit 18 performs pitch angle determination based on the inclination of the vine line (step S73), and ends the first pitch angle determination process.
  • FIG. 9 shows the direction of the glasses of pattern A and the inclination of the upper edge straight line and the lower edge straight line of the vine.
  • the inclination (U) of the upper edge straight line 200U and the inclination (L) of the lower edge straight line 200L are substantially the same, and as described above, from the inclination of either the upper edge straight line 200U or the lower edge straight line 200L.
  • the pitch angle can be determined.
  • the control unit 111 sets the threshold of the vine straight line by appropriately setting a threshold for the inclination of the vine straight line as follows.
  • the pitch angle of the glasses can be determined from the inclination.
  • the vine part straight line extraction process is a process of extracting two vine part straight lines when there are three or more vine part straight lines.
  • the pitch angle is determined by the second pitch angle determination process based on the two vine straight lines.
  • the control unit 111 as the eyeglass orientation determination unit 16 determines whether or not there is vine part straight line information stored in the past (step S91).
  • the vine part straight line information is information when two vine straight lines are properly detected (step S33) or extracted (step S54), and the inclination, length, interval, and positional relationship between the two straight lines. It is information which shows etc.
  • the vine line information information stored in advance is used, or information stored about the currently processed straight line (the inclination of the straight line is stored in the process of step S94, and the length of the straight line is determined in step S97. And the interval between straight lines is stored in the process of step S98).
  • step S91: NO When it is determined that there is no vine portion straight line information stored in the past (step S91: NO), the control unit 111 proceeds to the process of step S94. On the other hand, when it is determined that there is the vine portion straight line information stored in the past (step S91: YES), the control unit 111 then determines whether or not the vine portion straight line information is used (step S92).
  • step S92 determines not to use the vine line information
  • step S92: NO determines whether the vine line information is to be used
  • step S92: YES determines whether the vine line information is to be used
  • step S93 determines whether the vine line information is to be used.
  • the control unit 111 extracts two vine line lines using the vine line information stored in the past (step S93). )
  • the vine portion straight line extraction process is terminated. Specifically, the two vine straight lines that are most similar to the information indicated by the vine straight line information are extracted. For example, a process of selecting a difference in inclination between the upper edge straight line 200U and the lower edge straight line 200L that is close to the difference in inclination between the two vine straight lines indicated by the stored vine straight line information, or the difference greatly exceeds. Alternatively, a process for excluding one of two significantly smaller straight lines can be performed.
  • the control unit 111 excludes a straight line having a significantly different inclination from the other straight lines among the three or more vine part straight lines extracted in the process of step S33 (step S94).
  • a straight line having a significantly different inclination from the other straight lines among the three or more vine part straight lines extracted in the process of step S33 (step S94).
  • the inclination is larger (steep slope) than the actual vine straight line, so such a straight line is excluded.
  • the control unit 111 determines whether or not appropriate two vine part straight lines have been extracted (step S95). Specifically, in this process, it is determined whether two vine part straight lines can be extracted, and whether the two vine part straight lines are appropriate as lengths, inclinations, intervals, and the like. When it is determined that the appropriate two vine part straight lines have been extracted (step S95: YES), the control unit 111 ends the vine part straight line extraction process. On the other hand, if it is determined that the appropriate two vine straight lines have not been extracted (step S95: NO), the control unit 111 then excludes straight lines that are significantly different in length from the other vine straight lines (step S95: NO). Step S96).
  • control unit 111 determines whether or not appropriate two vine portion straight lines have been extracted in the same manner as the processing in step S95 (step S97). When it is determined that the appropriate two vine part straight lines have been extracted (step S97: YES), the control unit 111 ends the vine part straight line extraction process. On the other hand, if it is determined that the appropriate two vine straight lines have not been extracted (step S97: NO), the control unit 111 then eliminates straight lines that create an inappropriate distance between the straight lines (step S98). ). For example, in a plurality of intervals formed by straight lines, straight lines that make a large gap from the others are removed.
  • control unit 111 determines whether or not appropriate two vine portion straight lines have been extracted in the same manner as in step S95 (step S99). When it is determined that the appropriate two vine part straight lines have been extracted (step S99: YES), the control unit 111 ends the vine part straight line extraction process. On the other hand, if it is determined that the appropriate two vine straight lines cannot be extracted (step S99: NO), the control unit 111 proceeds to the process of step S11 in FIG.
  • vine portion straight line extraction processing an example of processing for extracting appropriate two vine portion straight lines (upper edge straight line 200U and lower edge straight line 200L) has been described. However, two appropriate vine portion straight lines are extracted.
  • the method may be a method other than the method described individually.
  • the second pitch angle determination process is a process of determining an angle in the pitch direction of the glasses from the inclination when there are two vine straight lines.
  • the control unit 111 as the pitch direction determination unit 18 determines a spectacle pattern from two vine straight lines, and generates pattern information indicating the spectacle pattern (step S111).
  • the spectacles pattern is determined based on at least one of the inclination of the two vine straight lines or the interval between the two vine straight lines. For example, determining a slope E U of upper edge straight, slope E L is approximately equal to the lower edge straight line (the difference in inclination is less than 3 degrees) as a pattern A in the case. Further, it is determined that if the difference between the E U and E L is less than 3 degrees 8 degrees is a pattern B. Further, it is determined that if the difference between the E U and E L is less than 8 degrees 15 degrees or more is a pattern C. The basis for this will be described below.
  • FIG. 12 is a diagram illustrating an example of the relationship between the pattern B eyeglass direction and the inclination of the upper edge straight line 200U and the lower edge straight line 200L.
  • the inclination E U vine portion on the edge straight 200 U, a gradient difference E L vine subordinates edge straight 200L becomes as follows.
  • FIG. 13 is a diagram illustrating an example of the relationship between the direction of the glasses of the pattern C and the inclination of the vine portion upper edge straight line 200U and the lower edge straight line 200L.
  • the inclination E U vine portion on the edge straight 200 U, a gradient difference E L vine portion on the edge straight line 200L becomes as follows.
  • the inclination E U vine portion on the edge straight line 200 U when the difference between the inclination E L vine subordinates edge straight 200L of about 7 degrees to about 8 degrees, is possible to determine the spectacle pattern using the pitch angle information (For example, when the difference is about 7 degrees and the pitch angle is 20 degrees, the glasses of the pattern B are used, and when the difference is about 7 degrees and the pitch angle is 10 degrees, the glasses of the pattern C are used).
  • the process of determining the spectacle pattern may be performed using a plurality of images instead of using only one image. In such a case, the determination accuracy is improved.
  • the pattern of the glasses when determining the pattern of the glasses based on the distance between the two vine straight lines, if the distance is constant, it is determined as the pattern A glasses, and the distance between one end and the other is different and When the interval is greater than or equal to the threshold, it is determined that the pattern B is spectacles, and when the interval between the one end and the other end is different and the interval is less than the threshold, the pattern C can be determined.
  • the control unit 111 determines whether there is vine linear inclination information stored in the past (step S112).
  • the past can be set as appropriate.
  • the past may be 1 second before or 5 frames when shooting at 10 fps (vine straight line)
  • the inclination information may be stored every image or periodically (every several frames).
  • the vine part straight line inclination information is information indicating the inclination of two vine part straight lines included in the vine part straight line information.
  • step S112 determines that there is vine straight line inclination information stored in the past (step S112: YES), whether the past vine straight line inclination is different from the current vine straight line inclination or not. Is determined (step S113). Specifically, the difference in inclination between the two previous vine straight lines and the difference in inclination between the two current vine straight lines are compared to determine whether the glasses are of different types.
  • step S113 When it is determined that the inclination of the past vine straight line is different from the inclination of the current vine straight line (step S113: YES), the control unit 111 attaches and detaches glasses (different from the type of glasses worn in the past). (Step S114), the current vine linear inclination information is stored in the storage unit 112 (Step S115), and the process proceeds to Step S116. On the other hand, if the control unit 111 determines that the inclination of the past vine line is not different from the inclination of the current vine line (step S113: NO), the process proceeds to step S116.
  • control unit 111 as the pitch direction determination unit 18 performs the pitch angle determination based on the inclination of the two vine portion straight lines (step S116).
  • the pitch angle determination based on the inclination of the two vine straight lines will be specifically described.
  • the pitch angle of the pattern B glasses and the inclinations of the upper edge straight line and the lower edge straight line on the vine are examined. If the slope of the vine upper edge straight line is E U and the slope of the vine lower edge straight line is E L , the control unit 111 ⁇ “E U ⁇ 37 [degrees]” and “E L ⁇ 28 [degrees]” ⁇ 20 degrees or more above ⁇ “28.5 [degrees] ⁇ E U ⁇ 37 [degrees]” and “15 [degrees] ⁇ E L ⁇ 28 [degree]] ⁇ Up 10 degrees ⁇ “10 [degree] ⁇ E U ⁇ 28.5 [degree]” and “0 [degree] ⁇ E L ⁇ 15 [degree]” ⁇ Up and down 0 degree ⁇ “0 [Degree] ⁇ E U ⁇ 10 [degree] ”and“ ⁇ 15 [degree] ⁇ E L ⁇ 0 [degree]
  • control unit 111 similarly applies the pattern C glasses.
  • the pitch angle of the glasses is determined by performing the same determination as step S74 on the slope of one of the edge straight lines. can do.
  • the inclination information of the vine edge of the pitch angle may be stored and used thereafter for setting the threshold value of the conditional expression.
  • control unit 111 causes the storage unit 112 to store the pitch angle determined in the process of step S116 in association with the inclinations of the two vine part straight lines (step S117), and ends the second pitch angle determination process. To do.
  • the yaw angle determination process is a process of determining the angle (yaw angle) in the yaw direction facing the glasses from the inclination of the vine straight line.
  • the control unit 111 as the yaw direction determination unit 19 determines whether or not the pitch angle determined in the process of step S74 or step S116 is a pitch angle at which the yaw angle can be determined (step S131). For example, as shown in FIG. 15, the inclination of the vine straight line at 0 degrees up and down is difficult to determine the yaw angle because the inclination of the vine straight line does not change even if the yaw angle changes. Based on that. Therefore, the control unit 111 determines that the yaw angle cannot be determined when the slope of the vine line is nearly horizontal.
  • control unit 111 determines that the yaw angle cannot be determined (step S131: NO)
  • the control unit 111 ends the yaw angle determination process.
  • the control unit 111 determines whether or not the yaw angle determination is performed using two vine straight lines. (Step S132).
  • step S52 determines the pitch angle in the first pitch angle determination process in step S52, or in the second pitch angle determination process, either the upper edge straight line 200U or the lower edge straight line 200L for the glasses of the pattern A
  • step S132 determines that the yaw angle determination is not performed with two vine line straight lines (that is, the yaw angle is determined with one vine straight line) (step S132: NO).
  • step S133 A yaw angle is determined based on the inclination of one vine straight line (step S133), and the yaw angle determination process is terminated.
  • the control unit 111 has a spectacle pitch angle of 0 degrees up and down, for example, E1 ⁇ 10 [degrees] ⁇ Yaw angle of glasses 30 degrees left E1 ⁇ 10 [degree] ⁇ Yaw angle of glasses 40 degrees or more can be determined to determine the yaw angle of glasses.
  • E1 ⁇ 10 [degrees] the left is 40 degrees or more, but the pitch angle having a difference in inclination is 0 In cases other than degrees, it is possible to discriminate between 40 degrees left and 50 degrees left.
  • the control unit 111 when the pitch angle of the glasses is 10 degrees above, the control unit 111, for example, ⁇ E1 ⁇ 25 [degrees] ⁇ Yaw angle left of glasses 30 degrees ⁇ 20 [degrees] ⁇ E1 ⁇ 25 [degrees] ⁇ Yaw angle left 40 degrees of glasses ⁇ E1 ⁇ 20 [degrees] ⁇ Yaw angle 50 degrees left of glasses.
  • the control unit 111 determines to perform the yaw angle determination with two vine straight lines (step S132). : YES) The yaw angle is determined based on the inclination of the two vine straight lines (step S134), and the yaw angle determination process is terminated.
  • the control unit 111 is configured such that when the pitch angle of the glasses is 0 degrees up and down, “E U ⁇ 25 [degrees]” and “E L > 13 [degrees]” ⁇ Yaw angle left 30 degrees of glasses ⁇ “18 [degrees] ⁇ E U ⁇ 25 [degrees]” and “9 [degrees] ⁇ E L ⁇ 13 [degrees] ” ⁇ Yaw angle left of glasses 40 degrees ⁇ “ E U ⁇ 18 [degrees] ”and“ E L ⁇ 9 [degrees] ⁇ Glasses yaw angle left 50 degrees ”
  • the yaw angle of the glasses can be determined.
  • the control unit 111 when the pitch angle of the glasses is 10 degrees above, the control unit 111, for example, “E U ⁇ 34 [degrees]” and “E L > 24 [degrees]” ⁇ Yaw angle left 30 degrees of glasses ⁇ “30 [degrees] ⁇ E U ⁇ 34 [degrees]” and “22 [degrees] ⁇ E L ⁇ 24 [degrees] ⁇ eyeglass left yaw angle 40 degrees ⁇ “E U ⁇ 30 [degrees]” and “E L ⁇ 22 [degrees] ⁇ glasses yaw angle left 50 degrees
  • the control unit 111 can determine the yaw angle of the glasses when the pitch angle of the glasses is 20 degrees above, for example, “E U ⁇ 50 [degrees]” and “E L > 40 [degrees]” ⁇ Yaw angle left 30 degrees of glasses ⁇ “42 [degrees ⁇ U U ⁇ 50 [degrees]” and “33 [degrees] ⁇ E L ⁇ 40 [degrees] ⁇ eyeglass left yaw
  • the face orientation determination process will be described using the flowchart of FIG. Since the yaw angle of the face coincides with the yaw angle of the glasses, the yaw angle of the glasses is determined as the face yaw angle. In the face orientation determination process, the pitch angle of the face is determined based on the pitch angle of the glasses.
  • the control unit 111 as the face orientation determination unit 21 refers to the face orientation reference information, and determines the face pitch angle from the pitch angle of the glasses determined in the process of step S74 or step S116 (step S151).
  • the pitch angle of the glasses does not match the pitch angle of the face from the position of the nose and the way of wearing the glasses. Even when the slope of the vine straight line is almost horizontal, the face direction is slightly upward in some individuals, and the face direction is slightly downward in some individuals. Therefore, reference information for obtaining the pitch angle of the face when the pitch angle of the glasses is 0 degrees up and down is required. In this embodiment, this reference information is referred to as face orientation reference information.
  • the face orientation reference information “+2 degrees” is generated.
  • the control unit 111 determines that the face pitch angle is 12 degrees upward. Note that by periodically correcting the face orientation reference information, the face pitch angle can be correctly determined even if the glasses are misaligned.
  • control unit 111 as the direction information generation unit 22 generates face direction information indicating the face direction (pitch angle and yaw angle) (step S152), and ends the face direction determination process.
  • the control unit 111 (an example of “detection unit” and “generation unit”) has a head mounted with spectacles (an example of “wear”) from the side.
  • the inclination of the vine part of the glasses (an example of “feature part”) in the photographed image is detected, and face direction information indicating the direction in which the face is facing is generated from the detected inclination of the vine part.
  • the determination apparatus D of the present embodiment even when the face is directed laterally with respect to the camera C, the direction in which the face is directed is indicated based on the image of the head taken by the camera C. Face direction information can be created.
  • control unit 111 generates eyeglass direction information (an example of “wearing object direction information”) indicating the direction in which the eyeglasses are directed from the inclination of the vine part, and the face when the eyeglasses face the reference direction is turned. Based on the face orientation reference information indicating the direction (an example of “difference information”), the face direction information is generated by correcting the eyeglass direction information. Accordingly, correct face direction information can be generated even when the direction in which the glasses are facing does not match the direction in which the face is facing.
  • eyeglass direction information an example of “wearing object direction information”
  • the control unit 111 determines the face direction based on the inclination of the vine straight line.
  • the length of the vine straight line may be added to the determination element to determine the face direction.
  • the straight line of the vine portion in the image is such that the surface on which the vine portion of the head is located faces the camera (for example, the face on which the vine portion on the right is located faces the camera when the face is turned to the left). Is based on becoming longer.
  • the control unit 111 stores the yaw angle of the face (glasses) and the length of the vine straight line in the image in association with each other and stores them in the storage unit 112 and corresponds to the detected length of the vine straight line.
  • the final yaw angle of the face (glasses) is determined. It may be determined. For example, the average value of both yaw angles can be the final yaw angle.
  • control unit 111 When the control unit 111 (an example of the “storage control unit 111C”) generates the face direction information, the control unit 111 associates the inclination information indicating the inclination of the straight line of the vine and the face direction information in association with the storage unit 112 (the “storage unit”). It may be stored in (example). At this time, if the storage unit 112 stores inclination information indicating an inclination whose difference from the newly detected inclination of the vine line is equal to or less than a threshold value, the control unit 111 stores the inclination information in association with the inclination information. It is good also as acquiring the face direction information currently performed.
  • control unit 111 when the inclination of the newly detected vine straight line is almost the same as the inclination of the vine straight line when the face direction information was generated in the past (when the difference is equal to or less than the threshold), Since it is not necessary to newly generate the face direction information, it is possible to reduce the processing load related to the process for generating the face direction information from the inclination of the vine straight line.
  • the control unit 111 detects the vine straight line (an example of “a line indicating the edge of the characteristic part”), and when two vine straight lines are detected, the two vine straight lines are detected.
  • Pattern information (an example of “type information”) indicating a spectacle pattern is generated based on at least one of the inclination and the interval between the two vine straight lines. Therefore, when the control unit 111 (an example of “storage control unit”) further stores the pattern information in the storage unit 112 in association with the tilt information and the face direction information, and newly generates the pattern information, the storage unit 112. It is also possible to obtain face direction information associated with pattern information indicating the same type as the generated pattern information.
  • each type can be specified by at least one of the slopes or intervals of the two lines, the slope of the vine straight line and the face for each type.
  • Direction information can be stored in association with each other. Therefore, when wearing the same type of spectacles as when the face direction information was generated in the past, the slope of the newly detected vine straight line is the vine part when the face direction information was generated in the past. When the inclination is almost the same as the inclination of the straight line, it is not necessary to newly generate face direction information. Therefore, it is possible to reduce the processing load related to the process for generating the face direction information from the inclination of the vine portion straight line.
  • the control unit 111 stores the generated face direction information in the storage unit 112 (an example of “storage unit”), and generates new face direction information.
  • face direction information indicating a direction closest to the direction indicated by at least one face direction information stored within a predetermined period may be generated.
  • the latest face direction information may be used as at least one face direction information stored within a predetermined period.
  • the control unit 111 is the case where the slope of the detected vine straight line is substantially the same value as the threshold value, and when determining which of the face orientations (angles) is distinguished by the threshold value, the control unit 111 stores it in the storage unit 112.
  • the angle close to the direction (angle) indicated by the latest face direction information is determined as the determination result. Thereby, even when there are a plurality of candidates as the direction indicated by the face direction information, it is possible to prevent generation of face direction information indicating a direction far from the direction indicated by the latest face direction information. .
  • the direction of the glasses (face) is determined based on the inclination of the straight line indicating the edge of the vine portion of the glasses, but the mask (face) is determined based on the inclination of the straight line indicating the edge of the string to be worn on the ear of the mask. It is good also as determining the direction of.
  • the face direction indicating the direction in which the face is directed is corrected by correcting the eyeglass direction information using the face orientation reference information for obtaining the face pitch angle when the pitch angle of the glasses is 0 degrees.
  • the direction (pitch angle and yaw angle) in which the face faces may be obtained from the inclination of the vine edge straight line.
  • the vine part edge straight line can be specified from the slope of the vine part edge straight line so that the face direction (pitch angle and yaw angle) can be specified. It is assumed that a threshold is set for the inclination of. For example, when the inclination of the vine upper edge straight line is 15 degrees or more and less than 35 degrees and the inclination of the vine lower edge straight line is 7 degrees or more and less than 20 degrees, the face orientation is 10 degrees pitch angle and yaw angle A threshold is set for the inclination that determines that the angle is 30 degrees. This is performed for each pattern of glasses.
  • the control unit 111 determines the direction in which the face is facing by generating a threshold value, and generates face direction information. Thereby, face direction information can be directly generated from the inclination of the vine part edge straight line.
  • the control unit 111 identifies the orientation of the driver's face based on the image photographed by the camera C.
  • the direction of the face when the driver is facing the front (the direction of travel of the car) (the direction of the face that is statistically dominant by shooting the driver's head continuously) is set to the reference direction (for example, The pitch angle is 10 degrees and the yaw angle is 20 degrees. These angles are obtained from the elevation angle when the camera C is installed, etc.), and the face direction is 10 pitch angles and yaw angles with reference to the reference direction.
  • the control unit 111 performs threshold determination on the slope of the vine part edge straight line, thereby specifying the direction in which the face is facing and generating face direction information. I will do it.
  • the upper edge straight line and the lower edge straight line can be detected, and therefore the same processing as in the above embodiment is possible.
  • the reference numeral 303 in FIG. 17A also has no edge straight line, but the same processing as in the above embodiment can be performed by detecting a plurality of horizontal straight lines at the center of the vine as edge straight lines. is there. Even in the case of special glasses as indicated by reference numerals 302 and 304, the same processing as in the above embodiment can be performed by detecting the upper edge straight line and the lower edge straight line from the vine portion. For example, in the case of the glasses indicated by reference numeral 302 in FIG. 17B, if edge detection is performed in the vine region and straight lines in contact with these edges are obtained, these straight lines are the upper edge straight line 200U and the lower edge of the glasses vine. A straight line 200L is obtained, and the same processing is possible.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

カメラに対して顔が横を向いている場合でも、カメラにより撮影された画像に基づいて顔の向いている方向を示す方向情報を作成することができる情報生成装置等を提供することを課題とする。　上記課題に対して、装着物を装着した頭部を側面から撮影した画像における前記装着物の特徴部の傾きを検出し、当該検出した特徴部の傾きから顔の向いている方向を示す顔方向情報を生成する。

Description

情報生成装置、情報生成方法、情報生成プログラム及び記録媒体
　本願は、頭部を撮影した画像に基づいて顔の向いている方向を示す方向情報を作成する情報生成装置等の技術分野に関する。
　従来、頭部を撮影した画像から顔の向きを認識する技術がある。例えば、特許文献１に記載の技術は、対象者の掛けている眼鏡上の光の反射像の位置及び大きさを取得し、反射像の位置及び大きさに基づいて対象者の顔位置を推定する。
特開２００９－２４５２５７号公報
　しかしながら、特許文献１に記載の技術では、眼鏡の反射像から顔位置を推定するため、カメラに対して顔が横方向に向けられている場合には、推定精度が低下するという問題があった。この問題は、顔の特徴点から顔の向きを推定する手法についても同様に存在する。
　本願発明は、上記問題に鑑み、カメラに対して顔が横方向を向いている場合でも、カメラにより撮影された画像に基づいて顔の向いている方向を示す方向情報を作成することができる情報生成装置等を提供することを課題とする。
　請求項１に記載の発明は、装着物を装着した頭部を側面から撮影した画像における前記装着物の特徴部の傾きを検出する検出手段と、前記検出手段が検出した前記特徴部の傾きから顔の向いている方向を示す顔方向情報を生成する生成手段と、を備えることを特徴とする。
　請求項６に記載の発明は、情報生成装置が行う情報生成方法であって、装着物を装着した頭部を側面から撮影した画像における前記装着物の特徴部の傾きを検出する検出工程と、前記検出工程により検出した前記特徴部の傾きから顔の向いている方向を示す顔方向情報を生成する生成工程と、を含む情報生成方法。
　請求項７に記載の発明は、コンピュータを、装着物を装着した頭部を側面から撮影した画像における前記装着物の特徴部の傾きを検出する検出手段、前記検出手段が検出した前記特徴部の傾きから顔の向いている方向を示す顔方向情報を生成する生成手段、として機能させることを特徴とする。
　請求項８に記載の発明は、コンピュータを、装着物を装着した頭部を側面から撮影した画像における前記装着物の特徴部の傾きを検出する検出手段、前記検出手段が検出した前記特徴部の傾きから顔の向いている方向を示す顔方向情報を生成する生成手段、として機能させる情報生成プログラムを記録したコンピュータ読み取り可能な記録媒体である。
情報生成装置１のブロック図である。 顔向き判定装置Ｄのブロック図の一例である。 判定装置Ｄの機能を実現する構成例を示した機能ブロック図である。 判定装置Ｄが顔の向きを判定する際の動作例を示すフローチャートである。 判定装置Ｄによる眼鏡着用判定処理の一例を示すフローチャートである。 （Ａ）は、パターンＡの眼鏡のつる部を撮影した画像であり、（Ｂ）は、パターンＢの眼鏡のつる部を撮影した画像であり、（Ｃ）は、パターンＣの眼鏡のつる部を撮影した画像である。 判定装置Ｄによる眼鏡向き判定処理の一例を示すフローチャートである。 判定装置Ｄによる第１ピッチ角判定処理の一例を示すフローチャートである。 パターンＡの眼鏡のピッチ角とつる部直線の傾きの関係を表す図である。 判定装置Ｄによるつる部直線抽出処理の一例を示すフローチャートである。 判定装置Ｄによる第２ピッチ角判定処理の一例を示すフローチャートである。 パターンＢの眼鏡のピッチ角とつる部直線の傾きの関係を表す図である。 パターンＣの眼鏡のピッチ角とつる部直線の傾きの関係を表す図である。 判定装置Ｄによるヨー角判定処理の一例を示すフローチャートである。 眼鏡の向きとつる部直線の傾きの関係を示す図である。 判定装置Ｄによる顔向き判定処理の一例を示すフローチャートである。 （Ａ）、（Ｂ）はつるの形状が特殊なパターンであるつる部を示す例図である。
　本願発明を実施するための形態について、図１を用いて説明する。
　図１に示すように、情報生成装置１は検出手段１１１Ａと、生成手段１１１Ｂと、記憶制御手段１１１Ｃと、記憶手段１１１Ｄと、を備えている。なお、記憶手段は、情報生成装置１の外部に設けてもよい。
　検出手段１１１Ａは、装着物を装着した頭部を側面から撮影した画像における装着物の特徴部の傾きを検出する。装着物の例として、眼鏡やマスクが挙げられる。また、特徴部は、装着物における頭部の側面に位置する部分である。例えば、眼鏡やマスクの耳に掛ける部分が挙げられる。より具体的には、眼鏡であれば「つる」であり、マスクであれば耳に掛ける「紐」である。
　生成手段１１１Ｂは、検出手段１１１Ａが検出した特徴部の傾きから顔の向いている方向を示す顔方向情報を生成する。顔の向いている方向は、例えば、ピッチ角（上下方向の角度）とヨー角（横方向の角度）により示される。
　また、生成手段１１１Ｂは、特徴部の傾きから装着物の向いている方向を示す装着物方向情報を生成し、装着物が基準方向を向くときの顔が向く方向と基準方向との差分を示す差分情報に基づいて、装着物方向情報を補正することにより顔方向情報を生成する。これにより、装着物の向いている方向と顔の向いている方向が一致しない場合にも、正しい顔方向情報を生成することができる。
　したがって、情報生成装置１によれば、カメラに対して顔が横方向を向いている場合でも、カメラにより頭部を撮影された画像に基づいて顔の向いている方向を示す顔方向情報を作成することができる。
　更に、特徴部の傾きを示す傾き情報と生成された顔方向情報を対応付けて記憶手段１１１Ｄに記憶させることとしてもよい。この場合、生成手段１１１Ｂは、検出手段１１１Ａが検出した特徴部の傾きとの差分が閾値以下である傾きを示す傾き情報が記憶手段１１１Ｄに記憶されている場合に、当該傾き情報と対応付けて記憶されている顔方向情報を取得する。閾値は、検出手段１１１Ａが検出した特徴部の傾きと記憶手段１１１Ｄに記憶されている傾き情報が示す傾きがほぼ同じ傾きであるとみなすことができる幅を定めるための値である。これにより、生成手段１１１Ｂは、新たに検出された特徴部の傾きが、過去に顔方向情報を生成した際の特徴部の傾きとほぼ同じ場合には、新たに顔方向情報を生成しなくてすむため、特徴部の傾きから顔方向情報を生成するための処理に係る処理負担を軽減することができる。
　更にまた、検出手段１１１Ａは、特徴部のエッジを示す線を検出し、生成手段１１１Ｂは、検出手段１１１が２本の線を検出した場合に、２本の線の傾き及び２本の線間の間隔の少なくとも一方に基づいて、装着物の種類を示す種類情報を更に生成することとしてもよい。そして、記憶制御手段１１１Ｃは、傾き情報及び顔方向情報に種類情報を更に対応付けて記憶手段１１１Ｄに記憶させ、生成手段１１１Ｂが、新たに種類情報を生成した場合に、記憶手段１１１Ｄにおいて当該生成した種類情報と同じ種類を示す種類情報が対応付けられている顔方向情報を取得することとしてもよい。これにより、装着物に複数の種類があり、それぞれの種類を２本の線の傾き及び間隔の少なくとも一方で特定できる場合に、種類毎に、特徴部の傾きと顔方向情報を対応付けて記憶させることができる。したがって、過去に顔方向情報を生成した際の装着物と同種類の装着物を装着している場合において、新たに検出された特徴部の傾きが、過去に顔方向情報を生成した際の特徴部の傾きとほぼ同じ場合には、新たに顔方向情報を生成しなくてすむため、特徴部の傾きから顔方向情報を生成するための処理に係る処理負担を軽減することができる。
　更にまた、記憶制御手段１１１Ｃは、生成手段１１１Ｂが生成した顔方向情報を記憶手段１１１Ｄに記憶させ、生成手段１１１Ｂは、新たに顔方向情報を生成する際に当該顔方向情報の示す方向として複数の候補が存在する場合に、所定期間内に記憶された少なくとも１つの顔方向情報に基づいて顔方向情報を生成することとしてもよい。これにより、何らかの理由により当該顔方向情報の示す方向として複数の候補が存在する場合であっても、最新の顔方向情報の示す方向とかけ離れた方向を示す顔方向情報が生成されることを防止することができる。
　次に、上述した実施形態に対応する具体的な実施例について説明する。
　図２－図１６を用いて実施例について説明する。なお以下に説明する実施例は、本願発明を、顔向き判定装置Ｄ（以下、「判定装置Ｄ」という場合がある）に適用した場合の実施例である。
　［１．判定装置Ｄの概要］
　本実施例の判定装置Ｄは、眼鏡を掛けた対象者の頭部を撮影した画像から、眼鏡のつるのエッジを検出し、そのエッジの傾きを算出することで、眼鏡の向きや顔の向きを判定する。一般的に、顔をカメラに対して大きく横方向に向けたとき、カメラから見て顔の奥側（反対側）が撮影できなくなり、顔向き判定が困難となる場合が多い。判定装置Ｄは、このような場合でも、眼鏡のつるのエッジの傾きにより、顔の向きを判定することができる。具体的には、画像から眼鏡のつるのエッジが検出できた（眼鏡を着用していると判定した）場合、上エッジと下エッジの傾き、または、上エッジもしくは下エッジのどちらか一方の傾きを算出し、その傾き情報から、眼鏡／顔のカメラに対する垂直方向（ピッチ方向という場合がある）と水平方向（ヨー方向という場合がある）の向き判定する。
　［２．判定装置Ｄの構成］
　次に図２を用いて本実施例に係る判定装置Ｄの構成について説明する。図２に示すように、判定装置Ｄは、大別して、制御部１１１、記憶部１１２、通信部１１３、表示部１１４及び操作部１１５を含んで構成されている。
　記憶部１１２は、例えばハードディスクドライブ等により構成されており、ＯＳ（Operating System）、顔の向きを判定するための顔向き判定プログラムを含む各種プログラムを記憶する。また、記憶部１１２は、カメラＣにより撮影された画像や顔向き判定プログラムに使用される各種データを記憶する。
　Ｉ／Ｆ部１１３は、カメラＣとのデータのやりとりを制御する。カメラＣは、対象者の顔の正面に設置され、対象者の頭部を撮影する。
　表示部１１４は、例えば、液晶ディスプレイ等により構成されており、カメラＣにより撮影された画像等を表示するようになっている。
　操作部１１５は、例えば、キーボード、マウス等により構成されており、オペレータからの操作指示を受け付け、その指示内容を指示信号として制御部１１１に出力するようになっている。
　制御部１１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成されている。そして、ＣＰＵが、ＲＯＭや記憶部１１２に記憶された顔向き判定プログラムを含む各種プログラムを読み出し実行することにより各種機能を実現する。
　［３．判定装置Ｄの機能］
　図３は、判定装置Ｄの機能を実現する構成例を示した機能ブロック図である。判定装置Ｄの制御部１１１は、顔向き判定プログラムを実行することにより、画像取得部１１、眼鏡つる領域判定部１２、眼鏡着用判定部１３、エッジ検出部１４、つる部直線検出部１５、眼鏡向き判定部１６、直線傾き算出部１７、ピッチ方向判定部１８、ヨー方向判定部１９、顔向き判定部２１、方向情報生成部２２として動作する。
　画像取得部１１は、カメラＣが頭部（顔）を撮影した画像を取得する。眼鏡つる領域判定部１２は、例えば、画像から顔が横を向いている（例えば、横方向３０度以上）かを判定し、目の横の領域を眼鏡のつるが存在するつる領域として決定する。つる領域が決定されると、その領域において、エッジ検出部１４がエッジ（画像におけるつる部の境界を表す線）の検出を行い、つる部直線検出部１５が検出したエッジからつる部直線を検出する。眼鏡着用判定部１３は、つる部直線が検出されたか否かに応じて眼鏡が着用されているか否かを判定する。次に、眼鏡向き判定部１６において、直線傾き算出部１７が、つる部直線の傾きを算出し、ピッチ方向判定部１８がその傾きから眼鏡のピッチ方向の角度を判定し、ヨー方向判定部１９が眼鏡のヨー方向の角度を判定する。つる部直線の傾きとしては、上エッジ直線（つる部の上側境界を示す線）の傾きと下エッジ直線（つる部の下側境界を示す線）の傾き、または、上エッジ直線もしくは下エッジ直線のどちらか一方の傾きを利用することができる。そして、顔向き判定部２１が、判定された眼鏡の向きと、顔向き基準情報（差分情報の一例）とに基づいて顔向き方向を判定し、方向情報生成部２２が、当該顔向き方向を示す方向情報を生成する。
　［４．判定装置Ｄの動作例］
　次に、図４－図１６を用いて、判定装置Ｄの動作例について説明する。図４は、判定装置Ｄの判定処理の一例を示すフローチャートである。
　図４のフローチャートにおいて、まず、画像取得部１１としての制御部１１１は、カメラＣが対象者の頭部を撮影した画像を取得する（ステップＳ１１）。
　次に、眼鏡つる領域判定部１２としての制御部１１１は、ステップＳ１１の処理で取得した画像に写る顔が横向きであるか否かを判定する（ステップＳ１２）。具体的には、従来公知の手法により、顔の特徴部（目、鼻、口、耳等）を抽出し、その位置関係により顔の向きを判定する。なお、本実施例では、ヨー角が３０度以上の場合に横向きであると判定する。
　眼鏡つる領域判定部１２としての制御部１１１は、顔が横向きでないと判定した場合には（ステップＳ１２：ＮＯ）、ステップＳ１１の処理に移行する。一方、制御部１１１は、顔が横向きであると判定した場合には（ステップＳ１２：ＹＥＳ）、画像におけるつる領域を決定する（ステップＳ１３）。具体的には、目、眉毛、耳、鼻の位置や、顔の輪郭の特徴等からつる領域のｘ座標基準、ｙ座標基準を定めて、つる領域を決定する。
　次いで、眼鏡着用判定部１３としての制御部１１１は、眼鏡着用判定処理を行う（ステップＳ１４）。以下、図５のフローチャートを用いて、眼鏡着用判定処理について説明する。
　まず、エッジ検出部１４としての制御部１１１は、ステップＳ１３の処理で決定されたつる領域の画像を切り出す（ステップＳ３１）。次いで、制御部１１１は、つる領域の画像についてエッジ検出を行う（ステップＳ３２）。エッジ検出には、Canny法等の一般的なエッジ検出手法を用いることができる。
　次に、つる部直線検出部１５としての制御部１１１は、つる部直線検出処理を行う（ステップＳ３３）。具体的には、エッジ検出を行った２値化画像に対して、ハフ変換等の一般的な直線検出処理を行う。このとき、つる部を表す直線（つる部直線）の検出手法は、ハフ変換等の一般的な手法を用いることができる。なお、画像の画質等の影響によってつる部直線を正しく検出できない場合、すなわち、つる部を表す直線以外の直線を検出してしまうこともある。そこで、検出した直線がつる部を表す直線として適切であるかを、直線の長さが閾値以上かといった条件や、直線の角度が閾値以内かといった条件を設定して、条件を満たす直線をつる部直線として検出することとしてもよい。つまり、つるを表す直線として長さが不適切な直線や角度が不適切な直線を排除することにより適切なつる部直線を検出する。
　次に、制御部１１１は、つる部直線を検出できたか否かを判定する（ステップＳ３４）。制御部１１１は、つる部直線を検出できたと判定した場合には（ステップＳ３４：ＹＥＳ）、眼鏡を着用していると判定し（ステップＳ３５）、当該フローチャートの処理を終了する。一方、制御部１１１は、つる部直線を検出できなかったと判定した場合には（ステップＳ３４：ＮＯ）、眼鏡を着用していないと判定し（ステップＳ３６）、当該フローチャートの処理を終了する。
　なお、ステップＳ３３の処理において説明した上記条件でつる部直線を正しく検出できればよいが、画像によっては、それでも正しく検出できない場合もある。そのような場合も考慮して、ステップＳ３４の処理では、検出された直線の本数によって、ＹＥＳ／ＮＯ判定をすることとしてもよい。例えば、（１）少なくとも一本の直線を検出した場合にＹＥＳと判定したり、（２）２本の直線を検出した場合にＹＥＳと判定したり、（３）２本以上の直線を検出した場合にＹＥＳと判定することとしてもよい。画像処理では、つる部を表す直線以外の直線（例えば、髪の生え際を表す直線）が検出される場合があり、例えば、３本以上の直線が検出されたときに、傾きが近い２本の直線をつる部を表す上側の直線と下側の直線として検出したり、過去につる部の上側の直線と下側の直線と判定した２本の直線と類似（マッチ）する２本の直線をつる部を表す上側の直線と下側の直線として検出したりすることもできる。
　また、１枚の画像だけでつる部直線の検出を行うのではなく、複数枚の画像でつる部直線の検出を行い、つる部直線の検出できた画像の数が所定数以上である場合に眼鏡を着用していると判定し、所定数未満である場合に眼鏡を着用していないと判定してもよい。これにより、画像処理により、仮に誤ってつる部直線を検出したとしても、そのようなノイズに影響されず、ロバストなつる部直線検出処理を行うことができる。
　図４のステップＳ１５に戻り、制御部１１１は、ステップＳ１４の処理結果に基づき、眼鏡着用か否かを判定し（ステップＳ１５）、眼鏡を着用していない場合には（ステップＳ１５：ＮＯ）、ステップＳ１１の処理に移行し、眼鏡を着用している場合には（ステップＳ１５：ＹＥＳ）、図６－図１５を用いて後述する眼鏡向き判定処理を行う（ステップＳ１６）。
　次に、制御部１１１は、図１６を用いて後述する顔向き判定処理を行う（ステップＳ１７）。
　次に、制御部１１１は、判定処理を継続するか否かを判定する（ステップＳ１８）。制御部１１１は、判定処理を継続すると判定した場合には（ステップＳ１８：ＹＥＳ）、ステップＳ１１の処理に移行し、判定処理を継続しないと判定した場合には（ステップＳ１８：ＮＯ）、当該フローチャートに示す判定処理を終了する。
　次に、図６－図１５を用いて、眼鏡向き判定処理について説明する。
　眼鏡のつる部は眼鏡によって形状が異なり上エッジ直線と下エッジ直線の傾きも異なることから、本実施例では、上エッジ直線と下エッジ直線でつる部の傾きが異なる３パターンの眼鏡について眼鏡着用判定処理の判定例を示す。図６（Ａ）はパターンＡの眼鏡のつる部を示し、図６（Ｂ）はパターンＢの眼鏡のつる部を示し、図６（Ｃ）はパターンＣの眼鏡のつる部を示す。
　パターンＡでは、上エッジ直線２００Ｕと下エッジ直線２００Ｌがほぼ平行でその間隔は約３ｍｍである。パターンＡの眼鏡の場合は、上エッジ直線２００Ｕの傾きと下エッジ直線２００Ｌの傾きはほぼ同じとなるので、上エッジ直線２００Ｕか下エッジ直線２００Ｌのどちらかしか検出できなかった場合でも、その傾きから眼鏡（顔）のピッチ角判定を行うことができる。
　パターンＢでは、つる部がレンズ部に近くなるとつる部幅が太くなり（約１０ｍｍ）、レンズ部から遠くなるとつる部幅が細くなっている（約２ｍｍ）。パターンＢの眼鏡の場合は、上エッジ直線２００Ｕの傾きと下エッジ直線２００Ｌの傾きは異なるので、上エッジ直線２００Ｕか下エッジ直線２００Ｌのどちらかしか検出しなかった場合に、そのエッジ直線から眼鏡（顔）のピッチ角を判定するためには、検出した１本のエッジ直線が、上エッジ直線２００Ｕであるか、下エッジ直線２００Ｌであるかが確定し、その上エッジ直線２００Ｕ（又は下エッジ直２００Ｌ線）の基準角度に対する傾きが求まっている必要がある。例えば、眼鏡（顔）のピッチ角０度のときに、上エッジ直線２００Ｕの傾き１０度、下エッジ直線２００Ｌの傾き０度と基準が決まっていて、検出した１本のエッジ直線が上エッジ直線２００Ｕか下エッジ直線２００Ｌのどちらかが判明している場合であれば、（上エッジ直線２００Ｕの傾きと下エッジ直線２００Ｌの傾きが異なるパターンＢの眼鏡着用時においても、）１本のエッジ直線から眼鏡（顔）のピッチ角を判定することができる。
　パターンＣでは、つる部がレンズ部に近くなるとつる部幅が太くなり（約７ｍｍ）、レンズ部から遠くなるとつる部幅が細くなっている（約４ｍｍ）。但し、パターンＢほど、急激に細くなっているわけではない。
　次に、図７のフローチャートを用いて、眼鏡向き判定処理について説明する。
　まず、眼鏡向き判定部１６としての制御部１１１は、ステップＳ３３の処理で検出したつる部直線が１本であるか否かを判定する（ステップＳ５１）。制御部１１１は、検出したつる部直線は１本であると判定したときには（ステップＳ５１：ＹＥＳ）、図８を用いて後述する第１ピッチ角判定処理を行い（ステップＳ５２）、ステップＳ５６の処理に移行する。一方、制御部１１１は、検出したつる部直線は１本ではないと判定したときには（ステップＳ５１：ＮＯ）、次いで、ステップＳ３３の処理で検出したつる部直線は２本であるか否かを判定する（ステップＳ５３）。
　制御部１１１は、検出したつる部直線は２本ではない（３本以上である）と判定したときには（ステップＳ５３：ＮＯ）、図１１を用いて後述するつる部直線抽出処理を行い（ステップＳ５４）、次いで、図１２を用いて後述する第２ピッチ角判定処理を行って（ステップＳ５５）、ステップＳ５６の処理に移行する。一方、制御部１１１は、検出したつる部直線は２本であると判定したときには（ステップＳ５３：ＹＥＳ）、図１２を用いて後述する第２ピッチ角判定処理を行って（ステップＳ５５）、ステップＳ５６の処理に移行する。
　次いで、制御部１１１は、図１５を用いて後述するヨー角判定処理を行う（ステップＳ５６）。
　次いで、制御部１１１は、ステップＳ５２の第１ピッチ角判定処理又はステップＳ５５の第２ピッチ角判定処理で判定された眼鏡のピッチ角と、ステップＳ５６のヨー角判定処理で判定された眼鏡のヨー角を示す眼鏡方向情報を生成し（ステップＳ５７）、眼鏡向き判定処理を終了する。
　次に、図８のフローチャートを用いて、第１ピッチ角判定処理について説明する。第１ピッチ角判定処理は、つる部直線が１本のとき、その傾きから眼鏡向きのピッチ方向の角度を判定する処理である。
　まず、眼鏡向き判定部１６としての制御部１１１は、着用眼鏡のタイプはタイプＡか否かを判定する（ステップＳ７１）。具体的には、例えば、予めユーザや顔向き判定を行う対象者等に何れのタイプの眼鏡を着用しているかを入力してもらい、その入力結果に基づいて判定する。
　制御部１１１は、タイプＡではないと判定した場合には（ステップＳ７１：ＮＯ）、つる部直線が上エッジ又は下エッジかが確定し、基準角度に対する傾きが定まっているか否かを判定する（ステップＳ７２）。具体的には、例えば、制御部１１１は、図７のステップＳ５１の処理において、検出したつる部直線が２本であったために「ＮＯ」と判定したが、判定装置Ｄの設計者が処理負荷を軽減するために２本のつる部直線ではなく上エッジまたは下エッジのみ（すなわち１本のつる部直線）で、ピッチ角を判定させたい場合に、当該設計者は上エッジまたは下エッジの何れかを予め設定しておく。このように１本のつる部直線でピッチ角を判定させるために設計者が予め上エッジまたは下エッジを設定している場合には、制御部１１１は、つる部直線が上エッジ又は下エッジかが確定していると判定する。また、処理対象であるタイプの眼鏡の上エッジ又は下エッジ（設計者が予め設定したエッジ）について基準角度に対応する傾きを示すテーブル情報が事前に記憶部１１２に記憶されているか否かに応じて、制御部１１１は、基準角度に対する傾きが定まっているか否かを判定する。つまり、２本のつる部直線が検出された場合において、設計者が処理負荷の軽減のために１本のつる部直線でピッチ角を判定させたい場合に、設計者は上エッジ又は下エッジを予め設定しておくとともに、当該設定したエッジについて基準角度に対応する傾きを示すテーブル情報を用意しておくことにより、ステップＳ７２の処理で制御部１１１に「ＹＥＳ」と判定させ、１本のつる部直線でピッチ角を判定させることができる。制御部１１１は、「ＮＯ」であると判定した場合には（ステップＳ７２：ＮＯ）、第１ピッチ角判定処理を終了する。一方、制御部１１１は、「ＹＥＳ」であると判定した場合には（ステップＳ７２：ＹＥＳ）、ステップＳ７３の処理に移行する。
　また、制御部１１１は、ステップＳ７１の処理で、タイプＡであると判定した場合には（ステップＳ７１：ＹＥＳ）、ステップＳ７３の処理に移行する。
　次いで、直線傾き算出部１７としての制御部１１１は、ステップＳ３３の処理で検出したつる部直線の傾きを算出する（ステップＳ７３）。
　次いで、ピッチ方向判定部１８としての制御部１１１は、つる部直線の傾きに基づき、ピッチ角判定を行い（ステップＳ７３）、第１ピッチ角判定処理を終了する。
　ここで、つる部直線の傾きに基づくピッチ角判定について具体的に説明する。パターンＡの眼鏡の向きとつる部上エッジ直線と下エッジ直線の傾きを図９に示す。パターンＡの眼鏡では、上エッジ直線２００Ｕの傾き（Ｕ）と下エッジ直線２００Ｌの傾き（Ｌ）はほぼ同じなので、前述したように、上エッジ直線２００Ｕまたは下エッジ直線２００Ｌのどちらかの傾きから、ピッチ角を判定することができる。ここで、検出したエッジ直線の傾きをＥ１とすると、
・Ｅ１≧１５[度]　　　　　→　上１０度以上
・０[度]≦Ｅ１＜１５[度]　→　上下０度
・Ｅ１＜０[度]　　　　　　→　下１０度未満
　とそれぞれ条件判定することにより、眼鏡の向き（ピッチ角）を判定することができる。
　このように、つる部直線の傾きと眼鏡のピッチ角には相関があることから、次のように、つる部直線の傾きについて適切に閾値を設定することにより、制御部１１１はつる部直線の傾きから眼鏡のピッチ角を判定することができる。
・　Ｅ１≧Ｕ２[度]　　　　　　　→　ピッチ角上２０度以上
・　Ｕ１[度]≦Ｅ１＜Ｕ２[度]　　→　ピッチ角上１０度
・　Ｌ１[度]≦Ｅ１＜Ｕ１[度]　　→　ピッチ角上下０度
・　Ｌ２[度]≦Ｅ１＜Ｌ１[度]　　→　ピッチ角下１０度
・　Ｅ１＜Ｌ２[度]　　　　　　　→　ピッチ角下２０度未満
　　（Ｕ２＞Ｕ１＞Ｌ１＞Ｌ２）
　次に、図１０のフローチャートを用いて、つる部直線抽出処理について説明する。つる部直線抽出処理は、つる部直線が３本以上の場合、２本のつる部直線を抽出する処理である。２本のつる部直線を抽出することができた場合には、当該２本のつる部直線に基づいて、第２ピッチ角判定処理によりピッチ角が判定される。
　まず、眼鏡向き判定部１６としての制御部１１１は、過去に記憶したつる部直線情報があるか否かを判定する（ステップＳ９１）。つる部直線情報とは、適切に２本のつる部直線を検出（ステップＳ３３）又は抽出（ステップＳ５４）できた際の情報であって、２本の直線の傾き、長さ、間隔、位置関係等を示す情報である。つる部直線情報としては、事前に予め記憶しておいた情報を用いたり、現在処理している直線について記憶した情報（直線の傾きをステップＳ９４の処理で記憶し、直線の長さをステップＳ９７の処理で記憶し、直線間の間隔をステップＳ９８の処理で記憶する）を用いたりする。制御部１１１は、過去に記憶したつる部直線情報はないと判定した場合には（ステップＳ９１：ＮＯ）、ステップＳ９４の処理に移行する。一方、制御部１１１は、過去に記憶したつる部直線情報があると判定した場合には（ステップＳ９１：ＹＥＳ）、次いで、つる部直線情報を利用するか否かを判定する（ステップＳ９２）。
　制御部１１１は、つる部直線情報を利用しないと判定した場合には（ステップＳ９２：ＮＯ）、ステップＳ９４の処理に移行する。一方、制御部１１１は、つる部直線情報を利用すると判定した場合には（ステップＳ９２：ＹＥＳ）、過去に記憶したつる部直線情報を利用して２本のつる部直線を抽出し（ステップＳ９３）、つる部直線抽出処理を終了する。具体的には、つる部直線情報が示す情報に最も類似する２本のつる部直線を抽出する。例えば、上エッジ直線２００Ｕと下エッジ直線２００Ｌの傾きの差が記憶したつる部直線情報の示す２本のつる部直線の傾きの差と近いものを選択する処理や、その差が大幅に超過する、もしくは大幅に小さい２本の直線の一方を除外する処理等を行うことができる。
　一方、制御部１１１は、ステップＳ９４の処理において、ステップＳ３３の処理で抽出された３本以上のつる部直線の中で、他の直線より傾きが大きく異なる直線を排除する（ステップＳ９４）。例えば、誤ってつる部直線として検出された髪の生え際などの場合、その傾きは実際のつる部直線の傾きと比較して大きく（急勾配）なるため、そのような直線を排除する。
　次いで、制御部１１１は、適切な２本のつる部直線を抽出できたか否かを判定する（ステップＳ９５）。具体的には、この処理では、２本のつる部直線を抽出でき、且つ、当該２本のつる部直線がつる部直線として長さ、傾き、間隔等が適切であるかが判定される。制御部１１１は、適切な２本のつる部直線を抽出できたと判定した場合には（ステップＳ９５：ＹＥＳ）、つる部直線抽出処理を終了する。一方、制御部１１１は、適切な２本のつる部直線を抽出できなかったと判定した場合には（ステップＳ９５：ＮＯ）、次いで、他のつる部直線より長さが大きく異なる直線を排除する（ステップＳ９６）。
　次いで、制御部１１１は、ステップＳ９５の処理と同様に、適切な２本のつる部直線を抽出できたか否かを判定する（ステップＳ９７）。制御部１１１は、適切な２本のつる部直線を抽出できたと判定した場合には（ステップＳ９７：ＹＥＳ）、つる部直線抽出処理を終了する。一方、制御部１１１は、適切な２本のつる部直線を抽出できなかったと判定した場合には（ステップＳ９７：ＮＯ）、次いで、不適切な直線間の距離を作る直線を排除する（ステップＳ９８）。例えば、直線同士が作る複数の間隔において、他と大きく外れた間隔を作る直線を除去する。
　次いで、制御部１１１は、ステップＳ９５の処理と同様に、適切な２本のつる部直線を抽出できたか否かを判定する（ステップＳ９９）。制御部１１１は、適切な２本のつる部直線を抽出できたと判定した場合には（ステップＳ９９：ＹＥＳ）、つる部直線抽出処理を終了する。一方、制御部１１１は、適切な２本のつる部直線を抽出できなかったと判定した場合には（ステップＳ９９：ＮＯ）、図４のステップＳ１１の処理に移行する。
　なお、つる部直線抽出処理では、適切な２本のつる部直線（上エッジ直線２００Ｕ、下エッジ直線２００Ｌ）を抽出する処理の一例について説明したが、適切な２本のつる部直線を抽出する方法は個々で説明した方法以外の他の方法であっても構わない。
　次に、図１１のフローチャートを用いて、第２ピッチ角判定処理について説明する。第２ピッチ角判定処理は、つる部直線が２本のとき、それらの傾きから眼鏡向きのピッチ方向の角度を判定する処理である。
　まず、ピッチ方向判定部１８としての制御部１１１は、２本のつる部直線から眼鏡パターンを判定し、当該眼鏡パターンを示すパターン情報を生成する（ステップＳ１１１）。具体的には、２本のつる部直線の傾き又は２本のつる部直線の間隔の少なくとも何れかに基づいて、眼鏡パターンを判定する。例えば、上エッジ直線の傾きＥＵと、下エッジ直線の傾きＥＬがほぼ等しい（傾きの差が３度未満）場合にはパターンＡであると判定する。また、ＥＵとＥＬの差が３度以上８度未満である場合にはパターンＢであると判定する。更に、ＥＵとＥＬの差が８度以上１５度未満である場合にはパターンＣであると判定する。この根拠について以下説明する。
　図１２は、パターンＢの眼鏡向きとつる部上エッジ直線２００Ｕと下エッジ直線２００Ｌの傾きの関係の一例を示す図である。図１２では、つる部上エッジ直線２００Ｕの傾きＥＵと、つる部下エッジ直線２００Ｌの傾きＥＬの差は、次の通りとなる。 
・ピッチ角上２０度時：約７度～約９度
・ピッチ角上１０度時：約９度～約１０度
・ピッチ角０度時　　：約８度～約１４度
・ピッチ角下１０度時：約８度～約１５度
・ピッチ角下２０度時：約１０度～約１３度
　つる部上エッジ直線２００Ｕの傾きＥＵと、つる部下エッジ直線２００Ｌの傾きＥＬの差が約７度～約１５度であれば、パターンＢの眼鏡と判定することができる。同様に、図９で示したように、つる部上エッジ直線２００Ｕの傾きＥＵと、つる部下エッジ直線２００Ｌの傾きＥＬの差がほぼ同じ（約０度）であれば、パターンＡの眼鏡と判定することができる。
　図１３は、パターンＣの眼鏡向きとつる部上エッジ直線２００Ｕと下エッジ直線２００Ｌの傾きの関係の一例を示す図である。図１３では、つる部上エッジ直線２００Ｕの傾きＥＵと、つる部上エッジ直線２００Ｌの傾きＥＬの差は、次の通りとなる。 
・ピッチ角上２０度時：約４度～約５度
・ピッチ角上１０度時：約７度～約８度
・ピッチ角０度時　　：約３度～約７度
・ピッチ角下１０度時：約３度～約４度
・ピッチ角下２０度時：約５度～約６度
　つる部上エッジ直線２００Ｕの傾きＥＵと、つる部下エッジ直線２００Ｌの傾きＥＬの差が約３度～約７度であれば、パターンＣの眼鏡と判定することができる。また、つる部上エッジ直線２００Ｕの傾きＥＵと、つる部下エッジ直線２００Ｌの傾きＥＬの差が約７度～約８度のときは、ピッチ角情報を用いて眼鏡パターンを判定することができる（例えば、差が約７度でピッチ角上２０度時では、パターンＢの眼鏡、差が約７度でピッチ角１０度時では、パターンＣの眼鏡等）。
　なお、眼鏡パターンを判定する処理は、１枚の画像だけで判定するのではなく、複数枚の画像を用いて判定することとしてもよく、そうした場合、判定精度が向上する。
　また、２本のつる部直線の間隔に基づいて眼鏡のパターンを判定する場合には、間隔が一定の場合にはパターンＡの眼鏡と判定し、一端の間隔と他端の間隔が異なり且つ当該間隔が閾値以上である場合にパターンＢの眼鏡と判定し、一端の間隔と他端の間隔が異なり且つ当該間隔が閾値未満である場合にパターンＣの眼鏡と判定することができる。
　図１１に戻り、制御部１１１は、過去に記憶したつる部直線傾き情報があるか否かを判定する（ステップＳ１１２）。過去がどの程度の過去であるかについては適宜設定することができ、例えば、１秒前であってもよいし、１０ｆｐｓで撮影している場合の５枚前であってもよい（つる部直線傾き情報の記憶は、毎画像行ってもよいし、周期的（数フレーム毎）に行ってもよい）。また、つる部直線傾き情報とは、つる部直線情報に含まれる２本のつる部直線の傾きを示す情報である。制御部１１１は、過去に記憶したつる部直線傾き情報がないと判定した場合には（ステップＳ１１２：ＮＯ）、現在のつる部直線傾き情報を記憶部１１２に記憶させ（ステップＳ１１５）、ステップＳ１１６の処理に移行する。一方、制御部１１１は、過去に記憶したつる部直線傾き情報があると判定した場合には（ステップＳ１１２：ＹＥＳ）、過去のつる部直線の傾きと現在のつる部直線の傾きは異なるか否かを判定する（ステップＳ１１３）。具体的には、過去の２本のつる部直線同士の傾きの差と、現在の２本のつる部直線同士の傾きの差を比較し、タイプの異なる眼鏡であるか否かを判定する。
　制御部１１１は、過去のつる部直線の傾きと現在のつる部直線の傾きが異なると判定した場合には（ステップＳ１１３：ＹＥＳ）、眼鏡の着脱あり（過去に掛けていた眼鏡のタイプと異なるタイプの眼鏡に掛け替えた）と判定し（ステップＳ１１４）、現在のつる部直線傾き情報を記憶部１１２に記憶させる（ステップＳ１１５）、ステップＳ１１６の処理に移行する。一方、制御部１１１は、過去のつる部直線の傾きと現在のつる部直線の傾きが異ならないと判定した場合には（ステップＳ１１３：ＮＯ）、ステップＳ１１６の処理に移行する。
　次に、ピッチ方向判定部１８としての制御部１１１は、２本のつる部直線の傾きに基づき、ピッチ角判定を行う（ステップＳ１１６）。
　ここで、２本のつる部直線の傾きに基づくピッチ角判定について具体的に説明する。まず、図１２を参照して、パターンＢの眼鏡のピッチ角とつる部上エッジ直線と下エッジ直線の傾きについて検討する。制御部１１１は、つる部上エッジ直線の傾きをＥＵ、つる部下エッジ直線の傾きをＥＬとすると、
・「ＥＵ≧３７[度]」且つ「ＥＬ≧２８[度]」　　　　　　　　　　　　　→上２０度以上
・「２８．５[度]≦ＥＵ＜３７[度]」且つ「１５[度]≦ＥＬ＜２８[度]」　→上１０度
・「１０[度]≦ＥＵ＜２８．５[度]」且つ「０[度]≦ＥＬ＜１５[度]」　　→上下０度
・「０[度]≦ＥＵ＜１０[度]」且つ「－１５[度]≦ＥＬ＜０[度]」　　　　→下１０度
・「ＥＵ＜０[度]」且つ「ＥＬ＜－１５[度]」　　　　　　　　　　　　　→下２０度未満
　とそれぞれ条件判定することにより、眼鏡のピッチ角を判定することができる。
　また、制御部１１１は、パターンＣの眼鏡の場合も同様に、
・「ＥＵ≧２５．５[度]」且つ「ＥＬ≧２０[度]」　　　　　　　　　　　→上２０度以上
・「２０[度]≦ＥＵ＜２５．５[度]」且つ「１０[度]≦ＥＬ＜２０[度]」　→上１０度
・「０[度]≦ＥＵ＜２０[度]」且つ「０[度]≦ＥＬ＜１０[度]」　　　　　→上下０度
・「－１０[度]≦ＥＵ＜０[度]」且つ「－１０[度]≦ＥＬ＜０[度]」　　　→下１０度
・「ＥＵ＜－１０[度]」且つ「ＥＬ＜－１０[度]」　　　　　　　　　　　→下２０度未満
　とそれぞれ条件判定することにより、眼鏡のピッチ角を判定することができる。
　なお、パターンＡについては、上エッジ直線２００Ｕと下エッジ直線２００Ｌの傾きはほぼ同一であるので、何れか一方のエッジ直線の傾きについてステップＳ７４と同様の判定を行うことにより眼鏡のピッチ角を判定することができる。
　また、一般的には、つる部上エッジ直線の傾きＥＵ、つる部下エッジ直線の傾きＥＬに関する次の条件式から眼鏡のピッチ角を判定することができる。
・「ＥＵ≧Ｕ２Ｕ[度]」且つ「ＥＬ＞Ｕ２Ｄ」　　　　　　　　　　　　　→上２０度以上
・「Ｕ１Ｕ[度]≦ＥＵ＜Ｕ２Ｕ[度]」且つ「Ｕ１Ｌ[度]≦ＥＬ＜Ｕ２Ｌ[度]」→上１０度
・「Ｌ１Ｕ[度]≦ＥＵ＜Ｕ１Ｕ[度]」且つ「Ｌ１Ｌ[度]≦ＥＬ＜Ｕ１Ｌ[度]」→上下０度
・「Ｌ２Ｕ[度]≦ＥＵ＜Ｌ１Ｕ[度]」且つ「Ｌ２Ｌ[度]≦ＥＬ＜Ｌ１Ｌ[度]」→下１０度
・「ＥＵ＜Ｌ２Ｕ[度]」且つ「ＥＬ＜Ｌ２Ｌ[度]」　　　　　　　　　　　→下２０度未満
　（但し、Ｕ２Ｕ＞Ｕ１Ｕ＞Ｌ１Ｕ＞Ｌ２Ｕ、Ｕ２Ｌ＞Ｕ１Ｌ＞Ｌ１Ｌ＞Ｌ２Ｌ）
　なお、眼鏡（顔）のピッチ角が判定できれば、そのピッチ角のつるエッジの傾き情報を保存して、以後、上記条件式の閾値の設定に用いてもよい。　
　次に、制御部１１１は、ステップＳ１１６の処理で判定したピッチ角を、２本のつる部直線の傾きと対応付けて記憶部１１２に記憶させ（ステップＳ１１７）、第２ピッチ角判定処理を終了する。
　次に、図１４のフローチャートを用いて、ヨー角判定処理について説明する。ヨー角判定処理は、つる部直線の傾きから眼鏡向きのヨー方向の角度（ヨー角）を判定する処理である。
　まず、ヨー方向判定部１９としての制御部１１１は、ステップＳ７４又はステップＳ１１６の処理で判定したピッチ角がヨー角を判定可能なピッチ角であるか否かを判定する（ステップＳ１３１）。これは、例えば、図１５に示すように、上下０度時のつる部直線の傾きでは、ヨー角が変化しても、つる部直線の傾きが変化しないため、ヨー角の判定が困難であることに基づく。したがって、制御部１１１は、つる部直線の傾きが水平に近い場合には、ヨー角判定は行えないと判定する。
　制御部１１１は、ヨー角を判定可能なピッチ角ではないと判定した場合には（ステップＳ１３１：ＮＯ）、ヨー角判定処理を終了する。一方、制御部１１１は、ヨー角を判定可能なピッチ角であると判定した場合には（ステップＳ１３１：ＹＥＳ）、次いで、２本のつる部直線でヨー角判定をするか否かを判定する（ステップＳ１３２）。
　このとき、制御部１１１は、ステップＳ５２の第１ピッチ角判定処理でピッチ角を判定した場合、又は第２ピッチ角判定処理でパターンＡの眼鏡について上エッジ直線２００Ｕ又は下エッジ直線２００Ｌの何れか一方の直線に基づいてピッチ角を判定した場合には２本のつる部直線でヨー角判定をしない（すなわち、１本のつる部直線でヨー角判定をする）と判定し（ステップＳ１３２：ＮＯ）、１本のつる部直線の傾きに基づきヨー角を判定して（ステップＳ１３３）、ヨー角判定処理を終了する。
　１本のつる部直線の傾きに基づきヨー角を判定する場合について説明する。ここでは、図９に基づいてパターンＡの眼鏡についてヨー角を判定する場合について説明する。制御部１１１は、つる部直線の傾きをＥ１とすると、眼鏡のピッチ角が上下０度のとき、例えば、
・Ｅ１≧１０[度]　　　→眼鏡のヨー角左３０度
・Ｅ１＜１０[度]　　　→眼鏡のヨー角左４０度以上
とそれぞれ条件判定することにより、眼鏡のヨー角を判定することができる。この例では、左４０度と左５０度で傾きの違いがあまり生じないため、Ｅ１＜１０[度]のときは、左４０度以上となったが、傾きに違いのあるピッチ角が上下０度以外の場合では、左４０度と左５０度の判別も可能となる。
　また、制御部１１１は、眼鏡のピッチ角が上１０度のとき、例えば、
・Ｅ１≧２５[度]　　　　　　→眼鏡のヨー角左３０度
・２０[度]≦Ｅ１＜２５[度]　→眼鏡のヨー角左４０度
・Ｅ１＜２０[度]　　　　　　→眼鏡のヨー角左５０度
　とそれぞれ条件判定することにより、眼鏡のヨー角を判定することができる。
　一方、制御部１１１は、ステップＳ５５の第２ピッチ角判定処理でパターンＢ又はパターンＣの眼鏡についてピッチ角を判定した場合には２本のつる部直線でヨー角判定をすると判定し（ステップＳ１３２：ＹＥＳ）、２本のつる部直線の傾きに基づきヨー角を判定して（ステップＳ１３４）、ヨー角判定処理を終了する。
　２本のつる部直線の傾きに基づきヨー角を判定する場合について説明する。ここでは、図１２に基づいてパターンＢの眼鏡についてヨー角を判定する場合について説明する。制御部１１１は、つる部上エッジ直線の傾きをＥＵ、つる部下エッジ直線の傾きをＥＬとすると、眼鏡のピッチ角が上下０度のとき、例えば、 
・「ＥＵ≧２５[度]」且つ「ＥＬ＞１３[度]」　　　　　　　　　→眼鏡のヨー角左３０度
・「１８[度]≦ＥＵ＜２５[度]」且つ「９[度]≦ＥＬ＜１３[度]」→眼鏡のヨー角左４０度
・「ＥＵ＜１８[度]」且つ「ＥＬ＜９[度]　　　　　　　　　　　→眼鏡のヨー角左５０度
　とそれぞれ条件判定することにより、眼鏡のヨー角を判定することができる
　また、制御部１１１は、眼鏡のピッチ角が上１０度のとき、例えば、 
・「ＥＵ≧３４[度]」且つ「ＥＬ＞２４[度]」　　　　　　　　　　→眼鏡のヨー角左３０度
・「３０[度]≦ＥＵ＜３４[度]」且つ「２２[度]≦ＥＬ＜２４[度]」→眼鏡のヨー角左４０度
・「ＥＵ＜３０[度]」且つ「ＥＬ＜２２[度]　　　　　　　　　　　→眼鏡のヨー角左５０度
　とそれぞれ条件判定することにより、眼鏡のヨー角を判定することができる
　更に、制御部１１１は、眼鏡のピッチ角が上２０度のとき、例えば、 
・「ＥＵ≧５０[度]」且つ「ＥＬ＞４０[度]」　　　　　　　　　　→眼鏡のヨー角左３０度
・「４２[度]≦ＥＵ＜５０[度]」且つ「３３[度]≦ＥＬ＜４０[度]」→眼鏡のヨー角左４０度
・「ＥＵ＜４２[度]」且つ「ＥＬ＜３３[度]　　　　　　　　　　　→眼鏡のヨー角左５０度
　とそれぞれ条件判定することにより、眼鏡のヨー角を判定することができる
　更にまた、制御部１１１は、眼鏡のピッチ角が下２０度のとき、例えば、 
・「ＥＵ＜－１２[度]」且つ「ＥＬ＜－２３[度]」　　　　　　　　→眼鏡のヨー角左３０度
・「－１２[度]≦ＥＵ＜－１０[度]」且つ「－２３[度]≦ＥＬ＜－２０[度]」→眼鏡のヨー角左４０度
・「ＥＵ≧－１０[度]」且つ「ＥＬ≧－２０[度]」　　　　　　　　→眼鏡のヨー角左５０度
　とそれぞれ条件判定することにより、眼鏡のヨー角を判定することができる。
　但し、眼鏡のピッチ角が下１０度のときは、ヨー角が変化しても、ＥＵ及びＥＬに大きな変化はないためこの例では、ヨー角の判定はできない。 
　次に、図１６のフローチャートを用いて、顔向き判定処理について説明する。なお、顔のヨー角は、眼鏡のヨー角と一致するので眼鏡のヨー角を顔のヨー角と判定する。顔向き判定処理では、顔のピッチ角を、眼鏡のピッチ角に基づいて判定する。
　顔向き判定部２１としての制御部１１１は、顔向き基準情報を参照し、ステップＳ７４又はステップＳ１１６の処理で判定した眼鏡のピッチ角から顔のピッチ角を判定する（ステップＳ１５１）。一般的に眼鏡のピッチ角から顔のピッチ角を判定する場合、鼻あての位置や眼鏡の掛け方等から眼鏡のピッチ角と顔のピッチ角は一致しない。つる部直線の傾きがほぼ水平である場合でも、ある個人では顔向きが若干上向きであったり、ある個人では顔向きが若干下向きであったりする。そのため、眼鏡のピッチ角が上下０度の場合の顔のピッチ角を求めるための基準情報が必要となる。本実施例では、この基準情報を顔向き基準情報という。例えば、眼鏡のピッチ角が上下０度のときの顔のピッチ角が「＋２度」の個人については、「＋２度」という顔向き基準情報を生成する。そして、制御部１１１は眼鏡のピッチ角が上１０度と判定した場合には、顔のピッチ角を上１２度と判定する。なお、定期的に顔向き基準情報を補正することにより、眼鏡がズレても正しく顔のピッチ角を判定することができる。
　次いで、方向情報生成部２２としての制御部１１１は、顔の向き（ピッチ角及びヨー角）を示す顔方向情報を生成し（ステップＳ１５２）、顔向き判定処理を終了する。
　以上説明したように、本実施例の判定装置Ｄは、制御部１１１（「検出手段」、「生成手段」の一例）が、眼鏡（「装着物」の一例）を装着した頭部を側面から撮影した画像における眼鏡のつる部（「特徴部」の一例）の傾きを検出し、検出したつる部の傾きから顔の向いている方向を示す顔方向情報を生成する。
　したがって、本実施例の判定装置Ｄによれば、カメラＣに対して顔が横方向を向いている場合でも、カメラＣにより頭部を撮影された画像に基づいて顔の向いている方向を示す顔方向情報を作成することができる。
　また、制御部１１１は、つる部の傾きから眼鏡の向いている方向を示す眼鏡方向情報（「装着物方向情報」の一例）を生成し、眼鏡が基準方向を向くときの顔が向いている方向を示す顔向き基準情報（「差分情報」の一例）に基づいて、眼鏡方向情報を補正して顔方向情報を生成する。これにより、眼鏡の向いている方向と顔の向いている方向が一致しない場合にも、正しい顔方向情報を生成することができる。
　［５．変形例］
　次に、上記実施例の変形例について説明する。なお、以下に説明する変形例は適宜組み合わせることができる。
　［４．１．変形例１］
　上記実施例では、制御部１１１が、つる部直線の傾きに基づいて顔の向きを判定したが、更につる部直線の長さを判定要素に加えて顔の向きを判定することとしてもよい。この変形例は、頭部におけるつる部が位置する面がカメラに正対するほど（例えば、顔を左に向けると右のつる部が位置する面がカメラに正対するほど）、画像におけるつる部直線が長くなることに基づく。具体的には、制御部１１１は、顔（眼鏡）のヨー角と画像におけるつる部直線の長さを対応付けて記憶部１１２に記憶させておき、検出したつる部直線の長さに対応する顔（眼鏡）のヨー角と、上記実施例で示したようにつる部直線の傾きに基づいて取得される顔（眼鏡）のヨー角とに基づいて最終的な顔（眼鏡）のヨー角を判定することとしてもよい。例えば、両方のヨー角の平均値を最終的なヨー角とすることができる。
　［４．２．変形例２］
　制御部１１１（「記憶制御手段１１１Ｃ」の一例）は、顔方向情報を生成した場合に、つる部直線の傾きを示す傾き情報と顔方向情報を対応付けて記憶部１１２（「記憶手段」の一例）に記憶させることとしてもよい。このとき、制御部１１１は、新たに検出したつる部直線の傾きとの差分が閾値以下である傾きを示す傾き情報が記憶部１１２に記憶されている場合に、当該傾き情報と対応付けて記憶されている顔方向情報を取得することとしてもよい。これにより、制御部１１１は、新たに検出されたつる部直線の傾きが、過去に顔方向情報を生成した際のつる部直線の傾きとほぼ同じ場合（差分が閾値以下の場合）には、新たに顔方向情報を生成しなくてすむため、つる部直線の傾きから顔方向情報を生成するための処理に係る処理負担を軽減することができる。
　また、上記実施例では、制御部１１１はつる部直線（「特徴部のエッジを示す線」の一例）を検出し、２本のつる部直線を検出した場合に、２本のつる部直線の傾き及び２本のつる部直線の間隔の少なくとも一方に基づいて、眼鏡のパターンを示すパターン情報（「種類情報」の一例）を生成する。そこで、制御部１１１（「記憶制御手段」の一例）が、傾き情報及び顔方向情報にパターン情報を更に対応付けて記憶部１１２に記憶させ、新たにパターン情報を生成した場合に、記憶部１１２において当該生成したパターン情報と同じ種類を示すパターン情報が対応付けられている顔方向情報を取得することとしてもよい。これにより、眼鏡につる部の形状が異なる複数の種類があり、それぞれの種類を２本の線の傾き又は間隔の少なくとも何れかで特定できる場合に、種類毎に、つる部直線の傾きと顔方向情報を対応付けて記憶させることができる。したがって、過去に顔方向情報を生成した際の眼鏡と同種類の眼鏡を装着している場合において、新たに検出されたつる部直線の傾きが、過去に顔方向情報を生成した際のつる部直線の傾きとほぼ同じ場合には、新たに顔方向情報を生成しなくてすむため、つる部直線の傾きから顔方向情報を生成するための処理に係る処理負担を軽減することができる。
　［４．３．変形例３］
　制御部１１１（「記憶制御手段」の一例）は、生成した顔方向情報を記憶部１１２（「記憶手段」の一例）に記憶させ、新たに顔方向情報を生成する際に当該顔方向情報の示す方向として複数の候補が存在する場合に、所定期間内に記憶された少なくとも１の顔方向情報が示す方向に最も近い方向を示す顔方向情報を生成することとしてもよい。また、所定期間内に記憶された少なくとも１の顔方向情報として、最新の顔方向情報としてもよい。例えば、制御部１１１は、検出したつる部直線の傾きが閾値とほぼ同じ値の場合であり、当該閾値で区別される顔の向き（角度）の何れに判定する場合、記憶部１１２に記憶されている最新の顔方向情報が示す方向（角度）に近い角度を判定結果とする。これにより、顔方向情報の示す方向として複数の候補が存在する場合であっても、最新の顔方向情報の示す方向とかけ離れた方向を示す顔方向情報が生成されることを防止することができる。
　［４．４．変形例４］
　上記実施例では、眼鏡のつる部のエッジを示す直線の傾きに基づいて眼鏡（顔）の向きを判定するが、マスクの耳に掛ける紐のエッジを示す直線の傾きに基づいてマスク（顔）の向きを判定することとしてもよい。
　［４．５．変形例５］
　上記実施例では、眼鏡のピッチ角が上下０度の場合の顔のピッチ角を求めるための顔向き基準情報を用いて眼鏡方向情報を補正することにより、顔の向いている方向を示す顔方向情報を生成したが、つる部エッジ直線の傾きから顔の向いている方向（ピッチ角及びヨー角）を求めることとしてもよい。具体的には、実験により顔の向きを基準方向（例えば、ピッチ角０度、ヨー角３０度）を基準に、ピッチ角及びヨー角を１０度ずつ変化するように変えた場合の、つる部エッジ直線の傾きを計測して、当該ピッチ角及びヨー角と対応付けることにより、つる部エッジ直線の傾きから、顔の向いている方向（ピッチ角及びヨー角）を特定できるようにつる部エッジ直線の傾きについての閾値を設定しておくこととする。例えば、つる部上エッジ直線の傾きが１５度以上３５度未満であり、且つ、つる部下エッジ直線の傾きが７度以上２０度未満の場合には、顔の向きはピッチ角１０度、ヨー角３０度であると判定するような傾きについての閾値を設定する。これを眼鏡のパターン毎に行うこととする。そして、制御部１１１は、つる部上エッジ直線及びつる部下エッジ直線の傾きを取得したら、閾値判定を行うことにより、顔の向いている方向を特定し、顔方向情報を生成することとする。これにより、つる部エッジ直線の傾きから直接的に顔方向情報を生成することができる。
　また、カメラＣを自動車のセンターコンソールに運転手の頭部を撮影できる向きに設置し、制御部１１１が、カメラＣが撮影した画像に基づいて運転手の顔の向きを特定する場合についても同様に、運転手が正面（自動車の進行方向）を向いている場合の顔の向き（運転手の頭部を連続して撮影して、統計的に支配的な顔の向き）を基準方向（例えば、ピッチ角上１０度、ヨー角２０度。これらの角度は、カメラＣを設置した際の仰角等から求められる）として、当該基準方向を基準に、顔の向きをピッチ角及びヨー角を１０度ずつ変化するように変えた場合の、つる部エッジ直線の傾きを計測して、当該ピッチ角及びヨー角と対応付けることにより、つる部エッジ直線の傾きから、顔の向いている方向（ピッチ角及びヨー角）を特定できるようにつる部エッジ直線の傾きについての閾値を設定しておくこととする。これを眼鏡のパターン毎に行うこととする。この場合も、制御部１１１は、つる部エッジ直線の傾きを取得したら、つる部エッジ直線の傾きについての閾値判定を行うことにより、顔の向いている方向を特定し、顔方向情報を生成することとする。
　［４．６．変形例６］
　上記実施例では、眼鏡のつるのパターンがパターンＡ、パターンＢ、パターンＣである場合について説明したが、これら以外のつるの形状が特殊なケースについて図１７を用いて説明する。
　図１７（Ａ）における符号３０１で示す眼鏡のつるは、上エッジ直線、下エッジ直線が検出できることから、上記実施例と同様の処理が可能である。図１７（Ａ）における符号３０３についても、エッジ直線が端にはないが、つる部中央部の複数本の水平な直線をエッジ直線として検出することにより、上記実施例と同様の処理が可能である。符号３０２、３０４で示すような特殊な眼鏡の場合でも、つる部から、上エッジ直線や下エッジ直線を検出することにより、上記実施例と同様の処理が可能である。例えば、図１７（Ｂ）における符号３０２で示す眼鏡の場合、つる領域でエッジ検出を行い、それらのエッジに接する直線を求めれば、それらの直線が、眼鏡のつるの上エッジ直線２００Ｕ、下エッジ直線２００Ｌとなり、同様の処理が可能である。
１　情報生成装置
　１１１Ａ　検出手段
　１１１Ｂ　生成手段
　１１１Ｃ　記憶制御手段
　１１１Ｄ　記憶手段
Ｄ　顔向き判定装置
　１１１　制御部
　１１２　記憶部
　１１３　通信部
　１１４　表示部
　１１５　操作部

Claims (8)

  1. 　装着物を装着した頭部を側面から撮影した画像における前記装着物の特徴部の傾きを検出する検出手段と、
    　前記検出手段が検出した前記特徴部の傾きから顔の向いている方向を示す顔方向情報を生成する生成手段と、
    　を備えることを特徴とする情報生成装置。
  2. 　請求項１に記載の情報生成装置であって、
    　前記生成手段は、前記特徴部の傾きから前記装着物の向いている方向を示す装着物方向情報を生成し、前記装着物が基準方向を向くときの前記顔が向く方向と前記基準方向との差分を示す差分情報に基づいて、前記装着物方向情報を補正して前記顔方向情報を生成することを特徴とする情報生成装置。
  3. 　請求項１又は２に記載の情報生成装置であって、
    　前記特徴部の傾きを示す傾き情報と生成された前記顔方向情報を対応付けて記憶手段に記憶させる記憶制御手段を更に備え、
    　前記生成手段は、前記検出手段が検出した前記特徴部の傾きとの差分が閾値以下である傾きを示す前記傾き情報が前記記憶手段に記憶されている場合に、当該傾き情報と対応付けて記憶されている前記顔方向情報を取得することを特徴とする情報生成装置。
  4. 　請求項３に記載の情報生成装置であって、
    　前記検出手段は、前記特徴部のエッジを示す線を検出し、
    　前記生成手段は、前記検出手段が２本の前記線を検出した場合に、２本の前記線の傾き及び２本の前記線間の間隔の少なくとも一方に基づいて、前記装着物の種類を示す種類情報を更に生成し、
    　前記記憶制御手段は、前記傾き情報及び前記顔方向情報に前記種類情報を更に対応付けて前記記憶手段に記憶させ、
    　前記生成手段は、新たに種類情報を生成した場合に、前記記憶手段において当該生成した種類情報と同じ種類を示す前記種類情報が対応付けられている前記顔方向情報を取得することを特徴とする情報生成装置。
  5. 　請求項１に記載の情報生成装置であって、
    　前記生成手段が生成した前記顔方向情報を記憶手段に記憶させる記憶制御手段を更に備え、
    　前記生成手段は、新たに顔方向情報を生成する際に当該顔方向情報の示す方向として複数の候補が存在する場合に、所定期間内に記憶された少なくとも１つの顔方向情報に基づいて顔方向情報を生成することを特徴とする情報生成装置。
  6. 　情報生成装置が行う情報生成方法であって、
    　装着物を装着した頭部を側面から撮影した画像における前記装着物の特徴部の傾きを検出する検出工程と、
    　前記検出工程により検出した前記特徴部の傾きから顔の向いている方向を示す顔方向情報を生成する生成工程と、
    　を含む情報生成方法。
  7. 　コンピュータを、
    　装着物を装着した頭部を側面から撮影した画像における前記装着物の特徴部の傾きを検出する検出手段、
    　前記検出手段が検出した前記特徴部の傾きから顔の向いている方向を示す顔方向情報を生成する生成手段、
    　として機能させることを特徴とする情報生成プログラム。
  8. 　コンピュータを、
    　装着物を装着した頭部を側面から撮影した画像における前記装着物の特徴部の傾きを検出する検出手段、
    　前記検出手段が検出した前記特徴部の傾きから顔の向いている方向を示す顔方向情報を生成する生成手段、
    　として機能させる情報生成プログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2016/052786 2016-01-29 2016-01-29 情報生成装置、情報生成方法、情報生成プログラム及び記録媒体 Ceased WO2017130407A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017563651A JP6697006B2 (ja) 2016-01-29 2016-01-29 情報生成装置、情報生成方法、情報生成プログラム及び記録媒体
PCT/JP2016/052786 WO2017130407A1 (ja) 2016-01-29 2016-01-29 情報生成装置、情報生成方法、情報生成プログラム及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/052786 WO2017130407A1 (ja) 2016-01-29 2016-01-29 情報生成装置、情報生成方法、情報生成プログラム及び記録媒体

Publications (1)

Publication Number Publication Date
WO2017130407A1 true WO2017130407A1 (ja) 2017-08-03

Family

ID=59397631

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/052786 Ceased WO2017130407A1 (ja) 2016-01-29 2016-01-29 情報生成装置、情報生成方法、情報生成プログラム及び記録媒体

Country Status (2)

Country Link
JP (1) JP6697006B2 (ja)
WO (1) WO2017130407A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019239694A1 (ja) * 2018-06-15 2019-12-19 ソニー株式会社 情報処理装置、情報処理方法、プログラム、および情報処理システム
CN113228615A (zh) * 2018-12-28 2021-08-06 索尼集团公司 信息处理装置、信息处理方法和信息处理程序

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006209442A (ja) * 2005-01-27 2006-08-10 Nissan Motor Co Ltd 眼位置検出装置
JP2008269182A (ja) * 2007-04-18 2008-11-06 Fujitsu Ltd 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム
JP2009517745A (ja) * 2005-11-30 2009-04-30 シーイング・マシーンズ・プロプライエタリー・リミテッド 視覚的に頭と目を追跡するシステムにおける眼鏡の視覚的追跡
WO2009091029A1 (ja) * 2008-01-16 2009-07-23 Asahi Kasei Kabushiki Kaisha 顔姿勢推定装置、顔姿勢推定方法、及び、顔姿勢推定プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4445454B2 (ja) * 2005-10-20 2010-04-07 アイシン精機株式会社 顔中心位置検出装置、顔中心位置検出方法、及び、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006209442A (ja) * 2005-01-27 2006-08-10 Nissan Motor Co Ltd 眼位置検出装置
JP2009517745A (ja) * 2005-11-30 2009-04-30 シーイング・マシーンズ・プロプライエタリー・リミテッド 視覚的に頭と目を追跡するシステムにおける眼鏡の視覚的追跡
JP2008269182A (ja) * 2007-04-18 2008-11-06 Fujitsu Ltd 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム
WO2009091029A1 (ja) * 2008-01-16 2009-07-23 Asahi Kasei Kabushiki Kaisha 顔姿勢推定装置、顔姿勢推定方法、及び、顔姿勢推定プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019239694A1 (ja) * 2018-06-15 2019-12-19 ソニー株式会社 情報処理装置、情報処理方法、プログラム、および情報処理システム
US11417088B2 (en) 2018-06-15 2022-08-16 Sony Corporation Information processing device, information processing method, program, and information processing system
CN113228615A (zh) * 2018-12-28 2021-08-06 索尼集团公司 信息处理装置、信息处理方法和信息处理程序
CN113228615B (zh) * 2018-12-28 2023-11-07 索尼集团公司 信息处理装置、信息处理方法和计算机可读记录介质
US12126895B2 (en) 2018-12-28 2024-10-22 Sony Group Corporation Side-view head and ear image capturing for head related transfer functions

Also Published As

Publication number Publication date
JP6697006B2 (ja) 2020-05-20
JPWO2017130407A1 (ja) 2018-11-15

Similar Documents

Publication Publication Date Title
KR102056333B1 (ko) 안경 렌즈 에지의 표시를 설정하기 위한 방법 및 장치 및 컴퓨터 프로그램
KR101169533B1 (ko) 얼굴 자세 추정 장치, 얼굴 자세 추정 방법 및 얼굴 자세 추정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
JP4830650B2 (ja) 追跡装置
JP5024067B2 (ja) 顔認証システム、方法及びプログラム
JP6550642B2 (ja) 皺検出装置および皺検出方法
JP6582604B2 (ja) 瞳孔検出プログラム、瞳孔検出方法、瞳孔検出装置および視線検出システム
KR102460665B1 (ko) 응시 거리를 결정하는 방법 및 디바이스
JP3926507B2 (ja) 目位置及び顔位置検出装置
WO2017013913A1 (ja) 視線検出装置、アイウェア端末、視線検出方法及びプログラム
WO2017036160A1 (zh) 人脸识别的眼镜消除方法
JP6822482B2 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
JP4912206B2 (ja) 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム
JP2004094491A (ja) 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム
CN108463787A (zh) 多视角图像的注视校正
JP2000137792A (ja) 眼部検出装置
JP4445454B2 (ja) 顔中心位置検出装置、顔中心位置検出方法、及び、プログラム
JP2017151565A (ja) 検出システム、検出方法、および検出プログラム
JP6697006B2 (ja) 情報生成装置、情報生成方法、情報生成プログラム及び記録媒体
JP4739870B2 (ja) サングラス検出装置及び顔中心位置検出装置
CN113424098B (zh) 构造眼镜所需参数的自动确立
JP4533849B2 (ja) 画像処理装置及び画像処理プログラム
US20060269128A1 (en) Image correction method and apparatus
CN118715476B (zh) 用于记录头部图像的方法和对应的移动设备
JP6510451B2 (ja) 画像内の人物の瞳孔領域を特定する特定装置、特定方法及びプログラム
EP4455771A1 (en) Method and device for face pose estimation and determination of centration parameters

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16887993

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2017563651

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16887993

Country of ref document: EP

Kind code of ref document: A1