WO2005114576A1 - 動作内容判定装置 - Google Patents

動作内容判定装置 Download PDF

Info

Publication number
WO2005114576A1
WO2005114576A1 PCT/JP2005/009376 JP2005009376W WO2005114576A1 WO 2005114576 A1 WO2005114576 A1 WO 2005114576A1 JP 2005009376 W JP2005009376 W JP 2005009376W WO 2005114576 A1 WO2005114576 A1 WO 2005114576A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
feature amount
operation content
utterance
hmm
Prior art date
Application number
PCT/JP2005/009376
Other languages
English (en)
French (fr)
Inventor
Yoshihiro Noguchi
Keiji Shimada
Ken Ishihara
Original Assignee
Asahi Kasei Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asahi Kasei Kabushiki Kaisha filed Critical Asahi Kasei Kabushiki Kaisha
Priority to EP05741463.3A priority Critical patent/EP1748387B1/en
Priority to JP2006513753A priority patent/JP4286860B2/ja
Priority to US11/596,258 priority patent/US7894637B2/en
Publication of WO2005114576A1 publication Critical patent/WO2005114576A1/ja

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G06V10/85—Markov-related models; Markov random fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals

Definitions

  • the present invention relates to a device for determining the content of a subject's motion, and in particular, to a motion content determination device suitable for determining the content of a subject's motion from a captured image including a face of the subject, an utterance
  • the present invention relates to a content determination device, a car navigation system, an alarm system, an operation content determination program, and an operation content determination method.
  • the voice recognition device of Patent Document 1 captures a speaker by a camera, processes the captured image by an image processing ECU, and determines the presence or absence of utterance from the state of the appearance of the speaker. For example, the appearance state power such as the face direction, the lip movement, and the line-of-sight direction also determines the presence or absence of utterance.
  • a pattern 'matching method is used in processing a captured image to detect the direction of the face, the movement of the lips, and the direction of the line of sight. That is, recognition accuracy is improved by performing voice recognition when it is determined that the speaker is speaking.
  • the template 'matching method in the pattern' matching method ' is used in advance for the face or other parts to be detected. This is a method that prepares a tabular image pattern or an average image pattern as a template, and searches for an image area closest to the template image from the entire image to realize face detection and other part detection.
  • the image recognition device of Patent Document 2 includes an image acquiring unit for acquiring a distance image stream for a target object, and an oral part extracting unit for extracting an oral part from the distance image stream acquired by the image acquiring unit. And an image recognition unit for recognizing at least one of the shape of the lips and the movement of the lips based on the distance image stream of the mouth part extracted by the mouth part extraction unit! / For extraction of the oral cavity, a template matching method or the like is used as in the speech recognition device of Patent Document 1. In addition, the image recognition unit prepares templates of the shape of the oral cavity corresponding to the pronunciation of “A” and “I” in advance, and performs matching between these templates and the extracted image of the oral cavity to obtain the utterance content. Recognize.
  • Patent Document 3 As a technique for photographing a face image of a target person and processing the photographed image to detect whether or not the driver is awake, a driving state detection device described in Patent Document 3 is disclosed. There is a dozing state detection device described in Patent Document 4 and a dozing driving prevention device described in Patent Document 5.
  • the driving state detection device described in Patent Document 3 detects a driver's eye region by performing a correlation operation on a captured image using a target template, and detects a driver's eye region from the detected image of the eye region. Is determined.
  • the dozing state detection device described in Patent Document 4 detects the density of pixels along a vertical pixel row of a face image, and detects one for each local increase in density in the pixel row. Pixels are defined as extraction points, and the extraction points adjacent to each other in the pixel column direction are connected to detect the position of the eye from a group of curves extending in the horizontal direction of the face. The position of the eye is detected, and then the open / closed state of the eye is determined in a predetermined area including the eye, and the dozing state is detected based on the change in the open / closed state.
  • the dozing driving prevention device described in Patent Document 5 sequentially captures a video including an eye of a driver of a car as a moving image by a video camera, and stores the latest video and a frame memory. Calculate the area of the area where the brightness has changed between the previous image and the Calculation is performed to obtain a correlation coefficient between the time-series pattern of the area difference between the reduced area and the reduced area and the standard blink waveform. When the correlation coefficient exceeds the reference value, the instant of the blink is extracted, and the awake state of the driver is determined based on the extraction of the blink.
  • Patent document 1 JP-A-11-352987
  • Patent Document 2 JP-A-11 219421
  • Patent Document 3 JP-A-8-175218
  • Patent Document 4 JP-A-10-275212
  • Patent Document 5 JP-A-2000-40148
  • a template matching method is used to detect a lip portion from an image captured by a fixed camera.
  • the detection accuracy may be significantly reduced depending on the contents of the prepared template.
  • the search for the lips is performed on the image of the entire face, there is a problem that the number of search points increases and the processing becomes heavy.
  • the image recognition device of Patent Document 2 since the size of the oral cavity region at the time of opening is determined by a certain threshold to detect a speech section, for example, an ambiguity such as discrimination between lack extension and speech is made. It was difficult to judge the operation contents even with a great image power.
  • the frequency of blinks within a certain period of time, the integrated value of the opening and closing times of blinks within a certain period of time, and the like are used to determine the awake state.
  • the arousal state is determined by considering information such as the amplitude, duration, and speed of each blink, which is considered to be effective in determining the arousal state from the viewpoint of physiology I can't.
  • the present invention has been made by focusing on such unresolved problems of the conventional technology, and is intended to determine the operation content of the subject from a captured image including the face of the subject. It is an object of the present invention to provide a suitable operation content determination device, utterance content determination device, car navigation system, alarm system, operation content determination program, and operation content determination method.
  • an operation content determination device determines an operation content of the subject based on a photographed image including a predetermined part constituting a face of the subject.
  • Image capturing means for capturing an image including the predetermined part
  • a feature amount extracting unit configured to extract a feature amount in the image of the predetermined part based on an image captured by the image capturing unit;
  • An HMM Hidden Markov Model
  • Operation content determining means for calculating the likelihood with respect to the feature amount using the amount and the HMM, and determining the operation content related to the movement of the predetermined part of the subject based on the calculation result. It is a feature.
  • the HMM is a stochastic model of a time-series signal, and transits between a plurality of stationary signal sources to model a non-stationary time-series signal.
  • the time length of voice changes depending on the speaking speed, and depending on the content of the utterance, it shows a characteristic shape on the frequency (referred to as a envelope), but the shape depends on the person who speaks, the environment, the content, etc. And fluctuations occur.
  • HMM is a statistical model that can absorb such fluctuations.
  • HM M may be defined in any unit (for example, a word or phoneme if performing speech recognition), and each HMM (where “each” means, for example, a plurality of words if they are words) , Because there are multiple phonemes in the phoneme, as shown in Fig. 31, the state consists of a plurality of states, and each state is statistically learned, and the state transition probability (a) and output probability (b: Probability distribution such as normal distribution and mixed normal distribution). For example, the transition probability absorbs the fluctuation of the time expansion and contraction of the voice, and the output probability absorbs the fluctuation of the spectrum.
  • a spectral component obtained by Fourier-transforming the image of the predetermined portion a logarithmic component of a frequency spectrum obtained by performing a Fourier transform on the image of the predetermined portion, and a frequency component obtained by performing a Fourier transform on the image of the predetermined portion are obtained.
  • MFCC Mel's cepstrum
  • the image of the predetermined part is the image of the predetermined part cut out from the captured image itself.
  • the predetermined parts constituting the face are eyes, nose, mouth, eyebrows and the like.
  • an operation content determination device determines an operation content of the target person based on a captured image including a predetermined part constituting a face of the target person.
  • a content judging device determines an operation content of the target person based on a captured image including a predetermined part constituting a face of the target person.
  • Image capturing means for capturing an image including the predetermined part
  • a feature amount extracting unit for extracting a feature amount in the image of the predetermined part based on a detection result of the face part detecting unit
  • HMM Hidden Markov Model
  • the likelihood for the feature amount is calculated using the feature amount extracted by the feature amount extraction unit and the HMM (Hidden Markov Model), and the likelihood of the subject is related to the movement of the predetermined part based on the calculation result.
  • an operation content determination means for determining the operation content.
  • the operation content determining means inputs the feature amount extracted by the feature amount extracting means and the feature amount extracted from the image of the predetermined part,
  • the likelihood for the feature amount is calculated using an HMM that outputs a likelihood for a predetermined motion content related to the movement of the predetermined part, and based on the calculation result, the likelihood of the predetermined part of the subject is calculated. It is possible to determine the operation content related to the movement.
  • the predetermined part can be detected with high accuracy from various captured images, and a known HMM is used for determining the operation content. Accordingly, it is possible to determine the operation content related to the movement of the predetermined part with the concept of time, so that the operation content can be determined with higher accuracy.
  • the SVM is one of the learning models for configuring a discriminator for discriminating two classes having excellent pattern recognition performance.
  • the SVM exhibits high discrimination performance even for unlearned data by setting the discrimination plane based on the criterion of maximizing the margin.
  • the minimum distance between the discrimination plane and the training sample is used as the evaluation function,
  • the identification plane is set so that Furthermore, SVM can construct a nonlinear discriminant function using a kernel trick technique.
  • the kernel trick is an extension method to a nonlinear classifier, in which a feature space vector is mapped to a higher-dimensional space using a non-linear mapping, and linear discrimination is performed in the space, thereby performing a linear discrimination in the original space. Achieve nonlinear discrimination.
  • This non-linear mapping is called a kernel function, and the identification method using it is called a kernel trick.
  • SVM refer to “Takio Kurita, Introduction to Support Vector Machines” on the web page of the URL “http: ⁇ www.neurosci.a ist.go.jp/ ⁇ kurita/lecture/svm/svm.html”. I want to be.
  • a multi-pattern learning is performed in advance on the image of the face whose content (shape, luminance distribution, etc.) changes according to the face orientation, and the images of the parts constituting the face, and the image of the face and the image of the part are learned.
  • the boundary between the image and other images is accurately separated using a curved surface, and the image of the face and its parts is detected based on this boundary, so that the content changes according to the face orientation. Accurate detection performance can be demonstrated for images of the face and its parts.
  • the face part detecting means is configured to determine the predetermined part for each of a plurality of face directions of the subject in the captured image. It is characterized in that the size of the image area to be detected is changed according to each direction.
  • the face region detecting means can change the size of the image area detected as the predetermined region for each of the directions of the face in the plurality of directions according to each direction. .
  • the predetermined part is Since the image is taken in various shapes and sizes according to the direction of the face, even if the size of the image area of the predetermined part to be detected is changed according to the direction of the face, the necessary feature amounts are sufficiently extracted. It is possible. Therefore, the predetermined detection is performed according to the direction of the face. By changing the size of the image area of the part, it is not necessary to perform the extraction processing of the feature amount for the image of the unnecessary part, so that the speed of the extraction processing can be improved.
  • the operation content determining apparatus according to any one of the first to third aspects, wherein the image photographing means includes the object person. Captures an image portion that includes the entire face of
  • a positional relationship information acquiring unit configured to acquire positional relationship information between an image portion including the entire face and the image of the predetermined part
  • Face direction determining means for determining the direction of the face of the target person based on the positional relationship information
  • the HMM includes ones corresponding to the plurality of directions generated for each of the directions of the face in the plurality of directions,
  • the operation content determination means selects an HMM corresponding to the plurality of HMM forces, the face direction of the determination result based on the determination result of the face direction determination means, and the feature quantity extracted by the feature quantity extraction means and the feature quantity. Using the selected HMM, the likelihood of the selected HMM with respect to the feature amount is calculated, and based on the calculation result, the motion content related to the movement of the predetermined part of the subject is determined. And
  • the positional relationship information acquiring means can acquire positional relationship information between the image portion including the entire face and the image of the predetermined part, and the face direction determining means
  • the direction of the face of the subject can be determined based on the positional relationship information
  • the operation content determining means determines the plurality of HMM forces based on the determination result of the face direction determining means.
  • An HMM corresponding to the resulting face direction is selected, and the likelihood of the selected HMM with respect to the feature is calculated using the feature extracted by the feature extracting unit and the selected HMM. It is possible to determine the operation content related to the movement of the predetermined part of the subject based on the target.
  • the orientation of the face of the subject is determined, and the HMM corresponding to the face orientation of the determination result is selected using the HMM corresponding to the face orientation in the plurality of directions, and the selected HMM is used. Since the operation content is determined by using, for example, the inner mirror in the car When performing judgment processing of the operation content using an image including the entire face of the subject taken by one fixed camera installed in the area, the shape of the specified part whose shape changes according to various face directions It is possible to more accurately determine the operation content related to the movement of the predetermined part from the feature amount corresponding to the various face directions in the image.
  • the operation content judging means comprises a predetermined number of consecutive captured images.
  • the feature amount of each frame corresponding to each frame is input as a set to the HMM. Is input to the input of the first frame of the immediately preceding set so that the frames of the immediately preceding set and the next set partially overlap. On the other hand, the input is shifted by a predetermined frame.
  • the image of the predetermined part is an image of a lip portion of the subject. Including a statue,
  • the feature amount extracting means extracts a feature amount in the image of the lip portion based on the image of the lip portion
  • the HMM includes a lip state determination HMM that receives as input a feature amount extracted from the image of the lip portion and outputs likelihood for a predetermined operation content related to the movement of the lip portion,
  • the operation content determining means calculates the likelihood for the feature using the feature of the lip portion and the HMM for lip state determination, and based on the calculation result, It is characterized by judging the action contents related to the movement of the subject's lips! Puru.
  • the image of the lip portion includes not only the image of the lip portion from which the captured image power is also cut out, but also an area image including the image of the lip portion and an image in the vicinity thereof.
  • the invention according to claim 7 is the operation content determination device according to claim 6, wherein the HMM outputs a likelihood for at least one of a speech state and a non-speech state of the subject,
  • the operation content determining means determines whether or not the subject is in a speaking state by the lip state determining HMM for each frame of the captured image.
  • Utterance start point determining means for determining an utterance start point indicating an output of the lip state determination HMM corresponding to a point in time when the subject starts uttering, based on the determination result
  • the operation content determining means determines an utterance section until the subject's utterance start force utterance ends based on the determination result of the utterance start point determining means.
  • the utterance start point determining means can determine the utterance start point indicating the output of the HMM corresponding to the point in time when the subject starts uttering, based on the determination result. It is possible, and the operation content determining means can determine the utterance section up to the utterance start power of the subject person based on the determination result of the utterance start point determining means.
  • the utterance interval can be determined with high accuracy, and the utterance interval in the determined utterance interval can be determined.
  • the recognition accuracy of the utterance content of the target person in a noisy place can be improved.
  • the utterance start point determining means determines that the determination result is a one-frame eyesight n (n is an integer and n ⁇ 2).
  • n is an integer and n ⁇ 2
  • the first frame is set as a candidate of the utterance start point, and the discrimination result power is the frame sight and m (m is an integer and m ⁇ 3) frames are continuously used.
  • the first frame is determined to be the utterance start point when a state indicating utterance is reached.
  • the utterance start point can be determined.
  • the invention according to claim 9 is the operation content determination device according to claim 8, wherein the utterance start point determination unit is configured to perform the n-th frame eye k (k is an integer and k ⁇ m) frame, When the discrimination result indicates a non-speech state, and when the discrimination result indicates a non-speech state for n + k frame eyes and p (p is an integer and p ⁇ 10) frames continuous, When the frame is removed from the candidate power of the utterance start point, while the n + k frame is within r frames (r is an integer and r ⁇ p) and the discrimination result again shows the utterance The first frame is determined as an utterance start point.
  • the invention according to claim 10 is the operation content judging device according to any one of claims 6 to 9, wherein the HMM includes an utterance state and a non-utterance state of the subject. Output the likelihood for at least one,
  • the operation content determination means determines whether or not the subject is in a utterance state by the HMM for each frame of the captured image
  • An utterance end point determining unit that determines an utterance end point indicating an output of the HMM corresponding to a time point at which the target person has finished speaking based on the determination result
  • the operation content determining means determines the utterance section until the utterance start power of the subject based on the determination result of the utterance end point determining means.
  • the utterance end point determination unit performs the following based on the determination result. It is possible to determine an utterance end point indicating an output of the HMM corresponding to a point in time at which the target person ends the utterance, and the operation content determining means determines the target based on the determination result of the utterance end point determining means. Speaker's utterance start ability It is possible to determine the utterance section up to the end of utterance.
  • the utterance section can be determined with high accuracy, and the utterance data of the target person in the determined utterance section can be determined.
  • voice recognition it is possible to improve the recognition accuracy of the utterance content of the target person in a noisy place.
  • the utterance end point judging means judges that the judgment result is w (w is an integer and w ⁇ 20) frames consecutive and non-interval. It is characterized in that when a state indicating an utterance is reached, the first frame in the w frame is determined as the end point of the utterance.
  • the discrimination result becomes something that cannot be realistically (abnormal state), for example, repetition of utterance Z and non-utterance, it is more accurate.
  • the utterance end point can be determined.
  • the utterance end point determining means includes: x (x is an integer and 6 ⁇ x w)
  • the above-mentioned discrimination result indicates a single utterance and a state in which utterance is continued for two consecutive frames, based on the count of the state indicating non-utterance after x + 1 frame.
  • the counting is continued up to the w-th frame even if either one of the above is reached, while the count is cleared when the state indicating the utterance continues for three consecutive frames.
  • the discrimination result becomes something that cannot be realistically (abnormal state), for example, repetition of utterance Z and non-utterance, it is more accurate.
  • the utterance end point can be determined.
  • the invention according to claim 13 is the operation content determination device according to any one of claims 1 to 12, wherein the image of the predetermined part is an image of an eye part of the subject.
  • the feature amount extracting means extracts a feature amount in an image of the eye portion based on the detection result of the eye portion,
  • the HMM includes an eye state determination HMM that receives a feature value extracted from the image of the eye portion as input and outputs a likelihood with respect to the operation content related to the movement of the eye portion. Calculating the likelihood for the feature using the feature of the eye extracted by the feature extracting means and the HMM for eye state determination, and calculating the likelihood of the eye of the subject based on the calculation result.
  • the feature is to determine the related operation contents.
  • the invention according to claim 14 is the operation content determination device according to claim 13, wherein the eye state determination HMM is configured to detect a plurality of frames of the eye portion and to input a feature amount to be extracted. Outputting the likelihood for the type of blink of the subject, and using the HMM for eye state determination and the feature amounts of the detected images of the eye portions of the plurality of frames extracted by the feature amount extraction unit. Calculating the likelihood for the feature amount, and determining the type of blink of the subject based on the calculation result.
  • the invention according to claim 15 is the operation content judging device according to claim 13, wherein the eye state determination HMM is configured to detect the image power of a plurality of frames of the eye portion, and to input a feature amount to be extracted. Outputting the likelihood for the type of blink speed and amplitude of the subject,
  • the operation content determination unit calculates the likelihood for the feature amount using the feature amount of the detected image of the eye portion of a plurality of frames extracted by the feature amount extraction unit and the eye state determination HMM. It is characterized in that the blink speed and the type of amplitude of the subject are determined based on the result.
  • the eye state determination HMM is configured such that the subject is input in response to input of a feature amount of a plurality of frames of detected images of the eye portion. Outputs the likelihood for the type of blink
  • the operation content determination unit calculates the likelihood for the feature amount using the feature amount of the detected image of the eye portion of a plurality of frames extracted by the feature amount extraction unit and the eye state determination HMM.
  • the awake state of the subject is determined based on the result.
  • the state of blinking for example, the state of blinking, the state of falling asleep, etc., depending on the type of blink of the subject being classified, the blinking speed, the blinking eyelid closing calorie reduction force, etc. It is possible to accurately determine the arousal state of the subject.
  • the invention according to claim 17 is the operation content determination device according to claim 13, wherein the eye state determination HMM is a specific type of input with respect to input of a feature amount for a plurality of frames of detected images of the eye portion. Outputs the likelihood for blinking,
  • the operation content determination unit uses the feature amount of the detected image of the eye portion of the plurality of frames extracted by the feature amount extraction unit and the blinking having the specific property with respect to the feature amount using the eye state determination HMM.
  • the method is characterized in that the likelihood for the type is calculated, and the awake state of the subject is determined based on the calculation result.
  • the invention according to claim 18 is the operation content determination device according to claim 17, wherein The operation content determining means is configured to determine the arousal state of the subject based on a change in the frequency of occurrence of each of the specific types of blinks within a predetermined time.
  • a specific type of blink within a predetermined time period such as the frequency of occurrence of a specific type of blink or a specific type of blink, which is considered to be effective in determining arousal state from a physiological point of view. It is possible to determine the arousal state with high accuracy based on a change in the frequency of occurrence of awakening.
  • an utterance content determination device comprises: an image capturing unit that captures an image including a predetermined portion constituting a face of a target person;
  • a face portion detecting means for detecting an image of the lip portion of the subject from the photographed image; and a feature amount for extracting a feature amount in the image of the lip portion based on the image of the lip portion detected by the face portion detecting means. Extraction means;
  • An HMM HiddenMarkov for utterance content determination which receives as input a feature amount extracted from the image of the lip portion and outputs likelihood for the utterance content related to the movement of the lip portion.
  • Utterance content determination means for calculating the likelihood for the feature amount using the feature amount extracted by the feature amount extraction means and the utterance content determination HMM, and determining the utterance content of the subject based on the calculation result; It is characterized by having! Puru.
  • the feature amount extracting means it is possible to extract the feature amount in the image based on the image of the lip portion by the feature amount extracting means, and to use the utterance content determining means to extract the feature amount in the image.
  • the likelihood for the feature amount is calculated using the feature amount extracted by the feature amount extraction means and the HMM for lip state determination, and the utterance content of the subject can be determined based on the calculation result.
  • the HMM it is possible to determine the state of the utterance operation with a temporal concept, and it is possible to determine the utterance content with high accuracy even if there is no voice information. .
  • a car navigation system is a car navigation system according to any one of claims 6 to 12, and a lip by the action content determination apparatus. It is characterized by comprising: voice recognition means for performing voice recognition processing based on the determination result of the motion content related to the movement; and operation processing means for performing predetermined motion processing based on the recognition result of the voice recognition means.
  • the voice recognition means to perform voice recognition processing based on the determination result of the motion content related to the movement of the lip by the motion content determination device. It is possible to perform predetermined operation processing based on the recognition result of the voice recognition means.
  • this system when this system is installed in a car and the subject is a car driver, conversations with passengers other than the driver, music flowing through car stereo, mouth noise, wind noise, engine
  • a predetermined operation such as route search or route guidance to the destination based on the recognition result.
  • the car navigation system uses an inertial navigation device or GPS (Global Positioning Satellite System) to provide information about the current position on the display screen to the occupants such as the driver during operation of the vehicle. It is a known device that provides guidance on travel routes to destinations and destinations.
  • GPS Global Positioning Satellite System
  • an alarm system displays the operation content determination device according to any one of claims 16 to 18 and the determination result of the awake state. Or a notifying means for giving an alarm notification.
  • the notification unit With this configuration, the result of the determination of the arousal state of the subject, which is determined by the operation content determination apparatus according to any one of claims 16 to 18, by the notification unit is set as the target. It is possible to notify the person or the person concerned.
  • the present system when the present system is installed in a car and the subject is a car driver, it is determined that the driver is in drowsiness, and a warning is given by a warning sound or the like. By giving, it is possible to prevent drowsy driving and the like.
  • the operation content determining program according to claim 22 is configured to execute the operation content of the target person based on a captured image including a predetermined part constituting the face of the target person
  • Image capturing means for capturing an image including the predetermined part
  • a face part detecting means for detecting a predetermined part constituting the face of the target person from the shot image using a support vector machine (SVM) based on the shot image of the image shooting means;
  • SVM support vector machine
  • a feature amount extracting unit for extracting a feature amount in the image of the predetermined part based on a detection result of the face part detecting unit
  • the feature amount extracted by the feature amount extraction means and the feature amount extracted from the predetermined part are input, and the likelihood for the motion content related to the movement of the predetermined part is output, using an HMM (HiddenMarkov Model).
  • HMM HiddenMarkov Model
  • the image photographing means photographs an image including the entire face of the subject
  • a positional relationship information acquiring unit configured to acquire positional relationship information between an image portion including the entire face and the image of the predetermined part
  • the program further includes a program for causing a computer to execute a process realized as a face direction determining unit that determines a face direction of the subject based on the positional relationship information, wherein the operation content determining unit includes the face direction determining unit.
  • the HMM corresponding to the face direction of the determination result is selected from the HMMs corresponding to the plurality of directions generated for each of the face directions in a plurality of directions, and extracted in the feature amount extraction step.
  • the likelihood of the selected HMM with respect to the feature amount is calculated, and based on the calculation result, the operation content related to the movement of the predetermined portion of the subject is calculated. It is characterized by determining.
  • the invention according to claim 24 provides the operation content determination pro- cess described in claim 22 or claim 23.
  • the image of the predetermined portion includes an image of the lip portion of the subject, and the feature amount extracting unit extracts a feature amount in the image of the lip portion based on the image of the lip portion,
  • the motion content determining means receives the feature value of the lip portion and the feature value extracted from the image of the lip portion as inputs, and outputs the likelihood of a predetermined motion content related to the movement of the lip portion as output.
  • the method is characterized in that the likelihood for the feature amount is calculated using a state determination HMM, and based on the calculation result, the motion content related to the lip movement of the subject is determined.
  • the image of the predetermined part is an image of an eye portion of the subject.
  • the feature amount extracting means extracts a feature amount in an image of the eye portion based on the detection result of the eye portion,
  • the motion content determining means receives as input the feature quantity of the eye portion extracted by the feature quantity extracting means and the feature quantity extracted from the image power of the eye section, and likelihood for the motion content related to the movement of the eye section.
  • the likelihood for the feature amount is calculated using an eye state determination HMM that outputs an image, and the motion content related to the movement of the eye of the subject is determined based on the calculation result. .
  • a motion content determination method determines the motion content of the subject based on a captured image including a predetermined portion constituting the face of the subject. Operation content determination method for
  • HMM Hidden Markov Model
  • the image photographing means photographs an image including the entire face of the target person
  • an HMM force generated for each of the face directions in a plurality of directions and corresponding to the plurality of directions is used.
  • the HMM corresponding to the direction is selected, and the likelihood of the selected HMM with respect to the feature is calculated using the feature extracted in the feature extraction step and the selected HMM, and the calculation result is obtained.
  • the operation content related to the movement of the predetermined part of the subject is determined based on the above.
  • the image of the predetermined part includes an image of a lip portion of the subject, and the feature amount
  • a feature amount in the image of the lip is extracted based on the image of the lip
  • the feature amount of the lip portion and the feature amount extracted from the image of the lip portion are input, and the likelihood for a predetermined operation content related to the movement of the lip portion is input.
  • the method is characterized in that the likelihood to be calculated is calculated, and based on the calculation result, the action content related to the movement of the subject's lips is determined.
  • the image of the predetermined part is an image of an eye part of the subject.
  • a feature amount in an image of the eye portion is extracted based on a detection result of the eye portion
  • the HMM includes:
  • the feature amount of the eye portion extracted in the feature amount extracting step and the feature amount extracted from the image of the eye portion are input, and the movement of the eye portion is determined.
  • the likelihood for the feature is calculated using an eye state determination HMM that outputs the likelihood for the related motion, and the motion related to the motion of the eye of the subject is calculated based on the calculation result. It is characterized by determining.
  • FIG. 1 is a block diagram showing a configuration of an utterance section detection device according to the present invention.
  • FIG. 2 (a) is a diagram showing a concept of a process of searching for a whole face region in a detection image
  • FIG. 2 (b) is a diagram showing a concept of a process of searching for a lip region from a detected whole face region.
  • (c) is a diagram showing a concept of a lip region search process in the tracking mode.
  • FIG. 3 (a) is a diagram showing an example of a captured image, (b) is a diagram showing a search area and a search window in a detection mode in a detection image, and (c) is a diagram showing a search window.
  • FIG. 4 is a diagram showing a search area and a search window in a tracking mode in a detection image.
  • FIG. 4 is a diagram showing a temporal concept in inputting a feature amount to an HMM.
  • FIG. 5 is a diagram showing a flow of an utterance start point determination process based on the output of the HMM.
  • FIG. 6 is a diagram showing a flow of a process of determining an utterance end point based on an output of an HMM.
  • FIG. 7 is a diagram showing an example of a determination result of utterance Z non-utterance for various face directions.
  • FIG. 8 is a flowchart showing an operation process of the utterance section detection device 1.
  • FIG. 9 is a flowchart showing a process of generating image data for detection in the image processing unit 12.
  • FIG. 10 is a flowchart showing a lip area detection process in a lip area detection unit 13.
  • FIG. 11 is a flowchart showing a feature amount extraction process in a feature amount extraction unit 14.
  • FIG. 12 is a flowchart showing an utterance section detection process in the utterance section detection unit 15.
  • Fig. 13 is a flowchart showing an utterance start point determination process in the utterance section determination unit 15.
  • Fig. 14 is a flowchart showing an utterance end point determination process in an utterance section determination unit 15.
  • FIG. 15] (a) to (c) are diagrams showing an example of a lip region detected according to a face orientation.
  • FIG. 16 is a flowchart showing a lip region detection process in a lip region detection unit 13 according to a modification of the first embodiment.
  • FIG. 17 is a flowchart showing a feature amount extraction process in a feature amount extraction unit 14 according to a modification of the first embodiment.
  • FIG. 18 is a flowchart showing an utterance section detection process in an utterance section detection unit 15 according to a modification of the first embodiment.
  • FIG. 19 is a diagram showing utterance section identification probabilities in a case where an HMM is used without considering a face orientation and in a case where an HMM is used.
  • FIG. 20 is a block diagram illustrating a configuration of an awake state determination device according to the present invention.
  • FIG. 21 (a) is a diagram showing an example of a captured image
  • FIG. 21 (b) is a diagram showing a search area and a search window in a detection mode in a detection image
  • FIG. FIG. 4 is a diagram showing a search area and a search window in a tracking mode in a detection image.
  • FIG. 22 is a diagram showing an electromyogram waveform for awakening state determination with respect to one blink.
  • FIG. 23 is a diagram showing a fluttering waveform pattern.
  • FIG. 24 is a diagram showing a coincidence between the output of the awake state determination HMM and the electromyogram waveform with respect to the waveform O in FIG. 23.
  • FIG. 25 The output of the awake state determination HMM and the electromyogram waveform for waveform A in FIG. It is a figure which shows the matching relationship of.
  • FIG. 26 is a diagram showing the coincidence between the output of the awake state determination HMM for waveform B in FIG. 23 and the electromyogram waveform.
  • FIG. 27 is a diagram showing an example of a blink interval and a waveform pattern of a cluster.
  • FIG. 28 is a flowchart showing a detection process of a left eye region in an eye region detection unit 33.
  • FIG. 29 is a flowchart showing a feature amount extraction process in a feature amount extraction unit 34.
  • FIG. 30 is a flowchart showing awake state determination processing in awake state determination section 35.
  • FIG. 31 is a diagram showing an example of an HMM and a spectrum envelope corresponding to each state of the HMM.
  • FIG. 1 is a diagram showing a first embodiment of the present invention.
  • a face part detection device an operation content determination device, a face part detection device control program, an operation content determination device control program, a face part detection device control method, and an operation content determination device according to the present invention
  • the control method is applied to an utterance section detection device that detects an utterance section, which is a section up to the end of utterance of a driver driving a car, will be described.
  • FIG. 1 is a block diagram showing a configuration of an utterance section detection device according to the present invention.
  • the utterance section detection device 1 includes an image photographing unit 10, a data storage unit 11, an image processing unit 12, a lip region detection unit 13, a feature amount extraction unit 14, an utterance
  • the configuration includes the section detection unit 15 and.
  • the utterance section detection device 1 is installed in a car interior and is linked with a car navigation system (hereinafter referred to as CNS) having a voice recognition function installed in the car interior not shown. Connected as possible. Then, the output of the utterance section detection device 1 is input to the CNS, which performs voice recognition based on the input information, and performs a predetermined operation based on the recognition result.
  • CNS car navigation system
  • the image photographing unit 10 has a configuration including a CCD (charge coupled device) camera, and outputs an image photographed in a frame unit as digital data. Then, the output image data is transmitted to the data storage unit 11.
  • the CCD camera is mounted on an inner mirror in the vehicle cabin so that an image including the entire face of the person (driver) sitting in the driver's seat can be captured.
  • the position of the CCD camera is not limited to the inner mirror, but may be any position such as steering, column position, center 'panel position, front' pillar position, etc. as long as it can capture an image including the entire face of the subject. Another location is fine.
  • the data storage unit 11 stores data necessary for detecting an utterance section, such as an entire face detection SVM, a lip area detection SVM, an utterance section detection HMM, and an image captured by the image capturing unit 10. .
  • audio data is also stored in accordance with a frame of a captured image. Therefore, in the present embodiment, a microphone for acquiring voice data spoken by a person sitting in the driver's seat is installed in the automobile.
  • the image processing unit 12 performs, as a pre-process of the process of detecting the lip region from the captured image, which is performed by the lip region detection unit 13, for each frame of the captured image, reduction of color information by gray scale
  • the image size is reduced by sampling.
  • the captured image in which the image is reduced in size and the image is referred to as a detection image.
  • the lip area detection unit 13 detects the lip area of the person to be imaged from the detection image acquired from the image processing unit 12 using the SVM.
  • the whole face detection SVM that detects the entire face of the subject's face from the detection image
  • the lip area detection that detects the lip area from the whole face image detected by the whole face detection SVM
  • the lip region is detected in two steps using two types of SVMs: Also, once the lip region is detected, the position information of the lip region detected in the previous frame (for example, the upper left pixel of the image is set to the coordinates (1, 1) for the image for detection of the next frame)
  • the search range of the lip region is set based on the coordinate information in the case of, and the SVM for lip region detection is applied to this search range.
  • the lip region detection process is performed at high speed.
  • a mode in which the above-described two types of SVMs are used to perform a lip region detection process is referred to as a detection mode, in which a search range of the lip region is set based on the position information of the lip region detected in the previous frame.
  • the mode in which the lip region detection process is performed by applying the lip region detection SVM to the range is referred to as tracking mode.
  • the information of the detection result is transmitted to the feature amount extraction unit 14.
  • the feature amount extraction unit 14 Upon acquiring the information of the detection result from the lip region detection unit 13, the feature amount extraction unit 14 reads the corresponding original captured image from the data storage unit 11 based on the information, and reads the information.
  • the image of the lip region is cut out from the image, and the feature amount input to the HMM for detecting a speech section described later is extracted.
  • the number of dimensions is reduced by using principal component analysis or independent component analysis for the extracted feature amount.
  • the clipped lip region image is Fourier-transformed, and the frequency spectrum component is extracted as a feature value.
  • the extracted feature values are transmitted to the utterance section detection unit 15 as a set of five consecutive frames.
  • the utterance section detection unit 15 inputs the feature amount of the lip region image acquired from the feature amount extraction unit 14 to the HMM for utterance section detection, and starts the utterance of the target person based on the output of the HMM power for this input. The utterance section until the end of the force is detected. The information of the detected speech section is transmitted to the car navigation system, not shown!
  • the utterance section detection device 1 includes a processor (not shown), a RAM (Random Access Memory), and a storage medium storing a dedicated program. Control of each section described above.
  • the storage medium is a semiconductor storage medium such as a RAM or a ROM, a magnetic storage type storage medium such as an FD or HD, an optical reading type storage medium such as a CD, CDV, LD, or DVD;
  • Storage type A storage medium that is a computer-readable storage medium, regardless of the reading method such as electronic, magnetic, optical, etc. It includes all storage media.
  • FIG. 2 (a) is a diagram showing a concept of a search process of the entire face area in the detection image
  • FIG. 2 (b) is a concept of a process of searching for the lip area from the detected whole face area.
  • FIG. 3C is a diagram showing a concept of a lip region search process in the tracking mode.
  • FIG. 3A is a diagram showing an example of a captured image
  • FIG. 3B is a diagram showing a search area and a search window in a detection mode in a detection image
  • FIG. FIG. 4 is a diagram showing a search area and a search window in a tracking mode in a use image.
  • FIG. 4 is a diagram showing a temporal concept in inputting a feature amount to the HMM
  • FIG. 5 is a diagram showing a flow of a speech start point determination process based on the output of the HMM
  • FIG. 9 is a diagram showing a flow of an utterance end point determination process based on the output of the HMM.
  • FIG. 7 is a diagram showing an example of the determination result of utterance Z and non-utterance for various face directions.
  • the CCD camera attached to the inner mirror is used to control the vehicle as shown in FIG.
  • An image including the entire face of the subject to be photographed is taken while sitting in the driver's seat, and the photographed image data is stored in frames (here, 1/30 second) in the order of photographing.
  • the information is stored in the storage unit 11.
  • the captured image is a color image.
  • the data storage unit 11 notifies the image processing unit 12 of the storage.
  • the image processing unit 12 Upon receiving the notification from the data storage unit 11, the image processing unit 12 reads out the captured image data from the data storage unit, and performs color information reduction processing and sub-processing on the read image data by grace case conversion.
  • the image size is reduced by sampling. For example, if the photographed image is a full-color image having a size of 640 X 480 pixels, the full-scale image is converted into data having a color gradation that is only halfway between white and black by grayscale shading.
  • the image is sub-sampled to 1Z10 in each of the vertical and horizontal directions, and is converted into an image having a size of 64 ⁇ 48 pixels. As a result, the number of pixels is reduced to 1Z100.
  • the detection image generated in this manner is transmitted to the lip region detection unit 13.
  • the lip region detection unit 13 acquires the detection image from the image processing unit 12, the lip region detection unit 13 Then, as shown in FIG. 2A, the entire face image area is scanned by the search window 22 of 20 ⁇ 30 pixels for the entire detection image 20 of 64 ⁇ 48 pixels. Further, the scanned 20 ⁇ 30 pixels, that is, the grayscale values of a total of 600 pixels are input to the whole face detection SVM as 600-dimensional values. In the SVM for whole face detection, learning is performed in advance so that the whole face class and the non-whole face class in the 600-dimensional space can be identified, and the distance between the hyperplane for identification and the input value (such as the Euclidean distance) is determined.
  • the similarity between the two is determined, and an area image of 20 ⁇ 30 pixels having the highest similarity is detected as an image area 200 of the entire face.
  • a search area 23 of 20 ⁇ 15 pixels including the lower half image area of the image area 200 of the entire face is set as shown in FIG. 2 (b).
  • the lip region is scanned by using a search window 24 of 10 ⁇ 10 pixels for the set search region 23. That is, in an actual image, the result is as shown in FIG.
  • the scanned gray scale value of 100 pixels of 10 ⁇ 10 pixels, which is a total of 100 pixels is input to the lip region detection SVM as a 100-dimensional value.
  • the SVM for lip region detection learning is performed in advance in a state where the lip region class and the non-lip region class in the 100-dimensional space can be distinguished, and the distance between the hyperplane for identification and the input value (the Utari distance Etc.), the similarity between the two is determined, and the region image of 10 ⁇ 10 pixels having the highest similarity is detected as the lip region image. Further, when the lip region image is detected, the position information (coordinate information) is obtained, and the mode is shifted to the tracking mode for the detection image of the next frame.
  • the lip region detection unit 13 centers the position coordinates of the lip region image detected in the previous frame on the detection image of the next frame as shown in FIG.
  • the processing is performed by omitting the detection processing of the image area of the entire face and limiting the search area to the search area 25 of 15 ⁇ 15 pixels, which is narrower than the search area 23 of 20 ⁇ 15 pixels. Speed up.
  • the scanned gray scale value of 100 pixels of 10 ⁇ 10 pixels is input to the lip region detection SVM in the same manner as the above detection mode, and the lip region detection is performed. Outgoing processing is performed.
  • the center coordinates of the lip region are transmitted to the feature amount extraction unit 14. In the tracking mode, this mode is maintained as long as the detection of the lip region is successful, and the mode shifts to the face detection mode if the detection of the lip region fails.
  • the feature amount extraction unit 14 obtains the acquired center coordinates from the corresponding captured image stored in the data storage unit 11. Cut out a 64 x 64 pixel grayscale lip image centered on the center coordinates. A window function such as a Hamming window is used to reduce the effect of the lip image of each frame cut out when the nose or chin other than the lip is included. After that, two-dimensional Fourier transform processing is performed, and the amplitude vector of the lip image is obtained as a feature value. In the present embodiment, the obtained feature amount is further subjected to dimension reduction by principal component analysis in order to reduce the operation amount and remove information unnecessary for identification.
  • the eigenvectors used for the principal component analysis are obtained in advance offline using various lip images of an unspecified number of people, and for example, the principal component analysis is performed using up to the tenth component of the eigenvectors.
  • the order of the feature quantity of a multi-dimensional feature is reduced to 10 dimensions.
  • Such feature value extraction is performed for each frame, and the extracted feature values are transmitted to the utterance section detection unit 15 as a set of five frames in the order in which they were captured.
  • the utterance section detection unit 15 obtains a set of five frames of feature amounts from the feature amount extraction unit 14, as shown in FIG. 4, the first frame of the first thread 400a of the immediately preceding feature amount is input, as shown in FIG. The feature value corresponding to the first frame of the set of feature values 400b is shifted from the feature value corresponding to the feature value corresponding to the first frame of the next set of feature values 400b. Input to HMM for utterance section detection. As a result, the second to fifth frames of the set of feature values 400a and the first to fourth frames of the set of feature values 400b overlap and are input to the HMM for speech section detection. Will be.
  • the first thread 400c next to the first thread 400b of the feature quantity has one frame corresponding to the first frame of the next set 400c with respect to the feature quantity corresponding to the first frame of the 400b.
  • the feature amount corresponding to the first frame of the set of feature amounts 400c is input to the HMM for utterance section detection. In this way, one frame from the previous frame By inputting the feature values to the HMM for utterance interval detection by shifting each time, it is possible to obtain the output of the HMM with the time resolution of each frame.
  • the HMM for detecting an utterance section detects utterance Z non-utterance with respect to a set of input feature amounts of five frames, and previously detects various lip images of an unspecified number of people. Use the one obtained by learning.
  • a set of 5-frame features is input to each of the HMM for speech and the HMM for non-speech, and the model with the higher probability of occurrence is output as the identification result.
  • the identification result of the 5 frames Is an utterance.
  • the utterance section detection unit 15 further performs a process of determining the utterance start point and the utterance end point of the imaging subject based on the output of the HMM.
  • the utterance start point and the utterance end point are determined based on the output of the utterance Z and the non-utterance using the utterance HMM and the non-utterance HMM for a set of five frame features. First, the utterance start point determination process will be described.
  • the utterance start point is determined according to the flow shown in FIG.
  • “S” in FIG. 5 indicates a state in which the utterance candidate points have not been determined
  • “C” indicates a state in which the utterance candidate points have been determined
  • “D” indicates a state in which the utterance candidate points have been demoted.
  • “0” indicates that the HMM output is non-speech
  • “1” indicates that the HMM output is utterance.
  • the output power of the HMM is the utterance of two consecutive frames (section A in Fig. 5)
  • the first frame is set as a candidate for the utterance start point, and three frames are output. From the eyes, transition to the state of "C".
  • the first frame (S1 in Fig. 5) set as an utterance candidate point starts utterance. It is determined to be a point.
  • the output of the HMM is in a non-speech state within three frames from the state of “C”
  • the frame next to the frame in which non-speech occurs transitions to the state of “D”.
  • the output of the HMM becomes non-speech state (section C in Fig. 5) for 10 consecutive frames in the state of "D”
  • the first frame set as an utterance candidate point is demoted and the utterance candidate point power is excluded. Is done.
  • the end point of the utterance is as shown in Fig. 6.
  • the determination process is performed in a simple flow.
  • “S” in FIG. 6 indicates a state in which a section in which the output of the HMM is non-utterance (section D) is searched for six consecutive frames, and “C” searches for the end point of the utterance.
  • “0” indicates that the output of the HMM is not uttering
  • “1” indicates that the output of the HMM is uttering.
  • FIG. 6 when the output of the HMM is in a non-speech state (section D in Fig.
  • the state changes to "C" in which the utterance end point is searched. Transition.
  • the state force of “C” is also calculated by ignoring the case where the output of the HMM is in a single-shot utterance state and the case where the output of the HMM is in a utterance state for two consecutive frames. The state in which the user becomes non-uttered continues. On the other hand, when the output of the state force HMM of “C” becomes “1” three consecutive times, the state transits to the state “S1”. Finally, when the non-utterance state is counted 20 times in total, the first frame (state “S1” in FIG. 6) is determined as the utterance end point.
  • the information is input to the CNS as utterance section information.
  • the above-described utterance start point determination processing and utterance end point determination processing are performed on the lip region image in which the captured image power is also cut out by the SVM.
  • FIGS. 7 (a) to 7 (d) it is possible to correctly detect the utterance section even for lip images with various face directions as shown in FIGS. 7 (a) to 7 (d).
  • the lip images of (a) to (c) are determined to be in the utterance state by the HMM for utterance section detection, and the lip image of (d) is determined to be in the non-utterance state. .
  • the frame power of the utterance start point and the voice data corresponding to the captured image up to the frame of the utterance end point are converted into data.
  • the voice data is read from the storage unit 11, and the read voice data is recognized by voice.
  • predetermined processing such as route search and information display is performed based on the speech recognition result.
  • FIG. 8 is a flowchart showing an operation process of the utterance section detection device 1.
  • step S100 the image capturing unit 10 captures an image of the person to be captured
  • step S102 the data storage unit 11 stores the image data captured by the image capturing unit 10, and the process proceeds to step S104.
  • step S104 the image processing unit 12 reads the captured image data stored by the data storage unit 11, and proceeds to step S106.
  • step S106 the image processing unit 12 generates detection image data from the read image data, and outputs the generated detection image data to the lip region detection unit 1.
  • step S108 the lip region detection unit 13 detects the lip region from the detection image, transmits the position information of the detected lip region to the feature amount extraction unit 14, and proceeds to step S110.
  • step S110 the feature amount extraction unit 14 cuts out the image of the lip region from the captured image based on the detected position information of the lip region, extracts the extracted image force characteristic amount, and extracts the extracted feature.
  • the amount is transmitted to the utterance section detection unit 15, and the process proceeds to step S112.
  • step S112 the utterance section detection unit 15 inputs the feature amount obtained from the feature amount extraction unit 14 to the utterance section detection HMM, determines the state of the utterance Z non-utterance, and based on the determination result. The utterance section is detected, and the routine goes to Step S114.
  • step S114 the utterance section detection unit 15 transmits information on the detected utterance section to the CNS, and ends the processing.
  • FIG. 9 is a flowchart showing a process of generating image data for detection in the image processing unit 12.
  • the process proceeds to step S200, and it is determined whether captured image data has been acquired from the data storage unit 11. If it is determined that the captured image data has been acquired (Yes), the process proceeds to step S202. If not, (No) wait until it is obtained.
  • step S202 the sub-sampling process is performed on the acquired captured image, and the process proceeds to step S204.
  • step S204 the sub-sampled photographed image data is gray-scaled to generate photographed image data for detection, and the process proceeds to step S206.
  • step S206 the generated detection image data is transmitted to the lip region detection unit 13, and the process ends.
  • FIG. 10 is a flowchart showing the lip area detection process in the lip area detection unit 13.
  • step S300 the process proceeds to step S300, and it is determined whether or not the image for detection has been acquired from the image processing unit 12. If it is determined that the image has been acquired (Yes), the process proceeds to step S302. And
  • step S302 the process proceeds to the detection mode, and 20 X in the detection image is set.
  • the identification process is performed on the area scanned by the search window of 30 pixels using the whole face detection SVM, and the process proceeds to step S304.
  • step S304 by the identification processing in step S302, it is determined whether or not the image area of the entire face has been detected. If it is determined that the image area has been detected (Yes), the process proceeds to step S306. No) moves to step S330.
  • step S306 a search area for a lip region of 20 ⁇ 15 pixels including the lower half region in the region image of the entire detected face is set for the detection image, and Move to 308.
  • step S308 an identification process is performed on the region scanned by the search window of 10 ⁇ 10 pixels in the search region set in step S306 using the lip region detection SVM, and the process proceeds to step S310.
  • step S310 it is determined whether or not the detection of the lip region has succeeded based on the identification code in step S308. If it is determined that the detection has succeeded (Yes), the process proceeds to step S312. ) Shifts to step S330.
  • step S312 position information of the lip region detected in step S310 is obtained, and the process proceeds to step S314.
  • step S314 the setting is switched from the detection mode to the tracking mode. Move to 316.
  • step S316 the image data of the next frame of the detection image in which the lip region has been detected in step S310 is obtained, and the flow shifts to step S318.
  • step S318 a search area for the lip region of 15 ⁇ 15 pixels is set based on the position information of the lip region in the detection image of the immediately preceding frame, and the flow advances to step S320.
  • step S320 an identification process is performed using a lip region detection SVM on a region scanned by the 10x10 pixel search window in the 15x15 pixel search region set in step S318, The process moves to step S322.
  • step S322 it is determined whether or not the detection of the lip region is successful, based on the identification in step S320. If it is determined that the detection is successful (Yes), the process proceeds to step S324, otherwise (No), the process proceeds to step S324. Move to 330.
  • step S324 the position information of the lip region detected in step S322 is obtained, and the process proceeds to step S326.
  • step S326 it is determined whether there is an image for detection of the next frame. If it is determined that there is an image for detection (Yes), the process proceeds to step S316. Shifts to step S328.
  • step S328 the acquired position information is transmitted to the feature amount extraction unit 14, and the process proceeds to step S300.
  • step S330 it is determined whether or not there is an image for detection of the next frame.
  • step S332 Shifts to step S300.
  • step S332 the image data for detection of the next frame is acquired, and the process proceeds to step S302.
  • FIG. 11 is a flowchart showing a feature amount extraction process in the feature amount extraction unit 14.
  • step S400 the lip region It is determined whether or not the information has been acquired. If it is determined that the information has been acquired (Yes), the process proceeds to step S402; otherwise (No), the process waits until it is acquired.
  • step S402 the image of the lip region is also cut out based on the position information acquired as described above, and the process proceeds to step S404.
  • step S404 a process for reducing the influence of the image of the nose, the chin, and the like is performed using a window function, and the flow advances to step S406.
  • step S406 a two-dimensional Fourier transform process is performed on the image processed by the window function to obtain an amplitude spectrum of the lip region image, and the flow shifts to step S408.
  • step S 408 principal component analysis is performed on the amplitude spectrum obtained in step S 406, the number of dimensions of the amplitude spectrum is reduced to generate a feature, and the process proceeds to step S 410.
  • step S410 the generated feature amount is transmitted as a set of five frames to the utterance section determination unit 15, and the process proceeds to step S400.
  • FIG. 12 is a flowchart showing a process of detecting an utterance section in the utterance section detection unit 15.
  • step S500 the feature amount extraction unit 14 determines whether the feature amount has been acquired. If it is determined that the feature amount has been acquired (Yes), the process proceeds to step S500. The process moves to S502, and if not, (No) stands by until it is obtained.
  • step S502 the acquired set of 5 frames is input to each of the utterance HMM for utterance section detection and the non-utterance HMM,
  • step S504 based on the determination result in step S502, utterance start point determination processing is performed, and the flow advances to step S506.
  • step S506 it is determined whether or not the utterance start point has been detected by the determination process in step S504. If it is determined that the utterance start point has been detected (Yes), the process proceeds to step S508, otherwise, (No). Move to step S500.
  • the utterance end point is determined based on the determination result of step S502, and the process proceeds to step S510.
  • step S510 it is determined whether or not the utterance end point has been detected by the determination processing in step S508. If it is determined that the utterance end point has been detected (Yes), the process proceeds to step S512. No) shifts to step S500.
  • step S512 the utterance section information is transmitted to the CNS based on the detected utterance start point and utterance end point, and the process ends.
  • FIG. 13 is a flowchart showing the utterance start point determination process in the utterance section determination unit 15.
  • step S600 in which it is determined whether or not the utterance by the utterance section detection HMM has acquired the determination result of the utterance Z non-utterance.
  • the process moves to S602, and if not (No), the process waits for acquisition.
  • step S602 based on the above determination result, it is determined whether or not the utterance state has continued twice from the corresponding frame. If it is determined that the utterance state has continued (Yes), Proceeding to step S604, if not (No), the determination processing is continued for the subsequent frame.
  • step S604 the frame is set as the first frame (S1), this frame is set as a candidate of the utterance start point, and the process proceeds to step S606.
  • step S606 the third and subsequent frames from S1 are changed to state "C", and the flow shifts to step S608.
  • step S608 it is determined whether or not the non-speech state has occurred in the frame in the state “C”. If it is determined that the non-speech state has occurred (Yes), the process proceeds to step S610. If not (No), the process moves to step S620.
  • step S610 the state transitions to the state “D” after the next frame after the non-uttered frame, and then proceeds to step S612.
  • step S612 it is determined whether or not an utterance state has occurred in the frame in the state “D”. If it is determined that the utterance state has occurred (Yes), the process proceeds to step S614. In this case (No), the process moves to step S616.
  • step S614 the first frame (S1) is determined to be the utterance start point, and the process ends.
  • step S616 it is determined whether or not the non-speech state has continued 10 times continuously in the frame in the state “D”, and if it is determined that the non-speech state has continued (Yes), the process proceeds to step S616. The process moves to S618, and if not! /, In the case of (No), the process moves to step S612.
  • step S618 the first frame (S1) is demoted from the utterance candidate point, and the process proceeds to step S602.
  • step S608 if the non-speech state does not occur in state "C" and the process proceeds to step S620, the number of occurrences of the utterance state is counted, and whether the utterance state has occurred continuously for three frames. It is determined whether or not it has occurred. If it is determined that the error has occurred (Yes), the process proceeds to step S622; otherwise, the process proceeds to step S608.
  • step S622 the first frame (S1) is determined to be the utterance start point, and the process ends.
  • FIG. 14 is a flowchart showing the utterance end point determination process in the utterance section determination unit 15.
  • step S700 it is determined whether or not the utterance by the utterance section detection HMM has acquired the determination result of the utterance Z non-utterance. If it is determined that the force has been acquired (Yes), The process moves to step S702. If not (No), the process waits until it is obtained.
  • step S702 the number of non-speech occurrences is counted in the order of frames, and the process proceeds to step S704.
  • step S704 it is determined whether the non-utterance state continues for six consecutive times, and if it is determined that the state has continued (Yes), the process proceeds to step S706, and if not, (No), the process proceeds to step S706. 70 Move to 2.
  • step S706 the process transitions to the state “C” after the six consecutive frames, and then proceeds to step S708.
  • step S708 the number of utterances is counted, and the frame in state "C" is counted. It is determined whether the state of the utterance has continued for three consecutive times. If it is determined that the utterance has continued (Yes), the process proceeds to step S710.If not, the process proceeds to step S712. You.
  • step S710 the count of the number of non-speech occurrences is cleared, and the process proceeds to step S702.
  • step S712 the count of the number of non-utterances is continued, and the process proceeds to step S714.
  • step S714 it is determined whether the number of non-utterances has reached 20 in total. If it is determined that the number of non-utterances has reached 20 (Yes), the process proceeds to step S716; otherwise (No) ) Moves to step S708.
  • step S716 the first frame (S1) of the six consecutive frames in step S704 is determined as the utterance end point, and the process ends.
  • the utterance section detection device 1 is capable of capturing an image including the face of the capturing target person sitting in the driver's seat by the image capturing unit 10, and capturing the captured image data by the data storage unit 11.
  • the image processing unit 12 can generate a detection image by converting the captured image data into grayscale and reducing the size by sub-sampling, and the lip region
  • the detection unit 13 can detect the lip region from the detection image using the whole face detection SVM and the lip region detection SVM, and the feature amount extraction unit 14 can detect the position information of the lip region detected.
  • the lip region image can be extracted from the original captured image based on the lip region image, and the feature amount can be extracted from the extracted lip region image.
  • the utterance period detection unit 15 uses the HMM for utterance period detection. It is possible to perform the detection of the utterance interval.
  • the eye image is detected by the dedicated SVM, the feature amount is extracted, and the operation related to the eye movement is performed using the dedicated HMM. It is good also as composition which can judge the contents. With such a configuration, it is possible to determine an action such as dozing, and it is possible to perform driving support such as giving a voice warning.
  • the feature amount extracted by the feature amount extracting unit 14 is By inputting to the HMM for utterance content determination, it is possible to directly identify the utterance content instead of the utterance section.
  • an HMM for discriminating the pronunciation contents such as “A” and “I” is created by learning using various lip images of an unspecified number of people in advance. With such a configuration, it is possible to determine the power utterance content only for the movement of the lips, so that no voice information is required, and the amount of data necessary for voice recognition can be reduced.
  • the positional relationship between them is determined. It is also possible to adopt a configuration in which the direction of the face of the person to be imaged is determined using the above.
  • the direction of a sound collection unit (a microphone or the like) of a sound collection device installed in a vehicle is controlled using the determination result of the face direction of a speaker, or a plurality of collection devices installed in the vehicle. It is possible to more reliably and accurately acquire the voice data of the speaker by performing control or the like of selecting and operating the sound collector in the direction of the speaker among the sound units. .
  • the process of acquiring the image data of the subject by the image photographing unit 10 and the data storage unit 11 is performed by the image according to any one of claims 1, 2, 19, 22, and 26. Corresponds to shooting means.
  • the processing of detecting the lip region from the captured image by the image processing unit 12 and the lip region detection unit 13 is performed by using the face part according to any one of claims 2, 19, 22, and 26. Corresponds to detection means.
  • the feature amount extracting unit 14 corresponds to the feature amount extracting unit described in any one of claims 1, 2, 6, 19, 22, and 24.
  • the utterance section detection unit 15 is an operation content determination unit according to any one of claims 1, 2, 5, 6, 7, 10, 22, 23, 24, and 25.
  • the utterance start point determination processing in the utterance section detection unit 15 corresponds to the utterance start point determination means according to any one of claims 7, 8 and 9.
  • the utterance end point determination processing in the utterance section detection unit 15 is performed by the utterance end point determination unit according to any one of claims 10, 11 and 12. Respond.
  • FIGS. 15 to 19 are diagrams illustrating a face part detection device, an operation content determination device, a face part detection device control program, an operation content determination device control program, a face part detection device control method, and an operation content determination device control method according to the present invention.
  • FIG. 9 is a diagram showing a modification of the first embodiment.
  • the difference from the first embodiment is that HMMs for speech segment detection according to the face direction of the target person are prepared for each set face direction.
  • the utterance section detection unit 15 determines the direction of the face of the target person and changes the area size of the lip region to be detected according to the face direction of the determination result. The point is that the HMM for utterance section detection is selected, and the utterance section is detected by the selected HMM.
  • the portions different from the first embodiment will be described, and the description of the portions overlapping with the first embodiment will be omitted.
  • the data storage unit 11 stores, as the above-mentioned speech section detection HMM, one generated in correspondence with a plurality of preset face directions.
  • the lip region detection unit 13 further detects a region of the entire face of the imaging target person detected by the whole face detection SVM and position information of the lip region. And has a function of determining the direction of the face of the person to be imaged. Further, the detection size of the lip region is changed based on the determined face direction. In other words, since the shape of the lip part to be photographed differs depending on the face direction of the subject, the size of the lip area necessary to include the lip part also changes accordingly. By making the size variable in accordance with the shape rather than the size of the type, it is possible to efficiently perform the subsequent processing and improve the performance.
  • the information of the detection result and the determination result of the face direction are transmitted to the feature extraction unit 14.
  • the feature amount extraction unit 14 Upon acquiring the information of the detection result and the determination result of the face direction from the lip region detection unit 13, the feature amount extraction unit 14 converts the corresponding original captured image into data based on the information. It reads out from the storage unit 11, cuts out the image of the lip region having the size corresponding to the read image force face direction, and extracts a feature amount to be input to the HMM for detecting a speech section described later from the cut lip region image. That is, the difference from the first embodiment is that the cutout size is changed according to the face direction.
  • the utterance section detection unit 15 selects and reads out the HMM for utterance section detection corresponding to the face direction from the data storage unit 11 based on the face direction information of the determination result from the lip area detection unit 13. Then, the feature amount of the lip region image acquired from the feature amount extraction unit 14 is input to the selected HMM for detecting the utterance section, and based on the output of the HMM power corresponding to the input, the utterance up to the end of the subject's utterance start force Detect a section.
  • FIGS. 15A to 15C are diagrams illustrating an example of a lip region detected according to the face direction.
  • the CCD camera is installed so as to be parallel to the mirror surface direction of the inner mirror, and when the photographing subject faces the inner mirror, the face of the photographing subject also has a strong frontal force. It is to be taken.
  • the data storage unit 11 stores the direction in which the subject to be photographed faces the right window (hereinafter abbreviated as right window direction) and the right door mirror while sitting in the driver's seat!
  • left door mirror HMMs for detecting six utterance sections are stored, which correspond to the direction toward the left window (hereinafter abbreviated as the left mirror direction) and the direction toward the left window (hereinafter abbreviated as the left window direction).
  • These HMMs are generated by learning the feature values of the lip image extracted from the captured images of an unspecified number of subjects for each face direction as learning data. Is input as input, and the likelihood of the person being photographed for the utterance state and the likelihood for the non-utterance state are output.
  • the lip region detection unit 13 when the lip region detection unit 13 obtains the detection image from the image processing unit 12, the lip region detection unit 13 shifts to the detection mode similarly to the first embodiment, and sets the whole face detection SVM to the detection mode.
  • a region image of 20 ⁇ 30 pixels is detected as an image region 200 of the entire face.
  • a lip region image of 10 ⁇ 10 pixels is detected using the lip region detection SVM as in the first embodiment.
  • the position information (coordinate information) is acquired, and based on the image region 200 of the entire face and the orientation of the subject's face in the captured image based on the acquired position information. (Any of the above six types).
  • the face orientation is determined from the difference in these position coordinates. Further, when the face direction is determined, the lip region having 10 ⁇ 10 pixels in the vertical and horizontal directions is changed to a size of 10 ⁇ 8 pixels, 10 ⁇ 5 pixels, etc., according to the face direction of the determination result.
  • FIGS. 15A to 15C are diagrams showing detection results of the lip region when the face direction of the person to be imaged is the front direction, the inner mirror direction, and the right window direction.
  • the size of the lip region is 10 ⁇ 10 pixels, and the number of pixels in the lip portion is the second largest when facing the front direction (or the left mirror direction).
  • the size of 10 x 10 pixels is changed to 10 x 8 pixels, and the number of pixels in the lip when the right window is turned is minimized.
  • the size of 10 X 10 pixels is changed to 10 X 8 pixels.
  • the mode shifts to the tracking mode for the detection image of the next frame.
  • the lip region detection unit 13 When the lip region detection unit 13 shifts to the tracking mode, similarly to the first embodiment, the lip region detection unit 13 applies the previous detection image to the next frame as shown in FIG.
  • the lip region is scanned by the pixel search window 24.
  • the scanned gray scale values of 100 pixels in total of 10 ⁇ 10 pixels are input to the lip region detection SVM in the same manner as in the above detection mode, and the lip region detection process is performed.
  • the lip area When the face direction is detected and the coordinate information is acquired, the face direction is determined in the same manner as described above based on the image area 200 of the entire face already detected and the coordinate information, and the size of the lip area is changed based on the determined face direction. Do. Further, in this modification, the information of the face direction and the center coordinates of the lip region are transmitted to the feature amount extracting unit 14.
  • the feature amount extraction unit 14 acquires the information of the face direction and the center coordinates of the lip region in the detection image of each frame from the lip region detection unit 13, the corresponding captured image stored by the data storage unit 11 Then, a grayscale lip image having the number of pixels (for example, a range of 64 ⁇ 48 pixels to 64 ⁇ 64 pixels in the vertical and horizontal directions) corresponding to the direction of the face centering on the acquired center coordinates is cut out. That is, similarly to the lip region, the inner mirror direction is set to the maximum size (64 ⁇ 64 pixels), and the right window direction is set to the minimum size (64 ⁇ 48 pixels). Thereafter, the same processing as in the first embodiment is performed, and the amplitude spectrum of the lip image is obtained as a feature value.
  • the speech direction detection unit 15 When the utterance section detection unit 15 obtains the face direction determination result and a set of five frames of feature amounts from the feature amount extraction unit 14, first, based on the face direction determination result, the speech direction detection unit 15 reads the face direction direction from the data storage unit 11. Select and read the HMM for utterance section detection corresponding to. In other words, the HMM corresponding to the face direction of the determination result is selected from the HMMs corresponding to the six types of face directions described above. Thereafter, the speech section is detected by the same processing as in the first embodiment using the selected HMM.
  • FIG. 16 is a flowchart showing a lip area detection process in the lip area detection unit 13 according to a modification of the first embodiment.
  • step S800 the process proceeds to step S800, and it is determined whether or not the image for detection has been acquired from the image processing unit 12. If it is determined that the image has been acquired (Yes), the process proceeds to step S802. Otherwise (No), wait for acquisition.
  • step S802 the process proceeds to the detection mode, and the detection mode is set to 20 X
  • the identification process is performed on the area scanned by the search window of 30 pixels using the whole face detection SVM, and the process proceeds to step S804.
  • step S804 it is determined whether or not the image area of the entire face has been detected by the identification processing in step S802. If it is determined that the image area has been detected (Yes), the process proceeds to step S806. No) proceeds to step S838.
  • step S806 a search area of a 20 X 15 pixel lip area including the lower half area in the area image of the entire detected face is set for the detection image, and Move to 808.
  • step S808 an identification process is performed on the area scanned by the 10 ⁇ 10 pixel search window in the search area set in step S806 using the lip area detection SVM, and the process proceeds to step S810.
  • step S810 it is determined whether or not the detection of the lip region was successful based on the identification code in step S808. If it was determined that the detection was successful (Yes), the process proceeds to step S812. ) Moves to step S838.
  • step S812 the positional information of the lip region detected in step S810 is obtained, and the process proceeds to step S814.
  • step S814 based on the area image of the entire face detected in step S804 and the position information acquired in step S812, the direction of the face of the person to be imaged in the image for detection is determined, and the flow shifts to step S816.
  • step S816 the area size of the lip area is determined based on the face direction determined in step S814, and the flow advances to step S818.
  • the area size is determined based on the maximum size of 10 ⁇ 10 pixels in the face direction (inner mirror direction) where the face of the subject is in front with respect to the CCD camera. In this case, the area is changed to an area smaller than 10 ⁇ 10 pixels set in advance according to the face direction.
  • step S818 the setting is switched from the detection mode to the tracking mode, and the flow shifts to step S820.
  • step S820 the image data of the next frame after the detection image in which the lip region has been detected in step S810 is obtained, and the flow advances to step S822.
  • step S822 a search area for the lip region of 15 ⁇ 15 pixels is set based on the position information of the lip region in the detection image of the previous frame, and the flow shifts to step S824.
  • step S824 the region scanned by the 10 ⁇ 10 pixel search window in the 15 ⁇ 15 pixel search region set in step S822 is subjected to identification processing using the lip region detection SVM, and the process proceeds to step S826. I do.
  • step S826 it is determined whether or not the detection of the lip region is successful based on the identification code in step S824. If it is determined that the detection is successful (Yes), the process proceeds to step S828, otherwise (No) ) Moves to step S838.
  • step S828 the position information of the lip region detected in step S826 is obtained, and the process proceeds to step S838.
  • step S830 the region image of the entire face detected in step S804 and the image in step S8
  • step S832 Based on the position information acquired in step 28, the direction of the face of the subject in the detection image is determined, and the flow advances to step S832.
  • step S832 the area size of the lip area is determined based on the face direction determined in step S830, and the flow shifts to step S834.
  • step S834 it is determined whether or not there is an image for detection of the next frame. If it is determined that there is an image for detection (Yes), the process proceeds to step S820. The process moves to step S836.
  • step S836 the acquired position information and the information on the face direction of the determination result are transmitted to the feature amount extraction unit 14, and the process proceeds to step S800.
  • step S8308 it is determined whether or not there is an image for detection of the next frame. If it is determined that there is an image for detection (Yes), the process proceeds to step S840. ) Moves to step S800.
  • step S840 the image data for detection of the next frame is acquired, and the process proceeds to step S802.
  • FIG. 17 is a flowchart showing a feature amount extraction process in the feature amount extraction unit 14. is there.
  • step S900 in which it is determined whether or not the information on the face direction and the position information have been obtained from the lip region detection unit 13, and when it is determined that the information has been obtained (Yes). Shifts to step S902, and if not (No), waits for acquisition.
  • the captured image power stored in the data storage unit 11 is also used to convert the image of the lip region of the size corresponding to the face direction into the image. Cut out and move to step S904.
  • the size according to the face direction is the maximum size in the face direction (inner mirror direction) in which the face of the subject is in front of the CCD camera, and in other face directions, the face size An area of a size smaller than the maximum size set in advance in accordance with the direction is obtained.
  • step S904 a process for reducing the influence of the image of the nose, the chin, and the like is performed by the window function, and the flow advances to step S906.
  • step S906 the image processed by the window function is subjected to two-dimensional Fourier transform processing to obtain an amplitude spectrum of the lip region image, and the flow shifts to step S908.
  • step S908 principal component analysis is performed on the amplitude spectrum obtained in step S906, a feature amount is generated by reducing the number of dimensions of the amplitude spectrum, and the process proceeds to step S910.
  • step S910 the generated feature amount is transmitted as a set of five frames to the utterance section determination unit 15, and the process proceeds to step S900.
  • FIG. 18 is a flowchart illustrating a process of detecting an utterance section in the utterance section detection unit 15 according to a modification of the first embodiment.
  • step S 1000 the process proceeds to step S 1000, where it is determined whether or not the feature amount extraction unit 14 has obtained face direction information and feature amounts, and it is determined that the information has been obtained. If (Yes), the process proceeds to step S1002, otherwise (No), the process waits until acquisition.
  • step S1002 the face direction indicated by the face direction information is obtained from the HMM for speech section detection corresponding to the face directions in multiple directions stored in the data storage unit 11 based on the information on the face direction.
  • Select HMM corresponding to direction and read out step S 1004 Move to
  • step S1004 the set of feature values of the five frames obtained above is input to each of the HMM for speech and the HMM for non-speech, which are HMMs for speech segment detection, selected in step S1002. Then, the utterance of every 5 frames Z is determined, and the flow shifts to step S1006.
  • step S1006 the utterance start point is determined based on the determination result in step S1004, and the process proceeds to step S1008.
  • step S1008 it is determined whether or not the utterance start point has been detected by the determination processing in step S1006. If it is determined that the utterance start point has been detected (Yes), the process proceeds to step S1010. ) Shifts to step S1000.
  • step S1010 the utterance end point is determined based on the determination result of step S1004, and the process proceeds to step S1012.
  • step S1012 it is determined whether or not the utterance end point has been detected by the determination processing in step S1010. If it is determined that the utterance end point has been detected (Yes), the process proceeds to step S1014, otherwise (No) ) Shifts to step S1000.
  • step S1014 utterance section information is transmitted to the CNS based on the detected utterance start point and utterance end point, and the process ends.
  • FIG. 19 is a diagram showing the identification probabilities of the utterance sections in the case where the HMM not considering the face direction is used and the case where the HMM in which the face direction is considered is used.
  • the utterance section identification probability in the example in which the utterance section is detected using one type of HMM corresponding to all directions without considering the face direction in the first embodiment Using the six types of HMMs generated for each of the six types of face orientations used in the present modification, the utterance section detection probability is compared with the identification probability of the utterance section in the embodiment in which the utterance section is detected.
  • the utterance sections for the above six types of face directions of the subject described in the present modified example are represented by all face directions. Identification probability when using one type of HMM corresponding to the direction HMMs corresponding to each of the above six types of face directions are generated in consideration of the direction of the user's face, and the utterance intervals for the above six types of face directions are generated using these six types of HMMs. And the identification probability in the case where is detected.
  • a comparison between the identification probability of the method of the first embodiment and the identification probability of the method of the present modification shows that the angle of the face direction of the person to be imaged with respect to the imaging direction of the CCD camera is It can be seen that in the right mirror direction and the right window direction, which are particularly large, the method in which the face direction of this modification is considered improves the identification probability by 4% as compared with the method of the first embodiment.
  • the reason for this is that, due to the difference in the angle, the shape of the image of the lip portion photographed by the CCD camera becomes different depending on the magnitude of the angle. In other words, the larger the degree of deformation of the image of the lip portion (the larger the angle), the smaller the degree of deformation (the smaller the angle ⁇ ).
  • the volume is extracted, it is possible to extract the feature amount depending on the angle in this way, rather than using one type of HMM to detect the utterance section, in each direction (angle range).
  • Using the corresponding HMM improves the detection accuracy of the utterance section. This suggests that, as shown in Fig. 16, the probability of discrimination in all directions is higher than in the case of detecting utterances in all directions using one type of HMM that creates HMMs for each face direction. It can be understood from that.
  • the utterance section detection device 1 in the present modification can capture an image including the face of the subject to be photographed sitting in the driver's seat by the image photographing unit 10, and the data storage unit 11
  • the image processing unit 12 converts the photographed image data into a grayscale image. It is possible to generate a detection image by shading and reducing the size by sub-sampling.
  • the lip region detection unit 13 uses the SVM for whole face detection and the S VM for lip region detection.
  • the feature amount extraction unit 14 allows the lip region of a size corresponding to the face direction from the original captured image. It is possible to extract an image and extract the extracted lip region image power feature amount, and the utterance period detection unit 15 uses the HMM for utterance period detection corresponding to the face direction of the determination result to perform utterance. It is possible to detect a section.
  • the process of acquiring the image data of the subject by the image capturing unit 10 and the data storage unit 11 is performed according to any one of claims 1, 2, 4, 19, 22, and 26. This corresponds to the image capturing means described in 1.
  • the process of detecting the lip region from the captured image by the image processing unit 12 and the lip region detection unit 13 is described in any one of claims 2, 3, 19, 22, and 26. It corresponds to a face part detecting means.
  • the process of acquiring position information by the lip region detection unit 13 corresponds to the positional relationship information acquiring unit described in claim 4 or 23.
  • the feature amount extraction unit 14 corresponds to a feature amount extraction unit according to any one of claims 1, 2, 4, 6, 19, 22, and 24.
  • the utterance section detection unit 15 is an operation content determination unit according to any one of claims 1, 2, 4, 5, 6, 7, 10, 22, 23, 24, and 25.
  • the utterance start point determination processing in the utterance section detection unit 15 corresponds to the utterance start point determination means according to any one of claims 7, 8 and 9.
  • the utterance end point determination processing in the utterance section detection unit 15 corresponds to the utterance end point determination means according to any one of claims 10, 11 and 12.
  • FIG. 5 is a diagram showing a second embodiment of an awake state detection device to which the present invention is applied.
  • a face part detection device, an operation content determination device, a face part detection device control program, an operation content determination device control program, and a face part detection device according to the present invention are provided.
  • the position control method and the operation content determination device control method are applied to an awake state determination device that determines the awake state of a driver who drives an automobile.
  • FIG. 1 is a block diagram showing a configuration of an awake state determination device according to the present invention.
  • the awake state determination device 2 includes an image capturing unit 30 and a data storage unit 31.
  • the arousal state determination device 2 is installed in a vehicle interior and is connected to be able to interlock with an alarm system installed in the vehicle interior (not shown). Then, the output of the arousal state determination device 2 is input to an alarm system, and the alarm system determines, based on the input information, that the driver is in a sleep state or in a state of sleeping only, It performs operations such as screen display, warning sound and warning voice message.
  • the image photographing section 30 has a configuration including a CCD (charge coupled device) camera, and outputs an image photographed in a frame unit as digital data. Then, the output image data is transmitted to the data storage unit 31.
  • the CCD camera is mounted on an inner mirror in the vehicle cabin so that an image including the entire face of the person (driver) sitting in the driver's seat can be captured.
  • the position of the CCD camera is not limited to the inner mirror, but may be any position such as steering, column position, center 'panel position, front' pillar position, etc. as long as it can capture an image including the entire face of the subject. Another location is fine.
  • the data storage unit 31 stores data necessary for determining the awake state, such as the SVM for detecting the entire face, the SVM for detecting the eye area, the HMM for determining the awake state, and the image captured by the image capturing unit 30.
  • data necessary for determining the awake state such as the SVM for detecting the entire face, the SVM for detecting the eye area, the HMM for determining the awake state, and the image captured by the image capturing unit 30.
  • the image processing unit 32 performs image size reduction or the like as preprocessing of the process of detecting an eye region from a captured image, which is performed by the eye region detection unit 33.
  • the photographed image having the reduced image size is referred to as a detection image.
  • the eye region detection unit 33 detects the eye region of the person to be imaged from the detection image acquired from the image processing unit 32 using the SVM.
  • shooting from the detection image The whole face detection SVM that detects the entire area 200 of the subject's face, and the left eye area (not including the right eye) that includes the subject's left eye from the whole face image detected by the whole face detection SVM
  • the left eye area is detected in two stages using two types of SVMs, the left eye area detection SVM to be detected.
  • the position information of the left eye region detected in the previous frame for example, the coordinates of the upper left pixel of the image (for example, The search range of the left eye area is set based on the coordinate information in the case of 1, 1), and the SVM for left eye area detection is applied to this search range. That is, once the left eye region is detected, the detection process of the entire face image region by the whole face detection SVM is omitted for the detection image from the next frame until the left eye region is not detected. At this time, the detection process of the left eye region is speeded up by setting a search range that is narrower than the search range when initially detecting the left eye region.
  • the mode in which the above two types of SVMs are used to perform detection processing of the left eye region is called a detection mode, and the search range of the left eye region is set based on the position information of the left eye region detected in the previous frame.
  • the mode in which the left-eye region detection SVM is applied to this search range to perform the left-eye region detection process is referred to as a tracking mode.
  • the information of the detection result is transmitted to the feature amount extraction unit 34.
  • the feature amount extraction unit 34 Upon acquiring the information of the detection result from the eye region detection unit 33, the feature amount extraction unit 34 reads the corresponding original captured image from the data storage unit 11 based on this information, and reads the read image power. The image of the left eye area is cut out, and the feature quantity to be input to the HMM for awakening state determination described later is extracted. In the present embodiment, the number of dimensions is reduced by using principal component analysis or independent component analysis for the extracted feature amount. Further, in the present embodiment, the cut-out left eye region image is subjected to Fourier transform, and its frequency spectrum component is extracted as a feature amount. Further, the extracted feature amount is transmitted to the awake state determination unit 35 as a set of continuous predetermined frames (for example, 10 frames).
  • the arousal state determination unit 35 inputs the feature amount of the left eye region image acquired from the feature amount extraction unit 34 to the HMM for arousal state determination, and based on the output of the HMM force with respect to this input, wakes up the subject. Determine the status. Information on the determination result is transmitted to an alarm system (not shown).
  • the arousal state determination device 2 includes a processor (not shown), a RAM (Random Access Memory), and a storage medium storing a dedicated program. Control of each section described above.
  • the storage medium includes semiconductor storage media such as RAM and ROM, magnetic storage media such as FD and HD, optical reading storage media such as CD, CDV, LD, and DVD, and magnetic media such as MO.
  • FIG. 21A is a diagram illustrating an example of a captured image
  • FIG. 21B is a diagram illustrating a search area and a search window in a detection mode in a detection image
  • FIG. FIG. 5 is a diagram showing a search area and a search window in a tracking mode in a detection image.
  • FIG. 22 is a diagram showing a configuration of an electromyogram waveform for awake state determination with respect to one blink.
  • FIG. 23 is a diagram showing a blink waveform pattern.
  • FIG. 24 is a diagram showing the correspondence between the output of the awake state determination HMM for waveform O in FIG.
  • FIG. 26 is a diagram showing a matching relationship between a force and an electromyogram waveform
  • FIG. 26 is a diagram showing a matching relationship between an output of the awake state determination HMM for waveform B in FIG. 23 and an electromyogram waveform
  • FIG. 27 is a diagram showing an example of a blink interval and a waveform pattern of a cluster.
  • the image photographing unit 10 uses a CCD camera attached to an inner mirror to control the vehicle as shown in FIG. / Take an image including the entire face of the person to be photographed (driver), and take the captured image data in units of frames (here, 1/30 second) and The images are stored in the data storage unit 31 in the order in which the images were taken.
  • the captured image is a color image.
  • the data storage unit 31 notifies the image processing unit 32 of the storage.
  • the image processing unit 32 Upon receiving the notification from the data storage unit 31, the image processing unit 32 The image data is read out from the, and the read image data is subjected to sub-sampling to reduce the image size. For example, if the captured image is a full-color image with a size of 640 x 480 (vertical x horizontal) pixels, it is sub-sampled to 1Z8 in the vertical and horizontal directions of the image, and a size of 80 x 60 (vertical x horizontal) pixels. Converted to an image. In sub-sampling, for example, a captured image of 640 ⁇ 480 pixels is divided into 80 ⁇ 80 pixel rectangular area units, and each rectangular area is defined as an average value of the luminance values of the pixels of each rectangular area. This is performed by substituting one pixel. This reduces the number of pixels to 1Z64. The detection image generated in this way is transmitted to the eye region detection unit 33.
  • the eye region detection unit 33 shifts to the detection mode, and performs the same method as that in the first embodiment described above for the entire 80 ⁇ 60 pixel detection image. Then, the image area of the entire face is scanned using a search window of 20 ⁇ 20 pixels. Further, the scanned pixel values of a total of 400 pixels of 20 ⁇ 20 pixels are input to the whole face detection SVM as 400-dimensional values.
  • the SVM for whole face detection learning is performed in advance so that the whole face class and the non-whole face class in the 400-dimensional space can be identified, and the distance between the identification hyperplane and the input value (such as the Euclidean distance) , The similarity between the two is determined, and an area image of 20 ⁇ 20 pixels having the highest similarity is detected as an image area of the entire face.
  • the image area including the upper half image area (the area including the left eye) of the entire image area 200 of the face is next detected in the same manner as in the first embodiment.
  • a search area 26 of 10 X 20 (vertical X horizontal) pixels is set, and scanning of the left eye area is performed on the set search area by a search window 27 of 4 X 8 (vertical X horizontal) pixels. That is, in an actual image, the result is as shown in FIG. Then, a pixel value of a total of 32 pixels of the scanned 4 ⁇ 8 pixels is input to the left eye region detection SVM as a 32-dimensional value.
  • the left-eye region detection SVM learning is performed in advance in a state where the left-eye region class and the non-left-eye region class in a 32-dimensional space can be distinguished, and the distance between the identification hyperplane and the input value ( The similarity between the two is determined based on the Euclidean distance, etc., and the region image of 4 ⁇ 8 pixels having the highest similarity is detected as the left eye region image. Further, when the left eye region image is detected, the position information (coordinate information) is acquired, and the detection image of the next frame is shifted to the tracking mode.
  • the eye region detecting unit 33 detects the left eye region detected in the previous frame with respect to the detection image of the next frame in the same manner as in the first embodiment.
  • a search area 28 of 15 ⁇ 15 pixels is set by extending the pixel by 5 pixels in the vertical and horizontal directions centering on the position coordinates of the image, and a search of 4 ⁇ 8 pixels is performed on the set search area. Scan the region. In an actual image, it is as shown in Fig. 21 (c).
  • the pixel values of a total of 32 pixels of the scanned 4 ⁇ 8 pixels are input to the left eye region detection SVM in the same manner as in the above detection mode, and the left eye region detection process is performed.
  • the center coordinates of the left eye region are transmitted to the feature amount extracting unit 34.
  • the mode is maintained while the detection of the left eye area is successful, and the mode shifts to the face detection mode when the detection of the left eye area fails.
  • the feature amount extraction section 34 Upon acquiring the center coordinates of the left eye area in the detection image of each frame from the left eye area detection section 33, the feature amount extraction section 34 obtains the acquired coordinates from the corresponding captured image stored by the data storage section 31. Cut out the left eye area image of 4 X 8 pixels centered on the center coordinates. Then, the Fourier transform processing is performed on the extracted left-eye area image of each frame by FFT or the like, and the real part coefficient after the conversion and the post-distribution Fourier transform of the left-eye area image of the immediately preceding frame are performed. A difference value from the real part coefficient is obtained as a feature value.
  • other features include a frequency spectrum component obtained by Fourier-transforming the left-eye area image, a logarithmic component corresponding to a frequency spectrum obtained by performing a Fourier-transformation on the left-eye area image, and a frequency component before and after the frequency spectrum obtained by Fourier-transforming the left-eye area image.
  • Frame difference component for the left-eye region image mel-cepstral (MFCC) component for the left-eye region image
  • intra-frame moment component for the left-eye region image inter-frame moment component for the left-eye region image
  • the Fourier-transformed frequency spectrum of the left-eye region image There are an intra-frame moment component, an inter-frame moment component for a frequency spectrum obtained by frame-transforming the left-eye area image, and a combination of these. These should be used appropriately according to the system configuration.
  • the obtained feature amount is further subjected to dimension reduction by principal component analysis in order to reduce the amount of computation and remove information unnecessary for identification, as in the first embodiment. I do.
  • the extraction of such feature values is performed for each frame, and the extracted feature values are transmitted to the awake state determination unit 35 as a set of predetermined frames (for example, 10 frames) in the order in which the images were captured.
  • a predetermined frame for example, 10 frames
  • a feature amount for one blinking image is included.
  • the awake state determination unit 35 Upon acquiring a set of feature values of a predetermined frame (for example, 10 frames) from the feature value extraction unit 34, the awake state determination unit 35 inputs these feature values to the HMM for awake state determination.
  • a predetermined frame for example, 10 frames
  • a time from the position where the amplitude is 50% to the closing of the eyelid (falling time in Fig. 22), and the like.
  • a waveform A which is a standard blinking waveform when the human is awake
  • a waveform A to a waveform L other than the standard waveform O and
  • Various blinking waveforms have been observed.
  • waveforms A and B are typical waveforms for judging a drowsy state (hereinafter referred to as a drowsiness state).
  • the amplitude and blinking speed of blinking each time. Therefore, by determining these waveforms A and B and analyzing their appearance patterns and frequencies, it is possible to determine with high accuracy whether or not the subject is awake. .
  • the feature amount extracted by the feature amount extraction unit 34 is input, and the standard blinking waveform 0, blinking waveform A, blinking waveform B, and other blinking waveforms ( Prepare an awake state determination HMM that outputs the likelihood for a total of four waveforms (waveforms C to L).
  • blink images moving images
  • the left eye region image power detected from these images is used as learning data.HMM learning is performed using the extracted features as learning data! ⁇ , each of the above four waveforms 4 types of HMMs (each Generates an HMM corresponding to the waveform on a one-to-one basis.
  • the arousal state determination unit 35 sets a set of predetermined frames (for example, 10 frames) acquired from the feature amount extraction unit 34 for the four types of HMMs for arousal state determination generated as described above. Of each of the above four types of blinking waveforms, it is checked which HMM outputs the highest likelihood, and the blinking waveform with the highest output likelihood is Determines the waveform of the subject's single blink for the input features
  • FIGS. 24 to 26 show the EMG of the EMG when the subject actually attached electrodes to the EMG measurement positions of the right and left eyes, and measured the change in EMG with one blink.
  • the waveform and the captured image of the subject at this time are detected using the technique of the present invention to detect the left eye region image for one blink, and the feature amount of one detected blink of the detected left eye region image is calculated as:
  • FIG. 7 is a diagram showing waveforms corresponding to the HMM with the highest likelihood among the outputs, which are input to the above four types of awake state determination HMMs, respectively.
  • FIG. 26 are all drawings of the application software screen for verification, and the video of the relevant video is displayed in accordance with the blinking video (left eye only) displayed at the top of the screen.
  • Measurement waveforms electromyogram waveforms
  • waveforms O, A, B, and other waveforms identified by applying the present invention to this blinking moving image are displayed below, and waveforms O, A, B, and other waveforms identified by applying the present invention to this blinking moving image are displayed.
  • Information on the result of identification of one of the waveform types is displayed on the right side of the screen.
  • FIG. 24 is a diagram showing a screen on which an electromyogram waveform when the subject blinks classified as a standard blink and a waveform identified by the HMM for arousal state determination are displayed.
  • the HMM for awakening state determination displays the waveform O (normal blinking waveform) as shown in the right side of the screen in Fig. 24 as the identification result of the extracted features. It can be seen that the type of blinking waveform is correctly identified.
  • FIGS. 25 and 26 show EMG waveforms obtained when the subject blinked, which is a typical blinking waveform in the determination of drowsiness, which is classified into waveforms A and B.
  • Image power of blinking Power is a diagram showing the extracted feature amount and the waveform identified by the HMM for arousal state determination. As shown in Figs. 25 and 26, the HMM for awake state determination displays waveform A and waveform B as shown in Figs. 25 and 26, respectively, indicating that the type of blink waveform of the subject is accurately identified. I understand.
  • the awake state determination unit 35 analyzes the appearance pattern and the appearance frequency of each waveform together with the previously determined blinking waveform, and based on the analysis result, The subject's arousal state (awake state, sleep state, sleeping state! /, Sleep state, sleep state, etc.) is determined.
  • the subject's arousal state (awake state, sleep state, sleeping state! /, Sleep state, sleep state, etc.) is determined.
  • a histogram process on the result of discriminating a blinking waveform at a predetermined time unit, a change in the frequency of occurrence of four blinking patterns is captured, and the arousal state of the subject is estimated. .
  • the frequency of occurrence of the waveforms A to L increases, it is determined that the arousal state has decreased (the drowsiness has increased). Also, in physiology, as shown in FIG. 27, it is known that when sleepiness increases, a phenomenon referred to as a blink cluster occurs. From this, in the present embodiment, the appearance intervals of the above-mentioned four types of blink waveforms identified above are obtained, and when the frequency of occurrence of blinks increases continuously, this state is also in the awake state. Is judged to be low (increased drowsiness). Information on the result of the determination (estimated) in this manner is output to an alarm system (not shown).
  • FIG. 28 is a flowchart showing the detection processing of the left eye area in the eye area detection unit 33.
  • step S1100 the image processing unit 32 It is determined whether or not has been acquired. If it is determined that it has been acquired (Yes), the process proceeds to step S1102; otherwise (No), the process waits until it is acquired.
  • step S1102 the process proceeds to the detection mode, and the process proceeds to step S1102.
  • the identification process is performed using M, and the flow shifts to step S1104.
  • step S1104 by the identification processing in step S1102, it is determined whether or not the image area of the entire face has been detected. If it is determined that the image has been detected (Yes), the process proceeds to step S1106. Otherwise! / In the case (No), the process moves to step S1130.
  • step S1106 the search area of the 10 ⁇ 20 pixel eye region including the upper half region in the region image of the entire detected face is set for the detection image, and the process proceeds to step S1108. .
  • step S1108 an identification process is performed on the region scanned by the search window of 4x8 pixels in the search region set in step S1106 using the left eye region detection SVM, and the process proceeds to step S1110. I do.
  • step S1110 based on the identification in step S1108, it is determined whether or not the detection of the left eye region is successful. If it is determined that the detection is successful (Yes), the process proceeds to step S1112.
  • step S1112 position information of the left eye region detected in step S1110 is obtained, and the process proceeds to step S1114.
  • Step SI 114 switches the setting from detection mode to tracking mode.
  • step S1116 the image data of the next frame to the detection image in which the left eye region has been detected in step S1110 is obtained, and the flow shifts to step S1118.
  • step S1118 a search area for a 15 ⁇ 15 pixel left eye area is set based on the position information of the left eye area in the detection image of the previous frame, and the flow shifts to step S1120.
  • step S1120 the left-eye area detection is performed on the area scanned by the 4x8 pixel search window in the 15x15 pixel search area set in step S1118.
  • the identification process is performed by using the SVM, and the flow advances to step S1122.
  • step S1122 it is determined whether or not the detection of the left eye region is successful based on the identification in step S1120. If it is determined that the detection is successful (Yes), the process proceeds to step S1124. No) proceeds to step S1130.
  • step S1124 position information of the left eye region detected in step S1122 is obtained, and the process proceeds to step S1126.
  • step S1126 it is determined whether there is an image for detection of the next frame. If it is determined that the image is present (Yes), the process proceeds to step S1116. If not (No), The process moves to step S1128.
  • step S1128 the acquired position information is transmitted to the feature amount extraction unit 34, and the process proceeds to step S1100.
  • step S1130 it is determined whether or not there is an image for detection of the next frame. If it is determined that there is an image for detection (Yes), the process proceeds to step S1132.
  • step S1132 the image data for detection of the next frame is acquired, and the process proceeds to step S1102.
  • FIG. 29 is a flowchart showing a feature amount extraction process in the feature amount extraction unit 34.
  • step S1200 it is determined whether or not the position information has been acquired from the eye region detection unit 33, and if it is determined that the position information has been acquired (Yes), the process proceeds to step S1202. If not (No), wait until acquisition.
  • step S1202 the captured image power stored in the data storage unit 31 is also cut out from the image of the left eye region based on the acquired position information, and the process proceeds to step S1204.
  • step S1204 a process for reducing the influence of images other than the left eye such as the right eye and eyebrows is performed by a window function, and the flow advances to step S1206.
  • step S1206 the image processed by the window function is subjected to the variance Fourier transform processing. Then, the amplitude spectrum of the left eye region image is obtained, and the flow advances to step S1208.
  • step S1208 the difference between the real spectrum coefficient in the amplitude spectrum obtained in step S1206 and the amplitude spectrum of the immediately preceding frame is calculated, and the flow shifts to step S1210.
  • step S1210 a principal component analysis is performed on the difference between the real part coefficients calculated in step S1208, the number of dimensions of the real part coefficients is reduced to generate a feature amount, and the process proceeds to step S1212. Run.
  • step S1212 a predetermined frame (for example, 10 frames) of the generated feature amount is transmitted as a set to the awake state determination unit 35, and the process proceeds to step S1200.
  • a predetermined frame for example, 10 frames
  • FIG. 30 is a flowchart showing the awake state determination process in the awake state determination unit 35.
  • step S1300 it is determined whether or not the feature amount has been acquired from the feature amount extracting unit 34, and if it is determined that the feature amount has been acquired (Yes), the process proceeds to step S1302. If not, (No) wait until it gets.
  • a set of characteristics of the acquired predetermined frame (for example, 10 frames) is used for the four types of HMMs, which are the awakening state determination HMMs that respectively identify the four types of blinking waveforms.
  • the amounts are input, the type of blink waveform for each predetermined frame is determined based on the likelihood of these four types of HMMs, and the flow shifts to step S1304.
  • step S1304 the determination result in step S1302 is stored in the data storage unit 31 in the order of determination, and the flow advances to step S1306.
  • step S1306 it is determined whether or not the determination result for the predetermined period has been stored in the data storage unit 31, and if it is determined that the determination result has been stored (Yes), the process proceeds to step S1308. If this is the case (No), the process moves to step S1300.
  • the awake state is determined based on the determination result for the predetermined period, and the process proceeds to step S1310.
  • the determination of the arousal state is performed by performing a histogram process on each waveform pattern based on a result of the determination of the blinking waveform for a predetermined period, and obtaining each blinking waveform. The determination is made by obtaining a change in the occurrence frequency of the pattern. For example, if the frequency of occurrence of a waveform pattern other than the normal blink waveform o that is important for determining a sleep state is high, it is determined that the subject is suffering from drowsiness. In addition, in order to increase the determination accuracy, the blink waveforms are further examined to determine that the subject is suffering from drowsiness when the frequency at which the blink waveforms appear continuously increases. I do.
  • step S1310 the result determined in step S1308 is transmitted to the alarm system, and the process ends.
  • the awake state determination device 2 can capture an image including the face of the subject to be photographed sitting in the driver's seat by the image photographing unit 30.
  • HMM for wakefulness determination corresponding to multiple types of blink waveforms of the subject, captured image data, etc. can be stored.
  • Image processing unit 32 detects captured image data whose size has been reduced by sub-sampling. It is possible to generate an image for use by the eye area detection unit 33, and to use the SVM for whole face detection and the SVM for left eye area detection to detect the image power for detection and the left eye area.
  • the amount extraction unit 34 can cut out the left eye region image from the original photographed image based on the detected position information of the lip region, and extract the extracted left eye region image power feature amount.
  • the determination unit 35 determines the type of the blinking waveform using the HMM for awakening state determination, and performs the analysis process based on the result of the determination of the blinking waveform for a predetermined period to determine the arousal state of the subject. It is possible.
  • the left eye region of the subject to be photographed is detected and the awake state is determined.
  • the subject to be photographed is determined according to the photographing environment and the type of system to be applied. The determination may be performed by detecting the right eye region or the binocular region.
  • the process of acquiring the image data of the subject by the image photographing unit 30 and the data storage unit 31 is performed by the image according to any one of claims 1, 2, 19, 22, and 26. Corresponds to shooting means.
  • the detection processing of the left eye region from the captured image by the image processing unit 32 and the eye region detection unit 33 is performed according to any one of claims 2, 19, 22, and 26. Corresponds to the part detection means. [0193] In the above embodiment, the processing of acquiring position information by the eye region detection unit 33 corresponds to the positional relationship information acquiring unit described in claim 4 or 23.
  • the feature amount extracting unit 34 corresponds to the feature amount extracting unit according to any one of claims 1, 2, 13, 14, 15, 16, 17, 19, 22, and 25. I do.
  • the arousal state determination unit 35 is an operation content according to any one of claims 1, 2, 5, 13, 14, 15, 16, 17, 18, 22, 23 and 25. It corresponds to the judgment means.
  • the utterance section and the utterance content are detected from the lip region image detected from the captured image.
  • the present invention is not limited to this, and it is also possible to determine other operation contents such as a state in which gum is inserted or a state in which the gum is stretched.
  • the function of the utterance interval detecting device 1 in the first embodiment or the modification of the first embodiment is combined with the function of the awake state determining device 2 in the second embodiment. It is also possible to adopt a configuration in which the operation content such as lack of extension that can be determined only by blinking is also determined, and the awake state can be determined with higher accuracy. Accordingly, it is possible to more appropriately perform safe driving support such as giving a warning by sound to the vehicle driver in accordance with the determination result.
  • the lip region image is detected from the captured image
  • the motion content (speech section) related to the movement of the lips is determined
  • the eye content is determined from the captured image.
  • the image is detected to determine the action contents (slumber, etc.) related to the eye movement, but this is not a limitation, and other images of the face such as the nose and eyebrows are detected and detected.
  • the operation contents related to these movements may be determined.
  • the face direction of the subject is not taken into account as in the modification of the first embodiment.
  • the present invention is not limited to this. Considering the direction of the face, HMMs for awakening state determination corresponding to each face direction are prepared, the face direction is determined, and the HMM corresponding to the face direction determined by the HMM force determination is selected. A configuration in which the type of blink waveform of the subject is determined using the selected HMM! This makes it possible to determine the type of the blinking waveform with higher accuracy.
  • the operation content determination device by using a known HMM, the operation content related to the movement of a predetermined part with a temporal concept is determined. Therefore, the operation content can be determined with higher accuracy.
  • the predetermined portion is detected using the SVM, it is possible to detect the predetermined portion with high accuracy from various captured images.
  • a well-known HMM for the determination of the motion, it is possible to determine the motion content related to the motion of the predetermined part with a temporal concept, and thus it is possible to more accurately determine the motion content. is there.
  • the size of the image area of the predetermined portion to be detected according to the face direction is changed. This eliminates the need to perform feature amount extraction processing on the image of the unnecessary portion, and thus it is possible to improve the speed of the extraction processing.
  • an image of a predetermined portion whose shape changes according to various face directions is added. It is possible to more accurately determine the operation content related to the movement of the predetermined part from the feature amount corresponding to the various face directions in the image.
  • the operation content judging device in addition to the effect of any one of claims 1 to 5, the operation content such as the utterance, lack of extension, and gumming of the target person is also provided. It is possible to determine.
  • the utterance of the target person is separately started based on the determination result of the power of the utterance state by the HMM. Since the points are determined, it is possible to accurately determine the utterance section.
  • the operation content determination device according to claim 8 and claim 9, according to claim 7, In addition to the effect, even when the output of the HMM becomes something that is not practically possible (abnormal state), for example, repetition of utterance Z and non-utterance, the utterance start point can be determined more accurately. It is possible to determine.
  • the operation content judging device in addition to the effect of any one of claims 6 to 9, in addition to the above-described effect of HMM, the judgment result of whether or not the force is in the utterance state is given by the HMM. Since the utterance end point of the target person is separately determined based on the utterance interval, the utterance section can be determined with high accuracy.
  • the operation content judging device in addition to the effect of the force 1 according to any one of claims 1 to 12, it is possible to determine the operation content such as dozing.
  • the operation content determination device of claim 14 in addition to the effect of claim 13, for example, the type of blink of the target person, such as the speed of blinking, the degree of closing or adjusting the eyelids when blinking, is accurately determined. It is possible to do.
  • the eye condition at the time of blinking for example, when the eye condition is expressed as a muscle EMG waveform It is also possible to accurately determine the speed at which the starting force of the blinking ends (the change time of the myoelectric potential) and the type of amplitude indicating the reduction in the amount of eyelid closing during blinking.
  • the speed of blinking, the force of closing and adjusting the eyelids at the time of blinking, and the type of blink of the target person are classified. It is possible to accurately determine the awake state of the subject, such as a state in which the subject is depressed or a state in which he or she falls asleep.
  • the operation content determination device of claim 17 in addition to the effect of claim 13, it is sufficient to generate an HMM for a specific type of blink, and the determination process is performed using a specific type of HMM. Therefore, it is possible to reduce the memory capacity required for the HMM, perform high-speed judgment processing, and the like.
  • the operation content determination device of claim 18 in addition to the effect of claim 17, in addition to the occurrence frequency of a specific type of blink, a specific type of blink in a predetermined time period such as a blink of a specific type of blink. It is possible to determine the state of alertness with high accuracy based on the change in the frequency of occurrence.
  • the motion content judging device by using the HMM, it is possible to judge the state of the utterance motion with a temporal concept. It is possible to judge the utterance content with high accuracy.
  • the contents of the utterance of the target person can be recognized more accurately in an environment with noise such as music flowing from a car stereo, road noise, wind noise, engine sound, and the like.
  • noise such as music flowing from a car stereo, road noise, wind noise, engine sound, and the like.
  • a predetermined operation such as route search or route guidance to the destination based on the recognition result.
  • the alarm system of claim 21 for example, when the subject is a driver of a car, a state in which the driver is drowsy is determined, and a warning sound or the like is determined. By giving a warning, it is possible to prevent drowsy driving and the like.
  • the same effect as that of the operation content determining device of the thirteenth aspect can be obtained.
  • an effect equivalent to that of the operation content judging device according to claim 6 can be obtained.
  • an effect equivalent to that of the operation content judging device according to claim 13 is obtained.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Acoustics & Sound (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Navigation (AREA)

Abstract

　対象者の顔を含む撮影画像から当該対象者の動作内容を判定するのに好適な顔部位検出装置、動作内容判定装置、発話内容判定装置、カーナビゲーションシステム、顔向判定装置、顔部位検出装置制御プログラム、動作内容判定装置制御プログラム、顔部位検出装置制御方法及び動作内容判定装置制御方法を提供する。 　発話区間検出装置１を、画像撮影部１０と、データ記憶部１１と、画像処理部１２と、口唇領域検出部１３と、特徴量抽出部１４と、発話区間検出部１５とを含んだ構成とし、口唇領域検出部１３において専用のＳＶＭを用いて撮影画像から口唇領域を検出し、発話区間検出部１５において、検出された口唇領域の画像の特徴量及び専用のＨＭＭを用いて発話区間を検出する。

Description

動作内容判定装置
技術分野
[0001] 本発明は、対象者の動作内容を判定する装置に係り、特に、対象者の顔を含む撮 影画像から当該対象者の動作内容を判定するのに好適な動作内容判定装置、発話 内容判定装置、カーナビゲーシヨンシステム、警報システム、動作内容判定プロダラ ム及び動作内容判定方法に関する。
背景技術
[0002] 対象者の顔の部位の表情力 その人の状態及び行為を認知し、それを応用したァ プリケーシヨンが知られている。例えば、自動車内に設置されるカーナビゲーシヨンシ ステム（以下、 CNSと称す)の一機能として、音声による行き先の指示等の CNSの操 作を車内に設置されたマイク等への音声入力により行う音声操作機能がある。マイク 力 入力された音声は、音声認識によりその内容が認識される。運転手が目的地 (例 えば、地名や施設名等の目的地)を音声入力した場合は、音声認識により目的地を 示す単語を認識し、認識した単語が示す場所へのルート検索や情報の表示等を行う 。しかしながら、音声操作機能を利用する場合に、運転手以外の同乗者による会話 や、カーステレオ力 流れる音楽、ロードノイズ、風切り音、エンジン音等によってマイ クに余計な音が入力されてしまうため音声認識の精度が著しく低下してしまうといった 問題がある。このような問題に対処する技術として、特許文献 1の音声認識装置及び 特許文献 2の画像認識装置がある。
[0003] 特許文献 1の音声認識装置は、カメラにより発話者を撮影し、画像処理 ECUにより 撮影画像を処理して、発話者の外観面の状態カゝら発声の有無を判定する。例えば、 顔の向き、唇の動き、視線の向きといった外観状態力も発声の有無を判定する。顔の 向き、唇の動き、視線の向きを検出するための撮影画像の処理においてはパターン' マッチング方式を用いている。つまり、発話者が発話をしていると判定されたときに音 声認識を行うことにより、認識精度を向上させる。ここで、パターン 'マッチング方式の 中のテンプレート 'マッチング方式は、予め検出しょうとする顔やその他の部位の代 表的な画像パターンや平均的な画像パターンをテンプレートとして用意し、そのテン プレート画像と最も近い画像領域を全体画像から探索することにより顔検出やその他 の部位検出を実現する手法である。
[0004] また、特許文献 2の画像認識装置は、対象物体に対する距離画像ストリームを取得 するための画像取得部と、画像取得部により取得された距離画像ストリームから口腔 部分を抽出する口腔部分抽出部と、口腔部分抽出部により抽出された口腔部分の 距離画像ストリームに基づ 、て、口唇の形状および口唇の動きの少なくとも一方を認 識するための画像認識部とを具備して！/、る。口腔部分の抽出には特許文献 1の音声 認識装置と同様にテンプレート 'マッチング方式等を用いている。更に、画像認識部 では、予め「あ」、「い」といった発音に対応する口腔部分の形状画像のテンプレート を用意し、これらテンプレートと抽出された口腔部分の画像とのマッチングを行うこと により発話内容を認識する。
[0005] また、対象者の顔画像を撮影し、当該撮影画像を画像処理して、運転者が覚醒状 態にあるか否かを検出する技術として、特許文献 3に記載の運転状態検出装置、特 許文献 4に記載の居眠り状態検出装置及び特許文献 5に記載の居眠り運転防止装 置がある。
特許文献 3記載の運転状態検出装置は、撮像された画像に対して、対象テンプレ ートを用いて相関演算を行って運転者の目領域を検出し、検出された目領域の画像 から運転者の運転状態を判定する。
[0006] また、特許文献 4記載の居眠り状態検出装置は、顔画像の縦方向の画素列に沿つ て画素の濃度を検出し、画素列における濃度の局所的な高まり毎に 1個づつの画素 を定めて抽出点とし、隣接する画素列の画素列方向に近接した抽出点を連結して顔 の横方向に伸びる曲線群から眼の位置を検出し、その後、眼を含む所定領域内で 眼の位置を検出し、その後、眼を含む所定領域内で、眼の開閉状態を判定し、その 開閉状態の変化により居眠り状態を検出する。
[0007] また、特許文献 5記載の居眠り運転防止装置は、自動車の運転者の眼部を含む映 像を、ビデオカメラにより動画像として順次的に撮像し、最新の映像と、フレームメモリ に記憶された前の映像との間で輝度の変化した領域の面積を算出し、輝度が増加し た領域と減少した領域との面積差の時系列的なパターンと標準の瞬目波形との間で 相関係数をとる演算を行う。相関係数が基準値を超えると、瞬目の時点が抽出され、 瞬目の抽出に基づ 、て運転者の覚醒状態が判定される。
特許文献 1：特開平 11― 352987号公報
特許文献 2 :特開平 11 219421号公報
特許文献 3 :特開平 8— 175218号公報
特許文献 4:特開平 10— 275212号公報
特許文献 5 :特開 2000— 40148号公報
[0008] し力しながら、上記特許文献 1及び特許文献 2の従来技術においては、固定カメラ によって撮影された画像からの口唇部分の検出にテンプレート ·マッチング方式を用 いているため、例えば、運転中に起こる顔向きの変化により斜めや横向きになった顔 画像から口唇部分を検出するような場合に、用意されたテンプレートの内容によって は著しく検出精度が低下する恐れがある。更に、顔全体の画像に対して口唇部分の 探索を行っているため探索ポイント数が多くなり処理が重くなるという問題もある。 また、上記特許文献 2の画像認識装置においては、開口時の口腔領域の大きさな どをある閾値で判断し発話区間を検出しているため、例えば、欠伸と発話とを区別す るといった曖昧な画像力も動作内容の判断を行うことが困難であった。
[0009] また、上記特許文献 3乃至特許文献 5の従来技術においては、一定時間内のまば たきの回数頻度、一定時間内のまばたきの開閉時間の積算値などを覚醒状態の判 定に用いている力 このような構成では、生理学の見地において覚醒状態の判定に 有効であるとされている、 1回 1回のまばたきの振幅、持続時間及び速度などの情報 を考慮して覚醒状態を判定することはできな 、。
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされ たものであって、対象者の顔を含む撮影画像から当該対象者の動作内容を判定す るのに好適な動作内容判定装置、発話内容判定装置、カーナビゲーシヨンシステム 、警報システム、動作内容判定プログラム及び動作内容判定方法を提供することを 目的としている。
発明の開示 [0010] 上記目的を達成するために、本発明に係る請求項 1記載の動作内容判定装置は、 対象者の顔を構成する所定部位を含む撮影画像に基づき、前記対象者の動作内容 を判定する動作内容判定装置であって、
前記所定部位を含む画像を撮影する画像撮影手段と、
前記画像撮影手段の撮影画像に基づき、前記所定部位の画像における特徴量を 抽出する特徴量抽出手段と、
前記所定部位の画像から抽出される特徴量を入力とし、前記所定部位の動きに関 連する所定動作内容に対する尤度を出力とする HMM (Hidden MarkovModel)と、 前記特徴量抽出手段によって抽出した特徴量及び前記 HMMを用いて前記特徴 量に対する前記尤度を算出し、当該算出結果に基づき前記対象者の前記所定部位 の動きに関連する動作内容を判定する動作内容判定手段と、を備えることを特徴とし ている。
[0011] このような構成であれば、画像撮影手段によって、対象者の顔を構成する所定部位 を含む撮影画像を撮影することが可能であり、特徴量抽出手段によって、前記画像 撮影手段の撮影画像に基づき、前記所定部位の画像における特徴量を抽出するこ とが可能であり、動作内容判定手段によって、前記特徴量抽出手段によって抽出し た特徴量及び所定部位の画像から抽出される特徴量を入力とし、前記所定部位の 動きに関連する所定動作内容に対する尤度を出力とする HMMを用いて前記特徴 量に対する前記尤度を算出し、当該算出結果に基づき前記対象者の前記所定部位 の動きに関連する動作内容を判定することが可能である。
[0012] 従って、公知の HMMを用いることにより、時間的概念を伴う所定部位の動きに関 連した動作内容を判定することができるので、より高精度に前記動作内容の判定を 行うことが可能である。
[0013] ここで、 HMMは時系列信号の確率モデルであり、複数の定常信号源の間を遷移 することで、非定常な時系列信号をモデルィ匕する。また、例えば、音声は話すスピー ドによりその時間的長さが変わり、発話内容により、周波数上で特徴的な形状 (スベタ トル包絡という）を示すが、その形状は発声する人、環境、内容等に依存し、揺らぎが 生じる。 HMMはそのような揺らぎを吸収することができる統計的モデルである。 HM Mは、どのような単位で定義されても良く（例えば、音声認識をするのであれば単語 や音素）、各 HMM (ここで「各」というのは例えば単語であれば複数の単語が存在し 、音素においても複数の音素が存在するため。）は、図 31に示すように、複数の状態 からなり、各状態は統計的に学習された、状態遷移確率 (a)と出力確率 (b :正規分布 、混合正規分布等の確率分布)で構成されている。例えば、遷移確率は音声の時間 伸縮の揺らぎを、出力確率はスペクトルの揺らぎを吸収する。
[0014] また、特徴量としては、所定部位の画像をフーリエ変換したスペクトル成分、所定部 位の画像をフーリエ変換した周波数スペクトルに対する対数成分、所定部位の画像 をフーリエ変換した周波数スペクトルに対しての現フレームとその前後のフレームとの フレーム間差分成分、所定部位の画像に対するメル'ケプストラム (MFCC)成分、所 定部位の画像に対するフレーム内モーメント成分、所定部位の画像に対するフレー ム間モーメント成分、所定部位の画像をフーリエ変換した周波数スペクトルに対する フレーム内モーメント成分、所定部位の画像をフーリエ変換した周波数スペクトルに 対するフレーム間モーメント成分などがある。以下、請求項 2記載の動作内容判定装 置、請求項 22記載の動作内容判定プログラム及び請求項 26の動作内容判定方法 において同じである。
[0015] また、所定部位の画像とは、撮影画像から切り出した所定部位の画像そのものの他
、当該所定部位の画像とその近傍の画像を含む領域画像等も含む。以下、請求項 2 記載の動作内容判定装置、請求項 22記載の動作内容判定プログラム及び請求項 2
6の動作内容判定方法において同じである。
また、顔を構成する所定部位は、眼、鼻、口、眉等である。以下、請求項 2記載の動 作内容判定装置、請求項 22記載の動作内容判定プログラム及び請求項 26の動作 内容判定方法において同じである。
[0016] また、上記目的を達成するために、請求項 2記載の動作内容判定装置は、対象者 の顔を構成する所定部位を含む撮影画像に基づき、前記対象者の動作内容を判定 する動作内容判定装置であって、
前記所定部位を含む画像を撮影する画像撮影手段と、
前記画像撮影手段の撮影画像に基づき、 SVM (Support Vector Machine)を用い て前記撮影画像中から前記対象者の顔を構成する所定部位を検出する顔部位検出 手段と、
前記顔部位検出手段の検出結果に基づき前記所定部位の画像における特徴量を 抽出する特徴量抽出手段と、
前記所定部位力 抽出される特徴量を入力とし、前記所定部位の動きに関連する 動作内容に対する尤度を出力とする HMM (Hidden Markov Model)と、
前記特徴量抽出手段によって抽出した特徴量及び前記 HMM (Hidden Markov Model)を用いて前記特徴量に対する前記尤度を算出し、当該算出結果に基づき前 記対象者の前記所定部位の動きに関連する動作内容を判定する動作内容判定手 段と、を備えることを特徴としている。
[0017] このような構成であれば、画像撮影手段によって、前記対象者の顔を含む画像を撮 影することが可能であり、顔部位検出手段によって、前記画像撮影手段の撮影画像 に基づき、 SVM (SupportVector Machine)を用いて前記撮影画像中力 前記対象 者の顔を構成する所定部位を検出することが可能であり、特徴量抽出手段によって、 前記顔部位検出手段の検出結果に基づき前記所定部位の画像における特徴量を 抽出することが可能であり、動作内容判定手段によって、前記特徴量抽出手段によ つて抽出した特徴量及び所定部位の画像カゝら抽出される特徴量を入力とし、前記所 定部位の動きに関連する所定動作内容に対する尤度を出力とする HMMを用いて 前記特徴量に対する前記尤度を算出し、当該算出結果に基づき前記対象者の前記 所定部位の動きに関連する動作内容を判定することが可能である。
[0018] 従って、 SVMを用いて上記所定部位を検出するため、様々な撮影画像中からの 所定部位の高精度な検出が可能であり、また、動作内容の判定に公知の HMMを用 いることにより、時間的概念を伴う所定部位の動きに関連した動作内容を判定するこ とができるので、より高精度に前記動作内容の判定を行うことが可能である。
[0019] ここで、 SVMは、パターン認識性能の優秀な 2つのクラスを識別する識別器を構成 するための学習モデルの 1つである。 SVMは、マージン最大化という基準によって識 別平面を設定することにより未学習データに対しても高い識別性能を発揮する。具体 的には、識別平面と訓練サンプルとの最小距離を評価関数として用い、これを最大 にするように識別平面を設定する。更に、 SVMは、カーネルトリックという手法により 非線形の識別関数を構成することが可能である。ここで、カーネルトリックは、非線形 識別器への拡張手法であり、特徴空間ベクトルを非線形な写像を用いてより高次元 の空間に写像し、その空間において線形識別を行うことにより元の空間での非線形 識別を実現する。この非線形な写像をカーネル関数と呼び、それを用いた識別手法 をカーネルトリックと呼ぶ。なお、 SVMについては、 URL「http：〃 www.neurosci.a ist.go.jp/〜kurita/lecture/svm/ svm.html」の Webページに掲載された「サポート ベクターマシン入門 栗田 多喜夫」を参照されたい。以下、請求項 2記載の動作内 容判定装置、請求項 22記載の動作内容判定プログラム及び請求項 26の動作内容 判定方法において同じである。
[0020] つまり、 SVMを用いて、顔向きに応じて内容 (形状、輝度分布等）の変わる顔やそ れを構成する部位の画像を予め多パターン学習させておき、顔やその部位の画像と これら以外の画像との境界面を曲面を用いて精度良く分離しておき、この境界面を 基準として顔やその部位の画像の検出を行わせることで、顔向きに応じて内容の変 わる顔やその部位の画像に対しても精度良い検出性能を発揮させることが可能とな る。
[0021] また、請求項 3に係る発明は、請求項 2記載の動作内容判定装置において、前記 顔部位検出手段は、前記撮影画像における前記対象者の複数方向の顔の向き毎に 前記所定部位として検出する画像領域のサイズを、それぞれの方向に応じて変更す ることを特徴としている。
このような構成であれば、前記顔部位検出手段は、前記複数方向の顔の向き毎に 前記所定部位として検出する画像領域のサイズを、それぞれの方向に応じて変更す ることが可能である。
[0022] つまり、例えば、自動車内のインナーミラーに設置された 1台の固定カメラによって 撮影された対象者の顔全体を含む画像を用いて動作内容の判定処理を行う場合に 、所定部位が、顔の向きに応じて様々な形及びサイズに変形した状態で撮影される ため、検出する所定部位の画像領域のサイズを顔の向きに応じて変更しても、必要 な特徴量を十分抽出することが可能である。従って、顔の向きに応じて検出する所定 部位の画像領域のサイズを変更することで、不要な部分の画像に対して特徴量の抽 出処理を行う必要が無くなるので抽出処理の速度を向上することが可能となる。
[0023] また、本発明に係る請求項 4記載の動作内容判定装置は、請求項 1乃至請求項 3 のいずれか 1項に記載の動作内容判定装置において、前記画像撮影手段は、前記 対象者の顔全体を含む画像部分を撮影し、
前記顔全体を含む画像部分と前記所定部位の画像との位置関係情報を取得する 位置関係情報取得手段と、
前記位置関係情報に基づき前記対象者の顔の向きを判定する顔向判定手段と、 を備え、
前記 HMMは、複数方向の前記顔の向き毎に生成された当該複数方向にそれぞ れ対応したものを含み、
前記動作内容判定手段は、前記顔向判定手段の判定結果に基づき、前記複数の HMM力 前記判定結果の顔の向きに対応した HMMを選択し、前記特徴量抽出 手段によって抽出した特徴量及び前記選択した HMMを用いて、当該特徴量に対 する当該選択した HMMの尤度を算出し、当該算出結果に基づき前記対象者の前 記所定部位の動きに関連する動作内容を判定することを特徴としている。
[0024] このような構成であれば、位置関係情報取得手段によって、前記顔全体を含む画 像部分と前記所定部位の画像との位置関係情報を取得することが可能であり、顔向 判定手段によって、前記位置関係情報に基づき前記対象者の顔の向きを判定する ことが可能であり、前記動作内容判定手段は、前記顔向判定手段の判定結果に基 づき、前記複数の HMM力も前記判定結果の顔の向きに対応した HMMを選択し、 前記特徴量抽出手段によって抽出した特徴量及び前記選択した HMMを用いて、 当該特徴量に対する当該選択した HMMの尤度を算出し、当該算出結果に基づき 前記対象者の前記所定部位の動きに関連する動作内容を判定することが可能であ る。
[0025] 従って、対象者の顔の向きを判定すると共に、複数方向の顔の向きに対応した HM Mの中力 前記判定結果の顔向きに対応した HMMを選択し、当該選択した HMM を用いて動作内容の判定を行うようにしたので、例えば、自動車内のインナーミラー に設置された 1台の固定カメラによって撮影された対象者の顔全体を含む画像を用 いて動作内容の判定処理を行う場合に、様々な顔の向きに応じて形状が変化する所 定部位の画像における、当該様々な顔の向きに応じた特徴量から、より正確に所定 部位の動きに関連する動作内容を判定することが可能である。
[0026] また、請求項 5に係る発明は、請求項 1乃至請求項 4のいずれか 1項に記載の動作 内容判定装置において、前記動作内容判定手段は、連続する前記撮影画像の所定 数のフレーム毎に対応する各フレームの前記特徴量を一組として前記 HMMに入力 し、更に、一つ前に前記 HMMへの入力を開始した前記特徴量の一組に対して、こ れに続く次の前記特徴量の一組の入力を、前記一つ前の一組と前記次の一組との フレームが一部重複するように、前記一つ前の一^ aの最初のフレームの入力に対し て所定フレームずらして入力を開始することを特徴としている。
[0027] このような構成であれば、例えば、 5フレームの所定部位画像の特徴量を入力とし た HMMの出力から動作内容を判定するようなときに、 1フレームが 1Z30秒であつ た場合に、 5フレーム毎に順番に HMMに入力すると動作内容の判定の時間解像度 は 1Z10秒となる。そこで、 5フレーム一組の特徴量を上記したようにフレームの一部 をオーバーラップさせながら 1フレームずつずらして HMMに入力することにより、 1フ レーム毎（1Z30秒毎）に動作内容の判定を行うことが可能となる。つまり、時間解像 度を向上させることが可能となる。
[0028] また、請求項 6に係る発明は、請求項 1乃至請求項 5のいずれか 1項に記載の動作 内容判定装置において、前記所定部位の画像は、前記前記対象者の口唇部分の画 像を含み、
前記特徴量抽出手段は、前記口唇部分の画像に基づき当該口唇部分の画像にお ける特徴量を抽出し、
前記 HMMは、前記口唇部分の画像から抽出される特徴量を入力とし、前記口唇 部分の動きに関連する所定動作内容に対する尤度を出力とする口唇状態判定用 H MMを含み、
前記動作内容判定手段は、前記口唇部分の特徴量及び前記口唇状態判定用 H MMを用いて当該特徴量に対する前記尤度を算出し、当該算出結果に基づき前記 対象者の口唇の動きに関連する動作内容を判定することを特徴として！ヽる。
[0029] このような構成であれば、対象者の発話、欠伸、ガムを嚙む等の動作内容を判定す ることが可能となる。
ここで、口唇部分の画像とは、撮影画像力も切り出した口唇部分の画像をそのもの の他、当該口唇部分の画像とその近傍の画像を含む領域画像等も含む。
[0030] また、請求項 7に係る発明は、請求項 6記載の動作内容判定装置において、前記 H MMは、前記対象者の発話状態及び非発話状態の少なくとも一方に対する尤度を 出力し、
前記動作内容判定手段は、前記口唇状態判定用 HMMによって前記撮影画像の フレーム毎に前記対象者が発話状態である力否かを判別し、
前記判別結果に基づき、前記対象者が発話を開始した時点に対応する前記口唇 状態判定用 HMMの出力を示す発話開始点を判定する発話開始点判定手段を備 え、
前記動作内容判定手段は、前記発話開始点判定手段の判定結果に基づき前記 対象者の発話開始力 発話終了までの発話区間を判定することを特徴としている。
[0031] このような構成であれば、発話開始点判定手段によって、前記判別結果に基づき、 前記対象者が発話を開始した時点に対応する前記 HMMの出力を示す発話開始点 を判定することが可能であり、前記動作内容判定手段は、前記発話開始点判定手段 の判定結果に基づき前記対象者の発話開始力 発話終了までの発話区間を判定す ることが可能である。
従って、 HMMによる発話状態力否かの判別結果に基づいて別途に対象者の発 話開始点を判定するので、発話区間を精度良く判定することが可能であり、また、判 定した発話区間における対象者の発話データに対して音声認識を行うことで、雑音 の多い場所における対象者の発話内容の認識精度を向上させることが可能となる。 例えば、上述した CNSなどの乗物内における音声認識に適用することで、発話内容 の認識精度を向上させることが可能となる。
[0032] また、請求項 8に係る発明は、請求項 7記載の動作内容判定装置において、前記 発話開始点判定手段は、前記判別結果が 1フレーム目力 n (nは整数且つ n≥ 2)フ レーム目まで連続で発話を示す状態となったときに、前記 1フレーム目を発話開始点 の候補に設定し、前記判別結果力 フレーム目力 更に m(mは整数且つ m≥ 3)フ レーム連続で発話を示す状態となったときに、前記 1フレーム目を発話開始点と判定 することを特徴としている。
このような構成であれば、前記判別結果が、例えば、発話 Z非発話の繰り返しとい つたように、現実的にあり得ないようなもの（異常な状態）となったときにおいても、より 正確に発話開始点を判定することが可能となる。
[0033] また、請求項 9に係る発明は、請求項 8記載の動作内容判定装置において、前記 発話開始点判定手段は、前記 nフレーム目力 k (kは整数且つ k≤m)フレーム以内 において、前記判別結果が非発話を示す状態となり、且つ、 n+kフレーム目力 更 に p (pは整数且つ p≥ 10)フレーム連続で前記判別結果が非発話を示す状態となつ たときに、前記 1フレーム目を発話開始点の候補力 外し、一方、前記 n+kフレーム 目力ら r (rは整数且つ r < p)フレーム以内にお 、て再び前記判別結果が発話を示す 状態となったときに、前記 1フレーム目を発話開始点として判定することを特徴として いる。
[0034] このような構成であれば、前記判別結果が、例えば、発話 Z非発話の繰り返しと 、 つたように、現実的にあり得ないようなもの（異常な状態）となったときにおいても、より 正確に発話開始点を判定することが可能となる。
[0035] また、請求項 10に係る発明は、請求項 6乃至請求項 9のいずれか 1項に記載の動 作内容判定装置において、前記 HMMは、前記対象者の発話状態及び非発話状態 の少なくとも一方に対する尤度を出力し、
前記動作内容判定手段は、前記 HMMによって前記撮影画像のフレーム毎に前 記対象者が発話状態である力否かを判別し、
前記判別結果に基づき、前記対象者が発話を終了した時点に対応する前記 HM Mの出力を示す発話終了点を判定する発話終了点判定手段を備え、
前記動作内容判定手段は、前記発話終了点判定手段の判定結果に基づき前記 対象者の発話開始力 発話終了までの発話区間を判定することを特徴としている。
[0036] このような構成であれば、発話終了点判定手段によって、前記判別結果に基づき、 前記対象者が発話を終了した時点に対応する前記 HMMの出力を示す発話終了点 を判定することが可能であり、前記動作内容判定手段は、前記発話終了点判定手段 の判定結果に基づき前記対象者の発話開始力 発話終了までの発話区間を判定す ることが可能である。
従って、 HMMによる前記判別結果に基づいて別途に対象者の発話終了点を判 定するので、発話区間を精度良く判定することが可能であり、また、判定した発話区 間における対象者の発話データに対して音声認識を行うことで、雑音の多い場所に おける対象者の発話内容の認識精度を向上させることが可能となる。
[0037] また、請求項 11に係る発明は、請求項 10記載の動作内容判定装置において、発 話終了点判定手段は、前記判別結果が w(wは整数且つ w≥20)フレーム連続で非 発話を示す状態となったときに当該 wフレームにおける最初のフレームを発話終了 点として判定することを特徴として 、る。
このような構成であれば、前記判別結果が、例えば、発話 Z非発話の繰り返しとい つたように、現実的にあり得ないようなもの（異常な状態）となったときにおいても、より 正確に発話終了点を判定することが可能となる。
[0038] また、請求項 12に係る発明は、請求項 11記載の動作内容判定装置において、前 記発話終了点判定手段は、前記非発話を示す状態が連続して x (xは整数且つ 6≤x く w)フレーム続いたときに、 x+ 1フレーム以降の非発話を示す状態のカウントにお Vヽて、前記判別結果が単発で発話を示す状態及び 2フレーム連続して発話を示す状 態のいずれか一方になっても wフレーム目までの前記カウントを継続し、一方、 3フレ ーム連続して発話を示す状態が続いたときには前記カウントをクリアすることを特徴と している。
このような構成であれば、前記判別結果が、例えば、発話 Z非発話の繰り返しとい つたように、現実的にあり得ないようなもの（異常な状態）となったときにおいても、より 正確に発話終了点を判定することが可能となる。
[0039] また、請求項 13に係る発明は、請求項 1乃至請求項 12のいずれか 1項に記載の動 作内容判定装置において、前記所定部位の画像は、前記対象者の眼部分の画像を 含み、 前記特徴量抽出手段は、前記眼部分の検出結果に基づき当該眼部分の画像にお ける特徴量を抽出し、
前記 HMMは、前記眼部分の画像から抽出される特徴量を入力とし、前記眼部分 の動きに関連する動作内容に対する尤度を出力とする眼状態判定用 HMMを含み、 前記動作内容判定手段は、前記特徴量抽出手段によって抽出した眼部分の特徴 量及び前記眼状態判定用 HMMを用いて当該特徴量に対する前記尤度を算出し、 当該算出結果に基づき前記対象者の前記眼部分の動きに関連する動作内容を判 定することを特徴としている。
[0040] このような構成であれば、居眠り等の動作内容を判定することが可能である。
また、請求項 14に係る発明は、請求項 13記載の動作内容判定装置において、前 記眼状態判定用 HMMは、前記眼部分の複数フレームの検出画像力 抽出される 特徴量の入力に対して、前記対象者のまばたきの種類に対する尤度を出力し、 前記動作内容判定手段は、前記特徴量抽出手段によって抽出した複数フレームの 眼部分の検出画像の特徴量及び前記眼状態判定用 HMMを用いて当該特徴量に 対する前記尤度を算出し、当該算出結果に基づき前記対象者のまばたきの種類を 判定することを特徴として 、る。
[0041] このような構成であれば、例えば、まばたきの速度や、まばたき時のまぶたの閉じカロ 減等の対象者のまばたきの種類を精度良く判定することが可能である。
また、請求項 15に係る発明は、請求項 13記載の動作内容判定装置において、前 記眼状態判定用 HMMは、前記眼部分の複数フレームの検出画像力 抽出される 特徴量の入力に対して、前記対象者のまばたきの速度と振幅の種類に対する尤度を 出力し、
前記動作内容判定手段は、前記特徴量抽出手段によって抽出した複数フレームの 眼部分の検出画像の特徴量及び前記眼状態判定用 HMMを用いて当該特徴量に 対する前記尤度を算出し、当該算出結果に基づき前記対象者のまばたきの速度と振 幅の種類を判定することを特徴として 、る。
[0042] このような構成であれば、まばたき時の眼の状況を、例えば、筋肉の筋電位波形と して表現した際の、まばたきの開始力も終了までの速度 (筋電位の変化時間）と、ま ばたき時のまぶたの閉じ加減を示す振幅の種類を精度良く判定することが可能であ る。
また、請求項 16に係る発明は、請求項 15記載の動作内容判定装置において、前 記眼状態判定用 HMMは、前記眼部分の複数フレームの検出画像に対する特徴量 の入力に対して前記対象者のまばたきの種類に対する尤度を出力し、
前記動作内容判定手段は、前記特徴量抽出手段によって抽出した複数フレームの 眼部分の検出画像の特徴量及び前記眼状態判定用 HMMを用いて当該特徴量に 対する前記尤度を算出し、当該算出結果に基づき前記対象者の覚醒状態を判定す ることを特徴としている。
[0043] このような構成であれば、例えば、まばたきの速度や、まばたき時のまぶたの閉じカロ 減等力 分類される対象者のまばたきの種類から、うつろな状態、居眠りをしている 状態などの対象者の覚醒状態を精度良く判定することが可能である。
また、請求項 17に係る発明は、請求項 13記載の動作内容判定装置において、前 記眼状態判定用 HMMは、前記眼部分の複数フレームの検出画像に対する特徴量 の入力に対して特定種類のまばたきに対する尤度を出力し、
前記動作内容判定手段は、前記特徴量抽出手段によって抽出した複数フレームの 眼部分の検出画像の特徴量及び前記眼状態判定用 HMMを用いて当該特徴量に 対する前記特定の性質を有したまばたきの種類に対する尤度を算出し、当該算出結 果に基づき前記対象者の覚醒状態を判定することを特徴としている。
[0044] 例えば、生理学の見地において覚醒状態の判定に有効であるとされている、まば たき時の眼の筋肉の筋電位の変化を表す筋電位波形には、多種類の波形パターン が存在するが、まばたきの速度、振幅などのまばたきにとって重要な要素の特徴に着 目すること〖こよって、これら多種類のうち特定種類 (例えば、 3種類)の波形パターン を判定に用いることで、覚醒状態を十分に判定できるとされている。従って、このよう な構成であれば、特定種類のまばたきに対する HMMを生成すれば良ぐまた、特 定種類の HMMを用いて判定処理を行えば良いので、 HMMに必要なメモリ容量の 軽減や判定処理の高速化等が可能である。
[0045] また、請求項 18に係る発明は、請求項 17記載の動作内容判定装置において、前 記動作内容判定手段は、所定時間内における前記特定種類のまばたきのそれぞれ の発生頻度の変化に基づき、前記対象者の覚醒状態を判定することを特徴としてい る。
このような構成であれば、生理学の見地において覚醒状態の判定に有効であるとさ れている、特定種類のまばたきの発生頻度、特定種類のまばたきの群発などの所定 時間内における特定種類のまばたきの発生頻度の変化に基づいて、高精度の覚醒 状態の判定を行うことが可能である。
[0046] 一方、上記目的を達成するために、請求項 19記載の発話内容判定装置は、対象 者の顔を構成する所定部位を含む画像を撮影する画像撮影手段と、
前記撮影画像から前記対象者の口唇部分の画像を検出する顔部位検出手段と、 前記顔部位検出手段によって検出された前記口唇部分の画像に基づき当該口唇 部分の画像における特徴量を抽出する特徴量抽出手段と、
前記口唇部分の画像から抽出される特徴量を入力とし、前記口唇部分の動きに関 連する発話内容に対する尤度を出力とする発話内容判定用 HMM (HiddenMarkov
Model)と、
前記特徴量抽出手段によって抽出した特徴量及び前記発話内容判定用 HMMを 用いて当該特徴量に対する前記尤度を算出し、当該算出結果に基づき前記対象者 の発話内容を判定する発話内容判定手段と、を備えることを特徴として！ヽる。
[0047] このような構成であれば、特徴量抽出手段によって、前記口唇部分の画像に基づ き当該画像における特徴量を抽出することが可能であり、発話内容判定手段によつ て、前記特徴量抽出手段によって抽出した特徴量及び前記口唇状態判定用 HMM を用いて当該特徴量に対する前記尤度を算出し、当該算出結果に基づき前記対象 者の発話内容を判定することが可能である。
従って、 HMMを用いることにより、時間的概念を伴う発話動作の状態を判定するこ とができるので、音声情報が無くても口唇の動き力 高精度に発話内容の判定を行う ことが可能である。
[0048] ここで、口唇部分の画像とは、撮影画像から切り出した口唇部分の画像をそのもの の他、当該口唇部分の画像とその近傍の画像を含む領域画像等も含む。 また、上記目的を達成するために、請求項 20記載のカーナビゲーシヨンシステムは 、請求項 6乃至請求項 12のいずれか 1項に記載の動作内容判定装置と、当該動作 内容判定装置による口唇の動きに関連した動作内容の判定結果に基づき音声認識 処理を行う音声認識手段と、当該音声認識手段の認識結果に基づき所定の動作処 理を行う動作処理手段と、を備えることを特徴としている。
[0049] このような構成であれば、音声認識手段によって、動作内容判定装置による口唇の 動きに関連した動作内容の判定結果に基づき音声認識処理を行うことが可能であり 、動作処理手段によって、音声認識手段の認識結果に基づき所定の動作処理を行う ことが可能である。
従って、例えば、本システムを自動車内に設置し、且つ、対象者が自動車の運転手 である場合に、運転手以外の同乗者による会話や、カーステレオ力 流れる音楽、口 ードノイズ、風切り音、エンジン音等の雑音のある環境下において、対象者の発話内 容をより正確に認識でき、且つ、その認識結果により目的地までの経路探索や経路 案内等の所定の動作を行うことが可能である。
[0050] ここで、カーナビゲーシヨンシステムは、慣性航法装置や GPS (全地球位置評定衛 星システム)を利用して、自動車の運行時に運転者等の乗員に対して、ディスプレイ 画面上に現在位置や目的地への走行経路案内等を行なう公知の装置である。
また、上記目的を達成するために、請求項 21記載の警報システムは、請求項 16乃 至請求項 18のいずれか 1項に記載の動作内容判定装置と、前記覚醒状態の判定結 果を表示又は警報通知する通知手段と、を備えることを特徴として 、る。
[0051] このような構成であれば、通知手段によって、請求項 16乃至請求項 18のいずれか 1項に記載の動作内容判定装置によって判定された、対象者の覚醒状態の判定結 果を対象者又は関係者に通知することが可能である。
従って、例えば、本システムを自動車内に設置し、且つ、対象者が自動車の運転手 である場合に、運転手が眠気に襲われたているような状態を判定し、警告音等により 警告を与えるようにすることで、居眠り運転等を防ぐことが可能である。
[0052] 一方、上記目的を達成するために、請求項 22記載の動作内容判定プログラムは、 対象者の顔を構成する所定部位を含む撮影画像に基づき、前記対象者の動作内容 を判定する動作内容判定プログラムであって、
前記所定部位を含む画像を撮影する画像撮影手段と、
前記画像撮影手段の撮影画像に基づき、 SVM (Support Vector Machine)を用い て前記撮影画像中から前記対象者の顔を構成する所定部位を検出する顔部位検出 手段と、
前記顔部位検出手段の検出結果に基づき前記所定部位の画像における特徴量を 抽出する特徴量抽出手段と、
前記特徴量抽出手段によって抽出した特徴量及び前記所定部位から抽出される 特徴量を入力とし、前記所定部位の動きに関連する動作内容に対する尤度を出力と する HMM (HiddenMarkov Model)を用いて前記特徴量に対する前記尤度を算出し 、当該算出結果に基づき前記対象者の前記所定部位の動きに関連する動作内容を 判定する動作内容判定手段として実現される処理をコンピュータに実行させるための プログラムであることを特徴として 、る。
これにより、請求項 2記載の動作内容判定装置と同等の作用及び効果が得られる。
[0053] また、請求項 23に係る発明は、請求項 22記載の動作内容判定プログラムにおいて 、 前記画像撮影手段は、前記対象者の顔全体を含む画像を撮影し、
前記顔全体を含む画像部分と前記所定部位の画像との位置関係情報を取得する 位置関係情報取得手段と、
前記位置関係情報に基づき前記対象者の顔の向きを判定する顔向判定手段とし て実現される処理をコンピュータに実行させるためのプログラムを更に含み、 前記動作内容判定手段は、前記顔向判定手段の判定結果に基づき、複数方向の 前記顔の向き毎に生成された当該複数方向にそれぞれ対応した HMMから前記判 定結果の顔の向きに対応した HMMを選択し、前記特徴量抽出ステップにおいて抽 出した特徴量及び前記選択した HMMを用いて、当該特徴量に対する当該選択し た HMMの尤度を算出し、当該算出結果に基づき前記対象者の前記所定部位の動 きに関連する動作内容を判定することを特徴としている。
これにより、請求項 4記載の動作内容判定装置と同等の作用及び効果が得られる。
[0054] また、請求項 24に係る発明は、請求項 22又は請求項 23記載の動作内容判定プロ グラムにおいて、前記所定部位の画像は、前記対象者の口唇部分の画像を含み、 前記特徴量抽出手段は、前記口唇部分の画像に基づき当該口唇部分の画像にお ける特徴量を抽出し、
前記動作内容判定手段は、前記口唇部分の特徴量及び前記口唇部分の画像から 抽出される特徴量を入力とし、前記口唇部分の動きに関連する所定動作内容に対す る尤度を出力とする口唇状態判定用 HMMを用いて当該特徴量に対する前記尤度 を算出し、当該算出結果に基づき前記対象者の口唇の動きに関連する動作内容を 判定することを特徴として 、る。
これにより、請求項 6記載の動作内容判定装置と同等の作用及び効果が得られる。
[0055] また、請求項 25に係る発明は、請求項 22乃至請求項 24のいずれか 1項に記載の 動作内容判定プログラムにおいて、前記所定部位の画像は、前記対象者の眼部分 の画像を含み、
前記特徴量抽出手段は、前記眼部分の検出結果に基づき当該眼部分の画像にお ける特徴量を抽出し、
前記動作内容判定手段は、前記特徴量抽出手段によって抽出した眼部分の特徴 量及び前記眼部分の画像力 抽出される特徴量を入力とし、前記眼部分の動きに関 連する動作内容に対する尤度を出力とする眼状態判定用 HMMを用いて当該特徴 量に対する前記尤度を算出し、当該算出結果に基づき前記対象者の前記眼部分の 動きに関連する動作内容を判定することを特徴としている。
これにより、請求項 13記載の動作内容判定装置と同等の作用及び効果が得られる
[0056] 一方、上記目的を達成するために、請求項 26記載の動作内容判定方法は、対象 者の顔を構成する所定部位を含む撮影画像に基づき、前記対象者の動作内容を判 定するための動作内容判定方法であって、
前記所定部位を含む画像を撮影する画像撮影ステップと、
前記画像撮影手段の撮影画像に基づき、 SVM (Support Vector Machine)を用い て前記撮影画像中から前記対象者の顔を構成する所定部位を検出する顔部位検出 ステップと、 前記顔部位検出手段の検出結果に基づき前記所定部位の画像における特徴量を 抽出する特徴量抽出ステップと、
前記特徴量抽出ステップにおいて抽出した特徴量及び前記所定部位から抽出さ れる特徴量を入力とし、前記所定部位の動きに関連する動作内容に対する尤度を出 力とする HMM (HiddenMarkov Model)を用いて前記特徴量に対する前記尤度を算 出し、当該算出結果に基づき前記対象者の前記所定部位の動きに関連する動作内 容を判定する動作内容判定ステップと、を含むことを特徴として 、る。
これにより、請求項 2記載の動作内容判定装置と同等の効果が得られる。
[0057] また、請求項 27に係る発明は、請求項 26記載の動作内容判定方法において、前 記画像撮影手段は、前記対象者の顔全体を含む画像を撮影し、
前記顔全体を含む画像部分と前記所定部位の画像との位置関係情報を取得する 位置関係情報取得ステップと、
前記位置関係情報に基づき前記対象者の顔の向きを判定する顔向判定ステップと 、を更に含み、
前記動作内容判定ステップにお!、ては、前記顔向判定ステップにおける判定結果 に基づき、複数方向の前記顔の向き毎に生成された当該複数方向にそれぞれ対応 した HMM力 前記判定結果の顔の向きに対応した HMMを選択し、前記特徴量抽 出ステップにお ヽて抽出した特徴量及び前記選択した HMMを用いて、当該特徴量 に対する当該選択した HMMの尤度を算出し、当該算出結果に基づき前記対象者 の前記所定部位の動きに関連する動作内容を判定することを特徴としている。
これにより、請求項 4記載の動作内容判定装置と同等の効果が得られる。
[0058] また、請求項 28に係る発明は、請求項 26又は請求項 27記載の動作内容判定方 法において、前記所定部位の画像は、前記対象者の口唇部分の画像を含み、 前記特徴量抽出ステップにお 、ては、前記口唇部分の画像に基づき当該口唇部 分の画像における特徴量を抽出し、
前記動作内容判定ステップにお!、ては、前記口唇部分の特徴量及び前記口唇部 分の画像から抽出される特徴量を入力とし、前記口唇部分の動きに関連する所定動 作内容に対する尤度を出力とする口唇状態判定用 HMMを用いて当該特徴量に対 する前記尤度を算出し、当該算出結果に基づき前記対象者の口唇の動きに関連す る動作内容を判定することを特徴として 、る。
これにより、請求項 6記載の動作内容判定装置と同等の効果が得られる。
[0059] また、請求項 29に係る発明は、請求項 26乃至請求項 28のいずれか 1項に記載の 動作内容判定方法において、前記所定部位の画像は、前記対象者の眼部分の画像 を含み、
前記特徴量抽出ステップにおいては、前記眼部分の検出結果に基づき当該眼部 分の画像における特徴量を抽出し、
前記 HMMは、を含み、
前記動作内容判定ステップにお 、ては、前記特徴量抽出ステップにお 、て抽出し た眼部分の特徴量及び前記眼部分の画像から抽出される特徴量を入力とし、前記 眼部分の動きに関連する動作内容に対する尤度を出力とする眼状態判定用 HMM を用いて当該特徴量に対する前記尤度を算出し、当該算出結果に基づき前記対象 者の前記眼部分の動きに関連する動作内容を判定することを特徴としている。
これにより、請求項 13記載の動作内容判定装置と同等の効果が得られる。 図面の簡単な説明
[0060] [図 1]本発明に係る発話区間検出装置の構成を示すブロック図である。
[図 2] (a)は、検出用画像に対する顔全体領域の探索処理の概念を示す図であり、 ( b)は、検出された顔全体領域から口唇領域を探索する処理の概念を示す図であり、
(c)は、トラッキングモードにおける口唇領域の探索処理の概念を示す図である。
[図 3] (a)は、撮影画像の一例を示す図であり、 (b)は、検出用画像における検出モ ード時の探索領域及びサーチウィンドウを示す図であり、（c)は、検出用画像におけ るトラッキングモード時の探索領域及びサーチウィンドウを示す図である。
[図 4]HMMへの特徴量の入力における時間的概念を示す図である。
[図 5]HMMの出力に基づく発話開始点の判定処理の流れを示す図である。
[図 6]HMMの出力に基づく発話終了点の判定処理の流れを示す図である。
[図 7]様々な顔向きに対する発話 Z非発話の判定結果の一例を示す図である。
[図 8]発話区間検出装置 1の動作処理を示すフローチャートである。 [図 9]画像処理部 12における検出用画像データの生成処理を示すフローチャートで ある。
[図 10]唇領域検出部 13における口唇領域の検出処理を示すフローチャートである。
[図 11]特徴量抽出部 14における特徴量の抽出処理を示すフローチャートである。
[図 12]は、発話区間検出部 15における発話区間の検出処理を示すフローチャートで ある。
圆 13]発話区間判定部 15における発話開始点判定処理を示すフローチャートであ る。
圆 14]発話区間判定部 15における発話終了点判定処理を示すフローチャートであ る。
[図 15] (a)〜（c)は、顔向きに応じて検出される口唇領域の一例を示す図である。
[図 16]第 1の実施の形態の変形例の口唇領域検出部 13における口唇領域の検出処 理を示すフローチャートである。
[図 17]第 1の実施の形態の変形例の特徴量抽出部 14における特徴量の抽出処理を 示すフローチャートである。
圆 18]第 1の実施の形態の変形例の発話区間検出部 15における発話区間の検出処 理を示すフローチャートである。
[図 19]顔向きを考慮しな 、HMMを用いた場合と、考慮した HMMを用いた場合とに おける発話区間の識別確率を示す図である。
圆 20]本発明に係る覚醒状態判定装置の構成を示すブロック図である。
[図 21] (a)は、撮影画像の一例を示す図であり、 (b)は、検出用画像における検出モ ード時の探索領域及びサーチウィンドウを示す図であり、（c)は、検出用画像におけ るトラッキングモード時の探索領域及びサーチウィンドウを示す図である。
圆 22]1回のまばたきに対する覚醒状態判定用の筋電図波形を示す図である。
[図 23ほばたき波形のパターンを示す図である。
[図 24]図 23における波形 Oに対する覚醒状態判定用 HMMの出力と筋電図波形と の一致関係を示す図である。
[図 25]図 23における波形 Aに対する覚醒状態判定用 HMMの出力と筋電図波形と の一致関係を示す図である。
[図 26]図 23における波形 Bに対する覚醒状態判定用 HMMの出力と筋電図波形と の一致関係を示す図である。
[図 27]まばたきの間隔と群発の波形パターンの一例を示す図である。
[図 28]眼領域検出部 33における左眼領域の検出処理を示すフローチャートである。
[図 29]特徴量抽出部 34における特徴量の抽出処理を示すフローチャートである。
[図 30]覚醒状態判定部 35における覚醒状態の判定処理を示すフローチャートである
[図 31]HMM及び該 HMMの各状態に対応するスペクトル包絡の一例を示す図であ る。
発明を実施するための最良の形態
[0061] 〔第 1の実施の形態〕
以下、本発明の第 1の実施の形態を図面に基づき説明する。図 1〜図 14は、本発 明に係る顔部位検出装置、動作内容判定装置、顔部位検出装置制御プログラム、 動作内容判定装置制御プログラム、顔部位検出装置制御方法及び動作内容判定装 置制御方法の第 1の実施の形態を示す図である。
[0062] 本実施の形態においては、本発明に係る顔部位検出装置、動作内容判定装置、 顔部位検出装置制御プログラム、動作内容判定装置制御プログラム、顔部位検出装 置制御方法及び動作内容判定装置制御方法を、自動車を運転する運転者の発話 開始力 発話終了までの区間である発話区間を検出する発話区間検出装置に適用 した場合を説明する。
まず、本発明に係る発話区間検出装置の構成を図 1に基づき説明する。図 1は、本 発明に係る発話区間検出装置の構成を示すブロック図である。
[0063] 図 1に示すように、発話区間検出装置 1は、画像撮影部 10と、データ記憶部 11と、 画像処理部 12と、口唇領域検出部 13と、特徴量抽出部 14と、発話区間検出部 15と を含んだ構成となっている。なお、本実施の形態において、発話区間検出装置 1は、 自動車室内に設置され、且つ、図示しない自動車室内に設置された音声認識機能 を有したカーナビゲーシヨンシステム（以下、 CNSと称す）と連動可能に接続される。 そして、発話区間検出装置 1の出力は CNSに入力され、 CNSは入力された情報に 基づき音声認識を行!ヽ、その認識結果に基づき所定の動作を行う。
[0064] 画像撮影部 10は、 CCD (charge coupled device)カメラを含んだ構成となっており、 フレーム単位で撮影した画像をデジタルのデータで出力する。そして、出力画像デ ータは、データ記憶部 11に伝送される。本実施の形態において、 CCDカメラは、自 動車室内におけるインナーミラーに、運転席に座った人 (運転手)の顔全体を含む像 を撮影可能な状態で取り付けられている。なお、 CCDカメラの設置位置は、インナー ミラーに限らず、撮影対象者の顔全体を含む画像が撮影可能な位置であれば、ステ ァリング.コラム位置、センター 'パネル位置、フロント'ピラー位置等の別の場所でも 良い。
[0065] データ記憶部 11は、全体顔検出用 SVM、口唇領域検出用 SVM、発話区間検出 用の HMM、画像撮影部 10によって撮影された画像等、発話区間の検出に必要な データを記憶する。本実施の形態においては、撮影画像のフレームに合わせて音声 データも記憶する。従って、本実施の形態においては、自動車内に、運転席に座つ た人の発話した音声データを取得するためのマイクが設置されている。
画像処理部 12は、口唇領域検出部 13において行われる、撮影画像から口唇領域 を検出する処理の前処理として、撮影画像の各フレーム毎にグレースケールィ匕によ る色情報の削減やサブ 'サンプリングによる画像サイズの縮小等を行う。以下、グレー スケールィ匕及び画像サイズの縮小された撮影画像を検出用画像と称すこととする。
[0066] 口唇領域検出部 13は、 SVMを用いて画像処理部 12から取得した検出用画像か ら撮影対象者の口唇領域を検出する。本実施の形態においては、検出用画像から 撮影対象者の顔全体の領域を検出する全体顔検出用 SVMと、全体顔検出用 SVM によって検出された全体顔画像から口唇領域を検出する口唇領域検出用 SVMとの 2種類の SVMを用いて 2段階で口唇領域を検出する。また、一度口唇領域が検出さ れると、次のフレームの検出用画像に対しては、前のフレームで検出された口唇領域 の位置情報 (例えば、画像の左上の画素を座標（1, 1)とした場合の座標情報）に基 づき口唇領域の探索範囲を設定し、この探索範囲に対して口唇領域検出用 SVMを 適用する。つまり、一度口唇領域が検出されると、口唇領域が未検出となるまで次フ レームからの検出用画像に対して全体顔検出用 SVMによる顔全体の画像領域の検 出処理を省略する。このとき、最初に口唇領域を検出する際の探索範囲よりも狭い範 囲の探索範囲を設定することで口唇領域の検出処理を高速ィ匕する。以下、上記した 2種類の SVMを用いた口唇領域の検出処理を行うモードを検出モードと称し、前の フレームで検出された口唇領域の位置情報に基づき口唇領域の探索範囲を設定し 、この探索範囲に対して口唇領域検出用 SVMを適用して口唇領域の検出処理を行 うモードをトラッキングモードと称すこととする。なお、検出結果の情報は、特徴量抽出 部 14に伝送される。
[0067] 特徴量抽出部 14は、口唇領域検出部 13からの検出結果の情報を取得すると、こ の情報に基づき、対応する元の撮影画像をデータ記憶部 11から読み出し、当該読 み出した画像から口唇領域の画像を切り取り、当該切り取った口唇領域画像力 後 述する発話区間検出用の HMMに入力する特徴量を抽出する。本実施の形態にお いては、抽出した特徴量に対して、主成分分析や独立成分分析を用いて次元数の 削減を行う。また、本実施の形態においては、切り取った口唇領域画像をフーリエ変 換してその周波数スペクトル成分を特徴量として抽出する。また、抽出された特徴量 は、連続する 5フレーム分を一組として発話区間検出部 15に伝送される。
[0068] 発話区間検出部 15は、特徴量抽出部 14から取得した口唇領域画像の特徴量を 発話区間検出用の HMMに入力し、この入力に対する HMM力 の出力に基づき、 対象者の発話開始力 終了までの発話区間を検出する。検出された発話区間の情 報は、図示しな!、カーナビゲーシヨンシステムに伝送される。
ここで、本実施の形態において、発話区間検出装置 1は、図示しないプロセッサと、 RAM (Random Access Memory)と、専用のプログラムの記憶された記憶媒体と、を 備えており、プロセッサにより専用のプログラムを実行することによって上記各部の制 御を行う。
[0069] また、記憶媒体とは、 RAM, ROM等の半導体記憶媒体、 FD、 HD等の磁気記憶 型記憶媒体、 CD、 CDV、 LD、 DVD等の光学的読取方式記憶媒体、 MO等の磁気 記憶型 Z光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取 り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あ らゆる記憶媒体を含むものである。
[0070] 更に、図 2〜図 7に基づき、発話区間検出装置 1のより具体的な動作を説明する。こ こで、図 2 (a)は、検出用画像に対する顔全体領域の探索処理の概念を示す図であ り、（b)は、検出された顔全体領域から口唇領域を探索する処理の概念を示す図で あり、（c)は、トラッキングモードにおける口唇領域の探索処理の概念を示す図である 。また、図 3 (a)は、撮影画像の一例を示す図であり、（b)は、検出用画像における検 出モード時の探索領域及びサーチウィンドウを示す図であり、（c)は、検出用画像に おけるトラッキングモード時の探索領域及びサーチウィンドウを示す図である。また、 図 4は、 HMMへの特徴量の入力における時間的概念を示す図であり、図 5は、 HM Mの出力に基づく発話開始点の判定処理の流れを示す図であり、図 6は、 HMMの 出力に基づく発話終了点の判定処理の流れを示す図である。また、図 7は、様々な 顔向きに対する発話 Z非発話の判定結果の一例を示す図である。
[0071] 発話区間検出装置 1は、発話区間の検出処理が開始されると、まず、画像撮影部 1 0において、インナーミラーに取り付けられた CCDカメラにより、図 3 (a)に示すような 自動車の運転席に座って 、る撮影対象者の顔全体を含む画像を撮影し、この撮影さ れた画像データを、フレーム（ここでは、 1/30秒とする）単位で且つ撮影した順番に データ記憶部 11に記憶する。ここで、本実施の形態において撮影画像はカラー画像 とする。データ記憶部 11は、撮影画像データを記憶すると、そのことを画像処理部 1 2に通知する。
[0072] 画像処理部 12は、データ記憶部 11からの通知を受けると、当該データ記憶部から 撮影画像データを読み出し、読み出した画像データに対してグレースケース化による 色情報の削減処理及びサブ 'サンプリングによる画像サイズの縮小処理を行う。例え ば、撮影画像が 640 X 480画素のサイズのフルカラー画像であったとすると、グレイ スケールィ匕によりフルカラーは白と黒の中間色だけ力 なる色の階調を有したデータ に変換され、更に、画像の縦及び横方向にそれぞれ 1Z10にサブ 'サンプリングされ 64 X 48画素のサイズの画像に変換される。これにより、画素数を 1Z100に減少す る。このようにして生成された検出用画像は、口唇領域検出部 13に伝送される。
[0073] 口唇領域検出部 13は、画像処理部 12から検出用画像を取得すると、検出モード に移行し、図 2 (a)に示すように、 64 X 48画素の検出用画像 20の全体に対して、 20 X 30画素のサーチウィンドウ 22により顔全体の画像領域のスキャニングを行う。更に 、スキャニングされた 20 X 30画素の計 600画素のグレイスケール値を 600次元の値 として全体顔検出用 SVMに入力する。全体顔検出用 SVMでは、予め 600次元空 間における全体顔クラスと非全体顔クラスとを識別可能な状態に学習が行われており 、識別用のハイパープレーンと入力値との距離 (ユークリッド距離等）により両者の類 似度を判定し、最も類似度の高!ヽ 20 X 30画素の領域画像を顔全体の画像領域 20 0として検出する。顔全体の画像領域 200が検出されると、次に、図 2 (b)に示すよう に、顔全体の画像領域 200の下半分の画像領域を含む 20 X 15画素の探索領域 23 を設定し、当該設定した探索領域 23に対して 10 X 10画素のサーチウィンドウ 24に より口唇領域のスキャニングを行う。つまり、実際の画像においては、図 3 (b)に示す ようになる。そして、スキャニングされた 10 X 10画素の計 100画素のグレイスケール 値を 100次元の値として口唇領域検出用 SVMに入力する。口唇領域検出用 SVM では、予め 100次元空間における口唇領域クラスと非口唇領域クラスとを識別可能な 状態に学習が行われており、識別用のハイパープレーンと入力値との距離 (ユータリ ッド距離等）により両者の類似度を判定し、最も類似度の高い 10 X 10画素の領域画 像を口唇領域画像として検出する。更に、口唇領域画像が検出されるとその位置情 報 (座標情報）を取得し、次のフレームの検出用画像に対してトラッキングモードへと 移行する。
口唇領域検出部 13は、トラッキングモードに移行すると、次のフレームの検出用画 像に対して、図 2 (c)に示すように、前のフレームで検出された口唇領域画像の位置 座標を中心に縦方向及び横方向に 5画素ずつ広げた 15 X 15画素の探索領域 25を 設定し、当該設定された探索領域 25に対して 10 X 10画素のサーチウィンドウ 24に より口唇領域のスキャニングを行う。実際の画像においては、図 3 (c)に示すようにな る。つまり、顔全体の画像領域の検出処理を省き、且つ、 20 X 15画素の探索領域 2 3よりも狭い 15 X 15画素の探索領域 25に範囲を限定して口唇領域の探索を行うこと で処理を高速化する。スキャニングされた 10 X 10画素の計 100画素のグレイスケー ル値は、上記検出モードと同様に口唇領域検出用 SVMに入力され、口唇領域の検 出処理が行われる。なお、口唇領域が検出されると、本実施の形態においては、口 唇領域の中心座標が特徴量抽出部 14に伝送される。また、トラッキングモードにおい ては、口唇領域の検出が成功している間はこのモードを維持し、口唇領域の検出が 失敗した場合は顔検出モードへと移行する。
[0075] 特徴量抽出部 14は、口唇領域検出部 13から各フレームの検出用画像における口 唇領域の中心座標を取得すると、データ記憶部 11によって記憶された対応する撮影 画像から、前記取得した中心座標を中心に 64 X 64画素のグレイスケールの口唇画 像を切り出す。そして切り出した各フレームの口唇画像に対して、口唇部分以外の鼻 や顎などが含まれていた場合の影響をなるベく少なくするような処理をハミング窓な どの窓関数により行い。その後、 2次元フーリエ変換処理を施し、口唇画像の振幅ス ベクトルを特徴量として求める。本実施の形態において、求めた特徴量は、更に、演 算量削減及び識別に無用な情報の除去のために主成分分析によって次元削減を行 う。ここで、主成分分析に用いる固有ベクトルは、予め不特定多数の人の様々な口唇 画像を使用してオフラインで求めておき、例えば、固有ベクトルの第 10成分までを使 つて主成分分析を行うことで、 10次元よりも多次元の特徴量の次数を 10次元に削減 する。このような特徴量の抽出を 1フレーム毎に実施し、抽出した特徴量を、撮影した 順番に 5フレーム分を一組として、発話区間検出部 15に伝送する。
[0076] 発話区間検出部 15は、特徴量抽出部 14から 5フレーム一組の特徴量を取得すると 、図 4に示すように、一つ前に入力した特徴量の一糸且 400aの最初のフレームに対応 する特徴量に対して、次の特徴量の一組 400bの最初のフレームに対応する特徴量 力 フレームだけずれるように、特徴量の一組 400bの最初のフレームに対応する特 徴量を発話区間検出用の HMMに入力する。これにより、特徴量の一組 400aの 2フ レーム目から 5フレーム目と特徴量の一組 400bの最初のフレームから 4フレーム目ま でがオーバーラップして発話区間検出用の HMMに入力されることになる。同様に、 特徴量の一糸且 400bの次の一糸且 400cも、当該 400bの最初のフレームに対応する特 徴量に対して、次の一組 400cの最初のフレームに対応する特徴量が 1フレームずれ るように、特徴量の一組 400cの最初のフレームに対応する特徴量を発話区間検出 用の HMMに入力することになる。このようにして、前のフレームに対して 1フレーム ずつずらして特徴量を発話区間検出用の HMMに入力させることにより、 1フレーム 毎の時間解像度によって HMMの出力を得ることが可能となる。
[0077] また、発話区間検出用の HMMは、入力された 5フレーム一組の特徴量に対して発 話 Z非発話の識別を行うもので、予め不特定多数の人の様々な口唇画像を用いて 学習により求めたものを用いる。つまり、発話用の HMM及び非発話用の HMMの各 々に 5フレーム一組の特徴量を入力し、生起確率の大きい方のモデルを識別結果と して出力する。例えば、 5フレーム一組の特徴量を上記各々の HMM入力したときに 、発話用の HMMからの出力確率が非発話用の HMMの出力確率より大き力つた場 合は、その 5フレームの識別結果は発話となる。
発話区間検出部 15は、更に、 HMMの出力に基づき、上記撮影対象者の発話開 始点及び発話終了点を判定する処理を行う。発話開始点及び発話終了点は、 5フレ ーム一組の特徴量に対する上記発話用の HMM及び非発話用の HMMを用いた発 話 Z非発話の出力に対して判定が行われるものであり、まず、発話開始点の判定処 理について説明する。
[0078] 発話開始点は、図 5に示すような流れで判定処理が行われる。ここで、図 5中「S」は 、発話候補点が未決定の状態を示し、「C」は、発話候補点が決定した状態を示し、「 D」は、発話候補点が降格した状態を示し、状態遷移における「0」は HMMの出力が 非発話の状態を示し、「1」は HMMの出力が発話の状態を示す。図 5に示すように、 HMMの出力カ^フレーム目力 2フレーム連続して発話の状態（図 5中区間 A)であ つた場合は、 1フレーム目が発話開始点の候補として設定され、 3フレーム目からは「 C」の状態に遷移する。その後、「C」の状態から 3フレーム連続して HMMの出力が 発話の状態（図 5中区間 B)になると、発話候補点として設定された 1フレーム目（図 5 中 S1)は、発話開始点と判定される。一方、「C」の状態から 3フレーム以内において HMMの出力が非発話の状態になると、非発話の発生したフレームの次のフレーム は「D」の状態へと遷移する。そして、「D」の状態で 10フレーム連続して HMMの出 力が非発話の状態（図 5中区間 C)になると発話候補点として設定された 1フレーム目 は降格して発話候補点力 除外される。
[0079] 次に、発話終了点の判定処理について説明する。発話終了点は、図 6に示すよう な流れで判定処理が行われる。ここで、図 6中「S」は、 6フレーム連続して HMMの出 力が非発話となる区間（区間 D)を探索している状態を示し、「C」は、発話終了点を 探索している状態を示し、状態遷移における「0」は HMMの出力が非発話の状態を 示し、「1」は HMMの出力が発話の状態を示す。図 6に示すように、 HMMの出力が 1フレーム目から 6フレーム以上連続して非発話の状態（図 6中区間 D)になったとき は、発話終了点を探索する「C」の状態に遷移する。そして、「C」の状態力もは、単発 で HMMの出力が発話の状態になったときと、 2フレーム連続で HMMの出力が発 話の状態になったときとを無視して、 HMMの出力が非発話になる状態を «I続して力 ゥントする。一方、「C」の状態力 HMMの出力が 3回連続して「1」の状態となったと きは、状態「S1」に遷移する。最終的に、非発話の状態がトータルで 20回カウントさ れたときに 1フレーム目（図 6中の状態「S1」）を発話終了点として判定する。
[0080] 上記した判定処理により、発話開始点及び発話終了点が決定されると、これらの情 報を発話区間情報として CNSに入力する。
以上のように、 SVMにより撮影画像力も切り出した口唇領域画像に対する、発話区 間検出用の HMMによる発話 Z非発話の判定に加え、上記した発話開始点判定処 理及び発話終了点判定処理を行うことにより、図 7 (a)〜(d)に示すような様々な顔向 きの口唇画像に対しても正しく発話区間の検出を行うことが可能である。例えば、図 7 においては、発話区間検出用の HMMにより、（a)〜（c)の口唇画像が発話状態で あると判定され、（d)の口唇画像が非発話状態であると判定される。
[0081] また、 CNSにおいては、発話区間検出装置 1からの発話開始点及び発話終了点 の情報に基づき、発話開始点のフレーム力 発話終了点のフレームまでの撮影画像 に対応する音声データをデータ記憶部 11から読み出し、当該読み出した音声デー タを音声認識する。そして、音声認識結果に基づき経路探索や情報の表示等の所 定の処理を行う。
更に、図 8に基づき、発話区間検出装置 1の動作処理の流れを説明する。図 8は、 発話区間検出装置 1の動作処理を示すフローチャートである。
[0082] 図 8に示すように、発話区間の検出処理が開始すると、まずステップ S 100に移行し 、画像撮影部 10において、撮影対象者の画像を撮影してステップ S102に移行する [0083] ステップ S102では、データ記憶部 11において、画像撮影部 10において撮影され た画像データを記憶してステップ S 104に移行する。
ステップ S104では、画像処理部 12において、データ記憶部 11によって記憶され た撮影画像データを読み出しステップ S 106に移行する。
ステップ S106では、画像処理部 12において、上記読み出した撮影画像データか ら検出用画像データを生成し、当該生成した検出用画像データを口唇領域検出部 1
3に伝送してステップ S 108に移行する。
[0084] ステップ S108では、口唇領域検出部 13において、検出用画像から口唇領域を検 出し、検出された口唇領域の位置情報を特徴量抽出部 14に伝送してステップ S110 に移行する。
ステップ S110では、特徴量抽出部 14において、上記検出された口唇領域の位置 情報に基づき撮影画像から口唇領域の画像を切り出し、当該切り出した画像力ゝら特 徴量を抽出し、当該抽出した特徴量を発話区間検出部 15に伝送してステップ S 112 に移行する。
[0085] ステップ S112では、発話区間検出部 15において、特徴量抽出部 14から取得した 特徴量を発話区間検出用 HMMに入力して、発話 Z非発話の状態を判定し、当該 判定結果に基づき発話区間を検出してステップ S 114に移行する。
ステップ S114では、発話区間検出部 15において、検出した発話区間の情報を C NSに伝送して処理を終了する。
[0086] 更に、図 9に基づき、画像処理部 12における検出用画像データの生成処理の流れ を説明する。図 9は、画像処理部 12における検出用画像データの生成処理を示すフ ローチャートである。 図 9に示すように、まずステップ S 200に移行し、データ記憶部 11から撮影画像デ ータを取得したカゝ否かを判定し、取得したと判定された場合 (Yes)はステップ S 202に 移行し、そうでな 、場合 (No)は取得するまで待機する。
[0087] ステップ S202に移行した場合は、上記取得した撮影画像に対してサブ'サンプリン グ処理を行 、ステップ S 204に移行する。 ステップ S204では、サブ.サンプリングした撮影画像データをグレイスケールィ匕して 検出用撮影画像データを生成しステップ S206に移行する。
ステップ S206では、上記生成した検出用画像データを口唇領域検出部 13に伝送 して処理を終了する。
[0088] 更に、図 10に基づき、口唇領域検出部 13における口唇領域の検出処理の流れを 説明する。図 10は、口唇領域検出部 13における口唇領域の検出処理を示すフロー チャートである。
図 10に示すように、まずステップ S 300に移行し、画像処理部 12から検出用画像を 取得したカゝ否かを判定し、取得したと判定された場合 (Yes)はステップ S 302に移行し
、そうでない場合 (No)は取得するまで待機する。
[0089] ステップ S302に移行した場合は、検出モードに移行し、検出用画像における 20 X
30画素のサーチウィンドウによりスキャニングした領域に対して全体顔検出用 SVM を用いて識別処理を行 ヽステップ S 304に移行する。
ステップ S304では、ステップ S302の識別処理により、顔全体の画像領域が検出さ れたカゝ否かを判定し、検出されたと判定された場合 (Yes)はステップ S306に移行し、 そうでない場合 (No)はステップ S330に移行する。
[0090] ステップ S306に移行した場合は、上記検出された顔全体の領域画像における下 半分の領域を含む、 20 X 15画素の口唇領域の探索領域を検出用画像に対して設 定しステップ S 308に移行する。
ステップ S308では、ステップ S306で設定された探索領域における 10 X 10画素の サーチウィンドウによりスキャニングした領域に対して口唇領域検出用 SVMを用いて 識別処理を行 、ステップ S310に移行する。
[0091] ステップ S310では、ステップ S308の識別〖こより、口唇領域の検出に成功したか否 かを判定し、成功したと判定された場合 (Yes)はステップ S312に移行し、そうでない 場合 (No)はステップ S 330に移行する。
ステップ S312に移行した場合は、ステップ S310で検出された口唇領域の位置情 報を取得してステップ S 314に移行する。
[0092] ステップ S314では、検出モードからトラッキングモードに設定を切り換えステップ S 316に移行する。
ステップ S316では、ステップ S310で口唇領域の検出された検出用画像の次フレ ームの画像データを取得してステップ S 318に移行する。
ステップ S318では、一つ前のフレームの検出用画像における口唇領域の位置情 報に基づき、 15 X 15画素の口唇領域の探索領域を設定してステップ S320に移行 する。
[0093] ステップ S320では、ステップ S318で設定された 15 X 15画素の探索領域における 10 X 10画素のサーチウィンドウによりスキャニングした領域に対して口唇領域検出 用 S VMを用 、て識別処理を行 、ステップ S 322に移行する。
ステップ S322では、ステップ S320の識別により、口唇領域の検出に成功したか否 かを判定し、成功したと判定された場合 (Yes)はステップ S324に移行し、そうでない 場合 (No)はステップ S 330に移行する。
ステップ S324に移行した場合は、ステップ S322で検出された口唇領域の位置情報 を取得してステップ S326に移行する。
[0094] ステップ S326では、次のフレームの検出用画像があるか否かを判定し、あると判定 された場合 (Yes)はステップ S 316に移行し、そうでな!/、場合 (No)はステップ S 328に 移行する。
ステップ S328に移行した場合は、取得した位置情報を特徴量抽出部 14に伝送し てステップ S 300に移行する。
[0095] また、ステップ S330に移行した場合は、次のフレームの検出用画像があるか否か を判定し、あると判定された場合 (Yes)はステップ S332に移行し、そうでない場合 (No) はステップ S 300に移行する。
ステップ S332に移行した場合は、次フレームの検出用画像データを取得してステ ップ S 302に移行する。
[0096] 更に、図 11に基づき、特徴量抽出部 14における特徴量の抽出処理の流れを説明 する。図 11は、特徴量抽出部 14における特徴量の抽出処理を示すフローチャートで ある。
図 11に示すように、まずステップ S400に移行し、口唇領域検出部 13から位置情 報を取得したか否かを判定し、取得したと判定された場合 (Yes)はステップ S402に移 行し、そうでない場合 (No)は取得するまで待機する。
[0097] ステップ S402に移行した場合は、データ記憶部 11に記憶された撮影画像力も上 記取得した位置情報に基づき口唇領域の画像を切り出してステップ S404に移行す る。
ステップ S404では、窓関数により、鼻や顎などの画像による影響を少なくする処理 を行 、ステップ S406に移行する。
ステップ S406では、窓関数による処理後の画像に対して、 2次元フーリエ変換処 理を施し、口唇領域画像の振幅スペクトルを得てステップ S408に移行する。
[0098] ステップ S408では、ステップ S406で得られた振幅スペクトルに対して主成分分析 を行 、、振幅スペクトルの次元数を削減して特徴量を生成しステップ S410に移行す る。
ステップ S410では、上記生成した特徴量を 5フレーム分を一組にして発話区間判 定部 15に伝送してステップ S400に移行する。
更に、図 12に基づき、発話区間検出部 15における発話区間の検出処理の流れを 説明する。図 12は、発話区間検出部 15における発話区間の検出処理を示すフロー チャートである。
[0099] 図 12に示すように、まずステップ S 500に移行し、特徴量抽出部 14力も特徴量を取 得したカゝ否かを判定し、取得したと判定された場合 (Yes)はステップ S 502に移行し、 そうでな 、場合 (No)は取得するまで待機する。
ステップ S502に移行した場合は、発話区間検出用 HMMである発話用の HMM 及び非発話用の HMMの各々に上記取得した 5フレーム一組の特徴量を入力して、
5フレーム毎の発話 Z非発話を判定してステップ S504に移行する。
[0100] ステップ S504では、ステップ S502の判定結果に基づき、発話開始点の判定処理 を行 、ステップ S 506に移行する。
ステップ S506では、ステップ S504の判定処理により、発話開始点が検出されたか 否かを判定し、検出されたと判定された場合 (Yes)はステップ S508に移行し、そうで な 、場合 (No)はステップ S 500に移行する。 ステップ S508に移行した場合は、ステップ S502の判定結果に基づき、発話終了 点の判定処理を行!、ステップ S 510に移行する。
[0101] ステップ S510では、ステップ S508に判定処理により、発話終了点が検出されたか 否かを判定し、検出されたと判定された場合 (Yes)はステップ S512に移行し、そうで な 、場合 (No)はステップ S 500に移行する。
ステップ S512に移行した場合は、上記検出された発話開始点及び発話終了点に 基づき発話区間情報を CNSに伝送して処理を終了する。
[0102] 更に、図 13に基づき、発話区間判定部 15における発話開始点判定処理の流れを 説明する。図 13は、発話区間判定部 15における発話開始点判定処理を示すフロー チャートである。
図 13に示すように、まずステップ S600に移行し、発話区間検出用 HMMによる発 話 Z非発話の判定結果を取得した力否かを判定し、取得したと判定された場合 (Yes) はステップ S602に移行し、そうでな 、場合 (No)は取得するまで待機する。
[0103] ステップ S602に移行した場合は、上記判定結果に基づき、該当するフレームから 発話状態が連続して 2回続 ヽた力否かを判定し、続 ヽたと判定された場合 (Yes)はス テツプ S604に移行し、そうでな 、場合 (No)は続くフレームに対して判定処理を継続 する。
ステップ S604に移行した場合は、該当フレームを 1フレーム目（S1)として、このフ レームを発話開始点の候補に設定してステップ S606に移行する。
[0104] ステップ S606では、 S1から 3フレーム目以降を状態「C」に遷移させてステップ S60 8に移行する。
ステップ S608では、状態「C」におけるフレームにおいて、非発話の状態が発生し たカゝ否かを判定し、非発話の状態が発生したと判定された場合 (Yes)はステップ S61 0に移行し、そうでな 、場合 (No)はステップ S620に移行する。
[0105] ステップ S610に移行した場合は、非発話の発生したフレームの次フレーム以降を 状態「D」に遷移させてステップ S612に移行する。
ステップ S612では、状態「D」におけるフレームにおいて、発話状態が発生したか 否かを判定し発生したと判定された場合 (Yes)はステップ S614に移行し、そうでな ヽ 場合 (No)はステップ S616に移行する。
[0106] ステップ S614に移行した場合は、 1フレーム目（S1)を発話開始点と判定して処理 を終了する。
一方、ステップ S616に移行した場合は、状態「D」におけるフレームにおいて、非 発話状態が連続して 10回続 ヽたカゝ否かを判定し、続 ヽたと判定された場合 (Yes)は ステップ S618に移行し、そうでな!/、場合 (No)はステップ S612に移行する。
[0107] ステップ S618に移行した場合は、 1フレーム目（S1)を発話候補点から降格してス テツプ S602に移行する。
一方、ステップ S608において、状態「C」において非発話の状態が発生せずステツ プ S620に移行した場合は、発話状態の発生回数をカウントすると共に、 3フレーム連 続して発話状態が発生したか否かを判定し、発生したと判定された場合 (Yes)はステ ップ S622に移行し、そうでな!/、場合 (No)はステップ S608に移行する。
[0108] ステップ S622に移行した場合は、 1フレーム目（S1)を発話開始点と判定して処理 を終了する。
更に、図 14に基づき、発話区間判定部 15における発話終了点判定処理の流れを 説明する。図 14は、発話区間判定部 15における発話終了点判定処理を示すフロー チャートである。
図 14に示すように、まずステップ S 700に移行し、発話区間検出用 HMMによる発 話 Z非発話の判定結果を取得した力否かを判定し、取得したと判定された場合 (Yes) はステップ S702に移行し、そうでな 、場合 (No)は取得するまで待機する。
[0109] ステップ S702に移行した場合は、フレームの順番に非発話の発生回数をカウント してステップ S 704に移行する。
ステップ S704では、非発話の状態が 6回連続で続いた力否かを判定し、続いたと 判定された場合 (Yes)はステップ S 706に移行し、そうでな 、場合 (No)はステップ S 70 2に移行する。
ステップ S706に移行した場合は、上記 6回連続後のフレーム以降を状態「C」に遷 移させてステップ S 708に移行する。
[0110] ステップ S708では、発話の発生回数もカウントし、且つ、状態「C」におけるフレー ムにおいて、発話の状態が 3回連続で続いた力否かを判定し、続いたと判定された 場合 (Yes)はステップ S710に移行し、そうでな 、場合 (No)はステップ S712に移行す る。
ステップ S710に移行した場合は、非発話の発生回数のカウントをクリアしてステツ プ S702に移行する。
一方、ステップ S712に移行した場合は、非発話の発生回数のカウントを継続して 行 、ステップ S 714に移行する。
[0111] ステップ S714では、非発話の発生回数がトータルで 20回となったか否かを判定し 、 20回になったと判定された場合 (Yes)はステップ S716に移行し、そうでない場合 (No)はステップ S 708に移行する。
ステップ S716に移行した場合は、ステップ S704における 6回連続したフレームの 1 フレーム目（S1)を発話終了点と判定し処理を終了する。
[0112] 以上、発話区間検出装置 1は、画像撮影部 10により、運転席に座った撮影対象者 の顔を含む画像を撮影することが可能であり、データ記憶部 11により、撮影画像デ ータを記憶することが可能であり、画像処理部 12により、撮影画像データをグレイス ケール化し、且つ、サブ'サンプリングによりサイズを縮小することにより検出用画像を 生成することが可能であり、口唇領域検出部 13により、全体顔検出用 SVM及び口 唇領域検出用 SVMを用いて検出用画像から口唇領域を検出することが可能であり 、特徴量抽出部 14により、検出された口唇領域の位置情報に基づき、元の撮影画像 から口唇領域画像を切り出し、当該切り出した口唇領域画像から特徴量を抽出する ことが可能であり、発話区間検出部 15により、発話区間検出用 HMMを用いて、発 話区間の検出を行うことが可能である。
[0113] なお、上記実施の形態において、口唇画像の検出と同様に、専用の SVMにより眼 の画像を検出し、その特徴量を抽出して専用の HMMを用いて眼の動きに関連する 動作内容を判定できる構成としても良い。このような構成であれば、居眠り等の動作 を判定することが可能となり、音声による警告を与える等の運転支援を行うことが可能 となる。
[0114] また、上記実施の形態において、特徴量抽出部 14において抽出された特徴量を、 発話内容判定用の HMMに入力することにより、発話区間では無くて、発話内容を 直接識別する構成も可能である。この場合は、予め不特定多数の人の様々な口唇画 像を用いて学習により、「あ」、「い」等の発音内容を識別するための HMMを作成す る。このような構成であれば、口唇の動きのみ力 発話内容を判定することが可能と なるので、音声情報が不要となり音声認識に必要なデータ量を削減することが可能と なる。
[0115] また、上記実施の形態において、全体顔検出用 SVM及び口唇領域検出用 SVM を用いて、検出用画像から顔全体の画像領域及び口唇画像の領域を検出した後に 、これらの位置関係を用いて撮影対象者の顔の向きを判定する構成も可能である。こ の構成により、例えば、発話者の顔向きの判定結果を用いて自動車内に設置された 集音装置の集音部 (マイク等)の向きを制御したり、自動車内に複数設置された集音 部のうち、発話者の向 、て 、る方向にある集音部を選択して動作させる制御等を行う ことにより、発話者の音声データをより確実且つ正確に取得することが可能となる。
[0116] 上記実施の形態において、画像撮影部 10及びデータ記憶部 11による撮影対象者 の画像データの取得処理は、請求項 1、 2、 19、 22及び 26のいずれか 1に記載の画 像撮影手段に対応する。
また、上記実施の形態において、画像処理部 12及び口唇領域検出部 13による撮 影画像からの口唇領域の検出処理は、請求項 2、 19、 22及び 26のいずれ力 1項に 記載の顔部位検出手段に対応する。
[0117] また、上記実施の形態において、特徴量抽出部 14は、請求項 1、 2、 6、 19、 22及 び 24のいずれか 1項に記載の特徴量抽出手段に対応する。
また、上記実施の形態において、発話区間検出部 15は、請求項 1、 2、 5、 6、 7、 1 0、 22、 23、 24及び 25のいずれか 1項に記載の動作内容判定手段に対応する。 また、上記実施の形態において、発話区間検出部 15における発話開始点の判定 処理は、請求項 7、 8及び 9のいずれか 1項に記載の発話開始点判定手段に対応す る。
また、上記実施の形態において、発話区間検出部 15における発話終了点の判定 処理は、請求項 10、 11及び 12のいずれか 1項に記載の発話終了点判定手段に対 応する。
[0118] 〔第 1の実施の形態の変形例〕
次に、本発明の第 1の実施の形態の変形例を図面に基づき説明する。図 15乃至 図 19は、本発明に係る顔部位検出装置、動作内容判定装置、顔部位検出装置制御 プログラム、動作内容判定装置制御プログラム、顔部位検出装置制御方法及び動作 内容判定装置制御方法の第 1の実施の形態の変形例を示す図である。
[0119] 上記第 1の実施の形態と異なるのは、対象者の顔の向きに応じた発話区間検出用 の HMMをそれぞれ設定した顔向き毎に用意する点、上記口唇領域検出部 13にお いて、対象者の顔の向きを判定すると共に、判定結果の顔向きに応じて検出する口 唇領域の領域サイズを変更する点、発話区間検出部 15において、前記判定結果の 顔向きに応じた発話区間検出用の HMMを選択し、当該選択した HMMによって発 話区間を検出する点である。以下、上記第 1の実施の形態と異なる部分についての み説明し、上記第 1の実施の形態と重複する部分については説明を省略する。
[0120] まず、上記第 1の実施の形態の発話区間検出装置 1における上記第 1の実施の形 態とは異なる部分を説明する。
データ記憶部 11は、上記発話区間検出用の HMMとして、予め設定された複数方 向の顔向きに対応して生成されたものを記憶する。
[0121] 口唇領域検出部 13は、上記第 1の実施の形態の機能に加え、全体顔検出用 SV Mによって検出された撮影対象者の顔全体の領域と、口唇領域の位置情報とに基 づき、撮影対象者の顔向き方向を判定する機能を有している。更に、この判定された 顔向き方向に基づき、口唇領域の検出サイズを変更する。つまり、撮影対象者の顔 向き方向によって、撮影される口唇部分の形状が異なるため、口唇部分を含むのに 必要な口唇領域のサイズもそれに応じて異なってくるので、全ての形状を考慮した 1 種類のサイズにするよりも、形状に応じてサイズを可変とすることで、後段の処理を効 率ィ匕し高性能化することが可能となる。なお、検出結果の情報及び顔向き方向の判 定結果は、特徴量抽出部 14に伝送される。
[0122] 特徴量抽出部 14は、口唇領域検出部 13からの検出結果の情報及び顔向き方向 の判定結果を取得すると、これらの情報に基づき、対応する元の撮影画像をデータ 記憶部 11から読み出し、当該読み出した画像力 顔向き方向に応じたサイズの口唇 領域の画像を切り取り、当該切り取った口唇領域画像から後述する発話区間検出用 の HMMに入力する特徴量を抽出する。つまり、上記第 1の実施の形態とは、顔向き 方向に応じて切り出すサイズを変更して 、る点が異なる。
[0123] 発話区間検出部 15は、口唇領域検出部 13からの判定結果の顔向き方向の情報 に基づき、当該顔向きに対応した発話区間検出用の HMMをデータ記憶部 11から 選択して読み出し、特徴量抽出部 14から取得した口唇領域画像の特徴量を、当該 選択した発話区間検出用の HMMに入力し、この入力に対する HMM力 の出力に 基づき、対象者の発話開始力 終了までの発話区間を検出する。
更に、図 15に基づき、本変形例における発話区間検出装置 1のより具体的な動作 を説明する。ここで、図 15 (a)〜（c)は、顔向きに応じて検出される口唇領域の一例 を示す図である。
[0124] 本変形例においては、インナーミラーの鏡面の向きと平行となるように CCDカメラが 設置されており、撮影対象者がインナーミラーの方を向くと当該撮影対象者の顔が正 面力も撮影されるようになっている。また、データ記憶部 11は、撮影対象者が、運転 席に座った状態において、右の窓の方を向いた方向（以下、右窓方向と略す）、右の ドアミラーの方を向!、た方向（以下、右ミラー方向と略す）、正面を向 、た方向（以下、 正面方向と略す）、インナーミラーの方を向いた方向（以下、インナーミラー方向と略 す）、左のドアミラーの方を向いた方向（以下、左ミラー方向と略す）、左の窓の方を向 いた方向（以下、左窓方向と略す）にそれぞれ対応する 6種類の発話区間検出用の HMMが記憶されている。これら HMMは、それぞれの顔向き毎に、不特定多数の 撮影対象者の撮影画像から抽出された口唇部分の画像の特徴量を学習データとし て学習を行い生成されたもので、口唇部分の画像から抽出される特徴量を入力とし、 撮影対象者の発話状態に対する尤度、非発話状態に対する尤度を出力とするもの である。
[0125] 本変形例において、口唇領域検出部 13は、画像処理部 12から検出用画像を取得 すると、上記第 1の実施の形態と同様に、検出モードに移行し、全体顔検出用 SVM を用いて 20 X 30画素の領域画像を顔全体の画像領域 200として検出する。顔全体 の画像領域 200が検出されると、次に、上記第 1の実施の形態と同様に、口唇領域 検出用 SVMを用いて 10 X 10画素の口唇領域画像を検出する。更に、口唇領域画 像が検出されるとその位置情報 (座標情報)を取得し、顔全体の画像領域 200と、当 該取得した位置情報に基づき、撮影された画像における対象者の顔の向き（上記し た 6種類のいずれか）を判定する。具体的には、上記した 6種類の顔の向きによって、 顔全体の画像領域 200における口唇部分の位置座標が異なるので、これら位置座 標の違いからそれぞれの顔向きを判断する。更に、顔向きが判定されると、判定結果 の顔向きに応じて縦 X横が 10 X 10画素の口唇領域を 10 X 8画素、 10 X 5画素等の サイズに変更する。
[0126] 例えば、図 15 (a)〜（c)は、撮影対象者の顔向きが、正面方向、インナーミラー方 向及び右窓方向のときの口唇領域の検出結果を示す図である力 CCDカメラの設 置位置との関係から、インナーミラー方向を向 、て 、るときに口唇部分が正面力 撮 影されるため口唇部分の画素数が最も多くなるので、図 15 (b)に示すように、口唇領 域は 10 X 10画素のサイズとなり、次いで、正面方向（又は左ミラー方向）を向いてい るときが口唇部分の画素数が二番目に多くなるので、図 15 (a)に示すように、 10 X 1 0画素が 10 X 8画素のサイズに変更され、右窓方向を向!、たときの口唇部分の画素 数が最も少なくなるので、図 15 (c)に示すように、 10 X 10画素が 10 X 8画素のサイ ズに変更される。図示しないが、 10 X 8画素と 10 X 5画素との間に、右ミラー方向及 び左窓方向に対応したサイズ (例えば、 10 X 7画素）がある。
このようにして、口唇領域のサイズが変更されると、次のフレームの検出用画像に対 してトラッキングモードへと移行する。
[0127] 口唇領域検出部 13は、トラッキングモードに移行すると、上記第 1の実施の形態と 同様に、次のフレームの検出用画像に対して、図 2 (c)に示すように、前のフレームで 検出された口唇領域画像の位置座標を中心に縦方向及び横方向に 5画素ずつ広げ た 15 X 15画素の探索領域 25を設定し、当該設定された探索領域 25に対して 10 X 10画素のサーチウィンドウ 24により口唇領域のスキャニングを行う。スキャニングされ た 10 X 10画素の計 100画素のグレイスケール値は、上記検出モードと同様に口唇 領域検出用 SVMに入力され、口唇領域の検出処理が行われる。なお、口唇領域が 検出され、座標情報が取得されると、既に検出されている顔全体の画像領域 200と 座標情報とに基づき上記同様に顔向きを判定し、判定結果の顔向きに基づき口唇 領域のサイズ変更を行う。また、本変形例においては、顔向き方向の情報及び口唇 領域の中心座標が、特徴量抽出部 14に伝送される。
[0128] 特徴量抽出部 14は、口唇領域検出部 13から各フレームの検出用画像における顔 向き方向の情報及び口唇領域の中心座標を取得すると、データ記憶部 11によって 記憶された対応する撮影画像から、前記取得した中心座標を中心に顔向き方向に 応じた画素数（例えば、縦 X横が 64 X 48画素〜 64 X 64画素の範囲）のグレイスケ ールの口唇画像を切り出す。つまり、上記口唇領域と同様に、インナーミラー方向を 最大サイズ (64 X 64画素）とし、右窓方向を最小サイズ (64 X 48画素）にする。以降 は、上記第 1の実施の形態と同様の処理を行い、口唇画像の振幅スペクトルを特徴 量として求める。そして、このような特徴量の抽出を 1フレーム毎に実施し、抽出した 特徴量を、撮影した順番に 5フレーム分を一組として、発話区間検出部 15に伝送す ると共に、 5フレーム一組に対応した顔向き判定結果を発話区間検出部 15に伝送す る。
[0129] 発話区間検出部 15は、特徴量抽出部 14から顔向き判定結果及び 5フレーム一組 の特徴量を取得すると、まず、顔向き判定結果に基づき、データ記憶部 11から当該 顔向き方向に対応する発話区間検出用の HMMを選択して読み出す。つまり、上記 した 6種類の顔向き方向に対応した HMMから、判定結果の顔向きに対応した HM Mを選択する。以降は、選択した HMMを用いて、上記第 1の実施の形態と同様の 処理によって、発話区間が検出される。
[0130] 更に、図 16に基づき、本変形例における口唇領域検出部 13における口唇領域の 検出処理の流れを説明する。図 16は、第 1の実施の形態の変形例の口唇領域検出 部 13における口唇領域の検出処理を示すフローチャートである。
図 16に示すように、まずステップ S800に移行し、画像処理部 12から検出用画像を 取得したカゝ否かを判定し、取得したと判定された場合 (Yes)はステップ S802に移行し 、そうでない場合 (No)は取得するまで待機する。
[0131] ステップ S802に移行した場合は、検出モードに移行し、検出用画像における 20 X 30画素のサーチウィンドウによりスキャニングした領域に対して全体顔検出用 SVM を用いて識別処理を行 ヽステップ S804に移行する。
ステップ S804では、ステップ S802の識別処理により、顔全体の画像領域が検出さ れたカゝ否かを判定し、検出されたと判定された場合 (Yes)はステップ S806に移行し、 そうでない場合 (No)はステップ S838に移行する。
[0132] ステップ S806に移行した場合は、上記検出された顔全体の領域画像における下 半分の領域を含む、 20 X 15画素の口唇領域の探索領域を検出用画像に対して設 定しステップ S 808に移行する。
ステップ S808では、ステップ S806で設定された探索領域における 10 X 10画素の サーチウィンドウによりスキャニングした領域に対して口唇領域検出用 SVMを用いて 識別処理を行 、ステップ S810に移行する。
[0133] ステップ S810では、ステップ S808の識別〖こより、口唇領域の検出に成功したか否 かを判定し、成功したと判定された場合 (Yes)はステップ S812に移行し、そうでない 場合 (No)はステップ S838に移行する。
ステップ S812に移行した場合は、ステップ S810で検出された口唇領域の位置情 報を取得してステップ S814に移行する。
ステップ S814では、ステップ S804で検出された顔全体の領域画像と、ステップ S8 12で取得した位置情報とに基づき、検出用画像における撮影対象者の顔向き方向 を判定してステップ S816に移行する。
[0134] ステップ S816では、ステップ S814で判定された顔向き方向に基づき、口唇領域の 領域サイズを決定してステップ S818に移行する。ここで、領域サイズの決定は、 CC Dカメラに対して撮影対象者の顔が正面となる顔向き方向 (インナーミラー方向）にお いて、 10 X 10画素の最大サイズとし、その他の顔向きの場合は、顔向き方向に応じ て予め設定された 10 X 10画素よりも小さ 、サイズの領域に変更する。
ステップ S818では、検出モードからトラッキングモードに設定を切り換えステップ S 820に移行する。
[0135] ステップ S820では、ステップ S810で口唇領域の検出された検出用画像の次フレ ームの画像データを取得してステップ S822に移行する。 ステップ S822では、一つ前のフレームの検出用画像における口唇領域の位置情 報に基づき、 15 X 15画素の口唇領域の探索領域を設定してステップ S824に移行 する。
ステップ S824では、ステップ S822で設定された 15 X 15画素の探索領域における 10 X 10画素のサーチウィンドウによりスキャニングした領域に対して口唇領域検出 用 SVMを用いて識別処理を行 、ステップ S 826に移行する。
[0136] ステップ S826では、ステップ S824の識別〖こより、口唇領域の検出に成功したか否 かを判定し、成功したと判定された場合 (Yes)はステップ S828に移行し、そうでない 場合 (No)はステップ S838に移行する。
ステップ S828に移行した場合は、ステップ S826で検出された口唇領域の位置情報 を取得してステップ S 838に移行する。
[0137] ステップ S830では、ステップ S804で検出された顔全体の領域画像と、ステップ S8
28で取得した位置情報とに基づき、検出用画像における撮影対象者の顔向き方向 を判定してステップ S 832に移行する。
ステップ S832では、ステップ S830で判定された顔向き方向に基づき、口唇領域の 領域サイズを決定してステップ S834に移行する。
[0138] ステップ S834では、次のフレームの検出用画像があるか否かを判定し、あると判定 された場合 (Yes)はステップ S820に移行し、そうでな!/、場合 (No)はステップ S836に 移行する。
ステップ S836に移行した場合は、取得した位置情報及び判定結果の顔向き方向 の情報を特徴量抽出部 14に伝送してステップ S800に移行する。
[0139] また、ステップ S838に移行した場合は、次のフレームの検出用画像があるか否か を判定し、あると判定された場合 (Yes)はステップ S840に移行し、そうでない場合 (No) はステップ S800に移行する。
ステップ S840に移行した場合は、次フレームの検出用画像データを取得してステ ップ S802に移行する。
[0140] 更に、図 17に基づき、特徴量抽出部 14における特徴量の抽出処理の流れを説明 する。図 17は、特徴量抽出部 14における特徴量の抽出処理を示すフローチャートで ある。
図 17に示すように、まずステップ S 900に移行し、口唇領域検出部 13から顔向き方 向の情報及び位置情報を取得したか否かを判定し、取得したと判定された場合 (Yes) はステップ S902に移行し、そうでな 、場合 (No)は取得するまで待機する。
[0141] ステップ S902に移行した場合は、データ記憶部 11に記憶された撮影画像力も上 記取得した顔向き方向情報及び位置情報に基づき、顔向き方向に応じたサイズの口 唇領域の画像を切り出してステップ S904に移行する。ここで、顔向き方向に応じた サイズとは、 CCDカメラに対して撮影対象者の顔が正面となる顔向き方向 (インナー ミラー方向）において、最大サイズとし、その他の顔向きの場合は、顔向き方向に応じ て予め設定された最大サイズよりも小さいサイズの領域となる。
[0142] ステップ S904では、窓関数により、鼻や顎などの画像による影響を少なくする処理 を行 、ステップ S 906に移行する。
ステップ S906では、窓関数による処理後の画像に対して、 2次元フーリエ変換処 理を施し、口唇領域画像の振幅スペクトルを得てステップ S908に移行する。
ステップ S908では、ステップ S906で得られた振幅スペクトルに対して主成分分析 を行 、、振幅スペクトルの次元数を削減して特徴量を生成しステップ S910に移行す る。
[0143] ステップ S910では、上記生成した特徴量を 5フレーム分を一組にして発話区間判 定部 15に伝送してステップ S900に移行する。
更に、図 18に基づき、発話区間検出部 15における発話区間の検出処理の流れを 説明する。図 18は、第 1の実施の形態の変形例の発話区間検出部 15における発話 区間の検出処理を示すフローチャートである。
[0144] 図 18に示すように、まずステップ S 1000に移行し、特徴量抽出部 14力ゝら顔向き方 向の情報及び特徴量を取得したか否かを判定し、取得したと判定された場合 (Yes)は ステップ S1002に移行し、そうでな 、場合 (No)は取得するまで待機する。
ステップ S1002に移行した場合は、顔向き方向の情報に基づき、データ記憶部 11 に記憶された複数方向の顔向きに対応した発話区間検出用の HMMから、顔向き方 向の情報の示す顔向き方向に対応した HMMを選択して読み出しステップ S 1004 に移行する。
[0145] ステップ S1004では、ステップ S 1002で選択した、発話区間検出用の HMMであ る発話用の HMM及び非発話用の HMMの各々に上記取得した 5フレーム一組の 特徴量を入力して、 5フレーム毎の発話 Z非発話を判定してステップ S 1006に移行 する。
ステップ S 1006では、ステップ S 1004の判定結果に基づき、発話開始点の判定処 理を行 、ステップ S 1008に移行する。
[0146] ステップ S1008では、ステップ S1006の判定処理により、発話開始点が検出された か否かを判定し、検出されたと判定された場合 (Yes)はステップ S1010に移行し、そう でない場合 (No)はステップ S 1000に移行する。
ステップ S1010に移行した場合は、ステップ S1004の判定結果に基づき、発話終 了点の判定処理を行 、ステップ S 1012に移行する。
[0147] ステップ S1012では、ステップ S1010に判定処理により、発話終了点が検出された か否かを判定し、検出されたと判定された場合 (Yes)はステップ S1014に移行し、そう でない場合 (No)はステップ S 1000に移行する。
ステップ S 1014に移行した場合は、上記検出された発話開始点及び発話終了点 に基づき発話区間情報を CNSに伝送して処理を終了する。
[0148] 更に、本変形例の効果を示すために、図 19に基づき、上記第 1の実施の形態にお ける発話区間の検出方法と、本変形例における発話区間の検出方法とを比較する。 ここで、図 19は、顔向きを考慮しない HMMを用いた場合と、考慮した HMMを用い た場合とにおける発話区間の識別確率を示す図である。つまり、上記第 1の実施の 形態における顔向き方向を考慮しな ヽ全方向に対応した 1種類の HMMを用 、て発 話区間の検出をおこなった実施例における当該発話区間の識別確率と、本変形例 で用 、た上記 6種類の顔向き方向毎にそれぞれ生成された 6種類の HMMを用 、て 発話区間の検出を行った実施例における当該発話区間の識別確率とを比較する。
[0149] 図 16の例においては、撮影対象者の顔向き方向を考慮せずに、本変形例で説明 した撮影対象者の上記 6種類の顔向き方向に対するそれぞれの発話区間を、全顔 向き方向に対応した 1種類の HMMを用いて検出した場合の識別確率と、撮影対象 者の顔向き方向を考慮して、上記 6種類の顔向き方向毎にそれぞれ対応した HMM を生成し、これら 6種類の HMMを用いて、上記 6種類の顔向き方向に対するそれぞ れの発話区間を検出した場合の識別確率とが示されている。
[0150] 上記第 1の実施の形態の方法の識別確率と、本変形例の方法の識別確率とを比較 してみると、 CCDカメラの撮影方向に対する、撮影対象者の顔向き方向の角度が特 に大きくなる右ミラー方向と右窓方向において、本変形例の顔向きを考慮した方法が 、上記第 1の実施の形態の方法より 4%も識別確率が向上しているのが解る。これは 、前記角度が異なることによって、 CCDカメラによって撮影される口唇部分の画像形 状力 角度の大きさに応じて異なる形状となってくるためである。つまり、口唇部分の 画像の変形度合いが大きければ大きいほど (前記角度が大きければ大きいほど）、変 形度合 、が小さ ヽ (前記角度が小さ ヽ)画像力も抽出される特徴量とは違った特徴量 が抽出されるようになるため、このように角度によって違った特徴量が得られるものに 対して 1種類の HMMを用いて発話区間を検出するよりも、それぞれの方向（角度範 囲）に応じた HMMを用いた方が発話区間の検出精度が向上する。このことは、図 1 6に示すように、 HMMを各顔向き方向毎に作成した方力 1種類の HMMで全方向 の発話区間を検出するよりも、全ての方向において識別確率が向上していることから も解る。
[0151] 以上、本変形例における発話区間検出装置 1は、画像撮影部 10により、運転席に 座った撮影対象者の顔を含む画像を撮影することが可能であり、データ記憶部 11に より、撮影対象者の複数方向の顔向き方向に対応した発話区間検出用の HMM、撮 影画像データなどを記憶することが可能であり、画像処理部 12により、撮影画像デ ータをグレイスケールィ匕し、且つ、サブ ·サンプリングによりサイズを縮小することにより 検出用画像を生成することが可能であり、口唇領域検出部 13により、全体顔検出用 S VM及び口唇領域検出用 S VMを用 ヽて検出用画像から口唇領域を検出すると共 に、顔全体の領域画像と検出した口唇領域の座標情報とに基づき、撮影対象者の顔 向き方向を判定し、当該判定結果に基づき口唇領域の検出サイズを変更することが 可能であり、特徴量抽出部 14により、検出された口唇領域の位置情報及び判定結 果の顔向き方向に基づき、元の撮影画像から顔向き方向に応じたサイズの口唇領域 画像を切り出し、当該切り出した口唇領域画像力 特徴量を抽出することが可能であ り、発話区間検出部 15により、判定結果の顔向き方向に対応した発話区間検出用の HMMを用いて、発話区間の検出を行うことが可能である。
[0152] 上記実施の形態にお!ヽて、画像撮影部 10及びデータ記憶部 11による撮影対象者 の画像データの取得処理は、請求項 1、 2、 4、 19、 22及び 26のいずれ力 1に記載の 画像撮影手段に対応する。
また、上記実施の形態において、画像処理部 12及び口唇領域検出部 13による撮 影画像からの口唇領域の検出処理は、請求項 2、 3、 19、 22及び 26のいずれか 1項 に記載の顔部位検出手段に対応する。
[0153] また、上記実施の形態において、口唇領域検出部 13による位置情報の取得処理 は、請求項 4又は 23記載の位置関係情報取得手段に対応する。
また、上記実施の形態において、特徴量抽出部 14は、請求項 1、 2、 4、 6、 19、 22 及び 24のいずれか 1項に記載の特徴量抽出手段に対応する。
また、上記実施の形態において、発話区間検出部 15は、請求項 1、 2、 4、 5、 6、 7 、 10、 22、 23、 24及び 25のいずれか 1項に記載の動作内容判定手段に対応する。 また、上記実施の形態において、発話区間検出部 15における発話開始点の判定 処理は、請求項 7、 8及び 9のいずれか 1項に記載の発話開始点判定手段に対応す る。
また、上記実施の形態において、発話区間検出部 15における発話終了点の判定 処理は、請求項 10、 11及び 12のいずれか 1項に記載の発話終了点判定手段に対 応する。
[0154] 〔第 2の実施の形態〕
次に、本発明の第 2の実施の形態を図面に基づき説明する。図 20〜図 30は、本発 明に係る顔部位検出装置、動作内容判定装置、顔部位検出装置制御プログラム、 動作内容判定装置制御プログラム、顔部位検出装置制御方法及び動作内容判定装 置制御方法を適用した覚醒状態検出装置の第 2の実施の形態を示す図である。 本実施の形態においては、本発明に係る顔部位検出装置、動作内容判定装置、 顔部位検出装置制御プログラム、動作内容判定装置制御プログラム、顔部位検出装 置制御方法及び動作内容判定装置制御方法を、自動車を運転する運転者の覚醒 状態を判定する覚醒状態判定装置に適用した場合を説明する。
[0155] まず、本発明に係る覚醒状態判定装置の構成を図 20に基づき説明する。図 20は
、本発明に係る覚醒状態判定装置の構成を示すブロック図である。
図 20に示すように、覚醒状態判定装置 2は、画像撮影部 30と、データ記憶部 31と
、画像処理部 32と、眼領域検出部 33と、特徴量抽出部 34と、覚醒状態判定部 35と を含んだ構成となっている。なお、本実施の形態において、覚醒状態判定装置 2は、 自動車室内に設置され、且つ、図示しない自動車室内に設置された警報システムと 連動可能に接続される。そして、覚醒状態判定装置 2の出力は警報システムに入力 され、警報システムは入力された情報に基づき、運転者が睡眠状態や睡眠しかかつ た状態にあると判定された場合には、判定結果の画面表示、警告音や警告音声メッ セージを発する等の動作を行う。
[0156] 画像撮影部 30は、 CCD (charge coupled device)カメラを含んだ構成となっており、 フレーム単位で撮影した画像をデジタルのデータで出力する。そして、出力画像デ ータは、データ記憶部 31に伝送される。本実施の形態において、 CCDカメラは、自 動車室内におけるインナーミラーに、運転席に座った人 (運転手)の顔全体を含む像 を撮影可能な状態で取り付けられている。なお、 CCDカメラの設置位置は、インナー ミラーに限らず、撮影対象者の顔全体を含む画像が撮影可能な位置であれば、ステ ァリング.コラム位置、センター 'パネル位置、フロント'ピラー位置等の別の場所でも 良い。
[0157] データ記憶部 31は、全体顔検出用 SVM、眼領域検出用 SVM、覚醒状態判定用 の HMM、画像撮影部 30によって撮影された画像等、覚醒状態の判定に必要なデ ータを記憶する。
画像処理部 32は、眼領域検出部 33において行われる、撮影画像から眼領域を検 出する処理の前処理として、画像サイズの縮小等を行う。以下、画像サイズの縮小さ れた撮影画像を検出用画像と称すこととする。
[0158] 眼領域検出部 33は、 SVMを用いて画像処理部 32から取得した検出用画像から 撮影対象者の眼領域を検出する。本実施の形態においては、検出用画像から撮影 対象者の顔全体の領域 200を検出する全体顔検出用 SVMと、全体顔検出用 SVM によって検出された全体顔画像から撮影対象者の左眼を含む左眼領域 (右眼は含ま ない）を検出する左眼領域検出用 SVMとの 2種類の SVMを用いて 2段階で左眼領 域を検出する。また、一度左眼領域が検出されると、次のフレームの検出用画像に対 しては、前のフレームで検出された左眼領域の位置情報 (例えば、画像の左上の画 素を座標（1, 1)とした場合の座標情報）に基づき左眼領域の探索範囲を設定し、こ の探索範囲に対して左眼領域検出用 SVMを適用する。つまり、一度左眼領域が検 出されると、左眼領域が未検出となるまで次フレームからの検出用画像に対して全体 顔検出用 SVMによる顔全体の画像領域の検出処理を省略する。このとき、最初に 左眼領域を検出する際の探索範囲よりも狭い範囲の探索範囲を設定することで左眼 領域の検出処理を高速化する。以下、上記した 2種類の SVMを用いた左眼領域の 検出処理を行うモードを検出モードと称し、前のフレームで検出された左眼領域の位 置情報に基づき左眼領域の探索範囲を設定し、この探索範囲に対して左眼領域検 出用 SVMを適用して左眼領域の検出処理を行うモードをトラッキングモードと称すこ ととする。なお、検出結果の情報は、特徴量抽出部 34に伝送される。
[0159] 特徴量抽出部 34は、眼領域検出部 33からの検出結果の情報を取得すると、この 情報に基づき、対応する元の撮影画像をデータ記憶部 11から読み出し、当該読み 出した画像力 左眼領域の画像を切り取り、当該切り取った左眼領域画像力 後述 する覚醒状態判定用の HMMに入力する特徴量を抽出する。本実施の形態におい ては、抽出した特徴量に対して、主成分分析や独立成分分析を用いて次元数の削 減を行う。また、本実施の形態においては、切り取った左眼領域画像をフーリエ変換 してその周波数スペクトル成分を特徴量として抽出する。また、抽出された特徴量は 、連続する所定フレーム (例えば、 10フレーム)分を一組として覚醒状態判定部 35に 伝送される。
[0160] 覚醒状態判定部 35は、特徴量抽出部 34から取得した左眼領域画像の特徴量を 覚醒状態判定用の HMMに入力し、この入力に対する HMM力 の出力に基づき、 対象者の覚醒状態を判定する。判定結果の情報は、図示しない警報システムに伝送 される。 ここで、本実施の形態において、覚醒状態判定装置 2は、図示しないプロセッサと、 RAM (Random Access Memory)と、専用のプログラムの記憶された記憶媒体と、を 備えており、プロセッサにより専用のプログラムを実行することによって上記各部の制 御を行う。
[0161] また、記憶媒体とは、 RAM, ROM等の半導体記憶媒体、 FD、 HD等の磁気記憶 型記憶媒体、 CD、 CDV、 LD、 DVD等の光学的読取方式記憶媒体、 MO等の磁気 記憶型 Z光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取 り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あ らゆる記憶媒体を含むものである。
[0162] 更に、図 21〜図 27に基づき、覚醒状態判定装置 2のより具体的な動作を説明する 。ここで、図 21 (a)は、撮影画像の一例を示す図であり、（b)は、検出用画像におけ る検出モード時の探索領域及びサーチウィンドウを示す図であり、（c)は、検出用画 像におけるトラッキングモード時の探索領域及びサーチウィンドウを示す図である。ま た、図 22は、 1回のまばたきに対する覚醒状態判定用の筋電図波形の構成を示す 図である。また、図 23は、まばたき波形のパターンを示す図である。図 24は、図 23に おける波形 Oに対する覚醒状態判定用 HMMの出力と筋電図波形との一致関係を 示す図であり、図 25は、図 23における波形 Aに対する覚醒状態判定用 HMMの出 力と筋電図波形との一致関係を示す図であり、図 26は、図 23における波形 Bに対す る覚醒状態判定用 HMMの出力と筋電図波形との一致関係を示す図である。また、 図 27は、まばたきの間隔と群発の波形パターンの一例を示す図である。
[0163] 覚醒状態判定装置 2は、覚醒状態の判定処理が開始されると、まず、画像撮影部 1 0において、インナーミラーに取り付けられた CCDカメラにより、図 21 (a)に示すような 自動車の運転席に座って!/、る撮影対象者 (運転者)の顔全体を含む画像を撮影し、 この撮影された画像データを、フレーム (ここでは、 1/30秒とする）単位で且つ撮影 した順番にデータ記憶部 31に記憶する。ここで、本実施の形態において撮影画像は カラー画像とする。データ記憶部 31は、撮影画像データを記憶すると、そのことを画 像処理部 32に通知する。
[0164] 画像処理部 32は、データ記憶部 31からの通知を受けると、当該データ記憶部 31 から撮影画像データを読み出し、読み出した画像データに対してサブ'サンプリング による画像サイズの縮小処理を行う。例えば、撮影画像が 640 X 480 (縦 X横)画素 のサイズのフルカラー画像であったとすると、画像の縦及び横方向にそれぞれ 1Z8 にサブ ·サンプリングされ 80 X 60 (縦 X横)画素のサイズの画像に変換される。サブ · サンプリングは、例えば、 640 X 480画素の撮影画像を、 80 X 80画素の矩形領域単 位に分割し、各矩形領域を当該各矩形領域の画素の輝度値の平均値を輝度値とし た 1画素に置換することにより行われる。これにより、画素数を 1Z64に減少する。こ のようにして生成された検出用画像は、眼領域検出部 33に伝送される。
眼領域検出部 33は、画像処理部 32から検出用画像を取得すると、検出モードに 移行し、上記第 1の実施の形態と同様の方法により、 80 X 60画素の検出用画像の 全体に対して、 20 X 20画素のサーチウィンドウにより顔全体の画像領域のスキヤ- ングを行う。更に、スキャニングされた 20 X 20画素の計 400画素の画素値を 400次 元の値として全体顔検出用 SVMに入力する。全体顔検出用 SVMでは、予め 400 次元空間における全体顔クラスと非全体顔クラスとを識別可能な状態に学習が行わ れており、識別用のハイパープレーンと入力値との距離 (ユークリッド距離等）により 両者の類似度を判定し、最も類似度の高!、20 X 20画素の領域画像を顔全体の画 像領域として検出する。顔全体の画像領域 200が検出されると、次に、上記第 1の実 施の形態と同様の方法により、顔全体の画像領域 200の上半分の画像領域 (左眼を 含む領域)を含む 10 X 20 (縦 X横)画素の探索領域 26を設定し、当該設定した探 索領域に対して 4 X 8 (縦 X横)画素のサーチウィンドウ 27により左眼領域のスキヤ- ングを行う。つまり、実際の画像においては、図 21 (b)に示すようになる。そして、スキ ャユングされた 4 X 8画素の計 32画素の画素値を 32次元の値として左眼領域検出用 SVMに入力する。左眼領域検出用 SVMでは、予め 32次元空間における左眼領域 クラスと非左眼領域クラスとを識別可能な状態に学習が行われており、識別用のハイ パープレーンと入力値との距離 (ユークリッド距離等）により両者の類似度を判定し、 最も類似度の高い 4 X 8画素の領域画像を左眼領域画像として検出する。更に、左 眼領域画像が検出されるとその位置情報 (座標情報)を取得し、次のフレームの検出 用画像に対してトラッキングモードへと移行する。 [0166] 眼領域検出部 33は、トラッキングモードに移行すると、次のフレームの検出用画像 に対して、上記第 1の実施の形態と同様の方法により、前のフレームで検出された左 眼領域画像の位置座標を中心に縦方向及び横方向に 5画素ずつ広げた 15 X 15画 素の探索領域 28を設定し、当該設定された探索領域に対して 4 X 8画素のサーチゥ インドウにより左眼領域のスキャニングを行う。実際の画像においては、図 21 (c)に示 すようになる。スキャニングされた 4 X 8画素の計 32画素の画素値は、上記検出モー ドと同様に左眼領域検出用 SVMに入力され、左眼領域の検出処理が行われる。な お、左眼領域が検出されると、本実施の形態においては、左眼領域の中心座標が特 徴量抽出部 34に伝送される。また、トラッキングモードにおいては、左眼領域の検出 が成功している間はこのモードを維持し、左眼領域の検出が失敗した場合は顔検出 モードへと移行する。
[0167] 特徴量抽出部 34は、左眼領域検出部 33から各フレームの検出用画像における左 眼領域の中心座標を取得すると、データ記憶部 31によって記憶された対応する撮影 画像から、前記取得した中心座標を中心に 4 X 8画素の左眼領域画像を切り出す。 そして切り出した各フレームの左眼領域画像に対して、 FFTなどにより分散フーリエ 変換処理を施し、その変換後の実部係数と、 1つ前のフレームの左眼領域画像の分 散フーリエ変換後の実部係数との差分値を特徴量として求める。なお、特徴量として は、他にも、左目領域画像をフーリエ変換した周波数スペクトル成分、左目領域画像 をフーリエ変換した周波数スペクトルに対する対数成分、左目領域画像をフーリエ変 換した周波数スペクトルに対しての前後のフレームとのフレーム間差分成分、左目領 域画像に対するメル 'ケプストラム (MFCC)成分、左目領域画像に対するフレーム内 モーメント成分、左目領域画像に対するフレーム間モーメント成分、左目領域画像を フーリエ変換した周波数スペクトルに対するフレーム内モーメント成分、左目領域画 像をフレーム変換した周波数スペクトルに対するフレーム間モーメント成分などや、こ れらの組合せなどがある。これらは、システムの構成などに応じて適切なものを用いる ようにする。
[0168] 本実施の形態において、求めた特徴量は、更に、上記第 1の実施の形態と同様に 、演算量削減及び識別に無用な情報の除去のために主成分分析によって次元削減 を行う。このような特徴量の抽出を 1フレーム毎に実施し、抽出した特徴量を、撮影し た順番に所定フレーム (例えば、 10フレーム)分を一組として、覚醒状態判定部 35に 伝送する。ここで、所定フレーム (例えば、 10フレーム)分を一組とすることで、まばた き 1回分の画像に対する特徴量を含ませるようにして 、る。
覚醒状態判定部 35は、特徴量抽出部 34から所定フレーム (例えば、 10フレーム） 一組の特徴量を取得すると、この特徴量を覚醒状態判定用の HMMに入力する。
[0169] ここで、図 22及び図 23に基づき、覚醒状態の判定に有効なまばたきの特性につい て説明する。まばたきの特性を識別するための要素として、図 22に示すように、 1回 のまばたきの筋電図波形における、振幅、瞼を開いた状態（図 22中の開始点）から 閉じ（図 22中の頂点）、そして再び開くまでにかかる時間（まばたきの速度）、振幅が 50%の位置におけるまばたき速度（図 22中の振幅 50%ウィンドウ持続時間）、瞼を 開いた状態（図 22中の開始点)から瞼が閉じるまでの時間（図 22中の閉瞼時間）、振 幅が 50%の位置から瞼が閉じるまでの時間（図 22中の下降時間）などがある。また、 生理学においては、まばたきに対する筋電図波形として、図 23に示すように、人間の 覚醒時の標準のまばたき波形である波形 0、標準波形 O以外の波形 A〜波形 L 、 つたように、様々なまばたき波形が確認されている。これらまばたき波形の中でも、特 に眠気のある状態 (以下、眠気状態という）を判断するのに代表的な波形は、波形 A 及び波形 Bであり、 1回 1回のまばたきの振幅及びまばたきの速度から、これら波形 A 及び波形 Bの判断を行い、これらの出現パターンや出現頻度などを解析することによ つて、対象者が覚醒状態にあるか否力を高精度に判定することが可能である。
[0170] 従って、本実施の形態においては、上記特徴量抽出部 34で抽出された特徴量を 入力とし、上記標準のまばたき波形 0、まばたき波形 A、まばたき波形 B、及びこれら 以外のまばたき波形 (波形 C〜L)の計 4種類の波形に対する尤度を出力とする覚醒 状態判定用の HMMを用意する。つまり、不特定多数の人の左眼に対する 1回のま ばたきに対応したまばたき映像 (動画像）に対して、まばたきの振幅や速度でラベル 付け (波形 0、 A、 B、これら以外の波形 (波形 C〜L)に分類)を行い、これらの映像か ら検出された左眼領域画像力 抽出された特徴量を学習データとして HMMによる 学習を行!ヽ、上記 4種類の波形の各波形をそれぞれ識別可能な 4種類の HMM (各 波形に 1対 1に対応した HMM)を生成する。
[0171] 覚醒状態判定部 35は、上記のようにして生成された 4種類の覚醒状態判定用の H MMに対して、特徴量抽出部 34から取得した所定フレーム (例えば、 10フレーム）一 組の特徴量をそれぞれ入力して、上記 4種類のまばたき波形にそれぞれ対応した H MMのいずれが最も高い尤度を出力するかを調べ、最も出力尤度が高力つたまばた き波形を、入力された特徴量に対する対象者の 1回のまばたきの波形として確定する
[0172] ここで、図 24〜図 26に基づき、覚醒状態判定用の HMMを用いて上記波形 0、 A 、 Bを識別することの有効性を説明する。図 24〜図 26は、実際に、被験者に電極を 右眼及び左眼の筋電位測定位置にそれぞれ付けてもらい、 1回のまばたきに対する 筋電位の変化を測定した際の筋電図の筋電位波形と、このときの被験者の撮影画像 力 1回のまばたきに対する左眼領域画像を本発明の手法を用いて検出し、当該検 出した左眼領域画像の 1回のまばたき分の特徴量を、上記 4種類の覚醒状態判定用 の HMMにそれぞれ入力し、これらの出力のうち最も尤度が高くなる HMMに対応し た波形とを示した図である。図 24〜図 26に示す画面は、いずれも検証用のアプリケ ーシヨンソフトの画面を図面化したものであり、画面の上部に表示されるまばたきの動 画 (左眼のみ）に合わせて、当該動画の下に右眼及び左眼の筋電位の測定波形 (筋 電図波形)が表示され、このまばたき動画に対して本発明を適用して識別した波形 O 、 A、 B、それ以外の波形の 4種類の波形のいずれかの識別結果の情報が画面右側 に表示される。図 24は、被験者が標準のまばたきに分類されるまばたきをしたときの 筋電図波形と、覚醒状態判定用の HMMによって識別された波形とが表示された画 面を示す図である力 このときのまばたきの映像力 抽出される特徴量に対して覚醒 状態判定用の HMMはその識別結果として、図 24の画面右側に示すように、波形 O (通常のまばたき波形)を表示しており、被験者のまばたき波形の種類を正確に識別 していることが解る。同様に、図 25、図 26は、眠気状態の判定において代表的なま ばたき波形である、波形 A及び波形 Bに分類されるまばたきを被験者がしたときの筋 電図波形と、このときのまばたきの映像力 抽出される特徴量に対して覚醒状態判定 用の HMMによって識別された波形とをそれぞれ示す図である力 これらに対しても 、覚醒状態判定用の HMMはその識別結果として、図 25及び図 26に示すように、波 形 A及び波形 Bをそれぞれ表示しており、被験者のまばたき波形の種類を正確に識 別していることが解る。
[0173] また、上記図 24〜図 26に示したようなまばたき波形の識別を、多くの被験者に対し て行ったところ、標準のまばたき (波形 O)に分類されるまばたきに対しては「99%」の 識別率が得られ、眠気状態の判定において代表的なまばたきである、波形 Aに分類 されるまばたきに対しては「84%」、波形 Bに分類されるまばたきに対しては「79%」 の識別率がそれぞれ得られた。
従って、覚醒状態判定用の HMMを用いて、筋電位測定のための電極などを装着 することなぐ撮影対象者に非接触で撮影対象者の左眼領域映像から 1回のまばた きに対するまばたき波形の識別を行うことは有効であると言える。
[0174] 更に、覚醒状態判定部 35は、まばたき波形の種類が確定すると、以前に確定され たまばたき波形と合わせて、各波形の出現パターンや出現頻度等を解析し、当該解 析結果に基づき対象者の覚醒状態 (覚醒して 、る状態、睡眠しかかって!/、る状態、 睡眠状態など)を判定する。本実施の形態においては、 1回 1回のまばたき波形の識 別結果を所定の時間単位でヒストグラム処理することにより、 4つのまばたきパターン の発生頻度変化を捉え、対象者の覚醒状態の推定を行う。具体的には、波形 A〜波 形 Lの発生頻度が高くなつてきた場合に覚醒状態が低くなつた (眠気が増した)と判 断する。また、生理学において、図 27に示すように、眠気が増してきたときにおいて まばたきの群発と言われる現象が起こることが知られている。このことから、本実施の 形態においては、識別された上記 4種類のまばたき波形の出現間隔を求め、まばた きが連続的に発生する頻度が高くなつた場合には、この状態も覚醒状態が低くなつ た (眠気が増した)と判断する。このようにして判定 (推定)された判定結果の情報は、 図示しない警報システムへと出力される。
[0175] 更に、図 28に基づき、眼領域検出部 33における左眼領域の検出処理の流れを説 明する。図 28は、眼領域検出部 33における左眼領域の検出処理を示すフローチヤ ートである。
図 28に示すように、まずステップ S 1100に移行し、画像処理部 32から検出用画像 を取得したか否かを判定し、取得したと判定された場合 (Yes)はステップ S1102に移 行し、そうでない場合 (No)は取得するまで待機する。
[0176] ステップ S1102に移行した場合は、検出モードに移行し、検出用画像における 20
X 20画素のサーチウィンドウによりスキャニングした領域に対して全体顔検出用 SV
Mを用いて識別処理を行 、ステップ S1104に移行する。
[0177] ステップ S1104では、ステップ S1102の識別処理により、顔全体の画像領域が検 出されたカゝ否かを判定し、検出されたと判定された場合 (Yes)はステップ S1106に移 行し、そうでな!/、場合 (No)はステップ S1130に移行する。
ステップ S1106に移行した場合は、上記検出された顔全体の領域画像における上 半分の領域を含む、 10 X 20画素の眼領域の探索領域を検出用画像に対して設定 しステップ S 1108に移行する。
[0178] ステップ S1108では、ステップ S 1106で設定された探索領域における 4 X 8画素の サーチウィンドウによりスキャニングした領域に対して左眼領域検出用 SVMを用いて 識別処理を行 、ステップ S 1110に移行する。
ステップ S1110では、ステップ S1108の識別により、左眼領域の検出に成功したか 否かを判定し、成功したと判定された場合 (Yes)はステップ S1112に移行し、そうでな
V、場合 (No)はステップ S 1130に移行する。
[0179] ステップ S1112に移行した場合は、ステップ S1110で検出された左眼領域の位置 情報を取得してステップ S 1114に移行する。
ステップ SI 114では、検出モードからトラッキングモードに設定を切り換えステップ
S1116に移行する。
[0180] ステップ S1116では、ステップ S 1110で左眼領域の検出された検出用画像の次フ レームの画像データを取得してステップ S 1118に移行する。
ステップ S1118では、一つ前のフレームの検出用画像における左眼領域の位置情 報に基づき、 15 X 15画素の左眼領域の探索領域を設定してステップ S1120に移行 する。
[0181] ステップ S1120では、ステップ S1118で設定された 15 X 15画素の探索領域にお ける 4 X 8画素のサーチウィンドウによりスキャニングした領域に対して左眼領域検出 用 S VMを用 、て識別処理を行 、ステップ S 1122に移行する。
ステップ S1122では、ステップ S 1120の識別により、左眼領域の検出に成功したか 否かを判定し、成功したと判定された場合 (Yes)はステップ S1124に移行し、そうでな V、場合 (No)はステップ S 1130に移行する。
ステップ S1124に移行した場合は、ステップ S1122で検出された左眼領域の位置情 報を取得してステップ S 1126に移行する。
[0182] ステップ S1126では、次のフレームの検出用画像があるか否かを判定し、あると判 定された場合 (Yes)はステップ S 1116に移行し、そうでな 、場合 (No)はステップ S 112 8に移行する。
ステップ S1128に移行した場合は、取得した位置情報を特徴量抽出部 34に伝送 してステップ S 1100に移行する。
[0183] また、ステップ S 1130に移行した場合は、次のフレームの検出用画像があるか否か を判定し、あると判定された場合 (Yes)はステップ S1132に移行し、そうでない場合
(No)はステップ S 1100に移行する。
ステップ S1132に移行した場合は、次フレームの検出用画像データを取得してス テツプ S1102に移行する。
[0184] 更に、図 29に基づき、特徴量抽出部 34における特徴量の抽出処理の流れを説明 する。図 29は、特徴量抽出部 34における特徴量の抽出処理を示すフローチャートで ある。
図 29に示すように、まずステップ S 1200に移行し、眼領域検出部 33から位置情報 を取得したか否かを判定し、取得したと判定された場合 (Yes)はステップ S 1202に移 行し、そうでない場合 (No)は取得するまで待機する。
[0185] ステップ S 1202に移行した場合は、データ記憶部 31に記憶された撮影画像力も上 記取得した位置情報に基づき左眼領域の画像を切り出してステップ S1204に移行 する。
ステップ S1204では、窓関数により、右眼や眉などの左眼以外の画像による影響を 少なくする処理を行 、ステップ S 1206に移行する。
[0186] ステップ S1206では、窓関数による処理後の画像に対して、分散フーリエ変換処 理を施し、左眼領域画像の振幅スペクトルを得てステップ S 1208に移行する。
ステップ S 1208では、ステップ S 1206で得られた振幅スペクトルと、一つ前のフレ ームの振幅スペクトルとにおける実部係数の差分を算出してステップ S1210に移行 する。
[0187] ステップ S1210では、ステップ S 1208で算出された実部係数の差分に対して主成 分分析を行 、、実部係数の次元数を削減して特徴量を生成しステップ S 1212に移 行する。
ステップ S1212では、上記生成した特徴量の所定フレーム（例えば、 10フレーム） 分を一組にして覚醒状態判定部 35に伝送してステップ S1200に移行する。
[0188] 更に、図 30に基づき、覚醒状態判定部 35における覚醒状態の判定処理の流れを 説明する。図 30は、覚醒状態判定部 35における覚醒状態の判定処理を示すフロー チャートである。
図 30に示すように、まずステップ S 1300に移行し、特徴量抽出部 34から特徴量を 取得したカゝ否かを判定し、取得したと判定された場合 (Yes)はステップ S 1302に移行 し、そうでな 、場合 (No)は取得するまで待機する。
[0189] ステップ S1302に移行した場合は、覚醒状態判定用 HMMである、上記 4種類の まばたき波形をそれぞれ識別する 4種類の HMMに上記取得した所定フレーム (例 えば、 10フレーム）一組の特徴量をそれぞれ入力して、これら 4種類の HMMの尤度 に基づく所定フレーム毎のまばたき波形の種類を判定してステップ S1304に移行す る。
ステップ S 1304では、ステップ S 1302の判定結果を、データ記憶部 31に判定順に 記憶してステップ S 1306に移行する。
[0190] ステップ S 1306では、データ記憶部 31に所定期間分の判定結果が蓄積されたか 否かを判定し、蓄積されたと判定された場合 (Yes)は、ステップ S 1308に移行し、そう でな 、場合 (No)は、ステップ S 1300に移行する。
ステップ S 1308に移行した場合は、所定期間の判定結果に基づき、覚醒状態を判 定してステップ S1310に移行する。ここで、覚醒状態の判定は、所定期間のまばたき 波形の判定結果に基づき、各波形パターンをヒストグラム処理して、各まばたき波形 パターンの発生頻度変化を求めることで判定する。例えば、通常のまばたき波形 o以 外の、睡眠状態の判定に重要な波形パターンの発生頻度が高い場合などは、対象 者が眠気に襲われていると判定する。また、判定精度を高めるために、更に、まばた き波形の群発を調べて、まばたき波形が連続的に出現する頻度が高くなつたときにも 、対象者が眠気に襲われていると判定する。
[0191] ステップ S1310では、ステップ S 1308で判定された結果を警報システムに伝送して 処理を終了する。
以上、本変形例における覚醒状態判定装置 2は、画像撮影部 30により、運転席に 座った撮影対象者の顔を含む画像を撮影することが可能であり、データ記憶部 31〖こ より、撮影対象者の複数種類のまばたき波形に対応した覚醒状態判定用の HMM、 撮影画像データなどを記憶することが可能であり、画像処理部 32により、撮影画像 データをサブ'サンプリングによりサイズを縮小した検出用画像を生成することが可能 であり、眼領域検出部 33により、全体顔検出用 SVM及び左眼領域検出用 SVMを 用いて検出用画像力 左眼領域を検出することが可能であり、特徴量抽出部 34によ り、検出された口唇領域の位置情報に基づき、元の撮影画像から左眼領域画像を切 り出し、当該切り出した左眼領域画像力 特徴量を抽出することが可能であり、覚醒 状態判定部 35により、覚醒状態判定用の HMMを用いて、まばたき波形の種類を判 定し、所定期間のまばたき波形の判定結果に基づき解析処理を行うことで対象者の 覚醒状態を判定することが可能である。なお、上記第 2の実施の形態では、撮影対 象者の左眼領域を検出し覚醒状態の判定を行う例を説明したが、撮影環境や適用 するシステムの種類などに応じて撮影対象者の右眼領域や両眼領域を検出して判 定を行うようにしても良い。
[0192] 上記実施の形態において、画像撮影部 30及びデータ記憶部 31による撮影対象者 の画像データの取得処理は、請求項 1、 2、 19、 22及び 26のいずれか 1に記載の画 像撮影手段に対応する。
また、上記実施の形態において、画像処理部 32及び眼領域検出部 33による撮影 画像からの左眼領域の検出処理は、請求項 2、 19、 22及び 26のいずれ力 1項に記 載の顔部位検出手段に対応する。 [0193] また、上記実施の形態において、眼領域検出部 33による位置情報の取得処理は、 請求項 4又は 23記載の位置関係情報取得手段に対応する。
また、上記実施の形態において、特徴量抽出部 34は、請求項 1、 2、 13、 14、 15、 16、 17、 19、 22及び 25のいずれか 1項に記載の特徴量抽出手段に対応する。 また、上記実施の形態において、覚醒状態判定部 35は、請求項 1、 2、 5、 13、 14 、 15、 16、 17、 18、 22、 23及び 25のいずれか 1項に記載の動作内容判定手段に 対応する。
[0194] なお、上記第 1の実施の形態及び上記第 1の実施の形態の変形例においては、撮 影画像から検出した口唇領域画像から、発話区間の検出、発話内容の検出を行って いるが、これに限らず、ガムを嚙んでいる状態や、欠伸をしている状態など他の動作 内容を判定するようにしても良 ヽ。
また、上記第 1の実施の形態又は上記第 1の実施の形態の変形例における発話区 間検出装置 1の機能と、上記第 2の実施の形態における覚醒状態判定装置 2の機能 とを組み合わせて、まばたきだけでなぐ欠伸などの動作内容も判定し、より精度良く 覚醒状態の判定を行える構成としても良い。これにより、この判定結果に応じて、乗 物の運転手に対して音による警告を与える等の安全運転の支援をより適格に行うこと が可能となる。
[0195] また、上記第 1及び第 2の実施の形態においては、撮影画像から口唇領域画像を 検出して、口唇の動きに関連した動作内容 (発話区間)の判定と、撮影画像から眼の 画像を検出して、眼の動きに関連した動作内容 (居眠り等)の判定を行っているが、こ れに限らず、その他の顔を構成する鼻や眉等の部位の画像を検出し、これらの動き に関連した動作内容を判定するようにしても良 、。
[0196] また、上記第 2の実施の形態においては、上記第 1の実施の形態の変形例のように 対象者の顔向き方向を考慮していないが、これに限らず、対象者の顔向き方向を考 慮し、各顔向き方向に対応した覚醒状態判定用の HMMを用意し、顔向き方向を判 定して、これら HMM力 判定された顔向き方向に対応した HMMを選択し、当該選 択した HMMを用いて、対象者のまばたき波形の種類判定を行う構成としても良!、。 これにより、より高精度にまばたき波形の種類を判定することが可能となる。 産業上の利用の可能性
[0197] 以上説明したように、本発明に係る請求項 1記載の動作内容判定装置によれば、 公知の HMMを用いることにより、時間的概念を伴う所定部位の動きに関連した動作 内容を判定することができるので、より高精度に前記動作内容の判定を行うことが可 能である。
また、請求項 2記載の動作内容判定装置によれば、 SVMを用いて上記所定部位 を検出するため、様々な撮影画像中からの所定部位の高精度な検出が可能であり、 また、動作内容の判定に公知の HMMを用いることにより、時間的概念を伴う所定部 位の動きに関連した動作内容を判定することができるので、より高精度に前記動作内 容の判定を行うことが可能である。
[0198] また、請求項 3記載の動作内容判定装置によれば、請求項 1又は請求項 2の前記 効果に加え、顔の向きに応じて検出する所定部位の画像領域のサイズを変更するこ とで、不要な部分の画像に対して特徴量の抽出処理を行う必要が無くなるので抽出 処理の速度を向上することが可能となる。
また、請求項 4記載の動作内容判定装置によれば、請求項 1乃至請求項 3のいず れか 1の前記効果に加え、様々な顔の向きに応じて形状が変化する所定部位の画 像における、当該様々な顔の向きに応じた特徴量から、より正確に所定部位の動き に関連する動作内容を判定することが可能である。
[0199] また、請求項 5記載の動作内容判定装置によれば、請求項 1乃至請求項 4のいず れカ 1の前記効果に加え、動作内容の判定処理の時間解像度を向上させることが可 能となる。
また、請求項 6記載の動作内容判定装置によれば、請求項 1乃至請求項 5のいず れカ 1の前記効果に加え、対象者の発話、欠伸、ガムを嚙む等の動作内容を判定す ることが可能である。
[0200] また、請求項 7記載の動作内容判定装置によれば、請求項 6の前記効果に加え、 H MMによる発話状態である力否かの判別結果に基づいて別途に対象者の発話開始 点を判定するので、発話区間を精度良く判定することが可能である。
また、請求項 8及び請求項 9記載の動作内容判定装置によれば、請求項 7の前記 効果に加え、 HMMの出力が、例えば、発話 Z非発話の繰り返しといったように、現 実的にあり得ないようなもの (異常な状態）となったときにおいても、より正確に発話開 始点を判定することが可能である。
[0201] また、請求項 10記載の動作内容判定装置によれば、請求項 6乃至請求項 9のいず れカ 1の前記効果に加え、 HMMによる発話状態である力否かの判別結果に基づい て別途に対象者の発話終了点を判定するので、発話区間を精度良く判定することが 可能である。
また、請求項 11及び請求項 12記載の動作内容判定装置によれば、請求項 6乃至 請求項 10のいずれか 1の前記効果に加え、例えば、発話 Z非発話の繰り返しといつ たように、現実的にあり得ないようなもの（異常な状態）となったときにおいても、より正 確に発話終了点を判定することが可能である。
[0202] また、請求項 13記載の動作内容判定装置によれば、請求項 1乃至請求項 12のい ずれ力 1の前記効果に加え、居眠り等の動作内容を判定することが可能である。 また、請求項 14記載の動作内容判定装置によれば、請求項 13の前記効果に加え 、例えば、まばたきの速度や、まばたき時のまぶたの閉じ加減等の対象者のまばたき の種類を精度良く判定することが可能である。
[0203] また、請求項 15記載の動作内容判定装置によれば、請求項 13の前記効果に加え 、まばたき時の眼の状況を、例えば、筋肉の筋電位波形として表現した際の、まばた きの開始力も終了までの速度 (筋電位の変化時間）と、まばたき時のまぶたの閉じカロ 減を示す振幅の種類を精度良く判定することが可能である。
また、請求項 16記載の動作内容判定装置によれば、請求項 13の前記効果に加え 、例えば、まばたきの速度や、まばたき時のまぶたの閉じ加減等力 分類される対象 者のまばたきの種類から、うつろな状態、居眠りをしている状態などの対象者の覚醒 状態を精度良く判定することが可能である。
[0204] また、請求項 17記載の動作内容判定装置によれば、請求項 13の前記効果に加え 、特定種類のまばたきに対する HMMを生成すれば良ぐまた、特定種類の HMMを 用いて判定処理を行えば良 、ので、 HMMに必要なメモリ容量の軽減や判定処理の 高速ィ匕等が可能である。 また、請求項 18記載の動作内容判定装置によれば、請求項 17の前記効果に加え 、特定種類のまばたきの発生頻度、特定種類のまばたきの群発などの所定時間内に おける特定種類のまばたきの発生頻度の変化に基づいて、高精度の覚醒状態の判 定を行うことが可能である。
[0205] また、請求項 19記載の動作内容判定装置によれば、 HMMを用いることにより、時 間的概念を伴う発話動作の状態を判定することができるので、音声情報が無くても口 唇の動き力 高精度に発話内容の判定を行うことが可能である。
また、請求項 20記載のカーナビゲーシヨンシステムによれば、カーステレオから流 れる音楽、ロードノイズ、風切り音、エンジン音等の雑音のある環境下において、対象 者の発話内容をより正確に認識でき、且つ、その認識結果により目的地までの経路 探索や経路案内等の所定の動作を行うことが可能である。
[0206] また、請求項 21記載の警報システムによれば、例えば、対象者が自動車の運転手 である場合に、運転手が眠気に襲われたているような状態を判定し、警告音等により 警告を与えるようにすることで、居眠り運転等を防ぐことが可能である。
また、請求項 22記載の動作内容判定プログラムによれば、請求項 2の動作内容判 定装置と同等の効果が得られる。
[0207] また、請求項 23記載の動作内容判定プログラムによれば、請求項 4の動作内容判 定装置と同等の効果が得られる。
また、請求項 24記載の動作内容判定プログラムによれば、請求項 6の動作内容判 定装置と同等の効果が得られる。
また、請求項 25記載の動作内容判定プログラムによれば、請求項 13の動作内容 判定装置と同等の効果が得られる。
[0208] また、請求項 26記載の動作内容判定方法によれば、請求項 2の動作内容判定装 置と同等の効果が得られる。
また、請求項 27記載の動作内容判定方法によれば、請求項 4の動作内容判定装 置と同等の効果が得られる。
また、請求項 28記載の動作内容判定方法によれば、請求項 6の動作内容判定装 置と同等の効果が得られる。 また、請求項 29記載の動作内容判定方法によれば、請求項 13の動作内容判定装 置と同等の効果が得られる。

Claims

請求の範囲
[1] 対象者の顔を構成する所定部位を含む撮影画像に基づき、前記対象者の動作内 容を判定する動作内容判定装置であって、
前記所定部位を含む画像を撮影する画像撮影手段と、
前記画像撮影手段の撮影画像に基づき、前記所定部位の画像における特徴量を 抽出する特徴量抽出手段と、
前記所定部位の画像から抽出される特徴量を入力とし、前記所定部位の動きに関 連する所定動作内容に対する尤度を出力とする HMM (Hidden MarkovModel)と、 前記特徴量抽出手段によって抽出した特徴量及び前記 HMMを用いて前記特徴 量に対する前記尤度を算出し、当該算出結果に基づき前記対象者の前記所定部位 の動きに関連する動作内容を判定する動作内容判定手段と、を備えることを特徴と する動作内容判定装置。
[2] 対象者の顔を構成する所定部位を含む撮影画像に基づき、前記対象者の動作内 容を判定する動作内容判定装置であって、
前記所定部位を含む画像を撮影する画像撮影手段と、
前記画像撮影手段の撮影画像に基づき、 SVM (Support Vector Machine)を用い て前記撮影画像中から前記対象者の顔を構成する所定部位を検出する顔部位検出 手段と、
前記顔部位検出手段の検出結果に基づき前記所定部位の画像における特徴量を 抽出する特徴量抽出手段と、
前記所定部位力 抽出される特徴量を入力とし、前記所定部位の動きに関連する 動作内容に対する尤度を出力とする HMM (Hidden Markov Model)と、
前記特徴量抽出手段によって抽出した特徴量及び前記 HMM (Hidden Markov Model)を用いて前記特徴量に対する前記尤度を算出し、当該算出結果に基づき前 記対象者の前記所定部位の動きに関連する動作内容を判定する動作内容判定手 段と、を備えることを特徴とする動作内容判定装置。
[3] 前記顔部位検出手段は、前記撮影画像における前記対象者の複数方向の顔の向 き毎に前記所定部位として検出する画像領域のサイズを、それぞれの方向に応じて 変更することを特徴とする請求項 2記載の動作内容判定装置。
[4] 前記画像撮影手段は、前記対象者の顔全体を含む画像部分を撮影し、
前記顔全体を含む画像部分と前記所定部位の画像との位置関係情報を取得する 位置関係情報取得手段と、
前記位置関係情報に基づき前記対象者の顔の向きを判定する顔向判定手段と、 を備え、
前記 HMMは、複数方向の前記顔の向き毎に生成された当該複数方向にそれぞ れ対応したものを含み、
前記動作内容判定手段は、前記顔向判定手段の判定結果に基づき、前記複数の HMM力 前記判定結果の顔の向きに対応した HMMを選択し、前記特徴量抽出 手段によって抽出した特徴量及び前記選択した HMMを用いて、当該特徴量に対 する当該選択した HMMの尤度を算出し、当該算出結果に基づき前記対象者の前 記所定部位の動きに関連する動作内容を判定することを特徴とする請求項 1乃至請 求項 3のいずれか 1項に記載の動作内容判定装置。
[5] 前記動作内容判定手段は、連続する前記撮影画像の所定数のフレーム毎に対応 する各フレームの前記特徴量を一組として前記 HMMに入力し、更に、一つ前に前 記 HMMへの入力を開始した前記特徴量の一組に対して、これに続く次の前記特徴 量の一組の入力を、前記一つ前の一組と前記次の一組とのフレームが一部重複する ように、前記一つ前の一 の最初のフレームの入力に対して所定フレームずらして入 力を開始することを特徴とする請求項 1乃至請求項 4のいずれか 1項に記載の動作 内容判定装置。
[6] 前記所定部位の画像は、前記前記対象者の口唇部分の画像を含み、
前記特徴量抽出手段は、前記口唇部分の画像に基づき当該口唇部分の画像にお ける特徴量を抽出し、
前記 HMMは、前記口唇部分の画像から抽出される特徴量を入力とし、前記口唇 部分の動きに関連する所定動作内容に対する尤度を出力とする口唇状態判定用 H
MMを含み、
前記動作内容判定手段は、前記口唇部分の特徴量及び前記口唇状態判定用 H MMを用いて当該特徴量に対する前記尤度を算出し、当該算出結果に基づき前記 対象者の口唇の動きに関連する動作内容を判定することを特徴とする請求項 1乃至 請求項 5のいずれか 1項に記載の動作内容判定装置。
[7] 前記口唇状態判定用 HMMは、前記対象者の発話状態及び非発話状態の少なく とも一方に対する尤度を出力するようになっており、
前記動作内容判定手段は、前記口唇状態判定用 HMMによって前記撮影画像の フレーム毎に前記対象者が発話状態である力否かを判別するようになっており、 前記判別結果に基づき、前記対象者が発話を開始した時点に対応する前記口唇 状態判定用 HMMの出力を示す発話開始点を判定する発話開始点判定手段を備 え、
前記動作内容判定手段は、前記発話開始点判定手段の判定結果に基づき前記 対象者の発話開始から発話終了までの発話区間を判定することを特徴とする請求項 6記載の動作内容判定装置。
[8] 前記発話開始点判定手段は、前記判別結果が 1フレーム目から n (nは整数且つ n ≥ 2)フレーム目まで連続で発話を示す状態となったときに、前記 1フレーム目を発話 開始点の候補に設定し、前記判別結果力 ¾フレーム目力 更に m(mは整数且つ m ≥ 3)フレーム連続で発話を示す状態となったときに、前記 1フレーム目を発話開始点 と判定することを特徴とする請求項 7記載の動作内容判定装置。
[9] 前記発話開始点判定手段は、前記 nフレーム目力 k (kは整数且つ k≤m)フレー ム以内において、前記判別結果が非発話を示す状態となり、且つ、 n+kフレーム目 から更に p (pは整数且つ p≥ 10)フレーム連続で前記判別結果が非発話を示す状態 となったときに、前記 1フレーム目を発話開始点の候補力 外し、一方、前記 n+kフ レーム目から r (rは整数且つ r < p)フレーム以内にお 、て再び前記判別結果が発話 を示す状態となったときに、前記 1フレーム目を発話開始点として判定することを特徴 とする請求項 8記載の動作内容判定装置。
[10] 前記口唇状態判定用 HMMは、前記対象者の発話状態及び非発話状態の少なく とも一方に対する尤度を出力し、
前記動作内容判定手段は、前記口唇状態判定用 HMMによって前記撮影画像の フレーム毎に前記対象者が発話状態である力否かを判別し、
前記判別結果に基づき、前記対象者が発話を終了した時点に対応する前記口唇 状態判定用 HMMの出力を示す発話終了点を判定する発話終了点判定手段を備 え、
前記動作内容判定手段は、前記発話終了点判定手段の判定結果に基づき前記 対象者の発話開始から発話終了までの発話区間を判定することを特徴とする請求項 6乃至請求項 9のいずれか 1項に記載の動作内容判定装置。
[11] 発話終了点判定手段は、前記判別結果が w(wは整数且つ w≥20)フレーム連続 で非発話を示す状態となったときに当該 wフレームにおける最初のフレームを発話終 了点として判定することを特徴とする請求項 10記載の動作内容判定装置。
[12] 前記発話終了点判定手段は、前記非発話を示す状態が連続して X (Xは整数且つ 6≤x<w)フレーム続いたときに、 x+ 1フレーム以降の非発話を示す状態のカウント にお ヽて、前記判別結果が単発で発話を示す状態及び 2フレーム連続して発話を示 す状態のいずれか一方になっても wフレーム目までの前記カウントを継続し、一方、 3 フレーム連続して発話を示す状態が続いたときには前記カウントをクリアすることを特 徴とする請求項 11記載の動作内容判定装置。
[13] 前記所定部位の画像は、前記対象者の眼部分の画像を含み、
前記特徴量抽出手段は、前記眼部分の検出結果に基づき当該眼部分の画像にお ける特徴量を抽出し、
前記 HMMは、前記眼部分の画像から抽出される特徴量を入力とし、前記眼部分 の動きに関連する動作内容に対する尤度を出力とする眼状態判定用 HMMを含み、 前記動作内容判定手段は、前記特徴量抽出手段によって抽出した眼部分の特徴 量及び前記眼状態判定用 HMMを用いて当該特徴量に対する前記尤度を算出し、 当該算出結果に基づき前記対象者の前記眼部分の動きに関連する動作内容を判 定することを特徴とする請求項 1乃至請求項 12のいずれか 1項に記載の動作内容判 定装置。
[14] 前記眼状態判定用 HMMは、前記眼部分の複数フレームの検出画像から抽出さ れる特徴量の入力に対して、前記対象者のまばたきの種類に対する尤度を出力し、 前記動作内容判定手段は、前記特徴量抽出手段によって抽出した複数フレームの 眼部分の検出画像の特徴量及び前記眼状態判定用 HMMを用いて当該特徴量に 対する前記尤度を算出し、当該算出結果に基づき前記対象者のまばたきの種類を 判定することを特徴とする請求項 13記載の動作内容判定装置。
[15] 前記眼状態判定用 HMMは、前記眼部分の複数フレームの検出画像から抽出さ れる特徴量の入力に対して、前記対象者のまばたきの速度と振幅の種類に対する尤 度を出力し、
前記動作内容判定手段は、前記特徴量抽出手段によって抽出した複数フレームの 眼部分の検出画像の特徴量及び前記眼状態判定用 HMMを用いて当該特徴量に 対する前記尤度を算出し、当該算出結果に基づき前記対象者のまばたきの速度と振 幅の種類を判定することを特徴とする請求項 13記載の動作内容判定装置。
[16] 前記眼状態判定用 HMMは、前記眼部分の複数フレームの検出画像に対する特 徴量の入力に対して前記対象者のまばたきの種類に対する尤度を出力し、
前記動作内容判定手段は、前記特徴量抽出手段によって抽出した複数フレームの 眼部分の検出画像の特徴量及び前記眼状態判定用 HMMを用いて当該特徴量に 対する前記尤度を算出し、当該算出結果に基づき前記対象者の覚醒状態を判定す ることを特徴とする請求項 13記載の動作内容判定装置。
[17] 前記眼状態判定用 HMMは、前記眼部分の複数フレームの検出画像に対する特 徴量の入力に対して特定種類のまばたきに対する尤度を出力し、
前記動作内容判定手段は、前記特徴量抽出手段によって抽出した複数フレームの 眼部分の検出画像の特徴量及び前記眼状態判定用 HMMを用いて当該特徴量に 対する前記特定の性質を有したまばたきの種類に対する尤度を算出し、当該算出結 果に基づき前記対象者の覚醒状態を判定することを特徴とする請求項 13記載の動 作内容判定装置。
[18] 前記動作内容判定手段は、所定時間内における前記特定種類のまばたきのそれ ぞれの発生頻度の変化に基づき、前記対象者の覚醒状態を判定することを特徴とす る請求項 17記載の動作内容判定装置。
[19] 対象者の顔を構成する所定部位を含む画像を撮影する画像撮影手段と、 前記撮影画像から前記対象者の口唇部分の画像を検出する顔部位検出手段と、 前記顔部位検出手段によって検出された前記口唇部分の画像に基づき当該口唇 部分の画像における特徴量を抽出する特徴量抽出手段と、
前記口唇部分の画像から抽出される特徴量を入力とし、前記口唇部分の動きに関 連する発話内容に対する尤度を出力とする発話内容判定用 HMM (HiddenMarkov
Model)と、
前記特徴量抽出手段によって抽出した特徴量及び前記発話内容判定用 HMMを 用いて当該特徴量に対する前記尤度を算出し、当該算出結果に基づき前記対象者 の発話内容を判定する発話内容判定手段と、を備えることを特徴とする発話内容判 定装置。
[20] 請求項 6乃至請求項 12のいずれか 1項に記載の動作内容判定装置と、当該動作 内容判定装置による口唇の動きに関連した動作内容の判定結果に基づき音声認識 処理を行う音声認識手段と、当該音声認識手段の認識結果に基づき所定の動作処 理を行う動作処理手段と、を備えることを特徴とするカーナビゲーシヨンシステム。
[21] 請求項 16乃至請求項 18のいずれか 1項に記載の動作内容判定装置と、前記覚醒 状態の判定結果を表示又は警報通知する通知手段と、を備えることを特徴とする警 報システム。
[22] 対象者の顔を構成する所定部位を含む撮影画像に基づき、前記対象者の動作内 容を判定する動作内容判定プログラムであって、
前記所定部位を含む画像を撮影する画像撮影手段と、
前記画像撮影手段の撮影画像に基づき、 SVM (Support Vector Machine)を用い て前記撮影画像中から前記対象者の顔を構成する所定部位を検出する顔部位検出 手段と、
前記顔部位検出手段の検出結果に基づき前記所定部位の画像における特徴量を 抽出する特徴量抽出手段と、
前記特徴量抽出手段によって抽出した特徴量及び前記所定部位から抽出される 特徴量を入力とし、前記所定部位の動きに関連する動作内容に対する尤度を出力と する HMM (HiddenMarkov Model)を用いて前記特徴量に対する前記尤度を算出し 、当該算出結果に基づき前記対象者の前記所定部位の動きに関連する動作内容を 判定する動作内容判定手段として実現される処理をコンピュータに実行させるための プログラムであることを特徴とする動作内容判定プログラム。
[23] 前記画像撮影手段は、前記対象者の顔全体を含む画像を撮影し、
前記顔全体を含む画像部分と前記所定部位の画像との位置関係情報を取得する 位置関係情報取得手段と、
前記位置関係情報に基づき前記対象者の顔の向きを判定する顔向判定手段とし て実現される処理をコンピュータに実行させるためのプログラムを更に含み、 前記動作内容判定手段は、前記顔向判定手段の判定結果に基づき、複数方向の 前記顔の向き毎に生成された当該複数方向にそれぞれ対応した HMMから前記判 定結果の顔の向きに対応した HMMを選択し、前記特徴量抽出ステップにおいて抽 出した特徴量及び前記選択した HMMを用いて、当該特徴量に対する当該選択し た HMMの尤度を算出し、当該算出結果に基づき前記対象者の前記所定部位の動 きに関連する動作内容を判定することを特徴とする請求項 22記載の動作内容判定 プログラム。
[24] 前記所定部位の画像は、前記対象者の口唇部分の画像を含み、
前記特徴量抽出手段は、前記口唇部分の画像に基づき当該口唇部分の画像にお ける特徴量を抽出し、
前記動作内容判定手段は、前記口唇部分の特徴量及び前記口唇部分の画像から 抽出される特徴量を入力とし、前記口唇部分の動きに関連する所定動作内容に対す る尤度を出力とする口唇状態判定用 HMMを用いて当該特徴量に対する前記尤度 を算出し、当該算出結果に基づき前記対象者の口唇の動きに関連する動作内容を 判定することを特徴とする請求項 22又は請求項 23記載の動作内容判定プログラム。
[25] 前記所定部位の画像は、前記対象者の眼部分の画像を含み、
前記特徴量抽出手段は、前記眼部分の検出結果に基づき当該眼部分の画像にお ける特徴量を抽出し、
前記動作内容判定手段は、前記特徴量抽出手段によって抽出した眼部分の特徴 量及び前記眼部分の画像力 抽出される特徴量を入力とし、前記眼部分の動きに関 連する動作内容に対する尤度を出力とする眼状態判定用 HMMを用いて当該特徴 量に対する前記尤度を算出し、当該算出結果に基づき前記対象者の前記眼部分の 動きに関連する動作内容を判定することを特徴とする請求項 22乃至請求項 24のい ずれ力 1項に記載の動作内容判定プログラム。
[26] 対象者の顔を構成する所定部位を含む撮影画像に基づき、前記対象者の動作内 容を判定するための動作内容判定方法であって、
前記所定部位を含む画像を撮影する画像撮影ステップと、
前記画像撮影手段の撮影画像に基づき、 SVM (Support Vector Machine)を用い て前記撮影画像中から前記対象者の顔を構成する所定部位を検出する顔部位検出 ステップと、
前記顔部位検出手段の検出結果に基づき前記所定部位の画像における特徴量を 抽出する特徴量抽出ステップと、
前記特徴量抽出ステップにおいて抽出した特徴量及び前記所定部位から抽出さ れる特徴量を入力とし、前記所定部位の動きに関連する動作内容に対する尤度を出 力とする HMM (HiddenMarkov Model)を用いて前記特徴量に対する前記尤度を算 出し、当該算出結果に基づき前記対象者の前記所定部位の動きに関連する動作内 容を判定する動作内容判定ステップと、を含むことを特徴とする動作内容判定方法。
[27] 前記画像撮影手段は、前記対象者の顔全体を含む画像を撮影し、
前記顔全体を含む画像部分と前記所定部位の画像との位置関係情報を取得する 位置関係情報取得ステップと、
前記位置関係情報に基づき前記対象者の顔の向きを判定する顔向判定ステップと 、を更に含み、
前記動作内容判定ステップにお!、ては、前記顔向判定ステップにおける判定結果 に基づき、複数方向の前記顔の向き毎に生成された当該複数方向にそれぞれ対応 した HMM力 前記判定結果の顔の向きに対応した HMMを選択し、前記特徴量抽 出ステップにお ヽて抽出した特徴量及び前記選択した HMMを用いて、当該特徴量 に対する当該選択した HMMの尤度を算出し、当該算出結果に基づき前記対象者 の前記所定部位の動きに関連する動作内容を判定することを特徴とする請求項 26 記載の動作内容判定方法。
[28] 前記所定部位の画像は、前記対象者の口唇部分の画像を含み、
前記特徴量抽出ステップにお 、ては、前記口唇部分の画像に基づき当該口唇部 分の画像における特徴量を抽出し、
前記動作内容判定ステップにお!、ては、前記口唇部分の特徴量及び前記口唇部 分の画像から抽出される特徴量を入力とし、前記口唇部分の動きに関連する所定動 作内容に対する尤度を出力とする口唇状態判定用 HMMを用いて当該特徴量に対 する前記尤度を算出し、当該算出結果に基づき前記対象者の口唇の動きに関連す る動作内容を判定することを特徴とする請求項 26又は請求項 27記載の動作内容判 定方法。
[29] 前記所定部位の画像は、前記対象者の眼部分の画像を含み、
前記特徴量抽出ステップにおいては、前記眼部分の検出結果に基づき当該眼部 分の画像における特徴量を抽出し、
前記 HMMは、を含み、
前記動作内容判定ステップにお 、ては、前記特徴量抽出ステップにお 、て抽出し た眼部分の特徴量及び前記眼部分の画像から抽出される特徴量を入力とし、前記 眼部分の動きに関連する動作内容に対する尤度を出力とする眼状態判定用 HMM を用いて当該特徴量に対する前記尤度を算出し、当該算出結果に基づき前記対象 者の前記眼部分の動きに関連する動作内容を判定することを特徴とする請求項 26 乃至請求項 28のいずれか 1項に記載の動作内容判定方法。
PCT/JP2005/009376 2004-05-21 2005-05-23 動作内容判定装置 WO2005114576A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP05741463.3A EP1748387B1 (en) 2004-05-21 2005-05-23 Devices for classifying the arousal state of the eyes of a driver, corresponding method and computer readable storage medium
JP2006513753A JP4286860B2 (ja) 2004-05-21 2005-05-23 動作内容判定装置
US11/596,258 US7894637B2 (en) 2004-05-21 2005-05-23 Device, program, and method for classifying behavior content of an object person

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-151579 2004-05-21
JP2004151579 2004-05-21

Publications (1)

Publication Number Publication Date
WO2005114576A1 true WO2005114576A1 (ja) 2005-12-01

Family

ID=35428570

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/009376 WO2005114576A1 (ja) 2004-05-21 2005-05-23 動作内容判定装置

Country Status (4)

Country Link
US (1) US7894637B2 (ja)
EP (1) EP1748387B1 (ja)
JP (1) JP4286860B2 (ja)
WO (1) WO2005114576A1 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007236488A (ja) * 2006-03-06 2007-09-20 Toyota Motor Corp 覚醒度推定装置及びシステム並びに方法
JP2008171107A (ja) * 2007-01-10 2008-07-24 Matsushita Electric Ind Co Ltd 顔状況判定処理装置および撮像装置
WO2008088070A1 (ja) 2007-01-19 2008-07-24 Asahi Kasei Kabushiki Kaisha 覚醒状態判定モデル生成装置、覚醒状態判定装置及び警告装置
JP2008171108A (ja) * 2007-01-10 2008-07-24 Matsushita Electric Ind Co Ltd 顔状況判定処理装置および撮像装置
JP2009279099A (ja) * 2008-05-20 2009-12-03 Asahi Kasei Corp 瞬目種別識別装置、瞬目種別識別方法、及び瞬目種別識別プログラム
JP2010074399A (ja) * 2008-09-17 2010-04-02 Sony Corp 構図判定装置、構図判定方法、画像処理装置、画像処理方法、プログラム
CN102837702A (zh) * 2011-06-24 2012-12-26 株式会社普利司通 路面状态判断方法及路面状态判断装置
JP2014092931A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像表示装置並びに情報入力装置
CN104269172A (zh) * 2014-07-31 2015-01-07 广东美的制冷设备有限公司 基于视频定位的语音控制方法和系统
CN107123423A (zh) * 2017-06-07 2017-09-01 微鲸科技有限公司 语音拾取装置及多媒体设备
US10264210B2 (en) 2015-08-03 2019-04-16 Ricoh Company, Ltd. Video processing apparatus, method, and system
WO2019171452A1 (ja) * 2018-03-06 2019-09-12 三菱電機株式会社 運転支援装置、運転支援方法及び運転支援装置を備えた運転支援システム
JP2020091848A (ja) * 2018-12-04 2020-06-11 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 映像処理方法及び装置
WO2021114224A1 (zh) * 2019-12-13 2021-06-17 华为技术有限公司 语音检测方法、预测模型的训练方法、装置、设备及介质
JP2021120820A (ja) * 2020-01-30 2021-08-19 富士通株式会社 計算プログラム、計算方法及び計算装置
US20220415003A1 (en) * 2021-06-27 2022-12-29 Realtek Semiconductor Corp. Video processing method and associated system on chip
WO2023032283A1 (ja) * 2021-09-02 2023-03-09 株式会社トランストロン 通報装置、通報方法及び通報プログラム

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE395346T1 (de) * 2003-09-16 2008-05-15 Astrazeneca Ab Chinazolinderivate als tyrosinkinaseinhibitoren
JP2007318438A (ja) * 2006-05-25 2007-12-06 Yamaha Corp 音声状況データ生成装置、音声状況可視化装置、音声状況データ編集装置、音声データ再生装置、および音声通信システム
JP4137969B2 (ja) * 2006-12-04 2008-08-20 アイシン精機株式会社 眼部検出装置、眼部検出方法及びプログラム
JP4895847B2 (ja) * 2007-02-08 2012-03-14 アイシン精機株式会社 瞼検出装置及びプログラム
KR100795160B1 (ko) * 2007-03-22 2008-01-16 주식회사 아트닉스 얼굴영역검출장치 및 검출방법
JP4891144B2 (ja) * 2007-05-08 2012-03-07 キヤノン株式会社 画像検索装置及び画像検索方法
JP4375448B2 (ja) * 2007-06-26 2009-12-02 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP4458173B2 (ja) * 2008-03-19 2010-04-28 カシオ計算機株式会社 画像記録方法、画像記録装置、およびプログラム
US20100005169A1 (en) * 2008-07-03 2010-01-07 Von Hilgers Philipp Method and Device for Tracking Interactions of a User with an Electronic Document
US9020816B2 (en) * 2008-08-14 2015-04-28 21Ct, Inc. Hidden markov model for speech processing with training method
US20100074557A1 (en) * 2008-09-25 2010-03-25 Sanyo Electric Co., Ltd. Image Processing Device And Electronic Appliance
KR101179497B1 (ko) * 2008-12-22 2012-09-07 한국전자통신연구원 얼굴 검출 방법 및 장치
JP2010165052A (ja) * 2009-01-13 2010-07-29 Canon Inc 画像処理装置及び画像処理方法
JP5270415B2 (ja) * 2009-03-19 2013-08-21 トヨタ自動車株式会社 眠気判定装置及びプログラム
JP5257514B2 (ja) * 2009-05-12 2013-08-07 トヨタ自動車株式会社 視認領域推定装置および運転支援装置
CN102460469A (zh) * 2009-06-12 2012-05-16 皇家飞利浦电子股份有限公司 用于生物识别的系统和方法
CN102404510B (zh) 2009-06-16 2015-07-01 英特尔公司 手持装置中的摄像机应用
US8745250B2 (en) * 2009-06-30 2014-06-03 Intel Corporation Multimodal proximity detection
JP2011053915A (ja) * 2009-09-02 2011-03-17 Sony Corp 画像処理装置、画像処理方法、プログラム及び電子機器
JP5476955B2 (ja) * 2009-12-04 2014-04-23 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP5249273B2 (ja) * 2010-03-25 2013-07-31 パナソニック株式会社 生体情報計測システム
JP2012003326A (ja) * 2010-06-14 2012-01-05 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2012068948A (ja) * 2010-09-24 2012-04-05 Renesas Electronics Corp 顔属性推定装置およびその方法
WO2012053311A1 (ja) * 2010-10-22 2012-04-26 Ｎｅｃソフト株式会社 属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システム
TW201226245A (en) * 2010-12-31 2012-07-01 Altek Corp Vehicle apparatus control system and method thereof
US20140093142A1 (en) * 2011-05-24 2014-04-03 Nec Corporation Information processing apparatus, information processing method, and information processing program
JP5914992B2 (ja) * 2011-06-02 2016-05-11 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US9094539B1 (en) * 2011-09-22 2015-07-28 Amazon Technologies, Inc. Dynamic device adjustments based on determined user sleep state
JP5836095B2 (ja) * 2011-12-05 2015-12-24 キヤノン株式会社 画像処理装置、画像処理方法
US20130188825A1 (en) * 2012-01-19 2013-07-25 Utechzone Co., Ltd. Image recognition-based startup method
US20130243077A1 (en) * 2012-03-13 2013-09-19 Canon Kabushiki Kaisha Method and apparatus for processing moving image information, and method and apparatus for identifying moving image pattern
JP5649601B2 (ja) * 2012-03-14 2015-01-07 株式会社東芝 照合装置、方法及びプログラム
BR112015002920A2 (pt) * 2012-08-10 2017-08-08 Honda Access Kk método e dispositivo de reconhecimento de fala
JP6181925B2 (ja) * 2012-12-12 2017-08-16 キヤノン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
DE102014100364B4 (de) * 2013-01-18 2020-08-13 Carnegie Mellon University Verfahren zum Bestimmen, ob eine Augen-abseits-der-Straße-Bedingung vorliegt
US20140229568A1 (en) * 2013-02-08 2014-08-14 Giuseppe Raffa Context-rich communication between a device and a vehicle
JP6182917B2 (ja) * 2013-03-15 2017-08-23 ノーリツプレシジョン株式会社 監視装置
TWI502583B (zh) * 2013-04-11 2015-10-01 Wistron Corp 語音處理裝置和語音處理方法
US9747900B2 (en) 2013-05-24 2017-08-29 Google Technology Holdings LLC Method and apparatus for using image data to aid voice recognition
EP3007786A1 (en) 2013-06-14 2016-04-20 Intercontinental Great Brands LLC Interactive video games
KR102053820B1 (ko) 2013-07-02 2019-12-09 삼성전자주식회사 서버 및 그 제어방법과, 영상처리장치 및 그 제어방법
WO2015111771A1 (ko) * 2014-01-24 2015-07-30 숭실대학교산학협력단 음주 판별 방법, 이를 수행하기 위한 기록매체 및 단말기
CN104202694B (zh) * 2014-07-31 2018-03-13 广东美的制冷设备有限公司 语音拾取装置的定向方法和系统
US9952675B2 (en) * 2014-09-23 2018-04-24 Fitbit, Inc. Methods, systems, and apparatuses to display visibility changes responsive to user gestures
US9269374B1 (en) 2014-10-27 2016-02-23 Mattersight Corporation Predictive video analytics system and methods
US9535905B2 (en) * 2014-12-12 2017-01-03 International Business Machines Corporation Statistical process control and analytics for translation supply chain operational management
WO2016157642A1 (ja) * 2015-03-27 2016-10-06 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN104834222B (zh) * 2015-04-30 2018-11-27 广东美的制冷设备有限公司 家用电器的控制方法和装置
CN106203235B (zh) * 2015-04-30 2020-06-30 腾讯科技（深圳）有限公司 活体鉴别方法和装置
US10008201B2 (en) * 2015-09-28 2018-06-26 GM Global Technology Operations LLC Streamlined navigational speech recognition
DE102015225109A1 (de) 2015-12-14 2017-06-14 Robert Bosch Gmbh Verfahren und Vorrichtung zum Klassieren von Augenöffnungsdaten zumindest eines Auges eines Insassen eines Fahrzeugs und Verfahren und Vorrichtung zum Erfassen einer Schläfrigkeit und/oder eines Sekundenschlafes eines Insassen eines Fahrzeugs
US10255487B2 (en) * 2015-12-24 2019-04-09 Casio Computer Co., Ltd. Emotion estimation apparatus using facial images of target individual, emotion estimation method, and non-transitory computer readable medium
CN106920558B (zh) * 2015-12-25 2021-04-13 展讯通信（上海）有限公司 关键词识别方法及装置
CN107103271A (zh) * 2016-02-23 2017-08-29 芋头科技（杭州）有限公司 一种人脸检测方法
JP6649306B2 (ja) * 2017-03-03 2020-02-19 株式会社東芝 情報処理装置、情報処理方法及びプログラム
US10332515B2 (en) 2017-03-14 2019-06-25 Google Llc Query endpointing based on lip detection
CN107910009B (zh) * 2017-11-02 2020-12-01 中国科学院声学研究所 一种基于贝叶斯推理的码元改写信息隐藏检测方法及系统
CN108875535B (zh) * 2018-02-06 2023-01-10 北京旷视科技有限公司 图像检测方法、装置和系统及存储介质
US11361560B2 (en) * 2018-02-19 2022-06-14 Mitsubishi Electric Corporation Passenger state detection device, passenger state detection system, and passenger state detection method
CN109166575A (zh) * 2018-07-27 2019-01-08 百度在线网络技术（北京）有限公司 智能设备的交互方法、装置、智能设备和存储介质
CN109624844A (zh) * 2018-12-05 2019-04-16 电子科技大学成都学院 一种基于图像识别和语音传控的公交车行车保护系统
WO2020157989A1 (ja) * 2019-02-01 2020-08-06 日本電気株式会社 覚醒度推定装置、覚醒度推定方法、及びコンピュータ読み取り可能な記録媒体
CN112101201B (zh) * 2020-09-14 2024-05-24 北京数衍科技有限公司 行人状态的检测方法、装置及电子设备
CN113345472B (zh) * 2021-05-08 2022-03-25 北京百度网讯科技有限公司 语音端点检测方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0398078A (ja) * 1989-09-12 1991-04-23 Seiko Epson Corp 音声評価システム
JPH0424503A (ja) * 1990-05-21 1992-01-28 Nissan Motor Co Ltd 眼位置検出装置
JPH0779937A (ja) * 1993-09-17 1995-03-28 Nissan Motor Co Ltd 覚醒度判定装置
JPH08145627A (ja) * 1994-11-17 1996-06-07 Toyota Motor Corp 顔位置判定装置及び瞬き検出装置
JPH11232456A (ja) * 1998-02-10 1999-08-27 Atr Chino Eizo Tsushin Kenkyusho:Kk 顔動画像からの表情抽出方法
JP2002157596A (ja) * 2000-11-17 2002-05-31 Sony Corp ロボット装置及び顔識別方法
JP2002288670A (ja) * 2001-03-22 2002-10-04 Honda Motor Co Ltd 顔画像を使用した個人認証装置
JP2003158643A (ja) * 2001-11-20 2003-05-30 Shibasoku:Kk 信号処理方法及び信号処理装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2600834B2 (ja) 1988-08-23 1997-04-16 オムロン株式会社 居眠り検出装置
JPH07156682A (ja) 1993-12-03 1995-06-20 Nissan Motor Co Ltd 覚醒状態検出装置
JPH08175218A (ja) 1994-12-26 1996-07-09 Toyota Motor Corp 運転状態検出装置
JP3710205B2 (ja) 1996-06-05 2005-10-26 沖電気工業株式会社 音声認識装置
US6070098A (en) * 1997-01-11 2000-05-30 Circadian Technologies, Inc. Method of and apparatus for evaluation and mitigation of microsleep events
JP3577882B2 (ja) 1997-03-31 2004-10-20 日産自動車株式会社 居眠り状態検出装置
JP3688879B2 (ja) 1998-01-30 2005-08-31 株式会社東芝 画像認識装置、画像認識方法及びその記録媒体
JPH11352987A (ja) 1998-06-04 1999-12-24 Toyota Motor Corp 音声認識装置
JP3012226B2 (ja) 1998-07-24 2000-02-21 マルチメディアシステム事業協同組合 居眠り運転防止装置
JP4517457B2 (ja) 2000-06-13 2010-08-04 カシオ計算機株式会社 音声認識装置、及び音声認識方法
AU2001296459A1 (en) * 2000-10-02 2002-04-15 Clarity, L.L.C. Audio visual speech processing
US7209883B2 (en) * 2002-05-09 2007-04-24 Intel Corporation Factorial hidden markov model for audiovisual speech recognition
EP2204118B1 (en) * 2002-10-15 2014-07-23 Volvo Technology Corporation Method for interpreting a drivers head and eye activity
US7359529B2 (en) * 2003-03-06 2008-04-15 Samsung Electronics Co., Ltd. Image-detectable monitoring system and method for using the same

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0398078A (ja) * 1989-09-12 1991-04-23 Seiko Epson Corp 音声評価システム
JPH0424503A (ja) * 1990-05-21 1992-01-28 Nissan Motor Co Ltd 眼位置検出装置
JPH0779937A (ja) * 1993-09-17 1995-03-28 Nissan Motor Co Ltd 覚醒度判定装置
JPH08145627A (ja) * 1994-11-17 1996-06-07 Toyota Motor Corp 顔位置判定装置及び瞬き検出装置
JPH11232456A (ja) * 1998-02-10 1999-08-27 Atr Chino Eizo Tsushin Kenkyusho:Kk 顔動画像からの表情抽出方法
JP2002157596A (ja) * 2000-11-17 2002-05-31 Sony Corp ロボット装置及び顔識別方法
JP2002288670A (ja) * 2001-03-22 2002-10-04 Honda Motor Co Ltd 顔画像を使用した個人認証装置
JP2003158643A (ja) * 2001-11-20 2003-05-30 Shibasoku:Kk 信号処理方法及び信号処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1748387A4 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007236488A (ja) * 2006-03-06 2007-09-20 Toyota Motor Corp 覚醒度推定装置及びシステム並びに方法
JP2008171107A (ja) * 2007-01-10 2008-07-24 Matsushita Electric Ind Co Ltd 顔状況判定処理装置および撮像装置
JP2008171108A (ja) * 2007-01-10 2008-07-24 Matsushita Electric Ind Co Ltd 顔状況判定処理装置および撮像装置
US8400313B2 (en) 2007-01-19 2013-03-19 Asahi Kasei Kabushiki Kaisha Vehicle driver sleep state classification generating device based on Hidden Markov Model, sleep state classification device and warning device
WO2008088070A1 (ja) 2007-01-19 2008-07-24 Asahi Kasei Kabushiki Kaisha 覚醒状態判定モデル生成装置、覚醒状態判定装置及び警告装置
EP2363067A1 (en) 2007-01-19 2011-09-07 Asahi Kasei Kabushiki Kaisha Arousal state classification model generating device, arousal state classifying device, and warning device
JP4805358B2 (ja) * 2007-01-19 2011-11-02 旭化成株式会社 覚醒状態判定モデル生成装置、覚醒状態判定装置及び警告装置
JP2009279099A (ja) * 2008-05-20 2009-12-03 Asahi Kasei Corp 瞬目種別識別装置、瞬目種別識別方法、及び瞬目種別識別プログラム
JP2010074399A (ja) * 2008-09-17 2010-04-02 Sony Corp 構図判定装置、構図判定方法、画像処理装置、画像処理方法、プログラム
CN102837702B (zh) * 2011-06-24 2016-05-25 株式会社普利司通 路面状态判断方法及路面状态判断装置
CN102837702A (zh) * 2011-06-24 2012-12-26 株式会社普利司通 路面状态判断方法及路面状态判断装置
JP2014092931A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像表示装置並びに情報入力装置
CN104269172A (zh) * 2014-07-31 2015-01-07 广东美的制冷设备有限公司 基于视频定位的语音控制方法和系统
US10264210B2 (en) 2015-08-03 2019-04-16 Ricoh Company, Ltd. Video processing apparatus, method, and system
CN107123423A (zh) * 2017-06-07 2017-09-01 微鲸科技有限公司 语音拾取装置及多媒体设备
JP7098265B2 (ja) 2018-03-06 2022-07-11 三菱電機株式会社 運転支援装置
WO2019171452A1 (ja) * 2018-03-06 2019-09-12 三菱電機株式会社 運転支援装置、運転支援方法及び運転支援装置を備えた運転支援システム
JPWO2019171452A1 (ja) * 2018-03-06 2020-10-22 三菱電機株式会社 運転支援装置、運転支援方法及び運転支援装置を備えた運転支援システム
JP2020091848A (ja) * 2018-12-04 2020-06-11 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 映像処理方法及び装置
JP7419017B2 (ja) 2018-12-04 2024-01-22 三星電子株式会社 映像処理方法及び装置
WO2021114224A1 (zh) * 2019-12-13 2021-06-17 华为技术有限公司 语音检测方法、预测模型的训练方法、装置、设备及介质
US12094468B2 (en) 2019-12-13 2024-09-17 Huawei Technologies Co., Ltd. Speech detection method, prediction model training method, apparatus, device, and medium
JP7415611B2 (ja) 2020-01-30 2024-01-17 富士通株式会社 計算プログラム、計算方法及び計算装置
JP2021120820A (ja) * 2020-01-30 2021-08-19 富士通株式会社 計算プログラム、計算方法及び計算装置
US20220415003A1 (en) * 2021-06-27 2022-12-29 Realtek Semiconductor Corp. Video processing method and associated system on chip
WO2023032283A1 (ja) * 2021-09-02 2023-03-09 株式会社トランストロン 通報装置、通報方法及び通報プログラム

Also Published As

Publication number Publication date
US20080037837A1 (en) 2008-02-14
JPWO2005114576A1 (ja) 2008-07-31
EP1748387A1 (en) 2007-01-31
JP4286860B2 (ja) 2009-07-01
EP1748387B1 (en) 2018-12-05
EP1748387A4 (en) 2015-04-29
US7894637B2 (en) 2011-02-22

Similar Documents

Publication Publication Date Title
JP4286860B2 (ja) 動作内容判定装置
JP5323770B2 (ja) ユーザ指示取得装置、ユーザ指示取得プログラムおよびテレビ受像機
US11854550B2 (en) Determining input for speech processing engine
US8635066B2 (en) Camera-assisted noise cancellation and speech recognition
JP4633043B2 (ja) 画像処理装置
KR100820141B1 (ko) 음성 구간 검출 장치 및 방법 그리고 음성 인식 시스템
US20100332229A1 (en) Apparatus control based on visual lip share recognition
US20040122675A1 (en) Visual feature extraction procedure useful for audiovisual continuous speech recognition
JP2001092974A (ja) 話者認識方法及びその実行装置並びに音声発生確認方法及び装置
Hassanat Visual speech recognition
CN114202604A (zh) 一种语音驱动目标人视频生成方法、装置及存储介质
JP6819633B2 (ja) 個人識別装置および特徴収集装置
Navarathna et al. Multiple cameras for audio-visual speech recognition in an automotive environment
Huang et al. Audio-visual speech recognition using an infrared headset
JP2002312796A (ja) 主被写体推定装置、撮像装置、撮像システム、主被写体推定方法、撮像装置の制御方法、及び制御プログラムを提供する媒体
US11315362B2 (en) Emotion-recognition-based service provision apparatus for vehicle and method of controlling the same
JP7347511B2 (ja) 音声処理装置、音声処理方法、およびプログラム
Hassanat et al. Visual words for lip-reading
Yoshinaga et al. Audio-visual speech recognition using new lip features extracted from side-face images
Heckmann Inter-speaker variability in audio-visual classification of word prominence.
Ibrahim A novel lip geometry approach for audio-visual speech recognition
Lucey Lipreading across multiple views
KR102535244B1 (ko) 음성인식 및 안면 일부 랜드마크를 이용한 신원확인 시스템 및 그 방법
Yau et al. Visual speech recognition using dynamic features and support vector machines
JP4645301B2 (ja) 顔形状変化情報抽出装置、顔画像登録装置および顔画像認証装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DPEN Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2006513753

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2005741463

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11596258

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

WWP Wipo information: published in national office

Ref document number: 2005741463

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 11596258

Country of ref document: US