WO2016148322A1 - 영상 정보를 기반으로 음성 구간을 검출하는 방법 및 장치 - Google Patents

영상 정보를 기반으로 음성 구간을 검출하는 방법 및 장치 Download PDF

Info

Publication number
WO2016148322A1
WO2016148322A1 PCT/KR2015/002654 KR2015002654W WO2016148322A1 WO 2016148322 A1 WO2016148322 A1 WO 2016148322A1 KR 2015002654 W KR2015002654 W KR 2015002654W WO 2016148322 A1 WO2016148322 A1 WO 2016148322A1
Authority
WO
WIPO (PCT)
Prior art keywords
value
pixel
image
feature value
obtaining
Prior art date
Application number
PCT/KR2015/002654
Other languages
English (en)
French (fr)
Inventor
고한석
김성수
송태엽
이경선
이재원
Original Assignee
삼성전자 주식회사
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사, 고려대학교 산학협력단 filed Critical 삼성전자 주식회사
Priority to PCT/KR2015/002654 priority Critical patent/WO2016148322A1/ko
Priority to US15/557,378 priority patent/US10923126B2/en
Priority to KR1020177015391A priority patent/KR102351497B1/ko
Publication of WO2016148322A1 publication Critical patent/WO2016148322A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/93—Discriminating between voiced and unvoiced parts of speech signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L2025/783—Detection of presence or absence of voice signals based on threshold decision

Definitions

  • the present invention relates to a method and apparatus for detecting a speech section based on motion information of a lip region.
  • Speech section detection is to distinguish a speech section from a non-voice section in order to perform speech recognition.
  • the device performs speech recognition, when the sound signal of only the speech section is taken, the time required for the speech recognition may be shortened.
  • there are various noises in a noisy environment for example, while driving a vehicle, there is a limit in detecting a voice section using only an acoustic signal.
  • the present invention relates to a method and apparatus for detecting a speech segment based on a characteristic of a lip region.
  • the present invention relates to a method and apparatus for detecting a speech section based on a change in a feature value in a lip region.
  • an audio section based on an image may be detected based on feature values of lip movements robust to environmental changes such as indoor lighting changes and facial movements.
  • FIG. 1 is a block diagram illustrating a device for detecting a voice section based on a feature of a lip region according to an exemplary embodiment.
  • FIG. 2 illustrates an example of detecting a lip region according to an exemplary embodiment.
  • VAR P is a VAR P, R according to an embodiment Exemplary drawing showing an example of a method for obtaining a value.
  • FIG. 4 is an exemplary diagram illustrating an example of LVH according to an embodiment.
  • FIG. 5 is a graph illustrating an x (n) value according to an embodiment.
  • FIG. 6 is a graph illustrating an example of an edge detection filter according to an embodiment.
  • FIG. 7 is an exemplary diagram illustrating an example of a state transition model according to an embodiment.
  • FIG 8 is a graph illustrating an example of a section detected as x (n), F (n) and a voice section according to an embodiment.
  • FIG 9 is an exemplary view illustrating an example of a silent section according to an exemplary embodiment.
  • FIG. 10 is a flowchart illustrating a method of detecting a voice section, according to an exemplary embodiment.
  • FIG. 11 is a flowchart illustrating a method of detecting a voice segment based on lip movements according to an exemplary embodiment.
  • FIG. 12 is an exemplary diagram illustrating an example of dividing a lip region according to an exemplary embodiment.
  • FIG. 13 is a block diagram illustrating an internal structure of a device that detects a voice section based on lip movements according to an exemplary embodiment.
  • a method of detecting a voice section comprising: detecting a region in which lips exist in at least one image; Obtaining a feature value for lip movement of the detected area based on a difference between pixel values included in the detected area; Detecting the audio section from the at least one image based on the feature value.
  • obtaining the feature value may include obtaining an average value of a reference pixel and surrounding pixels of the reference pixel; The feature value is obtained based on the average value and the difference value between the reference pixel and the surrounding pixel.
  • obtaining the feature value may include obtaining a variance value of each pixel based on a difference between the representative pixel for each pixel and the surrounding pixels and the peripheral pixel; Obtaining a feature value of the at least one image based on the dispersion value of each pixel.
  • the acquiring of the feature may include acquiring, for the at least one image, the number of pixels whose difference is greater than a preset threshold; The difference in the number of pixels obtained between a previous image or a subsequent image of the image is obtained as a feature value of the image.
  • the detecting of the voice interval may include determining a start point of the voice interval as a start point of the voice interval when the feature value is greater than a first threshold value; Setting a count value to zero if the feature value is less than the first threshold value; Increasing the count value over time while the feature value is between the first and second threshold values from the time when the feature value is less than the first threshold value; A time point at which the count value becomes larger than a preset gap size is determined as an end point of the voice section.
  • a method of detecting a voice section comprising: detecting a region in which lips exist in at least one image; Obtaining motion information about each pixel included in the detected area; Dividing the detected regions so that the divided regions are symmetrical with each other; Acquiring a feature value for lip movement of the detected region based on the difference value of the motion information of the divided region with respect to the at least one image; Detecting the sound section based on the feature value of the at least one image.
  • the acquiring of the motion information may include acquiring motion information for each pixel using an optical flow method.
  • a device for detecting a voice interval comprising: a receiver configured to receive at least one image including a face of a user; Detecting a region in which the lips exist in the at least one image, obtaining a feature value for lip movement of the detected region based on a difference between pixel values included in the detected region, and based on the feature value
  • the controller may include a controller configured to detect the voice section from the at least one image and perform voice recognition based on an audio signal corresponding to the detected voice section.
  • a device for detecting a voice interval comprising: a receiver configured to receive at least one image including a face of a user; Detecting a region in which the lips exist in the at least one image, obtaining motion information for each pixel included in the detected region, dividing the detected region so that the divided regions are symmetric with each other, Based on the difference value of the motion information of the area, a feature value of the detected lip motion of the area is obtained for the at least one image, and the voice section is detected based on the feature value of the at least one image. And a controller configured to perform voice recognition based on the sound signal corresponding to the detected voice section.
  • part refers to a hardware component, such as software, FPGA or ASIC, and “part” plays certain roles. However, “part” is not meant to be limited to software or hardware.
  • the “unit” may be configured to be in an addressable storage medium and may be configured to play one or more processors.
  • a “part” refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, procedures, Subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays and variables.
  • the functionality provided within the components and “parts” may be combined into a smaller number of components and “parts” or further separated into additional components and “parts”.
  • FIG. 1 is a block diagram illustrating a device for detecting a voice section based on a feature of a lip region according to an exemplary embodiment.
  • the device 100 may detect a voice section of an audio signal by analyzing a feature of a user's lip region included in an image signal corresponding to the audio signal.
  • the user may detect a voice section in which the user speaks through image analysis.
  • the device 100 may detect the audio section based on the image, but may further detect the audio section by further considering the corresponding sound signal. If the device 100 performs voice recognition on the sound signal corresponding to the detected voice section, the device 100 may perform voice recognition with high accuracy.
  • the device 100 may detect a voice section by analyzing a feature of a lip region of an image in which the face of the user is captured in real time.
  • the movement and shape of the lips in the ignition situation is different from the movement and shape of the lips in the pre-ignition situation. For example, if the lips move, it may be determined that the ignition situation. Therefore, the device 100 may detect a voice section determined to be a section in which the user is speaking by analyzing the lip movement and the feature of the shape in the image.
  • the device 100 may include a lip region detector 110, a lip region motion analyzer 120, and a voice interval detector 130.
  • the lip area detector 110 may detect an area in which the user's lips are present from the image signal. Regarding the method for detecting the lip region, it will be described in more detail with reference to FIG. 2.
  • FIG. 2 illustrates an example of detecting a lip region according to an exemplary embodiment.
  • the lip area detector 110 may detect a face area in an image, detect an eye in the face area, and detect the lip area based on geometric position information of the eyes and the mouth. .
  • the detection of the face region may use a face detection method or various face detection methods proposed by Viola and Jones.
  • the lip area detector 110 may detect the face area as illustrated at 220 of FIG. 2, and detect the lip area from the detected face area by using the YCbCr color space.
  • the lip region detector 110 may detect a region where Cb and Cr values are clearly contrasted in the YCbCr color space and binarize pixel values of the detected region.
  • the lip region detector 110 may detect a region including the lip shape in the binarized image region as the lip region.
  • the Cr and Cb values of the lips can be clearly contrasted when compared to the Cr and Cb values of the face. Therefore, the lip region detector 110 may detect the lips using Cr and Cb values in the face region.
  • the lip area detector 110 may detect the lip area in the image by various methods.
  • the lip region motion analyzer 120 of FIG. 1 may analyze features of the lip region to detect a voice section based on an image determined to be uttered by the user. Due to the morphological characteristics of the mouth and teeth, the difference in pixel values between the surrounding pixels may be greater in an image including open lips than an image including closed lips. Therefore, the lip region motion analyzer 120 may detect the movement of the lips by obtaining a difference in pixel values between neighboring pixels.
  • the lip region motion analyzer 120 may analyze the characteristics of the lip region by converting the image of the lip region into a gray scale image to analyze the image using the pixel value.
  • the lip region motion analyzer 120 may calculate a variance value of the reference pixel and the surrounding pixels located around the reference pixel in the lip region of the image by using Equation 1 below.
  • the reference pixel may be at least one of the pixels included in the image of the lip region.
  • g p may refer to the pixel value of the P pixels and the pixel value of the reference pixel that are equidistant from R at the position of the reference pixel. For example, when the R value is set to 1 and the P value is set to 8, g p may indicate 8 pixel values separated by 1 from the reference pixel and pixel values of the reference pixel.
  • the VAR P and R values use the difference between the average value ⁇ and the pixel value g p of the neighboring pixels , the VAR P and R values are invariant to changes in illuminance of the image. Therefore, the VAR P, R value may have a strong characteristic in an outdoor environment in which the illuminance changes, such as the vehicle interior environment. In addition, even when the face moves left and right, the VAR P and R values based on the difference in pixel values are unchanged, and thus erroneous detection of lip region feature values due to facial movements can be minimized.
  • FIG. 3 is an exemplary diagram illustrating an example of a method of obtaining VAR P and R values according to an exemplary embodiment.
  • the lip region motion analyzer 120 may obtain VAR P and R values within a 3 by 3 block based on each pixel included in the lip region.
  • the reference pixel 301 may be located at the center of the block.
  • the lip region motion analyzer 120 may obtain a histogram of VAR P and R values obtained based on each pixel of the lip region. After the image of the lip region is resized to 60 pixels by 40 pixels for histogram normalization, histograms for VAR P and R values may be obtained.
  • the histogram for the VAR P and R values will hereinafter be referred to as Local Variance Histogram (LVH).
  • LH Local Variance Histogram
  • FIG. 4 is an exemplary diagram illustrating an example of LVH according to an embodiment.
  • an image including a closed mouth has a smaller pixel value difference between neighboring pixels than an image including an open mouth.
  • the LVH 420 of the image including the open mouth may include more pixels having a relatively large VAR P, R value than the LVH 410 of the image including the closed mouth. Therefore, the lip region motion analyzer 120 may acquire a feature value of the lip region in each image based on the number of pixels having a large VAR P, R value in the LVH.
  • the lip region motion analyzer 120 may calculate the number of pixels in which the VAR P and R values are larger than the threshold T in the LVH of the lip region of each image, as shown in Equation 2 below.
  • the lip region motion analyzer 120 calculates a difference in the number of pixels from the adjacent images as a feature value for the lip region. Can be.
  • H n (i) is the VAR P, R in the lip region of the nth image
  • a value means the number of pixels i, i may have a value from 0 to M.
  • g (n) means the sum of the number of pixels whose VAR P, R values are larger than the threshold value T in the nth image.
  • x (n) means the difference of g value between the nth image and the adjacent image.
  • FIG. 5 is a graph illustrating an x (n) value according to an embodiment.
  • the shape of the lips between adjacent images may change significantly. Therefore, during speech, the difference in the number of pixels having a VAR P, R value larger than a threshold value between adjacent images may increase, so that x (n) may have a larger value in a voice section than in a non-voice section.
  • the device 100 may distinguish between the voice section and the non-voice section based on the x (n) value.
  • the threshold value T may be determined based on statistical models of voice signals and noise signals. If the hypothesis that the current input image is an audio interval is H1 and the hypothesis that the non-audio interval is H0, two hypotheses may be expressed as in Equation 3.
  • s (n) and ⁇ (n) mean a signal and a noise signal for the energy of the n-th image, respectively.
  • the lip region motion analyzer 120 may assume that an image section of the first predetermined section is always a non-voice section.
  • ⁇ value is a value representing the tolerance of error, and may have a value other than 0.1.
  • H 1 ) is the likelihood of the hypothesis that the input image is a voice interval
  • H 0 ) is the likelihood of the hypothesis that the input image is a non-voice interval. If the likelihood ratio is greater than the threshold T, the hypothesis that the input image is an audio interval may be adopted.
  • a threshold value T according to an error tolerance specified by a user may be determined through Equation 5 below.
  • the lip region motion analyzer 120 may determine a threshold value T for obtaining an x (n) value through Equation 5.
  • the threshold T can be determined by estimating T that makes P FA , which is a probability when an input image belonging to a non-voice interval, is incorrectly determined to be a voice interval, as an allowable ⁇ value of an error.
  • the lip region motion analyzer 120 may acquire an x (n) for each image and finally use an edge detection filter to detect an audio section.
  • the lip region motion analyzer 120 applies an edge detection filter to a feature value to use a feature in which a feature value x (n) increases in a voice start section and a feature value x (n) decreases in a section where a voice ends. can do.
  • the speech section detector 130 may finally detect the speech section by using the feature value and the state transition model to which the edge detection filter is applied.
  • the edge detection filter will be described in more detail with reference to FIG. 6.
  • FIG. 6 is a graph illustrating an example of an edge detection filter according to an embodiment.
  • the edge detection filter h (i) may be expressed as shown in Equation 6.
  • W is a variable related to the filter length, and i may have an integer value from -W to W.
  • the lip region motion analyzer 120 may apply the edge detection filter h (i) to the feature value x (n) to obtain the output F (n) as shown in Equation 7 below.
  • F (n) means the result of applying the edge detection filter to x (n), which is a feature value for the lip movement of the image.
  • the value of x (n) is constant regardless of its magnitude, so as the h (i) x (n + i) values have positive and negative values of the same magnitude from -W to W, the edge detection filter The applied feature value may be close to zero.
  • the value of x (n) increases, and as the component having a positive value increases, the feature value to which the edge detection filter is applied increases.
  • the feature value decreases as the component having a negative value becomes larger, the feature value to which the edge detection filter is applied becomes smaller. Accordingly, the lip region motion analyzer 120 may robustly detect the voice section even with a slowly changing feature value without the need to adjust the threshold according to the noise level using the edge detection filter.
  • the speech section detector 130 may finally detect the speech section by using the F (n) value and a state transition model.
  • FIG. 7 is an exemplary diagram illustrating an example of a state transition model according to an embodiment.
  • the speech section detector 130 may detect a speech section using the state transition model illustrated in FIG. 7.
  • the non-voice section 701 refers to a section in which it is determined that there is no sound in the sound signal corresponding to the image.
  • the voice section 702 refers to a section in which it is determined that the voice to be detected by the voice section detector 130 exists in an audio signal corresponding to the image.
  • the silent section 703 refers to a section in which a state can be converted into a non-voice section 701 according to the voice section 702 or a count value to be described later.
  • T L i.e., lower threshold, T U , i.e., upper threshold and gap, is a reference value for determining whether or not the negative section 702 is to be terminated and is a constant that can be determined experimentally. to be.
  • T U may always have a value greater than T L.
  • the speech section detector 130 may determine the non-speech section 701 having no speech when F (n) is smaller than T U using the state transition model. When F (n) is greater than T U , the voice section 702 is started, and the voice section detector 130 may determine a point where F (n) is larger than T U as the point where the voice section 702 starts. After the speech section 702 starts, if F (n) is smaller than T L , the speech section detector 130 may determine that the state is converted to the silent section 703 and set the count value to zero.
  • the voice section detection unit 130 may be regarded as being in the silent section 703 while F (n) is smaller than T U but larger than T L , and may increase the count value as time passes. .
  • the voice section detector 130 may determine that the voice section 702 is finished and determine that the current image is in the non-voice section 701. Meanwhile, when the F (n) value is larger than the TU, the voice section detector 130 may convert the state to the voice section 702.
  • FIG 8 is a graph illustrating an example of a section detected as x (n), F (n) and a voice section according to an embodiment.
  • an x (n) value that can be extracted as a feature value of LVH is illustrated.
  • 830 is a graph showing a section detected as a voice section.
  • the size of the x (n) value may be greatly changed in the section corresponding to the speech section as described above.
  • a graph showing F (n) as a result of applying an edge detection filter to x (n) is shown. It may correspond to a section having a larger F (n) value than the above-mentioned T L value or a smaller F (n) value than a T U value and a voice section shown at 830.
  • the section corresponding to the voice section illustrated in 830 there is a silent section in which the F (n) value exists between the T L value and the T U value. Since the silent section exists for a relatively short time compared to the non-voice section, the voice section detector 130 may determine that the section having a value smaller than the gap value is a voice section.
  • FIG 9 is an exemplary view illustrating an example of a silent section according to an exemplary embodiment.
  • a gap section 911 which is a section that is not spoken for a predetermined time between 't' and 'phone'.
  • the change in movement of the lips may be slowed down as voice is not spoken. Therefore, the x (n) value that can be detected as the lip movement feature value of the image may have a value close to zero in the gap section 921.
  • the speech section detector 130 may experimentally determine the length of the gap section that may be used when determining the speech section using the state variation model described above. For example, the voice section detector 130 may determine the length of the gap section according to the user's speech habit or user's characteristic information which may affect the speech habit.
  • FIG. 10 is a flowchart illustrating a method of detecting a voice section, according to an exemplary embodiment.
  • the device 100 may detect a region where lips exist in an image.
  • the device 100 may detect a face region, detect an eye in the face region, and detect a lip region based on geometric position information of the eyes and the mouth.
  • the device 100 may detect the face area and detect the lip area based on the pixel value difference in the YCbCr color space in the detected face area.
  • the device 100 may obtain a feature value for lip movement based on a difference in pixel values between neighboring pixels for each pixel included in the detected region.
  • the device 100 may obtain a difference in pixel values between neighboring pixels based on each pixel included in the detected lip area, and obtain a feature value for the lip area based on the difference value.
  • the feature value of the lip region may be obtained based on the variance values VAR P, R of the reference pixel and the surrounding pixels.
  • the feature value for the lip movement may be determined based on the LVH representing the number of pixels having a variance greater than the T value set as the threshold. The number of pixels determined based on the LVH will be represented by the LVH value.
  • the device 100 may determine the difference value of the LVH value between adjacent images as a feature value of the lip movement in consideration of the fact that the lips continue to close and open for a short time when the utterance is ignited.
  • the device 100 may minimize an error due to noise by applying an edge detection filter to the feature value of the lip movement.
  • the device 100 may detect a voice interval based on the feature value acquired in operation S1003. For example, the device 100 may detect the voice section using the state transition model described above.
  • the device 100 may detect a time point when the feature value becomes larger than the T U value as the voice interval, and in the voice interval, the count value may be increased while the feature value exists between the T U value and the T L value. When the count value is greater than the preset gap value, the device 100 may determine the corresponding video section as the non-audio section.
  • the image section that can be detected as the voice section is detected based on the feature value of the lip region of the image, and is strictly a section estimated as a section having a high probability of being uttered based on the feature of the lip region. to be.
  • the device 100 may correct and convert the detected speech section based on the feature value of the lip region of the image with reference to the actual sound signal.
  • FIG. 11 is a flowchart illustrating a method of detecting a voice segment based on lip movements according to an exemplary embodiment.
  • the device 100 may detect a region where lips are present in an image.
  • the device 100 may detect a face region, detect an eye in the face region, and detect a lip region based on geometric position information of the eyes and the mouth.
  • the device 100 may detect the face region and detect the lip region based on pixel values in the YCbCr color space in the detected face region.
  • the device 100 may acquire motion information about each pixel included in the lip region detected in operation S1101.
  • the motion information of each pixel may include a motion vector value for each pixel as shown in Equation 8 below.
  • v x (i, j) and v y (i, j) represent velocity values in the x and y directions at the pixel (i, j) position of the image of the lip region of size mXn.
  • the device 100 may obtain motion information about each pixel of the current image by using the pixel value of the adjacent image.
  • the device 100 may use an optical flow method to represent the motion of each pixel in a continuous image as a velocity vector.
  • the device 100 may obtain the motion of each pixel as a velocity vector by finding the most similar block in two consecutive images.
  • the device 100 may obtain motion information based on pixel values of two adjacent images in time. Therefore, the device 100 may acquire the motion information robustly even in an environment in which the illuminance change is various.
  • the device 100 may divide the divided regions with respect to the lip region detected in operation S1101 such that the divided regions are symmetrical with each other.
  • the lips have a characteristic of being symmetrical in the up and down or left and right directions, and the movement of the lips is also symmetric in the up and down or left and right directions. Since the lip is fixed and movement information is present in the lip region even when the lip does not move while the face is moving, an error may occur when extracting feature values for lip movement. Therefore, the device 100 may obtain a feature value of the lip movement by using the symmetry of the lip movement information.
  • the device 100 may acquire a feature value of lip movement using the difference value of the motion information in each area divided in operation S1105. For example, the device 100 may obtain the feature value E of the lip movement as shown in Equation (9).
  • the feature value E of the lip movement may be obtained based on the difference of the motion vector values included in each of the divided regions. Therefore, the feature value E cancels motion vector values in the same direction included in each region, such as face movements, and only motion vector values in the opposite direction, such as lip movements, may exist.
  • the device 100 may detect a speech section based on the feature value acquired in operation S1107.
  • the device 100 may re-determine the feature value difference with the adjacent image as the feature value of the lip movement as in the above-described x (n) value.
  • the device 100 may minimize an error due to noise by applying an edge detection filter to the feature value of the lip movement.
  • the device 100 may detect the voice section using the state transition model described above.
  • FIG. 12 is an exemplary diagram illustrating an example of dividing a lip region according to an exemplary embodiment.
  • the device 100 may divide the lip region in the left and right directions and obtain a feature value E based on the difference between the vector values in the x direction of each pixel.
  • the device 100 may divide the lip region in the vertical direction and obtain a feature value E based on the difference between the vector values in the y-direction of each pixel.
  • FIG. 13 is a block diagram illustrating an internal structure of a device that detects a voice section based on lip movements according to an exemplary embodiment.
  • the device 1300 may be a terminal device capable of performing voice recognition.
  • a smart TV a ultra high definition (UHD) TV, a monitor, a personal computer (PC), and a notebook computer may be used.
  • a computer a mobile phone, a tablet PC, a navigation terminal, a smart phone, a personal digital assistant (PDA), a portable multimedia player (PMP), and a digital broadcasting receiver may be included.
  • PDA personal digital assistant
  • PMP portable multimedia player
  • the device 1300 may include a receiver 1310 and a controller 1320.
  • the receiver 1310 may acquire an image including the lip region of the user for detecting the voice section.
  • the receiver 1310 may acquire an image including the lip region from the photographing apparatus or the external apparatus provided in the device 1300.
  • the receiver 1310 may further acquire an acoustic signal including a user's voice for performing voice recognition based on the voice section detected by the device 1300.
  • the device 1300 may estimate a section in which it is determined that a voice section exists based on an image including the lip region, and perform voice recognition on a user's voice included in the sound signal based on the estimated voice section. have.
  • the controller 1320 may detect an audio section based on a plurality of images including the lip region received by the receiver 1310. For example, the controller 1320 may detect a lip region from an image, and acquire a feature value for lip movement of each image based on a difference in pixel values between pixels in the lip region. The controller 1320 may obtain a dispersion value based on each pixel obtained based on the difference in pixel values between neighboring pixels, and obtain an LVH value, which is the number of pixels having a dispersion value larger than a T value set as a threshold. have.
  • controller 1320 may determine the difference value of the LVH value between adjacent images as a feature value of the lip movement in consideration of the fact that the lips continue to close and open for a short period of time during speech.
  • the controller 1320 may obtain a feature value for lip movement based on the motion information of each pixel included in the lip region.
  • the controller 1320 may detect an audio section from the image by using the state transition model based on the feature value of the forest movement.
  • Motion information for each pixel may be obtained according to the optical flow method.
  • the controller 1320 may obtain a feature value for lip movement based on a difference value of the motion information in each of the divided regions so that the lip regions are symmetrical with each other.
  • the controller 1320 may perform voice recognition on the sound signal corresponding to the detected voice section.
  • the controller 1320 may minimize speech recognition due to noise by performing voice recognition on the acoustic signal determined to include the user's voice.
  • an audio section based on an image may be detected based on feature values of lip movements robust to environmental changes such as indoor lighting changes and facial movements.
  • the method according to some embodiments may be embodied in the form of program instructions that may be executed by various computer means and recorded on a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

적어도 하나의 영상에서 입술이 존재하는 영역을 검출하고, 상기 검출된 영역에 포함된 픽셀값들의 차이에 기초하여, 상기 검출된 영역의 입술 움직임에 대한 특징값을 획득하여, 상기 특징값에 기초하여, 상기 적어도 하나의 영상으로부터 상기 음성 구간을 검출하는, 방법이 개시된다.

Description

영상 정보를 기반으로 음성 구간을 검출하는 방법 및 장치
본 발명은 입술 영역의 움직임 정보에 기초하여 음성 구간을 검출하는 방법 및 장치에 대한 것이다.
음성 구간 검출은 음성 인식을 수행하기 위하여, 입력된 음향 신호로부터 음성 구간과 비음성 구간을 구별하는 것이다. 디바이스에서 음성 인식을 수행할 때, 음성 구간만의 음향 신호를 취하는 경우, 음성 인식에 걸리는 시간을 단축할 수 있다. 그러나 잡음이 심한 환경, 예를 들면 차량 주행 중인 상황에서는 다양한 잡음이 존재하므로, 음향 신호만을 이용하여 음성 구간을 검출하는 것은 한계가 존재한다.
영상 신호를 이용하여, 음성 구간을 검출하는 기존 방법들은 대부분 실내 환경에서 촬영된 영상의 특징을 모델링하는 단계를 포함한다. 그러나 차량 환경에서는 실내와는 달리 조명이 계속 변화하므로 기존 방법을 이용하여 음성 구간을 정확히 검출하는 것은 어렵다.
본 발명은 입술 영역의 특징에 기초하여 음성 구간을 검출하는 방법 및 장치에 대한 것이다. 구체적으로, 입술 영역에서의 특징값의 변화에 기초하여 음성 구간을 검출하는 방법 및 장치에 대한 것이다.
일 실시 예에 의하면, 실내 조명 변화 및 얼굴 움직임과 같은 환경 변화에 강인한 입술 움직임의 특징값에 기초하여 영상에 기반한 음성 구간을 검출할 수 있다.
도 1은 일 실시 예에 의한 입술 영역의 특징에 기초하여 음성 구간을 검출하는 디바이스를 나타낸 블록도이다.
도 2는 일 실시 예에 있어서, 입술 영역을 검출하는 일 예를 도시한 예시도이다.
도 3은 일 실시 예에 의한 VARP,R 값을 구하는 방법의 일 예를 나타내는 예시 도면이다.
도 4는 일 실시 예에 의한 LVH의 일 예를 나타낸 예시 도면이다.
도 5는 일 실시 예에 의한 x(n) 값을 도시한 그래프를 나타낸 도면이다.
도 6은 일 실시 예에 의한 에지 검출 필터의 일 예를 그래프로 나타낸 예시 도면이다.
도 7은 일 실시 예에 의한 상태 천이 모델의 일 예를 나타낸 예시 도면이다.
도 8은 일 실시 예에 의한 x(n), F(n) 및 음성 구간으로 검출된 구간의 일 예를 나타낸 그래프이다.
도 9는 일 실시 예에 의한 묵음 구간의 일 예를 나타낸 예시 도면이다.
도 10은 일 실시 예에 의한 음성 구간을 검출하는 방법을 나타낸 순서도이다.
도 11은 일 실시 예에 의한 입술 움직임에 기초하여 음성 구간을 검출하는 방법을 나타낸 순서도이다.
도 12는 일 실시 예에 의한 입술 영역을 분할하는 일 예를 나타낸 예시 도면이다.
도 13은 일 실시 예에 의한 입술 움직임에 기초하여 음성 구간을 검출하는 디바이스의 내부 구조를 나타낸 블록도이다.
일 실시 예에 의한 음성 구간을 검출하는 방법에 있어서, 적어도 하나의 영상에서 입술이 존재하는 영역을 검출하는 단계; 상기 검출된 영역에 포함된 픽셀값 들간 차이에 기초하여, 상기 검출된 영역의 입술 움직임에 대한 특징값을 획득하는 단계; 상기 특징값에 기초하여, 상기 적어도 하나의 영상으로부터 상기 음성 구간을 검출하는 단계를 포함한다.
더하여, 상기 특징값을 획득하는 단계는 기준 픽셀 및 상기 기준 픽셀의 주변 픽셀들의 평균값을 획득하는 단계; 상기 평균값과 상기 기준 픽셀 및 주변 픽셀 간 차이값에 기초하여 상기 특징 값을 획득한다.
더하여, 상기 특징값을 획득하는 단계는 상기 각 픽셀 및 주변 픽셀들에 대한 대표값과 상기 주변 픽셀 간 차이에 기초하여, 상기 각 픽셀의 분산 값을 획득하는 단계; 상기 각 픽셀의 분산값에 기초하여, 상기 적어도 하나의 영상의 특징값을 획득하는 단계를 포함한다.
더하여, 상기 특징값을 획득하는 단계는 상기 차이가 미리 설정된 임계값보다 큰 픽셀의 개수를 상기 적어도 하나의 영상에 대하여 획득하는 단계; 상기 영상의 이전 영상 또는 이후 영상 간에 상기 획득된 픽셀 수의 차이를 상기 영상의 특징값으로 획득한다.
더하여, 상기 음성 구간을 검출하는 단계는 상기 특징값이 제1 임계값보다 커지면, 상기 특징값의 시점을 음성 구간의 시작점으로 결정하는 단계; 상기 특징값이 상기 제1 임계값보다 작아지면, 카운트 값을 0으로 설정하는 단계; 상기 특징값이 상기 제1 임계값보다 작아진 시점부터 상기 특징값이 상기 제1 임계값 및 제2 임계값 사이에 존재하는 동안, 상기 카운트 값을 시간이 경과함에 따라 증가시키는 단계; 상기 카운트 값이 미리 설정된 갭(gap) 크기보다 커진 시점을 상기 음성 구간의 종료점으로 결정한다.
일 실시 예에 의한 음성 구간을 검출하는 방법에 있어서, 적어도 하나의 영상에서 입술이 존재하는 영역을 검출하는 단계; 상기 검출된 영역에 포함된 각 픽셀에 대한 움직임 정보를 획득하는 단계; 분할된 영역이 서로 대칭되도록 상기 검출된 영역을 분할하는 단계; 상기 분할된 영역의 움직임 정보의 차이값에 기초하여, 상기 검출된 영역의 입술 움직임에 대한 특징값을 상기 적어도 하나의 영상에 대하여 획득하는 단계; 상기 적어도 하나의 영상의 특징값에 기초하여, 상기 음성 구간을 검출하는 단계를 포함한다.
더하여, 상기 움직임 정보를 획득하는 단계는 옵티컬 플로우 방법을 이용하여 상기 각 픽셀에 대한 움직임 정보를 획득하는 단계를 포함한다.
일 실시 예에 의한 음성 구간을 검출하는 디바이스에 있어서, 사용자의 얼굴을 포함하는 적어도 하나의 영상을 수신하는 수신부; 상기 적어도 하나의 영상에서 입술이 존재하는 영역을 검출하고, 상기 검출된 영역에 포함된 픽셀 값들간 차이에 기초하여, 상기 검출된 영역의 입술 움직임에 대한 특징값을 획득하고, 상기 특징값에 기초하여, 상기 적어도 하나의 영상으로부터 상기 음성 구간을 검출하고, 상기 검출된 음성 구간과 대응되는 음향 신호에 기초하여, 음성 인식을 수행하는 제어부를 포함한다.
일 실시 예에 의한 음성 구간을 검출하는 디바이스에 있어서, 사용자의 얼굴을 포함하는 적어도 하나의 영상을 수신하는 수신부; 상기 적어도 하나의 영상에서 입술이 존재하는 영역을 검출하고, 상기 검출된 영역에 포함된 각 픽셀에 대한 움직임 정보를 획득하고, 분할된 영역이 서로 대칭되도록 상기 검출된 영역을 분할하고, 상기 분할된 영역의 움직임 정보의 차이값에 기초하여, 상기 검출된 영역의 입술 움직임에 대한 특징값을 상기 적어도 하나의 영상에 대하여 획득하고, 상기 적어도 하나의 영상의 특징값에 기초하여, 상기 음성 구간을 검출하고, 상기 검출된 음성 구간과 대응되는 음향 신호에 기초하여 음성 인식을 수행하는 제어부를 포함한다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 1은 일 실시 예에 의한 입술 영역의 특징에 기초하여 음성 구간을 검출하는 디바이스를 나타낸 블록도이다.
일 실시 예에 의한 디바이스(100)는 음향 신호와 대응되는 영상 신호에 포함된 사용자의 입술 영역의 특징을 분석함으로써, 음향 신호의 음성 구간을 검출할 수 있다. 디바이스(100)가 음성 인식을 수행할 때, 영상 분석을 통해 사용자가 발화 중인 음성 구간을 검출할 수 있다. 디바이스(100)는 영상에 기초하여 음성 구간을 검출할 수 있으나, 더하여 대응되는 음향 신호를 더 고려하여 음성 구간을 검출할 수도 있다. 디바이스(100)는 검출된 음성 구간과 대응되는 음향 신호에 대하여 음성 인식을 수행하면 높은 정확도로 음성 인식을 수행할 수 있다.
디바이스(100)는 실시간으로 사용자의 얼굴이 촬영된 영상의 입술 영역의 특징을 분석하여, 음성 구간을 검출할 수 있다. 발화 상황에서의 입술의 움직임 및 형태는 발화 전 상황에서의 입술의 움직임 및 형태와 차이가 있다. 예를 들면, 입술이 움직이는 경우, 발화 상황인 것으로 판단될 수 있다. 따라서, 디바이스(100)는 영상에서 입술 움직임 및 형태의 특징을 분석함으로써, 사용자가 발화 중인 구간으로 판단되는 음성 구간을 검출할 수 있다.
도 1을 참조하면, 디바이스(100)는 입술 영역 검출부(110), 입술 영역 움직임 분석부(120) 및 음성 구간 검출부(130)를 포함할 수 있다.
입술 영역 검출부(110)는 영상 신호로부터 사용자의 입술이 존재하는 영역을 검출할 수 있다. 입술 영역을 검출하는 방법과 관련하여, 도 2를 참조하여, 더 자세히 설명하기로 한다.
도 2는 일 실시 예에 있어서, 입술 영역을 검출하는 일 예를 도시한 예시도이다.
도 2의 210에 도시된 바와 같이, 입술 영역 검출부(110)는 영상에서 얼굴 영역을 검출하고, 얼굴 영역에서 눈을 검출하여, 눈과 입의 기하학적 위치 정보를 기반으로 입술 영역을 검출할 수 있다. 얼굴 영역의 검출은 Viola와 Jones가 제안한 얼굴 검출 방법 또는 다양한 얼굴 검출 방법을 이용할 수 있다.
또 다른 방법으로, 입술 영역 검출부(110)는 도 2의 220에 도시된 바와 같이, 얼굴 영역을 검출하고, 검출된 얼굴 영역에서, YCbCr 색상 공간을 활용하여 입술 영역을 검출할 수 있다. 220을 참조하면, 입술 영역 검출부(110)는 YCbCr 색상 공간에서 Cb, Cr값이 뚜렷하게 대비되는 영역을 검출하고, 검출된 영역의 픽셀 값들을 이진화할 수 있다. 입술 영역 검출부(110)는 이진화된 영상 영역에서 입술 형태를 포함하는 영역을 입술 영역으로 검출할 수 있다. YCbCr 색상 공간에서 입술의 Cr 및 Cb 값이 얼굴의 Cr 및 Cb 값과 비교할 때 뚜렷하게 대비될 수 있다. 따라서, 입술 영역 검출부(110)는 얼굴 영역에서 Cr 및 Cb 값을 이용하여 입술을 검출할 수 있다.
상술된 예에 한하지 않고, 입술 영역 검출부(110)는 다양한 방법으로 영상에서 입술 영역을 검출할 수 있다.
한편, 도 1의 입술 영역 움직임 분석부(120)는 입술 영역의 특징을 분석하여, 사용자가 발화 중인 것으로 판단되는 영상에 기초하여 음성 구간을 검출할 수 있다. 입과 치아의 형태적인 특징으로 인하여 닫힌 입술을 포함하는 영상보다 벌린 입술을 포함하는 영상에서 주변 픽셀 간 픽셀값의 차이가 더 클 수 있다. 따라서, 입술 영역 움직임 분석부(120)는 주변 픽셀 간 픽셀값의 차이를 구함으로써 입술의 움직임을 검출할 수 있다.
입술 영역 움직임 분석부(120)는 픽셀 값을 이용하여 영상을 분석하기 위해 입술 영역의 영상을 그레이 스케일 영상으로 변환하여 입술 영역의 특징을 분석할 수 있다.
입술 영역 움직임 분석부(120)는 이하 수학식 1을 이용하여 영상의 입술 영역에서 기준 픽셀과 기준 픽셀의 주변에 위치한 주변 픽셀들의 분산값을 구할 수 있다. 기준 픽셀은 입술 영역의 영상에 포함된 픽셀 중 적어도 하나일 수 있다.
수학식 1
Figure PCTKR2015002654-appb-M000001
gp는 기준 픽셀의 위치에서 R 만큼 등거리에 떨어진 P개의 픽셀들의 픽셀 값 및 기준 픽셀의 픽셀값을 가리킬 수 있다. 예를 들면, R값은 1, P값은 8로 설정되는 경우, gp는 기준 픽셀로부터 1만큼 떨어진 8개의 픽셀 값들과 기준 픽셀의 픽셀 값을 가리킬 수 있다.
VARP,R 값은 평균값 μ와 주변 픽셀들의 픽셀값 gp의 차이를 이용하므로, 영상의 조도 변화에 불변하는 특성이 있다. 따라서, 차량 내부 환경과 같이 조도가 변화하는 야외 환경에서 VARP,R 값은 강인한 특징을 가질 수 있다. 또한 얼굴이 좌우로 움직이는 경우에도 픽셀값의 차이에 기초한 VARP,R 값은 불변하므로, 얼굴 움직임에 따른 입술 영역 특징값의 오검출이 최소화 될 수 있다.
이하 도 3을 참조하여, VARP,R 값을 구하는 방법에 관하여 더 자세히 설명하기로 한다.
도 3은 일 실시 예에 의한 VARP,R 값을 구하는 방법의 일 예를 나타내는 예시 도면이다.
도 3을 참조하면, 입술 영역 움직임 분석부(120)는 입술 영역에 포함된 각 픽셀을 기준으로 3 by 3 크기의 블록 내에서 VARP,R 값을 구할 수 있다. 기준 픽셀(301)은 블록 중심에 위치할 수 있다. 입술 영역 움직임 분석부(120)는 입술 영역의 각 픽셀을 기준으로 구한 VARP,R 값에 대한 히스토그램을 구할 수 있다. 입술 영역의 영상이 히스토그램 정규화를 위해 60 픽셀 by 40 픽셀로 리사이즈된 후, VARP,R 값에 대한 히스토그램이 획득될 수 있다. VARP,R 값에 대한 히스토그램은 이하에서, LVH(Local Variance Histogram)로 나타내기로 한다.
LVH에 관한 설명은 이하 도 4를 참조하여 더 자세히 설명하기로 한다.
도 4는 일 실시 예에 의한 LVH의 일 예를 나타낸 예시 도면이다.
도 4의 410 및 420을 참조하면, 닫힌 입을 포함하는 영상은 열린 입을 포함하는 영상에 비해, 주변 픽셀 간의 픽셀 값 차이가 적다. 따라서, 닫힌 입을 포함하는 영상의 LVH(410)에 비해 열린 입을 포함하는 영상의 LVH(420)는 상대적으로 큰 VARP,R 값을 갖는 픽셀을 더 많이 포함할 수 있다. 따라서, 입술 영역 움직임 분석부(120)는 LVH에서 큰 VARP,R 값을 갖는 픽셀 수에 기초하여, 각 영상에서의 입술 영역에 대한 특징값을 획득할 수 있다.
입술 영역 움직임 분석부(120)는 수학식 2와 같이 각 영상의 입술 영역에 대한 LVH에서, 임계값인 T보다 VARP,R 값이 큰 픽셀의 개수를 구할 수 있다.
더하여, 발화 중에는 입술이 계속 움직이므로, 인접한 영상 간 입술 형태가 크게 변할 수 있는 점을 고려하여, 입술 영역 움직임 분석부(120)는 인접한 영상과의 픽셀 수 차이를 입술 영역에 대한 특징값으로 구할 수 있다.
수학식 2
Figure PCTKR2015002654-appb-M000002
Hn(i)는 n번째 영상의 입술 영역에서 VARP,R 값이 i인 픽셀 수를 의미하고, i는 0부터 M의 값을 가질 수 있다. g(n)은 n번째 영상에서 VARP,R 값이 임계값 T보다 큰 픽셀 수의 합을 의미한다. x(n)은 n번째 영상과 인접한 영상간 g 값의 차이를 의미한다.
이하 도 5를 참조하여, x(n) 값에 관하여 더 자세히 설명하기로 한다.
도 5는 일 실시 예에 의한 x(n) 값을 도시한 그래프를 나타낸 도면이다.
발화 중에는 입술이 계속 움직이므로, 인접한 영상 간 입술 형태가 크게 변할 수 있다. 따라서, 발화 중에는 인접한 영상 간 임계값보다 큰 VARP,R 값을 갖는 픽셀 수의 차이가 커질 수 있으므로, x(n)은 비음성 구간보다 음성 구간에서 더 큰 값을 가질 수 있다.
도 5를 참조하면, 음성 구간인 501, 502, 503 구간에서 x(n) 값이 비음성 구간의 x(n) 값에 비해 더 큰 값을 가진다. 따라서, 디바이스(100)는 x(n) 값에 기초하여 음성 구간 및 비음성 구간을 구분할 수 있다.
한편, 임계값 T는 음성 신호와 잡음신호에 대한 통계적인 모델에 기초하여 결정될 수 있다. 현재의 입력 영상이 음성 구간이라는 가설(hypothesis)을 H1, 비음성 구간이라는 가설을 H0라고 하면, 수학식 3과 같이 두 가설을 나타낼 수 있다.
수학식 3
Figure PCTKR2015002654-appb-M000003
Figure PCTKR2015002654-appb-I000001
s(n)과 ω(n)은 각각 n번째 영상의 에너지에 대한 신호와 잡음 신호를 의미한다. 입술 영역 움직임 분석부(120)는 잡음 신호 ω(n)를 모델링하기 위하여, 처음 일정 구간의 영상 구간은 항상 비음성 구간이라 가정할 수 있다.
일 실시 예에 의한 입술 영역 움직임 분석부(120)는 임계값 T를 구하기 위하여, 네이만-피어슨(neyman-pearson) 이론을 이용하여 PFA=α, α=0.1 로 두고 임계값 T를 구할 수 있다. α값은 오차의 허용한계를 나타내는 값으로, 0.1 이외에 다른 값을 가질 수 있다.
수학식 4
Figure PCTKR2015002654-appb-M000004
수학식 4에서 X = [x(1), x(2), …, x(N)] 인 벡터이고, Λ(X) 는 음성 및 비음성 구간에 대한 우도비(likelihood ratio)를 의미한다. p(X|H1)은 입력영상이 음성 구간이라는 가설의 우도(likelihood)이며, p(X|H0)은 입력영상이 비음성 구간이라는 가설의 우도이다. 우도비가 임계값 T보다 큰 경우 입력 영상이 음성 구간이라는 가설이 채택될 수 있다. 이하 수학식 5를 통해서 사용자가 지정한 오차 허용한계에 따른 임계값 T가 결정될 수 있다.
수학식 5
Figure PCTKR2015002654-appb-M000005
입술 영역 움직임 분석부(120)는 수학식 5를 통해서, x(n) 값을 구하기 위한 임계값 T를 결정할 수 있다. 비음성 구간에 속하는 입력영상이 음성구간으로 잘못 판단되는 경우의 확률인 PFA를 오차의 허용한계 α값으로 만들어주는 T를 추정함으로써 임계값 T를 결정할 수 있다. 입술 영역 움직임 분석부(120)는 각 영상에 대하여 x(n)을 획득하고, 최종적으로 음성 구간을 검출하기 위하여 에지 검출 필터(edge detection filter)를 이용할 수 있다. 입술 영역 움직임 분석부(120)는 음성 시작 구간에서는 특징값인 x(n)이 커지고, 음성이 끝나는 구간에서는 특징값 x(n)이 감소하는 특징을 이용하기 위한 에지 검출 필터를 특징값에 적용할 수 있다. 그리고, 음성 구간 검출부(130)는 에지 검출 필터를 적용한 특징값 및 상태 천이 모델(state transition model)을 이용하여 최종적으로 음성 구간을 검출할 수 있다.
에지 검출 필터에 관하여, 도 6을 참조하여 더 자세히 설명하기로 한다.
도 6은 일 실시 예에 의한 에지 검출 필터의 일 예를 그래프로 나타낸 예시 도면이다.
에지 검출 필터 h(i)는 수학식 6과 같이 표현될 수 있다.
수학식 6
Figure PCTKR2015002654-appb-M000006
Figure PCTKR2015002654-appb-I000002
W는 필터 길이와 관계되는 변수이며, i는 -W부터 W까지 정수값을 가질 수 있다. A(A=0.41)와 K(K1=1.538, K2=1.468, K3=-0.078, K4=-0.036, K5=-0.872, K6=-0.56)는 필터 파라미터이다. 입술 영역 움직임 분석부(120)는 특징값 x(n)에 에지 검출 필터 h(i)를 적용하여, 출력 F(n)을 이하 수학식 7과 같이 획득할 수 있다. F(n)은 영상의 입술 움직임에 대한 특징값인 x(n)에 에지 검출 필터를 적용한 결과를 의미한다.
수학식 7
Figure PCTKR2015002654-appb-M000007
에지 검출 필터 h(i)(W=7)는 도 6에 도시된 그래프와 같이 원점에 대칭된다. 비음성 구간에서는 x(n) 값이 그 크기와는 관계없이 일정하므로 h(i)x(n+i)값이 -W부터 W까지 동일한 크기의 양수 값 및 음수 값을 가짐에 따라 에지 검출 필터가 적용된 특징값이 0에 가까울 수 있다. 반면에, 음성 구간에서는 x(n) 값이 커지게 되어 양수 값을 가진 성분이 더 커짐에 따라 에지 검출 필터가 적용된 특징값이 커지게 된다. 반면에, 특징값이 작아지면 음수 값을 가진 성분이 더 커짐에 따라 에지 검출 필터가 적용된 특징값이 작아지게 된다. 따라서, 입술 영역 움직임 분석부(120)는 에지 검출 필터를 이용하여 잡음의 크기에 따라 문턱치를 조절할 필요 없이 서서히 변하는 특징값에도 강인하게 음성 구간을 검출할 수 있다.
음성 구간 검출부(130)는 F(n) 값과 상태 천이 모델(state transition model)을 이용하여 최종적으로 음성 구간을 검출할 수 있다.
상태 천이 모델을 이용하여 음성 구간을 검출하는 방법에 대하여, 이하 도 7 내지 도 9를 참조하여 더 자세히 설명하기로 한다.
도 7은 일 실시 예에 의한 상태 천이 모델의 일 예를 나타낸 예시 도면이다.
도 7을 참조하면, 음성 구간 검출부(130)는 도 7에 도시된 상태 천이 모델(State transition model)을 이용하여 음성 구간을 검출할 수 있다.
비음성 구간(701)은 영상과 대응되는 음향 신호에 음성이 존재하지 않는 것으로 판단되는 구간을 의미한다. 음성 구간(702)은 영상과 대응되는 음향 신호에 음성 구간 검출부(130)에서 검출하고자 하는 음성이 존재하는 것으로 판단되는 구간을 의미한다. 묵음 구간(703)은 음성 구간(702)이나 후술될 카운트 값에 따라 비음성 구간(701)으로 상태가 변환될 수 있는 구간을 의미한다. TL, 즉, 낮은 임계값(lower threshold), TU, 즉, 높은 임계값(upper threshold) 및 gap은 음성 구간(702)의 종료 여부를 결정하기 위한 기준 값으로, 실험적으로 결정될 수 있는 상수이다. TU는 항상 TL보다 큰 값을 가질 수 있다.
음성 구간 검출부(130)는 상태 천이 모델을 이용하여, F(n)이 TU보다 작으면 음성이 없는 비음성 구간(701)으로 판단할 수 있다. F(n)이 TU보다 커지면 음성 구간(702)이 시작된 것으로 보고 음성 구간 검출부(130)는 F(n)이 TU보다 커진 지점을 음성 구간(702)이 시작된 지점으로 결정할 수 있다. 음성 구간(702)이 시작된 이후, F(n)이 TL보다 작아지면, 음성 구간 검출부(130)는 묵음 구간(703)으로 상태가 변환된 것으로 보고, count 값을 0으로 설정할 수 있다.
그리고, 음성 구간 검출부(130)는 F(n)이 TU보다 작으나, TL보다 큰 상태에 있는 동안, 묵음 구간(703)에 있는 것으로 보고, 시간이 경과함에 따라 count 값을 증가시킬 수 있다. 음성 구간 검출부(130)는 count 값이 미리 설정된 gap 값보다 커지게 되면, 음성 구간(702)은 종료된 것으로 보고, 현재 영상을 비음성 구간(701)에 있는 것으로 판단할 수 있다. 한편, 음성 구간 검출부(130)는 F(n) 값이 TU보다 커지면, 음성 구간(702)으로 상태를 변환시킬 수 있다.
도 8은 일 실시 예에 의한 x(n), F(n) 및 음성 구간으로 검출된 구간의 일 예를 나타낸 그래프이다.
도 8의 810을 참조하면, LVH의 특징값으로 추출될 수 있는 x(n) 값이 도시되어 있다. 830은 음성 구간으로 검출된 구간을 나타낸 그래프이다. 음성 구간으로 검출된 구간인 830 그래프와 810의 그래프를 비교해볼 때, 상술한 바와 같이 음성 구간에 해당하는 구간에서, x(n) 값의 크기가 크게 변할 수 있다.
820을 참조하면, x(n)에 대해 에지 검출 필터를 적용한 결과인 F(n)을 나타낸 그래프가 도시되어 있다. 상술된 TL 값보다 F(n) 값이 크거나, TU 값보다 F(n) 값이 작은 값을 갖는 구간과 830에 도시된 음성 구간과 대응될 수 있다. 또한, 830에 도시된 음성 구간과 대응되는 구간에서, F(n) 값이 TL 값과 TU 값 사이에 존재하는 묵음 구간이 존재한다. 묵음 구간은 비음성 구간에 비하여 상대적으로 작은 시간동안에 존재하므로, 음성 구간 검출부(130)는 count 값이 gap 값보다 작은 값을 가지는 구간은, 음성 구간으로 판단할 수 있다.
도 9는 일 실시 예에 의한 묵음 구간의 일 예를 나타낸 예시 도면이다.
도 9의 910을 참조하면, '스마트폰'이란 음성이 발화될 때, '트'와 '폰' 사이의 일정 시간 동안 발성되지 않는 구간인 gap 구간(911)이 존재할 수 있다. gap 구간(911) 동안에는 발성이 되지 않음에 따라 입술의 움직임 변화가 둔화될 수 있다. 따라서, 영상의 입술 움직임 특징값으로 검출될 수 있는 x(n) 값도 gap 구간(921)에서 0에 가까운 값을 가질 수 있다.
음성 구간 검출부(130)는 상술된 상태 변이 모델을 이용하여 음성 구간을 결정할 때 이용할 수 있는 gap 구간의 길이를 실험적으로 결정할 수 있다. 예를 들면, 음성 구간 검출부(130)는 사용자별 발화습관 또는 발화습관에 영향을 줄 수 있는 사용자의 특징 정보에 따라 gap 구간의 길이를 결정할 수 있다.
이하 도 10을 참조하여, 디바이스(100)에 의하여 음성 구간을 검출하는 방법에 대해 자세히 설명하기로 한다.
도 10은 일 실시 예에 의한 음성 구간을 검출하는 방법을 나타낸 순서도이다.
도 10을 참조하면, 단계 S1001에서, 디바이스(100)는 영상에서 입술이 존재하는 영역을 검출할 수 있다. 예를 들면, 디바이스(100)는 얼굴 영역을 검출하고, 얼굴 영역에서 눈을 검출하여, 눈과 입의 기하학적 위치 정보를 기반으로 입술 영역을 검출할 수 있다. 또 다른 방법으로, 디바이스(100)는 얼굴 영역을 검출하고, 검출된 얼굴 영역에서, YCbCr 색상 공간에서의 픽셀 값 차이에 기초하여 입술 영역을 검출할 수 있다.
단계 S1003에서, 디바이스(100)는 검출된 영역에 포함된 각 픽셀에 대한 주변 픽셀들 간의 픽셀값의 차이에 기초하여, 입술 움직임에 대한 특징값을 획득할 수 있다.
예를 들면, 디바이스(100)는 검출된 입술 영역에 포함된 각 픽셀을 기준으로 하여, 주변 픽셀들 간의 픽셀값의 차이를 구하고, 차이값에 기초하여 입술 영역에 대한 특징 값을 획득할 수 있다. 입술 영역의 특징값은 기준 픽셀과 주변 픽셀들의 분산값 VARP,R 에 기초하여 획득될 수 있다. 입술 움직임에 대한 특징값은 임계값으로 설정된 T 값보다 큰 분산 값을 가지는 픽셀들의 개수를 나타내는 LVH에 기초하여 결정될 수 있다. LVH에 기초하여 결정된 픽셀 수를 LVH 값으로 나타내기로 한다.
더하여, 디바이스(100)는 발화 중일 때, 입술이 짧은 시간동안 계속 닫혔다 열리는 동작을 지속하는 점을 고려하여, 인접한 영상간 LVH 값의 차이값을 입술 움직임의 특징값으로 결정할 수 있다.
또한, 디바이스(100)는 입술 움직임의 특징값에 대하여, 에지 검출 필터를 적용함으로써, 잡음으로 인한 에러 발생을 최소화할 수 있다.
단계 S1005에서, 디바이스(100)는 단계 S1003에서 획득한 특징값에 기초하여 음성 구간을 검출할 수 있다. 예를 들면, 디바이스(100)는 상술한 상태 천이 모델을 이용하여 음성 구간을 검출할 수 있다.
디바이스(100)는 TU값보다 특징값이 커지는 시점을 음성 구간으로 검출할 수 있고, 음성 구간에서, 특징값이 TU값과 TL값 사이에 존재하는 동안 count 값을 증가시킬 수 있다. 그리고, 디바이스(100)는 count 값이 미리 설정된 gap 값보다 커지면 대응되는 영상 구간을 비음성 구간으로 결정할 수 있다.
일 실시 예에서, 음성 구간으로 검출될 수 있는 영상 구간은 영상의 입술 영역에 대한 특징값을 기초로 검출된 것으로, 엄밀하게는 입술 영역의 특징에 기초하여 발화 중일 확률이 높은 구간으로 추정된 구간이다. 디바이스(100)는 실제 음향 신호를 참조하여, 영상의 입술 영역의 특징값에 기초하여 검출된 음성 구간을 수정 변환할 수 있다.
이하 도 11 내지 도 12를 참조하여, 입술 움직임에 기초하여 음성 구간을 검출하는 또 다른 방법에 대하여 더 자세히 설명하기로 한다.
도 11은 일 실시 예에 의한 입술 움직임에 기초하여 음성 구간을 검출하는 방법을 나타낸 순서도이다.
도 11을 참조하면, 단계 S1101에서, 디바이스(100)는 영상에서 입술이 존재하는 영역을 검출할 수 있다. 예를 들면, 디바이스(100)는 얼굴 영역을 검출하고, 얼굴 영역에서 눈을 검출하여, 눈과 입의 기하학적 위치 정보를 기반으로 입술 영역을 검출할 수 있다. 또 다른 방법으로, 디바이스(100)는 얼굴 영역을 검출하고, 검출된 얼굴 영역에서, YCbCr 색상 공간에서의 픽셀 값에 기초하여 입술 영역을 검출할 수 있다.
단계 S1103에서, 디바이스(100)는 단계 S1101에서 검출된 입술 영역에 포함된 각 픽셀에 대하여 움직임 정보를 획득할 수 있다. 각 픽셀의 움직임 정보는 이하 수학식 8과 같이 각 픽셀에 대한 움직임 벡터값을 포함할 수 있다. vx(i, j)와 vy(i, j)는 mXn　사이즈의 입술　영역의　영상의　픽셀 (i, j) 위치에서 x, y방향에 대한 속도 값을 나타낸다.
수학식 8
Figure PCTKR2015002654-appb-M000008
예를 들면, 디바이스(100)는 인접 영상의 픽셀값을 이용하여 현재 영상의 각 픽셀에 대한 움직임 정보를 획득할 수 있다. 디바이스(100)는 연속된 영상에서 각 픽셀의 움직임을 속도 벡터로 나타내기 위하여 옵티컬 플로우(optical flow) 방법을 이용할 수 있다.　옵티컬　플로우　방법을　이용하여，디바이스(100)는 연속된 두 영상에서 가장 비슷한 블록을 찾음으로써, 각 픽셀의 움직임을 속도 벡터로 획득할 수 있다.
디바이스(100)는 옵티컬 플로우를 이용하여 각 픽셀의 움직임 정보를 획득하는 경우, 시간상으로 인접한 두 영상에서의 픽셀값을 기준으로 움직임 정보를 획득할 수 있다. 따라서, 디바이스(100)는 조도 변화가 다양한 환경에서도 강인하게 움직임 정보를 획득할 수 있다.
단계 S1105에서, 디바이스(100)는 단계 S1101에서 검출된 입술 영역에 대하여 분할된 영역이 서로 대칭되도록 분할할 수 있다.
입술은 상하 또는 좌우 방향으로 대칭되는 특성이 있으며, 입술의 움직임 역시 상하 또는 좌우 방향으로 대칭된다는 특성이 있다. 입술이 고정되어 있고, 얼굴이 움직이는 상황에서 입술이 움직이지 않음에도 입술 영역에 대해 움직임 정보가 존재하므로, 입술 움직임에 대한 특징값 추출 시 에러가 발생될 수 있다. 따라서, 디바이스(100)는 입술 움직임 정보의 대칭성을 이용하여 입술 움직임의 특징값을 구할 수 있다.
단계 S1107에서, 디바이스(100)는 단계 S1105에서 분할된 각 영역에서의 움직임 정보가 차이값을 이용하여 입술 움직임의 특징값을 획득할 수 있다. 예를 들면, 디바이스(100)는 수학식 9와 같이 입술 움직임의 특징값 E를 획득할 수 있다.
수학식 9
Figure PCTKR2015002654-appb-M000009
입술 움직임의 특징값 E는 분할된 영역에 각각 포함된 움직임 벡터 값의 차이에 기초하여 획득될 수 있다. 따라서, 특징값 E는 얼굴 움직임과 같이 각 영역에 포함된 동일 방향의 움직임 벡터 값은 상쇄되고, 입술 움직임과 같이 반대 방향의 움직임 벡터 값만 존재할 수 있다.
단계 S1109에서, 디바이스(100)는 단계 S1107에서 획득된 특징값에 기초하여 음성 구간을 검출할 수 있다.
예를 들면, 디바이스(100)는 상술된 x(n) 값과 같이 인접 영상과의 특징값 차이를 입술 움직임의 특징값으로 재결정할 수 있다. 또한, 디바이스(100)는 입술 움직임의 특징값에 대하여, 에지 검출 필터를 적용함으로써, 잡음으로 인한 에러 발생을 최소화할 수 있다. 그리고, 디바이스(100)는 상술한 상태 천이 모델을 이용하여 음성 구간을 검출할 수 있다.
도 12는 일 실시 예에 의한 입술 영역을 분할하는 일 예를 나타낸 예시 도면이다.
도 12의 1210을 참조하면, 디바이스(100)는 좌우 방향으로 입술 영역을 분할하고, 각 픽셀의 x방향의 벡터 값 간 차이에 기초하여 특징값 E를 구할 수 있다. 또한, 1220을 참조하면, 디바이스(100)는 상하 방향으로 입술 영역을 분할하고, 각 픽셀의 y방향의 벡터 값 간 차이에 기초하여 특징값 E를 구할 수 있다.
도 13은 일 실시 예에 의한 입술 움직임에 기초하여 음성 구간을 검출하는 디바이스의 내부 구조를 나타낸 블록도이다.
일 실시 예에 의한 디바이스(1300)는 음성 인식을 수행할 수 있는 단말 장치일 수 있으며, 예를 들면, 스마트 TV(television), UHD(ultra high definition) TV, 모니터, PC(Personal Computer), 노트북 컴퓨터, 휴대폰(mobile phone), 태블릿 PC, 내비게이션(navigation) 단말기, 스마트폰(smart phone), PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 및 디지털방송 수신기를 포함할 수 있다.
도 13을 참조하면, 디바이스(1300)는 수신부(1310) 및 제어부(1320)를 포함할 수 있다.
수신부(1310)는 음성 구간을 검출하기 위한 사용자의 입술 영역을 포함하는 영상을 획득할 수 있다. 수신부(1310)는 디바이스(1300)에 구비된 촬영 장치 또는 외부 장치로부터 입술 영역을 포함하는 영상을 획득할 수 있다. 더하여, 수신부(1310)는 디바이스(1300)에서 검출된 음성 구간에 기초하여 음성 인식을 수행하기 위한 사용자의 음성을 포함하는 음향 신호를 더 획득할 수 있다. 디바이스(1300)는 입술 영역을 포함하는 영상에 기초하여 음성 구간이 존재할 것으로 판단되는 구간을 추정하고, 추정된 음성 구간에 기초하여, 음향 신호에 포함된 사용자의 음성에 대하여 음성 인식을 수행할 수 있다.
제어부(1320)는 수신부(1310)에 의해 수신된 입술 영역이 포함된 다수의 영상에 기초하여 음성 구간을 검출할 수 있다. 예를 들면, 제어부(1320)는 영상으로부터 입술 영역을 검출하고, 입술 영역 내 픽셀들 간 픽셀값의 차이에 기초하여 각 영상의 입술 움직임에 대한 특징값을 획득할 수 있다. 제어부(1320)는 주변 픽셀들 간의 픽셀값의 차이에 기초하여 획득한 각 픽셀을 기준으로 한 분산값을 구하고, 임계값으로 설정된 T 값보다 큰 분산 값을 가지는 픽셀들의 개수인 LVH 값을 구할 수 있다.
더하여, 제어부(1320)는 발화 중일 때, 입술이 짧은 시간동안 계속 닫혔다 열리는 동작을 지속하는 점을 고려하여, 인접한 영상간 LVH 값의 차이값을 입술 움직임의 특징값으로 결정할 수 있다.
또는, 제어부(1320)는 입술 영역에 포함된 각 픽셀에 대한 움직임 정보에 기초하여 입술 움직임에 대한 특징값을 획득할 수 있다. 제어부(1320)는 임술 움직임에 대한 특징값에 기초하여, 상태 천이 모델을 이용하여 영상으로부터 음성 구간을 검출할 수 있다. 각 픽셀에 대한 움직임 정보는 옵티컬 플로우 방법에 따라 획득될 수 있다. 제어부(1320)는 입술 영역이 서로 대칭되도록 분할된 각 영역에서의 움직임 정보의 차이값에 기초하여 입술 움직임에 대한 특징값을 획득할 수 있다.
더하여, 제어부(1320)는 검출된 음성 구간과 대응되는 음향 신호에 대하여 음성 인식을 수행할 수 있다. 제어부(1320)는 사용자의 음성이 포함되어 있는 것으로 판단되는 음향 신호에 대하여 음성 인식을 수행함으로써, 잡음으로 인한 오인식을 최소화할 수 있다.
일 실시 예에 의하면, 실내 조명 변화 및 얼굴 움직임과 같은 환경 변화에 강인한 입술 움직임의 특징값에 기초하여 영상에 기반한 음성 구간을 검출할 수 있다.
일부 실시 예에 의한 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
비록 상기 설명이 다양한 실시예들에 적용되는 본 발명의 신규한 특징들에 초점을 맞추어 설명되었지만, 본 기술 분야에 숙달된 기술을 가진 사람은 본 발명의 범위를 벗어나지 않으면서도 상기 설명된 장치 및 방법의 형태 및 세부 사항에서 다양한 삭제, 대체, 및 변경이 가능함을 이해할 것이다. 따라서, 본 발명의 범위는 상기 설명에서보다는 첨부된 특허청구범위에 의해 정의된다. 특허청구범위의 균등 범위 안의 모든 변형은 본 발명의 범위에 포섭된다.

Claims (15)

  1. 음성 구간을 검출하는 방법에 있어서,
    적어도 하나의 영상에서 입술이 존재하는 영역을 검출하는 단계;
    상기 검출된 영역에 포함된 픽셀값 들간 차이에 기초하여, 상기 검출된 영역의 입술 움직임에 대한 특징값을 획득하는 단계;
    상기 특징값에 기초하여, 상기 적어도 하나의 영상으로부터 상기 음성 구간을 검출하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 특징값을 획득하는 단계는
    기준 픽셀 및 상기 기준 픽셀의 주변 픽셀들의 평균값을 획득하는 단계;
    상기 평균값과 상기 기준 픽셀 및 주변 픽셀 간 차이값에 기초하여 상기 특징 값을 획득하는 단계를 포함하는, 방법.
  3. 제1항에 있어서, 상기 특징값을 획득하는 단계는
    상기 각 픽셀 및 주변 픽셀들에 대한 대표값과 상기 주변 픽셀 간 차이에 기초하여, 상기 각 픽셀의 분산 값을 획득하는 단계;
    상기 각 픽셀의 분산값에 기초하여, 상기 적어도 하나의 영상의 특징값을 획득하는 단계를 포함하는, 방법.
  4. 제1항에 있어서, 상기 특징값을 획득하는 단계는
    상기 차이가 미리 설정된 임계값보다 큰 픽셀의 개수를 상기 적어도 하나의 영상에 대하여 획득하는 단계;
    상기 영상의 이전 영상 또는 이후 영상 간에 상기 획득된 픽셀 수의 차이를 상기 영상의 특징값으로 획득하는 단계를 포함하는, 방법.
  5. 제1항에 있어서, 상기 음성 구간을 검출하는 단계는
    상기 특징값이 제1 임계값보다 커지면, 상기 특징값의 시점을 음성 구간의 시작점으로 결정하는 단계;
    상기 특징값이 상기 제1 임계값보다 작아지면, 카운트 값을 0으로 설정하는 단계;
    상기 특징값이 상기 제1 임계값보다 작아진 시점부터 상기 특징값이 상기 제1 임계값 및 제2 임계값 사이에 존재하는 동안, 상기 카운트 값을 시간이 경과함에 따라 증가시키는 단계;
    상기 카운트 값이 미리 설정된 갭(gap) 크기보다 커진 시점을 상기 음성 구간의 종료점으로 결정하는 단계를 포함하는, 방법.
  6. 음성 구간을 검출하는 방법에 있어서,
    적어도 하나의 영상에서 입술이 존재하는 영역을 검출하는 단계;
    상기 검출된 영역에 포함된 각 픽셀에 대한 움직임 정보를 획득하는 단계;
    분할된 영역이 서로 대칭되도록 상기 검출된 영역을 분할하는 단계;
    상기 분할된 영역의 움직임 정보의 차이값에 기초하여, 상기 검출된 영역의 입술 움직임에 대한 특징값을 상기 적어도 하나의 영상에 대하여 획득하는 단계;
    상기 적어도 하나의 영상의 특징값에 기초하여, 상기 음성 구간을 검출하는 단계를 포함하는, 방법.
  7. 제6항에 있어서, 상기 움직임 정보를 획득하는 단계는
    옵티컬 플로우 방법을 이용하여 상기 각 픽셀에 대한 움직임 정보를 획득하는 단계를 포함하는, 방법.
  8. 음성 구간을 검출하는 디바이스에 있어서,
    사용자의 얼굴을 포함하는 적어도 하나의 영상을 수신하는 수신부;
    상기 적어도 하나의 영상에서 입술이 존재하는 영역을 검출하고, 상기 검출된 영역에 포함된 픽셀 값들간 차이에 기초하여, 상기 검출된 영역의 입술 움직임에 대한 특징값을 획득하고, 상기 특징값에 기초하여, 상기 적어도 하나의 영상으로부터 상기 음성 구간을 검출하고, 상기 검출된 음성 구간과 대응되는 음향 신호에 기초하여, 음성 인식을 수행하는 제어부를 포함하는 디바이스.
  9. 제8항에 있어서, 상기 제어부는
    기준 픽셀 및 상기 기준 픽셀의 주변 픽셀들의 평균값을 획득하고, 상기 평균값과 상기 기준 픽셀 및 주변 픽셀 간 차이값에 기초하여 상기 특징 값을 획득하는, 디바이스.
  10. 제8항에 있어서, 상기 제어부는
    상기 각 픽셀 및 주변 픽셀들에 대한 대표값과 상기 주변 픽셀 간 차이에 기초하여, 상기 각 픽셀의 분산 값을 획득하고, 상기 각 픽셀의 분산값에 기초하여, 상기 적어도 하나의 영상의 특징값을 획득하는, 디바이스.
  11. 제8항에 있어서, 상기 제어부는
    상기 각 픽셀 및 주변 픽셀들에 대한 대표값과 상기 주변 픽셀 간 차이에 기초하여, 상기 각 픽셀의 분산 값을 획득하고, 상기 각 픽셀의 분산값에 기초하여, 상기 적어도 하나의 영상의 특징값을 획득하는, 디바이스.
  12. 제8항에 있어서, 상기 제어부는
    상기 특징값이 제1 임계값보다 커지면, 상기 특징값의 시점을 음성 구간의 시작점으로 결정하고, 상기 특징값이 상기 제1 임계값보다 작아지면, 카운트 값을 0으로 설정하고, 상기 특징값이 상기 제1 임계값보다 작아진 시점부터 상기 특징값이 상기 제1 임계값 및 제2 임계값 사이에 존재하는 동안, 상기 카운트 값을 시간이 경과함에 따라 증가시키고, 상기 카운트 값이 미리 설정된 갭(gap) 크기보다 커진 시점을 상기 음성 구간의 종료점으로 결정하는, 디바이스.
  13. 음성 구간을 검출하는 디바이스에 있어서,
    사용자의 얼굴을 포함하는 적어도 하나의 영상을 수신하는 수신부;
    상기 적어도 하나의 영상에서 입술이 존재하는 영역을 검출하고, 상기 검출된 영역에 포함된 각 픽셀에 대한 움직임 정보를 획득하고, 분할된 영역이 서로 대칭되도록 상기 검출된 영역을 분할하고, 상기 분할된 영역의 움직임 정보의 차이값에 기초하여, 상기 검출된 영역의 입술 움직임에 대한 특징값을 상기 적어도 하나의 영상에 대하여 획득하고, 상기 적어도 하나의 영상의 특징값에 기초하여, 상기 음성 구간을 검출하고, 상기 검출된 음성 구간과 대응되는 음향 신호에 기초하여 음성 인식을 수행하는 제어부를 포함하는 디바이스.
  14. 제13항에 있어서, 상기 제어부는
    옵티컬 플로우 방법을 이용하여 상기 각 픽셀에 대한 움직임 정보를 획득하는, 디바이스.
  15. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
PCT/KR2015/002654 2015-03-19 2015-03-19 영상 정보를 기반으로 음성 구간을 검출하는 방법 및 장치 WO2016148322A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2015/002654 WO2016148322A1 (ko) 2015-03-19 2015-03-19 영상 정보를 기반으로 음성 구간을 검출하는 방법 및 장치
US15/557,378 US10923126B2 (en) 2015-03-19 2015-03-19 Method and device for detecting voice activity based on image information
KR1020177015391A KR102351497B1 (ko) 2015-03-19 2015-03-19 영상 정보를 기반으로 음성 구간을 검출하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2015/002654 WO2016148322A1 (ko) 2015-03-19 2015-03-19 영상 정보를 기반으로 음성 구간을 검출하는 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2016148322A1 true WO2016148322A1 (ko) 2016-09-22

Family

ID=56918907

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/002654 WO2016148322A1 (ko) 2015-03-19 2015-03-19 영상 정보를 기반으로 음성 구간을 검출하는 방법 및 장치

Country Status (3)

Country Link
US (1) US10923126B2 (ko)
KR (1) KR102351497B1 (ko)
WO (1) WO2016148322A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020073403A1 (zh) * 2018-10-08 2020-04-16 清华大学 静默语音输入辨识方法、计算装置和计算机可读介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102111762B1 (ko) * 2018-06-04 2020-05-15 에스케이텔레콤 주식회사 음성 수집 장치 및 방법
CN110648667B (zh) * 2019-09-26 2022-04-08 云南电网有限责任公司电力科学研究院 多人场景人声匹配方法
US11348253B2 (en) * 2020-01-09 2022-05-31 Alibaba Group Holding Limited Single-channel and multi-channel source separation enhanced by lip motion
CN113345472B (zh) * 2021-05-08 2022-03-25 北京百度网讯科技有限公司 语音端点检测方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100820141B1 (ko) * 2005-12-08 2008-04-08 한국전자통신연구원 음성 구간 검출 장치 및 방법 그리고 음성 인식 시스템

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100296122B1 (ko) * 1998-12-08 2001-08-07 이계철 움직임벡터를이용한움직임추적시스템및그방법과그기록매체
US7860718B2 (en) * 2005-12-08 2010-12-28 Electronics And Telecommunications Research Institute Apparatus and method for speech segment detection and system for speech recognition
EP3594853A3 (en) * 2007-05-03 2020-04-08 Sony Deutschland GmbH Method for detecting moving objects in a blind spot region of a vehicle and blind spot detection device
JP2009077362A (ja) * 2007-08-24 2009-04-09 Sony Corp 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
JP5047005B2 (ja) * 2008-02-29 2012-10-10 キヤノン株式会社 画像処理方法、パターン検出方法、パターン認識方法及び画像処理装置
KR20100056143A (ko) * 2008-11-19 2010-05-27 (주)투미르 영역별 처리기법을 이용한 동작객체 검출방법
US8351699B2 (en) * 2008-12-18 2013-01-08 Accusoft Corporation Methods and apparatus for auto image binarization
CN102405463B (zh) 2009-04-30 2015-07-29 三星电子株式会社 利用多模态信息的用户意图推理装置及方法
KR101581883B1 (ko) 2009-04-30 2016-01-11 삼성전자주식회사 모션 정보를 이용하는 음성 검출 장치 및 방법
US8649612B1 (en) * 2010-01-06 2014-02-11 Apple Inc. Parallelizing cascaded face detection
KR101353936B1 (ko) * 2012-03-26 2014-01-27 서강대학교산학협력단 음성 인식 장치 및 음성 인식 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100820141B1 (ko) * 2005-12-08 2008-04-08 한국전자통신연구원 음성 구간 검출 장치 및 방법 그리고 음성 인식 시스템

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KIM, GI BAK ET AL.: "Voice Activity Detection using Motion and Variation of Intensity in The Mouth Region", JOURNAL OF BROADCAST ENGINEERING, vol. 17, no. 3, May 2012 (2012-05-01), pages 519 - 528, XP055251371, Retrieved from the Internet <URL:http://www.dbpia.co.kr/Article/NODE01874017> *
KIM, JIN - BUM ET AL.: "An Efficient Lipreading Method Based on Lip's Symmetry", JOURNAL OF THE INSTITUTE OF ELECTRONICS ENGINEERS OF KOREA, vol. 37, no. 5, September 2000 (2000-09-01), pages 105 - 114, Retrieved from the Internet <URL:http://www.dbpia.co.kr/Articte/NODE00405304> *
LEE, DONG - KEUN ET AL.: "A Speech Recognition System based on a New Endpoint Estimation Method jointly using Audio/Video Informations", JOURNAL OF BROADCAST ENGINEERING, vol. 8, no. 2, June 2003 (2003-06-01), pages 198 - 203, Retrieved from the Internet <URL:http://www.dbpia.co.kr/Article/NODE00835074> *
LEE, KYUNG SUN ET AL.: "Visual Voice Activity Detection using Lip Motion and Direction in Vehicle Environment", THE 2013 FALL CONFERENCE OF INSTITUTE OF ELECTIONICS AND INFORMATION ENGINEERS., November 2013 (2013-11-01), pages 646 - 647, Retrieved from the Internet <URL:http://www.dbpia.co.kr/Acticle/NODE02341511> *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020073403A1 (zh) * 2018-10-08 2020-04-16 清华大学 静默语音输入辨识方法、计算装置和计算机可读介质

Also Published As

Publication number Publication date
US20180247651A1 (en) 2018-08-30
KR20170129676A (ko) 2017-11-27
US10923126B2 (en) 2021-02-16
KR102351497B1 (ko) 2022-01-14

Similar Documents

Publication Publication Date Title
WO2016148322A1 (ko) 영상 정보를 기반으로 음성 구간을 검출하는 방법 및 장치
US10740598B2 (en) Multi-modal emotion recognition device, method, and storage medium using artificial intelligence
KR100820141B1 (ko) 음성 구간 검출 장치 및 방법 그리고 음성 인식 시스템
US10109277B2 (en) Methods and apparatus for speech recognition using visual information
WO2019031714A1 (ko) 객체를 인식하는 방법 및 장치
WO2016163755A1 (ko) 품질 측정 기반의 얼굴 인식 방법 및 장치
WO2012036424A2 (en) Method and apparatus for performing microphone beamforming
WO2014069822A1 (en) Apparatus and method for face recognition
JP2011123529A (ja) 情報処理装置、情報処理方法、およびプログラム
WO2021091021A1 (ko) 화재 검출 시스템
WO2013048159A1 (ko) 아다부스트 학습 알고리즘을 이용하여 얼굴 특징점 위치를 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
WO2015023076A1 (en) Method of capturing iris image, computer-readable recording medium storing the method, and iris image capturing apparatus
US10964326B2 (en) System and method for audio-visual speech recognition
WO2023282520A1 (ko) 목소리 개인정보 보호 기술을 이용한 학습 데이터베이스 구축 방법 및 시스템
WO2018097620A1 (ko) 이상 음원 감지 방법 및 이를 수행하기 위한 장치
JP2009059073A (ja) 撮影装置、撮影方法、人物認識装置および人物認識方法
US20230095526A1 (en) Target speaker mode
CA3057939A1 (en) Method that redacts zones of interest in an audio file using computer vision and machine learning
KR20100118368A (ko) 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법
US11107476B2 (en) Speaker estimation method and speaker estimation device
WO2023080667A1 (ko) Ai 기반 객체인식을 통한 감시카메라 wdr 영상 처리
WO2020230921A1 (ko) 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 방법 및 이를 적용한 식별장치와 로봇
WO2020080626A1 (ko) 동물 종 식별 방법 및 장치
WO2022050622A1 (ko) 디스플레이장치 및 그 제어방법
WO2013147374A1 (ko) 멀티 채널 분석을 이용한 비디오 스트림 분석 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15885625

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20177015391

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15557378

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15885625

Country of ref document: EP

Kind code of ref document: A1