WO2006087791A1 - 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム - Google Patents

画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム Download PDF

Info

Publication number
WO2006087791A1
WO2006087791A1 PCT/JP2005/002468 JP2005002468W WO2006087791A1 WO 2006087791 A1 WO2006087791 A1 WO 2006087791A1 JP 2005002468 W JP2005002468 W JP 2005002468W WO 2006087791 A1 WO2006087791 A1 WO 2006087791A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image processing
detection target
value
processing system
Prior art date
Application number
PCT/JP2005/002468
Other languages
English (en)
French (fr)
Inventor
Hisao Ito
Kozo Baba
Akiyoshi Tafuku
Masatoshi Tohno
Taku Katagiri
Original Assignee
Fujitsu Limited
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Limited filed Critical Fujitsu Limited
Priority to PCT/JP2005/002468 priority Critical patent/WO2006087791A1/ja
Priority to JP2007503531A priority patent/JP4397414B2/ja
Priority to CN2005800484530A priority patent/CN101124612B/zh
Publication of WO2006087791A1 publication Critical patent/WO2006087791A1/ja
Priority to US11/889,994 priority patent/US7991202B2/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/162Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Definitions

  • Image processing method image processing system, image processing apparatus, and computer program
  • the present invention relates to an image processing method using an image processing apparatus that detects a specific detection target from an image including a plurality of pixels arranged in two dimensions, an image processing system to which the image processing method is applied, BACKGROUND OF THE INVENTION 1.
  • the present invention relates to an image processing apparatus used in an image processing system and a computer program for realizing the image processing apparatus, and particularly to an image processing method, an image processing system, an image processing apparatus, and a computer program for improving detection accuracy of a detection target.
  • the illuminance on the driver's face during driving is not constant because the situation where the outside light such as the sun goes into the driver's face in the vehicle is complicated, but the image obtained by imaging the driver's face Some adjustments are made by the auto gain function of the in-vehicle camera to keep the brightness of the camera constant.
  • Patent Document 1 JP 2004-234367 A
  • the present invention has been made in view of such circumstances, and data based on the result of second-order differentiation and second-order differentiation of pixels arranged in the first direction of an image obtained by processing such as imaging.
  • detecting the position of the detection target, such as the driver's face shown in the image based on the result of accumulating in a second direction different from the first direction, for example, only part of the face is exposed to sunlight.
  • An image processing method capable of accurately detecting the position of a face to be detected even when a partial change occurs, an image processing system to which the image processing method is applied, and an image used in the image processing system It is an object of the present invention to provide a processing apparatus and a computer program for realizing the image processing apparatus.
  • An image processing method is an image processing method that uses an image processing apparatus that detects a specific detection target from an image including a plurality of pixels arranged two-dimensionally. Pixels aligned in one direction are second-order differentiated, and the data based on the second-order derivative is accumulated in a second direction different from the first direction, and the position of the detection target in the first direction in the image is determined based on the accumulated result. It is characterized by detecting.
  • the detection target is a driver's face obtained by imaging with an imaging device such as an in-vehicle camera
  • the driver's face is influenced by the influence of outside light such as the western sun inserted into the vehicle.
  • outside light such as the western sun inserted into the vehicle.
  • An image processing system is an image processing system including an image processing device that detects a specific detection target from an image including a plurality of pixels arranged in two dimensions. Means for second-order differentiation of pixels, means for summing data based on the result of second-order differentiation in a second direction different from the first direction, and position of the detection target in the first direction in the image based on the summation result And detecting means for detecting. [0008]
  • the edge of the detection target can be highlighted, and the position of the detection target in the first direction is detected by integrating in the second direction.
  • the edge in the first direction can be detected with high accuracy.
  • the detection target force is a driver's face obtained by imaging with an imaging device such as an in-vehicle camera, even if there is a local change in illuminance on the driver's face, detection of the face contour, etc. It is possible to detect the edge of the object with high accuracy.
  • An image processing system is an image processing system including an image processing device that detects a specific detection target from an image including a plurality of pixels arranged in two dimensions.
  • a detecting means for detecting the position of the detection target in the image in the first direction based on the result of the integration.
  • the present invention by using the second-order differential image, it is possible to highlight the edge of the detection target. For example, by integrating the number of specific points with high possibility of the edge in the second direction, It is possible to improve the accuracy of detecting the position of the edge in the first direction.
  • the detection target is a driver's face obtained by imaging by an imaging device such as an in-vehicle camera, even when a local illuminance change occurs on the driver's face, the second derivative image Therefore, it is possible to accurately detect the edge of the detection target such as the contour of the face while suppressing adverse effects due to local changes in illuminance.
  • An image processing system is characterized in that, in the third invention, the specific point is a minimum point obtained from a result of second-order differentiation of a change in luminance of the pixel in the first direction. .
  • the minimum point obtained as a result of the second derivative that changes the state of change in luminance is set as the specific point, for example, a driver whose detection target is obtained by imaging with an imaging device such as an in-vehicle camera. Even if the illuminance of the driver's face is not uniform, the contour of the face that is the boundary between the background and the face can be detected as a specific point where the change in brightness changes. Therefore, it is possible to detect the detection target with high accuracy.
  • An image processing system is the third aspect or the fourth aspect, in the first direction.
  • a position that is considered to be near the center of the detection target from the previous detection result is set as a reference point, the position where the integrated value of the number of specific points is the maximum value, and the integrated value is, for example, the maximum value.
  • An image processing system is an image processing system including an image processing device that detects a specific detection target from an image including a plurality of pixels arranged two-dimensionally.
  • Second derivative means for secondarily differentiating the luminance of the pixel for each column of pixels, integration means for integrating the second derivative value of each column in a second direction different from the first direction, and in the image based on the result of integration Detecting means for detecting the position of the detection target in the first direction.
  • the edge of the detection target can be emphasized, and for example, the second derivative value of the luminance having a high possibility of the edge is integrated in the second direction.
  • the detection target is a driver's face obtained by imaging with an imaging device such as an in-vehicle camera, even when a local illuminance change occurs on the driver's face, Since it is a partial image, it is possible to accurately detect the edge of the detection target, such as the contour of the face, while suppressing adverse effects caused by local changes in illuminance.
  • An image processing system is characterized in that, in the sixth invention, the second-order differentiation means is a two-dimensional Laplacian filter process.
  • the edge of the detection target stands out, and it is possible to perform second-order differentiation processing suitable for detecting the position of the detection target.
  • An image processing system is the image processing system according to the sixth aspect or the seventh aspect, wherein the second derivative value is calculated based on the frequency distribution of the second derivative value after the second derivative by the second derivative means.
  • the second derivative value corresponding to the position of 30% of the frequencies distributed in the upper part should be extracted to extract 30% pixels having a high value.
  • the reference value is determined, and the second derivative values of pixels having a second derivative value equal to or higher than the decided reference value, that is, 30% pixels having a higher value, are converted into a predetermined value, for example, an upper limit value.
  • a high value of the second derivative value is emphasized, so that the edge can be made to stand out and the detection accuracy of the edge to be detected can be improved.
  • the image processing system according to the ninth invention is the image processing system according to any one of the second to eighth inventions, further comprising means for reducing the original image to generate an image for secondary differentiation before the secondary differentiation. It is characterized by providing.
  • the processing load is large, the amount of secondary differentiation processing can be reduced, the processing load can be reduced, and the processing speed can be increased. Is possible.
  • An image processing system is the image processing system according to any one of the second to ninth aspects, further comprising an imaging device that generates the image, wherein the detection target is a person imaged by the imaging device. It is a face, the first direction is a horizontal direction, the second direction is a vertical direction, and the position detected by the detecting means is a position of a horizontal contour of a person. To do.
  • the driver's face in the case of a driver's face obtained by imaging by an imaging device such as an in-vehicle camera, the driver's face is locally affected by the influence of external light such as the western sun inserted into the vehicle. It is possible to detect the horizontal contour, that is, the width of the facial contour with high accuracy even when there is a general change in illumination.
  • An image processing device is an image processing device that detects a specific detection target from an image including a plurality of pixels arranged two-dimensionally. Means for differentiating, means for accumulating data based on the second-order differentiated result in a second direction different from the first direction, means for detecting the position of the detection target in the first direction in the image based on the accumulated result, It is characterized by providing.
  • the edge (edge) of the detection target is highlighted.
  • the edge in the first direction can be detected with high accuracy.
  • the detection target force is a driver's face obtained by imaging with an imaging device such as an in-vehicle camera, even if there is a local change in illuminance on the driver's face, detection of the face contour, etc. It is possible to detect the edge of the object with high accuracy.
  • a computer program is a computer program that causes a computer to detect a specific detection target from image data indicating an image including a plurality of pixels arranged two-dimensionally.
  • the second order differentiation of the pixels aligned in the first direction of the image indicated by the step, the step of causing the computer to integrate the data based on the result of the second order differentiation in the second direction different from the first direction, and the step of integrating the computer And a procedure for detecting the position of the detection target in the first direction in the image based on the result.
  • the computer operates as an image processing apparatus by using a second derivative image by being executed by a computer such as an in-vehicle computer to which an imaging apparatus such as an in-vehicle camera is connected.
  • the edge of the detection target can be prominent, and the edge in the first direction can be detected with high accuracy by integrating in the second direction and detecting the position of the detection target in the first direction. For example, even if the detection target is a driver's face obtained by imaging with an imaging device such as an in-vehicle camera and the local illuminance change occurs on the driver's face, It is possible to accurately detect the edge of the detection target.
  • An image processing method, an image processing system, an image processing apparatus, and a computer program according to the present invention include, for example, an image obtained by capturing an image of a driver's face with an imaging device such as an in-vehicle camera mounted on a vehicle. This is applied to a system that detects the driver's face as a detection target, and second-order differentiation of the brightness of pixels aligned in the first direction of the image in the horizontal direction etc. Accumulate in two directions, and detect the position of the detection target in the first direction in the image based on the accumulated result.
  • the driver's face is not affected by the influence of external light such as the western sun inserted into the vehicle. Even when there is a local change in illuminance, a secondary sub-image that is not easily affected by the change in illuminance is used, so the position of the edge of the detection target, such as the width of the face outline, can be detected with high accuracy. It is possible.
  • the image processing system of the present invention detects a specific point such as a minimum point based on the result of second-order differentiation in the first direction, and sets the number of positions of the detected specific point to the second number. For example, a position that is considered to be near the center of the detection target from the previous detection result is set as a reference point, and the position where the integrated value of the specific point is the maximum value and the integrated value is, for example, the maximum value.
  • the detection target is detected based on the position of 1Z2.
  • the edge of the detection target can be made to stand out.
  • the detection target is a driver's face obtained by imaging with an imaging device such as an in-vehicle camera.
  • an imaging device such as an in-vehicle camera.
  • the adverse effects of local changes in illuminance are suppressed and the detection of facial contours, etc.
  • There are excellent effects such as being able to accurately detect the edge.
  • the force is also the result of the second derivative that changes the brightness change situation. By setting the minimum point obtained as a specific point, the brightness change situation changes even when the illuminance of the driver's face is not uniform.
  • the image processing system of the present invention has a frequency distribution of second-order differential values obtained by second-order differentiation of pixel luminance in the first direction by second-order differentiation processing such as two-dimensional Laplacian filter processing. Based on the histogram indicating, for example, 30% of the pixels whose secondary differential value has a high value are extracted from the whole. After the partial value is determined as a reference value, the second derivative value of a pixel having a second derivative value equal to or higher than the determined reference value, that is, 30% of pixels having a higher value is converted into a predetermined value, for example, an upper limit value. Integration is performed in the second direction, and the detection target is detected based on the integration result.
  • second-order differentiation processing such as two-dimensional Laplacian filter processing.
  • the edge of the detection target can be emphasized.
  • the detection target is a driver's face obtained by imaging with an imaging device such as an in-vehicle camera.
  • an imaging device such as an in-vehicle camera.
  • the adverse effects of local changes in illuminance are suppressed and the detection of facial contours, etc.
  • There are excellent effects such as being able to accurately detect the edge.
  • 30% of pixels that have a high second derivative value that value is converted to the upper limit value, so that the higher second derivative value is emphasized, and the edge can be made to stand out.
  • FIG. 1 is a block diagram showing a configuration example of an image processing system in Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart showing processing of an image processing device used in the image processing system in Embodiment 1 of the present invention.
  • FIG. 3 is an explanatory diagram conceptually showing an example of processing from image extraction to reference point and detection range setting in the image processing system according to Embodiment 1 of the present invention.
  • FIG. 4 is an explanatory diagram showing an example of a horizontal distribution of luminance of an image in the image processing system according to Embodiment 1 of the present invention.
  • FIG. 5 is a graph showing an example of a distribution of integrated values of minimum points of luminance of an image in the image processing system according to Embodiment 1 of the present invention.
  • FIG. 6 is an explanatory diagram conceptually showing an example of a detection result of a detection target for an image of the image processing system in Embodiment 1 of the present invention.
  • FIG. 7 is a flowchart showing processing of an image processing device used in the image processing system in Embodiment 2 of the present invention.
  • FIG. 8 is an explanatory diagram conceptually showing an example of processing from image extraction to reference point and detection range setting in the image processing system in Embodiment 2 of the present invention.
  • FIG. 9 is an explanatory diagram showing an example of coefficients used for Laplacian filter processing of the image processing system in Embodiment 2 of the present invention.
  • FIG. 10 is an explanatory diagram showing an example of an image that has been subjected to Laplacian filter processing of the image processing system according to Embodiment 2 of the present invention.
  • FIG. 11 is a graph showing an example of distribution of integrated values of secondary differential values obtained by converting some values of the image processing system according to the second embodiment of the present invention.
  • FIG. 12 is a block diagram showing a configuration example of an image processing system in Embodiment 3 of the present invention.
  • FIG. 1 is a block diagram showing a configuration example of an image processing system according to Embodiment 1 of the present invention.
  • reference numeral 1 denotes an imaging device such as an in-vehicle camera mounted on a vehicle.
  • the imaging device 1 is connected to an image processing device 2 such as an in-vehicle computer that performs image processing using a communication line such as a dedicated cable, wired or wireless. It is connected by a communication network such as in-vehicle LAN (Local Area Network).
  • the imaging device 1 is disposed in front of the driver, such as a steering wheel and a dashboard in the vehicle, and the driver's face is imaged and the horizontal and vertical sides of the driver's face are imaged. The image is adjusted so that it can be imaged in the horizontal and vertical directions.
  • the imaging apparatus 1 includes an MPU (Micro Processor Unit) 11 that controls the entire apparatus, various computer programs and data (ROM) 12 that records data based on the control of the MPU 11, and recording on the ROM 12 RAM (Random Access Memory) 13 for storing various data temporarily generated when the computer program is executed, an imaging unit 14 configured using an imaging device such as a CCD (Charge Coupled Device), and an imaging unit 1 AZD transformation 15 that converts analog image data obtained by imaging 4 into digital data, a frame memory 16 that temporarily stores the image data digitally converted by AZD transformation 15, and an image processing device 2 is used for communication with the communication interface 17.
  • MPU Micro Processor Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the imaging unit 14 performs imaging processing continuously or intermittently, and generates, for example, 30 image data (image frames) per second based on the imaging processing to generate an AZD converter.
  • outputs to 15, in AZD converter 15 converts each pixel constituting the image into digital image data indicated by 256 gradations (LBY t e) tone etc., it is stored in the frame memory 16.
  • the image data stored in the frame memory 16 is output from the communication interface 17 to the image processing device 2 at a predetermined timing.
  • Each pixel constituting the image is two-dimensionally arranged, and the image data includes the position of each pixel indicated by a plane rectangular coordinate system, a so-called xy coordinate system, and the luminance of each pixel indicated as a gradation value. It contains data indicating.
  • the coordinates may be shown in the order in which they are arranged in the data rather than showing the coordinates in the xy coordinate system for each pixel.
  • the horizontal direction of the image corresponds to the X-axis direction of the image data
  • the vertical direction of the image corresponds to the y-axis direction of the image data.
  • the image processing apparatus 2 reads information from a CPU (Central Processing Unit) 21 that controls the entire apparatus and a recording medium 4 such as a CD-ROM that records various information such as the computer program 3 and data of the present invention. Temporarily generated when the auxiliary storage unit 22 such as a CD-ROM drive, the hard disk (hereinafter referred to as HD) 23 for recording various information read by the auxiliary storage unit 22, and the computer program 3 recorded on the HD 23 are executed.
  • a RAM 24 for storing various data, a frame memory 25 composed of a volatile memory, and a communication interface 26 used for communication with the imaging apparatus 1 are provided.
  • the in-vehicle computer operates as the image processing apparatus 2 of the present invention by reading various computer information 3 and various information such as data, storing them in the RAM 24, and executing various procedures included in the computer program 3 by the CPU 21.
  • the data recorded on the HD 23 includes various data such as data related to execution of the computer program 3, for example, detection range data described later.
  • the image data output from the imaging device 1 is received by the communication interface 26, the received image data is stored in the frame memory 25, and the image data stored in the frame memory 25 is read out.
  • Various image processing is performed.
  • the various types of image processing to be performed on the received image data are detection of the contour of the driver's face, which is the detection target (imaging target at the time of imaging), and identification of the positions of the eyes and nostrils from the image data.
  • This is a detection process related to an object, for example, a process described in documents such as Japanese Patent Application Laid-Open Nos. 2004-234494 and 2004-234367 filed by the applicant of the present application.
  • These image processes are not necessarily limited to the processes described in Japanese Patent Application Laid-Open No. 2004-234494 and Japanese Patent Application Laid-Open No. 2004-234367, but their use, hardware configuration, linkage with other application programs, etc. It is possible to select appropriately according to the conditions.
  • FIG. 2 is a flowchart showing processing of the image processing apparatus 2 used in the image processing system according to Embodiment 1 of the present invention.
  • the image processing device 2 extracts from the frame memory 25 the image data obtained by the imaging of the imaging device 1 and received via the communication interface 26 under the control of the CPU 21 that executes the computer program 3 stored in the RAM 24. Then (S101), a reference point in the pixel row arranged in the horizontal direction (first direction) of the image indicated by the extracted image data and a detection range are set (S102).
  • the set reference point is a point that is considered to have a high probability that the vertical center line of the driver's face to be detected exists, for example, the previous detection recorded in HD23 or stored in RAM24. Resulting power Predicted. However, the set reference point does not necessarily have to be on the center line of the face.
  • the vertical center line of the driver's face is indicated by the X coordinate indicating the vertical direction in the image indicated by the image data.
  • a point corresponding to the X coordinate is set as a reference point.
  • the detection range is a quadrangular area whose one side is highly likely to detect the detection target set in the image to detect the detection target and is parallel to the horizontal direction of the image, and the detection target is detected from the entire image. By narrowing down the range, the processing load to be detected can be reduced.
  • the CPU 21 controls to secondarily differentiate the luminance of the pixels by a predetermined calculation with respect to the pixel rows arranged in the horizontal direction of the image, with the reference point force also in the outward direction (S103). Based on the result of the secondary differentiation, the minimum point in each pixel row in the horizontal direction is detected (S104), and the position (X coordinate) of the detected minimum point is stored in the RAM 24 (S105). The detection and storage of the minimum point for the horizontal pixel row is performed for all the pixel rows within the image detection range. In the RAM 24, a local minimum distribution table for storing the detected local minimum points is formed. The local minimum distribution table may be formed in HD23 instead of RAM24!
  • the CPU 21 controls to integrate the minimum points of each pixel column stored in the minimum point distribution table formed in the RAM 24 in the vertical direction (second direction) (S106). Based on the result, the horizontal position (X coordinate) of the detection target is detected (S107).
  • the integration in step S 106 is a process of calculating the position (X coordinate) of the minimum point of each pixel column and calculating the number of minimum points for each position.
  • the horizontal position detected in step S107 is the position where the integrated value of the specific point is the maximum value on each side from the reference point, and the position where the integrated value is the maximum from the position where the maximum value is outside. This is the position where the value is 1Z2.
  • the position where the integrated value is the maximum on the left side, the position where the maximum value is 1Z2 outside the position, the position where the integrated value is maximum on the right side, the position The position where the maximum value is 1Z2 on the outside is detected as the horizontal position of the detection target.
  • the image processing apparatus 2 records the detected result in the HD 23 and / or stores it in the RAM 24, performs various image processing such as detection of the positions of eyes and nostrils based on the detected result, and based on the result. Perform driving support processing.
  • FIG. 3 shows reference points and detection from image extraction of the image processing system in Embodiment 1 of the present invention. It is explanatory drawing which shows the example of a process until the setting of a range notionally.
  • the outer frame indicated by the solid line is the entire image indicated by the image data extracted in step S101, and includes the image of the driver's face as the detection target!
  • the inner frame indicated by the alternate long and short dash line is the detection range set in step S102.
  • the horizontal thick line L in Fig. 3 shows the pixel rows arranged in the horizontal direction that make up the image, and the vertical dashed line is the center line C of the driver's face, and the intersection of the center line C and the pixel row Force The reference point set in step S102.
  • FIG. 4 is an explanatory diagram showing an example of the horizontal distribution of the luminance of the image in the image processing system according to Embodiment 1 of the present invention.
  • Fig. 4 (a) shows the luminance distribution of the pixels lined up horizontally at the position of the thick line in the image shown in Fig. 3, corresponding to the center line of the driver's face, that is, the nose. Center line C where the brightness of the position is high The brightness decreases as it goes outward.
  • the luminance distribution that becomes higher as it is closer to the imaging device 1 becomes more prominent when the lighting device is arranged near the imaging device 1.
  • the process of step S103 for secondarily differentiating the brightness of the pixel array distributed in this way is performed by the calculation using Equation 1 below.
  • step S104 a position (X coordinate) where the secondary differential value F (x, n) calculated by Equation 1 satisfies the following condition is detected as a minimum point.
  • Fig. 4 (b) the position of the minimum point detected on the pixel column based on the result of second-order differentiation of the luminance distribution shown in Fig. 4 (a) is indicated by an X mark.
  • the results of quadratic differentiation of the four points indicated as point a, point b, point c, and point d It is detected as a local minimum point.
  • Point a shown in Fig. 4 (a) is the contour of the face on the left side of Fig. 4
  • point b is the edge of the nose with the root of the nose
  • point c is the right side of Fig. 4.
  • the edge of the nose and the point d correspond approximately to the position of the facial contour, respectively.
  • the background force that is not the detection target face may also detect the minimum point. Therefore, the pixel brightness is second-order differentiated outward from the reference point, and if the result satisfies a predetermined condition, it is determined that the background is highly likely, and the second-order differentiation in the pixel row ends. To do.
  • the first condition is when the second minimum point is detected.
  • the minimum points are detected at the two points of the nose edge and the face contour as shown in FIG. 4 (a). Therefore, the third and subsequent points are judged to be the background.
  • the two points here are two points when second-order differentiation is performed from the reference point to one, and second-order differentiation is performed in the left and right directions, so a maximum of four minimum points can be detected for the entire pixel array. Will be.
  • the second condition is when the change in luminance value is less than the specified value.
  • the luminance is shown as a gradation value classified into 256 levels, if a pixel whose luminance difference from one pixel is 16 or less continues for 35 pixels from one pixel, it is determined as the background. It is.
  • the third condition is when the luminance value is below a predetermined threshold. When any one of the first condition, the second condition, and the third condition set in this way is satisfied, the second-order differentiation from the reference point to the one for the pixel row ends.
  • FIG. 5 is a graph showing an example of distribution of integrated values of luminance minimum points of the image processing system according to Embodiment 1 of the present invention.
  • FIG. 5 is a graph showing the result of integrating the minimum points detected in step S104 in step S106.
  • the horizontal axis corresponds to the horizontal direction of the image, and the vertical axis indicates the frequency of the minimum points.
  • the frequency distribution has a shape having peaks near the contours on both sides of the driver's face to be detected.
  • the position where the integrated value is the maximum is the position Lin
  • the position where the integrated value is the maximum value 1Z2 outside the maximum position force is the position Lout.
  • the position where the integrated value is the maximum value is the position Rin
  • the integrated value is 1 which is the maximum value outside the maximum position force.
  • the position that becomes Z2 is the position Rout.
  • FIG. 6 is an explanatory diagram conceptually showing an example of the detection result of the detection target for the image of the image processing system in Embodiment 1 of the present invention.
  • FIG. 6 shows the image of the driver's face as the detection target shown in FIG. 3 and the position detected based on the result of integration of the minimum points shown in FIG. Fig. 6 shows the position Lin, position Lout, position Rin, and position Rout detected based on the integrated result of the linear force minimum points in the vertical direction.
  • the four detected positions are It almost corresponds to the contour of the detection target. That is, as described in step S107, the horizontal position of the detection target, that is, the position of the contour of the driver's face as the detection target is also detected.
  • the various conditions shown in the first embodiment are merely examples, and can be set as appropriate according to the system configuration, purpose, and the like.
  • the horizontal position of the detection target is detected based on the position where the integrated value of the local minimum value is the maximum value and the position where the maximum value is 1Z2.
  • the position in the horizontal direction may be detected based not only on the position where the maximum value is reached but also on a value other than 1Z2, that is, a value set at a predetermined rate lower than the maximum value. You may do it.
  • Embodiment 2 is a form in which second order differentiation different from Embodiment 1 is performed. Since the configuration of the image processing system in the second embodiment is the same as that in the first embodiment, the first embodiment is referred to and the description thereof is omitted.
  • FIG. 7 is a flowchart showing processing of the image processing apparatus 2 used in the image processing system according to Embodiment 2 of the present invention.
  • the image data obtained by the imaging of the imaging apparatus 1 and received via the communication interface 26 is extracted from the frame memory 25 under the control of the CPU 21 that executes the computer program 3 stored in the RAM 24 (S201).
  • the image indicated by the extracted image data is reduced at a rate of, for example, 1Z8 in the vertical direction and 1Z8 in the horizontal direction (S202), and the pixel row arranged in the horizontal direction (first direction) of the image indicated by the reduced image data Set the reference point and detection range inside (S203).
  • the reduction process By performing the reduction process, it becomes easy to detect the detection target at the time of the secondary differentiation process in the second embodiment. Since the reduction process also has the effect of reducing the processing load during the second derivative, the reduction process may be performed for the first embodiment described above. In the second embodiment, the reduction ratio can be arbitrarily set, and further, the reduction process can be omitted.
  • the luminance of the pixels is second-order differentiated by two-dimensional Laplacian filter processing with respect to the pixel rows arranged in the horizontal direction of the image, with the reference point force also in the outward direction. Then, based on the frequency distribution of the secondary differential value of each pixel, the reference value of the secondary differential value is determined (S205), and the secondary differential value of the pixel that is equal to or greater than the determined reference value is determined in advance. The value is converted into a value (S206), and the secondary differential value obtained by converting a part of the value is stored in the RAM 24 (S207). The brightness of the image to be processed is shown as a gradation value classified into 256 levels.
  • the operation to be detected is detected.
  • the gradation value of the contour of the person's face increases.
  • the reference value determined based on the frequency distribution of the secondary differential value in step S205 is a secondary differential value at a position 30% of the frequency distributed above the gradation value, for example, 1000 pixels.
  • the second highest differential value is determined as the reference value.
  • the predetermined value in step S206 is set to 255 when the maximum value, for example, the gradation value is 0-255.
  • the contour of the detection target clarified by the secondary differentiation by the Laplacian filter processing is further emphasized.
  • Processing and storage related to the second-order differentiation with respect to the pixel rows in the horizontal direction are performed on all the pixel rows in the image detection range.
  • a secondary differential value distribution table for storing secondary differential values is formed.
  • the secondary differential value distribution table may be formed in the HD 23 instead of the RAM 24.
  • the CPU 21 controls to integrate the secondary differential value of each pixel column stored in the secondary differential value distribution table formed in the RAM 24 in the vertical direction (second direction).
  • the horizontal position (X coordinate) of the detection target is detected (S209).
  • the horizontal position detected in step S209 is the position where the integrated value of the secondary differential value reaches the maximum value on each side from the reference point, and here the integrated value is the top three points of the maximum value. Is the position.
  • the detected result is recorded in the HD 23 and stored in Z or RAM 24, and various image processing such as detection of the positions of the eyes and nostrils based on the detected result is performed. Based on the driving support process.
  • FIG. 8 is an explanatory diagram conceptually showing an example of processing from image extraction to reference point and detection range setting in the image processing system according to the second embodiment of the present invention.
  • the outer frame indicated by the solid line is the entire image reduced in step S202, and includes the image of the driver's face that is the detection target.
  • the inner frame indicated by the alternate long and short dash line is the detection range set in step S203.
  • the horizontal thick line L in Fig. 8 shows the pixel rows arranged in the horizontal direction that make up the image, and the vertical dashed line is the center line C of the driver's face, and the intersection of the center line C and the pixel row Force The reference point set in step S203.
  • FIG. 9 is an explanatory diagram showing an example of coefficients used for Laplacian filter processing of the image processing system according to Embodiment 2 of the present invention.
  • the second derivative of one pixel is based on the luminance of one pixel and the luminance of eight pixels adjacent to the pixel in the vertical and horizontal directions and diagonally. This is a process to calculate a value.
  • the coefficients shown in Fig. 9 are used, the brightness of one pixel and the brightness of the adjacent eight pixels are multiplied by the corresponding position coefficients, and the sum of the results is calculated as the second derivative value. It becomes.
  • FIG. 10 is an explanatory diagram showing an example of an image that has been subjected to Laplacian filter processing in the image processing system according to Embodiment 2 of the present invention.
  • the image illustrated in FIG. 8 is converted into the image illustrated in FIG. 10 in which the edge of the driver's face that is the detection target is clarified. Is done.
  • FIG. 11 is a graph showing an example of a distribution of integrated values of secondary differential values obtained by converting some values of the image processing system according to the second embodiment of the present invention.
  • Figure 11 shows steps S204—S2.
  • FIG. 10 is a graph showing the result obtained by integrating the values obtained from the processing result of 06 in step S208, with the horizontal axis corresponding to the horizontal direction of the image and the vertical axis indicating the integrated value.
  • the shape has peaks near the contours on both sides of the driver's face that is the detection target.
  • the peak on the left side as shown in Fig.
  • the position where the maximum value is maximum is Ll, the second and third largest positions, and the value positions are L2 and L3, respectively.
  • the position where the maximum value is the maximum is Rl, and the positions of the second and third largest values are R2 and R3, respectively.
  • step S209 an embodiment has been described in which the horizontal position of the detection target is detected based on the positions of the left and right three points based on the maximum value of the integrated value of the secondary differential value, but the present invention is not limited to this. It is possible to set various conditions such as detecting only based on the position where the maximum value is maximized.
  • Embodiment 3 is a configuration in which image reduction processing is performed by imaging apparatus 1 in Embodiment 2.
  • FIG. 12 is a block diagram showing a configuration example of the image processing system according to the third embodiment of the present invention.
  • 1 is an imaging device, and the imaging device 1 performs MPU11, ROM12, RAM13, imaging unit 14, A / D converter 15, frame memory 16, communication interface 17, and image reduction processing.
  • a reduction circuit 18 is provided.
  • the imaging process is performed by the imaging unit 14, and the image converted into the digital image data by the AZD converter 15 is reduced by the reduction circuit 18 and stored in the frame memory 16.
  • the image data of the reduced image stored in the frame memory 16 is output from the communication interface 17 to the image processing device 2 at a predetermined timing.
  • the image processing apparatus 2 includes a CPU 21, each of the computer program 3 of the present invention, data, and the like.
  • An auxiliary storage unit 22 for reading information from the recording medium 4 on which the seed information is recorded, an HD 23, a RAM 24, a frame memory 25, and a communication interface 26 are provided.
  • the image corresponding to the reduction process in step 220 of the second embodiment is performed by the reduction circuit 18 of the imaging device 1 and the reduction process is performed. Is output to the image processing apparatus 2. Since the processing in the image processing apparatus 2 is the same as that in the second embodiment, the second embodiment will be referred to and description thereof will be omitted. However, it goes without saying that the reduction processing in step S202 of the second embodiment has already been performed by the imaging apparatus 1 and is therefore not performed.
  • the reduction process is performed by the imaging apparatus 1.
  • the imaging apparatus 1 is caused to perform part or all of the processing of the first and second embodiments. In this way, it is possible to develop into countless forms.
  • the processing for image data represented by a plane rectangular coordinate system has been described.
  • the present invention is not limited to this, and for example, an image including pixels arranged in a no-cam shape is used.
  • it can be applied to image data of various coordinate systems, such as application to image data shown in a coordinate system where the first direction and the second direction intersect at an angle of 60 degrees.
  • the mode in which the driver of the vehicle is a detection target is shown.
  • the present invention is not limited to this, and various people, and further, living things other than humans or inanimate objects are detected.
  • the target form may be sufficient.
  • the detection target is detected from the image generated by the imaging of the imaging device using the in-vehicle camera.
  • the present invention is not limited to this, and various embodiments are possible. Images generated by various methods using various devices can be recorded in HD, and can be applied to various image processing that detects specific detection targets from the recorded images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

 例えば車両に搭載され運転者の顔を撮像する車載カメラを用いたシステムにおいて、局所的な照度の変化が生じているときでも、運転者の顔の輪郭の幅等の検出対象の縁部の位置を精度良く検出することが可能な画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラムを提供する。  水平方向等の画像の第1方向に並ぶ画素の輝度を二次微分し、二次微分した結果に基づくデータを垂直方向等の第2方向に積算し、積算した結果に基づき画像中の検出対象の第1方向の位置を検出する。                                                                                 

Description

画像処理方法、画像処理システム、画像処理装置及びコンピュータプロ グラム
技術分野
[0001] 本発明は、二次元に配列された複数の画素を含む画像から特定の検出対象を検 出する画像処理装置を用いた画像処理方法、該画像処理方法を適用した画像処理 システム、該画像処理システムにて用いられる画像処理装置、及び該画像処理装置 を実現するためのコンピュータプログラムに関し、特に検出対象の検出精度を向上さ せる画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラムに 関する。
背景技術
[0002] 自動車等の車両の運転を支援する装置として、運転者の顔を撮像することが可能 な位置に配置された車載カメラで運転者の顔を撮像し、得られた画像カゝら運転者の 顔の輪郭、並びに目及び鼻孔の位置を検出する画像処理を行う画像処理装置が提 案されている(例えば、特許文献 1参照)。この様な装置を用いることにより、運転者の 状況を検知し、脇見運転、居眠り運転等の運転者の状況に応じた警告等の運転支 援を行うシステムを構成することも可能である。なお西日等の外光が車両内の運転者 の顔に差し込む状況が煩雑に生じるため、運転中の運転者の顔の照度は一定では ないが、運転者の顔を撮像して得られる画像の輝度が一定になる様に、車載カメラの オートゲイン機能により、或程度の調整が行われる。
特許文献 1:特開 2004-234367号公報
発明の開示
発明が解決しょうとする課題
[0003] し力しながら運転者の顔に対して一様に太陽光、反射光等の外光が照射される場 合、オートゲイン機能により対応することが可能であるが、照射される外光が一様でな い場合、画像全体の輝度を調整するオートゲイン機能では、局所的な照度の変化に 対応することができない。例えば顔の左半分だけに太陽光が当たる偏変化が生じて いる場合、太陽光が当たっていない暗い部分を顔として認識することができず、明る い部分だけを顔の輪郭として検出する誤検出が生じるという問題がある。また顔に対 して誤検出を行った場合、目及び鼻孔の位置等の顔の中に存在する部位にっ 、て も誤検出を行うことになると ヽぅ問題がある。
[0004] 本発明は斯力る事情に鑑みてなされたものであり、撮像等の処理により得られた画 像の第 1方向に並ぶ画素を二次微分し、二次微分した結果に基づくデータを第 1方 向と異なる第 2方向に積算した結果に基づき、画像内に示される運転者の顔等の検 出対象の位置を検出することにより、例えば顔の一部だけに太陽光が当たる偏変化 が生じている場合でも、検出対象である顔の位置を精度良く検出することが可能な画 像処理方法、該画像処理方法を適用した画像処理システム、該画像処理システムに て用いられる画像処理装置、及び該画像処理装置を実現するためのコンピュータプ ログラムの提供を目的とする。
課題を解決するための手段
[0005] 第 1発明に係る画像処理方法は、二次元に配列された複数の画素を含む画像から 特定の検出対象を検出する画像処理装置を用いた画像処理方法にぉ ヽて、画像の 第 1方向に並ぶ画素を二次微分し、二次微分した結果に基づくデータを第 1方向と 異なる第 2方向に積算し、積算した結果に基づき画像中の検出対象の第 1方向の位 置を検出することを特徴とする。
[0006] 本発明では、例えば検出対象が、車載カメラ等の撮像装置の撮像により得られた 運転者の顔である場合で、車両内に差し込む西日等の外光の影響により、運転者の 顔に対し局所的な照度の変化が生じているときでも、照度の変化の影響を受けにく い二次微分画像を用いることにより、顔の輪郭等の検出対象の位置を精度良く検出 することが可能である。
[0007] 第 2発明に係る画像処理システムは、二次元に配列された複数の画素を含む画像 から特定の検出対象を検出する画像処理装置を備える画像処理システムにおいて、 画像の第 1方向に並ぶ画素を二次微分する手段と、二次微分した結果に基づくデー タを第 1方向と異なる第 2方向に積算する手段と、積算した結果に基づき画像中の検 出対象の第 1方向の位置を検出する検出手段とを備えることを特徴とする。 [0008] 本発明では、二次微分画像を用いることにより、検出対象の縁部 (エッジ)を際だた せることができ、第 2方向に積算して、第 1方向における検出対象の位置を検出する ことにより、第 1方向における縁部を精度良く検出することができる。例えば検出対象 力 車載カメラ等の撮像装置の撮像により得られた運転者の顔である場合で、運転 者の顔に対し局所的な照度の変化が生じているときでも、顔の輪郭等の検出対象の 縁部を精度良く検出することが可能である。
[0009] 第 3発明に係る画像処理システムは、二次元に配列された複数の画素を含む画像 から特定の検出対象を検出する画像処理装置を備える画像処理システムにおいて、 画像の第 1方向に並ぶ画素の列毎に画素の輝度を二次微分する手段と、二次微分 した結果に基づいて、第 1方向の画素の列の夫々力 特定点を検出する手段と、各 列で検出した特定点を第 1方向と異なる第 2方向に積算する手段と、積算した結果に 基づき画像中の検出対象の第 1方向の位置を検出する検出手段とを備えることを特 徴とする。
[0010] 本発明では、二次微分画像を用いることにより、検出対象の縁部を際だたせること ができ、例えば縁部の可能性が高い特定点の数を第 2方向に積算することで、第 1方 向における縁部の位置を検出する精度を向上させることが可能である。しかも例えば 検出対象が、車載カメラ等の撮像装置の撮像により得られた運転者の顔である場合 で、運転者の顔に対し局所的な照度の変化が生じているときでも、二次微分画像で あるので、照度の局所的な変化による悪影響を抑制して顔の輪郭等の検出対象の 縁部を精度良く検出することが可能である。
[0011] 第 4発明に係る画像処理システムは、第 3発明において、前記特定点は、画素の輝 度の第 1方向の変化を二次微分した結果から求まる極小点であることを特徴とする。
[0012] 本発明では、輝度の変化の状況が変化する二次微分の結果力 求まる極小点を 特定点とすることにより、例えば検出対象が車載カメラ等の撮像装置の撮像により得 られた運転者の顔である場合、運転者の顔の照度が一様でないとき場合でも、輝度 の変化の状況が変化する特定点として、背景と顔との境目である顔の輪郭を検出す ることができるので、検出対象を精度良く検出することが可能である。
[0013] 第 5発明に係る画像処理システムは、第 3発明又は第 4発明において、第 1方向に 並ぶ画素の列中の基準点を設定する手段を更に備え、前記検出手段は、特定点の 積算値が最大値となる位置、及び該位置から基準点と異なる側で積算値が最大値よ り所定率低 、値となる位置に基づ 、て検出するように構成してあることを特徴とする。
[0014] 本発明では、例えば以前の検出結果より検出対象の中心付近と考えられる位置を 基準点として設定し、特定点の数の積算値が最大値となる位置と、積算値が例えば 最大値の 1Z2となる位置とに基づいて検出対象を検出することにより、検出対象を 精度良く検出することが可能である。
[0015] 第 6発明に係る画像処理システムは、二次元に配列された複数の画素を含む画像 から特定の検出対象を検出する画像処理装置を備える画像処理システムにおいて、 画像の第 1方向に並ぶ画素の列毎に画素の輝度を二次微分する二次微分手段と、 各列の二次微分値を第 1方向と異なる第 2方向に積算する積算手段と、積算した結 果に基づき画像中の検出対象の第 1方向の位置を検出する検出手段とを備えること を特徴とする。
[0016] 本発明では、二次微分画像を用いることにより、検出対象の縁部を際だたせること ができ、例えば縁部の可能性が高い輝度の二次微分値を第 2方向に積算することで 、第 1方向における縁部の位置を検出する精度を向上させることが可能である。しか も例えば検出対象が、車載カメラ等の撮像装置の撮像により得られた運転者の顔で ある場合で、運転者の顔に対し局所的な照度の変化が生じているときでも、二次微 分画像であるので、照度の局所的な変化による悪影響を抑制して顔の輪郭等の検 出対象の縁部を精度良く検出することが可能である。
[0017] 第 7発明に係る画像処理システムは、第 6発明において、前記二次微分手段は、二 次元のラプラシアンフィルタ処理であることを特徴とする。
[0018] ラプラシアンフィルタ処理を行うことにより、検出対象の縁部が際立ち、検出対象の 位置の検出に適した二次微分処理を行うことが可能である。
[0019] 第 8発明に係る画像処理システムは、第 6発明又は第 7発明において、前記二次微 分手段による二次微分後、二次微分値の度数分布に基づいて、二次微分値の基準 値を決定する手段と、決定した基準値以上である画素の二次微分値を、所定値に変 換する手段とを更に備え、前記積算手段は、所定値に変換後の二次微分値を積算 するように構成して 、ることを特徴とする。
[0020] 例えば二次微分値の分布を示すヒストグラムの全体の中で、高い値を有する 30% の画素を抽出すベぐ上位に分布する度数の 30%の位置に対応する二次微分値を 基準値として決定し、決定した基準値以上の二次微分値を有する画素、即ち高い値 を有する 30%の画素の二次微分値を所定値、例えば上限値に変換する。これにより 二次微分値の高い値が強調されることになるので、縁部を際立たせることができ、検 出対象の縁部の検出精度を向上させることが可能である。
[0021] 第 9発明に係る画像処理システムは、第 2発明乃至第 8発明のいずれかにおいて、 二次微分の前に、原画像を縮小して二次微分用の画像を生成する手段を更に備え ることを特徴とする。
[0022] 本発明では、縮小した画像に対して二次微分を行うことにより、処理負荷が大きい 二次微分処理の処理量を少なくして、処理負荷を軽減し、処理を高速化することが 可能である。
[0023] 第 10発明に係る画像処理システムは、第 2発明乃至第 9発明のいずれかにおいて 、前記画像を生成する撮像装置を更に備え、前記検出対象は、前記撮像装置により 撮像された人物の顔であり、前記第 1方向は、水平方向であり、前記第 2方向は、垂 直方向であり、前記検出手段が検出する位置は、人物の水平方向の輪郭の位置で あることを特徴とする。
[0024] 本発明では、車載カメラ等の撮像装置の撮像により得られた運転者の顔である場 合で、車両内に差し込む西日等の外光の影響により、運転者の顔に対し局所的な照 度の変化が生じているときでも、水平方向の輪郭、即ち顔の輪郭の幅を精度良く検 出することが可能である。
[0025] 第 11発明に係る画像処理装置は、二次元に配列された複数の画素を含む画像か ら特定の検出対象を検出する画像処理装置において、画像の第 1方向に並ぶ画素 を二次微分する手段と、二次微分した結果に基づくデータを第 1方向と異なる第 2方 向に積算する手段と、積算した結果に基づき画像中の検出対象の第 1方向の位置を 検出する手段とを備えることを特徴とする。
[0026] 本発明では、二次微分画像を用いることにより、検出対象の縁部 (エッジ)を際だた せることができ、第 2方向に積算して、第 1方向における検出対象の位置を検出する ことにより、第 1方向における縁部を精度良く検出することができる。例えば検出対象 力 車載カメラ等の撮像装置の撮像により得られた運転者の顔である場合で、運転 者の顔に対し局所的な照度の変化が生じているときでも、顔の輪郭等の検出対象の 縁部を精度良く検出することが可能である。
[0027] 第 12発明に係るコンピュータプログラムは、コンピュータに、二次元に配列された複 数の画素を含む画像を示す画像データから特定の検出対象を検出させるコンビユー タプログラムにおいて、コンピュータに、画像データにより示される画像の第 1方向に 並ぶ画素を二次微分させる手順と、コンピュータに、二次微分した結果に基づくデー タを第 1方向と異なる第 2方向に積算させる手順と、コンピュータに、積算した結果に 基づき画像中の検出対象の第 1方向の位置を検出させる手順とを実行させることを 特徴とする。
[0028] 本発明では、車載カメラ等の撮像装置が接続された車載コンピュータ等のコンビュ ータにて実行することで、コンピュータが画像処理装置として動作して、二次微分画 像を用いることにより、検出対象の縁部を際だたせることができ、第 2方向に積算して 、第 1方向における検出対象の位置を検出することにより、第 1方向における縁部を 精度良く検出することができる。例えば検出対象が、車載カメラ等の撮像装置の撮像 により得られた運転者の顔である場合で、運転者の顔に対し局所的な照度の変化が 生じているときでも、顔の輪郭等の検出対象の縁部を精度良く検出することが可能で ある。
発明の効果
[0029] 本発明に係る画像処理方法、画像処理システム、画像処理装置及びコンピュータ プログラムは、例えば車両に搭載された車載カメラ等の撮像装置により運転者の顔を 撮像して得られた画像から、運転者の顔を検出対象として検出するシステムに適用さ れ、水平方向等の画像の第 1方向に並ぶ画素の輝度を二次微分し、二次微分した 結果に基づくデータを垂直方向等の第 2方向に積算し、積算した結果に基づき画像 中の検出対象の第 1方向の位置を検出する。
[0030] この構成により、車両内に差し込む西日等の外光の影響により、運転者の顔に対し 局所的な照度の変化が生じているときでも、照度の変化の影響を受けにくい二次微 分画像を用いるので、顔の輪郭の幅等の検出対象の縁部の位置を精度良く検出す ることが可能である。
[0031] 詳細には、本発明の画像処理システム等は、第 1方向に二次微分した結果に基づ き極小点等の特定点を検出し、検出した特定点の位置の数を第 2方向に積算し、そ して例えば以前の検出結果より検出対象の中心付近と考えられる位置を基準点とし て設定し、特定点の積算値が最大値となる位置と、積算値が例えば最大値の 1Z2と なる位置とに基づいて検出対象を検出する。
[0032] この構成により、二次微分画像を用いるので、検出対象の縁部を際立たせることが でき、例えば検出対象が、車載カメラ等の撮像装置の撮像により得られた運転者の 顔である場合で、運転者の顔に対し局所的な照度の変化が生じているときでも、二 次微分画像であるので、照度の局所的な変化による悪影響を抑制して顔の輪郭等 の検出対象の縁部を精度良く検出することが可能である等、優れた効果を奏する。し 力も輝度の変化の状況が変化する二次微分の結果力 求まる極小点を特定点とす ることにより、運転者の顔の照度が一様でない場合でも、輝度の変化の状況が変化 する点として、背景と顔との境目である顔の輪郭を検出することができるので、検出対 象を精度良く検出することが可能である等、優れた効果を奏する。そして検出対象の 検出の精度を向上させることにより、運転者の状況を検知し、脇見運転の警告等の 運転支援を行うシステムに適用した場合には、外光の状況が常に変化する環境下で 運転を行った場合でも、誤検出の少な!、信頼のおける運転支援システムを構築する ことが可能である等、優れた効果を奏する。
[0033] また本発明の画像処理システム等は、二次元のラプラシアンフィルタ処理等の二次 微分処理により、画素の輝度を第 1方向に二次微分して得られた二次微分値の度数 分布を示すヒストグラムに基づ ヽて、例えば全体の中で二次微分値が高 ヽ値を有す る 30%の画素を抽出すベぐ上位に分布する度数の 30%の位置に対応する二次微 分値を基準値として決定し、決定した基準値以上の二次微分値を有する画素、即ち 高い値を有する 30%の画素の二次微分値を所定値、例えば上限値に変換した上で 第 2方向に積算し、積算した結果に基づいて検出対象を検出する。 [0034] この構成により、二次微分画像を用いるので、検出対象の縁部を際だたせることが でき、例えば検出対象が、車載カメラ等の撮像装置の撮像により得られた運転者の 顔である場合で、運転者の顔に対し局所的な照度の変化が生じているときでも、二 次微分画像であるので、照度の局所的な変化による悪影響を抑制して顔の輪郭等 の検出対象の縁部を精度良く検出することが可能である等、優れた効果を奏する。し 力も二次微分値が高い値を有する 30%の画素については、その値を上限値に変換 するので、二次微分値の高い値が強調されることとなり、縁部を際立たせることができ 、検出対象の縁部の検出精度を向上させることが可能である等、優れた効果を有す る。そして検出対象の検出の精度を向上させることにより、運転者の状況を検知し、 脇見運転の警告等の運転支援を行うシステムに適用した場合には、外光の状況が 常に変化する環境下で運転を行った場合でも、誤検出の少な ヽ信頼のおける運転 支援システムを構築することが可能である等、優れた効果を奏する。
[0035] また前処理として、撮像した画像を縮小した上で二次微分することにより、処理負荷 が大きい二次微分処理の処理量を少なくして、処理負荷を軽減することが可能であり 、従って運転支援を行うシステムに適用した場合には、高速な処理を実現することが でき、咄嗟の状況でも反応することが可能な運転支援システムを構築することが可能 である等、優れた効果を奏する。
図面の簡単な説明
[0036] [図 1]本発明の実施の形態 1における画像処理システムの構成例を示すブロック図で ある。
[図 2]本発明の実施の形態 1における画像処理システムにて用いられる画像処理装 置の処理を示すフローチャートである。
[図 3]本発明の実施の形態 1における画像処理システムの画像の抽出から基準点及 び検出範囲の設定までの処理の例を概念的に示す説明図である。
[図 4]本発明の実施の形態 1における画像処理システムの画像の輝度の水平方向の 分布の例を示す説明図である。
[図 5]本発明の実施の形態 1における画像処理システムの画像の輝度の極小点の積 算値の分布の例を示すグラフである。 [図 6]本発明の実施の形態 1における画像処理システムの画像に対する検出対象の 検出結果の例を概念的に示す説明図である。
[図 7]本発明の実施の形態 2における画像処理システムにて用いられる画像処理装 置の処理を示すフローチャートである。
[図 8]本発明の実施の形態 2における画像処理システムの画像の抽出から基準点及 び検出範囲の設定までの処理の例を概念的に示す説明図である。
[図 9]本発明の実施の形態 2における画像処理システムのラプラシアンフィルタ処理 に用いられる係数の例を示す説明図である。
[図 10]本発明の実施の形態 2における画像処理システムのラプラシアンフィルタ処理 を行った画像の例を示す説明図である。
[図 11]本発明の実施の形態 2における画像処理システムの一部の値を変換した二次 微分値の積算値の分布の例を示すグラフである。
[図 12]本発明の実施の形態 3における画像処理システムの構成例を示すブロック図 である。
符号の説明
[0037] 1 撮像装置
2 画像処理装置
3 コンピュータプログラム
4 記録媒体
発明を実施するための最良の形態
[0038] 以下、本発明をその実施の形態を示す図面に基づいて詳述する。
[0039] 実施の形態 1.
図 1は、本発明の実施の形態 1における画像処理システムの構成例を示すブロック 図である。図 1中 1は、車両に搭載された車載カメラ等の撮像装置であり、撮像装置 1 は、画像処理を行う車載用コンピュータ等の画像処理装置 2に専用ケーブル等の通 信線又は有線或いは無線にて構成される車内 LAN(Local Area Network)等の通信 網にて接続されている。撮像装置 1は、車両内のハンドル、ダッシュボード等の運転 者の前方に配設され、運転者の顔を撮像対象として運転者の顔の横及び縦が画像 の水平方向及び垂直方向になるように撮像可能な状態に調整されている。
[0040] 撮像装置 1は、装置全体を制御する MPU(Micro Processor Unit) 11と、 MPU11の 制御に基づき実行される各種コンピュータプログラム及びデータを記録する ROM (Read Only Memory)12と、 ROM12に記録されたコンピュータプログラムの実行時に 一時的に発生する各種データを記憶する RAM(Random Access Memory)13と、 CC D(Charge Coupled Device)等の撮像素子を用いて構成される撮像部 14と、撮像部 1 4の撮像により得られたアナログの画像データをデジタルデータに変換する AZD変 翻15と、 AZD変翻15によりデジタルに変換された画像データを一時的に記憶 するフレームメモリ 16と、画像処理装置 2との通信に用いられる通信インタフェース 1 7とを備えている。
[0041] 撮像装置 1では、撮像部 14により、連続的又は断続的に撮像処理を行い、撮像処 理に基づいて例えば 1秒当たり 30枚の画像データ(画像フレーム)を生成して AZD 変換器 15へ出力し、 AZD変換器 15では、画像を構成する各画素を 256階調(lBy te)等の階調にて示されるデジタル画像データに変換し、フレームメモリ 16に記憶さ せる。フレームメモリ 16に記憶させた画像データは、所定のタイミングで通信インタフ ース 17から画像処理装置 2へ出力される。画像を構成する各画素は、二次元に配 列されており、画像データは、平面直角座標系、所謂 xy座標系にて示される各画素 の位置、及び階調値として示される各画素の輝度を示すデータを含んでいる。なお 各画素に対し夫々 xy座標系による座標を示すのではなぐデータ内に配列される順 序により座標を示す様にしても良い。そして画像の水平方向は、画像データの X軸方 向に対応し、画像の垂直方向は、画像データの y軸方向に対応する。
[0042] 画像処理装置 2は、装置全体を制御する CPU(Central Processing Unit) 21と、本 発明のコンピュータプログラム 3及びデータ等の各種情報を記録した CD— ROM等の 記録媒体 4から情報を読み取る CD - ROMドライブ等の補助記憶部 22と、補助記憶 部 22により読み取った各種情報を記録するハードディスク(以下 HDという) 23と、 H D23に記録されたコンピュータプログラム 3の実行時に一時的に発生する各種デー タを記憶する RAM24と、揮発性メモリにて構成されるフレームメモリ 25と、撮像装置 1との通信に用いられる通信インタフェース 26とを備えている。そして HD23から本発 明のコンピュータプログラム 3及びデータ等の各種情報を読み取り、 RAM24に記憶 させてコンピュータプログラム 3に含まれる各種手順を CPU21により実行することで、 車載用コンピュータは、本発明の画像処理装置 2として動作する。 HD23に記録され るデータとしては、コンピュータプログラム 3の実行に係るデータ、例えば後述する検 出範囲のデータ等の様々なデータがある。
[0043] 画像処理装置 2では、撮像装置 1から出力された画像データを通信インタフェース 26にて受け付け、受け付けた画像データをフレームメモリ 25に記憶し、フレームメモ リ 25に記憶した画像データを読み出して、様々な画像処理を行う。受け付けた画像 データに対して実行する様々な画像処理とは、画像データから検出対象 (撮像時の 撮像対象)である運転者の顔の輪郭の検出並びに目及び鼻孔の位置の特定等の検 出対象に関する検出処理であり、例えば本願出願人により出願された特開 2004— 2 34494号公報、特開 2004-234367号公報等の文献に記載された処理である。な おこれらの画像処理は、必ずしも特開 2004— 234494号公報及び特開 2004— 234 367号公報に記載された処理に限るものではなぐその用途、ハードウェア構成、他 のアプリケーションプログラムとの連携等の条件に応じて適宜選択することが可能で ある。
[0044] 次に本発明の実施の形態 1における画像処理システムにて用いられる各種装置の 処理について説明する。図 2は、本発明の実施の形態 1における画像処理システム にて用いられる画像処理装置 2の処理を示すフローチャートである。画像処理装置 2 では、 RAM24に記憶させたコンピュータプログラム 3を実行する CPU21の制御によ り、撮像装置 1の撮像により得られ通信インタフェース 26を介して受け付けた画像デ ータをフレームメモリ 25から抽出し (S101)、抽出した画像データにより示される画像 の水平方向(第 1方向)に並ぶ画素列中の基準点、及び検出範囲を設定する(S102 )。設定される基準点とは、検出対象である運転者の顔の縦方向の中心線が存在す る確率が高いと考えられる点であり、例えば HD23に記録又は RAM24に記憶して いる前回の検出結果力 予測される。ただし必ずしも設定した基準点が顔の中心線 上に有る必要はない。運転者の顔の縦方向の中心線は、画像データにより示される 画像内では、垂直方向を示す X座標にて示される。そしてステップ S 102において、 水平方向に並ぶ画素列中では、当該 X座標に対応する点が基準点として設定される 。検出範囲とは、検出対象を検出すべく画像内に設定される検出対象が検出される 可能性が高い一辺が画像の水平方向に平行な四角形の領域であり、画像全体から 検出対象を検出するのではなぐ範囲を絞り込むことにより、検出する処理の負荷を 軽減することができる。
[0045] 画像処理装置 2では、 CPU21の制御により、画像の水平方向に並ぶ画素列に対 し、基準点力も外側の方向へ、画素の輝度を所定の演算にて二次微分し (S103)、 二次微分した結果に基づいて、水平方向の各画素列における極小点を検出し (S10 4)、検出した結果である極小点の位置 (X座標)を RAM24に記憶させる(S 105)。水 平方向の画素列に対する極小点の検出及び記憶は、画像の検出範囲内の全ての 画素列に対して行われる。また RAM24内には、検出した極小点を記憶させる極小 点分布テーブルが形成される。なお極小点分布テーブルは、 RAM24ではなく HD2 3内に形成する様にしても良!、。
[0046] そして画像処理装置 2では、 CPU21の制御により、 RAM24に形成する極小点分 布テーブルに記憶させた各画素列の極小点を垂直方向(第 2方向)に積算し (S106 )、積算した結果に基づいて、検出対象の水平方向の位置 (X座標)を検出する (S10 7)。ステップ S 106における積算とは、各画素列の極小点の位置 (X座標)^^計し、 位置毎の極小点の数を算出する処理である。ステップ S 107にて検出される水平方 向の位置とは、基準点から各側について、特定点の積算値が最大値となる位置、及 び最大値となる位置から外側で、積算値が最大値の 1Z2となる位置である。即ち検 出対象である運転者の顔に対し、左側で積算値が最大値となる位置、該位置の外側 で最大値の 1Z2となる位置、並びに右側で積算値が最大となる位置、該位置の外 側で最大値の 1Z2となる位置を検出対象の水平方向の位置として検出する。
[0047] そして画像処理装置 2では、検出した結果を HD23に記録及び/又は RAM24に 記憶し、検出した結果に基づく目及び鼻孔の位置の検出等の各種画像処理を行い 、またその結果に基づく運転支援処理を行う。
[0048] 図 2のフローチャートを用いて説明した処理を更に具体的に説明する。図 3は、本 発明の実施の形態 1における画像処理システムの画像の抽出から基準点及び検出 範囲の設定までの処理の例を概念的に示す説明図である。図 3中、実線で示した外 側の枠がステップ S101にて抽出した画像データにより示される画像の全体であり、 検出対象である運転者の顔の画像が含まれて!/、る。一点鎖線で示した内側の枠がス テツプ S102にて設定した検出範囲である。図 3の横方向の太線 Lは、画像を構成す る水平方向に並ぶ画素列を示し、縦方向の破線は、運転者の顔の中心線 Cであり、 中心線 Cと画素列との交点力 ステップ S102にて設定される基準点となる。
[0049] 図 4は、本発明の実施の形態 1における画像処理システムの画像の輝度の水平方 向の分布の例を示す説明図である。図 4 (a)は、図 3を用いて示した画像の太線 の 位置で水平方向に並ぶ画素の輝度の分布を示しており、運転者の顔の中心線じの 付近、即ち鼻に対応する位置の輝度が高ぐ中心線 C力 外側に行く程、輝度が低く なる。このように撮像装置 1に近い程高い輝度になるという輝度の分布は、撮像装置 1の近くに照明装置を配置することにより顕著となる。このように分布した画素列の輝 度を二次微分するステップ S103の処理は、下記の式 1を用いた演算により行われる
[0050] F (x, n) =A(x-n) +A(x+n)-2 X A(x) …式 1
但し、 F (x, n):位置 xでの二次微分値
X:水平方向の画素列の X座標
n:定数 (ここでは 2及び 3)
A(x):位置 Xでの輝度値
[0051] そしてステップ S 104では、式 1により算出した二次微分値 F (x, n)が下記の条件を 満足する位置 (X座標)を極小点として検出する。図 4 (b)は、図 4 (a)に示す輝度の分 布を二次微分した結果に基づき検出された極小点の画素列上の位置を X印にて示 している。
[0052] F (x, 2) <N …式 2
F (x, 3) <N …式 3
上記式 2、式 3を ヽずれも満足する X (式 2及び式 3の論理積が真値)
但し、 N :所定の閾値
[0053] 図 4に示す例では、点 a、点 b、点 c及び点 dとして示した 4点が二次微分した結果に 基づく極小点として検出される。図 4 (a)に示す点 aは、図 4に向かって左側の顔の輪 郭、点 bは、鼻の付け根力も小鼻にかけての鼻の縁部、点 cは、図 4に向力つて右側 の鼻の縁部、そして点 dは、顔の輪郭の位置に夫々ほぼ対応する。ただしステップ S 1 04における極小点の検出では、例えば検出対象の顔ではない背景力 も極小点を 検出する可能性がある。従って基準点から外側の方向へ画素の輝度を二次微分し ていき、その結果が所定の条件を満足した場合、背景の可能性が高いと判断し、当 該画素列における二次微分を終了する。
[0054] 所定の条件としてここでは 3つの条件を設定する例を示す。第 1条件は、 2つ目の 極小点を検出した場合である。基準点から外側の方向へ二次微分した場合、図 4 (a )に示す様に鼻の縁部及び顔の輪郭の 2点で極小点が検出される。そこで 3点目以 降は、背景であると判断するのである。なおここでいう 2点とは、基準点から一方へ二 次微分した場合の 2点であり、左方向及び右方向に二次微分するので、画素列全体 としては最大 4点の極小点が検出されることになる。第 2条件は、輝度値の変化が所 定値以下となった場合である。例えば輝度が 256段階に分級した階調値として示さ れている場合、一の画素との輝度差が 16以下である画素が、一の画素から 35画素 分連続した場合、背景であると判断するのである。第 3条件は、輝度値が所定の閾値 以下となった場合である。このように設定された第 1条件、第 2条件及び第 3条件のい ずれか一つでも満足した場合、当該画素列について基準点から行った一方への二 次微分を終了する。
[0055] 図 5は、本発明の実施の形態 1における画像処理システムの画像の輝度の極小点 の積算値の分布の例を示すグラフである。図 5は、ステップ S104にて検出した極小 点をステップ S 106にて積算した結果を示すグラフであり、横軸が画像の水平方向に 対応し、縦軸が極小点の度数を示している。図 5に示す様に極小点を垂直方向に積 算した場合、度数の分布は、検出対象である運転者の顔の両側の輪郭の付近にピ ークを有する形状となる。ここで図 5に向かって左側のピークに対し、積算値が最大と なる位置を位置 Linとし、最大値となる位置力 外側で積算値が最大値の 1Z2となる 位置を位置 Loutとする。同様にして図 5に向力つて右側のピークに対し、積算値が 最大値となる位置を位置 Rinとし、最大値となる位置力 外側で積算値が最大値の 1 Z2となる位置を位置 Routとする。
[0056] 図 6は、本発明の実施の形態 1における画像処理システムの画像に対する検出対 象の検出結果の例を概念的に示す説明図である。図 6は、図 3に示した検出対象で ある運転者の顔が示された画像と、図 5に示した極小点の積算結果に基づき検出し た位置とを示している。図 6における縦方向に示した線力 極小点の積算結果に基 づき検出した位置 Lin、位置 Lout、位置 Rin及び位置 Routを示しており、図 6に示す 様に、検出した 4つの位置は、検出対象の輪郭にほぼ対応している。即ちステップ S 107として説明した様に、積算した結果力も検出対象の水平方向の位置、即ち検出 対象である運転者の顔の輪郭の位置が検出される。
[0057] 前記実施の形態 1に示した各種条件等は、あくまでも一例であり、システム構成、目 的等の応じて適宜設定することが可能である。例えば、ステップ S 107では、極小値 の積算値が最大値となる位置及び最大値の 1Z2となる位置に基づいて検出対象の 水平方向の位置を検出する形態を示したが、本発明はこれに限らず、最大値となる 位置のみに基づいて検出する様にしても良ぐまた 1Z2以外の値、即ち最大値より 所定率低い任意に設定された値の位置に基づいて水平方向の位置を検出する様に しても良い。
[0058] 実施の形態 2.
実施の形態 2は、実施の形態 1とは異なる二次微分を行う形態である。なお実施の 形態 2における画像処理システムの構成は、実施の形態 1と同様であるので、実施の 形態 1を参照するものとし、その説明を省略する。
[0059] 本発明の実施の形態 2における画像処理システムにて用いられる各種処理につい て説明する。図 7は、本発明の実施の形態 2における画像処理システムにて用いられ る画像処理装置 2の処理を示すフローチャートである。画像処理装置 2では、 RAM2 4に記憶させたコンピュータプログラム 3を実行する CPU21の制御により、撮像装置 1 の撮像により得られ通信インタフェース 26を介して受け付けた画像データをフレーム メモリ 25から抽出し (S201)、抽出した画像データにより示される画像を例えば垂直 方向に 1Z8、水平方向に 1Z8の割合で縮小し (S202)、縮小した画像データにより 示される画像の水平方向(第 1方向)に並ぶ画素列中の基準点、及び検出範囲を設 定する(S203)。縮小処理を行うことにより、実施の形態 2における二次微分処理時 の検出対象の検出が容易となる。なお縮小処理を行うことにより、二次微分時の処理 負荷を軽減するという効果も生じるので、前述した実施の形態 1に対しても縮小処理 を行う様にしても良い。また実施の形態 2において縮小率の設定は任意に設定する ことが可能であり、更には縮小処理を省略することも可能である。
[0060] 画像処理装置 2では、 CPU21の制御により、画像の水平方向に並ぶ画素列に対 し、基準点力も外側の方向へ、画素の輝度を二次元のラプラシアンフィルタ処理によ り二次微分し (S 204)、各画素の二次微分値の度数分布に基づいて、二次微分値の 基準値を決定し (S205)、決定した基準値以上である画素の二次微分値を、所定値 に変換し (S206)、一部の値を変換した二次微分値を RAM24に記憶させる(S207 )。処理の対象となる画像の輝度は 256段階に分級された階調値として示されており 、画像の縁部を明確ィ匕するラプラシアンフィルタ処理による二次微分を行うことにより 、検出対象である運転者の顔の輪郭の階調値が大きくなる。またステップ S205にて 二次微分値の度数分布に基づき決定される基準値は、ここでは階調値の上位に分 布する度数の 30%の位置の二次微分値、例えば画素数が 1000である場合に、 30 0番目に高い値の二次微分値を基準値として決定する。即ち二次微分値の分布を示 すヒストグラムの全体の中で、高い値を有する 30%の画素を抽出すベぐ上位に分 布する度数の 30%の位置に対応する二次微分値を基準値として決定する。そしてス テツプ S206の所定値とは、最大値、例えば階調値が 0— 255である場合、 255に設 定されている。即ちステップ S 205— S206の処理により、二次微分値の上位 30%を 最大値に変換することで、ラプラシアンフィルタ処理による二次微分で明確にされた 検出対象の輪郭を、更に強調することになる。水平方向の画素列に対する二次微分 に係る処理及び記憶は、画像の検出範囲内の全ての画素列に対して行われる。また RAM24内には、二次微分値を記憶させる二次微分値分布テーブルが形成される。 なお二次微分値分布テーブルは、 RAM24ではなく HD23内に形成する様にしても 良い。
[0061] そして画像処理装置 2では、 CPU21の制御により、 RAM24に形成する二次微分 値分布テーブルに記憶させた各画素列の二次微分値を垂直方向(第 2方向)に積算 し (S208)、積算した結果に基づいて、検出対象の水平方向の位置 (X座標)を検出 する(S209)。ステップ S209にて検出される水平方向の位置とは、基準点から各側 について、二次微分値の積算値が極大値となる位置、ここでは極大値の中で積算値 が上位の 3点となる位置である。
[0062] そして画像処理装置 2では、検出した結果を HD23に記録及び Z又は RAM24〖こ 記憶し、検出した結果に基づく目及び鼻孔の位置の検出等の各種画像処理を行い 、またその結果に基づく運転支援処理を行う。
[0063] 図 7のフローチャートを用いて説明した処理を更に具体的に説明する。図 8は、本 発明の実施の形態 2における画像処理システムの画像の抽出から基準点及び検出 範囲の設定までの処理の例を概念的に示す説明図である。図 8中、実線で示した外 側の枠がステップ S 202にて縮小した画像の全体であり、検出対象である運転者の 顔の画像が含まれて 、る。一点鎖線で示した内側の枠がステップ S203にて設定し た検出範囲である。図 8の横方向の太線 Lは、画像を構成する水平方向に並ぶ画素 列を示し、縦方向の破線は、運転者の顔の中心線 Cであり、中心線 Cと画素列との交 点力 ステップ S203にて設定される基準点となる。
[0064] 図 9は、本発明の実施の形態 2における画像処理システムのラプラシアンフィルタ処 理に用いられる係数の例を示す説明図である。ステップ S204にて行う二次元のラプ ラシアンフィルタ処理では、一の画素の輝度と、該画素を中心として、上下左右及び 斜め方向に隣接する八の画素の輝度に基づいて一の画素の二次微分値を算出する 処理である。図 9に示す係数を用いる場合、一の画素の輝度及び隣接する八の画素 の輝度に対し、夫々対応する位置の係数を乗じ、その結果を合計した値が二次微分 値として算出される輝度となる。
[0065] 図 10は、本発明の実施の形態 2における画像処理システムのラプラシアンフィルタ 処理を行った画像の例を示す説明図である。ステップ S204にて二次元のラプラシァ ンフィルタ処理を行うことにより、図 8に例示した画像は、検出対象である運転者の顔 の輪郭等の縁部が明確化された図 10に示す画像に変換される。
[0066] 図 11は、本発明の実施の形態 2における画像処理システムの一部の値を変換した 二次微分値の積算値の分布の例を示すグラフである。図 11は、ステップ S204— S2 06の処理の結果により求めた値をステップ S208にて積算した結果を示すグラフであ り、横軸が画像の水平方向に対応し、縦軸が積算値を示している。図 11に示す様に 二次微分値を垂直方向に積算した場合、検出対象である運転者の顔の両側の輪郭 の付近にピークを有する形状となる。ここで図 11に向力つて左側のピークに対し、極 大値の最大値となる位置を Ll、 2番目及び 3番目に大き 、値の位置を夫々 L2及び L 3とする。同様にして図 11に向力つて右側のピークに対し、極大値の最大値となる位 置を Rl、 2番目及び 3番目に大きい値の位置を夫々 R2及び R3とする。これらの 6点 を検出対象である運転者の顔の輪郭の位置の候補、即ち顔の輪郭である可能性が 高い位置として検出する。そして検出された 6点を用いて、運転者の輪郭の位置の更 なる検出処理、例えば他の方法にて検出された輪郭の位置との比較による最終的な 輪郭の位置の決定等の処理を行う。
[0067] 前記実施の形態 2に示した各種条件等は、あくまでも一例であり、システム構成、目 的等の応じて適宜設定することが可能である。例えば、ステップ S209では、二次微 分値の積算値の極大値に基づき左右夫々 3点の位置に基づいて検出対象の水平 方向の位置を検出する形態を示したが、本発明はこれに限らず、極大値が最大とな る位置のみに基づいて検出する様にしても良い等、様々な条件設定を行う事が可能 である。
[0068] 実施の形態 3.
実施の形態 3は、実施の形態 2において、画像を縮小する処理を撮像装置 1にて行 う構成である。図 12は、本発明の実施の形態 3における画像処理システムの構成例 を示すブロック図である。図 12中 1は、撮像装置であり、撮像装置 1は、 MPU11、 R OM12、 RAM13、撮像部 14、 A/D変換器 15、フレームメモリ 16及び通信インタフ エース 17、並びに画像の縮小処理を行う縮小回路 18を備えている。
[0069] そして撮像装置 1では、撮像部 14により撮像処理を行い、 AZD変換器 15にてデ ジタル画像データに変換した画像を、縮小回路 18にて縮小し、フレームメモリ 16に 記憶させる。そしてフレームメモリ 16に記憶させた縮小された画像の画像データは、 所定のタイミングで通信インタフェース 17から画像処理装置 2へ出力される。
[0070] 画像処理装置 2は、 CPU21、本発明のコンピュータプログラム 3及びデータ等の各 種情報を記録した記録媒体 4から情報を読み取る補助記憶部 22、 HD23、 RAM24 、フレームメモリ 25及び通信インタフェース 26を備えて!/、る。
[0071] 本発明の実施の形態 3における画像処理システムでは、実施の形態 2のステップ 2 02の縮小処理に対応する処理を、撮像装置 1の縮小回路 18にて行い、縮小処理を 行った画像を示す画像データを画像処理装置 2へ出力する。画像処理装置 2におけ る処理は、実施の形態 2と同様であるので、実施の形態 2を参照するものとし、説明を 省略する。但し実施の形態 2のステップ S202における縮小処理は、既に撮像装置 1 にて行われて 、るため実行されな 、ことは言うまでもな 、。
[0072] 前記実施の形態 3では、縮小処理を撮像装置 1にて行う形態を示したが、実施の形 態 1及び実施の形態 2の処理の一部又は全部を撮像装置 1に行わせることにより、更 に無数の形態に展開することが可能である。
[0073] 前記実施の形態 1乃至 3では、平面直角座標系にて示される画像データに対する 処理を示したが本発明はこれに限らず、例えばノヽ-カム状に配置された画素を含む 画像を扱う場合に第 1方向と第 2方向とが 60度の角度をもって交差する座標系にて 示される画像データに適用する等、様々な座標系の画像データに適用することが可 能である。
[0074] また前記実施の形態 1乃至 3では、車両の運転者を検出対象とする形態を示したが 、本発明はこれに限らず、様々な人物、更には人物以外の生物又は無生物を検出 対象とする形態であっても良い。
[0075] さらに前記実施の形態 1乃至 3では、車載カメラを用いた撮像装置の撮像により生 成された画像から検出対象を検出する形態を示したが、本発明はこれに限らず、様 々な装置により様々な方法にて生成された画像を HDに記録しておき、記録している 画像から特定の検出対象を検出する様々な画像処理に適用することが可能である。

Claims

請求の範囲
[1] 二次元に配列された複数の画素を含む画像から特定の検出対象を検出する画像 処理装置を用いた画像処理方法にお!、て、
画像の第 1方向に並ぶ画素を二次微分し、
二次微分した結果に基づくデータを第 1方向と異なる第 2方向に積算し、 積算した結果に基づき画像中の検出対象の第 1方向の位置を検出する ことを特徴とする画像処理方法。
[2] 二次元に配列された複数の画素を含む画像から特定の検出対象を検出する画像 処理装置を備える画像処理システムにお!/ヽて、
画像の第 1方向に並ぶ画素を二次微分する手段と、
二次微分した結果に基づくデータを第 1方向と異なる第 2方向に積算する手段と、 積算した結果に基づき画像中の検出対象の第 1方向の位置を検出する検出手段と を備えることを特徴とする画像処理システム。
[3] 二次元に配列された複数の画素を含む画像から特定の検出対象を検出する画像 処理装置を備える画像処理システムにお!/ヽて、
画像の第 1方向に並ぶ画素の列毎に画素の輝度を二次微分する手段と、 二次微分した結果に基づいて、第 1方向の画素の列の夫々力 特定点を検出する 手段と、
各列で検出した特定点を第 1方向と異なる第 2方向に積算する手段と、 積算した結果に基づき画像中の検出対象の第 1方向の位置を検出する検出手段と を備えることを特徴とする画像処理システム。
[4] 前記特定点は、画素の輝度の第 1方向の変化を二次微分した結果力 求まる極小 点であることを特徴とする請求項 3に記載の画像処理システム。
[5] 第 1方向に並ぶ画素の列中の基準点を設定する手段を更に備え、
前記検出手段は、特定点の積算値が最大値となる位置、及び該位置から基準点と 異なる側で積算値が最大値より所定率低い値となる位置に基づいて検出するように 構成してある
ことを特徴とする請求項 3又は請求項 4に記載の画像処理システム。
[6] 二次元に配列された複数の画素を含む画像から特定の検出対象を検出する画像 処理装置を備える画像処理システムにお!/ヽて、
画像の第 1方向に並ぶ画素の列毎に画素の輝度を二次微分する二次微分手段と 各列の二次微分値を第 1方向と異なる第 2方向に積算する積算手段と、 積算した結果に基づき画像中の検出対象の第 1方向の位置を検出する検出手段と を備えることを特徴とする画像処理システム。
[7] 前記二次微分手段は、二次元のラプラシアンフィルタ処理であることを特徴とする 請求項 6に記載の画像処理システム。
[8] 前記二次微分手段による二次微分後、
二次微分値の度数分布に基づ!、て、二次微分値の基準値を決定する手段と、 決定した基準値以上である画素の二次微分値を、所定値に変換する手段と を更に備え、
前記積算手段は、所定値に変換後の二次微分値を積算するように構成して ヽる ことを特徴とする請求項 6又は請求項 7に記載の画像処理システム。
[9] 二次微分の前に、原画像を縮小して二次微分用の画像を生成する手段を更に備 えることを特徴とする請求項 2乃至請求項 8のいずれかに記載の画像処理システム。
[10] 前記画像を生成する撮像装置を更に備え、
前記検出対象は、前記撮像装置により撮像された人物の顔であり、
前記第 1方向は、水平方向であり、
前記第 2方向は、垂直方向であり、
前記検出手段が検出する位置は、人物の水平方向の輪郭の位置である ことを特徴とする請求項 2乃至請求項 9のいずれかに記載の画像処理システム。
[11] 二次元に配列された複数の画素を含む画像から特定の検出対象を検出する画像 処理装置において、
画像の第 1方向に並ぶ画素を二次微分する手段と、
二次微分した結果に基づくデータを第 1方向と異なる第 2方向に積算する手段と、 積算した結果に基づき画像中の検出対象の第 1方向の位置を検出する手段と を備えることを特徴とする画像処理装置。
コンピュータに、二次元に配列された複数の画素を含む画像を示す画像データか ら特定の検出対象を検出させるコンピュータプログラムにおいて、
コンピュータに、画像データにより示される画像の第 1方向に並ぶ画素を二次微分 させる手川頁と、
コンピュータに、二次微分した結果に基づくデータを第 1方向と異なる第 2方向に積 算させる手順と、
コンピュータに、積算した結果に基づき画像中の検出対象の第 1方向の位置を検 出させる手順と
を実行させることを特徴とするコンピュータプログラム。
PCT/JP2005/002468 2005-02-17 2005-02-17 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム WO2006087791A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2005/002468 WO2006087791A1 (ja) 2005-02-17 2005-02-17 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム
JP2007503531A JP4397414B2 (ja) 2005-02-17 2005-02-17 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム
CN2005800484530A CN101124612B (zh) 2005-02-17 2005-02-17 图像处理方法、图像处理系统、以及图像处理装置
US11/889,994 US7991202B2 (en) 2005-02-17 2007-08-17 Image processing method, image processing system, image processing device, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2005/002468 WO2006087791A1 (ja) 2005-02-17 2005-02-17 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/889,994 Continuation US7991202B2 (en) 2005-02-17 2007-08-17 Image processing method, image processing system, image processing device, and computer program

Publications (1)

Publication Number Publication Date
WO2006087791A1 true WO2006087791A1 (ja) 2006-08-24

Family

ID=36916207

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/002468 WO2006087791A1 (ja) 2005-02-17 2005-02-17 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム

Country Status (4)

Country Link
US (1) US7991202B2 (ja)
JP (1) JP4397414B2 (ja)
CN (1) CN101124612B (ja)
WO (1) WO2006087791A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006087791A1 (ja) * 2005-02-17 2006-08-24 Fujitsu Limited 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム
JP5116513B2 (ja) * 2008-03-10 2013-01-09 キヤノン株式会社 画像表示装置及びその制御方法
JP4888838B2 (ja) * 2008-05-12 2012-02-29 トヨタ自動車株式会社 運転者撮像装置および運転者撮像方法
US20110128385A1 (en) * 2009-12-02 2011-06-02 Honeywell International Inc. Multi camera registration for high resolution target capture
JP5760324B2 (ja) * 2010-03-19 2015-08-05 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラム並びにこの画像処理プログラムが記録された記録媒体
CN112163455B (zh) * 2020-08-27 2023-08-25 东风汽车集团有限公司 一种用于搜寻目标对象的方法及车云平台

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07225841A (ja) * 1993-12-13 1995-08-22 Sharp Corp 画像処理装置
JPH07249128A (ja) * 1994-03-08 1995-09-26 Mitsubishi Electric Corp 車両用画像処理装置
JPH11339017A (ja) * 1998-05-29 1999-12-10 Mitsubishi Heavy Ind Ltd ナンバープレート認識装置
JP2001126027A (ja) * 1999-10-28 2001-05-11 Mitsubishi Heavy Ind Ltd ナンバープレート認識装置
JP2004129022A (ja) * 2002-10-04 2004-04-22 Pfu Ltd 画像読取装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5680481A (en) * 1992-05-26 1997-10-21 Ricoh Corporation Facial feature extraction method and apparatus for a neural network acoustic and visual speech recognition system
JP3561985B2 (ja) 1994-11-28 2004-09-08 ソニー株式会社 画像処理装置
JP3452685B2 (ja) * 1995-05-10 2003-09-29 三菱電機株式会社 顔画像の処理装置
US6125213A (en) * 1997-02-17 2000-09-26 Canon Kabushiki Kaisha Image processing method, an image processing apparatus, and a storage medium readable by a computer
JPH1139469A (ja) * 1997-07-24 1999-02-12 Mitsubishi Electric Corp 顔画像処理装置
KR19990016896A (ko) * 1997-08-20 1999-03-15 전주범 얼굴영상에서 눈영역 검출방법
US6907136B1 (en) * 1999-05-19 2005-06-14 Canon Kabushiki Kaisha Image processing of designated image portion
JP3969894B2 (ja) * 1999-05-24 2007-09-05 三菱電機株式会社 顔画像処理装置
JP3768735B2 (ja) * 1999-07-07 2006-04-19 三菱電機株式会社 顔画像処理装置
US7239726B2 (en) * 2001-12-12 2007-07-03 Sony Corporation System and method for effectively extracting facial feature information
JP4204336B2 (ja) 2003-01-30 2009-01-07 富士通株式会社 顔の向き検出装置、顔の向き検出方法及びコンピュータプログラム
JP4162503B2 (ja) 2003-01-31 2008-10-08 富士通株式会社 眼の状態判定装置、眼の状態判定方法及びコンピュータプログラム
JP4180027B2 (ja) * 2004-08-27 2008-11-12 株式会社豊田中央研究所 顔部品位置検出装置及び方法並びにプログラム
JP4130820B2 (ja) * 2004-08-27 2008-08-06 株式会社豊田中央研究所 顔中心位置検出装置及び方法並びにプログラム
WO2006087791A1 (ja) * 2005-02-17 2006-08-24 Fujitsu Limited 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム
KR100651753B1 (ko) * 2005-11-19 2006-12-01 한국전자통신연구원 객체의 대칭 특성과 모멘트 특성을 이용한 눈 검출 방법 및그 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07225841A (ja) * 1993-12-13 1995-08-22 Sharp Corp 画像処理装置
JPH07249128A (ja) * 1994-03-08 1995-09-26 Mitsubishi Electric Corp 車両用画像処理装置
JPH11339017A (ja) * 1998-05-29 1999-12-10 Mitsubishi Heavy Ind Ltd ナンバープレート認識装置
JP2001126027A (ja) * 1999-10-28 2001-05-11 Mitsubishi Heavy Ind Ltd ナンバープレート認識装置
JP2004129022A (ja) * 2002-10-04 2004-04-22 Pfu Ltd 画像読取装置

Also Published As

Publication number Publication date
JP4397414B2 (ja) 2010-01-13
US20070292000A1 (en) 2007-12-20
US7991202B2 (en) 2011-08-02
CN101124612B (zh) 2012-06-20
JPWO2006087791A1 (ja) 2008-07-03
CN101124612A (zh) 2008-02-13

Similar Documents

Publication Publication Date Title
JP4364275B2 (ja) 画像処理方法、画像処理装置及びコンピュータプログラム
JP4540705B2 (ja) 画像処理方法、画像処理システム、撮像装置、画像処理装置及びコンピュータプログラム
JP6156733B2 (ja) 対象物認識装置、機器制御システム、車両、対象物認識方法及び対象物認識用プログラム
JP6198113B2 (ja) 対象物認識装置、機器制御システム、車両、対象物認識方法及び対象物認識用プログラム
JP4592744B2 (ja) 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム
US8774551B2 (en) Image processing apparatus and image processing method for reducing noise
JP4397414B2 (ja) 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム
JP2011165170A (ja) 対象物検出装置及びプログラム
KR101146417B1 (ko) 무인 감시 로봇에서 중요 얼굴 추적 장치 및 방법
JP5173549B2 (ja) 画像処理装置及び撮像装置
JP6844223B2 (ja) 情報処理装置、撮像装置、機器制御システム、情報処理方法およびプログラム
US9330318B2 (en) Object detection apparatus and storage medium
JP2017174380A (ja) 認識装置、物体の認識方法、プログラム、及び、記憶媒体
WO2023276564A1 (ja) 動き情報撮像装置
US9514545B2 (en) Object detection apparatus and storage medium
JP2007189432A (ja) 車両用撮像装置
US9245184B2 (en) Object detection apparatus and storage medium
KR20220145080A (ko) 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법
JP2009070097A (ja) 車長計測装置および車種判定装置
JP2005063036A (ja) 物体追跡装置
CN112308812A (zh) 一种检测图片清晰度的方法、终端和存储介质
JP4259365B2 (ja) 画像認識装置及び画像認識方法
EP3930308A1 (en) Image processing device, imaging system, moving body, image processing method and program
JP2003296878A (ja) 車両検出方法
JP2009169619A (ja) 車両用画像処理装置および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007503531

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 200580048453.0

Country of ref document: CN

Ref document number: 11889994

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 11889994

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 05710318

Country of ref document: EP

Kind code of ref document: A1

WWW Wipo information: withdrawn in national office

Ref document number: 5710318

Country of ref document: EP