WO2014076979A1 - 画像認識装置、画像認識方法、プログラム、及び記録媒体 - Google Patents

画像認識装置、画像認識方法、プログラム、及び記録媒体 Download PDF

Info

Publication number
WO2014076979A1
WO2014076979A1 PCT/JP2013/059061 JP2013059061W WO2014076979A1 WO 2014076979 A1 WO2014076979 A1 WO 2014076979A1 JP 2013059061 W JP2013059061 W JP 2013059061W WO 2014076979 A1 WO2014076979 A1 WO 2014076979A1
Authority
WO
WIPO (PCT)
Prior art keywords
number plate
edge
distribution
image
vehicle number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/059061
Other languages
English (en)
French (fr)
Inventor
洋平 小島
杉本　喜一
拓馬 岡▲崎▼
健太 中尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Heavy Industries Ltd
Original Assignee
Mitsubishi Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Heavy Industries Ltd filed Critical Mitsubishi Heavy Industries Ltd
Priority to SG11201503823UA priority Critical patent/SG11201503823UA/en
Priority to US14/442,715 priority patent/US9747511B2/en
Publication of WO2014076979A1 publication Critical patent/WO2014076979A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Definitions

  • the present invention relates to an image recognition device, an image recognition method, a program, and a recording medium.
  • the present invention relates to an image recognition device that extracts a region of a car number plate from an image, an image recognition method, a program that causes a computer to function as the image recognition device, and a recording medium that records the program.
  • the car number information is a key for identifying individual vehicles, it has been applied to various purposes.
  • the vehicle number is a character string assigned to each vehicle.
  • Patent Documents 1 and 2 Various techniques related to such a background are known (see, for example, Patent Documents 1 and 2).
  • Patent Document 1 describes a device that automatically identifies the vehicle number of a vehicle that is traveling on a road or is stopped. More specifically, this apparatus photographs a road. And this apparatus determines the candidate of a vehicle number plate frame from the image
  • the vehicle number plate position can be determined from the degree of overlap between the vehicle number plate frame candidate and the vehicle number region candidate, so the determination of the vehicle number plate position can be made only from any one of the candidates.
  • the vehicle number plate cutting process can be performed with a more certain probability.
  • Patent Document 2 describes a device that performs vehicle number plate recognition. More specifically, this apparatus reduces the captured image in the horizontal direction and the vertical direction. Then, this apparatus subtracts the value of each pixel in the reduced image from the value of each pixel by a predetermined amount shifted in the positive or negative direction from the pixel, and the subtraction result is used as a binarization threshold value. A binarized comparison is made, and a pseudo shifted correlation image is generated by a logical product operation of the value shifted in the positive direction and the value shifted in the negative direction.
  • this apparatus subtracts the value of each pixel in the reduced image from the value of each pixel by a predetermined amount shifted in the positive or negative direction from the pixel, and the subtraction result is used as a binarization threshold value.
  • the binarized values are compared, and a pseudo-OR image is generated by a logical OR operation of the value shifted in the positive direction and the value shifted in the negative direction.
  • this apparatus divides the pseudo-shifted correlation image into a plurality of small areas, calculates the area of a pixel whose luminance value is set to 1 in each small area, and based on the area value of each small area Select the car number plate candidate small area.
  • this device temporarily sets a vehicle number plate region on the pseudo-OR image based on the vehicle number plate candidate small region, and checks the suitability as the vehicle number plate region for this temporary setting region. Cut out the number plate area.
  • the vehicle number plate region can be cut out at high speed and with high accuracy using a general-purpose arithmetic device without newly developing a dedicated arithmetic device, and the development period can be shortened, and Cost can be reduced.
  • the target vehicles are increasing. Therefore, in the vehicle number recognition system, in order to recognize the vehicle number at a higher speed, it is required to extract the region of the vehicle number plate from which characters are to be extracted at a higher speed.
  • an image recognition device for extracting a region of a vehicle number plate from an image, the direction of the outline of a character that can be used for the vehicle number plate
  • An edge direction evaluation unit that assigns points to the coordinates and evaluates the direction of the edge at the coordinates, and an area of the car number plate is extracted from the image based on the distribution of the points provided by the edge direction evaluation unit
  • a vehicle number plate area extracting unit A vehicle number plate area extracting unit.
  • the image processing apparatus further includes an edge strength determination unit that determines whether or not the edge strength at each coordinate of the image is larger than a predetermined strength threshold, and the edge direction evaluation unit has the edge strength of the predetermined strength. If the edge strength determination unit determines that the value is smaller than the threshold value, the coordinates are not affected even if the deviation amount between the contour direction and the edge direction is smaller than the predetermined deviation amount threshold value. It is not necessary to give a score to.
  • the horizontal region of the vehicle number plate may be extracted from the image.
  • a vertical direction distribution totaling unit that totals the vertical distribution of the points given by the edge direction evaluation unit is further provided, and the vehicle number plate area extraction unit is based on the distribution of the vertical points totalized by the vertical direction distribution totaling unit.
  • a region in the vertical direction of the vehicle number plate may be extracted from the image.
  • An area distribution totaling unit that totals the distribution of the points given by the edge direction evaluation unit for each predetermined region is further provided, and the vehicle number plate region extraction unit is based on the distribution of the points for each predetermined region totaled by the region distribution totaling unit.
  • the area of the car number plate may be extracted from the image.
  • the edge direction evaluation unit may give different points according to the existence ratio of the contour direction when the amount of deviation between the direction of the contour line and the direction of the edge is smaller than a predetermined deviation amount threshold value.
  • a vehicle number plate region extraction method for extracting a region of a vehicle number plate from an image, wherein a predetermined presence is present among the directions of outlines of characters that can be used for the vehicle number plate.
  • An edge direction evaluation stage for assigning points and evaluating the direction of the edge at the coordinates, and a vehicle number plate for extracting a region of the vehicle number plate from the image based on the distribution of the points assigned in the edge direction evaluation stage A region extraction stage.
  • the deviation amount between the direction of the contour line having a higher presence ratio than the predetermined presence ratio threshold value and the edge direction at each coordinate of the image is smaller than the predetermined deviation amount threshold value.
  • an edge direction evaluation unit that assigns points to the coordinates and evaluates the direction of the edge at the coordinates, and based on the distribution of the points provided by the edge direction evaluation unit, the region of the car number plate is extracted from the image. It functions as a vehicle number plate area extraction unit for extraction.
  • a recording medium recording a program for causing a computer to function as an image recognition device for extracting a region of a vehicle number plate from an image, wherein the computer is used as a vehicle number plate.
  • the amount of deviation between the direction of the outline of the outline of the character to be obtained that is higher than the threshold of the predetermined abundance and the direction of the edge at each coordinate of the image is a threshold of the predetermined deviation. If the value is smaller than the value, an edge direction evaluation unit that assigns a score to the coordinates and evaluates the direction of the edge at the coordinates, and a vehicle from the image based on the distribution of the points provided by the edge direction evaluation unit.
  • a program that functions as a vehicle number plate area extracting unit that extracts a number plate area is recorded.
  • the region of the vehicle number plate can be extracted from the image with high speed and accuracy.
  • FIG. 1 shows an example of a use environment of a vehicle number recognition system 100 according to an embodiment.
  • the vehicle number recognition system 100 is a system that takes a picture of the front part of a vehicle and recognizes characters on the vehicle number plate from the image.
  • the vehicle number recognition system 100 includes an image recognition device 110, a CCTV (Closed Circuit TeleVision) camera 130, an auxiliary light source 150, and a host computer 170.
  • image recognition device 110 a CCTV (Closed Circuit TeleVision) camera 130
  • auxiliary light source 150 a host computer 170.
  • the image recognition device 110 is a device that extracts the area of the vehicle number plate from the image.
  • the image recognition device 110 is electrically connected to the CCTV camera 130. Further, the image recognition apparatus 110 is communicatively connected to the host computer 170 via the communication line N.
  • the communication line N includes a computer network such as the Internet, a core network of a communication carrier, and various local networks.
  • CCTV camera 130 is a device used for car number recognition.
  • the CCTV camera 130 is electrically connected to the image recognition device 110.
  • the CCTV camera 130 has sufficient resolution, sensitivity, and SN (Signal Noise) ratio for computer processing of images.
  • the auxiliary light source 150 is a device that irradiates the driver with near-infrared illumination that is not illusion so that the vehicle number can be recognized even at night.
  • the auxiliary light source 150 is electrically connected to the CCTV camera 130.
  • the auxiliary light source 150 includes an LED (Light Emitting Diode), a xenon lamp, a halogen lamp, and the like.
  • the host computer 170 is a device that performs processing using vehicle number information.
  • the host computer 170 is communicatively connected to the image recognition apparatus 110 via a communication line N. Then, the host computer 170 uses the vehicle number information as a key to fix each vehicle, measures the time required to pass a specific section on the main road, determines the toll type on the toll road, and the contract vehicle in the parking lot Judgment, arrival monitoring of a specific vehicle, acquisition of usage history, acquisition of customer information, and quick discovery of stolen vehicles in emergency deployment.
  • the vehicle number recognition system 100 includes a single image recognition device 110, CCTV camera 130, auxiliary light source 150, and host computer 170 for the purpose of preventing the explanation from becoming complicated. Will be described.
  • the vehicle number recognition system 100 may include a plurality of image recognition devices 110, a CCTV camera 130, an auxiliary light source 150, and a host computer 170.
  • FIG. 2 shows an example of a block configuration of the image recognition apparatus 110 according to the first embodiment.
  • the image recognition device 110 includes an image input reception unit 111, a gradient calculation unit 112, an edge direction evaluation unit 113, a horizontal direction distribution tabulation unit 114, a vertical direction distribution tabulation unit 115, a car number plate region extraction unit 116, and a character recognition processing unit 117. And a car number data transmission unit 118.
  • the function and operation of each component will be described in detail.
  • the image input receiving unit 111 receives an image input output from the CCTV camera 130.
  • the gradient calculation unit 112 calculates gradient values for the horizontal direction and the vertical direction of each coordinate of the image.
  • calculating the value of the gradient can be said to be edge detection.
  • An edge is a point where the pixel value changes sharply.
  • the edge direction evaluation unit 113 includes a contour direction having a higher presence rate than a predetermined presence rate threshold value among the directions of character contour lines that can be used for the vehicle number plate, and the edge direction at each coordinate of the image.
  • a predetermined presence rate threshold value among the directions of character contour lines that can be used for the vehicle number plate, and the edge direction at each coordinate of the image.
  • the horizontal direction distribution totaling unit 114 totals the horizontal distribution of the points given by the edge direction evaluation unit 113.
  • the vertical direction distribution totaling unit 115 totals the vertical distribution of the points given by the edge direction evaluation unit 113.
  • the vehicle number plate region extraction unit 116 extracts the region of the vehicle number plate from the image based on the distribution of points given by the edge direction evaluation unit 113. For example, the vehicle number plate region extraction unit 116 extracts a horizontal region of the vehicle number plate from the image based on the distribution of the number of points in the horizontal direction counted by the horizontal direction distribution totalization unit 114. Further, for example, the vehicle number plate region extraction unit 116 extracts the vertical region of the vehicle number plate from the image based on the distribution of the score in the vertical direction totaled by the vertical direction distribution totalization unit 115.
  • the character recognition processing unit 117 performs character recognition processing on the image of the vehicle number plate area to recognize the vehicle number.
  • the vehicle number data transmission unit 118 transmits data indicating the vehicle number to the host computer 170.
  • FIG. 3 shows an example of the distribution of the horizontal score tabulated by the horizontal distribution tabulation unit 114 in a graph format.
  • the coordinate value in the horizontal direction is represented by i with respect to the image.
  • the total value Vi_max is the maximum value of the horizontal score distribution.
  • the horizontal coordinate i_max is the horizontal coordinate of the image that becomes the total value Vi_max.
  • the total value Vi_threshold is a value obtained by multiplying the total value Vi_max by a predetermined coefficient ⁇ (provided that 0 ⁇ ⁇ 1).
  • the horizontal coordinate i_left is a horizontal coordinate of the image in which the total value becomes the total value Vi_threshold for the first time when the distribution of the number of points in the horizontal direction is searched from the left end coordinate to the right end direction of the image.
  • the horizontal coordinate i_right is the horizontal coordinate of the image in which the total value becomes the total value Vi_threshold for the first time when the distribution of the number of points in the horizontal direction is searched from the right end coordinate to the left end direction of the image.
  • FIG. 4 shows an example of the distribution of the number of points in the vertical direction counted by the vertical direction distribution totaling unit 115 in a graph format.
  • the coordinate value in the vertical direction is represented by j with respect to the image.
  • the total value Vj_max is the maximum value of the score distribution in the vertical direction.
  • the vertical coordinate j_max is the vertical coordinate of the image to be the total value Vj_max.
  • the total value Vj_threshold is a value obtained by multiplying the total value Vj_max by a predetermined coefficient ⁇ (where 0 ⁇ ⁇ 1).
  • the vertical coordinate j_upper is the vertical coordinate of the image in which the total value becomes the total value Vj_threshold for the first time when the distribution of the score in the vertical direction is searched from the upper end coordinate to the lower end direction of the image.
  • the vertical coordinate j_lower is the vertical coordinate of the image in which the total value becomes the total value Vj_threshold for the first time when the distribution of the score in the vertical direction is searched from the lower end coordinate of the image to the upper end direction.
  • FIG. 5 shows an example of the region of the vehicle number plate extracted by the vehicle number plate region extraction unit 116.
  • the region of the vehicle number plate extracted by the vehicle number plate region extraction unit 116 is a region surrounded by start point coordinates (i_left, j_upper) and end point coordinates (i_right, j_lower).
  • FIG. 6 shows an example of the operation flow of the image recognition apparatus 110. In the description of this operation flow, both FIGS. 1 to 5 are referred to.
  • the CCTV camera 130 images a predetermined area on the road with a shutter speed of about 1/1000 second, for example.
  • the auxiliary light source 150 emits light in synchronization with the shutter speed of the CCTV camera 130.
  • CCTV camera 130 outputs the image obtained by imaging to the image recognition apparatus 110, whenever it images.
  • the image input reception unit 111 of the image recognition apparatus 110 sends the image to the gradient calculation unit 112 and the character recognition processing unit 117 each time an input of an image output from the CCTV camera 130 is received (S101).
  • the gradient calculation unit 112 of the image recognition apparatus 110 receives the image sent from the image input reception unit 111, the gradient value is obtained for each direction in the horizontal direction and the vertical direction of each coordinate while performing raster scanning of the image. Is calculated (S102). For example, the gradient calculation unit 112 calculates the horizontal gradient value f (row) of each coordinate of the image as in Expression (1). Further, for example, the gradient calculating unit 112 calculates the vertical gradient value f (col) of each coordinate of the image as in Expression (2).
  • f (i, j) is a pixel value at coordinates (i, j).
  • the gradient calculation unit 112 calculates the gradient value for each horizontal direction and vertical direction of each coordinate, the coordinate and the horizontal gradient value f (row) of the coordinate, Data indicating the gradient value f (col) in the vertical direction of the coordinates is sent to the edge direction evaluation unit 113.
  • the edge direction evaluation unit 113 of the image recognition apparatus 110 receives the data sent from the gradient calculation unit 112, the edge direction evaluation unit 113 evaluates the edge direction at the coordinates indicated by the data (S103). For example, the edge direction evaluation unit 113 is based on the horizontal gradient value f (row) of the coordinate indicated by the data received from the gradient calculation unit 112 and the vertical gradient value f (col) of the coordinate. Then, the edge direction ⁇ at the coordinates is calculated as shown in Equation (3).
  • the edge direction evaluation unit 113 determines whether the deviation amount between the edge direction ⁇ in the calculated coordinates and 0 ° or 90 ° is smaller than a predetermined deviation amount threshold value.
  • the threshold value of the predetermined deviation amount is taken into account is that there is a possibility that the vehicle number plate is not always shown in the image horizontally or at an assumed angle.
  • the threshold value of the predetermined deviation amount is, for example, about ⁇ 5 °.
  • the edge direction evaluation unit 113 assigns one point to the coordinates. By giving, the direction of the edge at the coordinates is evaluated.
  • the edge direction evaluation unit 113 does not assign points to the coordinates. Thus, the direction of the edge at the coordinates is evaluated.
  • the edge direction evaluation unit 113 sends data indicating the coordinates and the number of points at the coordinates to the horizontal direction distribution totaling unit 114 and the vertical direction distribution totaling unit 115.
  • the direction of the 0 ° outline and the direction of the 90 ° outline are defined as “a predetermined presence rate threshold value among the directions of the outlines of characters that can be used for the car number plate in the present invention. It may be an example of “the direction of the contour line with a high presence rate”.
  • the horizontal direction distribution totaling unit 114 of the image recognition device 110 Upon receiving the data sent from the edge direction evaluation unit 113, the horizontal direction distribution totaling unit 114 of the image recognition device 110 totals the horizontal distribution of the points indicated by the data (S104). For example, the horizontal direction distribution totaling unit 114 adds the points of coordinates (i, j), coordinates (i, j + 1), coordinates (i, j + 2),. Value. In this way, when the horizontal direction distribution totalization unit 114 calculates the total value at each of the coordinates i, i + 1, i + 2,... In the horizontal direction, the data indicating the distribution of the points in the horizontal direction is obtained as the vehicle number plate. The data is sent to the area extraction unit 116.
  • the vertical direction distribution totaling unit 115 of the image recognition device 110 Upon receiving the data sent from the edge direction evaluation unit 113, the vertical direction distribution totaling unit 115 of the image recognition device 110 totals the vertical distribution of the points indicated by the data (S105). For example, the vertical direction distribution totalization unit 115 adds the points of coordinates (i, j), coordinates (i + 1, j), coordinates (i + 2, j),. Value. In this way, when the vertical direction distribution totalization unit 115 calculates the total value at each of the coordinates j, j + 1, j + 2,... In the vertical direction, the data indicating the distribution of the score in the vertical direction is obtained as the vehicle number plate. The data is sent to the area extraction unit 116.
  • the vehicle number plate region extraction unit 116 of the image recognition device 110 receives the data sent from the horizontal direction distribution totaling unit 114 and the vertical direction distribution totaling unit 115, respectively, based on the distribution of points indicated by these data.
  • the area of the car number plate is extracted from the image (S106).
  • the vehicle number plate region extracting unit 116 specifies the total value Vi_max that maximizes the horizontal score distribution from the horizontal score distribution indicated by the data received from the horizontal distribution totaling unit 114. .
  • the vehicle number plate region extraction unit 116 calculates a value Vi_threshold obtained by multiplying the total value Vi_max by a predetermined coefficient ⁇ (where 0 ⁇ ⁇ 1).
  • the car number plate region extraction unit 116 searches the distribution of the number of points in the horizontal direction from the left end coordinates of the image to the right end direction, and as shown in FIG. 3, the aggregate value is the first value Vi_threshold of the image.
  • the horizontal coordinate i_left is specified.
  • the car number plate region extraction unit 116 searches the distribution of the number of points in the horizontal direction from the coordinates of the right end of the image to the left end direction, and as shown in FIG. 3, the aggregate value is the first value Vi_threshold.
  • the horizontal coordinate i_right is specified.
  • the vehicle number plate region extraction unit 116 specifies the total value Vj_max that maximizes the distribution of the vertical score from the distribution of the vertical score indicated by the data received from the vertical distribution calculation unit 115. To do. Then, the vehicle number plate region extraction unit 116 calculates a value Vj_threshold obtained by multiplying the total value Vj_max by a predetermined coefficient ⁇ (where 0 ⁇ ⁇ 1). Then, the car number plate area extraction unit 116 searches the distribution of the score in the vertical direction from the coordinates of the upper end of the image to the direction of the lower end, and as shown in FIG. 4, as shown in FIG. The vertical coordinate j_upper is specified.
  • the car number plate region extraction unit 116 searches the distribution of the score in the vertical direction from the coordinates of the lower end of the image toward the upper end, and as shown in FIG. The vertical coordinate j_lower is specified. Then, as shown in FIG. 5, the vehicle number plate region extraction unit 116 extracts a region surrounded by the start point coordinates (i_left, j_upper) and the end point coordinates (i_right, j_lower) as the region of the vehicle number plate. Then, the vehicle number plate region extraction unit 116 sends data indicating the start point coordinates (i_left, j_upper) and end point coordinates (i_right, j_lower) of the extracted vehicle number plate region to the character recognition processing unit 117.
  • the character recognition processing unit 117 of the image recognition apparatus 110 receives the image sent from the image input receiving unit 111 and receives the data sent from the vehicle number plate area extracting unit 116
  • the image receiving unit 111 receives the image received from the image input receiving unit 111.
  • Character recognition processing for the area of the car number plate surrounded by the start point coordinates (i_left, j_upper) and the end point coordinates (i_right, j_lower) indicated by the data received from the car number plate area extracting unit 116 To recognize the vehicle number (S107).
  • a pattern matching method capable of high-speed computation a method of extracting the feature amount of each character and separating it by distance calculation with a standard pattern, a method of directly giving a character pattern to a neural network, etc. are adopted. Is done. Then, the character recognition processing unit 117 sends data indicating the recognized vehicle number to the vehicle number data transmission unit 118.
  • the vehicle number data transmission unit 118 of the image recognition device 110 transmits the data to the host computer 170 (S108).
  • the host computer 170 can perform processing using the vehicle number information indicated by the data transmitted from the image recognition device 110.
  • the image recognition device 110 has a presence rate contour that is higher than a predetermined presence rate threshold in the direction of the contour line of characters that can be used for the vehicle number plate.
  • a predetermined presence rate threshold in the direction of the contour line of characters that can be used for the vehicle number plate.
  • the image recognition device 110 can extract the region of the vehicle number plate from the image more quickly and accurately than the known technology.
  • the image recognition apparatus 110 totals the horizontal distribution of the assigned points. And the image recognition apparatus 110 extracts the area
  • the image recognition device 110 can extract the horizontal region of the vehicle number plate from the image with high speed and accuracy.
  • the image recognition apparatus 110 totals the distribution of the assigned points in the vertical direction. And the image recognition apparatus 110 extracts the area
  • the image recognition device 110 can extract the vertical region of the vehicle number plate from the image with high speed and accuracy.
  • FIG. 7 shows an example of a block configuration of the image recognition apparatus 110 according to the second embodiment.
  • the image recognition apparatus 110 according to the second embodiment includes an image input reception unit 111, a gradient calculation unit 112, an edge direction evaluation unit 113, a horizontal direction distribution tabulation unit 114, a vertical direction distribution tabulation unit 115, and a car number plate region extraction unit. 116, a character recognition processing unit 117, a vehicle number data transmission unit 118, and a lookup table 119.
  • the function and operation of each component will be described in detail.
  • constituent elements of the image recognition apparatus 110 according to the second embodiment the constituent elements having the same names as those of the constituent elements of the image recognition apparatus 110 according to the first embodiment are the same. Functions and operations are shown. Therefore, in the following description, the detailed description is abbreviate
  • the look-up table 119 is an evaluation result of the edge direction ⁇ determined by each combination with respect to all combinations of the gradient value f (row) in the horizontal direction and the gradient value f (col) in the vertical direction. It is a table storing points. For example, the deviation amount between the edge direction ⁇ determined by the combination of the horizontal gradient value f (row) and the vertical gradient value f (col) and 0 ° or 90 ° is a predetermined deviation amount. When the value is smaller than the threshold value, one point is stored for the combination of the horizontal gradient value f (row) and the vertical gradient value f (col).
  • the deviation amount between the edge direction ⁇ determined by the combination of the horizontal gradient value f (row) and the vertical gradient value f (col) and 0 ° or 90 ° is a predetermined deviation. If it is larger than the quantity threshold value, a score of 0 is stored for the combination of the horizontal gradient value f (row) and the vertical gradient value f (col).
  • FIG. 8 shows an example of an operation flow of the image recognition apparatus 110 according to the second embodiment.
  • both FIGS. 1 to 7 are referred to.
  • the operation steps having the same names as those of the operation steps of the image recognition apparatus 110 according to the first embodiment have the same operations. Indicates. Therefore, in the following description, the detailed description is abbreviate
  • the edge direction evaluation unit 113 of the image recognition apparatus 110 When the edge direction evaluation unit 113 of the image recognition apparatus 110 receives the data sent from the gradient calculation unit 112, the edge direction evaluation unit 113 indicates the data received from the gradient calculation unit 112 among the information on the number of points stored in the lookup table 119. The number of points stored for the combination of the horizontal gradient value f (row) and the vertical gradient value f (col) is read out. Then, the edge direction evaluation unit 113 uses the score read from the lookup table 119 as the evaluation result of the edge direction at the coordinates indicated by the data received from the gradient calculation unit 112 (S109). Then, the edge direction evaluation unit 113 sends data indicating the coordinates and the number of points at the coordinates to the horizontal direction distribution totaling unit 114 and the vertical direction distribution totaling unit 115.
  • the image recognition apparatus 110 evaluates the edge direction with reference to the lookup table 119.
  • the image recognition device 110 can extract the region of the vehicle number plate from the image at a higher speed.
  • FIG. 9 shows an example of an operation flow of the image recognition apparatus 110 according to the third embodiment.
  • both FIGS. 1 to 8 are referred to.
  • the operation steps of the image recognition apparatus 110 according to the third embodiment the operation steps having the same names as those of the operation steps of the image recognition apparatus 110 according to the first embodiment have the same operations. Indicates. Therefore, in the following description, the detailed description is abbreviate
  • the edge direction evaluation unit 113 of the image recognition apparatus 110 receives the data sent from the gradient calculation unit 112
  • the edge direction evaluation unit 113 evaluates the edge direction at the coordinates indicated by the data (S110). For example, the edge direction evaluation unit 113, based on the horizontal gradient value f (row) indicated by the data received from the gradient calculation unit 112 and the vertical gradient value f (col) of the coordinates, The edge direction ⁇ at the coordinates is calculated as shown in Equation (3).
  • characters that can be used in the vehicle number plate are represented in a predetermined font. Therefore, the direction of the outline of the character that can be used for the vehicle number plate tends to be biased in a specific direction.
  • the direction of the contour line of 0 ° and the direction of the contour line of 90 ° have a particularly high existence rate.
  • the direction of the 45 ° contour line is assumed to be the second highest presence rate next to the direction of the 0 ° or 90 ° contour line.
  • the edge direction evaluation unit 113 determines whether the deviation amount between the edge direction ⁇ in the calculated coordinates and 0 °, 45 °, or 90 ° is smaller than a predetermined deviation amount threshold value. Determine whether.
  • the reason why the threshold value of the predetermined deviation amount is taken into account is that there is a possibility that the vehicle number plate is not always shown horizontally in the image.
  • the threshold value of the predetermined deviation amount is, for example, about ⁇ 5 °.
  • the edge direction evaluation unit 113 assigns 5 points to the coordinates. By giving, the direction of the edge at the coordinates is evaluated. Further, when the deviation amount between the edge direction ⁇ and 45 ° in the coordinates is smaller than a predetermined deviation amount threshold value, the edge direction evaluation unit 113 assigns three points to the coordinates. To evaluate the edge direction at the coordinates.
  • the edge direction evaluation unit 113 performs the calculation with respect to the coordinates. By not assigning points, the direction of the edge at the coordinates is evaluated. Then, the edge direction evaluation unit 113 sends data indicating the coordinates and the number of points at the coordinates to the horizontal direction distribution totaling unit 114 and the vertical direction distribution totaling unit 115.
  • the deviation amount between the direction of the outline of the character and the direction of the edge that can be used for the vehicle number plate is a threshold value of a predetermined deviation amount. If it is smaller, a different score is given according to the existence rate in the direction of the contour line.
  • the vertical direction of the car number plate can be more accurately determined from the image. Regions can be extracted.
  • FIG. 10 shows an example of a block configuration of the image recognition apparatus 110 according to the fourth embodiment.
  • the image recognition apparatus 110 according to the fourth embodiment includes an image input receiving unit 111, a gradient calculating unit 112, an edge strength determining unit 120, an edge direction evaluating unit 121, a horizontal direction distribution totaling unit 114, and a vertical direction distribution totaling unit 115.
  • a vehicle number plate area extraction unit 116, a character recognition processing unit 117, and a vehicle number data transmission unit 118 In the following description, the function and operation of each component will be described in detail.
  • the constituent elements of the image recognition apparatus 110 according to the fourth embodiment are the same. Functions and operations are shown. Therefore, in the following description, the detailed description is abbreviate
  • the edge strength determination unit 120 determines whether the edge strength at each coordinate of the image is greater than a predetermined strength threshold value.
  • the edge direction evaluation unit 121 includes a direction of an outline having a higher presence rate than a threshold of a predetermined presence rate among directions of contours of characters that can be used for a car number plate, and a direction of an edge at each coordinate of an image.
  • a predetermined deviation amount threshold value points are assigned to the coordinates, and the direction of the edge at the coordinates is evaluated. For example, when the edge strength determination unit 120 determines that the edge strength is smaller than a predetermined strength threshold, the edge direction evaluation unit 121 determines the direction of the outline of the character that can be used for the vehicle number plate. Even if the amount of deviation of the coordinates from the edge direction is smaller than a predetermined deviation amount threshold value, no point is given to the coordinates.
  • FIG. 11 shows an example of an operation flow of the image recognition apparatus 110 according to the fourth embodiment.
  • both FIGS. 1 to 10 are referred to.
  • the operation steps having the same names as the operation steps of the image recognition apparatus 110 according to the first embodiment have the same operations. Indicates. Therefore, in the following description, the detailed description is abbreviate
  • the gradient calculation unit 112 of the image recognition apparatus 110 calculates a gradient value for each of the horizontal direction and the vertical direction of each coordinate, the coordinate and the horizontal gradient value f (row) of the coordinate. ) And the vertical gradient value f (col) of the coordinates are sent to the edge strength determination unit 120 and the edge direction evaluation unit 121.
  • the edge strength determination unit 120 of the image recognition apparatus 110 receives the data sent from the gradient calculation unit 112, is the edge strength at the coordinates indicated by the data larger than a predetermined strength threshold value? It is determined whether or not (S111). For example, the edge strength determination unit 120 converts the horizontal gradient value f (row) of the coordinates indicated by the data received from the gradient calculation unit 112 and the vertical gradient value f (col) of the coordinates. Based on this, the edge strength at that coordinate is calculated as in equation (4) or equation (5).
  • the edge strength determination unit 120 determines whether or not the calculated edge strength is greater than a predetermined strength threshold.
  • the threshold value of strength is large. Set to a value.
  • the strength threshold is Set to a small value.
  • the edge direction evaluation unit 121 of the image recognition apparatus 110 receives the data sent from the gradient calculation unit 112 and receives the data sent from the edge direction evaluation unit 121, it is indicated by the data received from the edge direction evaluation unit 121.
  • the determination result is a determination result that “the edge strength at the coordinates is smaller than a predetermined strength threshold” (S111: No)
  • the direction of the outline of the character that can be used for the vehicle number plate Even if the amount of deviation of the coordinates from the edge direction is smaller than a predetermined deviation amount threshold value, points are not assigned to the coordinates (S112).
  • the determination result indicated by the data received from the edge direction evaluation unit 121 is a determination result that “the edge strength at the coordinates is larger than the threshold value of the predetermined strength” (S111: Yes).
  • the edge direction evaluation unit 121 evaluates the edge direction at the coordinates indicated by the data sent from the gradient calculation unit 112 (S103).
  • the image recognition apparatus 110 determines whether or not the edge strength at each coordinate of the image is greater than a predetermined strength threshold value. Then, the image recognition device 110, when the edge strength determination unit determines that the edge strength is smaller than a predetermined strength threshold, the direction of the outline of the character that can be used for the vehicle number plate, Even if the amount of deviation of the coordinates from the edge direction is smaller than a predetermined deviation amount threshold value, points are not assigned to the coordinates.
  • an edge at a nearby coordinate such as an uneven portion of a road surface can be ignored as noise.
  • FIG. 12 shows an example of a block configuration of the image recognition apparatus 110 according to the fifth embodiment.
  • the image recognition apparatus 110 according to the fifth embodiment includes an image input reception unit 111, a gradient calculation unit 112, an edge direction evaluation unit 113, a region distribution totaling unit 122, a car number plate region extraction unit 123, a character recognition processing unit 117, The vehicle number data transmission unit 118, the evaluation information storage unit 124, and the region distribution information storage unit 125 are included.
  • the function and operation of each component will be described in detail.
  • the components of the image recognition device 110 according to the fifth embodiment are the same. Functions and operations are shown. Therefore, in the following description, the detailed description is abbreviate
  • the region distribution totaling unit 122 totalizes the distribution of the points assigned by the edge direction evaluation unit 113 for each predetermined region.
  • the vehicle number plate region extraction unit 123 extracts a region of the vehicle number plate from the image based on the distribution of points given by the edge direction evaluation unit 113. For example, the vehicle number plate region extraction unit 123 extracts a region of the vehicle number plate from the image based on the distribution of points for each predetermined region that is totaled by the region distribution totalization unit 122.
  • the evaluation information storage unit 124 stores information on the number of points assigned to each coordinate.
  • the area distribution information storage unit 125 stores information on the distribution of points for each predetermined area.
  • FIG. 13 shows an example of information stored in the evaluation information storage unit 124 in a table format.
  • the evaluation information storage unit 124 stores information on coordinates and points in association with each other.
  • the coordinate information is information indicating the coordinates of the target image for which the edge direction evaluation unit 113 has evaluated the direction of the edge.
  • the point information is information indicating the number of points given to the coordinates indicated by the coordinate information.
  • FIG. 14 shows an example of information stored in the region distribution information storage unit 125 in a table format.
  • the area distribution information storage unit 125 stores information on the start point coordinates, end point coordinates, and the number of points in association with each other.
  • the information of the start point coordinates indicates the upper left coordinates of the rectangular area where the area distribution totaling unit 122 totals the point distribution.
  • the end point coordinate information is information indicating the lower right coordinates of the rectangular area where the area distribution totaling unit 122 has aggregated the point distribution.
  • the point information is information indicating the total points of the points in the rectangular area surrounded by the coordinates indicated by the start point coordinate information and the coordinates indicated by the end point coordinate information, which are totaled by the area distribution totaling unit 122. .
  • FIG. 15 shows an example of an operation flow of the image recognition apparatus 110 according to the fifth embodiment.
  • both FIGS. 1 to 14 are referred to.
  • the operation steps having the same names as the operation steps of the image recognition apparatus 110 according to the first embodiment have the same operations. Indicates. Therefore, in the following description, the detailed description is abbreviate
  • the edge direction evaluation unit 113 of the image recognition apparatus 110 evaluates the direction of the edge at the coordinates, the information on the coordinates and the information on the number of points at the coordinates are associated with each other and stored in the evaluation information storage unit 124. In this way, information as shown in FIG. 13 is stored in the evaluation information storage unit 124.
  • the edge direction evaluation unit 113 finishes evaluating the edge direction in all the coordinates of the image, the edge direction evaluation unit 113 sends data indicating that to the region distribution totaling unit 122.
  • the edge direction evaluation unit 113 refers to the information stored in the evaluation information storage unit 124.
  • the distribution of the score for each predetermined area is totaled (S113).
  • the size of the predetermined area is a rectangular area that is the same as or smaller than the size of the car number plate on the image when the assumed car number plate is imaged.
  • the area distribution totaling unit 122 adds the points in the predetermined area and totals the entire area of the image while shifting the predetermined area little by little.
  • the area distribution totaling unit 122 associates the information of the start point coordinates of the predetermined area, the information of the end point coordinates of the predetermined area, and the information of the total points in the predetermined area, 125. In this way, information as shown in FIG. 14 is stored in the region distribution information storage unit 125.
  • the region distribution totaling unit 122 may count the predetermined regions while shifting the pixels one pixel at a time, may count the plurality of pixels while shifting, or may total the numbers while shifting at random. Then, the area distribution totaling unit 122 sends the data indicating that to the vehicle number plate area extracting unit 123 when the distribution of the score distribution for each predetermined area is completed for all the areas of the image.
  • the vehicle number plate region extraction unit 123 of the image recognition device 110 receives the data sent from the region distribution totaling unit 122, the vehicle number plate region extraction unit 123 refers to the information stored in the region distribution information storage unit 125, and The area of the number plate is extracted (S114).
  • the car number plate area extraction unit 123 stores the start point stored in association with information of a score greater than a predetermined score threshold among the information stored in the region distribution information storage unit 125. All the coordinate information and end point coordinate information are read.
  • the vehicle number plate region extraction unit 123 then encloses all rectangular regions surrounded by the coordinates indicated by the start point coordinate information read from the region distribution information storage unit 125 and the coordinates indicated by the end point coordinate information. Are extracted as the area of the car number plate.
  • the car number plate area extracting unit 123 sends data indicating the upper left coordinates and the lower right coordinates of the extracted car number plate area to the character recognition processing unit 117.
  • the image recognition apparatus 110 totals the score distribution for each predetermined area. And the image recognition apparatus 110 extracts the area
  • the image recognition device 110 according to the fifth embodiment extracts the region of the vehicle number plate from the image more accurately than the image recognition device 110 according to the first embodiment. can do.
  • FIG. 16 shows an example of a block configuration of the image recognition apparatus 110 according to the sixth embodiment.
  • the image recognition apparatus 110 according to the sixth embodiment includes an image input receiving unit 111, a gradient calculating unit 112, an edge direction evaluating unit 113, a horizontal direction distribution totaling unit 114, a vertical direction distribution totaling unit 115, a region distribution totaling unit 122,
  • the vehicle number plate region extraction unit 126, the character recognition processing unit 117, the vehicle number data transmission unit 118, the evaluation information storage unit 124, and the region distribution information storage unit 125 are included.
  • the function and operation of each component will be described in detail.
  • the vehicle number plate region extraction unit 126 extracts the region of the vehicle number plate from the image based on the distribution of the points given by the edge direction evaluation unit 113. For example, the vehicle number plate region extraction unit 126 extracts a horizontal region of the vehicle number plate from the image based on the distribution of the number of points in the horizontal direction counted by the horizontal direction distribution totalization unit 114. Further, for example, the vehicle number plate region extraction unit 126 extracts the vertical region of the vehicle number plate from the image based on the distribution of the vertical score calculated by the vertical direction distribution totaling unit 115. Further, for example, the vehicle number plate region extraction unit 126 extracts the region of the vehicle number plate from the image based on the distribution of points for each predetermined region that is aggregated by the region distribution aggregation unit 122.
  • FIG. 17 shows an example of the operation flow of the image recognition apparatus 110 according to the sixth embodiment.
  • both FIGS. 1 to 16 are referred to.
  • the same reference numerals as those of the image recognition apparatus 110 according to the first embodiment or the image recognition apparatus 110 according to the fifth embodiment are used.
  • the same operation steps with the same names indicate similar operations. Therefore, in the following description, the detailed description is abbreviate
  • the horizontal direction distribution totaling unit 114 and the vertical direction distribution totaling unit indicate data indicating the coordinates and the number of points in the coordinates. 115 and the information is associated with each other and stored in the evaluation information storage unit 124. In this way, information as shown in FIG. 13 is stored in the evaluation information storage unit 124.
  • the vehicle number plate region extraction unit 116 of the image recognition device 110 receives the data sent from the horizontal direction distribution totaling unit 114 and the vertical direction distribution totaling unit 115, respectively, based on the distribution of points indicated by these data.
  • the temporary area of the car number plate is extracted from the image (S115).
  • the vehicle number plate region extracting unit 116 specifies the total value Vi_max that maximizes the horizontal score distribution from the horizontal score distribution indicated by the data received from the horizontal distribution totaling unit 114. .
  • the vehicle number plate region extraction unit 116 calculates a value Vi_threshold obtained by multiplying the total value Vi_max by a predetermined coefficient ⁇ (where 0 ⁇ ⁇ 1).
  • the car number plate region extraction unit 116 searches the distribution of the number of points in the horizontal direction from the left end coordinates of the image to the right end direction, and as shown in FIG. 3, the aggregate value is the first value Vi_threshold of the image.
  • the horizontal coordinate i_left is specified.
  • the car number plate region extraction unit 116 searches the distribution of the number of points in the horizontal direction from the coordinates of the right end of the image to the left end direction, and as shown in FIG. 3, the aggregate value is the first value Vi_threshold.
  • the horizontal coordinate i_right is specified.
  • the vehicle number plate region extraction unit 116 specifies the total value Vj_max that maximizes the distribution of the vertical score from the distribution of the vertical score indicated by the data received from the vertical distribution calculation unit 115. To do. Then, the vehicle number plate region extraction unit 116 calculates a value Vj_threshold obtained by multiplying the total value Vj_max by a predetermined coefficient ⁇ (where 0 ⁇ ⁇ 1). Then, the car number plate area extraction unit 116 searches the distribution of the score in the vertical direction from the coordinates of the upper end of the image to the direction of the lower end, and as shown in FIG. 4, as shown in FIG. The vertical coordinate j_upper is specified.
  • the car number plate region extraction unit 116 searches the distribution of the score in the vertical direction from the coordinates of the lower end of the image to the upper end direction, and as shown in FIG. The vertical coordinate j_lower is specified. Then, as shown in FIG. 5, the vehicle number plate region extraction unit 116 extracts a region surrounded by the start point coordinates (i_left, j_upper) and the end point coordinates (i_right, j_lower) as a temporary region of the vehicle number plate. Then, the vehicle number plate region extraction unit 116 sends data indicating the start point coordinates (i_left, j_upper) and end point coordinates (i_right, j_lower) of the extracted temporary region of the vehicle number plate to the region distribution totaling unit 122.
  • the area distribution totaling unit 122 of the image recognition apparatus 110 receives the data sent from the vehicle number plate area extracting unit 116, the start point coordinates (i_left, j_upper) and the end point coordinates (i_right, j_lower) indicated by the data are used.
  • the information stored in the evaluation information storage unit 124 is referred to, and the distribution of the points assigned by the edge direction evaluation unit 113 for each predetermined area is tabulated (S116).
  • the size of the predetermined area is a rectangular area that is the same as or smaller than the size of the car number plate on the image when an assumed car number plate is imaged.
  • the area distribution totaling unit 122 adds and accumulates points in the predetermined area while shifting the predetermined area little by little with respect to the temporary area of the vehicle number plate. Then, the area distribution totaling unit 122 associates the information of the start point coordinates of the predetermined area, the information of the end point coordinates of the predetermined area, and the information of the total points in the predetermined area, 125. In this way, information as shown in FIG. 14 is stored in the region distribution information storage unit 125.
  • the region distribution totaling unit 122 may count the predetermined regions while shifting the pixels one pixel at a time, may count the plurality of pixels while shifting, or may total the numbers while shifting at random. And the area distribution total part 122 will send the data which show that to the vehicle number plate area extraction part 123, if the distribution of the score for every predetermined area is complete
  • the vehicle number plate region extraction unit 123 of the image recognition device 110 receives the data sent from the region distribution totaling unit 122, the vehicle number plate region extraction unit 123 refers to the information stored in the region distribution information storage unit 125, and The main area of the number plate is extracted (S117).
  • the car number plate area extraction unit 123 stores the start point stored in association with information of a score greater than a predetermined score threshold among the information stored in the region distribution information storage unit 125. All the coordinate information and end point coordinate information are read.
  • the vehicle number plate region extraction unit 123 then encloses all rectangular regions surrounded by the coordinates indicated by the start point coordinate information read from the region distribution information storage unit 125 and the coordinates indicated by the end point coordinate information. Is extracted as the main area of the car number plate.
  • the car number plate area extracting unit 123 sends data indicating the upper left coordinates and the lower right coordinates of the extracted main area of the car number plate to the character recognition processing unit 117.
  • the image recognizing device 110 has the vehicle number plate out of the image based on the aggregated distribution of horizontal points and the aggregated distribution of vertical points. Extract the temporary area. Then, the image recognition device 110 extracts the main region of the vehicle number plate from the temporary region of the vehicle number plate based on the aggregated distribution for each predetermined region.
  • the image recognition device 110 according to the sixth embodiment extracts the area of the vehicle number plate from the image more accurately than the image recognition device 110 according to the first embodiment.
  • the area of the vehicle number plate can be extracted from the image at a higher speed.
  • FIG. 18 shows an example of a hardware configuration of a computer 800 constituting the image recognition apparatus 110 according to this embodiment.
  • a computer 800 includes a CPU (Central Processing Unit) 802, a RAM (Random Access Memory) 803, a graphic controller 804, and a display 805 that are mutually connected by a host controller 801, and input / output An input / output unit having a communication interface 807, a hard disk drive 808, and a CD-ROM (Compact Disk Only Memory) drive 809 connected to each other by the controller 806, and a ROM (Read Only Memory) connected to the input / output controller 806 810, legacy input / output having flexible disk drive 811 and input / output chip 812 Provided with a door.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • FIG. 18 shows an example of a hardware configuration of a computer 800 constituting the image recognition apparatus 110 according to this embodiment.
  • a computer 800 includes a CPU (Central Processing Unit) 802, a RAM (Random Access Memory) 803, a
  • the host controller 801 connects the RAM 803, the CPU 802 that accesses the RAM 803 at a high transfer rate, and the graphic controller 804.
  • the CPU 802 operates based on programs stored in the ROM 810 and the RAM 803 and controls each unit.
  • the graphic controller 804 acquires image data generated on a frame buffer provided in the RAM 803 by the CPU 802 and the like and displays the image data on the display 805.
  • the graphic controller 804 may include a frame buffer for storing image data generated by the CPU 802 or the like.
  • the input / output controller 806 connects the host controller 801 to the communication interface 807, the hard disk drive 808, and the CD-ROM drive 809, which are relatively high-speed input / output devices.
  • the hard disk drive 808 stores programs and data used by the CPU 802 in the computer 800.
  • the CD-ROM drive 809 reads a program or data from the CD-ROM 892 and provides it to the hard disk drive 808 via the RAM 803.
  • the input / output controller 806 is connected to the ROM 810, the flexible disk drive 811 and the input / output chip 812, which are relatively low-speed input / output devices.
  • the ROM 810 stores a boot program that is executed when the computer 800 is started and / or a program that depends on the hardware of the computer 800.
  • the flexible disk drive 811 reads a program or data from the flexible disk 893 and provides it to the hard disk drive 808 via the RAM 803.
  • the input / output chip 812 connects the flexible disk drive 811 to the input / output controller 806 and connects various input / output devices to the input / output controller 806 via, for example, a parallel port, serial port, keyboard port, mouse port, and the like. To do.
  • the program provided to the hard disk drive 808 via the RAM 803 is stored in a recording medium such as a flexible disk 893, a CD-ROM 892, or an IC (Integrated Circuit) card and provided by the user.
  • the program is read from the recording medium, installed in the hard disk drive 808 in the computer 800 via the RAM 803, and executed by the CPU 802.
  • a program that is installed in the computer 800 and causes the computer 800 to function as the image recognition device 110 causes the computer 800 to have a predetermined abundance ratio among the directions of the contour lines of characters that can be used for the vehicle number plate in steps S103, S109, and S110.
  • the vehicle number plate from the image It is made to function as a vehicle number plate area extraction part which extracts the area
  • the program causes the computer 800 to determine whether or not the edge strength at each coordinate of the image is greater than a predetermined strength threshold in step S111, and an edge strength determination unit. If the edge strength determination unit determines that the strength is smaller than the predetermined strength threshold, in step S112, the amount of shift between the contour direction and the edge direction is equal to the predetermined shift amount. Even if it is smaller than the threshold value, it may function as an edge direction evaluation unit that does not give points to the coordinates.
  • the program causes the computer 800 to calculate the horizontal distribution of the points distributed by the edge direction evaluation unit in step S104 and the horizontal distribution of the horizontal distribution tabulated by the horizontal distribution aggregation unit. Based on the distribution, in steps S106 and S115, it may function as a vehicle number plate region extracting unit that extracts a region in the horizontal direction of the vehicle number plate from the image.
  • the program causes the computer 800 to calculate the vertical direction distribution totaling unit that totals the vertical distribution of the points given by the edge direction evaluation unit in step S105 and the vertical point totals counted by the vertical direction distribution totaling unit. Based on the distribution, in steps S106 and S115, the vehicle number plate region extracting unit that extracts the region in the vertical direction of the vehicle number plate from the image may be functioned.
  • the program causes the computer 800 to calculate the distribution for each predetermined area of the points given by the edge direction evaluation section in step S113 and S116, and the area distribution totaling section for each predetermined area totaled by the area distribution totaling section. Based on the distribution of the points, in steps S114 and S117, a vehicle number plate region extracting unit that extracts a region of the vehicle number plate from the image may be functioned.
  • the program You may make it function as an edge direction evaluation part which provides a different score according to the presence rate of the direction of an outline.
  • the information processing described in these programs is read into the computer 800, whereby the image input receiving unit, the gradient calculating unit, the edge direction evaluation, which are specific means in which the software and the various hardware resources described above cooperate.
  • the specific image recognition apparatus 110 according to the use purpose is constructed
  • the CPU 802 executes a communication program loaded on the RAM 803 and executes a communication interface based on the processing content described in the communication program.
  • a communication process is instructed to 807.
  • the communication interface 807 reads transmission data stored in a transmission buffer area or the like provided on a storage device such as the RAM 803, the hard disk drive 808, the flexible disk 893, or the CD-ROM 892, and sends it to the network.
  • the reception data transmitted or received from the network is written into a reception buffer area or the like provided on the storage device.
  • the communication interface 807 may transfer transmission / reception data to / from the storage device by the direct memory access method. Instead, the CPU 802 reads data from the transfer source storage device or the communication interface 807.
  • the transmission / reception data may be transferred by writing the data to the transfer destination communication interface 807 or the storage device.
  • the CPU 802 transfers all or a necessary portion of the files or database stored in the external storage device such as the hard disk drive 808, CD-ROM 892, and flexible disk 893 to the RAM 803 by direct memory access transfer or the like.
  • the data is read and various processes are performed on the data on the RAM 803. Then, the CPU 802 writes the processed data back to the external storage device by direct memory access transfer or the like.
  • the RAM 803 can be regarded as temporarily holding the contents of the external storage device, in the present embodiment, the RAM 803 and the external storage device are collectively referred to as a memory, a storage unit, or a storage device. .
  • Various types of information such as various programs, data, tables, and databases in the present embodiment are stored on such a storage device and are subjected to information processing.
  • the CPU 802 can hold a part of the RAM 803 in the cache memory and perform reading and writing on the cache memory. Even in such a form, the cache memory bears a part of the function of the RAM 803. Therefore, in the present embodiment, the cache memory is also included in the RAM 803, the memory, and / or the storage device unless otherwise indicated. To do.
  • the CPU 802 performs various operations, such as various operations, information processing, condition determination, information retrieval, replacement, and the like described in the present embodiment for data read from the RAM 803 and specified by a command sequence of the program. Is written back to the RAM 803. For example, when performing the condition determination, the CPU 802 satisfies the conditions such that the various variables shown in the present embodiment are larger, smaller, above, below, or equal to other variables or constants. If the condition is satisfied or not satisfied, the program branches to a different instruction sequence or calls a subroutine.
  • the CPU 802 can search for information stored in a file in a storage device or a database. For example, when a plurality of entries in which the attribute value of the second attribute is associated with the attribute value of the first attribute are stored in the storage device, the CPU 802 stores the plurality of entries stored in the storage device. The entry that matches the condition in which the attribute value of the first attribute is specified is retrieved, and the attribute value of the second attribute that is stored in the entry is read, thereby associating with the first attribute that satisfies the predetermined condition The attribute value of the specified second attribute can be obtained.
  • the programs or modules shown above may be stored in an external storage medium.
  • a storage medium in addition to a flexible disk 893 and a CD-ROM 892, an optical recording medium such as a DVD (Digital Versatile Disk) or a CD (Compact Disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), or a tape
  • a storage medium such as a hard disk or RAM provided in a server system connected to a dedicated communication network or the Internet may be used as a recording medium, and the program may be provided to the computer 800 via the network.
  • the region of the car number plate can be extracted from the image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Character Input (AREA)

Abstract

　画像認識装置は、車番プレートに使用され得る文字の輪郭線の方向のうち所定の存在率のしきい値よりも高い存在率の輪郭線の方向と、画像の各座標におけるエッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さい場合に、前記座標に対して点数を付与して前記座標におけるエッジの方向を評価するエッジ方向評価部と、エッジ方向評価部が付与した点数の分布に基づいて、画像の中から車番プレートの領域を抽出する車番プレート領域抽出部とを備える。

Description

画像認識装置、画像認識方法、プログラム、及び記録媒体
　本発明は、画像認識装置、画像認識方法、プログラム、及び記録媒体に関する。特に本発明は、画像の中から車番プレートの領域を抽出する画像認識装置、画像認識方法、前記画像認識装置としてコンピュータを機能させるプログラム、並びに当該プログラムを記録した記録媒体に関する。
　本願は、２０１２年１１月１６日に、日本に出願された特願２０１２－２５１８０６号に基づき優先権を主張し、その内容をここに援用する。
　車番情報は、個々の車両を同定するキーとなるため、様々な用途への適用が成されている。ここで、車番は、個々の車両に付与された文字列である。
　車番認識では、一般道路、高速道路、駐車場入り口等、様々な環境の中の車両が対象のため、天候等に影響されずに、しかも、ぶれのない精緻な画像をタイミングよく撮ることが必要である。更に、車番認識では、得られた画像を入力として、車番を正しく認識するアルゴリズムと、それを高速に且つ安価に実現する画像認識装置が不可欠である。
　このような背景に関連する技術には、様々なものが知られている（例えば、特許文献１、２参照。）。
　例えば、特許文献１には、路上を走行中、又は停止中の車両の車番を自動識別する装置が記載されている。より具体的に説明すると、この装置は、道路を撮影する。そして、この装置は、撮影された画像から車番プレート枠の候補を判定する。そして、この装置は、画像から車番領域の候補を判定する。そして、この装置は、車番プレート枠の候補に基づき推定される車番プレート枠で囲まれる部分と、車番領域の候補に基づき推定される車番領域との重複度を基準として車番プレート位置を判定する。このようにして、この装置によっては、車番プレート枠の候補と、車番領域の候補との重複度から車番プレート位置を判定できるので、いずれか単独の候補のみから車番プレート位置の判定を行う場合に比べて、より確かな確率で車番プレート切り出し処理を行うことができる。
　また、例えば、特許文献２には、車両の車番プレート認識を行う装置が記載されている。より具体的に説明すると、この装置は、取り込んだ画像を水平方向と鉛直方向に縮小する。そして、この装置は、縮小された画像について、各画素の値から、その画素より正、又は負方向に所定量ずらした位置の画素の値を減算し、この減算結果を２値化しきい値と比較して２値化し、正方向にずらしたときの値と、負方向にずらしたときの値の論理積演算により疑似ずらし相関画像を生成する。そして、この装置は、縮小された画像について、各画素の値から、その画素より正、又は負方向に所定量ずらした位置の画素の値を減算し、この減算結果を２値化しきい値と比較して２値化し、正方向にずらしたときの値と、負方向にずらしたときの値の論理和演算により疑似論理和画像を生成する。そして、この装置は、疑似ずらし相関画像を複数の小領域に分割し、各小領域の中で輝度値が１に設定されている画素の面積を算出し、その各小領域の面積値に基づいて車番プレート候補小領域を選択する。そして、この装置は、車番プレート候補小領域に基づいて、疑似論理和画像上に車番プレート領域を仮設定し、この仮設定領域に対して車番プレート領域としての適合性をチェックし車番プレート領域を切り出す。このようにして、この装置によっては、専用の演算装置を新規に開発することなく、汎用の演算装置を用いて高速且つ高精度に車番プレート領域を切り出すことができ、開発期間の短縮、及びコストの低減化を図ることができる。
特許第２８９３８１４号公報 特許第３６７９９５８号公報
　ところで、車番認識システムにおいては、対象車両が増大している。そこで、車番認識システムにおいては、より高速に車番を認識するために、文字を切り出すべき車番プレートの領域を、より高速に抽出することが求められている。
　上記課題を解決するために、本発明の第１の形態によると、画像の中から車番プレートの領域を抽出する画像認識装置であって、車番プレートに使用され得る文字の輪郭線の方向のうち所定の存在率のしきい値よりも高い存在率の輪郭線の方向と、画像の各座標におけるエッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さい場合に、前記座標に対して点数を付与して前記座標におけるエッジの方向を評価するエッジ方向評価部と、エッジ方向評価部が付与した点数の分布に基づいて、画像の中から車番プレートの領域を抽出する車番プレート領域抽出部とを備える。
　画像の各座標におけるエッジの強さが所定の強さのしきい値よりも大きいか否かを判定するエッジ強さ判定部を更に備え、エッジ方向評価部は、エッジの強さが所定の強さのしきい値よりも小さいとエッジ強さ判定部が判定した場合、輪郭線の方向と、エッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さくても、前記座標に対して点数を付与しなくてよい。
　エッジ方向評価部が付与した点数の水平方向の分布を集計する水平方向分布集計部を更に備え、車番プレート領域抽出部は、水平方向分布集計部が集計した水平方向の点数の分布に基づいて、画像の中から車番プレートの水平方向の領域を抽出してよい。
　エッジ方向評価部が付与した点数の鉛直方向の分布を集計する鉛直方向分布集計部を更に備え、車番プレート領域抽出部は、鉛直方向分布集計部が集計した鉛直方向の点数の分布に基づいて、画像の中から車番プレートの鉛直方向の領域を抽出してよい。
　エッジ方向評価部が付与した点数の所定領域毎の分布を集計する領域分布集計部を更に備え、車番プレート領域抽出部は、領域分布集計部が集計した所定領域毎の点数の分布に基づいて、画像の中から車番プレートの領域を抽出してよい。
　エッジ方向評価部は、輪郭線の方向とエッジの方向とのずれ量が所定のずれ量のしきい値よりも小さい場合、前記輪郭線の方向の存在率に応じて異なる点数を付与してよい。
　本発明の第２の形態によると、画像の中から車番プレートの領域を抽出する車番プレート領域抽出方法であって、車番プレートに使用され得る文字の輪郭線の方向のうち所定の存在率のしきい値よりも高い存在率の輪郭線の方向と、画像の各座標におけるエッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さい場合に、前記座標に対して点数を付与して前記座標におけるエッジの方向を評価するエッジ方向評価段階と、エッジ方向評価段階において付与された点数の分布に基づいて、画像の中から車番プレートの領域を抽出する車番プレート領域抽出段階とを備える。
　本発明の第３の形態によると、画像の中から車番プレートの領域を抽出する画像認識装置として、コンピュータを機能させるプログラムであって、コンピュータを、車番プレートに使用され得る文字の輪郭線の方向のうち所定の存在率のしきい値よりも高い存在率の輪郭線の方向と、画像の各座標におけるエッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さい場合に、前記座標に対して点数を付与して前記座標におけるエッジの方向を評価するエッジ方向評価部、エッジ方向評価部が付与した点数の分布に基づいて、画像の中から車番プレートの領域を抽出する車番プレート領域抽出部として機能させる。
　本発明の第４の形態によると、画像の中から車番プレートの領域を抽出する画像認識装置として、コンピュータを機能させるプログラムを記録した記録媒体であって、コンピュータを、車番プレートに使用され得る文字の輪郭線の方向のうち所定の存在率のしきい値よりも高い存在率の輪郭線の方向と、画像の各座標におけるエッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さい場合に、前記座標に対して点数を付与して前記座標におけるエッジの方向を評価するエッジ方向評価部、エッジ方向評価部が付与した点数の分布に基づいて、画像の中から車番プレートの領域を抽出する車番プレート領域抽出部として機能させるプログラムを記録する。
　なおまた、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。
また、これらの特徴群のサブコンビネーションもまた、発明となり得る。
　以上の説明から明らかなように、この発明によっては、高速且つ精確に、画像の中から車番プレートの領域を抽出することができる。
一実施形態に係る車番認識システム１００の利用環境の一例を示す図である。 第１の実施形態に係る画像認識装置１１０のブロック構成の一例を示す図である。 水平方向分布集計部１１４が集計した水平方向の点数の分布の一例をグラフ形式で示す図である。 鉛直方向分布集計部１１５が集計した鉛直方向の点数の分布の一例をグラフ形式で示す図である。 車番プレート領域抽出部１１６が抽出した車番プレートの領域の一例を示す図である。 画像認識装置１１０の動作フローの一例を示す図である。 第２の実施形態に係る画像認識装置１１０のブロック構成の一例を示す図である。 第２の実施形態に係る画像認識装置１１０の動作フローの一例を示す図である。 第３の実施形態に係る画像認識装置１１０の動作フローの一例を示す図である。 第４の実施形態に係る画像認識装置１１０のブロック構成の一例を示す図である。 第４の実施形態に係る画像認識装置１１０の動作フローの一例を示す図である。 第５の実施形態に係る画像認識装置１１０のブロック構成の一例を示す図である。 評価情報格納部１２４に格納される情報の一例をテーブル形式で示す図である。 領域分布情報格納部１２５に格納される情報の一例をテーブル形式で示す図である。 第５の実施形態に係る画像認識装置１１０の動作フローの一例を示す図である。 第６の実施形態に係る画像認識装置１１０のブロック構成の一例を示す図である。 図６の実施形態に係る画像認識装置１１０の動作フローの一例を示す図である。 本実施形態に係る画像認識装置１１０を構成するコンピュータ８００のハードウェア構成の一例を示す図である。
　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　図１は、一実施形態に係る車番認識システム１００の利用環境の一例を示す。車番認識システム１００は、車両の前面部を撮影し、その映像から車番プレートの文字を認識するシステムである。
　車番認識システム１００は、画像認識装置１１０、ＣＣＴＶ（Ｃｌｏｓｅｄ　Ｃｉｒｃｕｉｔ　ＴｅｌｅＶｉｓｉｏｎ）カメラ１３０、補助光源１５０、及びホストコンピュータ１７０を備える。
　画像認識装置１１０は、画像の中から車番プレートの領域を抽出する装置である。画像認識装置１１０は、ＣＣＴＶカメラ１３０と電気的に接続されている。また、画像認識装置１１０は、ホストコンピュータ１７０と通信回線Ｎを介して通信接続される。なおまた、通信回線Ｎは、インターネット等のコンピュータネットワーク、通信事業者のコアネットワーク、及び種々のローカルネットワークを含む。
　ＣＣＴＶカメラ１３０は、車番認識に使用する装置である。ＣＣＴＶカメラ１３０は、画像認識装置１１０と電気的に接続されている。例えば、ＣＣＴＶカメラ１３０は、画像をコンピュータ処理するのに十分な分解能、感度、及びＳＮ（Ｓｉｇｎａｌ　Ｎｏｉｓｅ）比を備えている。
　補助光源１５０は、夜間時においても車番を認識することができるように、運転者に幻惑のない近赤外線の照明を照射する装置である。補助光源１５０は、ＣＣＴＶカメラ１３０と電気的に接続されている。例えば、補助光源１５０には、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）、キセノンランプ、ハロゲンランプ等がある。
　ホストコンピュータ１７０は、車番の情報を利用した処理を行う装置である。ホストコンピュータ１７０は、画像認識装置１１０と通信回線Ｎを介して通信接続される。そして、ホストコンピュータ１７０は、車番の情報を、個々の車両を固定するキーとして、主要道路における特定区間を通過するための所要時間の計測、有料道路における料金種別の判定、駐車場における契約車の判定、特定車の到着監視、利用履歴の取得や顧客情報の取得、緊急配備での迅速な盗難車発見等の処理を行う。
　なおまた、本実施形態においては、説明が煩雑になることを防ぐことを目的として、車番認識システム１００が一の画像認識装置１１０、ＣＣＴＶカメラ１３０、補助光源１５０、及びホストコンピュータ１７０を備える構成について説明する。しかしながら、車番認識システム１００は、複数の画像認識装置１１０、ＣＣＴＶカメラ１３０、補助光源１５０、及びホストコンピュータ１７０を備えてよい。
　図２は、第１の実施形態に係る画像認識装置１１０のブロック構成の一例を示す。画像認識装置１１０は、画像入力受付部１１１、勾配算出部１１２、エッジ方向評価部１１３、水平方向分布集計部１１４、鉛直方向分布集計部１１５、車番プレート領域抽出部１１６、文字認識処理部１１７、及び車番データ送信部１１８を有する。以下の説明においては、各構成要素の機能、及び動作を詳述する。
　画像入力受付部１１１は、ＣＣＴＶカメラ１３０から出力された、画像の入力を受け付ける。
　勾配算出部１１２は、画像の各座標の水平方向、及び鉛直方向の各方向について、勾配の値を算出する。ここで、勾配の値を算出することは、エッジ検出と言える。エッジは、画素値が急峻に変化する点である。
　エッジ方向評価部１１３は、車番プレートに使用され得る文字の輪郭線の方向のうち所定の存在率のしきい値よりも高い存在率の輪郭線の方向と、画像の各座標におけるエッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さい場合に、その座標に対して点数を付与してその座標におけるエッジの方向を評価する。
　水平方向分布集計部１１４は、エッジ方向評価部１１３が付与した点数の水平方向の分布を集計する。
　鉛直方向分布集計部１１５は、エッジ方向評価部１１３が付与した点数の鉛直方向の分布を集計する。
　車番プレート領域抽出部１１６は、エッジ方向評価部１１３が付与した点数の分布に基づいて、画像の中から車番プレートの領域を抽出する。例えば、車番プレート領域抽出部１１６は、水平方向分布集計部１１４が集計した水平方向の点数の分布に基づいて、画像の中から車番プレートの水平方向の領域を抽出する。また、例えば、車番プレート領域抽出部１１６は、鉛直方向分布集計部１１５が集計した鉛直方向の点数の分布に基づいて、画像の中から車番プレートの鉛直方向の領域を抽出する。
　文字認識処理部１１７は、車番プレートの領域の画像を文字認識処理を行って、車番を認識する。
　車番データ送信部１１８は、車番を示すデータを、ホストコンピュータ１７０へ送信する。
　図３は、水平方向分布集計部１１４が集計した水平方向の点数の分布の一例をグラフ形式で示す。本実施形態においては、画像に対して、水平方向の座標値をｉで表している。
　図３に示すグラフにおいて、集計値Ｖｉ＿ｍａｘは、水平方向の点数の分布の最大値である。そして、水平方向の座標ｉ＿ｍａｘは、集計値Ｖｉ＿ｍａｘとなる画像の水平方向の座標である。
　また、集計値Ｖｉ＿ｔｈｒｅｓｈｏｌｄは、集計値Ｖｉ＿ｍａｘに所定の係数α（但し、０＜α＜１とする。）を乗じた値である。そして、水平方向の座標ｉ＿ｌｅｆｔは、水平方向の点数の分布を、画像の左端の座標から右端の方向へ探索した場合に、集計値が初めて集計値Ｖｉ＿ｔｈｒｅｓｈｏｌｄとなる画像の水平方向の座標である。また、水平方向の座標ｉ＿ｒｉｇｈｔは、水平方向の点数の分布を、画像の右端の座標から左端の方向へ探索した場合に、集計値が初めて集計値Ｖｉ＿ｔｈｒｅｓｈｏｌｄとなる画像の水平方向の座標である。
　図４は、鉛直方向分布集計部１１５が集計した鉛直方向の点数の分布の一例をグラフ形式で示す。本実施形態においては、画像に対して、鉛直方向の座標値をｊで表している。
　図４に示すグラフにおいて、集計値Ｖｊ＿ｍａｘは、鉛直方向の点数の分布の最大値である。そして、鉛直方向の座標ｊ＿ｍａｘは、集計値Ｖｊ＿ｍａｘとなる画像の鉛直方向の座標である。
　また、集計値Ｖｊ＿ｔｈｒｅｓｈｏｌｄは、集計値Ｖｊ＿ｍａｘに所定の係数β（但し、０＜β＜１とする。）を乗じた値である。そして、鉛直方向の座標ｊ＿ｕｐｐｅｒは、鉛直方向の点数の分布を、画像の上端の座標から下端の方向へ探索した場合に、集計値が初めて集計値Ｖｊ＿ｔｈｒｅｓｈｏｌｄとなる画像の鉛直方向の座標である。また、鉛直方向の座標ｊ＿ｌｏｗｅｒは、鉛直方向の点数の分布を、画像の下端の座標から上端の方向へ探索した場合に、集計値が初めて集計値Ｖｊ＿ｔｈｒｅｓｈｏｌｄとなる画像の鉛直方向の座標である。
　図５は、車番プレート領域抽出部１１６が抽出した車番プレートの領域の一例を示す。
車番プレート領域抽出部１１６が抽出した車番プレートの領域は、始点座標（ｉ＿ｌｅｆｔ，ｊ＿ｕｐｐｅｒ）、及び終点座標（ｉ＿ｒｉｇｈｔ，ｊ＿ｌｏｗｅｒ）で囲まれる領域である。
　図６は、画像認識装置１１０の動作フローの一例を示す。なおまた、この動作フローの説明においては、図１から図５を共に参照する。
　ＣＣＴＶカメラ１３０は、例えば、１／１０００秒程度のシャッタ速度によって道路上の所定の領域を撮像する。その際、補助光源１５０は、ＣＣＴＶカメラ１３０のシャッタ速度に同期して発光する。そして、ＣＣＴＶカメラ１３０は、撮像する度に、撮像して得られた画像を、画像認識装置１１０へ出力する。
　画像認識装置１１０の画像入力受付部１１１は、ＣＣＴＶカメラ１３０から出力された画像の入力を受け付ける度に（Ｓ１０１）、その画像を、勾配算出部１１２、及び文字認識処理部１１７へ送る。
　画像認識装置１１０の勾配算出部１１２は、画像入力受付部１１１から送られた画像を受け取ると、その画像をラスタースキャンしながら、各座標の水平方向、及び鉛直方向の各方向について、勾配の値を算出する（Ｓ１０２）。例えば、勾配算出部１１２は、画像の各座標の水平方向の勾配の値ｆ（ｒｏｗ）を、式（１）のようにして算出する。また、例えば、勾配算出部１１２は、画像の各座標の鉛直方向の勾配の値ｆ（ｃｏｌ）を、式（２）のようにして算出する。ここで、ｆ（ｉ，ｊ）は、座標（ｉ，ｊ）の画素値である。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　そして、勾配算出部１１２は、各座標の水平方向、及び鉛直方向の各方向について、勾配の値を算出する度に、その座標と、その座標の水平方向の勾配の値ｆ（ｒｏｗ）と、その座標の鉛直方向の勾配の値ｆ（ｃｏｌ）とを示すデータを、エッジ方向評価部１１３へ送る。
　画像認識装置１１０のエッジ方向評価部１１３は、勾配算出部１１２から送られたデータを受け取ると、そのデータによって示される座標におけるエッジの方向を評価する（Ｓ１０３）。例えば、エッジ方向評価部１１３は、勾配算出部１１２から受け取ったデータによって示される座標の水平方向の勾配の値ｆ（ｒｏｗ）と、その座標の鉛直方向の勾配の値ｆ（ｃｏｌ）とに基づいて、その座標におけるエッジの方向θを、式（３）のようにして算出する。
Figure JPOXMLDOC01-appb-M000003
　ここで、車番プレートに使用され得る文字は、所定のフォントにて表される。そのため、車番プレートに使用され得る文字の輪郭線の方向は、特定の方向に偏っている傾向にある。例えば、０°の輪郭線の方向（横方向）と、９０°の輪郭線の方向（縦方向）は、特に高い存在率である。そこで、エッジ方向評価部１１３は、算出した座標におけるエッジの方向θと、０°又は９０°とのずれ量が、所定のずれ量のしきい値よりも小さいか否かを判定する。ここで、所定のずれ量のしきい値を考慮する理由は、必ずしも画像に車番プレートが水平に、又は想定された角度で写っていない可能性があるからである。例えば、所定のずれ量のしきい値は、例えば、±５°程度とする。そして、座標におけるエッジの方向θと、０°又は９０°とのずれ量が、所定のずれ量のしきい値よりも小さい場合、エッジ方向評価部１１３は、その座標に対して点数を１点付与することによって、その座標におけるエッジの方向を評価する。一方、座標におけるエッジの方向θと、０°又は９０°とのずれ量が、所定のずれ量のしきい値よりも大きい場合、エッジ方向評価部１１３は、その座標に対して点数を付与しないことによって、その座標におけるエッジの方向を評価する。そして、エッジ方向評価部１１３は、その座標と、その座標における点数とを示すデータを、水平方向分布集計部１１４、及び鉛直方向分布集計部１１５へ送る。なおまた、０°の輪郭線の方向と、９０°の輪郭線の方向は、この発明における「車番プレートに使用され得る文字の輪郭線の方向のうち所定の存在率のしきい値よりも高い存在率の輪郭線の方向」の一例であってよい。
　画像認識装置１１０の水平方向分布集計部１１４は、エッジ方向評価部１１３から送られたデータを受け取ると、そのデータによって示される点数の水平方向の分布を集計する（Ｓ１０４）。例えば、水平方向分布集計部１１４は、座標（ｉ，ｊ）、座標（ｉ，ｊ＋１）、座標（ｉ，ｊ＋２）、・・・の点数を加算して、水平方向の座標ｉの点数の集計値とする。このようにして、水平方向分布集計部１１４は、水平方向の座標ｉ、ｉ＋１、ｉ＋２、・・・の各座標における集計値を算出すると、水平方向の点数の分布を示すデータを、車番プレート領域抽出部１１６へ送る。
　画像認識装置１１０の鉛直方向分布集計部１１５は、エッジ方向評価部１１３から送られたデータを受け取ると、そのデータによって示される点数の鉛直方向の分布を集計する（Ｓ１０５）。例えば、鉛直方向分布集計部１１５は、座標（ｉ，ｊ）、座標（ｉ＋１，ｊ）、座標（ｉ＋２，ｊ）、・・・の点数を加算して、鉛直方向の座標ｊの点数の集計値とする。このようにして、鉛直方向分布集計部１１５は、鉛直方向の座標ｊ、ｊ＋１、ｊ＋２、・・・の各座標における集計値を算出すると、鉛直方向の点数の分布を示すデータを、車番プレート領域抽出部１１６へ送る。
　画像認識装置１１０の車番プレート領域抽出部１１６は、水平方向分布集計部１１４、及び鉛直方向分布集計部１１５から送られたデータをそれぞれ受け取ると、これらのデータによって示される点数の分布に基づいて、画像の中から車番プレートの領域を抽出する（Ｓ１０６）。例えば、車番プレート領域抽出部１１６は、水平方向分布集計部１１４から受け取ったデータによって示される水平方向の点数の分布の中から、水平方向の点数の分布が最大となる集計値Ｖｉ＿ｍａｘを特定する。そして、車番プレート領域抽出部１１６は、その集計値Ｖｉ＿ｍａｘに所定の係数α（但し、０＜α＜１とする。）を乗じた値Ｖｉ＿ｔｈｒｅｓｈｏｌｄを算出する。そして、車番プレート領域抽出部１１６は、水平方向の点数の分布を、画像の左端の座標から右端の方向へ探索して、図３に示すように、集計値が初めて値Ｖｉ＿ｔｈｒｅｓｈｏｌｄとなる画像の水平方向の座標ｉ＿ｌｅｆｔを特定する。また、車番プレート領域抽出部１１６は、水平方向の点数の分布を、画像の右端の座標から左端の方向へ探索して、図３に示すように、集計値が初めて値Ｖｉ＿ｔｈｒｅｓｈｏｌｄとなる画像の水平方向の座標ｉ＿ｒｉｇｈｔを特定する。同様に、車番プレート領域抽出部１１６は、鉛直方向分布集計部１１５から受け取ったデータによって示される鉛直方向の点数の分布の中から、鉛直方向の点数の分布が最大となる集計値Ｖｊ＿ｍａｘを特定する。そして、車番プレート領域抽出部１１６は、その集計値Ｖｊ＿ｍａｘに所定の係数β（但し、０＜β＜１とする。）を乗じた値Ｖｊ＿ｔｈｒｅｓｈｏｌｄを算出する。そして、車番プレート領域抽出部１１６は、鉛直方向の点数の分布を、画像の上端の座標から下端の方向へ探索して、図４に示すように、集計値が初めて値Ｖｊ＿ｔｈｒｅｓｈｏｌｄとなる画像の鉛直方向の座標ｊ＿ｕｐｐｅｒを特定する。また、車番プレート領域抽出部１１６は、鉛直方向の点数の分布を、画像の下端の座標から上端の方向へ探索して、図４に示すように、集計値が初めて値Ｖｊ＿ｔｈｒｅｓｈｏｌｄとなる画像の鉛直方向の座標ｊ＿ｌｏｗｅｒを特定する。そして、車番プレート領域抽出部１１６は、図５に示すように、始点座標（ｉ＿ｌｅｆｔ，ｊ＿ｕｐｐｅｒ）、及び終点座標（ｉ＿ｒｉｇｈｔ，ｊ＿ｌｏｗｅｒ）で囲まれる領域を、車番プレートの領域として抽出する。そして、車番プレート領域抽出部１１６は、抽出した車番プレートの領域の始点座標（ｉ＿ｌｅｆｔ，ｊ＿ｕｐｐｅｒ）、及び終点座標（ｉ＿ｒｉｇｈｔ，ｊ＿ｌｏｗｅｒ）を示すデータを、文字認識処理部１１７へ送る。
　画像認識装置１１０の文字認識処理部１１７は、画像入力受付部１１１から送られた画像を受け取り、車番プレート領域抽出部１１６から送られたデータを受け取ると、画像入力受付部１１１から受け取った画像の中から、車番プレート領域抽出部１１６から受け取ったデータによって示される始点座標（ｉ＿ｌｅｆｔ，ｊ＿ｕｐｐｅｒ）、及び終点座標（ｉ＿ｒｉｇｈｔ，ｊ＿ｌｏｗｅｒ）によって囲まれる車番プレートの領域を対象にして、文字認識処理を行って、車番を認識する（Ｓ１０７）。例えば、文字認識には、高速な演算が可能なパターンマッチング方式、文字それぞれの特徴量を抽出し、標準パターンとの距離演算で分離する方式、文字パターンを直接ニューラルネットワーク等に与える方式等が採用される。そして、文字認識処理部１１７は、認識した車番を示すデータを、車番データ送信部１１８へ送る。
　画像認識装置１１０の車番データ送信部１１８は、文字認識処理部１１７から送られたデータを受け取ると、そのデータを、ホストコンピュータ１７０へ送信する（Ｓ１０８）。
　このようにして、ホストコンピュータ１７０は、画像認識装置１１０から送信されたデータによって示される車番の情報を利用した処理を行うことができるようになる。
　以上、説明したように、第１の実施形態に係る画像認識装置１１０は、車番プレートに使用され得る文字の輪郭線の方向のうち所定の存在率のしきい値よりも高い存在率の輪郭線の方向と、画像の各座標におけるエッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さい場合に、その座標に対して点数を付与してその座標におけるエッジの方向を評価する。そして、画像認識装置１１０は、付与した点数の分布に基づいて、画像の中から車番プレートの領域を抽出する。
　このようにして、第１の実施形態に係る画像認識装置１１０によっては、既知の技術と比較して、より高速且つ精確に、画像の中から車番プレートの領域を抽出することができる。
　また、上述したように、第１の実施形態に係る画像認識装置１１０は、付与した点数の水平方向の分布を集計する。そして、画像認識装置１１０は、集計した水平方向の点数の分布に基づいて、画像の中から車番プレートの水平方向の領域を抽出する。
　このようにして、第１の実施形態に係る画像認識装置１１０によっては、高速且つ精確に、画像の中から車番プレートの水平方向の領域を抽出することができる。
　また、上述したように、第１の実施形態に係る画像認識装置１１０は、付与した点数の鉛直方向の分布を集計する。そして、画像認識装置１１０は、集計した鉛直方向の点数の分布に基づいて、画像の中から車番プレートの鉛直方向の領域を抽出する。
　このようにして、第１の実施形態に係る画像認識装置１１０によっては、高速且つ精確に、画像の中から車番プレートの鉛直方向の領域を抽出することができる。
　図７は、第２の実施形態に係る画像認識装置１１０のブロック構成の一例を示す。第２の実施形態に係る画像認識装置１１０は、画像入力受付部１１１、勾配算出部１１２、エッジ方向評価部１１３、水平方向分布集計部１１４、鉛直方向分布集計部１１５、車番プレート領域抽出部１１６、文字認識処理部１１７、車番データ送信部１１８、及びルックアップテーブル１１９を有する。以下の説明においては、各構成要素の機能、及び動作を詳述する。
　なおまた、第２の実施形態に係る画像認識装置１１０の構成要素のうち、第１の実施形態に係る画像認識装置１１０の構成要素と同じ符号を付している同名の構成要素は、同様の機能、及び動作を示す。したがって、以下の説明においては、その詳細な説明を省略する。
　ルックアップテーブル１１９は、水平方向の勾配の値ｆ（ｒｏｗ）と、鉛直方向の勾配の値ｆ（ｃｏｌ）との全ての組み合わせに対して、各組み合わせによって決まるエッジの方向θの評価結果である点数が格納されているテーブルである。例えば、水平方向の勾配の値ｆ（ｒｏｗ）と鉛直方向の勾配の値ｆ（ｃｏｌ）との組み合わせによって決まるエッジの方向θと、０°又は９０°とのずれ量が、所定のずれ量のしきい値よりも小さい場合、その水平方向の勾配の値ｆ（ｒｏｗ）と、鉛直方向の勾配の値ｆ（ｃｏｌ）との組み合わせに対して、１点の点数が格納されている。また、例えば、水平方向の勾配の値ｆ（ｒｏｗ）と鉛直方向の勾配の値ｆ（ｃｏｌ）との組み合わせによって決まるエッジの方向θと、０°又は９０°とのずれ量が、所定のずれ量のしきい値よりも大きい場合、その水平方向の勾配の値ｆ（ｒｏｗ）と、鉛直方向の勾配の値ｆ（ｃｏｌ）との組み合わせに対して、０点の点数が格納されている。
　図８は、第２の実施形態に係る画像認識装置１１０の動作フローの一例を示す。なおまた、この動作フローの説明においては、図１から図７を共に参照する。また、第２の実施形態に係る画像認識装置１１０の動作ステップのうち、第１の実施形態に係る画像認識装置１１０の動作ステップと同じ符号を付している同名の動作ステップは、同様の動作を示す。したがって、以下の説明においては、その詳細な説明を省略する。
　画像認識装置１１０のエッジ方向評価部１１３は、勾配算出部１１２から送られたデータを受け取ると、ルックアップテーブル１１９に格納されている点数の情報のうち、勾配算出部１１２から受け取ったデータによって示される水平方向の勾配の値ｆ（ｒｏｗ）と、鉛直方向の勾配の値ｆ（ｃｏｌ）との組み合わせに対して格納されている点数を読み出す。そして、エッジ方向評価部１１３は、ルックアップテーブル１１９から読み出した点数を、勾配算出部１１２から受け取ったデータによって示される座標におけるエッジの方向の評価結果とする（Ｓ１０９）。そして、エッジ方向評価部１１３は、その座標と、その座標における点数とを示すデータを、水平方向分布集計部１１４、及び鉛直方向分布集計部１１５へ送る。
　以上、説明したように、第２の実施形態に係る画像認識装置１１０は、ルックアップテーブル１１９を参照してエッジの方向を評価する。
　このようにして、第２の実施形態に係る画像認識装置１１０によっては、より高速に、画像の中から車番プレートの領域を抽出することができる。
　図９は、第３の実施形態に係る画像認識装置１１０の動作フローの一例を示す。なおまた、この動作フローの説明においては、図１から図８を共に参照する。また、第３の実施形態に係る画像認識装置１１０の動作ステップのうち、第１の実施形態に係る画像認識装置１１０の動作ステップと同じ符号を付している同名の動作ステップは、同様の動作を示す。したがって、以下の説明においては、その詳細な説明を省略する。
　画像認識装置１１０のエッジ方向評価部１１３は、勾配算出部１１２から送られたデータを受け取ると、そのデータによって示される座標におけるエッジの方向を評価する（Ｓ１１０）。例えば、エッジ方向評価部１１３は、勾配算出部１１２から受け取ったデータによって示される水平方向の勾配の値ｆ（ｒｏｗ）と、その座標の鉛直方向の勾配の値ｆ（ｃｏｌ）とに基づいて、その座標におけるエッジの方向θを、式（３）のようにして算出する。ここで、車番プレートに使用され得る文字は、所定のフォントにて表される。そのため、車番プレートに使用され得る文字の輪郭線の方向は、特定の方向に偏っている傾向にある。例えば、０°の輪郭線の方向と、９０°の輪郭線の方向は、特に高い存在率である。また、例えば、４５°の輪郭線の方向は、０°や９０°の輪郭線の方向に次いで高い存在率であるとする。このような場合、エッジ方向評価部１１３は、算出した座標におけるエッジの方向θと、０°、４５°、又は９０°とのずれ量が、所定のずれ量のしきい値よりも小さいか否かを判定する。ここで、所定のずれ量のしきい値を考慮する理由は、必ずしも画像に車番プレートが水平に写っていない可能性があるからである。例えば、所定のずれ量のしきい値は、例えば、±５°程度とする。そして、座標におけるエッジの方向θと、０°又は９０°とのずれ量が、所定のずれ量のしきい値よりも小さい場合、エッジ方向評価部１１３は、その座標に対して点数を５点付与することによって、その座標におけるエッジの方向を評価する。また、座標におけるエッジの方向θと、４５°とのずれ量が、所定のずれ量のしきい値よりも小さい場合、エッジ方向評価部１１３は、その座標に対して点数を３点付与することによって、その座標におけるエッジの方向を評価する。
一方、座標におけるエッジの方向θと、０°、４５°、又は９０°とのずれ量が、所定のずれ量のしきい値よりも大きい場合、エッジ方向評価部１１３は、その座標に対して点数を付与しないことによって、その座標におけるエッジの方向を評価する。そして、エッジ方向評価部１１３は、その座標と、その座標における点数とを示すデータを、水平方向分布集計部１１４、及び鉛直方向分布集計部１１５へ送る。
　以上、説明したように、第３の実施形態に係る画像認識装置１１０は、車番プレートに使用され得る文字の輪郭線の方向とエッジの方向とのずれ量が所定のずれ量のしきい値よりも小さい場合、その輪郭線の方向の存在率に応じて異なる点数を付与する。
　このようにして、第３の実施形態に係る画像認識装置１１０によっては、第１の実施形態に係る画像認識装置１１０と比較して、より精確に、画像の中から車番プレートの鉛直方向の領域を抽出することができる。
　図１０は、第４の実施形態に係る画像認識装置１１０のブロック構成の一例を示す。第４の実施形態に係る画像認識装置１１０は、画像入力受付部１１１、勾配算出部１１２、エッジ強さ判定部１２０、エッジ方向評価部１２１、水平方向分布集計部１１４、鉛直方向分布集計部１１５、車番プレート領域抽出部１１６、文字認識処理部１１７、及び車番データ送信部１１８を有する。以下の説明においては、各構成要素の機能、及び動作を詳述する。
　なおまた、第４の実施形態に係る画像認識装置１１０の構成要素のうち、第１の実施形態に係る画像認識装置１１０の構成要素と同じ符号を付している同名の構成要素は、同様の機能、及び動作を示す。したがって、以下の説明においては、その詳細な説明を省略する。
　エッジ強さ判定部１２０は、画像の各座標におけるエッジの強さが所定の強さのしきい値よりも大きいか否かを判定する。
　エッジ方向評価部１２１は、車番プレートに使用され得る文字の輪郭線の方向のうち所定の存在率のしきい値よりも高い存在率の輪郭線の方向と、画像の各座標におけるエッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さい場合に、その座標に対して点数を付与してその座標におけるエッジの方向を評価する。例えば、エッジ方向評価部１２１は、エッジの強さが所定の強さのしきい値よりも小さいとエッジ強さ判定部１２０が判定した場合、車番プレートに使用され得る文字の輪郭線の方向と、座標におけるエッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さくても、その座標に対して点数を付与しない。
　図１１は、第４の実施形態に係る画像認識装置１１０の動作フローの一例を示す。なおまた、この動作フローの説明においては、図１から図１０を共に参照する。また、第４の実施形態に係る画像認識装置１１０の動作ステップのうち、第１の実施形態に係る画像認識装置１１０の動作ステップと同じ符号を付している同名の動作ステップは、同様の動作を示す。したがって、以下の説明においては、その詳細な説明を省略する。
　画像認識装置１１０の勾配算出部１１２は、各座標の水平方向、及び鉛直方向の各方向について、勾配の値を算出する度に、その座標と、その座標の水平方向の勾配の値ｆ（ｒｏｗ）と、その座標の鉛直方向の勾配の値ｆ（ｃｏｌ）とを示すデータを、エッジ強さ判定部１２０、及びエッジ方向評価部１２１へ送る。
　画像認識装置１１０のエッジ強さ判定部１２０は、勾配算出部１１２から送られたデータを受け取ると、そのデータによって示される座標におけるエッジの強さが所定の強さのしきい値よりも大きいか否かを判定する（Ｓ１１１）。例えば、エッジ強さ判定部１２０は、勾配算出部１１２から受け取ったデータによって示される座標の水平方向の勾配の値ｆ（ｒｏｗ）と、その座標の鉛直方向の勾配の値ｆ（ｃｏｌ）とに基づいて、その座標におけるエッジの強さを、式（４）、又は式（５）のようにして算出する。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　ここで、一般に、車番プレートの文字の輪郭線部分の画素値は、車番プレート本体の画素値と比較して、大きく変化している。したがって、その近傍の座標におけるエッジの強さは、強いと言える。一方、路面の凹凸部分等の画素値は、小さく変化している。したがって、その近傍の座標におけるエッジの強さは、弱いと言える。しかしながら、座標におけるエッジの方向θは、そのエッジの強さの強弱に拘らず、同じ方向を示す場合がある。
そのため、路面の凹凸部分等の近傍の座標におけるエッジは、ノイズとして無視する必要がある。そこで、エッジ強さ判定部１２０は、算出したエッジの強さが所定の強さのしきい値よりも大きいか否かを判定する。例えば、車番プレートの文字の輪郭線部分の画素値が車番プレート本体の画素値と比較して、大きく変化しているようなものを対象とする場合、強さのしきい値は、大きい値に設定される。一方、車番プレートの文字の輪郭線部分の画素値が車番プレート本体の画素値と比較して、あまり大きく変化していないようなものを対象とする場合、強さのしきい値は、小さい値に設定される。そして、エッジ強さ判定部１２０は、座標におけるエッジの強さが所定の強さのしきい値よりも大きいか否かを判定すると、その座標と、判定結果とを示すデータを、エッジ方向評価部１２１へ送る。
　画像認識装置１１０のエッジ方向評価部１２１は、勾配算出部１１２から送られたデータを受け取り、エッジ方向評価部１２１から送られたデータを受け取ると、エッジ方向評価部１２１から受け取ったデータによって示される判定結果が「座標におけるエッジの強さが所定の強さのしきい値よりも小さい」との判定結果であった場合（Ｓ１１１：Ｎｏ）、車番プレートに使用され得る文字の輪郭線の方向と、その座標におけるエッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さくても、その座標に対して点数を付与しない（Ｓ１１２）。一方、エッジ方向評価部１２１から受け取ったデータによって示される判定結果が「座標におけるエッジの強さが所定の強さのしきい値よりも大きい」との判定結果であった場合（Ｓ１１１：Ｙｅｓ）、エッジ方向評価部１２１は、勾配算出部１１２から送られたデータによって示される座標におけるエッジの方向を評価する（Ｓ１０３）。
　以上、説明したように、第４の実施形態に係る画像認識装置１１０は、画像の各座標におけるエッジの強さが所定の強さのしきい値よりも大きいか否かを判定する。そして、画像認識装置１１０は、エッジの強さが所定の強さのしきい値よりも小さいとエッジ強さ判定部が判定した場合、車番プレートに使用され得る文字の輪郭線の方向と、座標におけるエッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さくても、その座標に対して点数を付与しない。
　このようにして、第４の実施形態に係る画像認識装置１１０によっては、路面の凹凸部分等の近傍の座標におけるエッジを、ノイズとして無視することができる。
　図１２は、第５の実施形態に係る画像認識装置１１０のブロック構成の一例を示す。第５の実施形態に係る画像認識装置１１０は、画像入力受付部１１１、勾配算出部１１２、エッジ方向評価部１１３、領域分布集計部１２２、車番プレート領域抽出部１２３、文字認識処理部１１７、車番データ送信部１１８、評価情報格納部１２４、及び領域分布情報格納部１２５を有する。以下の説明においては、各構成要素の機能、及び動作を詳述する。
　なおまた、第５の実施形態に係る画像認識装置１１０の構成要素のうち、第１の実施形態に係る画像認識装置１１０の構成要素と同じ符号を付している同名の構成要素は、同様の機能、及び動作を示す。したがって、以下の説明においては、その詳細な説明を省略する。
　領域分布集計部１２２は、エッジ方向評価部１１３が付与した点数の所定領域毎の分布を集計する。
　車番プレート領域抽出部１２３は、エッジ方向評価部１１３が付与した点数の分布に基づいて、画像の中から車番プレートの領域を抽出する。例えば、車番プレート領域抽出部１２３は、領域分布集計部１２２が集計した所定領域毎の点数の分布に基づいて、画像の中から車番プレートの領域を抽出する。
　評価情報格納部１２４には、各座標に付与された点数の情報が格納される。
　領域分布情報格納部１２５には、所定領域毎の点数の分布の情報が格納される。
　図１３は、評価情報格納部１２４に格納される情報の一例をテーブル形式で示す。評価情報格納部１２４には、座標、及び点数の各情報が対応付けられて格納される。
　座標の情報は、エッジ方向評価部１１３がエッジの方向を評価した対象の画像の座標を示す情報である。点数の情報は、座標の情報によって示される座標に付与された点数を示す情報である。
　図１４は、領域分布情報格納部１２５に格納される情報の一例をテーブル形式で示す。
領域分布情報格納部１２５には、始点座標、終点座標、及び点数の各情報が対応付けられて格納される。
　本実施形態においては、領域分布集計部１２２が矩形領域毎の点数の分布を集計する場合、始点座標の情報は、領域分布集計部１２２が点数の分布を集計した矩形領域の左上の座標を示す情報である。また、終点座標の情報は、領域分布集計部１２２が点数の分布を集計した矩形領域の右下の座標を示す情報である。点数の情報は、領域分布集計部１２２が集計した、始点座標の情報によって示される座標と、終点座標の情報によって示される座標とによって囲まれた矩形領域内の点数の集計点を示す情報である。
　図１５は、第５の実施形態に係る画像認識装置１１０の動作フローの一例を示す。なおまた、この動作フローの説明においては、図１から図１４を共に参照する。また、第５の実施形態に係る画像認識装置１１０の動作ステップのうち、第１の実施形態に係る画像認識装置１１０の動作ステップと同じ符号を付している同名の動作ステップは、同様の動作を示す。したがって、以下の説明においては、その詳細な説明を省略する。
　画像認識装置１１０のエッジ方向評価部１１３は、座標におけるエッジの方向を評価する度に、その座標の情報と、その座標における点数の情報とを対応付けて、評価情報格納部１２４に格納する。このようにして、評価情報格納部１２４には、図１３に示すような情報が格納されることになる。そして、エッジ方向評価部１１３は、画像の全座標におけるエッジの方向を評価し終えると、その旨を示すデータを、領域分布集計部１２２へ送る。
　画像認識装置１１０の領域分布集計部１２２は、エッジ方向評価部１１３から送られたデータを受け取ると、評価情報格納部１２４に格納されている情報を参照して、エッジ方向評価部１１３が付与した点数の所定領域毎の分布を集計する（Ｓ１１３）。例えば、所定領域の大きさは、想定している車番プレートを撮像した場合の、画像上の車番プレートの大きさと同じか、それよりも小さい矩形領域とする。領域分布集計部１２２は、画像の全領域に対して、所定領域を少しずつずらしながら、その所定領域内の点数を加算して集計する。そして、領域分布集計部１２２は、その所定領域の始点座標の情報と、その所定領域の終点座標の情報と、その所定領域内の集計した点数の情報とを対応付けて、領域分布情報格納部１２５に格納する。このようにして、領域分布情報格納部１２５には、図１４に示すような情報が格納されることになる。ここで、領域分布集計部１２２は、所定領域を１画素ずつずらしながら集計してもよいし、複数画素ずつずらしながら集計してもよいし、ランダムにずらしながら集計してもよい。そして、領域分布集計部１２２は、画像の全領域に対して、所定領域毎の点数の分布の集計を終えると、その旨を示すデータを、車番プレート領域抽出部１２３へ送る。
　画像認識装置１１０の車番プレート領域抽出部１２３は、領域分布集計部１２２から送られたデータを受け取ると、領域分布情報格納部１２５に格納されている情報を参照して、画像の中から車番プレートの領域を抽出する（Ｓ１１４）。例えば、車番プレート領域抽出部１２３は、領域分布情報格納部１２５に格納されている情報のうち、所定の点数のしきい値よりも大きい点数の情報に対応付けられて格納されている、始点座標の情報と、終点座標の情報とを全て読み出す。そして、車番プレート領域抽出部１２３は、領域分布情報格納部１２５から読み出した始点座標の情報によって示される座標と、終点座標の情報によって示される座標とによって囲まれる全ての矩形領域を囲む矩形領域を、車番プレートの領域として抽出する。そして、車番プレート領域抽出部１２３は、抽出した車番プレートの領域の左上の座標と、右下の座標とを示すデータを、文字認識処理部１１７へ送る。
　以上、説明したように、第５の実施形態に係る画像認識装置１１０は、所定領域毎の点数の分布を集計する。そして、画像認識装置１１０は、集計した所定領域毎の点数の分布に基づいて、画像の中から車番プレートの領域を抽出する。
　このようにして、第５の実施形態に係る画像認識装置１１０によっては、第１の実施形態に係る画像認識装置１１０と比較して、より精確に、画像の中から車番プレートの領域を抽出することができる。
　図１６は、第６の実施形態に係る画像認識装置１１０のブロック構成の一例を示す。第６の実施形態に係る画像認識装置１１０は、画像入力受付部１１１、勾配算出部１１２、エッジ方向評価部１１３、水平方向分布集計部１１４、鉛直方向分布集計部１１５、領域分布集計部１２２、車番プレート領域抽出部１２６、文字認識処理部１１７、車番データ送信部１１８、評価情報格納部１２４、及び領域分布情報格納部１２５を有する。以下の説明においては、各構成要素の機能、及び動作を詳述する。
　なおまた、第６の実施形態に係る画像認識装置１１０の構成要素のうち、第１の実施形態に係る画像認識装置１１０、又は第５の実施形態に係る画像認識装置１１０の構成要素と同じ符号を付している同名の構成要素は、同様の機能、及び動作を示す。したがって、以下の説明においては、その詳細な説明を省略する。
　車番プレート領域抽出部１２６は、エッジ方向評価部１１３が付与した点数の分布に基づいて、画像の中から車番プレートの領域を抽出する。例えば、車番プレート領域抽出部１２６は、水平方向分布集計部１１４が集計した水平方向の点数の分布に基づいて、画像の中から車番プレートの水平方向の領域を抽出する。また、例えば、車番プレート領域抽出部１２６は、鉛直方向分布集計部１１５が集計した鉛直方向の点数の分布に基づいて、画像の中から車番プレートの鉛直方向の領域を抽出する。また、例えば、車番プレート領域抽出部１２６は、領域分布集計部１２２が集計した所定領域毎の点数の分布に基づいて、画像の中から車番プレートの領域を抽出する。
　図１７は、第６の実施形態に係る画像認識装置１１０の動作フローの一例を示す。なおまた、この動作フローの説明においては、図１から図１６を共に参照する。また、第６の実施形態に係る画像認識装置１１０の動作ステップのうち、第１の実施形態に係る画像認識装置１１０、又は第５の実施形態に係る画像認識装置１１０の動作ステップと同じ符号を付している同名の動作ステップは、同様の動作を示す。したがって、以下の説明においては、その詳細な説明を省略する。
　画像認識装置１１０のエッジ方向評価部１１３は、座標におけるエッジの方向を評価する度に、その座標と、その座標における点数とを示すデータを、水平方向分布集計部１１４、及び鉛直方向分布集計部１１５へ送るとともに、これらの情報を対応付けて、評価情報格納部１２４に格納する。このようにして、評価情報格納部１２４には、図１３に示すような情報が格納されることになる。
　　画像認識装置１１０の車番プレート領域抽出部１１６は、水平方向分布集計部１１４、及び鉛直方向分布集計部１１５から送られたデータをそれぞれ受け取ると、これらのデータによって示される点数の分布に基づいて、画像の中から車番プレートの仮領域を抽出する（Ｓ１１５）。例えば、車番プレート領域抽出部１１６は、水平方向分布集計部１１４から受け取ったデータによって示される水平方向の点数の分布の中から、水平方向の点数の分布が最大となる集計値Ｖｉ＿ｍａｘを特定する。そして、車番プレート領域抽出部１１６は、その集計値Ｖｉ＿ｍａｘに所定の係数α（但し、０＜α＜１とする。）を乗じた値Ｖｉ＿ｔｈｒｅｓｈｏｌｄを算出する。そして、車番プレート領域抽出部１１６は、水平方向の点数の分布を、画像の左端の座標から右端の方向へ探索して、図３に示すように、集計値が初めて値Ｖｉ＿ｔｈｒｅｓｈｏｌｄとなる画像の水平方向の座標ｉ＿ｌｅｆｔを特定する。また、車番プレート領域抽出部１１６は、水平方向の点数の分布を、画像の右端の座標から左端の方向へ探索して、図３に示すように、集計値が初めて値Ｖｉ＿ｔｈｒｅｓｈｏｌｄとなる画像の水平方向の座標ｉ＿ｒｉｇｈｔを特定する。同様に、車番プレート領域抽出部１１６は、鉛直方向分布集計部１１５から受け取ったデータによって示される鉛直方向の点数の分布の中から、鉛直方向の点数の分布が最大となる集計値Ｖｊ＿ｍａｘを特定する。そして、車番プレート領域抽出部１１６は、その集計値Ｖｊ＿ｍａｘに所定の係数α（但し、０＜α＜１とする。）を乗じた値Ｖｊ＿ｔｈｒｅｓｈｏｌｄを算出する。そして、車番プレート領域抽出部１１６は、鉛直方向の点数の分布を、画像の上端の座標から下端の方向へ探索して、図４に示すように、集計値が初めて値Ｖｊ＿ｔｈｒｅｓｈｏｌｄとなる画像の鉛直方向の座標ｊ＿ｕｐｐｅｒを特定する。また、車番プレート領域抽出部１１６は、鉛直方向の点数の分布を、画像の下端の座標から上端の方向へ探索して、図４に示すように、集計値が初めて値Ｖｊ＿ｔｈｒｅｓｈｏｌｄとなる画像の鉛直方向の座標ｊ＿ｌｏｗｅｒを特定する。そして、車番プレート領域抽出部１１６は、図５に示すように、始点座標（ｉ＿ｌｅｆｔ，ｊ＿ｕｐｐｅｒ）、及び終点座標（ｉ＿ｒｉｇｈｔ，ｊ＿ｌｏｗｅｒ）で囲まれる領域を、車番プレートの仮領域として抽出する。
そして、車番プレート領域抽出部１１６は、抽出した車番プレートの仮領域の始点座標（ｉ＿ｌｅｆｔ，ｊ＿ｕｐｐｅｒ）、及び終点座標（ｉ＿ｒｉｇｈｔ，ｊ＿ｌｏｗｅｒ）を示すデータを、領域分布集計部１２２へ送る。
　画像認識装置１１０の領域分布集計部１２２は、車番プレート領域抽出部１１６から送られたデータを受け取ると、そのデータによって示される始点座標（ｉ＿ｌｅｆｔ，ｊ＿ｕｐｐｅｒ）、及び終点座標（ｉ＿ｒｉｇｈｔ，ｊ＿ｌｏｗｅｒ）によって囲まれる車番プレートの仮領域に対して、評価情報格納部１２４に格納されている情報を参照して、エッジ方向評価部１１３が付与した点数の所定領域毎の分布を集計する（Ｓ１１６）。例えば、所定領域の大きさは、想定している車番プレートを撮像した場合の、画像上の車番プレートの大きさと同じか、それよりも小さい大きさの矩形領域とする。領域分布集計部１２２は、車番プレートの仮領域に対して、所定領域を少しずつずらしながら、その所定領域内の点数を加算して集計する。そして、領域分布集計部１２２は、その所定領域の始点座標の情報と、その所定領域の終点座標の情報と、その所定領域内の集計した点数の情報とを対応付けて、領域分布情報格納部１２５に格納する。このようにして、領域分布情報格納部１２５には、図１４に示すような情報が格納されることになる。ここで、領域分布集計部１２２は、所定領域を１画素ずつずらしながら集計してもよいし、複数画素ずつずらしながら集計してもよいし、ランダムにずらしながら集計してもよい。そして、領域分布集計部１２２は、車番プレートの仮領域に対して、所定領域毎の点数の分布の集計を終えると、その旨を示すデータを、車番プレート領域抽出部１２３へ送る。
　画像認識装置１１０の車番プレート領域抽出部１２３は、領域分布集計部１２２から送られたデータを受け取ると、領域分布情報格納部１２５に格納されている情報を参照して、画像の中から車番プレートの本領域を抽出する（Ｓ１１７）。例えば、車番プレート領域抽出部１２３は、領域分布情報格納部１２５に格納されている情報のうち、所定の点数のしきい値よりも大きい点数の情報に対応付けられて格納されている、始点座標の情報と、終点座標の情報とを全て読み出す。そして、車番プレート領域抽出部１２３は、領域分布情報格納部１２５から読み出した始点座標の情報によって示される座標と、終点座標の情報によって示される座標とによって囲まれる全ての矩形領域を囲む矩形領域を、車番プレートの本領域として抽出する。そして、車番プレート領域抽出部１２３は、抽出した車番プレートの本領域の左上の座標と、右下の座標とを示すデータを、文字認識処理部１１７へ送る。
　以上、説明したように、第６の実施形態に係る画像認識装置１１０は、集計した水平方向の点数の分布と、集計した鉛直方向の点数の分布とに基づいて、画像の中から車番プレートの仮領域を抽出する。そして、画像認識装置１１０は、集計した所定領域毎の分布に基づいて、車番プレートの仮領域の中から車番プレートの本領域を抽出する。
　このようにして、第６の実施形態に係る画像認識装置１１０によっては、第１の実施形態に係る画像認識装置１１０と比較して、より精確に、画像の中から車番プレートの領域を抽出することができ、第５の実施形態に係る画像認識装置１１０と比較して、より高速に、画像の中から車番プレートの領域を抽出することができる。
　図１８は、本実施形態に係る画像認識装置１１０を構成するコンピュータ８００のハードウェア構成の一例を示す。本実施形態に係るコンピュータ８００は、ホストコントローラ８０１により相互に接続されるＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）８０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）８０３、グラフィックコントローラ８０４、及びディスプレイ８０５を有するＣＰＵ周辺部と、入出力コントローラ８０６により相互に接続される通信インターフェース８０７、ハードディスクドライブ８０８、及びＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）ドライブ８０９を有する入出力部と、入出力コントローラ８０６に接続されるＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）８１０、フレキシブルディスクドライブ８１１、及び入出力チップ８１２を有するレガシー入出力部とを備える。
　ホストコントローラ８０１は、ＲＡＭ８０３と、高い転送レートでＲＡＭ８０３をアクセスするＣＰＵ８０２、及びグラフィックコントローラ８０４とを接続する。ＣＰＵ８０２は、ＲＯＭ８１０、及びＲＡＭ８０３に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィックコントローラ８０４は、ＣＰＵ８０２等がＲＡＭ８０３内に設けたフレームバッファ上に生成する画像データを取得し、ディスプレイ８０５上に表示させる。これに代えて、グラフィックコントローラ８０４は、ＣＰＵ８０２等が生成する画像データを格納するフレームバッファを、内部に含んでもよい。
　入出力コントローラ８０６は、ホストコントローラ８０１と、比較的高速な入出力装置である通信インターフェース８０７、ハードディスクドライブ８０８、及びＣＤ－ＲＯＭドライブ８０９を接続する。ハードディスクドライブ８０８は、コンピュータ８００内のＣＰＵ８０２が使用するプログラム、及びデータを格納する。ＣＤ－ＲＯＭドライブ８０９は、ＣＤ－ＲＯＭ８９２からプログラム、又はデータを読み取り、ＲＡＭ８０３を介してハードディスクドライブ８０８に提供する。
　また、入出力コントローラ８０６には、ＲＯＭ８１０と、フレキシブルディスクドライブ８１１、及び入出力チップ８１２の比較的低速な入出力装置とが接続される。ＲＯＭ８１０は、コンピュータ８００が起動時に実行するブートプログラム、及び／又はコンピュータ８００のハードウェアに依存するプログラム等を格納する。フレキシブルディスクドライブ８１１は、フレキシブルディスク８９３からプログラム、又はデータを読み取り、ＲＡＭ８０３を介してハードディスクドライブ８０８に提供する。入出力チップ８１２は、フレキシブルディスクドライブ８１１を入出力コントローラ８０６へと接続すると共に、例えばパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して各種の入出力装置を入出力コントローラ８０６へと接続する。
　ＲＡＭ８０３を介してハードディスクドライブ８０８に提供されるプログラムは、フレキシブルディスク８９３、ＣＤ－ＲＯＭ８９２、又はＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）カード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ８０３を介してコンピュータ８００内のハードディスクドライブ８０８にインストールされ、ＣＰＵ８０２において実行される。
　コンピュータ８００にインストールされ、コンピュータ８００を画像認識装置１１０として機能させるプログラムは、コンピュータ８００を、ステップＳ１０３、Ｓ１０９、Ｓ１１０において、車番プレートに使用され得る文字の輪郭線の方向のうち所定の存在率のしきい値よりも高い存在率の輪郭線の方向と、画像の各座標におけるエッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さい場合に、その座標に対して点数を付与してその座標におけるエッジの方向を評価するエッジ方向評価部と、エッジ方向評価部が付与した点数の分布に基づいて、ステップＳ１０６、Ｓ１１４、Ｓ１１５、Ｓ１１７において、画像の中から車番プレートの領域を抽出する車番プレート領域抽出部として機能させる。
　更に、当該プログラムは、コンピュータ８００を、ステップＳ１１１において、画像の各座標におけるエッジの強さが所定の強さのしきい値よりも大きいか否かを判定するエッジ強さ判定部と、エッジの強さが所定の強さのしきい値よりも小さいとエッジ強さ判定部が判定した場合、ステップＳ１１２において、輪郭線の方向と、エッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さくても、その座標に対して点数を付与しないエッジ方向評価部として機能させてもよい。
　更に、当該プログラムは、コンピュータ８００を、エッジ方向評価部が付与した点数の水平方向の分布を、ステップＳ１０４において集計する水平方向分布集計部と、水平方向分布集計部が集計した水平方向の点数の分布に基づいて、ステップＳ１０６、Ｓ１１５において、画像の中から車番プレートの水平方向の領域を抽出する車番プレート領域抽出部として機能させてもよい。
　更に、当該プログラムは、コンピュータ８００を、エッジ方向評価部が付与した点数の鉛直方向の分布を、ステップＳ１０５において集計する鉛直方向分布集計部と、鉛直方向分布集計部が集計した鉛直方向の点数の分布に基づいて、ステップＳ１０６、Ｓ１１５において、画像の中から車番プレートの鉛直方向の領域を抽出する車番プレート領域抽出部として機能させてもよい。
　更に、当該プログラムは、コンピュータ８００を、エッジ方向評価部が付与した点数の所定領域毎の分布を、ステップＳ１１３、Ｓ１１６において集計する領域分布集計部と、領域分布集計部が集計した所定領域毎の点数の分布に基づいて、ステップＳ１１４、Ｓ１１７において、画像の中から車番プレートの領域を抽出する車番プレート領域抽出部として機能させてもよい。
　更に、当該プログラムは、コンピュータ８００を、ステップＳ１１０において、車番プレートに使用され得る文字の輪郭線の方向とエッジの方向とのずれ量が所定のずれ量のしきい値よりも小さい場合、その輪郭線の方向の存在率に応じて異なる点数を付与するエッジ方向評価部として機能させてもよい。
　これらのプログラムに記述された情報処理は、コンピュータ８００に読み込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である画像入力受付部、勾配算出部、エッジ方向評価部、水平方向分布集計部、鉛直方向分布集計部、車番プレート領域抽出部、文字認識処理部、車番データ送信部、ルックアップテーブル、エッジ強さ判定部、領域分布集計部、評価情報格納部、及び領域分布情報格納部として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ８００の使用目的に応じた情報の演算、又は加工を実現することにより、使用目的に応じた特有の画像認識装置１１０が構築される。
　一例として、コンピュータ８００と外部の装置等との間で通信を行う場合には、ＣＰＵ８０２は、ＲＡＭ８０３上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェース８０７に対して通信処理を指示する。通信インターフェース８０７は、ＣＰＵ８０２の制御を受けて、ＲＡＭ８０３、ハードディスクドライブ８０８、フレキシブルディスク８９３、又はＣＤ－ＲＯＭ８９２等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェース８０７は、ダイレクトメモリアクセス方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ８０２が転送元の記憶装置、又は通信インターフェース８０７からデータを読み出し、転送先の通信インターフェース８０７、又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。
　また、ＣＰＵ８０２は、ハードディスクドライブ８０８、ＣＤ－ＲＯＭ８９２、フレキシブルディスク８９３等の外部記憶装置に格納されたファイル、又はデータベース等の中から、全部、又は必要な部分をダイレクトメモリアクセス転送等によりＲＡＭ８０３へと読み込ませ、ＲＡＭ８０３上のデータに対して各種の処理を行う。そして、ＣＰＵ８０２は、処理を終えたデータを、ダイレクトメモリアクセス転送等により外部記憶装置へと書き戻す。
　このような処理において、ＲＡＭ８０３は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ８０３、及び外部記憶装置等をメモリ、記憶部、又は記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なおまた、ＣＰＵ８０２は、ＲＡＭ８０３の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ８０３の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ８０３、メモリ、及び／又は記憶装置に含まれるものとする。
　また、ＣＰＵ８０２は、ＲＡＭ８０３から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索、置換等を含む各種の処理を行い、ＲＡＭ８０３へと書き戻す。例えば、ＣＰＵ８０２は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数、又は定数と比較して、大きい、小さい、以上、以下、又は等しい等の条件を満たすかどうかを判断し、条件が成立した場合、又は不成立であった場合に、異なる命令列へと分岐し、又はサブルーチンを呼び出す。
　また、ＣＰＵ８０２は、記憶装置内のファイル、又はデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ８０２は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、所定の条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。
　以上に示したプログラム、又はモジュールは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク８９３、ＣＤ－ＲＯＭ８９２の他に、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）、又はＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ）等の光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ　ｄｉｓｋ）等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク、又はインターネットに接続されたサーバシステムに設けたハードディスク、又はＲＡＭ等の記憶媒体を記録媒体として使用して、ネットワークを介してプログラムをコンピュータ８００に提供してもよい。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更、又は改良を加えることが可能であることが当業者に明らかである。そのような変更、又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
　特許請求の範囲、明細書、及び図面中において示したシステム、方法、装置、プログラム、及び記録媒体における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現し得ることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
　本発明のいくつかの態様によれば、画像の中から車番プレートの領域を抽出することができる。
１００　車番認識システム
１１０　画像認識装置
１１１　画像入力受付部
１１２　勾配算出部
１１３　エッジ方向評価部
１１４　水平方向分布集計部
１１５　鉛直方向分布集計部
１１６　車番プレート領域抽出部
１１７　文字認識処理部
１１８　車番データ送信部
１１９　ルックアップテーブル
１２０　エッジ強さ判定部
１２１　エッジ方向評価部
１２２　領域分布集計部
１２３　車番プレート領域抽出部
１２４　評価情報格納部
１２５　領域分布情報格納部
１２６　車番プレート領域抽出部
１３０　ＣＣＴＶカメラ
１５０　補助光源
１７０　ホストコンピュータ
８００　コンピュータ
８０１　ホストコントローラ
８０２　ＣＰＵ
８０３　ＲＡＭ
８０４　グラフィックコントローラ
８０５　ディスプレイ
８０６　入出力コントローラ
８０７　通信インターフェース
８０８　ハードディスクドライブ
８０９　ＣＤ－ＲＯＭドライブ
８１０　ＲＯＭ
８１１　フレキシブルディスクドライブ
８１２　入出力チップ
８９１　ネットワーク通信装置
８９２　ＣＤ－ＲＯＭ
８９３　フレキシブルディスク
Ｎ　通信回線

Claims (9)

  1. 　画像の中から車番プレートの領域を抽出する画像認識装置であって、
    　前記車番プレートに使用され得る文字の輪郭線の方向のうち所定の存在率のしきい値よりも高い存在率の輪郭線の方向と、前記画像の各座標におけるエッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さい場合に、前記座標に対して点数を付与して前記座標におけるエッジの方向を評価するエッジ方向評価部と、
    　前記エッジ方向評価部が付与した点数の分布に基づいて、前記画像の中から前記車番プレートの領域を抽出する車番プレート領域抽出部と
    　を備える画像認識装置。
  2. 　前記画像の各座標におけるエッジの強さが所定の強さのしきい値よりも大きいか否かを判定するエッジ強さ判定部
    　を更に備え、
    　前記エッジ方向評価部は、前記エッジの強さが所定の強さのしきい値よりも小さいと前記エッジ強さ判定部が判定した場合、前記輪郭線の方向と、前記エッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さくても、前記座標に対して点数を付与しない
    　請求項１に記載の画像認識装置。
  3. 　前記エッジ方向評価部が付与した点数の水平方向の分布を集計する水平方向分布集計部
    　を更に備え、
    　前記車番プレート領域抽出部は、前記水平方向分布集計部が集計した水平方向の点数の分布に基づいて、前記画像の中から前記車番プレートの水平方向の領域を抽出する
    　請求項１又は２に記載の画像認識装置。
  4. 　前記エッジ方向評価部が付与した点数の鉛直方向の分布を集計する鉛直方向分布集計部
    　を更に備え、
    　前記車番プレート領域抽出部は、前記鉛直方向分布集計部が集計した鉛直方向の点数の分布に基づいて、前記画像の中から前記車番プレートの鉛直方向の領域を抽出する
    　請求項１から３のいずれか一項に記載の画像認識装置。
  5. 　前記エッジ方向評価部が付与した点数の所定領域毎の分布を集計する領域分布集計部
    　を更に備え、
    　前記車番プレート領域抽出部は、前記領域分布集計部が集計した所定領域毎の点数の分布に基づいて、前記画像の中から前記車番プレートの領域を抽出する
    　請求項１から４のいずれか一項に記載の画像認識装置。
  6. 　前記エッジ方向評価部は、前記輪郭線の方向と前記エッジの方向とのずれ量が所定のずれ量のしきい値よりも小さい場合、前記輪郭線の方向の存在率に応じて異なる点数を付与する
    　請求項１から５のいずれか一項に記載の画像認識装置。
  7. 　画像の中から車番プレートの領域を抽出する車番プレート領域抽出方法であって、
    　前記車番プレートに使用され得る文字の輪郭線の方向のうち所定の存在率のしきい値よりも高い存在率の輪郭線の方向と、前記画像の各座標におけるエッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さい場合に、前記座標に対して点数を付与して前記座標におけるエッジの方向を評価するエッジ方向評価段階と、
    　前記エッジ方向評価段階において付与された点数の分布に基づいて、前記画像の中から前記車番プレートの領域を抽出する車番プレート領域抽出段階と
    　を備える画像認識方法。
  8. 　画像の中から車番プレートの領域を抽出する画像認識装置として、コンピュータを機能させるプログラムであって、
    　前記コンピュータを、
    　前記車番プレートに使用され得る文字の輪郭線の方向のうち所定の存在率のしきい値よりも高い存在率の輪郭線の方向と、前記画像の各座標におけるエッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さい場合に、前記座標に対して点数を付与して前記座標におけるエッジの方向を評価するエッジ方向評価部、
    　前記エッジ方向評価部が付与した点数の分布に基づいて、前記画像の中から前記車番プレートの領域を抽出する車番プレート領域抽出部
    　として機能させるプログラム。
  9. 　画像の中から車番プレートの領域を抽出する画像認識装置として、コンピュータを機能させるプログラムを記録した記録媒体であって、
    　前記コンピュータを、
    　前記車番プレートに使用され得る文字の輪郭線の方向のうち所定の存在率のしきい値よりも高い存在率の輪郭線の方向と、前記画像の各座標におけるエッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さい場合に、前記座標に対して点数を付与して前記座標におけるエッジの方向を評価するエッジ方向評価部、
    　前記エッジ方向評価部が付与した点数の分布に基づいて、前記画像の中から前記車番プレートの領域を抽出する車番プレート領域抽出部
    　として機能させるプログラムを記録した記録媒体。
PCT/JP2013/059061 2012-11-16 2013-03-27 画像認識装置、画像認識方法、プログラム、及び記録媒体 Ceased WO2014076979A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
SG11201503823UA SG11201503823UA (en) 2012-11-16 2013-03-27 Image recognition device, image recognition method, program, and recording medium
US14/442,715 US9747511B2 (en) 2012-11-16 2013-03-27 Image recognition device, image recognition method, program, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012251806A JP6037791B2 (ja) 2012-11-16 2012-11-16 画像認識装置、画像認識方法、プログラム、及び記録媒体
JP2012-251806 2012-11-16

Publications (1)

Publication Number Publication Date
WO2014076979A1 true WO2014076979A1 (ja) 2014-05-22

Family

ID=50730908

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/059061 Ceased WO2014076979A1 (ja) 2012-11-16 2013-03-27 画像認識装置、画像認識方法、プログラム、及び記録媒体

Country Status (6)

Country Link
US (1) US9747511B2 (ja)
JP (1) JP6037791B2 (ja)
MY (1) MY169870A (ja)
SG (1) SG11201503823UA (ja)
TW (1) TWI482103B (ja)
WO (1) WO2014076979A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348440A (zh) * 2019-07-09 2019-10-18 北京字节跳动网络技术有限公司 牌照检测方法、装置、电子设备及存储介质
CN112885134A (zh) * 2021-01-24 2021-06-01 成都智慧赋能科技有限公司 一种基于大数据的智慧城市交通管理方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL238473A0 (en) * 2015-04-26 2015-11-30 Parkam Israel Ltd A method and system for discovering and mapping parking areas
CN108320582B (zh) * 2018-03-30 2020-01-24 合肥城市泊车投资管理有限公司 一种具备剩余车位统计功能的停车管理系统
JP7467107B2 (ja) * 2019-12-25 2024-04-15 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN114863128A (zh) * 2022-03-23 2022-08-05 佛山科学技术学院 一种涂胶单板的轮廓提取和纠偏系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6488210A (en) * 1987-09-30 1989-04-03 Suzuki Motor Co Method for detecting distance between cars
JPH04169987A (ja) * 1990-11-01 1992-06-17 Omron Corp 文字列検出方法、文字列検出装置、文字列読取方法及び文字列読取装置
JPH08329252A (ja) * 1995-05-31 1996-12-13 Sony Corp エッジ検出方法及びエッジ検出装置
JPH11339017A (ja) * 1998-05-29 1999-12-10 Mitsubishi Heavy Ind Ltd ナンバープレート認識装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US647351A (en) * 1899-08-24 1900-04-10 John Chandler Wood Valve.
JP2893814B2 (ja) 1990-03-15 1999-05-24 住友電気工業株式会社 車番自動読取装置におけるプレート切出し装置
US6281928B1 (en) * 1998-05-13 2001-08-28 Chuo Hatsujo Kabushiki Kaisha Positional detector device for a vehicular license plate
JP3679958B2 (ja) 1999-10-28 2005-08-03 三菱重工業株式会社 ナンバープレート認識装置
TWI262454B (en) * 2002-04-22 2006-09-21 Chunghwa Telecom Co Ltd Image-type plate recognizer
TWI236638B (en) * 2004-03-24 2005-07-21 Univ Chung Yuan Christian Multiple recognition system and method for license plates
IL162878A0 (en) * 2004-07-06 2005-11-20 Hi Tech Solutions Ltd Multi-level neural network based characters identification method and system
JP4713107B2 (ja) * 2004-08-20 2011-06-29 日立オムロンターミナルソリューションズ株式会社 景観中文字列認識方式および装置
TW200802137A (en) * 2006-06-16 2008-01-01 Univ Nat Chiao Tung Serial-type license plate recognition system
WO2008079902A1 (en) * 2006-12-21 2008-07-03 Neology, Inc. Systems and methods for a rfid enabled metal license plate
CN101458814B (zh) * 2007-12-13 2012-02-01 东软集团股份有限公司 一种用于从图像中分割对象感兴趣区域的方法和装置
TWI430187B (zh) * 2011-02-14 2014-03-11 Chunghwa Telecom Co Ltd License plate number identification method
US20140254878A1 (en) * 2013-03-08 2014-09-11 Next Level Security Systems, Inc. System and method for scanning vehicle license plates
US20140254866A1 (en) * 2013-03-08 2014-09-11 Next Level Security Systems, Inc. Predictive analysis using vehicle license plate recognition
US9460367B2 (en) * 2014-11-26 2016-10-04 Xerox Corporation Method and system for automating an image rejection process

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6488210A (en) * 1987-09-30 1989-04-03 Suzuki Motor Co Method for detecting distance between cars
JPH04169987A (ja) * 1990-11-01 1992-06-17 Omron Corp 文字列検出方法、文字列検出装置、文字列読取方法及び文字列読取装置
JPH08329252A (ja) * 1995-05-31 1996-12-13 Sony Corp エッジ検出方法及びエッジ検出装置
JPH11339017A (ja) * 1998-05-29 1999-12-10 Mitsubishi Heavy Ind Ltd ナンバープレート認識装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348440A (zh) * 2019-07-09 2019-10-18 北京字节跳动网络技术有限公司 牌照检测方法、装置、电子设备及存储介质
CN112885134A (zh) * 2021-01-24 2021-06-01 成都智慧赋能科技有限公司 一种基于大数据的智慧城市交通管理方法

Also Published As

Publication number Publication date
SG11201503823UA (en) 2015-06-29
TW201421379A (zh) 2014-06-01
US9747511B2 (en) 2017-08-29
MY169870A (en) 2019-05-27
JP2014099128A (ja) 2014-05-29
JP6037791B2 (ja) 2016-12-07
US20160132742A1 (en) 2016-05-12
TWI482103B (zh) 2015-04-21

Similar Documents

Publication Publication Date Title
JP6037791B2 (ja) 画像認識装置、画像認識方法、プログラム、及び記録媒体
CN111742344B (zh) 图像语义分割方法、可移动平台及存储介质
US9002066B2 (en) Methods, systems and processor-readable media for designing a license plate overlay decal having infrared annotation marks
CN108364010A (zh) 一种车牌识别方法、装置、设备及计算机可读存储介质
CN114119991B (zh) 一种目标检测的方法、装置、电子设备及存储介质
JP4517003B2 (ja) 道路標識自動認識システム
CN111783573B (zh) 一种远光灯检测方法、装置及设备
CN112330646A (zh) 一种基于二维图像的动车车底异常检测方法
CN112580734A (zh) 目标检测模型训练方法、系统、终端设备及存储介质
CN115661522B (zh) 一种基于视觉语义矢量的车辆导引方法、系统、设备和介质
CN112926461B (zh) 神经网络训练、行驶控制方法及装置
CN113490948A (zh) 轮胎侧壁成像方法
KR102403169B1 (ko) 이미지 분석을 통한 가이드 제공 방법 및 이를 실행시키기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN114511832B (zh) 车道线分析方法、装置、电子设备及存储介质
KR102389998B1 (ko) 비식별 처리 방법 및 이를 실행시키기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN113449629B (zh) 基于行车视频的车道线虚实识别装置、方法、设备及介质
WO2013141034A1 (ja) 車両データ処理システム、車両データ処理方法、車両データ処理装置、プログラム、及び記録媒体
CN106980859A (zh) 一种用于识别铝车轮背腔字符的方法
CN108537223A (zh) 一种车牌检测方法、系统及设备和存储介质
CN111161542B (zh) 车辆识别方法及装置
CN112633183B (zh) 影像遮挡区域自动检测方法、装置及存储介质
CN110135288A (zh) 一种电子证照的快速核对方法及装置
KR102546193B1 (ko) 컬러 정보를 이용한 학습 데이터 분류 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102546195B1 (ko) 수집 환경 기반 학습 데이터 분류 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102599196B1 (ko) 학습 데이터 생성에 관한 작업 비용 예측 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13855334

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: IDP00201502890

Country of ref document: ID

Ref document number: 14442715

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13855334

Country of ref document: EP

Kind code of ref document: A1