WO2019159415A1 - 読取システム - Google Patents

読取システム Download PDF

Info

Publication number
WO2019159415A1
WO2019159415A1 PCT/JP2018/035362 JP2018035362W WO2019159415A1 WO 2019159415 A1 WO2019159415 A1 WO 2019159415A1 JP 2018035362 W JP2018035362 W JP 2018035362W WO 2019159415 A1 WO2019159415 A1 WO 2019159415A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
segment display
candidate image
reading system
Prior art date
Application number
PCT/JP2018/035362
Other languages
English (en)
French (fr)
Inventor
利和 瀧
Original Assignee
株式会社 東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝 filed Critical 株式会社 東芝
Priority to CN201880088163.6A priority Critical patent/CN111670458B/zh
Publication of WO2019159415A1 publication Critical patent/WO2019159415A1/ja
Priority to US16/922,097 priority patent/US11301709B2/en
Priority to US17/688,063 priority patent/US11915498B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/49—Analysis of texture based on structural texture description, e.g. using primitives or placement rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Definitions

  • Embodiments of the present invention relate to a reading system.
  • the problem to be solved by the present invention is to provide a reading system capable of improving the reading accuracy of the numerical value of the segment display.
  • the reading system includes an extraction unit, a determination unit, and a reading unit.
  • the extraction unit extracts a candidate image of a portion where the segment display is taken from the input image.
  • the determination unit calculates an angle of each of a plurality of straight lines detected from the candidate image with respect to a reference line, and the candidate image is an image of a segment display based on a distribution indicating a relationship between the angle and the number of straight lines. It is determined whether or not.
  • the reading unit reads a numerical value displayed on the segment display from the candidate image determined to be an image on the segment display.
  • FIG. 1 is a block diagram illustrating a configuration of a reading system according to the embodiment.
  • the reading system which concerns on embodiment is used in order to read the numerical value displayed on the segment display from the image containing a segment display.
  • a segment display represents what contains some display information, such as a number and a character comprised by the display of a some segment.
  • the reading system 1 includes an imaging unit 11, an extraction unit 12, a conversion unit 13, a determination unit 15, a reading unit 16, and a storage unit 18.
  • the imaging unit 11 captures a segment display and acquires a still image.
  • the imaging unit 11 outputs the acquired image to the extraction unit 12.
  • a moving image is shot by the imaging unit 11, a still image is cut out from the moving image and output to the extraction unit 12.
  • the captured image may include something other than the segment display.
  • Extraction unit 12 extracts segment display image candidates from the input image.
  • an image shot by the imaging unit 11 and input to the extraction unit 12 is referred to as an input image.
  • An image that is a part of the input image and is a candidate for the segment display is called a candidate image.
  • the candidate image is a part of the input image determined by the extraction unit 12 that the segment display is captured. There may be a plurality of candidate images output from the extraction unit 12.
  • the extraction unit 12 includes a processing unit 12a, a binarization unit 12b, a contour extraction unit 12c, a first selection unit 12d, a quadrilateral extraction unit 12e, and a second selection unit 12f.
  • the processing unit 12a generates, for example, a processed image obtained by converting the input image into a gray scale.
  • the processing unit 12a outputs the processed image to the binarization unit 12b.
  • the processing unit 12a may output a processed image obtained by reducing the input image to a preset size to the binarization unit 12b.
  • the processing unit 12 a stores the original image that has not been reduced in the storage unit 18.
  • the binarization unit 12b binarizes the input processed image and generates a binary image expressed in white and black.
  • the contour extraction unit 12c extracts the contour of a region represented in white, for example, in the binary image.
  • the first selection unit 12d calculates the area of the region surrounded by the outline. When a plurality of contours are extracted, the area of each region is calculated. The first selection unit 12d compares each calculated area with a predetermined threshold, and selects only a region whose area is equal to or greater than the threshold. As a result, a region whose area is too small is excluded from the candidates.
  • the quadrilateral extraction unit 12e approximates the selected area with a straight line and extracts a quadrangle. For example, the quadrilateral extraction unit 12e acquires the coordinates of the extracted quadrangular vertices.
  • the second selection unit 12f compares the extracted rectangular area with a preset condition, and selects an area that meets the condition. Conditions include, for example, that the ratio of the vertical and horizontal dimensions of the rectangle is within a predetermined range, the vertex angle is within a predetermined range, and any vertex of the rectangle is near the outer frame of the image (for example, outside For example, it is not within 3 pixels from the frame.
  • the second selection unit 12f outputs the selected quadrangle to the conversion unit 13 as a final candidate image.
  • the conversion unit 13 performs the following first process and second process.
  • the conversion unit 13 determines whether the candidate image input from the extraction unit 12 is distorted. When it is determined that the candidate image is distorted, the conversion unit 13 corrects the distortion so that the candidate image approaches the image captured from the front.
  • the conversion unit 13 determines whether the size of the candidate image matches a predetermined size set in advance. When the size of the candidate image does not match the specified size, the conversion unit 13 corrects the candidate image so that the size of the candidate image approaches the specified size.
  • the conversion unit 13 corrects distortion and size, for example, by projective conversion of the candidate image.
  • the conversion unit 13 outputs the corrected candidate image to the determination unit 15. When it is determined that the candidate image is not distorted and the size of the candidate image matches the specified size, the conversion unit 13 outputs the input candidate image to the determination unit 15 as it is.
  • the determination unit 15 includes a straight line detection unit 15a, an angle calculation unit 15b, a distribution generation unit 15c, a first comparison unit 15d, an end point group detection unit 15e, an evaluation unit 15f, and a second comparison unit 15g.
  • the straight line detection unit 15a detects a plurality of straight lines included in the image subjected to edge detection. For example, in the detection of a straight line, the start point and end point of a line segment are detected.
  • the straight line detection unit 15 a outputs the detection result to the angle calculation unit 15 b and stores it in the storage unit 18.
  • the straight line detection unit 15b detects a line segment having a predetermined length or more with a predetermined angular resolution.
  • the angle calculation unit 15b calculates the angle of each straight line with respect to the reference line.
  • the angle calculation unit 15b calculates, for example, an angle between the reference line and each straight line using the base of the image (a straight line extending directly beside) as a reference line.
  • the distribution generation unit 15c generates a distribution indicating the relationship between the angle and the number of straight lines based on the calculation result.
  • the first comparison unit 15d compares the generated distribution with a preset first condition.
  • the first condition is, for example, that the sum of the total number of straight lines in the vicinity of the first angle and the total number of straight lines in the vicinity of the second angle inclined with respect to the first angle in the generated distribution is a preset value. That's it.
  • the first angle is 0 degrees and the second angle is 80 degrees.
  • “Nearby” includes, for example, a range from ⁇ 10 degrees to +10 degrees with the first angle or the second angle as the center.
  • the first comparison unit 15d calculates the sum of the total number of straight lines included in the range of ⁇ 10 degrees to 10 degrees and the total number of straight lines included in the range of 70 degrees to 90 degrees in the distribution, Compare with the preset value.
  • the angle of the line parallel to the horizontal direction is 0 degree
  • the angle of the line parallel to the vertical direction is 90 degrees.
  • the segment display to be read is a 7-segment display
  • a straight line of about 0 degrees and a straight line of about 80 degrees are often detected.
  • the segment display to be read is a 14-segment display or a 16-segment display
  • many straight lines of about 0 degrees, straight lines of about 45 degrees, and straight lines of about 80 degrees are detected.
  • the first condition is set based on this characteristic. If the distribution satisfies the first condition, the candidate image is likely to include a segment display.
  • the first comparison unit 15d When the distribution satisfies the first condition, the first comparison unit 15d outputs the determination result to the end point group detection unit 15e. If the distribution does not satisfy the first condition, there is a high possibility that the candidate image does not include the segment display, and thus the processing is terminated, for example.
  • the end point group detection unit 15e refers to, for example, the detection result of the straight line stored in the storage unit 18. And the end point group detection part 15e detects the end point group where the end points (start point and end point) of each straight line gathered from the detection result of the straight line.
  • the end point group detection unit 15e divides the candidate image into a plurality of areas (matrix) at predetermined intervals in the horizontal direction and the vertical direction, and extracts areas where a predetermined number or more of end points exist as end point groups.
  • the candidate image includes a segment display
  • a plurality of end point groups can be detected from the candidate image. The positions where these end point groups are detected correspond to the positions of the end portions of the segments.
  • the evaluation unit 15f calculates a vector from a certain end point group to an adjacent end point group.
  • the vector is obtained, for example, by obtaining a movement amount necessary for superposing one end point group on another end point group.
  • the evaluation unit 15f calculates the size ratio between adjacent vectors and the angle between the vectors.
  • the evaluation unit 15f outputs these evaluation values to the second comparison unit 15g.
  • the second comparison unit 15g compares the evaluation value with the second condition.
  • the second condition includes, for example, a first range related to the size ratio and a second range related to the angle. When the ratio of the sizes is within the first range and the angle is within the second range, the second comparison unit 15g determines that the candidate image is a segment display image, and reads the candidate image into the reading unit. 16 is output.
  • a general 7-segment display includes a segment extending in the vertical direction (vertical segment) and a segment extending in the horizontal direction (horizontal segment) in a front view.
  • the length ratio between vertical segments is approximately 1.
  • the ratio of the length of the horizontal segment to the length of the vertical segment is 1 or less.
  • the angle between the vertical segment and the horizontal segment is approximately 80 degrees or approximately 100 degrees.
  • the angle between the vertical segments is 180 degrees.
  • the ratio of the sizes of the vectors calculated by the evaluation unit 15f corresponds to the ratio of the lengths of the vertical segments or the ratio of the lengths of the vertical and horizontal segments.
  • the angle between the vectors calculated by the evaluation unit 15f corresponds to the angle between the vertical segment and the horizontal segment, or the angle between the vertical segments. Therefore, by comparing these evaluation values with the first range and the second range set in advance, it can be determined whether the candidate image is an image of a segment display.
  • the second comparison unit 15g compares the respective size ratios with the first range, and sets each angle to the second range. Compare with range.
  • the second comparison unit 15g detects, for example, the total number of calculated magnitude ratios.
  • the second comparison unit 15g detects the number of size ratios included in the first range.
  • the 2nd comparison part 15g calculates the ratio of the number of ratios of the magnitude
  • the second comparison unit 15g calculates, for example, a ratio of the number of angles included in the second range to the calculated total number of angles.
  • the second comparison unit 15g determines that the candidate image is an image of a segment display when the two calculated ratios are each equal to or greater than a preset threshold value.
  • the reading unit 16 reads the numerical value displayed on the segment display from the input candidate images. For example, the reading unit 16 reads out a numerical value by cutting out a number from the input candidate image and detecting a lit segment. For example, the reading unit 16 displays the read numerical value on a monitor or outputs it to a database.
  • the storage unit 18 stores information necessary for processing of the reading system 1 and data generated in the course of processing.
  • the storage unit 18 stores threshold values, conditions, and the like that are compared when the determination is performed.
  • FIG. 2 is a flowchart illustrating the operation of the reading system according to the embodiment.
  • FIG. 3 is a diagram illustrating processing in the reading system according to the embodiment.
  • the imaging unit 11 captures the segment display and acquires an image (step S11 in FIG. 2).
  • the processing unit 12a processes the input image (step S12a). As a result, a processed image obtained by reducing the input image to gray scale and an original image obtained by converting the input image only to gray scale are generated.
  • FIG. 3A is an example of a processed image.
  • the binarization unit 12b binarizes the processed image and generates a binary image as shown in FIG. 3B (step S12b).
  • the contour extracting unit 12c extracts the contour of the binary image (step S12c).
  • the first selection unit 12d selects a region surrounded by an outline (step S12d). Thereby, for example, as shown in FIG. 3C, the region surrounded by the frame A is selected.
  • the quadrangle extraction unit 12e extracts a quadrangle from the original image based on the quadrangle extraction result in the selected region (step S12e).
  • the second selection unit 12f selects the extracted quadrangle (step S12f) and outputs it as a candidate image.
  • FIG. 3D shows a quadrangle that is output as a candidate image.
  • the conversion unit 13 converts the candidate image so as to correct the distortion.
  • the conversion unit 13 corrects distortion and size, for example, by projective conversion of the candidate image (step S13).
  • the straight line detection unit 15a detects a plurality of straight lines SL from the candidate image (step S15a). In FIG. 3F and subsequent figures, only a part of the candidate images is illustrated.
  • the angle calculation unit 15b calculates the angle of each straight line SL (step S15b).
  • the distribution generation unit 15c generates a distribution indicating the relationship between the angle ⁇ and the number N of straight lines (step S15c).
  • the first comparison unit 15d determines whether the distribution satisfies the first condition (step S15d). For example, the first comparison unit 15d folds and overlaps a peak near 0 degrees and a peak near 80 degrees at an intermediate angle therebetween. Thereby, the distribution illustrated by the broken line in FIG. In this distribution, the first comparison unit 15d calculates the total number of straight lines N included in the range of ⁇ 10 degrees or more and 10 degrees or less, and compares it with a preset value.
  • the end point group detection unit 15e When the first condition is satisfied (when the total number is equal to or greater than the value), the end point group detection unit 15e is represented as illustrated in FIG. 3H from the detection result of the straight line illustrated in FIG. Then, the end point group EG is detected (step S15e).
  • the evaluation unit 15f calculates a vector connecting adjacent end point groups, and calculates an evaluation value (size ratio and angle) (step S15f).
  • the second comparison unit 15g determines whether the evaluation value satisfies the second condition (step S15g). When the evaluation value satisfies the second condition, the reading unit 16 reads the numerical value of the segment display from the candidate image (step S16).
  • the determination unit 15 determines whether there are other candidate images for which steps S15a to S15g have not yet been performed (step S17). If there is another candidate image, step S15a is performed for that candidate image. If there are no other candidate images, the process ends.
  • candidate images that are candidates for the portion where the segment display is photographed are extracted from the input image.
  • distortion or the like is appropriately corrected for the extracted candidate image, and the value of the segment display is read from the candidate image.
  • the candidate image may include a display similar to a segment display, for example.
  • the numerical value of another display device may be read as the numerical value of the segment display, and erroneous detection may occur.
  • the reading system 1 determines whether the candidate image includes a segment display based on the result of straight line detection and the result of end point group detection for the candidate image. Yes.
  • the possibility of erroneous detection can be reduced.
  • the determination based on the result of the straight line detection and the result of the end point group detection uses the characteristics of the general segment display (segment length and angle). Therefore, the reading system 1 can be applied to various segment displays and can read the numerical values with higher accuracy.
  • the determination is made by the first comparison unit 15d and the second comparison unit 15g.
  • the first comparison unit 15d and the second comparison unit 15g are used in the reading system 1.
  • the determination may be made by only one of the above. Even in this case, candidate images that are unlikely to include the segment display can be excluded before the reading by the reading unit 16, so that the reading accuracy of the numerical value of the segment display can be improved. In order to further improve the reading accuracy, it is desirable that both the first comparison unit 15d and the second comparison unit 15g are provided.
  • the reading system 1 includes the imaging unit 11, but the reading system 1 may not include the imaging unit 11.
  • an image captured by another imaging device may be input to the reading system 1 and a numerical value of the segment display may be read by the reading system 1 from the input image.
  • the reading system 1 may not include the conversion unit 13, but it is desirable to include the conversion unit 13 in order to improve reading accuracy.
  • the accuracy of the precision can be improved by correcting the distortion of the candidate image by the conversion unit 13. This makes it possible to more accurately select candidate images taken by the segment display.
  • FIG. 3 shows an example of reading the numerical value displayed on the 7-segment display.
  • the segment display that can be read by the reading system 1 according to the embodiment is not limited to the 7-segment display.
  • the segment display to be read may be a 14-segment display or a 16-segment display.
  • the processing in the extraction unit 12 can be appropriately changed as long as candidate images can be extracted. For example, when the size of the input image is small or when the input image is binarized in advance, the processing unit 12a or the binarization unit 12b is not necessary.
  • the process for extracting the candidate image from the input image can be changed as appropriate. These modifications will be described below.
  • FIG. 4 is a block diagram illustrating a configuration of a reading system according to a first modification of the embodiment.
  • the frame of the display area of the segment display is a rectangle. Therefore, the extraction unit 12 is provided with a quadrilateral extraction unit 12e in accordance with the shape of the display area.
  • an ellipse extraction unit 12g is provided in the extraction unit 12 in place of the square extraction unit 12e as in the reading system 2 shown in FIG.
  • the ellipse extraction unit 12g extracts an ellipse from the region selected by the first selection unit 12d.
  • the ellipse extraction unit 12g acquires the coordinates of the extracted ellipse.
  • the ellipse extraction unit 12g extracts an ellipse image corresponding to the coordinates from the original image and outputs the extracted image to the second selection unit 12f.
  • the second selection unit 12f compares the input ellipse image with preset conditions and selects an ellipse that meets the conditions.
  • the conditions for example, an elliptical flatness ratio, a luminance distribution, and the like are used.
  • the second selection unit 12f outputs the selected ellipse image to the conversion unit 13 as a candidate image.
  • the subsequent processing is the same as the example described with reference to FIGS. That is, the conversion unit 13 corrects the distortion of the candidate image. Then, after the determination by the determination unit 15, the reading unit 16 reads the numerical value of the segment display.
  • FIG. 5 is a block diagram illustrating a configuration of a reading system according to a second modification of the embodiment.
  • the reading system 3 illustrated in FIG. 5 includes an extraction unit 21 instead of the extraction unit 12 and the conversion unit 13 in comparison with the reading system 1.
  • the imaging unit 11 captures only the segment display to be read from the front.
  • an image obtained by photographing only the segment display from the front is referred to as a template image.
  • the extraction unit 21 includes a feature amount extraction unit 21a, a matching unit 21b, a conversion unit 21c, and a search unit 21d.
  • the feature amount extraction unit 21a extracts the feature amount of the input image.
  • the feature quantity extraction unit 21a refers to the template image stored in the storage unit 18 and extracts the feature quantity of the template image.
  • the feature amount of the template image may be extracted in advance by the feature amount extraction unit 21 a and stored in the storage unit 18.
  • the feature amount extraction unit 21 a refers to the feature amount of the template image stored in the storage unit 18.
  • the feature amount extraction unit 21a outputs the feature amount of the input image and the feature amount of the template image to the matching unit 21b.
  • the matching unit 21b calculates a correction amount of the input image necessary for matching the feature amount of the input image with the feature amount of the template image. For example, the matching unit 21b calculates a correction amount necessary to bring the segment display distorted in the input image closer to the image photographed from the front. The matching unit 21 b outputs the calculated correction amount and input image to the conversion unit 13. If the feature quantities cannot be matched, there is a high possibility that the segment display is not included in the input image. Accordingly, in this case, for example, the process is terminated without calculating the correction amount.
  • the conversion unit 21c converts the input image based on the input correction amount. Thereby, when the input image is distorted with respect to the template image, the distortion is corrected.
  • the search unit 21 d refers to the template image stored in the storage unit 18. Then, the search unit 21d searches the input image for a portion that matches the template image. The search unit 21d outputs the matched portion to the determination unit 15 as a candidate image. The subsequent processing in the determination unit 15 and the reading unit 16 is the same as that of the reading system 1 shown in FIG.
  • the feature amount extraction by the feature amount extraction unit 21a is performed using, for example, KAZE, AKAZE (Accelerated KAZE), or SIFT (Scale-invariant feature transform).
  • the matching in the matching unit 21b is performed using, for example, KNN (K Nearest Neighbor) or FLANN (Fast Library for Approximate Nearest Neighbors).
  • the search by the search unit 21d is performed using pattern matching based on the similarity between images, for example.
  • the reading system 3 In the reading system 3 according to the present modification, conversion of an input image using a feature amount and matching using a template image are performed. In other words, since the entire area of the input image is converted, it is effective when there are a plurality of segment displays on the same plane as compared with the reading system 1.
  • FIG. 6 is a block diagram illustrating a configuration of a reading system according to a third modification of the embodiment.
  • the reading system 4 illustrated in FIG. 6 includes an extraction unit 31 instead of the extraction unit 12 and the conversion unit 13 in comparison with the reading system 1.
  • the extraction unit 31 includes a learning unit 31a, an input unit 31b, a detection unit 31c, and a processing unit 31d.
  • a candidate image obtained by shooting a segment display is extracted from an input image using a neural network.
  • teacher data is input to the extraction unit 31 in advance, and neural network learning is performed.
  • the teacher data includes, for example, a distorted image including the segment display, data indicating the position of the segment display in the image, and the distortion amount of the image.
  • the learning unit 31a When the image data is input, the learning unit 31a responds (fires) to the data of the portion where the segment display is taken, and the neuron corresponding to the distortion amount of the image responds. Train a neural network.
  • the learning unit 31 a stores the learned neural network in the storage unit 18.
  • the learning by the learning unit 31a may be performed by a processing device in which processing by the determination unit 15 or the reading unit 16 is executed, or may be performed by using a different processing device. For the learning, a processing device having higher calculation performance is preferably used.
  • an image is acquired by the imaging unit 11 in order to read the numerical value of the segment display, and the image is input to the extraction unit 31.
  • the input unit 31 b refers to the learned neural network stored in the storage unit 18.
  • the input unit 31b inputs image data to the neural network.
  • the detection unit 31c detects the reaction. Then, the detection unit 31c detects the coordinates and distortion amount of the image to which the neuron has reacted, and outputs the detected coordinates to the processing unit 31d.
  • the processing unit 31d extracts a candidate image from the input image based on the input coordinates.
  • the processing unit 31d corrects the distortion of the candidate image based on the input distortion amount.
  • the processing unit 31d outputs the corrected candidate image to the determination unit 15.
  • the order in which candidate images are extracted and distortion is corrected can be changed as appropriate.
  • the candidate image may be extracted after the distortion of the input image is corrected in the processing unit 31d.
  • the subsequent processing in the determination unit 15 and the reading unit 16 is the same as that of the reading system 1 shown in FIG.
  • the reading system 3 In the reading system 3 according to this modification, an image is cut out and corrected using a neural network. For this reason, even when the contrast ratio between the display area of the segment display and its outer frame is not large and it is difficult to extract the contour from the binarized image, the candidate image can be extracted with higher accuracy. Therefore, as compared with the reading system 1, it is possible to read the numerical value of the segment display in the input image with higher accuracy.
  • FIG. 7 is a block diagram illustrating a hardware configuration for realizing the reading system according to the embodiment.
  • the reading system according to the embodiment includes the reading device 5 and the imaging device 6 illustrated in FIG.
  • the reading device 5 is, for example, a computer, and includes a ROM (Read Only Memory) 51, a RAM (Random Access Memory) 52, a CPU (Central Processing Unit) 53, and an HDD (Hard Disk Drive) 54.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • CPU Central Processing Unit
  • HDD Hard Disk Drive
  • ROM 51 stores a program for controlling the operation of the computer.
  • the ROM 51 stores a program necessary for causing the computer to function as the extraction unit, the conversion unit, the determination unit, the reading unit, the search unit, and the like in the above-described embodiment.
  • the RAM 52 functions as a storage area where the program stored in the ROM 51 is expanded.
  • the CPU 53 reads a control program stored in the ROM 51 and controls the operation of the computer according to the control program.
  • the CPU 53 expands various data obtained by the operation of the computer in the RAM 52.
  • the HDD 54 functions as the storage unit 18 in the above-described embodiment, and stores information necessary for reading and information obtained in the reading process.
  • the reading device 5 When the reading device 5 is used to realize the reading system 4 using a neural network, the reading device 5 further includes a GPU (Graphics Processing Unit) and a dedicated chip specialized for processing of the neural network. Also good. Instead of the HDD 54, the reading device 5 may include an eMMC (embedded Multi Media Card), an SSD (Solid State Drive), an SSHD (Solid State Hybrid Drive), and the like.
  • eMMC embedded Multi Media Card
  • SSD Solid State Drive
  • SSHD Solid State Hybrid Drive
  • the imaging device 6 captures a subject (segment display) and transmits the acquired image to the reading device 5.
  • the imaging device 6 is a camera, for example.
  • the output device 7 outputs the data output from the reading device 5 (the numerical value of the read segment display) so that the user can recognize it.
  • the output device 7 is, for example, a monitor, a printer, or a speaker.
  • the reading device 5, the imaging device 6, and the output device 7 are connected to each other by, for example, wired or wireless. Alternatively, they may be connected to each other via a network. Alternatively, at least two of the reading device 5, the imaging device 6, and the output device 7 may be incorporated into one device. For example, the reading device 5 may be integrated with the image processing unit of the imaging device 6 or the like.
  • the numerical value displayed on the segment display can be read with higher accuracy.
  • a program for causing a computer to operate as a reading system it is possible to cause the computer to read numerical values displayed on the segment display with higher accuracy.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Character Input (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

実施形態に係る読取システムは、抽出部、判定部、及び読取部を備える。前記抽出部は、入力画像からセグメントディスプレイが撮影された部分の候補画像を抽出する。前記判定部は、前記候補画像から検出された複数の直線のそれぞれの基準線に対する角度を算出し、前記角度と前記直線の数との関係を示す分布に基づいて前記候補画像がセグメントディスプレイの画像であるか判定を行う。前記読取部は、セグメントディスプレイの画像と判定された前記候補画像から、セグメントディスプレイに表示された数値を読み取る。

Description

読取システム
　本発明の実施形態は、読取システムに関する。
　セグメントディスプレイに表示された数値を読み取るシステムがある。このシステムにおいて、数値の読み取りの精度は、高いことが望ましい。
特開２０１７－１０１７０号公報
　本発明が解決しようとする課題は、セグメントディスプレイの数値の読み取り精度を向上できる読取システムを提供することである。
　実施形態に係る読取システムは、抽出部、判定部、及び読取部を備える。前記抽出部は、入力画像からセグメントディスプレイが撮影された部分の候補画像を抽出する。前記判定部は、前記候補画像から検出された複数の直線のそれぞれの基準線に対する角度を算出し、前記角度と前記直線の数との関係を示す分布に基づいて前記候補画像がセグメントディスプレイの画像であるか判定を行う。前記読取部は、セグメントディスプレイの画像と判定された前記候補画像から、セグメントディスプレイに表示された数値を読み取る。
実施形態に係る読取システムの構成を表すブロック図である。 実施形態に係る読取システムの動作を表すフローチャートである。 実施形態に係る読取システムにおける処理を例示する図である。 実施形態の第１変形例に係る読取システムの構成を表すブロック図である。 実施形態の第２変形例に係る読取システムの構成を表すブロック図である。 実施形態の第３変形例に係る読取システムの構成を表すブロック図である。 実施形態に係る読取システムを実現するためのハードウェア構成を表すブロック図である。
　以下に、本発明の各実施形態について図面を参照しつつ説明する。
　本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
　図１は、実施形態に係る読取システムの構成を表すブロック図である。
　実施形態に係る読取システムは、セグメントディスプレイを含む画像から、セグメントディスプレイに表示された数値を読み取るために用いられる。
　本実施形態において、セグメントディスプレイとは、複数のセグメントの表示によって構成される数字や文字等の何らかの表示情報を含むものを表す。
　図１に表したように、実施形態に係る読取システム１は、撮像部１１、抽出部１２、変換部１３、判定部１５、読取部１６、及び記憶部１８を備える。
　撮像部１１は、セグメントディスプレイを撮影し、静止した画像を取得する。撮像部１１は、取得した画像を抽出部１２に出力する。撮像部１１により動画が撮影される場合は、その動画から静止画像を切り出して抽出部１２に出力する。撮影される画像には、セグメントディスプレイ以外のものが写っていても良い。
　抽出部１２は、入力された画像から、セグメントディスプレイの画像の候補を抽出する。ここでは、撮像部１１によって撮影され、抽出部１２に入力される画像を、入力画像と呼ぶ。入力画像の一部であって、セグメントディスプレイの候補となる画像を、候補画像と呼ぶ。候補画像は、セグメントディスプレイが撮影されていると抽出部１２によって判定された、入力画像の一部である。抽出部１２から出力される候補画像は複数であっても良い。
　具体的な一例として、抽出部１２は、加工部１２ａ、二値化部１２ｂ、輪郭抽出部１２ｃ、第１選定部１２ｄ、四角形抽出部１２ｅ、第２選定部１２ｆを有する。
　加工部１２ａは、例えば、入力画像を、グレイスケールに変換した加工画像を生成する。加工部１２ａは、加工画像を二値化部１２ｂに出力する。この際に、加工部１２ａは、例えば、入力画像を予め設定されたサイズに縮小した加工画像を、二値化部１２ｂに出力してもよい。その際、加工部１２ａは、縮小されていない原寸画像を記憶部１８に記憶する。
　二値化部１２ｂは、入力された加工画像を二値化し、白色と黒色で表される二値画像を生成する。輪郭抽出部１２ｃは、二値画像において、例えば白色で表されている領域の輪郭を抽出する。
　第１選定部１２ｄは、輪郭で囲まれた領域の面積を算出する。複数の輪郭が抽出された場合は、それぞれの領域の面積を算出する。第１選定部１２ｄは、算出された各面積と所定の閾値とを比較し、面積が閾値以上の領域のみを選定する。これにより、面積が小さすぎる領域が候補から除外される。
　四角形抽出部１２ｅは、選定された領域を直線近似し、四角形を抽出する。例えば、四角形抽出部１２ｅは、抽出された四角形の頂点の座標を取得する。
　第２選定部１２ｆは、抽出された四角形の領域を予め設定された条件と比較し、条件に適合する領域を選定する。条件としては、例えば、四角形の縦寸法と横寸法の比率が所定範囲内にあること、頂点の角度が所定範囲内にあること、四角形のいずれかの頂点も画像の外枠近傍（例えば、外枠から３ピクセル以内）にないこと、などが用いられる。第２選定部１２ｆは、選定された四角形を、最終的な候補画像として、変換部１３に出力する。
　変換部１３は、以下の第１処理及び第２処理を行う。
　第１処理において、変換部１３は、抽出部１２から入力された候補画像が歪んでいないか判定する。候補画像が歪んでいると判定された場合、変換部１３は、候補画像が正面から撮影された画像に近づくように、その歪みを補正する。
　第２処理において、変換部１３は、候補画像のサイズが、予め設定された規定サイズと一致するか判定する。候補画像のサイズが規定サイズと一致しない場合、変換部１３は、候補画像のサイズが規定サイズに近づくように、候補画像を補正する。
　変換部１３は、例えば、候補画像を射影変換することで、歪み及びサイズを補正する。変換部１３は、補正した候補画像を判定部１５に出力する。候補画像が歪んでおらず、候補画像のサイズが規定サイズに一致すると判定された場合、変換部１３は、入力された候補画像をそのまま判定部１５に出力する。
　判定部１５は、直線検出部１５ａ、角度算出部１５ｂ、分布生成部１５ｃ、第１比較部１５ｄ、端点群検出部１５ｅ、評価部１５ｆ、及び第２比較部１５ｇを有する。
　直線検出部１５ａは、エッジ検出を行った画像に含まれる複数の直線を検出する。例えば、直線の検出では、線分の始点と終点が検出される。直線検出部１５ａは、検出結果を、角度算出部１５ｂに出力し、且つ記憶部１８に記憶する。直線検出部１５ｂは、所定の長さ以上の線分を所定の角度分解能にて検出する。
　角度算出部１５ｂは、それぞれの直線の基準線に対する角度を算出する。角度算出部１５ｂは、例えば、画像底辺（真横に延びる直線）を基準線とし、この基準線とそれぞれの直線との間の角度を算出する。分布生成部１５ｃは、算出結果に基づいて、角度と直線の数との関係を示す分布を生成する。
　第１比較部１５ｄは、生成された分布と、予め設定された第１条件と、を比較する。第１条件は、例えば、生成された分布において、第１角度近傍における直線の総数と、第１角度に対して傾斜した第２角度近傍における直線の総数と、の和が、予め設定された値以上となっていることである。
　例えば、第１角度は０度であり、第２角度は８０度である。「近傍」は、例えば、第１角度または第２角度を中心として、－１０度以上＋１０度以下の範囲を含む。この場合、第１比較部１５ｄは、分布において、－１０度以上１０度以下の範囲に含まれる直線の総数と、７０度以上９０度以下の範囲に含まれる直線の総数と、の和を、予め設定された値と比較する。
　例えば、画像において、横方向に平行な線の角度を０度、縦方向に平行な線の角度を９０度とする。読み取り対象のセグメントディスプレイが、７セグメントディスプレイである場合、約０度の直線と約８０度の直線が多く検出される。読み取り対象のセグメントディスプレイが、１４セグメントディスプレイまたは１６セグメントディスプレイである場合、約０度の直線、約４５度の直線、及び約８０度の直線が多く検出される。
　第１条件は、この特性に基づいて設定される。分布が第１条件を満たす場合、候補画像はセグメントディスプレイを含む可能性が高い。
　第１比較部１５ｄは、分布が第１条件を満たす場合、その判定結果を端点群検出部１５ｅに出力する。分布が第１条件を満たさない場合は、候補画像がセグメントディスプレイを含まない可能性が高いため、例えば処理を終了する。
　第１比較部１５ｄから判定結果が入力されると、端点群検出部１５ｅは、例えば、記憶部１８に記憶された直線の検出結果を参照する。そして、端点群検出部１５ｅは、直線の検出結果から、各直線の端点（始点及び終点）が集まった端点群を検出する。
　端点群検出部１５ｅは、例えば、候補画像を横方向及び縦方向において所定の間隔で複数のエリア（マトリクス状）に分割し、所定数以上の端点が存在するエリアを端点群として抽出する。候補画像にセグメントディスプレイが含まれている場合は、候補画像から複数の端点群が検出されうる。これらの端点群が検出された位置は、セグメントの端部の位置に対応する。
　例えば、評価部１５ｆは、それぞれの端点群について、ある端点群からそれに隣り合う端点群へ向かうベクトルを算出する。ベクトルは、例えば、ある端点群を別の端点群へ重ね合わせるために必要な移動量を求めることで得られる。評価部１５ｆは、隣接するベクトル同士の大きさの比、及び、ベクトル同士の間の角度を算出する。評価部１５ｆは、これらの評価値を、第２比較部１５ｇに出力する。
　第２比較部１５ｇは、評価値と第２条件とを比較する。第２条件は、例えば、上記大きさの比に関する第１範囲、及び上記角度に関する第２範囲を含む。第２比較部１５ｇは、上記大きさの比が第１範囲内にあり、上記角度が第２範囲内にある場合、候補画像が、セグメントディスプレイの画像であると判定し、候補画像を読取部１６に出力する。
　例えば、一般的な７セグメントディスプレイは、正面視において、縦方向に延びるセグメント（縦セグメント）と、横方向に延びるセグメント（横セグメント）と、を含む。典型的には、縦セグメント同士の長さの比は、略１である。縦セグメントの長さに対する横セグメントの長さの比は、１以下である。縦セグメントと横セグメントとの間の角度は、略８０度または略１００度である。縦セグメント同士の間の角度は、１８０度である。
　評価部１５ｆによって算出される、ベクトル同士の大きさの比は、縦セグメント同士の長さの比または縦セグメントと横セグメントの長さの比に対応する。評価部１５ｆによって算出される、ベクトル同士の間の角度は、縦セグメントと横セグメントとの間の角度、または縦セグメント同士の間の角度に対応する。従って、これらの評価値を、それぞれ、予め設定された第１範囲及び第２範囲と比較することで、候補画像がセグメントディスプレイの画像であるか判定することができる。
　評価部１５ｆにより、複数の大きさの比及び複数の角度が算出された場合、第２比較部１５ｇは、例えば、それぞれの大きさの比を第１範囲と比較し、それぞれの角度を第２範囲と比較する。
　第２比較部１５ｇは、例えば、算出された大きさの比の全体の数を検出する。第２比較部１５ｇは、第１範囲に含まれる大きさの比の数を検出する。そして、第２比較部１５ｇは、全体の数に対する第１範囲に含まれる大きさの比の数の割合を算出する。
　同様に、第２比較部１５ｇは、例えば、算出された角度の全体の数に対する、第２範囲に含まれる角度の数の割合を算出する。
　第２比較部１５ｇは、算出された２つの割合が、それぞれ、予め設定された閾値以上の場合に、候補画像が、セグメントディスプレイの画像であると判定する。
　読取部１６は、入力された候補画像から、セグメントディスプレイに表示された数値を読み取る。例えば、読取部１６は、入力された候補画像から数字を切り出し、点灯しているセグメントを検出することで、数値を読み取る。読取部１６は、例えば、読み取った数値を、モニタに表示させたり、データベースに出力したりする。
　記憶部１８は、読取システム１の処理に必要な情報や、処理の過程で生成されたデータを記憶する。例えば、記憶部１８には、判定が行われる際に比較される閾値や条件等が記憶される。
　図２及び図３を参照して、実施形態に係る読取システム１の動作について説明する。
　図２は、実施形態に係る読取システムの動作を表すフローチャートである。
　図３は、実施形態に係る読取システムにおける処理を例示する図である。
　撮像部１１は、セグメントディスプレイを撮影し、画像を取得する（図２のステップＳ１１）。加工部１２ａは、入力画像を加工する（ステップＳ１２ａ）。これにより、入力画像を縮小してグレイスケール化した加工画像と、入力画像をグレイスケール化のみした原寸画像と、が生成される。図３（ａ）は、加工画像の一例である。二値化部１２ｂは、加工画像を二値化し、図３（ｂ）に表したように、二値画像を生成する（ステップＳ１２ｂ）。輪郭抽出部１２ｃは、二値画像の輪郭を抽出する（ステップＳ１２ｃ）。
　第１選定部１２ｄは、輪郭で囲まれた領域を選定する（ステップＳ１２ｄ）。これにより、例えば、図３（ｃ）に表したように、枠Ａで囲まれた領域が選定される。四角形抽出部１２ｅは、選定された領域における四角形の抽出結果に基づき、原寸画像から四角形を抽出する（ステップＳ１２ｅ）。第２選定部１２ｆは、抽出された四角形を選定し（ステップＳ１２ｆ）、候補画像として出力する。図３（ｄ）は、候補画像として出力される四角形を表す。変換部１３は、図３（ｅ）に表したように、歪みを補正するよう候補画像を変換する。変換部１３は、例えば、候補画像を射影変換することで、歪み及びサイズを補正する（ステップＳ１３）。
　直線検出部１５ａは、図３（ｆ）に表したように、候補画像から複数の直線ＳＬを検出する（ステップＳ１５ａ）。図３（ｆ）以降では、候補画像の一部のみを例示している。角度算出部１５ｂは、それぞれの直線ＳＬの角度を算出する（ステップＳ１５ｂ）。分布生成部１５ｃは、図３（ｇ）に表したように、角度θと直線の数Ｎとの関係を示す分布を生成する（ステップＳ１５ｃ）。
　第１比較部１５ｄは、分布が第１条件を満たすか判定する（ステップＳ１５ｄ）。例えば、第１比較部１５ｄは、０度近傍のピークと、８０度近傍のピークと、をこれらの中間の角度で折り返して重ね合わせる。これにより、図３（ｇ）の破線で例示した分布が生成される。第１比較部１５ｄは、この分布において、－１０度以上１０度以下の範囲に含まれる直線の数Ｎの総数を算出し、予め設定された値と比較する。
　第１条件が満たされている場合（総数が当該値以上である場合）、端点群検出部１５ｅは、図３（ｆ）に表した直線の検出結果から、図３（ｈ）に表したように、端点群ＥＧを検出する（ステップＳ１５ｅ）。評価部１５ｆは、隣り合う端点群同士を結ぶベクトルを算出し、評価値（大きさの比及び角度）を算出する（ステップＳ１５ｆ）。
　第２比較部１５ｇは、評価値が第２条件を満たすか判定する（ステップＳ１５ｇ）。評価値が第２条件を満たす場合、読取部１６は、候補画像から、セグメントディスプレイの数値を読み取る（ステップＳ１６）。
　判定部１５は、ステップＳ１５ａ～Ｓ１５ｇが未だ行われていない、他の候補画像が無いか判定する（ステップＳ１７）。他の候補画像がある場合、その候補画像について、ステップＳ１５ａが行われる。他の候補画像がない場合、処理を終了する。
　実施形態の効果を説明する。
　セグメントディスプレイを読み取る際には、上述したように、入力画像の中から、セグメントディスプレイが撮影された部分の候補となる候補画像が抽出される。従来は、例えば、抽出された候補画像に対して歪みなどの補正を適宜行い、候補画像からセグメントディスプレイの数値を読み取っていた。
　しかし、候補画像には、例えば、セグメントディスプレイに似た表示器が含まれる場合がある。この場合、別の表示器の数値をセグメントディスプレイの数値として読み取ってしまい、誤検出が生じる可能性がある。
　実施形態に係る読取システム１は、このような誤検出を抑制するために、候補画像について、直線検出の結果及び端点群検出の結果に基づいて、候補画像がセグメントディスプレイを含むか判定を行っている。セグメントディスプレイを含むと判定された候補画像のみを読み取ることで、誤検出の可能性を低減できる。
　直線検出の結果及び端点群検出の結果に基づく判定は、一般的なセグメントディスプレイの特徴（セグメントの長さ及び角度）を利用している。このため、読取システム１は、多様なセグメントディスプレイに対して適用でき、その数値をより精度良く読み取ることが可能である。
　図１～図３に表した例では、第１比較部１５ｄと第２比較部１５ｇの２つで判定が行われていたが、読取システム１において、第１比較部１５ｄ及び第２比較部１５ｇの一方のみにより判定が行われても良い。この場合でも、読取部１６による読み取りの前に、セグメントディスプレイを含む可能性が低い候補画像を除外できるため、セグメントディスプレイの数値の読み取り精度を向上できる。読み取り精度をより向上させるためには、第１比較部１５ｄ及び第２比較部１５ｇの両方が設けられていることが望ましい。
　図１に表した例では、実施形態に係る読取システム１が撮像部１１を備えているが、読取システム１は撮像部１１を備えていなくても良い。例えば、他の撮像装置で撮影された画像が読取システム１へ入力され、その入力画像から読取システム１によってセグメントディスプレイの数値が読み取られても良い。
　読取システム１は、変換部１３を備えていなくても良いが、読取の精度を向上させるためには、変換部１３を備えていることが望ましい。
　例えば、変換部１３により候補画像の歪みが補正されることで、適合率の精度を向上させることができる。これにより、セグメントディスプレイが撮影された候補画像をより正確に選別できるようになる。
　図３では、７セグメントディスプレイに表示された数値を読み取る例を示した。しかし、実施形態に係る読取システム１で読み取り可能なセグメントディスプレイは、７セグメントディスプレイに限定されない。読み取り対象のセグメントディスプレイは、１４セグメントディスプレイまたは１６セグメントディスプレイであっても良い。
　抽出部１２における処理は、候補画像を抽出できれば、適宜変更可能である。例えば、入力画像のサイズが小さい場合、または入力画像が予め二値化されている場合などは、加工部１２ａまたは二値化部１２ｂは不要である。入力画像から候補画像を抽出するための処理も適宜変更可能である。これらの変形例について、以下で説明する。
（第１変形例）
　図４は、実施形態の第１変形例に係る読取システムの構成を表すブロック図である。
　図１～図３の例では、セグメントディスプレイの表示領域の枠が四角形であった。そのため、当該表示領域の形状に合わせて、抽出部１２には、四角形抽出部１２ｅが設けられていた。
　表示領域の枠が円形の場合には、図４に表した読取システム２のように、抽出部１２において、四角形抽出部１２ｅに代えて、楕円抽出部１２ｇが設けられる。楕円抽出部１２ｇは、第１選定部１２ｄによって選定された領域から楕円を抽出する。このとき、楕円抽出部１２ｇは、抽出された楕円の座標を取得する。楕円抽出部１２ｇは、原寸画像において、上記座標に対応する楕円の画像を抽出し、第２選定部１２ｆに出力する。
　第２選定部１２ｆは、入力された楕円の画像を予め設定された条件と比較し、条件に適合する楕円を選定する。条件としては、例えば、楕円の扁平率、輝度の分布などが用いられる。第２選定部１２ｆは、選定された楕円の画像を候補画像として変換部１３に出力する。以降の処理は、図１～図３で説明した例と同様である。すなわち、変換部１３は、候補画像の歪みを補正する。そして、判定部１５による判定を経て、読取部１６によってセグメントディスプレイの数値が読み取られる。
（第２変形例）
　図５は、実施形態の第２変形例に係る読取システムの構成を表すブロック図である。
　図５に表した読取システム３は、読取システム１との比較において、抽出部１２及び変換部１３に代えて、抽出部２１を備える。
　読取システム３では、セグメントディスプレイの数値を読み取る前に、撮像部１１により、読み取り対象のセグメントディスプレイのみを正面から撮影する。ここでは、セグメントディスプレイのみを正面から撮影した画像を、テンプレート画像と呼ぶ。
　抽出部２１は、特徴量抽出部２１ａ、マッチング部２１ｂ、変換部２１ｃ、及び探索部２１ｄを有する。
　特徴量抽出部２１ａは、入力画像の特徴量を抽出する。特徴量抽出部２１ａは、記憶部１８に記憶されたテンプレート画像を参照し、テンプレート画像の特徴量を抽出する。あるいは、予め、特徴量抽出部２１ａによって、テンプレート画像の特徴量が抽出されて記憶部１８に記憶されていても良い。この場合、特徴量抽出部２１ａは、記憶部１８に記憶されたテンプレート画像の特徴量を参照する。特徴量抽出部２１ａは、入力画像の特徴量及びテンプレート画像の特徴量を、マッチング部２１ｂに出力する。
　マッチング部２１ｂは、入力画像の特徴量を、テンプレート画像の特徴量とマッチングさせるために必要な、入力画像の補正量を算出する。例えば、マッチング部２１ｂは、入力画像において歪んでいるセグメントディスプレイを、正面から撮影された画像に近づけるために必要な補正量を算出する。マッチング部２１ｂは、算出した補正量及び入力画像を、変換部１３に出力する。
　特徴量同士をマッチング出来ない場合は、入力画像にセグメントディスプレイが含まれていない可能性が高い。従って、この場合、例えば、補正量を算出せずに処理を終了する。
　変換部２１ｃは、入力された補正量に基づき、入力画像を変換する。これにより、入力画像がテンプレート画像に対して歪んでいる場合には、その歪みが補正される。
　探索部２１ｄは、記憶部１８に記憶されたテンプレート画像を参照する。そして、探索部２１ｄは、入力画像から、テンプレート画像とマッチングする部分を探索する。探索部２１ｄは、マッチングした部分を、候補画像として判定部１５に出力する。
　以降の判定部１５及び読取部１６における処理は、図１に表した読取システム１と同様である。
　特徴量抽出部２１ａによる特徴量の抽出は、例えば、KAZE、AKAZE(Accelerated KAZE)、またはSIFT(Scale-invariant feature transform)などを用いて行われる。マッチング部２１ｂにおけるマッチングは、例えば、KNN(K Nearest Neighbor)、またはFLANN(Fast Library for Approximate Nearest Neighbors)などを用いて行われる。探索部２１ｄによる探索は、例えば、画像間の類似度に基づくパターンマッチングを用いて行われる。
　本変形例に係る読取システム３では、特徴量を用いた入力画像の変換、及びテンプレート画像を用いたマッチングが行われる。すなわち、入力画像の全領域を変換するため、読取システム１に比べて、同一平面上に複数のセグメントディスプレイが存在する場合に有効である。
（第３変形例）
　図６は、実施形態の第３変形例に係る読取システムの構成を表すブロック図である。
　図６に表した読取システム４は、読取システム１との比較において、抽出部１２及び変換部１３に代えて抽出部３１を備える。抽出部３１は、学習部３１ａ、入力部３１ｂ、検出部３１ｃ、及び処理部３１ｄを有する。
　読取システム４では、ニューラルネットワークを用いて、入力画像からセグメントディスプレイが撮影された候補画像が抽出される。例えば、抽出部３１には、事前に、教師データが入力され、ニューラルネットワークの学習が行われる。教師データは、例えば、セグメントディスプレイを含む歪んだ画像と、その画像においてセグメントディスプレイの位置を示すデータと、その画像の歪み量と、を含む。
　学習部３１ａは、画像データが入力された際に、セグメントディスプレイが撮影された部分のデータに対してニューロンが反応（発火）し、且つ、その画像の歪み量に対応するニューロンが反応するよう、ニューラルネットワークを学習させる。学習部３１ａは、学習させたニューラルネットワークを記憶部１８に記憶する。学習部３１ａによる上記学習は、判定部１５や読取部１６による処理が実行される処理装置で行われても良いし、これとは異なる別の処理装置を用いて行われても良い。上記学習には、好ましくは、より高速な演算性能を有する処理装置が用いられる。
　その後、撮像部１１により、セグメントディスプレイの数値を読み取るために画像が取得され、画像が抽出部３１に入力される。画像が入力されると、入力部３１ｂは、記憶部１８に記憶された学習済みのニューラルネットワークを参照する。そして、入力部３１ｂは、このニューラルネットワークに、画像のデータを入力する。
　ニューラルネットワークに画像データが入力されている間、ニューロンの反応があると、検出部３１ｃはその反応を検出する。そして、検出部３１ｃは、ニューロンが反応した画像の座標及び歪み量を検出し、処理部３１ｄに出力する。
　処理部３１ｄは、入力された座標に基づき、入力画像から候補画像を抽出する。処理部３１ｄは、入力された歪み量に基づいて、候補画像の歪みを補正する。処理部３１ｄは、補正された候補画像を判定部１５に出力する。
　候補画像の抽出と、歪みの補正と、が行われる順序は、適宜変更できる。例えば、処理部３１ｄにおいて、入力画像の歪みが補正された後に、候補画像が抽出されても良い。
　以降の判定部１５及び読取部１６における処理は、図１に表した読取システム１と同様である。
　本変形例に係る読取システム３では、ニューラルネットワークを用いて画像の切り出しや補正を行う。このため、セグメントディスプレイの表示領域とその外枠とのコントラスト比が大きくなく、２値化画像から輪郭を抽出しにくい場合にも、より高精度に候補画像を抽出できる。従って、読取システム１に比べて、入力画像中のセグメントディスプレイの数値を、より高精度に読み取ることが可能となる。
　図７は、実施形態に係る読取システムを実現するためのハードウェア構成を表すブロック図である。
　例えば、実施形態に係る読取システムは、図７に表した読取装置５及び撮像装置６から構成される。読取装置５は、例えばコンピュータであり、ＲＯＭ(Read Only Memory)５１、ＲＡＭ(Random Access Memory)５２、ＣＰＵ(Central Processing Unit)５３、およびＨＤＤ(Hard Disk Drive)５４を有する。
　ＲＯＭ５１は、コンピュータの動作を制御するプログラムを格納している。ＲＯＭ５１には、コンピュータを、上述した実施形態における、抽出部、変換部、判定部、読取部、探索部などとして機能させるために必要なプログラムが格納されている。
　ＲＡＭ５２は、ＲＯＭ５１に格納されたプログラムが展開される記憶領域として機能する。ＣＰＵ５３は、ＲＯＭ５１に格納された制御プログラムを読み込み、当該制御プログラムに従ってコンピュータの動作を制御する。ＣＰＵ５３は、コンピュータの動作によって得られた様々なデータをＲＡＭ５２に展開する。ＨＤＤ５４は、上述した実施形態における記憶部１８として機能し、読み取りに必要な情報や、読み取りの過程で得られた情報を記憶する。
　読取装置５を用いて、ニューラルネットワークを利用した読取システム４を実現させる場合、読取装置５は、さらに、ＧＰＵ（Graphics Processing Unit）や、ニューラルネットワークの処理に特化した専用チップを有していても良い。読取装置５は、ＨＤＤ５４に代えて、ｅＭＭＣ（embedded Multi Media Card）、ＳＳＤ（Solid State Drive）、ＳＳＨＤ（Solid State Hybrid Drive）などを有していても良い。
　撮像装置６は、被写体（セグメントディスプレイ）を撮影し、取得した画像を読取装置５へ送信する。撮像装置６は、例えば、カメラである。
　出力装置７は、読取装置５から出力されたデータ（読み取られたセグメントディスプレイの数値）を、ユーザが認識できるように出力する。出力装置７は、例えば、モニタ、プリンタ、またはスピーカなどである。
　読取装置５、撮像装置６、及び出力装置７は、例えば、有線又は無線で相互に接続される。または、これらはネットワークを介して相互に接続されていても良い。あるいは、読取装置５、撮像装置６、及び出力装置７の少なくとも２つが、１つの装置に組み込まれていても良い。例えば、読取装置５が、撮像装置６の画像処理部などと一体に組み込まれていても良い。
　以上で説明した実施形態に係る読取システム及び読取方法を用いることで、セグメントディスプレイに表示された数値を、より高精度に読み取ることが可能となる。同様に、コンピュータを、読取システムとして動作させるためのプログラムを用いることで、セグメントディスプレイに表示された数値を、より高精度にコンピュータに読み取らせることが可能となる。
　以上、本発明のいくつかの実施形態を例示したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。これら実施形態やその変形例は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。前述の各実施形態は、相互に組み合わせて実施することができる。

Claims (12)

  1. 　入力画像からセグメントディスプレイが撮影された部分の候補画像を抽出する抽出部と、
    　前記候補画像から検出された複数の直線のそれぞれの基準線に対する角度を算出し、前記角度と前記直線の数との関係を示す分布に基づいて前記候補画像がセグメントディスプレイの画像であるか判定を行う判定部と、
    　セグメントディスプレイの画像と判定された前記候補画像から、セグメントディスプレイに表示された数値を読み取る読取部と、
    　を備えた読取システム。
  2. 　前記判定部は、前記分布において、第１角度の近傍における前記直線の数と、前記第１角度に対して傾斜した第２角度の近傍における前記直線の数と、の和が、予め設定された値以上である場合に、前記候補画像がセグメントディスプレイの画像であると判定する請求項１記載の読取システム。
  3. 　前記判定部は、さらに、
    　　前記候補画像において端点が集まった端点群を検出し、
    　　隣接する端点群同士を結ぶベクトルを算出し、
    　　前記分布に加えて、隣接するベクトル同士の大きさの比、及び、隣接するベクトル同士の間の角度の少なくともいずれかに基づいて前記判定を行う、
    　請求項１記載の読取システム。
  4. 　前記判定部は、前記分布において、第１角度の近傍における前記直線の数と、前記第１角度に対して傾斜した第２角度の近傍における前記直線の数と、の和が、予め設定された値以上である第１条件と、前記大きさの比が予め設定された第１範囲にあり、且つ、前記角度が予め設定された第２範囲にある第２条件と、が満たされた場合に、前記候補画像がセグメントディスプレイの画像であると判定する請求項３記載の読取システム。
  5. 　入力画像からセグメントディスプレイが撮影された部分の候補画像を抽出する抽出部と、
    　　前記候補画像において端点が集まった端点群を検出し、
    　　隣接する端点群同士を結ぶベクトルを算出し、
    　　隣接するベクトル同士の大きさの比、及び、隣接するベクトル同士の間の角度の少なくともいずれかに基づいて、前記候補画像がセグメントディスプレイの画像であるか判定を行う、判定部と、
    　セグメントディスプレイの画像と判定された前記候補画像から、セグメントディスプレイに表示された数値を読み取る読取部と、
    　を備えた読取システム。
  6. 　前記判定部は、前記大きさの比が予め設定された第１範囲にあり、且つ、前記角度が予め設定された第２範囲にある場合に、前記候補画像がセグメントディスプレイの画像であると判定する請求項５記載の読取システム。
  7. 　　前記候補画像が歪んでいる場合に、前記候補画像を正面から撮影された画像に近づけるよう変換する第１処理と、
    　　前記候補画像のサイズが、予め設定された規定サイズと異なる場合に、前記候補画像の前記サイズを前記規定サイズに近づけるよう補正する第２処理と、
    　を行う変換部をさらに備え、
    　前記判定部は、変換された前記候補画像を用いて前記判定を行う請求項１～６のいずれか１つに記載の読取システム。
  8. 　前記抽出部は、
    　　前記入力画像から輪郭を抽出し、
    　　前記輪郭で囲まれた領域の面積を算出し、
    　　前記面積が予め設定された閾値以上の場合、前記輪郭に基づいて、前記入力画像から所定の形状の画像を抽出し、
    　　予め設定された条件を満たす前記抽出された画像を、前記候補画像として出力する、
    　請求項１～７のいずれか１つに記載の読取システム。
  9. 　前記抽出部は、前記入力画像から、予め用意された、読み取り対象のセグメントディスプレイのテンプレート画像とマッチングする部分を探索し、マッチングした前記部分を候補画像として抽出する請求項１～６のいずれか１つに記載の読取システム。
  10. 　前記抽出部は、
    　　前記入力画像から特徴量を抽出し、
    　　抽出された前記特徴量が、前記テンプレート画像の特徴量とマッチングするように、前記入力画像を補正し、
    　　補正された前記入力画像から、前記テンプレート画像とマッチングする前記候補画像を抽出する、
    　請求項９記載の読取システム。
  11. 　前記抽出部は、
    　　前記入力画像のデータを、予め学習されたニューラルネットワークに入力し、
    　　前記ニューラルネットワークの出力結果に基づいて、前記入力画像においてセグメントディスプレイが撮影された前記部分を検出し、前記候補画像として抽出する、
    　請求項１～６のいずれか１つに記載の読取システム。
  12. 　前記抽出部は、前記ニューラルネットワークの前記出力結果に基づいて、さらに、前記候補画像の歪みを補正する請求項１１記載の読取システム。
PCT/JP2018/035362 2018-02-16 2018-09-25 読取システム WO2019159415A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880088163.6A CN111670458B (zh) 2018-02-16 2018-09-25 读取系统
US16/922,097 US11301709B2 (en) 2018-02-16 2020-07-07 Reading system, reading device, and storage medium
US17/688,063 US11915498B2 (en) 2018-02-16 2022-03-07 Reading system, reading device, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-026500 2018-02-16
JP2018026500A JP6542407B1 (ja) 2018-02-16 2018-02-16 読取システム、読取方法、プログラム、及び記憶媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/922,097 Continuation US11301709B2 (en) 2018-02-16 2020-07-07 Reading system, reading device, and storage medium

Publications (1)

Publication Number Publication Date
WO2019159415A1 true WO2019159415A1 (ja) 2019-08-22

Family

ID=67212220

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/035362 WO2019159415A1 (ja) 2018-02-16 2018-09-25 読取システム

Country Status (4)

Country Link
US (2) US11301709B2 (ja)
JP (1) JP6542407B1 (ja)
CN (1) CN111670458B (ja)
WO (1) WO2019159415A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6868057B2 (ja) * 2019-05-27 2021-05-12 株式会社東芝 読取システム、読取方法、プログラム、記憶媒体、及び移動体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0244487A (ja) * 1988-08-05 1990-02-14 Fujitsu Ltd 光学文字読取装置の７ｂ文字読取方式
JPH11316794A (ja) * 1998-05-06 1999-11-16 Aisin Aw Seimitsu Kk セグメント情報読み取り判定方法
JP2017010170A (ja) * 2015-06-18 2017-01-12 株式会社Pfu 画像処理装置、日付識別装置、画像処理方法、および、プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070112454A (ko) * 2005-02-15 2007-11-26 유겐카이샤 케이아이티이 이메지 테크놀로지즈 수기 문자 인식 방법, 수기 문자 인식 시스템, 수기 문자인식 프로그램, 및 기억 매체
US8611723B2 (en) * 2006-09-06 2013-12-17 James Andrew Aman System for relating scoreboard information with event video
JP4630936B1 (ja) * 2009-10-28 2011-02-09 シャープ株式会社 画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体
JP5658873B2 (ja) * 2009-11-13 2015-01-28 オリンパス株式会社 画像処理装置、電子機器、内視鏡システム及びプログラム
JP5530752B2 (ja) * 2010-02-25 2014-06-25 日本システムウエア株式会社 計器読み取り装置、方法、プログラム、および該ソフトウェアを格納したコンピュータ可読媒体
WO2012039467A1 (ja) * 2010-09-22 2012-03-29 パナソニック株式会社 運動支援システム
JP5755089B2 (ja) * 2011-09-08 2015-07-29 株式会社Pfu 画像処理装置、画像処理方法、画像処理プログラム及び画像処理システム
JP6551195B2 (ja) * 2015-11-30 2019-07-31 株式会社アンセイ ケーブル装置
JP6505767B2 (ja) 2016-11-09 2019-04-24 株式会社東芝 データ収集システム、処理システム、プログラム、および記憶媒体
CN108062076B (zh) 2016-11-09 2020-10-27 株式会社东芝 数据收集系统、处理系统以及存储介质
CN106874911A (zh) * 2017-03-03 2017-06-20 沈阳工程学院 一种应用划分法得到的面积比例来进行印刷体数字识别的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0244487A (ja) * 1988-08-05 1990-02-14 Fujitsu Ltd 光学文字読取装置の７ｂ文字読取方式
JPH11316794A (ja) * 1998-05-06 1999-11-16 Aisin Aw Seimitsu Kk セグメント情報読み取り判定方法
JP2017010170A (ja) * 2015-06-18 2017-01-12 株式会社Pfu 画像処理装置、日付識別装置、画像処理方法、および、プログラム

Also Published As

Publication number Publication date
JP6542407B1 (ja) 2019-07-10
JP2019144704A (ja) 2019-08-29
US20220189182A1 (en) 2022-06-16
US20200334483A1 (en) 2020-10-22
US11301709B2 (en) 2022-04-12
CN111670458A (zh) 2020-09-15
US11915498B2 (en) 2024-02-27
CN111670458B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
JP6716996B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
US11386640B2 (en) Reading system, reading method, and storage medium
JP6609345B2 (ja) 読取システム、読取方法、プログラム、及び記憶媒体
JP6566768B2 (ja) 情報処理装置、情報処理方法、プログラム
US11900664B2 (en) Reading system, reading device, reading method, and storage medium
JP7355601B2 (ja) 計算装置、処理方法、プログラム、及び記憶媒体
WO2019159415A1 (ja) 読取システム
JP6591257B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6037790B2 (ja) 目標類識別装置及び目標類識別方法
JP6656453B2 (ja) 読取システム、読取装置、プログラム、及び記憶媒体
JP6684947B2 (ja) 読取システム、読取装置、プログラム、及び記憶媒体
JP6278757B2 (ja) 特徴量生成装置、特徴量生成方法、およびプログラム
JP6442873B2 (ja) 指紋画像処理装置、指紋画像処理方法及びプログラム
JP6175904B2 (ja) 照合対象抽出システム、照合対象抽出方法、照合対象抽出プログラム
US20220284690A1 (en) Reading system, reading method, and storage medium
JP6121768B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
US11275963B2 (en) Image identification apparatus, image identification method, and non-transitory computer-readable storage medium for storing image identification program
JP2006023976A (ja) パラメータ設定方法、画像パターン抽出方法、パラメータ設定装置、画像パターン抽出装置、およびこれら方法のプログラム
CN114390265A (zh) 投射区域的设定辅助方法、设定辅助系统以及记录介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18906682

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18906682

Country of ref document: EP

Kind code of ref document: A1