WO2009150783A1 - パターン認識装置、パターン認識方法、画像処理装置及び画像処理方法 - Google Patents

パターン認識装置、パターン認識方法、画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2009150783A1
WO2009150783A1 PCT/JP2009/001981 JP2009001981W WO2009150783A1 WO 2009150783 A1 WO2009150783 A1 WO 2009150783A1 JP 2009001981 W JP2009001981 W JP 2009001981W WO 2009150783 A1 WO2009150783 A1 WO 2009150783A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
character
recognition result
recognition
unit
Prior art date
Application number
PCT/JP2009/001981
Other languages
English (en)
French (fr)
Inventor
竹之内磨理子
高倉穂
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2008152749A external-priority patent/JP2009301179A/ja
Priority claimed from JP2008181733A external-priority patent/JP5339581B2/ja
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US12/601,989 priority Critical patent/US8509571B2/en
Priority to EP09752712.1A priority patent/EP2154664A4/en
Priority to CN200980000390.XA priority patent/CN101689328B/zh
Publication of WO2009150783A1 publication Critical patent/WO2009150783A1/ja
Priority to US13/715,166 priority patent/US8620094B2/en

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/22Character recognition characterised by the type of writing
    • G06V30/224Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates

Definitions

  • the present invention is based on a plurality of images in which an object that may change may be recorded, and pattern recognition used for analyzing changes in the recorded object using simultaneously recorded character information. Regarding technology.
  • Patent Document 1 A technique for recognizing various patterns included in an image by processing the input image has been proposed.
  • an image including the contents of a map is processed to recognize a character string in the map, or character string information having a fixed size inserted at a predetermined position in a moving image is subjected to pattern recognition. It is assumed to be recognized.
  • a plurality of character patterns are selected according to the position and size of a character pattern included in an image and the matching degree of candidate character codes for character recognition.
  • the character code corresponding to the character pattern is determined using the entire characters included in the group.
  • FIG. 28 is a flowchart showing the contents of control in the conventional pattern recognition method described in Patent Document 1.
  • the character candidate acquisition step S1 to S6
  • a character pattern is extracted from the image, and the corresponding candidate character code and its certainty are acquired.
  • the grouping step S3
  • character patterns are grouped to generate character groups.
  • the matching character group detection step S6
  • the acquired candidate character codes included in the generated character group included in the image are matched for each character group to detect a matching character group.
  • the character code determining step S7 to S9
  • the corresponding certainty factors are totaled for each candidate character code included in the detected matching character group, and the character patterns included in the character group are calculated based on the aggregated certainty factors. Determine the corresponding character code.
  • FIG. 29 is a block diagram showing a schematic configuration of a conventional image processing apparatus described in Patent Document 2.
  • an image captured by the camera 10 is digitally converted by the ADC 12 and then stored in the image memory 14.
  • the image memory 14 always holds the latest image data.
  • the binarization circuit 16 binarizes the data on the image memory 14, the plate cutout unit 18 cuts out the license plate image, the character cutout unit 20 cuts out the character image in the license plate image, and the character recognition unit 22 Character recognition processing is performed and the result is stored in the memory 38.
  • the center calculation unit 30 calculates the license plate position
  • the coordinate calculation unit 32 calculates the coordinates for detecting the edge
  • the edge detection unit 34 generates an edge image
  • the matrix generation unit 36 determines whether there is an edge at the designated coordinates.
  • the determination unit 42 compares the obtained vehicle number and matrix with the previous result, determines whether or not the object is the same, and controls the output of the vehicle number.
  • character patterns are divided into multiple groups according to the position and size of characters in the image, and the character codes corresponding to the character patterns are determined using the entire characters included in the group. For example, even if the character pattern is present in a plurality of images with different shooting times, if the position and size of the target object are different for each image, they are independent for each image. Are recognized as character patterns indicating the target object. For this reason, it is not possible to associate the character pattern with the object for a plurality of images.
  • the camera is set so that the entire license plate is reflected in a specific place such as a road or a parking lot. There is a problem that it can only be used and cannot be used elsewhere.
  • the present invention has been made in view of the above circumstances, and even when a plurality of images having different positions and sizes of character patterns pointing to the same object exist, it is treated as a character pattern indicating the same object.
  • An object of the present invention is to provide a pattern recognition apparatus and a pattern recognition method capable of performing the above.
  • Another object of the present invention is to provide an image processing apparatus and an image processing method capable of selectively recording an image having significant information without limiting an object to a license plate.
  • the present invention provides an image input unit that inputs an image that may include an object to be recognized and ancillary information that accompanies the image, and an image that accumulates an image and ancillary information input by the image input unit.
  • a data storage unit a character recognition unit for recognizing characters included in the image input by the image input unit, a character recognition result storage unit for storing a character recognition result recognized by the character recognition unit, Based on the instruction unit for inputting the analysis condition, the image and supplementary information stored in the image data storage unit and the character recognition result stored in the character recognition result storage unit based on the analysis condition input in the instruction unit
  • a pattern recognition apparatus is provided that includes an analysis unit that extracts object character information related to an object and analyzes the object, and a result output unit that outputs a result analyzed by the analysis unit.
  • the object character information related to the object is extracted from the accumulated image and incidental information and the accumulated character recognition result to analyze the object. For example, even in a case where character patterns pointing to the same object are present in different positions and sizes in a plurality of images, respectively, each pointing to the same object on the plurality of images It is possible to handle the character patterns in common. For this reason, for example, by analyzing the variation (movement) of the character pattern using the character recognition result, it is possible to analyze the variation of the object indicated by the character pattern.
  • the supplementary information for example, information such as an installation position of a camera that captures the image and a capturing time is assumed.
  • the same object such as a vehicle
  • the position and size in the image of the object and the character pattern indicating it are highly likely to be out of position and size for each image, and are completely the same. There is little to do.
  • a plurality of images are processed in consideration of whether there is a match between shooting points or a difference in shooting time, it is possible to recognize a change in the target object and a character pattern indicating it (such as movement).
  • the same object appearing in each of the images and the character pattern indicating it can be handled as a common element, and it is also possible to detect the state of fluctuation of the object and the character pattern indicating it.
  • the present invention is the above pattern recognition device, wherein the character recognition unit recognizes information including candidate character codes corresponding to character patterns and evaluation values related to character recognition, and character positions and sizes as recognition results.
  • the analysis unit includes a unit that performs analysis using the candidate character code and the evaluation value, and the position and size of the character.
  • the candidate character code and the evaluation value which are the character recognition results, and the position and size of the character are used, for example, to indicate the variation with the object.
  • the character patterns appear in a plurality of images in a slightly different state, it is easy to treat each character pattern as indicating a common object.
  • a plurality of candidate character codes are extracted as a recognition result for one character pattern.
  • the present invention is the pattern recognition apparatus, wherein the image input unit inputs information including a shooting position and a shooting time relating to at least the corresponding image as the auxiliary information, and the analysis unit Includes analysis using the shooting position and shooting time.
  • the analysis unit performs the analysis, the information on the shooting position and the shooting time included as the supplementary information of the image to be processed is used, and the object that appears in each of the plurality of images and It becomes easy to determine whether or not the character patterns indicating the same are common. For example, if an object and a character pattern indicating it appear in each of two images that are taken at the same point and are very close to each other, do the objects and character patterns in multiple images be common? It is possible to determine whether or not based on the similarity such as the shooting time.
  • the present invention is the pattern recognition apparatus described above, wherein the image input unit inputs information including a shooting position and a shooting time relating to at least the corresponding image as the auxiliary information, and the character recognition unit includes a character pattern.
  • a candidate character code and an evaluation value related to character recognition, and information including character position and size is obtained as a recognition result, and the analysis unit captures the image capturing position and image capturing time, and the character code and evaluation value.
  • the character is analyzed using the position and size of the character, the similarity of the character image between a plurality of images, and the color information of the image.
  • the analysis unit performs analysis, information on the shooting position and the shooting time included as supplementary information of the image to be processed, and a character code and an evaluation value obtained as a character recognition result,
  • the character position and size By using the character position and size, the similarity of the character images between the images, and the color information of the images, the object that appears in each of the images and the character pattern indicating it are common. It becomes easy to determine whether or not. For example, if an object and a character pattern indicating it appear in each of two images that are taken at the same point and are very close to each other, do the objects and character patterns in multiple images be common? It is possible to determine whether or not based on the similarity such as the shooting time.
  • the character code and evaluation value obtained as a result of character recognition of each character pattern, and the similarity between the character position and size are used to determine the similarity between the character patterns in multiple images. It is possible to determine whether or not the object is shown. Furthermore, by using the character image similarity and color information between a plurality of images, it is easy to determine whether or not each character pattern in the plurality of images indicates a common object.
  • the present invention relates to an image input step for inputting an image that may include an object to be recognized and auxiliary information attached to the image, and an image for storing the image and auxiliary information input in the image input step.
  • the analysis step for extracting the object character information related to the object and analyzing the object, and the result analyzed by the analysis unit It provides a pattern recognition method and a result output step of force.
  • the object character information related to the object is extracted from the accumulated image and incidental information and the accumulated character recognition result, and the object is analyzed. For example, even in a case where character patterns pointing to the same object are present in different positions and sizes in a plurality of images, respectively, each pointing to the same object on the plurality of images It is possible to handle the character patterns in common. For this reason, for example, by analyzing the variation (movement) of the character pattern using the character recognition result, it is possible to analyze the variation of the object indicated by the character pattern.
  • the present invention is the above pattern recognition method, wherein in the character recognition step, information including a candidate character code corresponding to the character pattern, an evaluation value related to character recognition, and a character position and size is used as a recognition result.
  • analysis step analysis is performed using the candidate character code and evaluation value, and the position and size of the character.
  • the candidate character code and the evaluation value which are the character recognition results, and the position and size of the character are used. Even when the character patterns appear in a plurality of images in a slightly different state, it is easy to treat each character pattern as indicating a common object.
  • the present invention is the pattern recognition method described above, wherein in the image input step, information including a shooting position and a shooting time relating to at least the corresponding image is input as the auxiliary information, and in the analysis step, the image Includes analysis using the shooting position and shooting time.
  • the analysis when the analysis is performed in the analysis step, by using the information on the shooting position and the shooting time included as the auxiliary information of the image to be processed, the object that appears in each of the plurality of images and It becomes easy to determine whether or not the character patterns indicating the same are common.
  • the present invention is the pattern recognition method described above, wherein in the image input step, information including at least a shooting position and a shooting time relating to the corresponding image is input as the auxiliary information, and the character recognition step A candidate character code and an evaluation value related to character recognition, and information including a character position and a size is obtained as a recognition result, and in the analysis step, the photographing position and photographing time of the image, the character code and the evaluation value, In addition, the character is analyzed using the position and size of the character, the similarity of the character image between a plurality of images, and the color information of the image.
  • the present invention also provides a program for causing a computer to execute each step of the pattern recognition method described above.
  • the present invention also provides a computer-readable recording medium in which the above program is recorded.
  • the image processing apparatus includes an image input unit that continuously inputs an image and supplementary information attached to the image, an image temporary storage unit that temporarily stores an image input by the image input unit, and the image temporary storage unit.
  • a character extraction unit that extracts characters from an image stored in the storage unit, a character extracted by the character extraction unit is recognized, and one or a plurality of candidate characters and respective evaluation values for the recognized character are used as recognition results.
  • Character recognition means recognition result storage means for storing the recognition result obtained by the character recognition means, and based on the recognition result stored in the recognition result storage means, stored in the image temporary storage means
  • a recognition result evaluating means for determining whether or not to output an image, and an image for outputting the image determined to be output by the recognition evaluation result evaluating means together with the auxiliary information of the image and the recognition result.
  • Output control means wherein the image temporary storage means temporarily stores a plurality of images together with respective supplementary information, and the recognition result storage means stores a plurality of images stored in the image temporary storage means.
  • the recognition result evaluation unit examines the recognition result of each character of the plurality of images stored in the recognition result storage unit, and includes the recognition result of the plurality of images in the recognition result of the plurality of images. If the same character string is included, the image with the best evaluation value of the recognition result is selected, and the image output control means outputs the image selected by the recognition result evaluation means together with the auxiliary information of the image and the recognition result. To do.
  • the recognition result evaluation unit when the identity of the recognition result is determined by the recognition result evaluation unit, not only a single recognition result but also a combination of candidate characters is used, so the same object is not identical due to a recognition error. Judgment can be prevented.
  • features other than the character recognition result for the determination of the identity of the object, and significant information can be obtained from a large number of images input from the image input means without limiting the object to the license plate. Images with can be selected.
  • the identity of the object is determined only from the character of the object, the size and direction of photographing the object are not affected. Thereby, it is possible to determine the identity of the object even with images from different image input means.
  • the recognition result evaluation unit examines the recognition result of each character of the plurality of images stored in the recognition result storage unit, and all the characters are included in one image. If the evaluation value of the character recognition result is also bad, the image output control means is notified to that effect, and the image output control means recognizes the image notified from the recognition result evaluation means as ancillary information and recognition of the image. Output with result.
  • a multi-camera that stores a recognition result of characters in an image and auxiliary information of an image from which the recognition result is obtained, which is an output of another image processing apparatus connected via a network
  • the recognition result evaluation unit examines the recognition result stored in the recognition result storage unit and the recognition result stored in the multi-camera recognition result linkage unit, and the same character string is used for both. Is included and the evaluation value of the recognition result satisfies the predetermined condition, the image output control means is notified that the image is not output, and is stored in the recognition result storage means.
  • the additional information of the image and the evaluation value of the recognition result are predetermined conditions. If not satisfied, the image output control unit notifies the image output control unit to output the image, and the image output control unit receives the notification to output the image from the recognition result evaluation unit, the image and the image The incidental information and the recognition result are output to the network.
  • the image, the supplementary information of the image, and the recognition result can be recorded on an external image storage medium connectable to the network. Also, other image processing apparatuses connected to the network can acquire the supplementary information and the recognition result of the image and record them in their own multi-camera recognition result cooperation unit.
  • the image processing method of the present invention includes an image input step for continuously inputting an image and incidental information attached to the image, an image temporary storage step for temporarily storing the image input in the image input step, and the image temporary storage step.
  • a character extraction step for extracting characters from the image stored in the storage step, a character extracted in the character extraction step is recognized, and one or a plurality of candidate characters and respective evaluation values for the recognized characters are recognized as recognition results.
  • the image temporary storage step a plurality of images are temporarily stored together with the accompanying information, and in the recognition result storage step, the characters of the plurality of images stored in the image temporary storage step are stored.
  • the recognition result evaluation step the recognition result of each character of the plurality of images stored in the recognition result storage step is examined, and the same character string is included in the recognition result of the plurality of images. In the case where the recognition result is evaluated, the image having the best evaluation value of the recognition result is selected.
  • the image output control step the image selected in the recognition result evaluation step is output together with the auxiliary information of the image and the recognition result.
  • this method when determining the identity of recognition results in the recognition result evaluation step, not only a single recognition result but also a combination of candidate characters is used, so the same object is not identical due to recognition errors. Judgment can be prevented. As a result, it is not necessary to use features other than the character recognition result to determine the identity of the object, and it is not necessary to limit the object to the license plate. Images with can be selected. Further, since the identity of the object is determined only from the character of the object, the size and direction of photographing the object are not affected. Thereby, it is possible to determine the identity of an object even with images from different image input processes.
  • the image processing program of the present invention includes an image input step for continuously inputting an image and incidental information attached to the image, an image temporary storage step for temporarily storing the image input in the image input step, and the image temporary storage step.
  • a character extraction step for extracting characters from the image stored in the storage step, a character extracted in the character extraction step is recognized, and one or a plurality of candidate characters for the recognized character and respective evaluation values are recognized as recognition results.
  • a recognition result evaluation step for determining whether or not to output, and an image determined to be output in the recognition evaluation result evaluation step An image output control step for outputting together with the auxiliary information of the image and the recognition result, wherein the image temporary storage step temporarily stores a plurality of images together with the respective auxiliary information, and the recognition result storage step
  • the recognition result of each character of the plurality of images stored in the temporary image storage step is stored, and the recognition result evaluation step examines the recognition result of each character of the plurality of images stored in the recognition result storage step.
  • the image having the best evaluation value of the recognition result is selected, and in the image output control step, the image selected in the recognition result evaluation step is selected.
  • the image is output together with the accompanying information of the image and the recognition result, and the computer executes each of the steps.
  • this program when determining the identity of the recognition result in the recognition result evaluation step, not only a single recognition result but also a combination of candidate characters is used. Judgment can be prevented. As a result, it is not necessary to use features other than the character recognition result to determine the identity of the object, and it is not necessary to limit the object to the license plate. Images with can be selected. Further, since the identity of the object is determined only from the character of the object, the size and direction of photographing the object are not affected. Thereby, it is possible to determine the identity of the object even with images from different image input steps.
  • the storage medium of the present invention stores the image processing program.
  • a pattern recognition device capable of being handled as a character pattern pointing to the same object, and A pattern recognition method can be provided. Further, according to the present invention, it is possible to provide an image processing apparatus and an image processing method capable of selectively recording an image having significant information without limiting the object to a license plate.
  • the block diagram which shows the structure of the pattern recognition apparatus which concerns on embodiment of this invention Schematic diagram showing an example of an image sequence photographed at one photographing point according to the pattern recognition apparatus of the first embodiment.
  • Schematic diagram showing a configuration example of incidental information of an image sequence according to the first embodiment Schematic diagram showing a configuration example of information of character recognition results of an image sequence according to the first embodiment
  • the flowchart which shows the outline of the procedure of the pattern recognition process in the pattern recognition apparatus of this Embodiment The flowchart which shows the outline of the control procedure of the analysis part when the vehicle body number is instruct
  • FIG. 3 is a block diagram showing a schematic configuration of an image processing apparatus according to Embodiment 3 of the present invention.
  • FIG. 14 is a flowchart showing the operation of the image processing apparatus in FIG.
  • the figure for demonstrating the character recognition process in the image processing apparatus of FIG. The flowchart which shows the process of the character area extraction part of the image processing apparatus of FIG.
  • the flowchart which shows the process of the recognition result evaluation part of the image processing apparatus of FIG. 14 is a block diagram showing a first configuration in which a plurality of image processing apparatuses in FIG. 14 are connected to a network.
  • 14 is a block diagram showing a second configuration in which a plurality of image processing apparatuses in FIG. 14 are connected to the network.
  • a flowchart showing the contents of control in a conventional pattern recognition method The block diagram which shows schematic structure of the conventional image processing apparatus
  • FIG. 1 is a block diagram showing a configuration of a pattern recognition apparatus according to an embodiment of the present invention.
  • the pattern recognition apparatus of the present embodiment includes an image input unit 101, an image data storage unit 102, a character recognition unit 103, a character recognition result storage unit 104, an instruction unit 105, an analysis unit 106, and a result output unit 107.
  • FIG. 2 is a schematic diagram illustrating an example of an image sequence photographed at one photographing point according to the pattern recognition apparatus of the first embodiment.
  • the image input unit 101 inputs an image and incidental information incidental thereto for an image that may contain an object.
  • the supplementary information includes information on the shooting position and shooting time of the image.
  • the image input unit 101 can be configured by using a camera that periodically shoots still image images at fixed shooting positions, for example, at regular time intervals.
  • the image data storage unit 102 stores the image and the accompanying information input by the image input unit 101.
  • a plurality of images (Pa1), (Pa2), (Pa3),... Taken in order at different times at one shooting point (Pa) are sequentially displayed from the image input unit 101. It is assumed that it is input.
  • a pattern including a moving vehicle appears in each of the still images (Pa1), (Pa2), and (Pa3).
  • FIG. 3 is a schematic diagram illustrating a configuration example of the incidental information of the image sequence according to the first embodiment.
  • FIG. 3 shows a specific example of images stored in the image data storage unit 102 and incidental information corresponding to each image when the image input unit 101 inputs an image sequence as shown in FIG. ing.
  • Incidental information representing the shooting position (point) and shooting time (time) is included in addition to the image. It is. From the contents of the shooting position (point) of the accompanying information, it can be seen that the plurality of images (Pa1), (Pa2), and (Pa3) shown in FIG. 3 are all images shot at the same shooting position (point). Further, from the contents of the shooting time (time) of the incidental information, it can be seen that the plurality of images (Pa1), (Pa2), and (Pa3) shown in FIG. 3 are images shot at slightly shifted times.
  • the character recognition unit 103 recognizes the character pattern recorded in the image input by the image input unit 101, and for each character pattern, for each candidate character code and candidate character representing one or more corresponding candidate characters And a recognition result including a position coordinate and a size of the character in the image.
  • the character recognition result storage unit 104 stores the character recognition result recognized by the character recognition unit 103.
  • FIG. 4 is a schematic diagram showing a configuration example of information on the character recognition result of the image sequence according to the first embodiment.
  • FIG. 4 shows a specific example of the character recognition result recognized by the character recognition unit 103 and stored in the character recognition result storage unit 104 when the image input unit 101 inputs the image and supplementary information as shown in FIG. An example is shown.
  • the character recognition unit 103 recognizes each character pattern of the number appearing on the license plate of (Car A), which is the object appearing in the image (Pa1) shown in FIG.
  • the character patterns (C7), (C8), (C9), and (C10) corresponding to the image (Pa1) the candidate character codes “1”, “2”, “3”, and “4” are respectively obtained.
  • the detected evaluation value and position coordinate information for each candidate are stored in the character recognition result storage unit 104.
  • the coordinates of the start point and the end point are included as the position coordinates of each character pattern, the size of the character pattern can also be detected.
  • the instruction unit 105 inputs the analysis conditions for the object.
  • a specific analysis condition for example, it is assumed that a character string (for example, a number in a license plate) for specifying a recognition target is specified.
  • the analysis unit 106 calculates the character code and the evaluation from the image and supplementary information stored in the image data storage unit 102 and the character recognition result stored in the character recognition result storage unit 104.
  • Object character information related to the object is extracted using the value, character position and size, image shooting position and time, and color information, and the object is analyzed.
  • the result output unit 107 outputs the result analyzed by the analysis unit 106.
  • FIG. 5 is a flowchart showing an outline of the procedure of pattern recognition processing in the pattern recognition apparatus of the present embodiment.
  • the processing operation in this pattern recognition apparatus relates to the embodiment of the pattern recognition method of the present invention.
  • the image input unit 101 inputs the image and the incidental information attached to the image including the image capturing position and the image capturing time for the image that may contain the object, and the process proceeds to S102.
  • the image data storage unit 102 stores the image and the incidental information input in the image input step S101, and the process proceeds to S103.
  • the character recognition unit 103 recognizes the character recorded in the image input in the image input step S101, and obtains a recognition result including the candidate character code and the evaluation value, and the position and size of the character. , Go to S104.
  • the character recognition result accumulation unit 104 accumulates the character recognition result recognized in the character recognition step S103, and the process proceeds to S105.
  • instruction step S105 the instruction unit 105 inputs analysis conditions for the object, and the process proceeds to S106.
  • analysis step S106 based on the analysis conditions input in instruction step S105, the analysis unit 106 uses the image and supplementary information stored in image data storage step S102 and the character recognition result stored in character recognition result storage step S104.
  • the character code and evaluation value, the character position and size, the image photographing position and photographing time, and the object character information related to the object are extracted using the color information, the object is analyzed, and the process proceeds to S107. .
  • the result output unit 107 outputs the result analyzed in the analysis step S106.
  • Each image input by the image input unit 101 and stored in the image data storage unit 102 includes information on the shooting point and the shooting time (time) as supplementary information as shown in FIG. .
  • the information of the character recognition result recognized by the character recognition unit 103 and stored in the character recognition result storage unit 104 includes, as shown in FIG. 4, in each image (Pa1, Pa2, Pa3) to be processed.
  • Each character pattern includes a candidate character code (104b), an evaluation value (104c) for each candidate, and a position coordinate (104d) of the start point and end point of the character pattern.
  • the vehicle body number “1234” can be input to the instruction unit 105 by an input operation of an administrator, for example, and the vehicle body number “1234” can be instructed from the instruction unit 105 as an analysis condition (specified character string) of the object.
  • FIG. 6 shows an outline of the control contents of the analysis unit 106 when such an instruction is given.
  • FIG. 6 is a flowchart showing an outline of the control procedure of the analysis unit when the vehicle body number is instructed in the pattern recognition apparatus of the first embodiment. Hereinafter, the content of the control process in the analysis part 106 is demonstrated.
  • the analysis unit 106 refers to the contents of the character recognition result storage unit 104 (see FIG. 4), and sets a certain criterion that the evaluation value is less than 50 for the candidate character code of the character recognition result of the image (Pa1). It is determined whether there is a satisfied character string “1234”. If it exists, the process proceeds to S602, and if it does not exist, the process proceeds to S603.
  • the analysis unit 106 performs the process as shown in FIG. 6 based on the image (Pa1) included in the content shown in FIG. 4, thereby obtaining the result as shown in FIG. 7 (recorded contents of the areas 104e to 104h). ) Can be obtained.
  • FIG. 7 is a schematic diagram showing a configuration of information of processing results recorded for a target character string in the first embodiment. The contents of the areas 104a to 104d shown in FIG. 4 and the contents of the areas 104a to 104d shown in FIG. 7 are the same.
  • the shooting time (104f) the character is displayed in the area (104e) associated with the corresponding character string (L1) as shown in FIG.
  • the image group (104g) and character string coordinates (104h) are stored.
  • the information of the photographing time (104f) can be acquired from the contents of the image data storage unit 102.
  • the information of the character image group (104g) is a combination of elements representing each character of the designated character string (L1) in the information (104a) of each character pattern recorded in the character recognition result storage unit 104. To be recorded.
  • the character string (L1) representing “1234” is recorded in the area 104g as a combination of the character patterns (C3), (C4), (C5), and (C6) shown in FIG.
  • the character string coordinate (104h) of the character string (L1) is a region 104h as the start point and end point coordinates of the entire character string obtained from the coordinates (contents of 104d) corresponding to the character patterns (C3) to (C6). To be recorded.
  • the results are recorded in the areas 104e, 104f, 104g, and 104h shown in FIG.
  • FIG. 7 it is assumed that two character strings (L1) and (L2) can be detected. That is, as a result of processing the image (Pa1), a character string (L1) corresponding to the specified character string “1234” is detected from the image (Pa1) and specified as a result of processing the image (Pa2). The character string (L2) corresponding to the character string “1234” is detected from the image (Pa2) and recorded in the areas 104e to 104h.
  • step S604 the analysis unit 106 uses information on the shooting time (contents of 104f) and the character string coordinates (contents of 104h) of each character string (L1, L2) that can be detected, and sets the determination criteria as shown in FIG. Based on this, the moving direction of the character string is determined.
  • FIG. 8 is a schematic diagram showing a determination criterion for determining a moving direction of a character string to be used in the present embodiment.
  • the character strings (L1) and (L2) are extracted from a plurality of images (Pa1) and (Pa2) photographed at the same photographing position, and the content of the character string is the same as the designated content “1234”.
  • the difference in shooting time between the images (Pa1) and (Pa2) is small, it can be determined that these are character strings indicating the same object (car A).
  • the character strings (L1) and (L2) Regarding the movement (corresponding to the movement of the object).
  • LaYs Start point Y coordinate position of the character string (La) pattern
  • LaYe End point Y coordinate position of the character string (La) pattern
  • LaXs Start point X coordinate position of the character string (La) pattern
  • LaXe Character string (La)
  • LbYs Character string (Lb) pattern start point Y coordinate position
  • LbYe Character string (Lb) pattern end point Y coordinate position
  • LbXs Character string (Lb) pattern start point X coordinate position
  • LbXe End point X coordinate position of the pattern of character string (Lb)
  • the start point represents the upper left corner coordinates of the pattern in the image
  • the end point represents the lower right corner coordinates
  • the analysis unit 106 checks the compatibility with the determination criteria shown in FIG. To do. That is, since all the conditions of (LbYs ⁇ LaYs), (LbYe ⁇ LaYe), (LbXs ⁇ LaXa), and (LbXe ⁇ LaXe) are satisfied, the character string (L1 corresponding to the designated character string “1234”) ), (L2) can be determined as proceeding downward. Therefore, it can be analyzed that the object (car A) is moving downward.
  • FIG. 9 is a schematic diagram showing an example of an image sequence photographed at three photographing points according to the pattern recognition apparatus of the second embodiment.
  • the up line appears in the order of the shooting points (Pb), (Pc), and (Pd). Is assumed. Below, the case where it analyzes about the target object (car B) image
  • the configuration of the pattern recognition apparatus is the same as that shown in FIG. 1, and a description thereof is omitted here.
  • FIG. 10 is a schematic diagram illustrating a configuration example of the incidental information of the image sequence according to the second embodiment.
  • FIG. 10 shows a specific example of images stored in the image data storage unit 102 and incidental information corresponding to each image when the image input unit 101 inputs an image sequence as shown in FIG. ing.
  • the incidental information the starting point distance (distance from a specific starting point position) of the shooting point and the shooting time are recorded.
  • FIG. 11 is a schematic diagram illustrating a configuration example of information on a character recognition result of an image sequence according to the second embodiment.
  • FIG. 11 shows a specific example of the character recognition result recognized by the character recognition unit 103 and stored in the character recognition result storage unit 104 when the image input unit 101 inputs the image and supplementary information as shown in FIG. An example is shown.
  • information (104a) for distinguishing each character pattern, candidate character code (104b) for each candidate, evaluation value (104c) for each candidate, the start point and end point of the character Position coordinates (104d) are recorded.
  • FIG. 12 shows an outline of control contents of the analysis unit 106 when such designation is performed.
  • FIG. 12 is a flowchart showing an outline of the control procedure of the analysis unit when an object is specified in the pattern recognition apparatus of the second embodiment.
  • the control process in the analysis unit 106 when the administrator designates an object (car B in FIG. 9) appearing in the image (Pc2) of the image sequence of the shooting point (Pc) in the instruction unit 105. Will be described.
  • analysis conditions are extracted. For example, it is included in the photographing time 10:00 (see FIG. 10) of the image (Pc2) instructed by the administrator and the character recognition result (part of the contents in FIG. 11) in the area near the object instructed by the administrator.
  • the process proceeds to S613, and if it is not the target image, the process proceeds to S617.
  • the target in (Pb) is limited to only images taken before the image (Pb1) taken 30 minutes earlier than the designated image (Pc2) (see FIG. 10).
  • what is targeted at the photographing point (Pc) is an image photographed before and after the image (Pc2).
  • the shooting point (Pd) is limited to only images shot after the image (Pd3).
  • FIG. 13 is a schematic diagram showing a configuration of information of processing results recorded for a target character string in the second embodiment. Note that the contents of the areas 104a to 104d shown in FIG. 11 are the same as the contents of the areas 104a to 104d shown in FIG.
  • the analysis unit 106 determines whether the character strings “5673” and “5678” satisfying a certain criterion that the evaluation value is less than 50 exist in the candidate character code of the character recognition result for the sequentially input images, If it exists, the process proceeds to S614, and if it does not exist, the process proceeds to S617.
  • a character string (L11) that is a set of four character patterns (C11), (C12), (C13), and (C14) from the image (Pb1).
  • a character string (L12) that is a set of four character patterns (C21), (C22), (C23), and (C24).
  • the character string “5673” to be inspected is detected as a character string (L21) that is a set of four character patterns (C21), (C22), (C23), and (C24) from the image (Pc2). From (Pd3), it is detected as a character string (L22) which is a set of four character patterns (C31), (C32), (C33), and (C34).
  • the character image group (C21, C22, C23, C24) corresponding to the character string “5678” or the character image group of the detected character strings (L11), (L12), (L21), (L22) or The degree of similarity with the character image group (C21, C22, C23, C24) corresponding to the character string “5673” is obtained. If the degree of similarity satisfies a certain standard, the process proceeds to S615, and if not, the process proceeds to S617.
  • the similarity is obtained by a method similar to the method for calculating the character recognition evaluation value in the character recognition unit 103. In the example shown in FIG. 13, since the similarity satisfies the criteria for the character strings (L11), (L12), (L21), and (L22), the process proceeds to S615.
  • the character strings (L11) and (L12) of the character string “5678” are both recorded as ⁇ red> in the area 104j shown in FIG. 13 because the background color detected from the image is red.
  • the process proceeds to S616.
  • the character string (L21) of the character string “5673” is recorded as ⁇ red> in the area 104j of FIG. 13, and the character string (L22) is recorded as ⁇ white> in the area 104j.
  • the areas 104f, 104g The starting point distance, shooting time, character image group, character string coordinates, and background color information recorded in 104h, 104i, and 104j are recorded as effective information in S616.
  • the moving state of the character string is determined from the starting distance, the shooting time, and the character string coordinates of each detected character string (L), and the result is determined as the moving state of the object. To do.
  • the object for example, the vehicle shown in FIG. 9) based on the information of the valid character strings (L11) and (L12) shown in FIG. 13 (corresponding to the contents of the areas 104e, 104f, 104g, 104h, 104i, and 104j).
  • the object (car B) passes the passing lane of the shooting point (Pb) (which is known from the position coordinates of the area 104i) at the time of 9:30, and the shooting point at the time of 10:00. It can be analyzed that the vehicle has passed the traveling lane of (Pc) and has not yet reached the shooting point (Pd).
  • the moving state of the object can be analyzed in detail and accurately over a wider range.
  • the pattern photographed at the same time as the object and pointing to the object is a character string.
  • a pattern having a property similar to that of a character such as a logo or a mark may be used.
  • the various conditions in each process are not limited to this as long as they are the same criteria.
  • each of the functional blocks such as the image input unit, the image data storage unit, the character recognition unit, the character recognition result storage unit, and the analysis unit shown in FIG. 1 may be realized as an LSI that is typically an integrated circuit. Good.
  • the method of circuit integration is not limited to LSI. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • each function can be realized by the processing of the hardware circuit in the LSI or the processing of the predetermined software program on the processor.
  • each function shown in FIG. 5, FIG. 6, and FIG. 12 may be described by a program that can be executed by a computer, and each function can be realized by executing the program. Further, the program may be read from a suitable recording medium (for example, CD-ROM, DVD disk, etc.) into a computer and executed.
  • a suitable recording medium for example, CD-ROM, DVD disk, etc.
  • the present embodiment can be applied to, for example, an analysis device for an image captured by a monitoring camera or the like, a wide area monitoring system, and the like.
  • FIG. 14 is a block diagram showing a schematic configuration of an image processing apparatus according to Embodiment 3 of the present invention.
  • an image processing apparatus 201 according to the present embodiment includes an image data temporary storage unit 211, a binarization processing unit 212, a character area extraction unit 213, a character recognition unit 214, and a recognition result storage unit 215.
  • the multi-camera recognition result cooperation unit 216, the recognition result evaluation unit 217, and the image output control unit 218 are provided.
  • the image processing apparatus 201, the external image storage medium 203, and the monitoring center 204 are connected via the network 202. Note that the number of image processing apparatuses 201 is not limited to one and may be two or more.
  • the number of external image storage media 203 is not limited to one, and may be two or more.
  • the image input unit 210 continuously inputs, to the image processing apparatus 201, additional information attached to the image including the image and the shooting position and shooting time of the image.
  • the image data temporary storage unit 211 stores the incidental information attached to the image including the image input from the image input unit 210 and the image including the shooting position and shooting time for a predetermined number of times.
  • the binarization processing unit 212 binarizes the image stored in the image data temporary storage unit 211 and sends it to the character area extraction unit 213.
  • the character area extraction unit 213 extracts a character area from the binarized image, and sends the coordinates of individual characters in the extracted character area to the character recognition unit 214.
  • the character recognition unit 214 recognizes characters in the image based on the binary image and the character coordinates.
  • the character recognition unit 214 obtains a recognition result including the candidate character code, the evaluation value, and the character coordinates by the character recognition process.
  • the recognition result storage unit 215 holds the recognition result obtained by the character recognition unit 214.
  • the recognition result storage unit 215 holds a plurality of recognition results.
  • the multi-camera recognition result cooperation unit 216 holds a plurality of incidental information and recognition results obtained by other image processing apparatuses 201 connected via the network 202.
  • the recognition result evaluation unit 217 includes a recognition result obtained by the image processing device 201 held in the recognition result storage unit 215 and a plurality of other image processing devices 201 held by the multi-camera recognition result cooperation unit 216. Based on the obtained recognition result, it is determined whether or not to record the image held in the image data temporary storage unit 211 in the external image storage medium 203.
  • the recognition result evaluation unit 217 determines that the image held in the image data temporary storage unit 211 is to be recorded, the image output control unit 218 attaches to the image held in the image data temporary storage unit 211 and the image.
  • the auxiliary information and the recognition result of the image held in the recognition result storage unit 215 are recorded in the external image storage medium 203.
  • FIG. 15 is a flowchart showing the operation of the image processing apparatus 201 configured as described above.
  • incidental information including an image and a shooting position and shooting time of the image are continuously input (step S110).
  • the image and incidental information input in the image input step S110 are temporarily stored (step S111).
  • the temporarily stored image is binarized (step S112).
  • a character area is extracted from the binarized image, and the coordinates of individual characters in the extracted character area are obtained (step S113).
  • the characters in the image are recognized based on the binary image and the character coordinates (step S114).
  • a recognition result including a candidate character code, an evaluation value, and character coordinates is obtained.
  • step S115 the recognition result obtained in the character recognition step is held (step S115).
  • a plurality of past recognition results are also held.
  • step S116 a plurality of supplementary information and recognition results obtained by other image processing apparatuses 201 connected via the network 202 are held (step S116).
  • step S117 It is determined whether or not to record the image held in the image temporary storage step on the external image storage medium 203 (step S117).
  • the image and the auxiliary information held in the image temporary storage step and the recognition result of the image held in the recognition result storage step are stored in the external image storage medium. It records in 203 (step S118).
  • the processing is repeated again from the image input step S110.
  • FIG. 16 is an explanatory diagram of an image sequence photographed at one photographing point (Pa).
  • An example will be described in which images (Pa0), (Pa1), (Pa2),...
  • FIG. 17 is an explanatory diagram of images and supplementary information stored in the image data temporary storage unit 211.
  • the image input from the image input unit 210, its shooting location and shooting time are recorded for a predetermined number of times. When a new image is recorded, the oldest data is deleted.
  • FIG. 17 shows the contents of the image data temporary storage unit 211 when the latest image (Pa2) is recorded.
  • FIG. 18 and 19 are explanatory diagrams of a recognition process of the latest image (Pa2) recorded in the image data temporary storage unit 211.
  • FIG. 18A shows the latest image (Pa2) in the image data temporary storage unit 211.
  • FIG. 18B is an image obtained by binarizing FIG. 18A by the binarization processing unit 212.
  • (C) of FIG. 18 shows the character area (A2) extracted by the character area extraction unit 113 and the characters in the character area (A2).
  • FIG. 19D is an enlarged view of the extracted character area (A2).
  • FIG. 19E is a diagram illustrating the character coordinate data extracted by the character region extraction unit 213.
  • FIG. 19F is a diagram illustrating a character recognition result output by the character recognition unit 114.
  • the binarization processing unit 212 When the latest image (Pa2) ((a) in FIG. 18) from the image input unit 210 is recorded in the image data temporary storage unit 211, the binarization processing unit 212 performs binarization processing, and the binary image ((B) of FIG. 18) is created. Next, the character area extraction unit 213 extracts the character area and individual character coordinates from the binary image (FIG. 18B).
  • FIG. 20 is a flowchart showing an outline of processing of the character area extraction unit 213.
  • the character region extraction unit 213 extracts a black pixel connection region from the binary image created by the binarization processing unit 212 (step S501).
  • the extracted black pixel connection areas are gathered together and are divided into groups (step S502).
  • the average size of the black pixel connection areas in the group is calculated for each group (step S503), and it is checked whether the individual black pixel connection areas in the group are not significantly different from the average size (step S504).
  • each black pixel connection area is determined.
  • the character coordinates are calculated from the characters, and the characters are collectively recorded for each character string based on the calculated character coordinates (step S506).
  • the group including the non-uniform black pixel connection area is determined not to be a character area. The processes in steps S503 to S506 are performed for all groups.
  • the character coordinates ((e) in FIG. 19) thus obtained by the character region extraction unit 213 are passed to the character recognition unit 214, and the character recognition unit 214 performs character recognition based on the character coordinates. By this character recognition, the recognition result of (f) of FIG. 19 is obtained.
  • character recognition processing is generally time-consuming processing, and the processing time increases according to the number of characters to be recognized. When numbers and hiragana (about 60 characters) are to be recognized, the processing time is several times longer than when only numbers (10 characters) are to be recognized. In the case where up to 3000 kanji characters are to be recognized, a processing time of 100 times or more that of numbers alone is required.
  • the character type to be recognized is limited to numbers, but the image input interval in the image input unit 210 is sufficiently larger than the recognition processing time. In this case, hiragana and kanji may be recognized.
  • FIG. 21 and 22 are explanatory diagrams of recognition results held in the recognition result storage unit 215.
  • recognition results candidate character codes, evaluation values, character coordinates
  • the evaluation value is a value indicating the probability of the candidate character code obtained as a recognition result.
  • the evaluation value is a value from 0 to 100, and a smaller numerical value indicates that the candidate character is more likely. Shall.
  • FIG. 21 shows the contents of the recognition result storage unit 215 when the recognition result (R2) of the image (Pa2) is recorded.
  • FIG. 22 shows the next image input from the image input unit 210, and the image (Pa3) is displayed. The contents of the recognition result storage unit 215 when the latest image is obtained are shown. Since no characters are included in the image (Pa3), the recognition result is blank.
  • the recognition result evaluation unit 217 selects an image to be recorded on the external image storage medium 203 based on the content of the recognition result storage unit 215.
  • the processing of the recognition result evaluation unit 217 will be described by taking the case where the content of the recognition result storage unit 215 is FIG. 22 as an example.
  • FIG. 23 is a flowchart showing an outline of processing of the recognition result evaluation unit 217.
  • the recognition result evaluation unit 217 performs a series of processes shown in FIG.
  • the character string in the latest immediately preceding image in the case of FIG. 22 (Pa2)
  • the processing of the recognition result evaluation unit 217 is terminated, and the character string can be detected (character string (L2)).
  • L3) a valid candidate character string is detected (step S703).
  • a sequence of character codes having an evaluation value of less than 50 is determined as a valid candidate character string.
  • the valid candidate character string for the character string (L2) is “888”, and the valid candidate character strings for the character string (L3) are “1234”, “1284”, “• 234”, and “• 284 "is detected.
  • step S704 the presence / absence of the detected effective candidate character string is determined (step S704), and when the effective candidate character string cannot be detected, the image output control unit 218 is notified of the latest immediately preceding image (step S705). This is because an image for which a recognition result with a good evaluation value was not obtained despite the detection of characters may have poor image quality. Therefore, if the image is recorded on the external image storage medium 203, the monitoring center 204 This is because it can be reprocessed by a highly functional PC or recognition software.
  • step S707 if a valid candidate character string has been detected, it is checked whether or not the candidate character string of interest exists as a candidate character string in the recognition result of the latest image (step S707), and the result is displayed in step S708.
  • Judge with When the candidate character string of interest is present as a candidate character string in the recognition result of the latest image, the processing for the character string of interest is terminated and the processing proceeds to the next character string. If the candidate character string of interest does not exist as a candidate character string in the recognition result of the latest image, it is determined in step S710 whether there is a next candidate character string, and candidate character strings to be checked still remain.
  • step S703 when the process returns to step S703 and all candidate character strings have been examined, it can be concluded that the focused character string is not included in the latest image. You can see that it is up to the latest image. Therefore, the image in the best state is searched retroactively for the focused character string, and notified to the image output control unit 218 (step S709).
  • the average value of the evaluation values of the first candidate character code of each character is used as the evaluation value of the candidate character string, but the uniformity of the character size and the like may be added to the evaluation. If attention is paid to the valid candidate character string “888” for the character string (L2), the evaluation value in the latest immediately preceding image (Pa2) is 27 ((20 + 22 + 40) / 3 ⁇ 27). Since the valid candidate character string “888” does not exist in the latest image (Pa3), the process of step S709 is performed on the valid candidate character string “888”.
  • step S709 is performed in the same manner as the valid candidate character string “888” of the character string (L2). Since the detected character string is as described above, one process of the recognition result evaluation unit 217 is terminated.
  • FIG. 24 is a process schematic diagram of step S709 shown in FIG. In the figure, it is checked whether or not a candidate character string of the focused character string exists in the focused image from the latest immediately preceding image (steps S801 to S804). When an image without any candidate character string is found or when a previous recognition result is not stored in the recognition result storage unit 215, the oldest image in which the focused character string exists can be specified. Next, the evaluation value of the candidate character string in each image where any of the candidate character strings exists is calculated, and the image having the best evaluation value is selected (step S805).
  • the image having the character string (L2) is only (Pa2). Therefore, the evaluation value in each image for the character string (L2) is Image (Pa2) ⁇ candidate character string “888” ⁇ evaluation value 27 For the character string (L2), the image (Pa2) having the evaluation value 27 is selected.
  • FIG. 25 is an explanatory diagram of data stored in the multi-camera recognition result cooperation unit 216.
  • the other image processing apparatus 201 records the image on the external image storage medium 203, all the images connected by the network 202 are displayed.
  • the notified incidental information and the recognition result are stored in the multi-camera recognition result cooperation unit 216 of each image processing apparatus 201.
  • step S806 in FIG. 24 it is checked whether any of the candidate character strings exists as a valid candidate character string in the recognition result obtained by the other image recognition apparatus 201 held in the multi-camera recognition result cooperation unit 216. .
  • the presence / absence of the result is determined in step S807, and if any of the candidate character strings exists as a valid candidate character string in the recognition result obtained by the other image recognition apparatus 201, the evaluation obtained in step S805.
  • the value is compared with the evaluation value obtained in step S806. If the evaluation value obtained in step S805 is better, the image output control unit 218 is notified of the image. If the evaluation value obtained in step S806 is better, nothing is done.
  • Image (Pa2) ⁇ candidate character string “888” ⁇ evaluation value 27
  • Image (Pa2) ⁇ candidate character string “1234” ⁇ evaluation value 9 Is notified to the image output control unit 218.
  • step S806 when selecting the recognition result of the other image processing apparatus 201 obtained in step S806, in order to avoid coincidence of the accidental recognition result, it is not determined based only on the evaluation value, but is limited in time or the same character. A restriction may be added that the candidate character strings must match in all the character strings in the area.
  • the image output control unit 218 reads an image and supplementary information from the image data temporary storage unit 211 and reads a recognition result from the recognition result storage unit 215 for the image notified from the recognition result evaluation unit 217 via the network 202. To the external image storage medium 203. Note that the number of images notified from the recognition result evaluation unit 217 is not limited to one. If a plurality of images are designated, the same image may be pointed out. However, the image output control unit 218 eliminates the duplication and records the same image only once. For the image recorded once, the recorded flag of the image data temporary storage unit 211 is set.
  • the image output control unit 218 records the image, supplementary information, and the recognition result on the external image storage medium 203 and notifies the supplementary information and the recognition result to all the image processing apparatuses 201 connected via the network 202.
  • the notified incidental information and the recognition result are stored in the multi-camera recognition result cooperation unit 216 of each image processing apparatus 201.
  • FIG. 26 is a block diagram showing a first configuration in which a plurality of image processing apparatuses 201 are connected via a network 202.
  • the multi-camera recognition result cooperation unit 216 provided in each image processing apparatus 201 holds the recognition result obtained by the other image processing apparatus 201, so that the same target is captured by a plurality of cameras. Further, it is possible to prevent duplicate images from being recorded on the external image storage medium 203.
  • FIG. 27 is a block diagram showing a second configuration in which a plurality of image processing apparatuses 201 are connected via a network 202.
  • the multi-camera recognition result linkage unit 216 is not included in each image processing device 201 but includes a single multi-camera recognition result linkage unit 216 for a plurality of image processing devices 201.
  • the recognition result obtained by the other image processing apparatus 201 in the multi-camera recognition result cooperation unit 216 when the same object is photographed by a plurality of cameras, the image is stored in the external image storage medium 203. Can be recorded in duplicate.
  • the recognition result indicating the contents of the image is given to the image recorded in the external image storage medium 203, it is easy to search for an image in the external image storage medium 203 by a PC of the monitoring center 204 or the like. Become. Furthermore, since the character area coordinates and the character coordinates are assigned, when the image in the external image storage medium 203 is reprocessed by the PC of the monitoring center 204 or the like, only a specific area needs to be processed. Processing efficiency can be improved.
  • the image data temporary storage unit 211 stores a plurality of images and supplementary information
  • the character recognition unit 214 recognizes characters in the image, and stores the recognition result.
  • the unit 215 holds recognition results corresponding to a plurality of images held in the image data temporary storage unit 211, detects the timing of image content change by the recognition result evaluation unit 217, and only when the image content changes. Since the image in the image data temporary storage unit 211 is recorded in the external image storage medium 203, a change in the image content can be detected even for a person image with a name tag or an image in which the entire license plate is not necessarily captured.
  • the image storage medium 203 can be used effectively.
  • the installation of the camera is simple.
  • the image input unit 210 may be a movable camera, a wide range can be monitored with a small number of cameras. Since an image having significant information can be selected and recorded from a large amount of images input from the image input unit 210, the external image storage medium 203 can be used effectively.
  • the sameness can be determined even when the same target is photographed by a plurality of cameras, so that images are recorded on the external image storage medium 203 in duplicate. Can be prevented.
  • the recognition result to be added includes the character area coordinates and the character coordinates, it is given to the image when the image recorded on the external image storage medium 203 is secondarily processed by the PC of the monitoring center or the like.
  • the image, its accompanying information, and the recognition result are recorded together.
  • the evaluation value is sufficient. If it is good, only the incidental information and the recognition result may be recorded except for the image. In this way, the usage amount of the external image storage medium 203 can be further reduced.
  • a pattern that is photographed at the same time as the object and points to the object is used as a character string.
  • a pattern having a property similar to that of a character such as a logo, a mark, or a face
  • Various conditions and threshold values in each process are not limited to this as long as they are the same determination criteria.
  • Each functional block such as the image output control unit 218 may be realized as an LSI that is typically an integrated circuit. The method of circuit integration is not limited to LSI. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • each processing step in each operation described above may be described by a computer-executable program.
  • the present invention has an effect that even when there are a plurality of images in different positions and sizes of character patterns pointing to the same object, it can be handled as a character pattern pointing to the same object, For example, multiple images in which objects that may fluctuate are recorded, such as when a vehicle is automatically monitored based on a moving image obtained by photographing various vehicles moving on a road with a camera. Based on the above, it is useful as a pattern recognition apparatus and a pattern recognition method that are used to analyze the variation of the recorded object using the character information recorded at the same time. Further, the present invention has an effect that an image having significant information can be selectively recorded without limiting the object to the license plate, and can be applied to a monitoring system or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)

Abstract

 本発明の課題は、同じ対象物を指し示している文字パターンの位置やサイズが異なった状態の画像が複数存在した場合でも、同じ対象物を指し示した文字パターンとして扱えるようにすることである。  画像入力部(101)により、画像とともにこの画像の撮影地点、時刻等の付帯情報を入力し、画像データ蓄積部(102)に蓄積する。また、文字認識部(103)により画像中の文字認識を行い、認識結果を文字認識結果蓄積部(104)に蓄積する。この画像及び付帯情報と文字認識結果とから、指示部(105)で入力された解析条件に基づき、解析部(106)で対象物に関連する対象物文字情報を抽出して対象物を解析し、解析結果を結果出力部(107)で出力する。これにより、同じ対象物を指し示した文字パターンの変動を解析することで、対象物の変動を解析可能である。

Description

パターン認識装置、パターン認識方法、画像処理装置及び画像処理方法
 本発明は、変動する可能性のある対象物が記録されている複数の画像に基づき、同時に記録された文字情報を用いて、記録された対象物の変動を解析するために利用されるパターン認識技術に関する。
 入力された画像を処理することにより、画像中に含まれる様々なパターンを認識するための技術が従来より提案されている。例えば、特許文献1においては、地図の内容が含まれる画像を処理して地図中の文字列を認識したり、動画中の所定位置に挿入された大きさが一定の文字列情報をパターン認識により認識することを想定している。
 例えば、特許文献1に開示されているような従来のパターン認識装置においては、画像中に含まれている文字パターンの位置やサイズ、文字認識の候補文字コードの一致度に応じて文字パターンを複数グループに分割し、グループに含まれる文字全体を用いて文字パターンに対応する文字コードを決定している。
 図28は特許文献1に記載された従来のパターン認識方法における制御の内容を示すフローチャートである。図28に示す制御において、文字候補獲得工程(S1~S6)では、画像から文字パターンを抽出して、対応する候補文字コードとその確信度を獲得する。グルーピング工程(S3)では、文字パターンをグループ化して文字グループを生成する。一致文字グループ検出工程(S6)では、画像に含まれる生成された文字グループに含まれる獲得された候補文字コードのマッチングを、文字グループ間毎に行い、一致する文字グループを検出する。文字コード決定工程(S7~S9)では、検出された一致する文字グループに含まれる候補文字コードごとに対応する確信度を集計し、集計された確信度に基づき、文字グループに含まれる文字パターンに対応する文字コードを決定する。
 また、従来の画像処理装置としては、文字読み取りの誤りを考慮し、読み取られた文字が一致するか否かの判断と、対象物の形状が一致するか否かの判断を併せて行うものがある(例えば、特許文献2参照)。図29は、特許文献2に記載された従来の画像処理装置の概略構成を示すブロック図である。同図において、カメラ10によって撮像された画像はADC12でデジタル変換された後、画像メモリ14に格納される。画像メモリ14には常に最新の画像データが保持される。2値化回路16は画像メモリ14上のデータを2値化し、プレート切出部18はナンバープレート画像を切り出し、文字切出部20はナンバープレート画像中の文字画像を切り出し、文字認識部22は文字認識処理を行い、その結果をメモリ38に記憶する。
 一方、中心計算部30はナンバープレート位置を計算し、座標計算部32はエッジを検出する座標を計算し、エッジ検出部34はエッジ画像を生成し、マトリクス生成部36は指定座標におけるエッジの有無により形状判定用マトリクスを生成し、その結果をメモリ40に記憶する。判定部42は、得られた車番とマトリクスを前回の結果と比較し、対象物が同一であるか否かを判定し、車番の出力の制御を行う。
特開平9-81689号公報 特開平7-272189号公報
 しかしながら、前述した従来のパターン認識技術では、同じ対象物に付加された文字列であっても、その対象物が移動や大きさの変化等によって変動する場合には、同じ対象物に関連付けて扱うことはできなかった。
 従来技術では、画像中の文字の位置やサイズで文字パターンを複数グループに分割し、グループに含まれる文字全体を用いて文字パターンに対応する文字コードを決定しているので、同じ対象物を指し示している文字パターンが例えば撮影時刻の異なる複数の画像中にそれぞれ存在している場合であっても、対象物の位置やサイズが画像毎に異なった状態で存在していると、画像毎に独立した対象物を指し示す文字パターンとしてそれぞれ認識されることになる。このため、複数の画像について文字パターンと対象物との関連付けを行うことができない。
 例えば、道路上を移動する様々な車両をカメラで撮影して得られる動画像に基づいて車両を自動的に監視しようとするような場合には、それぞれの車両と各車両のナンバープレートに表示されている番号等の文字列、あるいは車両のボディに表示されている広告等の文字列の内容とを対応付けることができれば、それぞれの車両の状態を追跡することが可能になる。しかし、各車両の移動等に伴って対象物とそれを示す文字列パターンのサイズや位置が画像毎に変化することになるので、従来技術では文字列パターンは画像毎に独立したものとして扱われる。そのため、移動中の車両のような対象物については、例えば特定の車両とそのナンバープレートに表示されている番号等とを互いに関連付けて時系列の状態変化として管理することができなかった。
 また、上述した従来の画像処理装置では、対象物がナンバープレートを備えた車両に限定されるため、道路や駐車場といった特定の場所でナンバープレート全体が映るようにカメラが設定されている状況でのみ使用が可能であり、それ以外での使用が不可能であるという問題があった。
 本発明は、上記事情に鑑みてなされたもので、同じ対象物を指し示している文字パターンの位置やサイズが異なった状態の画像が複数存在した場合でも、同じ対象物を指し示した文字パターンとして扱うことが可能なパターン認識装置及びパターン認識方法を提供することを目的とする。また、本発明は、対象物をナンバープレートに限定することなく、有意な情報を持つ画像を選択的に記録することができる画像処理装置及び画像処理方法を提供することを他の目的とする。
 本発明は、認識対象となる対象物が含まれる可能性のある画像及び前記画像に付帯する付帯情報を入力する画像入力部と、前記画像入力部で入力された画像及び付帯情報を蓄積する画像データ蓄積部と、前記画像入力部で入力された画像に含まれる文字を認識する文字認識部と、前記文字認識部で認識された文字認識結果を蓄積する文字認識結果蓄積部と、対象物の解析条件を入力する指示部と、前記指示部で入力された解析条件に基づき、前記画像データ蓄積部で蓄積された画像及び付帯情報と前記文字認識結果蓄積部で蓄積された文字認識結果とから、対象物に関連する対象物文字情報を抽出し対象物を解析する解析部と、前記解析部で解析された結果を出力する結果出力部とを備えるパターン認識装置を提供する。
 この構成によれば、入力した所定の解析条件に基づき、蓄積した画像及び付帯情報と蓄積した文字認識結果とから、対象物に関連する対象物文字情報を抽出して対象物を解析することで、例えば、複数の画像において、同じ対象物を指し示している文字パターンが位置やサイズが異なった状態でそれぞれ存在している場合であっても、複数の画像上で同じ対象物を指し示しているそれぞれの文字パターンを共通に扱うことが可能となる。このため、文字認識結果を用いて、例えば文字パターンの変動(移動など)を解析することにより、文字パターンが指し示す対象物の変動を解析することが可能になる。
 前記付帯情報としては、例えば当該画像を撮影するカメラの設置位置や撮影時刻のような情報を用いることが想定される。つまり、例えば同じ地点で撮影され、撮影時刻が少しずれた複数の画像を処理するような場合には、これらの画像の中に同じ対象物(車両など)が含まれている可能性があるが、対象物及びそれを示す文字パターン(例えば車両のナンバープレート中の表示番号)の画像中の位置や大きさなどは画像毎に位置や大きさなどがずれている可能性が高く、完全に一致することは少ない。しかし、撮影地点の一致の有無や撮影時刻の違いなどを考慮して複数の画像を処理すれば、対象物及びそれを示す文字パターンの変動(移動など)を認識することが可能であり、複数の画像中にそれぞれ現れた同じ対象物及びそれを示す文字パターンを共通の要素として扱うことができ、対象物及びそれを示す文字パターンの変動の状況を検出することも可能になる。
 また、本発明は、上記のパターン認識装置であって、前記文字認識部は、文字パターンに対応する候補文字コード及び文字認識に関する評価値と、文字の位置及びサイズとを含む情報を認識結果として求め、前記解析部は、前記候補文字コード及び評価値と、前記文字の位置及びサイズとを用いて解析を行うものを含む。
 この構成によれば、解析部が解析を行う際に、文字認識結果である候補文字コード及び評価値と、文字の位置及びサイズとを用いることで、例えば対象物の変動に伴ってそれを示す文字パターンが少しずつ異なる状態で複数の画像中にそれぞれ現れる場合であっても、それぞれの文字パターンが共通の対象物を示すものとして扱うことが容易になる。
 例えば、文字認識が困難な場合には1つの文字パターンに対する認識結果として複数の候補文字コードが抽出されることになるが、抽出されたそれぞれの候補文字の確信度等を表す評価値を参照することにより、複数の候補文字の中から適切な1つの文字を選択することが可能になる。また、複数の画像の中でそれぞれ検出された文字パターンの位置やサイズの類似性を考慮することにより、各画像中の文字パターンが共通の対象物を示す文字か否かを識別可能になる。
 また、本発明は、上記のパターン認識装置であって、前記画像入力部は、前記付帯情報として少なくとも該当する画像に関する撮影位置及び撮影時間を含む情報を入力し、前記解析部は、前記画像の撮影位置及び撮影時間を用いて解析を行うものを含む。
 この構成によれば、解析部が解析を行う際に、処理対象の画像の付帯情報として含まれている撮影位置及び撮影時間の情報を利用することで、複数の画像にそれぞれ現れた対象物及びそれを示す文字パターンが共通のものであるか否かを判断するのが容易になる。例えば、同じ地点で撮影され、撮影時刻が非常に近い2枚の画像のそれぞれに対象物及びそれを示す文字パターンが現れている場合に、複数画像中の対象物及び文字パターンが共通であるか否かを撮影時刻等の類似性から判断することが可能になる。
 また、本発明は、上記のパターン認識装置であって、前記画像入力部は、前記付帯情報として少なくとも該当する画像に関する撮影位置及び撮影時間を含む情報を入力し、前記文字認識部は、文字パターンに対応する候補文字コード及び文字認識に関する評価値と、文字の位置及びサイズを含む情報を認識結果として求め、前記解析部は、前記画像の撮影位置及び撮影時間と、前記文字コード及び評価値と、前記文字の位置及びサイズと、複数画像間の文字画像の類似度と、画像の色情報とを用いて解析を行うものを含む。
 この構成によれば、解析部が解析を行う際に、処理対象の画像の付帯情報として含まれている撮影位置及び撮影時間の情報と、更に文字認識結果として得られる文字コード及び評価値と、文字の位置及びサイズと、更に複数画像間の文字画像の類似度と、画像の色情報とを用いることで、複数の画像にそれぞれ現れた対象物及びそれを示す文字パターンが共通のものであるか否かを判断するのが容易になる。
 例えば、同じ地点で撮影され、撮影時刻が非常に近い2枚の画像のそれぞれに対象物及びそれを示す文字パターンが現れている場合に、複数画像中の対象物及び文字パターンが共通であるか否かを撮影時刻等の類似性から判断することが可能になる。また、各文字パターンの文字認識結果として得られた文字コード及び評価値と、文字の位置及びサイズを利用してそれらの類似性を判定することにより、複数画像中の各文字パターンが共通の対象物を示すものか否かを判断可能になる。更に、複数画像間の文字画像の類似度と色情報とを利用することにより、複数画像中の各文字パターンが共通の対象物を示すものか否かの判断が容易になる。
 本発明は、認識対象となる対象物が含まれる可能性のある画像及び前記画像に付帯する付帯情報を入力する画像入力ステップと、前記画像入力ステップで入力された画像及び付帯情報を蓄積する画像データ蓄積ステップと、前記画像入力ステップで入力された画像に含まれる文字を認識する文字認識ステップと、前記文字認識ステップで認識された文字認識結果を蓄積する文字認識結果蓄積ステップと、対象物の解析条件を入力する指示ステップと、前記指示ステップで入力された解析条件に基づき、前記画像データ蓄積ステップで蓄積された画像及び付帯情報と前記文字認識結果蓄積ステップで蓄積された文字認識結果とから、対象物に関連する対象物文字情報を抽出し対象物を解析する解析ステップと、前記解析部で解析された結果を出力する結果出力ステップとを有するパターン認識方法を提供する。
 この方法によれば、入力した所定の解析条件に基づき、蓄積した画像及び付帯情報と蓄積した文字認識結果とから、対象物に関連する対象物文字情報を抽出して対象物を解析することで、例えば、複数の画像において、同じ対象物を指し示している文字パターンが位置やサイズが異なった状態でそれぞれ存在している場合であっても、複数の画像上で同じ対象物を指し示しているそれぞれの文字パターンを共通に扱うことが可能となる。このため、文字認識結果を用いて、例えば文字パターンの変動(移動など)を解析することにより、文字パターンが指し示す対象物の変動を解析することが可能になる。
 また、本発明は、上記のパターン認識方法であって、前記文字認識ステップにおいて、文字パターンに対応する候補文字コード及び文字認識に関する評価値と、文字の位置及びサイズとを含む情報を認識結果として求め、前記解析ステップにおいて、前記候補文字コード及び評価値と、前記文字の位置及びサイズとを用いて解析を行うものを含む。
 この方法によれば、解析ステップにおいて解析を行う際に、文字認識結果である候補文字コード及び評価値と、文字の位置及びサイズとを用いることで、例えば対象物の変動に伴ってそれを示す文字パターンが少しずつ異なる状態で複数の画像中にそれぞれ現れる場合であっても、それぞれの文字パターンが共通の対象物を示すものとして扱うことが容易になる。
 また、本発明は、上記のパターン認識方法であって、前記画像入力ステップにおいて、前記付帯情報として少なくとも該当する画像に関する撮影位置及び撮影時間を含む情報を入力し、前記解析ステップにおいて、前記画像の撮影位置及び撮影時間を用いて解析を行うものを含む。
 この方法によれば、解析ステップにおいて解析を行う際に、処理対象の画像の付帯情報として含まれている撮影位置及び撮影時間の情報を利用することで、複数の画像にそれぞれ現れた対象物及びそれを示す文字パターンが共通のものであるか否かを判断するのが容易になる。
 また、本発明は、上記のパターン認識方法であって、前記画像入力ステップにおいて、前記付帯情報として少なくとも該当する画像に関する撮影位置及び撮影時間を含む情報を入力し、前記文字認識ステップにおいて、文字パターンに対応する候補文字コード及び文字認識に関する評価値と、文字の位置及びサイズを含む情報を認識結果として求め、前記解析ステップにおいて、前記画像の撮影位置及び撮影時間と、前記文字コード及び評価値と、前記文字の位置及びサイズと、複数画像間の文字画像の類似度と、画像の色情報とを用いて解析を行うものを含む。
 この方法によれば、解析ステップにおいて解析を行う際に、処理対象の画像の付帯情報として含まれている撮影位置及び撮影時間の情報と、更に文字認識結果として得られる文字コード及び評価値と、文字の位置及びサイズと、更に複数画像間の文字画像の類似度と、画像の色情報とを用いることで、複数の画像にそれぞれ現れた対象物及びそれを示す文字パターンが共通のものであるか否かを判断するのが容易になる。
 また、本発明は、コンピュータに、上記のいずれかに記載のパターン認識方法の各ステップを実行させるためのプログラムを提供する。
 また、本発明は、上記のプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
 本発明の画像処理装置は、画像及び該画像に付帯する付帯情報を連続して入力する画像入力手段と、前記画像入力手段で入力された画像を一時記憶する画像一時記憶手段と、前記画像一時記憶手段に記憶された画像から文字を抽出する文字抽出手段と、前記文字抽出手段で抽出された文字を認識し、認識した文字に対する1ないし複数の候補文字と夫々の評価値とを認識結果として得る文字認識手段と、前記文字認識手段で得られた前記認識結果を記憶する認識結果記憶手段と、前記認識結果記憶手段に記憶された前記認識結果に基づき、前記画像一時記憶手段に記憶された画像を出力するか否かを判定する認識結果評価手段と、前記認識評結果評価手段で出力すると判定された画像を該画像の付帯情報及び前記認識結果と共に出力する画像出力制御手段と、を備え、前記画像一時記憶手段は、複数の画像を夫々の付帯情報と共に一時的に記憶し、前記認識結果記憶手段は、前記画像一時記憶手段に記憶されている複数の画像の夫々の文字の認識結果を記憶し、前記認識結果評価手段は、前記認識結果記憶手段に記憶されている複数の画像の夫々の文字の認識結果を調べ、前記複数の画像の認識結果中に同一文字列が含まれる場合には認識結果の評価値が最も良い画像を選択し、前記画像出力制御手段は、前記認識結果評価手段で選択された画像を該画像の付帯情報及び認識結果と共に出力する。
 この構成によれば、認識結果評価手段で認識結果の同一性を判断する際、単一の認識結果のみでなく、候補文字の組み合わせで判断するため、同一対象物を認識の誤りにより同一でないと判断することを防止できる。これにより、対象物の同一性の判断に文字認識結果以外の特徴を用いる必要が無く、対象物をナンバープレートに限定することなく、画像入力手段より入力される大量の画像のうち、有意な情報を持つ画像を選択することができる。また、対象物の同一性を対象物の文字のみから判断するため、対象物を撮影する大きさ、方向に影響を受けない。これにより、異なる画像入力手段からの画像との間でも対象物の同一性を判定することができる。
 また、上記構成において、前記認識結果評価手段は、前記認識結果記憶手段に記憶されている複数の画像の夫々の文字の認識結果を調べ、1画像中に文字が含まれるにも関わらず、全ての文字の認識結果も評価値が悪い場合はその旨を前記画像出力制御手段に通知し、前記画像出力制御手段は、前記認識結果評価手段から通知された前記画像を該画像の付帯情報及び認識結果と共に出力する。
 この構成によれば、文字を認識できたにも関わらず、評価値の良い認識結果が得られなかった画像品質の悪い画像を出力するので、画像品質の悪い画像でも高機能なPC(Personal Computer)或いは認識ソフトで再処理を行うことができる。
 また、上記構成において、ネットワークを介して接続された他の画像処理装置の出力である、画像中の文字の認識結果と当該認識結果を得る元となった画像の付帯情報とを記憶する多カメラ認識結果連携手段を更に備え、前記認識結果評価手段は、前記認識結果記憶手段に記憶された認識結果と前記多カメラ認識結果連携手段に記憶された認識結果とを調べ、双方に同一の文字列が含まれ且つ画像の付帯情報及び認識結果の評価値が所定の条件を満たす場合は前記画像出力制御手段に前記画像の出力を行わない旨の通知を行い、前記認識結果記憶手段に記憶された認識結果に含まれる文字列が前記多カメラ認識結果連携手段に記憶された認識結果には含まれない場合或いは含まれても前記画像の付帯情報及び認識結果の評価値が所定の条件を満たさない場合は前記画像出力制御手段に前記画像を出力させる旨の通知を行い、前記画像出力制御手段は、前記認識結果評価手段から画像を出力する旨の通知を受けると、前記画像と該画像の付帯情報及び認識結果とを前記ネットワークへ出力する。
 この構成によれば、認識結果記憶手段に記憶された認識結果に含まれる文字列が多カメラ認識結果連携手段に記憶された認識結果には含まれない場合、或いは含まれても画像の付帯情報及び認識結果の評価値が所定の条件を満たさない場合は、ネットワークに接続可能な外部画像蓄積メディアに画像と該画像の付帯情報及び認識結果を記録できる。また、ネットワークに接続された他の画像処理装置は、当該画像の付帯情報及び認識結果を取得して、自己の多カメラ認識結果連携手段に記録できる。
 本発明の画像処理方法は、画像及び該画像に付帯する付帯情報を連続して入力する画像入力工程と、前記画像入力工程で入力された画像を一時記憶する画像一時記憶工程と、前記画像一時記憶工程で記憶された画像から文字を抽出する文字抽出工程と、前記文字抽出工程で抽出された文字を認識し、認識した文字に対する1ないし複数の候補文字と夫々の評価値とを認識結果として得る文字認識工程と、前記文字認識工程で得られた認識結果を記憶する認識結果記憶工程と、前記認識結果記憶工程で記憶された認識結果に基づき、前記画像一時記憶工程で記憶された画像を出力するか否かを判定する認識結果評価工程と、前記認識評結果評価工程で出力すると判定された画像を該画像の付帯情報及び認識結果と共に出力する画像出力制御工程と、を備え、前記画像一時記憶工程では、複数の画像を夫々の付帯情報と共に一時的に記憶し、前記認識結果記憶工程では、前記画像一時記憶工程で記憶された複数の画像の夫々の文字の認識結果を記憶し、前記認識結果評価工程では、前記認識結果記憶工程で記憶された複数の画像の夫々の文字の認識結果を調べ、前記複数の画像の認識結果中に同一文字列が含まれる場合には認識結果の評価値が最も良い画像を選択し、前記画像出力制御工程では、前記認識結果評価工程で選択された画像を該画像の付帯情報及び認識結果と共に出力する。
 この方法によれば、認識結果評価工程で認識結果の同一性を判断する際、単一の認識結果のみでなく、候補文字の組み合わせで判断するため、同一対象物を認識の誤りにより同一でないと判断することを防止できる。これにより、対象物の同一性の判断に文字認識結果以外の特徴を用いる必要が無く、対象物をナンバープレートに限定することなく、画像入力工程より入力される大量の画像のうち、有意な情報を持つ画像を選択することができる。また、対象物の同一性を対象物の文字のみから判断するため、対象物を撮影する大きさ、方向に影響を受けない。これにより、異なる画像入力工程からの画像との間でも対象物の同一性を判定することができる。
 本発明の画像処理プログラムは、画像及び該画像に付帯する付帯情報を連続して入力する画像入力ステップと、前記画像入力ステップで入力された画像を一時記憶する画像一時記憶ステップと、前記画像一時記憶ステップで記憶された画像から文字を抽出する文字抽出ステップと、前記文字抽出ステップで抽出された文字を認識し、認識した文字に対する1ないし複数の候補文字と夫々の評価値とを認識結果として得る文字認識ステップと、前記文字認識ステップで得られた認識結果を記憶する認識結果記憶ステップと、前記認識結果記憶ステップで記憶された認識結果に基づき、前記画像一時記憶ステップで記憶された画像を出力するか否かを判定する認識結果評価ステップと、前記認識評結果評価ステップで出力すると判定された画像を該画像の付帯情報及び認識結果と共に出力する画像出力制御ステップと、を備え、前記画像一時記憶ステップでは、複数の画像を夫々の付帯情報と共に一時的に記憶し、前記認識結果記憶ステップでは、前記画像一時記憶ステップで記憶された複数の画像の夫々の文字の認識結果を記憶し、前記認識結果評価ステップでは、前記認識結果記憶ステップで記憶された複数の画像の夫々の文字の認識結果を調べ、前記複数の画像の認識結果中に同一文字列が含まれる場合には認識結果の評価値が最も良い画像を選択し、前記画像出力制御ステップでは、前記認識結果評価ステップで選択された画像を該画像の付帯情報及び認識結果と共に出力し、コンピュータが前記各ステップを実行する。
 このプログラムによれば、認識結果評価ステップで認識結果の同一性を判断する際、単一の認識結果のみでなく、候補文字の組み合わせで判断するため、同一対象物を認識の誤りにより同一でないと判断することを防止できる。これにより、対象物の同一性の判断に文字認識結果以外の特徴を用いる必要が無く、対象物をナンバープレートに限定することなく、画像入力ステップより入力される大量の画像のうち、有意な情報を持つ画像を選択することができる。また、対象物の同一性を対象物の文字のみから判断するため、対象物を撮影する大きさ、方向に影響を受けない。これにより、異なる画像入力ステップからの画像との間でも対象物の同一性を判定することができる。
 本発明の記憶媒体は、前記画像処理プログラムが記憶されたものである。
 この記憶媒体によれば、上述した画像処理プログラムによる効果と同様の効果が得られる。
 本発明によれば、同じ対象物を指し示している文字パターンの位置やサイズが異なった状態の画像が複数存在した場合でも、同じ対象物を指し示した文字パターンとして扱うことが可能なパターン認識装置及びパターン認識方法を提供できる。また、本発明によれば、対象物をナンバープレートに限定することなく、有意な情報を持つ画像を選択的に記録することができる画像処理装置及び画像処理方法を提供できる。
本発明の実施の形態に係るパターン認識装置の構成を示すブロック図 実施の形態1のパターン認識装置に係る1箇所の撮影地点で撮影した画像列の例を示す模式図 実施の形態1に係る画像列の付帯情報の構成例を示す模式図 実施の形態1に係る画像列の文字認識結果の情報の構成例を示す模式図 本実施の形態のパターン認識装置におけるパターン認識処理の手順の概略を示すフローチャート 実施の形態1のパターン認識装置における車体番号が指示された場合の解析部の制御手順の概略を示すフローチャート 実施の形態1において対象となる文字列について記録した処理結果の情報の構成を示す模式図 本実施の形態において用いる対象となる文字列の移動方向を判定する判定基準を表す模式図 実施の形態2のパターン認識装置に係る3箇所の撮影地点で撮影した画像列の例を示す模式図 実施の形態2に係る画像列の付帯情報の構成例を示す模式図 実施の形態2に係る画像列の文字認識結果の情報の構成例を示す模式図 実施の形態2のパターン認識装置における対象物が指定された場合の解析部の制御手順の概略を示すフローチャート 実施の形態2において対象となる文字列について記録した処理結果の情報の構成を示す模式図 本発明の実施の形態3に係る画像処理装置の概略構成を示すブロック図 図14の画像処理装置の動作を示すフローチャート 図14の画像処理装置において1箇所の撮影地点で撮影した画像列を説明するための図 図14の画像処理装置の画像データ一時記憶部に記録された画像及び付帯情報を説明するための図 図14の画像処理装置における文字認識過程を説明するための図 図14の画像処理装置における文字認識過程を説明するための図 図14の画像処理装置の文字領域抽出部の処理を示すフローチャート 図14の画像処理装置の認識結果記憶部に保持された認識結果を説明するための図 図14の画像処理装置の認識結果記憶部に保持された認識結果を説明するための図 図14の画像処理装置の認識結果評価部の処理を示すフローチャート 図23のステップS710の詳細な処理を示すフローチャート 図14の画像処理装置の多カメラ認識結果連携部に格納されるデータを説明するための図 図14の画像処理装置を複数個用いてネットワーク接続した第1の構成を示すブロック図 図14の画像処理装置を複数個用いてネットワーク接続した第2の構成を示すブロック図 従来のパターン認識方法における制御の内容を示すフローチャート 従来の画像処理装置の概略構成を示すブロック図
 (実施の形態1)
 図1は、本発明の実施の形態に係るパターン認識装置の構成を示すブロック図である。本実施の形態のパターン認識装置は、画像入力部101、画像データ蓄積部102、文字認識部103、文字認識結果蓄積部104、指示部105、解析部106、結果出力部107を備えている。
 具体的には、このパターン認識装置は、例えば図2に示すような画像中に現れる認識対象物(この例では道路上を走行する車両)を認識するような用途に用いることを想定している。図2は実施の形態1のパターン認識装置に係る1箇所の撮影地点で撮影した画像列の例を示す模式図である。
 画像入力部101は、対象物が含まれる可能性のある画像について、画像及びそれに付帯する付帯情報を入力する。この付帯情報については、画像の撮影位置及び撮影時間の情報が含まれる。画像入力部101については、予め固定された撮影位置で例えば一定の時間間隔で静止画画像を周期的に撮影するカメラを利用して構成することができる。画像データ蓄積部102は、画像入力部101で入力された画像及び付帯情報を蓄積する。
 図2に示す例では、1箇所の撮影地点(Pa)でそれぞれ異なる時点で順番に撮影した複数枚の画像(Pa1)、(Pa2)、(Pa3)、・・・が画像入力部101から順に入力される場合を想定している。また、図2に示す例では、移動する車両を含むパターンが静止画の各画像(Pa1)、(Pa2)、(Pa3)にそれぞれ現れている。
 図3は実施の形態1に係る画像列の付帯情報の構成例を示す模式図である。この図3には、画像入力部101が図2に示したような画像列を入力する場合に、画像データ蓄積部102に蓄積される画像と各画像に対応した付帯情報の具体例が示されている。
 図3に示す例では、複数の画像(Pa1)、(Pa2)、(Pa3)、・・・のそれぞれについて、画像の他に撮影位置(地点)及び撮影時間(時刻)を表す付帯情報が含まれている。付帯情報の撮影位置(地点)の内容から、図3に示す複数の画像(Pa1)、(Pa2)、(Pa3)は、全て同じ撮影位置(地点)で撮影された画像であることが分かる。また、付帯情報の撮影時間(時刻)の内容から、図3に示す複数の画像(Pa1)、(Pa2)、(Pa3)は、少しずつずれた時刻に撮影された画像であることが分かる。
 文字認識部103は、画像入力部101で入力された画像に記録されている文字パターンを認識し、文字パターン毎に、対応する1つ又はそれ以上の候補文字を表す候補文字コード及び候補文字毎の評価値(文字認識結果の確信度等に相当する値)と、画像中の文字の位置座標及びサイズを含む認識結果を求める。文字認識結果蓄積部104は、文字認識部103で認識された文字認識結果を蓄積する。
 図4は実施の形態1に係る画像列の文字認識結果の情報の構成例を示す模式図である。この図4には、画像入力部101が図3に示したような画像及び付帯情報を入力する場合に、文字認識部103で認識され文字認識結果蓄積部104に蓄積される文字認識結果の具体例が示されている。
 図4に示す例では、図2に示した複数の画像(Pa1)、(Pa2)、(Pa3)のそれぞれについて、文字パターン毎に、各文字パターンを区別する情報(104a)と、1以上の候補文字コード(104b)と、候補文字毎の評価値(104c)と、文字パターンの始点及び終点の位置座標(104d)の情報が蓄積されている。
 例えば、文字認識部103において、図2に示す画像(Pa1)に現れている対象物である(車A)のナンバープレートに現れている番号の各文字パターンが認識されると、図4に示すように、画像(Pa1)に対応する各文字パターン(C7)、(C8)、(C9)、(C10)としてそれぞれ「1」、「2」、「3」、「4」の候補文字コードが検出され、候補毎の評価値と位置座標の情報が文字認識結果蓄積部104に蓄積される。また、各文字パターンの位置座標として始点及び終点の座標が含まれているので、文字パターンのサイズを検出することもできる。
 指示部105は、対象物の解析条件を入力する。具体的な解析条件としては、例えば認識対象物を特定するための文字列(例えばナンバープレート中の番号)を指定することが想定される。解析部106は、指示部105で入力された解析条件に基づき、画像データ蓄積部102で蓄積された画像及び付帯情報と文字認識結果蓄積部104で蓄積された文字認識結果から、文字コード及び評価値と、文字の位置及びサイズと、画像の撮影位置及び撮影時間と、色情報を用いて対象物に関連する対象物文字情報を抽出し対象物を解析する。
 結果出力部107は、解析部106で解析された結果を出力する。
 次に、本実施の形態のパターン認識装置の動作を説明する。図5は本実施の形態のパターン認識装置におけるパターン認識処理の手順の概略を示すフローチャートである。このパターン認識装置における処理動作は、本発明のパターン認識方法の実施の形態に係るものである。
 画像入力ステップS101では、画像入力部101において、対象物が含まれる可能性のある画像について、画像及び、画像の撮影位置及び撮影時間を含む画像に付帯する付帯情報を入力し、S102へ進む。
 画像データ蓄積ステップS102では、画像データ蓄積部102において、画像入力ステップS101で入力された画像及び付帯情報を蓄積し、S103に進む。
 文字認識ステップS103では、文字認識部103において、画像入力ステップS101で入力された画像に記録されている文字を認識し、候補文字コード及び評価値と、文字の位置及びサイズを含む認識結果を求め、S104へ進む。
 文字認識結果蓄積ステップS104では、文字認識結果蓄積部104において、文字認識ステップS103で認識された文字認識結果を蓄積し、S105へ進む。
 指示ステップS105では、指示部105において、対象物の解析条件を入力し、S106へ進む。
 解析ステップS106では、解析部106において、指示ステップS105で入力された解析条件に基づき、画像データ蓄積ステップS102で蓄積された画像及び付帯情報と文字認識結果蓄積ステップS104で蓄積された文字認識結果から、文字コード及び評価値と、文字の位置及びサイズと、画像の撮影位置及び撮影時間と、色情報を用いて対象物に関連する対象物文字情報を抽出し対象物を解析し、S107へ進む。
 結果出力ステップS107では、結果出力部107において、解析ステップS106で解析された結果を出力する。
 以下、本実施の形態のパターン認識装置の動作の具体例を説明する。ここでは、図2に示された画像列(Pa1)、(Pa2)、(Pa3)、・・・を処理してこれらの画像中に現れている対象物(車A)について解析する場合の処理を説明する。
 画像入力部101で入力され、画像データ蓄積部102に蓄積された各画像には、付帯情報として図3に示されているように、撮影地点と撮影時間(時刻)の情報が記録されている。
 また、文字認識部103で認識され文字認識結果蓄積部104に蓄積された文字認識結果の情報には、図4に示されているように、処理対象の各画像(Pa1、Pa2、Pa3)内のそれぞれの文字パターンについて、候補文字コード(104b)、候補毎の評価値(104c)、文字パターンの始点及び終点の位置座標(104d)がそれぞれ含まれている。
 図2に示したような画像列(Pa1)、(Pa2)、(Pa3)、・・・を処理する場合には、認識対象物となる(車A)を特定するために、(車A)の車体番号「1234」を例えば管理者の入力操作により指示部105に入力し、この車体番号「1234」を対象物の解析条件(指定文字列)として指示部105から指示することができる。このような指示を与えた場合の解析部106の制御内容の概略を図6に示す。
 図6は実施の形態1のパターン認識装置における車体番号が指示された場合の解析部の制御手順の概略を示すフローチャートである。以下、解析部106における制御処理の内容について説明する。
 S601では、解析部106は、文字認識結果蓄積部104の内容(図4参照)を参照して、画像(Pa1)の文字認識結果の候補文字コードに、評価値が50未満である一定基準を満たした文字列「1234」が存在するか判定する。存在すればS602に進み、存在しなければS603に進む。
 解析部106が図4に示す内容に含まれている画像(Pa1)を基に、図6に示すような処理を行うことによって、図7に示すような結果(各領域104e~104hの記録内容)を得ることができる。図7は実施の形態1においての対象となる文字列について記録した処理結果の情報の構成を示す模式図である。なお、図4に示す各領域104a~104dの内容と、図7に示す各領域104a~104dの内容とは同一のものを表している。
 解析条件として文字列「1234」が指定された場合には、S601において、画像(Pa1)を処理する際に、図7に示されているように4つの文字パターン(C3)、(C4)、(C5)、(C6)の集合により構成される1つの文字列(L1)が検出できるので、S602に進む。
 S602では、画像(Pa1)の文字列(L1)に対応する検出情報として、図7に示すように該当する文字列(L1)に対応付けた領域(104e)に、撮影時刻(104f)、文字画像群(104g)、文字列座標(104h)を記憶する。ここで、撮影時刻(104f)の情報は、画像データ蓄積部102の内容から取得することができる。文字画像群(104g)の情報は、文字認識結果蓄積部104に記録されている各文字パターンの情報(104a)の中で、指定された文字列(L1)の各文字を表す要素の組み合わせとして記録される。すなわち、「1234」を表す文字列(L1)は、図7に示す文字パターン(C3)、(C4)、(C5)、(C6)の組み合わせとして領域104gに記録される。また、文字列(L1)の文字列座標(104h)については、文字パターン(C3)~(C6)に対応する座標(104dの内容)から求められる文字列全体の始点及び終点の座標として領域104hに記録される。
 S603では、全ての画像について処理を実施したか判定し、完了していなければS601に進み、完了していればS604に進む。
 S602の処理によって、図7に示す各領域104e、104f、104g、104hに結果が記録される。図7に示す例では、2つの文字列(L1)、(L2)が検出できた場合を想定している。すなわち、画像(Pa1)を処理した結果として、指定された文字列「1234」に対応する文字列(L1)が画像(Pa1)の中から検出され、画像(Pa2)を処理した結果として、指定された文字列「1234」に対応する文字列(L2)が画像(Pa2)の中から検出され、これらが領域104e~104hに記録される。
 S604では、解析部106は検出できた各文字列(L1,L2)の撮影時間(104fの内容)と文字列座標(104hの内容)の情報を利用し、図8に示すような判定基準に基づいて文字列の移動方向を判定する。図8は本実施の形態において用いる対象となる文字列の移動方向を判定する判定基準を表す模式図である。
 図7に示すような文字認識結果を処理する場合には、同じ文字列「1234」に対応する文字列として(L1)、(L2)が検出されているので、文字列(L1)と文字列(L2)とが同じ対象物(車A)を示すものかどうかを判定することができる。更に、同じ対象物(車A)を示す場合には、これらの文字列(L1)、(L2)の移動方向を検出できる。
 すなわち、文字列(L1)、(L2)は同じ撮影位置で撮影された複数の画像(Pa1)、(Pa2)から抽出されており、文字列の内容が指定された内容「1234」と同じであり、しかも画像(Pa1)、(Pa2)の撮影時間の差が小さいので、これらは同じ対象物(車A)を示す文字列であると判定できる。
 また、図8に示すような判定基準に基づいて文字列(L1)、(L2)の情報(図7に示す領域104e~104hの内容)を処理することにより、文字列(L1)、(L2)に関する移動(対象物の移動に相当する)の状況を判定できる。
 図8に示す判定基準においては、「左移動」、「右移動」、「下移動」、「上移動」、「前進」、「後退」の6種類の判定条件を規定している。撮影時間の違いにより、図7中の文字列(L1)、(L2)は、それぞれ図8に示す(La)、(Lb)に相当する。つまり、撮影時刻が相対的に前の画像から検出された文字列が図8中の文字列(La)に対応し、撮影時刻が相対的に後の画像から検出された文字列が図8中の文字列(Lb)に相当する。図8中に示す各パラメータの意味は次の通りである。
  LaYs:文字列(La)のパターンの始点Y座標位置
  LaYe:文字列(La)のパターンの終点Y座標位置
  LaXs:文字列(La)のパターンの始点X座標位置
  LaXe:文字列(La)のパターンの終点X座標位置
  LbYs:文字列(Lb)のパターンの始点Y座標位置
  LbYe:文字列(Lb)のパターンの終点Y座標位置
  LbXs:文字列(Lb)のパターンの始点X座標位置
  LbXe:文字列(Lb)のパターンの終点X座標位置
 図8中に示すように、始点は画像中の当該パターンの左上端部座標を表し、終点は右下端部座標を表す。
 例えば、図7に示す領域104e~104hの内容である文字列(L1)、(L2)について、解析部106が図8に示す判定基準との適合性を調べることにより、下移動の条件が成立する。すなわち、(LbYs<LaYs)、(LbYe<LaYe)、(LbXs≒LaXa)、(LbXe≒LaXe)の全ての条件を満たしているので、指定された文字列「1234」に相当する文字列(L1)、(L2)は下方向に進んでいると判定できる。よって、対象物(車A)は下方向に進んでいると解析できる。
 以上のように、対象物を指し示す文字の位置やサイズを利用することにより、上下左右への移動、前進後退、出現消滅などの対象物の移動状態が解析できる。
 (実施の形態2)
 次に、実施の形態2として、複数の地点で撮影された画像を処理してパターン認識を行う例を示す。上述した実施の形態1では、図2に示したように同じ地点で撮影された複数の画像(Pa1)、(Pa1)、(Pa3)、・・・を処理する場合を想定しているが、以下の実施の形態2のように、複数の地点(Pb)、(Pc)、(Pd)で撮影された画像を処理してパターン認識することも可能である。
 図9は実施の形態2のパターン認識装置に係る3箇所の撮影地点で撮影した画像列の例を示す模式図である。ここで、3箇所の撮影地点(Pb)、(Pc)、(Pd)は同一の高速道路上にあり、上り線は撮影地点(Pb)、(Pc)、(Pd)の順で出現する場合を想定している。以下では、図9の画像列の中に撮影されている対象物(車B)について解析する場合を説明する。パターン認識装置の構成は図1に示したものと同様であり、ここでは説明を省略する。
 図10は実施の形態2に係る画像列の付帯情報の構成例を示す模式図である。この図10には、画像入力部101が図9に示したような画像列を入力する場合に、画像データ蓄積部102に蓄積される画像と各画像に対応した付帯情報の具体例が示されている。この例では、付帯情報において、撮影地点の起点距離(特定の起点位置からの距離)と撮影時間とが記録されている。
 図11は実施の形態2に係る画像列の文字認識結果の情報の構成例を示す模式図である。この図11には、画像入力部101が図10に示したような画像及び付帯情報を入力する場合に、文字認識部103で認識され文字認識結果蓄積部104に蓄積される文字認識結果の具体例が示されている。この場合、各画像内の全ての文字について、各文字パターンを区別する情報(104a)と、候補毎の候補文字コード(104b)と、候補毎の評価値(104c)と、文字の始点及び終点の位置座標(104d)とが記録されている。
 この例では、パターン認識装置を操作する管理者が、指示部105を操作することにより、撮影地点及び特定の画像中に現れている対象物を指定できる場合を想定している。このような指定を行った場合の解析部106の制御内容の概略を図12に示す。
 図12は実施の形態2のパターン認識装置における対象物が指定された場合の解析部の制御手順の概略を示すフローチャートである。ここでは、指示部105で管理者が撮影地点(Pc)の画像列の画像(Pc2)の中に現れている対象物(図9中の車B)を指定した場合の解析部106における制御処理の内容について説明する。
 S611では、解析条件を抽出する。例えば、管理者の指示した画像(Pc2)の撮影時間10:00(図10参照)と、管理者が指示した対象物の近辺の領域の文字認識結果(図11の内容の一部分)に含まれている各候補文字コード(104bの内容)の中で、評価値(104cの内容)が50未満である一定基準を満たした文字列「5673」、「5678」と、文字列「5673」に対応する文字画像群(C21,C22,C23,C24)及び文字列「5678」に対応する文字画像群(C21,C22,C23,C24)と、文字列「5673」に対応する文字位置の周辺の背景色である<赤>及び文字列「5678」に対応する文字位置の周辺の背景色である<赤>と、が解析条件になる。
 S612では、撮影時間条件と地点の位置関係から判定対象画像か否かを判定し、対象画像であればS613に進み、対象画像でなければS617に進む。具体的には、道路上の各車線における車両の進行方向が予め定まっていること、並びに複数の撮影地点間の移動に要する時間(50kmの移動に30分を要する)を考慮して、撮影地点(Pb)で対象となるのは、指定された画像(Pc2)の撮影時刻から30分早く撮影された画像(Pb1)以前に撮影された画像のみに限定する(図10参照)。また、撮影地点(Pc)で対象となるのは、画像(Pc2)前後に撮影された画像である。撮影地点(Pd)で対象となるのは、撮影地点間の移動に要する時間を考慮し、画像(Pd3)以降に撮影された画像のみに限定する。
 解析部106が図10に示す情報(画像データ蓄積部102の内容)及び図11に示す情報(文字認識結果蓄積部104の内容)を基に、図12のステップS613~S616で示す処理を行うことにより、図13に示すような結果(各領域104e~104jの記録内容)を得ることができる。図13は実施の形態2において対象となる文字列について記録した処理結果の情報の構成を示す模式図である。なお、図11に示した各領域104a~104dの内容と図13に示した各領域104a~104dの内容とは同一である。
 S613では、解析部106は順次入力される画像について、文字認識結果の候補文字コードに、評価値が50未満である一定基準を満たした文字列「5673」「5678」が存在するか判定し、存在すればS614に進み、存在しなければS617に進む。
 図13に示すように、検査対象の文字列「5678」については、画像(Pb1)から4つの文字パターン(C11)、(C12)、(C13)、(C14)の集合である文字列(L11)として検出され、画像(Pc2)から4つの文字パターン(C21)、(C22)、(C23)、(C24)の集合である文字列(L12)として検出される。
 また、検査対象の文字列「5673」は、画像(Pc2)から4つの文字パターン(C21)、(C22)、(C23)、(C24)の集合である文字列(L21)として検出され、画像(Pd3)から4つの文字パターン(C31)、(C32)、(C33)、(C34)の集合である文字列(L22)として検出される。
 S614では、検出された文字列(L11)、(L12)、(L21)、(L22)の文字画像群について、文字列「5678」に対応する文字画像群(C21,C22,C23,C24)又は文字列「5673」に対応する文字画像群(C21,C22,C23,C24)との類似度を求め、類似度が一定基準を満たしていればS615に進み、満たしていなければS617に進む。類似度は、文字認識部103における文字認識の評価値の算出方法と同様の方法で求められる。図13に示す例では、文字列(L11)、(L12)、(L21)、(L22)については類似度が基準を満たしているので、S615に進む。
 S615では、順次入力される文字列について、対応する文字位置の周辺の背景色を画像の中から検出し、類似色であればS616に進み、類似色でなければS617に進む。
 例えば、文字列「5678」の文字列(L11)、(L12)については、両方とも画像から検出された背景色が赤色であるため、図13に示す領域104jに<赤>として記録されており、文字列(L11)、(L12)を比較する場合にはこれらが類似色であると判断してS616に進む。
 一方、文字列「5673」の文字列(L21)については図13の領域104jに<赤>として記録され、文字列(L22)については領域104jに<白>として記録されているので、文字列(L21)、(L22)を比較する場合には両者の背景が類似色でないと判断してS617に進む。
 このように文字列の画像中の背景色を比較することにより、例えば認識対象物が車両である場合に、車両番号(ナンバープレートの表示内容)が似ている複数の車両が存在する場合であっても、車両の車体の色の違いにより複数の車両をそれぞれ区別することが容易になる。
 S616では、S612~S615で最終的に有効な情報と見なされた(指定された対象物との関連性が高く互いに似ている)複数の文字列(L11)、(L12)についてそれらの起点距離、撮影時刻、文字画像群、文字列座標、背景色の情報が記憶される。
 例えば、図13に示す領域104eに記録されている文字列「5678」を示す文字列(L11)、(L12)については、両者の関連性が高いと判断されるので、各領域104f、104g、104h、104i、104jに記録されている起点距離、撮影時刻、文字画像群、文字列座標、背景色の情報が有効な情報としてS616で記録される。
 一方、図13に示す領域104eに記録されている文字列「5673」を示す文字列(L21)、(L22)については、背景色の違いなどの影響により両者の関連性が低いと判断されるので、これらは有効な情報として記録されない。
 S617では、全ての画像について処理を実施したか判定し、完了していなければS612に進み、完了していればS618に進む。
 S618では、解析条件の文字列毎に、検出できた各文字列(L)の起点距離、撮影時刻、文字列座標から、文字列の移動状態を判定し、その結果を対象物の移動状態とする。
 例えば、図13に示す有効な文字列(L11)、(L12)の情報(各領域104e、104f、104g、104h、104i、104jの内容に相当)に基づいて対象物(例えば図9に示す車B)を解析すると、対象物(車B)は、9:30の時刻に撮影地点(Pb)の追越車線(領域104iの位置座標から分かる)を通過し、10:00の時刻に撮影地点(Pc)の走行車線を通過し、まだ撮影地点(Pd)には到達していないと解析できる。
 以上のように、例えば車両のような対象物を指し示す文字(車両番号や広告表示など)の内容や位置やサイズに加えて、画像の撮影位置及び撮影時間や文字画像の類似度や色情報を利用することにより、対象物の移動状態を、より広範囲に渡って詳細かつ正確に解析できる。
 なお、本実施の形態では、対象物と同時に撮影され対象物を指し示すパターンが文字列である場合を想定しているが、ロゴやマークなど文字と同様の性質を持つパターンを用いてもよい。各処理における各種条件についても、同様の判定基準であれば、これに限るものではない。
 また、図1に示した画像入力部、画像データ蓄積部、文字認識部、文字認識結果蓄積部、解析部等の各機能ブロックについては、典型的には集積回路であるLSIとして実現されてもよい。集積回路化の手法は、LSIに限るものではない。これらは、個別に1チップ化されてもよいし、一部又は全部を含むように1チップ化されてもよい。この場合、LSIにおけるハードウェア回路の動作、またはプロセッサ上の所定のソフトウェアプログラムの動作による処理によって各機能を実現可能である。
 また、図5、図6、図12に示した各機能の処理ステップについては、コンピュータで実行可能なプログラムで記述されていてもよく、プログラムの実行により各機能を実現することも可能である。また、適当な記録媒体(例えばCD-ROM、DVDディスク等)からコンピュータにプログラムを読み込んでこれを実行しても良い。
 上述したように、本実施形態によれば、同じ対象物を指し示している文字パターンの位置やサイズが異なる状態で複数の画像にそれぞれ現れている場合でも、共通の文字パターンを同じ対象物を示すパターンとして扱うことができる。このため、同じ対象物を指し示した文字パターンの変動を解析することにより、文字パターンが指し示す対象物の変動を解析することができる。本実施形態は、例えば、監視カメラ等で撮影された画像の解析装置、広域監視システム等に応用が可能である。
 (実施の形態3)
 図14は、本発明の実施の形態3に係る画像処理装置の概略構成を示すブロック図である。同図において、本実施の形態の画像処理装置201は、画像データ一時記憶部211と、2値化処理部212と、文字領域抽出部213と、文字認識部214と、認識結果記憶部215と、多カメラ認識結果連携部216と、認識結果評価部217と、画像出力制御部218とを備える。画像処理装置201と外部画像蓄積メディア203及び監視センタ204はネットワーク202を介して結ばれる。なお、画像処理装置201は、1台に限らず2台以上であってもよい。同様に、外部画像蓄積メディア203も1台に限らず2台以上であってもよい。この場合、複数の画像処理装置201と複数の外部画像蓄積メディア203はネットワーク202を介して接続されることは言うまでもない。画像入力部210は、画像及び画像の撮影位置及び撮影時刻を含む画像に付帯する付帯情報を連続して画像処理装置201に入力する。
 画像処理装置201において、画像データ一時記憶部211は、画像入力部210から入力された画像及び該画像の撮影位置及び撮影時刻を含む画像に付帯する付帯情報を予め決められた回数分記憶する。2値化処理部212は、画像データ一時記憶部211に格納されている画像を2値化し、文字領域抽出部213に送る。文字領域抽出部213は、2値化画像から文字領域を抽出し、抽出した文字領域の個々の文字の座標を文字認識部214に送る。文字認識部214は、2値画像及び文字座標に基づき、画像中の文字を認識する。文字認識部214は、当該文字認識処理により、候補文字コード及び評価値と、文字座標を含む認識結果を得る。認識結果記憶部215は、文字認識部214で得られた認識結果を保持する。認識結果記憶部215は複数の認識結果を保持する。多カメラ認識結果連携部216は、ネットワーク202を介して接続された他の画像処理装置201で得られた付帯情報と認識結果を複数個保持する。
 認識結果評価部217は、認識結果記憶部215に保持された当該画像処理装置201で得られた認識結果と多カメラ認識結果連携部216に保持された複数個の他の画像処理装置201それぞれで得られた認識結果とに基づき、画像データ一時記憶部211に保持されている画像を外部画像蓄積メディア203に記録するか否かを判断する。画像出力制御部218は、認識結果評価部217が画像データ一時記憶部211に保持されている画像を記録すると判断した場合、画像データ一時記憶部211に保持されている画像及び該画像に付帯する付帯情報と認識結果記憶部215に保持された当該画像の認識結果とを外部画像蓄積メディア203に記録する。
 図15は、上記構成の画像処理装置201の動作を示すフローチャートである。同図において、画像及び該画像の撮影位置及び撮影時刻を含む付帯情報を連続して入力する(ステップS110)。次いで、画像入力ステップS110で入力された画像及び付帯情報を一時記憶する(ステップS111)。次いで、一時記憶している画像を2値化する(ステップS112)。そして、2値化した画像から文字領域を抽出し、抽出した文字領域の個々の文字の座標を得る(ステップS113)。次いで、2値画像及び文字座標に基づき画像中の文字を認識する(ステップS114)。当該文字認識処理により、候補文字コード及び評価値と文字座標を含む認識結果を得る。
 次いで、文字認識のステップで得られた認識結果を保持する(ステップS115)。ここでは過去の認識結果も複数個保持している。次にネットワーク202を介して接続された他の画像処理装置201で得られた付帯情報と認識結果とを複数個保持する(ステップS116)。次いで、認識結果記憶のステップに保持した当該画像処理装置201から得られた認識結果と多カメラ認識結果連携のステップに保持した複数個の他の画像処理装置201から得られた認識結果に基づき、画像一時記憶のステップで保持した画像を外部画像蓄積メディア203に記録するか否かを判断する(ステップS117)。そして、認識結果評価のステップで当該画像を記録すると判断した場合、画像一時記憶のステップで保持した画像及び付帯情報と、認識結果記憶のステップで保持した当該画像の認識結果とを外部画像蓄積メディア203に記録する(ステップS118)。以上の処理ステップを完了すると、再び画像入力のステップS110から処理を繰り返す。
 次に、本実施の形態の画像処理装置201の動作を詳細に説明する。図16は、1箇所の撮影地点(Pa)で撮影した画像列の説明図である。画像入力部210で画像(Pa0)、(Pa1)、(Pa2)…の順に入力される場合を例に説明する。図17は、画像データ一時記憶部211に記憶された画像及び付帯情報の説明図である。画像入力部210から入力された画像とその撮影地点及び撮影時間を予め決められた回数分記録する。なお、新たに画像を記録する際には最も古いデータを削除する。図17は、最新の画像(Pa2)を記録した時点の画像データ一時記憶部211の内容を示している。
 図18及び図19は、画像データ一時記憶部211に記録された最新画像(Pa2)の認識過程の説明図である。図18の(a)は、画像データ一時記憶部211中の最新画像(Pa2)である。図18の(b)は、2値化処理部212により図18の(a)が2値化された画像である。図18の(c)は、文字領域抽出部113により抽出された文字領域(A2)及び文字領域(A2)中の文字を示す。図19の(d)は、抽出された文字領域(A2)を拡大した図である。図19の(e)は、文字領域抽出部213で抽出された文字座標データを示す図である。図19の(f)は、文字認識部114で出力される文字認識結果を示す図である。
 画像入力部210からの最新画像(Pa2)(図18の(a))が、画像データ一時記憶部211に記録されると、2値化処理部212が2値化処理を行い、2値画像(図18の(b))を作成する。次いで、文字領域抽出部213が2値画像(図18の(b))から、文字領域及び個々の文字座標を抽出する。
 図20は、文字領域抽出部213の処理の概略を示すフローチャートである。同図において、文字領域抽出部213は、2値化処理部212により作成された2値画像から黒画素連結領域を抽出する(ステップS501)。次いで、抽出した黒画素連結領域を位置の近いもの同士を集めてグループに分ける(ステップS502)。そして、グループ毎にグループ内の黒画素連結領域の平均サイズを算出し(ステップS503)、グループ内の個々の黒画素連結領域が平均サイズと大きく異なることが無いかどうかチェックする(ステップS504)。そして、グループ内全ての黒画素連結領域のサイズが均一であるかどうか判定し(ステップS505)、均一と判断した場合には、そのグループは文字領域であると判断して個々の黒画素連結領域から文字座標を算出し、算出した文字座標に基づき、文字を文字列毎にまとめて記録する(ステップS506)。これに対して不均一な黒画素連結領域を含むグループは文字領域ではないと判断する。上記のステップS503~ステップS506の処理を全グループについて行う。
 このようにして文字領域抽出部213で得られた文字座標(図19の(e))が文字認識部214に渡され、文字認識部214が文字座標に基づき、文字認識を行う。この文字認識により、図19の(f)の認識結果が得られる。なお、文字認識処理は、一般に処理時間のかかる処理であり、処理時間は認識対象とする文字の数に応じて大きくなる。数字と平仮名(約60文字)を認識対象にする場合、数字のみ(10文字)を認識対象にする場合に比較して数倍の処理時間が必要になる。3000字以上有る漢字までを認識対象とする場合には、数字のみの場合の100倍以上の処理時間が必要になる。ここでは画像入力部210での画像入力間隔が短いことを想定し、認識対象字種を数字に限定しているが、認識処理時間に比べて画像入力部210での画像入力間隔が十分に大きい場合には、平仮名、漢字までを認識対象としてもかまわない。
 図21及び図22は、認識結果記憶部215に保持された認識結果の説明図である。これらの図において、画像データ一時記憶部211に記録されている複数の画像の認識結果(候補文字コード、評価値、文字座標)を保持する。評価値は、認識結果として得られた候補文字コードの確からしさを示す値であり、本実施の形態では、0から100の値で示し、数値が小さい方が候補文字が確からしいことを意味するものとする。新たに認識結果を記録する際には最も古いデータを削除する。図21は画像(Pa2)の認識結果(R2)を記録した時点の認識結果記憶部215の内容を示しており、図22は画像入力部210から次の画像が入力され、画像(Pa3)が最新画像となった時点の認識結果記憶部215の内容を示している。画像(Pa3)には文字が含まれないため、認識結果は空欄となっている。
 認識結果評価部217は、認識結果記憶部215の内容に基づき、外部画像蓄積メディア203に記録する画像を選択する。以下、認識結果評価部217の処理を認識結果記憶部215の内容が図22の場合を例に挙げて説明する。
 図23は、認識結果評価部217の処理の概略を示すフローチャートである。認識結果評価部217は、認識結果記憶部215に新たな認識結果が記録されると、図23に示された一連の処理を実施する。同図において、最新直前画像(図22の場合(Pa2))中の文字列の検出を行う(ステップS701)。そして、文字列の検出の有無を判定し(ステップS702)、文字列を検出できなかった場合は、認識結果評価部217の処理を終了し、文字列を検出できた場合(文字列(L2)(L3))には、有効な候補文字列を検出する(ステップS703)。ここでは、評価値が50未満の文字コードの並びを有効な候補文字列であると判断する。図22の場合、文字列(L2)についての有効な候補文字列は「888」、文字列(L3)についての有効な候補文字列は「1234」、「1284」、「・234」及び「・284」の4つを検出する。
 次いで、検出した有効な候補文字列の有無を判定し(ステップS704)、有効な候補文字列を検出できない場合は、最新直前画像を画像出力制御部218に通知する(ステップS705)。これは、文字が検出されたにも関わらず、評価値の良い認識結果が得られなかった画像は画像品質が悪いことが考えられるため、外部画像蓄積メディア203に記録すれば監視センタ204のより高機能なPC或いは認識ソフトウェアで再処理することができるからである。
 一方、有効な候補文字列を検出できた場合は、着目している候補文字列が最新画像の認識結果に候補文字列として存在するか否かをチェックし(ステップS707)、その結果をステップS708で判定する。着目している候補文字列が最新画像の認識結果に候補文字列として存在する場合には、着目している文字列についての処理を終わり、次の文字列の処理へと進む。着目している候補文字列が最新画像の認識結果に候補文字列として存在しない場合は、次の候補文字列が有るか否かをステップS710で判断し、まだ調べるべき候補文字列が残っていればステップS703に戻り、全ての候補文字列を調べ終えた場合には、着目している文字列が最新画像には含まれていないと結論できるので、着目している文字列が存在する画像は最新直前画像までであることがわかる。そこで、着目している文字列について過去に遡って最も良い状態の画像を探し、画像出力制御部218に通知する(ステップS709)。
 なお、ここでは候補文字列の評価値として、各文字の第1候補文字コードの評価値の平均値を用いるが、文字サイズの均等性等を評価に加味しても構わない。今、文字列(L2)についての有効な候補文字列「888」に着目した場合、最新直前画像(Pa2)での評価値は27((20+22+40)/3≒27)となる。最新画像(Pa3)には有効な候補文字列「888」が存在しないため、有効な候補文字列「888」について、ステップS709の処理を行う。
 文字列(L3)に注目した場合、(L3)の全ての有効な候補文字列「1234」、「1284」、「・234」及び「・284」のいずれもが最新画像(Pa3)には存在しないので、文字列(L2)の有効な候補文字列「888」と同様にステップS709の処理を行う。検出された文字列は以上なので、認識結果評価部217の1回の処理を終了する。
 図24は、図23に示すステップS709の処理概略図である。同図において、最新直前画像から時間を遡って着目している画像に、着目している文字列の候補文字列が存在しているか否かをチェックする(ステップS801~ステップS804)。いずれの候補文字列も存在しない画像が見つかるか、認識結果記憶部215にそれ以前の認識結果が保存されていない場合は、着目している文字列の存在する最も古い画像が特定できる。次いで、候補文字列のいずれかが存在する、それぞれの画像での候補文字列の評価値を算出し、評価値の最も良い評価値の画像を選択する(ステップS805)。
 図22の場合、文字列(L2)が存在する画像は、(Pa2)のみである。したがって、文字列(L2)についての各画像での評価値は、
    画像(Pa2)→候補文字列「888」→評価値27
であり、文字列(L2)については、評価値27の画像(Pa2)が選択される。
 一方、文字列(L3)が存在する画像は、(Pa1)~(Pa2)である。したがって、文字列(L3)についての各画像での評価値は、
  画像(Pa1)→候補文字列「1234」→評価値28((25+20+35+30)/4≒28)
  画像(Pa1)→候補文字列「1284」→評価値29((25+20+40+30)/4≒29)
  画像(Pa2)→候補文字列「1234」→評価値9  ((5+5+15+10)/4≒9)★
  画像(Pa2)→候補文字列「1284」→評価値15((5+5+40+10)/4=15)
  画像(Pa2)→候補文字列「・234」→評価値15((30+5+15+10)/4=15)
  画像(Pa2)→候補文字列「・284」→評価値21((30+5+40+10)/4≒21)
となり、文字列(L3)については、評価値9の画像(Pa2)が選択される。
 図25は、多カメラ認識結果連携部216に格納されるデータの説明図である。同図において、ネットワーク202で接続された他の画像処理装置201が有る場合、他の画像処理装置201が画像を外部画像蓄積メディア203に記録する際に、ネットワーク202で接続されている全ての画像処理装置201に対し、画像の付帯情報と認識結果を通知する。その通知された付帯情報と認識結果とが、個々の画像処理装置201の多カメラ認識結果連携部216に格納される。
 図24のステップS806では、多カメラ認識結果連携部216に保持された他の画像認識装置201で得られた認識結果に、候補文字列のいずれかが有効候補文字列として存在するかをチェックする。その結果の有無をステップS807で判定し、他の画像認識装置201で得られた認識結果に、候補文字列のいずれかが有効候補文字列として存在する場合には、ステップS805で得られた評価値と、ステップS806で得られた評価値とを比較し、ステップS805で得られた評価値の方が良ければ、その画像を画像出力制御部218に通知する。ステップS806で得られた評価値の方が良ければ、何もしない。
 図25の場合、
  画像(Pc1)→候補文字列「888」→評価値30((20+30+40/3=30))
  画像(Pc1)→候補文字列「1234」→評価値20((5+20+25+30)/4=20)
が得られる。いずれもステップS805で得られた評価値よりは悪いので、ステップS805で得られた、
  画像(Pa2)→候補文字列「888」→評価値27
  画像(Pa2)→候補文字列「1234」→評価値9
が画像出力制御部218に通知される。
 なお、ステップS806で得られた他の画像処理装置201の認識結果を選択する場合、偶然の認識結果の一致を回避するため、評価値だけで判断するのではなく、時間的な制限や同一文字領域の全文字列で候補文字列が一致しないといけないとの制限を付加しても構わない。
 画像出力制御部218は、認識結果評価部217から通知された画像について、画像と付帯情報を画像データ一時記憶部211から読み出し、また認識結果を認識結果記憶部215から読み出して、ネットワーク202を介して外部画像蓄積メディア203に記録する。なお、認識結果評価部217から通知される画像は1つとは限らない。また、複数指定された場合には、同じ画像を指している場合も有るが、画像出力制御部218で重複を解消し、同じ画像は1度だけ記録する。また、1度記録した画像については、画像データ一時記憶部211の記録済みフラグをセットする。
 画像出力制御部218は、画像と付帯情報及び認識結果を外部画像蓄積メディア203に記録すると共に、ネットワーク202で接続されている全ての画像処理装置201に対して付帯情報と認識結果を通知する。通知された付帯情報と認識結果とは、個々の画像処理装置201の多カメラ認識結果連携部216に格納される。
 図26は、ネットワーク202を介して複数の画像処理装置201がつながっている第1の構成を示すブロック図である。本構成では、各画像処理装置201に備えられた多カメラ認識結果連携部216に他の画像処理装置201で得られた認識結果を保持することで、複数のカメラで同一対象を撮影した場合に、外部画像蓄積メディア203に画像を重複して記録することを防ぐことができる。
 図27は、ネットワーク202を介して複数の画像処理装置201がつながっている第2の構成を示すブロック図である。本構成では、多カメラ認識結果連携部216は、各画像処理装置201に含まれるのではなく、複数の画像処理装置201に対して、単一の多カメラ認識結果連携部216を備える。本構成においても、多カメラ認識結果連携部216に他の画像処理装置201で得られた認識結果を保持することで、複数のカメラで同一対象を撮影した場合に、外部画像蓄積メディア203に画像を重複して記録することを防ぐことができる。
 また、外部画像蓄積メディア203に記録される画像に、画像の内容を示す認識結果が付与されるため、監視センタ204のPC等で、外部画像蓄積メディア203中の画像を検索することが容易となる。更に、文字領域座標及び文字座標が付与されているため、監視センタ204のPC等で、外部画像蓄積メディア203中の画像を再処理する場合、特定の領域のみを処理すればよいため、大幅な処理の効率化を実現できる。
 このように、本実施の形態の画像処理装置201によれば、画像データ一時記憶部211に複数の画像及び付帯情報を格納し、文字認識部214で画像中の文字認識を行い、認識結果記憶部215に画像データ一時記憶部211に保持された複数の画像に対応する認識結果を保持し、認識結果評価部217で画像内容の変化のタイミングを検出し、画像内容に変化があったときだけ画像データ一時記憶部211の画像を外部画像蓄積メディア203に記録するため、名札を身につけた人物画像や、必ずしもナンバープレート全体が写っていない画像に対しても画像内容に変化を検出でき、外部画像蓄積メディア203を有効利用できる。
 また、ナンバープレート画像に限定することなく画像内容の変化を検出できるため、カメラの設置が簡易である。また、画像入力部210が可動カメラであっても構わないため、少ないカメラで広範囲を監視することができる。画像入力部210より入力される大量の画像のうち、有意な情報を持つ画像を選択して記録することができるため、外部画像蓄積メディア203を有効利用できる。また、ネットワーク202を介して複数のカメラがつながっている構成では、複数のカメラで同一対象を撮影した場合にも同一性を判断できるため、外部画像蓄積メディア203に画像を重複して記録することを防ぐことができる。また、画像を外部画像蓄積メディア203に記録する際に、画像の内容を示す認識結果を付与するため、監視センタのPC等で、蓄積された膨大な画像の内から特定の画像を検索することが容易になる。更に、付与される認識結果には文字領域座標及び文字座標が含まれているため、監視センタのPC等で、外部画像蓄積メディア203に記録された画像を2次処理する場合に、画像に付与された認識結果に含まれる文字領域座標及び文字座標を利用し、文字領域のみを再処理することで、処理精度を上げると共に、大幅な処理の効率化を実現できる。
 なお、本実施の形態では、外部画像蓄積メディア203に情報を記録する際、画像とその付帯情報及び認識結果とを共に記録するとしたが、画像の記録が必須ではない場合には評価値が十分良ければ、画像を除き、付帯情報及び認識結果のみを記録するようにしてもよい。このようにすることで、外部画像蓄積メディア203の使用量を更に削減できる。
 また、本実施の形態では、対象物と同時に撮影され、対象物を指し示すパターンを文字列としたが、ロゴやマーク、或いは顔など、文字と同様の性質を持つパターンを用いてもよい。各処理での各種条件や閾値についても同様の判定基準であれば、これに限るものではない。更に画像入力部210、画像データ一時記憶部211、2値化処理部212、文字領域抽出部213、文字認識部214、認識結果記憶部215、多カメラ認識結果連携部216、認識結果評価部217、画像出力制御部218等の各機能ブロックを、典型的には集積回路であるLSIとして実現してもよい。集積回路化の手法は、LSIに限るものではない。これらは個別に1チップ化されてもよいし、一部又は全部を含むように1チップ化されてもよい。
 また、本実施の形態において、上述した各動作における各処理ステップを、コンピュータで実行可能なプログラムで記述してもよい。
 本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
 本出願は、2008年6月11日出願の日本特許出願(特願2008-152749)及び2008年7月11日出願の日本特許出願(特願2008-181733)に基づくものであり、その内容はここに参照として取り込まれる。
 本発明は、同じ対象物を指し示している文字パターンの位置やサイズが異なった状態の画像が複数存在した場合でも、同じ対象物を指し示した文字パターンとして扱うことが可能となる効果を有し、例えば道路上を移動する様々な車両をカメラで撮影して得られる動画像に基づいて車両を自動的に監視するような場合など、変動する可能性のある対象物が記録されている複数の画像に基づき、同時に記録された文字情報を用いて、記録された対象物の変動を解析するために利用されるパターン認識装置及びパターン認識方法として有用である。また、本発明は、対象物をナンバープレートに限定することなく、有意な情報を持つ画像を選択的に記録することができるといった効果を有し、監視システムなどへの適用が可能である。
 101 画像入力部
 102 画像データ蓄積部
 103 文字認識部
 104 文字認識結果蓄積部
 105 指示部
 106 解析部
 107 結果出力部
 201 画像処理装置
 202 ネットワーク
 203 外部画像蓄積メディア
 204 監視センタ
 210 画像入力部
 211 画像データ一時記憶部
 212 2値化処理部
 213 文字領域抽出部
 214 文字認識部
 215 認識結果記憶部
 216 多カメラ認識結果連携部
 217 認識結果評価部
 218 画像出力制御部

Claims (16)

  1.  認識対象となる対象物が含まれる可能性のある画像及び前記画像に付帯する付帯情報を入力する画像入力部と、
     前記画像入力部で入力された画像及び付帯情報を蓄積する画像データ蓄積部と、
     前記画像入力部で入力された画像に含まれる文字を認識する文字認識部と、
     前記文字認識部で認識された文字認識結果を蓄積する文字認識結果蓄積部と、
     対象物の解析条件を入力する指示部と、
     前記指示部で入力された解析条件に基づき、前記画像データ蓄積部で蓄積された画像及び付帯情報と前記文字認識結果蓄積部で蓄積された文字認識結果とから、対象物に関連する対象物文字情報を抽出し対象物を解析する解析部と、
     前記解析部で解析された結果を出力する結果出力部と
     を備えるパターン認識装置。
  2.  請求項1に記載のパターン認識装置であって、
     前記文字認識部は、文字パターンに対応する候補文字コード及び文字認識に関する評価値と、文字の位置及びサイズとを含む情報を認識結果として求め、
     前記解析部は、前記候補文字コード及び評価値と、前記文字の位置及びサイズとを用いて解析を行うパターン認識装置。
  3.  請求項1に記載のパターン認識装置であって、
     前記画像入力部は、前記付帯情報として少なくとも該当する画像に関する撮影位置及び撮影時間を含む情報を入力し、
     前記解析部は、前記画像の撮影位置及び撮影時間を用いて解析を行うパターン認識装置。
  4.  請求項1に記載のパターン認識装置であって、
     前記画像入力部は、前記付帯情報として少なくとも該当する画像に関する撮影位置及び撮影時間を含む情報を入力し、
     前記文字認識部は、文字パターンに対応する候補文字コード及び文字認識に関する評価値と、文字の位置及びサイズを含む情報を認識結果として求め、
     前記解析部は、前記画像の撮影位置及び撮影時間と、前記文字コード及び評価値と、前記文字の位置及びサイズと、複数画像間の文字画像の類似度と、画像の色情報とを用いて解析を行うパターン認識装置。
  5.  認識対象となる対象物が含まれる可能性のある画像及び前記画像に付帯する付帯情報を入力する画像入力ステップと、
     前記画像入力ステップで入力された画像及び付帯情報を蓄積する画像データ蓄積ステップと、
     前記画像入力ステップで入力された画像に含まれる文字を認識する文字認識ステップと、
     前記文字認識ステップで認識された文字認識結果を蓄積する文字認識結果蓄積ステップと、
     対象物の解析条件を入力する指示ステップと、
     前記指示ステップで入力された解析条件に基づき、前記画像データ蓄積ステップで蓄積された画像及び付帯情報と前記文字認識結果蓄積ステップで蓄積された文字認識結果とから、対象物に関連する対象物文字情報を抽出し対象物を解析する解析ステップと、
     前記解析部で解析された結果を出力する結果出力ステップと
     を有するパターン認識方法。
  6.  請求項5に記載のパターン認識方法であって、
     前記文字認識ステップにおいて、文字パターンに対応する候補文字コード及び文字認識に関する評価値と、文字の位置及びサイズとを含む情報を認識結果として求め、
     前記解析ステップにおいて、前記候補文字コード及び評価値と、前記文字の位置及びサイズとを用いて解析を行うパターン認識方法。
  7.  請求項5に記載のパターン認識方法であって、
     前記画像入力ステップにおいて、前記付帯情報として少なくとも該当する画像に関する撮影位置及び撮影時間を含む情報を入力し、
     前記解析ステップにおいて、前記画像の撮影位置及び撮影時間を用いて解析を行うパターン認識方法。
  8.  請求項5に記載のパターン認識方法であって、
     前記画像入力ステップにおいて、前記付帯情報として少なくとも該当する画像に関する撮影位置及び撮影時間を含む情報を入力し、
     前記文字認識ステップにおいて、文字パターンに対応する候補文字コード及び文字認識に関する評価値と、文字の位置及びサイズを含む情報を認識結果として求め、
     前記解析ステップにおいて、前記画像の撮影位置及び撮影時間と、前記文字コード及び評価値と、前記文字の位置及びサイズと、複数画像間の文字画像の類似度と、画像の色情報とを用いて解析を行うパターン認識方法。
  9.  コンピュータに、請求項5~8のいずれかに記載のパターン認識方法の各ステップを実行させるためのプログラム。
  10.  請求項9に記載のプログラムを記録したコンピュータで読み取り可能な記録媒体。
  11.  画像及び該画像に付帯する付帯情報を連続して入力する画像入力手段と、
     前記画像入力手段で入力された画像を一時記憶する画像一時記憶手段と、
     前記画像一時記憶手段に記憶された画像から文字を抽出する文字抽出手段と、
     前記文字抽出手段で抽出された文字を認識し、認識した文字に対する1ないし複数の候補文字と夫々の評価値とを認識結果として得る文字認識手段と、
     前記文字認識手段で得られた前記認識結果を記憶する認識結果記憶手段と、
     前記認識結果記憶手段に記憶された前記認識結果に基づき、前記画像一時記憶手段に記憶された画像を出力するか否かを判定する認識結果評価手段と、
     前記認識評結果評価手段で出力すると判定された画像を該画像の付帯情報及び前記認識結果と共に出力する画像出力制御手段と、を備え、
     前記画像一時記憶手段は、複数の画像を夫々の付帯情報と共に一時的に記憶し、
     前記認識結果記憶手段は、前記画像一時記憶手段に記憶されている複数の画像の夫々の文字の認識結果を記憶し、
     前記認識結果評価手段は、前記認識結果記憶手段に記憶されている複数の画像の夫々の文字の認識結果を調べ、前記複数の画像の認識結果中に同一文字列が含まれる場合には認識結果の評価値が最も良い画像を選択し、
     前記画像出力制御手段は、前記認識結果評価手段で選択された画像を該画像の付帯情報及び認識結果と共に出力する画像処理装置。
  12.  前記認識結果評価手段は、前記認識結果記憶手段に記憶されている複数の画像の夫々の文字の認識結果を調べ、1画像中に文字が含まれるにも関わらず、全ての文字の認識結果も評価値が悪い場合はその旨を前記画像出力制御手段に通知し、
     前記画像出力制御手段は、前記認識結果評価手段から通知された前記画像を該画像の付帯情報及び認識結果と共に出力する請求項11に記載の画像処理装置。
  13.  ネットワークを介して接続された他の画像処理装置の出力である、画像中の文字の認識結果と当該認識結果を得る元となった画像の付帯情報とを記憶する多カメラ認識結果連携手段を更に備え、
     前記認識結果評価手段は、前記認識結果記憶手段に記憶された認識結果と前記多カメラ認識結果連携手段に記憶された認識結果とを調べ、双方に同一の文字列が含まれ且つ画像の付帯情報及び認識結果の評価値が所定の条件を満たす場合は前記画像出力制御手段に前記画像の出力を行わない旨の通知を行い、前記認識結果記憶手段に記憶された認識結果に含まれる文字列が前記多カメラ認識結果連携手段に記憶された認識結果には含まれない場合或いは含まれても前記画像の付帯情報及び認識結果の評価値が所定の条件を満たさない場合は前記画像出力制御手段に前記画像を出力させる旨の通知を行い、
     前記画像出力制御手段は、前記認識結果評価手段から画像を出力する旨の通知を受けると、前記画像と該画像の付帯情報及び認識結果とを前記ネットワークへ出力する請求項11又は請求項12に記載の画像処理装置。
  14.  画像及び該画像に付帯する付帯情報を連続して入力する画像入力工程と、
     前記画像入力工程で入力された画像を一時記憶する画像一時記憶工程と、
     前記画像一時記憶工程で記憶された画像から文字を抽出する文字抽出工程と、
     前記文字抽出工程で抽出された文字を認識し、認識した文字に対する1ないし複数の候補文字と夫々の評価値とを認識結果として得る文字認識工程と、
     前記文字認識工程で得られた認識結果を記憶する認識結果記憶工程と、
     前記認識結果記憶工程で記憶された認識結果に基づき、前記画像一時記憶工程で記憶された画像を出力するか否かを判定する認識結果評価工程と、
     前記認識評結果評価工程で出力すると判定された画像を該画像の付帯情報及び認識結果と共に出力する画像出力制御工程と、を備え、
     前記画像一時記憶工程では、複数の画像を夫々の付帯情報と共に一時的に記憶し、
     前記認識結果記憶工程では、前記画像一時記憶工程で記憶された複数の画像の夫々の文字の認識結果を記憶し、
     前記認識結果評価工程では、前記認識結果記憶工程で記憶された複数の画像の夫々の文字の認識結果を調べ、前記複数の画像の認識結果中に同一文字列が含まれる場合には認識結果の評価値が最も良い画像を選択し、
     前記画像出力制御工程では、前記認識結果評価工程で選択された画像を該画像の付帯情報及び認識結果と共に出力する画像処理方法。
  15.  画像及び該画像に付帯する付帯情報を連続して入力する画像入力ステップと、
     前記画像入力ステップで入力された画像を一時記憶する画像一時記憶ステップと、
     前記画像一時記憶ステップで記憶された画像から文字を抽出する文字抽出ステップと、
     前記文字抽出ステップで抽出された文字を認識し、認識した文字に対する1ないし複数の候補文字と夫々の評価値とを認識結果として得る文字認識ステップと、
     前記文字認識ステップで得られた認識結果を記憶する認識結果記憶ステップと、
     前記認識結果記憶ステップで記憶された認識結果に基づき、前記画像一時記憶ステップで記憶された画像を出力するか否かを判定する認識結果評価ステップと、
     前記認識評結果評価ステップで出力すると判定された画像を該画像の付帯情報及び認識結果と共に出力する画像出力制御ステップと、を備え、
     前記画像一時記憶ステップでは、複数の画像を夫々の付帯情報と共に一時的に記憶し、
     前記認識結果記憶ステップでは、前記画像一時記憶ステップで記憶された複数の画像の夫々の文字の認識結果を記憶し、
     前記認識結果評価ステップでは、前記認識結果記憶ステップで記憶された複数の画像の夫々の文字の認識結果を調べ、前記複数の画像の認識結果中に同一文字列が含まれる場合には認識結果の評価値が最も良い画像を選択し、
     前記画像出力制御ステップでは、前記認識結果評価ステップで選択された画像を該画像の付帯情報及び認識結果と共に出力し、
     コンピュータが前記各ステップを実行する画像処理プログラム。
  16.  請求項15に記載の画像処理プログラムが記憶された記憶媒体。
PCT/JP2009/001981 2008-06-11 2009-04-30 パターン認識装置、パターン認識方法、画像処理装置及び画像処理方法 WO2009150783A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US12/601,989 US8509571B2 (en) 2008-06-11 2009-04-30 Pattern recognition apparatus, pattern recognition method, image processing apparatus, and image processing method
EP09752712.1A EP2154664A4 (en) 2008-06-11 2009-04-30 PATTERN RECOGNITION DEVICE, PATTERN RECOGNITION METHOD, IMAGE PROCESSING DEVICE, AND IMAGE PROCESSING METHOD
CN200980000390.XA CN101689328B (zh) 2008-06-11 2009-04-30 图像处理设备以及图像处理方法
US13/715,166 US8620094B2 (en) 2008-06-11 2012-12-14 Pattern recognition apparatus, pattern recogntion method, image processing apparatus, and image processing method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008-152749 2008-06-11
JP2008152749A JP2009301179A (ja) 2008-06-11 2008-06-11 パターン認識装置及びパターン認識方法、プログラム及び記録媒体
JP2008181733A JP5339581B2 (ja) 2008-07-11 2008-07-11 画像処理装置、画像処理方法及び画像処理プログラム
JP2008-181733 2008-07-11

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US12/601,989 A-371-Of-International US8509571B2 (en) 2008-06-11 2009-04-30 Pattern recognition apparatus, pattern recognition method, image processing apparatus, and image processing method
US13/715,166 Division US8620094B2 (en) 2008-06-11 2012-12-14 Pattern recognition apparatus, pattern recogntion method, image processing apparatus, and image processing method

Publications (1)

Publication Number Publication Date
WO2009150783A1 true WO2009150783A1 (ja) 2009-12-17

Family

ID=41416497

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/001981 WO2009150783A1 (ja) 2008-06-11 2009-04-30 パターン認識装置、パターン認識方法、画像処理装置及び画像処理方法

Country Status (4)

Country Link
US (2) US8509571B2 (ja)
EP (1) EP2154664A4 (ja)
CN (1) CN101689328B (ja)
WO (1) WO2009150783A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023173A (zh) * 2016-05-13 2016-10-12 浙江工业大学 一种基于支持向量机的号码牌识别方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8509571B2 (en) 2008-06-11 2013-08-13 Panasonic Corporation Pattern recognition apparatus, pattern recognition method, image processing apparatus, and image processing method
US8744119B2 (en) 2011-01-12 2014-06-03 Gary S. Shuster Graphic data alteration to enhance online privacy
US11080513B2 (en) 2011-01-12 2021-08-03 Gary S. Shuster Video and still image data alteration to enhance privacy
WO2012120587A1 (ja) * 2011-03-04 2012-09-13 グローリー株式会社 文字列切出方法及び文字列切出装置
US20130060642A1 (en) * 2011-09-01 2013-03-07 Eyal Shlomot Smart Electronic Roadside Billboard
JP5865043B2 (ja) * 2011-12-06 2016-02-17 キヤノン株式会社 情報処理装置、情報処理方法
US9317764B2 (en) * 2012-12-13 2016-04-19 Qualcomm Incorporated Text image quality based feedback for improving OCR
JP5820986B2 (ja) * 2013-03-26 2015-11-24 パナソニックIpマネジメント株式会社 映像受信装置及び受信映像の画像認識方法
US9955103B2 (en) 2013-07-26 2018-04-24 Panasonic Intellectual Property Management Co., Ltd. Video receiving device, appended information display method, and appended information display system
WO2015015712A1 (ja) 2013-07-30 2015-02-05 パナソニックIpマネジメント株式会社 映像受信装置、付加情報表示方法および付加情報表示システム
WO2015033501A1 (ja) 2013-09-04 2015-03-12 パナソニックIpマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム
JP6281125B2 (ja) 2013-09-04 2018-02-21 パナソニックIpマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム
EP3125567B1 (en) 2014-03-26 2019-09-04 Panasonic Intellectual Property Management Co., Ltd. Video receiving device, video recognition method, and supplementary information display system
EP3125569A4 (en) 2014-03-26 2017-03-29 Panasonic Intellectual Property Management Co., Ltd. Video receiving device, video recognition method, and supplementary information display system
WO2016009637A1 (ja) 2014-07-17 2016-01-21 パナソニックIpマネジメント株式会社 認識データ生成装置、画像認識装置および認識データ生成方法
WO2016027457A1 (ja) 2014-08-21 2016-02-25 パナソニックIpマネジメント株式会社 コンテンツ認識装置およびコンテンツ認識方法
US9600731B2 (en) * 2015-04-08 2017-03-21 Toshiba Tec Kabushiki Kaisha Image processing apparatus, image processing method and computer-readable storage medium
CN106095998B (zh) * 2016-06-21 2019-07-05 广东小天才科技有限公司 应用于智能终端的精准搜题方法及装置
JP7088136B2 (ja) * 2018-08-31 2022-06-21 株式会社デンソー 標示物認識システム及び標示物認識方法
CN111078924B (zh) * 2018-10-18 2024-03-01 深圳云天励飞技术有限公司 图像检索方法、装置、终端及存储介质
JP7228045B2 (ja) * 2019-07-19 2023-02-22 三菱重工機械システム株式会社 ナンバープレート情報特定装置、課金システム、ナンバープレート情報特定方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981689A (ja) * 1995-09-13 1997-03-28 Canon Inc 文字認識方法とその装置
JPH10105873A (ja) * 1996-09-30 1998-04-24 Toshiba Corp 車両のナンバプレート認識装置
JP2000182181A (ja) * 1998-12-16 2000-06-30 Koito Ind Ltd 車両ナンバープレート認識装置
JP2004280713A (ja) * 2003-03-18 2004-10-07 Hitachi Ltd 車番認識装置
JP2005215984A (ja) * 2004-01-29 2005-08-11 Fujitsu Ltd 移動体情報管理プログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07129713A (ja) 1993-11-01 1995-05-19 Matsushita Electric Ind Co Ltd 文字認識装置
JPH07272189A (ja) * 1994-03-31 1995-10-20 Japan Radio Co Ltd 車両同定方法及び車番読取方法
JP4035910B2 (ja) * 1999-01-29 2008-01-23 三菱電機株式会社 車色判別装置
US6433706B1 (en) * 2000-12-26 2002-08-13 Anderson, Iii Philip M. License plate surveillance system
JP4421134B2 (ja) * 2001-04-18 2010-02-24 富士通株式会社 文書画像検索装置
JP2003149256A (ja) 2001-11-14 2003-05-21 Mitsubishi Electric Corp 車両速度測定装置
JP2003331217A (ja) 2002-03-08 2003-11-21 Nec Corp 文字入力装置、文字入力方法及び文字入力プログラム
JP2004234486A (ja) 2003-01-31 2004-08-19 Matsushita Electric Ind Co Ltd 車両逆走検知装置
US20050073436A1 (en) * 2003-08-22 2005-04-07 Negreiro Manuel I. Method and system for alerting a patrol officer of a wanted vehicle
JP2005267380A (ja) 2004-03-19 2005-09-29 Advanced Telecommunication Research Institute International 表示文字翻訳装置及びコンピュータプログラム
US20060017562A1 (en) * 2004-07-20 2006-01-26 Bachelder Aaron D Distributed, roadside-based real-time ID recognition system and method
JP2006202000A (ja) * 2005-01-20 2006-08-03 Fujitsu Ltd 車両監視方法及び特定文字パターン認識装置及び車両監視システム
JP2006309402A (ja) 2005-04-27 2006-11-09 Mitsubishi Heavy Ind Ltd 文字列認識方法、ナンバープレート認識方法、及び装置
JP4618062B2 (ja) 2005-09-07 2011-01-26 住友電気工業株式会社 監視装置、監視システム、および監視方法
ITTO20060214A1 (it) * 2006-03-22 2007-09-23 Kria S R L Sistema di rilevamento di veicoli
JP2008027325A (ja) 2006-07-25 2008-02-07 Oriental Consultants:Kk 交通監視情報提供システム
JP2009301179A (ja) 2008-06-11 2009-12-24 Panasonic Corp パターン認識装置及びパターン認識方法、プログラム及び記録媒体
US8509571B2 (en) 2008-06-11 2013-08-13 Panasonic Corporation Pattern recognition apparatus, pattern recognition method, image processing apparatus, and image processing method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981689A (ja) * 1995-09-13 1997-03-28 Canon Inc 文字認識方法とその装置
JPH10105873A (ja) * 1996-09-30 1998-04-24 Toshiba Corp 車両のナンバプレート認識装置
JP2000182181A (ja) * 1998-12-16 2000-06-30 Koito Ind Ltd 車両ナンバープレート認識装置
JP2004280713A (ja) * 2003-03-18 2004-10-07 Hitachi Ltd 車番認識装置
JP2005215984A (ja) * 2004-01-29 2005-08-11 Fujitsu Ltd 移動体情報管理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2154664A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023173A (zh) * 2016-05-13 2016-10-12 浙江工业大学 一种基于支持向量机的号码牌识别方法

Also Published As

Publication number Publication date
US20130129219A1 (en) 2013-05-23
US20100172580A1 (en) 2010-07-08
EP2154664A4 (en) 2014-08-20
EP2154664A1 (en) 2010-02-17
CN101689328A (zh) 2010-03-31
CN101689328B (zh) 2014-05-14
US8620094B2 (en) 2013-12-31
US8509571B2 (en) 2013-08-13

Similar Documents

Publication Publication Date Title
WO2009150783A1 (ja) パターン認識装置、パターン認識方法、画像処理装置及び画像処理方法
JP4715664B2 (ja) 車両検索システム
JP6226368B2 (ja) 車両監視装置、および車両監視方法
US20130301876A1 (en) Video analysis
JP4984640B2 (ja) 認識装置、地図データ作成装置および認識方法
JP4721829B2 (ja) 画像検索方法及び装置
CN108573244A (zh) 一种车辆检测方法、装置及系统
JP6602595B2 (ja) 車種判別装置、及び車種判別方法
JP2009301179A (ja) パターン認識装置及びパターン認識方法、プログラム及び記録媒体
CN110119769A (zh) 一种基于多模态车辆特征的检测预警方法
WO2012081963A1 (en) System and method for traffic violation detection
CN113870185A (zh) 基于图像抓拍的图像处理方法、终端及存储介质
JPH0883392A (ja) 車両検出方法及び車両検出装置
JP7525247B2 (ja) 車種判定装置、車種判定方法、および車種判定プログラム
CN111161542B (zh) 车辆识别方法及装置
JP2004326559A (ja) 車線区分線検出装置
JP5325822B2 (ja) 対象物識別装置
JP5339581B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2005250786A (ja) 画像認識方法
JP2004260527A (ja) 対象物検知装置及び方法
JPH09198505A (ja) 線位置検出装置
KR101615992B1 (ko) 영상 센서를 활용한 주행 환경에 강건한 차량의 특징점 추출 및 영역 추적 장치 및 그 방법
JP4635536B2 (ja) 交通流計測方法およびその装置
KR101915475B1 (ko) 템플릿 매칭 방법 및 그를 위한 장치
JPH07272189A (ja) 車両同定方法及び車番読取方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980000390.X

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2009752712

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12601989

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09752712

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE