WO2013099368A1 - 画像認識装置、画像認識方法、プログラム、記録媒体および画像認識システム - Google Patents

画像認識装置、画像認識方法、プログラム、記録媒体および画像認識システム Download PDF

Info

Publication number
WO2013099368A1
WO2013099368A1 PCT/JP2012/073486 JP2012073486W WO2013099368A1 WO 2013099368 A1 WO2013099368 A1 WO 2013099368A1 JP 2012073486 W JP2012073486 W JP 2012073486W WO 2013099368 A1 WO2013099368 A1 WO 2013099368A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
attribute
recognition
area
information
Prior art date
Application number
PCT/JP2012/073486
Other languages
English (en)
French (fr)
Inventor
植木　一也
Original Assignee
Ｎｅｃソフト株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｎｅｃソフト株式会社 filed Critical Ｎｅｃソフト株式会社
Publication of WO2013099368A1 publication Critical patent/WO2013099368A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an image recognition apparatus, an image recognition method, a program, a recording medium, and an image recognition system.
  • a method in which a sensor is installed at a specific location and the presence or absence of an object within the detection range of the sensor is used for various purposes.
  • a human touch switch that automatically turns on / off lighting according to the presence / absence of a person in the room, and the presence / absence of a car in a parking lot, and a parking availability guidance is displayed (for example, a patent) Reference 1 and 2).
  • JP-A-10-62546 Japanese Patent Laid-Open No. 8-124084
  • the present invention provides an image recognition apparatus, an image recognition method, a program, a recording medium, and an image recognition system that can recognize an attribute of a specific region with high accuracy from an image of a surveillance camera or the like. Objective.
  • an image recognition apparatus includes: Image acquisition means for acquiring image information; In the image information acquired by the image acquisition means, area designation means for designating a preset image area; Image feature selection means for selecting an image feature suitable for attribute determination determined for pre-registered attribute registration information among a plurality of image features in the designated image region; Recognizing means for recognizing the attribute of the image region from the selected image feature.
  • the image recognition method of the present invention includes: An image acquisition process for acquiring image information; In the image information acquired in the image acquisition step, a region specifying step for specifying a preset image region; An image feature selection step for selecting an image feature suitable for attribute determination, which is determined for pre-registered attribute registration information among a plurality of image features in the designated image region; And a recognition step of recognizing the attribute of the image area from the selected image feature.
  • the program of the present invention causes a computer to execute the image recognition method of the present invention.
  • the recording medium of the present invention records the program of the present invention.
  • the image recognition system of the present invention is Image acquisition means for acquiring image information; In the image information acquired by the image acquisition means, area designation means for designating a preset image area; Image feature selection means for selecting an image feature suitable for attribute determination determined for pre-registered attribute registration information among a plurality of image features in the designated image region; Recognition means for recognizing attributes of the image area from the selected image features; Output means for outputting a recognition result of the attribute of the image area,
  • the image acquisition means and the output means are connected to a server via a communication network,
  • the server side includes the area designating unit, the image feature selecting unit, and the recognizing unit.
  • FIG. 1 is a block diagram showing a configuration of an image recognition apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart showing processing performed by the image recognition method according to the first embodiment of the present invention.
  • FIG. 3 is a diagram illustrating an example of image recognition in the first embodiment.
  • FIG. 4 is a diagram illustrating another example of image recognition in the first embodiment.
  • FIG. 5 is a diagram illustrating still another example of image recognition in the first embodiment.
  • FIG. 6 is a block diagram showing the configuration of the image recognition apparatus according to the second embodiment of the present invention.
  • FIG. 7 is a flowchart showing processing performed by the image recognition method according to the second embodiment of the present invention.
  • FIG. 1 is a block diagram showing a configuration of an image recognition apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart showing processing performed by the image recognition method according to the first embodiment of the present invention.
  • FIG. 3 is a diagram illustrating an example of image
  • FIG. 8 is a block diagram showing a configuration of an image recognition apparatus according to Embodiment 3 of the present invention.
  • FIG. 9 is a flowchart showing processing performed by the image recognition method according to the third embodiment of the present invention.
  • FIG. 10 is a block diagram showing a configuration of an example of an image recognition system (Embodiment 5) using the image recognition apparatus of the present invention.
  • the image recognition apparatus of the present invention further includes a registration area designating unit that designates a specific area in the registration image information and stores the designated specific area in an area designation information database; Registered image feature extraction means for extracting image features in the specified specific region and storing the image features in an image feature extraction database; Attribute acquisition means for acquiring an attribute of an image in the specified specific area; Attribute association means for associating the image feature with the attribute and storing the associated attribute registration information in the image feature extraction database;
  • the area designating means is means for designating the designated image area from the recognition image information obtained by the image obtaining means with reference to the area designation information database.
  • the image feature selection means selects an image feature suitable for attribute determination determined for the attribute registration information with reference to the image feature extraction database from among a plurality of image features in the designated image region. Preferably it is a means.
  • the image recognition method of the present invention further includes a registration area designation step of designating a specific area in the registration image information and storing the designated specific area in an area designation information database;
  • a registered image feature extraction step of extracting an image feature in the specified specific region and storing the image feature in the image feature extraction database;
  • An attribute association step of associating the image feature with the attribute and storing the associated attribute registration information in an image feature extraction database;
  • the region specifying step referring to the region specifying information database, specifying the specified image region from the recognition image information acquired in the image acquiring step,
  • an image feature suitable for attribute determination determined for the attribute registration information is selected with reference to the image feature extraction database from among a plurality of image features in the designated image region. It is preferable.
  • the image registration apparatus includes a plurality of the attribute registration information, and the image feature selection unit selects the plurality of image features having the largest difference amount between the plurality of attribute registration information. It is preferable. Alternatively, it is preferable that the image feature selection unit weights the plurality of image features according to the amount of difference between the plurality of attribute registration information. The difference amount is preferably a difference or ratio between the plurality of attribute registration information.
  • the image recognition method of the present invention has a plurality of the attribute registration information, and in the image feature selection step, the difference amount between the plurality of attribute registration information is the largest from the plurality of image features. Is preferably selected. Alternatively, in the image feature selection step, it is preferable that the plurality of image features are weighted according to the amount of difference between the plurality of attribute registration information. The difference amount is preferably a difference or ratio between the plurality of attribute registration information.
  • the region specifying unit specifies a plurality of image regions, and the recognition unit recognizes attributes for each of the specified plurality of image regions.
  • the recognition unit recognizes attributes for each of the specified plurality of image regions.
  • a plurality of image regions are designated in the region designation step, and an attribute for each of the designated plurality of image regions is recognized in the recognition step.
  • the image recognition apparatus of the present invention further includes output means for outputting a recognition result of the attribute of the image area.
  • the image recognition method of the present invention further includes an output step of outputting a recognition result of the attribute of the image area.
  • the image recognition apparatus of the present invention further includes an update unit that adds and updates the image region in which the attribute is erroneously determined by the recognition unit and the attribute of the image region to the attribute registration information.
  • the image recognition method of the present invention may further include an updating step of adding and updating the image region in which the attribute is erroneously determined in the recognition step and the attribute of the image region in the attribute registration information. preferable.
  • the image recognition apparatus of the present invention further includes an update unit that adds and updates the image region determined to be unrecognizable by the recognition unit and the attribute of the image region to the attribute registration information.
  • the image recognition method of the present invention further includes an update step of adding and updating the image region determined to be unrecognizable in the recognition step and the attribute of the image region in the attribute registration information. .
  • the recognition unit recognizes the attribute of the image region by adding environmental information of the image information acquired by the image acquisition unit.
  • the recognition step it is preferable to add environment information of the image information acquired in the image acquisition step to recognize the attribute of the image region.
  • the image recognition system further includes an update means for adding and updating the attribute of the image area and the attribute of the image area in which the attribute is erroneously determined or not recognized by the recognition means. It is preferable that the server further includes the updating means.
  • FIG. 1 is a block diagram of an image recognition apparatus according to this embodiment.
  • FIG. 2 shows a flowchart of the image recognition method in the present embodiment.
  • the image recognition apparatus 100 includes an image acquisition unit 111, a region designation unit 121, an image feature selection unit 131, and a recognition unit 141 as main components.
  • the image acquisition unit 111 is connected to the area designation unit 121.
  • the area specifying means 121 is connected to the area specifying information database 122.
  • the image feature selection unit 131 is connected to the image feature extraction database 132.
  • the recognition unit 141 is connected to the determination criterion information database 142.
  • the image recognition apparatus preferably includes an output unit 151 as an arbitrary constituent member.
  • each component of the image acquisition unit 111, the region designation unit 121, the image feature selection unit 131, and the recognition unit 141 indicates a functional unit block, not a hardware unit configuration.
  • Each component of the image recognition apparatus 100 includes a central processing unit (CPU) of an arbitrary computer, a memory, a program that realizes the components of this figure loaded in the memory, a random access memory (RAM) that stores the program, It is realized by an arbitrary combination of hardware and software, mainly a storage unit such as a read-only memory (ROM), a hard disk (HD), an optical disk, a floppy (registered trademark) disk (FD), and a network connection interface.
  • ROM read-only memory
  • HD hard disk
  • FD floppy (registered trademark) disk
  • the area designation information database 122, the image feature extraction database 132, and the criterion information database 142 may be built-in type or external type such as an external storage device. Each database may be stored in a server on the network via the network connection interface. Examples of the output means include a monitor that outputs an image (for example, various image display devices such as a liquid crystal display (LCD) and a cathode ray tube (CRT) display), a printer that outputs by printing, and the like.
  • various image display devices such as a liquid crystal display (LCD) and a cathode ray tube (CRT) display
  • printer that outputs by printing, and the like.
  • the image recognition method of the present embodiment performs the following steps using the image recognition apparatus of FIG. 1 as shown in the flowchart of FIG.
  • image information is acquired by the image acquisition means 111 (step S11).
  • the image acquisition unit 111 include a CCD (Charge Coupled Device) camera, a CMOS (Complementary Metal Oxide Semiconductor) camera, and an image scanner.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the area designating unit 121 refers to the area designation information database 122 in which an image recognition area in the image information is created in advance, and designates a predetermined area for image recognition from the image information ( Step S21).
  • the area designation information database 122 is created from data in which areas are arbitrarily designated prior to the execution of the image recognition method.
  • the image feature selection unit 131 refers to the image feature extraction database 132 to determine attribute registration information registered in advance among a plurality of image features in the image region designated by the region designation unit 121.
  • An image feature suitable for attribute determination is selected (step S31).
  • the image feature include average luminance in the image, color information (R, G, B, etc.) in the image, edge type, and the like.
  • RGB color information
  • edge type edge type
  • Each image of the attribute registration information has a plurality of image features for each image. For example, assume that brightness (luminance, illuminance), color, edge type, and the like are extracted as image features from an image with illumination on.
  • Similar image features are extracted for images with illumination off.
  • brightness luminance, illuminance
  • brightness luminance, illuminance
  • Brightness, illuminance is selected.
  • an image feature suitable for the attribute determination is a color (for example, chromaticity coordinates).
  • the value at The number of images registered as attribute registration information is not limited. For example, when the attribute determined by image recognition is lighting on / null, the image used as attribute registration information is one image with lighting on.
  • the image feature selection unit 131 selects brightness (luminance, illuminance) as the image feature having the largest difference amount.
  • the selection may use means for automatically selecting the one having the largest difference amount, or may specify in advance which image feature to select.
  • the difference amount may be obtained by digitizing an image feature of the attribute registration information and taking a numerical difference between the attribute registration information or taking a ratio. By selecting an image feature having a large difference amount, it is possible to determine the attribute of the designated area with higher accuracy.
  • the image features it is also preferable to weight the plurality of image features according to the amount of difference between the attribute registration information.
  • the attribute to be recognized has multiple levels such as red / yellow / blue, a single image feature does not always have a difference amount corresponding to each level.
  • a plurality of image features weighted according to the attribute registration information may be selected. Even when the attribute to be recognized is in two stages, such as on / off, by selecting a plurality of image features weighted according to the attribute registration information, the attribute of the designated area can be increased. It becomes possible to judge with accuracy.
  • the difference amount may be obtained by digitizing an image feature of the attribute registration information and taking a numerical difference between the attribute registration information or taking a ratio.
  • the recognition unit 141 refers to the criterion information database 142 and recognizes the attribute of the image area from the image feature selected by the image feature selection unit 131 (step S41).
  • the recognition unit 141 recognizes an image, for example, whether the illumination is on / off or whether the signal display is red / yellow / blue.
  • the threshold value for attribute determination may be determined automatically or may be specified in advance.
  • step S51 the image recognition result is output by the output means 151 (step S51).
  • the output step S51 is an optional step and may not be included in the image recognition method of the present invention, but is preferably included.
  • the image acquisition unit 111 may be any unit that can acquire an image of an area where image recognition is desired, and an image acquisition unit installed for another purpose, such as an existing surveillance camera or a security camera. Can be used.
  • FIG. 3 is a diagram showing an indoor state provided with the image recognition apparatus 100 of the present invention.
  • a surveillance camera 10 is installed in the room as an image acquisition means so that the room can be imaged in a wide range.
  • a case where an indoor lamp 20 is installed in the room and the on / off of the indoor lamp 20 is detected by image recognition will be described below.
  • FIG. 3A is a view showing a room in which the room light 20 is on.
  • FIG. 3B is a diagram showing the room in which the room light 20 is in the off state.
  • the inside of the line surrounded by the shape that radiates from the monitoring camera 10 indicates the image acquisition range (space) of the monitoring camera 10.
  • the image acquisition range the image area S1 including the room light 20 is designated, and the data of the designated image area S1 in the state shown in FIGS. 3A and 3B is registered as an attribute.
  • Information is registered in the image feature extraction database 132 as information.
  • the attribute registration information the difference in the luminance value of the pixel in the image is large among the image features.
  • the luminance value of the pixel is used as the image feature for attribute determination. Is selected. Then, the recognition unit 141 determines and recognizes which attribute is on / off from the average luminance value data of the pixels in the image area S1. For example, when the average luminance value recognized from the image of the attribute registration information of “on” is 230 and the average luminance value recognized from the image of the attribute registration information of “off” is 50, the determination criterion information database 142 stores , “Off: less than 150, on: 150 or more” is registered.
  • the on / off of the indoor lamp 20 in the image area S1 is determined with reference to the registration data, and “the indoor lamp is on”. It can be detected by image recognition.
  • a means for integrating the recognition result of the presence / absence of a person can be provided, and an alarm can be output from the output means 151 in accordance with the integrated recognition result. In this case, when the light is on even though there is no person, an alarm can be output to turn off the light.
  • the indoor lamp 20 itself may be exposed to external light such as sunlight depending on the indoor layout.
  • the average luminance value recognized from the image area S1 may increase even when the room light 20 is not lit.
  • an area including the room lamp 20 itself may be designated as an image area, but the area irradiated with the indoor lamp light but not exposed to outside light may be designated as the image area.
  • the recognition unit 141 can recognize the attribute of the image area by adding environment information of the image information acquired by the image acquisition unit 111. For example, when the environment when the data registered as the attribute registration information is acquired is different from the environment when the image recognition is performed, it is assumed that the attribute recognition accuracy decreases. As an example, there is a case where the data acquisition time is daytime and the image recognition execution time is nighttime. In this case, the environment information can be obtained by performing image recognition also on the area of the image information other than the designated area (image information obtained in step S11). By adding the environment information, it is possible to recognize the attribute of the image area with higher accuracy.
  • FIG. 4 is a diagram showing a state in a parking lot provided with the image recognition device 100 of the present invention.
  • a surveillance camera 10 is installed as an image acquisition means so that the parking lot can be imaged in a wide range.
  • a case where a plurality of parking spaces are installed in the parking lot and the parking state of the vehicle in the parking lot (the presence or absence of a vehicle) is detected by image recognition will be described below.
  • FIG. 4A is a diagram showing a state in which the vehicle 30 is parked in the parking space A.
  • FIG. 4B is a diagram illustrating a state where the parking space A is vacant.
  • the inside of the line surrounded by the shape that radiates from the monitoring camera 10 indicates the image acquisition range (space) of the monitoring camera 10.
  • the image area SA including the parking space A is designated in the image acquisition range, and the data of the designated image area SA in the state of FIGS. 4A and 4B is attribute registration information.
  • the image feature extraction database 132 As registered in the image feature extraction database 132. Among the attribute registration information, the color difference among the image features becomes large. Therefore, in determining whether there is a parked vehicle in the parking space A, color is selected as an image feature for attribute determination.
  • the recognition unit 141 determines and recognizes whether the attribute is vehicle presence / absence from the chromaticity data of the image area SA.
  • the determination criterion information database 142 for example, data “vehicle absent: chromaticity range near the color of the parking lot floor surface, vehicle present: chromaticity other than the chromaticity range” is automatically registered. Then, when the chromaticity data in the image area SA at a certain time point is acquired, the presence or absence of a vehicle in the image area SA (parking space A) can be recognized with reference to the registration data.
  • the recognition result of the presence / absence of a vehicle in the parking space A can be output as an image from the output means 151 to display the parking space availability.
  • a conventional ticketing type parking lot there is a case where the availability of the parking lot may be grasped from the relationship between the number of ticket issuances and the number of parking spaces. For example, a single vehicle spans multiple spaces. In the case where the vehicle is parked, there may be a situation where the vehicle cannot actually be parked even though there is an empty space in calculation.
  • the presence / absence of a vehicle in the parking space can be recognized, and thus the above-described problems can be solved.
  • the image recognition apparatus of the present embodiment it is possible to display a vacancy status with high accuracy.
  • FIG. 5A is a diagram illustrating a state where a vehicle is parked in a plurality of parking spaces.
  • an image area is designated for an arbitrary number of parking spaces, such as an image area SA including a parking space A, an image area SB including a parking space B, and an image area SC including a parking space C. be able to.
  • image areas SA to SF corresponding to the parking spaces A to F are shown.
  • the presence or absence of a vehicle can be recognized about each image area (parking space) by the method similar to the above.
  • information registered for one area may be copied and used for other areas, or may be individually registered for each area. If there is a partially sunny place or a shadowed place in the parking lot, it can be recognized more accurately by registering it individually.
  • the result of recognition for a plurality of image areas can be output individually for each image area, or the integrated result can be output.
  • the parking lot for example, “65 out of 100 parking spaces” and “parking rate 65%” can be output as the parking situation for all parking spaces.
  • the image area recognized as having a vehicle is indicated by hatching.
  • the parking situation can be recognized as the image data with the region designated, it is possible to determine the parking pattern and guide the vehicle that has entered the parking lot to an empty space.
  • FIG. 6 shows a block diagram of the image recognition apparatus in the present embodiment.
  • FIG. 7 shows a flowchart of the image recognition method in this embodiment.
  • the present embodiment includes an image registration process in each database.
  • the image recognition apparatus 200 according to the present embodiment further includes a registration area designation unit 261, a registered image feature extraction unit 262, an attribute acquisition unit 263, and an attribute association unit 264 in the first embodiment. .
  • the registered area designation unit 261 is connected to the area designation information database 122.
  • the registered image feature extraction unit 262, the attribute acquisition unit 263, and the attribute association unit 264 are each connected to the image feature extraction database 132.
  • the registration area specifying unit 261 is connected to the image acquisition unit 111 that is a recognition image acquisition unit, but is not limited thereto, and may be connected to another image acquisition unit.
  • a registration image is acquired by the image acquisition unit 111 (step S61), a specific area in the acquired registration image information is specified by the registration area specifying unit 261, and the specified specific area is an area. It is stored in the designation information database 122 (step S71).
  • the image acquisition unit in the image acquisition step (for registration) (step S61) may be different from the image acquisition unit 111 of the recognition image.
  • the registered image feature extraction unit 262 extracts image features in the specified specific area, and stores the image features in the image feature extraction database 132 (step S81).
  • the attribute acquisition unit 263 acquires the attribute of the image in the specified specific area (step S91).
  • the attribute association unit 264 associates the image feature with the attribute, and the associated attribute registration information is stored in the image feature extraction database 132 (step S101).
  • the designated image region is designated from the image information for recognition acquired by the image acquisition unit 111 with reference to the region specification information database 122.
  • the image feature selection step among the plurality of image features in the designated image area, the image feature extraction database 132 is referred to, and the attribute registration information is determined and is suitable for attribute determination. An image feature is selected. Others are the same as in the first embodiment.
  • FIG. 8 shows a block diagram of the image recognition apparatus in the present embodiment.
  • FIG. 9 shows a flowchart of the image recognition method in the present embodiment.
  • the image recognition apparatus 300 according to the present embodiment has the same configuration as the image recognition apparatus 100 according to the first embodiment, except that an update unit 361 is further included.
  • the update unit 361 is connected to the region designation information database 122, the image feature extraction database 132, and the determination criterion information database 142.
  • the image recognition apparatus 300 according to the third embodiment includes the output unit 151, but the output unit 151 is an arbitrary constituent member.
  • the image recognition method in the third embodiment is performed as shown in the flowchart of FIG. 9 using the image recognition apparatus of FIG.
  • the attribute of the image area is recognized in the recognition step (step S41), and the recognition result is output in the output step (step S51).
  • the image and attribute set for which these determinations have been made are registered. The determination may be made by the user or automatically by a program.
  • the updating unit 361 updates the databases (step S111). In subsequent image recognition, each process is performed with reference to each updated database.
  • the same effect as that in Embodiment 1 can be obtained. Further, since each of the databases can be updated using the updating unit 361, the attribute of the image area can be recognized with higher accuracy.
  • the configuration in which the image recognition apparatus 100 according to the first embodiment further includes the update unit 361 has been described. However, the present invention is not limited to this, and the image recognition apparatus 200 according to the second embodiment further includes Update means 361 may be included.
  • the program of this embodiment is a program that can execute the above-described image recognition method on a computer.
  • the program of this embodiment may be recorded on a recording medium, for example.
  • the recording medium is not particularly limited, and examples thereof include a random access memory (RAM), a read-only memory (ROM), a hard disk (HD), an optical disk, and a floppy (registered trademark) disk (FD).
  • FIG. 10 shows a configuration of an example of an image recognition system using the image recognition apparatus of the present invention.
  • the image recognition system includes image acquisition units 111A, 111B, and 111C, output units 151A, 151B, and 151C, communication interfaces 170A, 170B, and 170C, and a server 190.
  • the image acquisition unit 111A and the output unit 151A are connected to the communication interface 170A.
  • the image acquisition unit 111A, the output unit 151A, and the communication interface 170A are installed at the place X.
  • the image acquisition unit 111B and the output unit 151B are connected to the communication interface 170B.
  • the image acquisition unit 111B, the output unit 151B, and the communication interface 170B are installed at the place Y.
  • the image acquisition unit 111C and the output unit 151C are connected to the communication interface 170C.
  • the image acquisition unit 111C, the output unit 151C, and the communication interface 170C are installed in the place Z.
  • the communication interfaces 170A, 170B, and 170C and the server 190 are connected via the line network 180.
  • the server 190 side has the area specifying means, the image feature selecting means, and the recognizing means, and the server 190 stores an area specifying information database, an image feature extraction database, and a criterion information database. Is done.
  • the recognition target data acquired using the image acquisition unit 111A can be transmitted to the server 190, and the attribute can be determined on the server 190 side. Further, the determined attribute can be output by the output means 151A.
  • the image acquisition means and the output means are installed at the site, and the server or the like is installed at another location so that online image recognition is possible. Therefore, for example, the installation of the apparatus does not take a place, and maintenance is easy. Further, for example, even when the installation locations are separated, centralized management or remote operation at one location is possible. Furthermore, even if the environment differs for each installation location, centralized management is possible without setting the environment for each installation location.
  • the server 190 has an updating unit, data of an image area and its attribute that are erroneously determined on the server 190 side, and an image area and its attribute that are determined to be unrecognizable can be added. And can be updated.
  • the image recognition system of this embodiment may be compatible with cloud computing, for example.
  • this invention is not limited to the aspect of the said embodiment, It is possible to select suitably the means to have in the server 190 side.
  • an image recognition apparatus an image recognition method, a program, a recording medium, and an image recognition system that can recognize an attribute of a specific area with high accuracy from an image of a surveillance camera or the like.
  • an image can be recognized using an existing surveillance camera or the like without providing a new sensor or a new image acquisition means, and the present invention can be applied to a wide range of applications.
  • a crossing warning at the time of a red light is performed by detecting a person and recognizing a signal state (color), or a toilet or a meeting room is recognized by recognizing a door state image or a lamp image in use outside the door. It is also possible to grasp the usage state.
  • Image recognition apparatus 111, 111A, 111B, 111C Image acquisition means 121 Area designation means 122 Area designation information database (DB) 131 Image feature selection means 132 Image feature extraction database (DB) 141 Recognition Unit 142 Judgment Criteria Information Database (DB) 151, 151A, 151B, 151C Output means 261 Registered area designation means 262 Registered image feature extraction means 263 Attribute acquisition means 264 Attribute association means 361 Update means 170A, 170B, 170C Communication interface 180 Network 190 Server 10 Surveillance camera 20 Interior light 30 Vehicles A to F Parking space S1, SA to SF Image area

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

　監視カメラ等の画像から、特定の領域についての属性を高精度に認識することが可能な画像認識装置、画像認識方法、プログラム、記録媒体および画像認識システムを提供する。　画像情報を取得する画像取得手段（１１１）と、画像取得手段（１１１）で取得された画像情報において、予め設定された画像領域を指定する領域指定手段（１２１）と、前記指定された画像領域における複数の画像特徴のうち、予め登録された属性登録情報について決定される、属性判断に適した画像特徴を選択する画像特徴選択手段（１３１）と、前記選択された画像特徴から、前記画像領域の属性を認識する認識手段（１４１）とを含むことを特徴とする。

Description

画像認識装置、画像認識方法、プログラム、記録媒体および画像認識システム
　本発明は、画像認識装置、画像認識方法、プログラム、記録媒体および画像認識システムに関する。
　従来、特定の場所にセンサーを設置しておき、センサーの検知範囲内の物体の有無等を検出する方法は、様々な用途に用いられている。例えば、室内の人の存在・不在に応じて照明を自動的にオンオフさせる人感スイッチや、駐車場内の車の有無を検知して、駐車可否の案内を表示するといった例がある（例えば、特許文献１および２参照）。
特開平１０－６２５４６号公報 特開平８－１２４０８４号公報
　しかし、センサーを用いた検知においては、検知の対象となる物体以外の物体を誤検知したり、センサーの検知領域での日当たりの変化等の環境変化が起こると誤検知しやすい、という問題があった。これらの誤検知を解消するためのセンサーの調整は、容易なものではない。また、検知対象の領域が複数ある場合には、各々の領域についてセンサーを設ける必要があった。
　そこで、本発明は、監視カメラ等の画像から、特定の領域についての属性を高精度に認識することが可能な画像認識装置、画像認識方法、プログラム、記録媒体および画像認識システムを提供することを目的とする。
　前記目的を達成するために、本発明の画像認識装置は、
画像情報を取得する画像取得手段と、
前記画像取得手段で取得された画像情報において、予め設定された画像領域を指定する領域指定手段と、
前記指定された画像領域における複数の画像特徴のうち、予め登録された属性登録情報について決定される、属性判断に適した画像特徴を選択する画像特徴選択手段と、
前記選択された画像特徴から、前記画像領域の属性を認識する認識手段とを含むことを特徴とする。
　本発明の画像認識方法は、
画像情報を取得する画像取得工程と、
前記画像取得工程において取得した画像情報において、予め設定された画像領域を指定する領域指定工程と、
前記指定した画像領域における複数の画像特徴のうち、予め登録された属性登録情報について決定される、属性判断に適した画像特徴を選択する画像特徴選択工程と、
前記選択した画像特徴から、前記画像領域の属性を認識する認識工程とを含むことを特徴とする。
　本発明のプログラムは、前記本発明の画像認識方法をコンピュータに実行させることを特徴とする。
　本発明の記録媒体は、前記本発明のプログラムを記録していることを特徴とする。
　本発明の画像認識システムは、
画像情報を取得する画像取得手段と、
前記画像取得手段で取得された画像情報において、予め設定された画像領域を指定する領域指定手段と、
前記指定された画像領域における複数の画像特徴のうち、予め登録された属性登録情報について決定される、属性判断に適した画像特徴を選択する画像特徴選択手段と、
前記選択された画像特徴から、前記画像領域の属性を認識する認識手段と、
前記画像領域の属性の認識結果を出力する出力手段とを含み、
前記画像取得手段および前記出力手段が、通信回線網を介して、サーバと接続され、
前記サーバ側に、前記領域指定手段、前記画像特徴選択手段および前記認識手段を有していることを特徴とする。
　本発明によれば、監視カメラ等の画像から、特定の領域についての属性を高精度に認識することができる。
図１は、本発明の実施形態１における画像認識装置の構成を示すブロック図である。 図２は、本発明の実施形態１における画像認識方法が行う処理を示すフローチャートである。 図３は、実施形態１における画像認識の一例について説明する図である。 図４は、実施形態１における画像認識の他の例について説明する図である。 図５は、実施形態１における画像認識のさらに他の例について説明する図である。 図６は、本発明の実施形態２における画像認識装置の構成を示すブロック図である。 図７は、本発明の実施形態２における画像認識方法が行う処理を示すフローチャートである。 図８は、本発明の実施形態３における画像認識装置の構成を示すブロック図である。 図９は、本発明の実施形態３における画像認識方法が行う処理を示すフローチャートである。 図１０は、本発明の画像認識装置を用いた画像認識システム（実施形態５）の一例の構成を示すブロック図である。
　本発明の画像認識装置は、さらに、登録用画像情報における特定の領域を指定し、前記指定された特定領域を領域指定情報データベースに格納する登録領域指定手段と、
前記指定された特定領域内の画像特徴を抽出し、前記画像特徴を画像特徴抽出データベースに格納する登録画像特徴抽出手段と、
前記指定された特定領域内の画像の属性を取得する属性取得手段と、
前記画像特徴と前記属性とを対応付けし、前記対応付けされた属性登録情報を前記画像特徴抽出データベースに格納する属性対応付手段とを含み、
前記領域指定手段は、前記領域指定情報データベースを参照して、前記画像取得手段で取得された認識用画像情報から、前記指定された画像領域を指定する手段であり、
前記画像特徴選択手段は、前記指定された画像領域における複数の画像特徴のうち、前記画像特徴抽出データベースを参照して、前記属性登録情報について決定される、属性判断に適した画像特徴を選択する手段であることが好ましい。
　同様に、本発明の画像認識方法は、さらに、登録用画像情報における特定の領域を指定し、前記指定された特定領域を領域指定情報データベースに格納する登録領域指定工程と、
前記指定された特定領域内の画像特徴を抽出し、前記画像特徴を前記画像特徴抽出データベースに格納する登録画像特徴抽出工程と、
前記指定された特定領域内の画像の属性を取得する属性取得工程と、
前記画像特徴と前記属性とを対応付けし、前記対応付けされた属性登録情報を画像特徴抽出データベースに格納する属性対応付工程とを含み、
前記領域指定工程において、前記領域指定情報データベースを参照して、前記画像取得工程において取得した認識用画像情報から、前記指定された画像領域を指定し、
前記画像特徴選択工程において、前記指定された画像領域における複数の画像特徴のうち、前記画像特徴抽出データベースを参照して、前記属性登録情報について決定される、属性判断に適した画像特徴を選択することが好ましい。
　本発明の画像認識装置において、前記属性登録情報を複数有しており、前記画像特徴選択手段が、前記複数の画像特徴から、前記複数の属性登録情報間における相違量が最も大きいものを選択することが好ましい。あるいは、前記画像特徴選択手段が、前記複数の画像特徴について、前記複数の属性登録情報間における相違量の大きさに応じて重み付けをすることが好ましい。前記相違量は、前記複数の属性登録情報間の差分または比率であることが好ましい。
　同様に、本発明の画像認識方法において、前記属性登録情報を複数有しており、前記画像特徴選択工程において、前記複数の画像特徴から、前記複数の属性登録情報間における相違量が最も大きいものを選択することが好ましい。あるいは、前記画像特徴選択工程において、前記複数の画像特徴について、前記複数の属性登録情報間における相違量の大きさに応じて重み付けをすることが好ましい。前記相違量は、前記複数の属性登録情報間の差分または比率であることが好ましい。
　本発明の画像認識装置において、前記領域指定手段が、複数の画像領域を指定し、前記認識手段が、前記指定された複数の画像領域のそれぞれについての属性を認識することが好ましい。同様に、本発明の画像認識方法では、前記領域指定工程において、複数の画像領域を指定し、前記認識工程において、前記指定された複数の画像領域のそれぞれについての属性を認識することが好ましい。
　本発明の画像認識装置は、さらに、前記画像領域の属性の認識結果を出力する出力手段を含むことが好ましい。同様に、本発明の画像認識方法は、さらに、前記画像領域の属性の認識結果を出力する出力工程を含むことが好ましい。
　本発明の画像認識装置は、さらに、前記認識手段により属性を誤って判断された画像領域および前記画像領域の属性を、前記属性登録情報に追加して更新する更新手段を含むことが好ましい。同様に、本発明の画像認識方法は、さらに、前記認識工程において属性を誤って判断された画像領域および前記画像領域の属性を、前記属性登録情報に追加して更新する更新工程を含むことが好ましい。
　または、本発明の画像認識装置は、さらに、前記認識手段により認識不可と判断された画像領域および前記画像領域の属性を、前記属性登録情報に追加して更新する更新手段を含むことが好ましい。同様に、本発明の画像認識方法は、さらに、前記認識工程において認識不可と判断された画像領域および前記画像領域の属性を、前記属性登録情報に追加して更新する更新工程を含むことが好ましい。
　本発明の画像認識装置において、前記認識手段が、前記画像取得手段で取得された画像情報の環境情報を加えて、前記画像領域の属性を認識することが好ましい。同様に、本発明の画像認識方法では、前記認識工程において、前記画像取得工程において取得した画像情報の環境情報を加えて、前記画像領域の属性を認識することが好ましい。
　本発明の画像認識システムは、さらに、前記認識手段により、属性を誤って判断または認識不可と判断された画像領域および前記画像領域の属性を、前記属性登録情報に追加して更新する更新手段を含み、前記サーバ側に、さらに前記更新手段を有していることが好ましい。
　つぎに、本発明の画像認識装置、画像認識方法、プログラム、記録媒体および画像認識システムについて、例をあげて説明する。ただし、本発明は、下記の例に限定されない。なお、図１から図１０において、同一部分には同一符号を付している。
［実施形態１］
　図１に、本実施形態における画像認識装置のブロック図を示す。また、図２に、本実施形態における画像認識方法のフローチャートを示す。図１に示すように、本実施形態の画像認識装置１００は、画像取得手段１１１、領域指定手段１２１、画像特徴選択手段１３１、認識手段１４１を主要な構成要素として含む。画像取得手段１１１は、領域指定手段１２１に接続されている。領域指定手段１２１は、領域指定情報データベース１２２に接続されている。画像特徴選択手段１３１は、画像特徴抽出データベース１３２に接続されている。認識手段１４１は、判断基準情報データベース１４２に接続されている。本実施形態の画像認識装置は、任意の構成部材として出力手段１５１を備えていることも好ましい。
　図１において、画像取得手段１１１、領域指定手段１２１、画像特徴選択手段１３１および認識手段１４１の各構成要素は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。画像認識装置１００の各構成要素は、任意のコンピュータの中央処理装置（ＣＰＵ）、メモリ、メモリにロードされた本図の構成要素を実現するプログラム、そのプログラムを格納するランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク、フロッピー（登録商標）ディスク（ＦＤ）等などの記憶ユニット、ネットワーク接続用インターフェイスを中心にハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置には様々な変形例がある。領域指定情報データベース１２２、画像特徴抽出データベース１３２および判断基準情報データベース１４２は、装置内蔵型であってもよいし、外部記憶装置のような外付け型であってもよい。また、前記各データベースは、前記ネットワーク接続用インターフェイスを介したネットワーク上のサーバに格納されていてもよい。前記出力手段としては、例えば、映像により出力するモニター（例えば、液晶ディスプレイ（ＬＣＤ）、ブラウン管（ＣＲＴ）ディスプレイ等の各種画像表示装置等）、印刷により出力するプリンター等があげられる。
　本実施形態の画像認識方法は、図１の画像認識装置を用いて、図２のフローチャートに示すように、以下のステップを実施する。
　まず、画像取得手段１１１により、画像情報を取得する（ステップＳ１１）。画像取得手段１１１としては、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）カメラ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラ、イメージスキャナ等があげられる。
　つぎに、領域指定手段１２１により、前記画像情報において画像認識する領域を予め作成した領域指定情報データベース１２２を参照して、前記画像情報から予め設定された画像認識の対象となる領域を指定する（ステップＳ２１）。領域指定情報データベース１２２は、画像認識方法の実施に先立ち、領域を任意に指定したデータから作成される。
　つぎに、画像特徴選択手段１３１により、画像特徴抽出データベース１３２を参照して、領域指定手段１２１で指定された画像領域における複数の画像特徴のうち、予め登録された属性登録情報について決定される、属性判断に適した画像特徴を選択する（ステップＳ３１）。前記画像特徴としては、画像内の平均輝度、画像内の色の情報（Ｒ、Ｇ、Ｂなど）、エッジの種類等があげられる。例えば、画像認識によって判断される属性が、照明のｏｎ／ｏｆｆである場合、属性登録情報として、照明がｏｎの画像および照明がｏｆｆの画像を予め登録しておく。属性登録情報の各画像は、画像毎に複数の画像特徴を有している。例えば、照明がｏｎの画像から、明るさ（輝度、照度）、色、エッジの種類等を画像特徴として抽出したとする。照明がｏｆｆの画像についても、同様の画像特徴が抽出される。これらの複数の画像特徴のうち、照明ｏｎ／ｏｆｆの属性の判断には、明るさ（輝度、照度）が適していると判断する場合、前記属性判断に適した画像特徴としては、明るさ（輝度、照度）が選択される。また、例えば、信号機の画像から、属性として、信号の表示が赤／黄／青のいずれであるかを認識したい場合には、前記属性判断に適した画像特徴として、色（例えば、色度座標における値）を選択するとよい。なお、属性登録情報として登録される画像の数は、限定されない。例えば、画像認識によって判断される属性が、照明のｏｎ／ｎｕｌｌである場合、属性登録情報として用いられる画像は、照明がｏｎの画像１枚である。
　前記画像特徴の選択においては、複数の画像特徴から、前記属性登録情報間における相違量が最も大きいものを選択することが好ましい。例えば、ｏｎ／ｏｆｆの属性の判断を画像認識により行う場合、色およびエッジの種類の画像特徴については、ｏｎ／ｏｆｆ間で大きな差は見られない。しかし、明るさ（輝度、照度）については、相違量が大きくなる。このとき、画像特徴選択手段１３１は、相違量が最も大きい画像特徴として、明るさ（輝度、照度）を選択することが好ましい。前記選択は、前記相違量が最も大きいものを自動選択する手段を用いてもよいし、どの画像特徴を選択するかを予め指定しておいてもよい。
　前記相違量は、前記属性登録情報の画像特徴を数値化し、前記属性登録情報間での数値の差分をとってもよいし、比率をとってもよい。相違量が大きい画像特徴を選択することにより、指定された領域の属性を、より高精度に判断することが可能となる。
　また、前記画像特徴の選択においては、複数の画像特徴について、前記属性登録情報間における相違量の大きさに応じて、重み付けをすることも好ましい。特に、認識の対象である属性が、赤／黄／青のように多段階である場合には、単一の画像特徴において、各段階に応じた相違量を有するとは限らない。このような場合には、前記属性登録情報に応じて重み付けをした複数の画像特徴を選択するとよい。認識の対象である属性が、ｏｎ／ｏｆｆのように２段階の場合も、前記属性登録情報に応じて重み付けをした複数の画像特徴を選択することで、指定された領域の属性を、より高精度に判断することが可能となる。前記相違量は、前記属性登録情報の画像特徴を数値化し、前記属性登録情報間での数値の差分をとってもよいし、比率をとってもよい。
　つぎに、認識手段１４１により、判断基準情報データベース１４２を参照して、画像特徴選択手段１３１で選択された画像特徴から、前記画像領域の属性を認識する（ステップＳ４１）。認識手段１４１により、例えば、照明がｏｎ／ｏｆｆのいずれであるか、信号の表示が赤／黄／青のいずれであるかが画像認識される。属性判断のしきい値は、自動で決定されてもよいし、予め指定しておいてもよい。
　つぎに、出力手段１５１により、画像の認識結果を出力する（ステップＳ５１）。なお、出力工程Ｓ５１は、任意の工程であり、本発明の画像認識方法に含まれていなくてもよいが、含まれていることが好ましい。
　なお、本発明において、画像取得手段１１１は、画像認識を行いたい領域の画像取得ができるものであればよく、既存の監視カメラや防犯カメラ等の、別の目的で設置された画像取得手段を使用することができる。
　本実施形態における画像認識について、図３および図４を用いて、さらに具体的に説明する。図３は、本発明の画像認識装置１００を備えた室内の状態を示す図である。室内には、画像取得手段として監視カメラ１０が設置されており、前記室内を広範囲で撮像できるようになっている。前記室内には、室内灯２０が設置されており、この室内灯２０のｏｎ／ｏｆｆを画像認識により検知する場合を以下に説明する。
　図３（ａ）は、室内灯２０がｏｎ状態の室内を示す図である。図３（ｂ）は、室内灯２０がｏｆｆ状態の室内を示す図である。監視カメラ１０から放射状に広がる形状に囲んだ線の内部は、監視カメラ１０の画像取得範囲（空間）を示している。前記画像取得範囲のうち、室内灯２０を含む画像領域Ｓ１を指定しておき、図３（ａ）および図３（ｂ）での状態での前記指定された画像領域Ｓ１のデータを、属性登録情報として画像特徴抽出データベース１３２に登録しておく。各属性登録情報間では、画像特徴のうち、画像中の画素の輝度値の差が大きいため、室内灯２０のｏｎ／ｏｆｆの判断においては、属性判断のための画像特徴としては画素の輝度値が選択される。そして、認識手段１４１においては、画像領域Ｓ１の画素の平均輝度値データからｏｎ／ｏｆｆのいずれの属性であるかを判断し、認識する。例えば、ｏｎの属性登録情報の画像から認識される前記平均輝度値が２３０であり、ｏｆｆの属性登録情報の画像から認識される前記平均輝度値が５０である場合、判断基準情報データベース１４２には、「ｏｆｆ：１５０未満、ｏｎ：１５０以上」とのデータを登録しておく。そうすると、ある時点における画像領域Ｓ１の前記平均輝度値が、１８０と認識された場合、前記登録データを参照して画像領域Ｓ１における室内灯２０のｏｎ／ｏｆｆを判断し、「室内灯はｏｎ」であることが画像認識により検知できる。
　なお、「室内灯はｏｎ」との検知がされた場合であって、監視カメラ１０によって得られる画像から、室内に人がいないことが認識された場合、室内灯のｏｎ／ｏｆｆ認識結果と、人の存在有無の認識結果を統合する手段を設けておき、統合された認識結果に応じて、出力手段１５１からアラームを出力することもできる。この場合、人がいないにもかかわらず、点灯している場合には、アラームを出力し、消灯を喚起させることができる。
　また、例えば、室内のレイアウトにより、室内灯２０自体に太陽光等の外光が当たる場合がある。このような状況では、室内灯２０が点灯していない状態であっても画像領域Ｓ１から認識される平均輝度値が大きくなってしまうことがある。この場合、画像領域として、室内灯２０自体を含む領域を指定せずに、室内灯の光は照射されるが、外光は当たらない領域を、前記画像領域として指定してもよい。
　また、認識手段１４１が、画像取得手段１１１で取得された画像情報の環境情報を加えて、前記画像領域の属性を認識することもできる。例えば、属性登録情報として登録されたデータを取得したときの環境と、画像認識を行うときの環境とが異なる場合、属性の認識精度が低下する場合が想定される。一例として、前記データ取得時が昼間であり、画像認識実行時が夜間である場合があげられる。この場合、環境情報は、前記指定された領域以外の画像情報（ステップＳ１１で得られた画像情報）の領域も、画像認識を行うことで、環境情報を得ることができる。前記環境情報を加えることで、より高精度に、前記画像領域の属性を認識することが可能となる。
　図４は、本発明の画像認識装置１００を備えた駐車場内の状態を示す図である。駐車場内には、画像取得手段として監視カメラ１０が設置されており、前記駐車場内を広範囲で撮像できるようになっている。前記駐車場内には、複数の駐車スペースが設置されており、この駐車場内の車両の駐車状況（車両の有無）を画像認識により検知する場合を以下に説明する。
　図４（ａ）は、駐車スペースＡに車両３０が駐車している状態を示す図である。図４（ｂ）は、駐車スペースＡが空いている状態を示す図である。監視カメラ１０から放射状に広がる形状に囲んだ線の内部は、監視カメラ１０の画像取得範囲（空間）を示している。前記画像取得範囲のうち、駐車スペースＡを含む画像領域ＳＡを指定しておき、図４（ａ）および図４（ｂ）の状態での前記指定された画像領域ＳＡのデータを、属性登録情報として画像特徴抽出データベース１３２に登録しておく。各属性登録情報間では、画像特徴のうち、色の相違が大きくなる。そこで、駐車スペースＡの駐車車両の有無の判断においては、属性判断のための画像特徴としては色が選択される。そして、認識手段１４１においては、画像領域ＳＡの色度データから車両有／車両無のいずれの属性であるかを判断し、認識する。そして、判断基準情報データベース１４２には、例えば、「車両無：駐車場床面の色付近の色度範囲、車両有：前記色度範囲以外の色度」とのデータが自動登録される。そうすると、ある時点における画像領域ＳＡ内の色度データが取得されると、前記登録データを参照して画像領域ＳＡ（駐車スペースＡ）における車両の有無を認識することができる。
　駐車スペースＡにおける車両の有無の認識結果は、出力手段１５１から画像として出力して、駐車場空き状況の表示をすることができる。従来のチケット発券方式の駐車場では、チケット発券枚数と駐車スペース数との関係から、駐車場の空き状況の把握をする場合があるが、例えば、一台の車両が複数のスペースにまたがるように駐車されているような場合であると、計算上は空きスペースがあるにもかかわらず、実際には駐車することができないという状況が起こり得る。しかし、本発明の画像認識装置を使用した本実施形態の駐車場の場合、駐車スペースの車両の有無自体を認識することができるので、前記のような問題は解消することができる。すなわち、本実施形態の画像認識装置によると、精度の高い空き状況表示をすることが可能となる。
　また、前記画像取得範囲から、複数の画像領域を指定して、それぞれについて画像認識をすることが可能である。図５（ａ）は、複数の駐車スペースに車両が駐車している状態を示す図である。例えば、画像取得範囲のうち、駐車スペースＡを含む画像領域ＳＡ、駐車スペースＢを含む画像領域ＳＢ、駐車スペースＣを含む画像領域ＳＣというように、任意の数の駐車スペースについて画像領域を指定することができる。同図においては、駐車スペースＡ～Ｆに対応する画像領域ＳＡ～ＳＦを示している。そして、前記と同様の方法によって、各画像領域(駐車スペース)について、車両の有無を認識することができる。この場合、属性登録情報は、一つの領域（例えば画像領域ＳＡ）について登録したものをコピーして、他の領域について使用してもよいし、領域ごとに個別に登録してもよい。駐車場内で部分的に日当たりのよい場所や影になる場所がある場合には、個別に登録しておくことで、より精度の高い認識をすることが可能となる。
　前記のように複数の画像領域について認識した結果は、画像領域ごとに個別に出力することもできるし、統合した結果を出力することもできる。前記駐車場の場合、例えば、全駐車スペースに対する駐車状況として、「１００台中６５台の駐車」、「駐車率６５％」との出力をすることができる。また、図５（ｂ）では、車両有と認識された画像領域に斜線を付して示している。このように、領域指定された画像データとして駐車状況を認識することができるので、駐車パターンを判断し、駐車場に入場してきた車両を、空きスペースに誘導することも可能である。
［実施形態２］
　図６に、本実施形態における画像認識装置のブロック図を示す。また、図７に、本実施形態における画像認識方法のフローチャートを示す。本実施形態は、各データベースへの画像の登録工程を有するものである。図６に示すように、本実施形態の画像認識装置２００は、前記実施形態１に、さらに、登録領域指定手段２６１、登録画像特徴抽出手段２６２、属性取得手段２６３、属性対応付手段２６４を含む。登録領域指定手段２６１は、領域指定情報データベース１２２に接続されている。登録画像特徴抽出手段２６２、属性取得手段２６３、属性対応付手段２６４は、それぞれ、画像特徴抽出データベース１３２に接続されている。なお、図６では、登録領域指定手段２６１は、認識用画像の取得手段である画像取得手段１１１に接続されているが、これに限られず、別の画像取得手段と接続されていてもよい。
　本実施形態の画像認識方法は、図６の画像認識装置を用いて、図７のフローチャートに示すように実施する。まず、画像取得手段１１１により、登録用画像が取得され（ステップＳ６１）、登録領域指定手段２６１により、前記取得された登録用画像情報における特定の領域が指定され、前記指定された特定領域が領域指定情報データベース１２２に格納される（ステップＳ７１）。ここで、画像取得工程（登録用）（ステップＳ６１）における画像取得手段は、認識用画像の画像取得手段１１１と異なっていてもよい。次に、登録画像特徴抽出手段２６２により、前記指定された特定領域内の画像特徴が抽出され、前記画像特徴が画像特徴抽出データベース１３２に格納される（ステップＳ８１）。次に、属性取得手段２６３により、前記指定された特定領域内の画像の属性が取得される（ステップＳ９１）。次に、属性対応付手段２６４により、前記画像特徴と前記属性とが対応付けされ、前記対応付けされた属性登録情報が画像特徴抽出データベース１３２に格納される（ステップＳ１０１）。
　本実施形態において、領域指定工程（ステップＳ２１）では、領域指定情報データベース１２２を参照して、画像取得手段１１１で取得された認識用画像情報から、前記指定された画像領域が指定される。そして、画像特徴選択工程（ステップＳ３１）では、前記指定された画像領域における複数の画像特徴のうち、画像特徴抽出データベース１３２を参照して、前記属性登録情報について決定される、属性判断に適した画像特徴が選択される。その他は、前記実施形態１と同様である。
［実施形態３］
　実施形態３は、前記認識手段により、属性を誤って判断された、あるいは、属性の認識不可と判断された場合に、正しいデータを追加登録することで、さらに認識精度を向上させることのできる画像認識装置および画像認識方法の態様である。図８に、本実施形態における画像認識装置のブロック図を示す。また、図９に、本実施形態における画像認識方法のフローチャートを示す。図８に示すように、本実施形態の画像認識装置３００は、さらに、更新手段３６１を含んでいる点を除いて、実施形態１に係る画像認識装置１００と同様の構成である。実施形態３において、更新手段３６１は、領域指定情報データベース１２２、画像特徴抽出データベース１３２および判断基準情報データベース１４２に接続されている。なお、実施形態３の画像認識装置３００は、出力手段１５１を備えているが、出力手段１５１は任意の構成部材である。
　実施形態３における画像認識方法は、図８の画像認識装置を用いて、図９のフローチャートに示すように実施する。画像領域の属性は、認識工程（ステップＳ４１）で認識され、認識結果が出力工程（ステップＳ５１）で出力される。この出力された結果が、属性が誤って判断された、あるいは、属性が認識不可と判断された場合、これらの判断がされた画像および属性のセットが登録される。前記判断は、ユーザが行ってもよいし、プログラムにより自動的に行ってもよい。更新手段３６１は、前記画像および属性のセットが登録されると、前記各データベースを更新する（ステップＳ１１１）。その後の画像認識においては、前記更新後の各データベースを参照して、各工程が行われる。
　本実施形態によっても、実施形態１と同様の効果を得ることができる。また、更新手段３６１を用いて前記各データベースの更新が可能であるため、画像領域の属性をさらに精度よく認識できる。なお、本実施形態では、実施形態１に係る画像認識装置１００が、さらに更新手段３６１を含む構成を説明したが、本発明はこれに限られず、実施形態２に係る画像認識装置２００が、さらに更新手段３６１を含んでもよい。
［実施形態４］
　本実施形態のプログラムは、前述の画像認識方法を、コンピュータ上で実行可能なプログラムである。本実施形態のプログラムは、例えば、記録媒体に記録されてもよい。前記記録媒体としては、特に限定されず、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。
［実施形態５］
　図１０に、本発明の画像認識装置を用いた画像認識システムの一例の構成を示す。図１０に示すとおり、この画像認識システムは、画像取得手段１１１Ａ、１１１Ｂ、１１１Ｃと、出力手段１５１Ａ、１５１Ｂ、１５１Ｃと、通信インターフェイス１７０Ａ、１７０Ｂ、１７０Ｃと、サーバ１９０とを備える。画像取得手段１１１Ａおよび出力手段１５１Ａは、通信インターフェイス１７０Ａに接続されている。画像取得手段１１１Ａ、出力手段１５１Ａおよび通信インターフェイス１７０Ａは、場所Ｘに設置されている。画像取得手段１１１Ｂおよび出力手段１５１Ｂは、通信インターフェイス１７０Ｂに接続されている。画像取得手段１１１Ｂ、出力手段１５１Ｂおよび通信インターフェイス１７０Ｂは、場所Ｙに設置されている。画像取得手段１１１Ｃおよび出力手段１５１Ｃは、通信インターフェイス１７０Ｃに接続されている。画像取得手段１１１Ｃ、出力手段１５１Ｃおよび通信インターフェイス１７０Ｃは、場所Ｚに設置されている。そして、通信インターフェイス１７０Ａ、１７０Ｂ、１７０Ｃと、サーバ１９０とが、回線網１８０を介して接続されている。
　この画像認識システムでは、例えば、サーバ１９０側に、前記領域指定手段、前記画像特徴選択手段および前記認識手段を有し、サーバ１９０に領域指定情報データベース、画像特徴抽出データベースおよび判断基準情報データベースが格納される。例えば、画像取得手段１１１Ａを用いて取得された認識対象データを、サーバ１９０に送信し、サーバ１９０側で、属性を判断することができる。また、前記判断された属性を、出力手段１５１Ａにより出力することができる。
　本実施形態の画像認識システムによれば、画像取得手段および出力手段を現場に設置し、サーバ等は他の場所に設置して、オンラインによる画像の認識が可能である。そのため、例えば、装置の設置に場所を取ることがなく、メンテナンスも容易である。また、例えば、各設置場所が離れている場合であっても、一箇所での集中管理または遠隔操作が可能となる。さらに、設置場所ごとに環境が異なる場合であっても、設置場所ごとに環境設定を行ったりすることなく、集中管理が可能である。また、サーバ１９０側に更新手段を有していると、サーバ１９０側で誤って判断された画像領域およびその属性のデータや、認識不可と判断された画像領域およびその属性のデータを追加したり更新したりすることができる。したがって、各設置場所におけるデータ傾向の調整を個別に行うことなく、常に最新のデータに基づいた画像認識をすることが可能となる。本実施形態の画像認識システムは、例えば、クラウドコンピューティングに対応したものであってもよい。なお、本発明は、前記の実施形態の態様に限定されず、サーバ１９０側に有する手段を適宜選択することが可能である。
　以上、実施形態を参照して本願発明を説明したが、本願発明は、上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解しうる様々な変更をすることができる。
　この出願は、２０１１年１２月２８日に出願された日本出願特願２０１１－２８９１９９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明によれば、監視カメラ等の画像から、特定の領域についての属性を高精度に認識することが可能な画像認識装置、画像認識方法、プログラム、記録媒体および画像認識システムを提供できる。その結果、例えば、新たなセンサーや新たな画像取得手段を設けることなく、既存の監視カメラ等を利用して画像の認識ができ、本発明は、幅広い用途に適用できる。例えば、人物検知と信号の状態（色）の認識とにより、赤信号時の横断警告を行ったり、扉の状態の画像や扉の外の使用中ランプ画像の認識により、トイレや会議室等の使用状態を把握すること等も可能となる。
１００、２００、３００　　画像認識装置
１１１、１１１Ａ、１１１Ｂ、１１１Ｃ　　画像取得手段
１２１　　領域指定手段
１２２　　領域指定情報データベース（ＤＢ）
１３１　　画像特徴選択手段
１３２　　画像特徴抽出データベース（ＤＢ）
１４１　　認識手段
１４２　　判断基準情報データベース（ＤＢ）
１５１、１５１Ａ、１５１Ｂ、１５１Ｃ　　出力手段
２６１　　登録領域指定手段
２６２　　登録画像特徴抽出手段
２６３　　属性取得手段
２６４　　属性対応付手段
３６１　　更新手段
１７０Ａ、１７０Ｂ、１７０Ｃ　　通信インターフェイス
１８０　　回線網
１９０　　サーバ
 
１０　　監視カメラ
２０　　室内灯
３０　　車両
Ａ～Ｆ　　駐車スペース
Ｓ１、ＳＡ～ＳＦ　　画像領域
 

Claims (24)

  1. 画像情報を取得する画像取得手段と、
    前記画像取得手段で取得された画像情報において、予め設定された画像領域を指定する領域指定手段と、
    前記指定された画像領域における複数の画像特徴のうち、予め登録された属性登録情報について決定される、属性判断に適した画像特徴を選択する画像特徴選択手段と、
    前記選択された画像特徴から、前記画像領域の属性を認識する認識手段とを含むことを特徴とする画像認識装置。
  2. さらに、登録用画像情報における特定の領域を指定し、前記指定された特定領域を領域指定情報データベースに格納する登録領域指定手段と、
    前記指定された特定領域内の画像特徴を抽出し、前記画像特徴を画像特徴抽出データベースに格納する登録画像特徴抽出手段と、
    前記指定された特定領域内の画像の属性を取得する属性取得手段と、
    前記画像特徴と前記属性とを対応付けし、前記対応付けされた属性登録情報を前記画像特徴抽出データベースに格納する属性対応付手段とを含み、
    前記領域指定手段は、前記領域指定情報データベースを参照して、前記画像取得手段で取得された認識用画像情報から、前記指定された画像領域を指定する手段であり、
    前記画像特徴選択手段は、前記指定された画像領域における複数の画像特徴のうち、前記画像特徴抽出データベースを参照して、前記属性登録情報について決定される、属性判断に適した画像特徴を選択する手段であることを特徴とする、請求項１記載の画像認識装置。
  3. 前記属性登録情報を複数有しており、
    前記画像特徴選択手段が、前記複数の画像特徴から、前記複数の属性登録情報間における相違量が最も大きいものを選択することを特徴とする、請求項１または２記載の画像認識装置。
  4. 前記属性登録情報を複数有しており、
    前記画像特徴選択手段が、前記複数の画像特徴について、前記複数の属性登録情報間における相違量の大きさに応じて重み付けをすることを特徴とする、請求項１または２記載の画像認識装置。
  5. 前記相違量が、前記複数の属性登録情報間の差分または比率であることを特徴とする、請求項３または４記載の画像認識装置。
  6. 前記領域指定手段が、複数の画像領域を指定し、
    前記認識手段が、前記指定された複数の画像領域のそれぞれについての属性を認識することを特徴とする、請求項１から５のいずれか一項に記載の画像認識装置。
  7. さらに、前記画像領域の属性の認識結果を出力する出力手段を含むことを特徴とする、請求項１から６のいずれか一項に記載の画像認識装置。
  8. さらに、前記認識手段により属性を誤って判断された画像領域および前記画像領域の属性を、前記属性登録情報に追加して更新する更新手段を含むことを特徴とする、請求項１から７のいずれか一項に記載の画像認識装置。
  9. さらに、前記認識手段により認識不可と判断された画像領域および前記画像領域の属性を、前記属性登録情報に追加して更新する更新手段を含むことを特徴とする、請求項１から７のいずれか一項に記載の画像認識装置。
  10. 前記認識手段が、前記画像取得手段で取得された画像情報の環境情報を加えて、前記画像領域の属性を認識することを特徴とする、請求項１から９のいずれか一項に記載の画像認識装置。
  11. 画像情報を取得する画像取得工程と、
    前記画像取得工程において取得した画像情報において、予め設定された画像領域を指定する領域指定工程と、
    前記指定した画像領域における複数の画像特徴のうち、予め登録された属性登録情報について決定される、属性判断に適した画像特徴を選択する画像特徴選択工程と、
    前記選択した画像特徴から、前記画像領域の属性を認識する認識工程とを含むことを特徴とする画像認識方法。
  12. さらに、登録用画像情報における特定の領域を指定し、前記指定された特定領域を領域指定情報データベースに格納する登録領域指定工程と、
    前記指定された特定領域内の画像特徴を抽出し、前記画像特徴を画像特徴抽出データベースに格納する登録画像特徴抽出工程と、
    前記指定された特定領域内の画像の属性を取得する属性取得工程と、
    前記画像特徴と前記属性とを対応付けし、前記対応付けされた属性登録情報を前記画像特徴抽出データベースに格納する属性対応付工程とを含み、
    前記領域指定工程において、前記領域指定情報データベースを参照して、前記画像取得工程において取得した認識用画像情報から、前記指定された画像領域を指定し、
    前記画像特徴選択工程において、前記指定された画像領域における複数の画像特徴のうち、前記画像特徴抽出データベースを参照して、前記属性登録情報について決定される、属性判断に適した画像特徴を選択することを特徴とする、請求項１１記載の画像認識方法。
  13. 前記属性登録情報を複数有しており、
    前記画像特徴選択工程において、前記複数の画像特徴から、前記複数の属性登録情報間における相違量が最も大きいものを選択することを特徴とする、請求項１１または１２記載の画像認識方法。
  14. 前記属性登録情報を複数有しており、
    前記画像特徴選択工程において、前記複数の画像特徴について、前記複数の属性登録情報間における相違量の大きさに応じて重み付けをすることを特徴とする、請求項１１または１２記載の画像認識方法。
  15. 前記相違量が、前記複数の属性登録情報間の差分または比率であることを特徴とする、請求項１３または１４記載の画像認識方法。
  16. 前記領域指定工程において、複数の画像領域を指定し、
    前記認識工程において、前記指定された複数の画像領域のそれぞれについての属性を認識することを特徴とする、請求項１１から１５のいずれか一項に記載の画像認識方法。
  17. さらに、前記画像領域の属性の認識結果を出力する出力工程を含むことを特徴とする、請求項１１から１６のいずれか一項に記載の画像認識方法。
  18. さらに、前記認識工程において属性を誤って判断された画像領域および前記画像領域の属性を、前記属性登録情報に追加して更新する更新工程を含むことを特徴とする、請求項１１から１７のいずれか一項に記載の画像認識方法。
  19. さらに、前記認識工程において認識不可と判断された画像領域および前記画像領域の属性を、前記属性登録情報に追加して更新する更新工程を含むことを特徴とする、請求項１１から１７のいずれか一項に記載の画像認識方法。
  20. 前記認識工程において、前記画像取得工程において取得した画像情報の環境情報を加えて、前記画像領域の属性を認識することを特徴とする、請求項１１から１９のいずれか一項に記載の画像認識方法。
  21. 請求項１１から２０のいずれか一項に記載の画像認識方法をコンピュータに実行させることを特徴とするプログラム。
  22. 請求項２１記載のプログラムを記録していることを特徴とする記録媒体。
  23. 画像情報を取得する画像取得手段と、
    前記画像取得手段で取得された画像情報において、予め設定された画像領域を指定する領域指定手段と、
    前記指定された画像領域における複数の画像特徴のうち、予め登録された属性登録情報について決定される、属性判断に適した画像特徴を選択する画像特徴選択手段と、
    前記選択された画像特徴から、前記画像領域の属性を認識する認識手段と、
    前記画像領域の属性の認識結果を出力する出力手段とを含み、
    前記画像取得手段および前記出力手段が、通信回線網を介して、サーバと接続され、
    前記サーバ側に、前記領域指定手段、前記画像特徴選択手段および前記認識手段を有していることを特徴とする画像認識システム。
  24. さらに、前記認識手段により、属性を誤って判断または認識不可と判断された画像領域および前記画像領域の属性を、前記属性登録情報に追加して更新する更新手段を含み、
    前記サーバ側に、さらに前記更新手段を有していることを特徴とする、請求項２３記載の画像認識システム。
     
PCT/JP2012/073486 2011-12-28 2012-09-13 画像認識装置、画像認識方法、プログラム、記録媒体および画像認識システム WO2013099368A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-289199 2011-12-28
JP2011289199 2011-12-28

Publications (1)

Publication Number Publication Date
WO2013099368A1 true WO2013099368A1 (ja) 2013-07-04

Family

ID=48696875

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/073486 WO2013099368A1 (ja) 2011-12-28 2012-09-13 画像認識装置、画像認識方法、プログラム、記録媒体および画像認識システム

Country Status (1)

Country Link
WO (1) WO2013099368A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463877A (zh) * 2014-12-12 2015-03-25 武汉理工大学 一种基于雷达影像与电子海图信息的岸线配准方法
CN104881568A (zh) * 2015-04-27 2015-09-02 苏州敏宇医疗科技有限公司 一种基于云计算的肿瘤治疗疗效早期评价的系统和方法
JP2019109843A (ja) * 2017-12-20 2019-07-04 コニカミノルタ株式会社 分類装置、分類方法、属性認識装置、及び機械学習装置
CN111666792A (zh) * 2019-03-07 2020-09-15 阿里巴巴集团控股有限公司 图像识别方法、图像采集和识别方法以及商品识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010231254A (ja) * 2009-03-25 2010-10-14 Fujifilm Corp 画像解析装置、画像解析方法およびプログラム
JP2011060024A (ja) * 2009-09-10 2011-03-24 Toshiba Corp 画像認識処理に適用する特徴情報選択装置及び画像認識処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010231254A (ja) * 2009-03-25 2010-10-14 Fujifilm Corp 画像解析装置、画像解析方法およびプログラム
JP2011060024A (ja) * 2009-09-10 2011-03-24 Toshiba Corp 画像認識処理に適用する特徴情報選択装置及び画像認識処理装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463877A (zh) * 2014-12-12 2015-03-25 武汉理工大学 一种基于雷达影像与电子海图信息的岸线配准方法
CN104463877B (zh) * 2014-12-12 2017-07-11 武汉理工大学 一种基于雷达影像与电子海图信息的岸线配准方法
CN104881568A (zh) * 2015-04-27 2015-09-02 苏州敏宇医疗科技有限公司 一种基于云计算的肿瘤治疗疗效早期评价的系统和方法
JP2019109843A (ja) * 2017-12-20 2019-07-04 コニカミノルタ株式会社 分類装置、分類方法、属性認識装置、及び機械学習装置
CN111666792A (zh) * 2019-03-07 2020-09-15 阿里巴巴集团控股有限公司 图像识别方法、图像采集和识别方法以及商品识别方法
CN111666792B (zh) * 2019-03-07 2023-04-28 阿里巴巴集团控股有限公司 图像识别方法、图像采集和识别方法以及商品识别方法

Similar Documents

Publication Publication Date Title
CN108846335B (zh) 基于视频图像的智慧工地区域管理及入侵检测方法、系统
CN107978157B (zh) 车辆管理方法、装置及计算机可读存储介质
WO2022110049A1 (zh) 一种导航方法、装置和系统
CN105809710B (zh) 检测运动目标的系统和方法
US10447975B2 (en) CCTV automatic selection monitoring system, and CCTV automatic selection monitoring management server and management method
US9405986B2 (en) Apparatus and method for recognizing objects using filter information
KR101822924B1 (ko) 영상기반 화재 감지 시스템, 방법 및 프로그램
CN105390021A (zh) 车位状态的检测方法及装置
JP2013218679A (ja) 短時間の駐車違反を取り締まるための、ビデオベースの検知装置及び通知装置
WO2013099368A1 (ja) 画像認識装置、画像認識方法、プログラム、記録媒体および画像認識システム
US20240010093A1 (en) Systems and methods for identifying characteristics of electric vehicles
US20190042869A1 (en) Image processing apparatus and control method therefor
CN106127292A (zh) 流量计数方法和设备
CN109887137A (zh) 一种起落杆的控制方法及装置
KR101454644B1 (ko) 보행자 추적기를 이용한 서성거림을 탐지하는 방법
US10922554B2 (en) Electronic apparatus and control method thereof
CN110217658B (zh) 用于确定电梯的建筑物层站参考的层站识别系统
CN105225522A (zh) 停车位检测终端、系统及检测方法
CN108564076B (zh) 一种智能建筑物内电力布线中可视化控制系统
KR100951474B1 (ko) 횡단보도 신호대기 보행자를 자동 감지하여교통신호제어기를 운영하는 방법 및 그 시스템
JP5562473B1 (ja) 航空障害灯の故障検出システム及び故障検出方法
JP7146416B2 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
KR102345656B1 (ko) 주차면 만공차 감지 및 안내 시스템
CN111567060B (zh) 质量检查装置、质量检查方法及程序
US20220309763A1 (en) Method for identifying traffic light, device, cloud control platform and vehicle-road coordination system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12862938

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12862938

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP