WO2018012084A1 - 画像認識システム - Google Patents

画像認識システム Download PDF

Info

Publication number
WO2018012084A1
WO2018012084A1 PCT/JP2017/016516 JP2017016516W WO2018012084A1 WO 2018012084 A1 WO2018012084 A1 WO 2018012084A1 JP 2017016516 W JP2017016516 W JP 2017016516W WO 2018012084 A1 WO2018012084 A1 WO 2018012084A1
Authority
WO
WIPO (PCT)
Prior art keywords
computer
recognition
image
image recognition
recognition system
Prior art date
Application number
PCT/JP2017/016516
Other languages
English (en)
French (fr)
Inventor
敦志 高畑
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to EP17827218.3A priority Critical patent/EP3428878A4/en
Priority to US16/088,472 priority patent/US10853964B2/en
Publication of WO2018012084A1 publication Critical patent/WO2018012084A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/242—Division of the character sequences into groups prior to recognition; Selection of dictionaries

Definitions

  • This disclosure relates to an image recognition system.
  • This disclosure provides an image recognition system that facilitates the thermal design and physical layout of the housing.
  • the image recognition system includes a first computer, a second computer, and a communication path provided between the first computer and the second computer.
  • the first computer detects the recognition target from the image data using the detection parameter group.
  • the second computer identifies the recognition target detected by the first computer.
  • the first computer and the second computer are physically separated from each other.
  • the detection parameter group is used for the image recognition processing of the image data and is included in the recognition parameter group that is dynamically changed.
  • FIG. 1 is a diagram illustrating a configuration of an image recognition system according to the first embodiment.
  • FIG. 2A is a diagram illustrating an example of a communication path realized by the full-duplex communication method.
  • FIG. 2B is a diagram illustrating another example of a communication path realized by the full-duplex communication method.
  • FIG. 2C is a diagram illustrating an example of a communication path realized by the half-duplex communication method.
  • FIG. 3A is a flowchart showing processing of the image recognition system according to Embodiment 1.
  • FIG. 3B is a diagram illustrating an example of recognition target detection processing in image recognition processing.
  • FIG. 3C is a diagram illustrating an example of recognition target identification processing in image recognition processing.
  • FIG. 4A is a diagram illustrating an example of an image including a recognition target of the image recognition system.
  • FIG. 4B is a diagram illustrating an example of setting a detection area using a detection parameter group.
  • FIG. 4C is a diagram illustrating an example of a detection parameter group.
  • FIG. 4D is a diagram illustrating an example of feature points to be recognized.
  • FIG. 5 is a diagram illustrating a communication flow between the first computer and the second computer.
  • FIG. 6 is an explanatory diagram of image recognition processing of the image recognition system according to the first embodiment.
  • FIG. 7 is a graph showing the relationship between the recognition rate of the recognition target and the installed memory size.
  • FIG. 8 is a diagram illustrating an example of a neural network used for deep learning.
  • FIG. 8 is a diagram illustrating an example of a neural network used for deep learning.
  • FIG. 9 is a diagram illustrating an image recognition system according to the third embodiment.
  • FIG. 10 is a diagram illustrating an image recognition system according to the fourth embodiment.
  • FIG. 11 is a diagram illustrating an image recognition system according to the fifth embodiment.
  • FIG. 12A is a diagram illustrating an example of a vehicle equipped with an image recognition system.
  • FIG. 12B is a configuration diagram of an example of an image recognition system.
  • FIG. 12C is a configuration diagram of another example of the image recognition system.
  • FIG. 13 is a graph showing the relationship between the operating frequency of the computer and the recognition rate of the recognition target.
  • FIG. 12A shows an example of a vehicle 2002 equipped with an image recognition system.
  • the image recognition system implements an image recognition algorithm for recognizing recognition targets such as pedestrians and other vehicles.
  • the vehicle 2002 includes an in-vehicle camera 2001 and an electronic control unit (ECU) 2003 that processes input from the camera.
  • the in-vehicle camera 2001 and the ECU 2003 transmit and receive image data and control signals via the mutual communication path 2004.
  • FIG. 12B is a configuration diagram of an image recognition system 2000 that is an example of an image recognition system.
  • the in-vehicle camera 2001 and the ECU 2003 are disposed at physically separated positions.
  • the first image processing unit 2010 in the housing of the in-vehicle camera 2001 performs image processing on the image captured by the in-vehicle camera 2001.
  • the ECU 2003 inputs an image processing result from the in-vehicle camera 2001 via the mutual communication path 2004.
  • the recognition target detection unit 2006 included in the ECU 2003 detects the recognition target, and the recognition target identification unit 2007 identifies the recognition target while referring to the dictionary 2005, whereby the recognition target is recognized.
  • image recognition processing is performed by the ECU 2003.
  • FIG. 12C is a configuration diagram of an image recognition system 2000A that is another example of the image recognition system.
  • the in-vehicle camera 2001A and the ECU 2003A are disposed at physically separated positions.
  • the first image processing unit 2010 included in the in-vehicle camera 2001A performs image processing on the image captured by the in-vehicle camera 2001A.
  • the recognition target detection unit 2006 included in the in-vehicle camera 2001A detects the recognition target
  • the recognition target identification unit 2007 included in the in-vehicle camera 2001A identifies the recognition target while referring to the dictionary 2005, whereby the recognition target is recognized. .
  • the ECU 2003A inputs the recognized recognition target information together with the image data from the in-vehicle camera 2001A via the mutual communication path 2004.
  • the second image processing unit 2040 in the casing of the ECU 2003A performs image processing on the image data.
  • image recognition processing is performed by the in-vehicle camera 2001A.
  • FIG. 13 is a graph showing the relationship between the operating frequency of the computer and the recognition rate of the recognition target.
  • the processing performance of a computer increases by increasing the operating frequency of the computer, so that the recognition rate of the recognition target can be increased.
  • the amount of heat generated by the operation increases as the operating frequency increases.
  • the heat generated by the operation cannot be discharged sufficiently. Accordingly, when the image recognition processing means is mounted in the casing of the in-vehicle camera or ECU, it is difficult to design the casing, and it is difficult to mount the in-vehicle camera or ECU in the casing.
  • FIG. 1 is a diagram illustrating a configuration of an image recognition system 100 according to Embodiment 1 of the present disclosure.
  • the image recognition system 100 includes a first computer 101, a second computer 102, and a communication path 111.
  • the first computer 101 is an in-vehicle camera, for example.
  • the second computer 102 is an ECU, for example.
  • the first computer 101 is physically located away from the second computer 102.
  • the first computer 101 and the second computer 102 exist in separate casings, but may exist in the same casing.
  • the communication path 111 connects the first computer 101 and the second computer 102 so that they can communicate with each other.
  • the communication via the communication path 111 is, for example, wireless communication, but may be wired communication.
  • the first computer 101 includes a recognition target detection unit 103, a first transmission unit 105, a first reception unit 107, a first control unit 109, and a camera 115.
  • the recognition target detection unit 103 detects the recognition target from the image captured by the camera 115. In one example, the recognition target detection unit 103 detects a recognition target using a neural network described later.
  • the first transmission unit 105 transmits data to the second computer 102.
  • the transmitted data includes image data and feature point data related to a recognition target included in the image.
  • the first receiving unit 107 receives data from the second computer 102.
  • the received data includes a detection parameter group composed of parameters used for detection of a recognition target from an image among recognition parameter groups used for image recognition processing.
  • the first control unit 109 controls the operations of the first transmission unit 105, the first reception unit 107, and the camera 115.
  • the recognition target detection unit 103, the first transmission unit 105, the first reception unit 107, and the first control unit 109 are realized by, for example, hardware, each of which is a configuration requirement of the first computer 101. Alternatively, it may be realized by a program executed by the first computer 101.
  • the second computer 102 includes a recognition target identification unit 104, a second transmission unit 106, a second reception unit 108, a second control unit 110, and a storage unit 120.
  • the recognition target identification unit 104 identifies the recognition target from the image captured by the camera 115.
  • the recognition target identification unit 104 is image data captured by the camera 115 and is related to the image data received via the communication path 111 and the recognition target included in the image detected by the recognition target detection unit 103. Based on information such as feature point data, which is feature point data, a recognition target included in the image is identified.
  • the recognition target identifying unit 104 identifies a recognition target using a neural network described later.
  • the second transmission unit 106 transmits data to the first computer 101.
  • the transmitted data includes a detection parameter group.
  • the second receiving unit 108 receives data from the first computer 101.
  • the received data includes feature point data related to the recognition target.
  • the second control unit 110 controls operations of the recognition target identification unit 104, the second transmission unit 106, the second reception unit 108, and the storage unit 120.
  • the recognition target identification unit 104, the second transmission unit 106, the second reception unit 108, and the second control unit 110 are realized by, for example, hardware, each of which is a configuration requirement of the second computer 102. Alternatively, it may be realized by a program executed by the second computer 102.
  • the storage unit 120 stores information necessary for identifying the recognition target as a dictionary.
  • the storage unit 120 stores a dictionary 1006 described later with reference to FIG. 3C.
  • FIG. 2A shows an example of the communication path 111 realized by the full-duplex communication method.
  • the first transmission unit 105 of the first computer 101 is connected to the second reception unit 108 of the second computer 102.
  • the first reception unit 107 of the first computer 101 is connected to the second transmission unit 106 of the second computer 102.
  • the connection is two systems, but the first computer 101 and the second computer 102 can simultaneously perform transmission and reception, respectively.
  • FIG. 2B shows another example of the communication path 111 realized by the full-duplex communication method.
  • the first modem 3023 is connected to the first transmitter 105, the first receiver 107, and the second modem 3024.
  • the second modem 3024 is connected to the second transmitter 106, the second receiver 108, and the first modem 3023.
  • the first modem 3023 is provided, for example, inside the casing of the first computer 101
  • the second modem 3024 is provided, for example, inside the casing of the second computer 102.
  • bidirectional communication signals can be simultaneously transferred on a single bus by performing frequency division, for example. Therefore, the first computer 101 can simultaneously perform transmission 3027 and reception 3028, for example.
  • FIG. 2C shows an example of the communication path 111 realized by the half-duplex communication method.
  • the first switch 3003 is connected to the second switch 3004 and switches the connection destination of the second switch 3004 between the first transmission unit 105 and the first reception unit 107.
  • the second switch 3004 is connected to the first switch 3003 and switches the connection destination of the first switch 3003 between the second transmission unit 106 and the second reception unit 108.
  • the first switch 3003 is provided, for example, inside the casing of the first computer 101
  • the second switch 3004 is provided, for example, inside the casing of the second computer 102.
  • the first switch 3003 When transmitting data from the first computer 101, the first switch 3003 switches the connection destination to the first transmission unit 105, and the second switch 3004 switches the connection destination to the second reception unit 108.
  • the first switch 3003 When transmitting data from the second computer 102, the first switch 3003 switches the connection destination to the first reception unit 107, and the second switch 3004 switches the connection destination to the second transmission unit 106.
  • the half-duplex communication method it is possible to perform communication by switching between transmission and reception using a single bus, and it is impossible to perform transmission and reception at the same time.
  • the resources of the communication path 111 required for the half-duplex communication method are smaller than those for the full-duplex method.
  • the first computer 101 and the second computer 102 are connected by a communication path 111 capable of bidirectional communication.
  • the communication method of the communication path 111 is, for example, a full duplex communication method. In this case, it becomes easier to make the image recognition system 100 compatible with real-time processing.
  • FIG. 3A is a flowchart showing processing of the image recognition system 100 according to Embodiment 1.
  • learning data is learned (S1100).
  • learning of learning data is performed by a computer different from both the first computer 101 and the second computer 102.
  • learning of learning data may be performed by the second computer 102.
  • the learning data is a feature vector that characterizes the recognition target obtained from an image including the recognition target, for example.
  • dictionary data Data generated by learning is generally called dictionary data.
  • the amount of data of dictionary data tends to increase according to the number of types of recognition objects (for example, pedestrians, other vehicles, obstacles, etc.), and the amount of installed memory for storing dictionary data also tends to increase.
  • the second computer 102 stores the learning result as a dictionary in the storage unit 120 (S1200).
  • Step S1100 and step S1200 are performed in advance at dictionary data creation time 1001. This is because subsequent steps S1300 to S1500 are executed (preferably executed in real time) within an identification time 1002, which is a predetermined time, with respect to an image taken by a camera or the like.
  • the recognition target detection unit 103 detects the recognition target from the image captured by the camera (S1300), the recognition target identification unit 104 inputs the identification parameter from the dictionary (S1400), and the recognition target.
  • the identification unit 104 identifies a recognition target (S1500).
  • FIG. 3B is a diagram illustrating an example of recognition target detection processing in image recognition processing.
  • FIG. 3C is a diagram illustrating an example of recognition target identification processing in image recognition processing.
  • the content of the image recognition process will be described taking character recognition as an example.
  • the recognition target of the image recognition system according to the present disclosure is not limited to characters.
  • the dictionary data creation unit 1005 inputs various shapes representing the same character (for example, “A” of the alphabet), generates a feature vector, and learns the character (for example, The characteristics of the alphabet “A”) are learned.
  • dictionary data generated by learning is added to the dictionary 1006 to create the dictionary 1006.
  • the dictionary data added to the dictionary 1006 is referred to by the recognition target identification unit 104 of the image recognition system 100 when identifying whether or not the alphabet data is “A”.
  • the recognition target detection unit 103 of the first computer 101 detects the recognition target at the image identification time 1002.
  • a region to be detected is searched for in the image 1040 input from the camera. For example, a character to be detected (for example, “A” in the alphabet) is searched while moving the search region 1050, and image data 1060 of the search region including the character to be detected is extracted.
  • the extracted image data 1060 is subjected to normalization processing so that, for example, characters that have been rotated and scaled can be recognized, and normalized image data 1062 is generated.
  • a feature vector 1007 characterizing a character to be detected (for example, “A” in the alphabet) included in the image data 1062 is extracted from the normalized image data 1062, thereby detecting the character to be detected.
  • a feature quantity of a two-dimensional image including the feature vector 1007 for example, using Histograms of Oriented Gradients (HOG), Scale-Invariant Feature Transform (SIFT), or Speeded-Up RobustFutureSurf Also good.
  • HOG Histograms of Oriented Gradients
  • SIFT Scale-Invariant Feature Transform
  • Speeded-Up RobustFutureSurf Speeded-Up RobustFutureSurf
  • HOG the luminance gradient direction of the local area (cell) is histogrammed.
  • SIFT an image scale change or an invariant feature amount is extracted.
  • SURF is a faster version of SIFT.
  • the recognition target identification unit 104 identifies the extracted feature vector 1007 by using the dictionary 1006 using, for example, pattern matching, thereby detecting the alphabet “A” that is the detection target character 1064. Identify.
  • FIG. 4A shows an example of an image including a recognition target of the image recognition system 100.
  • the image 260 includes a pedestrian
  • the image 261 includes a vehicle
  • the image 262 includes a pedestrian and an obstacle including the vehicle as recognition targets.
  • the image 263 shows an image that does not include a recognition target.
  • FIG. 4B shows an example of setting a detection area using a detection parameter group.
  • the detection area 170a indicates a detection area optimized for detecting a pedestrian in the image 170.
  • the detection area 171a indicates a detection area optimized for detecting a vehicle in the image 171.
  • the detection area 172a indicates a detection area optimized for detecting an obstacle in the image 172. Further, when the recognition target is not recognized in the image 173, the detection area is not set.
  • the optimization of these detection areas is performed by optimizing the detection parameter group according to the recognition target.
  • a system that dynamically changes a detection parameter group to an optimal detection parameter group in accordance with the recognition target it is possible to improve the recognition rate of the recognition target in real-time processing.
  • the recognition rate of the recognition target in real-time processing.
  • the image 173 and the case of the images 170 to 172 by performing switching control between “perform” and “not perform” the image recognition process, the calculation required for the image recognition process is reduced.
  • by making the detection area necessary for the image recognition process variable image data unnecessary for the image recognition process can be ignored, and the recognition rate of the image recognition process can be improved.
  • the detection parameter group is, for example, a parameter for setting a detection area for image recognition processing. Further, the detection parameter group may include an algorithm selection method for extracting a feature quantity such as a feature vector and a parameter for setting an extraction algorithm.
  • FIG. 4C shows an example of the detection parameter group.
  • FIG. 4D shows an example of feature points to be recognized.
  • the detection parameter group includes various parameters as necessary in addition to the parameter indicating the detection area.
  • the parameter group includes a detection parameter group 160 optimized for detecting a pedestrian, a detection parameter group 161 optimized for detecting a vehicle, and a detection optimized for detecting an obstacle.
  • Various parameters are included like a parameter group 162 and a detection parameter group 163 when no detection is performed.
  • “-” indicates that there is no corresponding parameter value.
  • These detection parameter groups are updated, for example, at a data interval at which image data is transmitted (for each frame). That is, at each shooting timing of the camera, the detection parameter group is updated to the detection parameter group 160, 161, 162, 163 according to the detection target.
  • the first computer 101 generates image data and feature point data 230, 231 and 232 corresponding to the detection area, and transmits them from the first computer 101 to the second computer 102. . As described above, the first computer 101 transmits the image data to the second computer 102 for each frame, and the recognition parameter group is changed for each frame.
  • Parameters that indicate the surrounding scenery, time, etc. may be added to the detection parameter group.
  • the first computer 101 can optimize the detection of the recognition target with reference to the detection parameter group.
  • the recognition rate is improved by transmitting the detection parameter group optimized for detection of the recognition target to the first computer 101 prior to detection of the recognition target.
  • FIG. 5 is a diagram showing a communication flow between the first computer 101 and the second computer 102.
  • the communication flow shown in FIG. 5 is a communication flow in the case of performing communication by the full-duplex communication method.
  • the second control unit 110 generates control signals 141 and 142 including a detection parameter group and transfers them to the second transmission unit 106.
  • the second transmission unit 106 transmits the transferred control signals 141 and 142 to the first reception unit 107 of the first computer 101.
  • the time required for transferring the control signals 141 and 142 in the second computer 102 is negligibly small compared to the time required for transmission from the second transmission unit 106 to the first reception unit 107.
  • the first receiving unit 107 transfers the received control signals 141 and 142 to the first control unit 109.
  • the time required for transfer in the first computer 101 is also negligibly small compared to the time required for transmission.
  • the first control unit 109 controls the camera 115 to generate image data 131 and 132 based on the control signals 141 and 142, and the recognition target detection unit 103 extracts feature points from the image data 131 and 132, and features Point data 151 is generated.
  • the first transmission unit 105 transmits the image data 131 and 132 and the feature point data 151 to the second reception unit 108 of the second computer 102.
  • the second reception unit 108 transfers the received image data 131 and 132 to the recognition target identification unit 104.
  • the time required for transfer is negligibly small compared to the time required for transmission.
  • the recognition target identification unit 104 identifies a recognition target based on the image data 131 and 132 and the feature point data 151.
  • the transmission from the second transmission unit 106 to the first reception unit 107 and the transmission from the first transmission unit 105 to the second reception unit 108 require some time.
  • transmission of the control signal 141 and transmission of the image data 130 and the feature point data 150 are performed in parallel.
  • transmission of the control signal 142 and transmission of the image data 131 and the feature point data 151 are performed in parallel.
  • the reception of the control signal 141 by the first receiving unit 107 and the detection processing of the recognition target detection unit 103 are processed in parallel.
  • the transmission of the control signal 141 by the second transmission unit 106 and the recognition target identification processing of the recognition target identification unit 104 are processed in parallel.
  • FIG. 6 is an explanatory diagram of the image recognition process of the image recognition system 100 according to the first embodiment.
  • a detection area is searched from the image data 303, the feature point data 302 to be recognized detected from the detection area is matched with the dictionary data, and the pattern matching result is obtained. Is output as the recognition result 301 of the recognition target.
  • the feature point data 302 is extracted, variations occur between the image data due to individual differences of cameras, camera mounting positions, correlation with background images and locations, etc. The amount increases.
  • the feature point data 302 is extracted in the first computer 101 and the recognition result 301 is calculated in the second computer 102.
  • the image recognition processing is distributed between the first computer 101 and the second computer 102. Therefore, even if there is a variation between the image data as described above, it is necessary to install a computer in which the individual calorific values of the first computer 101 and the second computer 102 and the outer dimensions of the housing are integrated. It can be suppressed compared with the case of using. Thereby, for example, even when the amount of memory necessary for the improvement of the operating frequency and the recognition processing is increased in order to increase the recognition rate of the recognition target, in the present disclosure, the thermal design when the image recognition system 100 is attached is provided. And physical arrangement can be made easier. This effect is particularly advantageous when using a plurality of cameras.
  • processing necessary for image recognition is processed in parallel by the first computer 101 and the second computer 102 that are physically separated.
  • the thermal design and physical arrangement when attaching the image recognition system 100 can be made easier.
  • the image recognition system 100 is The thermal design and physical arrangement during installation can be made easier. As a result, the recognition rate of the recognition target of the image recognition system 100 can be increased more easily.
  • the recognition target is extracted from the difference between a plurality of image data, so that recognition is performed according to the detection rate of the recognition algorithm employed.
  • SfM Structure from motion
  • FIG. 7 is a graph showing the relationship between the recognition rate of the recognition target and the installed memory size.
  • image recognition processing a plurality of images necessary for image recognition are stored in an on-board memory.
  • the required installed memory size tends to increase.
  • the recognition rate of the recognition target is to be improved, the required installed memory size tends to increase.
  • the required mounting memory size exceeds a certain amount, the required physical area and outer dimensions may increase, which may make it impossible to mount the housing.
  • the individual physical areas and external dimensions of the first computer 101 and the second computer 102 are compared with the case where an integrated computer is used. It can be made smaller compared to each other and can be easily mounted on a housing.
  • the recognition target can be dynamically changed according to various scenes, so that the recognition rate of the recognition target can be increased in real time.
  • Embodiment 2 In the image recognition system 100 described in the first embodiment, deep learning can be used in connection with the image recognition algorithm.
  • recognition parameter groups that are individually tuned for detection area, feature amount extraction, dictionary data creation, pattern matching, and the like in order to increase the recognition rate.
  • the recognition parameter group is created manually by a designer who constructs an image recognition system, assuming a target image to be recognized and operating conditions. Further, the recognition rate of the recognition target varies depending on the setting of the recognition parameter group corresponding to the camera to be used and the situation.
  • ⁇ Deep learning> In order to improve the recognition rate in recognition processing performed in real time, it is necessary to increase the amount of dictionary data in the dictionary, and the amount of learning data used to calculate a recognition parameter group also increases. Thus, for example, a large amount of data such as learning data may be stored as big data in a server or the like. It is difficult to manually optimize the recognition parameter group of the image data recognition algorithm using a large amount of data. Therefore, instead of intentionally setting a recognition parameter group by a designer who constructs an image recognition system, a recognition algorithm and a recognition rule are automatically generated using a large amount of accumulated data. Then, using the automatically generated recognition algorithm and rules, inference of what the input image means is automatically performed.
  • FIG. 8 shows an example of a neural network used for deep learning. While a conventional neural network has a three-layer structure, for example, in deep learning, a neural network having a relatively deep hierarchical structure is used. Neurons 440 are connected at synapses 430 between adjacent hierarchies.
  • y represents an output signal value of a certain neuron 440
  • f k represents a function such as a sigmoid function
  • n represents the number of neurons under a certain neuron 440
  • x i represents a lower layer.
  • the output signal value of the i-th neuron 440 is represented
  • w i represents the synaptic load of the synapse 430 connected to the certain neuron 440 from the i-th neuron 440 in the lower layer
  • ⁇ represents a certain threshold value.
  • the neuron 440 when the sum of products of the underlying neuron 440 and the synaptic load of the synapse 430 exceeds a certain threshold value ⁇ , the neuron 440 is ignited and the signal is transmitted to the neural networks 401 and 402. Propagate through.
  • the neural network 401 is used for image recognition processing
  • the neural network 402 is used for behavior control.
  • the value of the synaptic weights w i is the recognition parameter group for image recognition.
  • learning of the hierarchical neural networks 401 and 402 by deep learning is performed using image data stored in an external server or the like.
  • a neural network structure formed by learning and a synaptic load are obtained based on the neural network structure.
  • Recognition data 410 that has been image-recognized is output from the neural network 401 for image recognition processing.
  • the recognition rate of the recognition target is improved by optimizing the synaptic load of the neural network specialized for the recognition target to be recognized. Therefore, the recognition rate of the recognition target can be improved in real time by dynamically changing the recognition parameter group optimized for each recognition target to be recognized based on the synaptic load change data 420.
  • the deep learning recognition parameter group may include the function f k shown in Equation (1) or may include the threshold ⁇ .
  • the network structure may be dynamically changed by setting the synaptic load to “0” and changing the network structure of the neural network.
  • the first computer 101 may detect a recognition target using a neural network.
  • the detection parameter group is at least one of a synaptic load, a function, and a threshold value of neurons constituting the neural network.
  • FIG. 9 shows an image recognition system 500 according to Embodiment 3 of the present disclosure.
  • the image recognition system 500 includes a first computer 501, a second computer 102, and a camera 530. Since the second computer 102 according to the third embodiment has the same configuration as the second computer 102 according to the first embodiment, the description thereof is omitted.
  • the first computer 101 according to the first embodiment has a camera 115 therein.
  • the first computer 501 according to the third embodiment is connected to a camera 530 provided as a separate body.
  • the first computer 101 in the first embodiment is different from the first computer 501 in the third embodiment.
  • the image recognition system 500 according to the third embodiment generates heat generated by processing as compared with the image recognition system 100 according to the first embodiment. Can be further prevented.
  • a camera 530 that is physically separated from the first computer 501 and is connected to the first computer 501 to acquire image data may be provided.
  • FIG. 10 illustrates an image recognition system 500A according to the fourth embodiment of the present disclosure.
  • the image recognition system 500 ⁇ / b> A includes a first computer 101, a second computer 561, and a server 592. Since the first computer 101 according to the fourth embodiment has the same configuration as the first computer 101 according to the first embodiment, the description thereof is omitted.
  • the second computer 561 acquires part or all of the recognition parameter group from the server 592 connected to the second computer 561 instead of storing the recognition parameter group in the memory of the recognition target identification unit 104. .
  • the second computer 561 transmits the result of image recognition by the second computer 561 to the server 592 as necessary.
  • the dictionary needs to include a lot of dictionary data.
  • the server 592 stores the dictionary, and the second computer 561 acquires dictionary data from the dictionary stored in the server 592 as necessary, whereby the recognition target identification unit 104 of the second computer 561 that performs image recognition.
  • An increase in the size of the data memory and the memory capacity of the storage unit 120 can also be suppressed.
  • the amount of heat generated from the data memory can be suppressed, and the external size of the second computer 561 can be reduced.
  • the image recognition system 500A can acquire the latest recognition parameter group from the server 592 and use it.
  • image data from the vehicle can be stored in the server 592 and a dictionary can be created in the server 592.
  • FIG. 11 shows an image recognition system 600 according to the fifth embodiment of the present disclosure.
  • the image recognition system 600 includes a first camera 601, a second camera 603, a third camera 605, and a fourth camera 604 as a plurality of first computers, an ECU 602 as a second computer, and a measurement.
  • the first camera 601, the second camera 603, the third camera 605, the fourth camera 604, and the distance measuring sensor 610 are each connected to the ECU 602.
  • the fourth camera 604 detects a front obstacle
  • the second camera 603 and the third camera 605 are turned off
  • the first camera 601 detects a rear vehicle.
  • the fourth camera 604 detects a front obstacle
  • the third camera 605 detects a right pedestrian or the like so as not to cause an accident due to entrainment.
  • a left vehicle is detected at 603 and a rear vehicle is detected by the first camera 601.
  • the distance measuring sensor 610 is connected to the ECU 602.
  • the image data of the fourth camera 604 and the distance measurement data of the distance sensor 610 may be combined, and the three-dimensional image may be used for detection of an obstacle ahead.
  • the distance measuring sensor 610 is a sensor that measures the distance to the recognition target, and is, for example, a millimeter wave sensor or a sonar sensor.
  • the recognition rate of the recognition target can be further increased.
  • the first computer 101 performs the detection process, but in addition to this, a part of the identification process may be executed instead of the second computer 102.
  • the first computer 101 includes a camera 115.
  • the image data from the camera 115 and the image data from the LIDAR are combined to detect and / or detect 3D image data. Or you may use for identification.
  • LIDAR Light Detection and Ranging, Laser Imaging Detection and Ranging
  • the present disclosure relates to an image recognition system and a machine equipped with the image recognition system, and is used, for example, in an image recognition system mounted on an autonomously operating machine such as an autonomous driving vehicle or an industrial robot.
  • image recognition system 101 first computer 102 second computer 103 recognition object detection unit 104 recognition object identification unit 105 first transmission unit 106 second transmission unit 107 first reception unit 108 second reception unit 109 second 1 control unit 110 second control unit 111 communication path 115 camera 120 storage unit 130 image data 131 image data 132 image data 141 control signal 142 control signal 150, 151 feature point data 160, 161, 162, 163 detection parameter group 170 , 171, 172, 173 Images 170 a, 171 a, 172 a Detection areas 230, 231, 232 Feature point data 260, 261, 262, 263 Image 301 Recognition result 302 Feature point data 303 Image data 401, 402 Neural network 41 0 recognition data 420 synaptic load change data 430 synapse 440 neuron 500, 500A image recognition system 501 first computer 530 camera 561 second computer 592 server 600 image recognition system 601 first camera (camera) 602 ECU 603 Second camera (camera) 604 Fourth camera (camera) 605 Third camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

画像認識システムは、画像データから認識対象を検出する第１のコンピュータと、第１のコンピュータが検出した認識対象の識別を行う第２のコンピュータとを含む。第１のコンピュータと第２のコンピュータとは、物理的に分離されて配置され、第１のコンピュータが第２のコンピュータに画像データを送信する時に、画像データの画像認識処理に用いられ、動的に変更される認識パラメータ群のうち、検出に用いる検出パラメータ群を、第２のコンピュータが通信路を介して第１のコンピュータに送信する。

Description

画像認識システム
　本開示は、画像認識システムに関する。
　近年、自動運転車や工場の完全自動化などに必要不可欠であるロボット等の機械に搭載され、機械が必要とする物体（認識対象）を認識するための画像認識システムが普及しつつある。そのような画像認識システムについて、認識対象を認識するための数々の画像認識アルゴリズムが開発・研究されている（特許文献１、非特許文献１参照）。
特開２００２－２０３２４０号公報
「画像パターン認識・マシンビジョンの基礎」福岡システムＬＳＩカレッジ
　本開示は、筐体の熱設計や物理的な配置を容易にする画像認識システムを提供する。
　本開示に係る画像認識システムは、第１のコンピュータと、第２のコンピュータと、第１のコンピュータと第２のコンピュータとの間に設けられた通信路とを有する。第１のコンピュータは、画像データから検出パラメータ群を用いて認識対象を検出する。第２のコンピュータは、第１のコンピュータが検出した認識対象の識別を行う。第１のコンピュータと第２のコンピュータとは、物理的に分離されて配置されている。検出パラメータ群は、画像データの画像認識処理に用いられ、動的に変更される認識パラメータ群に含まれている。第１のコンピュータが第２のコンピュータに画像データを送信する時に、第２のコンピュータは、通信路を介して検出パラメータ群を第１のコンピュータに送信する。
　本開示によれば、筐体の熱設計や物理的な配置を容易にする画像認識システムを提供することができる。
図１は、実施の形態１に係る画像認識システムの構成を示す図である。 図２Ａは、全二重通信方式で実現する通信路の一例を示す図である。 図２Ｂは、全二重通信方式で実現する通信路の他の一例を示す図である。 図２Ｃは、半二重通信方式で実現する通信路の一例を示す図である。 図３Ａは、実施の形態１に係る画像認識システムの処理を示すフローチャートである。 図３Ｂは、画像認識処理における認識対象の検出処理の一例を説明する図である。 図３Ｃは、画像認識処理における認識対象の識別処理の一例を説明する図である。 図４Ａは、画像認識システムの認識対象を含む画像の一例を示す図である。 図４Ｂは、検出パラメータ群を用いた検出領域の設定の一例を示す図である。 図４Ｃは、検出パラメータ群の一例を示す図である。 図４Ｄは、認識対象の特徴点の一例を示す図である。 図５は、第１のコンピュータと第２のコンピュータの間の通信フローを示す図である。 図６は、実施の形態１に係る画像認識システムの画像認識処理の説明図である。 図７は、認識対象の認識率と搭載メモリサイズとの関係を表すグラフである。 図８は、ディープラーニングに用いられるニューラルネットワークの一例を示す図である。 図９は、実施の形態３に係る画像認識システムを示す図である。 図１０は、実施の形態４に係る画像認識システムを示す図である。 図１１は、実施の形態５に係る画像認識システムを示す図である。 図１２Ａは、画像認識システムを搭載した車両の一例を示す図である。 図１２Ｂは、画像認識システムの一例の構成図である。 図１２Ｃは、画像認識システムの他の一例の構成図である。 図１３は、コンピュータの動作周波数と認識対象の認識率との関係を示すグラフである。
　本開示の実施の形態の説明に先立ち、本開示の着想に至った経緯を説明する。図１２Ａは、画像認識システムを搭載した車両２００２の一例を示す。画像認識システムは、歩行者や他車両等の認識対象を認識するための画像認識アルゴリズムを実装する。車両２００２は、車載カメラ２００１とカメラからの入力を処理するＥｌｅｃｔｒｏｎｉｃ　ｃｏｎｔｒｏｌ　ｕｎｉｔ（ＥＣＵ）２００３を有する。車載カメラ２００１とＥＣＵ２００３は、相互通信路２００４を介して画像データや制御信号を送受信する。
　図１２Ｂは、画像認識システムの一例である画像認識システム２０００の構成図である。車載カメラ２００１とＥＣＵ２００３とは、物理的に離れた位置に配置される。車載カメラ２００１が撮影した画像を、車載カメラ２００１の筐体の中の第１の画像処理部２０１０が画像処理する。次いで、ＥＣＵ２００３は、画像処理の結果を、相互通信路２００４を介して車載カメラ２００１から入力する。次いで、ＥＣＵ２００３が有する認識対象検出部２００６が認識対象を検出し、認識対象識別部２００７が辞書２００５を参照しながら認識対象を識別することにより、認識対象が認識される。画像認識システム２０００においては、画像認識処理は、ＥＣＵ２００３により行われる。
　図１２Ｃは、画像認識システムの他の一例である画像認識システム２０００Ａの構成図である。車載カメラ２００１ＡとＥＣＵ２００３Ａとは、物理的に離れた位置に配置される。車載カメラ２００１Ａが撮影した画像を、車載カメラ２００１Ａが有する第１の画像処理部２０１０が画像処理する。次いで、車載カメラ２００１Ａが有する認識対象検出部２００６が認識対象を検出し、車載カメラ２００１Ａが有する認識対象識別部２００７が辞書２００５を参照しながら認識対象を識別することにより、認識対象が認識される。次いで、ＥＣＵ２００３Ａは、認識された認識対象の情報を画像データとともに、相互通信路２００４を介して車載カメラ２００１Ａから入力する。必要に応じて、ＥＣＵ２００３Ａの筐体の中が有する第２の画像処理部２０４０が、画像データを画像処理する。画像認識システム２０００Ａにおいては、画像認識処理は、車載カメラ２００１Ａにより行われる。
　図１３は、コンピュータの動作周波数と認識対象の認識率との関係を示すグラフである。図１３に示されるように、画像認識処理においては、一般にコンピュータの動作周波数を上げることによりコンピュータの処理性能が上がるので、認識対象の認識率を上げることができる。しかしながら、動作周波数の上昇に応じて、動作に伴う発熱量も増加する。コンピュータの動作周波数がある臨界点に達すると、動作に伴う発熱を十分に排出できない。それに伴い、車載カメラまたはＥＣＵの筐体内に画像認識処理手段を実装する際に、筐体の熱設計が困難になり、車載カメラまたはＥＣＵの筐体への搭載が困難になる。
　言い換えると、高い認識率を必要とする画像認識処理をカメラまたはＥＣＵに集約させると、画像認識処理に必要な動作周波数や、画像認識処理に必要なメモリ量等が増加する。それに伴い、画像認識処理手段を車載カメラもしくはＥＣＵのいずれか一方の筐体内に実装しようとする場合に、筐体の熱設計や物理的な配置が困難となる。
　以下、このような問題を解決する本発明の種々の実施の形態について図面を参照しながら説明する。
　（実施の形態１）
　図１は、本開示の実施の形態１に係る画像認識システム１００の構成を示す図である。画像認識システム１００は、第１のコンピュータ１０１と、第２のコンピュータ１０２と、通信路１１１と、を有する。第１のコンピュータ１０１は、例えば車載カメラである。第２のコンピュータ１０２は、例えばＥＣＵである。
　第１のコンピュータ１０１は、第２のコンピュータ１０２から物理的に離れた位置に存在する。第１のコンピュータ１０１および第２のコンピュータ１０２は、例えば、別体の筐体内に存在するが、同一の筐体内に存在してもよい。
　通信路１１１は、第１のコンピュータ１０１および第２のコンピュータ１０２を通信可能に接続する。通信路１１１を介する通信は、例えば無線通信であるが、有線通信であってもよい。
　第１のコンピュータ１０１は、認識対象検出部１０３と、第１の送信部１０５と、第１の受信部１０７と、第１の制御部１０９と、カメラ１１５と、を有する。
　認識対象検出部１０３は、カメラ１１５が撮影した画像から、認識対象を検出する。一例において、認識対象検出部１０３は、後述するニューラルネットワークを用いて、認識対象を検出する。
　第１の送信部１０５は、第２のコンピュータ１０２にデータを送信する。一例として、送信されるデータは、画像データおよび画像に含まれる認識対象に関する特徴点のデータを含む。第１の受信部１０７は、第２のコンピュータ１０２からデータを受信する。一例として、受信されるデータは、画像認識処理に用いられる認識パラメータ群のうち、画像からの認識対象の検出に用いられるパラメータからなる、検出パラメータ群を含む。
　第１の制御部１０９は、第１の送信部１０５、第１の受信部１０７、およびカメラ１１５の動作を制御する。認識対象検出部１０３と、第１の送信部１０５と、第１の受信部１０７と、第１の制御部１０９とは、例えば、それぞれが第１のコンピュータ１０１の構成要件であるハードウェアによって実現されてもよいし、第１のコンピュータ１０１によって実行されるプログラムによって実現してもよい。
　第２のコンピュータ１０２は、認識対象識別部１０４と、第２の送信部１０６と、第２の受信部１０８と、第２の制御部１１０と、記憶部１２０と、を有する。
　認識対象識別部１０４は、カメラ１１５が撮影した画像から、認識対象を識別する。一例において、認識対象識別部１０４は、カメラ１１５が撮影した画像のデータであって、通信路１１１を介して受信した画像データと、認識対象検出部１０３が検出した、画像に含まれる認識対象に関する特徴点のデータである特徴点データ等の情報に基づき、画像に含まれる認識対象を識別する。一例において、認識対象識別部１０４は、後述するニューラルネットワークを用いて、認識対象を識別する。
　第２の送信部１０６は、第１のコンピュータ１０１に、データを送信する。一例として、送信されるデータは、検出パラメータ群を含む。第２の受信部１０８は、第１のコンピュータ１０１からデータを受信する。一例として、受信されるデータは、認識対象に関する特徴点のデータを含む。
　第２の制御部１１０は、認識対象識別部１０４、第２の送信部１０６、第２の受信部１０８、および記憶部１２０の動作を制御する。認識対象識別部１０４と、第２の送信部１０６と、第２の受信部１０８と、第２の制御部１１０とは、例えば、それぞれが第２のコンピュータ１０２の構成要件であるハードウェアによって実現されてもよいし、第２のコンピュータ１０２によって実行されるプログラムによって実現してもよい。
　記憶部１２０は、認識対象の識別に必要な情報を辞書として記憶する。例えば、記憶部１２０は、図３Ｃを参照して後述する辞書１００６を記憶する。
　図２Ａは、全二重通信方式で実現する通信路１１１の一例を示す。第１のコンピュータ１０１の第１の送信部１０５は、第２のコンピュータ１０２の第２の受信部１０８に接続される。第１のコンピュータ１０１の第１の受信部１０７は、第２のコンピュータ１０２の第２の送信部１０６に接続される。この場合、接続は二系統となるが、第１のコンピュータ１０１および第２のコンピュータ１０２は、それぞれ送信および受信を同時に行うことができる。
　図２Ｂは、全二重通信方式で実現する通信路１１１の他の一例を示す。第１のモデム３０２３は、第１の送信部１０５と、第１の受信部１０７と、第２のモデム３０２４に接続される。第２のモデム３０２４は、第２の送信部１０６と、第２の受信部１０８と、第１のモデム３０２３に接続される。第１のモデム３０２３は、例えば第１のコンピュータ１０１の筐体の内部に設けられ、第２のモデム３０２４は、例えば第２のコンピュータ１０２の筐体の内部に設けられる。
　第１のモデム３０２３および第２のモデム３０２４の間の通信は、例えば周波数分割を行うことにより、一系統のバス上で、双方向の通信信号を同時に転送することができる。したがって、第１のコンピュータ１０１は、例えば送信３０２７と、受信３０２８とを同時に行うことができる。
　図２Ｃは、半二重通信方式で実現する通信路１１１の一例を示す。第１のスイッチ３００３は、第２のスイッチ３００４に接続され、第２のスイッチ３００４の接続先を第１の送信部１０５と第１の受信部１０７との間で切り替える。第２のスイッチ３００４は、第１のスイッチ３００３に接続され、第１のスイッチ３００３の接続先を第２の送信部１０６と第２の受信部１０８との間で切り替える。第１のスイッチ３００３は、例えば第１のコンピュータ１０１の筐体の内部に設けられ、第２のスイッチ３００４は、例えば第２のコンピュータ１０２の筐体の内部に設けられる。
　第１のコンピュータ１０１からデータを送信する場合、第１のスイッチ３００３は接続先を第１の送信部１０５に切り替え、第２のスイッチ３００４は接続先を第２の受信部１０８に切り替える。第２のコンピュータ１０２からデータを送信する場合、第１のスイッチ３００３は接続先を第１の受信部１０７に切り替え、第２のスイッチ３００４は接続先を第２の送信部１０６に切り替える。
　このように、半二重通信方式においては、一系統のバスを使って送信と受信とを切り替えて通信を行うことが可能であり、送信と受信とを同時に行うことは不可能であるが、半二重通信方式に必要な通信路１１１のリソースは、全二重方式の場合と比較して小さい。
　第１のコンピュータ１０１と第２のコンピュータ１０２は、双方向の通信が可能である通信路１１１により接続されている。この通信路１１１の通信方式は、例えば全二重通信方式である。この場合、画像認識システム１００を、リアルタイム処理に対応させることがより容易となる。
　図３Ａは、実施の形態１に係る画像認識システム１００の処理を示すフローチャートである。まず、学習データを学習する（Ｓ１１００）。学習データの学習は、一例において、第１のコンピュータ１０１および第２のコンピュータ１０２のいずれとも異なるコンピュータによって行われる。なお、これに代えて、学習データの学習は、第２のコンピュータ１０２によって行われてもよい。学習データは、例えば認識対象が含まれる画像から得られる、認識対象を特徴付ける特徴ベクトルである。
　学習によって生成されるデータは、一般に辞書データと呼ばれる。辞書データは、認識対象（例えば、歩行者、他車両、障害物等）の種類数等に応じてそのデータ量が増える傾向があり、辞書データを保存する搭載メモリ量も増える傾向がある。
　次いで、第２のコンピュータ１０２は、学習の結果を辞書として記憶部１２０に格納する（Ｓ１２００）。
　ステップＳ１１００およびステップＳ１２００は、辞書データ作成時間１００１にて予め行われる。後続のステップＳ１３００からＳ１５００を、カメラ等で撮影された画像に対して、所定の時間である識別時間１００２内に実行（好ましくはリアルタイム実行）するためである。
　次いで、識別時間１００２において、認識対象検出部１０３が、カメラによって撮影された画像から、認識対象を検出し（Ｓ１３００）、認識対象識別部１０４が辞書から識別パラメータを入力し（Ｓ１４００）、認識対象識別部１０４が認識対象を識別する（Ｓ１５００）。
　図３Ｂは、画像認識処理における認識対象の検出処理の一例を説明する図である。図３Ｃは、画像認識処理における認識対象の識別処理の一例を説明する図である。図３Ｂおよび図３Ｃを参照して、簡単のために、文字認識を例にとって、画像認識処理の内容を説明するが、本開示に係る画像認識システムの認識対象が文字に限られない。
　例えば、手書きの文字であれば、同じ文字であっても、書き手によって様々な形状を呈する。そこで、辞書データ作成時間１００１において、辞書データ作成部１００５は、同じ文字（例えばアルファベットの「Ａ」）を表す様々な形状を入力し、特徴ベクトルを生成し、学習することにより、その文字（例えばアルファベットの「Ａ」）が有する特徴を学習する。次いで、学習によって生成される辞書データを、辞書１００６に追加することにより辞書１００６を作成する。辞書１００６に追加された辞書データは、アルファベットの「Ａ」であるか否かを識別する際に、画像認識システム１００の認識対象識別部１０４によって参照される。
　辞書データ作成時間１００１が終了した後に、画像識別時間１００２において、第１のコンピュータ１０１の認識対象検出部１０３が認識対象を検出する。カメラから入力された画像１０４０において、検出すべき領域が探索される。例えば、探索領域１０５０を移動させながら、検出対象の文字（例えばアルファベットの「Ａ」）を探索し、検出対象の文字を含む探索領域の画像データ１０６０を抽出する。
　抽出された画像データ１０６０は、例えば、回転および拡大縮小されている文字を認識できるようにするため、正規化処理が行われ、正規化された画像データ１０６２が生成される。
　次いで、正規化された画像データ１０６２から、画像データ１０６２に含まれる検出対象の文字（例えばアルファベットの「Ａ」）を特徴づける特徴ベクトル１００７が抽出されることにより、検出対象の文字が検出される。特徴ベクトル１００７を含む二次元画像の特徴量の抽出の際に、例えば、Ｈｉｓｔｏｇｒａｍｓ　ｏｆ　Ｏｒｉｅｎｔｅｄ　Ｇｒａｄｉｅｎｔｓ（ＨＯＧ）、Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ　Ｆｅａｔｕｒｅ　Ｔｒａｎｓｆｏｒｍ（ＳＩＦＴ）、Ｓｐｅｅｄｅｄ－Ｕｐ　Ｒｏｂｕｓｔ　Ｆｕｔｕｒｅ（ＳＵＲＦ）等の手法を用いてもよい。ＨＯＧでは、局所領域　（セル）　の輝度の勾配方向がヒストグラム化されている。ＳＩＦＴでは、画像のスケール変化や不変な特徴量を抽出する。ＳＩＦＴをさらに高速化したのがＳＵＲＦである。
　次いで、認識対象識別部１０４が、抽出された特徴ベクトル１００７に対して、辞書１００６を用いて、例えばパターンマッチングを用いて識別を行うことにより、検出対象の文字１０６４であるアルファベットの「Ａ」を識別する。
　図４Ａは、画像認識システム１００の認識対象を含む画像の一例を示す。画像２６０は歩行者を、画像２６１は車両を、画像２６２は歩行者および車両を含む障害物をそれぞれ認識対象として含んでいる。画像２６３は、認識対象を含んでいない画像を示す。
　図４Ｂは、検出パラメータ群を用いた検出領域の設定の一例を示す。認識対象の認識を行う場合、認識対象に応じて適切な検出領域を設定する必要がある。検出領域１７０ａは、画像１７０において、歩行者を検出するのに最適化された検出領域を示す。検出領域１７１ａは、画像１７１において、車両を検出するのに最適化された検出領域を示す。検出領域１７２ａは、画像１７２において、障害物を検出するのに最適化された検出領域を示す。また、画像１７３において認識対象の認識を行わない場合、検出領域は設定されない。
　これらの検出領域の最適化は、認識対象に応じて検出パラメータ群を最適化することにより行われる。認識対象に応じて検出パラメータ群を最適な検出パラメータ群に動的に変更するシステムを用いることにより、リアルタイム処理における認識対象の認識率を向上させることが可能となる。さらに、例えば、画像１７３の場合と画像１７０～１７２の場合とにおいて、画像認識処理を「行う」および「行わない」の間で切り替え制御を行うことにより、画像認識処理に必要な演算を少なくし、画像認識処理に必要な消費電力を抑えることが可能となる。さらに、画像認識処理に必要な検出領域を可変にすることにより、画像認識処理に不要な画像データを無視することができるため、画像認識処理の認識率を向上することが可能となる。
　検出パラメータ群は、例えば、画像認識処理の検出領域を設定するためのパラメータである。さらに、検出パラメータ群は、特徴ベクトル等の特徴量を抽出するための、アルゴリズム選定手法並びに、抽出アルゴリズム設定のためのパラメータを含んでもよい。図４Ｃは、検出パラメータ群の一例を示す。図４Ｄは、認識対象の特徴点の一例を示す。
　画像が含む認識対象の検出処理を行う場合、例えば、検出パラメータ群は、検出領域を示すパラメータに加えて、必要に応じて様々なパラメータを含む。例えば、パラメータ群は、歩行者を検出するために最適化された検出パラメータ群１６０や、車両を検出するために最適化された検出パラメータ群１６１、障害物を検出するために最適化された検出パラメータ群１６２、検出を行わない場合の検出パラメータ群１６３のように、様々なパラメータを含む。ここで、「－」は、対応するパラメータ値がないことを示す。全ての検出パラメータ群１６０，１６１，１６２，１６３に共通であるパラメータｐ１もあれば、例えば、障害物を検出するための検出パラメータ群１６２のみが有するパラメータｐ６もある。
　これらの検出パラメータ群は、例えば、画像データが送られるデータ間隔で（フレーム毎に）更新される。つまり、カメラの各撮影タイミングで、検出対象に応じて、検出パラメータ群を、検出パラメータ群１６０，１６１，１６２，１６３に更新する。更新された検出パラメータ群に応じて、第１のコンピュータ１０１が検出領域に応じた画像データおよび特徴点データ２３０，２３１，２３２を生成し、第１のコンピュータ１０１から第２のコンピュータ１０２に送信する。このように、第１のコンピュータ１０１は、第２のコンピュータ１０２に、画像データをフレーム毎に送信し、認識パラメータ群はフレーム毎に変更される。
　周りの景色の状況、時刻等を指示するパラメータを検出パラメータ群に加えてもよい。これにより、周りの景色、時刻が変化した場合であっても、第１のコンピュータ１０１は、検出パラメータ群を参照して認識対象の検出を最適化することができる。このように、認識対象の検出に最適化された検出パラメータ群を、認識対象の検出に先立って第１のコンピュータ１０１に送信することにより、認識率が向上する。
　図５は、第１のコンピュータ１０１と第２のコンピュータ１０２の間の通信フローを示す図である。図５に示される通信フローは、全二重通信方式による通信を行う場合の通信フローである。第２の制御部１１０は、例えば検出パラメータ群を含む制御信号１４１，１４２を生成し、第２の送信部１０６に転送する。第２の送信部１０６は、転送された制御信号１４１，１４２を第１のコンピュータ１０１の第１の受信部１０７に送信する。ここで、制御信号１４１，１４２の第２のコンピュータ１０２内の転送に要する時間は、第２の送信部１０６から第１の受信部１０７への送信に要する時間に比べて無視できるほどに小さい。
　第１の受信部１０７は、受信した制御信号１４１，１４２を第１の制御部１０９に転送する。ここで、第１のコンピュータ１０１内における転送に要する時間も、送信に要する時間に比べて無視できるほどに小さい。第１の制御部１０９は、制御信号１４１，１４２に基づいて、カメラ１１５を制御して画像データ１３１，１３２を生成し、認識対象検出部１０３が画像データ１３１，１３２から特徴点を抽出し特徴点データ１５１を生成する。
　次いで、第１の送信部１０５は画像データ１３１，１３２および特徴点データ１５１を第２のコンピュータ１０２の第２の受信部１０８に送信する。第２の受信部１０８は、受信した画像データ１３１，１３２を認識対象識別部１０４に転送する。ここで転送に要する時間も、送信に要する時間に比べて無視できるほどに小さい。認識対象識別部１０４は、画像データ１３１，１３２および特徴点データ１５１に基づいて、認識対象の識別を行う。
　第２の送信部１０６から第１の受信部１０７への送信および第１の送信部１０５から第２の受信部１０８への送信には幾分かの時間を要するが、これらの通信の方式が全二重通信方式である場合、制御信号１４１の送信と、画像データ１３０および特徴点データ１５０の送信とは並行して行われる。同様に、制御信号１４２の送信と、画像データ１３１および特徴点データ１５１の送信とも並行して行われる。
　さらに、図５に示されるように、第１の受信部１０７による制御信号１４１の受信と認識対象検出部１０３の検出処理（画像データ１３１および特徴点データ１５１の生成処理）とは並列処理される。また、第２の送信部１０６による制御信号１４１の送信と認識対象識別部１０４の認識対象の識別処理とは並列処理される。これらの全二重通信方式による通信および並列処理により、第１のコンピュータ１０１および第２のコンピュータ１０２を物理的に分離して配置したにも関わらず、それらの間の通信によるレイテンシが隠蔽される結果、それらの処理能力を無駄なく使用することができる。
　図６は、実施の形態１に係る画像認識システム１００の画像認識処理の説明図である。図６に示されるように、画像認識処理は、画像データ３０３から検出領域を探索し、検出領域から検出された認識対象の特徴点データ３０２と辞書データとのパターンマッチングを行い、パターンマッチングの結果を認識対象の認識結果３０１として出力する。この画像認識処理において、特徴点データ３０２の抽出時には、カメラの個体差、カメラの取り付け位置、背景画像や場所などとの相関等によって画像データの間にばらつきが発生し、処理が複雑となり、計算量が増加する。特徴点データ３０２から認識対象の認識結果３０１を計算する際にも、同様にカメラの個体差、カメラの取り付け位置、背景画像や場所などとの相関等による画像データの間のばらつきにより、処理が複雑となり、計算量が増加する。
　すなわち、１つのカメラ、もしくは複数のカメラで画像データを取得し、ＥＣＵ等の処理装置において集約的に画像認識処理を行う場合、使用するカメラの個体差、カメラの取り付け位置等による画像データの間のばらつきによる差分を除去する処理が必要となる。そのため、認識処理に要する計算量が増加し、それに伴い発熱量も増加する。
　本実施の形態においては、図６に示されるように、第１のコンピュータ１０１内において特徴点データ３０２の抽出が行われ、第２のコンピュータ１０２内において認識結果３０１の計算が行われる。このように、第１のコンピュータ１０１および第２のコンピュータ１０２の間で画像認識処理が分散される。したがって、上述のように画像データの間のばらつきがある場合であっても、第１のコンピュータ１０１および第２のコンピュータ１０２の個々の発熱量や筐体の外寸を、一体となったコンピュータを使用する場合と比較して抑えることができる。これにより、例えば、認識対象の認識率を上げるために、動作周波数向上や認識処理に必要なメモリ量が増加した場合であっても、本開示においては、画像認識システム１００を取り付ける際の熱設計や物理的な配置をより容易にすることができる。この効果は、複数のカメラを用いる際に、特に有利である。
　本実施の形態においては、画像認識に必要な処理を、物理的に分離して配置された第１のコンピュータ１０１と第２のコンピュータ１０２とによって並列に処理する。これにより、画像認識やデータ伝送に必要な処理量の増加が増加する場合であっても、画像認識システム１００を取り付ける際の熱設計や物理的な配置をより容易にすることができる。さらに、画像認識に必要な画像を蓄えておくメモリもしくは認識すべき認識対象の種類数に応じて増加する辞書データ並びにそれを蓄積するメモリサイズが増加する場合であっても、画像認識システム１００を取り付ける際の熱設計や物理的な配置をより容易にすることができる。その結果、画像認識システム１００の認識対象の認識率をより容易に上げることができるようになる。
　また、認識対象の検出または識別において、Ｓｔｒｕｃｔｕｒｅ　ｆｒｏｍ　ｍｏｔｉｏｎ（ＳｆＭ）と呼ばれるアルゴリズムを用いると、複数の画像データ間の差分から認識対象を抽出するため、採用する認識アルゴリズムの検出率に応じて、認識アルゴリズムを実行するのに必要な搭載メモリが増える傾向もある。このような場合であっても、画像認識システム１００を取り付ける際の熱設計や物理的な配置をより容易にすることができる。
　図７は、認識対象の認識率と搭載メモリサイズとの関係を表すグラフである。一般に、画像認識処理においては、画像認識に必要な複数の画像が搭載メモリに記憶される。認識すべき認識対象の種類数あるいは認識対象の個数が多くなるほど、必要とされる搭載メモリサイズが増加する傾向がある。また、認識対象の認識率を向上しようとすると、必要とされる搭載メモリサイズが増加する傾向がある。必要とされる搭載メモリサイズが一定量以上になると、必要とされる物理的な面積および外寸が大きくなることにより、筐体に搭載不可能になる場合がある。
　そのような場合であっても、本開示の画像認識システム１００においては、第１のコンピュータ１０１と第２のコンピュータ１０２の個々の物理的な面積および外寸を、一体型のコンピュータを用いる場合と比較して小さくすることができ、筐体に搭載し易くなる。
　また、本開示の画像認識システム１００においては、様々なシーンに応じて認識対象を動的に変更させることができるので、認識対象の認識率をリアルタイムに高めることができる。
　（実施の形態２）
　実施の形態１で説明した画像認識システム１００において、画像認識アルゴリズムに関連して、ディープラーニングを用いることもできる。画像認識システムを構築する際には、認識率を高めるために、検出領域、特徴量の抽出、辞書データの作成、パターンマッチング等について、それぞれ、独自にチューニングされた認識パラメータ群がある。認識パラメータ群は、認識を行う対象画像および動作条件などを想定しながら、画像認識システムを構築する設計者がマニュアルで作成している。また、使用するカメラや状況に応じた認識パラメータ群の設定により、認識対象の認識率も異なってくる。
　また、自動運転車両やロボットに用いられる画像認識システムにおいて異なる認識対象をリアルタイムに認識するためには、リアルタイムに行われる認識処理の認識率を向上させることが重要である。認識率の指標は様々なものがあるが、動物体のような動く認識対象の画像認識処理においては、リアルタイムに行われる認識処理の認識率を向上させることが特に重要である。
　そこで、近年、このような画像認識システムを構築する際に、認識パラメータ群のマニュアルによる作成量を少なくする、或いは完全自動で行う手法として、ディープラーニングという手法が注目を集めている。
　＜ディープラーニング＞
　リアルタイムに行われる認識処理において認識率を向上させようとすると、辞書の辞書データの量も増やす必要があり、認識パラメータ群を算出するために用いられる学習データのデータ量も増える。そこで、例えば、学習データ等の大量のデータを、サーバなどにビッグデータとして蓄積することがある。画像データの認識アルゴリズムの認識パラメータ群を、大量のデータを用いてマニュアルで最適化することは困難である。そこで、画像認識システムを構築する設計者が意図的に認識パラメータ群を設定することに代えて、蓄積された大量のデータを用いて認識アルゴリズムと認識用ルールの自動生成を行う。そして、自動生成された認識アルゴリズムとルールを使って、入力した画像が何を意味するのかの推論を自動で行う。
　図８は、ディープラーニングに用いられるニューラルネットワークの一例を示す。従来のニューラルネットワークが、例えば３層構造を有するのに対し、ディープラーニングでは、比較的階層構造が深い構造のニューラルネットワークが用いられる。ニューロン４４０は、隣接する階層間においてシナプス４３０で結合される。
　単一ニューロンの数理モデルの一例は、次の数式（１）によって表される。
Figure JPOXMLDOC01-appb-M000001
　ここで、ｙは、あるニューロン４４０の出力信号値を示し、ｆｋは、シグモイド関数等の関数を表し、ｎはあるニューロン４４０の下層にあるニューロンの数を表し、ｘｉは、下層にあるｉ番目のニューロン４４０の出力信号値を表し、ｗｉは下層にあるｉ番目のニューロン４４０からあるニューロン４４０に接続されるシナプス４３０のシナプス荷重を表し、θはある閾値を表す。
　上記数式（１）から判るように、下層にあるニューロン４４０とシナプス４３０のシナプス荷重との積和計算の値がある閾値θを超えると、ニューロン４４０が発火し、その信号がニューラルネットワーク４０１，４０２を通じて伝播していく。例えば、ニューラルネットワーク４０１は、画像認識処理に用いられ、ニューラルネットワーク４０２は、行動制御に用いられる。この場合における、シナプス荷重ｗｉの値が画像認識のための認識パラメータ群となる。
　まず、外部サーバ等に保存された画像データを用いて、ディープラーニングによる階層型のニューラルネットワーク４０１，４０２の学習を行う。次いで、学習で形成したニューラルネットワーク構造及び、シナプス荷重を基にニューラルネットワーク構造を求める。画像認識処理のニューラルネットワーク４０１から、画像認識された認識データ４１０が出力される。
　ディープラーニングにおいては、認識すべき認識対象に特化したニューラルネットワークのシナプス荷重を最適化することにより、認識対象の認識率が向上する。そのため、シナプス荷重の変更データ４２０に基づいて、認識すべき認識対象ごとに最適化した認識パラメータ群を動的に変更することにより、リアルタイムに認識対象の認識率を向上させることができる。
　ディープラーニングの認識パラメータ群としては、数式（１）に示される関数ｆｋを含んでもよく、閾値θを含んでもよい。
　また、数式（１）によって示される一般的なニューロンモデルにおいて、シナプス荷重を「０」に設定し、ニューラルネットワークのネットワーク構造を変更することにより、ネットワーク構造を動的に変更してもよい。
　以上のように、第１のコンピュータ１０１はニューラルネットワークを用いて認識対象を検出してもよい。この場合、検出パラメータ群は、ニューラルネットワークを構成するニューロンのシナプス荷重、関数、および閾値の少なくとも１つである。
　（実施の形態３）
　図９は、本開示の実施の形態３に係る画像認識システム５００を示す。画像認識システム５００は、第１のコンピュータ５０１と、第２のコンピュータ１０２と、カメラ５３０とを有する。実施の形態３に係る第２のコンピュータ１０２は、実施の形態１に係る第２のコンピュータ１０２と、その構成が同じであるので、説明を省略する。
　実施の形態１に係る第１のコンピュータ１０１は、内部にカメラ１１５を有する。これに対し、実施の形態３に係る第１のコンピュータ５０１は、別体として設けられたカメラ５３０と接続される。この点において、実施の形態１における第１のコンピュータ１０１と実施の形態３における第１のコンピュータ５０１とは異なる。第１のコンピュータ５０１とカメラ５３０とを別体として有することにより、実施の形態３に係る画像認識システム５００は、実施の形態１に係る画像認識システム１００と比較して、処理に伴い発生した熱の集中をさらに防ぐことができる。このように、第１のコンピュータ５０１から物理的に分離されて配置されるとともに第１のコンピュータ５０１に接続され、画像データを取得するカメラ５３０を設けてもよい。
　（実施の形態４）
　図１０は、本開示の実施の形態４に係る画像認識システム５００Ａを示す。画像認識システム５００Ａは、第１のコンピュータ１０１と、第２のコンピュータ５６１と、サーバ５９２とを有する。実施の形態４に係る第１のコンピュータ１０１は、実施の形態１に係る第１のコンピュータ１０１と、その構成が同じであるので、説明を省略する。第２のコンピュータ５６１は、認識パラメータ群を認識対象識別部１０４のメモリに格納することに代えて、認識パラメータ群の一部または全部を、第２のコンピュータ５６１に接続されたサーバ５９２から取得する。必要に応じて、第２のコンピュータ５６１は、第２のコンピュータ５６１による画像認識の結果を、サーバ５９２に送信する。
　多様な認識対象（例えば、歩行者、他車両、自転車）について認識率を向上させるためには、辞書が多くの辞書データを含む必要がある。サーバ５９２が辞書を記憶し、必要に応じて第２のコンピュータ５６１がサーバ５９２に格納される辞書から辞書データを取得することにより、画像認識を行う第２のコンピュータ５６１の認識対象識別部１０４のデータメモリのサイズおよび記憶部１２０のメモリ容量の増加を抑制することもできる。これにより、データメモリから発生する熱量を抑制でき、また第２のコンピュータ５６１の外寸を小さくすることができる。さらに、認識パラメータ群が時々刻々と変化する場合、画像認識システム５００Ａは最新の認識パラメータ群をサーバ５９２から取得して使用することができる。
　また、辞書を作成するに当たって、例えば、走行中の車両からの画像認識の場合、車両の移動先の様々な場所、時間における車両からの画像データを必要とするため、一般的には大量の画像データを必要とする。このような場合であっても、車両からの画像データをサーバ５９２に格納し、サーバ５９２において辞書を作成することができる。
　（実施の形態５）
　図１１は、本開示の実施の形態５に係る画像認識システム６００を示す。画像認識システム６００は、複数の第１のコンピュータとしての第１のカメラ６０１、第２のカメラ６０３、第３のカメラ６０５、および第４のカメラ６０４と、第２のコンピュータとしてのＥＣＵ６０２と、測距センサ６１０と、を有する。第１のカメラ６０１、第２のカメラ６０３、第３のカメラ６０５、第４のカメラ６０４、および測距センサ６１０とは、それぞれＥＣＵ６０２と接続される。
　例えば、車両が前進する場合、第４のカメラ６０４は前方の障害物を検出し、第２のカメラ６０３と、第３のカメラ６０５はオフにし、第１のカメラ６０１は後方車両を検出する。車両が右折する場合、第４のカメラ６０４は前方の障害物を検出し、第３のカメラ６０５は、巻き込みによる事故が起きないように、右方の歩行者などを検出し、第２のカメラ６０３で左方車両を検出し、第１のカメラ６０１にて後方車両を検出する。
　一例において、測距センサ６１０がＥＣＵ６０２に接続される。第４のカメラ６０４の画像データと測距センサ６１０の測距データとを合成し、３次元画像を前方の障害物の検出に用いてもよい。測距センサ６１０は、認識対象との間の距離を測定するセンサであり、例えばミリ波センサまたはソナーセンサである。このように、複数台のカメラ６０１，６０３，６０５，６０５および測距センサ６１０を利用した画像認識システムを構築することにより、さらに認識対象の認識率を上げることができる。
　（その他の実施の形態）
　実施の形態１に係る第１のコンピュータ１０１は、検出処理を行っているが、これに加えて識別処理の一部を、第２のコンピュータ１０２に代わって実行してもよい。
　実施の形態１に係る第１のコンピュータ１０１は、カメラ１１５を有する。カメラ１１５に加えて、例えばＬＩＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）を用いて、カメラ１１５からの画像データおよびＬＩＤＡＲからの画像データを組み合わせ、３次元画像データを認識対象の検出および／または識別に用いてもよい。
　本開示は、画像認識システム並びに、画像認識システムを搭載した機械に関し、例えば、自動運転車や産業用ロボット等の自律的に動作する機械に搭載される画像認識システム等に用いられる。
１００　　画像認識システム
１０１　　第１のコンピュータ
１０２　　第２のコンピュータ
１０３　　認識対象検出部
１０４　　認識対象識別部
１０５　　第１の送信部
１０６　　第２の送信部
１０７　　第１の受信部
１０８　　第２の受信部
１０９　　第１の制御部
１１０　　第２の制御部
１１１　　通信路
１１５　　カメラ
１２０　　記憶部
１３０　　画像データ
１３１　　画像データ
１３２　　画像データ
１４１　　制御信号
１４２　　制御信号
１５０，１５１　　特徴点データ
１６０，１６１，１６２，１６３　　検出パラメータ群
１７０，１７１，１７２，１７３　　画像
１７０ａ，１７１ａ，１７２ａ　　検出領域
２３０，２３１，２３２　　特徴点データ
２６０，２６１，２６２，２６３　　画像
３０１　　認識結果
３０２　　特徴点データ
３０３　　画像データ
４０１，４０２　　ニューラルネットワーク
４１０　　認識データ
４２０　　シナプス荷重の変更データ
４３０　　シナプス
４４０　　ニューロン
５００，５００Ａ　　画像認識システム
５０１　　第１のコンピュータ
５３０　　カメラ
５６１　　第２のコンピュータ
５９２　　サーバ
６００　　画像認識システム
６０１　　第１のカメラ（カメラ）
６０２　　ＥＣＵ
６０３　　第２のカメラ（カメラ）
６０４　　第４のカメラ（カメラ）
６０５　　第３のカメラ（カメラ）
６１０　　測距センサ
１００５　　辞書データ作成部
１００６　　辞書
１００７　　特徴ベクトル
１０４０　　画像
１０５０　　探索領域
１０６０　　画像データ
１０６２　　画像データ
１０６４　　検出対象の文字
２０００，２０００Ａ　　画像認識システム
２００１，２００１Ａ　　車載カメラ
２００２　　車両
２００３，２００３Ａ　　ＥＣＵ
２００４　　相互通信路
２００５　　辞書
２００６　　認識対象検出部
２００７　　認識対象識別部
２０１０　　第１の画像処理部
２０４０　　第２の画像処理部
３００３　　第１のスイッチ
３００４　　第２のスイッチ
３０２３　　第１のモデム
３０２４　　第２のモデム
３０２７　　送信
３０２８　　受信

Claims (11)

  1. 画像データから検出パラメータ群を用いて認識対象を検出する第１のコンピュータと、
    前記第１のコンピュータが検出した認識対象の識別を行う第２のコンピュータと、
    前記第１のコンピュータと前記第２のコンピュータとの間に設けられた通信路と、を備え、
    前記第１のコンピュータと前記第２のコンピュータとは、物理的に分離されて配置され、
    前記検出パラメータ群は、前記画像データの画像認識処理に用いられ、動的に変更される認識パラメータ群に含まれ、
    前記第１のコンピュータが前記第２のコンピュータに前記画像データを送信する時に、前記第２のコンピュータが前記通信路を介して前記検出パラメータ群を前記第１のコンピュータに送信する、
    画像認識システム。
  2. 前記通信路の通信方式が全二重通信方式であり、前記画像データの送信および前記検出パラメータ群の送信が並行して行われる、
    請求項１に記載の画像認識システム。
  3. 前記認識パラメータ群は、認識すべき認識対象を特徴づけるパラメータ群の少なくとも一部である、
    請求項１、２のいずれか一項に記載の画像認識システム。
  4. 前記第１のコンピュータはニューラルネットワークを用いて前記認識対象を検出し、
    前記検出パラメータ群は、前記ニューラルネットワークを構成するニューロンのシナプス荷重、関数、および閾値の少なくとも１つである、
    請求項１から３のいずれか一項に記載の画像認識システム。
  5. 前記シナプス荷重は複数のシナプス荷重の１つであり、前記複数のシナプス荷重のいくつかをゼロに設定することにより、前記ニューラルネットワークの構成が変更される、
    請求項４に記載の画像認識システム。
  6. 前記第１のコンピュータは、前記第２のコンピュータに、前記画像データをフレーム毎に送信し、
    前記フレーム毎に、前記認識パラメータ群が変更される、
    請求項１から５のいずれか一項に記載の画像認識システム。
  7. 前記第１のコンピュータから物理的に分離されて配置されるとともに前記第１のコンピュータに接続され、前記画像データを取得するカメラをさらに備えた、
    請求項１から６のいずれか一項に記載の画像認識システム。
  8. 前記第２のコンピュータに接続されたサーバをさらに備え、
    前記第２のコンピュータは、前記サーバから前記認識パラメータ群の少なくとも１つのパラメータを取得し、前記サーバに前記第２のコンピュータによる認識結果の情報を送信する、
    請求項１から７のいずれか一項に記載の画像認識システム。
  9. 前記第２のコンピュータに接続され、前記認識対象との間の距離を測定するセンサをさらに備えた、
    請求項１から８のいずれか一項に記載の画像認識システム。
  10. 前記第１のコンピュータは、複数の第１のコンピュータの１つであり、前記画像認識システムは前記複数の第１のコンピュータを備えた、
    請求項１から９のいずれかに記載の画像認識システム。
  11. 前記通信路を介する通信が無線通信である、
    請求項１から１０のいずれか一項に記載の画像認識システム。
PCT/JP2017/016516 2016-07-15 2017-04-26 画像認識システム WO2018012084A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP17827218.3A EP3428878A4 (en) 2016-07-15 2017-04-26 IMAGE DETECTION SYSTEM
US16/088,472 US10853964B2 (en) 2016-07-15 2017-04-26 Image recognition system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016140341A JP6688970B2 (ja) 2016-07-15 2016-07-15 画像認識システム
JP2016-140341 2016-07-15

Publications (1)

Publication Number Publication Date
WO2018012084A1 true WO2018012084A1 (ja) 2018-01-18

Family

ID=60952930

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/016516 WO2018012084A1 (ja) 2016-07-15 2017-04-26 画像認識システム

Country Status (4)

Country Link
US (1) US10853964B2 (ja)
EP (1) EP3428878A4 (ja)
JP (1) JP6688970B2 (ja)
WO (1) WO2018012084A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020141588A1 (ja) * 2019-01-02 2020-07-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理装置、情報処理方法及びプログラム
JPWO2021210269A1 (ja) * 2020-04-13 2021-10-21

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020020997A (ja) * 2018-08-02 2020-02-06 古河電気工業株式会社 融着接続システム、融着接続機及び光ファイバ種判別方法
JP7240916B2 (ja) * 2019-03-22 2023-03-16 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、および情報処理プログラム
WO2020196165A1 (ja) * 2019-03-25 2020-10-01 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、情報処理プログラム、および情報処理システム
JP7287650B2 (ja) * 2019-03-27 2023-06-06 Ｎｅｃソリューションイノベータ株式会社 画像認識装置、画像認識方法、及びプログラム
US11858143B1 (en) * 2020-03-02 2024-01-02 Amazon Technologies, Inc. System for identifying a user with an autonomous mobile device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05314089A (ja) * 1992-05-11 1993-11-26 Toshiba Corp ニューロチップ
JP2001333428A (ja) * 2000-05-19 2001-11-30 Oki Electric Ind Co Ltd 動画送受信システム
WO2013118491A1 (ja) * 2012-02-06 2013-08-15 パナソニック株式会社 カメラ装置、サーバ装置、画像監視システム、画像監視システム制御方法及び画像監視システム制御プログラム
JP2014022970A (ja) * 2012-07-19 2014-02-03 Panasonic Corp 画像送信装置、画像送信方法、画像送信プログラム、画像認識認証システム、及び画像受信装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3659914B2 (ja) 2000-10-31 2005-06-15 松下電器産業株式会社 物体認識装置、物体を認識する方法、プログラムおよび記録媒体
EP1202214A3 (en) 2000-10-31 2005-02-23 Matsushita Electric Industrial Co., Ltd. Method and apparatus for object recognition
US9208432B2 (en) * 2012-06-01 2015-12-08 Brain Corporation Neural network learning and collaboration apparatus and methods
JP6398347B2 (ja) * 2013-08-15 2018-10-03 株式会社リコー 画像処理装置、認識対象物検出方法、認識対象物検出プログラム、および、移動体制御システム
JP6471934B2 (ja) * 2014-06-12 2019-02-20 パナソニックＩｐマネジメント株式会社 画像認識方法、カメラシステム
US20170323472A1 (en) * 2014-10-26 2017-11-09 Galileo Group, Inc. Methods and systems for surface informatics based detection with machine-to-machine networks and smartphones
JP6828587B2 (ja) * 2017-05-22 2021-02-10 トヨタ自動車株式会社 画像処理システム、画像処理方法、情報処理装置及び記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05314089A (ja) * 1992-05-11 1993-11-26 Toshiba Corp ニューロチップ
JP2001333428A (ja) * 2000-05-19 2001-11-30 Oki Electric Ind Co Ltd 動画送受信システム
WO2013118491A1 (ja) * 2012-02-06 2013-08-15 パナソニック株式会社 カメラ装置、サーバ装置、画像監視システム、画像監視システム制御方法及び画像監視システム制御プログラム
JP2014022970A (ja) * 2012-07-19 2014-02-03 Panasonic Corp 画像送信装置、画像送信方法、画像送信プログラム、画像認識認証システム、及び画像受信装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3428878A4 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020141588A1 (ja) * 2019-01-02 2020-07-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理装置、情報処理方法及びプログラム
US11481990B2 (en) 2019-01-02 2022-10-25 Panasonic Intellectual Property Corporation Of America Detection device, detection method, and recording medium for detecting an object in an image
JP7407738B2 (ja) 2019-01-02 2024-01-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理装置、情報処理方法及びプログラム
JPWO2021210269A1 (ja) * 2020-04-13 2021-10-21
WO2021210269A1 (ja) * 2020-04-13 2021-10-21 日本電気株式会社 映像分析装置、映像分析システム及び映像分析方法
JP7318809B2 (ja) 2020-04-13 2023-08-01 日本電気株式会社 映像分析装置、映像分析システム及び映像分析方法

Also Published As

Publication number Publication date
JP6688970B2 (ja) 2020-04-28
EP3428878A1 (en) 2019-01-16
US10853964B2 (en) 2020-12-01
US20190114799A1 (en) 2019-04-18
JP2018010568A (ja) 2018-01-18
EP3428878A4 (en) 2019-05-01

Similar Documents

Publication Publication Date Title
WO2018012084A1 (ja) 画像認識システム
US10691952B2 (en) Adapting to appearance variations when tracking a target object in video sequence
US10451712B1 (en) Radar data collection and labeling for machine learning
US10037471B2 (en) System and method for image analysis
US11308350B2 (en) Deep cross-correlation learning for object tracking
US20190026917A1 (en) Learning geometric differentials for matching 3d models to objects in a 2d image
US10896342B2 (en) Spatio-temporal action and actor localization
WO2019143536A1 (en) Failure detection for a neural network object tracker
CN115244421A (zh) 使用相机地图和/或雷达信息的对象尺寸估计
US20200051254A1 (en) Decoupled motion models for object tracking
US20180101744A1 (en) Spatio-temporal awareness engine for priority tree based region selection across multiple input cameras and multimodal sensor empowered awareness engine for target recovery and object path prediction
US11302110B2 (en) Pedestrian action recognition and localization using RGB images
WO2020185209A1 (en) Radar data collection and labeling for machine-learning
Tsintotas et al. Tracking‐DOSeqSLAM: A dynamic sequence‐based visual place recognition paradigm
EP4064127A1 (en) Methods and electronic devices for detecting objects in surroundings of a self-driving car
JP2022164640A (ja) マルチモーダル自動ラベル付けと能動的学習のためのデータセットとモデル管理のためのシステムと方法
CN113810567A (zh) 用于执行对象检测的电子装置及其操作方法
CN112805661B (zh) 交通工具进入检测
Alajlan et al. Automatic lane marking prediction using convolutional neural network and S-Shaped Binary Butterfly Optimization
CN114764909A (zh) 增强的对象检测
CN116615666A (zh) 针对具有丢帧的数据集的序列处理
Van Hecke et al. Persistent self-supervised learning principle: from stereo to monocular vision for obstacle avoidance
CN113837270B (zh) 一种目标识别方法、装置、设备及存储介质
Uthayan et al. IoT-cloud empowered aerial scene classification for unmanned aerial vehicles
US20230032132A1 (en) Processing environmental data for vehicles

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2017827218

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017827218

Country of ref document: EP

Effective date: 20181010

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17827218

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE