WO2019230339A1 - 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置 - Google Patents

物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置 Download PDF

Info

Publication number
WO2019230339A1
WO2019230339A1 PCT/JP2019/018724 JP2019018724W WO2019230339A1 WO 2019230339 A1 WO2019230339 A1 WO 2019230339A1 JP 2019018724 W JP2019018724 W JP 2019018724W WO 2019230339 A1 WO2019230339 A1 WO 2019230339A1
Authority
WO
WIPO (PCT)
Prior art keywords
viewpoint
unit
warp
coordinate system
image
Prior art date
Application number
PCT/JP2019/018724
Other languages
English (en)
French (fr)
Inventor
晋彦 千葉
雄介 関川
鈴木　幸一郎
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Publication of WO2019230339A1 publication Critical patent/WO2019230339A1/ja
Priority to US17/105,148 priority Critical patent/US11734918B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to an object identification device, a moving body system, an object identification method, an object identification model learning method, and an object identification model learning device.
  • Patent Document 1 discloses, as an image recognition method used in an advanced driving support system, an input image captured by an imaging unit is input to a convolutional neural network, a center region of an object (recognition target) in the input image is estimated, and the center A method for outputting a value indicating a region is disclosed.
  • Patent Document 1 it is possible to correctly identify a plurality of objects partially overlapping on an image.
  • an object is recognized in the imaging coordinate system at the imaging viewpoint of the imaging unit, and the object recognized by such a method has a position such as depth (or positional relationship between a plurality of objects). It may be difficult to grasp.
  • the inventor of the present application has found that it is required to make it easier to grasp the position of the identified object.
  • This disclosure is intended to provide an object identification apparatus, a moving body system, an object identification method, an object identification model learning method, and an object identification model learning apparatus that can more appropriately grasp an object.
  • an object identification device that is communicably connected to an imaging unit mounted on a moving body and identifies an object in the outside world of the moving body is an external environment imaged by the imaging unit from a predetermined shooting viewpoint.
  • An image acquisition unit that acquires an image and a convolutional neural network are configured, and the image data acquired by the image acquisition unit is input to the convolutional neural network, and the image is converted to a viewpoint different from the shooting viewpoint via the convolutional neural network.
  • a viewpoint conversion map generating unit that outputs the viewpoint conversion map.
  • the viewpoint conversion map generation unit applies a convolution operation of a convolutional neural network to the image data, and extracts a feature map of the object in the first coordinate system based on the shooting viewpoint, and a second point based on another viewpoint.
  • a warp function relating to which position in the first coordinate system the position of the two coordinate system corresponds to is applied to the feature map extracted by the feature extraction processing unit, and an object in the region of the second coordinate system is identified.
  • An output processing unit for outputting the converted viewpoint conversion map.
  • a moving body system used for a moving body is mounted on the moving body, captures an external environment of the moving body from a predetermined shooting viewpoint, and generates an image.
  • an object identification device for identifying an object outside the mobile body.
  • the object identification device constitutes a convolutional neural network, and image data is input to the convolutional neural network, and through the convolutional neural network, a viewpoint conversion map that outputs a viewpoint conversion map obtained by converting the image into a viewpoint different from the photographing viewpoint is output.
  • the viewpoint conversion map generation unit applies a convolution operation of a convolutional neural network to the image data, and extracts a feature map of the object in the first coordinate system based on the shooting viewpoint, and a second point based on another viewpoint.
  • a warp function relating to which position in the first coordinate system the position of the two coordinate system corresponds to is applied to the feature map extracted by the feature extraction processing unit, and an object in the region of the second coordinate system is identified.
  • An output processing unit for outputting the converted viewpoint conversion map.
  • an image captured by the image capturing unit passes through a convolutional neural network, and a viewpoint conversion map based on a viewpoint different from the viewpoint of capturing the image is output.
  • the viewpoint conversion map By referring to the viewpoint conversion map, the object can be identified without being caught by the photographing viewpoint of the imaging unit mounted on the moving body, so that the position of the identified object can be easily grasped.
  • the position of the second coordinate system based on another viewpoint is added to the feature map of the first coordinate system based on the photographing viewpoint obtained by applying the convolution operation to the image data.
  • a warp function that relates to which position in one coordinate system is applied is applied. By applying the warp function, it is possible to identify an object in the region of the second coordinate system so as to complement the convolution operation for calculating the local relationship in the first coordinate system. It is possible to improve generalization performance in object identification while suppressing the depth of the image from becoming too deep. As described above, it is possible to provide an object identification device or a moving body system that can more appropriately grasp an object outside the moving body.
  • an object identification method is based on an imaging viewpoint by inputting data of a captured image obtained by capturing an object from an imaging viewpoint to a convolutional neural network and applying a convolution operation to the captured image data. Extracting a feature map in the first coordinate system and a warp function associating which position in the first coordinate system the position of the second coordinate system based on a viewpoint different from the photographing viewpoint corresponds to the feature map And obtaining a viewpoint conversion map in which the captured image data is converted from the shooting viewpoint to another viewpoint and the object is identified based on the feature map to which the warp function is applied. Including.
  • the position of the second coordinate system based on another viewpoint is set to the first coordinate system based on the feature map of the first coordinate system based on the photographing viewpoint obtained by applying the convolution operation to the image data.
  • the warp function it is possible to identify an object in the region of the second coordinate system so as to complement the convolution operation for calculating the local relationship in the first coordinate system. It is possible to improve generalization performance in object identification while suppressing the depth of the image from becoming too deep. Therefore, the map obtained based on the feature map to which the warp function is applied and the viewpoint conversion map in which the object is identified from another viewpoint from the photographing viewpoint becomes more reliable.
  • an object identification model learning method includes a convolutional neural network and a warp structure that warps a feature map extracted by the convolutional neural network to another coordinate system.
  • a warp parameter is prepared in the warp structure for associating which position of another coordinate system corresponds to which position of the coordinate system before the warp, and a photographed image obtained by photographing an object in the object identification model , Learning warp parameters so that a viewpoint transformation map in which an object is identified in another coordinate system is output.
  • the map output in the object identification model is It is possible to smoothly convert from the coordinate system before the warp to another coordinate system.
  • the viewpoint conversion map in this way, an object can be identified without being bound by the shooting viewpoint of the shot image. Therefore, it is possible to realize an object identification model that can grasp an object more appropriately.
  • an object identification model learning device is a learning device that learns an object identification model, wherein a convolutional neural network and a feature map extracted by the convolutional neural network are in different coordinate systems.
  • a warp structure for warping an arithmetic circuit configured to be able to execute arithmetic processing of an object identification model, data of a captured image obtained by photographing an object from a photographing viewpoint, and coordinates based on a viewpoint different from the photographing viewpoint
  • a convolutional neural network that outputs data closer to the correct answer data when a set of the output map data in which the object is identified in the system and a teacher data setting unit for setting the captured image is input to the object identification model
  • a learning unit that learns kernel parameters used in the kernel and warp parameters used in the warp structure; The parameters and warp parameter kernel part has learned, and a memory device for storing.
  • An arithmetic circuit configured to execute is provided, and this arithmetic circuit is used.
  • kernel parameters and warp parameters are learned so as to output data closer to correct data, and can be stored in a memory device after learning. Therefore, learning of the object identification model including the warp structure can be performed smoothly, so that the object identification model can be constructed as a learning model with higher generalization performance. As described above, it is possible to easily realize an object identification model that can grasp an object more appropriately.
  • an object identification device is an object identification device that is connected to a camera mounted on a moving body so as to be communicable and identifies an object outside the moving body, and is connected to the camera.
  • An image acquisition unit that acquires an image of the outside world captured by the camera, a learning value memory in which learning values are stored, an encoder unit that reads a kernel parameter from the learning value memory and includes a plurality of feature quantity extraction units, and a plurality of identifications
  • a convolutional neural network composed of a decoder unit including a unit is configured, and an encoder unit extracts a feature map of an object feature amount from image data acquired by the image acquisition unit, reads a warp parameter from a learning value memory, Create multiple warp functions corresponding to multiple identification units and apply multiple warp functions to the feature map
  • the identification unit has an arithmetic unit for generating a viewpoint conversion map converted into another viewpoint the viewpoint camera is captured by the decoder unit.
  • a convolutional neural network including an encoder unit and a decoder unit is configured by reading kernel parameters from a learning value memory in which learning values are stored. Then, the warp parameters are read from the learning value memory, and a plurality of warp functions corresponding to the plurality of identification units of the decoder unit are created.
  • the identification unit of the decoder unit is provided with a local based on another viewpoint so as to complement the convolutional neural network to which the operation is applied in consideration of local relationships.
  • the warp function acts so that the general relationship is considered. As a result, it is possible to output a viewpoint conversion map that sufficiently reflects the local relationship based on another viewpoint in the identification process in the decoder unit.
  • FIG. 2 is a block diagram schematically showing a circuit configuration of the ECU of FIG. 1. It is an example of the image image
  • the viewpoint conversion map generation unit It is a figure for demonstrating the imaging coordinate system and bird's-eye view coordinate system of 1st Embodiment, It is a figure for demonstrating an example of the integrated recognition in 1st Embodiment, It is a figure for demonstrating estimation of the position of the pedestrian in 1st Embodiment, It is a flowchart which shows the image display process by the vehicle system of 1st Embodiment, It is a flowchart which shows the vehicle travel control process by the vehicle system of 1st Embodiment, It is a figure for demonstrating the viewpoint conversion map production
  • FIG. 1 It is a flowchart by the learning apparatus of FIG. It is a block diagram which shows the system configuration
  • the system for a moving body is a vehicle system 9 used for a vehicle as a moving body, and is mounted on the vehicle 1.
  • vehicle 1 here means the own vehicle in order to distinguish it from the other vehicle 4, but in the following description, the own vehicle is simply referred to as “vehicle” (with some exceptions). Except), other vehicles shall be described as “other vehicles”.
  • the vehicle system 9 includes an imaging unit 10, an autonomous sensor unit 15, an HMI device unit 20, a vehicle travel control unit 30, an ECU (Electronic Control Unit) 40, and the like.
  • the imaging unit 10 has a plurality of cameras 11. Each camera 11 has an image sensor, a lens, and a circuit unit 12 as a control unit.
  • the imaging element is an element that converts light into an electrical signal by photoelectric conversion, and for example, a CCD image sensor or a CMOS image sensor can be adopted.
  • the imaging element forms a rectangular area in which pixels are two-dimensionally arranged.
  • the lens is disposed between the imaging target and the imaging element in order to form an image of the imaging target on the imaging element.
  • the circuit unit 12 is an electronic circuit including at least one processor, a memory device, and an input / output interface.
  • the processor is an arithmetic circuit that executes a computer program stored in the memory device.
  • the memory device is a non-transitional tangible storage medium for non-temporarily storing a computer program and data provided by, for example, a semiconductor memory and readable by a processor.
  • the circuit unit 12 is electrically connected to the image pickup device, thereby controlling the image pickup device and generating the image IM as data including detection results of each pixel and sending the data to the ECU 40 as an electric signal. Output.
  • each camera 11 of the imaging unit 10 sequentially captures the external world of the vehicle 1 from a predetermined imaging viewpoint PVP based on the arrangement, and generates image IM data.
  • the plurality of cameras 11 shoots different directions in the external environment of the vehicle 1 at different shooting viewpoints PVP.
  • the plurality of cameras 11 includes a camera 11 that is disposed at the front portion of the vehicle 1 and photographs the front of the outside of the vehicle 1 (see also FIG. 5).
  • the autonomous sensor unit 15 assists the imaging unit 10, such as pedestrians in the outside world of the vehicle 1, other vehicles 4, falling objects on the road, traffic signals, guardrails, curbs, road signs, road displays, lane markings, etc. Detect an object.
  • the autonomous sensor unit 15 includes at least one autonomous sensor among a lidar unit, a millimeter wave radar, a sonar, and the like. Since the autonomous sensor unit 15 is communicable with the ECU 40, the detection result data of each autonomous sensor unit 15 is output to the ECU 40 as an electrical signal.
  • the HMI device unit 20 is mainly configured by a device group for realizing HMI (Human Machine Interface). Specifically, the HMI device unit 20 includes an information presentation unit 21, an alarm unit 22, and a vibration unit 23.
  • HMI Human Machine Interface
  • the information presentation unit 21 mainly presents visual information to the occupant of the vehicle 1.
  • the information presentation unit 21 includes, for example, a combination meter having a display for displaying an image, a head-up display for projecting the image onto a windshield or the like of the vehicle 1 to display a virtual image, and a car navigation system configured to display a navigation image. It has at least one display among displays and the like.
  • the information presentation unit 21 provides visual information according to the input of an electrical signal from the ECU 40 by being able to communicate with the ECU 40.
  • the alarm unit 22 performs an alarm for the passenger of the vehicle 1.
  • the alarm unit 22 includes at least one sound oscillation device, such as a speaker or a buzzer.
  • the alarm unit 22 performs an alarm according to the input of an electrical signal from the ECU 40 because it can communicate with the ECU 40.
  • the vibration unit 23 provides information or a warning by vibration to the passenger of the vehicle 1.
  • the vibration unit 23 includes at least one actuator among, for example, an actuator that vibrates a steering handle of the vehicle 1 and an actuator that vibrates a seat on which an occupant is seated. Since the vibration unit 23 is communicable with the ECU 40, the vibration unit 23 vibrates according to the input of an electric signal from the ECU 40.
  • the HMI device section 20 can be provided with a circuit unit 20a as a control section that controls the information presentation section 21, the alarm section 22, and the vibration section 23.
  • the circuit unit 20a is an electronic circuit including at least one processor, a memory device, and an input / output interface.
  • the processor is an arithmetic circuit that executes a computer program stored in the memory device.
  • the memory device is a non-transitional tangible storage medium for non-temporarily storing a computer program and data provided by, for example, a semiconductor memory and readable by a processor.
  • the circuit unit 20a can convert an electrical signal from the ECU 40 into a signal corresponding to the information presentation unit 21, the alarm unit 22, and the vibration unit 23, and can share a part of the information presentation process and the alarm process. .
  • the vehicle travel control unit 30 is configured as an electronic circuit including at least one processor, a memory device, and an input / output interface.
  • the processor is an arithmetic circuit that executes a computer program stored in the memory device.
  • the memory device is a non-transitory tangible storage medium for non-temporarily storing a computer program and data provided by, for example, a semiconductor memory and readable by a processor.
  • the vehicle travel control unit 30 can communicate with the ECU 40, the drive device, the braking device, and the steering device of the vehicle 1, so that an electric signal from the ECU 40 is input and the vehicle 1 is driven. Electrical signals are output to the device, the braking device, and the steering device.
  • the vehicle travel control unit 30 includes an automatic operation control unit 31, a drive control unit 32, a braking control unit 33, and a steering control unit 34 as functional blocks that are expressed by the execution of the computer program.
  • the automatic driving control unit 31 has an automatic driving function that can substitute at least a part of the driving operation of the vehicle 1 from a driver as an occupant.
  • the automatic driving control unit 31 acquires information useful for automatic driving from the integrated memory 52 of the ECU 40, and performs automatic driving control of the vehicle 1 using the information.
  • the automatic driving control unit 31 controls the driving device of the vehicle 1 through the driving control unit 32, controls the braking device of the vehicle 1 through the braking control unit 33, and passes through the steering control unit 34.
  • the steering device of the vehicle 1 is controlled.
  • the automatic driving control unit 31 controls the driving of the vehicle 1 by linking the driving device, the braking device, and the steering device to each other, and avoids a risk that the vehicle 1 may come into contact depending on the external environment of the vehicle 1.
  • the ECU 40 is a so-called computer and functions as an object identification device for identifying an object in the outside of the vehicle 1.
  • the ECU 40 is mainly configured by an electronic circuit including at least one processor 40b, a memory device 40c, and an input / output interface (for example, an image acquisition unit 40a).
  • the processor 40b is an arithmetic circuit that executes a computer program stored in the memory device 40c.
  • the memory device 40c is a non-transitional tangible storage medium for non-temporarily storing a computer program and data provided by, for example, a semiconductor memory and readable by the processor 40b. At least a part of the computer program can be replaced with an artificial intelligence algorithm using a neural network, and some functions are also realized by the neural network in this embodiment.
  • the ECU 40 is communicably connected to the imaging unit 10, the autonomous sensor unit 15, the HMI device unit 20, and the vehicle travel control unit 30 as described above.
  • the ECU 40 can acquire travel information of the vehicle 1, control information of the vehicle 1, self-position information of the vehicle 1, information from the cloud 3, and information from the other vehicle 4 by inputting an electric signal using communication.
  • the cloud 3 means one or both of a network realized by cloud computing and a computer connected by the network, and can share data or provide various services to the vehicle 1.
  • communication between the ECU 40 and each element is provided by an in-vehicle network such as CAN (registered trademark) and a public communication network such as a mobile phone network and the Internet.
  • CAN registered trademark
  • public communication network such as a mobile phone network and the Internet.
  • Various suitable communication methods can be adopted regardless of communication.
  • the cloud 3 is illustrated in two places for convenience, but these may be the same cloud or different clouds.
  • Another vehicle different from the other vehicle 4 that communicates with the vehicle 1 is identified by a different reference or no reference.
  • the ECU40 has the own vehicle information understanding part 41, the other vehicle information understanding part 42, the viewpoint conversion map production
  • the ECU 40 has a learning value memory 51 defined by a memory area that occupies a part of the memory device 40c.
  • the ECU 40 has an integrated memory 52 defined by a memory area that occupies a part of the memory device 40c.
  • the own vehicle information understanding unit 41 sequentially acquires information from the autonomous sensor unit 15, travel information of the vehicle 1, control information and self position information, that is, information related to the own vehicle via the input / output interface, and organizes the information. And understand.
  • the other vehicle information understanding unit 42 sequentially acquires the information from the cloud 3 and the information from the other vehicle 4, that is, the information related to the other vehicle 4, through the input / output interface, and organizes and understands the information.
  • the viewpoint conversion map generation unit 60 functions as a computing device using a computer, and receives an external image IM as shown in FIG. 3 captured by the imaging unit 10 from a predetermined imaging viewpoint PVP, and captures the image IM.
  • a viewpoint conversion map MB as shown in FIG. 4 converted to a viewpoint different from the viewpoint PVP is output.
  • the input of the image IM is performed via an input / output interface that acquires image data from the imaging unit 10 and an image acquisition unit 40a that is a signal conversion circuit.
  • the predetermined photographing viewpoint PVP is a viewpoint directed from the vehicle 1 to the outside of the vehicle 1 because each camera 11 of the imaging unit 10 is mounted on the vehicle 1 as shown in FIG. .
  • the different viewpoint after the conversion is a viewpoint different from the viewpoint from the vehicle 1 toward the outside of the vehicle 1, and for example, a viewpoint in which the outside of the vehicle 1 is viewed from the sky is adopted.
  • the bird's-eye view coordinate system CB is a coordinate system in a two-dimensional space including the movable direction of the vehicle 1, and in particular in the present embodiment, as a coordinate system in a two-dimensional space along a virtual plane perpendicular to the longitudinal center plane of the vehicle 1. Defined.
  • the viewpoint conversion map generation unit 60 divides the area in the viewpoint conversion map MB based on the property, and gives a label corresponding to the property to the divided area.
  • the property here means the presence / absence of an object or the possibility of the existence of an object, and the type of the object when the possibility of the existence of the object is high.
  • the label is a symbol according to the type of the object, for example, a pedestrian, another vehicle (car), a road (road), a sidewalk, or a pole. Such a region segmentation method is called semantic segmentation. An object is identified by this division.
  • the integrated recognition unit 48 understands the information understood by the own vehicle information understanding unit 41 and the other vehicle information understanding unit 42 in addition to the viewpoint conversion map MB generated by the viewpoint conversion map generation unit 60.
  • the integrated recognition unit 48 By recognizing information and the viewpoint conversion map MB obtained from the image IM captured by the imaging unit 10 in the past, the accuracy of identifying the region and the object is improved.
  • the integrated recognition unit 48 takes into account the information understood by the own vehicle information understanding unit 41. For example, when the autonomous sensor unit 15 detects a part of the inside of the blind spot area BS that is the blind spot of the object from the photographing viewpoint PVP, the identification accuracy of the object in the detected area can be improved. Then, the integrated recognition unit 48 can reflect information such as the detection result in the viewpoint conversion map MB.
  • the integrated recognition unit 48 takes into account the information understood by the other vehicle information understanding unit 42. For example, when the imaging unit 10 mounted on the other vehicle 4 recognizes a part of the inside of the blind spot area BS by the imaging unit 10 of the vehicle 1, the identification accuracy of the area and the object can be improved. And the integrated recognition part 48 can reflect the information from this other vehicle 4 on viewpoint conversion map MB.
  • a viewpoint conversion map MB obtained from an image IM obtained by imaging the front of the vehicle 1 by the imaging unit 10 of the vehicle 1 and an imaging unit of another vehicle 4 positioned in front of the vehicle 1. 10 is integrated with the viewpoint conversion map MB obtained from an image obtained by photographing the rear of the other vehicle 4.
  • the future information estimation unit 49 performs future prediction in cooperation with the integrated recognition unit 48. For example, the future information estimation unit 49 calculates the walking from the position PP where the pedestrian is highly likely to exist within the blind spot area BS in the current viewpoint conversion map MB, and the past moving speed and moving direction of the pedestrian. It can be estimated at what time the person appears from the inside of the blind spot area BS to the outside of the blind spot area BS.
  • a case is considered in which the other vehicle 4Y in front of the vehicle 1 is stopped by, for example, a red light and the other vehicle 4Y forms a blind spot area BS.
  • Pedestrian position PP identified outside the blind spot area BS in the past area data at time t ⁇ n (where n is an arbitrary number greater than 1) and in the past area data at time t ⁇ 1. From this, the moving speed and moving direction of the pedestrian are determined. And even if a pedestrian is not recognized in the image IM of the present time t, based on the calculated moving speed and moving direction, a position where there is a high possibility that a pedestrian is present inside the blind spot area BS. Guessed. Furthermore, it is estimated that the pedestrian appears again outside the blind spot area BS at time t + n in the future.
  • the viewpoint conversion map MB to which the estimation result is added is stored and accumulated in the integrated memory 52 as shown in FIG.
  • the integrated recognition unit 48 determines whether or not the alarm by the alarm unit 22 of the HMI device unit 20 and the vibration by the vibration unit 23 are necessary based on the possibility of existence of a pedestrian or the like.
  • the viewpoint conversion map MB stored in the integrated memory 52 can be output as an electrical signal using communication to the HMI device unit 20, the vehicle travel control unit 30, the cloud 3, and the other vehicle 4.
  • the information presentation unit 21 of the HMI device unit 20 that is the output destination of the viewpoint conversion map MB acquires data necessary for presentation of information, for example, the latest viewpoint conversion map MB and the like from the integrated memory 52 of the ECU 40 (FIG. 8). (See S11).
  • the information presentation unit 21 presents the acquired viewpoint conversion map MB to the passenger of the vehicle 1 as visual information visualized. Specifically, the viewpoint conversion map MB as shown in FIG. 4 is displayed as an image as visual information on, for example, one of a combination meter display, a head-up display, and a car navigation display (FIG. 8). Of S12).
  • the alarm unit 22 of the HMI device unit 20 acquires the content of the alarm via the integrated memory 52 of the ECU 40 when it is determined that the alarm is necessary. Then, the warning unit 22 issues a warning for the passenger of the vehicle 1. Specifically, a warning by a sound emitted from a speaker or a warning by a warning sound emitted by a buzzer is performed.
  • the vibration unit 23 of the HMI device unit 20 acquires the vibration content via the integrated memory 52 of the ECU 40 when it is determined that vibration is necessary. And the vibration part 23 generates a vibration in the form which the passenger
  • the automatic driving control unit 31 of the vehicle travel control unit 30 that is the output destination of the viewpoint conversion map MB acquires data necessary for automatic driving, such as the latest viewpoint conversion map MB, from the integrated memory 52 of the ECU 40 (FIG. 9). S21).
  • the automatic operation control unit 31 controls traveling of the vehicle 1 using the acquired data.
  • the vehicle 1 since the coordinate system of the two-dimensional space including the movable direction of the vehicle 1 based on the viewpoint which looked at the external world of the vehicle 1 is adopted in the viewpoint conversion map MB, the vehicle 1 cannot move. Vertical information is excluded. Accordingly, an increase in the data amount of the viewpoint conversion map MB is suppressed. Therefore, information on the two-dimensional space suitable for controlling the traveling of the vehicle 1 can be provided to the automatic driving control unit 31 with little delay, and the information processing time in the automatic driving control unit 31 can be reduced. Function can be realized.
  • the validity of the automatic driving function can be further increased.
  • the viewpoint conversion map generation unit 60 includes an encoder unit 61, a warp application unit 65, and a decoder unit 66 as sub functional blocks whose functions are further subdivided.
  • the encoder unit 61 and the decoder unit 66 constitute a neural network (more specifically, a convolutional neural network) that can be regarded as a group, and a warp application unit 65.
  • the viewpoint conversion map generation unit 60 including the warp structure according to (1) constitutes an object identification model based on an artificial intelligence algorithm mainly composed of the neural network.
  • the object identification model causes the computer to function so that the encoder unit 61, the warp application unit 65, and the decoder unit 66 perform the functions described below.
  • the encoder unit 61 has a plurality (for example, five) of feature extraction units 62a, 62b, 62c, 62d, and 62e so as to be connected in series from the input side to the output side.
  • Each feature extraction unit 62a-e includes convolutional layers (Convolutional layer) 63a, 63b, 63c, 63d, 63e, and pooling layers (Pooling layer) 64a, 64b, 64c, 64d, and 64e are connected in series with each other.
  • Convolutional layer convolutional layer
  • Pooling layer pooling layers
  • dot hatching is given to the pooling layers 64a to 64e.
  • the width and height (that is, the size of the map matrix) in each of the layers 63a-e and 64a-e belonging to the same feature extraction unit 62a-e are substantially the same.
  • the size is smaller as the feature extraction units 62a to 62e are located on the output side.
  • the sizes of the layers 63a to 63e and 64a to 64e belonging to the feature extraction unit 62a located on the most input side correspond to the number of pixels of the camera 11 of the imaging unit 10, and are acquired by, for example, the image acquisition unit 40a. Further, it is set so that data consisting of detection results (for example, pixel values) of each pixel in the image IM can be input in a matrix shape in which the pixel arrangement is relatively maintained. Of course, if the resolution of the image IM is reduced by the image acquisition unit 40a or the like, the size can be reduced accordingly. Thus, the image data acquired by the image acquisition unit 40a is input to the convolutional layers 63a to 63e in the feature extraction unit 62a located on the most input side.
  • Each convolution layer 63a to 63e has a local filter having a predetermined size (for example, 3 ⁇ 3, 5 ⁇ 5) defined for each convolution layer 63a to 63e for the input data.
  • a calculation that convolves a kernel or a feature extractor is performed. For example, an input value input at a position corresponding to each element of the kernel and a weighting factor set in advance in the kernel are multiplied for each element, and a linear sum of the multiplication values for each element is calculated.
  • a convolution operation is performed by adding a bias set in advance to the kernel to this linear sum.
  • the weight coefficient and the bias are collectively referred to as a kernel parameter in order to distinguish them from the warp parameter ⁇ .
  • the result of such a convolution operation is converted by an activation function.
  • an activation function for example, ReLU (Rectified Linear Unit) can be adopted.
  • the convolution layers 63a to 63e can be multilayered as shown in FIG. 10 by performing the conversion by the above-described convolution operation and activation function a plurality of times.
  • the convolution layers 63a to 63e are multi-layered into two to three layers. In this way, a feature map can be obtained from the image IM input to the encoder unit 61.
  • the pooling layers 64a to 64e individually correspond to each other and calculate local statistics of the feature maps output from the convolution layers 63a to 63e, which are upper layers connected to the input side. Specifically, a window having a predetermined size (for example, 2 ⁇ 2, 3 ⁇ 3) corresponding to the position of the upper layer is set, and local statistics are calculated from input values in the window. As the local statistic, for example, the maximum value can be adopted. That is, by adopting the maximum value of the input values in the window as a result of pooling, the input values in the window can be integrated.
  • the windows set for this pooling calculation often do not overlap each other (although they may overlap partially).
  • the size of the feature map output from the pooling layers 64a to 64d is reduced according to the size of the window. This is called downsampling.
  • the feature maps output from the pooling layers 64a to 64d are input to the convolution layers 63b to 63e of the next feature extraction units 62b to 62e. . Since the feature maps are downsampled by the pooling layers 64a to 64d, the size of the next feature extraction units 62b to 62e may be smaller than the input side so that the feature maps after downsampling can be input in a matrix. It will be good.
  • the feature map output from the pooling layer 64e is output from the encoder unit 61 as it is and input to the decoder unit 66, for example.
  • the encoder unit 61 outputs a downsampled feature map. It can be said that the encoder unit 61 is compressing the feature map by this downsampling.
  • each of the layers 63a to 63e and 64a to 64e of the encoder unit 61 processes the image data input in a matrix shape in which the pixel arrangement is relatively maintained without destroying the relative position in the two-dimensional space. Therefore, it can be said that the encoder unit 61 extracts the feature of the object in the external area in the imaging coordinate system CV in the form of a feature map.
  • the feature map output from the pooling layers 64a to 64d is output from the encoder unit 61 and input to the warp application unit 65. That is, the feature map of the intermediate layer of the encoder unit 61 is output to the warp application unit 65.
  • four feature maps are output to the warp application unit 65 from the pooling layers 64a to 64d of the four feature extraction units 62a to 62d excluding the most output-side pooling layer 64e.
  • the warp application unit 65 applies a warped function that relates to which position of the imaging coordinate system CV the position of the bird's-eye coordinate system CB corresponds to the input feature map, and performs warped copy (Warped Copy). Generate. Specifically, the warp application unit 65 generates a warped copy based on the warp function expressed by the following formula 1.
  • Equation 1 i and j represent the i-th row and j-th column of the matrix in the converted feature map, and indicate the positions in the bird's-eye coordinate system CB.
  • I with a hat and j with a hat represent the i-th row and j-th column of the matrix in the feature map before conversion, and indicate the position in the imaging coordinate system CV.
  • k corresponds to the component of the feature map corresponding to the position (i, j) or the position (i with a hat, j with a hat).
  • F b (i, j, k) is a warped copy, that is, a feature map after conversion.
  • w (the description of the subscript in Equation 1 is omitted) is a parameter representing a weight set in advance corresponding to the position of the feature map before conversion.
  • ⁇ v , ⁇ u (hereinafter collectively referred to as “ ⁇ ”) are determined from the position of the imaging coordinate system CV (i with a hat, j with a hat) to the position (i, j) of the bird's-eye coordinate system CB. Is a variable (hereinafter referred to as a warp parameter) for performing a warp to
  • the warped copy is generated by correcting the feature map F v warped by the warp parameter ⁇ by the parameter w. That is, since the position (i, j) is naturally a discrete value (integer), unless the value returned by the warp parameter ⁇ is an integer, the position of the matrix before conversion and the position of the matrix after conversion The correspondence with is unclear.
  • the parameter w functions as a coefficient for correcting the value returned by the warp parameter ⁇ to an integer.
  • Such warped copies are generated for the pooling layers 64a to 64d of the feature extraction units 62a to 62d excluding the most output side feature extraction unit 62e, output from the warp application unit 65, and sent to the decoder unit 66. Entered.
  • the warp parameters ⁇ of the warp function are different from each other corresponding to each feature extraction unit 62a to 62d. Parameters are prepared. However, the difference in the warp parameter ⁇ is due to the difference in resolution caused by the size of the feature map to be applied, and each warp function exhibits a similar function.
  • the warp in the present embodiment means that the extracted feature is converted from the imaging coordinate system CV to the bird's eye coordinate system CB using a variable corresponding to depth called a warp parameter ⁇ .
  • the warp function indicates from which pixel value in the imaging coordinate system CV the pixel value at each position in the bird's eye coordinate system CB should be acquired.
  • pixel values at all positions in the imaging coordinate system CV are not copied to the decoder unit 66 via warped copy in the warp.
  • the pixel is completely unnecessary information in the viewpoint conversion map MB of the bird's eye coordinate system CB. Not copied.
  • the same pixel (position of the imaging coordinate system CV) where the object is photographed overlaps at a plurality of positions in the bird's-eye coordinate system CB. May be selected. That is, the image may be copied from one position on the image IM where the object is photographed to a plurality of positions in the bird's eye coordinate system CB.
  • the warp parameter ⁇ is a function of the position of the imaging coordinate system CV as disclosed in Equation 1, but is also a function of the input image IM input to the encoder unit 61.
  • the warp parameter ⁇ is configured to refer to a detection value of the autonomous sensor of the autonomous sensor unit 15 or a value obtained by correcting the detection value, the detection value of the autonomous sensor (the detected object) Of the depth value).
  • the decoder section 66 has a plurality (for example, five, which is the same number as the feature extraction units 62a to 62e) of identification units 67e, 67d, 67c, 67b, 67a so as to be connected in series from the input side to the output side. And a softmax layer 70 on the most output side.
  • Each identification unit 67e-a includes an inverse pooling layer (Unpooling layer) 68e, 68d, 68c, 68b, 68a, and a deconvolution layer (Deconvolution layer) 69e, 69d disposed on the output side of the inverse pooling layer 68e-a. , 69c, 69b, 69a are connected to each other in series.
  • Each identification unit 67a-e is configured to be paired with each feature extraction unit 62a-e.
  • ⁇ a make a pair and are individually associated one to one.
  • each reverse pooling layer 68a-e is individually associated with each pooling layer 64a-e of the feature extraction units 62a-e on a one-to-one basis, and the associated pairs are substantially the same size.
  • the inverse pooling layers 68e to 68a enlarge the size of the feature map downsampled by the encoder unit 61 again. This is called upsampling, and the inverse pooling layers 68e to 68a are also called upsampling layers.
  • the feature map from the feature extraction unit 62e is input to the reverse pooling layer 68e belonging to the most input side identification unit 67e without warping.
  • the input value from the pooling layer 64e located in this upper layer forms an adjacent range according to the size increase in the reverse pooling layer 68 (for example, a 2 ⁇ 2 range when the size is quadrupled).
  • the reverse pooling layer 68 of the present embodiment constitutes a dense map (a map with few elements having a value of 0).
  • the input values from the deconvolution layers 69e-b connected to the input side and the warped copy are combined with the reverse pooling layers 68d-a except for the reverse pooling layer belonging to the most identification unit 67e on the input side.
  • a plurality of (for example, two) channels are set. That is, the input value from the upper layer is stored in one channel of the reverse pooling layers 68d to 68a.
  • a warped copy obtained by warping the feature maps output from the individually corresponding pooling layers 64d to 64a is stored in another channel of the reverse pooling layers 68d to 68a.
  • the deconvolution layers 69 e to 69 a perform deconvolution (also referred to as transposition convolution) on the input feature map.
  • the deconvolution operation is an operation for restoring the feature map before the convolution operation under the assumption that the input feature map is a result of the convolution operation using a specific kernel.
  • a feature map for output can be generated by calculating a product of a transposed matrix of a matrix generated from a specific kernel and an input feature map.
  • the deconvolution layers 69e to 69a can be multilayered similarly to the convolution layers 63a to 63e.
  • the deconvolution layers 69e to 69a are multilayered into two to three layers.
  • the convolution calculation of the convolution layers 63a to 63e is a main subject of calculation, so that in the image IM imaged by the imaging unit 10, the relationship between pixels that are close to each other is the calculation target, and is separated from each other.
  • the pixel relationship is not fully considered. That is, positions adjacent to each other in the bird's eye coordinate system CB should have a strong relationship originally, but this is not considered.
  • the deconvolution layers 69e to 69a the deconvolution calculation is performed using the depooling layers 68e to 68a to which the warped copy is copied and combined as an input value, so that it is considered in the bird's eye coordinate system CB. Power relationships can be reflected in the results.
  • a softmax layer 70 is provided in the final layer on the most output side in the decoder unit 66.
  • the softmax layer 70 applies the softmax function to the input value from the deconvolution layer 69a connected to the input side, thereby determining the probability of the label for identifying the object at each position (pixel). Output.
  • the identification of the object in the present embodiment does not need to uniquely determine the label of the object, but only to determine the probability of the label.
  • the warped copy obtained by warping the feature map of the imaging coordinate system CV to the bird's eye coordinate system CB acts on the deconvolution layers 69d to 69a via the depooling layers 68d to 68a.
  • the feature map finally output from the softmax layer 70 of the decoder unit 66 is a viewpoint conversion map MB in which objects in the bird's-eye coordinate system CB are identified.
  • the viewpoint conversion map MB output via the convolutional neural network is a planar map of viewpoints in which the outside of the vehicle 1 is viewed from above. It can be said that the decoder unit 66 is decoding the feature map by upsampling.
  • a plurality of warped copies of different sizes act on the respective corresponding anti-pooling layers 68d to 68a, so that both the low-frequency information and the high-frequency information are both displayed in the finally output viewpoint conversion map MB. It will be reflected.
  • the viewpoint conversion map generation unit 60 is learned as an object identification model.
  • kernel parameters are set by prior machine learning and stored in the learning value memory 51 in a non-temporary manner.
  • the warp parameter ⁇ is also set by prior machine learning and is stored non-temporarily in the learning value memory 51.
  • the object identification model itself is a non-convex function. Therefore, even if a teacher is given to the input image IM and the output viewpoint conversion map MB, It is difficult to learn all the parameters and the warp parameter ⁇ simultaneously.
  • depth data indicating the depth of the object (distance from the imaging unit 10 to the object) reflected on the input image IM is prepared (see S32 in FIG. 11). This depth data is also practically used as a teacher. Note that the order of S31 and S32 may be interchanged.
  • a part of the warp parameter ⁇ is determined (see S33 in FIG. 11). That is, it is determined by the depth data that the position of the pixel in which the object is reflected in the input image IM corresponds to the position of the surface layer portion facing the vehicle 1 side of the object in the viewpoint conversion map MB. Can do. In other words, the displacement amount of the warp parameter ⁇ corresponding to the external position of the blind spot area BS of the viewpoint conversion map MB can be determined.
  • the determination of displacement here is to fix the warp parameter ⁇ (i with a hat, j with a hat) from a variable to a constant, but the warp parameter ⁇ is a function of the detected value of the autonomous sensor. If detected, the detected value may be fixed from a variable to a constant.
  • the viewpoint conversion that forms a pair with the input image IM and exists as correct data The kernel parameter and the other part of the undetermined state among the warp parameters ⁇ are learned simultaneously so that data closer to the data of the map MB is output from the object identification model (see S34 in FIG. 11). .
  • the input image IM is input to the object identification model, and the difference between the data output from the object identification model and the correct answer data is calculated.
  • a KL information amount KL divergence
  • KL divergence a scale for measuring a difference between probability distributions
  • the sum of the KL information amount calculated for each set is used as a cost (objective function), for example, using a gradient descent method or the like, a kernel parameter that minimizes this cost, and a warp parameter ⁇ Of these, it is calculated by searching for other parts in the non-deterministic state.
  • the machine learning of the warp parameter ⁇ means the problem of which pixel in the input image IM of the imaging coordinate system CV corresponds to the label of each position of the blind spot area BS in the viewpoint conversion map MB of the bird's eye coordinate system CB. Is to solve.
  • the object identification model can estimate a blind spot area BS that is a blind spot of an object on an image captured by the imaging unit 10.
  • the object identification model estimates the depth and shape of the back side of the object, thereby converting the blind spot area BS in the viewpoint conversion map MB of the bird's eye coordinate system CB into an area where the object is highly likely to exist (that is, the depth of the object). It is possible to distinguish a region corresponding to the minute) and a region where there is a high possibility that no object exists (that is, the space behind the object).
  • the position on the input image IM the position on the viewpoint conversion map MB corresponding to the blind spot area BS corresponds to.
  • the position (i with a hat, j with a hat) is designated based on a random initial value.
  • the cost is calculated for the warp parameter ⁇ such that the position (i with a hat, j with a hat) is warped to the position (i, j).
  • the warp parameter ⁇ that minimizes the cost is searched while the position is gradually changed to i with a hat and j with a hat.
  • Machine learning can be performed by the learning device 80 shown in FIGS. A flowchart executed by the learning device 80 is shown in FIG.
  • the learning device 80 is a so-called computer, and mainly includes an electronic circuit including at least one processor 81, a memory device 82, and an input / output interface.
  • the processor 81 is an arithmetic circuit that executes a computer program stored in the memory device 82.
  • the memory device 82 is a non-transitional physical storage medium that is provided by, for example, a semiconductor memory and stores a computer program and data that can be read by the processor 81 in a non-temporary manner.
  • the processor 81 is configured to be able to execute the arithmetic processing of the object identification model 83 described above.
  • the learning device 80 includes a teacher data setting unit 84 and a learning unit 85 as functional blocks constructed by using a processor 81 that executes arithmetic processing of the object identification model 83 or another additional processor. Have.
  • the teacher data setting unit 84 sets the above-described data set to be a teacher (see S41 in FIG. 14).
  • This setting may be, for example, converting a data set input by an operator who operates the learning device 80 into a form that the learning unit 85 can use for learning.
  • this setting means that when the learning device 80 is connected to an external device such as the vehicle 1 or the cloud 3 so as to be communicable, the teacher data setting unit 84 sets the data set from the external device or the cloud 3. May be collected and converted into a form that the learning unit 85 can use for learning.
  • the learning unit 85 When the learning unit 85 inputs the input image IM to the object identification model 83, the learning unit 85 forms a pair with the input image IM and data closer to the data of the viewpoint conversion map MB existing as correct answer data is the object identification model.
  • the kernel parameter and the warp parameter ⁇ are learned so as to be output from the terminal 83 (see S42 in FIG. 14). The details of the learning procedure are as described in the above description of the learning method.
  • the kernel parameters and the warp parameters ⁇ learned in this way are stored in the memory device 82 (see S43 in FIG. 14).
  • the kernel parameters and the warp parameters ⁇ stored in the memory device 82 can be taken out of the learning device 80 via an input / output interface or the like.
  • the image IM captured by the image capturing unit 10 passes through the convolutional neural network, and the viewpoint conversion map MB based on a viewpoint different from the viewpoint of shooting PVP is output from the image IM. .
  • the viewpoint conversion map MB it is possible to identify an object without being caught by the shooting viewpoint PVP of the imaging unit 10 mounted on the vehicle 1, so that it is easy to grasp the position of the identified object. Become.
  • the position of the bird's-eye coordinate system CB based on another viewpoint is added to the feature map of the imaging coordinate system CV based on the imaging viewpoint PVP obtained by applying the convolution operation to the image data.
  • a warp function relating to which position in the imaging coordinate system CV corresponds is applied. By applying the warp function, it is possible to identify an object in the region of the bird's eye coordinate system CB so as to complement the convolution operation for calculating the local relationship in the imaging coordinate system CV. It is possible to improve generalization performance in object identification while suppressing the depth of the image from becoming too deep. As described above, the object in the outside world of the vehicle 1 can be grasped more appropriately.
  • the bird's-eye coordinate system CB based on another viewpoint is a coordinate system in a two-dimensional space including the movable direction of the vehicle 1.
  • the viewpoint conversion map MB of the bird's-eye coordinate system CB in the two-dimensional space including the movable direction of the vehicle 1, it is possible to reduce the amount of information compared to the three-dimensional space and to quickly identify the object.
  • an object that can be an obstacle in the movement (running) of the vehicle 1 can be appropriately grasped. Therefore, smooth movement of the vehicle 1 can be supported.
  • the memory device 40c stores the kernel parameters used for the kernel of the convolutional neural network and the warp parameter ⁇ of the warp function, and the processor 40b performs the convolution operation using the kernel parameters, and the warp parameters.
  • the warp function application operation using, is processed. Therefore, since the kernel parameter and the warp parameter ⁇ can be appropriately and quickly utilized for the convolution calculation and the warp function application calculation, it is possible to easily realize the ECU 40 for identifying an object outside the vehicle 1. it can.
  • the viewpoint conversion map generation unit 60 applies the warp function to the feature map extracted by the encoder unit 61, and the convolutional neural network convolves the warped copy to which the warp function is applied.
  • a decoder unit 66 that is connected to the network and outputs a viewpoint conversion map MB in which an object in the region of the bird's eye coordinate system CB is identified is provided.
  • the warped copy is combined with the convolutional neural network and further calculated, it is possible to generate a viewpoint conversion map MB in which the relationship between adjacent positions in the bird's-eye coordinate system CB is sufficiently considered. Therefore, the accuracy of the identification result output from the viewpoint conversion map MB can be increased.
  • the output results from the deconvolution layers 69a to 69e connected to the input side and the warped copy are combined in the upsampling process by the depooling layers 68a to 68e. Since the deconvolution operation is sequentially applied based on such combined data, the relationship between adjacent positions in the bird's-eye coordinate system CB is sufficiently increased while gradually increasing the resolution in the decoder unit 66.
  • the considered viewpoint conversion map MB can be output. Therefore, the accuracy of the identification result output from the viewpoint conversion map MB can be increased.
  • a kernel parameter is read from a learning value memory 51 in which learning values are stored, and a convolutional neural network including an encoder unit 61 and a decoder unit 66 is configured.
  • the warp parameter ⁇ is read from the learning value memory 51, and a plurality of warp functions corresponding to the plurality of identification units 67a to 67e of the decoder unit 66 are created.
  • the identification units 67a to 67e of the decoder unit 66 are separately provided so as to complement the convolutional neural network to which the operation is applied in consideration of local relationships.
  • the warp function acts so as to take into account local relationships based on the viewpoint. As a result, it is possible to output the viewpoint conversion map MB that sufficiently reflects the local relationship based on another viewpoint in the identification process in the decoder unit 66.
  • the information presentation unit 21 as an image display unit displays an image in which the viewpoint conversion map MB is visualized. Since such a viewpoint conversion map MB makes it easy to understand the distance relationship between objects as two-dimensional information, a viewer of a visualized image can more appropriately grasp an object outside the vehicle 1.
  • the traveling control of the vehicle 1 using the viewpoint conversion map MB is performed by the vehicle traveling control unit 30 as the movement control unit.
  • the vehicle travel control unit 30 can quickly understand and process the distance relationship of the object as the two-dimensional information, so that real-time and advanced travel control of the vehicle 1 can be realized.
  • the position of the bird's-eye coordinate system CB based on another viewpoint is A warp function relating to which position in the imaging coordinate system CV corresponds is applied.
  • the warp function it is possible to identify an object in the region of the bird's eye coordinate system CB so as to complement the convolution operation for calculating the local relationship in the imaging coordinate system CV. It is possible to improve generalization performance in object identification while suppressing the depth of the image from becoming too deep. Accordingly, the viewpoint conversion map MB obtained based on the feature map to which the warp function is applied and in which an object is identified at a different viewpoint from the shooting viewpoint PVP becomes more reliable.
  • the warp parameter ⁇ for learning which position of the coordinate system CB after the warp corresponds to which position of the coordinate system CV before the warp is learned. Therefore, the map MB output in the object identification model can be smoothly converted from the pre-warp coordinate system CV to another coordinate system CB.
  • the viewpoint conversion map MB an object can be identified without being bound by the shooting viewpoint PVP of the shot image IM. Therefore, it is possible to realize an object identification model that can grasp an object more appropriately.
  • the learning method of the first embodiment since the kernel parameters and the warp parameters ⁇ are learned using a common data set, the number of man-hours for learning can be reduced.
  • the convolutional neural network and the warp structure function more integrally, and an object identification model can be constructed as a learning model with high generalization performance. Therefore, it is possible to realize an object identification model that can grasp an object more appropriately.
  • a displacement amount corresponding to a position outside the blind spot area BS, which is a part of the warp parameter ⁇ and is a blind spot of the object on the input image IM In the confirmed state, the kernel parameter and the other part of the warp parameter ⁇ in the undetermined state are learned simultaneously. If the amount of displacement of some of the warp parameters ⁇ is determined in this way, the number of local minimum solutions can be reduced at the cost used for learning. Therefore, the kernel parameters and the warp parameters ⁇ are more optimal. It is possible to improve the generalization performance of the object identification model by converging on the value.
  • a search is made as to which position on the input image IM corresponds to the position on the output map corresponding to the blind spot area BS.
  • Such a search makes the relationship between the two positions in the warp function more appropriate, so that the generalization performance of the body identification model can be improved.
  • the learning device 80 of the object identification model 83 of the first embodiment when learning the object identification model 83, a convolutional neural network and a warp structure that warps a feature map extracted by the convolutional neural network to another coordinate system.
  • the processor 81 is provided as an arithmetic circuit configured to be able to execute the arithmetic processing of the object identification model 83 that constitutes and the processor 81 is used.
  • kernel parameters and warp parameters are learned so that data closer to the correct data is output, and can be stored in the memory device 82 after learning.
  • the object identification model 83 can be constructed as a learning model with higher generalization performance. As described above, it is possible to easily realize the object identification model 83 that can grasp the object more appropriately.
  • the encoder unit 61 corresponds to a “feature extraction processing unit”
  • the warp application unit 65 and the decoder unit 66 correspond to an “output processing unit”.
  • the decoder unit 66 corresponds to an “identification processing unit”.
  • the second embodiment is a modification of the first embodiment.
  • the second embodiment will be described with a focus on differences from the first embodiment.
  • the viewpoint conversion map generation unit 260 of the second embodiment includes an encoder unit 261, a decoder unit 266, and a warp conversion unit 271 as shown in FIGS.
  • the encoder unit 261 has a plurality (for example, five) of feature extraction units 62a to 62e connected in series from the input side to the output side.
  • Each of the feature extraction units 62a to 62e includes convolution layers 63a to 63e and pooling layers 64a to 64e arranged on the output side of the convolution layers 63a to 63e so as to be connected in series with each other.
  • the decoder unit 266 connects a plurality of (for example, the same number of five feature extraction units 62a to 62e) identification units 67a to 67e in series from the input side to the output side. And a softmax layer 70 on the most output side.
  • Each identification unit 67a-e has a reverse pooling layer 68a-e and a reverse convolution layer 69a-e arranged on the output side of the reverse pooling layer 68a-e so as to be connected in series with each other. Yes.
  • Kernel parameters in each layer of the encoder unit 261 and the decoder unit 266 need not have the same values as in the first embodiment because the warp structure is different.
  • the feature maps output from the respective pooling layers 64a to 64d are not warped and are simply copied to the inverse pooling layers 68d to 68a corresponding to the respective pooling layers 64a to 64d. Entered. This simple copy is combined with the input values from the deconvolution layers 69e-b adjacent to the input side in the depooling layers 68d-a.
  • the feature map finally output from the softmax layer 70 of the decoder unit 266 of the second embodiment is based on the imaging coordinate system CV, that is, the viewpoint is converted, although the object is identified by semantic segmentation. There is no viewpoint conversion map MV.
  • the warp conversion unit 271 converts the viewpoint non-conversion map MV output from the decoder unit 266 by a warp function that relates to which position of the imaging coordinate system CV the position of the bird's-eye coordinate system CB corresponds.
  • the warp function is the same as that in the first embodiment, but the warp parameter ⁇ may be different from that in the first embodiment.
  • the warp conversion unit 271 can generate and output a viewpoint conversion map MB in which an object in the region of the bird's eye coordinate system CB is identified as a feature map to be finally output.
  • the same method as that of the first embodiment is adopted, and the learning can be performed by the learning device 80 similar to that of the first embodiment. is there. Also, as shown in the flowchart of FIG. 17, the learning of the kernel parameters of the convolutional neural network configured mainly with the encoder unit 261 and the decoder unit 266 is performed, and then the warp parameter ⁇ of the warp function is set. It is also possible to adopt a learning method for learning.
  • the kernel parameters of the convolutional neural network are learned. Specifically, a plurality of sets of data of the input image IM to be input to the encoder unit 261 and data of the above-described viewpoint non-conversion map MV that is correct data corresponding to the data of the input image IM are prepared (FIG. 17). (See S51). This data set is a teacher for the convolutional neural network.
  • the kernel parameters are learned (see S52 in FIG. 17). Specifically, the input image IM is input to the convolutional neural network, and a difference between the data output from the convolutional neural network and the correct answer data is calculated to obtain a kernel parameter that minimizes the cost. This completes learning of the convolutional neural network portion of the object identification model.
  • the warp parameter ⁇ is learned. Specifically, a plurality of sets of data of the viewpoint conversion map MV before the warp processing and data of the viewpoint conversion map MB that is correct data corresponding to the viewpoint non-conversion map MV are prepared (see S53 in FIG. 17). .
  • the viewpoint non-conversion map MV When the viewpoint non-conversion map MV is input to the warp conversion unit 271, data closer to the data of the viewpoint conversion map MB that forms a pair with the input image IM and exists as correct answer data is received from the warp conversion unit 271.
  • the warp parameter ⁇ is learned so as to be output (see S54 in FIG. 17).
  • the viewpoint non-conversion map MV is input to the warp conversion unit 271 and the difference between the data output from the warp conversion unit 271 and the correct data is calculated to obtain the warp parameter ⁇ that minimizes the cost. . This completes learning of the warp structure portion of the object identification model.
  • the encoder unit 261 and the decoder unit 266 output the viewpoint non-conversion map MV in which the object in the region of the imaging coordinate system CV is identified, and the warp conversion unit 271 calculates the warp function, It is applied to the viewpoint non-conversion map MV and is output as a viewpoint conversion map MB in which objects in the region of the bird's eye coordinate system CB are identified.
  • the ECU 40 can be easily realized and used as an object identification device.
  • the encoder unit 261 and the decoder unit 266 correspond to a “feature extraction processing unit” for convenience, and the warp conversion unit 271 corresponds to an “output processing unit”.
  • the ECU 40, the vehicle travel control unit 30, the learning device 80, and the like are provided by an electronic circuit that is hardware, it is provided by a digital circuit including a large number of logic circuits or an analog circuit can do.
  • the memory devices 40c and 82 may be configured by combining a plurality of storage media.
  • At least a part of the functions of the vehicle travel control unit 30 or the HMI device unit 20 may be realized by the ECU 40.
  • the ECU 40 and the vehicle travel control unit 30 may be integrated into one device.
  • some functions of the ECU 40 may be realized by the vehicle travel control unit 30 or the HMI device unit 20.
  • the HMI device unit 20 may not be included in the vehicle system 9.
  • the viewpoint conversion map MB generated by the viewpoint conversion map generation unit 60 may be used exclusively for controlling the traveling of the vehicle 1 by the automatic driving control unit 31.
  • the vehicle travel control unit 30 may not be included in the vehicle system 9.
  • the viewpoint conversion map MB generated by the viewpoint conversion map generation unit 60 may be used exclusively for at least one of provision of visual information, warning, and vibration by the HMI device unit 20.
  • the ECU 40 may not exchange information with at least one of the cloud 3 and the other vehicle 4.
  • a warp function may be applied.
  • the feature map output from the convolutional layers 63a to 63e instead of the pooling layers 64a to 64d is output to the warp application unit 65, and the warped copy is input to the decoder unit 66. You may make it do.
  • various structures can be adopted as the structure of the convolutional neural network mainly composed of the encoder unit 261 and the decoder unit 266.
  • a full-layer convolutional neural network can be employed.
  • the ECU 40 may not be mounted on the vehicle 1 as long as it is communicably connected to the imaging unit 10 mounted on the vehicle 1.
  • a coordinate system along a virtual plane perpendicular to the longitudinal center plane instead of the coordinate system based on the vehicle 1, a coordinate system along a horizontal plane perpendicular to the direction of gravity, that is, a coordinate system based on the earth may be employed.
  • the object identification device can be applied to various moving bodies such as ships and airplanes other than vehicles.
  • a coordinate system along a plane including a gravitational direction is used as a coordinate system of a two-dimensional space including a movable direction of a moving body based on a viewpoint different from the photographing viewpoint PVP. May be adopted. If a viewpoint conversion map that employs such a coordinate system is used, the position of an object in the direction of gravity can be identified, so that the flight altitude of the airplane can be set more accurately.
  • the object identification device can be applied to an unmanned moving body such as an unmanned transport vehicle or a drone.
  • the vehicle system 9 corresponds to an example of a moving body system.
  • the ECU 40 corresponds to an example of an object identification device.
  • the viewpoint conversion map generation units 60 and 260 correspond to an example of an arithmetic device.
  • the feature extraction units 62a to 62e correspond to an example of a feature amount extraction unit.
  • the processor 81 corresponds to an example of an arithmetic circuit.
  • the bird's eye coordinate system CB corresponds to an example of a second coordinate system.
  • the imaging coordinate system CV corresponds to an example of a first coordinate system.
  • control and the method described in this disclosure may be realized by a dedicated computer that configures a processor programmed to execute one or a plurality of functions embodied by a computer program.
  • the apparatus and the method described in the present disclosure may be realized by a dedicated hardware logic circuit.
  • the apparatus and the method described in the present disclosure may be realized by one or more dedicated computers configured by a combination of a processor that executes a computer program and one or more hardware logic circuits.
  • the computer program may be stored in a computer-readable non-transition tangible recording medium as instructions executed by the computer.
  • each step is expressed as, for example, S11. Further, each step can be divided into a plurality of sub-steps, while a plurality of steps can be combined into one step.
  • the embodiments, configurations, and aspects of the object identification device, the mobile object system, the object identification method, the object identification model learning method, and the object identification model learning device according to one aspect of the present disclosure have been exemplified.
  • Such embodiments, configurations, and aspects are not limited to the above-described embodiments, configurations, and aspects.
  • embodiments, configurations, and aspects obtained by appropriately combining technical sections disclosed in different embodiments, configurations, and aspects are also included in the scope of the embodiments, configurations, and aspects according to the present disclosure.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

物体識別装置は、撮像部が所定の撮影視点（ＰＶＰ）から撮影した外界の画像（ＩＭ）を取得する画像取得部（４０ａ）と、畳み込みニューラルネットワークを構成し、画像のデータが畳み込みニューラルネットワークに入力され、畳み込みニューラルネットワークを経て、画像を撮影視点とは別の視点に変換した視点変換マップ（ＭＢ）を出力する視点変換マップ生成部（６０，２６０）と、を備える。視点変換マップ生成部は、第１座標系（ＣＶ）における物体の特徴マップを抽出する特徴抽出処理部（６１，２６１，２６６）と、物体が識別された視点変換マップを出力する出力処理部（６５，６６，２７１）と、を有する。

Description

物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置 関連出願の相互参照
　本出願は、２０１８年６月１日に出願された日本国特許出願２０１８－１０６０８７号に基づくものであり、ここにその記載内容を参照により援用する。
　本開示は、物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置に関する。
　特許文献１は、先進運転支援システムに用いられる画像認識方法として、撮像部で撮影した入力画像を畳み込みニューラルネットワークに入力し、入力画像中の物体（認識対象）の中央領域を推定させ、当該中央領域を示す値を出力させる方法を開示している。
ＪＰ２０１７－５９２０７　Ａ
　特許文献１では、画像上で一部重なっている複数の物体をそれぞれ正しく識別することが可能とされている。しかしながら、特許文献１では、撮像部の撮影視点に撮影座標系において物体を認識するものであり、このような手法で認識された物体は、奥行き等の位置（又は複数の物体の位置関係）を把握し難いおそれがある。
　本願発明者は、識別された物体の位置をより把握し易くすることが求められていることを見出した。
　本開示は、物体をより適切に把握可能な物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置を提供することを目的とする。
　本開示の一態様によれば、移動体に搭載された撮像部と通信可能に接続され、移動体の外界の物体を識別する物体識別装置は、撮像部が所定の撮影視点から撮影した外界の画像を取得する画像取得部と、畳み込みニューラルネットワークを構成し、画像取得部が取得した画像のデータが畳み込みニューラルネットワークに入力され、畳み込みニューラルネットワークを経て、画像を撮影視点とは別の視点に変換した視点変換マップを出力する視点変換マップ生成部と、を備える。視点変換マップ生成部は、画像のデータに、畳み込みニューラルネットワークの畳み込み演算を適用し、撮影視点に基づく第１座標系における物体の特徴マップを抽出する特徴抽出処理部と、別の視点に基づく第２座標系の位置が、第１座標系のどの位置に対応しているかを関係付けるワープ関数を、特徴抽出処理部により抽出された特徴マップに適用し、第２座標系の領域における物体が識別された視点変換マップを出力する出力処理部と、を有する。
　本開示の別態様によれば、移動体に用いられる移動体システムは、移動体に搭載され、所定の撮影視点から移動体の外界を撮影して画像を生成する撮像部と、撮像部と通信可能に接続され、移動体の外界の物体を識別する物体識別装置と、を具備する。物体識別装置は、畳み込みニューラルネットワークを構成し、画像のデータが畳み込みニューラルネットワークに入力され、畳み込みニューラルネットワークを経て、画像を撮影視点とは別の視点に変換した視点変換マップを出力する視点変換マップ生成部を、備える。視点変換マップ生成部は、画像のデータに、畳み込みニューラルネットワークの畳み込み演算を適用し、撮影視点に基づく第１座標系における物体の特徴マップを抽出する特徴抽出処理部と、別の視点に基づく第２座標系の位置が、第１座標系のどの位置に対応しているかを関係付けるワープ関数を、特徴抽出処理部により抽出された特徴マップに適用し、第２座標系の領域における物体が識別された視点変換マップを出力する出力処理部と、を有する。
　これらの態様によると、撮像部が撮影した画像が畳み込みニューラルネットワークを経て、当該画像を撮影視点とは別の視点に基づく視点変換マップが出力される。視点変換マップを参照することで、移動体に搭載された撮像部の撮影視点にとらわれずに物体を識別することができるので、識別された物体の位置の把握は、容易なものとなる。
　このような視点変換マップの生成において、画像のデータに畳み込み演算を適用して得られた撮影視点に基づく第１座標系の特徴マップに、別の視点に基づく第２座標系の位置が、第１座標系のどの位置に対応しているかを関係づけるワープ関数を適用する。ワープ関数の適用によって、第１座標系での局所的な関係性を演算する畳み込み演算を、補完するように、第２座標系の領域での物体の識別を行うことができるので、ニューラルネットワーク構造が深くなり過ぎることを抑制しつつ、物体の識別における汎化性能を向上させることができる。以上により、移動体の外界の物体をより適切に把握可能な物体識別装置又は移動体用システムを提供することができる。
　本開示の別態様によれば、物体識別方法は、撮影視点から物体が撮影された撮影画像のデータを畳み込みニューラルネットワークに入力し、撮影画像のデータに畳み込み演算を適用して、撮影視点に基づく第１座標系における特徴マップを抽出することと、撮影視点とは別の視点に基づく第２座標系の位置が、第１座標系のどの位置に対応しているかを関連付けるワープ関数を、特徴マップに適用することと、ワープ関数が適用された特徴マップに基づいて、撮影画像のデータが撮影視点から別の視点に変換されていると共に、物体が識別された視点変換マップを得ることと、を含む。
　このような態様によると、画像のデータに畳み込み演算を適用して得られた撮影視点に基づく第１座標系の特徴マップに、別の視点に基づく第２座標系の位置が、第１座標系のどの位置に対応しているかを関係づけるワープ関数を適用する。ワープ関数の適用によって、第１座標系での局所的な関係性を演算する畳み込み演算を、補完するように、第２座標系の領域での物体の識別を行うことができるので、ニューラルネットワーク構造が深くなり過ぎることを抑制しつつ、物体の識別における汎化性能を向上させることができる。したがって、ワープ関数が適用された特徴マップに基づいて得られたマップであって、撮影視点から別の視点において物体が識別された視点変換マップは、より信頼性の高いものとなる。
　本開示の別態様によれば、物体識別モデルの学習方法は、畳み込みニューラルネットワークと、畳み込みニューラルネットワークにて抽出された特徴マップを別の座標系にワープするワープ構造と、を構成する物体識別モデルにおいて、別の座標系の位置が、ワープ前の座標系のどの位置に対応しているかを関係付けるためのワープパラメータをワープ構造に用意することと、物体識別モデルに物体が撮影された撮影画像を入力すると、別の座標系において物体が識別された視点変換マップが出力されるように、ワープパラメータを学習させることと、を含む。
　このような態様によると、別の座標系の位置が、ワープ前の座標系のどの位置に対応しているかを関係付けるためのワープパラメータを学習させるので、物体識別モデルにおいて出力されるマップを、ワープ前の座標系から、別の座標系へと、円滑に変換することができる。こうして視点変換マップを参照することで、撮影画像の撮影視点にとらわれずに物体を識別することができる。故に、物体をより適切に把握可能な物体識別モデルを実現することができる。
　本開示の別態様によれば、物体識別モデルの学習装置は、物体識別モデルを学習する学習装置であって、畳み込みニューラルネットワークと、畳み込みニューラルネットワークにて抽出された特徴マップを別の座標系にワープするワープ構造と、を構成する物体識別モデルの演算処理を実行可能に構成された演算回路と、撮影視点から物体が撮影された撮影画像のデータと、撮影視点とは別の視点に基づく座標系において物体が識別された出力マップのデータとの組を、設定する教師データ設定部と、撮影画像を物体識別モデルに入力した場合に、正解データにより近いデータを出力するように、畳み込みニューラルネットワークのカーネルに用いるカーネルのパラメータ及びワープ構造に用いるワープパラメータを学習する学習部と、学習部が学習したカーネルのパラメータ及びワープパラメータを、記憶するためのメモリ装置と、を備える。
　このような態様によると、物体識別モデルを学習させるにあたり、畳み込みニューラルネットワークと、畳み込みニューラルネットワークにて抽出された特徴マップを別の座標系にワープするワープ構造とを構成する物体識別モデルの演算処理を実行可能に構成された演算回路を設け、この演算回路を利用するようにした。ここで、撮影画像を当該物体識別モデルに入力した場合に、正解データにより近いデータを出力するように、カーネルのパラメータとワープパラメータを学習し、学習後にメモリ装置に記憶可能とした。したがって、ワープ構造を含む物体識別モデルの学習を、円滑に行うことができるので、より汎化性能の高い学習モデルとして物体識別モデルを構築可能となる。以上により、物体をより適切に把握可能な物体識別モデルを実現することは、容易に可能となる。
　本開示の別態様によれば、物体識別装置は、移動体に搭載されたカメラと通信可能に接続され、移動体の外界の物体を識別する物体識別装置であって、カメラと接続され、カメラが撮影した外界の画像を取得する画像取得部と、学習値が保存された学習値メモリと、学習値メモリからカーネルパラメータを読み込んで、複数の特徴量抽出ユニットを備えるエンコーダ部と、複数の識別ユニットを備えるデコーダ部とからなる畳み込みニューラルネットワークを構成し、エンコーダ部によって、画像取得部が取得した画像のデータから物体の特徴量の特徴マップを抽出し、学習値メモリからワープパラメータを読み込んで、複数の識別ユニットに対応する複数のワープ関数を作成し、特徴マップに複数のワープ関数を適用してそれぞれ対応する識別ユニットに読み込ませることにより、デコーダ部によってカメラが撮影した視点とは別の視点に変換した視点変換マップを生成する演算装置と、を有する。
　このような態様によると、学習値が保存された学習値メモリから、カーネルパラメータを読み込んで、エンコーダ部とデコーダ部とからなる畳み込みニューラルネットワークが構成される。そして、学習値メモリからワープパラメータを読み込んで、デコーダ部の複数の識別ユニットに対応する複数のワープ関数が作成される。特徴マップへの複数のワープ関数の適用においては、局所的な関係性を考慮して演算が適用される畳み込みニューラルネットワークを補完するように、デコーダ部の識別ユニットに、別の視点に基づいた局所的な関係性を考慮させるように、ワープ関数が作用する。この結果、デコーダ部での識別過程での別の視点に基づいた局所的な関係性が十分に反映された視点変換マップを出力することができる。
　本開示についての上記および他の目的、特徴や利点は、添付図面を参照した下記詳細な説明から、より明確になる。添付図面において、
第１実施形態の車両システムのシステム構成を示すブロック図であり、 図１のＥＣＵの回路構成を概略的に示すブロック図であり、 第１実施形態の撮像部が撮影した画像の一例であり、 図３の画像が視点変換マップ生成部に入力されて、生成された視点変換マップの一例であり、 第１実施形態の撮像座標系と鳥瞰座標系とを説明するための図であり、 第１実施形態における統合認識の一例を説明するための図であり、 第１実施形態における歩行者の位置の推測を説明するための図であり、 第１実施形態の車両システムによる画像表示処理を示すフローチャートであり、 第１実施形態の車両システムによる車両走行制御処理を示すフローチャートであり、 第１実施形態の視点変換マップ生成部ないしは物体識別モデルを説明するための図であり、 第１実施形態の物体識別モデルの学習方法を示すフローチャートであり、 第１実施形態の学習装置の回路構成を概略的に示すブロック図であり、 図１２の学習装置のシステム構成を示すブロック図であり、 図１３の学習装置によるフローチャートであり、 第２実施形態の車両システムのシステム構成を示すブロック図であり、 第２実施形態の視点変換マップ生成部ないしは物体識別モデルを説明するための図であり、 第２実施形態の物体識別モデルの学習方法の一例を示すフローチャートである。
　以下、複数の実施形態を図面に基づいて説明する。なお、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合せることができる。
　（第１実施形態）
　本開示の第１実施形態による移動体用システムは、図１に示すように、移動体としての車両に用いられる車両システム９であって、当該車両１に搭載されている。ここでいう車両１とは、他車両４と区別する上では、厳密には自車両を意味しているが、以下の説明において、自車両を単に「車両」と記載し（一部の例外を除く）、他車両を「他車両」と記載することとする。車両システム９は、撮像部１０、自律センサ部１５、ＨＭＩ機器部２０、車両走行制御部３０、及びＥＣＵ（Electronic Control Unit）４０等により構成されている。
　撮像部１０は、複数のカメラ１１を有している。各カメラ１１は、撮像素子、レンズ、及び制御部としての回路ユニット１２を有している。撮像素子は、光電変換により光を電気信号に変換する素子であり、例えばＣＣＤイメージセンサないしはＣＭＯＳイメージセンサを採用することができる。撮像素子は、画素を２次元に配列した矩形状の領域を形成している。レンズは、撮影対象を撮像素子上に結像させるために、撮像対象と撮影素子との間に配置されている。
　回路ユニット１２は、少なくとも１つのプロセッサ、メモリ装置、入出力インターフェースを含む電子回路である。プロセッサは、メモリ装置に記憶されているコンピュータプログラムを実行する演算回路である。メモリ装置は、例えば半導体メモリ等によって提供され、プロセッサによって読み取り可能なコンピュータプログラム及びデータを非一時的に格納するための非遷移的実体的記憶媒体である。回路ユニット１２は、撮像素子と電気的に接続されていることにより、撮像素子を制御すると共に、画像ＩＭを各画素の検出結果からなるデータとして生成し、ＥＣＵ４０へ向けて当該データを電気信号として出力する。
　このようにして、撮像部１０の各カメラ１１は、車両１の外界を、その配置に基づく所定の撮影視点ＰＶＰから逐次撮影して画像ＩＭのデータを生成する。本実施形態では、複数のカメラ１１は、互いに異なる撮影視点ＰＶＰにて、車両１の外界のうち互いに異なる方向を撮影するようになっている。複数のカメラ１１には、車両１のフロント部に配置され、車両１の外界のうち前方を撮影するカメラ１１が含まれている（図５も参照）。
　自律センサ部１５は、撮像部１０を補助するように、車両１の外界における歩行者、他車両４、路上の落下物、交通信号、ガードレール、縁石、道路標識、道路表示、及び区画線等の物体を検出する。自律センサ部１５は、例えばライダユニット、ミリ波レーダ、ソナー等のうち少なくとも１つの自律センサを有している。自律センサ部１５は、ＥＣＵ４０と通信可能となっていることにより、各自律センサ部１５の検出結果データを、ＥＣＵ４０へ向けて電気信号として出力する。
　ＨＭＩ機器部２０は、ＨＭＩ（Human Machine Interface）を実現するための機器群を主体として構成されている。具体的にＨＭＩ機器部２０は、情報提示部２１、警報部２２及び振動部２３を有している。
　情報提示部２１は、主に視覚的情報を車両１の乗員へ向けて提示する。情報提示部２１は、例えば画像を表示する表示器を備えたコンビネーションメータ、画像を車両１のウインドシールド等に投影して虚像表示するヘッドアップディスプレイ、ナビゲーション画像を表示可能に構成されたカーナビゲーション用ディスプレイ等のうち、少なくとも１つのディスプレイを有している。情報提示部２１は、ＥＣＵ４０と通信可能となっていることにより、ＥＣＵ４０からの電気信号の入力に応じた視覚的情報の提供を行う。
　警報部２２は、車両１の乗員へ向けた警報を行う。警報部２２は、例えばスピーカ、ブザー等のうち、少なくとも１つの音発振装置を有している。警報部２２は、ＥＣＵ４０と通信可能となっていることにより、ＥＣＵ４０からの電気信号の入力に応じた警報を行う。
　振動部２３は、車両１の乗員へ向けて振動による情報提供又は警報を行う。振動部２３は、例えば車両１の操舵ハンドルを振動させるアクチュエータ、乗員が着座する座席を振動させるアクチュエータ等のうち、少なくとも１つのアクチュエータを有している。振動部２３は、ＥＣＵ４０と通信可能となっていることにより、ＥＣＵ４０から電気信号の入力に応じた振動を行う。
　上記ＨＭＩ機器部２０には、情報提示部２１、警報部２２及び振動部２３を制御する制御部としての回路ユニット２０ａを設けることができる。回路ユニット２０ａは、少なくとも１つのプロセッサ、メモリ装置、入出力インターフェースを含む電子回路である。プロセッサは、メモリ装置に記憶されているコンピュータプログラムを実行する演算回路である。メモリ装置は、例えば半導体メモリ等によって提供され、プロセッサによって読み取り可能なコンピュータプログラム及びデータを非一時的に格納するための非遷移的実体的記憶媒体である。回路ユニット２０ａは、ＥＣＵ４０からの電気信号を、情報提示部２１、警報部２２及び振動部２３に対応した信号に変換することができ、情報提示処理及び警報処理の一部を分担することができる。
　車両走行制御部３０は、少なくとも１つのプロセッサ、メモリ装置、入出力インターフェースを含む電子回路として構成されている。プロセッサは、メモリ装置に記憶されているコンピュータプログラムを実行する演算回路である。メモリ装置は、例えば半導体メモリ等によって提供され、プロセッサによって読み取り可能なコンピュータプログラム及びデータを非一時的に格納するための非一時的実体的記憶媒体である。車両走行制御部３０は、ＥＣＵ４０、車両１の駆動装置、制動装置及び操舵装置と通信可能となっていることにより、ＥＣＵ４０からの電気信号が入力されるようになっていると共に、車両１の駆動装置、制動装置及び操舵装置へ向けて電気信号を出力するようになっている。
　車両走行制御部３０は、コンピュータプログラムの実行により発現される機能ブロックとして、自動運転制御部３１、駆動制御部３２、制動制御部３３及び操舵制御部３４を有している。
　自動運転制御部３１は、車両１の運転操作のうち少なくとも一部範囲を乗員としての運転者から代行可能な自動運転機能を備えている。自動運転制御部３１は、自動運転機能が作動している場合に、ＥＣＵ４０の統合メモリ５２から自動運転に有用な情報を取得し、当該情報を利用して、車両１の自動運転制御を実施する。具体的に、自動運転制御部３１は、駆動制御部３２を介して車両１の駆動装置を制御し、制動制御部３３を介して車両１の制動装置を制御し、操舵制御部３４を介して車両１の操舵装置を制御する。自動運転制御部３１は、駆動装置、制動装置及び操舵装置を互いに連携させて、車両１の走行を制御し、車両１の外界の状況によっては、当該車両１に来襲し得る危険を回避する。
　ＥＣＵ４０は、いわゆるコンピュータであり、車両１の外界における物体を識別する物体識別装置として機能している。ＥＣＵ４０は、図２に示すように、少なくとも１つのプロセッサ４０ｂ、メモリ装置４０ｃ、入出力インターフェース（例えば画像取得部４０ａ）を含む電子回路を主体として構成されている。プロセッサ４０ｂは、メモリ装置４０ｃに記憶されているコンピュータプログラムを実行する演算回路である。メモリ装置４０ｃは、例えば半導体メモリ等によって提供され、プロセッサ４０ｂによって読み取り可能なコンピュータプログラム及びデータを非一時的に格納するための非遷移的実体的記憶媒体である。コンピュータプログラムのうち少なくとも一部は、ニューラルネットワークを用いた人工知能アルゴリズムに置き換えることができ、本実施形態においても、一部の機能がニューラルネットワークによって実現されている。
　図１に示すようにＥＣＵ４０は、上述のように、撮像部１０、自律センサ部１５、ＨＭＩ機器部２０及び車両走行制御部３０と通信可能に接続されている。加えて、ＥＣＵ４０は、通信を用いた電気信号の入力によって、車両１の走行情報、車両１の制御情報、車両１の自己位置情報、クラウド３からの情報及び他車両４からの情報を取得可能に構成され、さらにはクラウド３及び他車両４へ情報を提供することが可能となっている。ここでクラウド３とは、クラウドコンピューティングにより実現されたネットワーク及びネットワークにより接続されたコンピュータの一方又は両方を意味し、データを共有したり、車両１に対する各種サービスを提供することができる。
　なお、本実施形態においてＥＣＵ４０と各要素との間の通信は、例えばＣＡＮ（登録商標）等の車内ネットワーク、及び例えば携帯電話網、インターネット等の公衆通信ネットワークにより提供されるが、有線通信、無線通信を問わず各種の好適な通信方式が採用され得る。
　なお、図１において、クラウド３は、便宜上、２箇所に記載されているが、これらは互いに同一のクラウドであってもよいし、互いに別のクラウドであってもよい。他車両４についても同様である。本実施形態では、これらは同一であるとして、同じ符号を付して説明を続ける。車両１と通信を行う他車両４とは別の他車両には、別の符号を付すか、符号を付さないで区別する。
　ＥＣＵ４０は、機能ブロックとして、自車両情報理解部４１、他車両情報理解部４２、視点変換マップ生成部６０、統合認識部４８及び将来情報推測部４９を有している。またＥＣＵ４０は、メモリ装置４０ｃの一部を占有するメモリ領域により規定された学習値メモリ５１を有している。またＥＣＵ４０は、メモリ装置４０ｃの一部を占有するメモリ領域により規定された統合メモリ５２を有している。
　自車両情報理解部４１は、自律センサ部１５からの情報、車両１の走行情報、制御情報及び自己位置情報、すなわち自車両に関する情報を、入出力インターフェースを介して逐次取得し、これら情報を整理及び理解する。
　他車両情報理解部４２は、クラウド３からの情報及び他車両４からの情報、まとめていえば他車両４に関する情報を、入出力インターフェースを介して逐次取得し、これら情報を整理及び理解する。
　視点変換マップ生成部６０は、コンピュータを用いた演算装置として機能し、撮像部１０が所定の撮影視点ＰＶＰから撮影した図３に示すような外界の画像ＩＭが入力され、当該画像ＩＭを当該撮影視点ＰＶＰとは別の視点に変換した図４に示すような視点変換マップＭＢを出力する。画像ＩＭの入力は、撮像部１０からの画像データを取得する入出力インターフェース及び信号変換回路である画像取得部４０ａを介して行われる。
　具体的に、所定の撮影視点ＰＶＰとは、図５に示すように、撮像部１０の各カメラ１１が車両１に搭載されているので、車両１から当該車両１の外界へ向けた視点である。一方、変換後の別の視点とは、車両１から当該車両１の外界へ向けた視点とは異なった視点であり、例えば上空から車両１の外界を鳥瞰した視点が採用される。
　すなわち、撮影視点ＰＶＰに基づく第１座標系（以下、撮像座標系ＣＶという）の画像データが別の視点に基づく第２座標系（以下、鳥瞰座標系ＣＢ）の視点変換マップＭＢに変換された上、出力される。鳥瞰座標系ＣＢは、車両１の移動可能方向を含む２次元空間の座標系であり、特に本実施形態では車両１の縦中心面に垂直な仮想の面に沿った２次元空間の座標系として定義される。
　視点変換マップ生成部６０は、視点変換マップＭＢにおける領域を、その性質に基づいて区分し、区分された領域に当該性質に対応したラベルを付与する。ここでいう性質とは、物体の存在有無又は物体の存在可能性、さらに物体が存在している可能性が高い場合のその物体の種類を意味する。ラベルは、物体の種類に準じた記号、例えば歩行者（pedestrian）、他車両（car）、車道（road）、歩道（sidewalk）、電柱（pole）等である。このような領域の区分手法は、セマンティックセグメンテーション（Semantic Segmentation）と称される。この区分によって、物体が識別されることとなる。
　統合認識部４８は、図１に示すように、視点変換マップ生成部６０が生成した視点変換マップＭＢに加えて、自車両情報理解部４１が理解した情報及び他車両情報理解部４２が理解した情報、さらには撮像部１０が過去に撮影した画像ＩＭから得られた視点変換マップＭＢを統合して認識することにより、領域及び物体の識別精度を高める。
　具体的に、統合認識部４８は、自車両情報理解部４１が理解した情報を加味する。例えば、自律センサ部１５が、撮影視点ＰＶＰから物体の死角となる死角領域ＢＳの内部の一部を検出している場合、その検出された領域の物体の識別精度を高めることができる。そして、統合認識部４８は、この検出結果等の情報を視点変換マップＭＢに反映させることができる。
　統合認識部４８は、他車両情報理解部４２が理解した情報を加味する。例えば、他車両４に搭載された撮像部１０が、車両１の撮像部１０による死角領域ＢＳの内部の一部を認識している場合、その領域及び物体の識別精度を高めることができる。そして、統合認識部４８は、この他車両４からの情報を視点変換マップＭＢに反映させることができる。
　例えば図６に示すように、車両１の撮像部１０が当該車両１の前方を撮影した画像ＩＭから得られた視点変換マップＭＢと、当該車両１よりも前方に位置する他車両４の撮像部１０が当該他車両４の後方を撮影した画像から得られた視点変換マップＭＢとが、統合される。これにより、車両１と他車両４との間にさらに別の他車両４Ｘ及び電柱等の物体が存在していたとしても、死角領域ＢＳが狭められて、精度の高い識別結果を得ることができる。
　将来情報推測部４９は、統合認識部４８と連携して、将来の予測を行う。例えば、将来情報推測部４９は、現在の視点変換マップＭＢにおける死角領域ＢＳの内部にて歩行者の存在可能性が高い位置ＰＰと、当該歩行者の過去の移動速度及び移動方向から、当該歩行者が何時ごろ死角領域ＢＳの内部から死角領域ＢＳの外部へ現出するかを推測することができる。
　具体的に図７に示すように、車両１に対する前方の他車両４Ｙが、例えば赤信号等により停止しており、当該他車両４Ｙが死角領域ＢＳを形成している場合を考える。過去である時刻ｔ－ｎの領域データ（但しｎは１より大きい任意の数）と、過去である時刻ｔ－１の領域データにおいて、死角領域ＢＳの外部に識別されている歩行者の位置ＰＰから、歩行者の移動速度及び移動方向が割り出される。そして、現在である時刻ｔの画像ＩＭにおいて歩行者が認識されなかったとしても、割り出された移動速度及び移動方向に基づいて、死角領域ＢＳの内部に歩行者の存在可能性が高い位置が推測される。さらには、将来である時刻ｔ＋ｎに、歩行者が再び死角領域ＢＳの外部に現出することが推測される。
　こうして推測結果が付加された視点変換マップＭＢは、図１に示すように、統合メモリ５２に記憶され、蓄積される。
　また統合認識部４８は、歩行者等の存在可能性に基づいてＨＭＩ機器部２０の警報部２２による警報及び振動部２３による振動が必要であるか否かを判定する。
　統合メモリ５２に記憶された視点変換マップＭＢは、ＨＭＩ機器部２０、車両走行制御部３０、クラウド３及び他車両４へ向けて、通信を用いた電気信号として出力可能となっている。
　視点変換マップＭＢの出力先であるＨＭＩ機器部２０の情報提示部２１は、ＥＣＵ４０の統合メモリ５２から、情報の提示に必要なデータ、例えば最新の視点変換マップＭＢ等を取得する（図８のＳ１１参照）。情報提示部２１は、取得した視点変換マップＭＢを可視化した視覚的情報として、車両１の乗員へ向けて提示する。具体的に、図４に示されるような視点変換マップＭＢが視覚的情報として、コンビネーションメータの表示器、ヘッドアップディスプレイ及びカーナビゲーション用ディスプレイのうち例えば１つにより、画像として表示される（図８のＳ１２参照）。
　ＨＭＩ機器部２０の警報部２２は、警報が必要であると判定された場合に、ＥＣＵ４０の統合メモリ５２を介して、警報の内容を取得する。そして、警報部２２は、車両１の乗員に向けた警報を行う。具体的に、スピーカが発する音声による警報、又はブザーが発する警報音による警報が実施される。
　ＨＭＩ機器部２０の振動部２３は、振動が必要であると判定された場合に、ＥＣＵ４０の統合メモリ５２を介して、振動の内容を取得する。そして、振動部２３は、車両１の乗員が感知できるような形態で、振動を発生させる。振動部２３は、警報部２２による警報と連動していることが好ましい。
　視点変換マップＭＢの出力先である車両走行制御部３０の自動運転制御部３１は、ＥＣＵ４０の統合メモリ５２から、自動運転に必要なデータ、例えば最新の視点変換マップＭＢ等を取得する（図９のＳ２１参照）。自動運転制御部３１は、取得したデータを用いて、車両１の走行の制御を行う。
　ここで、視点変換マップＭＢには、車両１の外界を鳥瞰した視点に基づいた、車両１の移動可能方向を含む２次元空間の座標系が採用されているので、車両１が移動不可能な鉛直方向の情報は排除されている。その分、視点変換マップＭＢのデータ量の増大が抑制されていることとなる。故に、車両１の走行を制御することに適した２次元空間の情報を、遅延少なく自動運転制御部３１に提供でき、自動運転制御部３１での情報処理時間を低減できるため、高度な自動運転機能を実現することができる。
　自動運転制御部３１において、将来情報推測部４９の推測結果も加味されると、より自動運転機能の妥当性を高めることができる。
　以上説明した車両システム９において、視点変換マップ生成部６０による処理を、以下により詳細に説明する。
　視点変換マップ生成部６０は、より機能が細分化されたサブ機能ブロックとして、エンコーダ部６１、ワープ適用部６５、及びデコーダ部６６を有している。図１０に示すように、第１実施形態では、エンコーダ部６１及びデコーダ部６６によって、ひとかたまりとみなすことが可能なニューラルネットワーク（より詳細には畳み込みニューラルネットワーク）が構成されており、ワープ適用部６５によるワープ構造を含む視点変換マップ生成部６０全体として、当該ニューラルネットワークを主体とした人工知能アルゴリズムによる物体識別モデルが構成されている。物体識別モデルは、エンコーダ部６１、ワープ適用部６５、及びデコーダ部６６が以下に説明する機能を発揮するように、コンピュータを機能させる。
　エンコーダ部６１は、複数（例えば５つ）の特徴抽出ユニット６２ａ，６２ｂ，６２ｃ，６２ｄ，６２ｅを、入力側から出力側へ直列的に接続するように有している。各特徴抽出ユニット６２ａ～ｅは、畳み込み層（Convolutional Layer）６３ａ，６３ｂ，６３ｃ，６３ｄ，６３ｅと、当該各畳み込み層６３ａ～ｅの出力側に配置されたプーリング層（Pooling Layer）６４ａ，６４ｂ，６４ｃ，６４ｄ，６４ｅとを、互いに直列的に接続するように有している。なお、図１０では、プーリング層６４ａ～ｅを畳み込み層６３ａ～ｅと区別して図示するために、プーリング層６４ａ～ｅにドットのハッチングが付与されている。
　同じ特徴抽出ユニット６２ａ～ｅに属する各層６３ａ～ｅ，６４ａ～ｅでの幅及び高さ（すなわちマップの行列のサイズ）は、互いに実質同一となっている。一方、特徴抽出ユニット６２ａ～ｅが出力側に位置する程、サイズは、小さくなっている。
　最も入力側に位置する特徴抽出ユニット６２ａに属する各層６３ａ～ｅ，６４ａ～ｅでのサイズは、撮像部１０のカメラ１１の画素の配列数に対応しており、例えば画像取得部４０ａにより取得された画像ＩＭにおける各画素の検出結果（例えばピクセル値）からなるデータが、画素の配列を相対的に維持した行列状に入力可能となるように、設定されている。もちろん、画像取得部４０ａ等で画像ＩＭの解像度が低減されていれば、それに合わせてサイズを小さくすることは可能である。こうして最も入力側に位置する特徴抽出ユニット６２ａにおける畳み込み層６３ａ～ｅに、画像取得部４０ａによって取得された画像データが入力されることとなる。
　各畳み込み層６３ａ～ｅは、それぞれ入力されるデータに対して、各畳み込み層６３ａ～ｅ毎に定められた所定のサイズ（例えば３×３、５×５）を有する局所的なフィルタ（これをカーネル又は特徴抽出器という）を畳み込む演算を行う。例えば、カーネルの各要素に対応する位置に入力された入力値と、カーネルに予め設定された重み係数とを各要素毎に乗算し、これら要素毎の乗算値の線形和が算出される。この線形和に、カーネルに予め設定されたバイアスを加算することで、畳み込み演算が行なわれる。本実施形態では、重み係数と、バイアスとを総称して、ワープパラメータξと区別するために、カーネルのパラメータと呼ぶこととする。
　このような畳み込み演算の結果は、活性化関数で変換される。活性化関数としては、例えばＲｅＬＵ（Rectified Linear Unit）が採用され得る。
　畳み込み層６３ａ～ｅは、上述の畳み込み演算及び活性化関数による変換を複数回行うことで、図１０の図示のように、多層化することができる。例えば本実施形態では、畳み込み層６３ａ～ｅが２～３層に多層化されている。このようにして、エンコーダ部６１に入力された画像ＩＭから特徴マップを得ることができる。
　プーリング層６４ａ～ｅは、個別に対応し、入力側に接続された上位層である畳み込み層６３ａ～ｅから出力された特徴マップの局所の統計量を計算する。具体的に、上位層の位置に対応する所定のサイズ（例えば２×２、３×３）のウインドウを設定し、ウインドウ内の入力値から局所の統計量を算出する。局所の統計量としては、例えば最大値が採用され得る。すなわち、ウインドウ内の入力値の最大値をプーリングの結果として採用することで、ウインドウ内の入力値を統合することができる。
　このプーリング演算に設定されたウインドウは、畳み込み演算に設定されたカーネルとは異なり、互いに位置を重複させない場合が多い（ただし、一部重複させてもよい）。この結果、プーリング層６４ａ～ｄから出力される特徴マップのサイズは、ウインドウのサイズに応じて縮小される。これをダウンサンプリングと称する。
　プーリング層が最も出力側の特徴抽出ユニット６２ｅに属するプーリング層６４ｅでない場合、プーリング層６４ａ～ｄから出力される特徴マップは、次の特徴抽出ユニット６２ｂ～ｅの畳み込み層６３ｂ～ｅに入力される。プーリング層６４ａ～ｄにて特徴マップがダウンサンプリングされているため、次の特徴抽出ユニット６２ｂ～ｅのサイズは、ダウンサンプリング後の特徴マップが行列状に入力可能な、入力側より小さなサイズであればよいこととなる。
　プーリング層が最も出力側の特徴抽出ユニット６２ｅに属するプーリング層６４ｅである場合、プーリング層６４ｅから出力される特徴マップは、例えばそのままエンコーダ部６１から出力され、デコーダ部６６に入力される。
　このようにして、エンコーダ部６１は、ダウンサンプリングされた特徴マップを出力する。このダウンサンプリングにより、エンコーダ部６１は、特徴マップを圧縮（encode）しているといえる。ここで、エンコーダ部６１の各層６３ａ～ｅ，６４ａ～ｅは、画素の配列を相対的に維持した行列状に入力された画像データを、２次元空間の相対位置を崩さずに処理しているので、エンコーダ部６１は、撮像座標系ＣＶにおける外界の領域における物体の特徴を、特徴マップという形態にて抽出しているといえる。
　プーリング層が最も出力側の特徴抽出ユニット６２ｅに属するプーリング層６４ｅでない場合、プーリング層６４ａ～ｄから出力される特徴マップは、エンコーダ部６１から出力され、ワープ適用部６５に入力される。すなわち、エンコーダ部６１の中間層の特徴マップがワープ適用部６５へと出力される。本実施形態では、最も出力側のプーリング層６４ｅを除く４つの特徴抽出ユニット６２ａ～ｄのプーリング層６４ａ～ｄから、４つの特徴マップがワープ適用部６５へと出力される。
　ワープ適用部６５は、入力された特徴マップに、鳥瞰座標系ＣＢの位置が、撮像座標系ＣＶのどの位置に対応しているかを関係付けるワープ関数を適用し、ワープドコピー（Warped Copy）を生成する。具体的に、ワープ適用部６５は、以下の数１で表されるワープ関数に基づいて、ワープドコピーを生成する。
Figure JPOXMLDOC01-appb-M000001
 　数１において、ｉ，ｊは、変換後の特徴マップにおける行列のｉ行目ｊ列を表し、鳥瞰座標系ＣＢにおける位置を示している。ハット付のｉ，ハット付のｊは、変換前の特徴マップにおける行列のｉ行目ｊ列を表し、撮像座標系ＣＶにおける位置を示している。ｋは、位置（ｉ，ｊ）又は位置（ハット付のｉ，ハット付のｊ）に対応する特徴マップの成分に対応している。
　Ｆｂ（ｉ，ｊ，ｋ）は、ワープドコピー、すなわち変換後の特徴マップである。ｗ（数１の下付き文字の記載は省略）は、変換前の特徴マップの位置に対応して予め設定された重みを表すパラメータである。ξｖ，ξｕ（以下、２つを纏めて単にξと記載する）は、撮像座標系ＣＶの位置（ハット付のｉ，ハット付のｊ）から鳥瞰座標系ＣＢの位置（ｉ，ｊ）へのワープを実施するための変数（以下、ワープパラメータ）である。
　すなわち、ワープドコピーは、ワープパラメータξによってワープされた特徴マップＦｖを、パラメータｗによって補正することによって、生成される。すなわち、位置（ｉ，ｊ）は、当然に離散的な値（整数）であるから、ワープパラメータξによって返された値を整数にしなければ、変換前の行列の位置と変換後の行列の位置との対応関係が不明確となる。この対応関係を明確にするために、パラメータｗは、ワープパラメータξによって返された値を整数に補正するための係数として機能する。
　このようなワープドコピーは、最も出力側の特徴抽出ユニット６２ｅを除く各特徴抽出ユニット６２ａ～ｄのプーリング層６４ａ～ｄ毎に、生成され、ワープ適用部６５から出力され、デコーダ部６６へと入力される。
　なお、各特徴抽出ユニット６２ａ～ｄから出力された特徴マップは、互いにサイズが異なっているため、ワープ関数のワープパラメータξとしては、各特徴抽出ユニット６２ａ～ｄに個別に対応して、互いに異なるパラメータが用意される。しかしながら、ワープパラメータξの相違は、適用対象の特徴マップのサイズに起因する解像度の違いによるものであり、各ワープ関数は、互いに相似な機能を発揮する。
　本実施形態におけるワープとは、ワープパラメータξと呼ばれる奥行きに相当する変数を用いて、抽出した特徴を、撮像座標系ＣＶから鳥瞰座標系ＣＢへと変換することを意味する。分かり易く換言すると、鳥瞰座標系ＣＢの各位置でのピクセル値を、撮像座標系ＣＶのどのピクセル値から取得してくればよいのかを、ワープ関数が示していることとなる。
　ここで注意すべきは、ワープにおいて、撮像座標系ＣＶの全ての位置のピクセル値がワープドコピーを介してデコーダ部６６にコピーされないということである。例えば、エンコーダ部６１に入力される画像ＩＭにおいて、空が撮影されている画素が存在している場合、その画素は、鳥瞰座標系ＣＢの視点変換マップＭＢにおいては全く不要な情報であるから、コピーされない。逆に、鳥瞰座標系ＣＢの視点変換マップＭＢの奥行きを表現する上で、鳥瞰座標系ＣＢの複数の位置において、物体が撮影されている同じ画素（撮像座標系ＣＶの位置）が重複して選択される場合がある。すなわち、物体が撮影されている画像ＩＭ上の１つの位置から、鳥瞰座標系ＣＢの複数の位置に、コピーされることがある。
　なお、このワープパラメータξは、数１に開示されるように撮像座標系ＣＶの位置の関数であるが、エンコーダ部６１に入力される入力画像ＩＭの関数でもある。また、ワープパラメータξは、自律センサ部１５の自律センサの検出値又はこの検出値を補正した値を参照するように構成される場合には、加えて、自律センサの検出値（検出された物体の奥行き値）の関数となる。
　デコーダ部６６は、複数（例えば特徴抽出ユニット６２ａ～ｅと同数である５つ）の識別ユニット６７ｅ，６７ｄ，６７ｃ，６７ｂ，６７ａを、入力側から出力側へ直列的に接続するように有していると共に、最も出力側にソフトマックス層（Softmax Layer）７０を有している。各識別ユニット６７ｅ～ａは、逆プーリング層（Unpooling Layer）６８ｅ，６８ｄ，６８ｃ，６８ｂ，６８ａと、当該逆プーリング層６８ｅ～ａの出力側に配置された逆畳み込み層（Deconvolution Layer）６９ｅ，６９ｄ，６９ｃ，６９ｂ，６９ａとを、互いに直列的に接続するように有している。
　各識別ユニット６７ａ～ｅは、各特徴抽出ユニット６２ａ～ｅと対をなすように構成されている。最も入力側の特徴抽出ユニット６２ａから出力側に数えてｎ番目（但しｎは自然数）の特徴抽出ユニット６２ｂ～ｅと、最も出力側の識別ユニット６７ｅから入力側に数えてｎ番目の識別ユニット６７ｄ～ａとは、対をなし、１対１で個別に対応付けられている。
　このように、各逆プーリング層６８ａ～ｅは、特徴抽出ユニット６２ａ～ｅの各プーリング層６４ａ～ｅと、１対１で個別に対応付けられ、対応付けられた対は、実質同じサイズである。逆プーリング層６８ｅ～ａは、エンコーダ部６１にてダウンサンプリングされた特徴マップのサイズを再び拡大する。これをアップサンプリングと称し、逆プーリング層６８ｅ～ａをアップサンプリング層とも呼ぶこととする。
　最も入力側の識別ユニット６７ｅに属する逆プーリング層６８ｅには、特徴抽出ユニット６２ｅからの特徴マップがワープ処理されずに入力される。このとき、この上位層に位置するプーリング層６４ｅからの入力値は、逆プーリング層６８において、サイズの拡大に応じた隣接する範囲（例えばサイズを４倍にする場合２×２の範囲）を構成する複数の位置に、それぞれ入力される。したがって、本実施形態の逆プーリング層６８は、密なマップ（値が０の要素が少ないマップ）を構成する。
　最も入力側の識別ユニット６７ｅに属する逆プーリング層を除く逆プーリング層６８ｄ～ａには、入力側に接続されている逆畳み込み層６９ｅ～ｂからの入力値と、ワープドコピーとを、結合する（concatenate）ために、複数（例えば２つ）のチャンネルが設定されている。すなわち、逆プーリング層６８ｄ～ａの１つのチャンネルに、上位層からの入力値が格納される。逆プーリング層６８ｄ～ａの他の１つのチャンネルに、個別に対応したプーリング層６４ｄ～ａから出力された特徴マップを、ワープ処理したワープドコピーが格納される。
　逆畳み込み層６９ｅ～ａは、入力された特徴マップに対して、逆畳み込み（転置畳み込みともいう）演算を行う。逆畳み込み演算とは、入力された特徴マップが特定のカーネルを用いて畳み込み演算された結果であるという推定の下、畳み込み演算される前の特徴マップを復元する演算である。この演算では、例えば、特定のカーネルから生成された行列の転置行列と入力された特徴マップとの積を算出することで、出力用の特徴マップを生成することができる。
　逆畳み込み層６９ｅ～ａは、畳み込み層６３ａ～ｅと同様に、多層化することが可能であり、例えば本実施形態では、逆畳み込み層６９ｅ～ａが２～３層に多層化されている。
　エンコーダ部６１では、畳み込み層６３ａ～ｅの畳み込み演算を演算の主体としていることにより、撮像部１０により撮像された画像ＩＭにおいて、互いに近い画素の関係性が演算対象となっており、互いに離れた画素の関係性が十分に考慮されない。すなわち、鳥瞰座標系ＣＢにおいて互いに隣接する位置同士は、本来、強い関係性があるはずであるが、これが考慮されない。これに対して、逆畳み込み層６９ｅ～ａでは、ワープドコピーがコピー及び結合された逆プーリング層６８ｅ～ａを入力値として、逆畳み込み演算が行なわれることにより、鳥瞰座標系ＣＢでの考慮すべき関係性を結果に反映させることができる。
　デコーダ部６６において最も出力側の最終層には、ソフトマックス層７０が設けられている。ソフトマックス層７０は、入力側に接続された逆畳み込み層６９ａからの入力値に、ソフトマックス関数を適用することにより、各位置（画素）毎での、物体を識別するためのラベルの確率を出力する。つまり本実施形態における物体の識別とは、物体のラベルが一意的に決定されてなくてもよく、ラベルの確率が決定されているだけであってもよい。
　デコーダ部６６におけるアップサンプリングの過程で、撮像座標系ＣＶの特徴マップを鳥瞰座標系ＣＢにワープさせたワープドコピーが逆プーリング層６８ｄ～ａを介して逆畳み込み層６９ｄ～ａに作用するので、デコーダ部６６のソフトマックス層７０から最終的に出力される特徴マップは、鳥瞰座標系ＣＢの領域における物体が識別された視点変換マップＭＢとなっている。本実施形態において畳み込みニューラルネットワークを経て出力される視点変換マップＭＢは、上空から車両１の外界を鳥瞰した視点の平面的なマップである。アップサンプリングにより、デコーダ部６６は、特徴マップを復元（decode）しているといえる。
　サイズの異なる複数のワープドコピーが個別に対応する各逆プーリング層６８ｄ～ａに作用することにより、最終的に出力される視点変換マップＭＢにおいて、低周波の情報と、高周波の情報とが両方反映されることとなる。
　ここで、視点変換マップＭＢにて識別結果を出力するためには、視点変換マップ生成部６０が物体識別モデルとして学習されたものであることが好ましい。視点変換マップ生成部６０による畳み込みニューラルネットワークにて、カーネルのパラメータは、事前の機械学習によって設定され、学習値メモリ５１に非一時的に記憶されている。これと共に、ワープパラメータξも、事前の機械学習によって設定され、学習値メモリ５１に非一時的に記憶されている。
　本実施形態のワープ構造を含む物体識別モデルにおける機械学習では、当該物体識別モデル自体が非凸関数であるため、入力される画像ＩＭ及び出力される視点変換マップＭＢに教師を与えても、カーネルのパラメータと、ワープパラメータξとを、全て同時に学習させることは困難である。
　このため、本実施形態では、図１１のフローチャートにも示されているような、以下に説明する学習方法が採用されている。
　この方法では、まず、エンコーダ部６１に入力させる入力画像ＩＭのデータと、当該入力画像ＩＭのデータに対応した正解データである視点変換マップＭＢのデータとの組を、複数用意する（図１１のＳ３１参照）。このデータの組が教師となる。
　次に、用意した各組に対して、入力画像ＩＭ上に映り込んでいる物体の奥行き（撮像部１０から物体までの距離）を示す奥行きデータを、用意する（図１１のＳ３２参照）。この奥行きデータも、実質的に教師として使用される。なお、Ｓ３１とＳ３２とは、順序を入れ替えてもよい。
　この奥行きデータを参照して、ワープパラメータξのうち一部の変位量を、確定する（図１１のＳ３３参照）。すなわち、奥行きデータによって、入力画像ＩＭにおいて物体が映り込んでいる画素の位置と、視点変換マップＭＢにおいて、物体の車両１側を向く表層部の位置とが、対応していることを確定することができる。換言すると、視点変換マップＭＢの死角領域ＢＳの外部位置に対応するワープパラメータξの変位量を、確定することができる。
　ここでいう変位量の確定とは、ワープパラメータξ（ハット付のｉ，ハット付のｊ）を変数から定数に固定するものであるが、ワープパラメータξが自律センサの検出値の関数になっている場合には、この検出値を変数から定数に固定するものであってもよい。
　そして、ワープパラメータξのうち一部の変位量が、確定された状態で、入力画像ＩＭをこの物体識別モデルに入力した場合に、当該入力画像ＩＭと組をなし、正解データとして存在する視点変換マップＭＢのデータに、より近いデータが、物体識別モデルから出力されるように、カーネルのパラメータと、ワープパラメータξのうち非確定状態の他部とを、同時に学習させる（図１１のＳ３４参照）。
　具体的に、入力画像ＩＭをこの物体識別モデルに入力し、当該物体識別モデルから出力されたデータと、正解データとの差分を算出する。この差分としては、例えば、確率分布間の差異を計る尺度であるＫＬ情報量（KL divergence）を用いることができる。この各組に対して算出されたＫＬ情報量の和を取ってコスト（目的関数）とし、例えば勾配降下法等を用いて、このコストを最小にするようなカーネルのパラメータと、ワープパラメータξのうち非確定状態の他部と、探索して算出する。
　このコスト計算において、ワープパラメータξのうち死角領域ＢＳの外部位置に対応する一部の変位量が、確定されているので、カーネルのパラメータとワープパラメータξの関数であるコストにおいて、局所的最小解の数を低減することができる。この結果、カーネルのパラメータ及びワープパラメータξより最適な値に収束させることができるので、物体識別モデルの汎化性能を高めることができる。
　このワープパラメータξの機械学習が意味するところは、鳥瞰座標系ＣＢの視点変換マップＭＢにおける死角領域ＢＳの各位置のラベルを、撮像座標系ＣＶの入力画像ＩＭのどの画素に対応させるかという問題を解くことである。この問題を学習することによって、この物体識別モデルは、撮像部１０により撮影された画像上の物体の死角となる死角領域ＢＳを、推測することが可能となる。詳細に、物体識別モデルは、物体の裏側の奥行き及び形状を推測することによって、鳥瞰座標系ＣＢの視点変換マップＭＢにおける死角領域ＢＳを、物体の存在可能性が高い領域（すなわち、物体の奥行き分に相当する領域）と、物体が存在しない可能性が高い領域（すなわち、物体の裏側の空間）とを区別することが可能となるのである。
　より詳細に、上述の探索においては、死角領域ＢＳに対応する視点変換マップＭＢ上の位置が、入力画像ＩＭ上のどの位置に対応しているかを、探索することとなる。具体的に、死角領域ＢＳに対応する視点変換マップＭＢ上の位置（ｉ，ｊ）について、ランダムな初期値に基づいて位置（ハット付のｉ，ハット付のｊ）を指定する。そして、位置（ハット付のｉ，ハット付のｊ）が位置（ｉ，ｊ）にワープされるようなワープパラメータξのときのコストを算出していき、コストがより小さくなるような位置（ハット付のｉ，ハット付のｊ）に位置を少しずつ変更しながら、コストを最小にするようなワープパラメータξが探索される。
　機械学習は、例えば図１２，１３に示す学習装置８０によって実施することができる。また、学習装置８０により実施されるフローチャートが図１４に示されている。
　学習装置８０は、図１２に示すように、いわゆるコンピュータであり、少なくとも１つのプロセッサ８１、メモリ装置８２、入出力インターフェースを含む電子回路を主体として構成されている。プロセッサ８１は、メモリ装置８２に記憶されているコンピュータプログラムを実行する演算回路である。メモリ装置８２は、例えば半導体メモリによって提供され、プロセッサ８１によって読み取り可能なコンピュータプログラム及びデータを非一時的に格納するための非遷移的実体的記憶媒体である。プロセッサ８１は、上述の物体識別モデル８３の演算処理を実行可能に構成されている。
　学習装置８０は、図１３に示すように、物体識別モデル８３の演算処理を実行するプロセッサ８１又は他の追加のプロセッサを用いて構築される機能ブロックとして、教師データ設定部８４及び学習部８５を有している。
　教師データ設定部８４は、教師とするための上述のデータの組を、設定する（図１４のＳ４１参照）。この設定とは、例えば学習装置８０を操作する操作者が入力したデータの組を、学習部８５が学習に用いることが可能な形態に変換することであってもよい。またこの設定とは、学習装置８０が車両１等の外部装置又はクラウド３等と通信可能に接続されている場合には、教師データ設定部８４がこれらの外部装置又はクラウド３から、データの組を収集し、学習部８５が学習に用いることが可能な形態に変換することであってもよい。
　学習部８５は、入力画像ＩＭをこの物体識別モデル８３に入力した場合に、当該入力画像ＩＭと組をなし、正解データとして存在する視点変換マップＭＢのデータに、より近いデータが、物体識別モデル８３から出力されるように、カーネルのパラメータ及びワープパラメータξを学習する（図１４のＳ４２参照）。学習手順の詳細は、上述の学習方法の説明にてした通りである。
　こうして学習したカーネルのパラメータ及びワープパラメータξは、メモリ装置８２に記憶される（図１４のＳ４３参照）。このメモリ装置８２に記憶されたカーネルのパラメータ及びワープパラメータξは、入出力インターフェース等を介して学習装置８０の外部に取り出すことができる。
　以上説明した第１実施形態の作用効果を以下に説明する。
　第１実施形態のＥＣＵ４０又は車両システム９によると、撮像部１０が撮影した画像ＩＭが畳み込みニューラルネットワークを経て、当該画像ＩＭを撮影視点ＰＶＰとは別の視点に基づく視点変換マップＭＢが出力される。視点変換マップＭＢを参照することで、車両１に搭載された撮像部１０の撮影視点ＰＶＰにとらわれずに物体を識別することができるので、識別された物体の位置の把握は、容易なものとなる。
　このような視点変換マップＭＢの生成において、画像データに畳み込み演算を適用して得られた撮影視点ＰＶＰに基づく撮像座標系ＣＶの特徴マップに、別の視点に基づく鳥瞰座標系ＣＢの位置が、撮像座標系ＣＶのどの位置に対応しているかを関係づけるワープ関数を適用する。ワープ関数の適用によって、撮像座標系ＣＶでの局所的な関係性を演算する畳み込み演算を、補完するように、鳥瞰座標系ＣＢの領域での物体の識別を行うことができるので、ニューラルネットワーク構造が深くなり過ぎることを抑制しつつ、物体の識別における汎化性能を向上させることができる。以上により、車両１の外界の物体をより適切に把握可能とすることができる。
　第１実施形態によると、別の視点に基づく鳥瞰座標系ＣＢは、車両１の移動可能方向を含む２次元空間の座標系である。このように、車両１の移動可能方向を含む２次元空間の鳥瞰座標系ＣＢの視点変換マップＭＢが出力されることにより、３次元空間よりも情報量を削減して迅速な物体識別を可能とすると共に、車両１の移動（走行）において障害物となり得る物体を適切に把握可能となる。故に、車両１の円滑な移動を支援することができる。
　第１実施形態によると、メモリ装置４０ｃが畳み込みニューラルネットワークのカーネルに用いるカーネルのパラメータと、ワープ関数のワープパラメータξと、を記憶し、プロセッサ４０ｂがカーネルのパラメータを用いた畳み込み演算と、ワープパラメータを用いたワープ関数の適用演算と、を処理する。故に、カーネルのパラメータ及びワープパラメータξを、畳み込み演算及びワープ関数の適用演算に、適切かつ迅速に活用することができるため、車両１の外界の物体を識別するＥＣＵ４０を、容易に実現することができる。
　第１実施形態によると、視点変換マップ生成部６０にて、ワープ関数を、エンコーダ部６１により抽出された特徴マップに適用するワープ適用部６５と、ワープ関数が適用されたワープドコピーを畳み込みニューラルネットワークに結合し、鳥瞰座標系ＣＢの領域における物体が識別された視点変換マップＭＢを出力するデコーダ部６６と、が設けられている。ワープドコピーが畳み込みニューラルネットワークに結合されて、さらに演算されることで、鳥瞰座標系ＣＢでの互いに隣接する位置同士の関係性が十分に考慮された視点変換マップＭＢを生成可能となる。故に、視点変換マップＭＢが出力する識別結果の精度を高めることができる。
　第１実施形態によると、逆プーリング層６８ａ～ｅによるアップサンプリングの過程で、入力側に接続された逆畳み込み層６９ａ～ｅからの出力結果と、ワープドコピーとが結合される。このような結合データに基づいて、また逆畳み込み演算が順次適用されていくので、デコーダ部６６にて徐々に解像度を高めながら、鳥瞰座標系ＣＢでの互いに隣接する位置同士の関係性が十分に考慮された視点変換マップＭＢを出力可能となる。故に、視点変換マップＭＢが出力する識別結果の精度を高めることができる。
　第１実施形態によると、学習値が保存された学習値メモリ５１から、カーネルパラメータを読み込んで、エンコーダ部６１とデコーダ部６６とからなる畳み込みニューラルネットワークが構成される。そして、学習値メモリ５１からワープパラメータξを読み込んで、デコーダ部６６の複数の識別ユニット６７ａ～ｅに対応する複数のワープ関数が作成される。特徴マップへの複数のワープ関数の適用においては、局所的な関係性を考慮して演算が適用される畳み込みニューラルネットワークを補完するように、デコーダ部６６の識別ユニット６７ａ～ｅに対して、別の視点に基づいた局所的な関係性を考慮させるように、ワープ関数が作用する。この結果、デコーダ部６６での識別過程での別の視点に基づいた局所的な関係性が十分に反映された視点変換マップＭＢを出力することができる。
　第１実施形態によると、画像表示部としての情報提示部２１によって、視点変換マップＭＢを可視化した画像が表示される。このような視点変換マップＭＢは、２次元情報としての物体の距離関係を理解し易いので、可視化された画像の視認者は、車両１の外界の物体をより適切に把握可能となる。
　第１実施形態によると、移動制御部としての車両走行制御部３０によって、視点変換マップＭＢを用いた車両１の走行の制御が実施される。この態様では、車両走行制御部３０が２次元情報としての物体の距離関係を迅速に理解及び処理可能となるので、リアルタイムかつ高度な車両１の走行の制御を実現することができる。
　第１実施形態の物体識別方法によると、画像データに畳み込み演算を適用して得られた撮影視点ＰＶＰに基づく撮像座標系ＣＶの特徴マップに、別の視点に基づく鳥瞰座標系ＣＢの位置が、撮像座標系ＣＶのどの位置に対応しているかを関係づけるワープ関数を適用する。ワープ関数の適用によって、撮像座標系ＣＶでの局所的な関係性を演算する畳み込み演算を、補完するように、鳥瞰座標系ＣＢの領域での物体の識別を行うことができるので、ニューラルネットワーク構造が深くなり過ぎることを抑制しつつ、物体の識別における汎化性能を向上させることができる。したがって、ワープ関数が適用された特徴マップに基づいて得られたマップであって、撮影視点ＰＶＰから別の視点において物体が識別された視点変換マップＭＢは、より信頼性の高いものとなる。
　第１実施形態の物体識別モデル８３の学習方法によると、ワープ後の座標系ＣＢの位置が、ワープ前の座標系ＣＶのどの位置に対応しているかを関係付けるためのワープパラメータξを学習させるので、物体識別モデルにおいて出力されるマップＭＢを、ワープ前の座標系ＣＶから、別の座標系ＣＢへと、円滑に変換することができる。視点変換マップＭＢを参照することで、撮影画像ＩＭの撮影視点ＰＶＰにとらわれずに物体を識別することができる。故に、物体をより適切に把握可能な物体識別モデルを実現することができる。
　第１実施形態の学習方法によると、カーネルのパラメータと、ワープパラメータξとを、共通のデータの組を用いて学習させるので、学習のための工数を低減することができる。また、視点変換モデルにおいて、畳み込みニューラルネットワークとワープ構造とがより一体的に機能し、汎化性能の高い学習モデルとして物体識別モデルを構築可能となる。故に、物体をより適切に把握可能な物体識別モデルを実現することができる。
　第１実施形態の学習方法によると、学習時に、ワープパラメータξのうち一部の変位量であって、入力画像ＩＭ上の物体の死角となる死角領域ＢＳ外の位置に対応する変位量を、確定した状態で、カーネルのパラメータと、ワープパラメータξのうち非確定状態の他部とを、同時に学習させる。このようにワープパラメータξのうち一部の変位量を確定させると、学習に用いるコストにおいて、局所的最小解の数を低減させることができるので、カーネルのパラメータと、ワープパラメータξをより最適な値に収束させて、物体識別モデルの汎化性能を高めることができる。
　第１実施形態の学習方法によると、学習時に、死角領域ＢＳに対応する出力マップ上の位置が、入力画像ＩＭ上のどの位置に対応しているかを、探索する。このような探索によって、ワープ関数における両位置の関係付けがより適切なものとなるので、体識別モデルの汎化性能を高めることができる。
　第１実施形態の物体識別モデル８３の学習装置８０によると、物体識別モデル８３を学習させるにあたり、畳み込みニューラルネットワークと、畳み込みニューラルネットワークにて抽出された特徴マップを別の座標系にワープするワープ構造とを構成する物体識別モデル８３の演算処理を実行可能に構成された演算回路としてのプロセッサ８１を設け、このプロセッサ８１を利用するようにした。ここで、撮影画像ＩＭを当該物体識別モデル８３に入力した場合に、正解データにより近いデータを出力するように、カーネルのパラメータとワープパラメータを学習し、学習後にメモリ装置８２に記憶可能とした。したがって、ワープ構造を含む物体識別モデル８３の学習を、円滑に行うことができるので、より汎化性能の高い学習モデルとして物体識別モデル８３を構築可能となる。以上により、物体をより適切に把握可能な物体識別モデル８３を実現することは、容易に可能となる。
　なお、第１実施形態では、エンコーダ部６１が「特徴抽出処理部」に相当し、ワープ適用部６５及びデコーダ部６６が「出力処理部」に相当する。また、デコーダ部６６が「識別処理部」に相当する。
　（第２実施形態）
　図１５～１７に示すように、第２実施形態は第１実施形態の変形例である。第２実施形態について、第１実施形態とは異なる点を中心に説明する。
　第２実施形態の視点変換マップ生成部２６０は、図１５，１６に示すように、エンコーダ部２６１、デコーダ部２６６、及びワープ変換部２７１を有している。
　エンコーダ部２６１は、第１実施形態と同様に、複数（例えば５つ）の特徴抽出ユニット６２ａ～ｅを、入力側から出力側へ直列的に接続するように有している。各特徴抽出ユニット６２ａ～ｅは、畳み込み層６３ａ～ｅと、当該畳み込み層６３ａ～ｅの出力側に配置されたプーリング層６４ａ～ｅとを、互いに直列的に接続するように有している。
　デコーダ部２６６は、第１実施形態と同様に、複数（例えば特徴抽出ユニット６２ａ～ｅと同数である５つ）の識別ユニット６７ａ～ｅを、入力側から出力側へ直列的に接続するように有していると共に、最も出力側にソフトマックス層７０を有している。各識別ユニット６７ａ～ｅは、逆プーリング層６８ａ～ｅと、当該逆プーリング層６８ａ～ｅの出力側に配置された逆畳み込み層６９ａ～ｅとを、互いに直列的に接続するように有している。
　エンコーダ部２６１及びデコーダ部２６６の各層におけるカーネルのパラメータは、ワープ構造が異なるので、第１実施形態と同じ値である必要はない。
　第１実施形態とは異なり、各プーリング層６４ａ～ｄから出力される特徴マップは、ワープ処理されずに、単なるコピーによって、各プーリング層６４ａ～ｄに個別に対応する逆プーリング層６８ｄ～ａに入力される。この単なるコピーは、逆プーリング層６８ｄ～ａにおいて、入力側に隣接する逆畳み込み層６９ｅ～ｂからの入力値と、結合される。
　そして、第２実施形態のデコーダ部２６６のソフトマックス層７０から最終的に出力される特徴マップは、セマンティックセグメンテーションによって物体が識別されているものの、撮像座標系ＣＶに基づいた、すなわち視点変換されていない視点無変換マップＭＶとなっている。
　ワープ変換部２７１は、デコーダ部２６６から出力された視点無変換マップＭＶを、鳥瞰座標系ＣＢの位置が、撮像座標系ＣＶのどの位置に対応しているかを関係づけるワープ関数によって変換する。このワープ関数は、第１実施形態の数１と同様であるが、ワープパラメータξは、第１実施形態と異なるものであってもよい。
　この変換によって、ワープ変換部２７１は、最終的に出力される特徴マップとして、鳥瞰座標系ＣＢの領域における物体が識別された視点変換マップＭＢを生成して出力することができる。
　第２実施形態の視点変換マップ生成部２６０による物体識別モデルの学習方法においても、第１実施形態と同様の方法を採用し、第１実施形態と同様の学習装置８０によって学習することが可能である。また、図１７のフローチャートに示すように、先にエンコーダ部２６１及びデコーダ部２６６を主体としている構成されている畳み込みニューラルネットワークのカーネルのパラメータの学習を実施し、その後、ワープ関数のワープパラメータξを学習する学習方法を採用することも可能である。
　まず、畳み込みニューラルネットワークのカーネルのパラメータを学習させる。詳細に、エンコーダ部２６１に入力させる入力画像ＩＭのデータと、当該入力画像ＩＭのデータに対応した正解データである上述の視点無変換マップＭＶのデータとの組を、複数用意する（図１７のＳ５１参照）。このデータの組が、畳み込みニューラルネットワークに対する教師となる。
　そして、入力画像ＩＭをこの畳み込みニューラルネットワークに入力した場合に、当該入力画像ＩＭと組をなし、正解データとして存在する視点無変換マップＭＶのデータに、より近いデータが、畳み込みニューラルネットワークから出力されるように、カーネルのパラメータを、学習させる（図１７のＳ５２参照）。具体的に、入力画像ＩＭをこの畳み込みニューラルネットワークに入力し、当該畳み込みニューラルネットワークから出力されたデータと、正解データとの差分を算出してコストを最小化するカーネルのパラメータを求める。これにより、物体識別モデルのうち畳み込みニューラルネットワークの部分の学習を完了する。
　次に、ワープパラメータξを学習させる。詳細に、ワープ処理前の視点無変換マップＭＶのデータと、当該視点無変換マップＭＶに対応する正解データである視点変換マップＭＢのデータとの組を、複数用意する（図１７のＳ５３参照）。
　そして、視点無変換マップＭＶをワープ変換部２７１に入力した場合に、当該入力画像ＩＭと組をなし、正解データとして存在する視点変換マップＭＢのデータに、より近いデータが、ワープ変換部２７１から出力されるように、ワープパラメータξを学習させる（図１７のＳ５４参照）。具体的に、視点無変換マップＭＶをこのワープ変換部２７１に入力し、当該ワープ変換部２７１から出力されたデータと、正解データとの差分を算出してコストを最小化するワープパラメータξを求める。これにより、物体識別モデルのうちワープ構造の部分の学習を完了する。
　以上説明した第２実施形態によると、エンコーダ部２６１及びデコーダ部２６６は、撮像座標系ＣＶの領域における物体が識別された視点無変換マップＭＶを出力し、ワープ変換部２７１は、ワープ関数を、視点無変換マップＭＶに適用して、鳥瞰座標系ＣＢの領域における物体が識別された視点変換マップＭＢとして出力させる。このようにすると、エンコーダ部２６１及びデコーダ部２６６により構成される部分と、ワープ変換部２７１により構成される部分とを、別々に学習又はメンテナンスすることが容易となる。故に、ＥＣＵ４０の物体識別装置としての実現及び利用が容易なものとなる。
　なお、第２実施形態では、エンコーダ部２６１及びデコーダ部２６６が便宜上「特徴抽出処理部」に相当し、ワープ変換部２７１が「出力処理部」に相当する。
　（他の実施形態）
　以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
　具体的に、変形例１としては、ＥＣＵ４０、車両走行制御部３０及び学習装置８０等がハードウエアである電子回路によって提供される場合、それは多数の論理回路を含むデジタル回路、又はアナログ回路によって提供することができる。
　変形例２としては、メモリ装置４０ｃ，８２は、複数の記憶媒体を組み合わせて構成されていてもよい。
　変形例３としては、車両走行制御部３０又はＨＭＩ機器部２０が有する少なくとも一部の機能は、ＥＣＵ４０により実現されていてもよい。この例として、ＥＣＵ４０と車両走行制御部３０が１つの装置に統合されていてもよい。逆に、ＥＣＵ４０が有する一部の機能が、車両走行制御部３０又はＨＭＩ機器部２０により実現されていてもよい。
　変形例４としては、車両システム９に、ＨＭＩ機器部２０が含まれていなくてもよい。この例として、視点変換マップ生成部６０が生成した視点変換マップＭＢを、専ら自動運転制御部３１による車両１の走行の制御に利用するようにしてもよい。
　変形例５としては、車両システム９に、車両走行制御部３０が含まれていなくてもよい。この例として、視点変換マップ生成部６０が生成した視点変換マップＭＢを、専らＨＭＩ機器部２０による視覚的情報の提供、警報及び振動のうち少なくとも１つに利用するようにしてもよい。
　変形例６としては、ＥＣＵ４０は、クラウド３及び他車両４のうち少なくとも１つと情報のやりとりをしないものであってもよい。
　第１実施形態に関する変形例７としては、エンコーダ部６１の最も出力側のプーリング層６４ｅから、デコーダ部６６の最も入力側の逆プーリング層６８ｅへの特徴マップの受け渡しの際に、当該特徴マップにワープ関数を適用するようにしてもよい。
　第１実施形態に関する変形例８としては、プーリング層６４ａ～ｄではなく、畳み込み層６３ａ～ｅが出力する特徴マップがワープ適用部６５に出力されて、そのワープドコピーがデコーダ部６６へ入力されるようにしてもよい。
　第２実施形態に関する変形例９としては、エンコーダ部２６１及びデコーダ部２６６を主体として構成されている畳み込みニューラルネットワークの構造として、種々の構造が採用され得る。この例として、全層畳み込みニューラルネットワークを採用することができる。
　変形例１０としては、ＥＣＵ４０は、車両１に搭載された撮像部１０と通信可能に接続されていれば、車両１に搭載されていなくてもよい。
　変形例１１としては、撮影視点ＰＶＰとは別の視点に基づく、車両１の移動可能方向を含む２次元空間の鳥瞰座標系ＣＢとして、縦中心面に垂直な仮想の面に沿う座標系、すなわち車両１を基準とした座標系でなく、重力方向に垂直な水平面に沿う座標系、すなわち地球を基準とした座標系が採用されてもよい。
　変形例１２としては、物体識別装置は、車両以外の、船舶、飛行機等の各種移動体に適用することができる。物体識別装置が飛行機に適用された場合には、撮影視点ＰＶＰとは別の視点に基づく、移動体の移動可能方向を含む２次元空間の座標系として、重力方向を含む面に沿った座標系が採用されてもよい。このような座標系を採用した視点変換マップを用いると、重力方向の物体の位置を識別することができるので、飛行機の運航高度をより的確に設定することが可能となる。また、物体識別装置は、無人の搬送車、ドローン等の無人の移動体に適用することもできる。
　車両システム９は、移動体用システムの一例に相当する。ＥＣＵ４０は、物体識別装置の一例に相当する。視点変換マップ生成部６０，２６０は、演算装置の一例に相当する。特徴抽出ユニット６２ａ～ｅは、特徴量抽出ユニットの一例に相当する。プロセッサ８１は、演算回路の一例に相当する。鳥瞰座標系ＣＢは、第２座標系の一例に相当する。撮像座標系ＣＶは、第１座標系の一例に相当する。
　本開示に記載の制御及びその手法は、コンピュータプログラムにより具体化された１つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウエア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと１つ以上のハードウエア論理回路との組み合わせにより構成された１つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
　ここで本願に記載されるフローチャート、あるいは、フローチャートの処理は、複数のステップ（あるいはセクションと言及される）から構成され、各ステップは、たとえば、Ｓ１１と表現される。さらに、各ステップは、複数のサブステップに分割されることができる、一方、複数のステップが合わさって一つのステップにすることも可能である。
　以上、本開示の一態様に係る物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置の実施形態、構成、態様を例示したが、本開示に係る実施形態、構成、態様は、上述した各実施形態、各構成、各態様に限定されるものではない。例えば、異なる実施形態、構成、態様にそれぞれ開示された技術的部を適宜組み合わせて得られる実施形態、構成、態様についても本開示に係る実施形態、構成、態様の範囲に含まれる。

 

Claims (16)

  1. 　移動体（１）に搭載された撮像部（１０）と通信可能に接続され、前記移動体の外界の物体を識別する物体識別装置であって、
    　前記撮像部が所定の撮影視点（ＰＶＰ）から撮影した前記外界の画像（ＩＭ）を取得する画像取得部（４０ａ）と、
    　畳み込みニューラルネットワークを構成し、前記画像取得部が取得した前記画像のデータが前記畳み込みニューラルネットワークに入力され、前記畳み込みニューラルネットワークを経て、前記画像を前記撮影視点とは別の視点に変換した視点変換マップ（ＭＢ）を出力する視点変換マップ生成部（６０，２６０）と、を備え、
    　前記視点変換マップ生成部は、
    　前記画像のデータに、前記畳み込みニューラルネットワークの畳み込み演算を適用し、前記撮影視点に基づく第１座標系（ＣＶ）における前記物体の特徴マップを抽出する特徴抽出処理部（６１，２６１，２６６）と、
    　前記別の視点に基づく第２座標系（ＣＢ）の位置が、前記第１座標系のどの位置に対応しているかを関係付けるワープ関数を、前記特徴抽出処理部により抽出された前記特徴マップに適用し、前記第２座標系の領域における前記物体が識別された前記視点変換マップを出力する出力処理部（６５，６６，２７１）と、を有する物体識別装置。
  2. 　前記第２座標系は、前記移動体の移動可能方向を含む２次元空間の座標系である請求項１に記載の物体識別装置。
  3. 　前記畳み込みニューラルネットワークのカーネルに用いるカーネルのパラメータと、前記ワープ関数のワープパラメータと、を記憶しているメモリ装置（４０ｃ）と、
    　前記カーネルのパラメータを用いた前記畳み込み演算と、前記ワープパラメータを用いた前記ワープ関数の適用演算と、を処理する演算回路（４０ｂ）とを、さらに備える請求項１又は２に記載の物体識別装置。
  4. 　前記出力処理部は、
    　前記ワープ関数を、前記特徴抽出処理部により抽出された前記特徴マップに適用するワープ適用部（６５）と、
    　前記ワープ関数が適用された前記特徴マップを前記畳み込みニューラルネットワークに結合し、前記第２座標系の領域における前記物体が識別された前記視点変換マップを出力する識別処理部（６６）と、を有する請求項１から３のいずれか１項に記載の物体識別装置。
  5. 　前記特徴抽出処理部は、前記畳み込み演算を行う畳み込み層（６３ａ～ｅ）と、前記畳み込み層からの出力結果をプーリングを用いてダウンサンプリングするプーリング層（６４ａ～ｅ）とを有する複数の特徴抽出ユニット（６２ａ～ｅ）を、直列的に接続し、
    　前記識別処理部は、アップサンプリングするアップサンプリング層（６８ａ～ｅ）と、前記アップサンプリング層からの出力結果に対して逆畳み込み演算を適用する逆畳み込み層（６９ａ～ｅ）とを有する複数の識別ユニット（６７ａ～ｅ）を、直列的に接続し、
    　前記ワープ関数が適用された前記特徴マップは、前記アップサンプリング層に入力され、
    　前記アップサンプリング層は、入力側に接続された前記逆畳み込み層からの出力結果と、前記ワープ関数が適用された前記特徴マップとを、結合して出力する請求項４に記載の物体識別装置。
  6. 　前記特徴抽出処理部は、前記第１座標系の領域における前記物体が識別された前記特徴マップを出力し、
    　前記出力処理部は、前記ワープ関数を、前記第１座標系の領域における前記物体が識別された前記特徴マップに適用して、前記視点変換マップとして出力させる請求項１から３のいずれか１項に記載の物体識別装置。
  7. 　移動体（１）に用いられる移動体用システムであって、
    　前記移動体に搭載され、所定の撮影視点（ＰＶＰ）から前記移動体の外界を撮影して画像（ＩＭ）を生成する撮像部（１０）と、
    　前記撮像部と通信可能に接続され、前記移動体の外界の物体を識別する物体識別装置（４０）と、を具備し、
    　前記物体識別装置は、畳み込みニューラルネットワークを構成し、前記画像のデータが前記畳み込みニューラルネットワークに入力され、前記畳み込みニューラルネットワークを経て、前記画像を前記撮影視点とは別の視点に変換した視点変換マップ（ＭＢ）を出力する視点変換マップ生成部（６０）を、備え、
    　前記視点変換マップ生成部は、
    　前記画像のデータに、前記畳み込みニューラルネットワークの畳み込み演算を適用し、前記撮影視点に基づく第１座標系（ＣＶ）における前記物体の特徴マップを抽出する特徴抽出処理部（６１，２６１，２６６）と、
    　前記別の視点に基づく第２座標系（ＣＢ）の位置が、前記第１座標系のどの位置に対応しているかを関係付けるワープ関数を、前記特徴抽出処理部により抽出された前記特徴マップに適用し、前記第２座標系の領域における前記物体が識別された前記視点変換マップを出力する出力処理部（６５，６６，２７１）と、を有する移動体用システム。
  8. 　前記視点変換マップを可視化した画像を表示する画像表示部（２１）をさらに具備する請求項７に記載の移動体用システム。
  9. 　前記視点変換マップを用いて、前記移動体の移動を制御する移動制御部（３０）をさらに具備する請求項７又は８に記載の移動体用システム。
  10. 　撮影視点（ＰＶＰ）から物体が撮影された撮影画像（ＩＭ）のデータを畳み込みニューラルネットワークに入力し、前記撮影画像のデータに畳み込み演算を適用して、前記撮影視点に基づく第１座標系（ＣＶ）における特徴マップを抽出することと、
    　前記撮影視点とは別の視点に基づく第２座標系（ＣＢ）の位置が、前記第１座標系のどの位置に対応しているかを関連付けるワープ関数を、前記特徴マップに適用することと、
    　前記ワープ関数が適用された前記特徴マップに基づいて、前記撮影画像のデータが前記撮影視点から前記別の視点に変換されていると共に、前記物体が識別された視点変換マップ（ＭＢ）を得ることと、を含む物体識別方法。
  11. 　畳み込みニューラルネットワークと、前記畳み込みニューラルネットワークにて抽出された特徴マップを別の座標系にワープするワープ構造と、を構成する物体識別モデルにおいて、前記別の座標系（ＣＢ）の位置が、前記ワープ前の座標系（ＣＶ）のどの位置に対応しているかを関係付けるためのワープパラメータを前記ワープ構造に用意することと、
    　前記物体識別モデルに物体が撮影された撮影画像（ＩＭ）を入力すると、前記別の座標系において前記物体が識別された視点変換マップ（ＭＢ）が出力されるように、前記ワープパラメータを学習させることと、を含む物体識別モデルの学習方法。
  12. 　前記学習させることの前に、前記物体が撮影された前記撮影画像のデータと、前記撮影画像のデータに対応した正解データである前記別の座標系において前記物体が識別された前記視点変換マップのデータとの組を、用意することを、さらに含み、
    　前記学習させることにおいては、前記撮影画像のデータを前記物体識別モデルに入力した場合に、前記正解データにより近いデータを出力するように、前記畳み込みニューラルネットワークに用いるカーネルのパラメータと、前記ワープパラメータとを、同時に学習させる請求項１１に記載の物体識別モデルの学習方法。
  13. 　前記撮影画像上の前記物体の奥行きを示す奥行きデータを、用意することと、
    　前記学習させることの前に、前記ワープパラメータのうち一部の変位量であって、前記撮影画像上の前記物体の死角となる死角領域（ＢＳ）外の位置に対応する前記変位量を、前記奥行きデータを参照して確定することと、をさらに含み、
    　前記学習させることにおいて、前記一部の変位量を確定した状態で、前記畳み込みニューラルネットワークに用いるカーネルのパラメータと、前記ワープパラメータのうち非確定状態の他部とを、同時に学習させる請求項１１又は１２に記載の物体識別モデルの学習方法。
  14. 　前記学習させることにおいて、前記死角領域に対応する前記視点変換マップ上の位置が、前記撮影画像上のどの位置に対応しているかを、探索する請求項１３に記載の物体識別モデルの学習方法。
  15. 　物体識別モデル（８３）を学習する学習装置であって、
    　畳み込みニューラルネットワークと、前記畳み込みニューラルネットワークにて抽出された特徴マップを別の座標系にワープするワープ構造と、を構成する前記物体識別モデルの演算処理を実行可能に構成された演算回路（８１）と、
    　撮影視点（ＰＶＰ）から物体が撮影された撮影画像（ＩＭ）のデータと、正解データである前記撮影視点とは別の視点に基づく座標系（ＣＢ）において前記物体が識別された出力マップ（ＭＢ）とを、設定する教師データ設定部（８４）と、
    　前記撮影画像を前記物体識別モデルに入力した場合に、前記正解データにより近いデータを出力するように、前記畳み込みニューラルネットワークのカーネルに用いるカーネルのパラメータ及び前記ワープ構造に用いるワープパラメータを学習する学習部（８５）と、
    　前記学習部が学習した前記カーネルのパラメータ及び前記ワープパラメータを、記憶するためのメモリ装置（８２）と、を備える物体識別モデルの学習装置。
  16. 　移動体（１）に搭載されたカメラ（１１）と通信可能に接続され、前記移動体の外界の物体を識別する物体識別装置であって、
    　前記カメラと接続され、前記カメラが撮影した前記外界の画像（ＩＭ）を取得する画像取得部（４０ａ）と、
    　学習値が保存された学習値メモリ（５１）と、
    　前記学習値メモリからカーネルパラメータを読み込んで、複数の特徴量抽出ユニット（６２ａ～ｅ）を備えるエンコーダ部（６１）と、複数の識別ユニット（６７ａ～ｅ）を備えるデコーダ部（６６）とからなる畳み込みニューラルネットワークを構成し、前記エンコーダ部によって、前記画像取得部が取得した前記画像のデータから前記物体の特徴量の特徴マップを抽出し、前記学習値メモリからワープパラメータを読み込んで、前記複数の識別ユニットに対応する複数のワープ関数を作成し、前記特徴マップに前記複数のワープ関数を適用してそれぞれ対応する前記識別ユニットに読み込ませることにより、前記デコーダ部によって前記カメラが撮影した視点とは別の視点に変換した視点変換マップ（ＭＢ）を生成する演算装置（６０）と、を有する物体識別装置。

     
PCT/JP2019/018724 2018-06-01 2019-05-10 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置 WO2019230339A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/105,148 US11734918B2 (en) 2018-06-01 2020-11-25 Object identification apparatus, moving body system, object identification method, object identification model learning method, and object identification model learning apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-106087 2018-06-01
JP2018106087A JP6766844B2 (ja) 2018-06-01 2018-06-01 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/105,148 Continuation US11734918B2 (en) 2018-06-01 2020-11-25 Object identification apparatus, moving body system, object identification method, object identification model learning method, and object identification model learning apparatus

Publications (1)

Publication Number Publication Date
WO2019230339A1 true WO2019230339A1 (ja) 2019-12-05

Family

ID=68698740

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/018724 WO2019230339A1 (ja) 2018-06-01 2019-05-10 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置

Country Status (3)

Country Link
US (1) US11734918B2 (ja)
JP (1) JP6766844B2 (ja)
WO (1) WO2019230339A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11107228B1 (en) 2020-04-02 2021-08-31 Ford Global Technologies, Llc Realistic image perspective transformation using neural networks
CN113496194A (zh) * 2020-03-19 2021-10-12 本田技研工业株式会社 信息处理装置、信息处理方法、车辆、信息处理服务器和记录介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7352197B2 (ja) * 2018-08-10 2023-09-28 コニカミノルタ株式会社 移動行動異常判定装置および該方法ならびに被監視者監視支援システム
CN111666960B (zh) * 2019-03-06 2024-01-19 南京地平线机器人技术有限公司 图像识别方法、装置、电子设备及可读存储介质
US11354913B1 (en) * 2019-11-27 2022-06-07 Woven Planet North America, Inc. Systems and methods for improving vehicle predictions using point representations of scene
US20230040195A1 (en) * 2020-01-15 2023-02-09 Nippon Telegraph And Telephone Corporation Three-dimensional point cloud identification device, learning device, three-dimensional point cloud identification method, learning method and program
EP4145339A4 (en) 2020-05-11 2023-05-24 Huawei Technologies Co., Ltd. VEHICLE DRIVING ZONE DETECTION METHOD AND SYSTEM, AND SELF-DRIVING VEHICLE IMPLEMENTING THE SYSTEM
JP7310718B2 (ja) * 2020-05-27 2023-07-19 トヨタ自動車株式会社 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
US20230245423A1 (en) * 2020-07-02 2023-08-03 Sony Semiconductor Solutions Corporation Information processing apparatus, information processing method, and program
JP7427569B2 (ja) 2020-11-04 2024-02-05 株式会社日立製作所 状態判定装置、状態判定システム及び状態判定方法
WO2022137921A1 (ja) * 2020-12-25 2022-06-30 富士フイルム株式会社 画像処理装置、方法およびプログラム
US20220301128A1 (en) * 2021-03-16 2022-09-22 Samsung Electronics Co., Ltd. Method and device for deep guided filter processing
CN114264298B (zh) * 2021-12-30 2024-02-20 神思电子技术股份有限公司 一种室内地图的导航路径生成方法、设备及介质
JP7450654B2 (ja) 2022-02-10 2024-03-15 本田技研工業株式会社 移動体制御装置、移動体制御方法、学習装置、学習方法、およびプログラム
JP2023176348A (ja) * 2022-05-31 2023-12-13 浜松ホトニクス株式会社 画像処理装置および画像処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011150633A (ja) * 2010-01-25 2011-08-04 Toyota Central R&D Labs Inc 対象物検出装置及びプログラム
JP2018005520A (ja) * 2016-06-30 2018-01-11 クラリオン株式会社 物体検出装置及び物体検出方法
WO2018066712A1 (ja) * 2016-10-07 2018-04-12 アイシン・エィ・ダブリュ株式会社 走行支援装置及びコンピュータプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009087097A (ja) 2007-09-28 2009-04-23 Panasonic Corp 交通情報生成装置及び交通情報提供システム
MX2014000603A (es) * 2011-08-02 2014-03-31 Nissan Motor Dispositivo de deteccion de cuerpos en movimiento y sistema de deteccion de cuerpos en movimiento.
JP2017059207A (ja) 2015-09-18 2017-03-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像認識方法
CN106548127B (zh) 2015-09-18 2022-11-04 松下电器（美国）知识产权公司 图像识别方法
JP6662356B2 (ja) * 2017-08-03 2020-03-11 トヨタ自動車株式会社 車両制御装置
EP3673233A4 (en) * 2018-04-18 2021-05-19 Mobileye Vision Technologies Ltd. VEHICLE ENVIRONMENT MODELING WITH A CAMERA

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011150633A (ja) * 2010-01-25 2011-08-04 Toyota Central R&D Labs Inc 対象物検出装置及びプログラム
JP2018005520A (ja) * 2016-06-30 2018-01-11 クラリオン株式会社 物体検出装置及び物体検出方法
WO2018066712A1 (ja) * 2016-10-07 2018-04-12 アイシン・エィ・ダブリュ株式会社 走行支援装置及びコンピュータプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496194A (zh) * 2020-03-19 2021-10-12 本田技研工业株式会社 信息处理装置、信息处理方法、车辆、信息处理服务器和记录介质
CN113496194B (zh) * 2020-03-19 2024-03-12 本田技研工业株式会社 信息处理装置、信息处理方法、车辆、信息处理服务器和记录介质
US11107228B1 (en) 2020-04-02 2021-08-31 Ford Global Technologies, Llc Realistic image perspective transformation using neural networks

Also Published As

Publication number Publication date
JP6766844B2 (ja) 2020-10-14
US20210081681A1 (en) 2021-03-18
US11734918B2 (en) 2023-08-22
JP2019211900A (ja) 2019-12-12

Similar Documents

Publication Publication Date Title
WO2019230339A1 (ja) 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置
CN112912920B (zh) 用于2d卷积神经网络的点云数据转换方法和系统
US10970871B2 (en) Estimating two-dimensional object bounding box information based on bird's-eye view point cloud
US11315266B2 (en) Self-supervised depth estimation method and system
CN113348422B (zh) 用于生成预测占据栅格地图的方法和系统
CN114723955B (zh) 图像处理方法、装置、设备和计算机可读存储介质
JP5926228B2 (ja) 自律車両用の奥行き検知方法及びシステム
EP3561727A1 (en) A device and a method for extracting dynamic information on a scene using a convolutional neural network
CN109214986A (zh) 从下采样的低分辨率lidar 3-d点云和摄像机图像生成高分辨率3-d点云
CN109214987A (zh) 从上采样的低分辨率lidar 3-d点云和摄像机图像生成高分辨率3-d点云
CN109215067A (zh) 基于cnn和crf模型生成高分辨率3-d点云
JP6574611B2 (ja) 立体画像に基づいて距離情報を求めるためのセンサシステム
US11836884B2 (en) Real-time generation of functional road maps
CN113936139A (zh) 一种视觉深度信息与语义分割相结合的场景鸟瞰图重构方法及系统
US20220051425A1 (en) Scale-aware monocular localization and mapping
US11430199B2 (en) Feature recognition assisted super-resolution method
Giering et al. Multi-modal sensor registration for vehicle perception via deep neural networks
CN115359326A (zh) 单目3d目标检测方法及装置
Rashed et al. Bev-modnet: Monocular camera based bird's eye view moving object detection for autonomous driving
Kim et al. MOD: Multi-camera based local position estimation for moving objects detection
Li et al. Driver drowsiness behavior detection and analysis using vision-based multimodal features for driving safety
CN115249269A (zh) 目标检测方法、计算机程序产品、存储介质及电子设备
Zhang et al. A Self-Supervised Monocular Depth Estimation Approach Based on UAV Aerial Images
CN114332187B (zh) 单目目标测距方法及装置
KR102559936B1 (ko) 단안 카메라를 이용하여 깊이 정보를 추정하는 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19810176

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19810176

Country of ref document: EP

Kind code of ref document: A1