WO2023058342A1 - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents

情報処理装置、および情報処理方法、並びにプログラム Download PDF

Info

Publication number
WO2023058342A1
WO2023058342A1 PCT/JP2022/031530 JP2022031530W WO2023058342A1 WO 2023058342 A1 WO2023058342 A1 WO 2023058342A1 JP 2022031530 W JP2022031530 W JP 2022031530W WO 2023058342 A1 WO2023058342 A1 WO 2023058342A1
Authority
WO
WIPO (PCT)
Prior art keywords
parking
parking space
group
sensor
section
Prior art date
Application number
PCT/JP2022/031530
Other languages
English (en)
French (fr)
Inventor
一浩 黒田
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2023058342A1 publication Critical patent/WO2023058342A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06Automatic manoeuvring for parking
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program. Specifically, the parking lot is analyzed based on sensor detection data such as images taken by a camera mounted on the vehicle, and the parking lot is tracked with high accuracy, such as tracking the target parking position.
  • the present invention relates to an information processing device, an information processing method, and a program.
  • parking lots in various areas such as shopping centers, amusement parks, and tourist spots are often capable of parking a large number of vehicles.
  • a user who is a driver of a vehicle searches for an available parking space in the parking lot and parks the vehicle. In this case, the user runs the vehicle in the parking lot and visually checks the surroundings to search for an empty space.
  • manual driving vehicles In addition to self-driving vehicles, manual driving vehicles also display an image showing the parking space obtained by analyzing the image of the parking lot captured by the vehicle's camera on the display unit of the vehicle and notify the driver.
  • a configuration for processing has also been proposed.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2019-172177 discloses a method of detecting an available parking space by analyzing information acquired by a sensor.
  • This Patent Literature 1 discloses a configuration in which a vehicle is moved to detect an available parking space when no available parking space is detected from sensor acquisition information.
  • Patent Literature 1 discloses vehicle movement control for detecting an empty parking space, and does not disclose tracking processing for a previously determined target parking space.
  • the configuration described in Patent Literature 1 does not realize follow-up processing when, for example, one parking section determined as the target parking section is out of the shooting range of the camera.
  • the present disclosure has been made in view of the above problems, for example, and analyzes a parking space in a parking lot by inputting detection information from a sensor such as a camera of a vehicle, and performs processing such as following processing of a target parking position. It is an object of the present invention to provide an information processing device, an information processing method, and a program that enable highly accurate tracking of .
  • a first aspect of the present disclosure includes: a parking space detection unit that executes a parking space detection process based on information detected by the sensor; a target parking space management unit that generates a parking space group feature quantity map that records the feature values of a parking space group having a plurality of parking spaces including the target parking space and stores the map in a storage unit;
  • the target parking section management unit A feature quantity of the sensor-detected parking space group obtained from the sensor detection information and a feature quantity recorded in the parking space group feature quantity map are compared and collated to determine whether the sensor-detected parking space group is the target parking space.
  • An information processing device for determining whether or not a parking section group has a section.
  • a second aspect of the present disclosure is An information processing method executed in an information processing device, a parking space detection step in which the parking space detection unit executes a parking space detection process based on the information detected by the sensor;
  • the target parking lot management department a map recording step of generating a parking space group feature quantity map in which the feature values of a parking space group having a plurality of parking spaces including a target parking space are recorded, and storing the map in a storage unit;
  • a feature quantity of the sensor-detected parking space group obtained from the sensor detection information and a feature quantity recorded in the parking space group feature quantity map are compared and collated to determine whether the sensor-detected parking space group is the target parking space.
  • An information processing method for executing a target parking section tracking step for determining whether or not a parking section group has a section.
  • a third aspect of the present disclosure is A program for executing information processing in an information processing device, a parking space detection step of causing the parking space detection unit to execute a parking space detection process based on the information detected by the sensor;
  • a feature quantity of the sensor-detected parking space group obtained from the sensor detection information and a feature quantity recorded in the parking space group feature quantity map are compared and collated to determine whether the sensor-detected parking space group is the target parking space.
  • the program of the present disclosure can be provided, for example, in a computer-readable format to an information processing device, an image processing device, or a computer system capable of executing various program codes via a storage medium or a communication medium. It's a program. By providing such a program in a computer-readable format, processing according to the program is realized on the information processing device or computer system.
  • a system is a logical collective configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same housing.
  • a device and method that can reliably track a target parking space are realized.
  • a parking space detection unit that executes a parking space detection process based on an image captured by a camera, which is sensor detection information, and a parking space group having a plurality of parking spaces including a target parking space. It has a target parking space management unit that generates a recorded parking space group feature quantity map and stores it in a storage unit.
  • the target parking section management unit performs a comparison matching process between the feature amount of the sensor (camera) detected parking section group obtained from the image captured by the camera and the feature amount recorded in the parking section group feature amount map. Camera) Determine whether the detected parking space group is the parking space group having the target parking space.
  • FIG. 10 is a diagram illustrating a typical running example when a vehicle is parked in a parking lot; It is a figure explaining the example of a parking space detection process using sensor detection information, such as a camera photography image.
  • FIG. 7 is a diagram illustrating an example of target parking section determination processing using a parking section detected using sensor detection information such as a camera-captured image; It is a figure explaining the problem in tracking processing of a target parking section. It is a figure explaining the example of composition of the information processor of this indication. It is a figure explaining the specific example of the process which the parking space detection part of the information processing apparatus of this indication performs. It is a figure explaining the specific example of the process which the parking space detection part of the information processing apparatus of this indication performs.
  • FIG. 4 is a diagram illustrating a specific example of a bird's-eye view image of a parking lot generated by a parking section detection unit based on sensor detection information (camera-captured image);
  • FIG. 5 is a diagram illustrating a specific example of target parking section determination processing;
  • FIG. 5 is a diagram illustrating a specific example of a parking lot group feature amount map generated by a parking lot group feature amount analysis unit of a target parking lot management unit;
  • FIG. 4 is a diagram illustrating a specific example of a bird's-eye view image of a parking lot generated by a parking section detection unit based on sensor detection information (camera-captured image);
  • FIG. 5 is a diagram illustrating a specific example of target parking section determination processing;
  • FIG. 5 is a diagram illustrating a specific example of a parking lot group feature amount map generated by a parking lot group feature amount analysis unit of a target parking lot management unit;
  • FIG. 4 is a diagram illustrating a specific example of a
  • FIG. 10 is a diagram illustrating a specific example of a parking lot group feature map in which detected objects, which are feature amounts for each parking lot, are recorded in text or the like in a table having entries for each parking lot;
  • FIG. 4 is a diagram illustrating a specific example of a parking lot group feature amount map in which feature amounts (detection objects) for each parking lot constituting a parking lot group are recorded using image data or icons (abstract image data).
  • FIG. 10 is a diagram illustrating a specific example of a parking lot group feature quantity map in a tabular format having entries for each parking lot;
  • FIG. 10 is a diagram illustrating a specific example of a parking lot group feature quantity map in a tabular format having entries for each parking lot;
  • FIG. 10 is a diagram illustrating a specific example of a parking lot group feature quantity map in a tabular format having entries for each parking lot;
  • FIG. 10 is a diagram illustrating an example of target parking section follow-up processing when the target parking section is out of the sensor detection range due to movement of the vehicle after the target parking section is set based on the sensor detection information of the vehicle.
  • FIG. 10 is a diagram illustrating an example of target parking section follow-up processing when the target parking section is out of the sensor detection range due to movement of the vehicle after the target parking section is set based on the sensor detection information of the vehicle.
  • FIG. 5 is a diagram illustrating a specific example of target parking section follow-up processing executed by a target parking section management unit;
  • FIG. 5 is a diagram illustrating a specific example of target parking section follow-up processing executed by a target parking section management unit;
  • FIG. 5 is a diagram illustrating a specific example of target parking section follow-up processing executed by a target parking section management unit;
  • FIG. 5 is a diagram illustrating a specific example of target parking section follow-up processing executed by a target parking section management unit;
  • FIG. 5 is a diagram illustrating a specific example of target parking section follow-up processing executed by a target parking section management unit;
  • FIG. 5 is a diagram illustrating a specific example of target parking section follow-up processing executed by a target parking section management unit;
  • FIG. 5 is a diagram illustrating a specific example of target parking section follow-up processing executed by a target parking section management unit;
  • FIG. 5 is a diagram illustrating a specific example of target parking section follow-up processing executed by a target parking section management unit;
  • FIG. 5 is a diagram illustrating a specific example of target parking section follow-up processing executed by a target parking section management unit;
  • FIG. 5 is a diagram illustrating a specific example of target parking section follow-up processing executed by
  • FIG. 5 is a diagram illustrating a specific example of target parking section follow-up processing executed by a target parking section management unit;
  • FIG. 5 is a diagram illustrating a specific example of target parking section follow-up processing executed by a target parking section management unit;
  • FIG. 5 is a diagram illustrating a specific example of target parking section determination processing;
  • FIG. 5 is a diagram illustrating a specific example of a parking lot group feature amount map generated by a parking lot group feature amount analysis unit of a target parking lot management unit;
  • FIG. 10 is a diagram illustrating a specific example of a parking lot group feature quantity map in a tabular format having entries for each parking lot;
  • FIG. 10 is a diagram illustrating a specific example of a parking lot group feature quantity map in a tabular format having entries for each parking lot;
  • FIG. 5 is a diagram illustrating a specific example of target parking section follow-up processing executed by a target parking section management unit;
  • FIG. 5 is a diagram illustrating a specific example of target parking section follow-up processing executed by a target parking section management unit;
  • FIG. 5 is a diagram illustrating a specific example of target parking section follow-up processing executed by a target parking section management unit;
  • FIG. 5 is a diagram illustrating a specific example of target parking section follow-up processing executed by a target parking section management unit;
  • FIG. 4 is a diagram showing a flowchart describing a sequence of processing executed by the information processing apparatus of the present disclosure;
  • FIG. 4 is a diagram showing a flowchart describing a sequence of processing executed by the information processing apparatus of the present disclosure; It is a figure explaining the hardware structural example of the information processing apparatus of this indication. It is a figure explaining the structural example of the vehicle which mounts the information processing apparatus of this indication. It is a figure explaining the structural example of the sensor of the vehicle which mounts the information processing apparatus of this indication.
  • Example of Parking Section follow-up Processing 3-3 (Embodiment 3) Regarding an embodiment in which a parking section in which a feature value is not recorded is set as a target parking section 4. Sequence of processing executed by the information processing apparatus of the present disclosure5. Hardware Configuration Example of Information Processing Apparatus of Present Disclosure6. Regarding configuration examples of vehicles7. SUMMARY OF THE STRUCTURE OF THE DISCLOSURE
  • FIG. 1 shows an example of a parking lot 30 in various areas such as shopping centers, amusement parks, tourist spots, and the like.
  • This parking lot 30 has a plurality of parking spaces, and has a configuration in which a vehicle can be parked in each parking space.
  • the user who is the driver of the vehicle 10 often visually searches for an available parking space in the parking lot 30 and parks the vehicle. In this case, the user runs the vehicle in the parking lot and visually checks the surroundings to search for an empty space.
  • a method for solving such a problem there is a method of detecting a parking space using detection information from a sensor 20 such as a camera attached to the vehicle 10.
  • self-driving vehicles which are being developed, detect a parking space using information detected by a sensor such as a camera attached to the vehicle, and automatically park in a vacant parking space.
  • a sensor such as a camera attached to the vehicle
  • the image of the parking lot captured by the vehicle's camera is analyzed, the parking lot in the parking lot is determined, and the parking space information is displayed on the vehicle's display unit to provide the driver with parking space information.
  • a vehicle 10 shown in FIG. 1 is equipped with a sensor 20 such as a camera.
  • the sensor 20 is configured by, for example, a camera that captures an image in front of the vehicle 10, a distance sensor, or the like.
  • the vehicle 10 captures an image of a parking lot 30 with a sensor 20 such as a camera, analyzes the image with an information processing device inside the vehicle 10, and detects white lines and the like included in the image. Based on the information, a parking space is determined.
  • a sensor 20 such as a camera
  • the vehicle 10 analyzes the image with an information processing device inside the vehicle 10, and detects white lines and the like included in the image. Based on the information, a parking space is determined.
  • FIG. 2 shows 15 parking lots (Pa1-Pa5, Pb1-Pb5, Pcq-Pc5) in the parking lot 30 shown in FIG.
  • the parking section information is output to the automatic driving control unit, and the automatic driving control unit refers to the parking sections (Pa1 to Pa5, Pb1 to Pb5, Pcq to Pc5) to determine the parking position and perform automatic parking. becomes possible.
  • section information of the detected parking sections (Pa1 to Pa5, Pb1 to Pb5, Pcq to Pc5) is displayed on the display unit, and the user (driver) is displayed on the display unit.
  • a target parking position is determined by referring to the information obtained, and parking processing for the target parking position is performed.
  • the automatic driving control unit or the user has determined the parking space Pa2 as the target parking position, as shown in FIG.
  • the user changes his/her mind and temporarily performs a process of going around the parking lot and looking around other parking lots. That is, as shown in FIG. 4, it is assumed that the process of circling the parking lot is performed. For example, if the lap process as shown in FIG. 4 is repeated, both the automatic driving control unit and the user (driver) lose track of the previously set target parking position (Pa2), and identify the section that should have been set as the target parking position. become unable.
  • Pa2 previously set target parking position
  • the photographed images are array images of substantially identical parking spaces.
  • the previously set parking space is the parking space Pa2 set when the vehicle 10 is at the point a. is the same as the positional relationship with the parking section Pc4.
  • the present disclosure solves such problems, and even if the parking lot selected as the parking target position is out of the imaging range of the camera, when the parking lot enters the imaging range of the camera again, This makes it possible to immediately identify the parking target section. Details of the apparatus and processing of the present disclosure will be described below.
  • FIG. 5 is a diagram illustrating a configuration example of the information processing apparatus of the present disclosure.
  • the information processing apparatus of the present disclosure is installed in an automatically driving vehicle. It should be noted that the information processing device of the present disclosure can be installed not only in an automatic driving vehicle but also in other general vehicles.
  • FIG. 5 is a block diagram showing the configuration of the vehicle (automatic driving vehicle) 10 having the information processing device 120 of the present disclosure.
  • the vehicle 10 has a sensor 20 such as a camera, an information processing device 120 of the present disclosure, a drive unit (automatic driving execution unit) 140, a display unit 150, and an input unit 160.
  • the information processing device 120 has a parking section analysis unit 121 , an automatic driving control unit 122 and a display control unit 123 . Furthermore, parking space analysis unit 121 has parking space detection unit 131 , target parking space management unit 132 , and storage unit 135 . The target parking space management unit 132 includes a parking space group feature quantity analysis unit 138 .
  • the sensor 20 provided in the vehicle (self-driving vehicle) 10 is, for example, a sensor such as a camera, a LiDAR (Light Detection and Ranging), or a ToF (Time of Flight) sensor.
  • LiDAR (Light Detection and Ranging) and ToF sensors are sensors that output light such as laser light, analyze reflected light from objects, and measure the distance to surrounding objects.
  • Information detected by the sensor 20 is input to the parking space detection unit 131 in the parking space analysis unit 121 of the information processing device 120 .
  • the parking space detection unit 131 executes a parking space detection process based on information detected by the sensor 20, for example, an image captured by a camera.
  • FIG. 6 shows the following figures.
  • a sensor 20 such as a camera mounted on a vehicle (automatic driving vehicle) 10 captures an image of the parking lot obliquely forward from the entrance of the parking lot rather than from above. That is, the parking space detection unit 131 receives a sensor output photographed image as shown in FIG. 6(a).
  • the parking section detection unit 131 first converts the photographed image as shown in FIG. 6A into a bird's-eye view image of the parking lot observed from the sky as shown in FIG. is used to extract a feature point indicating a white line or the like indicating a parking space, and the parking space is discriminated based on the extracted feature point.
  • FIG. 7 shows an example of feature point extraction processing by the parking section detection unit 131 .
  • FIG. 7 shows the following figures. (1) Captured image of sensor 20 (bird's-eye view conversion image) (2) Feature point data extracted from the captured image (overhead-view conversion image) by the parking section detection unit 131
  • FIG. 7(2) shows a simplified example of feature point extraction.
  • the feature point extracting process is executed in units of pixels, and actually a large number of feature points, much larger than the number of feature points shown in FIG. 7(2), are extracted.
  • Feature points are extracted from pixels with large luminance changes, such as edge parts in the image. Specifically, for example, feature points are extracted from pixel regions such as outlines of white lines indicating parking spaces, outlines of vehicles, and outlines of plants such as trees.
  • FIG. 8 shows an example of parking space detection processing based on feature point analysis.
  • FIG. 8 shows the following figures.
  • the data in FIG. 8(2) is the same data as the data in FIG. 7(2).
  • the parking space detection unit 131 analyzes the feature points shown in FIG. 8(2) to detect a parking space.
  • the parking space detection unit 131 selects, for example, feature points corresponding to white lines that are presumed to define a parking space, extracts a rectangular shape defined by the selected feature points, and performs parking space estimation processing.
  • the example shown in FIG. 8(3) is an example in which five parking spaces (Pa1 to Pa5) are detected.
  • the parking space detection unit 131 of the parking space analysis unit 121 receives sensor detection information from the sensor 20 such as a camera, for example, an image captured by a camera, executes bird's-eye conversion of the image, and converts the bird's-eye view image after the conversion into a characteristic feature. Points are extracted and parking spaces are detected based on the extracted feature points.
  • parking space detection process has been described with reference to FIGS. 6 to 8, but this is only an example, and the parking space information may be acquired using other methods.
  • parking lot section information may be input from an external device, specifically, a map information providing server, a parking lot management server, or the like.
  • the parking space information detected by the parking space detection unit 131 of the parking space analysis unit 121 or the parking space information acquired from the outside is stored in the storage unit 135 and further input to the target parking space management unit 132 of the parking space analysis unit 121. be.
  • the target parking section management unit 132 first outputs the parking section information detected by the parking section detection unit 131 to at least one of the automatic driving control unit 122 and the display control unit 123 .
  • the automatic driving control unit 122 drives the driving unit (automatic driving executing unit) 140 to execute automatic driving control.
  • the automatic driving control unit 122 performs, for example, automatic parking processing for the target parking section.
  • the target parking section management unit 132 outputs data with which the parking section of the parking lot can be identified to at least one of the automatic driving control unit 122 and the display control unit 123 .
  • at least one of the automatic driving control unit 122 and the display control unit 123 displays an overhead image of the parking lot 30 as shown in FIG. output to The display control unit 123 displays the overhead image of the parking lot 30 shown in FIG. 9 on the display unit 150 .
  • the user who saw the image of the parking lot displayed on the automatic driving control unit 122 or the display unit 150 determines one target parking space from the parking spaces of the parking lot 30, and instructs the determined target parking space.
  • the data is output to the target parking section manager 132 .
  • the user who saw the image of the parking lot displayed on the automatic driving control unit 122 or the display unit 150 determines the target parking space, and sets the instruction data indicating the determined target parking space as the target. Output to the parking section management unit 132 .
  • the target parking section instruction data designating one parking section Pa1 of the parking section group part A as the target parking section is output to the target parking section management unit 132 .
  • a plurality of parking spaces (Pa1-Pa5, Pb1-Pb5, Pc1-Pc5) in the parking lot 30 are divided into three parking space group parts, that is, parking space group part A (Pa1-Pa5), parking space A group part B (Pb1 to Pb5) and a parking space group part C (Pc1 to Pc5) will be described separately.
  • the target parking section management unit 132 determines that the target parking section is the parking section Pa1 of the parking section group part A shown in FIG. Then, an identifier (target parking identifier) indicating that the parking space Pa1 of the confirmed parking space group part A is the target parking space is recorded in the parking space group feature amount map and stored in the storage unit 135. do.
  • target parking identifier target parking identifier
  • the parking lot group feature amount map is a map in which the feature amount of each parking lot that constitutes a parking lot group made up of a plurality of parking lots in a parking lot is registered.
  • a parking section group feature quantity analysis unit 138 in the target parking section management unit 132 analyzes the detection information (captured image) of the sensor 20, and converts the detected objects in units of parking sections detected by the parking section detection unit 131 into units of parking sections.
  • a parking space group feature quantity map recorded as the feature quantity of is generated and stored in the storage unit 135 .
  • a parking space group is a set of parking spaces composed of a plurality of parking spaces.
  • the parking lot shown in FIG. 10 has 15 parking spaces (Pa1 to Pa5, Pb1 to Pb5, Pc1 to Pc5). All of these 30 parking spaces are one parking space group.
  • the five parking spaces (Pa1 to Pa5) forming the parking space group part A shown in the figure are also one parking space group.
  • the five parking spaces (Pb1 to Pb5) forming the parking space group part B are also one parking space group.
  • the five parking spaces (Pc1 to Pc5) forming the parking space group part C shown in the drawing are also one parking space group.
  • a parking space group feature quantity analysis unit 138 in the target parking space management unit 132 analyzes the detection information (captured image) of the sensor 20 and identifies the detected objects in each of the plurality of parking spaces in the parking space group for each parking space.
  • a parking space group feature amount map recorded as a feature amount is generated and stored in the storage unit 135 .
  • FIG. 11 (1) on the left side of FIG. 11 shows sensor detection information obtained by the sensor 20 when the vehicle 10 equipped with the sensor 20 enters a parking lot, specifically, a bird's-eye view obtained by converting a camera-captured image. is a transformed image.
  • the parking section group feature quantity analysis unit 138 of the target parking section management unit 132 uses this sensor detection information, for example, a bird's-eye view conversion image of the camera-captured image to determine the characteristics of each parking section that constitutes the parking group in the camera-captured image. Extract the quantity (detection object). Furthermore, a parking lot group feature amount map is generated in which the feature amount (detection object) of each extracted parking lot is recorded, and stored in the storage unit 135 .
  • Data shown in (2) on the right side of FIG. 11 is an example of the parking lot group feature amount map generated by the parking lot group feature amount analysis unit 138 and stored in the storage unit 135 .
  • the parking lot group feature amount map shown in FIG. 11(2) is composed of image data of a bird's-eye view conversion image of a camera-captured image, which is sensor detection information.
  • simplified image data obtained by reducing the data amount of the bird's-eye view conversion image data may be used.
  • any map data may be used as long as the feature amount (detection object) for each parking section can be determined.
  • the feature amount (detected object) for each parking space includes not only the detected objects in each parking space but also the detected objects in the vicinity of the parking space.
  • a target parking space identifier 170 is recorded in the parking space group feature quantity map.
  • the target parking section is recorded by the target parking section management unit 132 based on the target parking section instruction data input from the automatic driving control unit 122 or the user (driver).
  • the example of the parking lot group feature quantity map shown in FIG. 11(2) is just an example, and the parking lot group feature quantity map stored in the storage unit 135 is not such image data, but is a table having entries for each parking lot. format data.
  • the detection object which is the feature amount for each parking space, may be recorded as text data or image data in a table having entries for each parking space.
  • the example shown in FIG. 12 is the feature value analysis processing for the parking lot group part A of the three parking lot group parts A to C in the parking lot 30 shown in FIG. It is an example of a parking lot group feature amount map generated by.
  • the parking bay group part A consists of five parking bays, namely parking bays Pa1 to Pa5. These parking spaces Pa1 to Pa5 are parking spaces detected by the parking space detection unit 131.
  • FIG. The target parking section is the parking section Pa1.
  • the parking section group feature quantity analysis unit 138 executes the feature quantity detection processing of the five parking sections Pa1 to Pa5 that make up the parking section group part A.
  • the parking lot group feature amount analysis unit 138 executes feature amount detection processing using an image captured by the sensor (camera) 20 and a bird's-eye view image generated based on this captured image.
  • the image shown in FIG. 12(1) is a bird's-eye view image generated based on the image captured by the sensor (camera) 20.
  • FIG. 5 is a bird's-eye view image showing five parking spaces Pa1 to Pa5 that constitute parking space group part A.
  • the parking section group feature quantity analysis unit 138 performs analysis processing of the subject contained in each of the parking sections Pa1 to Pa5 as the feature quantity of each of the five parking sections Pa1 to Pa5 that make up the parking section group part A.
  • the data shown in FIG. 12(2) is a parking section group part A generated as a result of detection processing of the feature amounts of the five parking sections Pa1 to Pa5 constituting the parking section group part A by the parking section group feature amount analysis unit 138. is a feature map of .
  • Each of the following data is recorded in the feature map of the parking section group part A.
  • the target parking section identifier (o) is recorded by the target parking section management unit 132 based on the target parking section instruction data input from the automatic driving control unit 122 or the user (driver).
  • the feature amount (detected object information) of each parking lot constituting parking lot group part A is recorded in the feature amount map. Specifically, the following data are recorded in association with each parking section.
  • Feature quantity of parking space Pa2 None
  • Feature amount of parking section Pa4 feature amount 1 (number), feature amount 2 (07)
  • This feature amount data indicates that there is a green tree in or near the parking space Pa1.
  • Feature value of parking space Pa2 None This feature value data means that there is no subject exhibiting a feature in or near the parking space Pa1.
  • Feature amount of parking section Pa4 feature amount 1 (number), feature amount 2 (07) This feature amount data indicates that the number (07) is recorded in or near the parking space Pa4.
  • the feature amount recorded as the feature amount (detected object) corresponding to each parking section may include not only the detected object in each parking section but also the detected objects in the vicinity of the parking section.
  • the trees recorded as the feature quantity (detection object) of the parking space Pa1 shown in FIG. 12 and the plants recorded as the feature quantity (detection object) of the parking space Pa5 are not detected objects in each parking space. Detected objects near each parking space.
  • the parking space group feature quantity analysis unit 138 analyzes the feature quantity (detection object) for each parking space that constitutes the parking space group in this way, and stores the analyzed feature quantity ( Detected object) is recorded as text data to generate a feature quantity map and store it in the storage section (parking section group feature quantity map storage section) 135 .
  • image data or icons may be recorded in a table having an entry for each parking space for the feature amount (detection object) for each parking space that constitutes the parking space group.
  • FIG. 13 shows an example of a parking lot group feature amount map in which the feature amount (detection object) of each parking lot constituting the parking lot group is recorded using image data and icons.
  • FIG. 13(1) is an image similar to the image in FIG. 12(1) described above, and is a bird's-eye view image generated based on the image captured by the sensor (camera) 20.
  • FIG. 5 is a bird's-eye view image showing five parking spaces Pa1 to Pa5 that constitute parking space group part A.
  • the parking section group feature quantity analysis unit 138 analyzes the feature quantity (detection object) included in each of the parking sections Pa1 to Pa5 as the feature quantity of each of the five parking sections Pa1 to Pa5 that make up the parking section group part A. Execute to generate the parking lot group feature quantity map shown in FIG. 13(2).
  • the parking lot group feature amount map shown in FIG. 13(2) is an example of a feature amount map in which the feature amount (detection object) of each parking lot constituting the parking lot group is recorded as image data or an icon.
  • the parking section group feature amount analysis unit 138 as a result of the detection processing of the feature amounts of the five parking sections Pa1 to Pa5 that constitute the parking section group part A including the target parking section, indicates parking as shown in FIG. 13(2).
  • a feature quantity map is generated in which the feature quantity (detection object) for each section is recorded as image data or an icon.
  • the feature quantity map of the parking section group part A shown in FIG. 13B is a map in which the feature quantity of each parking section constituting the parking section group part A is recorded as image data or an icon. Specifically, the following image data or icons are recorded in association with each parking space.
  • Feature quantity of parking space Pa1 Feature quantity 1 (tree image))
  • Feature value of parking space Pa2 None
  • Feature value of parking space Pa3 Feature value 1 (image of large vehicle)
  • Feature quantity of parking section Pa4 Feature quantity 1 (image of number 07)
  • Feature quantity of parking section Pa5 feature quantity 1 (image of passenger car), feature quantity 2 (image of plant)
  • the parking section group feature amount analysis unit 138 acquires or generates image data or an icon indicating the feature amount (detection object) for each parking section that constitutes one parking section group, and analyzes each parking section.
  • a process of generating a feature quantity map recorded as a feature quantity may be executed.
  • the parking section group feature amount analysis unit 138 of the target parking section management unit 132 generates a parking section group feature amount map that records the feature amount of each parking section that constitutes the parking section group, and stores it in the storage unit (parking unit). It is stored in the partition group feature quantity map storage unit) 135 .
  • the feature values to be recorded in the parking lot group feature value map may be image data acquired from captured images or bird's-eye images as described above, or may be new image data or icons ( It may be configured to generate and record abstract image data).
  • feature values to be recorded in the parking lot group feature value map are not limited to text data, image data, and icons, and various other data recording formats can be used as long as they are data formats in which object types can be identified. For example, an object identifier corresponding to a predefined object type may be used.
  • FIG. 14 and 15 show an example of a parking section group feature quantity map in tabular form having entries for each parking section stored in the storage unit 135.
  • FIG. 14 and 15 show an example of a parking section group feature quantity map in tabular form having entries for each parking section stored in the storage unit 135.
  • FIG. 14 sets a table having entries for each parking space (Pa1 to Pa5, Pb1 to Pb5) included in the parking space group parts A and B for the parking space group parts A and B of the parking lot 30 shown in FIG. It is an example of a feature quantity map in which a feature quantity (detected object information) for each parking space is recorded as text data in each entry.
  • FIG. 15 sets a table having entries for each parking space (Pa1 to Pa5, Pb1 to Pb5) included in the parking space group parts A and B for the parking space group parts A and B of the parking lot 30 shown in FIG.
  • This is an example of a feature quantity map in which a feature quantity (detected object information) for each parking space is recorded in each entry as image data or an icon.
  • the feature values for each parking space group recorded in the storage unit (parking space group feature value map storage unit) 135 are used in the target parking space management unit 132 of the parking space analysis unit 121 .
  • the target parking section management unit 132 first outputs the parking section information detected by the parking section detection unit 131 to at least one of the automatic driving control unit 122 and the display control unit 123.
  • the user who saw the image of the parking lot displayed on the automatic driving control unit 122 or the display unit 150 determines one target parking space from the parking spaces of the parking lot 30, and instructs the determined target parking space.
  • the data is output to the target parking section manager 132 .
  • the target parking section management unit 132 uses the parking section group feature amount map generated by the parking section group feature amount analysis unit 138 based on the target parking section instruction data input by the automatic driving control unit 122 or the user (driver).
  • the target parking space identifier is recorded and stored in storage unit 135 .
  • the target parking section management unit 132 subsequently adjusts the sensor 20 of the vehicle 10 as the vehicle 10 travels. To reliably identify whether various parking space groups falling within a detection range (captured image) are parking space groups having a target parking space.
  • the parking space group having the target parking space again enters the detection range (captured image) of the sensor 20
  • the parking space group is identified as the parking space group having the target parking space
  • the parking space group is identified as having the target parking space.
  • a previously determined target parking space is identified from the group of spaces.
  • target parking space follow-up processing executed by target parking space management unit A specific example of the target parking section follow-up process executed by the target parking section management unit 132 will be described below. In the following, as specific examples of the target parking section follow-up processing executed by the target parking section management unit 132, the following multiple embodiments will be sequentially described.
  • the target parking space management unit 132 After setting the target parking space based on the sensor detection information of the vehicle, the vehicle moves and the target parking space becomes the sensor detection range.
  • An example of target parking section follow-up processing in the case of deviating from the target parking section will be described with reference to FIG. 16 and subsequent figures.
  • the target parking section management unit 132 first outputs the parking section information detected by the parking section detection unit 131 to at least one of the automatic driving control unit 122 and the display control unit 123 .
  • the user (driver) who saw the image of the parking lot displayed on the automatic driving control unit 122 or the display unit 150 determines one target parking space from the parking spaces of the parking lot 30, and instructs the determined target parking space.
  • the data is output to the target parking section manager 132 .
  • one parking space Pa1 of the parking space group part A is designated as the target parking space, and the target parking space is stored in the storage unit 135.
  • a parking space group feature quantity map in which parking space identifiers are recorded is recorded.
  • the image-format parking lot group feature quantity map described with reference to FIG. Assume that the map has already been stored in the storage unit 135 .
  • the vehicle 10 travels toward the target parking section (Pa1).
  • the user changes his mind and, as shown in FIG.
  • neither the automatic driving control unit 122 nor the user (driver) can follow the target parking section Pa1 based on the image captured by the sensor 20 (camera).
  • the automatic driving control unit 122 it becomes impossible for the automatic driving control unit 122 to follow the target parking section, and the vehicle cannot automatically park in the target parking section.
  • the user (driver) also cannot detect the target parking section from the image of the parking section group displayed on the display unit 150 .
  • the target parking section management unit 132 does not allow such a situation to occur, and executes reliable target parking section follow-up processing without losing sight of the target parking section once determined.
  • the target parking section management unit 132 inputs the parking section information detected by the parking section detection unit 131 from the parking section detection unit 131, the camera-captured image that is the detection information of the sensor 20, or the bird's-eye view conversion image thereof, and further stores it. Using the parking section group feature quantity map stored in the unit 135, the target parking section identification processing and tracking processing are executed.
  • the photographed image obtained as the detection information of the sensor 20 is an image including a group of parking lots consisting of five parking lots on both sides in front of the vehicle. , and point P2, similar sensor detection information (photographed image) can be obtained.
  • the automatic driving control unit 122 and the user may not be able to reliably determine whether or not the parking lot group visible from the point P2 is the parking lot group for which the target parking lot is set. .
  • the target parking section management unit 132 stores, in the storage unit 135, whether or not the parking section group observed to the left front and the right front of the vehicle 10 at the point P2 is the parking section group for which the target parking section is set. This determination is made by referring to the parking lot group feature quantity map.
  • FIG. 18 shows the following three diagrams.
  • Position of vehicle 10 point P2
  • Sensor detection information bird's-eye view conversion image of the image captured by the sensor
  • M Parking section group feature quantity map (map including target parking section identifier) stored in storage unit 135
  • the target parking section management unit 132 of the vehicle 10 inputs the detection information of the sensor 20, that is, the bird's-eye view conversion image of the camera-captured image at the point P2 shown in FIG. 18(A). Note that the bird's-eye view conversion image is generated by the parking section detection unit 131 and input to the target parking section management unit 132 .
  • the bird's-eye view conversion image input by the target parking section management unit 132 is an image as shown in FIG. 18(S). That is, the image is obtained by observing the parking section in the forward direction of the point P2 from the information.
  • the target parking section management unit 132 uses this (S) sensor detection image and the map shown in FIG. Compare with Specifically, arrays of feature amounts (detection objects) of each parking space are compared.
  • the target parking space identifier 170 is recorded in the five parking spaces on the left side of the parking space group feature quantity map (map containing the target parking space identifier) stored in the storage unit 135 .
  • the target parking section management unit 132 stores (S) a feature amount (detection object) array of each of the five left and right parking sections (SR1 to SR5 and SL1 to SL5) detected from the sensor detection information and a storage unit 135. Matching processing is performed with the feature arrays of the five parking spaces in which the target parking space identifier 170 is recorded in the stored parking space group feature value map.
  • the feature quantity array of the five parking spaces in which the target parking space identifier 170 in the parking space group feature quantity map is recorded is: (ML1) Tree (green) (+target parking space identifier) (ML2) None (ML3) Large vehicle (yellow) (ML4) number (07) (ML5) Passenger car (white), plant (green)
  • This array and this feature array is a group of left and right parking spaces detected from the above (S) sensor detection information, that is, a parking space having five parking spaces (SR1 to SR5 and SL1 to SL5). Does not match any feature (detection object) array of the group.
  • the target parking section management unit 132 selects (S) left and right parking section groups detected from the sensor detection information, that is, five parking sections (SR1 to SR5 and SL1 to SL5 ) is determined to be a parking space group different from the parking space group having five parking spaces (ML1 to ML5) recorded with the target parking space identifier 170 in the parking space group feature quantity map. .
  • the parking space group observed in the front, left, and right directions of the vehicle is different from the parking space group having the target parking space in the parking space group feature amount map recorded in the storage unit 135. It determines that it is a different parking section group.
  • FIG. 19 is an example of processing when the parking section group feature quantity map stored in the storage unit 135 is a map in the same tabular format as described above with reference to FIG. 12 . That is, it is a diagram for explaining a processing example when using a map in which feature amounts are recorded as identifiable image data.
  • the parking section group feature quantity map stored in the storage unit 135 may be tabular data having entries for each parking section, as previously described with reference to FIGS.
  • FIG. 19 shows the following three diagrams.
  • Position of vehicle 10 point P2
  • S Sensor detection information of the parking lot group on the right front side of the vehicle (parking lot unit feature amount (detection object) table data generated based on the bird's-eye view conversion image of the image captured by the sensor)
  • M Parking section group feature quantity map stored in storage unit 135 (parking section group feature quantity map in tabular format having entries for each parking section including the target parking section identifier)
  • the five parking spaces on the right front side of the vehicle include five parking spaces from the upper parking space (farther from the vehicle 10) to the lower parking space (closer to the vehicle 10).
  • SR1 to SR5 The following feature amounts (objects) are detected.
  • SR1 Plant (green) SR2) None (SR3) No parking mark (white)
  • SR4 Passenger car (white) SR5 Plant (green)
  • the map shown in FIG. 19(M) that is, the parking section group feature amount map stored in the storage unit 135 (parking section group feature map in tabular form having entries for each parking section including the target parking section identifier)
  • the feature values (objects) of the five parking spaces (Pa1 to Pa5) or less from the upper parking space to the lower parking space are registered.
  • (Pa1) Tree (green) (+ target parking space identifier) (Pa2) None (Pa3) Large vehicles (yellow) (Pa4) Number (07) (Pa5) Passenger car (white), plant (green)
  • the target parking section management unit 132 firstly (S) arrays of feature amounts (detected objects) of the five right front parking sections (SR1 to SR5) detected from the sensor detection information, and Verification processing is performed with the feature quantity arrays of the five parking spaces (Pa1 to Pa5) in which the target parking space identifier 170 in the parking space group feature quantity map is recorded.
  • the feature arrays of the five parking spaces (Pa1 to Pa5) recorded with the target parking space identifier 170 in the map do not match.
  • the target parking section management unit 132 determines (S) the right front parking section group detected from the sensor detection information, that is, the parking section having five parking sections (SR1 to SR5).
  • the group is determined to be a parking space group different from the parking space group having five parking spaces (Pa1 to Pa5) in which the target parking space identifier 170 in the parking space group feature quantity map is recorded.
  • the target parking section management unit 132 verifies the parking section group on the left front side of the vehicle, as shown in FIG.
  • FIG. 20 shows the following three diagrams.
  • Position of vehicle 10 point P2
  • S Sensor detection information of a group of parking spaces on the left front side of the vehicle (parking space unit feature amount (detection object) table data generated based on a bird's-eye view conversion image of an image captured by a sensor)
  • M Parking section group feature quantity map stored in storage unit 135 (parking section group feature quantity map in tabular format having entries for each parking section including the target parking section identifier)
  • the five parking spaces on the left front side of the vehicle include five parking spaces from the upper parking space (farther from the vehicle 10) to the lower parking space (closer to the vehicle 10).
  • SL1 to SL5 The following feature amounts (objects) are detected.
  • the map shown in FIG. 20(M) that is, the parking section group feature amount map stored in the storage unit 135 (parking section group feature data in tabular form having an entry for each parking section including the target parking section identifier).
  • the feature values (objects) of the five parking spaces (Pa1 to Pa5) or less from the upper parking space to the lower parking space are registered.
  • (Pa1) Tree (green) (+ target parking space identifier) (Pa2) None (Pa3) Large vehicles (yellow) (Pa4) Number (07) (Pa5) Passenger car (white), plant (green)
  • the target parking section management unit 132 stores (S) the feature amount (detection object) array of the five front left parking sections (SL1 to SL5) detected from the sensor detection information, and the parking section stored in the storage unit 135. Matching processing is performed with the feature arrays of the five parking lots (Pa1 to Pa5) in which the target parking lot identifier 170 in the group feature amount map is recorded.
  • the feature arrays of the five parking spaces (Pa1 to Pa5) recorded with the target parking space identifier 170 in the map do not match.
  • the target parking section management unit 132 selects (S) a left front parking section group detected from the sensor detection information, that is, a parking section having five parking sections (SL1 to SL5).
  • the group is determined to be a parking space group different from the parking space group having five parking spaces (Pa1 to Pa5) in which the target parking space identifier 170 in the parking space group feature quantity map is recorded.
  • the target parking space management unit 132 of the vehicle 10 performs identification processing of the parking space group in the image captured by the sensor 20 of the vehicle 10, and identify the parking spaces in the car.
  • FIG. 22 shows the following three diagrams.
  • Position of vehicle 10 Point P1
  • Sensor detection information bird's-eye view conversion image of the image captured by the sensor
  • M Parking section group feature quantity map (map including target parking section identifier) stored in storage unit 135
  • the target parking section management unit 132 of the vehicle 10 inputs the detection information of the sensor 20, that is, the bird's-eye view conversion image of the camera-captured image at the point P1 shown in FIG. 22(A). Note that the bird's-eye view conversion image is generated by the parking section detection unit 131 and input to the target parking section management unit 132 .
  • the bird's-eye view conversion image input by the target parking section management unit 132 is an image as shown in FIG. 22(S). That is, the image is obtained by observing the parking section in the forward direction of the point P1 from the information.
  • the target parking section management unit 132 uses this (S) sensor detection image and the map shown in FIG. Compare with Specifically, arrays of feature amounts (detection objects) of each parking space are compared.
  • the five parking sections on the left have parking spaces from the upper parking section.
  • Feature amounts (objects) of five parking lots (ML1 to ML5) or less are registered up to the lower parking lot.
  • ML1 Tree (green) (+target parking space identifier) ML2) None
  • ML3 Large vehicle (yellow) ML4) number (07) (ML5) Passenger car (white), plant (green)
  • the target parking space identifier 170 is recorded in the five parking spaces on the left side of the parking space group feature quantity map (map containing the target parking space identifier) stored in the storage unit 135 .
  • the target parking section management unit 132 stores (S) a feature amount (detection object) array of each of the five left and right parking sections (SR1 to SR5 and SL1 to SL5) detected from the sensor detection information and a storage unit 135. Matching processing is performed with the feature arrays of the five parking spaces in which the target parking space identifier 170 is recorded in the stored parking space group feature value map.
  • the feature quantity array of the five parking spaces in which the target parking space identifier 170 in the parking space group feature quantity map is recorded is: (ML1) Tree (green) (+target parking space identifier) (ML2) None (ML3) Large vehicle (yellow) (ML4) number (07) (ML5) Passenger car (white), plant (green)
  • the target parking section management unit 132 determines (S) the front left parking section group detected from the sensor detection information, that is, the parking section having five parking sections (SL1 to SL5).
  • the group is determined to be the same parking space group as the parking space group having five parking spaces (Pa1 to Pa5) in which the target parking space identifier in the parking space group feature quantity map is recorded.
  • the target parking section management unit 132 determines that the parking section group observed on the front left side of the vehicle when the vehicle 10 is at the point P1 is the target parking section in the parking section group feature amount map recorded in the storage unit 135. It is determined that there is a parking space group that matches the parking space group that has the target parking space.
  • the target parking section management unit 132 determines that the parking section (ML1) in which the target parking section identifier 170 is set is one of the five front left parking sections (SL1 to SL5) detected from the (S) sensor detection information. is the parking section SL1 farthest from the vehicle 10.
  • the target parking section management unit 132 outputs this determination result to the automatic driving control unit 122 .
  • the automatic driving control section 122 starts the automatic parking process to the target parking section in the parking section group observed on the front left side of the vehicle 10 at the point P1.
  • the feature amount array of the parking space group on the left front side of the vehicle detected by the sensor 20 when the vehicle 10 is at the point P1 and the parking space group feature recorded in the storage unit 135 An example of perfect matching of parking spaces with target parking spaces in the volume map has been described.
  • the target parking space management unit 132 is not limited to the case where the parking space group recorded in the storage unit 135 is the parking space group recorded in the storage unit 135 when the parking space group detected by the sensor 20 has a certain degree of similarity. It may be determined that the parking section group has the target parking section in the feature map.
  • the similarity of the feature amount is equal to or higher than a predetermined threshold value, it is determined that the feature amount arrays are similar.
  • a predetermined threshold value For example, when the threshold value is set to 80%, it is determined that the parking space groups are similar if the feature arrays for each parking space within the parking space group match by 80% or more.
  • various other processes can be applied as the process of determining the match or similarity of the feature values of the parking space groups.
  • the following determination processing is possible.
  • the degree of matching and the degree of similarity of the feature amounts of the entire parking space group are determined.
  • Example 2 Determine the degree of matching and similarity of each individual parking space included in the parking space group, and then, based on the value obtained by arithmetic processing based on the degree of matching and similarity of each individual parking space The matching degree and similarity of the feature amount of the entire parking space group are determined.
  • Arithmetic processing includes, for example, calculation of the added value of the similarity of each individual parking space, calculation of the average value, calculation of the added value of the similarity of other parking spaces excluding the parking space with the lowest similarity, or Calculation of an average value, etc. can be used. This makes it possible to respond even when some vehicles leave the garage.
  • similarity calculation and similarity determination processing may be performed in which weights are set according to the types of objects detected as feature amounts.
  • the feature amount is not recorded in the parking lot group feature amount map. It is also not used for similarity calculation processing. Only when there are two or more objects detected as the parking lot group or the feature amount around the parking lot, the feature amount is recorded in the parking lot group feature amount map. It is also used for similarity calculation processing.
  • the target parking section management unit 132 calculates the feature amount of the parking section group detected by the sensor 20 and the feature amount of the parking section group having the target parking section in the parking section group feature amount map recorded in the storage unit 135. Quantity comparison and verification processing are performed to determine whether the parking space group detected by the sensor 20 is the parking space group having the target parking space.
  • FIG. 23 an example of processing when the parking section group feature quantity map stored in the storage unit 135 is the same tabular map as described with reference to FIG. 12 above will be described.
  • the example shown in FIG. 23 is an example of processing when using a map in which feature amounts are recorded as identifiable image data.
  • the parking section group feature quantity map stored in the storage unit 135 may be tabular data having entries for each parking section, as previously described with reference to FIGS.
  • FIG. 23 shows the following three diagrams.
  • Position of vehicle 10 Point P1
  • S Sensor detection information of a group of parking spaces on the left front side of the vehicle (parking space unit feature amount (detection object) table data generated based on a bird's-eye view conversion image of an image captured by a sensor)
  • M Parking section group feature quantity map stored in storage unit 135 (parking section group feature quantity map in tabular format having entries for each parking section including the target parking section identifier)
  • the five parking spaces on the left front side of the vehicle include five parking spaces from the upper parking space (farther from the vehicle 10) to the lower parking space (closer to the vehicle 10).
  • SL1 to SL5 The following feature amounts (objects) are detected.
  • SL1 Tree (green) SL2) None (SL3) Large vehicle (yellow)
  • SL4) number 07 (SL5) Passenger car (white), plant (green)
  • the map shown in FIG. 23(M) that is, the parking section group feature amount map stored in the storage unit 135 (parking section group feature data in tabular form having an entry for each parking section including the target parking section identifier).
  • the feature values (objects) of the five parking spaces (Pa1 to Pa5) or less from the upper parking space to the lower parking space are registered.
  • the target parking section management unit 132 stores (S) the feature amount (detection object) array of the five front left parking sections (SL1 to SL5) detected from the sensor detection information, and the parking section stored in the storage unit 135. Matching processing is performed with the feature arrays of the five parking lots (Pa1 to Pa5) in which the target parking lot identifier 170 in the group feature amount map is recorded.
  • the feature arrays of the five parking spaces (Pa1 to Pa5) in which the target parking space identifier 170 in the map is recorded match.
  • the target parking section management unit 132 determines (S) the front left parking section group detected from the sensor detection information, that is, the parking section having five parking sections (SL1 to SL5).
  • the group is determined to be the same parking space as the parking space group having five parking spaces (Pa1 to Pa5) in which the target parking space identifier in the parking space group feature quantity map is recorded.
  • the target parking section management unit 132 determines that the parking section group observed on the front left side of the vehicle when the vehicle 10 is at the point P1 is the target parking section in the parking section group feature amount map recorded in the storage unit 135. It is determined that there is a parking space group that matches the parking space group that has the target parking space.
  • the target parking section management unit 132 determines that the parking section (Pa1) in which the target parking section identifier 170 is set is one of the five front left parking sections (SL1 to SL5) detected from the (S) sensor detection information. is the parking section SL1 farthest from the vehicle 10.
  • the target parking section management unit 132 outputs this determination result to the automatic driving control unit 122 .
  • the automatic driving control section 122 starts the automatic parking process to the target parking section in the parking section group observed on the front left side of the vehicle 10 at the point P1.
  • the vehicle 10 moves from the point P1 to the point P2 in the parking lot 30 as described with reference to FIG.
  • This is an example of processing for detecting the target parking section Pa1 again at the position after returning to the original point P1 after going around.
  • FIG. 24 when the vehicle 10 re-enters from a gate on a different side (upper side in the figure) of the parking lot 30 from the point P2, and observes the parking space group including the target parking space from the point P3. is also assumed.
  • the observed image (captured image) of the sensor 20 becomes a reversed image different from the captured image from the point P1.
  • FIG. 25 shows the following three diagrams.
  • Position of vehicle 10 Point P3
  • Sensor detection information bird's-eye view conversion image of the image captured by the sensor
  • M Parking section group feature quantity map (map including target parking section identifier) stored in storage unit 135
  • the target parking section management unit 132 of the vehicle 10 inputs the detection information of the sensor 20, that is, the bird's-eye view conversion image of the image captured by the camera at the point P3 shown in FIG. 25(A). Note that the bird's-eye view conversion image is generated by the parking section detection unit 131 and input to the target parking section management unit 132 .
  • the bird's-eye view conversion image input by the target parking section management unit 132 is an image as shown in FIG. 25(S). That is, the image is obtained by observing the parking section in the forward direction of the point P3 from the information.
  • the sensor detection image is an image showing the point P3 side shown in FIG.
  • the target parking section management unit 132 stores this (S) sensor detection image and the map shown in FIG. Compare with Specifically, arrays of feature amounts (detection objects) of each parking space are compared.
  • the target parking space identifier 170 is recorded in the five parking spaces on the left side of the parking space group feature quantity map (map containing the target parking space identifier) stored in the storage unit 135 .
  • the target parking section management unit 132 stores (S) a feature amount (detection object) array of each of the five left and right parking sections (SR1 to SR5 and SL1 to SL5) detected from the sensor detection information and a storage unit 135. A comparison process is performed with the feature array of the stored parking lot group feature amount map.
  • the target parking section management unit 132 determines (S) the front right parking section group detected from the sensor detection information, that is, the parking section group having five parking sections (SR1 to SR5), It is the same parking space group as the parking space group having five parking spaces (ML1 to ML5) in which the target parking space identifier in the parking space group feature quantity map is recorded, and is a parking space group reversed 180 degrees. I judge.
  • the target parking section management unit 132 determines that the parking section group observed on the front right side of the vehicle when the vehicle 10 is at the point P3 is the target parking section in the parking section group feature amount map recorded in the storage unit 135. It is determined that there is a parking space group that matches the parking space group that has the target parking space.
  • the target parking section management unit 132 determines that the parking section (ML1) in which the target parking section identifier 170 is set is one of the five parking sections (SR1 to SR5) on the front right side detected from the (S) sensor detection information. is the parking section SR5 closest to the vehicle 10.
  • the target parking section management unit 132 outputs this determination result to the automatic driving control unit 122 .
  • the automatic driving control section 122 starts the automatic parking process to the target parking section in the parking section group observed on the front left side of the vehicle 10 at the point P3.
  • FIG. 26 is an example of processing when the parking section group feature quantity map stored in the storage unit 135 is a map in the same tabular format as described with reference to FIG. 12 above. That is, it is a diagram for explaining a processing example when using a map in which feature amounts are recorded as identifiable image data.
  • the parking section group feature quantity map stored in the storage unit 135 may be tabular data having entries for each parking section, as previously described with reference to FIGS.
  • FIG. 26 shows the following three diagrams.
  • Position of vehicle 10 Point P3
  • S Sensor detection information of the parking lot group (SR1 to SR5) on the right front side of the vehicle (parking lot unit feature amount (detection object) table data generated based on the bird's-eye view conversion image of the image captured by the sensor)
  • M Parking section group feature quantity map stored in storage unit 135 (parking section group feature quantity map in tabular format having entries for each parking section including the target parking section identifier)
  • SR1 to SR5 five parking spaces (SR1 to SR5) on the front right side of the vehicle are divided into parking spaces from a parking space (SR1) far from the vehicle 10 to a parking space (SR5) near the vehicle 10.
  • Feature quantities (objects) of five parking spaces (SR1 to SR5) or less are detected.
  • the map shown in FIG. 26(M) that is, the parking section group feature amount map stored in the storage unit 135 (parking section group feature data in tabular form having entries for each parking section including the target parking section identifier)
  • the feature values (objects) of the five parking spaces (Pa1 to Pa5) or less from the upper parking space to the lower parking space are registered.
  • the target parking section management unit 132 (S) arrays of feature amounts (detected objects) of the five parking sections (SR1 to SR5) on the right front detected from the sensor detection information, and the parking section stored in the storage unit 135. Matching processing is performed with the feature arrays of the five parking lots (Pa1 to Pa5) in which the target parking lot identifier 170 in the group feature amount map is recorded.
  • the feature quantity array of the five parking spaces (Pa1 to Pa5) in which the target parking space identifier 170 in the map is recorded corresponds to an array in reverse order.
  • the target parking section management unit 132 determines, as a result of this feature value comparison and collation processing, that (S) the parking section group on the front right side detected from the sensor detection information, that is, the five parking sections (SR1 to SR5) are parking sections. It is determined that the parking space array is in the reverse order of the parking space group having five parking spaces (Pa1 to Pa5) in which the target parking space identifier 170 in the group feature quantity map is recorded.
  • the target parking section management unit 132 determines that the parking section group observed on the front left side of the vehicle when the vehicle 10 is at the point P3 is the target parking section in the parking section group feature amount map recorded in the storage unit 135. It is determined that there is a parking space group that matches the parking space group that has the parking space group, but is arranged in the reverse order, and that the target parking space exists.
  • the target parking section management unit 132 determines that the parking section (Pa1) in which the target parking section identifier 170 is set is one of the five parking sections (SR1 to SR5) on the front right side detected from the (S) sensor detection information. is the parking section SR5 closest to the vehicle 10.
  • the target parking section management unit 132 outputs this determination result to the automatic driving control unit 122 .
  • the automatic driving control section 122 starts the automatic parking process to the target parking section in the parking section group observed on the front left side of the vehicle 10 at the point P3.
  • the target parking section management unit 132 first outputs the parking section information detected by the parking section detection unit 131 to at least one of the automatic driving control unit 122 and the display control unit 123. do.
  • the automatic driving control unit 122 and the display control unit 123 outputs data with which the parking section of the parking lot can be identified to at least one of the automatic driving control unit 122 and the display control unit 123 .
  • at least one of the automatic driving control unit 122 and the display control unit 123 displays an overhead image of the parking lot 30 as shown in FIG. output to The display control unit 123 displays an overhead image of the parking lot 30 as shown in FIG. 27 on the display unit 150 .
  • the user who saw the image of the parking lot displayed on the automatic driving control unit 122 or the display unit 150 determines one target parking space from the parking spaces of the parking lot 30, and instructs the determined target parking space.
  • the data is output to the target parking section manager 132 .
  • Parking section Pa2 is a parking section in which there is no object that can be recorded as a feature amount.
  • the target parking section management unit 132 determines that the target parking section is the parking section Pa2 of the parking section group part A shown in FIG. Then, an identifier (target parking identifier) indicating that the confirmed parking space Pa2 of the parking space group part A is the target parking space is recorded in the parking space group feature amount map and stored in the storage unit 135. do.
  • target parking identifier target parking identifier
  • the diagram shown in (1) on the left side of FIG. 29 is a bird's-eye view of sensor detection information acquired by the sensor 20 when the vehicle 10 equipped with the sensor 20 enters a parking lot, specifically, a bird's-eye view of a camera-captured image. is a transformed image.
  • the parking section group feature quantity analysis unit 138 of the target parking section management unit 132 uses this sensor detection information, for example, a bird's-eye view conversion image of the camera-captured image to determine the characteristics of each parking section that constitutes the parking group in the camera-captured image.
  • a parking space group feature quantity map that records the quantities (detected objects) is generated and stored in the storage unit 135 .
  • Data shown in (2) on the right side of FIG. 29 is an example of the parking lot group feature amount map generated by the parking lot group feature amount analysis unit 138 and stored in the storage unit 135 .
  • the parking lot group feature amount map shown in FIG. 29(2) is composed of image data of a bird's-eye view conversion image of a camera-captured image, which is sensor detection information.
  • simplified image data obtained by reducing the data amount of the bird's-eye view conversion image data may be used.
  • any map data may be used as long as the feature amount (detection object) for each parking section can be determined.
  • the target parking space identifier 170 is recorded in the parking space group feature quantity map.
  • the target parking section is recorded by the target parking section management unit 132 based on the target parking section instruction data input from the automatic driving control unit 122 or the user (driver).
  • the example of the parking lot group feature amount map shown in FIG. 29(2) is just an example, and the parking lot group feature amount map stored in the storage unit 135 is not such image data, but a table having entries for each parking lot. format data.
  • the detection object which is the feature quantity for each parking space, may be recorded as text data or image data in a table having entries for each parking space.
  • a table having entries for each parking space (Pa1 to Pa5, Pb1 to Pb5) included in parking space group parts A and B is set, and each entry is a parking space unit.
  • each entry is a parking space unit.
  • the target parking section identifier (o) is recorded in the parking section Pa2 in which the feature amount (detection object) is not detected and the feature amount is not recorded.
  • a table having entries for each parking space (Pa1 to Pa5, Pb1 to Pb5) included in parking space group parts A and B is set, and each entry is for each parking space.
  • 1 is an example of a feature quantity map in which the feature quantity (detected object information) of is recorded as image data.
  • the data indicating the feature quantity for each parking space group to be recorded in the storage unit (parking space group feature quantity map storage unit) 135 is not limited to text data or image data.
  • Various data recording formats are available as long as the data formats are possible. For example, an object identifier corresponding to a predefined object type may be recorded.
  • the feature values for each parking space group recorded in the storage unit (parking space group feature value map storage unit) 135 are used in the target parking space management unit 132 of the parking space analysis unit 121 .
  • the target parking section management unit 132 first outputs the parking section information detected by the parking section detection unit 131 to at least one of the automatic driving control unit 122 and the display control unit 123 .
  • the user (driver) who saw the image of the parking lot displayed on the automatic driving control unit 122 or the display unit 150 determines one target parking space from the parking spaces of the parking lot 30, and instructs the determined target parking space.
  • the data is output to the target parking section manager 132 .
  • the target parking section management unit 132 uses the parking section group feature amount map generated by the parking section group feature amount analysis unit 138 based on the target parking section instruction data input by the automatic driving control unit 122 or the user (driver).
  • the target parking space identifier is recorded and stored in storage unit 135 .
  • the target parking section management unit 132 subsequently adjusts the sensor 20 of the vehicle 10 as the vehicle 10 travels. To reliably identify whether various parking space groups falling within a detection range (captured image) are parking space groups having a target parking space.
  • the parking space group having the target parking space again enters the detection range (captured image) of the sensor 20, the parking space group is reliably identified as the parking space group having the target parking space.
  • one parking space Pa2 of the parking space group part A is indicated as the target parking space, and the target parking space is stored in the storage unit 135.
  • a parking space group feature quantity map in which parking space identifiers are recorded is recorded.
  • the parking section Pa2 is a parking section in which the feature amount is not recorded in the parking section group feature amount map.
  • the image-format parking lot group feature quantity map described with reference to FIG. 29 or the table-format parking lot group feature quantity map described with reference to FIGS. 30 and 31 is stored. Assume that the data has already been stored in the section 135 .
  • the vehicle 10 travels toward the target parking section (Pa2).
  • the user changes his mind, and as shown in FIG.
  • the target parking space management unit 132 of the vehicle 10 performs identification processing of the parking space group in the image captured by the sensor 20 of the vehicle 10, and identify the parking spaces in the car.
  • FIG. 34 shows the following three diagrams.
  • Position of vehicle 10 Point P1
  • Sensor detection information bird's-eye view conversion image of the image captured by the sensor
  • M Parking section group feature quantity map (map including target parking section identifier) stored in storage unit 135
  • the target parking section management unit 132 of the vehicle 10 inputs the detection information of the sensor 20, that is, the bird's-eye view conversion image of the image captured by the camera at the point P1 shown in FIG. 34(A). Note that the bird's-eye view conversion image is generated by the parking section detection unit 131 and input to the target parking section management unit 132 .
  • the bird's-eye view conversion image input by the target parking section management unit 132 is an image as shown in FIG. 34(S). That is, the image is obtained by observing the parking section in the forward direction of the point P1 from the information.
  • the target parking section management unit 132 uses this (S) sensor detection image and the map shown in FIG. Compare with Specifically, arrays of feature amounts (detection objects) of each parking space are compared.
  • the five parking sections on the left have parking spaces from the upper parking section.
  • Feature amounts (objects) of five parking lots (ML1 to ML5) or less are registered up to the lower parking lot.
  • ML1 Tree (green) ML2
  • None (+ target parking space identifier ML3
  • Large vehicle (yellow) ML4 number (07)
  • the five parking spaces on the left side of the parking space group feature quantity map (map containing the target parking space identifier) stored in the storage unit 135 include the target parking space Pa2 (ML2 ) records the parking space identifier 170 .
  • the target parking section management unit 132 stores (S) a feature amount (detection object) array of each of the five left and right parking sections (SR1 to SR5 and SL1 to SL5) detected from the sensor detection information and a storage unit 135. Matching processing is performed with the feature arrays of the five parking spaces in which the target parking space identifier 170 is recorded in the stored parking space group feature value map.
  • the feature quantity array of the five parking spaces in which the target parking space identifier 170 in the parking space group feature quantity map is recorded is: (ML1) Tree (green) (ML2) None (+ target parking space identifier) (ML3) Large vehicle (yellow) (ML4) number (07) (ML5) Passenger car (white), plant (green)
  • the target parking section management unit 132 determines (S) the front left parking section group detected from the sensor detection information, that is, the parking section having five parking sections (SL1 to SL5).
  • the group is determined to be the same parking space group as the parking space group having five parking spaces (ML1 to ML5) in which the target parking space identifier 170 in the parking space group feature quantity map is recorded.
  • the target parking section management unit 132 determines that the parking section group observed on the front left side of the vehicle when the vehicle 10 is at the point P1 is the target parking section in the parking section group feature amount map recorded in the storage unit 135. It is determined that there is a parking space group that matches the parking space group that has the target parking space.
  • the target parking section management unit 132 determines that the parking section (ML2) in which the target parking section identifier 170 is set is one of the five front left parking sections (SL1 to SL5) detected from the (S) sensor detection information.
  • SL2 is second from the farthest parking section from the vehicle 10 of .
  • the target parking space management unit 132 determines (S) the parking space group detected from the sensor detection information based on the arrangement of the feature values of the parking space group composed of a plurality of parking spaces, and the target parking space identifier 170 is set.
  • a parking space for which the target parking space identifier 170 is set is specified based on the positional relationship with the parking space in which the parking space group is determined and the feature amount is recorded. Therefore, even if a parking space in which no feature value is recorded is set as the target parking space, it is possible to reliably identify the target parking space.
  • the target parking section management unit 132 outputs this determination result to the automatic driving control unit 122 .
  • the automatic driving control section 122 starts automatic parking processing in the target parking section Pa2 in the parking section group observed on the front left side of the vehicle 10 at the point P1. .
  • FIG. 35 is an example of processing when the parking section group feature quantity map stored in the storage unit 135 is a map in the same tabular format as described above with reference to FIG. That is, it is a diagram for explaining a processing example when using a map in which feature amounts are recorded as identifiable image data.
  • FIG. 35 shows the following three diagrams.
  • Position of vehicle 10 Point P1
  • S Sensor detection information of a group of parking spaces on the left front side of the vehicle (parking space unit feature amount (detection object) table data generated based on a bird's-eye view conversion image of an image captured by a sensor)
  • M Parking section group feature quantity map stored in storage unit 135 (parking section group feature quantity map in tabular format having entries for each parking section including the target parking section identifier)
  • the five parking spaces on the left front side of the vehicle include five parking spaces from the upper parking space (farther from the vehicle 10) to the lower parking space (closer to the vehicle 10).
  • SL1 to SL5 The following feature amounts (objects) are detected.
  • SL1 Tree (green) SL2) None (SL3) Large vehicle (yellow)
  • SL4) number 07 (SL5) Passenger car (white), plant (green)
  • the map shown in FIG. 35(M) that is, the parking section group feature amount map stored in the storage unit 135 (parking section group feature map in tabular form having an entry for each parking section including the target parking section identifier)
  • the feature values (objects) of the five parking spaces (Pa1 to Pa5) or less from the upper parking space to the lower parking space are registered.
  • the target parking section management unit 132 stores (S) the feature amount (detection object) array of the five front left parking sections (SL1 to SL5) detected from the sensor detection information, and the parking section stored in the storage unit 135. Matching processing is performed with the feature arrays of the five parking lots (Pa1 to Pa5) in which the target parking lot identifier 170 in the group feature amount map is recorded.
  • the feature arrays of the five parking spaces (Pa1 to Pa5) in which the target parking space identifier 170 in the map is recorded match.
  • the target parking section management unit 132 determines (S) the front left parking section group detected from the sensor detection information, that is, the parking section having five parking sections (SL1 to SL5).
  • the group is determined to be the same parking space as the five parking spaces recorded with the target parking space identifier 170 in the parking space group feature map.
  • the target parking section management unit 132 determines that the parking section group observed on the front left side of the vehicle when the vehicle 10 is at the point P1 is the target parking section in the parking section group feature amount map recorded in the storage unit 135. It is determined that the parking space group is the same as the recorded parking space group having five parking spaces (Pa1 to Pa5).
  • the target parking section management unit 132 determines that the parking section (Pa2) in which the target parking section identifier 170 is set is one of the five front left parking sections (SL1 to SL5) detected from the (S) sensor detection information. is the second parking section SL2 from the farthest parking section from the vehicle 10.
  • the target parking space management unit 132 performs (S) sensor detection based on the arrangement of the feature quantity of the parking space group composed of a plurality of parking spaces. It is determined that the parking space group detected from the information corresponds to the parking space group in which the target parking space identifier 170 is set. 170 identifies the set parking space. Therefore, even if a parking space in which no feature value is recorded is set as the target parking space, it is possible to reliably identify the target parking space.
  • the target parking section management unit 132 outputs this determination result to the automatic driving control unit 122 .
  • the automatic driving control section 122 starts the automatic parking process to the target parking section in the parking section group observed on the front left side of the vehicle 10 at the point P1.
  • the information processing apparatus 120 of the present disclosure has a program execution function such as a CPU, and the flows shown in FIGS. 36 and 37 are executed according to programs stored in a storage unit within the information processing apparatus. Processing of each step of the flowcharts shown in FIGS. 36 and 37 will be described below.
  • Step S101 The information processing device 120 of the present disclosure first analyzes or externally acquires parking space information in step S101.
  • This process is executed by the parking space detection unit 131 of the parking space analysis unit 121 of the information processing device 120 shown in FIG.
  • the parking space detection unit 131 executes a parking space detection process based on information detected by the sensor 20, for example, an image captured by a camera.
  • This parking space detection process is, for example, the process described above with reference to FIGS.
  • the parking section detection unit 131 first converts the photographed image as shown in FIG. 6A into a bird's-eye view image of the parking lot observed from the sky as shown in FIG. is used to extract a feature point indicating a white line or the like indicating a parking space, and the parking space is discriminated based on the extracted feature point.
  • Feature points are extracted from, for example, pixels with large luminance changes such as edge portions in an image. Specifically, for example, feature points are extracted from pixel regions such as outlines of white lines indicating parking spaces, outlines of vehicles, and outlines of plants such as trees.
  • the parking space detection unit 131 selects, for example, feature points corresponding to white lines that are presumed to define parking spaces, extracts rectangular shapes defined by the selected feature points, and performs parking space estimation processing.
  • the example shown in FIG. 8(3) is an example in which five parking spaces (Pa1 to Pa5) are detected.
  • the parking lot information may be inputted from an external device, specifically, a map information providing server, a parking lot management server, or the like.
  • Step S102 the information processing device outputs the parking space information detected in step S101 to at least one of the automatic driving control unit 122 and the display control unit 123 in step S102.
  • This processing is executed by the target parking section management unit 132 of the parking section analysis unit 121 of the information processing device 120 shown in FIG.
  • the target parking section management unit 132 generates a bird's-eye view image of the parking lot 30 as shown in FIG. Output to at least one of the control unit 122 and the display control unit 123 .
  • the display control unit 123 displays, for example, a bird's-eye view image of the parking lot 30 shown in FIG.
  • step S103 the target parking section management unit 132 inputs target parking section instruction data from the user (driver) who has viewed the image of the parking lot displayed on the automatic driving control unit 122 or the display unit 150. Determine presence/absence.
  • step S104 If the input of the target parking space instruction data is not detected, wait, and when the input of the target parking space instruction data is confirmed, proceed to step S104.
  • Step S104 the target parking section management unit 132 analyzes the detection data (camera captured image) of the sensor 20, and determines the feature amount (detection object) of each parking section in the parking section group including the target parking section. Extract.
  • the parking section group feature amount analysis unit 138 of the target parking section management unit 132 uses the sensor detection information, for example, the bird's-eye view conversion image of the camera-captured image to determine the feature amount of each parking section constituting the parking group in the camera-captured image. Extract (detected object).
  • step S105 the target parking section management unit 132 generates and stores a parking section group feature amount map that records the feature amount (detection object) of each parking section constituting the parking section group extracted in step S104. Stored in section 135 .
  • the parking section group feature amount map stored in the storage unit 135 is, for example, the map described above with reference to FIG. 11(2). That is, the parking lot group feature amount map is composed of image data of a bird's-eye view conversion image of a camera-captured image, which is sensor detection information. Alternatively, simplified image data obtained by reducing the data amount of the bird's-eye view conversion image data may be used.
  • a table-format map may be used in which the feature values of each parking space unit, which were described earlier with reference to FIGS.
  • Step S106 the target parking section management unit 132 determines whether or not the target parking section is detected in the detection data (captured image) of the sensor 20.
  • the vehicle 10 is traveling, and there is a possibility that the target parking section will not be detected in the detection data (captured image) of the sensor 20 depending on the travel route of the vehicle 10 .
  • step S107 When the target parking section is detected in the detection data (captured image) of the sensor 20, the process proceeds to step S107. On the other hand, if the target parking section is not detected in the detection data (captured image) of the sensor 20, the process proceeds to step S201.
  • Step S107 In step S106, when the target parking section is detected in the detection data (captured image) of the sensor 20, the process proceeds to step S107.
  • the target parking section management unit 132 determines whether or not the parking process for the target parking section is completed in step S107.
  • the parking process for the target parking section is performed under the control of the automatic driving control unit 122 or under the control of the user (driver).
  • step S106 If the parking process for the target parking section has not been completed, the process returns to step S106. On the other hand, when the parking process for the target parking section is completed, the process ends.
  • Step S201 If the target parking section is no longer detected in the detection data (captured image) of the sensor 20 in step S106, the process proceeds to step S201.
  • step S201 the target parking section management unit 132 analyzes the sensor detection data (camera captured image) by analyzing the sensor detection data (camera captured image). Analysis processing of the feature amount (detection object) of each parking space in the parking space group included in is executed.
  • Step S202 the target parking section management unit 132 stores the array data of the feature amount (detection object) of each parking section in the parking section group included in the sensor detection data (camera captured image) and the array data stored in the storage unit 135.
  • the parking section group feature amount map of the parking section group including the target parking section is compared and collated, and it is determined whether or not the feature amount arrays match or are similar (the degree of similarity is equal to or greater than a prescribed threshold value).
  • step S203 If it is determined that the feature arrays match or are similar (the degree of similarity is equal to or greater than the prescribed threshold value), the determination in step S203 is Yes, and the process proceeds to step S204. On the other hand, if it is not determined that the feature arrays match or are similar (the degree of similarity is equal to or greater than the prescribed threshold value), the determination in step S203 is No. In this case, the process proceeds to step S211 to continue running. , the process returns to step S201, and the processing from step S201 onward is repeated.
  • the determination of Yes in this step S203 is made by the array data of the feature amount (detection object) of each parking space in the parking space group included in the sensor detection data (camera captured image), and the storage unit 135. This is the case where the feature quantity arrays of the parking space group feature quantity maps of the parking space group including the stored target parking space match or are similar (the degree of similarity is equal to or greater than a prescribed threshold value).
  • the similarity of the feature amounts is equal to or higher than a predetermined threshold value. Specifically, for example, when the threshold value is 80%, it is determined that the feature arrays are similar if they match 80% or more.
  • various processes can be applied to the process of determining the degree of matching or similarity of the feature amounts of parking space groups. For example, the following determination process is possible.
  • the degree of matching and the degree of similarity of the feature amounts of the entire parking space group are determined.
  • Example 2 Determine the degree of matching and similarity of each individual parking space included in the parking space group, and then, based on the value obtained by arithmetic processing based on the degree of matching and similarity of each individual parking space The matching degree and similarity of the feature amount of the entire parking space group are determined.
  • Arithmetic processing includes, for example, calculation of the added value of the similarity of each individual parking space, calculation of the average value, calculation of the added value of the similarity of other parking spaces excluding the parking space with the lowest similarity, or Calculation of an average value, etc. can be used. This makes it possible to respond even when some vehicles leave the garage.
  • similarity determination processing may be performed in which weights are set according to the types of objects detected as feature amounts.
  • the feature amount is not recorded in the parking lot group feature amount map. It is also not used for similarity calculation processing. Only when there are two or more objects detected as the parking lot group or the feature amount around the parking lot, the feature amount is recorded in the parking lot group feature amount map. It is also used for similarity calculation processing.
  • a feature quantity for determining whether or not the parking space group detected by the sensor 20 is a parking space group having the target parking space in the parking space group feature quantity map recorded in the storage unit 135;
  • Various processes can be used to calculate the degree of matching and the degree of similarity between feature arrays.
  • Step S204 In step S203, the array data of the feature amount (detection object) of each parking space in the parking space group included in the sensor detection data (camera captured image) and the parking space group including the target parking space stored in the storage unit 135 If it is determined that the feature quantity arrays of the parking lot group feature quantity maps match or are similar (the degree of similarity is equal to or greater than the prescribed threshold value), the process of step S204 is executed.
  • the target parking section management unit 132 in step S204, stores the parking section position where the target parking section identifier is recorded in the parking section group feature amount map of the parking section group including the target parking section stored in the storage unit 135. , the target parking section is identified from the parking sections in the parking section group included in the sensor detection data (camera captured image).
  • the target parking section is identified from the parking sections within the parking section group observed from the current position of the vehicle 10 .
  • Step S205 the target parking section management unit 132 determines whether or not the target parking section is detected in the detection data (captured image) of the sensor 20 in step S205.
  • the vehicle 10 is traveling, and there is a possibility that the target parking section will not be detected in the detection data (captured image) of the sensor 20 depending on the travel route of the vehicle 10 .
  • step S206 When the target parking section is detected in the detection data (captured image) of the sensor 20, the process proceeds to step S206. On the other hand, if the target parking section is not detected in the detection data (captured image) of the sensor 20, the process returns to step S201, and the processing from step S201 onward is repeated.
  • Step S206 If the target parking section is detected in the detection data (captured image) of the sensor 20 in step S205, the process proceeds to step S206.
  • the target parking section management unit 132 determines whether or not the parking process for the target parking section is completed in step S206.
  • the parking process for the target parking section is performed under the control of the automatic driving control unit 122 or under the control of the user (driver).
  • step S205 If the parking process for the target parking section has not been completed, the process returns to step S205. On the other hand, when the parking process for the target parking section is completed, the process ends.
  • the sensor subsequently detects the parking space group including the target parking space. In this case, it is possible to reliably identify the parking space group and furthermore detect the target parking space from the parking space group.
  • FIG. 38 a hardware configuration example of the information processing apparatus of the present disclosure will be described with reference to FIG. 38 .
  • the information processing device is mounted inside the vehicle.
  • the hardware configuration shown in FIG. 38 is an example hardware configuration of an information processing device in a vehicle.
  • the hardware configuration shown in FIG. 38 will be described.
  • a CPU (Central Processing Unit) 301 functions as a data processing section that executes various processes according to programs stored in a ROM (Read Only Memory) 302 or a storage section 308 . For example, the process according to the sequence described in the above embodiment is executed.
  • a RAM (Random Access Memory) 303 stores programs and data executed by the CPU 301 . These CPU 301 , ROM 302 and RAM 303 are interconnected by a bus 304 .
  • the CPU 301 is connected to an input/output interface 305 via a bus 304, and the input/output interface 305 includes various switches, a touch panel, a microphone, a user input unit, a camera, a situation data acquisition unit for various sensors 321 such as LiDAR, and the like.
  • An input unit 306, an output unit 307 including a display, a speaker, and the like are connected.
  • the output unit 307 also outputs driving information to the driving unit 322 of the vehicle.
  • the CPU 301 receives commands, situation data, and the like input from the input unit 306 , executes various processes, and outputs processing results to the output unit 307 , for example.
  • a storage unit 308 connected to the input/output interface 305 includes, for example, a hard disk, and stores programs executed by the CPU 301 and various data.
  • a communication unit 309 functions as a transmission/reception unit for data communication via a network such as the Internet or a local area network, and communicates with an external device.
  • a GPU Graphics Processing Unit
  • a drive 310 connected to the input/output interface 305 drives a removable medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card to record or read data.
  • a removable medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card to record or read data.
  • FIG. 39 is a block diagram showing a configuration example of a vehicle control system 511 of a vehicle 500 equipped with the information processing device of the present disclosure.
  • the vehicle control system 511 is provided in the vehicle 500 and performs processing related to driving support of the vehicle 500 and automatic driving.
  • the vehicle control system 511 includes a vehicle control ECU (Electronic Control Unit) 521, a communication unit 522, a map information accumulation unit 523, a GNSS (Global Navigation Satellite System) reception unit 524, an external recognition sensor 525, an in-vehicle sensor 526, a vehicle sensor 527, It has a recording unit 528 , a driving support/automatic driving control unit 529 , a DMS (Driver Monitoring System) 530 , an HMI (Human Machine Interface) 531 , and a vehicle control unit 532 .
  • a vehicle control ECU Electronic Control Unit
  • a communication unit 522 includes a communication unit 522, a map information accumulation unit 523, a GNSS (Global Navigation Satellite System) reception unit 524, an external recognition sensor 525, an in-vehicle sensor 526, a vehicle sensor 527, It has a recording unit 528 , a driving support/automatic driving control unit 529 , a DMS (Driver Monitoring System) 530
  • Vehicle control ECU Electronic Control Unit
  • communication unit 522 communication unit 522
  • map information storage unit 523 GNSS reception unit 524
  • external recognition sensor 525 external recognition sensor
  • in-vehicle sensor 526 vehicle sensor 527
  • recording unit 528 driving support/automatic driving control unit 529
  • driving support/automatic driving control unit 529 driving support/automatic driving control unit 529
  • DMS driver monitoring system
  • HMI human machine interface
  • vehicle control unit 532 is communicably connected to each other via a communication network 541 .
  • the communication network 541 is, for example, a CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), FlexRay (registered trademark), Ethernet (registered trademark), and other digital two-way communication standards.
  • the communication network 541 may be used properly depending on the type of data to be communicated. For example, CAN is applied to data related to vehicle control, and Ethernet is applied to large-capacity data. Each part of the vehicle control system 511 performs wireless communication assuming relatively short-range communication such as near field communication (NFC (Near Field Communication)) or Bluetooth (registered trademark) without going through the communication network 541. may be connected directly using NFC (Near Field Communication) or Bluetooth (registered trademark) without going through the communication network 541.
  • NFC Near Field Communication
  • Bluetooth registered trademark
  • the vehicle control ECU (Electronic Control Unit) 521 is composed of various processors such as a CPU (Central Processing Unit) and an MPU (Micro Processing Unit).
  • a vehicle control ECU (Electronic Control Unit) 521 controls the functions of the vehicle control system 511 as a whole or part of it.
  • the communication unit 522 communicates with various devices inside and outside the vehicle, other vehicles, servers, base stations, etc., and transmits and receives various data. At this time, the communication unit 522 can perform communication using a plurality of communication methods.
  • the communication with the outside of the vehicle that can be performed by the communication unit 522 will be described schematically.
  • the communication unit 522 is, for example, 5G (5th generation mobile communication system), LTE (Long Term Evolution), DSRC (Dedicated Short Range Communications), etc., via a base station or access point, on the external network communicates with a server (hereinafter referred to as an external server) located in the external network.
  • the external network with which the communication unit 522 communicates is, for example, the Internet, a cloud network, or a provider's own network.
  • the communication method for communicating with the external network by the communication unit 522 is not particularly limited as long as it is a wireless communication method capable of digital two-way communication at a predetermined communication speed or higher and at a predetermined distance or longer.
  • the communication unit 522 can communicate with a terminal existing in the vicinity of the own vehicle using P2P (Peer To Peer) technology.
  • Terminals in the vicinity of one's own vehicle include, for example, terminals worn by pedestrians, bicycles, and other moving bodies that move at relatively low speeds, terminals installed at fixed locations such as stores, or MTC (Machine Type Communication).
  • MTC Machine Type Communication
  • the communication unit 522 can also perform V2X communication.
  • V2X communication includes, for example, vehicle-to-vehicle communication with other vehicles, vehicle-to-infrastructure communication with roadside equipment, etc., and vehicle-to-home communication , and communication between the vehicle and others, such as vehicle-to-pedestrian communication with a terminal or the like possessed by a pedestrian.
  • the communication unit 522 can receive from the outside a program for updating the software that controls the operation of the vehicle control system 511 (Over The Air).
  • the communication unit 522 can also receive map information, traffic information, information around the vehicle 500, and the like from the outside.
  • the communication unit 522 can transmit information about the vehicle 500, information about the surroundings of the vehicle 500, and the like to the outside.
  • the information about the vehicle 500 that the communication unit 522 transmits to the outside includes, for example, data indicating the state of the vehicle 500, recognition results by the recognition unit 573, and the like.
  • the communication unit 522 performs communication corresponding to a vehicle emergency notification system such as e-call.
  • the communication unit 522 can communicate with each device in the vehicle using, for example, wireless communication.
  • the communication unit 522 performs wireless communication with devices in the vehicle using a communication method such as wireless LAN, Bluetooth, NFC, and WUSB (Wireless USB) that enables digital two-way communication at a communication speed higher than a predetermined value. can be done.
  • the communication unit 522 can also communicate with each device in the vehicle using wired communication.
  • the communication unit 522 can communicate with each device in the vehicle by wired communication via a cable connected to a connection terminal (not shown).
  • the communication unit 522 performs digital two-way communication at a predetermined communication speed or higher through wired communication, such as USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), and MHL (Mobile High-Definition Link). can communicate with each device in the vehicle.
  • USB Universal Serial Bus
  • HDMI registered trademark
  • MHL Mobile High-Definition Link
  • equipment in the vehicle refers to equipment that is not connected to the communication network 541 in the vehicle, for example.
  • in-vehicle devices include mobile devices and wearable devices possessed by passengers such as drivers, information devices that are brought into the vehicle and temporarily installed, and the like.
  • the communication unit 522 receives electromagnetic waves transmitted by a vehicle information and communication system (VICS (registered trademark)) such as radio beacons, optical beacons, and FM multiplex broadcasting.
  • VICS vehicle information and communication system
  • the map information accumulation unit 523 accumulates one or both of the map obtained from the outside and the map created by the vehicle 500 .
  • the map information accumulation unit 523 accumulates a three-dimensional high-precision map, a global map covering a wide area, and the like, which is lower in accuracy than the high-precision map.
  • High-precision maps are, for example, dynamic maps, point cloud maps, and vector maps.
  • the dynamic map is, for example, a map consisting of four layers of dynamic information, semi-dynamic information, semi-static information, and static information, and is provided to the vehicle 500 from an external server or the like.
  • a point cloud map is a map composed of a point cloud (point cloud data).
  • the vector map refers to a map adapted to an ADAS (Advanced Driver Assistance System) in which traffic information such as lane and signal positions are associated with a point cloud map.
  • ADAS Advanced Driver Assistance System
  • the point cloud map and vector map may be provided from an external server or the like, and based on the sensing results of the radar 552, LiDAR 553, etc., the vehicle 500 serves as a map for matching with a local map described later. It may be created and stored in the map information storage unit 523 . Further, when a high-precision map is provided from an external server or the like, in order to reduce the communication capacity, map data of, for example, several hundred meters square regarding the planned route on which the vehicle 500 will travel from now on is acquired from the external server or the like. .
  • the GNSS reception unit 524 receives GNSS signals from GNSS satellites and acquires position information of the vehicle 500 .
  • the received GNSS signal is supplied to the driving support/automatic driving control unit 529 .
  • the GNSS receiving unit 524 is not limited to the method using GNSS signals, and may acquire position information using beacons, for example.
  • the external recognition sensor 525 includes various sensors used for recognizing the situation outside the vehicle 500, and supplies sensor data from each sensor to each part of the vehicle control system 511.
  • the type and number of sensors included in the external recognition sensor 525 are arbitrary.
  • the external recognition sensor 525 includes a camera 551, a radar 552, a LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) 553, and an ultrasonic sensor 554.
  • the external recognition sensor 525 may be configured to include one or more sensors among the camera 551 , radar 552 , LiDAR 553 , and ultrasonic sensor 554 .
  • the numbers of cameras 551 , radars 552 , LiDARs 553 , and ultrasonic sensors 554 are not particularly limited as long as they can be installed in vehicle 500 in practice.
  • the type of sensor provided in the external recognition sensor 525 is not limited to this example, and the external recognition sensor 525 may be provided with other types of sensors. An example of the sensing area of each sensor included in the external recognition sensor 525 will be described later.
  • the shooting method of the camera 551 is not particularly limited as long as it is a shooting method that enables distance measurement.
  • the camera 551 may be a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, or any other type of camera as required.
  • the camera 551 is not limited to this, and may simply acquire a captured image regardless of distance measurement.
  • the external recognition sensor 525 can include an environment sensor for detecting the environment with respect to the vehicle 500 .
  • the environment sensor is a sensor for detecting the environment such as weather, climate, brightness, etc., and can include various sensors such as raindrop sensors, fog sensors, sunshine sensors, snow sensors, and illuminance sensors.
  • the external recognition sensor 525 includes a microphone used for detecting sounds around the vehicle 500 and the position of the sound source.
  • the in-vehicle sensor 526 includes various sensors for detecting information inside the vehicle, and supplies sensor data from each sensor to each part of the vehicle control system 511 .
  • the types and number of various sensors included in in-vehicle sensor 526 are not particularly limited as long as they are the number that can be realistically installed in vehicle 500 .
  • the in-vehicle sensor 526 may comprise one or more sensors among cameras, radar, seating sensors, steering wheel sensors, microphones, and biometric sensors.
  • the camera included in the in-vehicle sensor 526 for example, cameras of various shooting methods capable of distance measurement, such as a ToF camera, a stereo camera, a monocular camera, and an infrared camera, can be used. Not limited to this, the camera provided in the vehicle interior sensor 526 may simply acquire a captured image regardless of distance measurement.
  • the biosensors included in the in-vehicle sensor 526 are provided, for example, in seats, steering wheels, etc., and detect various biometric information of passengers such as the driver.
  • the vehicle sensor 527 includes various sensors for detecting the state of the vehicle 500, and supplies sensor data from each sensor to each section of the vehicle control system 511.
  • the types and number of various sensors included in vehicle sensor 527 are not particularly limited as long as they are the number that can be realistically installed in vehicle 500 .
  • the vehicle sensor 527 includes a speed sensor, an acceleration sensor, an angular velocity sensor (gyro sensor), and an inertial measurement unit (IMU (Inertial Measurement Unit)) integrating them.
  • the vehicle sensor 527 includes a steering angle sensor that detects the steering angle of the steering wheel, a yaw rate sensor, an accelerator sensor that detects the amount of operation of the accelerator pedal, and a brake sensor that detects the amount of operation of the brake pedal.
  • the vehicle sensor 527 includes a rotation sensor that detects the number of revolutions of an engine or a motor, an air pressure sensor that detects tire air pressure, a slip rate sensor that detects a tire slip rate, and a wheel speed sensor that detects the rotational speed of a wheel.
  • a sensor is provided.
  • the vehicle sensor 527 includes a battery sensor that detects remaining battery power and temperature, and an impact sensor that detects an external impact.
  • the recording unit 528 includes at least one of a nonvolatile storage medium and a volatile storage medium, and stores data and programs.
  • the recording unit 528 is used, for example, as EEPROM (Electrically Erasable Programmable Read Only Memory) and RAM (Random Access Memory), and as a storage medium, magnetic storage devices such as HDD (Hard Disc Drive), semiconductor storage devices, optical storage devices, And a magneto-optical storage device can be applied.
  • a recording unit 528 records various programs and data used by each unit of the vehicle control system 511 .
  • the recording unit 528 includes an EDR (Event Data Recorder) and a DSSAD (Data Storage System for Automated Driving), and records information on the vehicle 500 before and after an event such as an accident and biometric information acquired by the in-vehicle sensor 526. .
  • EDR Event Data Recorder
  • DSSAD Data Storage System for Automated Driving
  • the driving support/automatic driving control unit 529 controls driving support and automatic driving of the vehicle 500 .
  • the driving support/automatic driving control unit 529 includes an analysis unit 561 , an action planning unit 562 and an operation control unit 563 .
  • the analysis unit 561 analyzes the vehicle 500 and its surroundings.
  • the analysis unit 561 includes a self-position estimation unit 571 , a sensor fusion unit 572 and a recognition unit 573 .
  • the self-position estimation unit 571 estimates the self-position of the vehicle 500 based on the sensor data from the external recognition sensor 525 and the high-precision map accumulated in the map information accumulation unit 523. For example, the self-position estimation unit 571 generates a local map based on sensor data from the external recognition sensor 525, and estimates the self-position of the vehicle 500 by matching the local map and the high-precision map.
  • the position of the vehicle 500 is based on, for example, the center of the rear wheels versus the axle.
  • a local map is, for example, a three-dimensional high-precision map created using techniques such as SLAM (Simultaneous Localization and Mapping), an occupancy grid map, or the like.
  • the three-dimensional high-precision map is, for example, the point cloud map described above.
  • the occupancy grid map is a map that divides the three-dimensional or two-dimensional space around the vehicle 500 into grids (lattice) of a predetermined size and shows the occupancy state of objects in grid units.
  • the occupancy state of an object is indicated, for example, by the presence or absence of the object and the existence probability.
  • the local map is also used, for example, by the recognizing unit 573 to detect and recognize the situation outside the vehicle 500 .
  • the self-position estimator 571 may estimate the self-position of the vehicle 500 based on the GNSS signal and sensor data from the vehicle sensor 527.
  • the sensor fusion unit 572 combines a plurality of different types of sensor data (for example, image data supplied from the camera 551 and sensor data supplied from the radar 552) to perform sensor fusion processing to obtain new information.
  • Methods for combining different types of sensor data include integration, fusion, federation, and the like.
  • the recognition unit 573 executes a detection process for detecting the situation outside the vehicle 500 and a recognition process for recognizing the situation outside the vehicle 500 .
  • the recognition unit 573 performs detection processing and recognition processing of the situation outside the vehicle 500 based on information from the external recognition sensor 525, information from the self-position estimation unit 571, information from the sensor fusion unit 572, and the like. .
  • the recognition unit 573 performs detection processing and recognition processing of objects around the vehicle 500 .
  • Object detection processing is, for example, processing for detecting the presence or absence, size, shape, position, movement, and the like of an object.
  • Object recognition processing is, for example, processing for recognizing an attribute such as the type of an object or identifying a specific object.
  • detection processing and recognition processing are not always clearly separated, and may overlap.
  • the recognition unit 573 detects objects around the vehicle 500 by clustering the point cloud based on sensor data from the LiDAR 553, the radar 552, or the like for each point group cluster. Thereby, the presence/absence, size, shape, and position of an object around the vehicle 500 are detected.
  • the recognition unit 573 detects the movement of objects around the vehicle 500 by performing tracking that follows the movement of the cluster of points classified by clustering. Thereby, the speed and traveling direction (movement vector) of the object around the vehicle 500 are detected.
  • the recognition unit 573 detects or recognizes vehicles, people, bicycles, obstacles, structures, roads, traffic lights, traffic signs, road markings, etc. from the image data supplied from the camera 551 .
  • the types of objects around the vehicle 500 may be recognized by performing recognition processing such as semantic segmentation.
  • the recognition unit 573 based on the map accumulated in the map information accumulation unit 523, the estimation result of the self-position by the self-position estimation unit 571, and the recognition result of the object around the vehicle 500 by the recognition unit 573, Recognition processing of traffic rules around the vehicle 500 can be performed. Through this processing, the recognizing unit 573 can recognize the position and state of traffic signals, the content of traffic signs and road markings, the content of traffic restrictions, the lanes in which the vehicle can travel, and the like.
  • the recognition unit 573 can perform recognition processing of the environment around the vehicle 500 .
  • the surrounding environment to be recognized by the recognition unit 573 includes the weather, temperature, humidity, brightness, road surface conditions, and the like.
  • the action planning unit 562 creates an action plan for the vehicle 500.
  • the action planning unit 562 creates an action plan by performing route planning and route following processing.
  • trajectory planning is the process of planning a rough route from the start to the goal. This route planning is referred to as trajectory planning, and in the route planned in the route planning, trajectory generation (Local path planning) processing is also included. Path planning may be distinguished from long-term path planning and activation generation from short-term path planning, or from local path planning. A safety priority path represents a concept similar to launch generation, short-term path planning, or local path planning.
  • Route following is the process of planning actions to safely and accurately travel the route planned by route planning within the planned time.
  • the action planning unit 562 can, for example, calculate the target velocity and the target angular velocity of the vehicle 500 based on the results of this route following processing.
  • the motion control unit 563 controls the motion of the vehicle 500 in order to implement the action plan created by the action planning unit 562.
  • the operation control unit 563 controls a steering control unit 581, a brake control unit 582, and a drive control unit 583 included in the vehicle control unit 532, which will be described later, so that the trajectory calculated by the trajectory planning is controlled by the vehicle 500. Acceleration/deceleration control and direction control are performed so as to proceed.
  • the operation control unit 563 performs cooperative control aimed at realizing ADAS functions such as collision avoidance or shock mitigation, follow-up driving, vehicle speed maintenance driving, collision warning of own vehicle, and lane deviation warning of own vehicle.
  • the operation control unit 563 performs cooperative control aimed at automatic driving in which the vehicle autonomously travels without depending on the operation of the driver.
  • the DMS 530 performs driver authentication processing, driver state recognition processing, etc., based on sensor data from the in-vehicle sensor 526 and input data input to the HMI 531, which will be described later.
  • the driver's condition to be recognized by the DMS 530 includes, for example, physical condition, wakefulness, concentration, fatigue, gaze direction, drunkenness, driving operation, posture, and the like.
  • the DMS 530 may perform authentication processing for passengers other than the driver and processing for recognizing the state of the passenger. Also, for example, the DMS 530 may perform a process of recognizing the situation inside the vehicle based on the sensor data from the sensor 526 inside the vehicle. Conditions inside the vehicle to be recognized include temperature, humidity, brightness, smell, and the like, for example.
  • the HMI 531 inputs various data, instructions, etc., and presents various data to the driver.
  • HMI 531 includes an input device for human input of data.
  • the HMI 531 generates an input signal based on data, instructions, etc. input from an input device, and supplies the input signal to each part of the vehicle control system 511 .
  • the HMI 531 includes operators such as touch panels, buttons, switches, and levers as input devices.
  • the HMI 531 is not limited to this, and may further include an input device capable of inputting information by a method other than manual operation using voice, gestures, or the like.
  • the HMI 531 may use, as an input device, a remote control device using infrared rays or radio waves, or an external connection device such as a mobile device or wearable device corresponding to the operation of the vehicle control system 511 .
  • the presentation of data by the HMI 531 will be briefly explained.
  • the HMI 531 generates visual, auditory, and tactile information for passengers or outside the vehicle.
  • the HMI 531 also performs output control for controlling the output, output content, output timing, output method, and the like of each of the generated information.
  • the HMI 531 generates and outputs visual information such as an operation screen, a status display of the vehicle 500, a warning display, an image such as a monitor image showing the situation around the vehicle 500, and information indicated by light.
  • the HMI 531 also generates and outputs information indicated by sounds such as voice guidance, warning sounds, warning messages, etc., as auditory information.
  • the HMI 531 generates and outputs, as tactile information, information given to the passenger's tactile sense by force, vibration, movement, or the like.
  • a display device that presents visual information by displaying an image by itself or a projector device that presents visual information by projecting an image can be applied.
  • the display device displays visual information within the passenger's field of view, such as a head-up display, a transmissive display, or a wearable device with an AR (Augmented Reality) function. It may be a device.
  • the HMI 531 can also use a display device provided in the vehicle 500, such as a navigation device, an instrument panel, a CMS (Camera Monitoring System), an electronic mirror, a lamp, etc., as an output device for outputting visual information.
  • Audio speakers, headphones, and earphones can be applied as output devices for the HMI 531 to output auditory information.
  • a haptic element using haptic technology can be applied as an output device for the HMI 531 to output tactile information.
  • a haptic element is provided at a portion of the vehicle 500 that is in contact with a passenger, such as a steering wheel or a seat.
  • a vehicle control unit 532 controls each unit of the vehicle 500 .
  • the vehicle control section 532 includes a steering control section 581 , a brake control section 582 , a drive control section 583 , a body system control section 584 , a light control section 585 and a horn control section 586 .
  • the steering control unit 581 detects and controls the state of the steering system of the vehicle 500 .
  • the steering system includes, for example, a steering mechanism including a steering wheel, an electric power steering, and the like.
  • the steering control unit 581 includes, for example, a control unit such as an ECU that controls the steering system, an actuator that drives the steering system, and the like.
  • the brake control unit 582 detects and controls the state of the brake system of the vehicle 500 .
  • the brake system includes, for example, a brake mechanism including a brake pedal, an ABS (Antilock Brake System), a regenerative brake mechanism, and the like.
  • the brake control unit 582 includes, for example, a control unit such as an ECU that controls the brake system.
  • the drive control unit 583 detects and controls the state of the drive system of the vehicle 500 .
  • the drive system includes, for example, an accelerator pedal, a driving force generator for generating driving force such as an internal combustion engine or a driving motor, and a driving force transmission mechanism for transmitting the driving force to the wheels.
  • the drive control unit 583 includes, for example, a control unit such as an ECU that controls the drive system.
  • the body system control unit 584 detects and controls the state of the body system of the vehicle 500 .
  • the body system includes, for example, a keyless entry system, smart key system, power window device, power seat, air conditioner, air bag, seat belt, shift lever, and the like.
  • the body system control unit 584 includes, for example, a control unit such as an ECU that controls the body system.
  • the light control unit 585 detects and controls the states of various lights of the vehicle 500 .
  • Lights to be controlled include, for example, headlights, backlights, fog lights, turn signals, brake lights, projections, bumper displays, and the like.
  • the light control unit 585 includes a control unit such as an ECU that controls lights.
  • the horn control unit 586 detects and controls the state of the car horn of the vehicle 500 .
  • the horn control unit 586 includes, for example, a control unit such as an ECU that controls the car horn.
  • FIG. 40 is a diagram showing an example of sensing areas by the camera 551, radar 552, LiDAR 553, ultrasonic sensor 554, etc. of the external recognition sensor 525 in FIG. 40 schematically shows the vehicle 500 viewed from above, the left end side being the front end (front) side of the vehicle 500, and the right end side being the rear end (rear) side of the vehicle 500.
  • a sensing area 591F and a sensing area 591B show examples of sensing areas of the ultrasonic sensor 554.
  • a sensing area 591F covers the front end periphery of the vehicle 500 with a plurality of ultrasonic sensors 554 .
  • Sensing area 591B covers the rear end periphery of vehicle 500 with a plurality of ultrasonic sensors 554 .
  • the sensing results in the sensing area 591F and the sensing area 591B are used, for example, for parking assistance of the vehicle 500 and the like.
  • Sensing areas 592F to 592B show examples of sensing areas of the radar 552 for short or medium range. Sensing area 592F covers the front of vehicle 500 to a position farther than sensing area 591F. Sensing area 592B covers the rear of vehicle 500 to a position farther than sensing area 591B. Sensing area 592L covers the rear periphery of the left side surface of vehicle 500 . Sensing area 592R covers the rear periphery of the right side surface of vehicle 500 .
  • the sensing result in the sensing area 592F is used, for example, to detect vehicles, pedestrians, etc., existing in front of the vehicle 500, and the like.
  • the sensing result in the sensing area 592B is used, for example, for the rear collision prevention function of the vehicle 500 or the like.
  • the sensing results in sensing area 592L and sensing area 592R are used, for example, for detecting an object in a lateral blind spot of vehicle 500, or the like.
  • Sensing areas 593F to 593B show examples of sensing areas by the camera 551. Sensing area 593F covers the front of vehicle 500 to a position farther than sensing area 592F. Sensing area 593B covers the rear of vehicle 500 to a position farther than sensing area 592B. Sensing area 593L covers the periphery of the left side surface of vehicle 500 . Sensing area 593R covers the periphery of the right side surface of vehicle 500 .
  • the sensing results in the sensing area 593F can be used, for example, for the recognition of traffic lights and traffic signs, the lane departure prevention support system, and the automatic headlight control system.
  • Sensing results in sensing area 593B can be used, for example, for parking assistance and surround view systems.
  • Sensing results in the sensing area 593L and the sensing area 593R can be used, for example, in a surround view system.
  • a sensing area 594 shows an example of the sensing area of the LiDAR 553. Sensing area 594 covers the front of vehicle 500 to a position farther than sensing area 593F. On the other hand, the sensing area 594 has a narrower lateral range than the sensing area 593F.
  • the sensing result in the sensing area 594 is used, for example, for detecting objects such as surrounding vehicles.
  • Sensing area 595 shows an example of a sensing area of radar 552 for long range. Sensing area 595 covers the front of vehicle 500 to a position farther than sensing area 594 . On the other hand, the sensing area 595 has a narrower lateral range than the sensing area 594 .
  • the sensing results in the sensing area 595 are used, for example, for ACC (Adaptive Cruise Control), emergency braking, and collision avoidance.
  • ACC Adaptive Cruise Control
  • emergency braking emergency braking
  • collision avoidance collision avoidance
  • the sensing regions of the camera 551, radar 552, LiDAR 553, and ultrasonic sensor 554 included in the external recognition sensor 525 may have various configurations other than those shown in FIG. Specifically, the ultrasonic sensor 554 may sense the sides of the vehicle 500 , and the LiDAR 553 may sense the rear of the vehicle 500 . Moreover, the installation position of each sensor is not limited to each example mentioned above. Also, the number of each sensor may be one or plural.
  • a parking space detection unit that executes a parking space detection process based on information detected by the sensor; a target parking space management unit that generates a parking space group feature quantity map that records the feature values of a parking space group having a plurality of parking spaces including the target parking space and stores the map in a storage unit;
  • the target parking section management unit A feature quantity of the sensor-detected parking space group obtained from the sensor detection information and a feature quantity recorded in the parking space group feature quantity map are compared and collated to determine whether the sensor-detected parking space group is the target parking space.
  • An information processing device that determines whether or not a parking section group has sections.
  • the target parking space management unit By referring to the parking lot group feature quantity map that records the target parking lot identifier, The information processing device according to (1) or (2), wherein one target parking space is specified from a plurality of parking spaces included in the sensor-detected parking space group.
  • the sensor is a camera;
  • the parking space detection unit analyzes the image captured by the camera and executes a parking space detection process,
  • the target parking section management unit The information processing apparatus according to any one of (1) to (3), which analyzes an image captured by a camera and generates the parking space group feature amount map.
  • the target parking space management unit When the similarity between the feature quantity of the sensor-detected parking space group obtained from the detection information of the sensor and the feature quantity recorded in the parking space group feature quantity map is equal to or greater than a predetermined threshold value, The information processing apparatus according to any one of (1) to (4) for determining that the sensor-detected parking space group is a parking space group having a target parking space.
  • the target parking space management unit When executing a comparison matching process between the feature quantity of the sensor-detected parking section group and the feature quantity recorded in the parking section group feature quantity map, The information processing apparatus according to any one of (1) to (5), which performs a comparison verification process on the feature amount of the target parking section and the feature amount of the parking section other than the target parking section.
  • the information processing device The information processing apparatus according to any one of (1) to (6), further comprising a parking lot group feature quantity analysis unit that receives information detected by the sensor and analyzes a feature quantity of a parking lot group having a plurality of parking lots.
  • the target parking space management unit The information processing apparatus according to any one of (1) to (7), which generates a parking lot group feature amount map having image data indicating the feature amount of the parking lot group.
  • the target parking space management unit Any one of (1) to (8) of generating a parking lot group feature amount map in tabular form having entries for each parking lot constituting a parking lot group and recording a feature amount for each parking lot in each entry. information processing equipment.
  • the target parking space management unit A parking space group feature in tabular form that has entries for each parking space that constitutes a parking space group, and in each entry, a feature amount for each parking space is recorded using at least one of text data, image data, and icons.
  • the information processing apparatus according to any one of (1) to (9), which generates a quantity map.
  • the target parking space management unit The information processing apparatus according to any one of (1) to (10), which generates a parking space group feature amount map that enables identification of positions of detected objects obtained from detection information of the sensor.
  • the target parking space management unit The information processing apparatus according to any one of (1) to (11), which generates a parking lot group feature amount map in which detected objects obtained from the detection information of the sensor are recorded in association with parking lots in the parking lot group.
  • the target parking space management unit The information processing apparatus according to any one of (1) to (12), which generates a parking space group feature amount map that enables identification of types of detected objects obtained from the detection information of the sensor.
  • the target parking space management unit The information processing apparatus according to any one of (1) to (13), which generates a parking space group feature amount map that enables identification of the color of the detected object obtained from the detection information of the sensor.
  • the target parking space management unit When the similarity between the array of feature values of the sensor-detected parking space group and the array of feature values recorded in the parking space group feature value map is equal to or greater than a predetermined threshold value, the sensor-detected parking space is detected.
  • the information processing apparatus according to any one of (1) to (14), wherein the parking lot group is determined to be a parking lot group having a target parking lot.
  • the target parking space management unit The degree of similarity between the feature quantity array of the sensor-detected parking space group obtained from the sensor detection information and the inverted feature quantity sequence obtained by inverting the feature quantity sequence recorded in the parking space group feature quantity map is defined in advance.
  • the information processing apparatus according to any one of (1) to (15), wherein the sensor-detected parking section group is determined to be a parking section group having a target parking section when the threshold is equal to or greater than a threshold value.
  • the target parking space management unit The information processing device according to any one of (1) to (16), wherein the designation information of the target parking section is input from the automatic driving control unit or the input unit operated by the driver.
  • the target parking space management unit Outputting to the automatic driving control unit a determination result that the sensor-detected parking section group is a parking section group having the target parking section,
  • the automatic operation control unit is The information processing apparatus according to any one of (1) to (17), which executes automatic parking processing for a target parking section according to the input of the determination result.
  • An information processing method executed in an information processing device a parking space detection step in which the parking space detection unit executes a parking space detection process based on the information detected by the sensor;
  • the target parking lot management department a map recording step of generating a parking space group feature quantity map in which the feature values of a parking space group having a plurality of parking spaces including a target parking space are recorded, and storing the map in a storage unit;
  • a feature quantity of the sensor-detected parking space group obtained from the sensor detection information and a feature quantity recorded in the parking space group feature quantity map are compared and collated to determine whether the sensor-detected parking space group is the target parking space.
  • a program for executing information processing in an information processing device a parking space detection step of causing the parking space detection unit to execute a parking space detection process based on the information detected by the sensor;
  • a feature quantity of the sensor-detected parking space group obtained from the sensor detection information and a feature quantity recorded in the parking space group feature quantity map are compared and collated to determine whether the sensor-detected parking space group is the target parking space.
  • a program for executing a target parking section tracking step for determining whether or not the parking section group has a section.
  • the series of processes described in the specification can be executed by hardware, software, or a composite configuration of both.
  • a program recording the processing sequence is installed in the memory of a computer built into dedicated hardware and executed, or the program is loaded into a general-purpose computer capable of executing various processing. It can be installed and run.
  • the program can be pre-recorded on a recording medium.
  • the program can be received via a network such as a LAN (Local Area Network) or the Internet and installed in a recording medium such as an internal hard disk.
  • a system is a logical collective configuration of a plurality of devices, and there are cases in which devices of each configuration are in the same housing, but it is not limited to devices of each configuration being in the same housing. do not have.
  • a parking space detection unit that executes a parking space detection process based on an image captured by a camera, which is sensor detection information, and a parking space group having a plurality of parking spaces including a target parking space. It has a target parking space management unit that generates a recorded parking space group feature quantity map and stores it in a storage unit.
  • the target parking section management unit performs a comparison matching process between the feature amount of the sensor (camera) detected parking section group obtained from the image captured by the camera and the feature amount recorded in the parking section group feature amount map. Camera) Determine whether the detected parking space group is the parking space group having the target parking space.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

目標駐車区画を確実に追従可能とした装置、方法を提供する。センサ検出情報であるカメラ撮影画像に基づいて駐車区画の検出処理を実行する駐車区画検出部と、目標駐車区画を含む複数の駐車区画を有する駐車区画群の特徴量を記録した駐車区画群特徴量マップを生成して記憶部に格納する目標駐車区画管理部を有する。目標駐車区画管理部は、カメラ撮影画像から得られるセンサ(カメラ)検出駐車区画群の特徴量と、駐車区画群特徴量マップに記録された特徴量との比較照合処理を実行して、センサ(カメラ)検出駐車区画群が目標駐車区画を有する駐車区画群であるか否かを判定する。

Description

情報処理装置、および情報処理方法、並びにプログラム
 本開示は、情報処理装置、および情報処理方法、並びにプログラムに関する。具体的には、例えば車両に装着されたカメラの撮影画像など、センサ検出データに基づいて駐車場の駐車区画の解析を行い、目標駐車位置の追従処理など、駐車区画の高精度な追従を行う情報処理装置、および情報処理方法、並びにプログラムに関する。
 例えば、ショッピングセンターや遊園地、観光地、その他、様々なエリアの駐車場は多数の車両を駐車可能としている場合が多い。
 車両の運転者であるユーザは、駐車場から駐車可能な空きスペースを探して駐車する。この場合、ユーザは、駐車場内で車両を走行させ、周囲を目視で確認して空きスペースを探すことになる。
 このような駐車可能スペースの確認処理は時間を要し、また、狭い駐車場内で走行を行うと他の車両や人との接触事故が起こりやすいという問題がある。
 また、近年、自動運転車両の開発が進んでおり、車両に装着されたカメラ等のセンサ検出情報を用いて駐車区画を検出して空いている駐車区画に自動駐車するといった処理も可能となってきている。
 なお、自動運転車両に限らず、手動運転車両においても車両のカメラで撮影した駐車場の画像を解析して得られた駐車区画を示す画像を車両の表示部に表示して運転者に通知する処理を行う構成についても提案されている。
 しかし、駐車場の多くは、同一形状の駐車区画を多数、隣接して配置した構成が多い。
 従って、例えば、ユーザ(運転者)が表示部に表示された駐車区画から1つの駐車区画を選択した場合でも、その後、選択した駐車区画がどの区画であったかを判別不可能になる場合が少なくない。
 ユーザ(運転者)が表示部に表示された駐車区画から1つの駐車区画を選択してマーカーを設定したとしても、例えば、駐車処理に伴う走行過程でマーカー設定済みの目標の駐車区画の画像が撮影範囲からはずれると、その後、再度、カメラが目標駐車区画の画像を取得しても、どの駐車区画がマーカー設定済みの区画であるかを判別するのが困難になることがある。
 これは、カメラ撮影画像の解析により駐車区画の追従処理を行う自動運転車両においても同様であり、自動運転制御部が1つの駐車区画を駐車目標として選択した場合でも、その後の車両の走行によってカメラ撮影画像から目標駐車区画の画像が消えてしまった場合は、再度、目標駐車区画の画像が撮影範囲に入った場合でも、前に選択した目標駐車区画がどの区画であるかを判別することが困難になる。
 なお、センサの取得情報を解析して駐車可能な空いている駐車区画を検出する手法を開示した従来技術として特許文献1(特開2019-172177号公報)がある。
 この特許文献1は、センサ取得情報から駐車可能な空いている駐車区画が検出されない場合に駐車可能な駐車区画を検出するために車両を移動する構成を開示している。
 しかし、この特許文献1に記載の構成は、駐車できる空き区画を検出するための車両の移動制御を開示するものであり、先に決定した目標駐車区画の追従処理については開示していない。
 この特許文献1に記載の構成は、目標駐車区画として決定した1つの駐車区画がカメラの撮影範囲から外れた場合などにおける追従処理を実現するものとはなっていない。
特開2019-172177号公報
 本開示は、例えば上記問題点に鑑みてなされたものであり、車両のカメラ等のセンサの検出情報を入力して駐車場の駐車区画の解析を行い、目標駐車位置の追従処理など、駐車区画の高精度な追従を可能とする情報処理装置、および情報処理方法、並びにプログラムを提供することを目的とする。
 本開示の第1の側面は、
 センサの検出情報に基づいて駐車区画の検出処理を実行する駐車区画検出部と、
 目標駐車区画を含む複数の駐車区画を有する駐車区画群の特徴量を記録した駐車区画群特徴量マップを生成して記憶部に格納する目標駐車区画管理部を有し、
 前記目標駐車区画管理部は、
 前記センサの検出情報から得られるセンサ検出駐車区画群の特徴量と、前記駐車区画群特徴量マップに記録された特徴量との比較照合処理を実行して、前記センサ検出駐車区画群が目標駐車区画を有する駐車区画群であるか否かを判定する情報処理装置にある。
 さらに、本開示の第2の側面は、
 情報処理装置において実行する情報処理方法であり、
 駐車区画検出部が、センサの検出情報に基づいて駐車区画の検出処理を実行する駐車区画検出ステップと、
 目標駐車区画管理部が、
 目標駐車区画を含む複数の駐車区画を有する駐車区画群の特徴量を記録した駐車区画群特徴量マップを生成して記憶部に格納するマップ記録ステップと、
 前記センサの検出情報から得られるセンサ検出駐車区画群の特徴量と、前記駐車区画群特徴量マップに記録された特徴量との比較照合処理を実行して、前記センサ検出駐車区画群が目標駐車区画を有する駐車区画群であるか否かを判定する目標駐車区画追従ステップを実行する情報処理方法にある。
 さらに、本開示の第3の側面は、
 情報処理装置において情報処理を実行させるプログラムであり、
 駐車区画検出部に、センサの検出情報に基づいて駐車区画の検出処理を実行させる駐車区画検出ステップと、
 目標駐車区画管理部に、
 目標駐車区画を含む複数の駐車区画を有する駐車区画群の特徴量を記録した駐車区画群特徴量マップを生成して記憶部に格納させるマップ記録ステップと、
 前記センサの検出情報から得られるセンサ検出駐車区画群の特徴量と、前記駐車区画群特徴量マップに記録された特徴量との比較照合処理を実行して、前記センサ検出駐車区画群が目標駐車区画を有する駐車区画群であるか否かを判定する目標駐車区画追従ステップを実行させるプログラムにある。
 なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置、画像処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
 本開示のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 本開示の一実施例の構成によれば、目標駐車区画を確実に追従可能とした装置、方法が実現される。
 具体的には、例えば、センサ検出情報であるカメラ撮影画像に基づいて駐車区画の検出処理を実行する駐車区画検出部と、目標駐車区画を含む複数の駐車区画を有する駐車区画群の特徴量を記録した駐車区画群特徴量マップを生成して記憶部に格納する目標駐車区画管理部を有する。目標駐車区画管理部は、カメラ撮影画像から得られるセンサ(カメラ)検出駐車区画群の特徴量と、駐車区画群特徴量マップに記録された特徴量との比較照合処理を実行して、センサ(カメラ)検出駐車区画群が目標駐車区画を有する駐車区画群であるか否かを判定する。
 本構成により、目標駐車区画を確実に追従可能とした装置、方法が実現される。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
車両を駐車場に駐車させる場合の一般的な走行例について説明する図である。 カメラ撮影画像等のセンサ検出情報を利用した駐車区画検出処理例について説明する図である。 カメラ撮影画像等のセンサ検出情報を利用して検出された駐車区画を利用した目標駐車区画決定処理例ついて説明する図である。 目標駐車区画の追従処理における問題点ついて説明する図である。 本開示の情報処理装置の構成例について説明する図である。 本開示の情報処理装置の駐車区画検出部が実行する処理の具体例について説明する図である。 本開示の情報処理装置の駐車区画検出部が実行する処理の具体例について説明する図である。 本開示の情報処理装置の駐車区画検出部が実行する処理の具体例について説明する図である。 駐車区画検出部がセンサの検出情報(カメラ撮影画像)に基づいて生成した駐車場の俯瞰画像の具体例について説明する図である。 目標駐車区画の決定処理の具体例について説明する図である。 目標駐車区画管理部の駐車区画群特徴量解析部が生成する駐車区画群特徴量マップの具体例について説明する図である。 駐車区画単位のエントリを有する表に駐車区画単位の特徴量である検出オブジェクトをテキスト等によって記録した駐車区画群特徴量マップの具体例について説明する図である。 駐車区画群を構成する駐車区画単位の特徴量(検出オブジェクト)を画像データやアイコン(抽象化画像データ)を利用して記録した駐車区画群特徴量マップの具体例について説明する図である。 駐車区画単位のエントリを有する表形式の駐車区画群特徴量マップの具体例について説明する図である。 駐車区画単位のエントリを有する表形式の駐車区画群特徴量マップの具体例について説明する図である。 車両のセンサ検出情報に基づいて目標駐車区画を設定した後、車両が移動し、目標駐車区画がセンサ検出範囲からはずれてしまった場合の目標駐車区画追従処理例について説明する図である。 車両のセンサ検出情報に基づいて目標駐車区画を設定した後、車両が移動し、目標駐車区画がセンサ検出範囲からはずれてしまった場合の目標駐車区画追従処理例について説明する図である。 目標駐車区画管理部が実行する目標駐車区画追従処理の具体例について説明する図である。 目標駐車区画管理部が実行する目標駐車区画追従処理の具体例について説明する図である。 目標駐車区画管理部が実行する目標駐車区画追従処理の具体例について説明する図である。 目標駐車区画管理部が実行する目標駐車区画追従処理の具体例について説明する図である。 目標駐車区画管理部が実行する目標駐車区画追従処理の具体例について説明する図である。 目標駐車区画管理部が実行する目標駐車区画追従処理の具体例について説明する図である。 目標駐車区画管理部が実行する目標駐車区画追従処理の具体例について説明する図である。 目標駐車区画管理部が実行する目標駐車区画追従処理の具体例について説明する図である。 目標駐車区画管理部が実行する目標駐車区画追従処理の具体例について説明する図である。 目標駐車区画管理部が実行する目標駐車区画追従処理の具体例について説明する図である。 目標駐車区画の決定処理の具体例について説明する図である。 目標駐車区画管理部の駐車区画群特徴量解析部が生成する駐車区画群特徴量マップの具体例について説明する図である。 駐車区画単位のエントリを有する表形式の駐車区画群特徴量マップの具体例について説明する図である。 駐車区画単位のエントリを有する表形式の駐車区画群特徴量マップの具体例について説明する図である。 目標駐車区画管理部が実行する目標駐車区画追従処理の具体例について説明する図である。 目標駐車区画管理部が実行する目標駐車区画追従処理の具体例について説明する図である。 目標駐車区画管理部が実行する目標駐車区画追従処理の具体例について説明する図である。 目標駐車区画管理部が実行する目標駐車区画追従処理の具体例について説明する図である。 本開示の情報処理装置が実行する処理のシーケンスを説明するフローチャートを示す図である。 本開示の情報処理装置が実行する処理のシーケンスを説明するフローチャートを示す図である。 本開示の情報処理装置のハードウェア構成例について説明する図である。 本開示の情報処理装置を搭載した車両の構成例について説明する図である。 本開示の情報処理装置を搭載した車両のセンサの構成例について説明する図である。
 以下、図面を参照しながら本開示の情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
 1.駐車場における車両駐車処理の一般的な処理と、その問題点について
 2.本開示の情報処理装置の構成と、実行する処理の詳細について
 3.目標駐車区画管理部が実行する目標駐車区画追従処理の具体例について
 3-1(実施例1)車両のセンサ検出情報に基づいて目標駐車区画を設定した後、車両が移動し、目標駐車区画がセンサ検出範囲からはずれてしまった場合の目標駐車区画追従処理例について
 3-2(実施例2)目標駐車区画の設定地点における駐車区画群観察方向と異なる方向から駐車区画群を観察した場合の目標駐車区画追従処理例について
 3-3(実施例3)特徴量が記録されていない駐車区画を目標駐車区画として設定した場合の実施例について
 4.本開示の情報処理装置が実行する処理のシーケンスについて
 5.本開示の情報処理装置のハードウェア構成例について
 6.車両の構成例について
 7.本開示の構成のまとめ
  [1.駐車場における車両駐車処理の一般的な処理と、その問題点について]
 まず、駐車場における車両駐車処理の一般的な処理と、その問題点について説明する。
 図1以下を参照して、車両を駐車場に駐車させる場合の一般的な走行例について説明する。
 図1は、例えば、ショッピングセンターや遊園地、観光地、その他の様々なエリアの駐車場30の一例を示している。この駐車場30は、複数の駐車区画を有し、各駐車区画に車両を駐車可能とした構成を持つ。
 従来の一般的な駐車処理は、車両10の運転者であるユーザが目視で駐車場30から駐車可能な空きスペースを探して駐車する処理が実行される場合が多い。
 この場合、ユーザは、駐車場内で車両を走行させ、周囲を目視で確認して空きスペースを探すことになる。
 このような駐車可能スペースの確認処理は時間を要し、また、狭い駐車場内で走行を行うと他の車両や人との接触事故が起こりやすいという問題がある。
 このような問題を解決する手法の一つとして、車両10に装着されたカメラ等のセンサ20の検出情報を用いて駐車区画を検出する方法がある。
 例えば、近年、開発が進んでいる自動運転車両は、車両に装着されたカメラ等のセンサ検出情報を用いて駐車区画を検出して空いている駐車区画に自動駐車する処理を行う。
 自動運転車両に限らず、手動運転車両においても車両のカメラが撮影した駐車場の撮影画像を解析して駐車場内の駐車区画を判別して車両の表示部に表示し、運転者に駐車区画情報を提示するといった処理が可能である。
 図1に示す車両10は、カメラ等のセンサ20を装着している。センサ20は、例えば車両10の前方の画像を撮影するカメラや距離センサなどによって構成される。
 しかし、駐車場の多くは、同一形状の駐車区画を多数、隣接して配置した構成が多い。
 従って、例えば、ユーザ(運転者)が表示部に表示された駐車区画から1つの駐車区画を選択した場合でも、その後、選択した駐車区画がどの区画であったかを判別不可能になる場合が少なくない。
 ユーザ(運転者)が表示部に表示された駐車区画から1つの駐車区画を選択してマーカーを設定したとしても、例えば、駐車処理に伴う走行過程でマーカー設定済みの目標の駐車区画の画像が撮影範囲からはずれると、その後、再度、カメラが目標駐車区画の画像を取得しても、どの駐車区画がマーカー設定済みの区画であるかを判別するのが困難になることがある。
 これは、カメラ撮影画像の解析により駐車区画の追従処理を行う自動運転車両においても同様であり、自動運転制御部が1つの駐車区画を駐車目標として選択した場合でも、その後、カメラ撮影画像から目標駐車区画の画像が消えてしまうと、再度、目標駐車区画の画像が撮影範囲に入った場合でも、前に選択した目標駐車区画がどの区画であるかを判別することが困難になる。
 例えば図1に示す例において、車両10は、カメラ等のセンサ20により、駐車場30の画像を撮影して、車両10内部の情報処理装置で画像解析を行い、画像内に含まれる白線などの情報に基づいて、駐車区画を判別する。
 しかし、駐車場の多くは、図1に示すように同一形状の駐車区画を多数、隣接して配置した構成が多い。
 従って、例えば、ユーザ(運転者)が表示部に表示された駐車区画から1つの駐車区画を選択した場合でも、その後、選択した駐車区画がどの区画であったかを判別不可能になる場合が少なくない。
 ユーザ(運転者)が表示部に表示された駐車区画から1つの駐車区画を選択してマーカーを設定したとしても、例えば、駐車処理に伴う走行過程でマーカー設定済みの目標の駐車区画の画像が撮影範囲からはずれると、その後、再度、カメラが目標駐車区画の画像を取得しても、どの駐車区画がマーカー設定済みの区画であるかを判別するのが困難になることがある。
 これは、カメラ撮影画像の解析により駐車区画の追従処理を行う自動運転車両においても同様であり、自動運転制御部が1つの駐車区画を駐車目標として選択した場合でも、その後、カメラ撮影画像から目標駐車区画の画像が消えてしまった場合は、再度、目標駐車区画の画像が撮影範囲に入った場合でも、前に選択した目標駐車区画がどの区画であるかを判別することが困難になる。
 具体例について、図2以下を参照して説明する。
 図2は、図1に示す駐車場30にある15個の駐車区画(Pa1~Pa5,Pb1~Pb5,Pcq~Pc5)を示している。例えばこれらの駐車区画情報が自動運転制御部に出力され、自動運転制御部が駐車区画(Pa1~Pa5,Pb1~Pb5,Pcq~Pc5)を参照して駐車位置を決定して自動駐車を行うことが可能となる。
 また、自動運転車両でない車両の場合は、検出された駐車区画(Pa1~Pa5,Pb1~Pb5,Pcq~Pc5)の区画情報が表示部に表示され、ユーザ(運転者)が表示部に表示された情報を参照して目標駐車位置を決定し、目標駐車位置に対する駐車処理を行う。
 例えば、自動運転制御部、またはユーザ(運転者)が、図3に示すように、駐車区画Pa2を目標駐車位置に決定したとする。
 しかし、その後、ユーザ(運転者)の気が変わり、一旦、駐車場を回って他の駐車区画を見回す処理を行ったとする。すなわち、図4に示すように、駐車場を周回する処理を行ったとする。
 例えば図4に示すような周回処理を繰り返し行うと、自動運転制御部もユーザ(運転者)も、先に設定した目標駐車位置(Pa2)を見失い、目標駐車位置として設定したはずの区画を識別できなくなる。
 これは、車両10が図4に示す地点aにいる場合に、センサ(カメラ)20によって撮影される画像と、車両10が図4に示す地点bにいる場合に、センサ(カメラ)20によって撮影される画像とがほぼ同一の駐車区画の配列画像となるためである。
 車両10が図4に示す地点aにいる場合に、センサ(カメラ)20によって撮影される画像には、車両10の左側に5つの駐車区画(Pa1~Pa5)があり、車両10の右側にも5つの駐車区画(Pb1~Pb5)が並んでいる。
 また、車両10が図4に示す地点bにいる場合に、センサ(カメラ)20によって撮影される画像には、車両10の左側に5つの駐車区画(Pc1~Pc5)があり、車両10の右側にも5つの駐車区画(Pb1~Pb5)が並んでいる。
 このように、車両10が図4に示す地点aにいる場合に、センサ(カメラ)20によって撮影される画像と、車両10が図4に示す地点bにいる場合に、センサ(カメラ)20によって撮影される画像とは、ほぼ同一の駐車区画の配列画像となる。
 先に設定した駐車区画は、車両10が地点aにあるときに設定した駐車区画Pa2であるが、この地点aの車両10と駐車区画Pa2との位置関係は、車両10が地点bにある場合の駐車区画Pc4との位置関係と同一となる。
 このような状況で撮影画像から駐車位置の判定を行うと、自動運転制御部もユーザ(運転者)も、先に設定した駐車区画が駐車区画Pc4であると誤判定する可能性がある。
 このような状況は、同じ形状の駐車区画が多数、配列された大きな駐車場ではよくある事象である。
 本開示は、このような問題を解決するものであり、駐車目標位置として選択した駐車区画が、カメラの撮影範囲からはずれた場合でも、その駐車区画が再度カメラの撮影範囲に入った場合に、即座にその駐車目標区画を識別することを可能としたものである。
 以下、本開示の装置、処理の詳細について説明する。
  [2.本開示の情報処理装置の構成と、実行する処理の詳細について]
 次に、本開示の情報処理装置の構成と、実行する処理の詳細について説明する。
 図5は、本開示の情報処理装置の一構成例を示す図である。
 なお、以下に説明する実施例では、本開示の情報処理装置が自動運転車両に装着された場合の例について説明する。
 なお、本開示の情報処理装置は、自動運転車両内に限らず、その他の一般的な車両に装着することも可能である。
 図5は、本開示の情報処理装置120を有する車両(自動運転車両)10の構成を示すブロック図である。
 車両10は、カメラ等のセンサ20、本開示の情報処理装置120、駆動部(自動運転実行部)140、表示部150、入力部160を有する。
 情報処理装置120は、駐車区画解析部121、自動運転制御部122、表示制御部123を有する。
 さらに、駐車区画解析部121は、駐車区画検出部131、目標駐車区画管理部132、および記憶部135を有する。
 目標駐車区画管理部132は駐車区画群特徴量解析部138を備えている。
 車両(自動運転車両)10に備えられたセンサ20は、例えばカメラ、LiDAR(Light Detection and Ranging)、ToF(Time of Flight)センサ等のセンサである。
 なお、LiDAR(Light Detection and Ranging)やToFセンサは、例えばレーザ光等の光を出力してオブジェクトによる反射光を解析して、周囲のオブジェクトの距離を計測するセンサである。
 センサ20の検出情報、例えばカメラの撮影画像は、情報処理装置120の駐車区画解析部121内の駐車区画検出部131に入力される。
 駐車区画検出部131は、センサ20の検出情報、例えばカメラの撮影画像に基づいて駐車区画の検出処理を実行する。
 図6以下を参照して、駐車区画検出部131が実行する駐車区画検出処理の具体例について説明する。
 図6には、以下の各図を示している。
 (a)センサ出力撮影画像
 (b)俯瞰変換画像
 車両(自動運転車両)10に装着されたカメラ等のセンサ20は、駐車場の画像を上方からではなく駐車場入り口から斜め前方方向の駐車場の画像を撮影する。
 すなわち、駐車区画検出部131は、図6(a)に示すようなセンサ出力撮影画像を入力する。
 駐車区画検出部131は、まず、図6(a)に示すような撮影画像を、図6(b)に示すような駐車場を上空から観察した俯瞰画像に変換して、変換後の俯瞰画像を用いて駐車区画を示す白線等を示す特徴点を抽出して、抽出した特徴点に基づいて駐車区画を判別する。
 駐車区画検出部131による特徴点抽出処理例を図7に示す。
 図7には以下の各図を示している。
 (1)センサ20の撮影画像(俯瞰変換画像)
 (2)駐車区画検出部131が撮影画像(俯瞰変換画像)から抽出した特徴点データ
 図7(2)の特徴点抽出データ内に示す白丸が特徴点である。
 なお、図7(2)には特徴点抽出例を簡略化して示している。特徴点抽出処理は画素単位で実行され、実際には図7(2)に示す特徴点数よりはるかに多い多数の特徴点が抽出される。
 特徴点は、例えば画像内のエッジ部分など輝度変化の大きな画素などから抽出される。具体的には、例えば駐車区画を示す白線の輪郭部分や、車両の輪郭部分、木などの植物の輪郭部分などの画素領域から特徴点が抽出される。
 次に、駐車区画検出部131は、図7(2)に示す特徴点を解析し、駐車区画を示す領域を検出する。
 特徴点解析に基づく駐車区画検出処理例を図8に示す。
 図8には、以下の各図を示している。
 (2)駐車区画検出部131が撮影画像(俯瞰変換画像)から抽出した特徴点データ
 (3)特徴点に基づく駐車区画検出例
 図8(2)のデータは、図7(2)のデータと同一のデータである。
 駐車区画検出部131は、図8(2)に示す特徴点を解析し、駐車区画を検出する。
 駐車区画検出部131は、例えば駐車区画を規定すると推定される白線に相当する特徴点を選択して、選択した特徴点によって規定される矩形形状を抽出して、駐車区画の推定処理を行う。図8(3)に示す例は5つの駐車区画(Pa1~Pa5)を検出した例である。
 このように、駐車区画解析部121の駐車区画検出部131は、カメラ等のセンサ20からセンサ検出情報、例えばカメラ撮影画像を入力し、画像の俯瞰変換を実行し、変換後の俯瞰画像から特徴点を抽出して、抽出した特徴点に基づいて駐車区画を検出する。
 なお、図6~図8を参照して、駐車区画の検出処理の一例について説明したが、これは一例であり、駐車区画情報はその他の方法を用いて取得してもよい。
 例えば外部装置、具体的には地図情報提供サーバや駐車場管理サーバ等から駐車場の区画情報を入力してもよい。
 駐車区画解析部121の駐車区画検出部131が検出した駐車区画情報、あるいは外部から取得した駐車区画情報は記憶部135に格納され、さらに駐車区画解析部121の目標駐車区画管理部132に入力される。
 目標駐車区画管理部132は、まず駐車区画検出部131が検出した駐車区画情報を自動運転制御部122、または表示制御部123の少なくともいずれかに出力する。
 なお、自動運転制御部122は、駆動部(自動運転実行部)140を駆動して自動運転制御を実行する。自動運転制御部122は、例えば目標駐車区画に対する自動駐車処理などを行う。
 目標駐車区画管理部132は、駐車場の駐車区画が識別可能なデータを自動運転制御部122、または表示制御部123の少なくともいずれかに出力する。
 例えば、駐車区画検出部131がセンサ20の検出情報(カメラ撮影画像)に基づいて生成した図9に示すような駐車場30の俯瞰画像を自動運転制御部122、または表示制御部123の少なくともいずれかに出力する。
 表示制御部123は、図9に示す駐車場30の俯瞰画像を表示部150に表示する。
 自動運転制御部122、または表示部150に表示された駐車場の画像を見たユーザ(運転者)は、駐車場30の駐車区画から1つの目標駐車区画を決定し、決定した目標駐車区画指示データを目標駐車区画管理部132に出力する。
 例えば、自動運転制御部122、または表示部150に表示された駐車場の画像を見たユーザ(運転者)は、目標とする駐車区画を決定し、決定した目標駐車区画を示す指示データを目標駐車区画管理部132に出力する。
 例えば、図10に示すように駐車区画群パートAの1つの駐車区画Pa1を目標駐車区画として指示した目標駐車区画指示データを目標駐車区画管理部132に出力する。
 なお、以下では、駐車場30にある複数の駐車区画(Pa1~Pa5,Pb1~Pb5,Pc1~Pc5)を3つの駐車区画群パート、すなわち、駐車区画群パートA(Pa1~Pa5)、駐車区画群パートB(Pb1~Pb5)、駐車区画群パートC(Pc1~Pc5)に区分して説明する。
 目標駐車区画管理部132は、自動運転制御部122、またはユーザ(運転者)から入力した目標駐車区画指示データに基づいて、目標駐車区画が図10に示す駐車区画群パートAの駐車区画Pa1であることを確認し、確認された駐車区画群パートAの駐車区画Pa1が目標駐車区画であることを示す識別子(目標駐車区画識別子)を駐車区画群特徴量マップに記録して記憶部135に格納する。
 駐車区画群特徴量マップは、駐車場内の複数の駐車区画によって構成される駐車区画群を構成する駐車区画各々の特徴量を登録したマップである。
 目標駐車区画管理部132内の駐車区画群特徴量解析部138は、センサ20の検出情報(撮影画像)を解析して、駐車区画検出部131が検出した駐車区画単位の検出オブジェクトを駐車区画単位の特徴量として記録した駐車区画群特徴量マップを生成して記憶部135に格納する。
 なお、駐車区画群とは、複数の駐車区画によって構成される駐車区画の集合である。
 例えば、図10に示す駐車場には、15個の駐車区画(Pa1~Pa5,Pb1~Pb5,Pc1~Pc5)が存在する。
 これら30個の駐車区画全体が1つの駐車区画群である。
 また、図に示す駐車区画群パートAを構成する5個の駐車区画(Pa1~Pa5)も1つの駐車区画群である。
 同様に駐車区画群パートBを構成する5個の駐車区画(Pb1~Pb5)も1つの駐車区画群である。
 また、図に示す駐車区画群パートCを構成する5個の駐車区画(Pc1~Pc5)も1つの駐車区画群である。
 目標駐車区画管理部132内の駐車区画群特徴量解析部138は、センサ20の検出情報(撮影画像)を解析して、駐車区画群内の複数の駐車区画各々の検出オブジェクトを駐車区画単位の特徴量として記録した駐車区画群特徴量マップを生成して記憶部135に格納する。
 図11を参照して、目標駐車区画管理部132の駐車区画群特徴量解析部138が生成する駐車区画群特徴量マップの具体例について説明する。
 図11の左側の(1)に示す図は、センサ20を装着した車両10が駐車場に侵入する際にセンサ20によって取得されるセンサ検出情報、具体的にはカメラ撮影画像を俯瞰変換した俯瞰変換画像である。
 目標駐車区画管理部132の駐車区画群特徴量解析部138は、このセンサ検出情報、例えばカメラ撮影画像の俯瞰変換画像を用いて、カメラ撮影画像内の駐車区画群を構成する駐車区画各々の特徴量(検出オブジェクト)を抽出する。
 さらに、抽出した駐車区画各々の特徴量(検出オブジェクト)を記録した駐車区画群特徴量マップを生成して記憶部135に格納する。
 図11の右側の(2)に示すデータが、駐車区画群特徴量解析部138が生成し、記憶部135に格納する駐車区画群特徴量マップの一例である。
 図11(2)に示す駐車区画群特徴量マップは、センサ検出情報であるカメラ撮影画像の俯瞰変換画像の画像データによって構成される。あるいはこの俯瞰変換画像データのデータ量を削減した簡略化画像データとしてもよい。
 基本的には各駐車区画単位の特徴量(検出オブジェクト)が判別可能なマップデータであればよい。
 なお、各駐車区画単位の特徴量(検出オブジェクト)には各駐車区画内の検出オブジェクトのみならず、駐車区画近傍の検出オブジェクトも含まれる。
 また、図11(2)に示すように、駐車区画群特徴量マップには、目標駐車区画識別子170が記録される。
 この目標駐車区画は、目標駐車区画管理部132が自動運転制御部122、またはユーザ(運転者)から入力した目標駐車区画指示データに基づいて記録される。
 図11(2)に示す駐車区画群特徴量マップの例は一例であり、記憶部135に格納する駐車区画群特徴量マップは、このような画像データではなく、駐車区画単位のエントリを有する表形式のデータとしてもよい。
 例えば、駐車区画単位の特徴量である検出オブジェクトを、駐車区画単位のエントリを有する表にテキストデータや画像データで記録する構成としてもよい。
 図12を参照して駐車区画単位のエントリを有する表に駐車区画単位の特徴量である検出オブジェクトをテキスト等によって記録した駐車区画群特徴量マップの例について説明する。
 図12に示す例は、図10に示す駐車場30内の3つの駐車区画群パートA~C中の駐車区画群パートA、すなわち目標駐車区画Pa1が属する駐車区画群パートAの特徴量解析処理によって生成される駐車区画群特徴量マップの例である。
 駐車区画群パートAは、5つの駐車区画、すなわち駐車区画Pa1~Pa5によって構成される。これらの駐車区画Pa1~Pa5は、駐車区画検出部131が検出した駐車区画である。なお、目標駐車区画は駐車区画Pa1である。
 駐車区画群特徴量解析部138は、駐車区画群パートAを構成する5つの駐車区画Pa1~Pa5の特徴量の検出処理を実行する。
 駐車区画群特徴量解析部138は、センサ(カメラ)20の撮影画像や、この撮影画像に基づいて生成された俯瞰画像を用いて特徴量検出処理を実行する。
 図12(1)に示す画像がセンサ(カメラ)20の撮影画像に基づいて生成された俯瞰画像である。駐車区画群パートAを構成する5つの駐車区画Pa1~Pa5を示す俯瞰画像である。
 駐車区画群特徴量解析部138は、駐車区画群パートAを構成する5つの駐車区画Pa1~Pa5各々の特徴量として、駐車区画Pa1~Pa5各々に含まれる被写体の解析処理を実行する。
 図12(2)に示すデータが、駐車区画群特徴量解析部138による駐車区画群パートAを構成する5つの駐車区画Pa1~Pa5の特徴量の検出処理の結果として生成する駐車区画群パートAの特徴量マップである。
 駐車区画群パートAの特徴量マップには、以下の各データが記録される。
 (a)駐車区画群パートAを構成する駐車区画の識別子(Pa1~Pa5)
 (b)目標駐車区画識別子(〇)
 (c)駐車区画群パートAを構成する駐車区画(Pa1~Pa5)各々の特徴量(検出オブジェクト情報)
 なお、(b)目標駐車区画識別子(〇)は、目標駐車区画管理部132が自動運転制御部122、またはユーザ(運転者)から入力した目標駐車区画指示データに基づいて記録される。
 図12(2)駐車区画群パートAの特徴量マップに示すように、特徴量マップには、駐車区画群パートAを構成する駐車区画各々の特徴量(検出オブジェクト情報)が記録される。
 具体的には、以下のようなデータが各駐車区画に対応付けて記録される。
 駐車区画Pa1の特徴量=特徴量1(樹木)、特徴量2(色=緑)
 駐車区画Pa2の特徴量=なし
 駐車区画Pa3の特徴量=特徴量1(大型車両)、特徴量2(色=黄色)
 駐車区画Pa4の特徴量=特徴量1(数字)、特徴量2(07)
 駐車区画Pa5の特徴量=特徴量1(乗用車)、特徴量2(植木)、特徴量3(乗用車の色=白)、特徴量4(樹木の色=緑)
 なお、駐車区画Pa1の特徴量=特徴量1(樹木)、特徴量2(色=緑)
 この特徴量データは、駐車区画Pa1内、または近くに緑色の樹木があることを示している。
 駐車区画Pa2の特徴量=なし
 この特徴量データは、駐車区画Pa1内、または近くに特徴を示す被写体が無いことを意味する。
 駐車区画Pa3の特徴量=特徴量1(大型車両)、特徴量2(色=黄色)
 この特徴量データは、駐車区画Pa3内に黄色の大型車両があることを示している。
 駐車区画Pa4の特徴量=特徴量1(数字)、特徴量2(07)
 この特徴量データは、駐車区画Pa4内、または近くに数字(07)が記録されていることを示している。
 駐車区画Pa5の特徴量=特徴量1(乗用車)、特徴量2(植木)、特徴量3(乗用車の色=白)、特徴量4(樹木の色=緑)
 この特徴量データは、駐車区画P51内、または近くに白色の乗用車と、緑色の植木があることを示している。
 なお、各駐車区画対応の特徴量(検出オブジェクト)として記録する特徴量は、各駐車区画内の検出オブジェクトのみならず、駐車区画近傍の検出オブジェクトも記録してよい。
 例えば図12に示す駐車区画Pa1の特徴量(検出オブジェクト)として記録している樹木や、駐車区画Pa5の特徴量(検出オブジェクト)として記録している植木は各駐車区画内の検出オブジェクトではなく、各駐車区画近傍の検出オブジェクトである。
 駐車区画群特徴量解析部138は、例えば、このように駐車区画群を構成する駐車区画単位の特徴量(検出オブジェクト)を解析して、駐車区画単位のエントリを有する表に解析した特徴量(検出オブジェクト)をテキストデータとして記録した特徴量マップを生成して記憶部(駐車区画群特徴量マップ格納部)135に格納する。
 さらに、駐車区画群を構成する駐車区画単位の特徴量(検出オブジェクト)を駐車区画単位のエントリを有する表にテキストデータではなく、画像データやアイコン(抽象化画像データ)を記録してもよい。
 図13に駐車区画群を構成する駐車区画単位の特徴量(検出オブジェクト)を画像データやアイコンを利用して記録した駐車区画群特徴量マップの例を示す。
 図13(1)は、先に説明した図12(1)の画像と同様の画像であり、センサ(カメラ)20の撮影画像に基づいて生成された俯瞰画像である。駐車区画群パートAを構成する5つの駐車区画Pa1~Pa5を示す俯瞰画像である。
 駐車区画群特徴量解析部138は、駐車区画群パートAを構成する5つの駐車区画Pa1~Pa5各々の特徴量として、駐車区画Pa1~Pa5各々に含まれる特徴量(検出オブジェクト)の解析処理を実行して、図13(2)に示す駐車区画群特徴量マップを生成する。
 図13(2)に示す駐車区画群特徴量マップは、駐車区画群を構成する駐車区画単位の特徴量(検出オブジェクト)を画像データやアイコンとして記録した特徴量マップの例である。
 駐車区画群特徴量解析部138は、目標駐車区画を含む駐車区画群パートAを構成する5つの駐車区画Pa1~Pa5の特徴量の検出処理の結果として、図13(2)に示すような駐車区画単位の特徴量(検出オブジェクト)を画像データやアイコンとして記録した特徴量マップを生成する。
 図13(2)に示す駐車区画群パートAの特徴量マップは、駐車区画群パートAを構成する駐車区画各々の特徴量を画像データやアイコンとして記録したマップである。
 具体的には、以下のような画像データ、またはアイコンが各駐車区画に対応付けて記録される。
 駐車区画Pa1の特徴量=特徴量1(樹木の画像))
 駐車区画Pa2の特徴量=なし
 駐車区画Pa3の特徴量=特徴量1(大型車両の画像)
 駐車区画Pa4の特徴量=特徴量1(数字07の画像)
 駐車区画Pa5の特徴量=特徴量1(乗用車の画像)、特徴量2(植木の画像)
 駐車区画群特徴量解析部138は、例えば、このように1つの駐車区画群を構成する駐車区画単位の特徴量(検出オブジェクト)を示す画像データ、またはアイコンを取得または生成して駐車区画単位の特徴量として記録した特徴量マップを生成する処理を実行してもよい。
 このように、目標駐車区画管理部132の駐車区画群特徴量解析部138は、駐車区画群を構成する駐車区画単位の特徴量を記録した駐車区画群特徴量マップを生成して記憶部(駐車区画群特徴量マップ格納部)135に格納する。
 駐車区画群特徴量マップに記録する特徴量は、上述したように撮影画像や俯瞰画像から取得した画像データを利用してもよいし、オブジェクト種類や色を反映させた新たな画像データやアイコン(抽象化画像データ)を生成して記録する構成としてもよい。
 なお、駐車区画群特徴量マップに記録する特徴量は、テキストデータや画像データ、アイコンに限らず、その他、オブジェクト種類が判別可能なデータ形式であれば様々なデータ記録形式が利用可能である。
 例えば予め規定したオブジェクト種類に応じたオブジェクト識別子などを利用してもよい。
 記憶部135に格納される駐車区画単位のエントリを有する表形式の駐車区画群特徴量マップの例を図14、図15に示す。
 図14は、図10に示す駐車場30の駐車区画群パートA,Bについて、駐車区画群パートA,Bに含まれる駐車区画(Pa1~Pa5,Pb1~Pb5)単位のエントリを有する表を設定し、各エントリに駐車区画単位の特徴量(検出オブジェクト情報)をテキストデータとして記録した特徴量マップの一例である。
 図15は、図10に示す駐車場30の駐車区画群パートA,Bについて、駐車区画群パートA,Bに含まれる駐車区画(Pa1~Pa5,Pb1~Pb5)単位のエントリを有する表を設定し、各エントリに駐車区画単位の特徴量(検出オブジェクト情報)を画像データ、またはアイコンとして記録した特徴量マップの一例である。
 記憶部(駐車区画群特徴量マップ格納部)135に記録された駐車区画群単位の特徴量は、駐車区画解析部121の目標駐車区画管理部132において利用される。
 前述したように、目標駐車区画管理部132は、まず駐車区画検出部131が検出した駐車区画情報を自動運転制御部122、または表示制御部123の少なくともいずれかに出力する。
 自動運転制御部122、または表示部150に表示された駐車場の画像を見たユーザ(運転者)は、駐車場30の駐車区画から1つの目標駐車区画を決定し、決定した目標駐車区画指示データを目標駐車区画管理部132に出力する。
 目標駐車区画管理部132は、自動運転制御部122、またはユーザ(運転者)から入力した目標駐車区画指示データに基づいて、駐車区画群特徴量解析部138が生成する駐車区画群特徴量マップに目標駐車区画識別子を記録して記憶部135に格納する。
 目標駐車区画管理部132は、その後、車両10が走行し、目標駐車区画がセンサ20の検出範囲(撮影画像)から消えた場合でも、その後、車両10の走行に伴い、車両10のセンサ20の検出範囲(撮影画像)に入る様々な駐車区画群が、目標駐車区画を有する駐車区画群であるか否かを確実に識別する。
 さらに、再度、目標駐車区画を有する駐車区画群がセンサ20の検出範囲(撮影画像)に入った場合には、その駐車区画群が目標駐車区画を有する駐車区画群であること識別し、その駐車区画群から先に決定した目標駐車区画を識別する。
 以下、目標駐車区画管理部が実行する目標駐車区画追従処理の具体例について説明する。
  [3.目標駐車区画管理部が実行する目標駐車区画追従処理の具体例について]
 以下、目標駐車区画管理部132が実行する目標駐車区画追従処理の具体例について説明する。
 なお、以下では、目標駐車区画管理部132が実行する目標駐車区画追従処理の具体例として、以下の複数の実施例について、順次、説明する。
 (実施例1)車両のセンサ検出情報に基づいて目標駐車区画を設定した後、車両が移動し、目標駐車区画がセンサ検出範囲からはずれてしまった場合の目標駐車区画追従処理例
 (実施例2)目標駐車区画の設定地点における駐車区画群観察方向と異なる方向から駐車区画群を観察した場合の目標駐車区画追従処理例について
 (実施例3)特徴量が記録されていない駐車区画を目標駐車区画として設定した場合の実施例について
  [3-1(実施例1)車両のセンサ検出情報に基づいて目標駐車区画を設定した後、車両が移動し、目標駐車区画がセンサ検出範囲からはずれてしまった場合の目標駐車区画追従処理例について]
 まず、目標駐車区画管理部132が実行する目標駐車区画追従処理の実施例1として、車両のセンサ検出情報に基づいて目標駐車区画を設定した後、車両が移動し、目標駐車区画がセンサ検出範囲からはずれてしまった場合の目標駐車区画追従処理例について図16以下を参照して説明する。
 前述したように、目標駐車区画管理部132は、まず駐車区画検出部131が検出した駐車区画情報を自動運転制御部122、または表示制御部123の少なくともいずれかに出力する。
 自動運転制御部122、または表示部150に表示された駐車場の画像を見たユーザ(運転者)は、駐車場30の駐車区画から1つの目標駐車区画を決定し、決定した目標駐車区画指示データを目標駐車区画管理部132に出力する。
 例えば、図16に示すように、車両10が駐車場の入り口地点である地点P1にあるときに、駐車区画群パートAの1つの駐車区画Pa1が目標駐車区画として指示され、記憶部135に目標駐車区画識別子が記録された駐車区画群特徴量マップが記録されたとする。
 具体的には、例えば、先に図11(2)を参照して説明した画像形式の駐車区画群特徴量マップ、あるいは図14、図15を参照して説明した表形式の駐車区画群特徴量マップが記憶部135に格納済みであるとする。
 この処理の後、車両10は、目標駐車区画(Pa1)に向けて走行する。しかし、例えば、この走行処理の開始後、ユーザ(運転者)の気が変わり、図17に示すように、駐車場30全体を一度、見回すため、駐車場30を一周しようとしたとする。
 車両10がこのような走行処理を行うと、例えば図17に示す地点P2では車両10のセンサ20(カメラ)の検出範囲(撮影範囲)から目標駐車区画Pa1が外れてしまう。
 この結果、自動運転制御部122もユーザ(運転者)もセンサ20(カメラ)の撮影画像に基づいて目標駐車区画Pa1を追従することができなくなる。
 このような場合、従来構成では、自動運転制御部122による目標駐車区画の追従が不可能となり、目標駐車区画に自動駐車することができなくなる。ユーザ(運転者)も表示部150に表示される駐車区画群の画像から、目標駐車区画を検出することができなくなる。
 目標駐車区画管理部132は、このような事態を発生させることなく、一度、決定した目標駐車区画を見失うことなく確実な目標駐車区画の追従処理を実行する。
 目標駐車区画管理部132は、駐車区画検出部131から駐車区画検出部131が検出した駐車区画情報や、センサ20の検出情報であるカメラ撮影画像、あるいはその俯瞰変換画像を入力し、さらに、記憶部135に格納された駐車区画群特徴量マップを利用して、目標駐車区画の特定処理や追従処理を実行する。
 車両10が、駐車場30を走行して、図17に示す地点P2に到着した場合、車両10に装着されたセンサ20の検出情報として得られる撮影画像は、車両前方の両サイドに5つの駐車区画からなる駐車区画群を含む画像となる。
 車両10が、図17に示す地点P1にある時も、センサ20の検出情報として得られる撮影画像は、車両前方の両サイドに5つの駐車区画からなる駐車区画群を含む画像であり、地点P1、地点P2いずれにおいても類似するセンサ検出情報(撮影画像)が得られることになる。
 このような場合、自動運転制御部122や、ユーザ(運転者)は、地点P2から見える駐車区画群が目標駐車区画を設定した駐車区画群であるか否かを確実に判断できなくなる場合がある。
 目標駐車区画管理部132は、地点P2において車両10の左前方と右前方各々に観察される駐車区画群について、目標駐車区画を設定した駐車区画群であるか否かを記憶部135に格納した駐車区画群特徴量マップを参照して判断する。
 図18を参照して、目標駐車区画管理部132が実行する処理の具体例について説明する。
 図18には以下の3つの図を示している。
 (A)車両10の位置=地点P2
 (S)センサ検出情報(センサによる撮影画像の俯瞰変換画像)
 (M)記憶部135に格納された駐車区画群特徴量マップ(目標駐車区画識別子を含むマップ)
 車両10の目標駐車区画管理部132は、図18(A)に示す地点P2において、センサ20の検出情報、すなわちカメラ撮影画像の俯瞰変換画像を入力する。
 なお、俯瞰変換画像は、駐車区画検出部131によって生成され、目標駐車区画管理部132に入力される。
 目標駐車区画管理部132が入力する俯瞰変換画像は、図18(S)に示すような画像である。すなわち、地点P2の前方方向の駐車区画を情報から観察した画像となる。
 目標駐車区画管理部132は、この(S)センサ検出画像と、図18(M)に示すマップ、すなわち、記憶部135に格納された駐車区画群特徴量マップ(目標駐車区画識別子を含むマップ)とを比較する。
 具体的には、各駐車区画の特徴量(検出オブジェクト)の配列を比較する。
 (S)センサ検出画像の右側の5つの駐車区画には、上側(車両10から遠い側)の駐車区画から下側(車両10に近い側)の駐車区画まで5つの駐車区画(SR1~SR5)以下の特徴量(オブジェクト)が検出される。
 (SR1)植木(緑)
 (SR2)なし
 (SR3)駐車禁止マーク(白)
 (SR4)乗用車(白)
 (SR5)植木(緑)
 また、(S)センサ検出画像の左側の5つの駐車区画には、上側(車両10から遠い側)の駐車区画から下側(車両10に近い側)の駐車区画まで5つの駐車区画(SL1~SL5)以下の特徴量(オブジェクト)が検出される。
 (SL1)植木(緑)、ブロック
 (SL2)ブロック
 (SL3)乗用車(青)、ブロック
 (SL4)ブロック
 (SL5)三角コーン(赤)、ブロック
 これに対して、図18(M)に示すマップ、すなわち、記憶部135に格納された駐車区画群特徴量マップ(目標駐車区画識別子を含む駐車区画群特徴量マップ)の右側の5つの駐車区画には、上側の駐車区画から下側の駐車区画まで5つの駐車区画(MR1~MR5)以下の特徴量(オブジェクト)が登録されている。
 (MR1)植木(緑)
 (MR2)乗用車(白)
 (MR3)駐車禁止マーク(白)
 (MR4)なし
 (MR5)植木(緑)
 また、図18(M)に示すマップ、すなわち、記憶部135に格納された駐車区画群特徴量マップ(目標駐車区画識別子を含む駐車区画群特徴量マップ)の左側の5つの駐車区画には、上側の駐車区画から下側の駐車区画まで5つの駐車区画(ML1~ML5)以下の特徴量(オブジェクト)が登録されている。
 (ML1)樹木(緑)(+目標駐車区画識別子)
 (ML2)なし
 (ML3)大型車両(黄色)
 (ML4)数字(07)
 (ML5)乗用車(白)、植木(緑)
 上記のように、記憶部135に格納された駐車区画群特徴量マップ(目標駐車区画識別子を含むマップ)の左側の5つの駐車区画には、目標駐車区画識別子170が記録されている。
 目標駐車区画管理部132は、(S)センサ検出情報から検出される左右各々の5個の駐車区画(SR1~SR5と、SL1~SL5)の特徴量(検出オブジェクト)配列と、記憶部135に格納された駐車区画群特徴量マップ内の目標駐車区画識別子170が記録された5つの駐車区画の特徴量配列との照合処理を行う。
 駐車区画群特徴量マップ内の目標駐車区画識別子170が記録された5つの駐車区画の特徴量配列は、
 (ML1)樹木(緑)(+目標駐車区画識別子)
 (ML2)なし
 (ML3)大型車両(黄色)
 (ML4)数字(07)
 (ML5)乗用車(白)、植木(緑)
 この配列であり、この特徴量配列は、上記の(S)センサ検出情報から検出される左右各々の駐車区画群、すなわち5個の駐車区画(SR1~SR5と、SL1~SL5)を持つ駐車区画群の特徴量(検出オブジェクト)配列のいずれとも一致しない。
 目標駐車区画管理部132は、この特徴量の比較照合処理の結果、(S)センサ検出情報から検出される左右各々の駐車区画群、すなわち5個の駐車区画(SR1~SR5と、SL1~SL5)を持つ駐車区画群は、駐車区画群特徴量マップ内の目標駐車区画識別子170が記録された5つの駐車区画(ML1~ML5)を持つ駐車区画群とは異なる駐車区画群であると判定する。
 すなわち、車両10が地点P2にある時に車両の前方左右各方向に観察される駐車区画群は、記憶部135に記録された駐車区画群特徴量マップ内の目標駐車区画を持つ駐車区画群とは異なる駐車区画群であると判定する。
 図19は、記憶部135に格納する駐車区画群特徴量マップを、先に図12を参照して説明したと同様の表形式のマップとした場合の処理例である。すなわち特徴量を識別可能な画像データとして記録したマップを利用した場合の処理例を説明する図である。
 前述したように、記憶部135に格納する駐車区画群特徴量マップは、先に図12、図13を参照して説明したように、駐車区画単位のエントリを有する表形式のデータとしてもよい。
 図19、図20を参照して、駐車区画単位のエントリを有する表形式の駐車区画群特徴量マップを利用した処理例について説明する。
 図19には、以下の3つの図を示している。
 (A)車両10の位置=地点P2
 (S)車両前方右側の駐車区画群のセンサ検出情報(センサによる撮影画像の俯瞰変換画像に基づいて生成した駐車区画単位特徴量(検出オブジェクト)表データ)
 (M)記憶部135に格納された駐車区画群特徴量マップ(目標駐車区画識別子を含む駐車区画単位のエントリを有する表形式の駐車区画群特徴量マップ)
 図19(S)に示すように、車両前方右側の5つの駐車区画には、上側(車両10から遠い側)の駐車区画から下側(車両10に近い側)の駐車区画まで5つの駐車区画(SR1~SR5)以下の特徴量(オブジェクト)が検出される。
 (SR1)植木(緑)
 (SR2)なし
 (SR3)駐車禁止マーク(白)
 (SR4)乗用車(白)
 (SR5)植木(緑)
 これに対して、図19(M)に示すマップ、すなわち、記憶部135に格納された駐車区画群特徴量マップ(目標駐車区画識別子を含む駐車区画単位のエントリを有する表形式の駐車区画群特徴量マップ)の5つの駐車区画には、上側の駐車区画から下側の駐車区画まで5つの駐車区画(Pa1~Pa5)以下の特徴量(オブジェクト)が登録されている。
 (Pa1)樹木(緑)(+目標駐車区画識別子)
 (Pa2)なし
 (Pa3)大型車両(黄色)
 (Pa4)数字(07)
 (Pa5)乗用車(白)、植木(緑)
 目標駐車区画管理部132は、まず、(S)センサ検出情報から検出される右前方の5個の駐車区画(SR1~SR5)の特徴量(検出オブジェクト)配列と、記憶部135に格納された駐車区画群特徴量マップ内の目標駐車区画識別子170が記録された5つの駐車区画(Pa1~Pa5)の特徴量配列との照合処理を行う。
 照合処理の結果、(S)センサ検出情報から検出された右前方の5個の駐車区画(SR1~SR5)の特徴量(検出オブジェクト)配列と、記憶部135に格納された駐車区画群特徴量マップ内の目標駐車区画識別子170が記録された5つの駐車区画(Pa1~Pa5)の特徴量配列は一致しない。
 目標駐車区画管理部132は、この特徴量の比較照合処理の結果、(S)センサ検出情報から検出される右前方の駐車区画群、すなわち5個の駐車区画(SR1~SR5)を持つ駐車区画群は、駐車区画群特徴量マップ内の目標駐車区画識別子170が記録された5つの駐車区画(Pa1~Pa5)を持つ駐車区画群とは異なる駐車区画群であると判定する。
 さらに、目標駐車区画管理部132は、図20に示すように、車両前方左側の駐車区画群について検証を行う。
 図20には、以下の3つの図を示している。
 (A)車両10の位置=地点P2
 (S)車両前方左側の駐車区画群のセンサ検出情報(センサによる撮影画像の俯瞰変換画像に基づいて生成した駐車区画単位特徴量(検出オブジェクト)表データ)
 (M)記憶部135に格納された駐車区画群特徴量マップ(目標駐車区画識別子を含む駐車区画単位のエントリを有する表形式の駐車区画群特徴量マップ)
 図20(S)に示すように、車両前方左側の5つの駐車区画には、上側(車両10から遠い側)の駐車区画から下側(車両10に近い側)の駐車区画まで5つの駐車区画(SL1~SL5)以下の特徴量(オブジェクト)が検出される。
 (SL1)植木(緑)、ブロック
 (SL2)ブロック
 (SL3)乗用車(青)、ブロック
 (SL4)ブロック
 (SL5)三角コーン(赤)、ブロック
 これに対して、図20(M)に示すマップ、すなわち、記憶部135に格納された駐車区画群特徴量マップ(目標駐車区画識別子を含む駐車区画単位のエントリを有する表形式の駐車区画群特徴量マップ)の5つの駐車区画には、上側の駐車区画から下側の駐車区画まで5つの駐車区画(Pa1~Pa5)以下の特徴量(オブジェクト)が登録されている。
 (Pa1)樹木(緑)(+目標駐車区画識別子)
 (Pa2)なし
 (Pa3)大型車両(黄色)
 (Pa4)数字(07)
 (Pa5)乗用車(白)、植木(緑)
 目標駐車区画管理部132は、(S)センサ検出情報から検出される左前方の5個の駐車区画(SL1~SL5)の特徴量(検出オブジェクト)配列と、記憶部135に格納された駐車区画群特徴量マップ内の目標駐車区画識別子170が記録された5つの駐車区画(Pa1~Pa5)の特徴量配列との照合処理を行う。
 照合処理の結果、(S)センサ検出情報から検出された左前方の5個の駐車区画(SL1~SL5)の特徴量(検出オブジェクト)配列と、記憶部135に格納された駐車区画群特徴量マップ内の目標駐車区画識別子170が記録された5つの駐車区画(Pa1~Pa5)の特徴量配列は一致しない。
 目標駐車区画管理部132は、この特徴量の比較照合処理の結果、(S)センサ検出情報から検出される左前方の駐車区画群、すなわち5個の駐車区画(SL1~SL5)を持つ駐車区画群は、駐車区画群特徴量マップ内の目標駐車区画識別子170が記録された5つの駐車区画(Pa1~Pa5)を持つ駐車区画群とは異なる駐車区画群であると判定する。
 目標駐車区画管理部132は、図19、図20を参照して説明した処理の結果として、車両10が地点P2にある時に車両の前方左右各方向に観察される駐車区画群は、記憶部135に記録された駐車区画群特徴量マップ内の目標駐車区画を持つ駐車区画群とは異なる駐車区画群であると判定する。
 さらに、車両10が図21に示すように駐車場30を一周して地点P2から元の地点P1に戻った場合の駐車区画群と駐車区画識別処理例について説明する。
 車両10が図21に示すように駐車場30を一周して地点P1に戻った場合、先に指定した目標駐車区画(Pa1)が車両10のセンサ20の検出範囲(画像撮影範囲)に入ってくる。
 車両10が駐車場30を一周して地点P1に戻ると、車両10の目標駐車区画管理部132は、車両10のセンサ20によって撮影される画像内の駐車区画群の識別処理と、駐車区画群内の駐車区画の識別処理を実行する。
 図22を参照して、地点P1において車両10の目標駐車区画管理部132が実行する処理について説明する。
 図22には以下の3つの図を示している。
 (A)車両10の位置=地点P1
 (S)センサ検出情報(センサによる撮影画像の俯瞰変換画像)
 (M)記憶部135に格納された駐車区画群特徴量マップ(目標駐車区画識別子を含むマップ)
 車両10の目標駐車区画管理部132は、図22(A)に示す地点P1において、センサ20の検出情報、すなわちカメラ撮影画像の俯瞰変換画像を入力する。
 なお、俯瞰変換画像は、駐車区画検出部131によって生成され、目標駐車区画管理部132に入力される。
 目標駐車区画管理部132が入力する俯瞰変換画像は、図22(S)に示すような画像である。すなわち、地点P1の前方方向の駐車区画を情報から観察した画像となる。
 目標駐車区画管理部132は、この(S)センサ検出画像と、図22(M)に示すマップ、すなわち、記憶部135に格納された駐車区画群特徴量マップ(目標駐車区画識別子を含むマップ)とを比較する。
 具体的には、各駐車区画の特徴量(検出オブジェクト)の配列を比較する。
 (S)センサ検出画像の右側の5つの駐車区画には、上側(車両10から遠い側)の駐車区画から下側(車両10に近い側)の駐車区画まで5つの駐車区画(SR1~SR5)以下の特徴量(オブジェクト)が検出される。
 (SR1)植木(緑)
 (SR2)乗用車(白)
 (SR3)駐車禁止マーク(白)
 (SR4)なし
 (SR5)植木(緑)
 また、(S)センサ検出画像の左側の5つの駐車区画には、上側(車両10から遠い側)の駐車区画から下側(車両10に近い側)の駐車区画まで5つの駐車区画(SL1~SL5)以下の特徴量(オブジェクト)が検出される。
 (SL1)樹木(緑)
 (SL2)なし
 (SL3)大型車両(黄色)
 (SL4)数字(07)
 (SL5)乗用車(白)、植木(緑)
 これに対して、図22(M)に示すマップ、すなわち、記憶部135に格納された駐車区画群特徴量マップ(目標駐車区画識別子を含むマップ)の右側の5つの駐車区画には、上側の駐車区画から下側の駐車区画まで5つの駐車区画(MR1~MR5)以下の特徴量(オブジェクト)が登録されている。
 (MR1)植木(緑)
 (MR2)乗用車(白)
 (MR3)駐車禁止マーク(白)
 (MR4)なし
 (MR5)植木(緑)
 また、図22(M)に示すマップ、すなわち、記憶部135に格納された駐車区画群特徴量マップ(目標駐車区画識別子を含むマップ)の左側の5つの駐車区画には、上側の駐車区画から下側の駐車区画まで5つの駐車区画(ML1~ML5)以下の特徴量(オブジェクト)が登録されている。
 (ML1)樹木(緑)(+目標駐車区画識別子)
 (ML2)なし
 (ML3)大型車両(黄色)
 (ML4)数字(07)
 (ML5)乗用車(白)、植木(緑)
 上記のように、記憶部135に格納された駐車区画群特徴量マップ(目標駐車区画識別子を含むマップ)の左側の5つの駐車区画には、目標駐車区画識別子170が記録されている。
 目標駐車区画管理部132は、(S)センサ検出情報から検出される左右各々の5個の駐車区画(SR1~SR5と、SL1~SL5)の特徴量(検出オブジェクト)配列と、記憶部135に格納された駐車区画群特徴量マップ内の目標駐車区画識別子170が記録された5つの駐車区画の特徴量配列との照合処理を行う。
 駐車区画群特徴量マップ内の目標駐車区画識別子170が記録された5つの駐車区画の特徴量配列は、
 (ML1)樹木(緑)(+目標駐車区画識別子)
 (ML2)なし
 (ML3)大型車両(黄色)
 (ML4)数字(07)
 (ML5)乗用車(白)、植木(緑)
 この配列であり、この特徴量配列は、上記の(S)センサ検出情報から検出される前方左側の5個の駐車区画(SL1~SL5)の特徴量(検出オブジェクト)配列と一致する。
 目標駐車区画管理部132は、この特徴量の比較照合処理の結果、(S)センサ検出情報から検出される前方左側の駐車区画群、すなわち5個の駐車区画(SL1~SL5)を持つ駐車区画群は、駐車区画群特徴量マップ内の目標駐車区画識別子が記録された5つの駐車区画(Pa1~Pa5)を持つ駐車区画群と同じ駐車区画群であると判定する。
 すなわち、目標駐車区画管理部132は、車両10が地点P1にある時に車両の前方左側に観察される駐車区画群は、記憶部135に記録された駐車区画群特徴量マップ内の目標駐車区画を持つ駐車区画群と一致する駐車区画群であり、目標駐車区画が存在すると判定する。
 また、目標駐車区画管理部132は、目標駐車区画識別子170が設定された駐車区画(ML1)は、(S)センサ検出情報から検出される前方左側の5個の駐車区画(SL1~SL5)中の車両10から最も遠い駐車区画SL1であると判定する。
 目標駐車区画管理部132は、この判定結果を自動運転制御部122に出力する。
 自動運転制御部122は、目標駐車区画管理部132からの入力に応じて、地点P1にある車両10の前方左側に観察される駐車区画群内の目標駐車区画への自動駐車処理を開始する。
 なお、図22を参照して説明した例では、車両10が地点P1にある時にセンサ20が検出した車両前方左側の駐車区画群の特徴量配列と、記憶部135に記録された駐車区画群特徴量マップ内の目標駐車区画を持つ駐車区画群とが完全に一致する例について説明した。
 しかし、目標駐車区画管理部132は、このように完全一致する場合に限らず、一定の類似度を持つ場合には、センサ20が検出した駐車区画群が記憶部135に記録された駐車区画群特徴量マップ内の目標駐車区画を持つ駐車区画群であると判定してもよい。
 例え特徴量の類似度が予め規定したしきい値以上である場合には、特徴量配列が類似すると判定する。具体的には、例えばしきい値=80%とした場合は、駐車区画群内の駐車区画単位の特徴量配列が80%以上一致していれば類似していると判定する。
 なお、駐車区画群の特徴量の一致または類似度の判定処理としては、この他、様々な処理が適用可能である。
 例えば、以下のような判定処理が可能である。
 (例1)駐車区画群全体の特徴量の一致度、類似度を判定する。
 (例2)駐車区画群に含まれる個別の駐車区画各々の一致度と類似度を判定して、その後、個別の駐車区画各々の一致度や類似度に基づく演算処理によってえられる値に基づいて駐車区画群全体の特徴量の一致度、類似度を判定する。
 演算処理としては、例えば、個別の駐車区画各々の類似度の加算値の算出、または平均値の算出、あるいは最低類似度の駐車区画を除くその他の駐車区画の類似度の加算値の算出、または平均値の算出などが利用可能である。これにより一部車両が出庫した際等にも対応可能となる。
 また、特徴量として検出されるオブジェクトの種類に応じた重みを設定した類似度算出、類似度判定処理を行ってもよい。
 例えば、特徴量として検出されるオブジェクトの種類を以下のように区分する。
 (a)容易に動かないオブジェクト=看板、ゲート、パーキングメータ、街灯、フェンス、路面マーカーなど
 (b)比較的動きが少ないオブジェクト=三角コーンなど
 (c)比較的動きが多いオブジェクト=駐車車両など
 (a)容易に動かないオブジェクトについては重みを大とし、
 (b)比較的動きが少ないオブジェクトについては重みを中とし、
 (c)比較的動きが多いオブジェクトについては重みを小として、
 類似度算出時に、各オブジェクトに重みを乗算して加算値や平均値を算出して駐車区画群全体の類似度を算出する処理を行ってもよい。
 また、駐車区画群、あるいは駐車区画周辺の特徴量として検出されるオブジェクトが1つの場合、そのオブジェクトが移動してしまった場合に、類似度が急低下してしまうので、以下のような処理を行ってもよい。
 駐車区画群、あるいは駐車区画周辺の特徴量として検出されるオブジェクトが1つの場合にはその特徴量を駐車区画群特徴量マップへ記録しない。また類似度算出処理にも利用しない。
 駐車区画群、あるいは駐車区画周辺の特徴量として検出されるオブジェクトが2つ以上の場合のみ、その特徴量を駐車区画群特徴量マップへ記録する。また類似度算出処理に利用する。
 このように、目標駐車区画管理部132は、センサ20が検出した駐車区画群の特徴量と、記憶部135に記録された駐車区画群特徴量マップ内の目標駐車区画を持つ駐車区画群の特徴量との比較、照合処理を実行して、センサ20が検出した駐車区画群が目標駐車区画を持つ駐車区画群であるか否かを判定する。
 次に、図23を参照して、記憶部135に格納する駐車区画群特徴量マップを、先に図12を参照して説明したと同様の表形式のマップとした場合の処理例について説明する。
 図23に示す例は、特徴量を識別可能な画像データとして記録したマップを利用した場合の処理例である。
 前述したように、記憶部135に格納する駐車区画群特徴量マップは、先に図12、図13を参照して説明したように、駐車区画単位のエントリを有する表形式のデータとしてもよい。
 図23を参照して、駐車区画単位のエントリを有する表形式の駐車区画群特徴量マップを利用した処理例について説明する。
 図23には、以下の3つの図を示している。
 (A)車両10の位置=地点P1
 (S)車両前方左側の駐車区画群のセンサ検出情報(センサによる撮影画像の俯瞰変換画像に基づいて生成した駐車区画単位特徴量(検出オブジェクト)表データ)
 (M)記憶部135に格納された駐車区画群特徴量マップ(目標駐車区画識別子を含む駐車区画単位のエントリを有する表形式の駐車区画群特徴量マップ)
 図23(S)に示すように、車両前方左側の5つの駐車区画には、上側(車両10から遠い側)の駐車区画から下側(車両10に近い側)の駐車区画まで5つの駐車区画(SL1~SL5)以下の特徴量(オブジェクト)が検出される。
 (SL1)樹木(緑)
 (SL2)なし
 (SL3)大型車両(黄色)
 (SL4)数字(07)
 (SL5)乗用車(白)、植木(緑)
 これに対して、図23(M)に示すマップ、すなわち、記憶部135に格納された駐車区画群特徴量マップ(目標駐車区画識別子を含む駐車区画単位のエントリを有する表形式の駐車区画群特徴量マップ)の5つの駐車区画には、上側の駐車区画から下側の駐車区画まで5つの駐車区画(Pa1~Pa5)以下の特徴量(オブジェクト)が登録されている。
 (Pa1)樹木(緑)(+目標駐車区画識別子)
 (Pa2)なし
 (Pa3)大型車両(黄色)
 (Pa4)数字(07)
 (Pa5)乗用車(白)、植木(緑)
 目標駐車区画管理部132は、(S)センサ検出情報から検出される左前方の5個の駐車区画(SL1~SL5)の特徴量(検出オブジェクト)配列と、記憶部135に格納された駐車区画群特徴量マップ内の目標駐車区画識別子170が記録された5つの駐車区画(Pa1~Pa5)の特徴量配列との照合処理を行う。
 照合処理の結果、(S)センサ検出情報から検出された左前方の5個の駐車区画(SL1~SL5)の特徴量(検出オブジェクト)配列と、記憶部135に格納された駐車区画群特徴量マップ内の目標駐車区画識別子170が記録された5つの駐車区画(Pa1~Pa5)の特徴量配列は一致する。
 目標駐車区画管理部132は、この特徴量の比較照合処理の結果、(S)センサ検出情報から検出される前方左側の駐車区画群、すなわち5個の駐車区画(SL1~SL5)を持つ駐車区画群は、駐車区画群特徴量マップ内の目標駐車区画識別子が記録された5つの駐車区画(Pa1~Pa5)を持つ駐車区画群と同じ駐車区画であると判定する。
 すなわち、目標駐車区画管理部132は、車両10が地点P1にある時に車両の前方左側に観察される駐車区画群は、記憶部135に記録された駐車区画群特徴量マップ内の目標駐車区画を持つ駐車区画群と一致する駐車区画群であり、目標駐車区画が存在すると判定する。
 また、目標駐車区画管理部132は、目標駐車区画識別子170が設定された駐車区画(Pa1)は、(S)センサ検出情報から検出される前方左側の5個の駐車区画(SL1~SL5)中の車両10から最も遠い駐車区画SL1であると判定する。
 目標駐車区画管理部132は、この判定結果を自動運転制御部122に出力する。
 自動運転制御部122は、目標駐車区画管理部132からの入力に応じて、地点P1にある車両10の前方左側に観察される駐車区画群内の目標駐車区画への自動駐車処理を開始する。
  [3-2(実施例2)目標駐車区画の設定地点における駐車区画群観察方向と異なる方向から駐車区画群を観察した場合の目標駐車区画追従処理例について]
 次に、目標駐車区画管理部132が実行する目標駐車区画追従処理の実施例2として、目標駐車区画の設定地点における駐車区画群観察方向と異なる方向から駐車区画群を観察した場合の目標駐車区画追従処理例について説明する。
 図16~図23を参照して説明した処理例は、例えば図21を参照して説明したように車両10が駐車場30の地点P1から地点P2に移動し、さらに、車両10が駐車場を周回して元の地点P1に戻った位置で、目標駐車区画Pa1を再度、検出する処理例である。
 しかし、例えば図24に示すように車両10が、地点P2から駐車場30の異なる側(図の上側)のゲートから再侵入して、地点P3から目標駐車区画を含む駐車区画群を観察する場合も想定される。
 車両10が、地点P3から目標駐車区画を含む駐車区画群を観察すると、センサ20の観察画像(撮影画像)は、地点P1からの撮影画像とは異なる反転画像となってしまう。
 本開示の処理を利用すれば、このような場合でも地点P3において、地点P1で決定した目標駐車区画Pa1を確実に再発見することが可能となる。
 この処理例について図25を参照して説明する。
 図25には以下の3つの図を示している。
 (A)車両10の位置=地点P3
 (S)センサ検出情報(センサによる撮影画像の俯瞰変換画像)
 (M)記憶部135に格納された駐車区画群特徴量マップ(目標駐車区画識別子を含むマップ)
 車両10の目標駐車区画管理部132は、図25(A)に示す地点P3において、センサ20の検出情報、すなわちカメラ撮影画像の俯瞰変換画像を入力する。
 なお、俯瞰変換画像は、駐車区画検出部131によって生成され、目標駐車区画管理部132に入力される。
 目標駐車区画管理部132が入力する俯瞰変換画像は、図25(S)に示すような画像である。すなわち、地点P3の前方方向の駐車区画を情報から観察した画像となる。
 なお、図25(A)に示す車両位置を示す俯瞰画像と、図25(S)センサ検出画像には、駐車区画識別子(SL1~SL5,SR1~SR5)を示している。
 (S)センサ検出画像は、図25(A)に示す地点P3側を下側として示した画像であり、(A)の車両位置を示す俯瞰画像を180度回転した画像に相当する。
 目標駐車区画管理部132は、この(S)センサ検出画像と、図25(M)に示すマップ、すなわち、記憶部135に格納された駐車区画群特徴量マップ(目標駐車区画識別子を含むマップ)とを比較する。
 具体的には、各駐車区画の特徴量(検出オブジェクト)の配列を比較する。
 (S)センサ検出画像の右側の5つの駐車区画には、上側(車両10から遠い側)の駐車区画から下側(車両10に近い側)の駐車区画まで5つの駐車区画(SR1~SR5)以下の特徴量(オブジェクト)が検出される。
 (SR1)乗用車(白)、植木(緑)
 (SR2)数字(07)
 (SR3)大型車両(黄色)
 (SR4)なし
 (SR5)樹木(緑)
 また、(S)センサ検出画像の左側の5つの駐車区画には、上側(車両10から遠い側)の駐車区画から下側(車両10に近い側)の駐車区画まで5つの駐車区画(SL1~SL5)以下の特徴量(オブジェクト)が検出される。
 (SL1)植木(緑)
 (SL2)なし
 (SL3)駐車禁止マーク(白)
 (SL4)乗用車(白)
 (SL5)植木(緑)
 これに対して、図25(M)に示すマップ、すなわち、記憶部135に格納された駐車区画群特徴量マップ(目標駐車区画識別子を含むマップ)の右側の5つの駐車区画には、上側の駐車区画から下側の駐車区画まで5つの駐車区画(MR1~MR5)以下の特徴量(オブジェクト)が登録されている。
 (MR1)植木(緑)
 (MR2)乗用車(白)
 (MR3)駐車禁止マーク(白)
 (MR4)なし
 (MR5)植木(緑)
 また、図25(M)に示すマップ、すなわち、記憶部135に格納された駐車区画群特徴量マップ(目標駐車区画識別子を含むマップ)の左側の5つの駐車区画には、上側の駐車区画から下側の駐車区画まで5つの駐車区画(ML1~ML5)以下の特徴量(オブジェクト)が登録されている。
 (ML1)樹木(緑)(+目標駐車区画識別子)
 (ML2)なし
 (ML3)大型車両(黄色)
 (ML4)数字(07)
 (ML5)乗用車(白)、植木(緑)
 上記のように、記憶部135に格納された駐車区画群特徴量マップ(目標駐車区画識別子を含むマップ)の左側の5つの駐車区画には、目標駐車区画識別子170が記録されている。
 目標駐車区画管理部132は、(S)センサ検出情報から検出される左右各々の5個の駐車区画(SR1~SR5と、SL1~SL5)の特徴量(検出オブジェクト)配列と、記憶部135に格納された駐車区画群特徴量マップの特徴量配列との照合処理を行う。
 図25に示す(S)センサ検出画像と、(M)駐車区画群特徴量マップを比較して理解されるように、(S)センサ検出画像は、(M)駐車区画群特徴量マップを180度回転した画像に相当する。
 目標駐車区画管理部132は、この照合結果に基づいて、(S)センサ検出情報から検出される前方右側の駐車区画群、すなわち5個の駐車区画(SR1~SR5)を持つ駐車区画群は、駐車区画群特徴量マップ内の目標駐車区画識別子が記録された5つの駐車区画(ML1~ML5)を持つ駐車区画群と同じ駐車区画群であり、これを180度反転させた駐車区画群であると判定する。
 すなわち、目標駐車区画管理部132は、車両10が地点P3にある時に車両の前方右側に観察される駐車区画群は、記憶部135に記録された駐車区画群特徴量マップ内の目標駐車区画を持つ駐車区画群と一致する駐車区画群であり、目標駐車区画が存在すると判定する。
 また、目標駐車区画管理部132は、目標駐車区画識別子170が設定された駐車区画(ML1)は、(S)センサ検出情報から検出される前方右側の5個の駐車区画(SR1~SR5)中の車両10に最も近い駐車区画SR5であると判定する。
 目標駐車区画管理部132は、この判定結果を自動運転制御部122に出力する。
 自動運転制御部122は、目標駐車区画管理部132からの入力に応じて、地点P3にある車両10の前方左側に観察される駐車区画群内の目標駐車区画への自動駐車処理を開始する。
 図26は、記憶部135に格納する駐車区画群特徴量マップを、先に図12を参照して説明したと同様の表形式のマップとした場合の処理例である。すなわち特徴量を識別可能な画像データとして記録したマップを利用した場合の処理例を説明する図である。
 前述したように、記憶部135に格納する駐車区画群特徴量マップは、先に図12、図13を参照して説明したように、駐車区画単位のエントリを有する表形式のデータとしてもよい。
 図26を参照して、駐車区画単位のエントリを有する表形式の駐車区画群特徴量マップを利用した処理例について説明する。
 図26には、以下の3つの図を示している。
 (A)車両10の位置=地点P3
 (S)車両前方右側の駐車区画群(SR1~SR5)のセンサ検出情報(センサによる撮影画像の俯瞰変換画像に基づいて生成した駐車区画単位特徴量(検出オブジェクト)表データ)
 (M)記憶部135に格納された駐車区画群特徴量マップ(目標駐車区画識別子を含む駐車区画単位のエントリを有する表形式の駐車区画群特徴量マップ)
 なお、図26(A)に示す車両位置を示す俯瞰画像と、図26(S)センサ検出情報に基づく表データには、駐車区画識別子(SR1~SR5)を示している。
 図26(S)センサ検出情報に基づく表データ中の駐車区画識別子(SR1~SR5)は、図25(A)に示す地点P3(車両10の位置)から最も遠い側がSR1、地点P3(車両10の位置)から最も近い側がSR5となる。
 図26(S)に示すように、車両前方右側の5つの駐車区画(SR1~SR5)には、車両10から遠い側の駐車区画(SR1)から車両10に近い側の駐車区画(SR5)まで5つの駐車区画(SR1~SR5)以下の特徴量(オブジェクト)が検出される。
 (SR1)乗用車(白)、植木(緑)
 (SR2)数字(07)
 (SR3)大型車両(黄色)
 (SR4)なし
 (SR5)樹木(緑)
 これに対して、図26(M)に示すマップ、すなわち、記憶部135に格納された駐車区画群特徴量マップ(目標駐車区画識別子を含む駐車区画単位のエントリを有する表形式の駐車区画群特徴量マップ)の5つの駐車区画には、上側の駐車区画から下側の駐車区画まで5つの駐車区画(Pa1~Pa5)以下の特徴量(オブジェクト)が登録されている。
 (Pa1)樹木(緑)(+目標駐車区画識別子)
 (Pa2)なし
 (Pa3)大型車両(黄色)
 (Pa4)数字(07)
 (Pa5)乗用車(白)、植木(緑)
 目標駐車区画管理部132は、(S)センサ検出情報から検出される右前方の5個の駐車区画(SR1~SR5)の特徴量(検出オブジェクト)配列と、記憶部135に格納された駐車区画群特徴量マップ内の目標駐車区画識別子170が記録された5つの駐車区画(Pa1~Pa5)の特徴量配列との照合処理を行う。
 照合処理の結果、(S)センサ検出情報から検出された右前方の5個の駐車区画(SR1~SR5)の特徴量(検出オブジェクト)配列と、記憶部135に格納された駐車区画群特徴量マップ内の目標駐車区画識別子170が記録された5つの駐車区画(Pa1~Pa5)の特徴量配列は、逆順の配列に相当する。
 目標駐車区画管理部132は、この特徴量の比較照合処理の結果、(S)センサ検出情報から検出される前方右側の駐車区画群、すなわち5個の駐車区画(SR1~SR5)は、駐車区画群特徴量マップ内の目標駐車区画識別子170が記録された5つの駐車区画(Pa1~Pa5)を持つ駐車区画群と逆の順番の駐車区画配列であると判定する。
 すなわち、目標駐車区画管理部132は、車両10が地点P3にある時に車両の前方左側に観察される駐車区画群は、記憶部135に記録された駐車区画群特徴量マップ内の目標駐車区画を持つ駐車区画群と一致する駐車区画群であるが、逆の順番で配列された駐車区画群であり、目標駐車区画が存在すると判定する。
 また、目標駐車区画管理部132は、目標駐車区画識別子170が設定された駐車区画(Pa1)は、(S)センサ検出情報から検出される前方右側の5個の駐車区画(SR1~SR5)中の車両10に最も近い駐車区画SR5であると判定する。
 目標駐車区画管理部132は、この判定結果を自動運転制御部122に出力する。
 自動運転制御部122は、目標駐車区画管理部132からの入力に応じて、地点P3にある車両10の前方左側に観察される駐車区画群内の目標駐車区画への自動駐車処理を開始する。
  [3-3(実施例3)特徴量が記録されていない駐車区画を目標駐車区画として設定した場合の実施例について]
 次に、目標駐車区画管理部132が実行する目標駐車区画追従処理の実施例3として、特徴量が記録されていない駐車区画を目標駐車区画として設定した場合の実施例について説明する。
 前述したように目標駐車区画の設定処理に際して、目標駐車区画管理部132は、まず駐車区画検出部131が検出した駐車区画情報を自動運転制御部122、または表示制御部123の少なくともいずれかに出力する。
 すなわち駐車場の駐車区画が識別可能なデータを自動運転制御部122、または表示制御部123の少なくともいずれかに出力する。
 例えば、駐車区画検出部131がセンサ20の検出情報(カメラ撮影画像)に基づいて生成した図15に示すような駐車場30の俯瞰画像を自動運転制御部122、または表示制御部123の少なくともいずれかに出力する。
 表示制御部123は、図27に示すような駐車場30の俯瞰画像を表示部150に表示する。
 自動運転制御部122、または表示部150に表示された駐車場の画像を見たユーザ(運転者)は、駐車場30の駐車区画から1つの目標駐車区画を決定し、決定した目標駐車区画指示データを目標駐車区画管理部132に出力する。
 例えば、自動運転制御部122、または表示部150に表示された駐車場の画像を見たユーザ(運転者)は、図28に示すように左端の駐車区画群パートAから1つの駐車区画Pa2を目標駐車区画として指示した目標駐車区画指示データを目標駐車区画管理部132に出力する。
 なお、駐車区画Pa2は特徴量として記録可能なオブジェクトが存在しない駐車区画である。
 目標駐車区画管理部132は、自動運転制御部122、またはユーザ(運転者)から入力した目標駐車区画指示データに基づいて、目標駐車区画が図28に示す駐車区画群パートAの駐車区画Pa2であることを確認し、確認された駐車区画群パートAの駐車区画Pa2が目標駐車区画であることを示す識別子(目標駐車区画識別子)を駐車区画群特徴量マップに記録して記憶部135に格納する。
 図29を参照して、本実施例3において目標駐車区画管理部132の駐車区画群特徴量解析部138が生成する駐車区画群特徴量マップの具体例について説明する。
 図29の左側の(1)に示す図は、センサ20を装着した車両10が駐車場に侵入する際にセンサ20によって取得されるセンサ検出情報、具体的にはカメラ撮影画像を俯瞰変換した俯瞰変換画像である。
 目標駐車区画管理部132の駐車区画群特徴量解析部138は、このセンサ検出情報、例えばカメラ撮影画像の俯瞰変換画像を用いて、カメラ撮影画像内の駐車区画群を構成する駐車区画各々の特徴量(検出オブジェクト)を記録した駐車区画群特徴量マップを生成して記憶部135に格納する。
 図29の右側の(2)に示すデータが、駐車区画群特徴量解析部138が生成し、記憶部135に格納する駐車区画群特徴量マップの一例である。
 図29(2)に示す駐車区画群特徴量マップは、センサ検出情報であるカメラ撮影画像の俯瞰変換画像の画像データによって構成される。あるいはこの俯瞰変換画像データのデータ量を削減した簡略化画像データとしてもよい。
 基本的には各駐車区画単位の特徴量(検出オブジェクト)が判別可能なマップデータであればよい。
 なお、図29(2)に示すように、駐車区画群特徴量マップには、目標駐車区画識別子170が記録される。
 この目標駐車区画は、目標駐車区画管理部132が自動運転制御部122、またはユーザ(運転者)から入力した目標駐車区画指示データに基づいて記録される。
 図29(2)に示す駐車区画群特徴量マップの例は一例であり、記憶部135に格納する駐車区画群特徴量マップは、このような画像データではなく、駐車区画単位のエントリを有する表形式のデータとしてもよい。
 前述したように駐車区画単位の特徴量である検出オブジェクトを、駐車区画単位のエントリを有する表にテキストデータや画像データで記録する構成としてもよい。
 図30は、駐車区画群パートA,Bについて、駐車区画群パートA,Bに含まれる駐車区画(Pa1~Pa5,Pb1~Pb5)単位のエントリを有する表を設定し、各エントリに駐車区画単位の特徴量(検出オブジェクト情報)をテキストデータとして記録した特徴量マップの一例である。
 本実施例3では、特徴量(検出オブジェクト)が検出されず、特徴量が記録されていない駐車区画Pa2に目標駐車区画識別子(〇)が記録される。
 図31は、駐車区画群パートA,Bについて、駐車区画群パートA,Bに含まれる駐車区画(Pa1~Pa5,Pb1~Pb5)単位のエントリを有する表を設定し、各エントリに駐車区画単位の特徴量(検出オブジェクト情報)を画像データとして記録した特徴量マップの一例である。
 なお、前述したように、記憶部(駐車区画群特徴量マップ格納部)135に記録する駐車区画群単位の特徴量を示すデータは、テキストデータや画像データに限らず、その他、オブジェクト種類が判別可能なデータ形式であれば様々なデータ記録形式が利用可能である。例えば予め規定したオブジェクト種類に応じたオブジェクト識別子を記録する構成としてもよい。
 記憶部(駐車区画群特徴量マップ格納部)135に記録された駐車区画群単位の特徴量は、駐車区画解析部121の目標駐車区画管理部132において利用される。
 前述したように、目標駐車区画管理部132は、まず駐車区画検出部131が検出した駐車区画情報を自動運転制御部122、または表示制御部123の少なくともいずれかに出力する。
 自動運転制御部122、または表示部150に表示された駐車場の画像を見たユーザ(運転者)は、駐車場30の駐車区画から1つの目標駐車区画を決定し、決定した目標駐車区画指示データを目標駐車区画管理部132に出力する。
 目標駐車区画管理部132は、自動運転制御部122、またはユーザ(運転者)から入力した目標駐車区画指示データに基づいて、駐車区画群特徴量解析部138が生成する駐車区画群特徴量マップに目標駐車区画識別子を記録して記憶部135に格納する。
 目標駐車区画管理部132は、その後、車両10が走行し、目標駐車区画がセンサ20の検出範囲(撮影画像)から消えた場合でも、その後、車両10の走行に伴い、車両10のセンサ20の検出範囲(撮影画像)に入る様々な駐車区画群が、目標駐車区画を有する駐車区画群であるか否かを確実に識別する。
 さらに、再度、目標駐車区画を有する駐車区画群がセンサ20の検出範囲(撮影画像)に入った場合には、その駐車区画群が目標駐車区画を有する駐車区画群であること確実に識別する。
 図32以下を参照して、実施例3、すなわち駐車区画群特徴量マップに特徴量が記録されていない駐車区画を目標駐車区画として設定した場合の目標駐車区画追従処理の具体例について説明する。
 例えば、図32に示すように、車両10が駐車場の入り口地点である地点P1にあるときに、駐車区画群パートAの1つの駐車区画Pa2が目標駐車区画として指示され、記憶部135に目標駐車区画識別子が記録された駐車区画群特徴量マップが記録されたとする。
 なお、前述したように、駐車区画Pa2は、駐車区画群特徴量マップに特徴量が記録されていない駐車区画である。
 具体的には、例えば、先に図29を参照して説明した画像形式の駐車区画群特徴量マップ、あるいは図30、図31を参照して説明した表形式の駐車区画群特徴量マップが記憶部135に格納済みであるとする。
 この処理の後、車両10は、目標駐車区画(Pa2)に向けて走行する。しかし、例えば、この走行処理の開始後、ユーザ(運転者)の気が変わり、図33に示すように、駐車場30全体を一度、見回すため、駐車場30を一周しようとしたとする。
 車両10がこのような走行処理を行うと、例えば図33に示す地点P2では車両10のセンサ20(カメラ)の検出範囲(撮影範囲)から目標駐車区画Pa2が外れてしまう。
 この結果、自動運転制御部122もユーザ(運転者)もセンサ20(カメラ)の撮影画像に基づいて目標駐車区画Pa2を追従することができなくなる。
 さらに、車両10が図33に示すように駐車場30を一周して地点P2から元の地点P1に戻った場合、先に指定した目標駐車区画(Pa2)が車両10のセンサ20の検出範囲(画像撮影範囲)に入ってくる。
 車両10が駐車場30を一周して地点P1に戻ると、車両10の目標駐車区画管理部132は、車両10のセンサ20によって撮影される画像内の駐車区画群の識別処理と、駐車区画群内の駐車区画の識別処理を実行する。
 図34を参照して、地点P1において車両10の目標駐車区画管理部132が実行する処理について説明する。
 図34には以下の3つの図を示している。
 (A)車両10の位置=地点P1
 (S)センサ検出情報(センサによる撮影画像の俯瞰変換画像)
 (M)記憶部135に格納された駐車区画群特徴量マップ(目標駐車区画識別子を含むマップ)
 車両10の目標駐車区画管理部132は、図34(A)に示す地点P1において、センサ20の検出情報、すなわちカメラ撮影画像の俯瞰変換画像を入力する。
 なお、俯瞰変換画像は、駐車区画検出部131によって生成され、目標駐車区画管理部132に入力される。
 目標駐車区画管理部132が入力する俯瞰変換画像は、図34(S)に示すような画像である。すなわち、地点P1の前方方向の駐車区画を情報から観察した画像となる。
 目標駐車区画管理部132は、この(S)センサ検出画像と、図34(M)に示すマップ、すなわち、記憶部135に格納された駐車区画群特徴量マップ(目標駐車区画識別子を含むマップ)とを比較する。
 具体的には、各駐車区画の特徴量(検出オブジェクト)の配列を比較する。
 (S)センサ検出画像の右側の5つの駐車区画には、上側(車両10から遠い側)の駐車区画から下側(車両10に近い側)の駐車区画まで5つの駐車区画(SR1~SR5)以下の特徴量(オブジェクト)が検出される。
 (SR1)植木(緑)
 (SR2)乗用車(白)
 (SR3)駐車禁止マーク(白)
 (SR4)なし
 (SR5)植木(緑)
 また、(S)センサ検出画像の左側の5つの駐車区画には、上側(車両10から遠い側)の駐車区画から下側(車両10に近い側)の駐車区画まで5つの駐車区画(SL1~SL5)以下の特徴量(オブジェクト)が検出される。
 (SL1)樹木(緑)
 (SL2)なし
 (SL3)大型車両(黄色)
 (SL4)数字(07)
 (SL5)乗用車(白)、植木(緑)
 これに対して、図34(M)に示すマップ、すなわち、記憶部135に格納された駐車区画群特徴量マップ(目標駐車区画識別子を含むマップ)の右側の5つの駐車区画には、上側の駐車区画から下側の駐車区画まで5つの駐車区画(MR1~MR5)以下の特徴量(オブジェクト)が登録されている。
 (MR1)植木(緑)
 (MR2)乗用車(白)
 (MR3)駐車禁止マーク(白)
 (MR4)なし
 (MR5)植木(緑)
 また、図34(M)に示すマップ、すなわち、記憶部135に格納された駐車区画群特徴量マップ(目標駐車区画識別子を含むマップ)の左側の5つの駐車区画には、上側の駐車区画から下側の駐車区画まで5つの駐車区画(ML1~ML5)以下の特徴量(オブジェクト)が登録されている。
 (ML1)樹木(緑)
 (ML2)なし(+目標駐車区画識別子)
 (ML3)大型車両(黄色)
 (ML4)数字(07)
 (ML5)乗用車(白)、植木(緑)
 上記のように、記憶部135に格納された駐車区画群特徴量マップ(目標駐車区画識別子を含むマップ)の左側の5つの駐車区画には、特徴量の記録されていない目標駐車区画Pa2(ML2)に駐車区画識別子170が記録されている。
 目標駐車区画管理部132は、(S)センサ検出情報から検出される左右各々の5個の駐車区画(SR1~SR5と、SL1~SL5)の特徴量(検出オブジェクト)配列と、記憶部135に格納された駐車区画群特徴量マップ内の目標駐車区画識別子170が記録された5つの駐車区画の特徴量配列との照合処理を行う。
 駐車区画群特徴量マップ内の目標駐車区画識別子170が記録された5つの駐車区画の特徴量配列は、
 (ML1)樹木(緑)
 (ML2)なし(+目標駐車区画識別子)
 (ML3)大型車両(黄色)
 (ML4)数字(07)
 (ML5)乗用車(白)、植木(緑)
 この配列であり、この特徴量配列は、上記の(S)センサ検出情報から検出される前方左側の5個の駐車区画(SL1~SL5)の特徴量(検出オブジェクト)配列と一致する。
 目標駐車区画管理部132は、この特徴量の比較照合処理の結果、(S)センサ検出情報から検出される前方左側の駐車区画群、すなわち5個の駐車区画(SL1~SL5)を持つ駐車区画群は、駐車区画群特徴量マップ内の目標駐車区画識別子170が記録された5つの駐車区画(ML1~ML5)を持つ駐車区画群と同じ駐車区画であると判定する。
 すなわち、目標駐車区画管理部132は、車両10が地点P1にある時に車両の前方左側に観察される駐車区画群は、記憶部135に記録された駐車区画群特徴量マップ内の目標駐車区画を持つ駐車区画群と一致する駐車区画群であり、目標駐車区画が存在すると判定する。
 また、目標駐車区画管理部132は、目標駐車区画識別子170が設定された駐車区画(ML2)は、(S)センサ検出情報から検出される前方左側の5個の駐車区画(SL1~SL5)中の車両10から最も遠い駐車区画から2番目のSL2であると判定する。
 目標駐車区画管理部132は複数の駐車区画から構成される駐車区画群の特徴量の配列に基づいて、(S)センサ検出情報から検出される駐車区画群が目標駐車区画識別子170が設定された駐車区画群に相当すると判定し、さらに、特徴量が記録されている駐車区画との位置関係に基づいて、目標駐車区画識別子170が設定された駐車区画を特定する。
 従って、特徴量が記録されていない駐車区画を目標駐車区画として設定した場合であっても、確実に目標駐車区画を特定することが可能となる。
 目標駐車区画管理部132は、この判定結果を自動運転制御部122に出力する。
 自動運転制御部122は、目標駐車区画管理部132からの入力に応じて、地点P1にある車両10の前方左側に観察される駐車区画群内の目標駐車区画Pa2への自動駐車処理を開始する。
 図35は、記憶部135に格納する駐車区画群特徴量マップを、先に図12を参照して説明したと同様の表形式のマップとした場合の処理例である。すなわち特徴量を識別可能な画像データとして記録したマップを利用した場合の処理例を説明する図である。
 図35を参照して、駐車区画単位のエントリを有する表形式の駐車区画群特徴量マップを利用した処理例について説明する。
 図35には、以下の3つの図を示している。
 (A)車両10の位置=地点P1
 (S)車両前方左側の駐車区画群のセンサ検出情報(センサによる撮影画像の俯瞰変換画像に基づいて生成した駐車区画単位特徴量(検出オブジェクト)表データ)
 (M)記憶部135に格納された駐車区画群特徴量マップ(目標駐車区画識別子を含む駐車区画単位のエントリを有する表形式の駐車区画群特徴量マップ)
 図35(S)に示すように、車両前方左側の5つの駐車区画には、上側(車両10から遠い側)の駐車区画から下側(車両10に近い側)の駐車区画まで5つの駐車区画(SL1~SL5)以下の特徴量(オブジェクト)が検出される。
 (SL1)樹木(緑)
 (SL2)なし
 (SL3)大型車両(黄色)
 (SL4)数字(07)
 (SL5)乗用車(白)、植木(緑)
 これに対して、図35(M)に示すマップ、すなわち、記憶部135に格納された駐車区画群特徴量マップ(目標駐車区画識別子を含む駐車区画単位のエントリを有する表形式の駐車区画群特徴量マップ)の5つの駐車区画には、上側の駐車区画から下側の駐車区画まで5つの駐車区画(Pa1~Pa5)以下の特徴量(オブジェクト)が登録されている。
 (Pa1)樹木(緑)
 (Pa2)なし(+目標駐車区画識別子)
 (Pa3)大型車両(黄色)
 (Pa4)数字(07)
 (Pa5)乗用車(白)、植木(緑)
 目標駐車区画管理部132は、(S)センサ検出情報から検出される左前方の5個の駐車区画(SL1~SL5)の特徴量(検出オブジェクト)配列と、記憶部135に格納された駐車区画群特徴量マップ内の目標駐車区画識別子170が記録された5つの駐車区画(Pa1~Pa5)の特徴量配列との照合処理を行う。
 照合処理の結果、(S)センサ検出情報から検出された左前方の5個の駐車区画(SL1~SL5)の特徴量(検出オブジェクト)配列と、記憶部135に格納された駐車区画群特徴量マップ内の目標駐車区画識別子170が記録された5つの駐車区画(Pa1~Pa5)の特徴量配列は一致する。
 目標駐車区画管理部132は、この特徴量の比較照合処理の結果、(S)センサ検出情報から検出される前方左側の駐車区画群、すなわち5個の駐車区画(SL1~SL5)を持つ駐車区画群は、駐車区画群特徴量マップ内の目標駐車区画識別子170が記録された5つの駐車区画と同じ駐車区画であると判定する。
 すなわち、目標駐車区画管理部132は、車両10が地点P1にある時に車両の前方左側に観察される駐車区画群は、記憶部135に記録された駐車区画群特徴量マップ内の目標駐車区画が記録された5つの駐車区画(Pa1~Pa5)を持つ駐車区画群と同じ駐車区画群であると判定する。
 また、目標駐車区画管理部132は、目標駐車区画識別子170が設定された駐車区画(Pa2)は、(S)センサ検出情報から検出される前方左側の5個の駐車区画(SL1~SL5)中の車両10から最も遠い駐車区画から2番目の駐車区画SL2であると判定する。
 このように表形式の駐車区画群特徴量マップを用いた場合でも、目標駐車区画管理部132は複数の駐車区画から構成される駐車区画群の特徴量の配列に基づいて、(S)センサ検出情報から検出される駐車区画群が目標駐車区画識別子170が設定された駐車区画群に相当すると判定し、さらに、特徴量が記録されている駐車区画との位置関係に基づいて、目標駐車区画識別子170が設定された駐車区画を特定する。
 従って、特徴量が記録されていない駐車区画を目標駐車区画として設定した場合であっても、確実に目標駐車区画を特定することが可能となる。
 目標駐車区画管理部132は、この判定結果を自動運転制御部122に出力する。
 自動運転制御部122は、目標駐車区画管理部132からの入力に応じて、地点P1にある車両10の前方左側に観察される駐車区画群内の目標駐車区画への自動駐車処理を開始する。
  [4.本開示の情報処理装置が実行する処理のシーケンスについて]
 次に、本開示の情報処理装置が実行する処理のシーケンスについて説明する。
 図36、図37に示すフローチャートを参照して図5に示す本開示の情報処理装置120が実行する処理のシーケンスについて説明する。
 なお、本開示の情報処理装置120は例えばCPU等のプログラム実行機能を持ち、図36、図37に示すフローは、情報処理装置内の記憶部に格納されたプログラムに従って実行される。
 以下、図36、図37に示すフローチャートの各ステップの処理について説明する。
  (ステップS101)
 本開示の情報処理装置120は、まず、ステップS101において駐車区画情報を解析、または外部から取得する。
 この処理は、図5に示す情報処理装置120の駐車区画解析部121の駐車区画検出部131が実行する処理である。
 駐車区画検出部131は、センサ20の検出情報、例えばカメラの撮影画像に基づいて駐車区画の検出処理を実行する。
 この駐車区画検出処理は、例えば先に図6~図8を参照して説明した処理である。
 駐車区画検出部131は、まず、図6(a)に示すような撮影画像を、図6(b)に示すような駐車場を上空から観察した俯瞰画像に変換して、変換後の俯瞰画像を用いて駐車区画を示す白線等を示す特徴点を抽出して、抽出した特徴点に基づいて駐車区画を判別する。
 特徴点は、例えば画像内のエッジ部分など輝度変化の大きな画素などから抽出される。具体的には、例えば駐車区画を示す白線の輪郭部分や、車両の輪郭部分、木などの植物の輪郭部分などの画素領域から特徴点が抽出される。
 駐車区画検出部131は、例えば駐車区画を規定すると推定される白線に相当する特徴点を選択して、選択した特徴点によって規定される矩形形状を抽出して、駐車区画の推定処理を行う。図8(3)に示す例は5つの駐車区画(Pa1~Pa5)を検出した例である。
 なお、駐車区画情報は例えば外部装置、具体的には地図情報提供サーバや駐車場管理サーバ等から駐車場の区画情報を入力してもよい。
  (ステップS102)
 次に、情報処理装置はステップS102において、ステップS101で検出した駐車区画情報を自動運転制御部122、または表示制御部123の少なくともいずれかに出力する。
 この処理は、図5に示す情報処理装置120の駐車区画解析部121の目標駐車区画管理部132が実行する処理である。
 目標駐車区画管理部132は、例えば、駐車区画検出部131がセンサ20の検出情報(カメラ撮影画像)に基づいて生成した先に説明した図9に示すような駐車場30の俯瞰画像を自動運転制御部122、または表示制御部123の少なくともいずれかに出力する。
 表示制御部123は、例えば図9に示す駐車場30の俯瞰画像を表示部150に表示する。
  (ステップS103)
 次に、目標駐車区画管理部132は、ステップS103において、自動運転制御部122、または表示部150に表示された駐車場の画像を見たユーザ(運転者)からの目標駐車区画指示データの入力有無を判定する。
 目標駐車区画指示データの入力が検出されていない場合は、待機し、目標駐車区画指示データの入力が確認されるとステップS104に進む。
  (ステップS104)
 次に、目標駐車区画管理部132は、ステップS104において、センサ20の検出データ(カメラ撮影画像)を解析し、目標駐車区画を含む駐車区画群内の駐車区画各々の特徴量(検出オブジェクト)を抽出する。
 この処理は、例えば先に図11を参照して説明した処理である。
 目標駐車区画管理部132の駐車区画群特徴量解析部138は、センサ検出情報、例えばカメラ撮影画像の俯瞰変換画像を用いて、カメラ撮影画像内の駐車区画群を構成する駐車区画各々の特徴量(検出オブジェクト)を抽出する。
  (ステップS105)
 次に、目標駐車区画管理部132は、ステップS105において、ステップS104で抽出した駐車区画群を構成する駐車区画各々の特徴量(検出オブジェクト)を記録した駐車区画群特徴量マップを生成して記憶部135に格納する。
 記憶部135に格納される駐車区画群特徴量マップは、例えば、先に図11(2)を参照して説明したようなマップである。
 すなわち、駐車区画群特徴量マップは、センサ検出情報であるカメラ撮影画像の俯瞰変換画像の画像データによって構成される。あるいはこの俯瞰変換画像データのデータ量を削減した簡略化画像データであってもよい。
 あるいは、先に図12~図15を参照して説明した各駐車区画単位の特徴量を個別のテキストや画像データ、アイコンなどを利用して記録した表形式のマップとしてもよい。
  (ステップS106)
 次に、目標駐車区画管理部132は、ステップS106において、センサ20の検出データ(撮影画像)内に目標駐車区画が検出されているか否かを判定する。
 なお、車両10は走行中であり、車両10の走行ルートによってセンサ20の検出データ(撮影画像)内に目標駐車区画が検出されなくなる可能性がある。
 センサ20の検出データ(撮影画像)内に目標駐車区画が検出されている場合は、ステップS107に進む。
 一方、センサ20の検出データ(撮影画像)内に目標駐車区画が検出されない場合は、ステップS201に進む。
  (ステップS107)
 ステップS106において、センサ20の検出データ(撮影画像)内に目標駐車区画が検出されている場合は、ステップS107に進む。
 この場合、目標駐車区画管理部132は、ステップS107において、目標駐車区画に対する駐車処理が完了したか否かを判定する。
 なお、目標駐車区画に対する駐車処理は、自動運転制御部122の制御、またはユーザ(運転者)による運転によって行われることになる。
 目標駐車区画に対する駐車処理が完了していない場合は、ステップS106に戻る。
 一方、目標駐車区画に対する駐車処理が完了した場合は、処理を終了する。
  (ステップS201)
 ステップS106において、センサ20の検出データ(撮影画像)内に目標駐車区画が検出されなくなった場合は、ステップS201に進む。
 この場合、目標駐車区画管理部132は、ステップS201において、センサ20の検出データ(カメラ撮影画像)を解析して、センサ検出データ(カメラ撮影画像)
に含まれる駐車区画群内の駐車区画各々の特徴量(検出オブジェクト)の解析処理を実行する。
  (ステップS202~S203)
 さらに目標駐車区画管理部132は、ステップS202において、センサ検出データ(カメラ撮影画像)に含まれる駐車区画群内の駐車区画各々の特徴量(検出オブジェクト)の配列データと、記憶部135に格納された目標駐車区画を含む駐車区画群の駐車区画群特徴量マップとを比較照合し、特徴量配列が一致、または類似する(類似度が規定しきい値以上)か否かを判定する。
 特徴量配列が一致、または類似する(類似度が規定しきい値以上)と判定した場合は、ステップS203の判定がYesとなり、ステップS204に進む。
 一方、特徴量配列が一致、または類似する(類似度が規定しきい値以上)と判定されなかった場合は、ステップS203の判定がNoとなり、この場合は、ステップS211に進み、走行を継続し、ステップS201に戻り、ステップS201以下の処理を繰り返す。
 なお、本ステップS203でYesの判定がなされるのは、センサ検出データ(カメラ撮影画像)に含まれる駐車区画群内の駐車区画各々の特徴量(検出オブジェクト)の配列データと、記憶部135に格納された目標駐車区画を含む駐車区画群の駐車区画群特徴量マップの特徴量配列が一致、または類似する(類似度が規定しきい値以上)場合である。
 前述したように、特徴量配列が類似すると判定する場合は、特徴量の類似度が予め規定したしきい値以上である場合である。
 具体的には、例えばしきい値=80%とした場合は、特徴量配列が80%以上一致していれば類似していると判定する。
 また、前述したように駐車区画群の特徴量の一致または類似度の判定処理には様々な処理が適用可能であり、例えば、以下のような判定処理が可能である。
 (例1)駐車区画群全体の特徴量の一致度、類似度を判定する。
 (例2)駐車区画群に含まれる個別の駐車区画各々の一致度と類似度を判定して、その後、個別の駐車区画各々の一致度や類似度に基づく演算処理によってえられる値に基づいて駐車区画群全体の特徴量の一致度、類似度を判定する。
 演算処理としては、例えば、個別の駐車区画各々の類似度の加算値の算出、または平均値の算出、あるいは最低類似度の駐車区画を除くその他の駐車区画の類似度の加算値の算出、または平均値の算出などが利用可能である。これにより一部車両が出庫した際等にも対応可能となる。
 また、特徴量として検出されるオブジェクトの種類に応じた重みを設定した類似度判定処理を行ってもよい。
 例えば、特徴量として検出されるオブジェクトの種類を以下のように区分する。
 (a)容易に動かないオブジェクト=看板、ゲート、パーキングメータ、街灯、フェンス、路面マーカーなど
 (b)比較的動きが少ないオブジェクト=三角コーンなど
 (c)比較的動きが多いオブジェクト=駐車車両など
 (a)容易に動かないオブジェクトについては重みを大とし、
 (b)比較的動きが少ないオブジェクトについては重みを中とし、
 (c)比較的動きが多いオブジェクトについては重みを小として、
 類似度算出時に、各オブジェクトに重みを乗算して加算値や平均値を算出するといった処理を行って、駐車区画群全体の類似度を算出する処理を行ってもよい。
 また、駐車区画群、あるいは駐車区画周辺の特徴量として検出されるオブジェクトが1つの場合、そのオブジェクトが移動してしまった場合に、類似度が急低下することになるので、以下のような処理を行ってもよい。
 駐車区画群、あるいは駐車区画周辺の特徴量として検出されるオブジェクトが1つの場合にはその特徴量を駐車区画群特徴量マップへ記録しない。また類似度算出処理にも利用しない。
 駐車区画群、あるいは駐車区画周辺の特徴量として検出されるオブジェクトが2つ以上の場合のみ、その特徴量を駐車区画群特徴量マップへ記録する。また類似度算出処理に利用する。
 このように、センサ20が検出した駐車区画群が記憶部135に記録された駐車区画群特徴量マップ内の目標駐車区画を持つ駐車区画群であるか否かを判定するための特徴量、および特徴量配列の一致度や類似度の算出処理には様々な処理が利用可能である。
  (ステップS204)
 ステップS203において、センサ検出データ(カメラ撮影画像)に含まれる駐車区画群内の駐車区画各々の特徴量(検出オブジェクト)の配列データと、記憶部135に格納された目標駐車区画を含む駐車区画群の駐車区画群特徴量マップの特徴量配列が一致、または類似する(類似度が規定しきい値以上)と判定した場合は、ステップS204の処理を実行する。
 この場合、目標駐車区画管理部132は、ステップS204において、記憶部135に格納された目標駐車区画を含む駐車区画群の駐車区画群特徴量マップ内の目標駐車区画識別子が記録された駐車区画位置に基づいて、センサ検出データ(カメラ撮影画像)に含まれる駐車区画群内の駐車区画から目標駐車区画を特定する。
 すなわち、車両10の現在位置から観察される駐車区画群内の駐車区画から目標駐車区画を特定する。
  (ステップS205)
 次に、目標駐車区画管理部132は、ステップS205において、センサ20の検出データ(撮影画像)内に目標駐車区画が検出されているか否かを判定する。
 なお、車両10は走行中であり、車両10の走行ルートによってセンサ20の検出データ(撮影画像)内に目標駐車区画が検出されなくなる可能性がある。
 センサ20の検出データ(撮影画像)内に目標駐車区画が検出されている場合は、ステップS206に進む。
 一方、センサ20の検出データ(撮影画像)内に目標駐車区画が検出されない場合は、ステップS201に戻り、ステップS201以下の処理を繰り返す。
  (ステップS206)
 ステップS205において、センサ20の検出データ(撮影画像)内に目標駐車区画が検出されている場合は、ステップS206に進む。
 この場合、目標駐車区画管理部132は、ステップS206において、目標駐車区画に対する駐車処理が完了したか否かを判定する。
 なお、目標駐車区画に対する駐車処理は、自動運転制御部122の制御、またはユーザ(運転者)による運転によって行われることになる。
 目標駐車区画に対する駐車処理が完了していない場合は、ステップS205に戻る。
 一方、目標駐車区画に対する駐車処理が完了した場合は、処理を終了する。
 このように、本開示の情報処理装置120は、一旦、決定した目標駐車区画がカメラ等のセンサ検出範囲からはずれた場合でも、その後、センサ(カメラ)が目標駐車区画を含む駐車区画群を検出した場合、確実にその駐車区画群を識別し、さらにその駐車区画群から目標駐車区画を検出することが可能となる。
  [5.本開示の情報処理装置のハードウェア構成例について]
 次に、図38を参照して、本開示の情報処理装置のハードウェア構成例について説明する。
 なお、情報処理装置は車両内に装着される。図38に示すハードウェア構成は、車両内の情報処理装置のハードウェア構成例である。
 図38に示すハードウェア構成について説明する。
 CPU(Central Processing Unit)301は、ROM(Read Only Memory)302、または記憶部308に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)303には、CPU301が実行するプログラムやデータなどが記憶される。これらのCPU301、ROM302、およびRAM303は、バス304により相互に接続されている。
 CPU301はバス304を介して入出力インタフェース305に接続され、入出力インタフェース305には、各種スイッチ、タッチパネル、マイクロホン、さらに、ユーザ入力部やカメラ、LiDAR等各種センサ321の状況データ取得部などよりなる入力部306、ディスプレイ、スピーカなどよりなる出力部307が接続されている。
 また、出力部307は、車両の駆動部322に対する駆動情報も出力する。
 CPU301は、入力部306から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部307に出力する。
 入出力インタフェース305に接続されている記憶部308は、例えばハードディスク等からなり、CPU301が実行するプログラムや各種のデータを記憶する。通信部309は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
 また、CPUの他、カメラから入力される画像情報などの専用処理部としてGPU(Graphics Processing Unit)を備えてもよい。
 入出力インタフェース305に接続されているドライブ310は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア311を駆動し、データの記録あるいは読み取りを実行する。
  [6.車両の構成例について]
 次に、本開示の情報処理装置を搭載した車両の構成例について説明する。
 図39は、本開示の情報処理装置を搭載した車両500の車両制御システム511の構成例を示すブロック図である。
 車両制御システム511は、車両500に設けられ、車両500の走行支援および自動運転に関わる処理を行う。
 車両制御システム511は、車両制御ECU(Electronic Control Unit)521、通信部522、地図情報蓄積部523、GNSS(Gloval Navigation Satellite System)受信部524、外部認識センサ525、車内センサ526、車両センサ527、記録部528、走行支援・自動運転制御部529、DMS(Driver Monitoring System)530、HMI(Human Machine Interface)531、および、車両制御部532を備える。
 車両制御ECU(Electronic Control Unit)521、通信部522、地図情報蓄積部523、GNSS受信部524、外部認識センサ525、車内センサ526、車両センサ527、記録部528、走行支援・自動運転制御部529、ドライバモニタリングシステム(DMS)530、ヒューマンマシーンインタフェース(HMI)531、および、車両制御部532は、通信ネットワーク541を介して相互に通信可能に接続されている。通信ネットワーク541は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、FlexRay(登録商標)、イーサネット(登録商標)といったディジタル双方向通信の規格に準拠した車載通信ネットワークやバス等により構成される。通信ネットワーク541は、通信されるデータの種類によって使い分けられても良く、例えば、車両制御に関するデータであればCANが適用され、大容量データであればイーサネットが適用される。なお、車両制御システム511の各部は、通信ネットワーク541を介さずに、例えば近距離無線通信(NFC(Near Field Communication))やBluetooth(登録商標)といった比較的近距離での通信を想定した無線通信を用いて直接的に接続される場合もある。
 なお、以下、車両制御システム511の各部が、通信ネットワーク541を介して通信を行う場合、通信ネットワーク541の記載を省略するものとする。例えば、車両制御ECU(Electronic Control Unit)521と通信部522が通信ネットワーク541を介して通信を行う場合、単にプロセッサと通信部522とが通信を行うと記載する。
 車両制御ECU(Electronic Control Unit)521は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)といった各種プロセッサにより構成される。車両制御ECU(Electronic Control Unit)521は、車両制御システム511全体もしくは一部の機能の制御を行う。
 通信部522は、車内および車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行う。このとき、通信部522は、複数の通信方式を用いて通信を行うことができる。
 通信部522が実行可能な車外との通信について、概略的に説明する。通信部522は、例えば、5G(第5世代移動通信システム)、LTE(Long Term Evolution)、DSRC(Dedicated Short Range Communications)等の無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク上に存在するサーバ(以下、外部のサーバと呼ぶ)等と通信を行う。通信部522が通信を行う外部ネットワークは、例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク等である。通信部522による外部ネットワークに対して通信を行う通信方式は、所定以上の通信速度、且つ、所定以上の距離間でディジタル双方向通信が可能な無線通信方式であれば、特に限定されない。
 また例えば、通信部522は、P2P(Peer To Peer)技術を用いて、自車の近傍に存在する端末と通信を行うことができる。自車の近傍に存在する端末は、例えば、歩行者や自転車など比較的低速で移動する移動体が装着する端末、店舗などに位置が固定されて設置される端末、あるいは、MTC(Machine Type Communication)端末である。さらに、通信部522は、V2X通信を行うこともできる。V2X通信とは、例えば、他の車両との間の車車間(Vehicle to Vehicle)通信、路側器等との間の路車間(Vehicle to Infrastructure)通信、家との間(Vehicle to Home)の通信、および、歩行者が所持する端末等との間の歩車間(Vehicle to Pedestrian)通信等の、自車と他との通信をいう。
 通信部522は、例えば、車両制御システム511の動作を制御するソフトウェアを更新するためのプログラムを外部から受信することができる(Over The Air)。通信部522は、さらに、地図情報、交通情報、車両500の周囲の情報等を外部から受信することができる。また例えば、通信部522は、車両500に関する情報や、車両500の周囲の情報等を外部に送信することができる。通信部522が外部に送信する車両500に関する情報としては、例えば、車両500の状態を示すデータ、認識部573による認識結果等がある。さらに例えば、通信部522は、eコール等の車両緊急通報システムに対応した通信を行う。
 通信部522が実行可能な車内との通信について、概略的に説明する。通信部522は、例えば無線通信を用いて、車内の各機器と通信を行うことができる。通信部522は、例えば、無線LAN、Bluetooth、NFC、WUSB(Wireless USB)といった、無線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の機器と無線通信を行うことができる。これに限らず、通信部522は、有線通信を用いて車内の各機器と通信を行うこともできる。例えば、通信部522は、図示しない接続端子に接続されるケーブルを介した有線通信により、車内の各機器と通信を行うことができる。通信部522は、例えば、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、MHL(Mobile High-definition Link)といった、有線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の各機器と通信を行うことができる。
 ここで、車内の機器とは、例えば、車内において通信ネットワーク541に接続されていない機器を指す。車内の機器としては、例えば、運転者等の搭乗者が所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器等が想定される。
 例えば、通信部522は、電波ビーコン、光ビーコン、FM多重放送等の道路交通情報通信システム(VICS(登録商標)(Vehicle Information and Communication System))により送信される電磁波を受信する。
 地図情報蓄積部523は、外部から取得した地図および車両500で作成した地図の一方または両方を蓄積する。例えば、地図情報蓄積部523は、3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積する。
 高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップなどである。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の4層からなる地図であり、外部のサーバ等から車両500に提供される。ポイントクラウドマップは、ポイントクラウド(点群データ)により構成される地図である。ここで、ベクターマップは、車線や信号の位置といった交通情報などをポイントクラウドマップに対応付けた、ADAS(Advanced Driver Assistance System)に適合させた地図を指すものとする。
 ポイントクラウドマップおよびベクターマップは、例えば、外部のサーバ等から提供されてもよいし、レーダ552、LiDAR553等によるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両500で作成され、地図情報蓄積部523に蓄積されてもよい。また、外部のサーバ等から高精度地図が提供される場合、通信容量を削減するため、車両500がこれから走行する計画経路に関する、例えば数百メートル四方の地図データが外部のサーバ等から取得される。
 GNSS受信部524は、GNSS衛星からGNSS信号を受信し、車両500の位置情報を取得する。受信したGNSS信号は、走行支援・自動運転制御部529に供給される。なお、GNSS受信部524は、GNSS信号を用いた方式に限定されず、例えば、ビーコンを用いて位置情報を取得してもよい。
 外部認識センサ525は、車両500の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両制御システム511の各部に供給する。外部認識センサ525が備えるセンサの種類や数は任意である。
 例えば、外部認識センサ525は、カメラ551、レーダ552、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)553、および、超音波センサ554を備える。これに限らず、外部認識センサ525は、カメラ551、レーダ552、LiDAR553、および、超音波センサ554のうち1種類以上のセンサを備える構成でもよい。カメラ551、レーダ552、LiDAR553、および、超音波センサ554の数は、現実的に車両500に設置可能な数であれば特に限定されない。また、外部認識センサ525が備えるセンサの種類は、この例に限定されず、外部認識センサ525は、他の種類のセンサを備えてもよい。外部認識センサ525が備える各センサのセンシング領域の例は、後述する。
 なお、カメラ551の撮影方式は、測距が可能な撮影方式であれば特に限定されない。例えば、カメラ551は、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった各種の撮影方式のカメラを、必要に応じて適用することができる。これに限らず、カメラ551は、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。
 また、例えば、外部認識センサ525は、車両500に対する環境を検出するための環境センサを備えることができる。環境センサは、天候、気象、明るさ等の環境を検出するためのセンサであって、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサ等の各種センサを含むことができる。
 さらに、例えば、外部認識センサ525は、車両500の周囲の音や音源の位置の検出等に用いられるマイクロホンを備える。
 車内センサ526は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム511の各部に供給する。車内センサ526が備える各種センサの種類や数は、現実的に車両500に設置可能な数であれば特に限定されない。
 例えば、車内センサ526は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロホン、生体センサのうち1種類以上のセンサを備えることができる。車内センサ526が備えるカメラとしては、例えば、ToFカメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった、測距可能な各種の撮影方式のカメラを用いることができる。これに限らず、車内センサ526が備えるカメラは、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。車内センサ526が備える生体センサは、例えば、シートやステリングホイール等に設けられ、運転者等の搭乗者の各種の生体情報を検出する。
 車両センサ527は、車両500の状態を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム511の各部に供給する。車両センサ527が備える各種センサの種類や数は、現実的に車両500に設置可能な数であれば特に限定されない。
 例えば、車両センサ527は、速度センサ、加速度センサ、角速度センサ(ジャイロセンサ)、および、それらを統合した慣性計測装置(IMU(Inertial Measurement Unit))を備える。例えば、車両センサ527は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、および、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ527は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、および、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ527は、バッテリの残量および温度を検出するバッテリセンサ、および、外部からの衝撃を検出する衝撃センサを備える。
 記録部528は、不揮発性の記憶媒体および揮発性の記憶媒体のうち少なくとも一方を含み、データやプログラムを記憶する。記録部528は、例えばEEPROM(Electrically Erasable Programmable Read Only Memory)およびRAM(Random Access Memory)として用いられ、記憶媒体としては、HDD(Hard Disc Drive)といった磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、および、光磁気記憶デバイスを適用することができる。記録部528は、車両制御システム511の各部が用いる各種プログラムやデータを記録する。例えば、記録部528は、EDR(Event Data Recorder)やDSSAD(Data Storage System for Automated Driving)を備え、事故等のイベントの前後の車両500の情報や車内センサ526によって取得された生体情報を記録する。
 走行支援・自動運転制御部529は、車両500の走行支援および自動運転の制御を行う。例えば、走行支援・自動運転制御部529は、分析部561、行動計画部562、および、動作制御部563を備える。
 分析部561は、車両500および周囲の状況の分析処理を行う。分析部561は、自己位置推定部571、センサフュージョン部572、および、認識部573を備える。
 自己位置推定部571は、外部認識センサ525からのセンサデータ、および、地図情報蓄積部523に蓄積されている高精度地図に基づいて、車両500の自己位置を推定する。例えば、自己位置推定部571は、外部認識センサ525からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両500の自己位置を推定する。車両500の位置は、例えば、後輪対車軸の中心が基準とされる。
 ローカルマップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いて作成される3次元の高精度地図、占有格子地図(Occupancy Grid Map)等である。3次元の高精度地図は、例えば、上述したポイントクラウドマップ等である。占有格子地図は、車両500の周囲の3次元又は2次元の空間を所定の大きさのグリッド(格子)に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識部573による車両500の外部の状況の検出処理および認識処理にも用いられる。
 なお、自己位置推定部571は、GNSS信号、および、車両センサ527からのセンサデータに基づいて、車両500の自己位置を推定してもよい。
 センサフュージョン部572は、複数の異なる種類のセンサデータ(例えば、カメラ551から供給される画像データ、および、レーダ552から供給されるセンサデータ)を組み合わせて、新たな情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、統合、融合、連合等がある。
 認識部573は、車両500の外部の状況の検出を行う検出処理と、車両500の外部の状況の認識を行う認識処理と、を実行する。
 例えば、認識部573は、外部認識センサ525からの情報、自己位置推定部571からの情報、センサフュージョン部572からの情報等に基づいて、車両500の外部の状況の検出処理および認識処理を行う。
 具体的には、例えば、認識部573は、車両500の周囲の物体の検出処理および認識処理等を行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理である。物体の認識処理とは、例えば、物体の種類等の属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。
 例えば、認識部573は、LiDAR553又はレーダ552等によるセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両500の周囲の物体を検出する。これにより、車両500の周囲の物体の有無、大きさ、形状、位置が検出される。
 例えば、認識部573は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両500の周囲の物体の動きを検出する。これにより、車両500の周囲の物体の速度および進行方向(移動ベクトル)が検出される。
 例えば、認識部573は、カメラ551から供給される画像データに対して、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示などを検出または認識する。また、セマンティックセグメンテーション等の認識処理を行うことにより、車両500の周囲の物体の種類を認識してもいい。
 例えば、認識部573は、地図情報蓄積部523に蓄積されている地図、自己位置推定部571による自己位置の推定結果、および、認識部573による車両500の周囲の物体の認識結果に基づいて、車両500の周囲の交通ルールの認識処理を行うことができる。認識部573は、この処理により、信号の位置および状態、交通標識および道路標示の内容、交通規制の内容、並びに、走行可能な車線などを認識することができる。
 例えば、認識部573は、車両500の周囲の環境の認識処理を行うことができる。認識部573が認識対象とする周囲の環境としては、天候、気温、湿度、明るさ、および、路面の状態等が想定される。
 行動計画部562は、車両500の行動計画を作成する。例えば、行動計画部562は、経路計画、経路追従の処理を行うことにより、行動計画を作成する。
 なお、経路計画(Global path planning)とは、スタートからゴールまでの大まかな経路を計画する処理である。この経路計画には、軌道計画と言われ、経路計画で計画された経路において、車両500の運動特性を考慮して、車両500の近傍で安全かつ滑らかに進行することが可能な軌道生成(Local path planning)の処理も含まれる。経路計画を長期経路計画、および起動生成を短期経路計画、または局所経路計画と区別してもよい。安全優先経路は、起動生成、短期経路計画、または局所経路計画と同様の概念を表す。
 経路追従とは、経路計画により計画した経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。行動計画部562は、例えば、この経路追従の処理の結果に基づき、車両500の目標速度と目標角速度を計算することができる。
 動作制御部563は、行動計画部562により作成された行動計画を実現するために、車両500の動作を制御する。
 例えば、動作制御部563は、後述する車両制御部532に含まれる、ステアリング制御部581、ブレーキ制御部582、および、駆動制御部583を制御して、軌道計画により計算された軌道を車両500が進行するように、加減速制御および方向制御を行う。例えば、動作制御部563は、衝突回避あるいは衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告等のADASの機能実現を目的とした協調制御を行う。例えば、動作制御部563は、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行う。
 DMS530は、車内センサ526からのセンサデータ、および、後述するHMI531に入力される入力データ等に基づいて、運転者の認証処理、および、運転者の状態の認識処理等を行う。この場合にDMS530の認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。
 なお、DMS530が、運転者以外の搭乗者の認証処理、および、当該搭乗者の状態の認識処理を行うようにしてもよい。また、例えば、DMS530が、車内センサ526からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。
 HMI531は、各種のデータや指示等の入力と、各種のデータの運転者などへの提示を行う。
 HMI531によるデータの入力について、概略的に説明する。HMI531は、人がデータを入力するための入力デバイスを備える。HMI531は、入力デバイスにより入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム511の各部に供給する。HMI531は、入力デバイスとして、例えばタッチパネル、ボタン、スイッチ、および、レバーといった操作子を備える。これに限らず、HMI531は、音声やジェスチャ等により手動操作以外の方法で情報を入力可能な入力デバイスをさらに備えてもよい。さらに、HMI531は、例えば、赤外線あるいは電波を利用したリモートコントロール装置や、車両制御システム511の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器を入力デバイスとして用いてもよい。
 HMI531によるデータの提示について、概略的に説明する。HMI531は、搭乗者又は車外に対する視覚情報、聴覚情報、および、触覚情報の生成を行う。また、HMI531は、生成されたこれら各情報の出力、出力内容、出力タイミングおよび出力方法等を制御する出力制御を行う。HMI531は、視覚情報として、例えば、操作画面、車両500の状態表示、警告表示、車両500の周囲の状況を示すモニタ画像等の画像や光により示される情報を生成および出力する。また、HMI531は、聴覚情報として、例えば、音声ガイダンス、警告音、警告メッセージ等の音により示される情報を生成および出力する。さらに、HMI531は、触覚情報として、例えば、力、振動、動き等により搭乗者の触覚に与えられる情報を生成および出力する。
 HMI531が視覚情報を出力する出力デバイスとしては、例えば、自身が画像を表示することで視覚情報を提示する表示装置や、画像を投影することで視覚情報を提示するプロジェクタ装置を適用することができる。なお、表示装置は、通常のディスプレイを有する表示装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)機能を備えるウエアラブルデバイスといった、搭乗者の視界内に視覚情報を表示する装置であってもよい。また、HMI531は、車両500に設けられるナビゲーション装置、インストルメントパネル、CMS(Camera Monitoring System)、電子ミラー、ランプなどが有する表示デバイスを、視覚情報を出力する出力デバイスとして用いることも可能である。
 HMI531が聴覚情報を出力する出力デバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホンを適用することができる。
 HMI531が触覚情報を出力する出力デバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子を適用することができる。ハプティクス素子は、例えば、ステアリングホイール、シートといった、車両500の搭乗者が接触する部分に設けられる。
 車両制御部532は、車両500の各部の制御を行う。車両制御部532は、ステアリング制御部581、ブレーキ制御部582、駆動制御部583、ボディ系制御部584、ライト制御部585、および、ホーン制御部586を備える。
 ステアリング制御部581は、車両500のステアリングシステムの状態の検出および制御等を行う。ステアリングシステムは、例えば、ステアリングホイール等を備えるステアリング機構、電動パワーステアリング等を備える。ステアリング制御部581は、例えば、ステアリングシステムの制御を行うECU等の制御ユニット、ステアリングシステムの駆動を行うアクチュエータ等を備える。
 ブレーキ制御部582は、車両500のブレーキシステムの状態の検出および制御等を行う。ブレーキシステムは、例えば、ブレーキペダル等を含むブレーキ機構、ABS(Antilock Brake System)、回生ブレーキ機構等を備える。ブレーキ制御部582は、例えば、ブレーキシステムの制御を行うECU等の制御ユニット等を備える。
 駆動制御部583は、車両500の駆動システムの状態の検出および制御等を行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を備える。駆動制御部583は、例えば、駆動システムの制御を行うECU等の制御ユニット等を備える。
 ボディ系制御部584は、車両500のボディ系システムの状態の検出および制御等を行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバー等を備える。ボディ系制御部584は、例えば、ボディ系システムの制御を行うECU等の制御ユニット等を備える。
 ライト制御部585は、車両500の各種のライトの状態の検出および制御等を行う。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示等が想定される。ライト制御部585は、ライトの制御を行うECU等の制御ユニット等を備える。
 ホーン制御部586は、車両500のカーホーンの状態の検出および制御等を行う。ホーン制御部586は、例えば、カーホーンの制御を行うECU等の制御ユニット等を備える。
 図40は、図39の外部認識センサ525のカメラ551、レーダ552、LiDAR553、および、超音波センサ554等によるセンシング領域の例を示す図である。なお、図40において、車両500を上面から見た様子が模式的に示され、左端側が車両500の前端(フロント)側であり、右端側が車両500の後端(リア)側となっている。
 センシング領域591Fおよびセンシング領域591Bは、超音波センサ554のセンシング領域の例を示している。センシング領域591Fは、複数の超音波センサ554によって車両500の前端周辺をカバーしている。センシング領域591Bは、複数の超音波センサ554によって車両500の後端周辺をカバーしている。
 センシング領域591Fおよびセンシング領域591Bにおけるセンシング結果は、例えば、車両500の駐車支援等に用いられる。
 センシング領域592F乃至センシング領域592Bは、短距離又は中距離用のレーダ552のセンシング領域の例を示している。センシング領域592Fは、車両500の前方において、センシング領域591Fより遠い位置までカバーしている。センシング領域592Bは、車両500の後方において、センシング領域591Bより遠い位置までカバーしている。センシング領域592Lは、車両500の左側面の後方の周辺をカバーしている。センシング領域592Rは、車両500の右側面の後方の周辺をカバーしている。
 センシング領域592Fにおけるセンシング結果は、例えば、車両500の前方に存在する車両や歩行者等の検出等に用いられる。センシング領域592Bにおけるセンシング結果は、例えば、車両500の後方の衝突防止機能等に用いられる。センシング領域592Lおよびセンシング領域592Rにおけるセンシング結果は、例えば、車両500の側方の死角における物体の検出等に用いられる。
 センシング領域593F乃至センシング領域593Bは、カメラ551によるセンシング領域の例を示している。センシング領域593Fは、車両500の前方において、センシング領域592Fより遠い位置までカバーしている。センシング領域593Bは、車両500の後方において、センシング領域592Bより遠い位置までカバーしている。センシング領域593Lは、車両500の左側面の周辺をカバーしている。センシング領域593Rは、車両500の右側面の周辺をカバーしている。
 センシング領域593Fにおけるセンシング結果は、例えば、信号機や交通標識の認識、車線逸脱防止支援システム、自動ヘッドライト制御システムに用いることができる。センシング領域593Bにおけるセンシング結果は、例えば、駐車支援、および、サラウンドビューシステムに用いることができる。センシング領域593Lおよびセンシング領域593Rにおけるセンシング結果は、例えば、サラウンドビューシステムに用いることができる。
 センシング領域594は、LiDAR553のセンシング領域の例を示している。センシング領域594は、車両500の前方において、センシング領域593Fより遠い位置までカバーしている。一方、センシング領域594は、センシング領域593Fより左右方向の範囲が狭くなっている。
 センシング領域594におけるセンシング結果は、例えば、周辺車両等の物体検出に用いられる。
 センシング領域595は、長距離用のレーダ552のセンシング領域の例を示している。
センシング領域595は、車両500の前方において、センシング領域594より遠い位置までカバーしている。一方、センシング領域595は、センシング領域594より左右方向の範囲が狭くなっている。
 センシング領域595におけるセンシング結果は、例えば、ACC(Adaptive Cruise Control)、緊急ブレーキ、衝突回避等に用いられる。
 なお、外部認識センサ525が含むカメラ551、レーダ552、LiDAR553、および、超音波センサ554の各センサのセンシング領域は、図40以外に各種の構成をとってもよい。具体的には、超音波センサ554が車両500の側方もセンシングするようにしてもよいし、LiDAR553が車両500の後方をセンシングするようにしてもよい。また、各センサの設置位置は、上述した各例に限定されない。また、各センサの数は、1つでもよいし、複数であってもよい。
  [7.本開示の構成のまとめ]
 以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
 なお、本明細書において開示した技術は、以下のような構成をとることができる。
 (1) センサの検出情報に基づいて駐車区画の検出処理を実行する駐車区画検出部と、
 目標駐車区画を含む複数の駐車区画を有する駐車区画群の特徴量を記録した駐車区画群特徴量マップを生成して記憶部に格納する目標駐車区画管理部を有し、
 前記目標駐車区画管理部は、
 前記センサの検出情報から得られるセンサ検出駐車区画群の特徴量と、前記駐車区画群特徴量マップに記録された特徴量との比較照合処理を実行して、前記センサ検出駐車区画群が目標駐車区画を有する駐車区画群であるか否かを判定する情報処理装置。
 (2) 前記目標駐車区画管理部は、
 目標駐車区画識別子を記録した駐車区画群特徴量マップを生成して記憶部に格納する(1)に記載の情報処理装置。
 (3) 前記目標駐車区画管理部は、
 目標駐車区画識別子を記録した駐車区画群特徴量マップを参照して、
 前記センサ検出駐車区画群に含まれる複数の駐車区画から1つの目標駐車区画を特定する(1)または(2)に記載の情報処理装置。
 (4) 前記センサはカメラであり、
 前記駐車区画検出部はカメラ撮影画像を解析して駐車区画の検出処理を実行し、
 前記目標駐車区画管理部は、
 カメラ撮影画像を解析して、前記駐車区画群特徴量マップを生成する(1)~(3)いずれかに記載の情報処理装置。
 (5) 前記目標駐車区画管理部は、
 前記センサの検出情報から得られるセンサ検出駐車区画群の特徴量と、前記駐車区画群特徴量マップに記録された特徴量との類似度が、予め規定したしきい値以上である場合に、前記センサ検出駐車区画群が目標駐車区画を有する駐車区画群であると判定する(1)~(4)いずれかに記載の情報処理装置。
 (6) 前記目標駐車区画管理部は、
 前記センサ検出駐車区画群の特徴量と、前記駐車区画群特徴量マップに記録された特徴量との比較照合処理を実行する際、
 目標駐車区画の特徴量、および目標駐車区画以外の駐車区画の特徴量についての比較照合処理を実行する(1)~(5)いずれかに記載の情報処理装置。
 (7) 前記情報処理装置は、
 前記センサの検出情報を入力し、複数の駐車区画を有する駐車区画群の特徴量を解析する駐車区画群特徴量解析部を有する(1)~(6)いずれかに記載の情報処理装置。
 (8) 前記目標駐車区画管理部は、
 駐車区画群の特徴量を示す画像データを有する駐車区画群特徴量マップを生成する(1)~(7)いずれかに記載の情報処理装置。
 (9) 前記目標駐車区画管理部は、
 駐車区画群を構成する駐車区画単位のエントリを有し、各エントリに駐車区画単位の特徴量を記録した表形式の駐車区画群特徴量マップを生成する(1)~(8)いずれかに記載の情報処理装置。
 (10) 前記目標駐車区画管理部は、
 駐車区画群を構成する駐車区画単位のエントリを有し、各エントリに駐車区画単位の特徴量をテキストデータ、または画像データ、またはアイコンの少なくともいずれかを用いて記録した表形式の駐車区画群特徴量マップを生成する(1)~(9)いずれかに記載の情報処理装置。
 (11) 前記目標駐車区画管理部は、
 前記センサの検出情報から得られる検出オブジェクトの位置を識別可能とした駐車区画群特徴量マップを生成する(1)~(10)いずれかに記載の情報処理装置。
 (12) 前記目標駐車区画管理部は、
 前記センサの検出情報から得られる検出オブジェクトを駐車区画群内の駐車区画に対応付けて記録した駐車区画群特徴量マップを生成する(1)~(11)いずれかに記載の情報処理装置。
 (13) 前記目標駐車区画管理部は、
 前記センサの検出情報から得られる検出オブジェクトの種類を識別可能とした駐車区画群特徴量マップを生成する(1)~(12)いずれかに記載の情報処理装置。
 (14) 前記目標駐車区画管理部は、
 前記センサの検出情報から得られる検出オブジェクトの色を識別可能とした駐車区画群特徴量マップを生成する(1)~(13)いずれかに記載の情報処理装置。
 (15) 前記目標駐車区画管理部は、
 前記センサ検出駐車区画群の特徴量の配列と、前記駐車区画群特徴量マップに記録された特徴量の配列との類似度が、予め規定したしきい値以上である場合に、前記センサ検出駐車区画群が目標駐車区画を有する駐車区画群であると判定する(1)~(14)いずれかに記載の情報処理装置。
 (16) 前記目標駐車区画管理部は、
 前記センサの検出情報から得られるセンサ検出駐車区画群の特徴量配列と、前記駐車区画群特徴量マップに記録された特徴量の配列を反転した反転特徴量配列との類似度が、予め規定したしきい値以上である場合に、前記センサ検出駐車区画群が目標駐車区画を有する駐車区画群であると判定する(1)~(15)いずれかに記載の情報処理装置。
 (17) 前記目標駐車区画管理部は、
 自動運転制御部、または運転者の操作する入力部から目標駐車区画の指定情報を入力する(1)~(16)いずれかに記載の情報処理装置。
 (18) 前記目標駐車区画管理部は、
 前記センサ検出駐車区画群が目標駐車区画を有する駐車区画群であるとの判定結果を自動運転制御部に出力し、
 前記自動運転制御部は、
 前記判定結果の入力に応じて、目標駐車区画に対する自動駐車処理を実行する(1)~(17)いずれかに記載の情報処理装置。
 (19) 情報処理装置において実行する情報処理方法であり、
 駐車区画検出部が、センサの検出情報に基づいて駐車区画の検出処理を実行する駐車区画検出ステップと、
 目標駐車区画管理部が、
 目標駐車区画を含む複数の駐車区画を有する駐車区画群の特徴量を記録した駐車区画群特徴量マップを生成して記憶部に格納するマップ記録ステップと、
 前記センサの検出情報から得られるセンサ検出駐車区画群の特徴量と、前記駐車区画群特徴量マップに記録された特徴量との比較照合処理を実行して、前記センサ検出駐車区画群が目標駐車区画を有する駐車区画群であるか否かを判定する目標駐車区画追従ステップを実行する情報処理方法。
 (20) 情報処理装置において情報処理を実行させるプログラムであり、
 駐車区画検出部に、センサの検出情報に基づいて駐車区画の検出処理を実行させる駐車区画検出ステップと、
 目標駐車区画管理部に、
 目標駐車区画を含む複数の駐車区画を有する駐車区画群の特徴量を記録した駐車区画群特徴量マップを生成して記憶部に格納させるマップ記録ステップと、
 前記センサの検出情報から得られるセンサ検出駐車区画群の特徴量と、前記駐車区画群特徴量マップに記録された特徴量との比較照合処理を実行して、前記センサ検出駐車区画群が目標駐車区画を有する駐車区画群であるか否かを判定する目標駐車区画追従ステップを実行させるプログラム。
 また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
 なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にある場合もあるが、各構成の装置が同一筐体内にあるものには限らない。
 以上、説明したように、本開示の一実施例の構成によれば、目標駐車区画を確実に追従可能とした装置、方法が実現される。
 具体的には、例えば、センサ検出情報であるカメラ撮影画像に基づいて駐車区画の検出処理を実行する駐車区画検出部と、目標駐車区画を含む複数の駐車区画を有する駐車区画群の特徴量を記録した駐車区画群特徴量マップを生成して記憶部に格納する目標駐車区画管理部を有する。目標駐車区画管理部は、カメラ撮影画像から得られるセンサ(カメラ)検出駐車区画群の特徴量と、駐車区画群特徴量マップに記録された特徴量との比較照合処理を実行して、センサ(カメラ)検出駐車区画群が目標駐車区画を有する駐車区画群であるか否かを判定する。
 本構成により、目標駐車区画を確実に追従可能とした装置、方法が実現される。
  10 車両
  20 センサ
  30 駐車場
 120 情報処理装置
 121 駐車区画解析部
 122 自動運転制御部
 123 表示制御部
 131 駐車区画検出部
 132 目標駐車区画管理部
 135 記憶部
 140 駆動部(自動運転実行部)
 150 表示部
 160 入力部
 301 CPU
 302 ROM
 303 RAM
 304 バス
 305 入出力インタフェース
 306 入力部
 307 出力部
 308 記憶部
 309 通信部
 310 ドライブ
 311 リムーバブルメディア
 321 センサ
 322 駆動部

Claims (20)

  1.  センサの検出情報に基づいて駐車区画の検出処理を実行する駐車区画検出部と、
     目標駐車区画を含む複数の駐車区画を有する駐車区画群の特徴量を記録した駐車区画群特徴量マップを生成して記憶部に格納する目標駐車区画管理部を有し、
     前記目標駐車区画管理部は、
     前記センサの検出情報から得られるセンサ検出駐車区画群の特徴量と、前記駐車区画群特徴量マップに記録された特徴量との比較照合処理を実行して、前記センサ検出駐車区画群が目標駐車区画を有する駐車区画群であるか否かを判定する情報処理装置。
  2.  前記目標駐車区画管理部は、
     目標駐車区画識別子を記録した駐車区画群特徴量マップを生成して記憶部に格納する請求項1に記載の情報処理装置。
  3.  前記目標駐車区画管理部は、
     目標駐車区画識別子を記録した駐車区画群特徴量マップを参照して、
     前記センサ検出駐車区画群に含まれる複数の駐車区画から1つの目標駐車区画を特定する請求項1に記載の情報処理装置。
  4.  前記センサはカメラであり、
     前記駐車区画検出部はカメラ撮影画像を解析して駐車区画の検出処理を実行し、
     前記目標駐車区画管理部は、
     カメラ撮影画像を解析して、前記駐車区画群特徴量マップを生成する請求項1に記載の情報処理装置。
  5.  前記目標駐車区画管理部は、
     前記センサの検出情報から得られるセンサ検出駐車区画群の特徴量と、前記駐車区画群特徴量マップに記録された特徴量との類似度が、予め規定したしきい値以上である場合に、前記センサ検出駐車区画群が目標駐車区画を有する駐車区画群であると判定する請求項1に記載の情報処理装置。
  6.  前記目標駐車区画管理部は、
     前記センサ検出駐車区画群の特徴量と、前記駐車区画群特徴量マップに記録された特徴量との比較照合処理を実行する際、
     目標駐車区画の特徴量、および目標駐車区画以外の駐車区画の特徴量についての比較照合処理を実行する請求項1に記載の情報処理装置。
  7.  前記情報処理装置は、
     前記センサの検出情報を入力し、複数の駐車区画を有する駐車区画群の特徴量を解析する駐車区画群特徴量解析部を有する請求項1に記載の情報処理装置。
  8.  前記目標駐車区画管理部は、
     駐車区画群の特徴量を示す画像データを有する駐車区画群特徴量マップを生成する請求項1に記載の情報処理装置。
  9.  前記目標駐車区画管理部は、
     駐車区画群を構成する駐車区画単位のエントリを有し、各エントリに駐車区画単位の特徴量を記録した表形式の駐車区画群特徴量マップを生成する請求項1に記載の情報処理装置。
  10.  前記目標駐車区画管理部は、
     駐車区画群を構成する駐車区画単位のエントリを有し、各エントリに駐車区画単位の特徴量をテキストデータ、または画像データ、またはアイコンの少なくともいずれかを用いて記録した表形式の駐車区画群特徴量マップを生成する請求項1に記載の情報処理装置。
  11.  前記目標駐車区画管理部は、
     前記センサの検出情報から得られる検出オブジェクトの位置を識別可能とした駐車区画群特徴量マップを生成する請求項1に記載の情報処理装置。
  12.  前記目標駐車区画管理部は、
     前記センサの検出情報から得られる検出オブジェクトを駐車区画群内の駐車区画に対応付けて記録した駐車区画群特徴量マップを生成する請求項1に記載の情報処理装置。
  13.  前記目標駐車区画管理部は、
     前記センサの検出情報から得られる検出オブジェクトの種類を識別可能とした駐車区画群特徴量マップを生成する請求項1に記載の情報処理装置。
  14.  前記目標駐車区画管理部は、
     前記センサの検出情報から得られる検出オブジェクトの色を識別可能とした駐車区画群特徴量マップを生成する請求項1に記載の情報処理装置。
  15.  前記目標駐車区画管理部は、
     前記センサ検出駐車区画群の特徴量の配列と、前記駐車区画群特徴量マップに記録された特徴量の配列との類似度が、予め規定したしきい値以上である場合に、前記センサ検出駐車区画群が目標駐車区画を有する駐車区画群であると判定する請求項1に記載の情報処理装置。
  16.  前記目標駐車区画管理部は、
     前記センサの検出情報から得られるセンサ検出駐車区画群の特徴量配列と、前記駐車区画群特徴量マップに記録された特徴量の配列を反転した反転特徴量配列との類似度が、予め規定したしきい値以上である場合に、前記センサ検出駐車区画群が目標駐車区画を有する駐車区画群であると判定する請求項1に記載の情報処理装置。
  17.  前記目標駐車区画管理部は、
     自動運転制御部、または運転者の操作する入力部から目標駐車区画の指定情報を入力する請求項1に記載の情報処理装置。
  18.  前記目標駐車区画管理部は、
     前記センサ検出駐車区画群が目標駐車区画を有する駐車区画群であるとの判定結果を自動運転制御部に出力し、
     前記自動運転制御部は、
     前記判定結果の入力に応じて、目標駐車区画に対する自動駐車処理を実行する請求項1に記載の情報処理装置。
  19.  情報処理装置において実行する情報処理方法であり、
     駐車区画検出部が、センサの検出情報に基づいて駐車区画の検出処理を実行する駐車区画検出ステップと、
     目標駐車区画管理部が、
     目標駐車区画を含む複数の駐車区画を有する駐車区画群の特徴量を記録した駐車区画群特徴量マップを生成して記憶部に格納するマップ記録ステップと、
     前記センサの検出情報から得られるセンサ検出駐車区画群の特徴量と、前記駐車区画群特徴量マップに記録された特徴量との比較照合処理を実行して、前記センサ検出駐車区画群が目標駐車区画を有する駐車区画群であるか否かを判定する目標駐車区画追従ステップを実行する情報処理方法。
  20.  情報処理装置において情報処理を実行させるプログラムであり、
     駐車区画検出部に、センサの検出情報に基づいて駐車区画の検出処理を実行させる駐車区画検出ステップと、
     目標駐車区画管理部に、
     目標駐車区画を含む複数の駐車区画を有する駐車区画群の特徴量を記録した駐車区画群特徴量マップを生成して記憶部に格納させるマップ記録ステップと、
     前記センサの検出情報から得られるセンサ検出駐車区画群の特徴量と、前記駐車区画群特徴量マップに記録された特徴量との比較照合処理を実行して、前記センサ検出駐車区画群が目標駐車区画を有する駐車区画群であるか否かを判定する目標駐車区画追従ステップを実行させるプログラム。
PCT/JP2022/031530 2021-10-05 2022-08-22 情報処理装置、および情報処理方法、並びにプログラム WO2023058342A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-163853 2021-10-05
JP2021163853 2021-10-05

Publications (1)

Publication Number Publication Date
WO2023058342A1 true WO2023058342A1 (ja) 2023-04-13

Family

ID=85803371

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/031530 WO2023058342A1 (ja) 2021-10-05 2022-08-22 情報処理装置、および情報処理方法、並びにプログラム

Country Status (1)

Country Link
WO (1) WO2023058342A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981897A (ja) * 1995-09-08 1997-03-28 Fujitsu General Ltd 駐車場管理システム
JP2009205191A (ja) * 2008-02-26 2009-09-10 Hitachi Ltd 駐車スペース認識装置
JP2019038493A (ja) * 2017-08-29 2019-03-14 アイシン精機株式会社 駐車支援装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981897A (ja) * 1995-09-08 1997-03-28 Fujitsu General Ltd 駐車場管理システム
JP2009205191A (ja) * 2008-02-26 2009-09-10 Hitachi Ltd 駐車スペース認識装置
JP2019038493A (ja) * 2017-08-29 2019-03-14 アイシン精機株式会社 駐車支援装置

Similar Documents

Publication Publication Date Title
US11531354B2 (en) Image processing apparatus and image processing method
CN111186373B (zh) 报告装置
US20240054793A1 (en) Information processing device, information processing method, and program
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2020241303A1 (ja) 自動走行制御装置、および自動走行制御システム、並びに自動走行制御方法
WO2022158185A1 (ja) 情報処理装置、情報処理方法、プログラムおよび移動装置
WO2023153083A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び移動装置
US20230245423A1 (en) Information processing apparatus, information processing method, and program
US20230289980A1 (en) Learning model generation method, information processing device, and information processing system
WO2023058342A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP2023062484A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2023007785A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2023047666A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2023162497A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2023063145A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2023149089A1 (ja) 学習装置、学習方法及び学習プログラム
WO2023090001A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US20230206596A1 (en) Information processing device, information processing method, and program
WO2024024471A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2023074419A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2022201892A1 (en) Information processing apparatus, information processing method, and program
JP2022151402A (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2023053498A1 (ja) 情報処理装置、情報処理方法、記録媒体、および車載システム
US20230022458A1 (en) Information processing device, information processing method, and program
WO2023054090A1 (ja) 認識処理装置、認識処理方法、および認識処理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22878213

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023552729

Country of ref document: JP