WO2024057439A1 - 情報処理装置、情報処理方法、及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法、及び情報処理プログラム Download PDF

Info

Publication number
WO2024057439A1
WO2024057439A1 PCT/JP2022/034380 JP2022034380W WO2024057439A1 WO 2024057439 A1 WO2024057439 A1 WO 2024057439A1 JP 2022034380 W JP2022034380 W JP 2022034380W WO 2024057439 A1 WO2024057439 A1 WO 2024057439A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
unit
detection
moving body
map information
Prior art date
Application number
PCT/JP2022/034380
Other languages
English (en)
French (fr)
Inventor
康弘 大内
和将 大橋
Original Assignee
株式会社ソシオネクスト
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソシオネクスト filed Critical 株式会社ソシオネクスト
Priority to PCT/JP2022/034380 priority Critical patent/WO2024057439A1/ja
Publication of WO2024057439A1 publication Critical patent/WO2024057439A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an information processing device, an information processing method, and an information processing program.
  • position information of the moving object is accumulated as the moving object moves.
  • position information is accumulated along the trajectory of the moving object as if there were a three-dimensional object such as a wall. If positional information is accumulated for a three-dimensional object, the shape of the projection plane may not be appropriately deformed.
  • the present invention aims to provide an information processing device, an information processing method, and an information processing program that can generate highly accurate map information.
  • the information processing device disclosed in the present application includes a map information generation section.
  • the map information generation unit initializes a range related to detection by a sensor mounted on the mobile body in map information including first peripheral position information that is information on the position of an object located around the mobile body, and The acquired second surrounding position information is added to the range.
  • highly accurate map information can be generated.
  • the shape of the projection plane can be appropriately deformed using, for example, highly accurate map information.
  • FIG. 1 is a diagram illustrating an example of the overall configuration of an information processing system according to an embodiment.
  • FIG. 2 is a diagram illustrating an example of the hardware configuration of the information processing device according to the embodiment.
  • FIG. 3 is a diagram illustrating an example of the functional configuration of the information processing device according to the embodiment.
  • FIG. 4 is a flowchart illustrating an example of the procedure of map information generation processing according to the embodiment.
  • FIG. 5 is a schematic diagram showing an example of map information according to the embodiment.
  • FIG. 6 is a diagram showing an example of map information when proceeding along the traveling direction from the position of the moving object shown in FIG. 5, according to the embodiment.
  • FIG. 7 is a diagram showing an example of map information when proceeding along the traveling direction from the position of the moving object shown in FIG. 6, according to the embodiment.
  • FIG. 8 is a diagram showing an example of map information when a moving object is parked backwards between two vehicles according to the embodiment.
  • FIG. 9 is a diagram showing an example of map information for reverse parking, which is different from FIG. 8, according to the embodiment.
  • FIG. 10 is a diagram showing an example of map information in a state where the moving object has moved along the backward direction from the position of the moving object in FIG. 9, according to the embodiment.
  • FIG. 11 is a schematic diagram showing an example of a reference projection plane according to the embodiment.
  • FIG. 12 is a schematic diagram showing an example of a projected shape according to the embodiment.
  • FIG. 13 is an explanatory diagram of an asymptotic curve according to the embodiment.
  • FIG. 14 is a schematic diagram showing an example of the configuration of the determining unit according to the embodiment.
  • FIG. 15 is a schematic diagram showing an example of map information according to the embodiment.
  • FIG. 16 is a flowchart illustrating an example of an image processing procedure executed by the information processing apparatus according to the embodiment.
  • FIG. 1 is a diagram showing an example of the overall configuration of an information processing system 1 according to the present embodiment.
  • the information processing system 1 includes an information processing device 10, an imaging section 12, a detection section 14, and a display section 16.
  • the information processing device 10, the imaging section 12, the detection section 14, and the display section 16 are connected to be able to exchange data or signals.
  • the information processing device 10 the imaging unit 12, the detection unit 14, and the display unit 16 will be described as being mounted on the moving object 2, as an example.
  • the moving body 2 is a movable object.
  • the moving body 2 is, for example, a vehicle, a flyable object (a manned airplane, an unmanned aircraft (for example, a UAV (Unmanned Aerial Vehicle), a drone), a robot, a ship, etc. These are moving objects that advance through driving operations, and moving objects that can proceed automatically (autonomously) without human driving operations.
  • the case where the moving object 2 is a vehicle is taken as an example.
  • the vehicle is, for example, a two-wheeled vehicle, a three-wheeled vehicle, a four-wheeled vehicle, etc. In this embodiment, a case where the vehicle is a four-wheeled vehicle will be described as an example.
  • the information processing device 10 may be mounted on a stationary object.
  • a stationary object is, for example, an object fixed to the ground.
  • a stationary object is an object that cannot be moved or an object that is stationary with respect to the ground.
  • the information processing device 10 may be installed in a cloud server that executes processing on the cloud.
  • the photographing unit 12 photographs the surroundings of the moving body 2 and obtains photographed image data.
  • the captured image data will be simply referred to as a captured image.
  • the photographing unit 12 is, for example, a digital camera capable of photographing moving images. Note that photographing refers to converting an image of a subject formed by an optical system such as a lens into an electrical signal.
  • the photographing unit 12 outputs the photographed image to the information processing device 10. Further, in this embodiment, the description will be made assuming that the photographing unit 12 is a monocular fisheye camera (for example, the viewing angle is 195 degrees).
  • the moving body 2 is equipped with four imaging units 12: a front imaging unit 12A, a left imaging unit 12B, a right imaging unit 12C, and a rear imaging unit 12D.
  • the plurality of imaging units 12 (front imaging unit 12A, left imaging unit 12B, right imaging unit 12C, and rear imaging unit 12D) each have imaging areas E in different directions (front imaging area E1, left imaging area E2, The subject is photographed in the right photographing area E3 and the rear photographing area E4), and a photographed image is obtained. That is, it is assumed that the plurality of photographing units 12 have mutually different photographing directions.
  • the photographing directions of these plurality of photographing units 12 are adjusted in advance so that at least a part of the photographing area E overlaps between adjacent photographing units 12 .
  • the imaging area E is shown in the size shown in FIG. 1, but in reality, it includes an area further away from the moving body 2.
  • the four front photographing sections 12A, left photographing section 12B, right photographing section 12C, and rear photographing section 12D are just one example, and there is no limit to the number of photographing sections 12.
  • the moving body 2 has a vertically long shape such as a bus or a truck
  • the front, rear, front of the right side, rear of the right side, front of the left side, and rear of the left side of the moving body 2 are each
  • a total of six imaging units 12 by arranging one imaging unit 12 at a time. That is, depending on the size and shape of the moving body 2, the number and arrangement positions of the imaging units 12 can be arbitrarily set.
  • the detection unit 14 detects position information of each of a plurality of detection points around the moving body 2. In other words, the detection unit 14 detects position information of each detection point in the detection area DA.
  • the detection point refers to each point individually observed by the detection unit 14 in real space.
  • the detection point corresponds to, for example, the position of a three-dimensional object around the moving body 2.
  • the position information of the detection point is information indicating the position of the detection point in real space (three-dimensional space).
  • the positional information of the detection point is, for example, information indicating the distance from the detection unit 14 (that is, the position of the moving body 2) to the detection point and the direction of the detection point with respect to the detection unit 14. These distances and directions can be expressed, for example, by position coordinates indicating the relative position of the detection point with respect to the detection unit 14, position coordinates indicating the absolute position of the detection point, or a vector.
  • the detection unit 14 is, for example, a 3D (Three-Dimensional) scanner, a 2D (Two-Dimensional) scanner, a distance sensor (millimeter wave radar, laser sensor), a sonar sensor that detects an object using sound waves, an ultrasonic sensor, or the like.
  • the laser sensor is, for example, a three-dimensional LiDAR (Laser imaging Detection and Ranging) sensor.
  • the detection unit 14 may be a device using a technique such as a stereo camera or a motion stereo method for measuring distance from an image taken with a monocular camera, for example, a structure from motion (SfM) technique.
  • a plurality of imaging units 12 may be used as the detection unit 14. Further, one of the plurality of imaging units 12 may be used as the detection unit 14.
  • the detection unit 14 as a sensor is a sonar sensor, but the present invention is not limited to this, and various known sensors for distance measurement can be used as the detection unit 14.
  • the detection unit 14 as a sensor may be a distance sensor mounted at the rear of the moving body 2.
  • the rear of the movable body 2 corresponds to, for example, a direction on the opposite side of the movable body 2 from the reference direction.
  • the reference direction corresponds to the direction in front of the driver (forward direction).
  • a distance sensor serving as the detection unit 14 may be further arranged on the side of the moving body 2.
  • the plurality of sensors are not limited to the above description, and can be mounted at any location on the moving body 2 as long as the surroundings of the moving body 2 can be detected. If the plurality of sensors are sensors that can only measure distance, the detection unit 14 may calculate the position information of the planar object by triangulation using the plurality of distance information output from the plurality of sensors. good.
  • a plurality of detection units 14 are mounted on the moving body 2.
  • the plurality of sensors (14A, 14B, 14C, 14D) are arranged in an array, for example, on the exterior of the moving body 2, as shown in FIG.
  • the plurality of detection units 14 each have a detection area DA (left rear detection area DA1, rear left detection area DA1, rear left detection unit 14B) in a different direction.
  • the positional information of each of the plurality of detection points included in the area DA2, the rear right detection area DA3, and the right rear detection area DA4 is detected. That is, it is assumed that the plurality of detection units 14 have different object detection ranges (hereinafter referred to as detection ranges). Further, it is assumed that the detection directions of these plurality of detection units 14 are adjusted in advance so that at least a portion of the detection areas DA overlap between adjacent detection units 14. Further, in FIG.
  • the detection area DA is shown in the size shown in FIG. 1 for convenience of explanation, but in reality, it may include an area further away from the moving body 2.
  • the detection range shown in FIG. 1 is a range encompassed by a plurality of detection areas (DA1 to DA4), but in order to simplify the description below, it is assumed that the detection range is fan-shaped.
  • the four left rear detection sections 14A, rear left detection section 14B, rear right detection section 14C, and right rear detection section 14D are just examples, and there is no limit to the number of detection sections 14.
  • the moving body 2 has a vertically elongated shape such as a bus or a truck
  • one detection unit 14 is further arranged in front of the moving body 2, one in front of the right side, and one in front of the left side
  • a total of seven detection units 14 can also be arranged. That is, depending on the size and shape of the moving body 2, the number and arrangement positions of the detection units 14 can be arbitrarily set.
  • the display unit 16 displays various information.
  • the display unit 16 is, for example, an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display.
  • the information processing device 10 is communicably connected to an electronic control unit (ECU) 3 mounted on the mobile body 2.
  • the ECU 3 is a unit that performs electronic control of the moving body 2.
  • the information processing device 10 is assumed to be able to receive CAN (Controller Area Network) data such as the speed and moving direction of the moving object 2 from the ECU 3.
  • CAN Controller Area Network
  • FIG. 2 is a diagram showing an example of the hardware configuration of the information processing device 10.
  • the information processing device 10 includes a CPU (Central Processing Unit) 10A, a ROM (Read Only Memory) 10B, a RAM (Random Access Memory) 10C, and an I/F (InterFace). 10D, for example, a computer.
  • the CPU 10A, ROM 10B, RAM 10C, and I/F 10D are interconnected by a bus 10E, and have a hardware configuration using a normal computer.
  • the CPU 10A is a calculation device that controls the information processing device 10.
  • the CPU 10A corresponds to an example of a hardware processor.
  • the ROM 10B stores programs and the like that implement various processes by the CPU 10A.
  • the RAM 10C stores data necessary for various processing by the CPU 10A.
  • the I/F 10D is an interface for connecting to the photographing section 12, the detecting section 14, the display section 16, the ECU 3, etc., and for transmitting and receiving data.
  • a program for executing information processing executed by the information processing device 10 of this embodiment is provided by being pre-installed in the ROM 10B or the like.
  • the program executed by the information processing device 10 of this embodiment may be configured to be recorded on a recording medium and provided as a file in an installable or executable format on the information processing device 10.
  • the recording medium is a computer readable medium. Recording media include CD (Compact Disc)-ROM, flexible disk (FD), CD-R (Recordable), DVD (Digital Versatile Disk), USB (Universal Serial Bus) memory, and SD (Secure). re Digital) card, etc.
  • the information processing device 10 determines a range (detection range) related to detection by a sensor (detection unit 14) mounted on the mobile body 2 in map information including first peripheral position information that is information on the position of an object located around the mobile body 2. ) Initialize DA and add the position information of the detection point acquired from the sensor (second surrounding position information) to the detection range DA.
  • the information processing device 10 connects a plurality of spatially adjacent captured images to generate and display a composite image (overview image) that provides a bird's-eye view of the surroundings of the moving object 2.
  • FIG. 3 is a diagram showing an example of the functional configuration of the information processing device 10. Note that, in addition to the information processing device 10, the imaging unit 12, the detection unit 14, the display unit 16, etc. are also illustrated in FIG. 3 in order to clarify the data input/output relationship.
  • the information processing device 10 includes an acquisition unit 20, a map information generation unit 22, a determination unit 30, a transformation unit 32, a virtual viewpoint line of sight determination unit 34, a projection transformation unit 36, and an image synthesis unit 38. .
  • a part or all of the plurality of units described above may be realized by, for example, causing a processing device such as the CPU 10A to execute a program, that is, by software. Further, some or all of the plurality of units described above may be realized by hardware such as an IC (Integrated Circuit), or may be realized by using a combination of software and hardware.
  • the acquisition section 20 acquires a photographed image from the photographing section 12. For example, the acquisition section 20 acquires photographed images from each of the front photographing section 12A, the left photographing section 12B, the right photographing section 12C, and the rear photographing section 12D. The acquisition unit 20 outputs the acquired photographed image to the projection conversion unit 36 every time it acquires a photographed image.
  • the acquisition unit 20 acquires CAN data such as a moving distance and a turning angle from the mobile object 2. Each time the acquisition unit 20 acquires CAN data, it outputs the acquired CAN data to the map information generation unit 22. . Specifically, the acquisition unit 20 outputs the acquired CAN data to the self-position estimation unit 221.
  • the acquisition unit 20 acquires the position information of the detection point from the detection unit 14. For example, the acquisition unit 20 acquires the position information of the detection point (second peripheral position information) from each of the left rear detection unit 14A, the rear left detection unit 14B, the rear right detection unit 14C, and the right rear detection unit 14D.
  • the second peripheral position information corresponds to position information of an object located within the detection range around the moving object 2.
  • the acquisition unit 20 outputs the acquired position information to the map information generation unit 22 every time it acquires the position information of each of the plurality of detection points. Specifically, the acquisition unit 20 outputs the acquired position information to the second offset adjustment unit 227.
  • the map information generation section 22 includes a self-position estimation section 221, a first offset adjustment section 223, an initialization section 225, a second offset adjustment section 227, an addition section 229, a storage section 231, and a correction section 233. , has. Note that as a modification of this embodiment, the correction unit 233 may be omitted.
  • the map information generation unit 22 initializes a range related to detection by the sensor mounted on the mobile body 2 in map information including first peripheral position information that is information on the position of objects located around the mobile body 2, and acquires it from the sensor. The second surrounding position information obtained is added to the range.
  • first peripheral position information that is information on the position of objects located around the mobile body 2
  • the second surrounding position information obtained is added to the range.
  • the self-position estimating unit 221 estimates the position of the mobile object 2 in the global coordinate system of the map information, for example, by odometry based on CAN data. Odometry, for example, calculates the amount of movement of each wheel by calculating the CAN data such as the rotation angle of the wheels and the rotation angle of the steering wheel of the moving object 2, and calculates the position of the moving object 2 (self-position information) from the cumulative calculation. This is a method of estimation. For example, the self-position estimating unit 221 calculates the movement vector (relative movement amount information) of the mobile body 2 based on the position of the mobile body 2 in the acquisition interval of position information (that is, the time interval regarding the acquisition of temporally adjacent position information). ) is estimated by odometry based on CAN data.
  • the self-position estimating unit 221 may estimate the position of the moving body 2 using LiDAR SLAM. Further, when a depth camera such as a ToF (Time-of-Flight) sensor is used as a sensor in the detection unit 14, the self-position estimating unit 221 estimates the position of the mobile object 2 by, for example, Depth SLAM. Good too.
  • LiDAR LiDAR
  • a depth camera such as a ToF (Time-of-Flight) sensor
  • the first offset adjustment unit 223 reads detection range information 23A regarding the detection unit 14 from the storage unit 231.
  • the detection range information 23A is, for example, information indicating the range (detection range) in which the three-dimensional object is detected by the detection unit 14.
  • the detection range information 23A is set in advance by inspection based on the performance of various sensors used as the detection unit 14 (specs: horizontal angle, maximum distance measurement, etc.) and the angle of attachment of the detection unit 14 to the moving body 2. , are stored in the storage unit 231.
  • the detection range may be the entire area in which the detection unit 14 can detect an object, or may be a partial area close to the moving body 2 within the object detection range by the detection unit 14.
  • the detection range information 23A may be adjusted as appropriate based on, for example, speed information of the moving body 2 based on CAN data.
  • the first offset adjustment unit 223 adjusts the offset of the detection range of the detection point by the detection unit 14 in the global coordinate system based on the detection range information 23A regarding the detection unit 14 and the movement vector.
  • the offset of the detection range of the detection unit 14 is, for example, the shift of the detection range with respect to the origin of the global coordinate system and the direction of the detection range.
  • the first offset adjustment unit 223 outputs the adjusted first offset to the initialization unit 225 as first coordinate information.
  • the initialization unit 225 reads the map information 23B from the storage unit 231.
  • the map information 23B is, for example, information that geographically indicates the surrounding situation of the mobile object 2.
  • the map information 23B is information in which a point group, which is the position information of each detection point, is registered in a three-dimensional coordinate space (global coordinate system) with a predetermined position in real space as the origin (reference position). Note that the self-location information of the mobile object 2 may be registered in the map information 23B.
  • the detection point information (point group) registered in the map information 23B corresponds to the first surrounding position information. That is, the first peripheral position information is information on the position of objects located around the moving body 2.
  • the first peripheral position information (and the second peripheral position information) may be acquired from the detection unit 14 implemented by a distance sensor mounted at the rear of the moving body 2, for example.
  • the initialization unit 225 identifies the detection range of the detection unit 14 in the map information 23B based on the map information 23B and the first coordinate information.
  • the update range to be initialized by the initialization unit 225 corresponds to the detection range of the detection unit 14 in the map information 23B based on the position of the moving body 2 (self-location information).
  • the initialization unit 225 initializes (resets) the update range in the map information 23B. For example, as initialization in the update range, the initialization unit 225 deletes the peripheral position information included in the update range from the first peripheral position information from the map information 23B. At this time, the initialization unit 225 may be called a deletion unit because it deletes information included in the update range.
  • the initialization unit 225 may fill data in the update range with 0s as initialization in the update range (zero padding, zero filling, zero reset).
  • the initialization unit 225 is based on the information on the detection range (detection range information 23A) and the information on the relative movement amount (movement vector) of the mobile object 2 with respect to the origin in the map information 23B (relative movement amount information).
  • the peripheral position information to be deleted (surrounding position information to be deleted) may be determined and deleted as initialization.
  • the initialization unit 225 outputs the map information after initialization (hereinafter referred to as post-initialization map information) to the addition unit 229.
  • the second offset adjustment unit 227 adjusts the offset of the position of the detection point in the global coordinate system based on the position information of the detection point (for example, the detection distance in each direction for each sonar) and the movement vector.
  • the offset in the position of the detection point is, for example, the deviation in the position of the detection point with respect to the origin of the global coordinate system and the direction of the detection point.
  • the second offset adjustment unit 227 outputs the adjusted offset (second offset) to the addition unit 229 as second coordinate information.
  • the adding unit 229 specifies the detection range of the detection unit 14 in the post-initialization map information based on the post-initialization map information and the second coordinate information. Note that when the mobile body 2 is stopped, the detection range specified by the initialization unit 225 is applied to the initialized map information, and the detection range specification by the addition unit 229 may be omitted.
  • the adding unit 229 adds the second surrounding position information acquired by the sensor (detecting unit 14) to the detection range in the map information 23B. That is, the adding unit 229 registers the second surrounding position information in the detection range in the initialized map information. Thereby, updating of the map information 23B is realized. Note that the adding unit 229 may update the self-position of the mobile body 2 in the initialized map information based on the movement vector output from the self-position estimating unit 221. The adding unit 229 stores the updated map information in the storage unit 231 as new map information.
  • new second surrounding position information is sequentially added to the map information 23B as the second surrounding position information is acquired from the detection unit 14 mounted on the moving body 2.
  • the map information 23B is updated sequentially as the mobile body 2 moves.
  • the storage unit 231 stores various data.
  • the storage unit 26 is, for example, a RAM, a semiconductor memory device such as a flash memory, a hard disk, an optical disk, or the like.
  • the storage unit 231 may be a storage device provided outside the information processing device 10.
  • the storage unit 231 may be a storage medium.
  • the storage medium may be one in which programs and various information are downloaded and stored or temporarily stored via a LAN (Local Area Network), the Internet, or the like.
  • LAN Local Area Network
  • the correction unit 233 corrects the position information of each of the plurality of detection points registered in the map information 23B and the self-position information of the mobile object 2.
  • the correction unit 233 corrects the position information and self-position information registered in the map information 23B using the position information of each corresponding detection point P acquired at an acquisition time after the acquisition time of the detection point.
  • the correction unit 233 converts the position information (first peripheral position information) of the detection point registered in the map information 23B into the position information (second peripheral position information) of the corresponding detection point detected again by the detection unit 14. ) to correct.
  • the correction unit 233 further uses various parameters registered in the map information 23B and used to calculate the position information of each detection point P to correct the first surrounding position information and self-position information. Good too.
  • the correction unit 233 corrects the error in the first peripheral position information of the detection point registered in the map information 23B.
  • the correction unit 233 may correct the first surrounding position information of the detection point P registered in the map information 23B using, for example, the least squares method. Through the correction process by the correction unit 233, the cumulative error of the first peripheral position information of the detection point P is corrected.
  • the information processing device 10 may have a configuration that does not include the correction unit 233.
  • map information generation process a process of generating map information 23B (hereinafter referred to as map information generation process) at a predetermined time such as a parking scene of the mobile object 2 is executed.
  • the information processing device 10 determines that the predetermined time has arrived when it is determined that the behavior of the moving object 2 has become a behavior that indicates a parking scene.
  • the behavior indicating a parking scene due to backing up is, for example, when the speed of the moving object 2 falls below a predetermined speed, when the gear of the moving object 2 is put into reverse gear, or when a signal indicating the start of parking is generated by a user's operation instruction, etc. For example, if the application is accepted.
  • the predetermined time is not limited to the parking scene.
  • FIG. 4 is a flowchart illustrating an example of the procedure of map information generation processing. The procedure of map information generation processing and the like will be explained using FIGS. 4 to 10.
  • the acquisition unit 20 acquires CAN data from the mobile body 2 as the mobile body 2 moves.
  • the self-position estimation unit 221 estimates the self-position information of the mobile object 2 by an odometry method using CAN data.
  • the relative movement amount information is obtained, for example, by calculating a movement vector using an odometry method based on CAN data such as the speed and steering angle of the moving body 2.
  • relative movement amount information (movement vector) of the moving body 2 is acquired based on the CAN data (step S1).
  • the first offset adjustment unit 223 reads the detection range information 23A from the storage unit 231.
  • the first offset adjustment unit 223 adjusts the first offset of the detection range based on the detection range information 23A and the relative movement amount information.
  • the initialization unit 225 specifies the detection range in the map information 23B based on the adjusted first offset (first coordinate information) and the map information 23B.
  • the detection range in the map information 23B including the first peripheral position information is specified based on the relative movement amount information and the detection range information 23A (step S2).
  • the specified detection range is information indicating a predetermined range around the moving body relative to the moving body 2, and corresponds to an update range that is a target of initialization by the initialization unit 225. That is, the detection range corresponding to the updated range corresponds to information around the moving body based on the position of the moving body 2 (self-position information).
  • the initialization unit 225 initializes information on detection points included in the update range in the map information 23B. For example, the initialization unit 225 initializes the information of the detection points included in the update range by converting the peripheral position information included in the detection range from among the first peripheral position information from the map information 23B including the first peripheral position information. delete. As a result, the map information 23B including the first peripheral position information in the update range is initialized (step S3). That is, through the processing in step S2 and step S3, the relative movement amount information and the update range are used to determine the surrounding position information located in the update range among the first surrounding position information already stored in the map information 23B. will be deleted. As a result, post-initialization map information in which the update range data is initialized is generated.
  • the acquisition unit 20 acquires the position information of the detection point (second surrounding position information) from the detection unit 14 as the moving body 2 moves (step S4).
  • the acquisition unit 20 acquires the position information of the detection point (second surrounding position information) from the detection unit 14, for example, at the above-mentioned time interval.
  • the second offset adjustment unit 227 adjusts the second offset of the position of the detection point based on the second peripheral position information and the relative movement amount.
  • the adding unit 229 specifies the detection range of the detection unit 14 in the post-initialization map information based on the adjusted second offset (second coordinate information) and the post-initialization map information.
  • the adding unit 229 adds the second surrounding position information to the detection range in the map information 23B. As a result, the acquired second surrounding position information is added to the map information 23B using the relative movement amount information. As described above, the map information 23B is updated (step S5).
  • the adding unit 229 outputs the updated map information 23B to the determining unit 30 and the storage unit 231 (step S6).
  • the output destination of the updated map information 23B is not limited to the above, and may be output to various components that utilize the updated map information 23B.
  • step S7 If the map information generation process is not completed (No in step S7), the processes from step S1 onwards are repeated. That is, when the information processing device 10 determines to continue the map information generation process (No in step S7), the surrounding position information within the update range is deleted again from the map information 23B, and the newly acquired surrounding position information is deleted. (second surrounding position information) is repeatedly executed. If the map information generation process is finished (Yes in step S7), the procedure of the map information generation process is finished.
  • the end of the map information generation process is determined by, for example, stopping the power supply in the moving body 2 (for example, stopping the operating power supply when the moving body 2 is a vehicle). Note that the determination of the end of the map information generation process is not limited to stopping the power supply in the mobile body 2, and can be arbitrarily set.
  • FIG. 5 is a schematic diagram showing an example of the map information 23B.
  • the map information 23B shown in FIG. 5 shows the moving object 2, the traveling direction TD of the moving object 2, the detection range DA by the detection unit 14, and a character string car indicating another car.
  • the map information 23B includes point cloud information, which is position information (first surrounding position information) of each detection point P, as the mobile object 2 moves, in the three-dimensional coordinate space (global coordinates). This is information registered at the corresponding coordinate position in the system).
  • FIG. 6 is a diagram showing an example of the map information 23B when moving along the traveling direction TD from the position of the moving body 2 shown in FIG. 5.
  • the map information 23B shown in FIG. 6 shows the moving object 2, the traveling direction TD of the moving object 2, the detection range DA by the detection unit 14, and a character string car indicating another car. .
  • the detection point BP detected in FIG. is added to the map information 23B.
  • the detection unit 14 (a plurality of sensors) installed at the rear of the moving object 2 acquires positional information of an object (car) around the moving object 2, and the acquired positional information is 1 surrounding position information is stored in the map information 23B.
  • FIG. 7 is a diagram showing an example of the map information 23B when moving along the traveling direction TD from the position of the moving body 2 shown in FIG. 6.
  • the map information 23B shown in FIG. 7 shows the moving object 2, the traveling direction TD of the moving object 2, the detection range DA by the detection unit 14, and a character string car indicating another car.
  • the position information (detection point) PP goes outside the detection range DA, it is updated based on the information of the odometry method using CAN data. It is stored as surrounding location information.
  • the detection unit 14 (sensor) mounted at the rear of the moving object 2 is used as an example, but the embodiment is not limited thereto.
  • the detection unit 14 (sensor) installed in front or on the side of the vehicle of the moving body P may acquire position information of objects around the moving body 2 when the moving body 2 moves forward.
  • FIG. 8 shows that after moving the front of the moving body 2 from the position of the moving body 2 shown in FIG. 7 to the left side with respect to the traveling direction TD, the moving body 2 is parked backward between two vehicles (car1 and car2).
  • FIG. 4 is a diagram showing an example of map information 23B in the case of FIG. In FIG. 8, for convenience of explanation, a pedestrian PDS as a moving object is shown crossing behind the moving object 2 from the rear right side to the left side of the moving object 2.
  • the map information 23B in FIG. 8 shows the moving body 2, the pedestrian PDS, the movement direction DM of the pedestrian PDS, the detection range DA of the detection unit 14, and the character string car (car1, car2, car) indicating other vehicles.
  • the pedestrian PDS is moving along the movement direction DM.
  • the map information 23B in the update range is not initialized, detection points are accumulated along the movement of the pedestrian PDS.
  • the detection point exists at the position after the pedestrian PDS has passed, and the information on the detection point stored in the map information 23B differs from the actual position of the pedestrian PDS around the mobile object 2. It ends up.
  • the detection points of the pedestrian PDS are sequentially deleted by the initialization unit 225, and therefore are not stored in the map information 23B. That is, as shown in FIG. 8, since the detection range DA is always updated to the latest state, past detection points of pedestrian PDS do not remain in the map information 23B.
  • the difference between the detection point information accumulated in the map information 23B and the actual position of the pedestrian PDS in the vicinity of the moving body 2 is suppressed.
  • the detection points PP of past unmoving objects detected by the detection range DA are sequentially updated and accumulated by the odometry method using CAN data, they remain in the map information 23B as the first surrounding position information.
  • the object detected in the detection range DA and updated to the latest state is not limited to the pedestrian PDS, and may be, for example, another moving object or a stationary object.
  • FIG. 9 is a diagram showing an example of map information 23B for reverse parking, which is different from FIG. 8.
  • the three-dimensional object TDO, the moving body 2, the advancing direction (retreating direction) TD of the moving body 2, and the detection range DA by the detection unit 14 are shown.
  • the first surrounding position information PP in FIG. 9 indicates map information already stored in the map information 23B.
  • the first surrounding information PP is indicated by a white circle.
  • FIGS. 5 to 9 show how the range in which the sensor acquires position information of objects surrounding the moving object 2 matches the update range in which the position information is deleted.
  • the range for acquiring position information and the update range do not necessarily have to match exactly.
  • the sensor may acquire position information farther away than the update range.
  • the update range is set to be included in the range for acquiring position information. Further, the update range may be set to be further away than the acquisition range of position information by the sensor.
  • the map information 23B is updated while acquiring information on the relative movement amount of the moving object 2, but when the moving object 2 is stopped, the surrounding position information is deleted. and additions may be made. In this case, for example, even if the pedestrian PDS crosses behind the stopped mobile object 2, it is possible to prevent position information along the trajectory of the pedestrian PDS from accumulating in the map information 23B. .
  • FIG. 10 is a diagram showing an example of the map information 23B in a state where the moving object 2 has further moved along the backward direction TD from the position of the moving object 2 in FIG. 9.
  • the three-dimensional object TDO, the moving body 2, the advancing direction (retreating direction) TD of the moving body 2, and the detection range DA by the detection unit 14 are shown.
  • the first peripheral position information PP is indicated by a white circle
  • the second peripheral position information P is indicated by a black circle.
  • the position information corresponding to the black circles shown in FIG. 10 is deleted from the map information 23B by the initialization unit 225 and added to the map information 23B by the addition unit 229 as the mobile object 2 moves.
  • the determining unit 30 determines the projected shape of the projection plane using the map information 23B and the self-position information. That is, the determination unit 30 determines the projection shape of the projection plane using the position information of the detection point P (first peripheral position information and second peripheral position information) accumulated in the map information 23B and the self-position information. .
  • the projection plane is a three-dimensional plane on which a peripheral image of the moving object 2 is projected.
  • the projection plane is a virtual three-dimensional plane onto which the photographed image 50 of the vicinity of the moving body is projected.
  • the projected shape of the projection plane has a three-dimensional (3D) shape that is virtually formed in a virtual space corresponding to the real space.
  • the surrounding image of the moving body 2 is a photographed image of the surroundings of the moving body 2.
  • the surrounding images of the moving body 2 are captured images taken by each of the imaging units 12A to 12D.
  • the determining unit 30 determines the shape of the projection plane based on the map information 23B.
  • the determining unit 30 determines, as the projected shape, a shape obtained by deforming the reference projection plane according to the position information of the detection point P registered in the map information 23B.
  • FIG. 11 is a schematic diagram showing an example of the reference projection plane 40.
  • the reference projection plane 40 is, for example, a projection plane having a shape that serves as a reference when changing the shape of the projection plane.
  • the shape of the reference projection plane 40 is, for example, a bowl shape, a cylinder shape, or the like.
  • the bowl shape has a bottom surface 40A and a side wall surface 40B, one end of the side wall surface 40B is continuous with the bottom surface 40A, and the other end is open.
  • the width of the horizontal cross section of the side wall surface 40B increases from the bottom surface 40A side toward the opening side of the other end.
  • the bottom surface 40A is, for example, circular.
  • the circular shape includes a perfect circle and a circular shape other than a perfect circle, such as an ellipse.
  • the horizontal cross section is an orthogonal plane that is orthogonal to the vertical direction (arrow Z direction).
  • the orthogonal plane is a two-dimensional plane along the arrow X direction that is orthogonal to the arrow Z direction, and the arrow Y direction that is orthogonal to the arrow Z direction and the arrow X direction.
  • the horizontal cross section and the orthogonal plane may be referred to as the XY plane below.
  • the bottom surface 40A may have a shape other than a circular shape, such as an egg shape.
  • the cylindrical shape is a shape consisting of a circular bottom surface 40A and a side wall surface 40B continuous to the bottom surface 40A.
  • the side wall surface 40B constituting the cylindrical reference projection surface 40 has a cylindrical shape with an opening at one end continuous with the bottom surface 40A and an open end at the other end.
  • the side wall surface 40B constituting the cylindrical reference projection surface 40 has a shape in which the diameter in the XY plane is approximately constant from the bottom surface 40A side toward the opening side of the other end.
  • the bottom surface 40A may have a shape other than a circular shape, such as an egg shape.
  • the reference projection plane 40 is a three-dimensional model that is virtually formed in a virtual space with a bottom surface 40A that substantially coincides with the road surface below the moving object 2, and a self-position S of the moving object 2 at the center of the bottom surface 40A.
  • Self-location S corresponds to self-location information.
  • the determining unit 30 determines a shape obtained by transforming the reference projection plane 40 into a shape that passes through the detection point P closest to the moving body 2 as the projected shape.
  • the shape passing through the detection point P means that the side wall surface 40B after deformation has a shape passing through the detection point P.
  • FIG. 12 is a schematic diagram showing an example of the projected shape 41.
  • the determining unit 30 determines, as the projection shape 41, a shape obtained by deforming the reference projection plane 40 into a shape that passes through the detection point P closest to the self-position S of the moving body 2, which is the center of the bottom surface 40A of the reference projection plane 40.
  • the self-position S is the latest self-position S calculated by the self-position estimating section 24, that is, the latest position of the mobile object 2.
  • the determining unit 30 changes the bottom surface 40A and
  • the deformed shape of a part of the side wall surface 40B is determined as the projected shape 41.
  • the projected shape 41 after deformation is, for example, a shape raised from a rising line 44 on the bottom surface 40A in a direction approaching the center of the bottom surface 40A.
  • Raising means, for example, moving a part of the side wall surface 40B and the bottom surface 40A of the reference projection plane 40 closer to the center of the bottom surface 40A so that the angle between the side wall surface 40B and the bottom surface 40A becomes smaller. It means to bend or bend in a direction.
  • the determining unit 30 determines to deform the specific area on the reference projection plane 40 so as to protrude to a position passing through the detection point P from the perspective of the XY plane (planar view).
  • the shape and range of the specific area may be determined based on predetermined criteria. Then, the determining unit 30 deforms the reference projection plane 40 so that the distance from the self-position S continuously increases from the protruding specific area toward areas other than the specific area on the side wall surface 40B. Decide on the shape.
  • the projection shape 41 it is preferable to determine the projection shape 41 so that the outer periphery of the cross section along the XY plane is curved.
  • the outer periphery of the cross section of the projection shape 41 is, for example, circular, but may be a shape other than circular.
  • the determining unit 30 may determine, as the projected shape 41, a shape obtained by deforming the reference projection plane 40 so as to follow an asymptotic curve.
  • the asymptotic curve is an asymptotic curve of a plurality of detection points P.
  • the determining unit 30 generates an asymptotic curve of a predetermined number of detection points P in a direction away from the detection point P closest to the self-position S of the moving body 2 .
  • the number of detection points P may be plural.
  • the number of detection points P is preferably three or more.
  • the determining unit 30 generates asymptotic curves of a plurality of detection points P located at positions separated from the self-position S by a predetermined angle or more.
  • FIG. 13 is an explanatory diagram of the asymptotic curve Q.
  • FIG. 13 is an example in which an asymptotic curve Q is shown in a projection image 51 obtained by projecting a captured image onto a projection plane when the moving body 2 is viewed from above.
  • the determining unit 30 has identified three detection points P in order of proximity to the self-position S of the moving body 2.
  • the determining unit 30 generates an asymptotic curve Q of these three detection points P.
  • the determining unit 30 may determine, as the projected shape 41, a shape obtained by deforming the reference projection plane 40 so as to follow the generated asymptotic curve Q.
  • the determining unit 30 divides the area around the self-position S of the mobile object 2 into specific angular ranges, and for each angular range, detects a detection point P closest to the mobile object 2 or a plurality of detection points in order of proximity to the mobile object 2.
  • the detection point P may be specified.
  • the determining unit 30 determines, for each angle range, a shape obtained by deforming the reference projection plane 40 so that the shape passes through the specified detection point P or the shape follows the asymptotic curve Q of the specified plurality of detection points P. , may be determined as the projected shape 41.
  • FIG. 14 is a schematic diagram showing an example of the configuration of the determining unit 30.
  • the determining unit 30 includes an extracting unit 30A, a nearest neighbor identifying unit 30B, a reference projection plane shape selecting unit 30C, a scale determining unit 30D, an asymptotic curve calculating unit 30E, and a shape determining unit 30F.
  • the extraction unit 30A uses the self-location information of the mobile object 2 and the map information 23B to extract a detection point P existing within a specific range from among the plurality of detection points P included in the map information 23B.
  • the map information 23B includes information on the distance from the mobile object 2 to the detection point P.
  • the specific range is, for example, a range from the road surface on which the moving body 2 is placed to a height corresponding to the vehicle height of the moving body 2. Note that the range is not limited to this range.
  • the extraction unit 30A can, for example, extract the detection point P of an object that becomes an obstacle to the movement of the moving body 2.
  • the extraction unit 30A outputs distance information for each of the extracted detection points P to the nearest neighbor identification unit 30B.
  • the extraction unit 30A outputs the current self-position information of the moving body 2 to the virtual viewpoint line of sight determination unit 34. Note that when the distance information from the mobile object 2 to the detection point P is not included in the map information 23B, the distance information may be converted using the map information 23B and the self-position information and input to the extraction unit 30A.
  • the nearest neighbor identification unit 30B divides the area surrounding the self-position S of the mobile object 2 into specific angular ranges, and detects a detection point P closest to the mobile object 2 or a plurality of detection points in order of proximity to the mobile object 2 for each angular range. Identify the detection point P.
  • the nearest neighbor identification unit 30B identifies the detection point P using the distance information received from the extraction unit 30A. In the present embodiment, an example will be described in which the nearest neighbor identifying unit 30B identifies a plurality of detection points P in order of proximity to the moving object 2 for each angular range.
  • the nearest neighbor identification unit 30B outputs the distance information of the detection point P identified for each angular range to the reference projection plane shape selection unit 30C, the scale determination unit 30D, and the asymptotic curve calculation unit 30E.
  • the reference projection plane shape selection unit 30C selects the shape of the reference projection plane 40.
  • the reference projection plane shape selection unit 30C selects the shape of the reference projection plane 40 by reading one specific shape from the storage unit 231 that stores shapes of a plurality of types of reference projection planes 40.
  • the reference projection plane shape selection unit 30C selects the shape of the reference projection plane 40 based on the positional relationship between the self position and surrounding three-dimensional objects, distance information, and the like. Note that the shape of the reference projection plane 40 may be selected based on the user's operational instructions.
  • the reference projection plane shape selection unit 30C outputs the determined shape information of the reference projection plane 40 to the shape determination unit 30F. In the present embodiment, as described above, the reference projection plane shape selection unit 30C will be described as an example in which the bowl-shaped reference projection plane 40 is selected.
  • the scale determination unit 30D determines the scale of the reference projection plane 40 of the shape selected by the reference projection plane shape selection unit 30C.
  • the scale determination unit 30D determines, for example, to reduce the scale when there are a plurality of detection points P within a predetermined distance from the self-position S.
  • the scale determining section 30D outputs scale information of the determined scale to the shape determining section 30F.
  • the asymptotic curve calculating unit 30E calculates the asymptotic curve of the calculated asymptotic curve Q using each of the distance information of the detection point P closest to the self-position S for each angular range from the self-position S, which is received from the nearest neighbor specifying unit 30B.
  • the curve information is output to the shape determining section 30F and the virtual viewpoint line of sight determining section 34.
  • the asymptotic curve calculation unit 30E may calculate the asymptotic curves Q of the detection points P accumulated for each of a plurality of parts of the reference projection plane 40. Then, the asymptotic curve calculation unit 30E may output the asymptotic curve information of the calculated asymptotic curve Q to the shape determination unit 30F and the virtual viewpoint line of sight determination unit 34.
  • the shape determination unit 30F enlarges or reduces the reference projection plane 40 having the shape indicated by the shape information received from the reference projection plane shape selection unit 30C to the scale of the scale information received from the scale determination unit 30D. Then, the shape determining unit 30F converts the enlarged or reduced reference projection plane 40 into a projected shape so that it follows the asymptotic curve information of the asymptotic curve Q received from the asymptotic curve calculating unit 30E. 41.
  • the shape determining section 30F outputs projected shape information of the determined projected shape 41 to the transforming section 32.
  • the transformation unit 32 transforms the reference projection plane 40 into a projection shape 41 indicated by the projection shape information received from the determination unit 30. That is, the deforming unit 32 deforms the projection plane onto which the photographed image of the vicinity of the moving object is projected, based on the map information 23B. Specifically, the deformation unit 32 deforms the projection plane based on the first peripheral position information and the second peripheral position information that were not initialized in the map information 23B.
  • the deformation unit 32 Through the deformation process, the deformation unit 32 generates a deformed projection plane 42, which is the deformed reference projection plane 40 (see FIG. 12). That is, the deformation unit 32 deforms the reference projection plane 40 using the position information of the detection point P accumulated in the map information 23B and the self-position information of the mobile object 2. In detail, for example, the deformation unit 32 deforms the reference projection plane 40 into a curved shape passing through the detection point P closest to the moving body 2, based on the projection shape information. Through this deformation process, the deformation unit 32 generates a deformed projection plane 42.
  • the deformation unit 32 deforms the reference projection plane 40 into a shape along an asymptotic curve Q of a predetermined number of detection points P in order of proximity to the moving object 2, based on the projection shape information. Note that it is preferable that the deforming unit 32 deforms the reference projection plane 40 using the position information of the detection point P and the self-position information of the self-position S acquired before the first time.
  • the first time is the latest time when the position information of the detection point P is detected by the detection unit 14, or any time past the latest time.
  • the detection point P acquired before the first time includes position information of a specific object around the moving body 2
  • the detection point P acquired at the first time includes the position information of a specific object around the moving object 2. It does not include location information of a specific object.
  • the determining unit 30 may determine the projected shape 41 in the same manner as described above using the position information of the detection point P acquired before the first time, which is included in the map information 23B.
  • the deformation unit 32 may generate the deformed projection plane 42 in the same manner as described above using the projection shape information of the projection shape 41.
  • the deformation The unit 32 can generate a modified projection plane 42 according to the detection point P detected in the past.
  • the projection conversion unit 36 generates a projection image 51 by projecting the photographed image obtained from the photographing unit 12 onto a modified projection plane 42 which is a reference projection plane 40 transformed by the transformation unit 32.
  • the projection conversion unit 36 receives deformed projection plane information of the deformed projection plane 42 from the deformation unit 32 .
  • the modified projection plane information is information indicating the modified projection plane 42.
  • the projection conversion unit 36 projects the photographed image acquired from the photographing unit 12 via the acquisition unit 20 onto the deformed projection plane 42 indicated by the received deformed projection plane information. Through this projection processing, the projection conversion unit 36 generates a projected image 51.
  • the projection conversion unit 36 converts the projection image 51 into a virtual viewpoint image.
  • the virtual viewpoint image is an image obtained by viewing the projection image 51 in an arbitrary direction from a virtual viewpoint.
  • the projection conversion unit 36 will be explained using FIG. 12.
  • the projection conversion unit 36 projects the photographed image 50 onto the deformed projection surface 42 .
  • the projection conversion unit 36 generates a virtual viewpoint image that is an image obtained by viewing the captured image 50 projected onto the deformed projection surface 42 from an arbitrary virtual viewpoint O in the line-of-sight direction L (not shown).
  • the position of the virtual viewpoint O may be, for example, the latest self-position S of the moving body 2.
  • the values of the XY coordinates of the virtual viewpoint O may be set as the values of the XY coordinates of the latest self-position S of the moving body 2.
  • the value of the Z coordinate (vertical position) of the virtual viewpoint O may be set as the value of the Z coordinate of the detection point P closest to the self-position S of the moving body 2.
  • the viewing direction L may be determined, for example, based on predetermined criteria.
  • the viewing direction L may be, for example, a direction from the virtual viewpoint O toward the detection point P closest to the self-position S of the moving body 2. Further, the viewing direction L may be a direction passing through the detection point P and perpendicular to the deformed projection plane 42. Virtual viewpoint line-of-sight information indicating the virtual viewpoint O and the line-of-sight direction L is created by the virtual viewpoint line-of-sight determination unit 34.
  • the virtual viewpoint line-of-sight determining unit 34 determines virtual viewpoint line-of-sight information, for example, in the following procedure.
  • the virtual viewpoint line-of-sight determining unit 34 determines a direction passing through the detection point P closest to the self-position S of the moving body 2 and perpendicular to the deformed projection plane 42 as the line-of-sight direction L.
  • the virtual viewpoint line-of-sight determination unit 34 fixes the direction of the line-of-sight direction L, and sets the coordinates of the virtual viewpoint O to an arbitrary Z coordinate and an arbitrary XY coordinate in a direction away from the asymptotic curve Q toward the self-position S.
  • the XY coordinates may be coordinates at a position farther from the asymptotic curve Q than the self-position S.
  • the virtual viewpoint line-of-sight determination unit 34 outputs virtual viewpoint line-of-sight information indicating the virtual viewpoint O and the line-of-sight direction L to the projection conversion unit 36.
  • the viewing direction L may be a direction from the virtual viewpoint O toward the position of the apex W of the asymptotic curve Q.
  • the projection conversion unit 36 receives virtual viewpoint line-of-sight information from the virtual viewpoint line-of-sight determination unit 34.
  • the projection conversion unit 36 specifies the virtual viewpoint O and the direction of sight L by receiving the virtual viewpoint line-of-sight information.
  • the projection conversion unit 36 generates a virtual viewpoint image, which is an image viewed from the virtual viewpoint O in the line-of-sight direction L, from the photographed image 50 projected onto the deformed projection surface 42 .
  • the virtual viewpoint image corresponds to, for example, an image in which the photographed image 50 can be visually recognized from the virtual viewpoint O along the line-of-sight direction L.
  • the projection conversion section 36 outputs the virtual viewpoint image to the image composition section 38.
  • the image composition unit 38 generates a composite image by extracting part or all of the virtual viewpoint image. For example, the image synthesis unit 38 determines the width of the overlapping portion of a plurality of photographed images 50 included in the virtual viewpoint image, performs stitching processing of the photographed images 50, and blending processing that determines the photographed image 50 to be displayed in the overlapping portion. conduct. As a result, a composite image 54 is generated. The image composition section 38 then outputs the composite image 54 to the display section 16.
  • the composite image 54 may be a bird's-eye view image with the virtual viewpoint O above the moving body 2, or one in which the interior of the moving body 2 is set as the virtual viewpoint O and the moving body 2 is displayed semitransparently.
  • FIG. 16 is a flowchart illustrating an example of an image processing procedure executed by the information processing device 10.
  • the acquisition section 20 acquires the photographed image 50 from the photographing section 12 (step S10).
  • the acquisition unit 20 outputs the acquired captured image 50 to the projection conversion unit 36.
  • the acquisition unit 20 acquires the position information of each of the plurality of detection points P from the detection unit 14. Further, the acquisition unit 20 acquires CAN data from the ECU 3. Map information 23B is generated by the above-described map information generation process based on the position information of each of the plurality of detection points P and CAN data (step S11).
  • the determining unit 30 acquires the generated map information 23B (step S12).
  • the extraction unit 30A extracts detection points P existing within a specific range from among the detection points P.
  • the nearest neighbor identifying unit 30B identifies a plurality of detection points P in order of proximity to the moving body 2 for each angular range (direction) around the moving body 2 using the distance information of each of the extracted detection points P. .
  • the closest detection point to the mobile object 2 is specified for each direction in the specific range (step S13).
  • the reference projection plane shape selection unit 30C selects the shape of the reference projection plane 40 (step S14). As described above, the reference projection plane shape selection unit 30C will be described using an example of a mode in which the bowl-shaped reference projection plane 40 is selected. Note that the reference projection plane is selected based on self-position information of the moving body 2, position information of objects around the moving body 2 (first peripheral position information and/or second peripheral position information), distance information, etc.
  • the shape of the reference projection plane 40 used for image processing may be selected from a plurality of types of shapes of the reference projection plane 40.
  • the scale determination unit 30D determines the scale of the reference projection plane 40 of the shape selected in step S14 (step S15).
  • the asymptotic curve calculation unit 30E calculates an asymptotic curve Q using each of the distance information of the plurality of detection points P for each angle range specified in step S13 (step S16).
  • the shape determining unit 30F enlarges or reduces the reference projection plane 40 of the shape selected in step S14 to the scale determined in step S15. Then, the shape determining unit 30F deforms the enlarged or reduced reference projection plane 40 so that it has a shape along the asymptotic curve Q calculated in step S16. The shape determination unit 30F determines this deformed shape as the projected shape 41 (step S17).
  • the transformation unit 32 transforms the reference projection plane 40 selected by the reference projection plane shape selection unit 30C into the projection shape 41 determined by the determination unit 30 (step S18). Through this deformation process, the deformation unit 32 generates a deformed projection plane 42 that is the deformed reference projection plane 40 (see FIG. 12).
  • the virtual viewpoint line-of-sight determining unit 34 determines virtual viewpoint line-of-sight information (step S19). For example, the virtual viewpoint line-of-sight determination unit 34 determines the self-position S of the moving body 2 as the virtual viewpoint O, and determines the direction from the virtual viewpoint O toward the position of the apex W of the asymptotic curve Q as the line-of-sight direction L. Specifically, the virtual viewpoint line-of-sight determining unit 34 sets the direction toward the apex W of the asymptotic curve Q of one specific angle range among the asymptotic curves Q calculated for each angle range in step S16 as the line-of-sight direction L. Determine as.
  • the projection conversion unit 36 projects the captured image 50 acquired in step S10 onto the modified projection plane 42 generated in step S17. Then, the projection conversion unit 36 converts the projected image 51 into a virtual viewpoint image by projecting the photographed image 50 onto the deformed projection surface 42 along the line-of-sight direction L from the virtual viewpoint O determined in step S19. That is, the projection conversion unit 36 converts the photographed image 50 projected onto the modified projection surface 42 into a virtual viewpoint image using the virtual viewpoint line-of-sight information (step S20).
  • the image synthesis unit 38 generates a composite image 54 that extracts a part or all of the virtual viewpoint image generated in step S20 (step S21).
  • the virtual viewpoint image includes a portion where the plurality of captured images 50 overlap (hereinafter referred to as an overlapping portion).
  • the image synthesis unit 38 performs, for example, determining the width of the overlapping portion, pasting together the photographed images 50, and performing blending processing to determine the photographed image 50 to be displayed in the overlapping portion.
  • the image composition unit 38 executes display control to output the generated composite image 54 to the display unit 16 (step S22). Thereby, the generated composite image 54 is displayed on the display unit 16.
  • the information processing device 10 determines whether to end the image processing (step S23). For example, the information processing device 10 makes the determination in step S23 by determining whether or not it has received a signal from the ECU 3 that indicates the stoppage of the operation of the mobile body 2 (for example, stoppage of the engine). Further, for example, the information processing apparatus 10 may make the determination in step S23 by determining whether or not an instruction to end image processing has been received through an operation instruction or the like from the user.
  • step S23: No If a negative determination is made in step S23 (step S23: No), the processes of steps S10 to S22 are repeated. If an affirmative determination is made in step S23 (step S23: Yes), the main image processing routine ends.
  • the information processing device 10 uses the sensor (
  • the map information generation unit 22 is provided to initialize a range (detection range) related to detection by the detection unit 14) and add second peripheral position information acquired from the sensor to the detection range.
  • the map information generation unit 22 deletes the peripheral position information included in the detection range from the first peripheral position information from the map information 23B as initialization of data in the detection range DA.
  • the surrounding position information included in the detection range in the map information 23B can be updated in accordance with the acquisition of the position information. That is, according to the information processing device 10 according to the embodiment, surrounding position information is sequentially deleted and added around the moving object 2 (vehicle) in the map information 23B, and the latest situation around the moving object is updated. Reflected map information 23B can be generated. In other words, according to the information processing device 10 according to the embodiment, the position information within the update range in the map information 23B can always be kept up to date.
  • the information processing device 10 according to the embodiment can generate highly accurate (accurate) map information 23B.
  • the information processing device 10 also determines the projection plane (selected reference projection plane 40) on which the captured image 50 around the moving body is projected, based on the map information 23B generated by the map information generation process. It further includes a deformable portion 32 that deforms. For example, the information processing device 10 according to the embodiment deforms the projection plane based on the first peripheral position information and the second peripheral position information that were not initialized in the map information 23B. For example, as shown in FIG. 10, first peripheral position information (white circles) PP and second peripheral position information (black circles) P are used as peripheral position information used in the projection plane deformation process.
  • the projection plane can be transformed using the highly accurate (accurate) map information 23B, so that the photographed image 50 can be displayed on the appropriately transformed projection plane.
  • a composite image overhead image
  • the information processing device 10 according to the embodiment can present a natural overhead image with improved visibility to the user.
  • a plurality of sensors related to the information processing device 10 according to the embodiment are mounted on the moving body 2.
  • a plurality of sensors related to the information processing device 10 according to the embodiment are arranged in an array on the exterior of the moving body 2.
  • the sensor related to the information processing device 10 according to the embodiment may be a distance sensor mounted at the rear of the moving body 2, and the first peripheral position information may be acquired from the distance sensor.
  • the sensor related to the information processing device 10 according to the embodiment may be further disposed on the side of the moving body 2 as a distance sensor.
  • the detection unit 14 when the detection unit 14 is implemented with a plurality of sensors, the surrounding position information obtained by some (nearby) sensors is to be stored/deleted, and the surrounding position information obtained by other (distant) sensors is stored/deleted. Location information may be used only for storage. For these reasons, the information processing device 10 according to the embodiment can generate highly accurate map information 23B in any direction around the mobile object 2.
  • the detection range corresponding to the update range corresponds to information around the moving body based on the position of the moving body 2 (self-position information). Further, according to the information processing device 10 according to the embodiment, based on the detection range information and the information (relative movement amount information) of the relative movement amount (movement vector) of the moving body 2 with respect to the origin in the map information 23B, , determine the surrounding location information to be deleted. For these reasons, according to the information processing device 10 according to the embodiment, it is possible to determine the peripheral position information or update range to be deleted based on the moving body 2, regardless of whether the moving body 2 moves or not. Therefore, according to the information processing device 10 according to the embodiment, the surrounding position information included in the update range can always be maintained in the latest state regardless of whether the moving body 2 moves or stops.
  • the map information 23B generated by the map information generation process As an example of the use of the map information 23B generated by the map information generation process, the process of deforming the projection surface during reverse parking has been described, but the use of the map information 23B is not limited to the process of deforming the projection surface. .
  • the map information 23B may be used for automatic driving, forward parking, or the like.
  • the information processing method includes information processing for the moving object 2 in the map information 23B including first surrounding position information, which is information on the position of objects located around the moving object.
  • first surrounding position information which is information on the position of objects located around the moving object.
  • a detection range of the mounted sensor is initialized, and second peripheral position information acquired from the sensor is added to the range.
  • the procedures and effects of the map information generation process executed by the information processing method are the same as those in the embodiment, and therefore the description thereof will be omitted.
  • the information processing program causes the computer to perform the following steps in the map information 23B including first surrounding position information, which is information on the positions of objects located around the moving body.
  • the detection range of the sensor mounted on the moving body 2 is initialized, and the second peripheral position information acquired from the sensor is added to the range.
  • map information generation processing can also be realized by installing information processing programs from non-volatile storage media into various server devices (processing devices) and expanding them on memory.
  • a program that can cause a computer to execute the method can be stored and distributed in a storage medium such as a magnetic disk (hard disk, etc.), optical disk (CD-ROM, DVD, etc.), semiconductor memory, etc. .
  • the processing procedures and effects of the information processing program are the same as those in the embodiment, so their description will be omitted.
  • highly accurate map information 23B can be generated by sequentially updating the position information within the update range.
  • the shape of the projection plane can be appropriately modified using the highly accurate map information 23B.
  • the information processing apparatus 10, information processing method, and information processing program disclosed in the present application are not limited to the above-mentioned embodiments, etc., and each implementation step etc., the constituent elements may be modified and embodied without departing from the gist of the invention.
  • various inventions can be formed by appropriately combining the plurality of constituent elements disclosed in the above-described embodiments and modifications. For example, some components may be deleted from all the components shown in the embodiments.
  • Information processing system 10 Information processing devices 12, 12A to 12D Photographing unit 14, 14A to 14D Detection unit 20 Acquisition unit 22 Map information generation unit 23A Detection range information 23B Map information 30 Determination unit 30A Extraction unit 30B Nearest neighbor identification unit 30C Standard Projection plane shape selection section 30D Scale determination section 30E Asymptotic curve calculation section 30F Shape determination section 32 Transformation section 34 Virtual viewpoint line of sight determination section 36 Projection transformation section 38 Image composition section 221 Self-position estimation section 223 First offset adjustment section 225 Initialization section 227 Second offset adjustment section 229 Addition section 231 Storage section 233 Correction section

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

情報処理装置（１０）は、一つの態様において、地図情報生成部（２２）を備える。地図情報生成部（２２）は、移動体周辺に位置する物体の位置の情報である第１周辺位置情報を含む地図情報（２３Ｂ）において、移動体（２）に搭載されたセンサによる検知に関する範囲を初期化し、センサから取得された第２周辺位置情報を範囲に追加する。

Description

情報処理装置、情報処理方法、及び情報処理プログラム
　本発明は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。
　ソナーなどのセンサを用いて、移動体と移動体周辺の物体との位置関係などの位置情報を取得する技術がある。また、取得された移動体周辺の画像を用いてＶｉｓｕａｌ　ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）処理を行うことで、移動体の位置と移動体周辺の物体の位置とを示す位置情報を取得（推定）する技術がある。また、移動体の位置と移動体周辺の物体の位置などの取得された位置情報（地図情報）を用いて、移動体周辺の俯瞰画像を生成するための投影面の形状を変形する技術がある。
国際公開第２０２１／１１１５３１号 米国特許出願公開第２０２１／０１４０９３４号明細書 米国特許出願公開第２０２１／０３２３５３９号明細書
　しかしながら、地図情報の取得に関して、例えば移動体周辺の動体（歩行者など）をソナーで検知した場合、当該動体の移動に合わせて動体の位置情報が蓄積される。このとき、動体の軌跡に沿って壁のように立体物があるように位置情報が蓄積されることとなる。立体物があるように位置情報が蓄積されると、投影面の形状が適切に変形されないことがある。
　１つの側面では、本発明は、精度の良い地図情報を生成可能な情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。
　本願の開示する情報処理装置は、一つの態様において、地図情報生成部を備える。前記地図情報生成部は、移動体周辺に位置する物体の位置の情報である第１周辺位置情報を含む地図情報において、前記移動体に搭載されたセンサによる検知に関する範囲を初期化し、前記センサから取得された第２周辺位置情報を前記範囲に追加する。
　本願の開示する情報処理装置の一つの態様によれば、精度の良い地図情報を生成することができる。これにより、本願の開示する情報処理装置の一つの態様によれば、例えば、精度の良い地図情報を用いて、投影面の形状を適切に変形することができる。
図１は、実施形態に係る情報処理システムの全体構成の一例を示す図である。 図２は、実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。 図３は、実施形態に係る情報処理装置の機能的構成の一例を示す図である。 図４は、実施形態に係る地図情報生成処理の手順の一例を示すフローチャートである。 図５は、実施形態に係る地図情報の一例を示す模式図である。 図６は、実施形態に係り、図５に示す移動体の位置から進行方向に沿って進んだ場合の地図情報の一例を示す図である。 図７は、実施形態に係り、図６に示す移動体の位置から進行方向に沿って進んだ場合の地図情報の一例を示す図である。 図８は、実施形態に係り、移動体を２つの車両の間に後退駐車する場合の地図情報の一例を示す図である。 図９は、実施形態に係り、図８とは異なる後退駐車における地図情報の一例を示す図である。 図１０は、実施形態に係り、図９における移動体の位置から移動体が後退方向に沿って移動した状態の地図情報の一例を示す図である。 図１１は、実施形態に係る基準投影面の一例を示す模式図である。 図１２は、実施形態に係る投影形状の一例を示す模式図である。 図１３は、実施形態に係る漸近曲線の説明図である。 図１４は、実施形態に係る決定部の構成の一例を示す模式図である。 図１５は、実施形態に係る地図情報の一例を示す模式図である。 図１６は、実施形態に係り、情報処理装置が実行する画像処理の手順の一例を示すフローチャートである。
　以下、添付図面を参照しながら、本願の開示する情報処理装置、情報処理方法、及び情報処理プログラムの実施形態を詳細に説明する。なお、以下の実施形態は開示の技術を限定するものではない。そして、各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
　図１は、本実施形態の情報処理システム１の全体構成の一例を示す図である。情報処理システム１は、情報処理装置１０と、撮影部１２と、検出部１４と、表示部１６と、を備える。情報処理装置１０と、撮影部１２と、検出部１４と、表示部１６とは、データ又は信号を授受可能に接続されている。
　本実施形態では、情報処理装置１０、撮影部１２、検出部１４、及び表示部１６は、移動体２に搭載された形態を一例として説明する。
　移動体２とは、移動可能な物である。移動体２は、例えば、車両、飛行可能な物体（有人飛行機、無人飛行機（例えば、ＵＡＶ（Ｕｎｍａｎｎｅｄ　Ａｅｒｉａｌ　Ｖｅｈｉｃｌｅ）、ドローン）、ロボット、船舶などである。また、移動体２は、例えば、人による運転操作を介して進行する移動体や、人による運転操作を介さずに自動的に進行（自律進行）可能な移動体である。本実施形態では、移動体２が車両である場合を一例として説明する。車両は、例えば、二輪自動車、三輪自動車、四輪自動車などである。本実施形態では、車両が、四輪自動車である場合を一例として説明する。
　なお、情報処理装置１０、撮影部１２、検出部１４、及び表示部１６の全てが、移動体２に搭載された形態に限定されない。情報処理装置１０は、静止物に搭載されていてもよい。静止物は、例えば、地面に固定された物である。具体的には、静止物は、移動不可能な物や、地面に対して静止した状態の物である。また、情報処理装置１０は、クラウド上で処理を実行するクラウドサーバに搭載されていてもよい。
　撮影部１２は、移動体２の周辺を撮影し、撮影画像データを取得する。以下では、撮影画像データを、単に、撮影画像と称して説明する。撮影部１２は、例えば、動画撮影が可能なデジタルカメラである。なお、撮影とは、レンズなどの光学系により結像された被写体の像を、電気信号に変換することを指す。撮影部１２は、撮影した撮影画像を、情報処理装置１０へ出力する。また、本実施形態では、撮影部１２は、単眼の魚眼カメラ（例えば、視野角が１９５度）である場合を想定して説明する。
　本実施形態では、移動体２に前方撮影部１２Ａ、左方撮影部１２Ｂ、右方撮影部１２Ｃ、後方撮影部１２Ｄの４つの撮影部１２が搭載された形態を一例として説明する。複数の撮影部１２（前方撮影部１２Ａ、左方撮影部１２Ｂ、右方撮影部１２Ｃ、後方撮影部１２Ｄ）は、各々が異なる方向の撮影領域Ｅ（前方撮影領域Ｅ１、左方撮影領域Ｅ２、右方撮影領域Ｅ３、後方撮影領域Ｅ４）の被写体を撮影し、撮影画像を取得する。すなわち、複数の撮影部１２は、撮影方向が互いに異なるものとする。また、これらの複数の撮影部１２は、隣り合う撮影部１２との間で撮影領域Ｅの少なくとも一部が重複となるように、撮影方向が予め調整されているものとする。また、図１においては、説明の便宜上、撮影領域Ｅを図１に示した大きさにて示すが、実際にはさらに移動体２より離れた領域まで含むものとなる。
　また、４つの前方撮影部１２Ａ、左方撮影部１２Ｂ、右方撮影部１２Ｃ、後方撮影部１２Ｄは一例であり、撮影部１２の数に限定はない。例えば、移動体２がバスやトラックの様に縦長の形状を有する場合には、移動体２の前方、後方、右側面の前方、右側面の後方、左側面の前方、左側面の後方のそれぞれ一つずつ撮影部１２を配置し、合計６個の撮影部１２を利用することもできる。すなわち、移動体２の大きさや形状により、撮影部１２の数や配置位置は任意に設定することができる。
　検出部１４は、移動体２の周辺の複数の検出点の各々の位置情報を検出する。言い換えると、検出部１４は、検出領域ＤＡの検出点の各々の位置情報を検出する。検出点とは、実空間における、検出部１４によって個別に観測される点の各々を示す。検出点は、例えば移動体２の周辺の立体物の位置に対応する。
　検出点の位置情報とは、実空間（三次元空間）における検出点の位置を示す情報である。検出点の位置情報は、例えば、検出部１４（すなわち移動体２の位置）から検出点までの距離と、検出部１４を基準とした検出点の方向と、を示す情報である。これらの距離及び方向は、例えば、検出部１４を基準とする検出点の相対位置を示す位置座標、検出点の絶対位置を示す位置座標、又は、ベクトルなどで表すことができる。
　検出部１４は、例えば、３Ｄ（Ｔｈｒｅｅ－Ｄｉｍｅｎｓｉｏｎａｌ）スキャナ、２Ｄ（Ｔｗｏ　Ｄｉｍｅｎｓｉｏｎａｌ）スキャナ、距離センサ（ミリ波レーダ、レーザセンサ）、音波によって物体を探知するソナーセンサ、超音波センサ、などである。レーザセンサは、例えば、三次元ＬｉＤＡＲ（Ｌａｓｅｒ　ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）センサである。また、検出部１４は、ステレオカメラや、単眼カメラで撮影された画像から距離を測距するモーションステレオ法などの技術、例えばＳｆＭ（Ｓｔｒｕｃｔｕｒｅ　ｆｒｏｍ　Ｍｏｔｉｏｎ）技術を用いた装置であってもよい。また、複数の撮影部１２を検出部１４として用いてもよい。また、複数の撮影部１２の１つを検出部１４として用いてもよい。
　また、本実施形態では、センサとしての検出部１４は、ソナーセンサである場合を想定して説明するが、これに限定されず測距のための既知の各種センサを検出部１４として利用可能である。なお、センサとしての検出部１４は、移動体２の後方に搭載された距離センサであってもよい。移動体２の後方とは、例えば、移動体２における基準方向とは反対側の方向に相当する。移動体２が車両である場合、基準方向は、運転者の正面側の方向（前進方向）に相当する。また、検出部１４としての距離センサは、移動体２の側方にさらに配置されてもよい。また、複数のセンサは、上記説明に限定されず、移動体２の周囲を検知可能であれば、移動体２において任意の場所に搭載可能である。複数のセンサが距離のみが計測可能なセンサである場合、検出部１４は、複数のセンサから出力された複数の距離情報を用いた三角測量により、平面的な物体の位置情報を算出してもよい。
　また、本実施形態では、検出部１４は、移動体２に複数搭載される。このとき、複数のセンサ（１４Ａ、１４Ｂ，１４Ｃ、１４Ｄ）は、図１に示すように、例えば、移動体２の外装において、アレイ状に配置される。本実施形態では、移動体２の左側後方検出部１４Ａ、後方左検出部１４Ｂ、後方右検出部１４Ｃ、右側後方検出部１４Ｄの４つの検出部１４が搭載された形態を一例として説明する。
　複数の検出部１４（左側後方検出部１４Ａ、後方左検出部１４Ｂ、後方右検出部１４Ｃ、右側後方検出部１４Ｄ）は、各々が異なる方向の検知領域ＤＡ（左側後方検知領域ＤＡ１、後方左検知領域ＤＡ２、後方右検知領域ＤＡ３、右側後方検知領域ＤＡ４）に含まれる複数の検出点の各々の位置情報を検出する。すなわち、複数の検出部１４は、物体の検知に関する範囲（以下、検知範囲と呼ぶ）が互いに異なるものとする。また、これらの複数の検出部１４は、隣り合う検出部１４との間で検知領域ＤＡの少なくとも一部が重複となるように、検知方向が予め調整されているものとする。また、図１においては、説明の便宜上検知領域ＤＡを図１に示した大きさにて示すが、実際にはさらに移動体２より離れた領域まで含むものであってもよい。加えて、図１に示す検知範囲は、複数の検知領域（ＤＡ１乃至ＤＡ４）により包含される範囲であるが、以下、説明を簡便にするために、扇型形状であるものとする。
　また、４つの左側後方検出部１４Ａ、後方左検出部１４Ｂ、後方右検出部１４Ｃ、右側後方検出部１４Ｄは一例であり、検出部１４の数に限定はない。例えば、移動体２がバスやトラックの様に縦長の形状を有する場合には、移動体２の前方、右側面の前方、左側面の前方のそれぞれ一つずつに検出部１４をさらに配置し、合計７個の検出部１４を配置することもできる。すなわち、移動体２の大きさや形状により、検出部１４の数や配置位置は任意に設定することができる。
　表示部１６は、各種の情報を表示する。表示部１６は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）又は有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどである。
　本実施形態では、情報処理装置１０は、移動体２に搭載された電子制御ユニット（ＥＣＵ：Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）３に通信可能に接続されている。ＥＣＵ３は、移動体２の電子制御を行うユニットである。本実施形態では、情報処理装置１０は、ＥＣＵ３から移動体２の速度や移動方向などのＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）データを受信可能であるものとする。
　次に、情報処理装置１０のハードウェア構成を説明する。
　図２は、情報処理装置１０のハードウェア構成の一例を示す図である。
　情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０Ａ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１０Ｂ、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０Ｃ、及びＩ／Ｆ（ＩｎｔｅｒＦａｃｅ）１０Ｄを含み、例えば、コンピュータである。ＣＰＵ１０Ａ、ＲＯＭ１０Ｂ、ＲＡＭ１０Ｃ、及びＩ／Ｆ１０Ｄは、バス１０Ｅにより相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。
　ＣＰＵ１０Ａは、情報処理装置１０を制御する演算装置である。ＣＰＵ１０Ａは、ハードウェアプロセッサの一例に対応する。ＲＯＭ１０Ｂは、ＣＰＵ１０Ａによる各種の処理を実現するプログラム等を記憶する。ＲＡＭ１０Ｃは、ＣＰＵ１０Ａによる各種の処理に必要なデータを記憶する。Ｉ／Ｆ１０Ｄは、撮影部１２、検出部１４、表示部１６、及びＥＣＵ３などに接続し、データを送受信するためのインターフェースである。
　本実施形態の情報処理装置１０で実行される情報処理を実行するためのプログラムは、ＲＯＭ１０Ｂ等に予め組み込んで提供される。なお、本実施形態の情報処理装置１０で実行されるプログラムは、情報処理装置１０にインストール可能な形式又は実行可能な形式のファイルで記録媒体に記録されて提供するように構成してもよい。記録媒体は、コンピュータにより読取可能な媒体である。記録媒体は、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）メモリ、ＳＤ（Ｓｅｃｕｒｅ　Ｄｉｇｉｔａｌ）カード等である。
　次に、本実施形態に係る情報処理装置１０の機能的構成を説明する。情報処理装置１０は、移動体周辺に位置する物体の位置の情報である第１周辺位置情報を含む地図情報において、移動体２に搭載されたセンサ（検出部１４）による検知に関する範囲（検知範囲）ＤＡを初期化し、センサから取得された検出点の位置情報（第２周辺位置情報）を検知範囲ＤＡに追加する。情報処理装置１０は、空間的に隣り合う複数の撮影画像を繋ぎ合わせて、移動体２の周辺を俯瞰する合成画像（俯瞰画像）を生成し表示する。
　図３は、情報処理装置１０の機能的構成の一例を示す図である。なお、図３には、データの入出力関係を明確にするために、情報処理装置１０に加えて、撮影部１２、検出部１４及び表示部１６などを併せて図示している。
　情報処理装置１０は、取得部２０と、地図情報生成部２２と、決定部３０と、変形部３２と、仮想視点視線決定部３４と、投影変換部３６と、画像合成部３８と、を備える。
　上記複数の各部の一部又は全ては、例えば、ＣＰＵ１０Ａなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよい。また、上記複数の各部の一部又は全ては、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。
　取得部２０は、撮影部１２から撮影画像を取得する。例えば、取得部２０は、前方撮影部１２Ａ、左方撮影部１２Ｂ、右方撮影部１２Ｃ、後方撮影部１２Ｄの各々から撮影画像を取得する。取得部２０は、撮影画像を取得するごとに、取得した撮影画像を投影変換部３６へ出力する。
　取得部２０は、移動体２から、移動距離および旋回角などのＣＡＮデータを取得する、取得部２０は、ＣＡＮデータを取得するごとに、取得したＣＡＮデータを、地図情報生成部２２へ出力する。具体的には、取得部２０は、取得したＣＡＮデータを、自己位置推定部２２１へ出力する。
　取得部２０は、検出点の位置情報を検出部１４から取得する。例えば、取得部２０は、左側後方検出部１４Ａ、後方左検出部１４Ｂ、後方右検出部１４Ｃ、右側後方検出部１４Ｄの各々から検出点の位置情報（第２周辺位置情報）を取得する。第２周辺位置情報は、移動体２の周辺の検出範囲内に位置する物体の位置情報に相当する。取得部２０は、複数の検出点の各々の位置情報を取得するごとに、取得した位置情報を地図情報生成部２２に出力する。具体的には、取得部２０は、取得した位置情報を、第２オフセット調整部２２７へ出力する。
　地図情報生成部２２は、自己位置推定部２２１と、第１オフセット調整部２２３と、初期化部２２５と、第２オフセット調整部２２７と、追加部２２９と、記憶部２３１と、補正部２３３と、を有する。なお、本実施形態の変形例として補正部２３３は、省略されてもよい。地図情報生成部２２は、移動体周辺に位置する物体の位置の情報である第１周辺位置情報を含む地図情報において、移動体２に搭載されたセンサによる検知に関する範囲を初期化し、センサから取得された第２周辺位置情報を当該範囲に追加する。以下、地図情報生成部２２における各構成要素について説明する。
　自己位置推定部２２１は、例えば、ＣＡＮデータに基づくオドメトリ（ｏｄｏｍｅｔｒｙ）により、地図情報のグローバル座標系における移動体２の位置を推定する。オドメトリは、例えば、移動体２における車輪に回転角度およびステアリングの回転角度などのＣＡＮデータに対する計算により、それぞれの車輪の移動量を求め、その累積計算から移動体２の位置（自己位置情報）を推定する手法である。自己位置推定部２２１は、例えば、位置情報の取得間隔（すなわち時間的に隣接する位置情報の取得に関する時間間隔）における移動体２の位置に基づいて、移動体２の移動ベクトル（相対移動量情報ともいう）を、ＣＡＮデータに基づくオドメトリにより推定する。
　なお、検出部１４におけるセンサとしてＬｉＤＡＲが用いられた場合、自己位置推定部２２１は、ＬｉＤＡＲ　ＳＬＡＭにより、移動体２の位置を推定してもよい。また、検出部１４におけるセンサとしてＴｏＦ（Ｔｉｍｅ－ｏｆ－Ｆｌｉｇｈｔ）センサなどのＤｅｐｔｈカメラなどが用いられた場合、自己位置推定部２２１は、例えば、Ｄｅｐｔｈ　ＳＬＡＭにより、移動体２の位置を推定してもよい。
　第１オフセット調整部２２３は、記憶部２３１から、検出部１４に関する検知範囲情報２３Ａを読み出す。検知範囲情報２３Ａは、例えば、検出部１４により立体物の検知の範囲（検知範囲）を示す情報である。検知範囲情報２３Ａは、検出部１４として用いられる各種センサの性能（スペック：水平角、最大測距離など）、および移動体２への検出部１４の取り付け角などに基づく検査等により予め設定されて、記憶部２３１に記憶される。なお、検知範囲は、検出部１４により物体を検出可能な全領域であってもよいし、検出部１４による物体の検知範囲のうち移動体２に近い一部領域であってもよい。また、検知範囲情報２３Ａは、例えば、ＣＡＮデータに基づく移動体２の速度情報に基づいて適宜調整されてもよい。
　第１オフセット調整部２２３は、検出部１４に関する検知範囲情報２３Ａと移動ベクトルとに基づいて、グローバル座標系において検出部１４による検出点の検知範囲のオフセットを調整する。検出部１４の検知範囲のオフセットとは、例えば、グローバル座標系の原点に対する検知範囲のズレおよび検知範囲の向きである。第１オフセット調整部２２３は、調整された第１オフセットを、第１座標情報として初期化部２２５に出力する。
　初期化部２２５は、記憶部２３１から、地図情報２３Ｂを読み出す。地図情報２３Ｂは、例えば、移動体２の周辺状況を地理的に示す情報である。地図情報２３Ｂは、実空間における所定位置を原点（基準位置）とした三次元座標空間（グローバル座標系）に、検出点の各々の位置情報である点群を登録した情報である。なお、地図情報２３Ｂには、移動体２の自己位置情報が登録されていてもよい。地図情報２３Ｂに登録された検出点の情報（点群）は、第１周辺位置情報に対応する。すなわち、第１周辺位置情報は、移動体２の周辺に位置する物体の位置の情報である。なお、第１周辺位置情報（および第２周辺位置情報）は、例えば、移動体２の後方に搭載された距離センサで実現される検出部１４から取得されてもよい。
　初期化部２２５は、地図情報２３Ｂと第１座標情報とに基づいて、地図情報２３Ｂにおける検出部１４の検知範囲を特定する。初期化部２２５による初期化の対象である更新範囲は、移動体２の位置（自己位置情報）を基準とした地図情報２３Ｂにおける検出部１４の検知範囲に対応する。初期化部２２５は、地図情報２３Ｂにおける更新範囲を初期化（リセット）する。例えば、初期化部２２５は、更新範囲における初期化として、第１周辺位置情報のうち更新範囲に含まれる周辺位置情報を地図情報２３Ｂから削除する。このとき、初期化部２２５は、更新範囲に含まれる情報を削除しているため、削除部と称されてもよい。なお、初期化部２２５は、更新範囲における初期化として、更新範囲におけるデータを０で埋めてもよい（ゼロパディング、ゼロ埋め、ゼロリセット）。また、初期化部２２５は、検知範囲の情報（検知範囲情報２３Ａ）と地図情報２３Ｂにおける原点に対する移動体２の相対的な移動量（移動ベクトル）の情報（相対移動量情報）とに基づいて、初期化として削除される周辺位置情報（削除対象の周辺位置情報）を決定して削除してもよい。初期化部２２５は、初期化後の地図情報（以下、初期化後地図情報と呼ぶ）を、追加部２２９へ出力する。
　第２オフセット調整部２２７は、検出点の位置情報（例えば、ソナーごとの各方向における検知距離など）と移動ベクトルとに基づいて、グローバル座標系における検出点の位置のオフセットを調整する。検出点の位置のオフセットとは、例えば、グローバル座標系の原点に対する検出点の位置のズレおよび検出点の向きである。第２オフセット調整部２２７は、調整されたオフセット（第２オフセット）を、第２座標情報として追加部２２９に出力する。
　追加部２２９は、初期化後地図情報と第２座標情報とに基づいて、初期化後地図情報における検出部１４の検知範囲を特定する。なお、移動体２が停止している場合、初期化部２２５により特定された検知範囲が初期化後地図情報に適用され、追加部２２９による検知範囲の特定を省略してもよい。追加部２２９は、センサ（検出部１４）により取得された第２周辺位置情報を、地図情報２３Ｂにおける検知範囲に追加する。すなわち、追加部２２９は、第２周辺位置情報を、初期化後地図情報における検知範囲に登録する。これにより、地図情報２３Ｂの更新が実現される。なお、追加部２２９は、自己位置推定部２２１から出力された移動ベクトルに基づいて、初期化後地図情報における移動体２の自己位置を更新してもよい。追加部２２９は、更新された地図情報を、新たな地図情報として記憶部２３１に記憶させる。
　これにより、移動体２に搭載された検出部１４からの第２周辺位置情報の取得に伴って、新たな第２周辺位置情報が、地図情報２３Ｂに逐次的に追加される。例えば、移動体２移動している場合、移動体２の移動に伴って、地図情報２３Ｂが逐次更新される。
　記憶部２３１は、各種のデータを記憶する。記憶部２６は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。なお、記憶部２３１は、情報処理装置１０の外部に設けられた記憶装置であってもよい。また、記憶部２３１は、記憶媒体であってもよい。具体的には、記憶媒体は、プログラムや各種情報を、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）やインターネットなどを介してダウンロードして記憶又は一時記憶したものであってもよい。
　補正部２３３は、地図情報２３Ｂに登録された複数の検出点の各々の位置情報、および移動体２の自己位置情報を補正する。補正部２３３は、該検出点の取得時刻より後の取得時刻で取得した対応する検出点Ｐの各々の位置情報を用いて、地図情報２３Ｂに登録済の位置情報および自己位置情報を補正する。
　例えば、補正部２３３は、地図情報２３Ｂに登録されている検出点の位置情報（第１周辺位置情報）を、検出部１４によって再度検出された対応する検出点の位置情報（第２周辺位置情報）を用いて補正する。このとき、補正部２３３は、地図情報２３Ｂに登録されている、検出点Ｐの各々の位置情報の算出に用いた各種パラメータを更に用いて、第１周辺位置情報および自己位置情報を補正してもよい。この補正処理により、補正部２３３は、地図情報２３Ｂに登録されている検出点の第１周辺位置情報の誤差を修正する。補正部２３３は、例えば、最小二乗法などを用いて、地図情報２３Ｂに登録されている検出点Ｐの第１周辺位置情報を補正すればよい。補正部２３３による補正処理によって、検出点Ｐの第１周辺位置情報の累積誤差が補正される。なお、情報処理装置１０は、補正部２３３を備えない構成であってもよい。
　以下、一例として、移動体２の駐車シーンなどの所定時刻で地図情報２３Ｂを生成する処理（以下、地図情報生成処理と呼ぶ）を実行する場合を想定する。例えば、情報処理装置１０は、移動体２の挙動が駐車シーンを示す挙動となったと判別したときに、該所定時刻に至ったと判断する。後退による駐車シーンを示す挙動は、例えば、移動体２の速度が所定速度以下となった場合、移動体２のギアがバックギアに入れられた場合、ユーザの操作指示などによって駐車開始を示す信号を受付けた場合などである。なお、該所定時刻は、駐車シーンに限定されない。
　図４は、地図情報生成処理の手順の一例を示すフローチャートである。図４乃至図１０を用いて、地図情報生成処理の手順等について説明する。
　（地図情報生成処理）
　移動体２の移動に伴って、取得部２０は、ＣＡＮデータを移動体２から取得する。自己位置推定部２２１は、ＣＡＮデータを用いたオドメトリ法により、移動体２の自己位置情報を推定する。相対移動量情報は、例えば、移動体２の速度や舵角等のＣＡＮデータを基にしたオドメトリ法による移動ベクトルの算出により取得される。以上により、ＣＡＮデータに基づいて、移動体２の相対移動量情報（移動ベクトル）が取得される（ステップＳ１）。
　第１オフセット調整部２２３は、記憶部２３１から検知範囲情報２３Ａを読み出す。第１オフセット調整部２２３は、検知範囲情報２３Ａと相対移動量情報とに基づいて、検知範囲の第１オフセットを調整する。初期化部２２５は、調整された第１オフセット（第１座標情報）と地図情報２３Ｂとに基づいて、地図情報２３Ｂにおける検知範囲を特定する。以上により、相対移動量情報と検知範囲情報２３Ａとに基づいて、第１周辺位置情報を含む地図情報２３Ｂでの検知範囲が特定される（ステップＳ２）。特定された検知範囲は、移動体２に対する相対的な移動体周辺の所定範囲を示す情報であって、初期化部２２５による初期化の対象である更新範囲に対応する。すなわち、更新範囲に対応する検知範囲は、移動体２の位置（自己位置情報）を基準とした移動体周辺の情報に対応する。
　初期化部２２５は、地図情報２３Ｂにおける更新範囲に含まれる検出点の情報を初期化する。例えば、初期化部２２５は、更新範囲に含まれる検出点の情報の初期化として、第１周辺位置情報のうち検知範囲に含まれる周辺位置情報を、第１周辺位置情報を含む地図情報２３Ｂから削除する。これらにより、更新範囲において第１周辺位置情報を含む地図情報２３Ｂが初期化される（ステップＳ３）。すなわち、ステップＳ２とステップＳ３との処理により、相対移動量情報と更新範囲とを用いて、地図情報２３Ｂに既に蓄積されていた第１周辺位置情報のうち、更新範囲に位置する周辺位置情報が削除される。これにより、更新範囲のデータが初期化された初期化後地図情報が生成される。
　取得部２０は、移動体２の移動に伴って、検出点の位置情報（第２周辺位置情報）を、検出部１４から取得する（ステップＳ４）。移動体２が停止している場合、取得部２０は、例えば、上記時間間隔で、検出点の位置情報（第２周辺位置情報）を、検出部１４から取得する。
　第２オフセット調整部２２７は、第２周辺位置情報と相対移動量とに基づいて、検出点の位置の第２オフセットを調整する。追加部２２９は、調整された第２オフセット（第２座標情報）と初期化後地図情報とに基づいて、初期化後地図情報における検出部１４の検知範囲を特定する。追加部２２９は、第２周辺位置情報を、地図情報２３Ｂにおける検知範囲に追加する。これらにより、相対移動量情報を用いて、取得された第２周辺位置情報が地図情報２３Ｂに追加される。以上により、地図情報２３Ｂは、更新される（ステップＳ５）。
　追加部２２９は、更新された地図情報２３Ｂを決定部３０および記憶部２３１に出力する（ステップＳ６）。なお、更新された地図情報２３Ｂの出力先は、上記に限定されず、更新された地図情報２３Ｂを利用する各種構成要素に出力されてもよい。
　地図情報生成処理が終了されなければ（ステップＳ７のＮｏ）、ステップＳ１以降の処理が繰り返される。すなわち、情報処理装置１０により地図情報生成処理の継続が判断されると（ステップＳ７のＮｏ）、地図情報２３Ｂから、再度の更新範囲内の周辺位置情報の削除と、新たに取得した周辺位置情報（第２周辺位置情報）の追加とが繰り返し実行される。地図情報生成処理が終了されれば（ステップＳ７のＹｅｓ）、地図情報生成処理の手順は終了する。地図情報生成処理の終了の判定は、例えば、移動体２における電源の停止（例えば、移動体２が車両である場合、動作電源の停止）などである。なお、地図情報生成処理の終了の判定は、移動体２における電源の停止に限定されず、任意に設定可能である。
　図５は、地図情報２３Ｂの一例を示す模式図である。図５に示す地図情報２３Ｂでは、説明の便宜上、移動体２と、移動体２の進行方向ＴＤと、検出部１４による検知範囲ＤＡと、他の車を示す文字列ｃａｒとが示されている。図５に示すように、地図情報２３Ｂは、移動体２の移動に伴って、検出点Ｐの各々の位置情報（第１周辺位置情報）である点群情報が該３次元座標空間（グローバル座標系）における対応する座標位置に登録された情報である。
　図６は、図５に示す移動体２の位置から進行方向ＴＤに沿って進んだ場合の地図情報２３Ｂの一例を示す図である。図６に示す地図情報２３Ｂでは、説明の便宜上、移動体２と、移動体２の進行方向ＴＤと、検出部１４により検知範囲ＤＡと、他の車を示す文字列ｃａｒとが示されている。
　また、図６に示すように、図５において検出された検出点ＢＰは、初期化部２２５による初期化により一度地図情報２３Ｂから削除されるが、追加部２２９により、他の検出点（図５に示す白丸）とともに、地図情報２３Ｂに追加される。図６に示すように、移動体２の後方に設置された検出部１４（複数のセンサ）により移動体２の周辺の物体（ｃａｒ）の位置情報が取得され、取得された位置情報が、第１周辺位置情報として地図情報２３Ｂに蓄積される。
　図７は、図６に示す移動体２の位置から進行方向ＴＤに沿って進んだ場合の地図情報２３Ｂの一例を示す図である。図７に示す地図情報２３Ｂでは、説明の便宜上、移動体２と、移動体２の進行方向ＴＤと、検出部１４により検知範囲ＤＡと、他の車を示す文字列ｃａｒとが示されている。図７に示すように、位置情報（検出点）ＰＰは、検知範囲ＤＡの外に出ても、ＣＡＮデータを用いたオドメトリ法の情報を基に更新されるため、地図情報２３Ｂに、第１周辺位置情報として蓄積される。
　図５乃至図７では、一例として、移動体２の後方に搭載された検出部１４（センサ）を用いて説明しているが、実施形態はこれに限定されない。例えば、移動体Ｐの車両の前方や側方に設置された検出部１４（センサ）により、移動体２の前進時などにおいて、移動体２の周辺の物体の位置情報が取得されてもよい。
　図８は、図７に示す移動体２の位置から移動体２の前方を進行方向ＴＤに対して左側に移動した後に、移動体２を２つの車両（ｃａｒ１およびｃａｒ２）の間に後退駐車する場合の地図情報２３Ｂの一例を示す図である。図８では、説明の便宜上、動体としての歩行者ＰＤＳが移動体２の後方右側から左側にかけて、移動体２の後方を横断する様子が示されている。
　すなわち、図８における地図情報２３Ｂでは、説明の便宜上、移動体２と、歩行者ＰＤＳと、歩行者ＰＤＳの移動方向ＤＭと、検出部１４により検知範囲ＤＡと、他の車を示す文字列ｃａｒ（ｃａｒ１、ｃａｒ２、ｃａｒ）とが示されている。
　図８に示すように、歩行者ＰＤＳは、移動方向ＤＭに沿って移動している。このとき、更新範囲における地図情報２３Ｂの初期化を行わない場合、歩行者ＰＤＳの移動に沿って検出点が蓄積される。すなわち、歩行者ＰＤＳが通り過ぎた後の位置に検出点が存在することとなり、地図情報２３Ｂに蓄積された検出点の情報が、実際の移動体２の周辺の歩行者ＰＤＳの位置と相違が生じてしまう。一方本実施形態では、歩行者ＰＤＳの検出点は、初期化部２２５により逐次削除されるため、地図情報２３Ｂには、蓄積されない。すなわち、図８に示すように、検知範囲ＤＡは常に最新状態に更新されるため、過去の歩行者ＰＤＳの検出点は、地図情報２３Ｂには残らない。そのため、地図情報２３Ｂに蓄積された検出点の情報と、実際の移動体２の周辺歩行者ＰＤＳの位置との相違が抑制される。なお、検知範囲ＤＡにより検出された過去の不動体の検出点ＰＰは、ＣＡＮデータを用いたオドメトリ法により逐次更新されて蓄積されるため、第１周辺位置情報として地図情報２３Ｂに残ることとなる。また、検知範囲ＤＡで検知され、最新状態に更新される対象は歩行者ＰＤＳに限定されず、例えば他の動体であってもよいし、静止物体であってもよい。
　図９は、図８とは異なる後退駐車における地図情報２３Ｂの一例を示す図である。図９では、説明の便宜上、立体物ＴＤＯと、移動体２と、移動体２の進行方向（後退方向）ＴＤと、検出部１４により検知範囲ＤＡとが示されている。図９における第１周辺位置情報ＰＰは、地図情報２３Ｂにすでに蓄積されている地図情報を示している。図９に示すように、地図情報２３Ｂにおいて、第１周辺情報ＰＰは、白丸で示されている。
　図５乃至図９では、センサが移動体２の周辺物体の位置情報を取得する範囲と、位置情報の削除を行う更新範囲とが一致している様子を示している。位置情報を取得する範囲と更新範囲とは、厳密には一致していなくてもよい。例えば、センサは、更新範囲よりも遠方の位置情報を取得してもよい。このとき、更新範囲は、位置情報を取得する範囲に包含されるように設定される。また、センサによる位置情報の取得範囲よりも遠方まで、更新範囲が設定されてもよい。
　また、図５乃至図９では移動体２の相対的移動量の情報を取得しながら地図情報２３Ｂの更新を実行しているが、移動体２が停止している状態で、周辺位置情報の削除および追加を行ってもよい。この場合、例えば、停止中の移動体２の後方を歩行者ＰＤＳが横切った場合であっても、歩行者ＰＤＳの軌跡に沿った位置情報が地図情報２３Ｂに蓄積することを抑制することができる。
　図１０は、図９における移動体２の位置から移動体２が後退方向ＴＤに沿ってさらに移動した状態の地図情報２３Ｂの一例を示す図である。図１０では、説明の便宜上、立体物ＴＤＯと、移動体２と、移動体２の進行方向（後退方向）ＴＤと、検出部１４により検知範囲ＤＡとが示されている。図１０における地図情報２３Ｂにおいて、第１周辺位置情報ＰＰは、白丸で示され、第２周辺位置情報Ｐは黒丸で示されている。図１０に示す黒丸に対応する位置情報は、移動体２の移動に伴って、初期化部２２５により地図情報２３Ｂから削除され、追加部２２９により地図情報２３Ｂに追加されることとなる。
　図３に戻って、決定部３０について説明する。決定部３０は、地図情報２３Ｂと自己位置情報とを用いて、投影面の投影形状を決定する。すなわち、決定部３０は、地図情報２３Ｂに蓄積された検出点Ｐの位置情報（第１周辺位置情報および第２周辺位置情報）と自己位置情報とを用いて、投影面の投影形状を決定する。投影面とは、移動体２の周辺画像を投影するための立体面である。
　換言すれば、投影面は、移動体周辺の撮影画像５０が投影される仮想的な立体面である。投影面の投影形状は、実空間に対応する仮想空間に仮想的に形成される立体（３Ｄ）形状を有する。移動体２の周辺画像とは、移動体２の周辺の撮影画像である。本実施形態では、移動体２の周辺画像は、撮影部１２Ａ～撮影部１２Ｄの各々によって撮影された撮影画像である。
　なお、自己位置情報が地図情報２３Ｂに登録されている場合、決定部３０は、地図情報２３Ｂに基づいて、投影面の形状を決定する。決定部３０は、地図情報２３Ｂに登録されている検出点Ｐの位置情報に応じて基準投影面を変形した形状を、投影形状として決定する。
　図１１は、基準投影面４０の一例を示す模式図である。基準投影面４０は、例えば、投影面の形状を変更する際に基準となる形状の投影面である。基準投影面４０の形状は、例えば、椀型、円柱型、などである。
　椀型とは、底面４０Ａと側壁面４０Ｂとを有し、側壁面４０Ｂの一端が該底面４０Ａに連続し、他端が開口された形状である。該側壁面４０Ｂは、底面４０Ａ側から該他端部の開口側に向かって、水平断面の幅が大きくなっている。底面４０Ａは、例えば円形状である。ここで円形状とは、真円形状や、楕円形状等の真円形状以外の円形状、を含む形状である。水平断面とは、鉛直方向（矢印Ｚ方向）に対して直交する直交平面である。直交平面は、矢印Ｚ方向に直交する矢印Ｘ方向、および、矢印Ｚ方向と矢印Ｘ方向に直交する矢印Ｙ方向、に沿った二次元平面である。水平断面および直交平面を、以下では、ＸＹ平面と称して説明する場合がある。なお、底面４０Ａは、例えば卵型のような円形状以外の形状であってもよい。
　円柱型とは、円形状の底面４０Ａと、該底面４０Ａに連続する側壁面４０Ｂと、からなる形状である。また、円柱型の基準投影面４０を構成する側壁面４０Ｂは、一端部の開口が底面４０Ａに連続し、他端部が開口された円筒状である。但し、円柱型の基準投影面４０を構成する側壁面４０Ｂは、底面４０Ａ側から該他端部の開口側に向かって、ＸＹ平面の直径が略一定の形状である。なお、底面４０Ａは、例えば卵型のような円形状以外の形状であってもよい。
　本実施形態では、基準投影面４０の形状が、椀型である場合を一例として説明する。基準投影面４０は、底面４０Ａを移動体２の下方の路面に略一致する面とし、該底面４０Ａの中心を移動体２の自己位置Ｓとした仮想空間に仮想的に形成される立体モデルである。自己位置Ｓは、自己位置情報に相当する。
　決定部３０は、移動体２に最も近い検出点Ｐを通る形状に基準投影面４０を変形した形状を、投影形状として決定する。検出点Ｐを通る形状とは、変形後の側壁面４０Ｂが、該検出点Ｐを通る形状であることを意味する。
　図１２は、投影形状４１の一例を示す模式図である。決定部３０は、基準投影面４０を、基準投影面４０の底面４０Ａの中心である移動体２の自己位置Ｓに最も近い検出点Ｐを通る形状に変形した形状を、投影形状４１として決定する。該自己位置Ｓは、自己位置推定部２４によって算出された最新の自己位置Ｓ、すなわち移動体２の最新の位置である。
　決定部３０は、地図情報２３Ｂに登録されている複数の検出点Ｐの内、該自己位置Ｓに最も近い検出点Ｐを特定する。詳細には、移動体２の中心位置（自己位置Ｓ）のＸＹ座標を、（Ｘ，Ｙ）＝（０，０）とする。そして、決定部３０は、Ｘ２＋Ｙ２の値が最小値を示す検出点Ｐを、自己位置Ｓに最も近い検出点Ｐとして特定する。そして、決定部３０は、基準投影面４０の側壁面４０Ｂが該検出点Ｐを通る形状となるように変形した形状を、投影形状４１として決定する。
　具体的には、決定部３０は、基準投影面４０を変形させた際に側壁面４０Ｂの一部の領域が、移動体２に最も近い検出点Ｐを通る壁面となるように、底面４０Ａおよび側壁面４０Ｂの一部の領域の変形形状を投影形状４１として決定する。変形後の投影形状４１は、例えば、底面４０Ａ上の立ち上がりライン４４から底面４０Ａの中心に近づく方向に向かって立上げた形状となる。立上げる、とは、例えば、基準投影面４０の側壁面４０Ｂと底面４０Ａとの成す角度がより小さい角度となるように、該側壁面４０Ｂおよび底面４０Ａの一部を、底面４０Ａの中心に近づく方向に向かって屈曲または折り曲げる事を意味する。
　決定部３０は、基準投影面４０における特定領域を、ＸＹ平面の視点（平面視）で該検出点Ｐを通る位置に突出させるように変形するよう決定する。特定領域の形状および範囲は、予め定めた基準に基づいて決定してもよい。そして、決定部３０は、突出させた特定領域から、側壁面４０Ｂにおける該特定領域以外の領域に向かって、連続的に自己位置Ｓからの距離が遠くなるように、基準投影面４０を変形した形状とするよう決定する。
　詳細には、図１２に示すように、ＸＹ平面に沿った断面の外周の形状が曲線形状となるように、投影形状４１を決定することが好ましい。なお、投影形状４１の該断面の外周の形状は、例えば円形状であるが、円形状以外の形状であってもよい。
　なお、決定部３０は、漸近曲線に沿った形状となるように基準投影面４０を変形した形状を、投影形状４１として決定してもよい。漸近曲線は、複数の検出点Ｐの漸近曲線である。決定部３０は、移動体２の自己位置Ｓに最も近い検出点Ｐから離れる方向に向かって予め定めた数の複数の検出点Ｐの漸近曲線を生成する。この検出点Ｐの数は、複数であればよい。例えば、この検出点Ｐの数は、３つ以上であることが好ましい。また、この場合、決定部３０は、自己位置Ｓから見て所定角度以上離れた位置にある複数の検出点Ｐの漸近曲線を生成することが好ましい。
　図１３は、漸近曲線Ｑの説明図である。図１３は、移動体２を上方から鳥瞰した場合において、投影面に撮影画像を投影した投影画像５１に、漸近曲線Ｑを示した例である。例えば、決定部３０が、移動体２の自己位置Ｓに近い順に３つの検出点Ｐを特定したと想定する。この場合、決定部３０は、これらの３つの検出点Ｐの漸近曲線Ｑを生成する。そして、決定部３０は、生成した漸近曲線Ｑに沿った形状となるように基準投影面４０を変形した形状を、投影形状４１として決定すればよい。
　なお、決定部３０は、移動体２の自己位置Ｓの周囲を特定の角度範囲ごとに区切り、該角度範囲ごとに、移動体２に最も近い検出点Ｐ、または、移動体２に近い順に複数の検出点Ｐを特定してもよい。そして、決定部３０は、該角度範囲ごとに、特定した検出点Ｐを通る形状または特定した複数の検出点Ｐの漸近曲線Ｑに沿った形状となるように基準投影面４０を変形した形状を、投影形状４１として決定してもよい。
　次に、決定部３０の詳細な構成の一例を説明する。
　図１４は、決定部３０の構成の一例を示す模式図である。決定部３０は、抽出部３０Ａと、最近傍特定部３０Ｂと、基準投影面形状選択部３０Ｃと、スケール決定部３０Ｄと、漸近曲線算出部３０Ｅと、形状決定部３０Ｆと、を備える。
　抽出部３０Ａは、移動体２の自己位置情報と地図情報２３Ｂとを用いて、地図情報２３Ｂに含まれる複数の検出点Ｐの内、特定の範囲内に存在する検出点Ｐを抽出する。ここで、地図情報２３Ｂには、移動体２から検出点Ｐまでの距離の情報が含まれる。特定の範囲とは、例えば、移動体２の配置された路面から移動体２の車高に相当する高さまでの範囲である。なお、該範囲は、この範囲に限定されない。抽出部３０Ａが該範囲内の検出点Ｐを抽出することで、例えば、移動体２の進行の障害となる物体の検出点Ｐを抽出することができる。抽出部３０Ａは、抽出した検出点Ｐの各々の距離情報を最近傍特定部３０Ｂへ出力する。抽出部３０Ａは、現在の移動体２の自己位置情報を仮想視点視線決定部３４に出力する。なお、移動体２から検出点Ｐまでの距離情報が地図情報２３Ｂに含まれていない場合、地図情報２３Ｂおよび自己位置情報を用いて距離情報を換算し、抽出部３０Ａに入力されてもよい。
　最近傍特定部３０Ｂは、移動体２の自己位置Ｓの周囲を特定の角度範囲ごとに区切り、角度範囲ごとに、移動体２に最も近い検出点Ｐ、または、移動体２に近い順に複数の検出点Ｐを特定する。最近傍特定部３０Ｂは、抽出部３０Ａから受付けた距離情報を用いて、検出点Ｐを特定する。本実施形態では、最近傍特定部３０Ｂは、角度範囲ごとに、移動体２に近い順に複数の検出点Ｐを特定する形態を一例として説明する。
　最近傍特定部３０Ｂは、角度範囲ごとに特定した検出点Ｐの距離情報を、基準投影面形状選択部３０Ｃ、スケール決定部３０Ｄ、および漸近曲線算出部３０Ｅへ出力する。
　基準投影面形状選択部３０Ｃは、基準投影面４０の形状を選択する。基準投影面形状選択部３０Ｃは、複数種類の基準投影面４０の形状を記憶した記憶部２３１から、特定の１つの形状を読取ることで、基準投影面４０の形状を選択する。例えば、基準投影面形状選択部３０Ｃは、自己位置と周囲立体物との位置関係や距離情報などによって基準投影面４０の形状を選択する。なお、ユーザの操作指示により基準投影面４０の形状を選択してもよい。基準投影面形状選択部３０Ｃは、決定した基準投影面４０の形状情報を形状決定部３０Ｆへ出力する。本実施形態では、上述したように、基準投影面形状選択部３０Ｃは、碗型の基準投影面４０を選択する形態を一例として説明する。
　スケール決定部３０Ｄは、基準投影面形状選択部３０Ｃが選択した形状の基準投影面４０のスケールを決定する。スケール決定部３０Ｄは、例えば、自己位置Ｓから所定の距離の範囲に複数の検出点Ｐがある場合にスケールを小さくするなどの決定をする。スケール決定部３０Ｄは、決定したスケールのスケール情報を形状決定部３０Ｆへ出力する。
　漸近曲線算出部３０Ｅは、最近傍特定部３０Ｂから受付けた、自己位置Ｓからの角度範囲毎に自己位置Ｓから最も近い検出点Ｐの距離情報のそれぞれを用いて、算出した漸近曲線Ｑの漸近曲線情報を、形状決定部３０Ｆおよび仮想視点視線決定部３４へ出力する。なお、漸近曲線算出部３０Ｅは、基準投影面４０の複数の部分ごとに蓄積された検出点Ｐの漸近曲線Ｑを、算出してもよい。そして、漸近曲線算出部３０Ｅは、算出した漸近曲線Ｑの漸近曲線情報を、形状決定部３０Ｆおよび仮想視点視線決定部３４へ出力してもよい。
　形状決定部３０Ｆは、基準投影面形状選択部３０Ｃから受付けた形状情報によって示される形状の基準投影面４０を、スケール決定部３０Ｄから受付けたスケール情報のスケールに拡大または縮小する。そして、形状決定部３０Ｆは、拡大または縮小した後の基準投影面４０について、漸近曲線算出部３０Ｅから受付けた漸近曲線Ｑの漸近曲線情報に沿った形状となるように変形した形状を、投影形状４１として決定する。形状決定部３０Ｆは、決定した投影形状４１の投影形状情報を、変形部３２へ出力する。
　図３に戻り説明を続ける。次に、変形部３２について説明する。変形部３２は、決定部３０から受付けた投影形状情報によって示される投影形状４１に、基準投影面４０を変形する。すなわち、変形部３２は、地図情報２３Ｂに基づいて、移動体周辺の撮影画像が投影される投影面を変形する。具体的には、変形部３２は、地図情報２３Ｂにおいて初期化されなかった第１周辺位置情報と第２周辺位置情報とに基づいて、投影面を変形する。
　当該変形処理により、変形部３２は、変形された基準投影面４０である変形投影面４２を生成する（図１２参照）。すなわち、変形部３２は、地図情報２３Ｂに蓄積された検出点Ｐの位置情報と、移動体２の自己位置情報とを用いて、基準投影面４０を変形する。詳細には、例えば、変形部３２は、投影形状情報に基づいて、移動体２に最も近い検出点Ｐを通る曲面形状に基準投影面４０を変形する。この変形処理により、変形部３２は、変形投影面４２を生成する。
　例えば、変形部３２は、投影形状情報に基づいて、移動体２に近い順に予め定めた数の複数の検出点Ｐの漸近曲線Ｑに沿った形状に基準投影面４０を変形する。なお、変形部３２は、第１の時刻より前に取得された検出点Ｐの位置情報と、自己位置Ｓの自己位置情報と、を用いて、基準投影面４０を変形することが好ましい。
　ここで第１の時刻とは、検出部１４によって検出点Ｐの位置情報が検出される最新の時刻、または該最新の時刻より過去の任意の時刻である。例えば、第１の時刻より前に取得された検出点Ｐには移動体２の周辺にある特定の物体の位置情報が含まれ、第１の時刻に取得された検出点Ｐには該周辺にある特定の物体の位置情報が含まれない。決定部３０は、地図情報２３Ｂに含まれる、該第１の時刻より前に取得された検出点Ｐの位置情報を用いて、上記と同様にして投影形状４１を決定すればよい。そして、変形部３２は、該投影形状４１の投影形状情報を用いて、上記と同様にして、変形投影面４２を生成すればよい。
　この場合、例えば、検出部１４が第１の時刻で検出した検出点Ｐの位置情報に、該時刻より過去に検出された検出点Ｐの位置情報が含まれていない場合であっても、変形部３２は、該過去に検出された検出点Ｐに応じた変形投影面４２を生成することができる。
　次に、投影変換部３６について説明する。投影変換部３６は、変形部３２によって変形された基準投影面４０である変形投影面４２に、撮影部１２から取得した撮影画像を投影した投影画像５１を生成する。詳細には、投影変換部３６は、変形部３２から変形投影面４２の変形投影面情報を受付ける。変形投影面情報とは、変形投影面４２を示す情報である。投影変換部３６は、受付けた変形投影面情報に示される変形投影面４２に、取得部２０を介して撮影部１２から取得した撮影画像を投影する。この投影処理により、投影変換部３６は、投影画像５１を生成する。投影変換部３６は、投影画像５１を仮想視点画像に変換する。仮想視点画像とは、仮想視点から任意の方向に投影画像５１を視認した画像である。
　投影変換部３６について、図１２を用いて説明する。投影変換部３６は、変形投影面４２に撮影画像５０を投影する。そして、投影変換部３６は、変形投影面４２に投影された撮影画像５０を、任意の仮想視点Ｏから視線方向Ｌに視認した画像である仮想視点画像を生成する（図示せず）。仮想視点Ｏの位置は、例えば、移動体２の最新の自己位置Ｓとすればよい。この場合、仮想視点ＯのＸＹ座標の値を、移動体２の最新の自己位置ＳのＸＹ座標の値とすればよい。また、仮想視点ＯのＺ座標（鉛直方向の位置）の値を、移動体２の自己位置Ｓに最も近い検出点ＰのＺ座標の値とすればよい。視線方向Ｌは、例えば、予め定めた基準に基づいて決定してもよい。
　視線方向Ｌは、例えば、仮想視点Ｏから移動体２の自己位置Ｓに最も近い検出点Ｐに向かう方向とすればよい。また、視線方向Ｌは、該検出点Ｐを通り且つ変形投影面４２に対して垂直な方向としてもよい。仮想視点Ｏおよび視線方向Ｌを示す仮想視点視線情報は、仮想視点視線決定部３４によって作成される。
　図３に戻り説明を続ける。仮想視点視線決定部３４は、例えば、以下のような手順で、仮想視点視線情報を決定する。仮想視点視線決定部３４は、移動体２の自己位置Ｓに最も近い検出点Ｐを通り、且つ、変形投影面４２に対して垂直な方向を視線方向Ｌとして決定する。なお、仮想視点視線決定部３４は、該視線方向Ｌの方向を固定し、仮想視点Ｏの座標を、任意のＺ座標と、漸近曲線Ｑから自己位置Ｓの方に離れる方向における任意のＸＹ座標として決定してもよい。この場合、該ＸＹ座標は、自己位置Ｓよりも漸近曲線Ｑから離れた位置の座標であってもよい。そして、仮想視点視線決定部３４は、仮想視点Ｏおよび視線方向Ｌを示す仮想視点視線情報を、投影変換部３６へ出力する。なお、図１３に示すように、視線方向Ｌは、仮想視点Ｏから漸近曲線Ｑの頂点Ｗの位置に向かう方向としてもよい。
　投影変換部３６は、仮想視点視線決定部３４から仮想視点視線情報を受付ける。投影変換部３６は、該仮想視点視線情報を受付けることで、仮想視点Ｏおよび視線方向Ｌを特定する。そして、投影変換部３６は、変形投影面４２に投影された撮影画像５０から、該仮想視点Ｏから視線方向Ｌに視認した画像である仮想視点画像を生成する。仮想視点画像は、例えば、仮想視点Ｏから視線方向Ｌに沿って撮影画像５０を視認可能な画像に相当する。投影変換部３６は、仮想視点画像を画像合成部３８へ出力する。
　画像合成部３８は、仮想視点画像の一部または全てを抽出した合成画像を生成する。例えば、画像合成部３８は、仮想視点画像に含まれる、複数の撮影画像５０の重なる部分の幅の決定や、撮影画像５０の張り合わせ処理、重なる部分に表示する撮影画像５０を決定するブレンド処理を行う。これにより、合成画像５４が生成される。そして、画像合成部３８は、合成画像５４を表示部１６へ出力する。なお、合成画像５４は、移動体２の上方を仮想視点Ｏとした鳥瞰画像や、移動体２内を仮想視点Ｏとし、移動体２を半透明に表示するものとしてもよい。
　次に、情報処理装置１０が実行する画像処理の流れの一例を説明する。図１６は、情報処理装置１０が実行する画像処理の手順の一例を示すフローチャートである。
　（画像処理）
　取得部２０は、撮影部１２から撮影画像５０を取得する（ステップＳ１０）。取得部２０は、取得された撮影画像５０を、投影変換部３６へ出力する。
　取得部２０は、複数の検出点Ｐの各々の位置情報を検出部１４から取得する。また、取得部２０は、ＥＣＵ３からＣＡＮデータを取得する。複数の検出点Ｐの各々の位置情報とＣＡＮデータと基づく上述の地図情報生成処理により、地図情報２３Ｂが生成される（ステップＳ１１）。
　決定部３０は、生成された地図情報２３Ｂを取得する（ステップＳ１２）。
　抽出部３０Ａは、検出点Ｐの内、特定の範囲内に存在する検出点Ｐを抽出する。最近傍特定部３０Ｂは、抽出された検出点Ｐの各々の距離情報を用いて、移動体２の周囲の角度範囲（方角）ごとに、移動体２に近い順に複数の検出点Ｐを特定する。これらにより、特定の範囲における方角ごとに、移動体２に対する最近接の検出点が特定される（ステップＳ１３）。
　基準投影面形状選択部３０Ｃは、基準投影面４０の形状を選択する（ステップＳ１４）。上述したように、基準投影面形状選択部３０Ｃは、碗型の基準投影面４０を選択する形態を一例として説明する。なお、基準投影面の選択は、移動体２の自己位置情報、移動体２の周囲の物体の位置情報（第１周辺位置情報および／または第２周辺位置情報）、距離情報などに基づいて、複数種類の基準投影面４０の形状から、画像処理に用いられる基準投影面４０の形状を選択してもよい。
　スケール決定部３０Ｄは、ステップＳ１４で選択された形状の基準投影面４０のスケールを決定する（ステップＳ１５）。
　漸近曲線算出部３０Ｅは、ステップＳ１３で特定された角度範囲ごとの複数の検出点Ｐの距離情報のそれぞれを用いて、漸近曲線Ｑを算出する（ステップＳ１６）。
　形状決定部３０Ｆは、ステップＳ１４で選択された形状の基準投影面４０を、ステップＳ１５で決定されたスケールに拡大または縮小する。そして、形状決定部３０Ｆは、拡大または縮小した後の基準投影面４０について、ステップＳ１６で算出された漸近曲線Ｑに沿った形状となるように変形する。形状決定部３０Ｆは、この変形した形状を、投影形状４１として決定する（ステップＳ１７）。
　変形部３２は、決定部３０で決定された投影形状４１に、基準投影面形状選択部３０Ｃで選択された基準投影面４０を変形する（ステップＳ１８）。この変形処理により、変形部３２は、変形された基準投影面４０である変形投影面４２を生成する（図１２参照）。
　仮想視点視線決定部３４は、仮想視点視線情報を決定する（ステップＳ１９）。例えば、仮想視点視線決定部３４は、移動体２の自己位置Ｓを仮想視点Ｏとし、該仮想視点Ｏから漸近曲線Ｑの頂点Ｗの位置に向かう方向を視線方向Ｌとして決定する。具体的には、仮想視点視線決定部３４は、ステップＳ１６で角度範囲毎に算出された漸近曲線Ｑの内、特定の１つの角度範囲の漸近曲線Ｑの頂点Ｗに向かう方向を、視線方向Ｌとして決定する。
　投影変換部３６は、ステップＳ１７で生成された変形投影面４２に、ステップＳ１０で取得した撮影画像５０を投影する。そして、投影変換部３６は、ステップＳ１９で決定された仮想視点Ｏから視線方向Ｌに沿って撮影画像５０を変形投影面４２に投影することで、該投影画像５１を仮想視点画像に変換する。すなわち、投影変換部３６は、仮想視点視線情報を用いて、変形投影面４２に投影された撮影画像５０を仮想視点画像に変換する（ステップＳ２０）。
　画像合成部３８は、ステップＳ２０で生成された仮想視点画像の一部または全てを抽出した合成画像５４を生成する（ステップＳ２１）。仮想視点画像には、複数の撮影画像５０の重なる部分（以下、重複部分と呼ぶ）が含まれる。画像合成部３８は、例えば、重複部分の幅の決定や、撮影画像５０の張り合わせ処理、重複部分に表示する撮影画像５０を決定するブレンド処理などを行う。
　画像合成部３８は、生成した合成画像５４を表示部１６に出力する表示制御を実行する（ステップＳ２２）。これにより、生成された合成画像５４は、表示部１６に表示される。
　次に、情報処理装置１０は、画像処理を終了するか否かを判断する（ステップＳ２３）。例えば、情報処理装置１０は、ＥＣＵ３から移動体２の動作の停止（例えば、エンジンの停止など）を示す信号を受信したか否かを判別することで、ステップＳ２３の判断を行う。また、例えば、情報処理装置１０は、ユーザによる操作指示などによって画像処理の終了指示を受付けたか否かを判別することで、ステップＳ２３の判断を行ってもよい。
　ステップＳ２３で否定の判断が決定されると（ステップＳ２３：Ｎｏ）、上記ステップＳ１０乃至ステップＳ２２の処理が繰り返される。ステップＳ２３で肯定の判断が決定されると（ステップＳ２３：Ｙｅｓ）、本画像処理のルーチンは終了する。
　以上述べたように、実施形態に係る情報処理装置１０は、移動体周辺に位置する物体の位置の情報である第１周辺位置情報を含む地図情報２３Ｂにおいて、移動体２に搭載されたセンサ（検出部１４）による検知に関する範囲（検知範囲）を初期化し、当該センサから取得された第２周辺位置情報を検知範囲に追加する地図情報生成部２２を備える。例えば、地図情報生成部２２は、検知範囲ＤＡにおけるデータの初期化として、第１周辺位置情報のうち検知範囲に含まれる周辺位置情報を地図情報２３Ｂから削除する。
　これらにより、実施形態に係る情報処理装置１０によれば、地図情報２３Ｂにおける検知範囲に含まれる周辺位置情報を、位置情報の取得に応じて更新することができる。すなわち、実施形態に係る情報処理装置１０によれば、地図情報２３Ｂのうち移動体２（車両）周辺では、周辺位置情報の削除および追加が逐次行われることとなり、最新の移動体周辺の状況を反映した地図情報２３Ｂを生成することができる。換言すれば、実施形態に係る情報処理装置１０によれば、地図情報２３Ｂにおける更新範囲内の位置情報を、常に最新の状況に保つことができる。
　このため、実施形態に係る情報処理装置１０によれば、図８に示すように、検知範囲において歩行者ＰＤＳなどの動体が通過したとしても、移動体近傍の移動物体（歩行者など）の軌跡に沿った位置情報の地図情報２３Ｂへの蓄積を抑制することができる。これらのことから、実施形態に係る情報処理装置１０によれば、精度の良い（正確な）地図情報２３Ｂを生成することができる。
　また、実施形態に係る情報処理装置１０は、地図情報生成処理により生成された地図情報２３Ｂに基づいて、移動体周辺の撮影画像５０が投影される投影面（選択された基準投影面４０）を変形する変形部３２をさらに備える。例えば、実施形態に係る情報処理装置１０は、地図情報２３Ｂにおいて初期化されなかった第１周辺位置情報と第２周辺位置情報とに基づいて、投影面を変形する。例えば、図１０に示すように、投影面の変形処理に用いられる周辺位置情報として、第１周辺位置情報（白丸）ＰＰと第２周辺位置情報（黒丸）Ｐとが用いられる。
　これらにより、実施形態に係る情報処理装置１０によれば、精度の良い（正確な）地図情報２３Ｂを用いて投影面を変形することができるため、適切に変形された投影面に撮影画像５０を投影して、ユーザに合成画像（俯瞰画像）を提示することができる。これらのことから、実施形態に係る情報処理装置１０によれば、視認性を向上させた自然な俯瞰画像をユーザに提示することができる。
　また、実施形態に係る情報処理装置１０に関するセンサは、移動体２に複数搭載される。例えば、実施形態に係る情報処理装置１０に関する複数のセンサは、移動体２の外装において、アレイ状に配置される。また、実施形態に係る情報処理装置１０に関するセンサは、移動体２の後方に搭載された距離センサであってもよく、第１周辺位置情報は、距離センサから取得されてもよい。また、実施形態に係る情報処理装置１０に関するセンサは、距離センサとして移動体２の側方にさらに配置されてもよい。また、検出部１４が複数のセンサで実現される場合、一部（近傍用）のセンサにより得られた周辺位置情報を蓄積／削除の対象とし、他（遠方用）のセンサに得られた周辺位置情報は、蓄積のみとして用いられてもよい。これらのことから、実施形態に係る情報処理装置１０によれば、移動体２の周辺の任意の方向に対して精度の良い地図情報２３Ｂを生成することができる。
　また、実施形態に係る情報処理装置１０において、更新範囲に対応する検知範囲は、移動体２の位置（自己位置情報）を基準とした移動体周辺の情報に対応する。また、実施形態に係る情報処理装置１０によれば、検知範囲の情報と地図情報２３Ｂにおける原点に対する移動体２の相対的な移動量（移動ベクトル）の情報（相対移動量情報）とに基づいて、削除される周辺位置情報を決定する。これらのことから、実施形態に係る情報処理装置１０によれば、移動体２の移動の有無に関わらず移動体２を基準として、削除対象の周辺位置情報または更新範囲を決定することができる。このため、実施形態に係る情報処理装置１０によれば、移動体２の移動および停止に関わらず、常に更新範囲に含まれる周辺位置情報を最新な状態として維持することができる。
　本実施形態では、地図情報生成処理により生成された地図情報２３Ｂの利用の一例として、後退駐車における投影面の変形処理について説明したが、地図情報２３Ｂの利用は、投影面の変形処理に限定されない。例えば、移動体２が車両である場合、地図情報２３Ｂは、自動運転または前方駐車等に利用されてもよい。
　実施形態における技術的思想を情報処理方法で実現する場合、当該情報処理方法は、移動体周辺に位置する物体の位置の情報である第１周辺位置情報を含む地図情報２３Ｂにおいて、移動体２に搭載されたセンサの検知に関する範囲を初期化し、センサから取得された第２周辺位置情報を当該範囲に追加する。情報処理方法により実行される地図情報生成処理の手順および効果などは、実施形態と同様なため、説明は省略する。
　本実施形態における技術的思想を情報処理プログラムで実現する場合、当該情報処理プログラムは、コンピュータに、移動体周辺に位置する物体の位置の情報である第１周辺位置情報を含む地図情報２３Ｂにおいて、移動体２に搭載されたセンサの検知に関する範囲を初期化し、センサから取得された第２周辺位置情報を当該範囲に追加すること、を実行させる。例えば、各種サーバ装置（処理装置）に情報処理プログラムを不揮発性記憶媒体からインストールし、これらをメモリ上で展開することによっても、地図情報生成処理を実現することができる。このとき、コンピュータに当該手法を実行させることのできるプログラムは、磁気ディスク（ハードディスクなど）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記憶媒体に格納して頒布することも可能である。情報処理プログラムにおける処理手順および効果などは、実施形態と同様なため、説明は省略する。
　係る構成によれば、更新範囲内における位置情報を逐次更新することで、精度の良い地図情報２３Ｂを生成することができる。その結果、本願の開示する情報処理装置の一つの態様によれば、例えば、精度の良い地図情報２３Ｂを用いて、投影面の形状を適切に変形することなどができる。
　以上、実施形態及び各変形例について説明したが、本願の開示する情報処理装置１０、情報処理方法、及び情報処理プログラムは、上記の各実施形態等そのままに限定されるものではなく、各実施段階等ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記の実施形態及び各変形例等に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
１　情報処理システム
１０　情報処理装置
１２、１２Ａ～１２Ｄ　撮影部
１４、１４Ａ～１４Ｄ　検出部
２０　取得部
２２　地図情報生成部
２３Ａ　検知範囲情報
２３Ｂ　地図情報
３０　決定部
３０Ａ　抽出部
３０Ｂ　最近傍特定部
３０Ｃ　基準投影面形状選択部
３０Ｄ　スケール決定部
３０Ｅ　漸近曲線算出部
３０Ｆ　形状決定部
３２　変形部
３４　仮想視点視線決定部
３６　投影変換部
３８　画像合成部
２２１　自己位置推定部
２２３　第１オフセット調整部
２２５　初期化部
２２７　第２オフセット調整部
２２９　追加部
２３１　記憶部
２３３　補正部

Claims (12)

  1. 　移動体周辺に位置する物体の位置の情報である第１周辺位置情報を含む地図情報において、前記移動体に搭載されたセンサによる検知に関する範囲を初期化し、前記センサから取得された第２周辺位置情報を前記範囲に追加する地図情報生成部を備える、
    　情報処理装置。
  2. 　前記地図情報生成部は、前記範囲の初期化として、前記第１周辺位置情報のうち前記範囲に含まれる周辺位置情報を前記地図情報から削除する、
    　請求項１に記載の情報処理装置。
  3. 　前記地図情報に基づいて、前記移動体周辺の撮影画像が投影される投影面を変形する変形部をさらに備える、
    　請求項１に記載の情報処理装置。
  4. 　前記変形部は、前記地図情報において初期化されなかった前記第１周辺位置情報と前記第２周辺位置情報とに基づいて、前記投影面を変形する、
    　請求項３に記載の情報処理装置。
  5. 　前記センサは、前記移動体に複数搭載される、
    　請求項１に記載の情報処理装置。
  6. 　複数の前記センサは、前記移動体の外装において、アレイ状に配置される、
    　請求項５に記載の情報処理装置。
  7. 　前記センサは、前記移動体の後方に搭載された距離センサであって、
    　前記第１周辺位置情報は、前記距離センサから取得される、
    　請求項１に記載の情報処理装置。
  8. 　前記センサは、前記距離センサとして前記移動体の側方にさらに配置される、
    　請求項７に記載の情報処理装置。
  9. 　前記範囲は、前記移動体の位置を基準とした前記移動体周辺の情報に対応する、
    　請求項１乃至８のいずれか一項に記載の情報処理装置。
  10. 　前記地図情報生成部は、前記範囲の情報と前記地図情報における原点に対する前記移動体の相対的な移動量の情報とに基づいて、初期化として削除される周辺位置情報を決定する、
    　請求項９に記載の情報処理装置。
  11. 　移動体周辺に位置する物体の位置の情報である第１周辺位置情報を含む地図情報において、
    　前記移動体に搭載されたセンサの検知に関する範囲を初期化し、
    　前記センサから取得された第２周辺位置情報を前記範囲に追加する、
    　情報処理方法。
  12. 　コンピュータに、
    　移動体周辺に位置する物体の位置の情報である第１周辺位置情報を含む地図情報において、前記移動体に搭載されたセンサの検知に関する範囲を初期化し、
    　前記センサから取得された第２周辺位置情報を前記範囲に追加すること、
    　を実行させるための情報処理プログラム。
PCT/JP2022/034380 2022-09-14 2022-09-14 情報処理装置、情報処理方法、及び情報処理プログラム WO2024057439A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/034380 WO2024057439A1 (ja) 2022-09-14 2022-09-14 情報処理装置、情報処理方法、及び情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/034380 WO2024057439A1 (ja) 2022-09-14 2022-09-14 情報処理装置、情報処理方法、及び情報処理プログラム

Publications (1)

Publication Number Publication Date
WO2024057439A1 true WO2024057439A1 (ja) 2024-03-21

Family

ID=90274552

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/034380 WO2024057439A1 (ja) 2022-09-14 2022-09-14 情報処理装置、情報処理方法、及び情報処理プログラム

Country Status (1)

Country Link
WO (1) WO2024057439A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021054267A (ja) * 2019-09-30 2021-04-08 アイシン精機株式会社 駐車支援装置
WO2021111531A1 (ja) * 2019-12-03 2021-06-10 株式会社ソシオネクスト 画像処理装置、画像処理方法、および画像処理プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021054267A (ja) * 2019-09-30 2021-04-08 アイシン精機株式会社 駐車支援装置
WO2021111531A1 (ja) * 2019-12-03 2021-06-10 株式会社ソシオネクスト 画像処理装置、画像処理方法、および画像処理プログラム

Similar Documents

Publication Publication Date Title
JP7210165B2 (ja) 仮想経路を表示する方法、装置及びディスプレイ装置
JP6827627B2 (ja) ビークル環境マップを生成および更新するための方法およびシステム
JP7021372B2 (ja) 自動化されたトレーラヒッチングのための、群点を介したカプラおよび牽引バーの検出
US11370422B2 (en) Method and system in a vehicle for improving prediction results of an advantageous driver assistant system
JP7182895B2 (ja) 情報処理装置、プログラム、および情報処理方法
US10909411B2 (en) Information processing apparatus, information processing method, and computer program product
KR102056147B1 (ko) 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치
EP3942794B1 (en) Depth-guided video inpainting for autonomous driving
JP7424390B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JPWO2005107261A1 (ja) 車両周囲表示装置
JP7008040B2 (ja) 環境モデルの写像を作成するための方法、並びに、車両制御システム、及び、対応する車両
CN111089597A (zh) 基于图像和地图数据来定位的方法和装置
JP2019526105A5 (ja)
JP2019102007A (ja) 勾配推定装置、勾配推定方法、プログラムおよび制御システム
CN113030960B (zh) 一种基于单目视觉slam的车辆定位方法
JP2021128207A (ja) 地図作成装置、地図作成システム、地図作成方法、およびプログラム
JP7460660B2 (ja) 航空写真を利用して三次元地図を生成する装置及びその方法
JP7337617B2 (ja) 推定装置、推定方法及びプログラム
WO2024057439A1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
US10249056B2 (en) Vehicle position estimation system
US11532100B2 (en) Method for environmental acquisition, data processing unit
WO2022074848A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2023175988A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2022269875A1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
WO2023084660A1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22958767

Country of ref document: EP

Kind code of ref document: A1