WO2024157367A1 - 情報処理装置、情報処理方法、及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法、及び情報処理プログラム Download PDF

Info

Publication number
WO2024157367A1
WO2024157367A1 PCT/JP2023/002162 JP2023002162W WO2024157367A1 WO 2024157367 A1 WO2024157367 A1 WO 2024157367A1 JP 2023002162 W JP2023002162 W JP 2023002162W WO 2024157367 A1 WO2024157367 A1 WO 2024157367A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
self
unit
mode
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/002162
Other languages
English (en)
French (fr)
Inventor
康弘 大内
和将 大橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Socionext Inc
Original Assignee
Socionext Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Socionext Inc filed Critical Socionext Inc
Priority to PCT/JP2023/002162 priority Critical patent/WO2024157367A1/ja
Priority to CN202380092145.6A priority patent/CN120615207A/zh
Priority to JP2024572578A priority patent/JPWO2024157367A1/ja
Publication of WO2024157367A1 publication Critical patent/WO2024157367A1/ja
Priority to US19/264,345 priority patent/US20250342660A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description

Definitions

  • the present invention relates to an information processing device, an information processing method, and an information processing program.
  • SLAM Simultaneous Localization and Mapping
  • sensor ranging To obtain position information around a moving object, generate an environmental map, and estimate the object's own position.
  • odometry method that calculates the amount of movement of a moving object using information such as the amount of tire rotation and steering angle of the moving object.
  • images from multiple cameras mounted on a moving object such as a car to generate an overhead image of the area around the moving object, and technologies that change the shape of the projection surface of the overhead image depending on the three-dimensional objects around the moving object.
  • Environmental map generation and self-location estimation place a heavy processing load on the system. As a result, when generating an overhead image of the area around a moving object, the image may appear unnatural.
  • the present invention aims to reduce the processing load compared to conventional techniques when, for example, generating an overhead image of the surroundings of a moving object using environmental map generation or self-location estimation.
  • the information processing device disclosed in the present application includes a map information generating unit and a self-location generating unit.
  • the map information generating unit selectively executes a first mode generation process in which map information including position information of objects around a moving body is generated at a first frequency to generate first self-location information indicating the self-location of the moving body, and a second mode generation process in which the map information is generated at a second frequency lower than the first frequency.
  • the self-location generating unit uses the first self-location information and status information of the moving body to generate second self-location information, which is the position information of the moving body in the map information.
  • the processing load when generating an environmental map or estimating a self-position to generate an overhead image of the surroundings of a moving object, for example, the processing load can be reduced compared to the conventional case.
  • FIG. 1 is a diagram illustrating an example of an overall configuration of an information processing system according to an embodiment.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of the information processing apparatus according to the embodiment.
  • FIG. 3 is a diagram illustrating an example of a functional configuration of the information processing device according to the embodiment.
  • FIG. 4 is a schematic diagram illustrating an example of environment map information according to the embodiment.
  • FIG. 5 is a schematic diagram illustrating an example of a functional configuration of the determination unit.
  • FIG. 6 is a schematic diagram showing an example of the reference projection plane.
  • FIG. 7 is an explanatory diagram of the asymptotic curve Q generated by the determination unit.
  • FIG. 8 is a schematic diagram showing an example of a projection shape determined by the determination unit.
  • FIG. 1 is a diagram illustrating an example of an overall configuration of an information processing system according to an embodiment.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of the information processing apparatus according to the embodiment.
  • FIG. 9 is a diagram for explaining the overhead image stabilization process.
  • FIG. 10 is a diagram for explaining overhead image stabilization processing in a section in which the moving object is moving forward in the situation shown in FIG.
  • FIG. 11 is a diagram for explaining overhead image stabilization processing in a section in which the moving object is moving forward in the situation shown in FIG.
  • FIG. 12 is a diagram for explaining overhead image stabilization processing in a section in which the moving object is moving forward in the situation shown in FIG.
  • FIG. 13 is a diagram for explaining the overhead image stabilization process when the moving object stops and the gear is changed from drive to reverse in the situation shown in FIG.
  • FIG. 14 is a diagram for explaining the timing of switching from the generation process in the first mode to the generation process in the second mode in the overhead image stabilization process in the situation shown in FIG.
  • FIG. 15 is a flowchart showing an example of the flow of overhead image stabilization processing according to the embodiment.
  • FIG. 16 is a flowchart showing an example of the flow of the process of generating environment map information in the first mode until transition to the second mode.
  • FIG. 17 is a flowchart showing an example of the flow of the overhead image generating process after transition from the first mode to the second mode.
  • FIG. 18 is a diagram for explaining control of the frequency of the generation process of environment map information in the overhead image stabilization process according to the second embodiment.
  • FIG. 19 is a diagram for explaining control of the frequency of the generation process of environment map information in the overhead image stabilization process according to the second embodiment.
  • FIG. 16 is a flowchart showing an example of the flow of the process of generating environment map information in the first mode until transition to the second mode.
  • FIG. 17 is a flowchart showing an example of the flow of the overhead image generating process after transition from the first mode to the second mode.
  • FIG. 18 is a diagram for explaining control
  • FIG. 20 is a diagram for explaining control of the frequency of the generation process of environment map information in the overhead image stabilization process according to the second embodiment.
  • FIG. 21 is a diagram for explaining the timing of switching from the second mode generation process to the first mode generation process in the overhead image stabilization process in the situations shown in FIGS. 18, 19, and 20.
  • FIG. 21 is a diagram for explaining the timing of switching from the second mode generation process to the first mode generation process in the overhead image stabilization process in the situations shown in FIGS. 18, 19, and 20.
  • FIG. 1 is a diagram showing an example of the overall configuration of an information processing system 1 according to this embodiment.
  • the information processing system 1 includes an information processing device 10, an image capturing unit 12, a detection unit 14, and a display unit 16.
  • the information processing device 10, the image capturing unit 12, the detection unit 14, and the display unit 16 are connected to each other so as to be able to transmit and receive data or signals.
  • the information processing device 10 the image capture unit 12, the detection unit 14, and the display unit 16 are described as being mounted on a moving object 2 as an example.
  • the moving body 2 is an object that can move.
  • the moving body 2 is, for example, a vehicle, a flyable object (a manned airplane, an unmanned airplane (e.g., a UAV (Unmanned Aerial Vehicle), a drone)), a robot, etc.
  • the moving body 2 is, for example, a moving body that proceeds via a driving operation by a person, or a moving body that can proceed automatically (autonomous progression) without being driven by a person.
  • a case where the moving body 2 is a vehicle is described as an example.
  • Examples of vehicles include a two-wheeled vehicle, a three-wheeled vehicle, and a four-wheeled vehicle.
  • a case where the vehicle is an autonomously progressing four-wheeled vehicle is described as an example.
  • the information processing device 10 may be mounted on, for example, a stationary object.
  • a stationary object is an object that is fixed to the ground.
  • a stationary object is an object that cannot be moved or an object that is stationary relative to the ground. Examples of stationary objects include traffic lights, parked vehicles, and road signs.
  • the information processing device 10 may also be mounted on a cloud server that executes processing on the cloud.
  • the photographing unit 12 photographs the periphery of the moving object 2 and acquires photographed image data.
  • the photographed image data will be simply referred to as a photographed image.
  • the photographing unit 12 will be described assuming, for example, a digital camera capable of photographing video, such as a monocular fisheye camera with a viewing angle of approximately 195 degrees. Note that photographing refers to converting an image of a subject formed by an optical system such as a lens into an electrical signal.
  • the photographing unit 12 outputs the photographed image to the information processing device 10.
  • an example is described in which four imaging units 12, a front imaging unit 12A, a left imaging unit 12B, a right imaging unit 12C, and a rear imaging unit 12D, are mounted on the moving body 2.
  • the multiple imaging units 12 (front imaging unit 12A, left imaging unit 12B, right imaging unit 12C, and rear imaging unit 12D) each capture a subject in a different direction in an imaging area E (front imaging area E1, left imaging area E2, right imaging area E3, and rear imaging area E4) to obtain a captured image.
  • the imaging directions of the multiple imaging units 12 are different from each other.
  • the imaging directions of the multiple imaging units 12 are adjusted in advance so that at least a portion of the imaging area E of the adjacent imaging units 12 overlaps.
  • the imaging area E is shown in the size shown in FIG. 1 for convenience of explanation, but in reality it includes an area further away from the moving body 2.
  • the four front imaging units 12A, left imaging unit 12B, right imaging unit 12C, and rear imaging unit 12D are merely examples, and there is no limit to the number of imaging units 12.
  • the moving body 2 has a vertically long shape like a bus or truck, it is possible to place one imaging unit 12 at the front, rear, front of the right side, rear of the right side, front of the left side, and rear of the left side of the moving body 2, and use a total of six imaging units 12.
  • the number and placement positions of the imaging units 12 can be set arbitrarily depending on the size and shape of the moving body 2.
  • the detection unit 14 detects position information of each of a plurality of detection points around the moving body 2. In other words, the detection unit 14 detects position information of each of the detection points in the detection area F.
  • a detection point refers to each of the points in real space that are individually observed by the detection unit 14.
  • the detection points correspond to, for example, three-dimensional objects around the moving body 2.
  • the detection unit 14 is an example of an external sensor.
  • the detection unit 14 may be, for example, a 3D (three-dimensional) scanner, a 2D (two-dimensional) scanner, a distance sensor (millimeter wave radar, laser sensor), a sonar sensor that detects objects using sound waves, an ultrasonic sensor, etc.
  • the laser sensor may be, for example, a three-dimensional LiDAR (laser imaging detection and ranging) sensor.
  • the detection unit 14 may also be a device that uses a technology that measures distance from images captured by a stereo camera or a monocular camera, such as SfM (structure from motion) technology.
  • Multiple image capture units 12 may also be used as the detection unit 14.
  • One of the multiple image capture units 12 may also be used as the detection unit 14.
  • the display unit 16 displays various information.
  • the display unit 16 is, for example, an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display.
  • the information processing device 10 is communicatively connected to an electronic control unit (ECU: Electronic Control Unit) 3 mounted on the moving object 2.
  • the ECU 3 is a unit that performs electronic control of the moving object 2.
  • the information processing device 10 is capable of receiving CAN (Controller Area Network) data such as the speed and moving direction of the moving object 2 from the ECU 3.
  • CAN Controller Area Network
  • FIG. 2 is a diagram showing an example of the hardware configuration of the information processing device 10.
  • the information processing device 10 includes a CPU (Central Processing Unit) 10A, a ROM (Read Only Memory) 10B, a RAM (Random Access Memory) 10C, and an I/F (InterFace) 10D, and is, for example, a computer.
  • the CPU 10A, ROM 10B, RAM 10C, and I/F 10D are interconnected by a bus 10E, and have a hardware configuration that utilizes a normal computer.
  • the CPU 10A is a calculation device that controls the information processing device 10.
  • the CPU 10A corresponds to an example of a hardware processor.
  • the ROM 10B stores programs and the like that realize various processes by the CPU 10A.
  • the RAM 10C stores data necessary for various processes by the CPU 10A.
  • the I/F 10D is an interface that connects to the imaging unit 12, the detection unit 14, the display unit 16, the ECU 3, etc., and transmits and receives data.
  • the program (information processing program) for executing information processing executed by the information processing device 10 of this embodiment is provided by being pre-installed in ROM 10B or the like.
  • the program executed by the information processing device 10 of this embodiment may be provided by being recorded on a recording medium in a format that can be installed on the information processing device 10 or in a format that can be executed.
  • the recording medium is a medium that can be read by a computer.
  • the recording medium is a CD (Compact Disc)-ROM, a flexible disk (FD), a CD-R (Recordable), a DVD (Digital Versatile Disk), a USB (Universal Serial Bus) memory, an SD (Secure Digital) card, etc.
  • the information processing device 10 uses VSLAM processing to simultaneously estimate peripheral position information of the moving object 2 and self-position information of the moving object 2 from images captured by the image capture unit 12.
  • the information processing device 10 stitches together multiple spatially adjacent captured images to generate and display a composite image (overhead image) overlooking the periphery of the moving object 2.
  • at least one of the image capture units 12 is used as a detection unit 14, and the detection unit 14 processes the images acquired from the image capture unit 12.
  • FIG. 3 is a diagram showing an example of the functional configuration of the information processing device 10. In addition to the information processing device 10, FIG. 3 also shows the image capture unit 12 and display unit 16 in order to clarify the data input/output relationship.
  • the information processing device 10 includes an acquisition unit 20, a selection unit 21, an operation control unit 26, a VSLAM processing unit 24, a second memory unit 28, a determination unit 30, a transformation unit 32, a virtual viewpoint line of sight determination unit 34, and an image generation unit 37.
  • Some or all of the above multiple units may be realized, for example, by having a processing device such as CPU 10A execute a program, i.e., by software. Also, some or all of the above multiple units may be realized by hardware such as an IC (Integrated Circuit), or by using a combination of software and hardware.
  • the acquisition unit 20 acquires captured images from the image capture unit 12. That is, the acquisition unit 20 acquires captured images from each of the front image capture unit 12A, the left image capture unit 12B, the right image capture unit 12C, and the rear image capture unit 12D.
  • the acquisition unit 20 outputs each captured image to the projection conversion unit 36 and the selection unit 21 each time the image is acquired.
  • the selection unit 21 selects the detection area of the detection point. In this embodiment, the selection unit 21 selects the detection area by selecting at least one of the multiple imaging units 12 (imaging units 12A to 12D).
  • the VSLAM processing unit 24 generates first information including position information of the surrounding three-dimensional objects of the moving body 2 and position information of the moving body 2 based on an image of the periphery of the moving body 2. That is, the VSLAM processing unit 24 receives the captured image from the selection unit 21, uses this to execute VSLAM processing to generate environmental map information, and outputs the generated environmental map information to the distance conversion unit 245.
  • the VSLAM processing unit 24 also has a first mode generation process and a second mode generation process as operating modes for generating environmental map information.
  • the first mode generation process is a mode in which map information including position information of objects around the moving body 2 is generated at a first frequency, and self-position information indicating the self-position of the moving body 2 is generated at a predetermined frequency.
  • the second mode generation process is a mode in which map information is generated at a second frequency lower than the first frequency.
  • frequency means the number of times the process is executed per unit time.
  • the self-location information of the moving object 2 generated in the generation process of the first mode is called the first self-location information.
  • This first self-location information is generated by VSLAM processing in the VSLAM processing unit 24.
  • the self-location information of the moving object 2 generated in the self-location update unit 301 described below is called the second self-location information.
  • This second self-location information is generated, for example, by odometry processing.
  • the VSLAM processing unit 24 is an example of a map information generation unit.
  • the VSLAM processing unit 24 includes a matching unit 240, a first memory unit 241, a self-position estimation unit 242, a three-dimensional restoration unit 243, and a correction unit 244.
  • the matching unit 240 performs feature extraction processing and matching processing between multiple captured images (multiple captured images of different frames) captured at different times. In detail, the matching unit 240 performs feature extraction processing from these multiple captured images. The matching unit 240 performs matching processing for multiple captured images captured at different times, using the feature amounts between the multiple captured images to identify corresponding points between the multiple captured images. The matching unit 240 outputs the matching processing results to the first storage unit 241.
  • the self-position estimation unit 242 uses the multiple matching points acquired by the matching unit 240 to estimate the self-position relative to the captured image as first self-position information by projective transformation or the like.
  • the first self-position information includes information on the position (three-dimensional coordinates) and tilt (rotation) of the image capture unit 12.
  • the self-position estimation unit 242 stores environmental map information 241A including the first self-position information as point cloud information in the first storage unit 241.
  • the three-dimensional restoration unit 243 performs a perspective projection transformation process using the amount of movement (translation amount and rotation amount) of the first self-position information estimated by the self-position estimation unit 242, and determines the three-dimensional coordinates of the matching point (coordinates relative to the self-position).
  • the three-dimensional restoration unit 243 stores the environment map information 241A, which includes the peripheral position information, which is the determined three-dimensional coordinates, as point cloud information, in the first storage unit 2431.
  • new surrounding position information and new first self-position information are sequentially added to the environmental map information 241A as the moving object 2 on which the image capturing unit 12 is mounted moves.
  • the first storage unit 241 stores various data such as environmental map information 241A.
  • the first storage unit 241 is, for example, a semiconductor memory element such as a RAM or a flash memory, a hard disk, an optical disk, etc.
  • the first storage unit 241 may be a storage device provided outside the information processing device 10.
  • the first storage unit 241 may also be a storage medium.
  • the storage medium may be a medium in which programs and various information are downloaded and stored or temporarily stored via a LAN (Local Area Network) or the Internet, etc.
  • LAN Local Area Network
  • the environmental map information 241A is information in which point cloud information, which is peripheral position information calculated by the three-dimensional restoration unit 243, and point cloud information, which is first self-position information calculated by the self-position estimation unit 242, are registered in a three-dimensional coordinate space with a predetermined position in real space as the origin (reference position).
  • the predetermined position in real space may be determined based on, for example, preset conditions.
  • the predetermined position used in the environmental map information 241A is the self-position of the moving body 2 when the information processing device 10 executes the information processing of this embodiment.
  • the information processing device 10 may set the self-position of the moving body 2 when it is determined that the predetermined timing has been reached as the predetermined position.
  • the information processing device 10 may determine that the predetermined timing has been reached when it is determined that the behavior of the moving body 2 has become behavior indicative of a parking scene.
  • Behavior indicative of a parking scene due to reversing includes, for example, when the speed of the moving body 2 becomes equal to or lower than a predetermined speed, when the gear of the moving body 2 is put into reverse gear, when a signal indicating the start of parking is received by a user's operational instruction, etc. It should be noted that the predetermined timing is not limited to a parking scene.
  • FIG. 4 is a schematic diagram of an example in which information on a specific height has been extracted from the environment map information 241A.
  • the environment map information 241A is information in which point cloud information, which is the position information (peripheral position information) of each of the detection points P, and point cloud information, which is the self-position information of the self-position S of the moving object 2, are registered at corresponding coordinate positions in the three-dimensional coordinate space.
  • FIG. 4 shows self-positions S1 to S3 as an example. The larger the value of the number following S, the closer the self-position S is to the current timing.
  • the correction unit 244 corrects the surrounding position information and self-position information already registered in the environmental map information 241A using, for example, the least squares method, so that the sum of the difference in distance in three-dimensional space between previously calculated three-dimensional coordinates and newly calculated three-dimensional coordinates for points that have been matched multiple times between multiple frames is minimized. Note that the correction unit 244 may also correct the amount of movement (translation amount and rotation amount) of the self-position used in the process of calculating the self-position information and surrounding position information.
  • the timing of the correction process by the correction unit 244 is not limited.
  • the correction unit 244 may execute the above correction process at a predetermined timing.
  • the predetermined timing may be determined based on a preset condition, for example. Note that in this embodiment, a case where the information processing device 10 is configured to include the correction unit 244 will be described as an example. However, the information processing device 10 may not be configured to include the correction unit 244.
  • the distance conversion unit 245 converts the relative positional relationship between the self-position and the surrounding three-dimensional objects, which can be known from the environmental map information, into the absolute value of the distance from the self-position to the surrounding three-dimensional objects, generates detection point distance information of the surrounding three-dimensional objects, and outputs it to the determination unit 30.
  • the detection point distance information is information obtained by offsetting the self-position to coordinates (0,0,0) and converting the measured distance (coordinates) to each of the multiple detection points P calculated, for example, into meters.
  • the information on the self-position of the moving body 2 is included as the coordinates of the origin (0,0,0) in the detection point distance information.
  • the distance conversion unit 245 uses, for example, status information such as the speed data of the moving object 2 included in the CAN data sent from the ECU 3 for distance conversion.
  • status information such as the speed data of the moving object 2 included in the CAN data sent from the ECU 3 for distance conversion.
  • the relative positional relationship between the self-position S and multiple detection points P can be known, but the absolute value of the distance is not calculated.
  • the distance between the self-position S3 and the self-position S2 can be calculated based on the frame-to-frame period for calculating the self-position and the speed data during that period based on the status information.
  • the distance conversion unit 245 uses the actual speed data of the moving object 2 included in the CAN data to convert the relative positional relationship between the self-position and the surrounding three-dimensional objects into the absolute value of the distance from the self-position to the surrounding three-dimensional objects.
  • the status information included in the CAN data and the environmental map information output from the VSLAM processing unit 24 can be associated with each other using time information.
  • the detection unit 14 acquires distance information of the detection point P, the distance conversion unit 245 may be omitted.
  • the operation control unit 26 When the VSLAM processing unit 24 executes the generation process of the first mode, the operation control unit 26 generates first trigger information based on the status information of the moving object 2.
  • the operation control unit 26 outputs the generated first trigger information to the VSLAM processing unit 24 and the self-position update unit 301 described later.
  • the status information is information including at least one of the following: the speed data of the moving object 2 included in the CAN data sent from the ECU 3, gear information, the amount of rotation of the tires, the steering angle, an instruction from the user, and a trigger to start generating an overhead image.
  • the first trigger information generated by the operation control unit 26 is information for transitioning the operation of the VSLAM processing unit 24 from the generation process of the first mode to the generation process of the second mode in order to reduce the frequency of generating environmental map information according to the status information of the moving object 2.
  • the VSLAM processing unit 24 acquires the first trigger information from the operation control unit 26, it transitions the operation from the generation process of the first mode to the generation process of the second mode.
  • the second storage unit 28 stores the environment map information including the self-position information of the moving object 2, which is sequentially output from the VSLAM processing unit 24 during the generation process of the first mode.
  • the environment map information stored in the second storage unit 28 is referenced by the self-position update unit 301 of the determination unit 30 during the generation process of the second mode.
  • the determination unit 30 determines the shape of the projection surface for projecting the image acquired by the image capture unit 12 mounted on the moving body 2 to generate an overhead image.
  • the projection surface is a three-dimensional surface for projecting an image of the surroundings of the moving body 2 as an overhead image.
  • the image of the surroundings of the moving body 2 is a captured image of the surroundings of the moving body 2, which is a captured image captured by each of the capturing units 12A to 12D.
  • the projection shape of the projection surface is a three-dimensional (3D) shape that is virtually formed in a virtual space that corresponds to the real space.
  • the determination of the projection shape of the projection surface executed by the determination unit 30 is referred to as a projection shape determination process.
  • FIG. 5 is a schematic diagram showing an example of the functional configuration of the determination unit 30.
  • the determination unit 30 includes a self-position update unit 301, a nearest neighbor identification unit 305, a reference projection surface shape selection unit 309, a scale determination unit 311, an asymptotic curve calculation unit 313, a shape determination unit 315, and a boundary region determination unit 317.
  • the self-location update unit 301 reads out the environmental map information output from the VSLAM processing unit 24 and stored in the second storage unit 28, and outputs it to the nearest neighbor identification unit 305 in the subsequent stage.
  • the self-location update unit 301 reads out the latest environmental map information stored in the second storage unit 28, and generates second self-location information by odometry processing using the first self-location information and state information contained in the latest environmental map information. The generation of this second self-location information is executed at a predetermined rate (frequency).
  • the self-location update unit 301 registers the generated second self-location information in the retrieved environmental map information and outputs it to the nearest neighbor identification unit 305. Note that the self-location update unit 301 is an example of a self-location generation unit.
  • the nearest neighbor identification unit 305 uses the specific height extraction map to divide the periphery of the self-position S of the moving body 2 into specific ranges (e.g., angular ranges), and for each range, identifies the detection point P closest to the moving body 2, or multiple detection points P in order of proximity to the moving body 2, and generates nearby point information.
  • specific ranges e.g., angular ranges
  • the nearest neighbor identification unit 305 identifies multiple detection points P for each range in order of proximity to the moving body 2 to generate nearby point information.
  • the nearby point information is acquired as the positions of nearby points, for example, every 90 degrees, in four directions, forward, left, right, and backward of the moving body 2.
  • the nearest neighbor identification unit 305 outputs the measurement distance of the detection point P identified for each range as nearby point information to the downstream reference projection surface shape selection unit 309, scale determination unit 311, asymptotic curve calculation unit 313, and boundary region determination unit 317.
  • the reference projection surface shape selection unit 309 selects the shape of the reference projection surface.
  • FIG. 6 is a schematic diagram showing an example of a reference projection surface 40.
  • the reference projection surface will be described with reference to FIG. 6.
  • the reference projection surface 40 is, for example, a projection surface having a shape that serves as a reference when changing the shape of the projection surface.
  • the shape of the reference projection surface 40 is, for example, bowl-shaped, cylindrical, etc. Note that FIG. 6 shows an example of a bowl-shaped reference projection surface 40.
  • the bowl shape has a bottom surface 40A and a side wall surface 40B, one end of the side wall surface 40B is continuous with the bottom surface 40A, and the other end is open.
  • the width of the horizontal cross section of the side wall surface 40B increases from the bottom surface 40A side toward the opening of the other end.
  • the bottom surface 40A is, for example, circular.
  • a circular shape includes a perfect circle shape and a circular shape other than a perfect circle shape, such as an ellipse shape.
  • the horizontal cross section is an orthogonal plane perpendicular to the vertical direction (arrow Z direction).
  • the orthogonal plane is a two-dimensional plane along the arrow X direction perpendicular to the arrow Z direction, and the arrow Y direction perpendicular to the arrow Z direction and the arrow X direction.
  • the horizontal cross section and the orthogonal plane may be referred to as the XY plane below.
  • the bottom surface 40A may be a shape other than a circle, such as an egg shape.
  • the cylindrical shape is a shape consisting of a circular bottom surface 40A and a side wall surface 40B that is continuous with the bottom surface 40A.
  • the side wall surface 40B that constitutes the cylindrical reference projection surface 40 is cylindrical with an opening at one end that is continuous with the bottom surface 40A and an opening at the other end.
  • the side wall surface 40B that constitutes the cylindrical reference projection surface 40 has a shape in which the diameter in the XY plane is approximately constant from the bottom surface 40A side toward the opening side of the other end.
  • the bottom surface 40A may be a shape other than a circle, such as an egg shape.
  • the reference projection plane 40 is a three-dimensional model virtually formed in a virtual space with the bottom surface 40A being a surface that approximately coincides with the road surface below the moving body 2, and the center of the bottom surface 40A being the self-position S of the moving body 2.
  • the reference projection surface shape selection unit 309 selects the shape of the reference projection surface 40 by reading one specific shape from multiple types of reference projection surfaces 40. For example, the reference projection surface shape selection unit 309 selects the shape of the reference projection surface 40 based on the positional relationship and distance between the self-position and surrounding three-dimensional objects. The shape of the reference projection surface 40 may also be selected based on an operational instruction from the user. The reference projection surface shape selection unit 309 outputs shape information of the determined reference projection surface 40 to the shape determination unit 315. In this embodiment, as described above, a form in which the reference projection surface shape selection unit 309 selects a bowl-shaped reference projection surface 40 is described as an example.
  • the scale determination unit 311 determines the scale of the reference projection surface 40 of the shape selected by the reference projection surface shape selection unit 309. For example, the scale determination unit 311 makes a decision to reduce the scale when the distance from the self-position S to a nearby point is shorter than a predetermined distance.
  • the scale determination unit 311 outputs scale information of the determined scale to the shape determination unit 315.
  • the asymptotic curve calculation unit 313 calculates the asymptotic curve of the peripheral position information relative to the self-position based on the peripheral position information of the moving object 2 and the self-position information contained in the environmental map information.
  • the asymptotic curve calculation unit 313 uses each of the distances from the self-position S to the closest detection point P for each range from the self-position S received from the nearest neighbor identification unit 305, and outputs the asymptotic curve information of the calculated asymptotic curve Q to the shape determination unit 315 and the virtual viewpoint line of sight determination unit 34.
  • FIG. 7 is an explanatory diagram of the asymptotic curve Q generated by the determination unit 30.
  • the asymptotic curve is the asymptotic curve of multiple detection points P in the environmental map information.
  • FIG. 7 is an example showing the asymptotic curve Q in a projected image obtained by projecting a captured image onto a projection surface when the moving body 2 is viewed from above.
  • the determination unit 30 has identified three detection points P in order of proximity to the self-position S of the moving body 2.
  • the determination unit 30 generates the asymptotic curve Q of these three detection points P.
  • the asymptotic curve calculation unit 313 may obtain a representative point located at the center of gravity of multiple detection points P for each specific range (e.g., angle range) of the reference projection plane 40, and calculate an asymptotic curve Q for the representative point for each of the multiple ranges. Then, the asymptotic curve calculation unit 313 outputs asymptotic curve information of the calculated asymptotic curve Q to the shape determination unit 315. The asymptotic curve calculation unit 313 may output asymptotic curve information of the calculated asymptotic curve Q to the virtual viewpoint line of sight determination unit 34.
  • the shape determination unit 315 enlarges or reduces the reference projection surface 40, the shape of which is indicated by the shape information received from the reference projection surface shape selection unit 309, to the scale of the scale information received from the scale determination unit 311.
  • the shape determination unit 315 determines, as the projection shape, the shape of the reference projection surface 40 after enlargement or reduction, which is deformed so that the shape conforms to the asymptotic curve information of the asymptotic curve Q received from the asymptotic curve calculation unit 313.
  • FIG. 8 is a schematic diagram showing an example of the projection shape 41 determined by the determination unit 30.
  • the shape determination unit 315 determines, as the projection shape 41, a shape obtained by deforming the reference projection plane 40 into a shape that passes through a detection point P that is closest to the self-position S of the moving object 2, which is the center of the bottom surface 40A of the reference projection plane 40.
  • a shape that passes through the detection point P means that the deformed side wall surface 40B is a shape that passes through the detection point P.
  • the self-position S is the self-position S calculated by the self-position estimation unit 242.
  • the shape determination unit 315 identifies the detection point P that is closest to the self-position S among the multiple detection points P registered in the environmental map information.
  • the shape determination unit 315 identifies the detection point P where the value of X2 + Y2 is the minimum as the detection point P that is closest to the self-position S.
  • the shape determination unit 315 determines, as the projection shape 41, a shape obtained by deforming the side wall surface 40B of the reference projection plane 40 so that it passes through the detection point P.
  • the shape determination unit 315 determines the deformed shape of the bottom surface 40A and a portion of the side wall surface 40B as the projected shape 41 so that when the reference projection surface 40 is deformed, a portion of the side wall surface 40B becomes a wall surface passing through the detection point P closest to the moving body 2.
  • the projected shape 41 after deformation is, for example, a shape raised from the rising line 44 on the bottom surface 40A toward the center of the bottom surface 40A from the viewpoint (planar view) of the XY plane. "Raising” means, for example, bending or folding a portion of the side wall surface 40B and the bottom surface 40A toward the center of the bottom surface 40A so that the angle between the side wall surface 40B of the reference projection surface 40 and the bottom surface 40A becomes smaller. Note that in the raised shape, the rising line 44 may be located between the bottom surface 40A and the side wall surface 40B, and the bottom surface 40A may remain undeformed.
  • the shape determination unit 315 determines to deform the specific area on the reference projection surface 40 so that it protrudes to a position that passes through the detection point P when viewed from the viewpoint (planar view) of the XY plane.
  • the shape and range of the specific area may be determined based on predetermined criteria.
  • the shape determination unit 315 determines to deform the reference projection surface 40 so that the distance from the self-position S increases continuously from the protruding specific area toward areas on the side wall surface 40B other than the specific area.
  • the shape determination unit 315 is an example of a projection shape determination unit.
  • the projection shape 41 it is preferable to determine the projection shape 41 so that the outer periphery of the cross section along the XY plane is curved.
  • the outer periphery of the cross section of the projection shape 41 is, for example, circular, but may be a shape other than circular.
  • the shape determination unit 315 may determine, as the projection shape 41, a shape obtained by deforming the reference projection plane 40 so that the shape is along an asymptotic curve.
  • the shape determination unit 315 generates an asymptotic curve of a predetermined number of detection points P in a direction away from the detection point P closest to the self-position S of the moving body 2.
  • the number of detection points P may be more than one.
  • the number of detection points P is preferably three or more.
  • the shape determination unit 315 generates an asymptotic curve of a plurality of detection points P located at a position away from the self-position S by a predetermined angle or more.
  • the shape determination unit 315 may determine, as the projection shape 41, a shape obtained by deforming the reference projection plane 40 so that the shape is along the generated asymptotic curve Q in the asymptotic curve Q shown in FIG. 7.
  • the shape determination unit 315 may divide the periphery of the self-position S of the moving body 2 into specific ranges, and for each range, identify the detection point P closest to the moving body 2, or multiple detection points P in order of proximity to the moving body 2. The shape determination unit 315 may then determine, as the projection shape 41, a shape obtained by deforming the reference projection surface 40 so that the shape passes through the detection points P identified for each range, or a shape that follows the asymptotic curve Q of the identified multiple detection points P.
  • the shape determination unit 315 outputs the projection shape information of the determined projection shape 41 to the deformation unit 32.
  • the deformation unit 32 deforms the projection plane based on the projection shape information received from the determination unit 30.
  • the deformation of this reference projection plane is performed, for example, based on the detection point P closest to the moving body 2.
  • the deformation unit 32 outputs the deformed projection plane information to the projection conversion unit 36.
  • the deformation unit 32 deforms the reference projection surface into a shape that follows the asymptotic curve of a predetermined number of detection points P in order of proximity to the moving body 2, based on the projection shape information.
  • the virtual viewpoint line of sight determination unit 34 determines virtual viewpoint line of sight information based on the self-position and the asymptotic curve information, and outputs it to the projection transformation unit 36.
  • the virtual viewpoint line of sight determination unit 34 determines the line of sight direction to be a direction passing through the detection point P closest to the self-position S of the moving body 2 and perpendicular to the deformed projection plane. Also, for example, the virtual viewpoint line of sight determination unit 34 fixes the direction of the line of sight direction L, and determines the coordinates of the virtual viewpoint O as an arbitrary Z coordinate and an arbitrary XY coordinate in a direction away from the asymptotic curve Q toward the self-position S. In this case, the XY coordinates may be coordinates of a position farther away from the asymptotic curve Q than the self-position S.
  • the virtual viewpoint line of sight determination unit 34 outputs the virtual viewpoint line of sight information indicating the virtual viewpoint O and the line of sight direction L to the projection transformation unit 36.
  • the line of sight direction L may be a direction from the virtual viewpoint O toward the position of the apex W of the asymptotic curve Q.
  • the image generation unit 37 uses the projection surface to generate an overhead image of the surroundings of the moving object 2. Specifically, the image generation unit 37 includes a projection conversion unit 36 and an image synthesis unit 38.
  • the projection conversion unit 36 generates a projection image by projecting the captured image acquired from the image capture unit 12 onto the deformed projection surface based on the deformed projection surface information and the virtual viewpoint line of sight information.
  • the projection conversion unit 36 converts the generated projection image into a virtual viewpoint image and outputs it to the image synthesis unit 38.
  • the virtual viewpoint image is an image obtained by viewing the projection image in any direction from the virtual viewpoint.
  • the projection image generation process by the projection transformation unit 36 will be described in detail with reference to FIG. 8.
  • the projection transformation unit 36 projects the captured image onto the deformed projection surface 42.
  • the projection transformation unit 36 then generates a virtual viewpoint image (not shown) which is an image of the captured image projected onto the deformed projection surface 42 viewed from an arbitrary virtual viewpoint O in the line of sight direction L.
  • the position of the virtual viewpoint O may be set to, for example, the self-position S of the moving body 2 (used as the basis for the projection surface deformation process).
  • the XY coordinate values of the virtual viewpoint O may be set to the XY coordinate values of the self-position of the moving body 2.
  • the Z coordinate value (vertical position) of the virtual viewpoint O may be set to the Z coordinate value of the detection point P closest to the self-position of the moving body 2.
  • the line of sight direction L may be determined based on, for example, a predetermined criterion.
  • the line of sight direction L may be, for example, a direction from the virtual viewpoint O toward the detection point P that is closest to the self-position S of the moving body 2.
  • the line of sight direction L may also be a direction that passes through the detection point P and is perpendicular to the deformed projection plane 42.
  • the virtual viewpoint line of sight information indicating the virtual viewpoint O and the line of sight direction L is created by the virtual viewpoint line of sight determination unit 34.
  • the image synthesis unit 38 generates a synthetic image by extracting part or all of the virtual viewpoint image. For example, the image synthesis unit 38 performs a process of stitching together multiple virtual viewpoint images (here, four virtual viewpoint images corresponding to the imaging units 12A to 12D) in the boundary area between the imaging units.
  • multiple virtual viewpoint images here, four virtual viewpoint images corresponding to the imaging units 12A to 12D
  • the image synthesis unit 38 outputs the generated synthetic image to the display unit 16.
  • the synthetic image may be a bird's-eye view image with a virtual viewpoint O above the moving body 2, or may be an image in which the moving body 2 is displayed semi-transparently with a virtual viewpoint O inside the moving body 2.
  • the overhead image stabilization process executed by the information processing device 10 according to the present embodiment will be described in detail.
  • a high load such as overhead image display accompanied by deformation of the projection surface
  • environmental map information generation which also has a high processing load
  • the overhead image may become unstable, such as the displayed overhead image becoming unnatural.
  • the overhead image stabilization process is a process for reducing the load of information processing by controlling the frequency of environmental map information generation according to the vehicle state of the moving body 2, and stabilizing the overhead image generation.
  • an example is taken in which the acquisition of status information in which the gear of the moving body 2 has been changed from drive to reverse is used as a trigger to start the overhead image stabilization process.
  • this is not limited to this example, and the start of the overhead image stabilization process may also be triggered by, for example, the acquisition of status information including instruction information for the overhead image stabilization process input by the user and overhead image generation start information.
  • FIG. 9 is a top view illustrating the overhead image stabilization process, showing an example of the movement path of the mobile body 2 and the surrounding conditions of the parking area P3 when the mobile body 2 is parked in the parking area P3.
  • Car1 is in parking area P1
  • Car2 is in parking area P2
  • Car4 is in parking area P4.
  • parking area P3, which is between parking area P2 and parking area P4, is vacant.
  • the mobile body 2 proceeds from parking area P1 while looking at parking area P4 on the left, stops with the front of the vehicle facing to the right beyond parking area P4, and then shifts the gear from drive to reverse to reverse and parks in parking area P3.
  • FIG. 10, 11, and 12 are diagrams for explaining the overhead image stabilization process in the section where the moving body 2 is moving forward in the situation shown in FIG. 9.
  • the moving body 2 proceeds from parking area P1 while looking at parking area P4 on the left, and until it stops beyond parking area P4 with the front of the vehicle facing right, the VSLAM processing unit 24 performs environment map information generation and self-position estimation using images captured in the left shooting area E2 by the generation process in the first mode. Therefore, in the section shown in FIG. 10, 11, and 12, environment map information including self-maintenance information is generated with the first frequency.
  • the circles shown on the boundaries of Car in Figures 10, 11, and 12 indicate detection points detected in VSLAM processing.
  • the diagonal-lined circles are examples of detection points detected in the current VSLAM processing
  • the open circles are examples of detection points detected in past VSLAM processing.
  • FIG. 13 is a diagram for explaining the overhead image stabilization process when the moving object 2 stops and changes gear from drive to reverse in the situation shown in FIG. 9.
  • the operation control unit 26 obtains state information related to the gear change of the moving object 2 from the ECU 3, generates first trigger information based on the state information, and outputs it to the VSLAM processing unit 24 and the self-position update unit 301.
  • the VSLAM processing unit 24 transitions the environment map information generation process from a first mode in which the process is executed at a first frequency to a second mode in which the process is executed at a second frequency lower than the first frequency. Thereafter, the VSLAM processing unit 24 executes the environment map information generation process according to the second mode.
  • the second frequency can be set to any value lower than the first frequency.
  • the setting value of the second frequency is set to "0", and an example is taken in which no new environment map information is generated in the generation process in the second mode.
  • the setting value is a numerical value that determines the number of times the process is executed per unit time, and for example, when "0" is set, this means that the environment map information is generated 0 times per unit time, i.e., no environment map information is generated.
  • the self-position updating unit 301 In response to the first trigger information acquired from the operation control unit 26, the self-position updating unit 301 reads, for example, the latest environmental map information (including the first self-position information) from the second storage unit 28.
  • the self-position updating unit 301 also starts a self-position estimation process using the odometry method, using the status information acquired from the ECU 3 and the read environmental map information.
  • the self-position updating unit 301 registers the second self-position information generated by the self-position estimation process in the environmental map information.
  • the self-position updating unit 301 outputs the environmental map information in which the second self-position information is registered to the nearest neighbor identification unit 305 at the subsequent stage.
  • the determination unit 30 executes a projection shape determination process using the environment map information generated in the first mode and stored in the second storage unit 28 and the second self-position information updated in real time.
  • the image generation unit 37 generates an overhead image using the projection surface shape determined by the environment map information generated in the first mode and stored in the second storage unit 28 and the second self-position information updated in real time.
  • FIG. 14 is a diagram for explaining the timing of switching from the first mode generation process to the second mode generation process in the overhead image stabilization process in the situation shown in FIG. 9 (i.e., switching between generating environmental map information and generating self-location information).
  • the generation process of the first mode while the moving body 2 is moving forward, the generation process of the first mode generates the environment map information and the first self-position information at a first frequency.
  • the generated environment map information and the first self-position information are stored sequentially in the second storage unit 28.
  • the generation process of the first mode transitions to the generation process of the second mode.
  • the moving body 2 moves toward the environment map information already generated by the generation process of the first mode due to reverse parking. Therefore, in the generation process of the second mode, the environment map information is not generated, and an overhead image is generated using the environment map information already generated by the generation process of the first mode and the second self-position information generated by the odometry method.
  • the generation of the environmental map generation information can be stopped, which reduces the processing load.
  • a natural overhead image can be stably generated and output.
  • FIG. 15 is a flowchart showing an example of the flow of overhead image stabilization processing according to an embodiment. Note that the overhead image stabilization processing shown in FIG. 15 shows an example of overhead image stabilization processing executed in the situation shown in FIG. 9.
  • the VSLAM processing unit 24 generates environmental map information by the generation process in the first mode in the section in which the moving body 2 advances (step S1).
  • the VSLAM processing unit 24 generates first self-location information in the generation process of the first mode (step S2).
  • the generated first self-location information is registered in the environmental map information generated in step S1.
  • the VSLAM processing unit 24 outputs the environmental map information in which the first self-location information is registered to the second storage unit 28.
  • the second storage unit 28 stores (updates) the environmental map information output from the VSLAM processing unit 24 (step S3). Note that the generation of the environmental map information by steps S1 to S3 is performed with a first frequency.
  • the VSLAM processing unit 24 determines whether or not the first trigger information has been acquired from the operation control unit 26 (step S4). If the VSLAM processing unit 24 has not acquired the first trigger information from the operation control unit 26 (No in step S4), it repeats the processing of steps S1 to S3.
  • the VSLAM processing unit 24 receives first trigger information from the operation control unit 26 (Yes in step S4), it stops generating environmental map information in the first mode and transitions the operation from the generation process in the first mode to the generation process in the second mode (step S5).
  • the self-location update unit 301 acquires the latest environmental map information and the first self-location information from the second storage unit 28 (step S6).
  • the self-location update unit 301 acquires the status information (step S7).
  • the self-location update unit 301 executes odometry processing using the acquired environmental map information and state information to generate second self-location information (step S8).
  • step S9 If the self-location update unit 301 has not received the second trigger information from the operation control unit 26 (No in step S9), it repeats the processes of steps S7 and S8. On the other hand, if the self-location update unit 301 has received the second trigger information from the operation control unit 26 (Yes in step S9), it stops the generation of environmental map information by the second mode generation process (step S9).
  • the setting value of the second frequency is set to 0.
  • the processes of steps S1, S2, S3, S5, and S6 are executed as periodic interrupt processes according to the second frequency.
  • FIG. 16 is a flowchart showing an example of the flow of the process of generating environmental map information in the first mode until transition to the second mode.
  • the acquisition unit 20 acquires the captured images for each direction (step S20).
  • the operation control unit 26 acquires the specified content (step S22). The operation control unit 26 also acquires the status information (step S24).
  • the operation control unit 26 determines whether or not to transition the operation of the VSLAM processing unit 24 from the first mode to the second mode based on the acquired state information (step S26).
  • step S26 If the operation control unit 26 determines to transition from the first mode to the second mode (Yes in step S26), the operation control unit 26 generates first trigger information and outputs it to the VSLAM processing unit 24 and the self-position update unit 301.
  • the decision unit 30 of the VSLAM processing unit 24 ends (stops) the generation process of the first mode in response to the first trigger information acquired from the operation control unit 26. Thereafter, the overhead image generation process (described later) after transition to the second mode shown in FIG. 17 is executed.
  • the operation control unit 26 determines not to transition from the first mode to the second mode (No in step S26)
  • the operation control unit 26 does not generate the first trigger information.
  • the VSLAM processing unit 24 does not receive the first trigger information from the operation control unit 26, and the selection unit 21 of the VSLAM processing unit 24 selects the captured image as the detection area (step S28).
  • the matching unit 240 extracts features and performs matching processing using the multiple captured images taken at different times and selected in step S28 and captured by the imaging unit 12 (step S30).
  • the matching unit 240 also registers information on corresponding points between the multiple captured images taken at different times, identified by the matching processing, in the first storage unit 241.
  • the self-position estimation unit 242 reads the matching points and the environmental map information 241A (peripheral position information and self-position information) from the first storage unit 241 (step S32). Using the multiple matching points acquired from the matching unit 240, the self-position estimation unit 242 estimates the self-position relative to the captured image by projective transformation or the like (step S34), and registers the calculated self-position information in the environmental map information 241A (step S36).
  • the three-dimensional restoration unit 243 reads the environment map information 241A (peripheral position information and self-position information) (step S38).
  • the three-dimensional restoration unit 243 performs a perspective projection transformation process using the amount of movement (translation amount and rotation amount) of the self-position estimated by the self-position estimation unit 242, determines the three-dimensional coordinates of the matching point (coordinates relative to the self-position), and registers them as peripheral position information in the environment map information 241A (step S40).
  • the correction unit 244 reads the environment map information 241A (peripheral position information and self-position information) (step S42).
  • the correction unit 244 corrects the peripheral position information and self-position information already registered in the environment map information 241A using, for example, the least squares method so that the sum of the distance differences in three-dimensional space between previously calculated three-dimensional coordinates and newly calculated three-dimensional coordinates for points that have been matched multiple times across multiple frames is minimized (step S44), and updates the environment map information 241A.
  • the distance conversion unit 245 acquires status information, including the speed data (vehicle speed) of the moving body 2, contained in the CAN data received from the ECU 3 of the moving body 2 (step S46).
  • the distance conversion unit 245 uses the speed data of the moving body 2 to convert the coordinate distance between the point groups contained in the environmental map information 241A into an absolute distance, for example in meters.
  • the distance conversion unit 245 also offsets the origin of the environmental map information to the self-position S of the moving body 2 to generate detection point distance information indicating the distance from the moving body 2 to each of the multiple detection points P (step S48).
  • the distance conversion unit 245 outputs the detection point distance information to the second storage unit 28 as first self-position information.
  • the second storage unit 28 stores (updates) the environmental map information including the first self-position information output from the distance conversion unit 245 (step S50).
  • FIG. 17 is a flowchart showing an example of the flow of the overhead image generation process after transitioning from the first mode to the second mode. Note that the processes from step S20 to step S26 are the same as those shown in FIG. 16, so the description thereof will be omitted.
  • the self-location update unit 301 After the operation of the VSLAM processing unit 24 transitions to the generation process of the second mode, the self-location update unit 301 generates second self-location information by odometry processing (step S60). The self-location update unit 301 also outputs the environmental map information in which the generated second self-location information is registered to the nearest neighbor identification unit 305.
  • the nearest neighbor identification unit 305 executes nearest object distance extraction processing for each direction using the environment map information including the first self-location information and the second self-location information (step S62). Specifically, the nearest neighbor identification unit 305 divides the surroundings of the self-location S of the moving body 2 into specific ranges, identifies the detection point P closest to the moving body 2 for each range, or multiple detection points P in order of closestness to the moving body 2, and extracts the distance to the nearest object. The nearest neighbor identification unit 305 outputs the measured distance d of the detection point P identified for each range (the measured distance between the moving body 2 and the nearest object) to the subsequent stage as nearby point information.
  • the reference projection surface shape selection unit 309 selects the shape of the reference projection surface 40 based on the nearby point information (step S64), and outputs the shape information of the selected reference projection surface 40 to the shape determination unit 315.
  • the scale determination unit 311 determines the scale of the reference projection surface 40 of the shape selected by the reference projection surface shape selection unit 309 (step S66), and outputs the scale information of the determined scale to the shape determination unit 315.
  • the asymptotic curve calculation unit 313 calculates an asymptotic curve based on the neighboring point information input from the nearest neighbor identification unit 305 (step S68), and outputs the asymptotic curve information to the shape determination unit 315 and the virtual viewpoint line of sight determination unit 34.
  • the shape determination unit 315 determines the projection shape, based on the scale information and the asymptotic curve information, how to deform the shape of the reference projection surface (step S70).
  • the shape determination unit 315 outputs the projection shape information of the determined projection shape 41 to the deformation unit 32.
  • the deformation unit 32 deforms the shape of the reference projection surface based on the projection shape information (step S72).
  • the deformation unit 32 outputs the deformed projection surface information to the projection conversion unit 36.
  • the virtual viewpoint line of sight determination unit 34 determines virtual viewpoint line of sight information based on the self-position and the asymptotic curve information (step S74).
  • the virtual viewpoint line of sight determination unit 34 outputs the virtual viewpoint line of sight information indicating the virtual viewpoint O and the line of sight direction L to the projection transformation unit 36.
  • the projection conversion unit 36 generates a projection image by projecting the captured image acquired from the image capture unit 12 onto the deformed projection surface based on the deformed projection surface information and the virtual viewpoint line of sight information.
  • the projection conversion unit 36 converts (generates) the generated projection image into a virtual viewpoint image (step S76) and outputs it to the image synthesis unit 38.
  • the boundary area determination unit 317 determines the boundary area based on the distance to the nearest object identified for each range. In other words, the boundary area determination unit 317 determines the boundary area as an overlapping area of spatially adjacent peripheral images based on the position of the object nearest to the moving body 2. The boundary area determination unit 317 outputs the determined boundary area to the image synthesis unit 38.
  • the image synthesis unit 38 joins spatially adjacent virtual viewpoint images together using the boundary region to generate a synthetic image (step S78). Note that in the boundary region, spatially adjacent virtual viewpoint images can also be blended at a predetermined ratio.
  • the display unit 16 displays the composite image as an overhead image (step S80).
  • the information processing device 10 determines whether or not to end the information processing (step S82). For example, the information processing device 10 makes the determination in step S82 by determining whether or not a signal indicating that parking of the mobile object 2 has been completed has been received from the ECU 3. Also, for example, the information processing device 10 may make the determination in step S82 by determining whether or not an instruction to end the information processing has been received through an operational instruction by the user, etc.
  • step S82 If a negative judgment is made in step S82 (No in step S82), the processes from step S20 to step S80 are repeatedly executed. On the other hand, if a positive judgment is made in step S82 (Yes in step S82), the overhead image generation process including the projection shape optimization process according to the embodiment is terminated.
  • the information processing device 10 includes a VSLAM processing unit 24 as a map information generating unit, and a self-location updating unit 301 as a self-location generating unit.
  • the VSLAM processing unit 24 selectively executes a first mode generation process in which map information including position information of objects around the moving body 2 is generated at a first frequency to generate first self-location information indicating the self-location of the moving body 2, and a second mode generation process in which map information is generated at a second frequency lower than the first frequency.
  • the VSLAM processing unit 24 executes the first mode generation process while the moving body 2 is moving forward, and executes the second mode generation process while the moving body 2 is moving backward.
  • the self-location updating unit 301 uses the first self-location information and state information of the moving body 2 to generate second self-location information, which is the position information of the moving body 2 in the map information.
  • the VSLAM processing unit 24 executes the generation process in the first mode, for example, when the moving body 2 is moving forward, and executes the generation process in the second mode when the moving body 2 is moving backward, thereby relatively reducing the frequency of the map information generation process, which has a high processing load while moving backward and generates and displays an overhead image. As a result, a stable overhead image can be generated and displayed while moving backward.
  • the VSLAM processing unit 24 of the information processing device 10 can set the second frequency to zero in the generation process in the second mode to stop the generation of map information. Therefore, the information processing device 10 can significantly reduce the processing load during reversing when generating and displaying an overhead image.
  • the information processing device 10 further includes an operation control unit 26 that generates first trigger information based on the status information of the moving object 2.
  • the VSLAM processing unit 24 transitions the operation from the first mode generation process to the second mode generation process in response to the first trigger information.
  • the self-location update unit 301 starts generating second self-location information in response to the first trigger information.
  • the status information of the moving object 2 can be at least one of the gear change information of the moving object 2, instruction information input by the user, and overhead image generation start information. Therefore, the information processing device 10 can relatively reduce the frequency of map information generation processing, which has a high processing load, at an appropriate timing according to the vehicle status of the moving object 2.
  • the self-location update unit 301 of the information processing device 10 generates second self-location information using an odometry method using the state information of the moving body, starting from the first self-location information.
  • the self-location update unit 301 calculates distance information to objects in the vicinity of the moving body 2 using the second self-location information and environmental map information. Therefore, the information processing device 10 can acquire self-location information using the odometry method, which has a relatively light processing load, without performing VSLAM processing, and can significantly reduce the processing load.
  • the information processing device 10 further includes an image generation unit 37 as an image synthesis unit that starts generating an overhead image of the periphery of the moving object in response to the first trigger information.
  • the image generation unit 37 deforms the projection surface of the overhead image based on the distance information. Therefore, since the overhead image generation starts after transitioning to the generation process of the second mode, the processing load can be significantly reduced without simultaneously generating the overhead image and performing VSLAM processing.
  • the moving body 2 may stop moving backward, change gear from reverse to drive, and move forward again, for example, when the direction of the moving body 2 is not appropriate or when the planned parking position is changed.
  • the overhead image stabilization process in such a case will be described.
  • FIGS. 18, 19, and 20 are diagrams for explaining the control of the frequency of the generation process of environmental map information in the overhead image stabilization process according to the second embodiment.
  • the moving body 2 proceeds from parking area P1 towards parking area P4, and once it approaches parking area P4, it stops with the front of the vehicle facing to the right.
  • the moving body 2 then changes gear from drive to reverse, and moves backward towards parking area P3 as shown in FIG. 19.
  • the moving body 2 stops moving backward, changes gear from reverse to drive, and moves forward again as shown in FIG. 20.
  • the first mode generation process is executed, and when the moving body 2 changes gear from drive to reverse, the operation control unit 26 outputs first trigger information, and the operation of the VSLAM processing unit 24 transitions from the first mode generation process to the second mode generation process. Therefore, during reverse movement of the moving body 2 as shown in FIG. 19, overhead image generation according to overhead image stabilization process is executed.
  • the operation control unit 26 Furthermore, at the timing when the moving object 2 stops reversing and changes gear from reverse to drive, the operation control unit 26 generates second trigger information based on the status information of the moving object 2.
  • the operation control unit 26 outputs the generated second trigger information to the VSLAM processing unit 24 and the self-position update unit 301.
  • the second trigger information generated by the operation control unit 26 is information for transitioning the operation of the VSLAM processing unit 24 from second mode generation processing to first mode generation processing in order to increase the frequency of environmental map information generation according to the status information of the moving object 2.
  • VSLAM processing unit 24 acquires the second trigger information from the operation control unit 26, it transitions the operation from the second mode generation process to the first mode generation process. Also, when the self-location update unit 301 acquires the second trigger information from the operation control unit 26, it stops generating the second self-location information by the odometry process.
  • FIG. 21 is a diagram for explaining the timing of switching from the second mode generation process to the first mode generation process in the overhead image stabilization process in the situations shown in FIGS. 18, 19, and 20.
  • the environment map information and first self-position information are generated at a first frequency by the first mode generation process.
  • the generation process transitions from the first mode generation process to the second mode generation process.
  • the generation process transitions from the second mode generation process to the first mode generation process.
  • new environment map information and first self-position information are generated by VSLAM processing at the first frequency.
  • the VSLAM processing unit 24 may obtain the second self-location information estimated by the odometry processing of the self-location update unit 301 and treat it as the latest self-location when the generation processing of the first mode is resumed. It may also match the stored second self-location information with the first self-location information estimated when the generation processing of the first mode is newly performed.
  • the information processing device 10 of the above embodiment and each modified example can be applied to various devices.
  • the information processing device 10 of the above embodiment and each modified example can be applied to a surveillance camera system that processes images obtained from a surveillance camera, or an in-vehicle system that processes images of the surrounding environment outside the vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

情報処理装置（１０）は、一つの態様において、地図情報生成部としてのＶＳＬＡＭ処理部（２４）と、自己位置生成部としての自己位置更新部（３０１）とを備える。ＶＳＬＡＭ処理部（２４）は、移動体の周辺の物体の位置情報を含む地図情報を第１の頻度で生成し移動体の自己位置を示す第１の自己位置情報を生成する第１モードの生成処理と、地図情報を第１の頻度より低い第２の頻度で生成する第２モードの生成処理と、を選択的に実行する。自己位置更新部（３０１）は、地図情報生成部の第２モードの生成処理において、第１の自己位置情報及び移動体の状態情報を用いて、地図情報における移動体の位置情報である第２の自己位置情報を生成する。

Description

情報処理装置、情報処理方法、及び情報処理プログラム
　本発明は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。
　ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）やセンサ測距等を用いて移動体周辺の位置情報を取得し、環境地図の生成や自己位置を推定する技術がある。また、移動体のタイヤの回転量・ハンドル舵角といった情報を用いて、移動体の移動量を算出するオドメトリ法がある。さらに、車等の移動体に搭載された複数カメラの画像を用いて、移動体周辺の俯瞰画像を生成する技術、移動体周辺の立体物に応じて、俯瞰画像の投影面の形状を変更する技術がある。
特開２００９－２０５２２６号公報 特開２０２０－０２１２５７号公報 特開２０２０－０７６８７７号公報 国際公開第２０２１／１１１５３１号
　環境地図生成や自己位置推定は処理負荷が大きい。そのため、移動体周辺の俯瞰画像を生成する場合等において、画像が不自然になる場合がある。
　１つの側面では、本発明は、環境地図生成や自己位置推定を用いて例えば移動体周辺の俯瞰画像を生成する場合等において、従来に比して処理負荷を小さくすることを目的とする。
　本願の開示する情報処理装置は、一つの態様において、地図情報生成部と、自己位置生成部とを備える。前記地図情報生成部は、移動体の周辺の物体の位置情報を含む地図情報を第１の頻度で生成し前記移動体の自己位置を示す第１の自己位置情報を生成する第１モードの生成処理と、前記地図情報を前記第１の頻度より低い第２の頻度で生成する第２モードの生成処理と、を選択的に実行する。前記自己位置生成部は、前記地図情報生成部の前記第２モードの生成処理において、前記第１の自己位置情報及び前記移動体の状態情報を用いて、前記地図情報における前記移動体の位置情報である第２の自己位置情報を生成する。
　本願の開示する情報処理装置等の一つの態様によれば、環境地図生成や自己位置推定を用いて例えば移動体周辺の俯瞰画像を生成する場合等において、従来に比して処理負荷を小さくすることができる。
図１は、実施形態に係る情報処理システムの全体構成の一例を示す図である。 図２は、実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。 図３は、実施形態に係る情報処理装置の機能的構成の一例を示す図である。 図４は、実施形態に係る環境地図情報の一例を示す模式図である。 図５は、決定部の機能的構成の一例を示す模式図である。 図６は、基準投影面の一例を示す模式図である。 図７は、決定部よって生成される漸近曲線Ｑの説明図である。 図８は、決定部により決定された投影形状の一例を示す模式図である。 図９は、俯瞰画像安定化処理を説明するための図である。 図１０は、図９に示した状況において、移動体が前進している区間での俯瞰画像安定化処理を説明するための図である。 図１１は、図９に示した状況において、移動体が前進している区間での俯瞰画像安定化処理を説明するための図である。 図１２は、図９に示した状況において、移動体が前進している区間での俯瞰画像安定化処理を説明するための図である。 図１３は、図９に示した状況において、移動体が停止しギアをドライブからリバースへギアチェンジした場合の俯瞰画像安定化処理を説明するための図である。 図１４は、図９に示した状況での俯瞰画像安定化処理における第１モードの生成処理から第２モードの生成処理への切り替えタイミングを説明するための図である。 図１５は、実施形態に係る俯瞰画像安定化処理の流れの一例を示したフローチャートである。 図１６は、第２モードに遷移するまでの第１モードによる環境地図情報の生成処理の流れの一例を示すフローチャートである。 図１７は、第１モードから第２モードに遷移した後の俯瞰画像生成処理の流れの一例を示すフローチャートである。 図１８は、第２実施形態に係る俯瞰画像安定化処理における環境地図情報の生成処理の頻度の制御を説明するための図である。 図１９は、第２実施形態に係る俯瞰画像安定化処理における環境地図情報の生成処理の頻度の制御を説明するための図である。 図２０は、第２実施形態に係る俯瞰画像安定化処理における環境地図情報の生成処理の頻度の制御を説明するための図である。 図２１は、図１８、図１９、図２０に示した状況での俯瞰画像安定化処理における第２モードの生成処理から第１モードの生成処理への切り替えタイミングを説明するための図である。
　以下、添付図面を参照しながら、本願の開示する情報処理装置、情報処理方法、及び情報処理プログラムの実施形態を詳細に説明する。なお、以下の実施形態は開示の技術を限定するものではない。そして、各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
　図１は、本実施形態の情報処理システム１の全体構成の一例を示す図である。情報処理システム１は、情報処理装置１０と、撮影部１２と、検出部１４と、表示部１６と、を備える。情報処理装置１０と、撮影部１２と、検出部１４と、表示部１６とは、データ又は信号を授受可能に接続されている。
　本実施形態では、情報処理装置１０、撮影部１２、検出部１４、及び表示部１６は、移動体２に搭載された形態を一例として説明する。
　移動体２とは、移動可能な物である。移動体２は、例えば、車両、飛行可能な物体（有人飛行機、無人飛行機（例えば、ＵＡＶ（Ｕｎｍａｎｎｅｄ　Ａｅｒｉａｌ　Ｖｅｈｉｃｌｅ）、ドローン））、ロボット、などである。また、移動体２は、例えば、人による運転操作を介して進行する移動体や、人による運転操作を介さずに自動的に進行（自律進行）可能な移動体である。本実施形態では、移動体２が車両である場合を一例として説明する。車両は、例えば、二輪自動車、三輪自動車、四輪自動車などである。本実施形態では、車両が、自律進行可能な四輪自動車である場合を一例として説明する。
　なお、情報処理装置１０、撮影部１２、検出部１４、及び表示部１６の全てが、移動体２に搭載された形態に限定されない。情報処理装置１０は、例えば静止物に搭載されていてもよい。静止物は、地面に固定された物である。静止物は、移動不可能な物や、地面に対して静止した状態の物である。静止物は、例えば、信号機、駐車車両、道路標識、などである。また、情報処理装置１０は、クラウド上で処理を実行するクラウドサーバに搭載されていてもよい。
　撮影部１２は、移動体２の周辺を撮影し、撮影画像データを取得する。以下では、撮影画像データを、単に、撮影画像と称して説明する。本実施形態では、撮影部１２は、例えば、動画撮影が可能なデジタルカメラ、例えば視野角が１９５度程度の単眼の魚眼カメラである場合を想定して説明する。なお、撮影とは、レンズなどの光学系により結像された被写体の像を、電気信号に変換することを指す。撮影部１２は、撮影した撮影画像を、情報処理装置１０へ出力する。
　本実施形態では、移動体２に前方撮影部１２Ａ、左方撮影部１２Ｂ、右方撮影部１２Ｃ、後方撮影部１２Ｄの４つの撮影部１２が搭載された形態を一例として説明する。複数の撮影部１２（前方撮影部１２Ａ、左方撮影部１２Ｂ、右方撮影部１２Ｃ、後方撮影部１２Ｄ）は、各々が異なる方向の撮影領域Ｅ（前方撮影領域Ｅ１、左方撮影領域Ｅ２、右方撮影領域Ｅ３、後方撮影領域Ｅ４）の被写体を撮影し、撮影画像を取得する。すなわち、複数の撮影部１２は、撮影方向が互いに異なるものとする。また、これらの複数の撮影部１２は、隣り合う撮影部１２との間で撮影領域Ｅの少なくとも一部が重複となるように、撮影方向が予め調整されているものとする。また、図１においては、説明の便宜上撮影領域Ｅを図１に示した大きさにて示すが、実際にはさらに移動体２より離れた領域まで含むものとなる。
　また、４つの前方撮影部１２Ａ、左方撮影部１２Ｂ、右方撮影部１２Ｃ、後方撮影部１２Ｄは一例であり、撮影部１２の数に限定はない。例えば、移動体２がバスやトラックの様に縦長の形状を有する場合には、移動体２の前方、後方、右側面の前方、右側面の後方、左側面の前方、左側面の後方のそれぞれ一つずつ撮影部１２を配置し、合計６個の撮影部１２を利用することもできる。すなわち、移動体２の大きさや形状により、撮影部１２の数や配置位置は任意に設定することができる。
　検出部１４は、移動体２の周辺の複数の検出点の各々の位置情報を検出する。言い換えると、検出部１４は、検出領域Ｆの検出点の各々の位置情報を検出する。検出点とは、実空間における、検出部１４によって個別に観測される点の各々を示す。検出点は、例えば移動体２の周辺の立体物に対応する。なお、検出部１４は、外部センサの一例である。
　検出部１４は、例えば、３Ｄ（Ｔｈｒｅｅ－Ｄｉｍｅｎｓｉｏｎａｌ）スキャナ、２Ｄ（Ｔｗｏ　Ｄｉｍｅｎｓｉｏｎａｌ）スキャナ、距離センサ（ミリ波レーダ、レーザセンサ）、音波によって物体を探知するソナーセンサ、超音波センサ、などである。レーザセンサは、例えば、三次元ＬｉＤＡＲ（Ｌａｓｅｒ　ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）センサである。また、検出部１４は、ステレオカメラや、単眼カメラで撮影された画像から距離を測距する技術、例えばＳｆＭ（Ｓｔｒｕｃｔｕｒｅ　ｆｒｏｍ　Ｍｏｔｉｏｎ）技術を用いた装置であってもよい。また、複数の撮影部１２を検出部１４として用いてもよい。また、複数の撮影部１２の１つを検出部１４として用いてもよい。
　表示部１６は、各種の情報を表示する。表示部１６は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）又は有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどである。
　本実施形態では、情報処理装置１０は、移動体２に搭載された電子制御ユニット（ＥＣＵ：Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）３に通信可能に接続されている。ＥＣＵ３は、移動体２の電子制御を行うユニットである。本実施形態では、情報処理装置１０は、ＥＣＵ３から移動体２の速度や移動方向などのＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）データを受信可能であるものとする。
　次に、情報処理装置１０のハードウェア構成を説明する。
　図２は、情報処理装置１０のハードウェア構成の一例を示す図である。
　情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０Ａ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１０Ｂ、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０Ｃ、及びＩ／Ｆ（ＩｎｔｅｒＦａｃｅ）１０Ｄを含み、例えば、コンピュータである。ＣＰＵ１０Ａ、ＲＯＭ１０Ｂ、ＲＡＭ１０Ｃ、及びＩ／Ｆ１０Ｄは、バス１０Ｅにより相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。
　ＣＰＵ１０Ａは、情報処理装置１０を制御する演算装置である。ＣＰＵ１０Ａは、ハードウェアプロセッサの一例に対応する。ＲＯＭ１０Ｂは、ＣＰＵ１０Ａによる各種の処理を実現するプログラム等を記憶する。ＲＡＭ１０Ｃは、ＣＰＵ１０Ａによる各種の処理に必要なデータを記憶する。Ｉ／Ｆ１０Ｄは、撮影部１２、検出部１４、表示部１６、及びＥＣＵ３などに接続し、データを送受信するためのインターフェースである。
　本実施形態の情報処理装置１０で実行される情報処理を実行するためのプログラム（情報処理プログラム）は、ＲＯＭ１０Ｂ等に予め組み込んで提供される。なお、本実施形態の情報処理装置１０で実行されるプログラムは、情報処理装置１０にインストール可能な形式又は実行可能な形式のファイルで記録媒体に記録されて提供するように構成してもよい。記録媒体は、コンピュータにより読取可能な媒体である。記録媒体は、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）メモリ、ＳＤ（Ｓｅｃｕｒｅ　Ｄｉｇｉｔａｌ）カード等である。
　次に、本実施形態に係る情報処理装置１０の機能的構成を説明する。情報処理装置１０は、ＶＳＬＡＭ処理により、撮影部１２で撮影された撮影画像から移動体２の周辺位置情報と移動体２の自己位置情報とを同時に推定する。情報処理装置１０は、空間的に隣り合う複数の撮影画像を繋ぎ合わせて、移動体２の周辺を俯瞰する合成画像（俯瞰画像）を生成し表示する。なお、本実施形態では、撮影部１２の少なくとも１つを検出部１４として用いるとともに、検出部１４は撮影部１２から取得される画像の処理を実行する。
　図３は、情報処理装置１０の機能的構成の一例を示す図である。なお、図３には、データの入出力関係を明確にするために、情報処理装置１０に加えて、撮影部１２及び表示部１６を併せて図示した。
　情報処理装置１０は、取得部２０と、選択部２１と、動作制御部２６と、ＶＳＬＡＭ処理部２４と、第２記憶部２８と、決定部３０と、変形部３２と、仮想視点視線決定部３４と、画像生成部３７と、を備える。
　上記複数の各部の一部又は全ては、例えば、ＣＰＵ１０Ａなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよい。また、上記複数の各部の一部又は全ては、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。
　取得部２０は、撮影部１２から撮影画像を取得する。すなわち、取得部２０は、前方撮影部１２Ａ、左方撮影部１２Ｂ、右方撮影部１２Ｃ、後方撮影部１２Ｄの各々から撮影画像を取得する。
　取得部２０は、撮影画像を取得するごとに、取得した撮影画像を投影変換部３６及び選択部２１へ出力する。
　選択部２１は、検出点の検出領域を選択する。本実施形態では、選択部２１は、複数の撮影部１２（撮影部１２Ａ～撮影部１２Ｄ）の内、少なくとも一つの撮影部１２を選択することで、検出領域を選択する。
　ＶＳＬＡＭ処理部２４は、移動体２の周辺の画像に基づいて移動体２の周辺立体物の位置情報及び移動体２の位置情報を含む第１情報を生成する。すなわち、ＶＳＬＡＭ処理部２４は、選択部２１から撮影画像を受け取り、これを用いてＶＳＬＡＭ処理を実行して環境地図情報を生成し、生成した環境地図情報を距離換算部２４５へ出力する。
　また、ＶＳＬＡＭ処理部２４は、環境地図情報生成の動作モードとして、第１モードの生成処理と第２モードの生成処理とを備える。第１モードの生成処理は、移動体２の周辺の物体の位置情報を含む地図情報を第１の頻度で生成し、且つ移動体２の自己位置を示す自己位置情報を所定の頻度で生成するモードである。第２モードの生成処理は、地図情報を前記第１の頻度より低い第２の頻度で生成するモードである。ここで頻度とは、単位時間あたりの処理の実行回数を意味する。
　ここで、第１モードの生成処理において生成される移動体２の自己位置情報を第１の自己位置情報と呼ぶ。この第１の自己位置情報は、ＶＳＬＡＭ処理部２４におけるＶＳＬＡＭ処理によって生成される。また、ＶＳＬＡＭ処理部２４が第２モードの生成処理に遷移した後において、後述する自己位置更新部３０１において生成される移動体２の自己位置情報を第２の自己位置情報と呼ぶ。この第２の自己位置情報は、例えばオドメトリ処理によって生成される。なお、ＶＳＬＡＭ処理部２４は地図情報生成部の一例である。
　より具体的には、ＶＳＬＡＭ処理部２４は、マッチング部２４０と、第１記憶部２４１と、自己位置推定部２４２と、三次元復元部２４３と、補正部２４４と、を備える。
　マッチング部２４０は、撮影タイミングの異なる複数の撮影画像（フレームの異なる複数の撮影画像）について、特徴量の抽出処理と、各画像間のマッチング処理とを行う。詳細には、マッチング部２４０は、これらの複数の撮影画像から特徴量抽出処理を行う。マッチング部２４０は、撮影タイミングの異なる複数の撮影画像について、それぞれの間で特徴量を用いて、該複数の撮影画像間の対応する点を特定するマッチング処理を行う。マッチング部２４０は、該マッチング処理結果を第１記憶部２４１へ出力する。
　自己位置推定部２４２は、マッチング部２４０で取得した複数のマッチング点を用いて、射影変換等により、撮影画像に対する相対的な自己位置を第１の自己位置情報として推定する。ここで第１の自己位置情報には、撮影部１２の位置（三次元座標）及び傾き（回転）の情報が含まれる。自己位置推定部２４２は、第１の自己位置情報を点群情報として含む環境地図情報２４１Ａを第１記憶部２４１に記憶させる。
　三次元復元部２４３は、自己位置推定部２４２によって推定された第１の自己位置情報の移動量（並進量及び回転量）を用いて透視投影変換処理を行い、マッチング点の三次元座標（自己位置に対する相対座標）を決定する。三次元復元部２４３は、決定された三次元座標である周辺位置情報を点群情報として含む環境地図情報２４１Ａを第１記憶部２４３１に記憶させる。
　これにより、環境地図情報２４１Ａには、撮影部１２が搭載された移動体２の移動に伴って、新たな周辺位置情報、及び新たな第１の自己位置情報が、逐次的に追加される。
　第１記憶部２４１は、環境地図情報２４１Ａ等の各種データを記憶する。第１記憶部２４１は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。なお、第１記憶部２４１は、情報処理装置１０の外部に設けられた記憶装置であってもよい。また、第１記憶部２４１は、記憶媒体であってもよい。具体的には、記憶媒体は、プログラムや各種情報を、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）やインターネットなどを介してダウンロードして記憶又は一時記憶したものであってもよい。
　環境地図情報２４１Ａは、実空間における所定位置を原点（基準位置）とした三次元座標空間に、三次元復元部２４３で算出した周辺位置情報である点群情報及び自己位置推定部２４２で算出した第１の自己位置情報である点群情報を登録した情報である。実空間における所定位置は、例えば、予め設定した条件に基づいて定めてもよい。
　例えば、環境地図情報２４１Ａに用いられる所定位置は、情報処理装置１０が本実施形態の情報処理を実行するときの移動体２の自己位置である。例えば、移動体２の駐車シーンなどの所定タイミングで情報処理を実行する場合を想定する。この場合、情報処理装置１０は、該所定タイミングに至ったことを判別したときの移動体２の自己位置を、所定位置とすればよい。例えば、情報処理装置１０は、移動体２の挙動が駐車シーンを示す挙動となったと判別したときに、該所定タイミングに至ったと判断すればよい。後退による駐車シーンを示す挙動は、例えば、移動体２の速度が所定速度以下となった場合、移動体２のギアがバックギアに入れられた場合、ユーザの操作指示などによって駐車開始を示す信号を受付けた場合などである。なお、該所定タイミングは、駐車シーンに限定されない。
　図４は、環境地図情報２４１Ａのうち、特定の高さの情報を抽出した一例の模式図である。図４に示した様に、環境地図情報２４１Ａは、検出点Ｐの各々の位置情報(周辺位置情報)である点群情報と、移動体２の自己位置Ｓの自己位置情報である点群情報と、が該三次元座標空間における対応する座標位置に登録された情報である。なお、図４においては、一例として、自己位置Ｓ１～自己位置Ｓ３の自己位置Ｓを示した。Ｓの後に続く数値の値が大きいほど、より現在のタイミングに近い自己位置Ｓであることを意味する。
　補正部２４４は、複数のフレーム間で複数回マッチングした点に対し、過去に算出された三次元座標と、新たに算出された三次元座標とで、三次元空間内での距離の差の合計が最小となる様に、例えば最小二乗法等を用いて、環境地図情報２４１Ａに登録済の周辺位置情報及び自己位置情報を補正する。なお、補正部２４４は、自己位置情報及び周辺位置情報の算出の過程で用いた自己位置の移動量（並進量及び回転量）を補正してもよい。
　補正部２４４による補正処理のタイミングは限定されない。例えば、補正部２４４は、所定タイミングごとに上記補正処理を実行すればよい。所定タイミングは、例えば、予め設定した条件に基づいて定めてもよい。なお、本実施形態では、情報処理装置１０は、補正部２４４を備えた構成である場合を一例として説明する。しかし、情報処理装置１０は、補正部２４４を備えない構成であってもよい。
　距離換算部２４５は、環境地図情報により知り得る、自己位置と周辺立体物との相対的な位置関係を、自己位置から周辺立体物までの距離の絶対値に換算し、周辺立体物の検出点距離情報を生成して決定部３０へ出力する。ここで、検出点距離情報とは、自己位置を座標（０，０，０）にオフセットして、算出した複数の検出点Ｐの各々までの測定距離（座標）を例えばメートル単位に換算した情報である。すなわち、移動体２の自己位置の情報は、検出点距離情報における原点の座標（０，０，０）として含まれる。
　距離換算部２４５が実行する距離換算においては、例えば、ＥＣＵ３から送り出されるＣＡＮデータに含まれる移動体２の速度データ等の状態情報を用いる。例えば、図４に示す環境地図情報２４１Ａの場合、自己位置Ｓと複数の検出点Ｐとの間は、相対的な位置関係は知り得るが、距離の絶対値は算出されていない。ここで、自己位置算出を行うフレーム間周期と、状態情報によるその間の速度データにより、自己位置Ｓ３と自己位置Ｓ２の間の距離を求めることができる。環境地図情報２４１Ａが持つ相対的な位置関係は実空間と相似の関係の為、自己位置Ｓ３と自己位置Ｓ２の間の距離がわかることで、自己位置Ｓからそれ以外の全ての検出点Ｐまで距離の絶対値も求めることができる。すなわち、距離換算部２４５は、ＣＡＮデータに含まれた移動体２の実際の速度データを用いて、自己位置と周辺立体物との相対的な位置関係を、自己位置から周辺立体物までの距離の絶対値に換算する。
　なお、ＣＡＮデータに含まれる状態情報とＶＳＬＡＭ処理部２４から出力される環境地図情報とは、時間情報により対応付けすることができる。また、検出部１４が検出点Ｐの距離情報を取得する場合には、距離換算部２４５を省略してもよい。
　動作制御部２６は、ＶＳＬＡＭ処理部２４が第１モードの生成処理を実行する場合において、移動体２の状態情報に基づいて第１トリガ情報を生成する。動作制御部２６は、生成した第１のトリガ情報をＶＳＬＡＭ処理部２４及び後述する自己位置更新部３０１へ出力する。ここで、状態情報とは、ＥＣＵ３から送り出されるＣＡＮデータに含まれる移動体２の速度データ、ギア情報、タイヤの回転量、ハンドル舵角、ユーザからの指示、俯瞰画像生成開始トリガ等のうちの少なくとも一つを含む情報である。また、動作制御部２６が生成する第１トリガ情報は、移動体２の状態情報に応じて、環境地図情報生成の頻度を低下させるために、ＶＳＬＡＭ処理部２４の動作を第１モードの生成処理から第２モードの生成処理へ遷移させるための情報である。ＶＳＬＡＭ処理部２４は、動作制御部２６から第１のトリガ情報を取得すると、動作を第１モードの生成処理から第２モードの生成処理へと遷移させる。
　第２記憶部２８は、第１モードの生成処理中において、ＶＳＬＡＭ処理部２４から逐次出力される、移動体２の自己位置の情報を含む環境地図情報を保存する。また、第２記憶部２８に保存された環境地図情報は、第２モードの生成処理中において決定部３０の自己位置更新部３０１から参照される。
　決定部３０は、移動体２に搭載された撮影部１２が取得した画像を投影して俯瞰画像を生成するための投影面の形状を決定する。
　ここで、投影面とは、移動体２の周辺画像を俯瞰画像として投影するための立体面である。また、移動体２の周辺画像とは、移動体２の周辺の撮影画像であり、撮影部１２Ａ～撮影部１２Ｄの各々によって撮影された撮影画像である。投影面の投影形状は、実空間に対応する仮想空間に仮想的に形成される立体（３Ｄ）形状である。また、本実施形態においては、決定部３０によって実行される投影面の投影形状の決定を、投影形状決定処理と呼ぶ。
[決定部３０の構成例]
　以下、図３に示した決定部３０の詳細な構成の一例を説明する。
　図５は、決定部３０の機能的構成の一例を示す模式図である。図５に示した様に、決定部３０は、自己位置更新部３０１と、最近傍特定部３０５と、基準投影面形状選択部３０９と、スケール決定部３１１と、漸近曲線算出部３１３と、形状決定部３１５、境界領域決定部３１７を備える。
　自己位置更新部３０１は、ＶＳＬＡＭ処理部２４から出力され第２記憶部２８に保存された環境地図情報を読み出して後段の最近傍特定部３０５へ出力する。自己位置更新部３０１は、動作制御部２６からの第１のトリガ情報に応答して（すなわち、ＶＳＬＡＭ処理部２４の動作が第２モードである場合において）、第２記憶部２８に保存された最新の環境地図情報を読み出して、当該最新の環境地図情報に含まれる第１の自己位置情報と状態情報とを用いたオドメトリ処理により、第２の自己位置情報を生成する。この第２の自己位置情報の生成は、所定のレート（頻度）で実行される。
　自己位置更新部３０１は、生成した第２の自己位置情報を読み出した環境地図情報に登録して最近傍特定部３０５へ出力する。なお、自己位置更新部３０１は自己位置生成部の一例である。
　最近傍特定部３０５は、特定高抽出マップを用いて移動体２の自己位置Ｓの周囲を特定の範囲（例えば角度範囲）ごとに区切り、範囲ごとに、移動体２に最も近い検出点Ｐ、又は、移動体２に近い順に複数の検出点Ｐを特定し、近傍点情報を生成する。なお、本実施形態では、最近傍特定部３０５は、範囲ごとに、移動体２に近い順に複数の検出点Ｐを特定して近傍点情報を生成する形態を一例として説明する。また、近傍点情報は、移動体２の前方、左方、右方、後方の４方向について例えば９０度ごとの近傍点の位置として取得されるものとする。
　最近傍特定部３０５は、近傍点情報として範囲ごとに特定した検出点Ｐの測定距離を、後段の基準投影面形状選択部３０９、スケール決定部３１１、漸近曲線算出部３１３、境界領域決定部３１７へ出力する。
　基準投影面形状選択部３０９は、基準投影面の形状を選択する。
　図６は、基準投影面４０の一例を示す模式図である。図６を参照しながら基準投影面について説明する。基準投影面４０は、例えば、投影面の形状を変更する際に基準となる形状の投影面である。基準投影面４０の形状は、例えば、椀型、円柱型、などである。なお、図６には椀型の基準投影面４０を例示している。
　椀型とは、底面４０Ａと側壁面４０Ｂとを有し、側壁面４０Ｂの一端が該底面４０Ａに連続し、他端が開口された形状である。該側壁面４０Ｂは、底面４０Ａ側から該他端部の開口側に向かって、水平断面の幅が大きくなっている。底面４０Ａは、例えば円形状である。ここで円形状とは、真円形状や、楕円形状等の真円形状以外の円形状、を含む形状である。水平断面とは、鉛直方向（矢印Ｚ方向）に対して直交する直交平面である。直交平面は、矢印Ｚ方向に直交する矢印Ｘ方向、及び、矢印Ｚ方向と矢印Ｘ方向に直交する矢印Ｙ方向、に沿った二次元平面である。水平断面及び直交平面を、以下では、ＸＹ平面と称して説明する場合がある。なお、底面４０Ａは、例えば卵型のような円形状以外の形状であってもよい。
　円柱型とは、円形状の底面４０Ａと、該底面４０Ａに連続する側壁面４０Ｂと、からなる形状である。また、円柱型の基準投影面４０を構成する側壁面４０Ｂは、一端部の開口が底面４０Ａに連続し、他端部が開口された円筒状である。但し、円柱型の基準投影面４０を構成する側壁面４０Ｂは、底面４０Ａ側から該他端部の開口側に向かって、ＸＹ平面の直径が略一定の形状である。なお、底面４０Ａは、例えば卵型のような円形状以外の形状であってもよい。
　本実施形態では、基準投影面４０の形状が、図６に示した椀型である場合を一例として説明する。基準投影面４０は、底面４０Ａを移動体２の下方の路面に略一致する面とし、該底面４０Ａの中心を移動体２の自己位置Ｓとした仮想空間に仮想的に形成される立体モデルである。
　基準投影面形状選択部３０９は、複数種類の基準投影面４０から、特定の１つの形状を読取ることで、基準投影面４０の形状を選択する。例えば、基準投影面形状選択部３０９は、自己位置と周囲立体物との位置関係や距離などによって基準投影面４０の形状を選択する。なお、ユーザの操作指示により基準投影面４０の形状を選択してもよい。基準投影面形状選択部３０９は、決定した基準投影面４０の形状情報を形状決定部３１５へ出力する。本実施形態では、上記したように、基準投影面形状選択部３０９は、碗型の基準投影面４０を選択する形態を一例として説明する。
　スケール決定部３１１は、基準投影面形状選択部３０９が選択した形状の基準投影面４０のスケールを決定する。スケール決定部３１１は、例えば、自己位置Ｓから近傍点までの距離が所定の距離より短い場合にスケールを小さくするなどの決定をする。スケール決定部３１１は、決定したスケールのスケール情報を形状決定部３１５へ出力する。
　漸近曲線算出部３１３は、環境地図情報に含まれる、移動体２の周辺位置情報と自己位置情報とに基づいて、自己位置に対する周辺位置情報の漸近曲線を算出する。漸近曲線算出部３１３は、最近傍特定部３０５から受付けた、自己位置Ｓからの範囲毎に自己位置Ｓから最も近い検出点Ｐの距離のそれぞれを用いて、算出した漸近曲線Ｑの漸近曲線情報を、形状決定部３１５及び仮想視点視線決定部３４へ出力する。
　図７は、決定部３０によって生成される漸近曲線Ｑの説明図である。ここで、漸近曲線とは、環境地図情報における複数の検出点Ｐの漸近曲線である。図７は、移動体２を上方から鳥瞰した場合において、投影面に撮影画像を投影した投影画像に、漸近曲線Ｑを示した例である。例えば、決定部３０が、移動体２の自己位置Ｓに近い順に３つの検出点Ｐを特定したと想定する。この場合、決定部３０は、これらの３つの検出点Ｐの漸近曲線Ｑを生成する。
　なお、漸近曲線算出部３１３は、基準投影面４０の特定の範囲（例えば角度範囲）毎に複数の検出点Ｐの重心などに位置する代表点を求め、複数の該範囲毎の代表点に対する漸近曲線Ｑを、算出してもよい。そして、漸近曲線算出部３１３は、算出した漸近曲線Ｑの漸近曲線情報を、形状決定部３１５へ出力する。なお、漸近曲線算出部３１３は、算出した漸近曲線Ｑの漸近曲線情報を仮想視点視線決定部３４へ出力してもよい。
　形状決定部３１５は、基準投影面形状選択部３０９から受付けた形状情報によって示される形状の基準投影面４０を、スケール決定部３１１から受付けたスケール情報のスケールに拡大又は縮小する。そして、形状決定部３１５は、拡大又は縮小した後の基準投影面４０に対して、漸近曲線算出部３１３から受付けた漸近曲線Ｑの漸近曲線情報に沿った形状となるように変形した形状を、投影形状として決定する。
　ここで、投影形状の決定について詳しく説明する。図８は、決定部３０により決定された投影形状４１の一例を示す模式図である。形状決定部３１５は、図８に示した様に、基準投影面４０を、基準投影面４０の底面４０Ａの中心である移動体２の自己位置Ｓに最も近い検出点Ｐを通る形状に変形した形状を、投影形状４１として決定する。検出点Ｐを通る形状とは、変形後の側壁面４０Ｂが、該検出点Ｐを通る形状であることを意味する。該自己位置Ｓは、自己位置推定部２４２によって算出された自己位置Ｓである。
　すなわち、形状決定部３１５は、環境地図情報に登録されている複数の検出点Ｐの内、該自己位置Ｓに最も近い検出点Ｐを特定する。詳細には、移動体２の中心位置（自己位置Ｓ）のＸＹ座標を、（Ｘ，Ｙ）＝（０，０）とする。そして、形状決定部３１５は、Ｘ２＋Ｙ２の値が最小値を示す検出点Ｐを、自己位置Ｓに最も近い検出点Ｐとして特定する。そして、形状決定部３１５は、基準投影面４０の側壁面４０Ｂが該検出点Ｐを通る形状となるように変形した形状を、投影形状４１として決定する。
　より具体的には、形状決定部３１５は、基準投影面４０を変形させた際に側壁面４０Ｂの一部の領域が、移動体２に最も近い検出点Ｐを通る壁面となるように、底面４０Ａ及び側壁面４０Ｂの一部の領域の変形形状を投影形状４１として決定する。変形後の投影形状４１は、例えば、底面４０Ａ上の立ち上がりライン４４から、ＸＹ平面の視点（平面視）で底面４０Ａの中心に近づく方向に向かって立ち上げた形状となる。立ち上げる、とは、例えば、基準投影面４０の側壁面４０Ｂと底面４０Ａとの成す角度がより小さい角度となるように、該側壁面４０Ｂ及び底面４０Ａの一部を、底面４０Ａの中心に近づく方向に向かって屈曲又は折り曲げる事を意味する。なお、立ち上げられた形状において、立ち上がりライン４４が底面４０Ａと側壁面４０Ｂとの間に位置し、底面４０Ａは変形しないままであってもよい。
　形状決定部３１５は、基準投影面４０における特定領域を、ＸＹ平面の視点（平面視）で該検出点Ｐを通る位置に突出させるように変形するよう決定する。特定領域の形状及び範囲は、予め定めた基準に基づいて決定してもよい。そして、形状決定部３１５は、突出させた特定領域から、側壁面４０Ｂにおける該特定領域以外の領域に向かって、連続的に自己位置Ｓからの距離が遠くなるように、基準投影面４０を変形した形状とするよう決定する。なお、形状決定部３１５は、投影形状決定部の一例である。
　例えば、図８に示した様に、ＸＹ平面に沿った断面の外周の形状が曲線形状となるように、投影形状４１を決定することが好ましい。なお、投影形状４１の該断面の外周の形状は、例えば円形状であるが、円形状以外の形状であってもよい。
　なお、形状決定部３１５は、漸近曲線に沿った形状となるように基準投影面４０を変形した形状を、投影形状４１として決定してもよい。形状決定部３１５は、移動体２の自己位置Ｓに最も近い検出点Ｐから離れる方向に向かって予め定めた数の複数の検出点Ｐの漸近曲線を生成する。この検出点Ｐの数は、複数であればよい。例えば、この検出点Ｐの数は、３つ以上であることが好ましい。また、この場合、形状決定部３１５は、自己位置Ｓから見て所定角度以上離れた位置にある複数の検出点Ｐの漸近曲線を生成することが好ましい。例えば、形状決定部３１５は、図７に示した漸近曲線Ｑにおいて、生成した漸近曲線Ｑに沿った形状となるように基準投影面４０を変形した形状を、投影形状４１として決定することができる。
　なお、形状決定部３１５は、移動体２の自己位置Ｓの周囲を特定の範囲ごとに区切り、該範囲ごとに、移動体２に最も近い検出点Ｐ、又は、移動体２に近い順に複数の検出点Ｐを特定してもよい。そして、形状決定部３１５は、該範囲ごとに特定した検出点Ｐを通る形状又は特定した複数の検出点Ｐの漸近曲線Ｑに沿った形状となるように基準投影面４０を変形した形状を、投影形状４１として決定してもよい。
　そして、形状決定部３１５は、決定した投影形状４１の投影形状情報を、変形部３２へ出力する。
　図３に戻り、変形部３２は、決定部３０から受付けた投影形状情報に基づいて、投影面を変形させる。この基準投影面の変形は、例えば移動体２に最も近い検出点Ｐを基準として実行される。変形部３２は、変形投影面情報を投影変換部３６へ出力する。
　また、例えば、変形部３２は、投影形状情報に基づいて、移動体２に近い順に予め定めた数の複数の検出点Ｐの漸近曲線に沿った形状に基準投影面を変形する。
　仮想視点視線決定部３４は、自己位置と漸近曲線情報とに基づいて、仮想視点視線情報を決定し、投影変換部３６へ出力する。
　図７、図８を参照しながら、仮想視点視線情報の決定について説明する。仮想視点視線決定部３４は、例えば、移動体２の自己位置Ｓに最も近い検出点Ｐを通り、且つ、変形投影面に対して垂直な方向を視線方向として決定する。また、仮想視点視線決定部３４は、例えば、該視線方向Ｌの方向を固定し、仮想視点Ｏの座標を、任意のＺ座標と、漸近曲線Ｑから自己位置Ｓの方に離れる方向における任意のＸＹ座標として決定する。その場合、該ＸＹ座標は自己位置Ｓよりも漸近曲線Ｑから離れた位置の座標であってもよい。そして、仮想視点視線決定部３４は、仮想視点Ｏ及び視線方向Ｌを示す仮想視点視線情報を、投影変換部３６へ出力する。なお、図８に示した様に、視線方向Ｌは、仮想視点Ｏから漸近曲線Ｑの頂点Ｗの位置に向かう方向としてもよい。
　画像生成部３７は、投影面を用いて移動体２周辺の俯瞰画像を生成する。具体的には、画像生成部３７は、投影変換部３６と、画像合成部３８と、を備える。
　投影変換部３６は、変形投影面情報と仮想視点視線情報とに基づいて、変形投影面に、撮影部１２から取得した撮影画像を投影した投影画像を生成する。投影変換部３６は、生成した投影画像を、仮想視点画像に変換して画像合成部３８へ出力する。ここで、仮想視点画像とは、仮想視点から任意の方向に投影画像を視認した画像である。
　図８を参照しながら、投影変換部３６による投影画像生成処理について詳しく説明する。投影変換部３６は、変形投影面４２に撮影画像を投影する。そして、投影変換部３６は、変形投影面４２に投影された撮影画像を、任意の仮想視点Ｏから視線方向Ｌに視認した画像である仮想視点画像を生成する（図示せず）。仮想視点Ｏの位置は、例えば、（投影面変形処理の基準とした）移動体２の自己位置Ｓとすればよい。この場合、仮想視点ＯのＸＹ座標の値を、移動体２の自己位置のＸＹ座標の値とすればよい。また、仮想視点ＯのＺ座標（鉛直方向の位置）の値を、移動体２の自己位置に最も近い検出点ＰのＺ座標の値とすればよい。視線方向Ｌは、例えば、予め定めた基準に基づいて決定してもよい。
　視線方向Ｌは、例えば、仮想視点Ｏから移動体２の自己位置Ｓに最も近い検出点Ｐに向かう方向とすればよい。また、視線方向Ｌは、該検出点Ｐを通り且つ変形投影面４２に対して垂直な方向としてもよい。仮想視点Ｏ及び視線方向Ｌを示す仮想視点視線情報は、仮想視点視線決定部３４によって作成される。
　画像合成部３８は、仮想視点画像の一部又は全てを抽出した合成画像を生成する。例えば、画像合成部３８は、撮影部間の境界領域における複数の仮想視点画像（ここでは、撮影部１２Ａ～１２Ｄに対応する４枚の仮想視点画像）の繋合わせ処理等を行う。
　画像合成部３８は、生成した合成画像を表示部１６へ出力する。なお、合成画像は、移動体２の上方を仮想視点Ｏとした鳥瞰画像や、移動体２内を仮想視点Ｏとし、移動体２を半透明に表示するものとしてもよい。
（俯瞰画像安定化処理）
　次に、本実施形態に係る情報処理装置１０が実行する俯瞰画像安定化処理について詳しく説明する。例えば投影面変形を伴う俯瞰画像表示等の負荷が大きい情報処理を実行する場合に、同じく処理負荷が大きい環境地図情報生成を通常の頻度で継続して実行した場合、表示される俯瞰画像が不自然になるなど、俯瞰画像が不安定になる可能性がある。俯瞰画像安定化処理とは、移動体２の車両状態に応じて環境地図情報生成の頻度を制御して情報処理の負荷を軽減し、俯瞰画像生成を安定化させるものである。
　なお、本実施形態においては、説明を具体的にするため、移動体２のギアがドライブからリバースにギアチェンジされた状態情報の取得をトリガとして俯瞰画像安定化処理を開始する場合を例とする。しかしながら、当該例に限定されず、俯瞰画像安定化処理の開始は、当該例に限定されず、例えばユーザから入力される俯瞰画像安定化処理の指示情報、俯瞰画像生成開始情報を含む状態情報の取得をトリガとしてもよい。
　図９は、俯瞰画像安定化処理を説明するための図であり、移動体２を駐車領域Ｐ３に駐車する際の移動体２の移動経路と駐車領域Ｐ３の周辺状況の一例を示した上面図である。図９に示した例では、移動体２の運転手から見た左側において、進行方向の手前側から奥側に向かって駐車領域Ｐ１にＣａｒ１、駐車領域Ｐ２にＣａｒ２、駐車領域Ｐ４にＣａｒ４が存在する。また、駐車領域Ｐ２と駐車領域Ｐ４の間に存在する駐車領域Ｐ３が空車状態となっている。移動体２は、駐車領域Ｐ１から駐車領域Ｐ４を左手に見ながら進行し、駐車領域Ｐ４を超えた場所で車両先頭を右側に向けて停止した後、ギアをドライブからリバースに切り替えて後退し駐車領域Ｐ３に駐車される。
　図１０、図１１、図１２は、図９に示した状況において、移動体２が前進している区間での俯瞰画像安定化処理を説明するための図である。図１０、図１１、図１２に示した区間においては、移動体２が駐車領域Ｐ１から駐車領域Ｐ４を左手に見ながら進行し、駐車領域Ｐ４を超えた場所で車両先頭を右側に向けて停止するまでは、ＶＳＬＡＭ処理部２４は、第１モードの生成処理によって左方撮影領域Ｅ２の撮影画像等を利用して環境地図情報生成及び自己位置推定を実行する。従って、図１０、図１１、図１２に示した区間においては、第１の頻度により、自己維持情報を含む環境地図情報が生成される。
　なお、図１０、図１１、図１２においてＣａｒの境界に示した丸印は、ＶＳＬＡＭ処理において検出された検出点を示している。丸印のうち、斜線の丸印は現在のＶＳＬＡＭ処理において検出された検出点を、白抜きの丸印は過去のＶＳＬＡＭ処理において検出された検出点を、それぞれ例示している。
　図１３は、図９に示した状況において、移動体２が停止しギアをドライブからリバースへギアチェンジした場合の俯瞰画像安定化処理を説明するための図である。図１３に示した様に、移動体２が駐車領域Ｐ４を超えた場所で車両先頭を右側に向けて停止した後、移動体２のギアがドライブからリバースにギアチェンジされる。係る場合、動作制御部２６は、移動体２の当該ギアチェンジに関する状態情報をＥＣＵ３から取得し、当該状態情報に基づいて第１トリガ情報を生成し、ＶＳＬＡＭ処理部２４及び自己位置更新部３０１へ出力する。
　ＶＳＬＡＭ処理部２４は、動作制御部２６から取得した第１トリガ情報に応答して、環境地図情報生成処理を、第１の頻度で実行する第１モードから、第１の頻度より低い第２の頻度で実行する第２モードへ遷移させる。以降、ＶＳＬＡＭ処理部２４は、第２モードに従う環境地図情報生成処理を実行する。なお、第２の頻度は第１の頻度より低い任意の値を設定可能である。本実施形態においては、説明を具体的にするため、第２の頻度の設定値を「０」とし、第２モードでの生成処理では新たな環境地図情報を生成しない場合を例とする。なお、設定値とは単位時間あたりの処理の実行回数を決定する数値であり、例えば「０」が設定された場合は環境地図情報の生成を単位時間あたり０回行うこと、すなわち環境地図情報の生成を行わないことを意味する。
　自己位置更新部３０１は、動作制御部２６から取得した第１トリガ情報に応答して、第２記憶部２８から例えば最新の（第１の自己位置情報を含む）環境地図情報を読み出す。また、自己位置更新部３０１は、ＥＣＵ３から取得した状態情報と読みだした環境地図情報とを用いて、オドメトリ法による自己位置推定処理を開始する。自己位置更新部３０１は、自己位置推定処理によって生成された第２の自己位置情報を環境地図情報に登録する。自己位置更新部３０１は、第２の自己位置情報が登録された環境地図情報を後段の最近傍特定部３０５へ出力する。
　以降、ＶＳＬＡＭ処理部２４によって新たな環境地図情報は生成されることなく、自己位置更新部３０１によって第２の自己位置情報が逐次更新される。決定部３０は、ＶＳＬＡＭ処理部２４の動作が第１モードから第２モードへ遷移した後は、第１モードにより生成され第２記憶部２８に保存された環境地図情報とリアルタイムで更新される第２の自己位置情報とを用いて、投影形状決定処理を実行する。同様に、画像生成部３７は、ＶＳＬＡＭ処理部２４の動作が第１モードから第２モードへ遷移した後は、第１モードにより生成され第２記憶部２８に保存された環境地図情報とリアルタイムで更新される第２の自己位置情報とによって決定された投影面形状を用いて、俯瞰画像を生成する。
 
　図１４は、図９に示した状況での俯瞰画像安定化処理における第１モードの生成処理から第２モードの生成処理への切り替え（すなわち、環境地図情報生成及び自己位置情報生成の切り替え）タイミングを説明するための図である。
　すなわち、図１４に示した様に、移動体２が前進中においては、第１モードの生成処理により環境地図情報及び第１の自己位置情報が第１の頻度で生成される。生成された環境地図情報及び第１の自己位置情報は、第２記憶部２８に逐次格納される。そして、移動体２のギアがドライブからリバースにギアチェンジされたタイミングで、第１モードの生成処理から第２モードの生成処理に遷移する。ギアチェンジ以後は、後退駐車により、第１モードの生成処理によって既に生成された環境地図情報に向かう動作となる。このため、第２モードの生成処理においては、環境地図情報を生成せずに第１モードの生成処理によって既に生成された環境地図情報と、オドメトリ法によって生成した第２の自己位置情報とを用いて俯瞰画像を生成する。
　従って、第２モードの生成処理に遷移した後の後退中においては、環境地図生成情報の生成を停止できるため、処理負荷を小さくすることができる。その結果、自然な俯瞰画像を安定して生成し出力することができる。
　図１５は、実施形態に係る俯瞰画像安定化処理の流れの一例を示したフローチャートである。なお、図１５に示した俯瞰画像安定化処理は、図９に示した状況において実行される俯瞰画像安定化処理の例を示している。
　まず、ＶＳＬＡＭ処理部２４は、移動体２が前進する区間において、第１モードの生成処理により環境地図情報を生成する（ステップＳ１）。
　ＶＳＬＡＭ処理部２４は、第１モードの生成処理において第１の自己位置情報を生成する（ステップＳ２）。生成された第１の自己位置情報は、ステップＳ１において生成された環境地図情報に登録される。
　ＶＳＬＡＭ処理部２４は、第１の自己位置情報が登録された環境地図情報を第２記憶部２８へ出力する。第２記憶部２８は、ＶＳＬＡＭ処理部２４から出力された環境地図情報を格納（更新）する（ステップＳ３）。なお、ステップＳ１～ステップＳ３による環境地図情報の生成等は、第１の頻度で実行される。
　ＶＳＬＡＭ処理部２４は、動作制御部２６から第１トリガ情報を取得したか否かを判定する（ステップＳ４）。ＶＳＬＡＭ処理部２４は、動作制御部２６から第１トリガ情報を取得していない場合には（ステップＳ４のＮｏ）、ステップＳ１～ステップＳ３の処理を繰り返し実行する。
　一方、ＶＳＬＡＭ処理部２４は、動作制御部２６から第１トリガ情報を取得した場合には（ステップＳ４のＹｅｓ）、第１モードによる環境地図情報の生成を停止し、動作を第１モードの生成処理から第２モードの生成処理に遷移させる（ステップＳ５）。
　自己位置更新部３０１は、動作制御部２６からの第１トリガ情報に応答して、第２記憶部２８から最新の環境地図情報及び第１の自己位置情報を取得する（ステップＳ６）。
　自己位置更新部３０１は、状態情報を取得する（ステップＳ７）。
　自己位置更新部３０１は、取得した環境地図情報と状態情報とを用いたオドメトリ処理を実行し、第２の自己位置情報を生成する（ステップＳ８）。
　自己位置更新部３０１は、動作制御部２６から第２トリガ情報を取得していない場合には（ステップＳ９のＮｏ）、ステップＳ７、ステップＳ８の処理を繰り返し実行する。一方、自己位置更新部３０１は、動作制御部２６から第２トリガ情報を取得した場合には（ステップＳ９のＹｅｓ）、第２モードの生成処理による環境地図情報を停止する（ステップＳ９）。
　なお、上記俯瞰画像安定化処理は、第２の頻度の設定値を０に設定した場合を例示した。これに対し、例えば第２の頻度の設定値を０より大きく第１の頻度の設定値より低い値に設定した場合、当該第２の頻度に従ってステップＳ１、Ｓ２、Ｓ３、Ｓ５、Ｓ６の処理が周期的な割込み処理として実行される。
　次に、俯瞰画像安定化処理を含む俯瞰画像の生成処理について、図１６、図１７を参照しながら説明する。
　図１６は、第２モードに遷移するまでの第１モードによる環境地図情報の生成処理の流れの一例を示すフローチャートである。
　取得部２０は、方向毎の撮影画像を取得する（ステップＳ２０）。
　動作制御部２６は、指定内容を取得する（ステップＳ２２）。また、動作制御部２６は、状態情報を取得する（ステップＳ２４）。
　動作制御部２６は、取得した状態情報に基づいて、ＶＳＬＡＭ処理部２４の動作を第１モードから第２モードへ遷移させるか否かを判定する（ステップＳ２６）。
　動作制御部２６が第１モードから第２モードへ遷移させると判定した場合には（ステップＳ２６のＹｅｓ）、動作制御部２６は、第１トリガ情報を生成しＶＳＬＡＭ処理部２４及び自己位置更新部３０１へ出力する。ＶＳＬＡＭ処理部２４の決定部３０は、動作制御部２６から取得した第１トリガ情報に応答して第１モードの生成処理を終了（停止）させる。以後、図１７に示す第２モードに遷移後の俯瞰画像生成処理（後述）を実行する。
　一方、動作制御部２６が第１モードから第２モードへ遷移させないと判定した場合には（ステップＳ２６のＮｏ）、動作制御部２６は第１トリガ情報を生成しない。ＶＳＬＡＭ処理部２４は、動作制御部２６から第１トリガ情報を受け取ることなく、ＶＳＬＡＭ処理部２４の選択部２１は、検出領域としての撮影画像を選択する（ステップＳ２８）。
　マッチング部２４０は、ステップＳ２８で選択され撮影部１２で撮影された、撮影タイミングの異なる複数の撮影画像を用いて、特徴量の抽出とマッチング処理を行う（ステップＳ３０）。また、マッチング部２４０は、マッチング処理により特定された、撮影タイミングの異なる複数の撮影画像間の対応する点の情報を、第１記憶部２４１に登録する。
　自己位置推定部２４２は、第１記憶部２４１からマッチング点及び環境地図情報２４１Ａ（周辺位置情報と自己位置情報）を読取る（ステップＳ３２）。自己位置推定部２４２は、マッチング部２４０から取得した複数のマッチング点を用いて、射影変換等により、撮影画像に対する相対的な自己位置を推定（ステップＳ３４）し、算出した自己位置情報を、環境地図情報２４１Ａへ登録する（ステップＳ３６）。
　三次元復元部２４３は、環境地図情報２４１Ａ（周辺位置情報と自己位置情報）を読取る（ステップＳ３８）。三次元復元部２４３は、自己位置推定部２４２によって推定された自己位置の移動量（並進量及び回転量）を用いて透視投影変換処理を行い、当該マッチング点の三次元座標（自己位置に対する相対座標）を決定し、周辺位置情報として、環境地図情報２４１Ａへ登録する（ステップＳ４０）。
　補正部２４４は、環境地図情報２４１Ａ（周辺位置情報と自己位置情報）を読取る（ステップＳ４２）。補正部２４４は、複数のフレーム間で複数回マッチングした点に対し、過去に算出された三次元座標と、新たに算出された三次元座標とで、三次元空間内での距離の差の合計が最小となる様に、例えば最小二乗法等を用いて、環境地図情報２４１Ａに登録済の周辺位置情報及び自己位置情報を補正（ステップＳ４４）し、環境地図情報２４１Ａを更新する。
　距離換算部２４５は、移動体２のＥＣＵ３から受信したＣＡＮデータに含まれる、移動体２の速度データ（自車速度）を含む状態情報を取得する（ステップＳ４６）。距離換算部２４５は、移動体２の速度データを用いて、環境地図情報２４１Ａに含まれる点群間の座標距離を例えばメートル単位の絶対距離に換算する。また、距離換算部２４５は、環境地図情報の原点を、移動体２の自己位置Ｓにオフセットして、移動体２から該複数の検出点Ｐの各々までの距離を示す検出点距離情報を生成する（ステップＳ４８）。距離換算部２４５は、検出点距離情報を第１の自己位置情報として、第２記憶部２８へ出力する。
　第２記憶部２８は、距離換算部２４５から出力された第１の自己位置情報を含む環境地図情報を保存（更新）する（ステップＳ５０）。
　図１７は、第１モードから第２モードに遷移した後の俯瞰画像生成処理の流れの一例を示すフローチャートである。なお、ステップＳ２０～ステップＳ２６までの各処理は図１６に示したものと同様であるため、その説明は省略する。
　ＶＳＬＡＭ処理部２４の動作が第２モードの生成処理に遷移した後、自己位置更新部３０１は、オドメトリ処理により第２の自己位置情報を生成する（ステップＳ６０）。また、自己位置更新部３０１は、生成した第２の自己位置情報が登録された環境地図情報を最近傍特定部３０５へ出力する。
　最近傍特定部３０５は、第１の自己位置情報を含む環境地図情報と第２の自己位置情報とを用いて、方向毎の最近傍物体距離抽出処理を実行する（ステップＳ６２）。具体的には、最近傍特定部３０５は、移動体２の自己位置Ｓの周囲を特定の範囲ごとに区切り、範囲ごとに、移動体２に最も近い検出点Ｐ、又は、移動体２に近い順に複数の検出点Ｐを特定し、最近傍物体との距離を抽出する。最近傍特定部３０５は、範囲ごとに特定した検出点Ｐの測定距離（移動体２と最近傍物体との測定距離）ｄを、近傍点情報として後段へ出力する。
　基準投影面形状選択部３０９は、近傍点情報に基づいて基準投影面４０の形状を選択し（ステップＳ６４）、選択した基準投影面４０の形状情報を形状決定部３１５へ出力する。
　スケール決定部３１１は、基準投影面形状選択部３０９が選択した形状の基準投影面４０のスケールを決定し（ステップＳ６６）、決定したスケールのスケール情報を形状決定部３１５へ出力する。
　漸近曲線算出部３１３は、最近傍特定部３０５から入力した近傍点情報に基づいて漸近曲線を算出し（ステップＳ６８）、漸近曲線情報として形状決定部３１５及び仮想視点視線決定部３４へ出力する。
　形状決定部３１５は、スケール情報及び漸近曲線情報に基づいて、基準投影面の形状をどのように変形させるかの投影形状を決定する（ステップＳ７０）。形状決定部３１５は、決定した投影形状４１の投影形状情報を、変形部３２へ出力する。
　変形部３２は、投影形状情報に基づいて、基準投影面の形状を変形させる（ステップＳ７２）。変形部３２は、変形させた変形投影面情報を、投影変換部３６に出力する。
　仮想視点視線決定部３４は、自己位置と漸近曲線情報とに基づいて、仮想視点視線情報を決定する（ステップＳ７４）。仮想視点視線決定部３４は、仮想視点Ｏ及び視線方向Ｌを示す仮想視点視線情報を、投影変換部３６へ出力する。
　投影変換部３６は、変形投影面情報と仮想視点視線情報とに基づいて、変形投影面に、撮影部１２から取得した撮影画像を投影した投影画像を生成する。投影変換部３６は、生成した投影画像を、仮想視点画像に変換（生成）して（ステップＳ７６）、画像合成部３８へ出力する。
　境界領域決定部３１７は、範囲ごとに特定した最近傍物体との距離に基づいて、境界領域を決定する。すなわち、境界領域決定部３１７は、空間的に隣り合う周辺画像の重ね合わせ領域としての境界領域を、移動体２の最近傍の物体の位置に基づいて決定する。境界領域決定部３１７は、決定した境界領域を画像合成部３８へ出力する。
　画像合成部３８は、空間的に隣り合う仮想視点画像を、境界領域を用いて繋ぎあわせて合成画像を生成する（ステップＳ７８）。なお、境界領域において、空間的に隣り合う仮想視点画像は、所定の比率でブレンドすることもできる。
　表示部１６は、俯瞰画像としての合成画像を表示する（ステップＳ８０）。
　情報処理装置１０は、情報処理を終了するか否かを判断する（ステップＳ８２）。例えば、情報処理装置１０は、ＥＣＵ３から移動体２の駐車完了を示す信号を受信したか否かを判別することで、ステップＳ８２の判断を行う。また、例えば、情報処理装置１０は、ユーザによる操作指示などによって情報処理の終了指示を受付けたか否かを判別することで、ステップＳ８２の判断を行ってもよい。
　ステップＳ８２で否定判断すると（ステップＳ８２のＮｏ）、上記ステップＳ２０からステップＳ８０までの処理が繰り返し実行される。一方、ステップＳ８２で肯定判断すると（ステップＳ８２のＹｅｓ）、実施形態に係る投影形状最適化処理を含む俯瞰画像の生成処理を終了する。
　以上述べた実施形態に係る情報処理装置１０は、地図情報生成部としてのＶＳＬＡＭ処理部２４と、自己位置生成部としての自己位置更新部３０１とを備える。ＶＳＬＡＭ処理部２４は、移動体２の周辺の物体の位置情報を含む地図情報を第１の頻度で生成し移動体２の自己位置を示す第１の自己位置情報を生成する第１モードの生成処理と、地図情報を第１の頻度より低い第２の頻度で生成する第２モードの生成処理と、を選択的に実行する。例えば、ＶＳＬＡＭ処理部２４は、移動体２の前進中において第１モードの生成処理を実行し、移動体２の後退中において第２モードの生成処理を実行する。自己位置更新部３０１は、第２モードの生成処理において、第１の自己位置情報及び移動体２の状態情報を用いて、地図情報における移動体２の位置情報である第２の自己位置情報を生成する。
　従って、ＶＳＬＡＭ処理部２４は、例えば移動体２が前進中においては第１モードの生成処理を実行し、後退中においては第２モードの生成処理を実行して、俯瞰画像を生成し表示する後退中において処理負荷の高い地図情報生成処理の頻度を相対的に下げることができる。その結果、後退中において安定した俯瞰画像を生成し表示することができる。
　また、実施形態に係る情報処理装置１０のＶＳＬＡＭ処理部２４は、第２モードの生成処理において、第２の頻度をゼロに設定し地図情報の生成を停止することもできる。従って、情報処理装置１０は、俯瞰画像を生成し表示する後退中において、処理負荷を大幅にげることができる。
　また、実施形態に係る情報処理装置１０は、移動体２の状態情報に基づいて第１トリガ情報を生成する動作制御部２６をさらに備える。ＶＳＬＡＭ処理部２４は、第１トリガ情報に応答して第１モードの生成処理から第２モードの生成処理へ動作を遷移させる。自己位置更新部３０１は、第１トリガ情報に応答して第２の自己位置情報の生成を開始する。また、移動体２の状態情報は、移動体２のギアチェンジ情報、ユーザから入力された指示情報、俯瞰画像生成開始情報のうちの少なくとも一つとすることができる。従って、情報処理装置１０は、移動体２の車両状態に応じて適切なタイミングで処理負荷の高い地図情報生成処理の頻度を相対的に下げることができる。
　また、実施形態に係る情報処理装置１０の自己位置更新部３０１は、第２モードの生成処理において、第１の自己位置情報を起点とし移動体の状態情報を用いたオドメトリ法を用いて第２の自己位置情報を生成する。自己位置更新部３０１は、第２の自己位置情報と環境地図情報とを用いて、移動体２の周辺の物体との距離情報を算出する。従って、情報処理装置１０は、ＶＳＬＡＭ処理をすることなく、比較的処理負荷の軽いオドメトリ法によって自己位置情報を取得でき、処理負荷を大幅に低減させることができる。
　また、実施形態に係る情報処理装置１０は、第１トリガ情報に応答して移動体の周辺の俯瞰画像の生成を開始する画像合成部としての画像生成部３７をさらに備える。画像生成部３７は、前記距離情報に基づいて前記俯瞰画像の投影面を変形する。従って、第２モードの生成処理に遷移してから俯瞰画像の生成を開始するため、俯瞰画像の生成とＶＳＬＡＭ処理とを同時にすることなく、処理負荷を大幅に低減させることができる。
（第２実施形態）
　移動体２が駐車領域に駐車しようとして後退した後、例えば、移動体２の向きが適切でなかった場合や駐車予定位置を変更する等の理由により、後退を停止してリバースからドライブにギアチェンジし再度前進することがある。第２実施形態は、係る場合における俯瞰画像安定化処理について説明する。
　図１８、図１９、図２０は、第２実施形態に係る俯瞰画像安定化処理における環境地図情報の生成処理の頻度の制御を説明するための図である。図１８に示した様に、移動体２が駐車領域Ｐ１から駐車領域Ｐ４に向かって進行し、駐車領域Ｐ４に差し掛かる辺りで車両先頭を右側に向けて一旦停止する。その後、移動体２は、ギアをドライブからリバースへギアチェンジし、図１９に示した様に、駐車領域Ｐ３に向けて後退する。しかし、移動体２の向きが適切でなかった等の理由により、図２０に示した様に、移動体２は、後退を停止してリバースからドライブにギアチェンジし再度前進する場合を想定する。
　係る場合、図１８に示した前進中においては、第１モードの生成処理が実行され、移動体２がドライブからリバースへギアチェンジしたタイミングで動作制御部２６から第１トリガ情報が出力され、ＶＳＬＡＭ処理部２４の度動作は第１モードの生成処理から第２モードの生成処理へ遷移する。従って、図１９に示した移動体２の後退中においては、俯瞰画像安定化処理に従う俯瞰画像生成が実行される。
　さらに、移動体２が後退を停止してリバースからドライブにギアチェンジしたタイミングにおいて、動作制御部２６は、移動体２の状態情報に基づいて第２トリガ情報を生成する。動作制御部２６は、生成した第２のトリガ情報をＶＳＬＡＭ処理部２４及び自己位置更新部３０１へ出力する。ここで、動作制御部２６が生成する第２のトリガ情報は、移動体２の状態情報に応じて、環境地図情報生成の頻度を上昇させるために、ＶＳＬＡＭ処理部２４の動作を第２モードの生成処理から第１モードの生成処理へ遷移させるための情報である。
　ＶＳＬＡＭ処理部２４は、動作制御部２６から第２トリガ情報を取得すると、動作を第２モードの生成処理から第１モードの生成処理へ遷移させる。また、自己位置更新部３０１は、動作制御部２６から第２トリガ情報を取得すると、オドメトリ処理による第２の自己位置情報の生成を停止する。
　図２１は、図１８、図１９、図２０に示した状況での俯瞰画像安定化処理における第２モードの生成処理から第１モードの生成処理への切り替えタイミングを説明するための図である。
　すなわち、図２１に示した様に、移動体２が前進中においては、第１モードの生成処理により環境地図情報及び第１の自己位置情報が第１の頻度で生成される。移動体２のギアがドライブからリバースにギアチェンジされたタイミングで、第１モードの生成処理から第２モードの生成処理に遷移する。さらに、移動体２のギアがリバースからドライブにギアチェンジされたタイミングで、第２モードの生成処理から第１モードの生成処理に遷移する。リバースからドライブへのギアチェンジ以後は、第１の頻度によるＶＳＬＡＭ処理により、新たな環境地図情報及び第１の自己位置情報が生成される。
　従って、移動体２が再度前進した場合には、新たな第１の頻度によるＶＳＬＡＭ処理により、さらに情報を増やすことができ、より正確な環境地図情報の生成と自己位置推定を実現することができる。
　なお、ＶＳＬＡＭ処理部２４は、自己位置更新部３０１のオドメトリ処理により推定された第２の自己位置情報を取得し、第１モードの生成処理再開時に最新の自己位置として扱ってもよい。また、格納されていた第２の自己位置情報と、新たに第１モードの生成処理を行った際に推定された第１の自己位置情報とをマッチングすることもできる。
（変形例）
　上記各実施形態では、移動体２の状態情報に応じて、環境地図情報の生成頻度の異なる二種類のモード（第１モード、第２モード）の間で切り替える場合を例とした。これに対し、環境地図情報の生成頻度の異なる三種類以上のモードを設定し、移動体２の状態情報に応じて切り替えるようにしてもよい。また、各モードにおける環境地図情報の生成頻度は、任意の値に調整することも可能である。
　以上、実施形態及び各変形例について説明したが、本願の開示する情報処理装置、情報処理方法、及び情報処理プログラムは、上記の各実施形態等そのままに限定されるものではなく、各実施段階等ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記の実施形態及び各変形例等に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
　なお、上記実施形態及び各変形例の情報処理装置１０は、各種の装置に適用可能である。例えば、上記実施形態及び各変形例の情報処理装置１０は、監視カメラから得られる映像を処理する監視カメラシステム、又は車外の周辺環境の画像を処理する車載システムなどに適用することができる。
１０　情報処理装置
１２、１２Ａ～１２Ｄ　撮影部
１４　検出部
２０　取得部
２１　選択部
２４　ＶＳＬＡＭ処理部
２６　動作制御部
２８　第２記憶部
３０　決定部
３２　変形部
３４　仮想視点視線決定部
３６　投影変換部
３７　画像生成部
３８　画像合成部
２４０　マッチング部
２４１　第１記憶部
２４１Ａ　環境地図情報
２４２　自己位置推定部
２４３　三次元復元部
２４４　補正部
３０１　自己位置更新部
３０５　最近傍特定部
３０９　基準投影面形状選択部
３１１　スケール決定部
３１３　漸近曲線算出部
３１５　形状決定部

Claims (11)

  1. 　移動体の周辺の物体の位置情報を含む地図情報を第１の頻度で生成し前記移動体の自己位置を示す第１の自己位置情報を生成する第１モードの生成処理と、前記地図情報を前記第１の頻度より低い第２の頻度で生成する第２モードの生成処理と、を選択的に実行する地図情報生成部と、
    　前記地図情報生成部の前記第２モードの生成処理において、前記第１の自己位置情報及び前記移動体の状態情報を用いて、前記地図情報における前記移動体の位置情報である第２の自己位置情報を生成する自己位置生成部と、
    　を備えた情報処理装置。
  2. 　前記地図情報生成部は、前記第２モードの生成処理において、前記地図情報の生成を停止する請求項１に記載の情報処理装置。
  3. 　前記移動体の状態情報に基づいて第１トリガ情報を生成する動作制御部をさらに備え、
    　前記地図情報生成部は、前記第１トリガ情報に応答して前記第１モードの生成処理から前記第２モードの生成処理へ動作を遷移させ、
    　前記自己位置生成部は、前記第１トリガ情報に応答して前記第２の自己位置情報の生成を開始する、
    　請求項１に記載の情報処理装置。
  4. 　前記移動体の状態情報は、前記移動体のギアチェンジ情報、ユーザから入力された指示情報、俯瞰画像生成開始情報のうちの少なくとも一つである、
    　請求項３に記載の情報処理装置。
  5. 　前記自己位置生成部は、前記第２モードの生成処理において、前記第１の自己位置情報を起点とし前記移動体の状態情報を用いたオドメトリ法を用いて前記第２の自己位置情報を生成する、
    　請求項１に記載の情報処理装置。
  6. 　前記自己位置生成部は、前記第２の自己位置情報と前記地図情報とを用いて、前記移動体と前記移動体の周辺の物体との距離情報を算出する、
    　請求項３に記載の情報処理装置。
  7. 　前記第１トリガ情報に応答して前記移動体の周辺の俯瞰画像の生成を開始する画像合成部をさらに備える、
    　請求項６に記載の情報処理装置。
  8. 　前記画像合成部は、前記距離情報に基づいて前記俯瞰画像の投影面を変形する、
    　請求項７に記載の情報処理装置。
  9. 　前記地図情報生成部は、前記移動体の前進中において前記第１モードの生成処理を実行し、前記移動体の後退中において前記第２モードの生成処理を実行する、
    　請求項１に記載の情報処理装置。
  10. 　移動体の周辺の物体の位置情報を含む地図情報を第１の頻度で生成し前記移動体の自己位置を示す第１の自己位置情報を生成する第１モードの生成処理と、前記地図情報を前記第１の頻度より低い第２の頻度で生成する第２モードの生成処理と、を選択的に実行し、
    　前記第２モードの生成処理において、前記第１の自己位置情報及び前記移動体の状態情報を用いて、前記地図情報における前記移動体の位置情報である第２の自己位置情報を生成すること、
    　を備えた情報処理方法。
  11. 　コンピュータに、
    　移動体の周辺の物体の位置情報を含む地図情報を第１の頻度で生成し前記移動体の自己位置を示す第１の自己位置情報を生成する第１モードの生成処理と、前記地図情報を前記第１の頻度より低い第２の頻度で生成する第２モードの生成処理と、を選択的に実行する地図情報生成機能と、
    　前記第２モードの生成処理において、前記第１の自己位置情報及び前記移動体の状態情報を用いて、前記地図情報における前記移動体の位置情報である第２の自己位置情報を生成する自己位置生成機能と、
    　を実現させる情報処理プログラム。
PCT/JP2023/002162 2023-01-24 2023-01-24 情報処理装置、情報処理方法、及び情報処理プログラム Ceased WO2024157367A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2023/002162 WO2024157367A1 (ja) 2023-01-24 2023-01-24 情報処理装置、情報処理方法、及び情報処理プログラム
CN202380092145.6A CN120615207A (zh) 2023-01-24 2023-01-24 信息处理装置、信息处理方法、以及信息处理程序
JP2024572578A JPWO2024157367A1 (ja) 2023-01-24 2023-01-24
US19/264,345 US20250342660A1 (en) 2023-01-24 2025-07-09 Information processing device, information processing method, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/002162 WO2024157367A1 (ja) 2023-01-24 2023-01-24 情報処理装置、情報処理方法、及び情報処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US19/264,345 Continuation US20250342660A1 (en) 2023-01-24 2025-07-09 Information processing device, information processing method, and computer program product

Publications (1)

Publication Number Publication Date
WO2024157367A1 true WO2024157367A1 (ja) 2024-08-02

Family

ID=91969992

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/002162 Ceased WO2024157367A1 (ja) 2023-01-24 2023-01-24 情報処理装置、情報処理方法、及び情報処理プログラム

Country Status (4)

Country Link
US (1) US20250342660A1 (ja)
JP (1) JPWO2024157367A1 (ja)
CN (1) CN120615207A (ja)
WO (1) WO2024157367A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019016089A (ja) * 2017-07-05 2019-01-31 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
JP2019061603A (ja) * 2017-09-28 2019-04-18 ソニー株式会社 情報処理装置、移動装置、および方法、並びにプログラム
JP2021174424A (ja) * 2020-04-30 2021-11-01 トヨタ自動車株式会社 位置推定システム、及び位置推定方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019016089A (ja) * 2017-07-05 2019-01-31 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
JP2019061603A (ja) * 2017-09-28 2019-04-18 ソニー株式会社 情報処理装置、移動装置、および方法、並びにプログラム
JP2021174424A (ja) * 2020-04-30 2021-11-01 トヨタ自動車株式会社 位置推定システム、及び位置推定方法

Also Published As

Publication number Publication date
CN120615207A (zh) 2025-09-09
JPWO2024157367A1 (ja) 2024-08-02
US20250342660A1 (en) 2025-11-06

Similar Documents

Publication Publication Date Title
CN114072840B (zh) 自动驾驶的深度引导视频修复
US11433880B2 (en) In-vehicle processing apparatus
KR102275310B1 (ko) 자동차 주변의 장애물 검출 방법
JP5182042B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
CN109360245A (zh) 无人驾驶车辆多相机系统的外参数标定方法
JP7424390B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP2022016908A (ja) 俯瞰画像生成装置、俯瞰画像生成システム及び自動駐車装置
CN113808013A (zh) 生成鸟瞰视点图像的方法及装置
WO2020196676A1 (ja) 画像処理装置、車両制御装置、および方法、並びにプログラム
KR101868549B1 (ko) 어라운드뷰 생성방법과 이를 수행하는 장치
JP7779378B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US20240098231A1 (en) Image processing device, image processing method, and computer-readable medium
WO2024157367A1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP7779376B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP7673802B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP7761057B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP7622748B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US20260024226A1 (en) Information processing device, information processing method, and computer-readable medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23918334

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024572578

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202380092145.6

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 202380092145.6

Country of ref document: CN

122 Ep: pct application non-entry in european phase

Ref document number: 23918334

Country of ref document: EP

Kind code of ref document: A1