WO2019131198A1 - 制御装置、および制御方法、プログラム、並びに移動体 - Google Patents

制御装置、および制御方法、プログラム、並びに移動体 Download PDF

Info

Publication number
WO2019131198A1
WO2019131198A1 PCT/JP2018/046018 JP2018046018W WO2019131198A1 WO 2019131198 A1 WO2019131198 A1 WO 2019131198A1 JP 2018046018 W JP2018046018 W JP 2018046018W WO 2019131198 A1 WO2019131198 A1 WO 2019131198A1
Authority
WO
WIPO (PCT)
Prior art keywords
self
unit
feature
image
location
Prior art date
Application number
PCT/JP2018/046018
Other languages
English (en)
French (fr)
Inventor
小林　大
諒 渡辺
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to DE112018006730.0T priority Critical patent/DE112018006730T5/de
Priority to US16/956,664 priority patent/US11822341B2/en
Priority to JP2019562988A priority patent/JP7151725B2/ja
Publication of WO2019131198A1 publication Critical patent/WO2019131198A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present disclosure relates to a control device, a control method, a program, and a moving body, and more particularly, to a control device, a control method, a program, and a moving body capable of accurately estimating a self position.
  • Patent Document 2 there has been proposed a technique for estimating position / posture data of a robot or a target object from comparison between a template image and a captured image with respect to a gaze direction (see Patent Document 2).
  • the present disclosure has been made in view of such a situation, and in particular, in an environment where it is likely to be erroneously detected as the same position due to the presence of a large number of similar feature values in the periphery despite the different positions. Even if there is, it is possible to distinguish and estimate the self position with high accuracy.
  • the control device includes a self position estimation unit that estimates a self position, an imaging unit that captures an image of a surrounding area, and a range that is not useful for identifying the self position in the surrounding image.
  • a first mask generation unit that generates a mask in the surrounding image based on a location-related non-feature portion that represents the image, and an image feature that is extracted from the surrounding image masked by the first mask generation unit;
  • the control device includes: a feature amount extraction unit; and a registration unit that associates the image feature amount with the position information of the self position estimated by the self position estimation unit and registers them as a database.
  • the first mask generation unit is configured to, based on a location-related non-feature portion representing a range not useful for identifying the self-location in the surrounding image, according to the location corresponding to the self-location. It is possible to generate a mask in a non-feature area, which is an area that is not useful for identifying the self position in the image of.
  • the location-related non-feature database may be further included to register the location-related non-features in association with the location, and the first mask generation unit may include a location corresponding to the self-location. And a mask to a non-feature area which is an area not useful for specifying the self position in the surrounding image based on the place-related non-feature part registered in the place-related non-feature part database in association with Can be generated.
  • the first feature extraction unit is configured to extract an image feature from the surrounding image captured by the imaging unit, and the position information registered in the database in association with the image feature.
  • the present invention may further include a current information self-position estimation unit that estimates the current information self-position.
  • the current information self position estimated by the current information self position estimation unit and the self position estimated by the self position estimation unit may be integrated to further include an integration unit for outputting as a self position estimation result.
  • the integration unit may associate the self-position estimation result with the image feature extracted by the first feature extractor and register the result in the database.
  • a location-related non-feature portion database for registering the location-related non-feature portion in association with a location corresponding to the self-location, and a plurality of the images in the same location specified based on the location registered in the database
  • a location related non-feature portion creation registration in which a statistically similar range is associated with the same location to be generated as the new location related non-feature portion and registered in the location related non-feature portion database It is possible to include more parts.
  • a mask is generated in a feature region that is a range that is not useful for locating the self location in the surrounding image
  • a second mask generation unit, a second feature extraction unit for extracting an image feature as a non-feature region feature from the surrounding image masked by the second mask generation unit, and the non-feature region
  • a position non-feature area feature quantity database registration section for registering feature quantities and position information of the self-position estimated by the self-position estimation section in the position non-feature area feature quantity database
  • a non-feature area feature quantity extraction unit for extracting a non-feature area feature quantity from the surrounding image based on a location-related non-feature area of the corresponding location; and the non-feature area feature quantity
  • an inspection unit for inspect
  • the system further includes a self position indeterminate state determination unit that determines whether or not the self position indeterminate state is based on the time series change amount of the self position estimation result output from the integration unit, or by the presence or absence of power on.
  • the integration unit outputs the current information self-position as a self-position estimation result
  • the inspection unit extracts the non-feature region feature amount
  • the present-day feature is based on the degree of similarity between the non-feature region feature extracted from the copy unit and the non-feature region feature registered in the position non-feature region feature database corresponding to the current information self-location.
  • Information self-location is checked, and if the similarity is lower than a predetermined threshold, it is regarded as being in the self-location indeterminate state, and the integration unit is configured to estimate the current information self-location as a self-location estimation result. If the degree of similarity is higher than a predetermined threshold, it is considered that the self-position indefinite state has been eliminated, and the integration unit is configured to use the current information self-position estimated by the current information self-position estimation unit.
  • the self position estimated by the self position estimation unit may be integrated and output as a self position estimation result.
  • the location-related non-feature may be configured from a table of a location corresponding to the self-location and a location-related non-feature.
  • the location-related non-feature portion is configured of a location corresponding to the self-location and a table of location attributes abstracting the location, and a table of the location attribute and the location-related non-feature portion Can be
  • the imaging unit is a stereo camera, and the surrounding image captured by the stereo camera is a stereo image, and further includes a depth image generation unit that generates a depth image based on the stereo image.
  • Location-related non-features representing a range that is not useful for identifying the self-location in the surrounding image according to the location corresponding to the self-location.
  • generating a mask on the surrounding image consisting of the depth image based on the image, and the first feature extraction unit is configured to generate an image feature based on the masked surrounding image consisting of the depth image. It can be made to extract.
  • a time-series information self-position estimating unit that causes the self-position estimating unit to estimate the self-position using time-series information including sensor information supplied in time-series and outputs an estimation result as time-series information self-position Can be included.
  • the time-series information includes three-dimensional point group data detected by LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), position information detected by a wheel encoder, posture, velocity, acceleration, and angular velocity. Can.
  • LIDAR Light Detection and Ranging, Laser Imaging Detection and Ranging
  • position information detected by a wheel encoder position information detected by a wheel encoder
  • posture posture, velocity, acceleration, and angular velocity.
  • a self-position estimation process for estimating a self-position, an imaging process for capturing an image of a surrounding, and a place representing a range not useful for specifying the self-location in the surrounding image
  • a first mask generation process for generating a mask in the surrounding image based on the related non-feature portion, and a first image feature value extraction from the surrounding image masked by the first mask generation process
  • the program according to the first aspect of the present disclosure represents a self position estimation unit that estimates a self position, an imaging unit that captures an image of a surrounding, and a range that is not useful for specifying the self position in the surrounding image.
  • a first mask generation unit that generates a mask in the surrounding image based on a location-related non-feature, and an image feature amount that is extracted from the surrounding image masked by the first mask generation unit.
  • the feature amount extraction unit, the image feature amount, and the position information of the self position estimated by the self position estimation unit are associated with each other, and the program causes the computer to function as a registration unit.
  • the mobile object includes a self position estimation unit that estimates a self position, an imaging unit that captures an image of a surrounding, and a range that is not useful for identifying the self position in the surrounding image.
  • a first mask generation unit that generates a mask in the surrounding image based on a location-related non-feature portion that represents the image, and an image feature that is extracted from the surrounding image masked by the first mask generation unit; It is a mobile including a feature quantity extraction unit 1 and a registration unit that associates the image feature quantity and position information of the self position estimated by the self position estimation unit and registers them as a database.
  • a mask is generated in the surrounding image based on the location-related non-feature portion representing the image, and an image feature is extracted from the masked surrounding image, and the image feature and the position of the estimated self position Information is associated and registered as a database.
  • the control device includes a self position estimation unit that estimates a self position, an imaging unit that captures an image of a surrounding area, and a range that is not useful for identifying the self position in the surrounding image.
  • a mask generation unit that generates a mask in the surrounding image based on the location-related non-feature unit, a feature extraction unit that extracts an image feature from the surrounding image masked by the mask generation unit;
  • Current information self-position estimation which estimates current information self-position based on the registration unit that associates image feature quantities and position information of self-position estimated by the self-position estimation unit as a database, and the database A part, and when estimating the current information self position, the feature quantity extraction section extracts the image feature quantity from the surrounding image captured by the imaging section, Serial information currently self-position estimation section, at said database, a control unit for estimating the position information registered in association with the image feature extracted by said feature amount extracting section as the current information self-position.
  • the control method includes a self-position estimation process for estimating a self-position, an imaging process for capturing an image of a surrounding area, and a range that is not useful for identifying the self-position in the surrounding image.
  • Mask generation processing for generating a mask in the surrounding image based on the location-related non-feature portion to be expressed; feature extraction processing for extracting an image feature amount from the surrounding image masked by the mask generation processing; Registration processing for correlating an image feature amount with position information of a self position estimated by the self position estimation processing and registering as a database, and current information self position estimation for estimating current information self position based on the database
  • the feature quantity extraction process is performed by using the surrounding image captured by the imaging process. An image feature amount is extracted, and the current information self-position estimation process uses the position information registered in the database in association with the image feature amount extracted by the feature amount extraction process as the current information self-location. It is a control method to estimate.
  • the program according to the second aspect of the present disclosure represents a self position estimation unit that estimates a self position, an imaging unit that captures an image of a surrounding, and a range that is not useful for identifying the self position in the surrounding image.
  • a mask generation unit that generates a mask in the surrounding image based on a location-related non-feature, a feature extraction unit that extracts an image feature from the surrounding image masked by the mask generation unit;
  • a registration unit that registers feature amounts and position information of the self position estimated by the self position estimation unit in a database, and a current information self position estimation unit that estimates the current information self position based on the database
  • the feature quantity extraction unit is configured to determine the image feature from the surrounding image captured by the imaging unit.
  • the current information self-position estimating unit estimates, as the current information self-position, the position information registered in the database in association with the image feature amount extracted by the feature amount extracting unit It is.
  • the moving body includes a self position estimation unit that estimates a self position, an imaging unit that captures an image of a surrounding, and a range that is not useful for identifying the self position in the surrounding image.
  • a mask generation unit that generates a mask in the surrounding image based on the location-related non-feature unit, a feature extraction unit that extracts an image feature from the surrounding image masked by the mask generation unit;
  • Current information self-position estimation which estimates current information self-position based on the registration unit that associates image feature quantities and position information of self-position estimated by the self-position estimation unit as a database, and the database
  • the feature amount extraction unit extracts the image feature amount from the surrounding image captured by the imaging unit, Information currently self-position estimation section, at said database, as a mobile body for estimating the location information registered in association with the image feature extracted by said feature amount extracting section as the current information self-position.
  • an image of the surroundings is taken, and that represents a range that is not useful for locating the self-location in the images of the surroundings
  • a mask is generated in the surrounding image
  • an image feature is extracted from the masked surrounding image
  • the image feature is associated with position information of the estimated own position and registered as a database.
  • the image feature is extracted from the image around the captured self-location, and extracted in the database
  • the position information registered in association with the acquired image feature amount is estimated as the current information self position.
  • the mobile object of the present disclosure can estimate its own position with high accuracy by differentiating even in an environment with many similar features despite different positions, which is likely to be erroneously detected as the same position. It is a moving body.
  • FIG. 1 shows a configuration example as an outline of a mobile unit 11 of the present disclosure.
  • the moving body 11 is, for example, a robot, and includes a sensor group 21, an autonomous movement control unit 22, and an actuator group 23.
  • the sensor group 21 includes sensors 21 a-1 to 21 a-n for detecting various information necessary for recognizing the situation inside the mobile object 11 and around the mobile object 11, and the detection result is used as an autonomous movement control unit Output to 22 Further, when it is not necessary to distinguish between the sensors 21a-1 to 21a-n, the sensors 21a are simply referred to as the sensors 21a, and the other configurations are also referred to.
  • the sensors 21 a-1 to 21 a-n may be, for example, a camera for imaging the periphery of the moving body 11, an acceleration sensor for detecting the movement of the moving body 11, and an object existing around the moving body 11.
  • LIDAR to measure distance
  • ToF Time of Flight
  • geomagnetic sensor to detect direction
  • gyro sensor to detect direction
  • gyro sensor to detect direction
  • barometric pressure sensor to detect changes in ambient air pressure
  • contact sensor to detect presence or absence of contact etc.
  • temperature It includes a temperature sensor to be detected, a humidity sensor to detect humidity, a position sensitive detector (PSD) ranging sensor, and a global navigation satellite system (GNSS) to detect a position on the earth.
  • PSD position sensitive detector
  • GNSS global navigation satellite system
  • the autonomous movement control unit 22 recognizes surrounding conditions from various detection results of the sensor group 21, generates an action plan based on the recognition result, and various kinds of actuator groups 23 for driving the robot according to the action plan.
  • the actuators 23a-1 to 23a-n are operated. Further, when it is not necessary to distinguish the actuators 23a-1 to 23a-n in particular, they are simply referred to as the actuator 23a, and the other configurations are also referred to.
  • the autonomous movement control unit 22 includes a recognition processing unit 31, an action plan processing unit 32, and an action control processing unit 33.
  • the recognition processing unit 31 executes recognition processing based on the detection result supplied from the sensor group 21. For example, an image, a person, an object, a type of an expression, a position, an attribute, a position of oneself or an obstacle, etc. It recognizes and outputs it to the action plan processing unit 32 as a recognition result. Further, the recognition processing unit 31 estimates the self position based on the detection result supplied from the sensor group 21.
  • the action plan processing unit 32 generates, based on the recognition result, an action plan such as a movement trajectory of the device related to the movement of the moving body 11, a state change, and a velocity or acceleration, which is the entire action of the moving body 11. , And supplied to the action control processing unit 33.
  • the action control processing unit 33 generates control signals for controlling specific movements of the actuators 23 a-1 to 23 a-n of the actuator group 23 based on the action plan supplied from the action plan processing unit 32.
  • the actuator group 23 is operated.
  • the actuator group 23 operates actuators 23 a-1 to 23 a-n that specifically operate the moving body 11 based on the control signal supplied from the behavior control processing unit 33. More specifically, the actuators 23a-1 to 23a-n operate operations of a motor, a servomotor, a brake, and the like for realizing a specific movement of the moving body 11 based on the control signal.
  • the actuators 23a-1 to 23a-n include a configuration for realizing an expansion and contraction movement, bending and extension movement, a turning movement and the like, and include an LED (Light Emission Diode) and an LCD (Liquid Crystal Display) for displaying information.
  • the configuration includes a display unit, a speaker that outputs sound, and the like. Therefore, by controlling the actuator group 23 based on the control signal, operations of various devices for driving the moving body 11 are realized, information is displayed, and sound is output.
  • the operation related to the movement of the moving object 11 is controlled, and the presentation of various information such as the display of information and the output of sound is also possible. It is controlled.
  • the recognition processing unit 31 estimates the self position based on the detection result supplied from the sensor group 21.
  • the recognition processing unit 31 extracts the feature amount from the image around the self position taken by the camera, for example, by the sensor group 21, and the feature amount of the image is associated with the position in advance.
  • the self position is estimated by checking the feature amount of the registered DB (database) and reading out the information of the position registered in association with the matching feature amount.
  • the surrounding environment may be substantially similar even if the number of floors is different, and the extracted feature values also Similarities are often found, and even on different floors, the same floor corridors and self-locations may be misdetected.
  • a feature amount extracted in a state in which the mask area Z is attached to the ceiling portion including a large amount is associated with position information and registered in the DB.
  • the feature amount is extracted in a state in which a region having a small difference from other positions where the same feature amount is easily extracted among surrounding images is masked in advance,
  • the DB in association with the information, it is possible to distinguish the position and estimate the self position with high accuracy even in an environment where many similar objects exist despite the different positions.
  • FIG. 3 is a block diagram showing a configuration example of a schematic function of a mobile control system 100 that controls the mobile 11 of the present disclosure.
  • the mobile control system 100 of FIG. 3 is an example of a mobile control system that controls the mobile 11 including a robot to which the present technology can be applied, other mobiles such as an aircraft, a ship, and a multi It can also be applied as a system for controlling a rotor copter (drone) or the like.
  • the robot may be a wheel-type robot, a car capable of getting on board, or a multi-legged robot.
  • the mobile control system 100 includes an input unit 101, a data acquisition unit 102, a communication unit 103, a mobile internal device 104, an output control unit 105, an output unit 106, a drive system control unit 107, a drive system 108, a storage unit 109, And an autonomous movement control unit 110.
  • the input unit 101, the data acquisition unit 102, the communication unit 103, the output control unit 105, the drive system control unit 107, the storage unit 109, and the autonomous movement control unit 110 are mutually connected via the communication network 111. .
  • the communication network 111 is, for example, a communication network conforming to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network) such as IEEE 802.3, or FlexRay (registered trademark). And a bus, or a proprietary communication method that is not standardized.
  • each part of the mobile control system 100 may be directly connected without passing through the communication network 111.
  • each unit of the mobile control system 100 communicates via the communication network 111
  • the description of the communication network 111 shall be omitted.
  • the input unit 101 and the autonomous mobility control unit 110 perform communication via the communication network 111
  • the input unit 101 and the autonomous mobility control unit 110 simply perform communication.
  • the input unit 101 includes an apparatus used by a passenger for inputting various data and instructions.
  • the input unit 101 includes operation devices such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device and the like that can be input by a method other than manual operation by voice or gesture.
  • the input unit 101 may be a remote control device using infrared rays or other radio waves, or an external connection device such as a mobile device or wearable device compatible with the operation of the mobile object control system 100.
  • the input unit 101 generates an input signal based on data, an instruction, and the like input by a passenger and supplies the generated signal to each unit of the mobile control system 100.
  • the data acquisition unit 102 includes various sensors for acquiring data used for processing of the mobile control system 100 and supplies the acquired data to each unit of the mobile control system 100.
  • the data acquisition unit 102 includes various sensors for detecting the state of a moving object, etc., to configure the sensor group 112, and the sensor group 21 configured by the sensors 21a-1 to 21a-n in FIG.
  • the data acquisition unit 102 includes a gyro sensor, an acceleration sensor, an inertia measurement device (IMU), an operation amount of acceleration input such as an accelerator, an operation amount of deceleration input, an operation amount of direction instruction input, A sensor or the like for detecting the number of revolutions and input / output energy / fuel amount of a drive device such as an engine or motor, torque amount of the engine or motor, or rotational speed or torque of wheels or joints.
  • IMU inertia measurement device
  • the data acquisition unit 102 includes various sensors for detecting information outside the moving body.
  • the data acquisition unit 102 includes an imaging device such as a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, a polarization camera, and other cameras.
  • the data acquisition unit 102 includes an environment sensor for detecting weather, weather or the like, and an ambient information detection sensor for detecting an object around the moving body.
  • the environment sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, and the like.
  • the ambient information detection sensor includes, for example, a laser distance measurement sensor, an ultrasonic sensor, a radar, a LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), a sonar, and the like.
  • the data acquisition unit 102 includes various sensors for detecting the current position of the moving object.
  • the data acquisition unit 102 includes a GNSS receiver or the like which receives a GNSS signal from a Global Navigation Satellite System (GNSS) satellite.
  • GNSS Global Navigation Satellite System
  • the communication unit 103 communicates with the mobile internal device 104 and various devices outside the mobile, a server, a base station, etc., and transmits or receives data supplied from each unit of the mobile control system 100. Data is supplied to each unit of the mobile control system 100.
  • the communication protocol supported by the communication unit 103 is not particularly limited, and the communication unit 103 can also support a plurality of types of communication protocols.
  • the communication unit 103 performs wireless communication with the mobile internal device 104 by wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), WUSB (Wireless USB), or the like. Also, for example, the communication unit 103 may use a Universal Serial Bus (USB), a High-Definition Multimedia Interface (HDMI (registered trademark)), or an MHL (Universal Serial Bus) via a connection terminal (and a cable, if necessary) not shown. Wired communication is performed with the mobile internal device 104 by Mobile High-definition Link) or the like.
  • USB Universal Serial Bus
  • HDMI High-Definition Multimedia Interface
  • MHL Universal Serial Bus
  • the communication unit 103 may communicate with an apparatus (for example, an application server or control server) existing on an external network (for example, the Internet, a cloud network, or a network unique to an operator) via a base station or an access point. Communicate. Also, for example, using the P2P (Peer To Peer) technology, the communication unit 103 may use a terminal (eg, a pedestrian or a shop terminal, or an MTC (Machine Type Communication) terminal) with a terminal existing near the mobile object. Communicate.
  • an apparatus for example, an application server or control server
  • an external network for example, the Internet, a cloud network, or a network unique to an operator
  • the communication unit 103 may use a terminal (eg, a pedestrian or a shop terminal, or an MTC (Machine Type Communication) terminal) with a terminal existing near the mobile object. Communicate.
  • a terminal eg, a pedestrian or a shop terminal, or an MTC (Machine Type Communication) terminal
  • the communication unit 103 when the mobile unit 11 is a vehicle, the communication unit 103 performs Vehicle to Vehicle communication, Vehicle to Infrastructure communication, Communication between a mobile unit and a house (Vehicle to Home), And V2X communication such as Vehicle to Pedestrian communication is performed.
  • the communication unit 103 includes a beacon receiving unit, receives radio waves or electromagnetic waves transmitted from radio stations installed on roads, and acquires information such as current position, traffic jam, traffic restriction, or required time. Do.
  • the mobile internal device 104 includes, for example, a mobile device or wearable device owned by the passenger, an information device carried in or attached to the mobile, a navigation device for searching for a route to an arbitrary destination, and the like.
  • the output control unit 105 controls the output of various information to the passenger of the mobile unit or the outside of the mobile unit.
  • the output control unit 105 generates an output signal including at least one of visual information (for example, image data) and auditory information (for example, audio data), and supplies the generated output signal to the output unit 106.
  • the output control unit 105 combines image data captured by different imaging devices of the data acquisition unit 102 to generate an overhead image or a panoramic image, and an output signal including the generated image is generated.
  • the output unit 106 is supplied.
  • the output control unit 105 generates voice data including a warning sound or a warning message for danger such as collision, contact, entering a danger zone, and the like, and outputs an output signal including the generated voice data to the output unit 106.
  • Supply for example, the output control unit 105 generates voice data including a warning sound or a warning message for danger such as collision, contact, entering a danger zone, and the like, and outputs an
  • the output unit 106 includes a device capable of outputting visual information or auditory information to the passenger of the mobile object or the outside of the mobile object.
  • the output unit 106 includes a display device, an instrument panel, an audio speaker, headphones, wearable devices such as a glasses-type display worn by a passenger, a projector, a lamp, and the like.
  • the display device included in the output unit 106 has visual information in the driver's field of vision, such as a head-up display, a transmissive display, and a device having an AR (Augmented Reality) display function, in addition to a device having a normal display. It may be an apparatus for displaying.
  • the output control unit 105 and the output unit 106 are not essential to the processing of the autonomous movement, and may be omitted as necessary.
  • the drive system control unit 107 controls the drive system 108 by generating various control signals and supplying them to the drive system 108. In addition, the drive system control unit 107 supplies a control signal to each unit other than the drive system 108 as necessary, and notifies a control state of the drive system 108, and the like.
  • the drive system 108 includes various devices related to the drive system of the moving body.
  • the driveline system 108 includes a servomotor capable of specifying an angle and a torque provided at each joint of four legs, a motion controller which disassembles and replaces movement movement of the robot itself into movement of four legs, It has a feedback control device by sensors in each motor and sensors on the back of the foot.
  • the drive system 108 includes four to six motors with propellers facing upward, and a motion controller that decomposes and replaces movement of the robot itself with the amount of rotation of each motor.
  • the drive system system 108 includes a driving force generating device for generating a driving force such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle.
  • a steering mechanism to be adjusted a braking device for generating a braking force, an ABS (Antilock Brake System), an ESC (Electronic Stability Control), an electric power steering device, and the like are provided.
  • the output control unit 105, the output unit 106, the drive system control unit 107, and the drive system system 108 constitute an actuator group 113, and correspond to the actuator group 23 including the actuators 23a-1 to 23a-n in FIG. .
  • the storage unit 109 includes, for example, a read only memory (ROM), a random access memory (RAM), a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, and a magneto-optical storage device. .
  • the storage unit 109 stores various programs, data, and the like used by each unit of the mobile control system 100.
  • the storage unit 109 is map data such as a three-dimensional high-accuracy map such as a dynamic map, a global map that covers a wide area with lower accuracy than a high-accuracy map, and information around the moving object.
  • map data such as a three-dimensional high-accuracy map such as a dynamic map, a global map that covers a wide area with lower accuracy than a high-accuracy map, and information around the moving object.
  • the autonomous movement control unit 110 performs control regarding autonomous movement such as automatic driving or driving assistance. Specifically, for example, the autonomous movement control unit 110 aims to realize the function of collision avoidance or shock mitigation of a moving body, following movement based on the distance between moving bodies, moving speed maintenance moving of a moving body, or collision warning of a moving body. And coordinate control. Also, for example, the autonomous movement control unit 110 performs cooperative control for the purpose of autonomous movement or the like that moves autonomously without depending on the operation of the operator or the user.
  • the autonomous movement control unit 110 includes a detection unit 131, a self position estimation unit 132, a situation analysis unit 133, a planning unit 134, and an operation control unit 135.
  • the detection unit 131, the self position estimation unit 132, and the situation analysis unit 133 constitute a recognition processing unit 121, and correspond to the recognition processing unit 31 in FIG.
  • the planning unit 134 configures the action plan processing unit 122, and corresponds to the action plan processing unit 32 in FIG.
  • the operation control unit 135 configures the behavior control processing unit 123, and corresponds to the behavior control processing unit 33 in FIG.
  • the detection unit 131 detects various types of information necessary for control of autonomous movement.
  • the detection unit 131 includes a mobile external information detection unit 141, a mobile internal information detection unit 142, and a mobile state detection unit 143.
  • the mobile external information detection unit 141 performs detection processing of information outside the mobile based on data or signals from each unit of the mobile control system 100. For example, the mobile external information detection unit 141 performs detection processing of an object around the mobile object, recognition processing, tracking processing, and detection processing of the distance to the object.
  • the objects to be detected include, for example, moving objects, people, obstacles, structures, roads, traffic lights, traffic signs, road markings, and the like.
  • the mobile external information detection unit 141 performs a process of detecting the environment around the mobile.
  • the surrounding environment to be detected includes, for example, weather, temperature, humidity, brightness, road surface condition and the like.
  • the mobile external information detection unit 141 supplies data indicating the result of the detection process to the self position estimation unit 132, the map analysis unit 151 of the situation analysis unit 133, the situation recognition unit 152, the operation control unit 135, and the like. .
  • the mobile unit internal information detection unit 142 performs detection processing of information inside the mobile unit based on data or signals from each unit of the mobile unit control system 100.
  • the mobile unit internal information detection unit 142 performs driver authentication processing and recognition processing, driver state detection processing, passenger detection processing, detection processing of the environment inside the mobile unit, and the like.
  • the state of the driver to be detected includes, for example, physical condition, awakening degree, concentration degree, fatigue degree, gaze direction and the like.
  • the environment inside the moving object to be detected includes, for example, temperature, humidity, brightness, odor and the like.
  • the mobile unit internal information detection unit 142 supplies data indicating the result of the detection process to the situation recognition unit 152 of the situation analysis unit 133, the operation control unit 135, and the like.
  • the mobile object state detection unit 143 detects the state of the mobile object based on data or signals from each unit of the mobile object control system 100.
  • the state of the moving object to be detected includes, for example, speed, acceleration, steering angle, presence / absence of abnormality and content, state of driving operation, position and inclination of power seat, state of door lock, and mounting of other moving objects
  • the state of the device is included.
  • the mobile object state detection unit 143 supplies data indicating the result of the detection process to the situation recognition unit 152 of the situation analysis unit 133, the operation control unit 135, and the like.
  • the position and orientation of the mobile object are estimated based on data or signals from each part of the mobile object control system 100 such as the mobile object external information detection part 141 and the situation recognition part 152 of the situation analysis part 133. And so on.
  • the self position estimation unit 132 generates a local map (hereinafter, referred to as a self position estimation map) used to estimate the self position, as necessary.
  • the self-location estimation map is, for example, a high-accuracy map using a technique such as SLAM (Simultaneous Localization and Mapping).
  • the self position estimation unit 132 supplies data indicating the result of the estimation process to the map analysis unit 151 of the situation analysis unit 133, the situation recognition unit 152, and the like.
  • the self position estimation unit 132 stores the self position estimation map in the storage unit 109.
  • the self-position estimation unit 132 based on the detection result supplied from the sensor group 112, the self-position estimation unit 132 accumulates time-series information supplied in time-series in a database and, based on the accumulated time-series information, self-position. And output as time-series information self-location. Further, the self position estimation unit 132 estimates the self position based on the current detection result supplied from the sensor group 112, and outputs it as the current information self position. Then, the self-position estimation unit 132 integrates or switches the time-series information self-position and the current information self-position, and outputs the result as a self-position estimation result.
  • the self position estimation unit 132 estimates the current information self position
  • An amount DB 225 (FIG. 4) is provided to estimate the current information self position by comparison with the detection result.
  • the self-position estimation unit 132 is provided with information of a range to be masked for each place where many image feature amounts that are not useful in specifying the position are detected with respect to the image captured by the sensor group 112 .
  • the self position estimation unit 132 registers the image feature amount and the position in association with each other in the position image feature amount DB 225 (FIG. 4), the image captured by the sensor group 112 is masked according to the location.
  • the image feature amount is extracted and registered in the attached state.
  • the image feature is extracted by masking the range including a large amount of image feature that is not useful in specifying the position, and thus it is useful in identifying the similar image feature, that is, the position. Even in an environment that includes many image feature amounts, it is possible to estimate the self position with high precision.
  • the detailed configuration of the self position estimation unit 132 will be described later with reference to FIG.
  • the situation analysis unit 133 performs analysis processing of the mobile object and the surrounding situation.
  • the situation analysis unit 133 includes a map analysis unit 151, a situation recognition unit 152, and a situation prediction unit 153.
  • the map analysis unit 151 may use various data stored in the storage unit 109 while using data or signals from each unit of the mobile object control system 100 such as the self position estimation unit 132 and the mobile object external information detection unit 141 as needed.
  • the map analysis process is performed to construct a map including information necessary for the processing of the autonomous movement.
  • the map analysis unit 151 supplies the constructed map to the situation recognition unit 152, the situation prediction unit 153, the route planning unit 161 of the planning unit 134, the action planning unit 162, the operation planning unit 163, and the like.
  • the situation recognition unit 152 includes the self position estimation unit 132, the mobile external information detection unit 141, the mobile internal information detection unit 142, the mobile state detection unit 143, and each unit of the mobile control system 100 such as the map analysis unit 151. Based on the data or the signal from C., to recognize the situation regarding the moving object. For example, the situation recognition unit 152 performs recognition processing of the situation of the moving body, the situation around the moving body, the situation of the driver of the moving body, and the like. In addition, the situation recognition unit 152 generates a local map (hereinafter referred to as a situation recognition map) used to recognize the situation around the mobile object, as necessary.
  • the situation recognition map is, for example, an occupancy grid map (Occupancy Grid Map), a road map (Lane Map), or a point cloud map (Point Cloud Map).
  • the status of the moving object to be recognized includes, for example, the position, posture, movement (for example, velocity, acceleration, moving direction, etc.) of the moving object, and the presence / absence and contents of abnormality.
  • the situation around the moving object to be recognized includes, for example, the type and position of surrounding stationary objects, the type, position and movement of surrounding moving objects (eg, velocity, acceleration, moving direction, etc.) Configuration and road surface conditions, as well as ambient weather, temperature, humidity, brightness, etc. are included.
  • the state of the driver to be recognized includes, for example, physical condition, alertness level, concentration level, fatigue level, movement of eyes, driving operation and the like.
  • the situation recognition unit 152 supplies data (including a situation recognition map, if necessary) indicating the result of the recognition process to the self position estimation unit 132, the situation prediction unit 153, and the like. Further, the situation recognition unit 152 stores the situation recognition map in the storage unit 109.
  • the situation prediction unit 153 performs prediction processing of the situation regarding the moving object based on data or signals from each unit of the moving object control system 100 such as the map analysis unit 151 and the condition recognition unit 152. For example, the situation prediction unit 153 performs prediction processing of the situation of the moving body, the situation around the moving body, the situation of the driver, and the like.
  • the condition of the mobile object to be predicted includes, for example, the behavior of the mobile object, the occurrence of an abnormality, and the movable distance.
  • the situation around the moving object to be predicted includes, for example, the behavior of the moving object around the moving object, the change of the signal state, and the change of the environment such as the weather.
  • the driver's condition to be predicted includes, for example, the driver's behavior and physical condition.
  • the situation prediction unit 153 supplies the data indicating the result of the prediction process, together with the data from the situation recognition unit 152, to the route planning unit 161, the action planning unit 162, the operation planning unit 163, and the like of the planning unit 134.
  • the route planning unit 161 plans a route to a destination based on data or signals from each unit of the mobile object control system 100 such as the map analysis unit 151 and the situation prediction unit 153 and the like. For example, the route planning unit 161 sets a route from the current position to the specified destination based on the global map. In addition, for example, the route planning unit 161 changes the route as appropriate based on traffic jams, accidents, traffic restrictions, conditions such as construction, the physical condition of the driver, and the like. The route planning unit 161 supplies data indicating the planned route to the action planning unit 162 and the like.
  • the action planning unit 162 secures the route planned by the route planning unit 161 within the planned time based on data or signals from each unit of the mobile object control system 100 such as the map analysis unit 151 and the situation prediction unit 153 and the like. Plan the action of the mobile to move to. For example, the action planning unit 162 performs planning such as start, stop, traveling direction (for example, forward, backward, left turn, right turn, direction change, etc.), moving speed, overtaking, and the like.
  • the behavior planning unit 162 supplies data indicating the planned behavior of the moving body to the behavior planning unit 163 and the like.
  • the operation plan unit 163 is a mobile unit for realizing the action planned by the action plan unit 162 based on data or signals from each unit of the mobile unit control system 100 such as the map analysis unit 151 and the situation prediction unit 153. Plan the operation. For example, the operation planning unit 163 performs planning of acceleration, deceleration, moving trajectory, and the like. The operation planning unit 163 supplies data indicating the planned operation of the mobile unit to the operation control unit 135 and the like.
  • the operation control unit 135 controls the operation of the mobile unit.
  • the operation control unit 135 is based on the detection results of the moving body external information detecting unit 141, the moving body internal information detecting unit 142, and the moving body state detecting unit 143. Perform detection processing of emergency situations such as entry, driver's abnormality, moving object's abnormality, etc. When detecting the occurrence of an emergency, the operation control unit 135 plans the operation of the mobile unit for avoiding an emergency such as a sudden stop or a quick turn.
  • the operation control unit 135 also performs acceleration / deceleration control for realizing the operation of the mobile unit planned by the operation planning unit 163. For example, the operation control unit 135 calculates a control target value of a driving force generating device or a braking device for achieving planned acceleration, deceleration, or sudden stop, and drives a control command indicating the calculated control target value. It is supplied to the system control unit 107.
  • the operation control unit 135 performs direction control for realizing the movement of the mobile unit planned by the operation planning unit 163. For example, the operation control unit 135 calculates the control target value of the steering mechanism for achieving the moving track or the sharp turn planned by the operation planning unit 163, and controls the control command indicating the calculated control target value. It supplies to 107.
  • the moving body is the moving body 11 formed of a wheel type mobile robot
  • the moving body such as another robot or a vehicle may be used.
  • the sensor group 112 includes the LIDAR 201, the wheel encoder 202, and the stereo camera 203. As a matter of course, other sensors may be used as long as the robot is a quadruped robot or a vehicle.
  • the LIDAR 201 obtains the distance to an object around the moving body 11 as three-dimensional point group data, and outputs it as time-series information to the time-series information self-position estimating unit 221 of the self-position estimating unit 132 via the detecting unit 131 Do.
  • the wheel encoder 202 includes position information (X, Y, Z), posture (quaternion), velocity (dx, dy, dz), acceleration (ax, ay, az), and angular velocity (wx, wy, wz) of the moving body 11. ) Is detected and output as time-series information to the time-series information self-position estimation unit 221 via the detection unit 131.
  • the stereo camera 203 picks up a parallax image around the mobile object 11 and outputs it as current information to the self position estimation unit 132 via the detection unit 131.
  • the self position estimation unit 132 is a depth image generation unit 220, a time series information self position estimation unit 221, a time series information DB 222, a feature amount extraction unit 223, a current information self position estimation unit 224, a position image feature amount DB 225, a self position estimation.
  • a result integration unit 226, a non-feature region mask generation unit 227, a location-related non-feature portion DB 228, a position image feature amount registration unit 229, and a position / location conversion unit 230 are provided.
  • the self position estimation unit 132 associates the position image feature amount DB 225 (FIG. 4) necessary for the self position estimation process with the mode for executing the self position estimation process for estimating the self position and the positional information. There is a mode in which position image feature amount registration processing is performed to register an image feature amount.
  • position image feature amount registration processing block 211 configured to execute position image feature amount registration processing
  • self position estimation processing block 212 for executing self position estimation processing. It consists of
  • the position image feature amount registration processing block 211 includes a depth image generation unit 220, a time series information self position estimation unit 221, a time series information DB 222, a feature amount extraction unit 223, a non-feature area mask generation unit 227, and a location related non-feature portion DB 228. , Position image feature amount registration unit 229, and position position conversion unit 230.
  • the self-position estimation processing block 212 includes a depth image generation unit 220, a time-series information self-position estimation unit 221, a time-series information DB 222, a feature quantity extraction unit 223, and a current information self-position estimation unit 224.
  • the time-series information self-position estimation unit 221 stores time-series information, such as three-dimensional point group data representing the position of the own position and surrounding obstacles, supplied from the LIDAR 201 and the wheel encoder 202 in the time-series information DB 222 Do. Further, the time-series information self-position estimating unit 221 reads out time-series information from the past to the present as necessary from the time-series information DB 222, and estimates the self-position based on the read time-series information to the present , And supplies the result to the self position estimation result integration unit 226.
  • time-series information such as three-dimensional point group data representing the position of the own position and surrounding obstacles
  • time-series information self-position estimation unit 2221 As to a specific method of self-position estimation using SLAM (Simultaneous Localization and Mapping) by the time-series information self-position estimation unit 221, “self-position estimation and environment recognition of mobile robot using extended Kalman filter” Yusuke Morimoto Toru, Shoichigawa, "Simultaneous Localisation and Mapping (SLAM): Part I The Essential Algorithms Hugh Durrant-Whyte, Fellow, IEEE, and Tim Bailey", and “Simultaneous Localization and Mapping (SLAM): Part II State of the Art Tim” See Bailey and Hugh Durrant-Whyte.
  • the self-position estimated based on the time-series information by the time-series information self-position estimating unit 221 is referred to as time-series information self-position.
  • the depth image generation unit 220 generates a depth image (distance image) based on the parallax image supplied from the stereo camera 203, and outputs the depth image to the feature amount extraction unit 223 and the non-feature region mask generation unit 227.
  • the feature quantity extraction unit 223 extracts an image feature quantity from the depth image supplied from the depth image generation unit 220 in the self position estimation process, and the current information self position estimation unit 224 and the position image feature quantity registration unit 229 Output to
  • the feature amount extraction unit 223 extracts an image feature amount from the depth image supplied by the non-feature region mask generation unit 227 and partially masked by the non-feature region mask.
  • the current information self position estimation unit 224 and the position image feature amount registration unit 229 are output.
  • the current information self-position estimating unit 224 estimates the self-position based on the information on the position corresponding to the extracted feature amount from the position image feature amount DB 225 in which the position and the image feature amount are stored in association with each other. The result is supplied to the self position estimation result integration unit 226. Note that the current position of the current information self position estimation unit 224 based on the current information is referred to as the current information self position.
  • the self-position estimation result integration unit 226 trusts the time-series information self-position and the current information self-position according to the conditions of, for example, the LIDAR 201, the wheel encoder 202, and the stereo camera 203. It integrates according to the degree etc., and outputs it to the situation recognition part 152 as a self-position estimation result.
  • the self-position estimation result integration unit 226 associates the information of the obtained position with the image feature of the depth image detected at that timing, and registers the information in the position-image feature DB 225. That is, by registering the feature amount of the depth image at that timing in association with the position estimated as the self position, the image feature amount of the corresponding depth image must surely exist for the position that has passed once. Therefore, it is possible to estimate the self position with high accuracy.
  • the non-feature region mask generation unit 227 determines the location and the location-related non-feature based on the location specified by the time-series information self-position supplied from the time-series information self-position estimation unit 221 in the position image feature quantity registration process. And the location related non-feature portion registered in association with each other from the location related non-feature portion DB 228 registered in association with each other.
  • the position / place conversion unit 230 stores a database in which position information and a place are associated with each other and stored, and by reading out information of the corresponding place based on the time-series information self-position, Sequence information position information is converted into location information and output.
  • position information of the latitude and longitude specified by the time-series information self position is associated with the room number of the floor number of the corresponding building, a corridor, a road, etc. as location information. Is stored.
  • the position / place conversion unit 230 converts the time-series information self-position supplied from the time-series information self-position estimation unit 221 into the information of the corresponding place and outputs the information to the non-feature area mask generation unit 227.
  • the non-feature region mask generation unit 227 responds by the location-related non-feature portion DB 228 in which the location and the location-related non-feature portion are associated and registered based on the information of the location supplied from the position-location conversion unit 230 Read out the location related non-features that have been registered.
  • the non-feature area mask generation unit 227 generates a non-feature area mask based on the read location-related non-feature portion
  • the depth image generation unit 220 generates a depth image generated from the stereo image of the stereo camera 203.
  • a non-feature region mask is added and output to the feature amount extraction unit 223.
  • a place-related non-feature portion registered in association with a place is defined by a table registered in advance in association with the place. It is information for specifying a range in which many feature quantities that are not useful for distinction from other positions in the depth image used to specify the position. That is, as shown in FIG. 2, in the corridors and the like in the office building, the illumination of the ceiling is often detected as a feature value, but since the structure is often the same on multiple floors, the features of the illumination of the ceiling If the quantity is used, it is difficult to identify which floor is the floor, and false detection is likely to occur.
  • the range of the ceiling is taken as the location-related non-feature.
  • location-related non-features in buildings. The above is an example, and the location-related non-features are not limited to the above.
  • the range excluding the ceiling is the other information to estimate the current information self-position in the depth image.
  • the ceiling is regarded as a location-related non-feature because there are many feature quantities that are useful for the distinction from the position of.
  • the south facing wall and the range excluding the floor are specified as places, and the range excluding the floor is another one for estimating the current information self position in the depth image.
  • the south facing wall and the floor are considered as location-related non-features because there are many feature quantities that are useful for distinguishing from location.
  • the non-feature area mask generation unit 227 generates a non-feature area mask for each place based on the information of the place-related non-feature part, adds it to the depth image supplied from the depth image generation unit 220, and It supplies to the quantity extraction part 223.
  • the non-feature area mask generation unit 227 In the depth image used to identify the self position, the ceiling portion is location-related non-feature which includes a feature amount which is not useful in many features, in other words, which is not useful to distinguish from other positions.
  • the depth image is set to a portion and the depth image to which the non-feature region mask is added is supplied to the feature amount extraction unit 223.
  • the non-feature area mask generation unit 227 South-facing walls and floor sections that do not have many useful features within the depth image used to locate locations, in other words, features that are not useful to distinguish them from other locations Is set as the location-related non-feature portion, and the depth image to which the non-feature region mask is added is supplied to the feature amount extraction unit 223.
  • the position image feature amount registration unit 229 associates the information of the image feature amount supplied from the feature amount extraction unit 223 with the time-series information self-position estimation result in the position image feature amount DB 225 in the position image feature amount registration process. sign up.
  • the feature amount extraction unit 223 extracts an image feature amount from the range where the non-feature area mask is not added in the depth image based on the supplied depth image. Extract.
  • a range including many image feature quantities not useful for distinction from other positions is masked to extract image feature quantities, and many image features useful for distinction from other positions. Since the amount is generated, it is possible to suppress the occurrence of false detection.
  • the place-related non-feature part registered in the place-related non-feature part DB 228 may be other than the conditions shown in the left part of FIG.
  • it may be a place specified by the range of latitude ⁇ x and longitude ⁇ y.
  • the radio wave intensity from the wireless access point XXX may be Y or less as a place satisfying some condition such as a place.
  • the right part may be any information and data format that allows a computer to designate a place where a mask can be generated in the depth image.
  • it may be a predetermined plane direction (for example, either parallel to the gravity direction or perpendicular to the gravity direction).
  • it may be a range of south facing wall.
  • step S11 the time-series information self-position estimation unit 221 executes time-series information self-position estimation processing to estimate time-series information self-position and outputs the result to the self-position estimation result integration unit 226.
  • the time-series information self-position estimation process will be described later with reference to the flowchart of FIG. 7.
  • step S12 the current information self position estimation unit 224 executes a current information self position estimation process to estimate the current information self position, and outputs the current information self position estimation result to the self position estimation result integration unit 226.
  • the current information self-position estimation process will be described later with reference to the flowchart of FIG.
  • step S13 the self-position estimation result integration unit 226 integrates the time-series information self-location and the current information self-location using, for example, a Kalman filter or a particle filter, and uses the integrated self-location information as a self-location estimation result situation recognition unit Output to 152.
  • step S14 the self position estimation result integration unit 226 associates the self position estimation result with the feature amount of the depth image obtained from the parallax image which is the current information used to specify the self position estimation result. Are registered in the position image feature amount DB 225.
  • step S15 the situation recognition unit 152 recognizes the situation of the mobile object and the situation around the mobile object based on the self position estimation result, and outputs the recognition result to the action plan processing unit 122.
  • step S16 the route planning unit 161 of the action plan processing unit 122 plans a route to the destination, and outputs the route to the action planning unit 162.
  • step S17 the action planning unit 162 plans an action based on the route to the destination, and outputs it as an action plan to the action planning unit 163.
  • step S18 the action planning unit 163 plans an action based on the action plan supplied from the action planning unit 162, and outputs the action plan to the action control processing unit 123.
  • step S19 the behavior control processing unit 123 controls the behavior of the moving body 11 by controlling the behavior of each actuator 23a of the actuator group 113 based on the motion plan.
  • step S20 it is determined whether or not end is instructed. If it is determined that the end is not instructed, the process returns to step S11. That is, the process of steps S11 to S20 is repeated until the end is instructed, and the mobile object 11 continues the autonomous movement.
  • step S20 the autonomous movement control process is terminated.
  • the position estimated as the self position and the feature amount of the depth image obtained from the parallax image which is current information used to specify the position are associated with each other and registered in the position image feature amount DB 225 Ru.
  • the feature amount obtained from the depth image obtained from the parallax image which is the current information corresponding to the position once passed is associated with the position and accumulated as new information.
  • time-series information self-position and the current information self-position are sequentially determined by the above processing, and the mutually integrated positions are output as the self-position estimation result, and the moving object 11 is calculated based on the self-position estimation result.
  • the autonomous movement of is controlled.
  • step S31 the LIDAR 201 detects the distance to an object around the moving object 11 as three-dimensional point group data, and the time-series information self-position estimation unit 221 of the self-position estimation unit 132 via the detection unit 131 Output as series information.
  • step S32 the wheel encoder 202 detects the position information, attitude, velocity, acceleration, and angular velocity of the moving object 11, and outputs it as time-series information to the time-series information self-position estimating unit 221 via the detecting unit 131. .
  • step S33 the time-series information self-position estimation unit 221 acquires the latest time-series information, and registers the latest time-series information in the time-series information DB 222.
  • step S34 the time-series information self-position estimating unit 221 uses the Kalman filter or the particle filter, for example, to calculate the self-position from the latest time-series information registered in the time-series information DB 222 and the past time-series information. Estimate Then, the time-series information self-position estimation unit 221 outputs the self-position that is the estimation result to the self-position estimation result integration unit 226 as time-series information self-position information.
  • the time series information detected by the LIDAR 201 and the wheel encoder 202 is sequentially detected, sequentially accumulated in the time series information DB 222, accumulated in the time series and accumulated in the time series from the past to the present
  • the self position is estimated based on the time series information, and is output to the self position estimation result integration unit 226 as the time series information self position.
  • step S51 the stereo camera 203 captures a parallax image around the moving object 11, and outputs the parallax image as current information to the depth image generation unit 220 via the detection unit 131.
  • step S52 the depth image generation unit 220 generates a depth image (distance image) based on the parallax image supplied from the stereo camera 203.
  • step S53 the feature amount extraction unit 223 extracts an image feature amount based on the generated depth image.
  • step S54 the current information self-position estimating unit 224 uses the position image feature amount DB 225 in which the position and the image feature amount are stored in association with each other, based on the information of the position corresponding to the extracted image feature amount. Estimate the position. Then, the current information self position estimation unit 224 supplies the self position that is the estimation result as the current information self position to the self position estimation result integration unit 226.
  • a parallax image is captured as current information by the stereo camera 203, a depth image is generated from the parallax image, an image feature of the generated depth image is extracted, and registered in association with the image feature. Based on the position information, the current information self-position is estimated and output to the self-position estimation result integration unit 226.
  • step S71 the stereo camera 203 captures a parallax image around the moving object 11, and outputs the parallax image as current information to the depth image generation unit 220 via the detection unit 131.
  • step S72 the depth image generation unit 220 generates a depth image (distance image) based on the parallax image supplied from the stereo camera 203.
  • step S73 the position location conversion unit 230 acquires the time-series information self-position that is the estimation result of the time-series information self-position estimation unit 221, converts the time-series information self-location to location information corresponding to the time-series information self location, It is output to the area mask generation unit 227.
  • step S74 the non-feature area mask generation unit 227 accesses the location-related non-feature portion DB 228 and reads out the location-related non-feature portion registered in association with the location corresponding to the time-series information self-location. Then, the non-feature area mask generation unit 227 generates a non-feature area mask that masks, in the depth image, a range including many feature quantities that are not useful for specifying the position, based on the location-related non-feature part.
  • step S75 the non-feature area mask generation unit 227 adds the generated non-feature area mask to the depth image, and outputs the result to the feature amount extraction unit 223.
  • step S 76 the feature quantity extraction unit 223 extracts an image feature quantity from the depth image to which the non-feature area mask is added, and outputs the image feature quantity to the position image feature quantity registration unit 229.
  • step S77 the position image feature amount registration unit 229 associates the time-series information self position with the image feature amount and registers the position image feature amount in the position image feature amount DB 225.
  • the image feature amount registered in association with the position is masked in a range including many image feature amounts that are not useful for distinguishing from other positions in the depth image, and the image feature amount is An image feature that is extracted and useful for distinguishing from other positions is generated.
  • the location-related non-feature portion is information of a range in the depth image, which is associated with a location, in which many image feature quantities useful for distinguishing the location are included.
  • place-related non-features are set for all places. Even if not, it is possible to use location-related non-features.
  • each place attribute may be defined, and a table in which each place attribute is associated with a place-related non-feature part may be set.
  • the place-related non-feature portion set for each of the place attributes “other than the sign (other than the sign It is also possible to mask and use the feature amount of the range of the marker) in association with each other.
  • “Tomei Fast” and “Feature points” are set by setting a table in which the place attribute and the place-related non-feature part are associated as shown in the right part of FIG.
  • the location-related non-feature portion is a specific position or direction in the image, as information of a range in the depth image in which many image feature amounts useful for position discrimination are included, which are associated with the location.
  • location-related non-features may be the range of objects displayed on the display that are captured in the image, such as, for example, the range of trees, sunbeams, sky areas, and movements that change over time It is also good.
  • Second embodiment An example has been described in which a location-related non-feature portion is registered in advance in the location-related non-feature portion DB 228 in association with a location, but a self-location is specified in the position image feature DB 225 Since the position and the image feature amount are newly registered each time, the location-related non-feature portion is obtained by using the image feature amount registered in association with the position newly registered in the position image feature amount DB 225. It may be newly generated and registered in the location-related non-feature portion DB 228.
  • FIG. 11 newly generates a place-related non-feature portion using the image feature amount registered in association with the position newly registered in the position image feature amount DB 225, and generates A configuration example of the self-position estimation unit 132 which is caused to register is shown.
  • the same reference numerals are given to configurations having the same functions as the self-position estimation unit 132 of FIG. 4, and the description thereof will be appropriately omitted.
  • the self-position estimation unit 132 in FIG. 11 differs from the self-position estimation unit 132 in FIG. 4 in that a place-related non-feature generation registration unit 241 is newly provided.
  • the place-related non-characteristic part generation registration unit 241 obtains a place corresponding to the position registered in the position image feature amount DB 225 updated whenever the position is specified, and is registered in association with the same place.
  • a plurality of image feature quantities are read out, compared statistically, and a range in which a large number of image feature quantities similar to or more than a predetermined threshold value is extracted as a location-related non-feature portion and associated with a location It registers in department DB228.
  • step S 91 the place-related non-feature portion generation registration unit 241 accesses the position image feature amount DB 225, and reads out a plurality of image feature amounts associated with the same place for the place specified based on the position. .
  • step S 92 the place-related non-feature portion generation registration unit 241 statistically processes a plurality of image feature amounts associated with the same place, and generates an image feature amount that is more similar than a predetermined threshold. A range that includes many is generated as a new location-related non-feature.
  • step S 93 the place-related non-feature portion generation registration unit 241 registers the generated new place-related non-feature portion in the place-related non-feature portion DB 228 in association with the place.
  • the image feature amounts associated with the same place include many image feature amounts similar to a predetermined threshold, that is, As a location-related non-feature portion consisting of a range including an image feature that is not necessary to distinguish between the two is generated, it is possible to minimize the image feature that specifies the same location. It is possible to suppress the occurrence of false detection.
  • the position image feature DB 225 is generated excluding image features that are not necessary to distinguish at the same position, and self-position estimation is performed with high accuracy even in an environment where similar objects exist in the surroundings.
  • the non-feature region feature amount obtained by masking the feature region including the image feature amount not useful for specifying the self position in the depth image A position non-feature area feature value DB registered in association with one another is generated.
  • the self position indeterminate state is obtained, the non-feature region feature obtained from the depth image is determined by the location-related non-feature portion associated with the current information self position, and the estimated current information self position is obtained.
  • the position non-characteristic region feature value DB is generated in advance, and it is determined whether or not the present position self-determination state is released based on whether or not the current information self-position is appropriate in the self position non-determination state.
  • the configuration example of the self position estimation unit 132 is shown.
  • the same reference numerals are given to configurations having the same functions as the configuration of the self position estimation unit 132 of FIG. 11, and the description thereof will be appropriately omitted.
  • the difference from the self-position estimation unit 132 of FIG. 11 is the non-feature region feature extraction unit 251, the self location inspection unit 252, the feature region mask generation unit 253, and the feature extraction A unit 254, a position non-feature region feature registration unit 255, a position non-feature region feature DB 256, and a position location conversion unit 257 (similar to the position location conversion unit 230) are newly provided.
  • the self position indetermination determination unit 271 is provided at 226.
  • the self position indetermination judging unit 271 judges whether or not the self position indeterminate state is reached, for example, immediately after the power is turned on, or the amount of change in the estimation result of the self position in time series. In this case, the operation mode is changed from the normal mode to the self-position indefinite mode, and the self-position estimation result integration unit 226 is controlled to select the current information self-position as the self-position estimation result.
  • the non-feature region feature quantity extraction unit 251 detects the location related non-feature portion DB 228 according to the location information converted by the location location conversion unit 257 based on the current information self location by the location location conversion unit 257 in the self location indefinite mode. Read out more location related non-features. Then, the non-feature area feature quantity extraction unit 251 extracts the feature quantity obtained from the image obtained by masking the feature area from the depth image supplied from the depth image generation unit 220 as the non-feature area feature quantity, and the self-position inspection unit Supply to 252.
  • the self position checking unit 252 accesses the position non-feature region feature amount DB 256 in the self position indefinite mode, and reads out non-feature region feature amounts registered in advance in association with the estimation result of the current information self position. Then, the self-position inspection unit 252 inspects the current information self-position based on the similarity with the non-feature area feature quantity supplied from the non-feature area feature quantity extraction unit 251, and information of the similarity as an inspection result Are output to the self position estimation result integration unit 226.
  • the self-position indetermination determination unit 271 of the self-position estimation result integration unit 226 Return to normal mode.
  • the feature area mask generation unit 253 determines the location and the location-related non-feature based on the location specified by the time-series information self-position supplied from the time-series information self-position estimation unit 221 in the position image feature quantity registration process. Are read out from the location related non-feature portion DB 228 which has been registered in association with each other. Then, the feature area mask generation unit 253 generates a feature area mask based on the read location-related non-features, and the depth image generation unit 220 generates a depth image generated from the stereo image of the stereo camera 203. , And adds a feature region mask to the feature amount extraction unit 254.
  • the feature quantity extraction unit 254 extracts the feature quantity from the depth image to which the feature area mask is added, and outputs the feature quantity as the non-feature area feature quantity to the position non-feature area feature quantity registration unit 255.
  • the position non-feature region feature amount registration unit 255 associates the non-feature region feature amount that is the image feature amount supplied from the feature amount extraction unit 254 with the time-series information self position estimation result And registers it in the position non-feature area feature value DB 256.
  • the location-related non-feature portion registered in association with a location in the location-related non-feature portion DB 228 is pre-registered in advance in association with the location. This is information for specifying a range in which many feature quantities that are not useful for distinction from other positions exist in the depth image used to specify the self position.
  • step S101 the stereo camera 203 captures a parallax image around the moving object 11, and outputs the parallax image as current information to the depth image generation unit 220 via the detection unit 131.
  • step S102 the depth image generation unit 220 generates a depth image (distance image) based on the parallax image supplied from the stereo camera 203.
  • step S103 the position / place conversion unit 230 acquires time-series information self-position, which is the estimation result of the time-series information self-position estimation unit 221, converts the time-series information self-position into location information corresponding to the time-series information self position.
  • the feature area mask generation unit 227 and the feature area mask generation unit 253 are supplied.
  • step S104 the non-feature region mask generation unit 227 accesses the location-related non-feature portion DB 228, reads out the location-related non-feature portion registered in association with the location, and is useful for specifying the position in the depth image.
  • a non-feature area mask is generated which masks a range including many non-feature quantities.
  • step S105 the non-feature area mask generation unit 227 adds the generated non-feature area mask to the depth image, and outputs the result to the feature amount extraction unit 223.
  • step S106 the feature quantity extraction unit 223 extracts an image feature quantity from the depth image to which the non-feature area mask is added, and outputs the image feature quantity to the position image feature quantity registration unit 229.
  • step S107 the position image feature amount registration unit 229 associates the estimation result of the time-series information self position with the image feature amount and registers the result in the position image feature amount DB 225.
  • step S108 the feature region mask generation unit 253 accesses the location-related non-feature portion DB 228, and reads out the location-related non-feature portion registered in association with each other based on the time-series information self-location.
  • a feature area mask is generated that masks a range including many feature quantities that are not useful for specifying the position.
  • step S109 the feature region mask generation unit 253 adds the generated feature region mask to the depth image, and outputs the result to the feature amount extraction unit 254.
  • step S110 the feature quantity extraction unit 254 extracts an image feature quantity from the depth image to which the feature area mask is added, and outputs the image feature quantity to the position non-feature area feature quantity registration unit 255 as a non-feature area feature quantity.
  • step S111 the position non-feature area feature quantity registration unit 255 associates the estimation result of the time-series information self position with the non-feature area feature quantity, and registers it in the position non-feature area feature quantity DB 256.
  • the image feature amount registered in association with the position is masked in a range including many image feature amounts that are not useful for distinguishing from other positions in the depth image, and the image feature amount is While many image feature quantities that are extracted and useful for distinction from other locations are generated, non-feature region feature quantities registered in association with the location are further compared with other locations in the depth image.
  • a range in which many image feature quantities useful for distinction are included is masked and extracted as non-feature area feature quantities, and many non-feature area feature quantities that are not useful for distinction from other positions are associated with positions, and position non-feature areas are extracted.
  • a feature region feature amount DB 256 is generated.
  • step S121 the time-series information self-position estimation unit 221 executes time-series information self-position estimation processing to estimate time-series information self-position and outputs the result to the self-position estimation result integration unit 226.
  • the time-series information self-position estimation process is the same process as the process described with reference to the flowchart of FIG. 7, and thus the description thereof is omitted.
  • step S122 the current information self position estimation unit 224 executes a current information self position estimation process to estimate the current information self position, and outputs the current information self position estimation result to the self position estimation result integration unit 226.
  • the current information self-position estimation process is the same process as the process described with reference to the flowchart of FIG. 8, and thus the description thereof is omitted.
  • step S123 the self-position estimation result integration unit 226 integrates the time-series information self-location and the current information self-location using, for example, a Kalman filter or a particle filter, and uses the integrated self-location information as a self-location estimation result situation recognition unit Output to 152.
  • step S124 the self-position indetermination determining unit 271 determines whether or not the self-position indeterminate state is in effect. For example, the self-position indetermination determining unit 271 determines the self-position based on, for example, whether or not the amount of change in the self-position estimation result up to that point is larger than a predetermined value It is determined whether or not it is in an undefined state.
  • step S124 If it is determined in step S124 that the self-position indeterminate state is not set, the process proceeds to step S125.
  • step S125 the self-position estimation result integration unit 226 associates the self-position estimation result with the feature amount of the depth image obtained from the parallax image which is the current information used to specify the self-position estimation result. Are registered in the position image feature amount DB 225.
  • step S126 the situation recognition unit 152 recognizes the situation of the mobile object and the situation around the mobile object based on the self position estimation result, and outputs the recognition result to the action plan processing unit 122.
  • step S127 the route planning unit 161 of the action plan processing unit 122 plans a route to the destination and outputs the route to the action planning unit 162.
  • step S128 the action planning unit 162 plans an action based on the route to the destination, and outputs it as an action plan to the action planning unit 163.
  • step S129 the action planning unit 163 plans an action based on the action plan supplied from the action planning unit 162, and outputs the action plan to the action control processing unit 123.
  • step S130 the action control processing unit 123 controls the action of each of the movable bodies 11 by controlling the action of each actuator 23a of the actuator group 113 based on the action plan.
  • step S131 it is determined whether or not end is instructed. If it is determined that the end is not instructed, the process returns to step S121. That is, the process of steps S121 to S131, that is, the process in the case where the operation state is the normal mode is repeated unless the self position indeterminate state is reached, and the moving object 11 continues the autonomous movement.
  • step S124 determines whether the self-position indeterminate state is in effect. If it is determined in step S124 that the self-position indeterminate state is in effect, the process proceeds to step S132.
  • step S132 the self position indetermination judging unit 271 switches the operation mode to the self position indeterminate mode to execute the self position indeterminate mode process and performs control so as to realize the autonomous movement control process by the current information self position. Then, the processing of the self-location indefinite mode is continued until the current information self-location can be appropriately estimated, and when the appropriate current information self-location can be estimated, the operation mode is changed from the self-location indefinite mode. It returns to the normal mode (processing of steps S121 to S131).
  • step S 151 the current information self position estimation unit 224 executes the current information self position estimation process to estimate the current information self position, and outputs the current information self position estimation result to the self position estimation result integration unit 226 and the position location conversion unit 257.
  • the current information self-position estimation process is the same process as the process described with reference to the flowchart of FIG. 8, and thus the description thereof is omitted.
  • step S152 the position / place conversion unit 257 reads out the information of the place registered in association with the current information self-position, and outputs the information to the non-feature region feature quantity extraction unit 251.
  • step S153 the non-feature region feature quantity extraction unit 251 accesses the location-related non-feature portion DB 228, and extracts the location-related non-feature portion registered in association with the location corresponding to the current information self-location.
  • step S154 the non-feature region feature quantity extraction unit 251 masks the feature region with respect to the depth image based on the location-related non-feature portion registered in association with the location according to the current information self-location. Image feature quantities are extracted and output to the self-position checking unit 252 as non-feature area feature quantities.
  • step S155 the self-position inspection unit 252 accesses the position non-feature area feature quantity DB 256 and reads out non-feature area feature quantities registered in association with the current information self-position estimation result.
  • step S156 the self-position checking unit 252 calculates the similarity between the non-feature area feature registered in association with the current information self-position estimation result and the non-feature area feature extracted from the depth image. .
  • step S157 the self-position checking unit 252 determines whether the current information self-position is determined with a predetermined accuracy, based on whether the similarity is higher than a predetermined threshold. That is, if the current information self-location is determined with sufficient accuracy, the two will match, so the similarity should be higher than a predetermined threshold, but the current information self-location is determined with sufficient accuracy If not, the two do not match, and the similarity is lower than a predetermined threshold. For example, if it is determined that the degree of similarity is lower than a predetermined threshold and the accuracy of the current information self-position is not sufficient, the process proceeds to step S158.
  • step S158 the self position estimation result integration unit 226 outputs the current information self position to the situation recognition unit 152 as a self position estimation result.
  • step S159 the situation recognition unit 152 recognizes the situation of the mobile object and the situation around the mobile object based on the self position estimation result, and outputs the recognition result to the action plan processing unit 122.
  • step S160 the route planning unit 161 of the action plan processing unit 122 plans a route to the destination and outputs the route to the action planning unit 162.
  • step S161 the action planning unit 162 plans an action based on the route to the destination, and outputs the plan as an action plan to the action planning unit 163.
  • step S162 the action planning unit 163 plans an action based on the action plan supplied from the action planning unit 162, and outputs the action plan to the action control processing unit 123.
  • step S163 the behavior control processing unit 123 controls the behavior of the movable body 11 by controlling the behavior of each actuator 23a of the actuator group 113 based on the operation plan.
  • step S164 it is determined whether or not end is instructed. If it is determined that the end is not instructed, the process returns to step S151. That is, until the end is instructed, the processes of steps S151 to S164 are repeated, and the mobile object 11 continues the autonomous movement based on the current information self-position in the self-position indeterminate mode.
  • step S164 the autonomous movement control process is terminated. That is, in this case, the autonomous movement control process ends in the self position indefinite mode.
  • step S157 a location-related non-feature portion where the non-feature region feature value obtained in advance by the current information self-position estimation result is obtained corresponding to the current information self-position, in which the similarity is higher than a predetermined threshold. Based on the above, when the non-feature region feature obtained from the depth image matches, it can be considered that the current information self-position is equal to or more than the predetermined accuracy. Therefore, the process returns to step S131 in FIG. 15, the operation mode returns from the self-position indeterminate mode to the normal mode, and the subsequent processes are repeated.
  • the time-series information self-position can not acquire an absolute position, it is necessary to acquire an absolute position once by the current information self-position once in the case where the self-position is in an indefinite state. Therefore, in the case where the self-position is in an indefinite state by the above processing, the current information self-position is used as a self-position estimation result until the current information self-position can obtain an absolute position with predetermined accuracy. Then, the self-position is estimated by combining the time-series information self-position from the timing after the self-position estimation result has reached a certain degree of accuracy.
  • the depth image generation unit 220 generates a depth image from the stereo image captured by the stereo camera 203, and generates a depth-related non-feature portion for the depth image.
  • the current information self-position is estimated by reading out the position information registered in association from the position image feature amount DB 225 by extracting the image feature amount after applying the mask according to the above.
  • the current information self-position may be estimated by using three-dimensional point group data using LIDAR as a three-dimensional image.
  • a two-dimensional image and a ToF (Time of Flight) sensor may be combined to generate a depth image and estimate the current information self-position.
  • FIG. 17 shows a configuration example of a general-purpose computer.
  • This personal computer incorporates a CPU (Central Processing Unit) 1001.
  • An input / output interface 1005 is connected to the CPU 1001 via the bus 1004.
  • a ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004.
  • the input / output interface 1005 includes an input unit 1006 including an input device such as a keyboard and a mouse through which the user inputs an operation command, an output unit 1007 for outputting a processing operation screen and an image of a processing result to a display device, programs and various data.
  • a storage unit 1008 including a hard disk drive to be stored, a LAN (Local Area Network) adapter, and the like are connected to a communication unit 1009 that executes communication processing via a network represented by the Internet.
  • a magnetic disc including a flexible disc
  • an optical disc including a compact disc-read only memory (CD-ROM), a digital versatile disc (DVD)
  • a magneto-optical disc including a mini disc (MD)
  • a semiconductor A drive 1010 for reading and writing data to a removable medium 1011 such as a memory is connected.
  • the CPU 1001 reads a program stored in the ROM 1002 or a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, is installed in the storage unit 1008, and is loaded from the storage unit 1008 to the RAM 1003. Execute various processes according to the program.
  • the RAM 1003 also stores data necessary for the CPU 1001 to execute various processes.
  • the CPU 1001 loads the program stored in the storage unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004, and executes the program. Processing is performed.
  • the program executed by the computer (CPU 1001) can be provided by being recorded on, for example, a removable medium 1011 as a package medium or the like. Also, the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 1008 via the input / output interface 1005 by mounting the removable media 1011 in the drive 1010.
  • the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008.
  • the program can be installed in advance in the ROM 1002 or the storage unit 1008.
  • the program executed by the computer may be a program that performs processing in chronological order according to the order described in this specification, in parallel, or when necessary, such as when a call is made. It may be a program to be processed.
  • the CPU 1001 in FIG. 17 realizes the function of the autonomous movement control unit 110 in FIG. 3.
  • the storage unit 1008 in FIG. 17 implements the storage unit 109 in FIG.
  • a system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same case. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. .
  • the present disclosure can have a cloud computing configuration in which one function is shared and processed by a plurality of devices via a network.
  • each step described in the above-described flowchart can be executed by one device or in a shared manner by a plurality of devices.
  • the plurality of processes included in one step can be executed by being shared by a plurality of devices in addition to being executed by one device.
  • the present disclosure can also have the following configurations.
  • a self position estimation unit that estimates self position, An imaging unit that captures an image of the surroundings;
  • a first mask generation unit that generates a mask in the surrounding image based on location-related non-features that represent a range that is not useful for identifying the self position in the surrounding image;
  • a first feature amount extraction unit that extracts an image feature amount from the surrounding image masked by the first mask generation unit;
  • a control unit comprising: a registration unit that associates the image feature amount with position information of a self position estimated by the self position estimation unit and registers them as a database.
  • the first mask generation unit is configured to, based on a location-related non-feature portion representing a range that is not useful for specifying the self position in the surrounding image, according to the location corresponding to the self position.
  • the control device according to ⁇ 1>, wherein a mask is generated in a non-feature area that is a range that is not useful for identifying the self position in the surrounding image.
  • the method further includes a location-related non-feature database that registers the location-related non-features in association with the location; The first mask generation unit associates the first image with the surrounding image based on the location-related non-feature portion registered in the location-related non-feature portion database in association with the location corresponding to the self-location.
  • the control device according to ⁇ 2>, wherein a mask is generated in a non-feature area that is a range that is not useful for specifying a position.
  • the first feature quantity extraction unit extracts an image feature quantity from the surrounding image captured by the imaging unit,
  • the control according to any one of ⁇ 1> to ⁇ 3>, further including a current information self-position estimation unit configured to estimate, as the current information self-position, the position information registered in association with the image feature amount in the database. apparatus.
  • the system further includes an integration unit that integrates the current information self position estimated by the current information self position estimation unit and the self position estimated by the self position estimation unit and outputs the result as a self position estimation result,
  • the control device according to ⁇ 4>, wherein the integration unit registers the self position estimation result and the image feature amount extracted by the first feature amount extraction unit in association with each other.
  • a location-related non-feature portion database for registering the location-related non-feature portion in association with a location corresponding to the self-location; In the plurality of image feature quantities at the same place specified based on the position registered in the database, a statistically similar range is associated with the same place, and the new place-related non-feature part
  • the control device further including: a place-related non-feature part generation registration unit that generates and registers the place-related non-feature part database as the DTV database.
  • a feature region that is a range that is not useful for locating the self position in the surrounding image based on a location-related non-feature portion that represents a range that is not useful for locating the self position in the surrounding image A second mask generation unit that generates a mask; A second feature amount extraction unit that extracts an image feature amount as a non-feature region feature amount from the surrounding image masked by the second mask generation unit; A position non-feature region feature database registration unit for correlating the non-feature region feature and the position information of the self location estimated by the self location estimation unit and registering the non-feature region feature in the position non-feature region feature database; A non-feature area feature quantity extraction section which extracts a non-feature area feature quantity from the surrounding image based on a location-related non-feature area of a location corresponding to the current information self-location; The non-feature area feature quantity extracted by the non-feature area feature quantity extraction unit, and the non-feature area feature quantity registered in the position non-feature area feature quantity database in association with the current information self position.
  • the integration unit When in the self-position indefinite state, the integration unit outputs the current information self-position as a self-position estimation result,
  • the inspection unit is configured to register the non-feature area feature quantity extracted by the non-feature area feature quantity extraction unit and the non-feature area feature quantity database corresponding to the current information self position.
  • the current information self-location is inspected according to the similarity with the feature area feature value, If the degree of similarity is lower than a predetermined threshold value, it is considered that the self-position indefinite state, and the integration unit outputs the current information self-position as a self-position estimation result.
  • the integration unit estimates the current information self-position estimated by the current information self-position estimating unit, and the self-position estimation.
  • the control device ⁇ 7>, integrating the self position estimated by the unit and outputting the result as a self position estimation result.
  • the place-related non-feature portion includes a table of a place corresponding to the self position and a place-related non-feature portion.
  • the location-related non-feature portion is configured of a location corresponding to the self-location and a table of location attributes abstracted from the location, and a table of the location attribute and the location-related non-feature portion
  • the control device according to ⁇ 9>.
  • the imaging unit is a stereo camera
  • the surrounding image captured by the stereo camera is a stereo image
  • a depth image generation unit that generates a depth image based on the stereo image.
  • the first mask generation unit generates the depth image based on a location-related non-feature portion representing a range that is not useful for specifying the self position in the surrounding image according to the location corresponding to the self position.
  • the control apparatus according to any one of ⁇ 1> to ⁇ 10>, wherein the first feature quantity extraction unit extracts an image feature quantity from the masked surrounding image that is composed of the depth image.
  • the self-position estimation unit ⁇ 1> to ⁇ 11 including a time-series information self-position estimation unit that estimates the self-location using time-series information including sensor information supplied in time-series and outputs an estimation result as time-series information self-location
  • the controller according to any one of>.
  • the time series information includes three-dimensional point group data detected by LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), and position information detected by a wheel encoder, attitude, velocity, acceleration, and angular velocity.
  • LIDAR Light Detection and Ranging, Laser Imaging Detection and Ranging
  • position information detected by a wheel encoder attitude, velocity, acceleration, and angular velocity.
  • Self-position estimation processing for estimating self-position;
  • An imaging process for capturing an image of the surroundings,
  • a first mask generation process for generating a mask in the surrounding image based on location related non-features representing a range that is not useful for identifying the self position in the surrounding image;
  • First feature amount extraction processing for extracting an image feature amount from the surrounding image masked by the first mask generation processing;
  • a control method comprising: registration processing for correlating the image feature amount and position information of a self position estimated by the self position estimation processing and registering it as a database.
  • a self position estimation unit that estimates self position, An imaging unit that captures an image of the surroundings; A first mask generation unit that generates a mask in the surrounding image based on location-related non-features that represent a range that is not useful for identifying the self position in the surrounding image; A first feature amount extraction unit that extracts an image feature amount from the surrounding image masked by the first mask generation unit; A program that causes a computer to function as a registration unit that associates the image feature quantity with position information of a self position estimated by the self position estimation unit and registers them as a database.
  • a self position estimation unit that estimates self position, An imaging unit that captures an image of the surroundings; A first mask generation unit that generates a mask in the surrounding image based on location-related non-features that represent a range that is not useful for identifying the self position in the surrounding image; A first feature amount extraction unit that extracts an image feature amount from the surrounding image masked by the first mask generation unit; A registration unit that registers the image feature quantity and position information of the self position estimated by the self position estimation unit in association with each other as a database.
  • a self position estimation unit for estimating a self position An imaging unit that captures an image of the surroundings; A mask generation unit that generates a mask in the surrounding image based on location related non-features that represent a range that is not useful for identifying the self position in the surrounding image; A feature amount extraction unit that extracts an image feature amount from the surrounding image masked by the mask generation unit; A registration unit that registers the image feature amount and position information of the self position estimated by the self position estimation unit in association with each other as a database; And a current information self-position estimation unit for estimating the current information self-position based on the database.
  • the feature amount extraction unit extracts the image feature amount from the surrounding image captured by the imaging unit,
  • the control apparatus according to claim 1, wherein the current information self position estimation unit estimates, as the current information self position, the position information registered in the database in association with the image feature amount extracted by the feature amount extraction unit.
  • Self-position estimation processing for estimating self-position;
  • An imaging process for capturing an image of the surroundings,
  • a mask generation process for generating a mask in the surrounding image based on location related non-features representing a range not useful for identifying the self position in the surrounding image;
  • Feature amount extraction processing for extracting an image feature amount from the surrounding image masked by the mask generation processing;
  • Registration processing for correlating the image feature quantity with position information of a self position estimated by the self position estimation processing;
  • Further including current information self-position estimation processing for estimating current information self-position based on the database;
  • the feature amount extraction process extracts the image feature amount from the surrounding image captured by the imaging process,
  • the current information self-position estimation process estimates, as the current information self-position, the position information registered in the database in association with the image feature quantity extracted by the feature quantity extraction process.
  • a self position estimation unit that estimates self position, An imaging unit that captures an image of the surroundings; A mask generation unit that generates a mask in the surrounding image based on location related non-features that represent a range that is not useful for identifying the self position in the surrounding image; A feature amount extraction unit that extracts an image feature amount from the surrounding image masked by the mask generation unit; A registration unit which associates the image feature quantity with position information of the self position estimated by the self position estimation unit, and registers them in a database; Causing a computer to function as a current information self-position estimation unit for estimating current information self-location based on the database; In the case of estimating the current information self position, The feature amount extraction unit extracts the image feature amount from the surrounding image captured by the imaging unit, The present information self position estimation unit estimates, as the current information self position, the position information registered in the database in association with the image feature amount extracted by the feature amount extraction unit.
  • a self position estimation unit for estimating a self position An imaging unit that captures an image of the surroundings; A mask generation unit that generates a mask in the surrounding image based on location related non-features that represent a range that is not useful for identifying the self position in the surrounding image; A feature amount extraction unit that extracts an image feature amount from the surrounding image masked by the mask generation unit; A registration unit that registers the image feature amount and position information of the self position estimated by the self position estimation unit in association with each other as a database; And a current information self-position estimation unit for estimating the current information self-position based on the database.
  • the feature amount extraction unit extracts the image feature amount from the surrounding image captured by the imaging unit
  • the current information self position estimation unit estimates, as the current information self position, the position information registered in the database in association with the image feature amount extracted by the feature amount extraction unit.

Abstract

本開示は、異なる位置であるにも関わらず周囲に類似した特徴量が多く存在することにより、同一の位置と誤検出され易い環境であっても、区別して高精度に自己位置を推定することができるようにする制御装置、および制御方法、プログラム、並びに移動体に関する。 自己位置に対応する場所に応じて、周囲の画像において自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、マスクされた周囲の画像より、画像特徴量を抽出し、画像特徴量と、自己位置の位置情報とを対応付けて位置画像特徴量DB（データベース）に登録する。搭載された計算機に従い自律的に移動する多足ロボット、飛翔体、車載システムに適用することができる。

Description

制御装置、および制御方法、プログラム、並びに移動体
　本開示は、制御装置、および制御方法、プログラム、並びに移動体に関し、特に、自己位置を高精度に推定できるようにした制御装置、および制御方法、プログラム、並びに移動体に関する。
　周辺の画像を撮像し、撮像した画像内の特徴量から自己位置や姿勢を推定する技術がある。
　例えば、前方視野の案内表示などの特徴物と、記憶している画像との照合により前方特徴物を検出することで自己位置を認識して、走行を支援する技術が提案されている（特許文献１参照）。
　また、視線方向に対するテンプレート画像と撮像画像との照合から、ロボットや対象物体の位置・姿勢データを推定する技術が提案されている（特許文献２参照）。
　さらに、画像の特徴点とランドマーク情報とのパターン認識により特徴点を選出し、特徴点の個数でランドマーク候補を作り、位置を推定する技術が提案されている（特許文献３参照）。
特開２０１４－０１２０１１号公報 特開２０１２－１８５７５２号公報 特開２０１０－０３３４４７号公報
　しかしながら、特許文献１乃至３のいずれにおいても、異なる位置であっても、周囲に類似した物体が多数存在し、検出される特徴量の多くが類似している環境においては、一致する特徴量が多く検出されることにより同一の位置として誤検出されることがあった。
　本開示は、このような状況に鑑みてなされたものであり、特に、異なる位置であるにも関わらず周囲に類似した特徴量が多く存在することにより、同一の位置と誤検出され易い環境であっても、区別して高精度に自己位置を推定できるようにするものである。
　本開示の第１の側面の制御装置は、自己位置を推定する自己位置推定部と、周囲の画像を撮像する撮像部と、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成部と、第１のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出部と、前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部とを含む制御装置である。
　前記第１のマスク生成部には、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成させるようにすることができる。
　前記場所に対応付けて、前記場所関連非特徴部を登録する場所関連非特徴部データベースをさらに含ませるようにすることができ、前記第１のマスク生成部には、前記自己位置に対応する場所に対応付けて、前記場所関連非特徴部データベースに登録された前記場所関連非特徴部に基づいて、前記周囲の画像にいて前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成させるようにすることができる。
　前記第１の特徴量抽出部には、前記撮像部により撮像された前記周囲の画像より、画像特徴量を抽出させ、前記データベースにおいて、前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する現在情報自己位置推定部をさらに含ませるようにすることができる。
　前記現在情報自己位置推定部により推定された現在情報自己位置と、前記自己位置推定部により推定された自己位置とを統合し、自己位置推定結果として出力する統合部をさらに含ませるようにすることができ、前記統合部には、前記自己位置推定結果と、前記第１の特徴量抽出部により抽出された画像特徴量とを対応付けて、前記データベースに登録させるようにすることができる。
　前記自己位置に対応する場所に対応付けて、前記場所関連非特徴部を登録する場所関連非特徴部データベースと、前記データベースに登録された位置に基づいて特定される同一の場所における複数の前記画像特徴量において、統計的に類似する範囲を、前記同一の場所に対応付けて、新規の前記場所関連非特徴部として生成し、前記場所関連非特徴部データベースに登録する場所関連非特徴部生成登録部をさらに含ませるようにすることができる。
　前記周囲の画像において自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である特徴領域にマスクを生成する第２のマスク生成部と、前記第２のマスク生成部によりマスクされた前記周囲の画像より画像特徴量を非特徴領域特徴量として抽出する第２の特徴量抽出部と、前記非特徴領域特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けて位置非特徴領域特徴量データベースに登録する位置非特徴領域特徴量データベース登録部と、前記現在情報自己位置に対応する場所の場所関連非特徴部に基づいて、前記周囲の画像に対して、非特徴領域特徴量を抽出する非特徴領域特徴量抽出部と、前記非特徴領域特徴量抽出部により抽出された前記非特徴領域特徴量と、前記現在情報自己位置に対応付けて、前記位置非特徴領域特徴量データベースに登録されている前記非特徴領域特徴量との類似度により、前記現在情報自己位置を検査する検査部とをさらに含ませるようにすることができる。
　前記統合部より出力される自己位置推定結果の時系列の変化量に基づいて、または、電源投入の有無により、自己位置不定状態であるか否かを判定する自己位置不定状態判定部をさらに含ませるようにすることができ、前記自己位置不定状態である場合、前記統合部には、前記現在情報自己位置を自己位置推定結果として出力させ、前記検査部には、前記非特徴領域特徴量抽出部により抽出された前記非特徴領域特徴量と、前記現在情報自己位置に対応して、前記位置非特徴領域特徴量データベースに登録されている前記非特徴領域特徴量との類似度により、前記現在情報自己位置を検査させ、前記類似度が所定の閾値よりも低い場合、前記自己位置不定状態であるものとみなし、前記統合部には、前記現在情報自己位置を自己位置推定結果として出力させ、前記類似度が所定の閾値よりも高い場合、前記自己位置不定状態が解消したものとみなし、前記統合部には、前記現在情報自己位置推定部により推定された現在情報自己位置と、前記自己位置推定部により推定された自己位置とを統合し、自己位置推定結果として出力させるようにすることができる。
　前記場所関連非特徴部は、前記自己位置に対応する場所と、場所関連非特徴部とのテーブルより構成されるようにすることができる。
　前記場所関連非特徴部は、前記自己位置に対応する場所と、前記場所を抽象化した場所属性とのテーブル、および、前記場所属性と、前記場所関連非特徴部とのテーブルより構成されるようにすることができる。
　前記撮像部は、ステレオカメラであり、前記ステレオカメラにより撮像される、前記周囲の画像は、ステレオ画像であり、前記ステレオ画像に基づいて、デプス画像を生成するデプス画像生成部をさらに含ませるようにすることができ、前記第１のマスク生成部には、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記デプス画像からなる前記周囲の画像にマスクを生成させ、前記第１の特徴量抽出部には、前記デプス画像からなる、前記マスクされた前記周囲の画像より、画像特徴量を抽出させるようにすることができる。
　前記自己位置推定部には、時系列に供給されるセンサ情報からなる時系列情報を用いて、前記自己位置を推定させ、推定結果を時系列情報自己位置として出力する時系列情報自己位置推定部を含ませるようにすることができる。
　前記時系列情報は、LIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）により検出される３次元点群データ、および車輪エンコーダにより検出される位置情報、姿勢、速度、加速度、および角速度とすることができる。
　本開示の第１の制御方法は、自己位置を推定する自己位置推定処理と、周囲の画像を撮像する撮像処理と、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成処理と、第１のマスク生成処理によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出処理と、前記画像特徴量と、前記自己位置推定処理により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録処理とを含む制御方法である。
　本開示の第１の側面のプログラムは、自己位置を推定する自己位置推定部と、周囲の画像を撮像する撮像部と、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成部と、第１のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出部と、前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部としてコンピュータを機能させるプログラムである。
　本開示の第１の側面の移動体は、自己位置を推定する自己位置推定部と、周囲の画像を撮像する撮像部と、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成部と、第１のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出部と、前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部とを含む移動体である。
　本開示の第１の側面においては、自己位置が推定され、周囲の画像が撮像され、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクが生成され、マスクされた前記周囲の画像より、画像特徴量が抽出され、前記画像特徴量と、推定された自己位置の位置情報とが対応付けられてデータベースとして登録される。
　本開示の第２の側面の制御装置は、自己位置を推定する自己位置推定部と、周囲の画像を撮像する撮像部と、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と、前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部とをさらに含み、前記現在情報自己位置を推定する場合、前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する制御装置である。
　本開示の第２の側面の制御方法は、自己位置を推定する自己位置推定処理と、周囲の画像を撮像する撮像処理と、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成処理と、マスク生成処理によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出処理と、前記画像特徴量と、前記自己位置推定処理により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録処理と、前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定処理とをさらに含み、前記現在情報自己位置を推定する場合、前記特徴量抽出処理は、前記撮像処理により撮像された前記周囲の画像より前記画像特徴量を抽出し、前記現在情報自己位置推定処理は、前記データベースにおいて、前記特徴量抽出処理により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する制御方法である。
　本開示の第２の側面のプログラムは、自己位置を推定する自己位置推定部と、周囲の画像を撮像する撮像部と、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースに登録する登録部と、前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部としてコンピュータを機能させ、前記現在情報自己位置を推定する場合、前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定するプログラムである。
　本開示の第２の側面の移動体は、自己位置を推定する自己位置推定部と、周囲の画像を撮像する撮像部と、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と、前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部とをさらに含み、前記現在情報自己位置を推定する場合、前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する移動体である。
　本開示の第２の側面においては、自己位置が推定され、周囲の画像が撮像され、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクが生成され、マスクされた前記周囲の画像より、画像特徴量が抽出され、前記画像特徴量と、推定された自己位置の位置情報とが対応付けられてデータベースとして登録され、前記データベースに基づいて、現在情報自己位置が推定され、前記現在情報自己位置が推定される場合、撮像された前記自己位置の周囲の画像より前記画像特徴量が抽出され、前記データベースにおいて、抽出された前記画像特徴量に対応付けて登録されている前記位置情報が現在情報自己位置として推定される。
　本開示の一側面によれば、特に、異なる位置であるにも関わらず周囲に類似した特徴量が多く存在することにより、同一の位置と誤検出され易い環境であっても、区別して高精度に自己位置を推定することが可能となる。
本開示の概要を説明する移動体の構成例を示す図である。 本開示の概要を説明する図である。 本開示の移動体を制御する移動体制御システムの構成例を説明するブロック図である。 本開示の第１の実施の形態に係る認識処理部の構成例の詳細なブロック図である。 場所関連非特徴部を説明する図である。 図４の認識処理部による自律移動制御処理を説明するフローチャートである。 時系列情報自己位置推定処理を説明するフローチャートである。 現在情報自己位置推定処理を説明するフローチャートである。 図４の認識処理部による位置画像特徴量登録処理を説明するフローチャートである。 場所関連非特徴部の応用例を説明する図である。 本開示の第２の実施の形態に係る認識処理部の構成例の詳細なブロック図である。 場所関連非特徴部生成登録処理を説明するフローチャートである。 本開示の第３の実施の形態に係る認識処理部の構成例の詳細なブロック図である。 図１３の認識処理部による位置画像特徴量登録処理を説明するフローチャートである。 図１３の認識処理部による自律移動制御処理を説明するフローチャートである。 自己位置不定モード処理を説明するフローチャートである。 汎用のコンピュータの構成例を説明する図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．本開示の概要
　２．第１の実施の形態
　３．第２の実施の形態
　４．第３の実施の形態
　５．ソフトウェアにより実行させる例
　＜＜１．本開示の概要＞＞
　本開示の移動体は、異なる位置であるにもかかわらず、類似した特徴量の多い環境であって、同一の位置として誤検出され易い環境でも、高精度に区別して、自己位置を推定できるようにした移動体である。
　図１は、本開示の移動体１１の概要となる構成例を示している。
　移動体１１は、例えば、ロボットなどであり、センサ群２１、自律移動制御部２２、およびアクチュエータ群２３を備えている。
　センサ群２１は、移動体１１の内部、および移動体１１の周囲の状況の認識に必要な各種の情報を検出するセンサ２１ａ－１乃至２１ａ－ｎを備えており、検出結果を自律移動制御部２２に出力する。また、センサ２１ａ－１乃至２１ａ－ｎについて特に区別する必要がない場合、単に、センサ２１ａと称するものとし、その他の構成についても同様に称する。
　より具体的には、センサ２１ａ－１乃至２１ａ－ｎは、例えば、移動体１１の周囲を撮像するカメラ、移動体１１の動きを検出する加速度センサ、移動体１１の周囲に存在する物体までの距離を測定するLIDAR、ToF（Time of Flight）センサ、方向を検出する地磁気センサ、ジャイロセンサ、加速度センサ、周囲の気圧の変化を検出する気圧センサ、接触の有無等を検出する接触センサ、温度を検出する温度センサ、湿度を検出する湿度センサ、PSD（Position Sensitive Detector）測距センサおよび、地球上の位置を検出するGNSS（Global Navigation Satellite System）などを含む。
　自律移動制御部２２は、センサ群２１の各種の検出結果より、周囲の状況を認識し、認識結果に基づいて行動計画を生成し、行動計画に応じて、ロボットを駆動させるアクチュエータ群２３の各種アクチュエータ２３ａ－１乃至２３ａ－ｎを動作させる。また、アクチュエータ２３ａ－１乃至２３ａ－ｎについて特に区別する必要がない場合、単に、アクチュエータ２３ａと称するものとし、その他の構成についても同様に称する。
　より詳細には、自律移動制御部２２は、認識処理部３１、行動計画処理部３２、および行動制御処理部３３を備えている。
　認識処理部３１は、センサ群２１より供給される検出結果に基づいて、認識処理を実行し、例えば、画像、人、物体、表情の種類、位置、属性、および自らや障害物の位置等を認識し、認識結果として行動計画処理部３２に出力する。また、認識処理部３１は、センサ群２１より供給される検出結果に基づいて、自己位置を推定する。
　行動計画処理部３２は、認識結果に基づいて、移動体１１の全体の行動である、移動体１１の移動に係る機器の移動の軌跡、状態変化、および速度または加速度などの行動計画を生成し、行動制御処理部３３に供給する。
　行動制御処理部３３は、行動計画処理部３２より供給される行動計画に基づいて、アクチュエータ群２３のアクチュエータ２３ａ－１乃至２３ａ－ｎのそれぞれの具体的な動きを制御するための制御信号を生成し、アクチュエータ群２３を動作させる。
　アクチュエータ群２３は、行動制御処理部３３より供給される制御信号に基づいて、移動体１１を具体的に動作させるアクチュエータ２３ａ－１乃至２３ａ－ｎを動作させる。より詳細には、アクチュエータ２３ａ－１乃至２３ａ－ｎは、移動体１１の具体的な動き実現するモータ、サーボモータ、ブレーキ等の動作を制御信号に基づいて動作させる。
　また、アクチュエータ２３ａ－１乃至２３ａ－ｎは、伸縮運動、屈伸運動、または旋回運動などを実現させる構成を含むと共に、情報を表示するLED（Light Emission Diode）やLCD（Liquid Crystal Display）などからなる表示部、および、音声を出力するスピーカなどの構成を含む。したがって、アクチュエータ群２３が制御信号に基づいて、制御されることにより、移動体１１を駆動させる各種の装置の動作が実現されると共に、情報が表示される、および音声が出力される。
　すなわち、アクチュエータ群２３のアクチュエータ２３ａ－１乃至２３ａ－ｎが制御されることにより、移動体１１の移動に係る動作が制御されると共に、情報の表示や音声の出力などの各種の情報の提示も制御される。
　＜本開示の自己位置推定の概要＞
　認識処理部３１は、センサ群２１より供給される検出結果に基づいて、自己位置を推定する。
　より具体的には、認識処理部３１は、センサ群２１により、例えば、カメラにより撮像される自己位置の周辺の画像より特徴量を抽出し、予め画像の特徴量と、位置とが対応付けて登録されたDB（データベース）の特徴量と照合して、一致する特徴量に対応付けて登録された位置の情報を読み出すことにより自己位置を推定する。
　しかしながら、例えば、図２の左部で示されるようなオフィスビルの廊下などにおいては、階数が異なっていても、周囲の環境はほぼ類似していることがあり、抽出される特徴量においても、類似していることが多く、異なる階数であっても同一の階の廊下と自己位置を誤検出することがある。
　特に、廊下の天井に設けられた照明類が多くの特徴量として検出されることにより、誤検出を誘発させる原因となっている。
　そこで、本開示においては、図２の右部で示されるように、予め画像に対して、誤検出を誘発させ易い、換言すれば、他の階との区別には有用（有効）ではない特徴量を多く含む天井部分にマスク領域Ｚが付された状態で抽出される特徴量と位置情報とを対応付けてDBに登録させる。
　すなわち、本開示においては、周囲の画像のうち、同一の特徴量が抽出され易い、他の位置との差異が少ない領域に対して、予めマスクを掛けた状態で特徴量を抽出して、位置情報と対応付けてDBを構成することにより、異なる位置であるにも拘わらず、類似した物体が多く存在するような環境においても位置を区別して高精度に自己位置を推定できるようにする。
　＜＜２．第１の実施の形態＞＞
　＜本開示の移動体を制御する移動体制御システムの構成例＞
　上述した機能を実現させるための移動体１１を制御する移動体制御システムについて説明する。
　図３は、本開示の移動体１１を制御する移動体制御システム１００の概略的な機能の構成例を示すブロック図である。尚、図３の移動体制御システム１００は、本技術が適用され得るロボットからなる移動体１１を制御する移動体制御システムの一例であるが、他の移動体、例えば、航空機、船舶、およびマルチローターコプター（ドローン）などを制御するシステムとして適用することもできる。また、ロボットについても、車輪型のロボットや搭乗可能な自動運転車でもよいし、多足歩行型のロボットでもよい。
　移動体制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、移動体内部機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、記憶部１０９、及び、自律移動制御部１１０を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、記憶部１０９、及び、自律移動制御部１１０は、通信ネットワーク１１１を介して、相互に接続されている。通信ネットワーク１１１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、IEEE802.3等のＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した通信ネットワークやバス、あるいは規格化されていない独自の通信方式等からなる。なお、移動体制御システム１００の各部は、通信ネットワーク１１１を介さずに、直接接続される場合もある。
　なお、以下、移動体制御システム１００の各部が、通信ネットワーク１１１を介して通信を行う場合、通信ネットワーク１１１の記載を省略するものとする。例えば、入力部１０１と自律移動制御部１１０が、通信ネットワーク１１１を介して通信を行う場合、単に入力部１０１と自律移動制御部１１０が通信を行うと記載する。
　入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、移動体制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、移動体制御システム１００の各部に供給する。
　データ取得部１０２は、移動体制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、移動体制御システム１００の各部に供給する。
　例えば、データ取得部１０２は、移動体の状態等を検出するための各種のセンサを備えることでセンサ群１１２を構成し、図１のセンサ２１ａ－１乃至２１ａ－ｎより構成されるセンサ群２１に対応する。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセル等の加速入力の操作量、減速入力の操作量、方向指示入力の操作量、エンジンやモータ等の駆動装置の回転数や入出力エネルギー・燃料量、エンジンやモータ等のトルク量、若しくは、車輪や関節の回転速度やトルク等を検出するためのセンサ等を備える。
　また、例えば、データ取得部１０２は、移動体の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、偏光カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、移動体の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、レーザ測距センサ、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
　さらに、例えば、データ取得部１０２は、移動体の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
　通信部１０３は、移動体内部機器１０４、並びに、移動体外部の様々な機器、サーバ、基地局等と通信を行い、移動体制御システム１００の各部から供給されるデータを送信したり、受信したデータを移動体制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。
　例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、移動体内部機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、移動体内部機器１０４と有線通信を行う。
　さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、移動体の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、移動体１１が車両の場合、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、移動体と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
　移動体内部機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、移動体に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
　出力制御部１０５は、移動体の搭乗者又は移動体外部に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
　出力部１０６は、移動体の搭乗者又は移動体外部に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。尚、出力制御部１０５および出力部１０６は、自律移動の処理には必須の構成ではないため、必要に応じて省略するようにしてもよい。
　駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
　駆動系システム１０８は、移動体の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、4本の脚の各関節に備わった角度やトルクを指定可能なサーボモータ、ロボット自体の移動の動きを4本の足の動きに分解・置換するモーションコントローラ並びに、各モータ内のセンサや足裏面のセンサによるフィードバック制御装置を備える。
　別の例では、駆動系システム１０８は、4基ないし6基の機体上向きのプロペラを持つモータ、ロボット自体の移動の動きを各モータの回転量に分解・置換するモーションコントローラを備える。
　さらに、別の例では、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。尚、出力制御部１０５、出力部１０６、駆動系制御部１０７、および駆動系システム１０８は、アクチュエータ群１１３を構成し、図１のアクチュエータ２３ａ－１乃至２３ａ－ｎからなるアクチュエータ群２３に対応する。
　記憶部１０９は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１０９は、移動体制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１０９は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、移動体の周囲の情報を含むローカルマップ等の地図データを記憶する。
　自律移動制御部１１０は、自動運転又は運転支援等の自律移動に関する制御を行う。具体的には、例えば、自律移動制御部１１０は、移動体の衝突回避あるいは衝撃緩和、移動体間距離に基づく追従移動、移動体速度維持移動、または、移動体の衝突警告の機能実現を目的とした協調制御を行う。また、例えば、自律移動制御部１１０は、操作者・ユーザの操作に拠らずに自律的に移動する自律移動等を目的とした協調制御を行う。自律移動制御部１１０は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。このうち、検出部１３１、自己位置推定部１３２、および状況分析部１３３は、認識処理部１２１を構成し、図１の認識処理部３１に対応する。また、計画部１３４は、行動計画処理部１２２を構成し、図１の行動計画処理部３２に対応する。さらに、動作制御部１３５は、行動制御処理部１２３を構成し、図１の行動制御処理部３３に対応する。
　検出部１３１は、自律移動の制御に必要な各種の情報の検出を行う。検出部１３１は、移動体外部情報検出部１４１、移動体内部情報検出部１４２、及び、移動体状態検出部１４３を備える。
　移動体外部情報検出部１４１は、移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体の外部の情報の検出処理を行う。例えば、移動体外部情報検出部１４１は、移動体の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、移動体、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、移動体外部情報検出部１４１は、移動体の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。移動体外部情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、及び、状況認識部１５２、並びに、動作制御部１３５等に供給する。
　移動体内部情報検出部１４２は、移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体内部の情報の検出処理を行う。例えば、移動体内部情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、移動体内部の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる移動体内部の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。移動体内部情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５２、及び、動作制御部１３５等に供給する。
　移動体状態検出部１４３は、移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体の状態の検出処理を行う。検出対象となる移動体の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の移動体搭載機器の状態等が含まれる。移動体状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５２、及び、動作制御部１３５等に供給する。
　自己位置推定部１３２は、移動体外部情報検出部１４１、及び、状況分析部１３３の状況認識部１５２等の移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、及び、状況認識部１５２等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１０９に記憶させる。
　さらに、自己位置推定部１３２は、センサ群１１２より供給される検出結果に基づいて、時系列に供給される時系列情報をデータベースに蓄積すると共に、蓄積した時系列の情報に基づいて、自己位置を推定し、時系列情報自己位置として出力する。また、自己位置推定部１３２は、センサ群１１２より供給される現在の検出結果に基づいて、自己位置を推定し、現在情報自己位置として出力する。そして、自己位置推定部１３２は、時系列情報自己位置と、現在情報自己位置とを統合する、または、切り替えることにより自己位置推定結果として出力する。さらに、自己位置推定部１３２は、現在情報自己位置を推定するにあたっては、センサ群１１２により検出される検出結果のうちの画像より抽出される画像特徴量と、位置とを対応付けた位置画像特徴量DB２２５（図４）を備えており、検出結果との照合により現在情報自己位置を推定する。自己位置推定部１３２は、センサ群１１２により撮像される画像に対して、位置を特定する上で有用ではない画像特徴量が多く検出される場所毎に、マスクすべき範囲の情報を備えている。自己位置推定部１３２は、位置画像特徴量DB２２５（図４）へと画像特徴量と位置とを対応付けて登録する際、センサ群１１２により撮像される画像に対して、場所に応じてマスクを付した状態で画像特徴量を抽出して登録する。これにより、位置を特定する上で有用ではない画像特徴量を多く含む範囲がマスクされて画像特徴量が抽出されることになるので、類似した画像特徴量、すなわち、位置を特定する上で有用ではない画像特徴量を多く含む環境でも、高精度に区別して自己位置を推定することが可能となる。尚、自己位置推定部１３２の詳細な構成については、図４を参照して後述する。
　状況分析部１３３は、移動体及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、状況認識部１５２、及び、状況予測部１５３を備える。
　マップ解析部１５１は、自己位置推定部１３２及び移動体外部情報検出部１４１等の移動体制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１０９に記憶されている各種のマップの解析処理を行い、自律移動の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、状況認識部１５２、状況予測部１５３、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　状況認識部１５２は、自己位置推定部１３２、移動体外部情報検出部１４１、移動体内部情報検出部１４２、移動体状態検出部１４３、及び、マップ解析部１５１等の移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体に関する状況の認識処理を行う。例えば、状況認識部１５２は、移動体の状況、移動体の周囲の状況、及び、移動体の運転者の状況等の認識処理を行う。また、状況認識部１５２は、必要に応じて、移動体の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）、道路地図（Lane Map）、または、点群地図（Point Cloud Map）とされる。
　認識対象となる移動体の状況には、例えば、移動体の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる移動体の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
　状況認識部１５２は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５３等に供給する。また、状況認識部１５２は、状況認識用マップを記憶部１０９に記憶させる。
　状況予測部１５３は、マップ解析部１５１、及び状況認識部１５２等の移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体に関する状況の予測処理を行う。例えば、状況予測部１５３は、移動体の状況、移動体の周囲の状況、及び、運転者の状況等の予測処理を行う。
　予測対象となる移動体の状況には、例えば、移動体の挙動、異常の発生、及び、移動可能距離等が含まれる。予測対象となる移動体の周囲の状況には、例えば、移動体の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
　状況予測部１５３は、予測処理の結果を示すデータを、及び状況認識部１５２からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　ルート計画部１６１は、マップ解析部１５１及び状況予測部１５３等の移動体制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
　行動計画部１６２は、マップ解析部１５１及び状況予測部１５３等の移動体制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に移動するための移動体の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、移動速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した移動体の行動を示すデータを動作計画部１６３等に供給する。
　動作計画部１６３は、マップ解析部１５１及び状況予測部１５３等の移動体制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための移動体の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、移動軌道等の計画を行う。動作計画部１６３は、計画した移動体の動作を示すデータを、動作制御部１３５等に供給する。
　動作制御部１３５は、移動体の動作の制御を行う。
　より詳細には、動作制御部１３５は、移動体外部情報検出部１４１、移動体内部情報検出部１４２、及び、移動体状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、移動体の異常等の緊急事態の検出処理を行う。動作制御部１３５は、緊急事態の発生を検出した場合、急停止や急旋回等の緊急事態を回避するための移動体の動作を計画する。
　また、動作制御部１３５は、動作計画部１６３により計画された移動体の動作を実現するための加減速制御を行う。例えば、動作制御部１３５は、計画された加速、減速、又は、急停止を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　動作制御部１３５は、動作計画部１６３により計画された移動体の動作を実現するための方向制御を行う。例えば、動作制御部１３５は、動作計画部１６３により計画された移動軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　＜認識処理部の詳細な構成例＞
　次に、図４を参照して、図３の移動体制御システム１００のうち、認識処理部３１に対応する自律移動制御部１１０の認識処理部１２１と、その周辺の具体的な構成例について説明する。
　尚、ここでは、移動体が車輪型移動ロボットからなる移動体１１である例について説明するが、その他のロボットや車両などの移動体であってもよい。
　センサ群１１２は、LIDAR２０１、車輪エンコーダ２０２、およびステレオカメラ２０３を備えているものとする。当然のことながら、４足歩行ロボットや車両等であれば、その他のセンサを使用するようにしてもよい。
　LIDAR２０１は、移動体１１の周囲の物体までの距離を３次元点群データとして取得し、検出部１３１を介して、自己位置推定部１３２の時系列情報自己位置推定部２２１に時系列情報として出力する。
　車輪エンコーダ２０２は、移動体１１の位置情報（Ｘ，Ｙ，Ｚ）、姿勢（クォータニオン）、速度（ｄｘ，ｄｙ，ｄｚ）、加速度（ａｘ，ａｙ，ａｚ）、および角速度（ｗｘ，ｗｙ，ｗｚ）を検出し、検出部１３１を介して、時系列情報自己位置推定部２２１に時系列情報として出力する。
　ステレオカメラ２０３は、移動体１１の周囲の視差画像を撮像して、検出部１３１を介して、自己位置推定部１３２に現在情報として出力する。
　自己位置推定部１３２は、デプス画像生成部２２０、時系列情報自己位置推定部２２１、時系列情報DB２２２、特徴量抽出部２２３、現在情報自己位置推定部２２４、位置画像特徴量DB２２５、自己位置推定結果統合部２２６、非特徴領域マスク生成部２２７、場所関連非特徴部DB２２８、位置画像特徴量登録部２２９、および位置場所変換部２３０を備えている。
　また、自己位置推定部１３２には、自己位置を推定する自己位置推定処理を実行するモードと、自己位置推定処理に必要な、位置画像特徴量DB２２５（図４）に位置の情報に対応付けて画像特徴量を登録する、位置画像特徴量登録処理を実行するモードとがある。
　そこで、自己位置推定部１３２においては、位置画像特徴量登録処理を実行するための構成からなる位置画像特徴量登録処理ブロック２１１と、自己位置推定処理を実行するための自己位置推定処理ブロック２１２とからなる。
　位置画像特徴量登録処理ブロック２１１は、デプス画像生成部２２０、時系列情報自己位置推定部２２１、時系列情報DB２２２、特徴量抽出部２２３、非特徴領域マスク生成部２２７、場所関連非特徴部DB２２８、位置画像特徴量登録部２２９、および位置場所変換部２３０からなる。
　また、自己位置推定処理ブロック２１２は、デプス画像生成部２２０、時系列情報自己位置推定部２２１、時系列情報DB２２２、特徴量抽出部２２３、および現在情報自己位置推定部２２４からなる。
　時系列情報自己位置推定部２２１は、LIDAR２０１および車輪エンコーダ２０２より供給される、自己位置、および周囲の障害物の位置を表現する３次元点群データ等の時系列情報を時系列情報DB２２２に格納する。また、時系列情報自己位置推定部２２１は、時系列情報DB２２２より、過去から現在までの時系列情報を必要に応じて読み出し、読み出した過去から現在までの時系列情報に基づいて自己位置を推定し、自己位置推定結果統合部２２６に供給する。
　尚、時系列情報自己位置推定部２２１による、SLAM（Simultaneous Localisation and Mapping）を用いた具体的な自己位置推定方法については、「拡張カルマンフィルタを用いた移動ロボットの自己位置推定と環境認識」森本祐介，正滑川徹、「Simultaneous Localisation and Mapping (SLAM): Part I The Essential Algorithms Hugh Durrant-Whyte, Fellow, IEEE, and Tim Bailey」、および「Simultaneous Localisation and Mapping (SLAM): Part II State of the Art Tim Bailey and Hugh Durrant-Whyte」を参照されたい。尚、時系列情報自己位置推定部２２１により時系列情報に基づいて推定される自己位置を時系列情報自己位置と称する。
　デプス画像生成部２２０は、ステレオカメラ２０３より供給される視差画像に基づいて、デプス画像（距離画像）を生成し、特徴量抽出部２２３、および非特徴領域マスク生成部２２７に出力する。
　特徴量抽出部２２３は、自己位置推定処理においては、デプス画像生成部２２０より供給されるデプス画像より画像特徴量を抽出して、現在情報自己位置推定部２２４、および位置画像特徴量登録部２２９に出力する。
　特徴量抽出部２２３は、位置画像特徴量登録処理においては、非特徴領域マスク生成部２２７より供給される、非特徴領域マスクにより一部がマスクされた、デプス画像より画像特徴量を抽出して、現在情報自己位置推定部２２４、および位置画像特徴量登録部２２９に出力する。
　現在情報自己位置推定部２２４は、位置と画像特徴量とが対応付けて記憶されている位置画像特徴量DB２２５より、抽出した特徴量に対応する位置の情報に基づいて、自己位置を推定し、自己位置推定結果統合部２２６に供給する。尚、現在情報自己位置推定部２２４により現在情報に基づいて推定される自己位置を現在情報自己位置と称する。
　自己位置推定結果統合部２２６は、自己位置推定処理においては、時系列情報自己位置と、現在情報自己位置とを、例えば、LIDAR２０１、車輪エンコーダ２０２、およびステレオカメラ２０３のそれぞれの状況に応じた信頼度などに応じて統合し、自己位置推定結果として状況認識部１５２に出力する。尚、自己位置推定結果統合部２２６は、求められた位置の情報と、そのタイミングで検出されたデプス画像の画像特徴量とを対応付けて位置画像特徴量DB２２５に登録する。すなわち、自己位置として推定された位置に対応付けて、そのタイミングにおけるデプス画像の特徴量を登録させることにより、一度、通った位置については、対応するデプス画像の画像特徴量が確実に存在することになるので、高精度に自己位置を推定することが可能となる。
　非特徴領域マスク生成部２２７は、位置画像特徴量登録処理において、時系列情報自己位置推定部２２１より供給される時系列情報自己位置により特定される場所に基づいて、場所と場所関連非特徴部とを対応付けて登録している場所関連非特徴部DB２２８より、対応付けて登録されている場所関連非特徴部を読み出す。
　ここで、位置場所変換部２３０は、位置情報と場所とが対応付けられて格納されたデータベースを記憶しており、時系列情報自己位置に基づいて、対応する場所の情報を読み出すことで、時系列情報位置情報を場所の情報に変換して出力する。位置場所変換部２３０が記憶するデータベースにおいては、例えば、時系列情報自己位置により特定される緯度経度の位置情報と、対応する建物の階数の部屋番号や廊下、道路などが場所の情報として対応付けて格納されている。
　これにより位置場所変換部２３０は、時系列情報自己位置推定部２２１より供給される時系列情報自己位置を、対応する場所の情報に変換して非特徴領域マスク生成部２２７に出力する。
　非特徴領域マスク生成部２２７は、位置場所変換部２３０より供給される場所の情報に基づいて、場所と場所関連非特徴部とを対応付けて登録している場所関連非特徴部DB２２８より、対応付けて登録されている場所関連非特徴部を読み出す。
　そして、非特徴領域マスク生成部２２７は、読み出した場所関連非特徴部に基づいて、非特徴領域マスクを生成して、デプス画像生成部２２０によりステレオカメラ２０３のステレオ画像から生成されたデプス画像に対して、非特徴領域マスクを付加して、特徴量抽出部２２３に出力する。
　場所関連非特徴部DB２２８において、場所に対応付けて登録されている場所関連非特徴部とは、例えば、図５の左部で示されるように、場所に対応付けて予め登録されるテーブルで定義され、位置を特定するために用いられるデプス画像のうち、他の位置との区別に有用でない特徴量が多く存在する範囲を特定する情報である。つまり、図２でも示したように、オフィスビル内の廊下などでは、天井の照明が特徴量として多く検出されるが、複数の階で同一の構造であることが多いため、天井の照明の特徴量を用いると、いずれの階のフロアであるのかを特定し難く、誤検出が発生し易い。すなわち、ビル内のような環境では、天井には、位置を特定するために用いられる有用な特徴量は少なく、天井を除く範囲の特徴量の情報を用いた方がフロアを識別し易い。そこで、このような場合については、天井の範囲が場所関連非特徴部とされる。天井以外にもビル内では、ブラインド、模様付きの壁、タイル床、等、屋外では整備された新興住宅街、タイル張りの地面等が場所関連非特徴部としてあげられる。上記は一例であり場所関連非特徴部は上記に限定されない。
　より具体的には、図５の左部においては、場所として特定される、ABCビルの８Ｆにおいては、天井を除く範囲が、デプス画像内のうち、現在情報自己位置を推定するために、他の位置との区別に有用な特徴量が多く存在するので、天井が、場所関連非特徴部とされる。
　また、図５の左部においては、場所として特定される、エレベータホールにおいては、南向き壁、および床を除く範囲が、デプス画像内のうち、現在情報自己位置を推定するために、他の位置との区別に有用な特徴量が多く存在するので、南向き壁、および床が、場所関連非特徴部とされる。
　非特徴領域マスク生成部２２７は、場所関連非特徴部の情報に基づいて、場所ごとの非特徴領域マスクを生成し、デプス画像生成部２２０より供給されるデプス画像に対して付加して、特徴量抽出部２２３に供給する。
　したがって、図５の左部である場合、例えば、時系列情報自己位置推定結果に基づいて、場所がABCビルの８Ｆであることが特定されるときには、非特徴領域マスク生成部２２７は、現在情報自己位置を特定するために用いられるデプス画像内のうち、有用な特徴量が多くない、換言すれば、他の位置との区別に有用ではない特徴量が含まれる、天井部分を場所関連非特徴部に設定し、非特徴領域マスクを付加したデプス画像を特徴量抽出部２２３に供給する。
　同様に、図５の左部である場合、例えば、時系列情報自己位置推定結果に基づいて、場所がエレベータホールであることが特定されるときには、非特徴領域マスク生成部２２７は、現在情報自己位置を特定するために用いられるデプス画像内のうち、有用な特徴量が多くない、換言すれば、他の位置との区別に有用ではない特徴量が含まれる、南向きの壁、および床部分を場所関連非特徴部に設定し、非特徴領域マスクを付加したデプス画像を特徴量抽出部２２３に供給する。
　位置画像特徴量登録部２２９は、位置画像特徴量登録処理において、特徴量抽出部２２３より供給される画像特徴量の情報を、時系列情報自己位置推定結果と対応付けて位置画像特徴量DB２２５に登録する。
　このようにして、位置画像特徴量登録処理においては、供給されたデプス画像に基づいて、特徴量抽出部２２３は、デプス画像のうち、非特徴領域マスクが付加されていない範囲から画像特徴量を抽出する。結果として、デプス画像のうち、他の位置との区別に有用ではない画像特徴量が多く含まれる範囲がマスクされて画像特徴量が抽出され、他の位置との区別に有用な多くの画像特徴量が生成されるので、誤検出の発生を抑制することが可能となる。
　また、場所関連非特徴部DB２２８に登録される場所関連非特徴部は、図５の左部で示される条件以外でもよく、コンピュータによって物理的な場所の範囲が指定できるデータ形式であればよい。例えば、図５の右部で示されるように、緯度＜ｘ、かつ、経度＜ｙの範囲で特定される場所であるときでもよい。また、別の例では例えば、無線アクセスポイントXXXからの電波強度がY以内を場所といった、何らかの条件を満たす場所としてもよい。また、右部はコンピュータによってデプス画像内にマスクを生成可能な場所を指定できる情報及びデータ形式であればよい。たとえば所定の平面方向（例えば、重力方向に対して平行、または、重力方向に対して垂直のいずれか）であってもよい。また別の例では南向きの壁の範囲としてもよい。
　＜図４の自律移動制御部による自律移動推定処理＞
　次に、図６のフローチャートを参照して、自己位置推定処理について説明する。
　ステップＳ１１において、時系列情報自己位置推定部２２１は、時系列情報自己位置推定処理を実行して、時系列情報自己位置を推定して、自己位置推定結果統合部２２６に出力する。尚、時系列情報自己位置推定処理については、図７のフローチャートを参照して、後述する。
　ステップＳ１２において、現在情報自己位置推定部２２４は、現在情報自己位置推定処理を実行して、現在情報自己位置を推定して、自己位置推定結果統合部２２６に出力する。尚、現在情報自己位置推定処理については、図８のフローチャートを参照して、後述する。
　ステップＳ１３において、自己位置推定結果統合部２２６は、時系列情報自己位置および現在情報自己位置を、例えば、カルマンフィルタや粒子フィルタにより統合し、統合した自己位置の情報を自己位置推定結果として状況認識部１５２に出力する。
　ステップＳ１４において、自己位置推定結果統合部２２６は、自己位置推定結果と、その自己位置推定結果を特定するために利用した現在情報である視差画像より求められたデプス画像の特徴量とを対応付けて位置画像特徴量DB２２５に登録する。
　ステップＳ１５において、状況認識部１５２は、自己位置推定結果に基づいて、移動体の状況、および移動体の周囲の状況の認識処理を行い、認識結果を行動計画処理部１２２に出力する。
　ステップＳ１６において、行動計画処理部１２２のルート計画部１６１は、目的地までのルートを計画し、行動計画部１６２に出力する。
　ステップＳ１７において、行動計画部１６２は、目的地までのルートに基づいて、行動を計画し、行動計画として動作計画部１６３に出力する。
　ステップＳ１８において、動作計画部１６３は、行動計画部１６２より供給された行動計画に基づいて、動作を計画し、動作計画として行動制御処理部１２３に出力する。
　ステップＳ１９において、行動制御処理部１２３は、動作計画に基づいて、アクチュエータ群１１３の各アクチュエータ２３ａの動作を制御して、移動体１１の行動を制御する。
　ステップＳ２０において、終了が指示されたか否かが判定され、終了が指示されていないとみなされた場合、処理は、ステップＳ１１に戻る。すなわち、終了が指示されるまで、ステップＳ１１乃至Ｓ２０の処理が繰り返されて、移動体１１は、自律的な移動を継続する。
　一方、ステップＳ２０において、終了が指示された場合、自律移動制御処理が終了する。
　すなわち、自己位置として推定された位置と、その位置を特定するために利用された現在情報である視差画像より求められたデプス画像の特徴量とが対応付けられて位置画像特徴量DB２２５に登録される。これにより、一度通過した位置に対応する現在情報である視差画像より求められたデプス画像より得られる特徴量が、位置に対応付けられて新たな情報として蓄積される。結果として、再び同一の位置を通過するときには、高精度に自己位置推定することが可能となる。
　また、以上の処理により、時系列情報自己位置と現在情報自己位置とが順次求められて、相互に統合された位置が自己位置推定結果として出力され、自己位置推定結果に基づいて、移動体１１の自律的な移動が制御される。
　＜時系列情報自己位置推定処理＞
　次に、図７のフローチャートを参照して、時系列情報自己位置推定処理について説明する。
　ステップＳ３１において、LIDAR２０１は、移動体１１の周囲の物体までの距離を３次元点群データとして検出し、検出部１３１を介して、自己位置推定部１３２の時系列情報自己位置推定部２２１に時系列情報として出力する。
　ステップＳ３２において、車輪エンコーダ２０２は、移動体１１の位置情報、姿勢、速度、加速度、および角速度を検出し、検出部１３１を介して、時系列情報自己位置推定部２２１に時系列情報として出力する。
　ステップＳ３３において、時系列情報自己位置推定部２２１は、最新の時系列情報を取得し、時系列情報DB２２２に登録する。
　ステップＳ３４において、時系列情報自己位置推定部２２１は、時系列情報DB２２２に登録されている最新の時系列情報と、過去の時系列情報とから、例えば、カルマンフィルタや粒子フィルタを用いて、自己位置を推定する。そして、時系列情報自己位置推定部２２１は推定結果である自己位置を時系列情報自己位置情報として自己位置推定結果統合部２２６に出力する。
　以上の処理により、LIDAR２０１および車輪エンコーダ２０２により検出される時系列情報が順次検出されて、時系列情報DB２２２に順次蓄積されて、時系列に蓄積された過去から現在までの時系列に蓄積された時系列情報に基づいて、自己位置が推定されて、時系列情報自己位置として自己位置推定結果統合部２２６に出力される。
　＜現在情報自己位置推定処理＞
　次に、図８のフローチャートを参照して、現在情報自己位置推定処理について説明する。
　ステップＳ５１において、ステレオカメラ２０３は、移動体１１の周囲の視差画像を撮像して、検出部１３１を介して、デプス画像生成部２２０に現在情報として出力する。
　ステップＳ５２において、デプス画像生成部２２０は、ステレオカメラ２０３より供給される視差画像に基づいて、デプス画像（距離画像）を生成する。
　ステップＳ５３において、特徴量抽出部２２３は、生成されたデプス画像に基づいて、画像特徴量を抽出する。
　ステップＳ５４において、現在情報自己位置推定部２２４は、位置と画像特徴量とが対応付けて記憶されている位置画像特徴量DB２２５より、抽出した画像特徴量に対応する位置の情報に基づいて、自己位置を推定する。そして、現在情報自己位置推定部２２４は、推定結果である自己位置を現在情報自己位置として自己位置推定結果統合部２２６に供給する。
　以上の処理により、ステレオカメラ２０３により視差画像が現在情報として撮像され、視差画像よりデプス画像が生成され、生成されたデプス画像の画像特徴量が抽出されて、画像特徴量に対応付けて登録されている位置情報に基づいて、現在情報自己位置が推定され、自己位置推定結果統合部２２６に出力される。
　＜図４の自律移動制御部による位置画像特徴量登録処理＞
　次に、図９のフローチャートを参照して、図４の自律移動制御部１１０による位置画像特徴量登録処理について説明する。
　ステップＳ７１において、ステレオカメラ２０３は、移動体１１の周囲の視差画像を撮像して、検出部１３１を介して、デプス画像生成部２２０に現在情報として出力する。
　ステップＳ７２において、デプス画像生成部２２０は、ステレオカメラ２０３より供給される視差画像に基づいて、デプス画像（距離画像）を生成する。
　ステップＳ７３において、位置場所変換部２３０は、時系列情報自己位置推定部２２１の推定結果である時系列情報自己位置を取得し、時系列情報自己位置に対応する場所の情報に変換し、非特徴領域マスク生成部２２７に出力する。
　ステップＳ７４において、非特徴領域マスク生成部２２７は、場所関連非特徴部DB２２８にアクセスし、時系列情報自己位置に対応する場所に対応付けて登録されている場所関連非特徴部を読み出す。そして、非特徴領域マスク生成部２２７は、場所関連非特徴部に基づいて、デプス画像内における、位置の特定に有用でない特徴量を多く含む範囲をマスクする非特徴領域マスクを生成する。
　ステップＳ７５において、非特徴領域マスク生成部２２７は、デプス画像に対して、生成した非特徴領域マスクを付加して、特徴量抽出部２２３に出力する。
　ステップＳ７６において、特徴量抽出部２２３は、非特徴領域マスクが付加されたデプス画像より画像特徴量を抽出し、位置画像特徴量登録部２２９に出力する。
　ステップＳ７７において、位置画像特徴量登録部２２９は、時系列情報自己位置と、画像特徴量とを対応付けて、位置画像特徴量DB２２５に登録する。
　以上の処理により、位置に対応付けて登録される画像特徴量は、デプス画像のうち、他の位置との区別に有用ではない画像特徴量が多く含まれる範囲がマスクされて、画像特徴量が抽出され、他の位置との区別に有用な画像特徴量が生成される。
　結果として、他の位置との区別に有用な画像特徴量を用いた現在情報自己位置の推定が実現されるので、周辺に類似する物体が多く存在するような環境であっても、高精度に自己位置を推定することが可能となる。
　＜場所関連非特徴部の応用例＞
　以上においては、場所関連非特徴部は、場所と対応付けられる、デプス画像のうちの、位置の区別に有用な画像特徴量が多く含まれる範囲の情報であるが、場所を抽象化した場所属性を定義して、場所属性に対して、位置の区別に有用な画像特徴量が多く含まれる範囲の情報を対応付けるテーブルを設定することで、全ての場所に対して、場所関連非特徴部が設定されていない状態であっても、場所関連非特徴部を利用することが可能となる。
　すなわち、例えば、図１０の右部で示されるように、「特徴点が少ない高速道路」、「特徴点が多い高速道路」、「オフィスビル」、および「シティホテル」という、場所それぞれに対して抽象化された場所属性を定義し、それぞれの場所属性と、場所関連非特徴部とを対応付けたテーブルを設定するようにしてもよい。場所属性のそれぞれに対して設定される場所関連非特徴部としては、例えば、図１０の右部で示されるように、「特徴点が少ない高速道路」に対して、「標識以外（標識以外をマスクして、標識の範囲の特徴量を利用する）」が対応付けて設定されるようにしてもよい。また、「特徴点が多い高速道路」に対して、「壁面と風景以外（壁面と風景以外をマスクして、壁面と風景の範囲の特徴量を利用する）」が対応付けて設定されるようにしてもよい。さらに、「オフィスビス」に対して、「天井と窓側面（天井と窓側面をマスクして、天井と窓側面以外の範囲の特徴量を利用する）」が設定されるようにしてもよい。また、「シティホテル」に対して、「無し（全面をマスクせず、全面の特徴量を利用する）」が対応付けて設定されるようにしてもよい。
　図１０の右部のように場所属性と場所関連非特徴部とが対応付けられたテーブルを設定することにより、例えば、図１０の左部で示されるように、「東名高速」と「特徴点が少ない高速道路」、「中国自動車道」と「特徴点が少ない高速道路」、「ABCビル」と「オフィスビル」、および、「XXホテル」と「シティホテル」とが対応付けられることにより、場所に対応付けて場所関連非特徴部が対応付けられていなくても、場所の抽象化概念である場所属性が特定できれば、場所関連非特徴部を読み出すことができるので、適切に非特徴領域マスクを設定することが可能となる。
　換言すれば、場所が抽象化された場所属性と場所関連非特徴部とが定義されることにより、具体的な場所が特定できない場合でも、場所よりも抽象的な場所属性が特定されるだけで、場所関連非特徴部を特定することが可能となり、場所関連非特徴部を利用する上での自由度を向上させることが可能となる。
　以上においては、場所関連非特徴部は、場所と対応付けられる、デプス画像のうちの、位置の区別に有用な画像特徴量が多く含まれる範囲の情報としては、画像内の特定の位置や方向を指定する例について説明してきたが、位置の区別に有用ではないものが含まれない範囲であればよい。例えば、場所関連非特徴部は、画像内に写り込んだディスプレイに表示された物体の範囲、時間の経過に伴って変化するような、例えば、木々、木漏れ日、空の領域、および動くものの範囲としてもよい。
　＜＜３．第２の実施の形態＞＞
　以上においては、場所関連非特徴部DB２２８に、予め場所に対応付けて、場所関連非特徴部が登録されている例について説明してきたが、位置画像特徴量DB２２５には、自己位置が特定される度に、位置と画像特徴量とが新たに登録されるので、位置画像特徴量DB２２５に新たに登録された位置と対応付けて登録された画像特徴量を利用して、場所関連非特徴部を新たに生成して、場所関連非特徴部DB２２８に登録させるようにしてもよい。
　図１１は、位置画像特徴量DB２２５に新たに登録された位置と対応付けて登録された画像特徴量を利用して、場所関連非特徴部を新たに生成して、場所関連非特徴部DB２２８に登録させるようにした自己位置推定部１３２の構成例が示されている。尚、図１１の自己位置推定部１３２において、図４の自己位置推定部１３２と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
　すなわち、図１１の自己位置推定部１３２において、図４の自己位置推定部１３２と異なる点は、場所関連非特徴部生成登録部２４１が新たに設けられている点である。
　場所関連非特徴部生成登録部２４１は、位置が特定される度に更新される位置画像特徴量DB２２５に登録されている位置に対応する場所を求め、同一の場所に対応付けて登録されている複数の画像特徴量を読み出し、統計的に比較して、所定の閾値以上に類似した画像特徴量が多く存在する範囲を場所関連非特徴部として抽出し、場所に対応付けて、場所関連非特徴部DB２２８に登録する。
　すなわち、同一の位置に対応付けられている複数の画像特徴量のうち、所定の閾値よりも類似した画像特徴量が多く存在する範囲は、同一の位置を識別する上で不要であるため、その範囲を場所関連非特徴部とすることで、誤検出の発生を抑制することが可能となる。
　＜場所関連非特徴部生成登録処理＞
　次に、図１２のフローチャートを参照して、場所関連非特徴部生成登録処理について説明する。
　ステップＳ９１において、場所関連非特徴部生成登録部２４１は、位置画像特徴量DB２２５にアクセスし、位置に基づいて特定される場所について、同一の場所に対応付けられている複数の画像特徴量を読み出す。
　ステップＳ９２において、場所関連非特徴部生成登録部２４１は、同一の場所に対応付けられている複数の画像特徴量を、統計的に処理し、所定の閾値よりも類似している画像特徴量を多く含む範囲を、新規の場所関連非特徴部として生成する。
　ステップＳ９３において、場所関連非特徴部生成登録部２４１は、生成した新規の場所関連非特徴部を、場所に対応付けて、場所関連非特徴部DB２２８に登録する。
　以上の処理により、位置画像特徴量DB２２５に登録される画像特徴量のうち、同一の場所に対応付けられる画像特徴量において、所定の閾値よりも類似する画像特徴量が多く含まれる、すなわち、場所を区別するために必要のない画像特徴量が含まれる範囲からなる場所関連非特徴部が生成されることになるので、同一の場所を特定する画像特徴量を必要最小限にすることが可能となり、誤検出の発生を抑制することが可能となる。
　＜＜４．第３の実施の形態＞＞
　以上においては、同一の位置において区別するために必要のない画像特徴量を排除して位置画像特徴量DB２２５を生成して、周囲に類似する物体が存在するような環境でも高精度に自己位置推定を実現する例について説明してきた。
　ところで、移動体が抱き上げられる、滑る、急激な段差に落ち込む、電源投入直後などにより、直前の移動状態から急激な変化が発生することにより、自己位置不定状態となることがあるが、このような場合、時系列情報自己位置の推定結果は誤差が大きくなるため、現在情報自己位置のみを利用して自己位置を推定することになる。
　このような場合、現在情報自己位置が高精度に検出されているか否かを判定することで自己位置不定状態から脱したか否かを判定し、判定結果に応じて、時系列情報自己位置の使用を復帰させるようにしてもよい。
　より詳細には、予め場所関連非特徴部の情報に基づいて、デプス画像に対して自己位置の特定に有用でない画像特徴量を含む特徴領域をマスクして得られる非特徴領域特徴量を位置に対応付けて登録した位置非特徴領域特徴量DBを生成する。そして、自己位置不定状態となった場合には、現在情報自己位置に対応付けられた場所関連非特徴部により、デプス画像から得られる非特徴領域特徴量を求めると共に、推定された現在情報自己位置に対応付けて位置非特徴領域特徴量DBに登録されている非特徴領域特徴量を読み出し、両者の類似度に基づいて、推定された現在情報自己位置が適正であるか否かを判定するようにしてもよい。
　図１３は、予め位置非特徴領域特徴量DBを生成し、自己位置不定状態において、現在情報自己位置が適正であるか否かにより、自己位置不定状態を脱したか否かを判定するようにした自己位置推定部１３２の構成例を示している。
　図１３の自己位置推定部１３２において、図１１の自己位置推定部１３２における構成と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
　すなわち、図１３の自己位置推定部１３２において、図１１の自己位置推定部１３２と異なる点は、非特徴領域特徴量抽出部２５１、自己位置検査部２５２、特徴領域マスク生成部２５３、特徴量抽出部２５４、位置非特徴領域特徴量登録部２５５、位置非特徴領域特徴量DB２５６、および位置場所変換部２５７（位置場所変換部２３０と同様のもの）が新たに設けられ、自己位置推定結果統合部２２６に自己位置不定判定部２７１が設けられた点である。
　自己位置不定判定部２７１は、例えば、時系列の自己位置の推定結果の変化量や電源投入直後などで、自己位置不定状態になったか否かを判定し、自己位置不定状態であるとみなされた場合、動作モードを通常モードから自己位置不定モードに遷移させ、自己位置推定結果統合部２２６を制御して、現在情報自己位置を自己位置推定結果として選択させる。
　非特徴領域特徴量抽出部２５１は、自己位置不定モードにおいて、位置場所変換部２５７により現在情報自己位置に基づいて、位置場所変換部２５７により変換された場所の情報より、場所関連非特徴部DB２２８より場所関連非特徴部を読み出す。そして、非特徴領域特徴量抽出部２５１は、デプス画像生成部２２０より供給されるデプス画像から特徴領域をマスクした画像より得られる特徴量を、非特徴領域特徴量として抽出して自己位置検査部２５２に供給する。
　自己位置検査部２５２は、自己位置不定モードにおいて、位置非特徴領域特徴量DB２５６にアクセスし、現在情報自己位置の推定結果に対応付けて、予め登録されている非特徴領域特徴量を読み出す。そして、自己位置検査部２５２は、非特徴領域特徴量抽出部２５１より供給される非特徴領域特徴量との類似度に基づいて、現在情報自己位置を検査し、検査結果として、類似度の情報を自己位置推定結果統合部２２６に出力する。
　自己位置推定結果統合部２２６の自己位置不定判定部２７１は、類似度が所定値よりも高く、求められる現在情報自己位置の精度が十分であるとみなせるときには、動作モードを、自己位置不定モードから通常モードに復帰させる。
　特徴領域マスク生成部２５３は、位置画像特徴量登録処理において、時系列情報自己位置推定部２２１より供給される時系列情報自己位置により特定される場所に基づいて、場所と場所関連非特徴部とを対応付けて登録している場所関連非特徴部DB２２８より、対応付けて登録されている場所関連非特徴部を読み出す。そして、特徴領域マスク生成部２５３は、読み出した場所関連非特徴部に基づいて、特徴領域マスクを生成して、デプス画像生成部２２０によりステレオカメラ２０３のステレオ画像から生成されたデプス画像に対して、特徴領域マスクを付加して、特徴量抽出部２５４に出力する。
　特徴量抽出部２５４は、特徴領域マスクが付加されたデプス画像より特徴量を抽出して、非特徴領域特徴量として位置非特徴領域特徴量登録部２５５に出力する。
　位置非特徴領域特徴量登録部２５５は、位置画像特徴量登録処理において、特徴量抽出部２５４より供給される画像特徴量である非特徴領域特徴量を、時系列情報自己位置推定結果と対応付けて位置非特徴領域特徴量DB２５６に登録する。
　場所関連非特徴部DB２２８において、場所に対応付けて登録されている場所関連非特徴部とは、例えば、図５の左部で示されるように、場所に対応付けて予め登録される、現在情報自己位置を特定するために用いられるデプス画像内のうち、他の位置との区別に有用でない特徴量が多く存在する範囲を特定する情報である。
　＜図１３の自律移動制御部による位置画像特徴量登録処理＞
　次に、図１４のフローチャートを参照して、図１３の自律移動制御部１１０による位置画像特徴量登録処理について説明する。
　ステップＳ１０１において、ステレオカメラ２０３は、移動体１１の周囲の視差画像を撮像して、検出部１３１を介して、デプス画像生成部２２０に現在情報として出力する。
　ステップＳ１０２において、デプス画像生成部２２０は、ステレオカメラ２０３より供給される視差画像に基づいて、デプス画像（距離画像）を生成する。
　ステップＳ１０３において、位置場所変換部２３０は、時系列情報自己位置推定部２２１の推定結果である時系列情報自己位置を取得し、時系列情報自己位置に対応する場所の情報に変換して、非特徴領域マスク生成部２２７および特徴領域マスク生成部２５３に供給する。
　ステップＳ１０４において、非特徴領域マスク生成部２２７は、場所関連非特徴部DB２２８にアクセスし、場所に対応付けて登録されている場所関連非特徴部を読み出し、デプス画像内における、位置の特定に有用でない特徴量を多く含む範囲をマスクする非特徴領域マスクを生成する。
　ステップＳ１０５において、非特徴領域マスク生成部２２７は、デプス画像に対して、生成した非特徴領域マスクを付加して、特徴量抽出部２２３に出力する。
　ステップＳ１０６において、特徴量抽出部２２３は、非特徴領域マスクが付加されたデプス画像より画像特徴量を抽出し、位置画像特徴量登録部２２９に出力する。
　ステップＳ１０７において、位置画像特徴量登録部２２９は、時系列情報自己位置の推定結果と、画像特徴量とを対応付けて、位置画像特徴量DB２２５に登録する。
　ステップＳ１０８において、特徴領域マスク生成部２５３は、場所関連非特徴部DB２２８にアクセスし、時系列情報自己位置に基づいて、対応付けて登録されている場所関連非特徴部を読み出し、デプス画像内における、位置の特定に有用でない特徴量を多く含む範囲をマスクする特徴領域マスクを生成する。
　ステップＳ１０９において、特徴領域マスク生成部２５３は、デプス画像に対して、生成した特徴領域マスクを付加して、特徴量抽出部２５４に出力する。
　ステップＳ１１０において、特徴量抽出部２５４は、特徴領域マスクが付加されたデプス画像より画像特徴量を抽出し、非特徴領域特徴量として、位置非特徴領域特徴量登録部２５５に出力する。
　ステップＳ１１１において、位置非特徴領域特徴量登録部２５５は、時系列情報自己位置の推定結果と、非特徴領域特徴量とを対応付けて、位置非特徴領域特徴量DB２５６に登録する。
　以上の処理により、位置に対応付けて登録される画像特徴量は、デプス画像のうち、他の位置との区別に有用ではない画像特徴量が多く含まれる範囲がマスクされて、画像特徴量が抽出され、他の位置との区別に有用な多くの画像特徴量が生成されると共に、さらに、位置に対応付けて登録される非特徴領域特徴量は、デプス画像のうち、他の位置との区別に有用な画像特徴量が多く含まれる範囲がマスクされて、非特徴領域特徴量として抽出され、他の位置との区別に有用でない多くの非特徴領域特徴量が位置に対応付けて位置非特徴領域特徴量DB２５６が生成される。
　＜図１３の自律移動制御部による自律移動制御処理＞
　次に、図１５のフローチャートを参照して、図１３の自律移動制御部１１０における自律移動制御処理について説明する。
　ステップＳ１２１において、時系列情報自己位置推定部２２１は、時系列情報自己位置推定処理を実行して、時系列情報自己位置を推定して、自己位置推定結果統合部２２６に出力する。尚、時系列情報自己位置推定処理については、図７のフローチャートを参照して説明した処理と同様の処理であるので、その説明は省略する。
　ステップＳ１２２において、現在情報自己位置推定部２２４は、現在情報自己位置推定処理を実行して、現在情報自己位置を推定して、自己位置推定結果統合部２２６に出力する。尚、現在情報自己位置推定処理については、図８のフローチャートを参照して説明した処理と同様の処理であるので、その説明は省略する。
　ステップＳ１２３において、自己位置推定結果統合部２２６は、時系列情報自己位置および現在情報自己位置を、例えば、カルマンフィルタや粒子フィルタにより統合し、統合した自己位置の情報を自己位置推定結果として状況認識部１５２に出力する。
　ステップＳ１２４において、自己位置不定判定部２７１は、自己位置不定状態であるか否かを判定する。例えば、自己位置不定判定部２７１は、例えば、それまでの自己位置推定結果の変化量が所定値より大きく変化しているか否か、または、電源投入直後であるか否かに基づいて、自己位置不定状態であるか否かを判定する。
　ステップＳ１２４において、自己位置不定状態ではないと判定された場合、処理は、ステップＳ１２５に進む。
　ステップＳ１２５において、自己位置推定結果統合部２２６は、自己位置推定結果と、その自己位置推定結果を特定するために利用した現在情報である視差画像より求められたデプス画像の特徴量とを対応付けて位置画像特徴量DB２２５に登録する。
　ステップＳ１２６において、状況認識部１５２は、自己位置推定結果に基づいて、移動体の状況、および移動体の周囲の状況の認識処理を行い、認識結果を行動計画処理部１２２に出力する。
　ステップＳ１２７において、行動計画処理部１２２のルート計画部１６１は、目的地までのルートを計画し、行動計画部１６２に出力する。
　ステップＳ１２８において、行動計画部１６２は、目的地までのルートに基づいて、行動を計画し、行動計画として動作計画部１６３に出力する。
　ステップＳ１２９において、動作計画部１６３は、行動計画部１６２より供給された行動計画に基づいて、動作を計画し、動作計画として行動制御処理部１２３に出力する。
　ステップＳ１３０において、行動制御処理部１２３は、動作計画に基づいて、アクチュエータ群１１３の各アクチュエータ２３ａの動作を制御して、移動体１１の行動を制御する。
　ステップＳ１３１において、終了が指示されたか否かが判定され、終了が指示されていないとみなされた場合、処理は、ステップＳ１２１に戻る。すなわち、自己位置不定状態とならない限り、ステップＳ１２１乃至Ｓ１３１の処理、すなわち、動作状態が通常モードである場合の処理が繰り返されて、移動体１１は、自律的な移動を継続する。
　一方、ステップＳ１２４において、自己位置不定状態であるとみなされた場合、処理は、ステップＳ１３２に進む。
　ステップＳ１３２において、自己位置不定判定部２７１は、動作モードを自己位置不定モードに切り替えて、自己位置不定モード処理を実行させ、現在情報自己位置による自律移動制御処理を実現できるように制御する。そして、現在情報自己位置が適切に推定できる状態になるまで、自己位置不定モードの処理が継続され、適切な現在情報自己位置が推定できる状態になった場合、動作モードが、自己位置不定モードから通常モード（ステップＳ１２１乃至Ｓ１３１の処理）に復帰する。
　＜自己位置不定モード処理＞
　次に、図１６のフローチャートを参照して、自己位置不定モード処理について説明する。
　ステップＳ１５１において、現在情報自己位置推定部２２４は、現在情報自己位置推定処理を実行して、現在情報自己位置を推定して、自己位置推定結果統合部２２６および位置場所変換部２５７に出力する。尚、現在情報自己位置推定処理については、図８のフローチャートを参照して説明した処理と同様の処理であるので、その説明は省略する。
　ステップＳ１５２において、位置場所変換部２５７は、現在情報自己位置に対応付けて登録されている場所の情報を読み出して非特徴領域特徴量抽出部２５１に出力する。
　ステップＳ１５３において、非特徴領域特徴量抽出部２５１は、場所関連非特徴部DB２２８にアクセスし、現在情報自己位置に対応する場所に対応付けて登録されている場所関連非特徴部を抽出する。
　ステップＳ１５４において、非特徴領域特徴量抽出部２５１は、現在情報自己位置に応じた場所に対応付けて登録されている場所関連非特徴部に基づいて、デプス画像に対して特徴領域をマスクして、画像特徴量を抽出し、非特徴領域特徴量として自己位置検査部２５２に出力する。
　ステップＳ１５５において、自己位置検査部２５２は、位置非特徴領域特徴量DB２５６にアクセスし、現在情報自己位置推定結果に対応付けて登録されている非特徴領域特徴量を読み出す。
　ステップＳ１５６において、自己位置検査部２５２は、現在情報自己位置推定結果に対応付けて登録されている非特徴領域特徴量と、デプス画像より抽出された非特徴領域特徴量との類似度を計算する。
　ステップＳ１５７において、自己位置検査部２５２は、類似度が所定の閾値よりも高いか否かにより、現在情報自己位置が所定の精度で求められているか否かを判定する。すなわち、現在情報自己位置が十分な精度で求められていれば、両者は一致するため、類似度は所定の閾値よりも高くなるはずであるが、現在情報自己位置が十分な精度で求められていなければ、両者は一致せず、類似度も所定の閾値よりも低くなる。例えば、類似度が所定の閾値よりも低く、現在情報自己位置の精度が十分ではないとみなされた場合、処理は、ステップＳ１５８に進む。
　ステップＳ１５８において、自己位置推定結果統合部２２６は、現在情報自己位置を自己位置推定結果として、状況認識部１５２に出力する。
　ステップＳ１５９において、状況認識部１５２は、自己位置推定結果に基づいて、移動体の状況、および移動体の周囲の状況の認識処理を行い、認識結果を行動計画処理部１２２に出力する。
　ステップＳ１６０において、行動計画処理部１２２のルート計画部１６１は、目的地までのルートを計画し、行動計画部１６２に出力する。
　ステップＳ１６１において、行動計画部１６２は、目的地までのルートに基づいて、行動を計画し、行動計画として動作計画部１６３に出力する。
　ステップＳ１６２において、動作計画部１６３は、行動計画部１６２より供給された行動計画に基づいて、動作を計画し、動作計画として行動制御処理部１２３に出力する。
　ステップＳ１６３において、行動制御処理部１２３は、動作計画に基づいて、アクチュエータ群１１３の各アクチュエータ２３ａの動作を制御して、移動体１１の行動を制御する。
　ステップＳ１６４において、終了が指示されたか否かが判定され、終了が指示されていないとみなされた場合、処理は、ステップＳ１５１に戻る。すなわち、終了が指示されるまで、ステップＳ１５１乃至Ｓ１６４の処理が繰り返されて、移動体１１は、自己位置不定モードのまま、現在情報自己位置に基づいて、自律的な移動を継続する。
　一方、ステップＳ１６４において、終了が指示された場合、自律移動制御処理が終了する。すなわち、この場合、自己位置不定モードのまま自律移動制御処理が終了する。
　また、ステップＳ１５７において、類似度が所定の閾値よりも高く、現在情報自己位置推定結果により予め求められている非特徴領域特徴量が、現在情報自己位置に対応して求められる場所関連非特徴部に基づいて、デプス画像から得られる非特徴領域特徴量と一致する場合、現在情報自己位置が所定の精度以上であるとみなせる。このため、処理は、図１５のステップＳ１３１に戻り、動作モードが、自己位置不定モードから通常モードに戻り、それ以降の処理が繰り返される。
　すなわち、時系列情報自己位置は、絶対位置を取得することができないので、自己位置不定状態となった場合については、一度は現在情報自己位置により、絶対位置を取得する必要がある。そこで、以上のような処理により、自己位置不定状態となった場合については、現在情報自己位置が所定の精度で絶対位置を取得できる状態になるまで、現在情報自己位置を自己位置推定結果として利用し、自己位置推定結果がある程度の精度となった後のタイミングから時系列情報自己位置とを併せて、自己位置を推定させるようにする。
　尚、以上においては、現在情報自己位置推定処理にあたっては、ステレオカメラ２０３により撮像されたステレオ画像よりデプス画像生成部２２０によりデプス画像を生成して、デプス画像に対して、場所関連非特徴部に応じたマスクを施した後、画像特徴量を抽出することで、位置画像特徴量DB２２５より対応付けて登録された位置情報を読み出すことで、現在情報自己位置を推定する例について説明してきたが、ステレオカメラ２０３に代えて、例えば、LIDARを用いた３次元点群データを３次元画像として利用することにより、現在情報自己位置を推定するようにしてもよい。
　また、２次元の画像と、ToF（Time of Flight）センサとを組み合わせて、デプス画像を生成して現在情報自己位置を推定するようにしてもよい。
　＜＜５．ソフトウェアにより実行させる例＞＞
　ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
　図１７は、汎用のコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
　入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
　CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　尚、図１７におけるCPU１００１が、図３における自律移動制御部１１０の機能を実現させる。また、図１７における記憶部１００８が、図３における記憶部１０９を実現する。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　尚、本開示は、以下のような構成も取ることができる。
＜１＞　自己位置を推定する自己位置推定部と、
　周囲の画像を撮像する撮像部と、
　前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成部と、
　第１のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出部と、
　前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部とを含む
　制御装置。
＜２＞　前記第１のマスク生成部は、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成する
　＜１＞に記載の制御装置。
＜３＞　前記場所に対応付けて、前記場所関連非特徴部を登録する場所関連非特徴部データベースをさらに含み、
　前記第１のマスク生成部は、前記自己位置に対応する場所に対応付けて、前記場所関連非特徴部データベースに登録された前記場所関連非特徴部に基づいて、前記周囲の画像にいて前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成する
　＜２＞に記載の制御装置。
＜４＞　前記第１の特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より、画像特徴量を抽出し、
　前記データベースにおいて、前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する現在情報自己位置推定部をさらに含む
　＜１＞乃至＜３＞のいずれかに記載の制御装置。
＜５＞　前記現在情報自己位置推定部により推定された現在情報自己位置と、前記自己位置推定部により推定された自己位置とを統合し、自己位置推定結果として出力する統合部をさらに含み、
　前記統合部は、前記自己位置推定結果と、前記第１の特徴量抽出部により抽出された画像特徴量とを対応付けて、前記データベースに登録する
　＜４＞に記載の制御装置。
＜６＞　前記自己位置に対応する場所に対応付けて、前記場所関連非特徴部を登録する場所関連非特徴部データベースと、
　前記データベースに登録された位置に基づいて特定される同一の場所における複数の前記画像特徴量において、統計的に類似する範囲を、前記同一の場所に対応付けて、新規の前記場所関連非特徴部として生成し、前記場所関連非特徴部データベースに登録する場所関連非特徴部生成登録部をさらに含む
　＜５＞に記載の制御装置。
＜７＞　前記周囲の画像において自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である特徴領域にマスクを生成する第２のマスク生成部と、
　前記第２のマスク生成部によりマスクされた前記周囲の画像より画像特徴量を非特徴領域特徴量として抽出する第２の特徴量抽出部と、
　前記非特徴領域特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けて位置非特徴領域特徴量データベースに登録する位置非特徴領域特徴量データベース登録部と、
　前記現在情報自己位置に対応する場所の場所関連非特徴部に基づいて、前記周囲の画像に対して、非特徴領域特徴量を抽出する非特徴領域特徴量抽出部と、
　前記非特徴領域特徴量抽出部により抽出された前記非特徴領域特徴量と、前記現在情報自己位置に対応付けて、前記位置非特徴領域特徴量データベースに登録されている前記非特徴領域特徴量との類似度により、前記現在情報自己位置を検査する検査部とをさらに含む
　＜５＞に記載の制御装置。
＜８＞　前記統合部より出力される自己位置推定結果の時系列の変化量に基づいて、または、電源投入の有無により、自己位置不定状態であるか否かを判定する自己位置不定状態判定部をさらに含み、
　前記自己位置不定状態である場合、前記統合部は、前記現在情報自己位置を自己位置推定結果として出力し、
　前記検査部は、前記非特徴領域特徴量抽出部により抽出された前記非特徴領域特徴量と、前記現在情報自己位置に対応して、前記位置非特徴領域特徴量データベースに登録されている前記非特徴領域特徴量との類似度により、前記現在情報自己位置を検査し、
　前記類似度が所定の閾値よりも低い場合、前記自己位置不定状態であるものとみなし、前記統合部は、前記現在情報自己位置を自己位置推定結果として出力し、
　前記類似度が所定の閾値よりも高い場合、前記自己位置不定状態が解消したものとみなし、前記統合部は、前記現在情報自己位置推定部により推定された現在情報自己位置と、前記自己位置推定部により推定された自己位置とを統合し、自己位置推定結果として出力する
　＜７＞に記載の制御装置。
＜９＞　前記場所関連非特徴部は、前記自己位置に対応する場所と、場所関連非特徴部とのテーブルより構成される
　＜１＞乃至＜８＞のいずれかに記載の制御装置。
＜１０＞　前記場所関連非特徴部は、前記自己位置に対応する場所と、前記場所を抽象化した場所属性とのテーブル、および、前記場所属性と、前記場所関連非特徴部とのテーブルより構成される
　＜９＞に記載の制御装置。
＜１１＞　前記撮像部は、ステレオカメラであり、
　前記ステレオカメラにより撮像される、前記周囲の画像は、ステレオ画像であり、
　前記ステレオ画像に基づいて、デプス画像を生成するデプス画像生成部をさらに含み、
　前記第１のマスク生成部は、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記デプス画像からなる前記周囲の画像にマスクを生成し、
　前記第１の特徴量抽出部は、前記デプス画像からなる、前記マスクされた前記周囲の画像より、画像特徴量を抽出する
　＜１＞乃至＜１０＞のいずれかに記載の制御装置。
＜１２＞　前記自己位置推定部は、
　　時系列に供給されるセンサ情報からなる時系列情報を用いて、前記自己位置を推定し、推定結果を時系列情報自己位置として出力する時系列情報自己位置推定部を含む
　＜１＞乃至＜１１＞のいずれかに記載の制御装置。
＜１３＞　前記時系列情報は、LIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）により検出される３次元点群データ、および車輪エンコーダにより検出される位置情報、姿勢、速度、加速度、および角速度である
　＜１２＞に記載の制御装置。
＜１４＞　自己位置を推定する自己位置推定処理と、
　周囲の画像を撮像する撮像処理と、
　前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成処理と、
　第１のマスク生成処理によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出処理と、
　前記画像特徴量と、前記自己位置推定処理により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録処理とを含む
　制御方法。
＜１５＞　自己位置を推定する自己位置推定部と、
　周囲の画像を撮像する撮像部と、
　前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成部と、
　第１のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出部と、
　前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と
　してコンピュータを機能させるプログラム。
＜１６＞　自己位置を推定する自己位置推定部と、
　周囲の画像を撮像する撮像部と、
　前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成部と、
　第１のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出部と、
　前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と
　を含む移動体。
＜１７＞　自己位置を推定する自己位置推定部と、
　周囲の画像を撮像する撮像部と、
　前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、
　マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、
　前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と、
　前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部とをさらに含み、
　前記現在情報自己位置を推定する場合、
　　前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、
　　前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する
　制御装置。
＜１８＞　自己位置を推定する自己位置推定処理と、
　周囲の画像を撮像する撮像処理と、
　前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成処理と、
　マスク生成処理によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出処理と、
　前記画像特徴量と、前記自己位置推定処理により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録処理と、
　前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定処理とをさらに含み、
　前記現在情報自己位置を推定する場合、
　　前記特徴量抽出処理は、前記撮像処理により撮像された前記周囲の画像より前記画像特徴量を抽出し、
　　前記現在情報自己位置推定処理は、前記データベースにおいて、前記特徴量抽出処理により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する
　制御方法。
＜１９＞　自己位置を推定する自己位置推定部と、
　周囲の画像を撮像する撮像部と、
　前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、
　マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、
　前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースに登録する登録部と、
　前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部としてコンピュータを機能させ、
　前記現在情報自己位置を推定する場合、
　　前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、
　　前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する
　プログラム。
＜２０＞　自己位置を推定する自己位置推定部と、
　周囲の画像を撮像する撮像部と、
　前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、
　マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、
　前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と、
　前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部とをさらに含み、
　前記現在情報自己位置を推定する場合、
　　前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、
　　前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する
　移動体。
　１１　移動体，　２１　センサ群，　２１ａ，２１ａ－１乃至２１ａ－ｎ　センサ，　２２　自律移動制御部，　２３　アクチュエータ群，　２３ａ，２３ａ－１乃至２３ａ－ｎ　アクチュエータ，　３１　認識処理部，　３２　行動計画処理部，　３３　行動制御処理部，　４１　ルート計画部，　４２　行動計画部，　４３　動作計画部，　１０２　データ取得部，　１０５　出力制御部，　１０６　出力部，　１０７　駆動系制御部，　１０８　駆動系システム，　１１０　自律移動制御部，　１１２　センサ群，　１１３　アクチュエータ群，　１２１　認識処理部，　１２２　行動計画処理部，　１２３　行動制御処理部，　１３４　計画部，　１６１　ルート計画部，　１６２　行動計画部，　１６３　動作計画部，　２０１　LIDAR，　２０２　車輪エンコーダ，　２０３　ステレオカメラ，　２２０　デプス画像生成部，　２２１　時系列情報自己位置推定部，　２２２　時系列情報DB，　２２３　特徴量抽出部，　２２４　現在情報自己位置推定部，　２２５　位置画像特徴量DB，　２２６　自己位置推定結果統合部，　２２７　非特徴領域マスク生成部，　２２８　場所関連非特徴部DB，　２２９　位置画像特徴量登録部，　２３０　位置場所変換部，　２４１　場所関連非特徴部生成登録部，　２５１　非特徴領域特徴量抽出部，　２５２　自己位置検査部，　２５３　特徴領域マスク生成部，　２５４　特徴量抽出部，　２５５　位置非特徴領域特徴量登録部，　２５６　位置非特徴領域特徴量DB，　２５７　位置場所変換部，　２７１　自己位置不定状態判定部

Claims (20)

  1. 　自己位置を推定する自己位置推定部と、
    　周囲の画像を撮像する撮像部と、
    　前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成部と、
    　第１のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出部と、
    　前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部とを含む
    　制御装置。
  2. 　前記第１のマスク生成部は、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成する
    　請求項１に記載の制御装置。
  3. 　前記場所に対応付けて、前記場所関連非特徴部を登録する場所関連非特徴部データベースをさらに含み、
    　前記第１のマスク生成部は、前記自己位置に対応する場所に対応付けて、前記場所関連非特徴部データベースに登録された前記場所関連非特徴部に基づいて、前記周囲の画像にいて前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成する
    　請求項２に記載の制御装置。
  4. 　前記第１の特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より、画像特徴量を抽出し、
    　前記データベースにおいて、前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する現在情報自己位置推定部をさらに含む
    　請求項１に記載の制御装置。
  5. 　前記現在情報自己位置推定部により推定された現在情報自己位置と、前記自己位置推定部により推定された自己位置とを統合し、自己位置推定結果として出力する統合部をさらに含み、
    　前記統合部は、前記自己位置推定結果と、前記第１の特徴量抽出部により抽出された画像特徴量とを対応付けて、前記データベースに登録する
    　請求項４に記載の制御装置。
  6. 　前記自己位置に対応する場所に対応付けて、前記場所関連非特徴部を登録する場所関連非特徴部データベースと、
    　前記データベースに登録された位置に基づいて特定される同一の場所における複数の前記画像特徴量において、統計的に類似する範囲を、前記同一の場所に対応付けて、新規の前記場所関連非特徴部として生成し、前記場所関連非特徴部データベースに登録する場所関連非特徴部生成登録部をさらに含む
    　請求項５に記載の制御装置。
  7. 　前記周囲の画像において自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である特徴領域にマスクを生成する第２のマスク生成部と、
    　前記第２のマスク生成部によりマスクされた前記周囲の画像より画像特徴量を非特徴領域特徴量として抽出する第２の特徴量抽出部と、
    　前記非特徴領域特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けて位置非特徴領域特徴量データベースに登録する位置非特徴領域特徴量データベース登録部と、
    　前記現在情報自己位置に対応する場所の場所関連非特徴部に基づいて、前記周囲の画像に対して、非特徴領域特徴量を抽出する非特徴領域特徴量抽出部と、
    　前記非特徴領域特徴量抽出部により抽出された前記非特徴領域特徴量と、前記現在情報自己位置に対応付けて、前記位置非特徴領域特徴量データベースに登録されている前記非特徴領域特徴量との類似度により、前記現在情報自己位置を検査する検査部とをさらに含む
    　請求項５に記載の制御装置。
  8. 　前記統合部より出力される自己位置推定結果の時系列の変化量に基づいて、または、電源投入の有無により、自己位置不定状態であるか否かを判定する自己位置不定状態判定部をさらに含み、
    　前記自己位置不定状態である場合、前記統合部は、前記現在情報自己位置を自己位置推定結果として出力し、
    　前記検査部は、前記非特徴領域特徴量抽出部により抽出された前記非特徴領域特徴量と、前記現在情報自己位置に対応して、前記位置非特徴領域特徴量データベースに登録されている前記非特徴領域特徴量との類似度により、前記現在情報自己位置を検査し、
    　前記類似度が所定の閾値よりも低い場合、前記自己位置不定状態であるものとみなし、前記統合部は、前記現在情報自己位置を自己位置推定結果として出力し、
    　前記類似度が所定の閾値よりも高い場合、前記自己位置不定状態が解消したものとみなし、前記統合部は、前記現在情報自己位置推定部により推定された現在情報自己位置と、前記自己位置推定部により推定された自己位置とを統合し、自己位置推定結果として出力する
    　請求項７に記載の制御装置。
  9. 　前記場所関連非特徴部は、前記自己位置に対応する場所と、場所関連非特徴部とのテーブルより構成される
    　請求項１に記載の制御装置。
  10. 　前記場所関連非特徴部は、前記自己位置に対応する場所と、前記場所を抽象化した場所属性とのテーブル、および、前記場所属性と、前記場所関連非特徴部とのテーブルより構成される
    　請求項９に記載の制御装置。
  11. 　前記撮像部は、ステレオカメラであり、
    　前記ステレオカメラにより撮像される、前記周囲の画像は、ステレオ画像であり、
    　前記ステレオ画像に基づいて、デプス画像を生成するデプス画像生成部をさらに含み、
    　前記第１のマスク生成部は、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記デプス画像からなる前記周囲の画像にマスクを生成し、
    　前記第１の特徴量抽出部は、前記デプス画像からなる、前記マスクされた前記周囲の画像より、画像特徴量を抽出する
    　請求項１に記載の制御装置。
  12. 　前記自己位置推定部は、
    　　時系列に供給されるセンサ情報からなる時系列情報を用いて、前記自己位置を推定し、推定結果を時系列情報自己位置として出力する時系列情報自己位置推定部を含む
    　請求項１に記載の制御装置。
  13. 　前記時系列情報は、LIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）により検出される３次元点群データ、および車輪エンコーダにより検出される位置情報、姿勢、速度、加速度、および角速度である
    　請求項１２に記載の制御装置。
  14. 　自己位置を推定する自己位置推定処理と、
    　周囲の画像を撮像する撮像処理と、
    　前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成処理と、
    　第１のマスク生成処理によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出処理と、
    　前記画像特徴量と、前記自己位置推定処理により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録処理とを含む
    　制御方法。
  15. 　自己位置を推定する自己位置推定部と、
    　周囲の画像を撮像する撮像部と、
    　前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成部と、
    　第１のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出部と、
    　前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と
    　してコンピュータを機能させるプログラム。
  16. 　自己位置を推定する自己位置推定部と、
    　周囲の画像を撮像する撮像部と、
    　前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成部と、
    　第１のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出部と、
    　前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と
    　を含む移動体。
  17. 　自己位置を推定する自己位置推定部と、
    　周囲の画像を撮像する撮像部と、
    　前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、
    　マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、
    　前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と、
    　前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部とをさらに含み、
    　前記現在情報自己位置を推定する場合、
    　　前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、
    　　前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する
    　制御装置。
  18. 　自己位置を推定する自己位置推定処理と、
    　周囲の画像を撮像する撮像処理と、
    　前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成処理と、
    　マスク生成処理によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出処理と、
    　前記画像特徴量と、前記自己位置推定処理により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録処理と、
    　前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定処理とをさらに含み、
    　前記現在情報自己位置を推定する場合、
    　　前記特徴量抽出処理は、前記撮像処理により撮像された前記周囲の画像より前記画像特徴量を抽出し、
    　　前記現在情報自己位置推定処理は、前記データベースにおいて、前記特徴量抽出処理により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する
    　制御方法。
  19. 　自己位置を推定する自己位置推定部と、
    　周囲の画像を撮像する撮像部と、
    　前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、
    　マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、
    　前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースに登録する登録部と、
    　前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部としてコンピュータを機能させ、
    　前記現在情報自己位置を推定する場合、
    　　前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、
    　　前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する
    　プログラム。
  20. 　自己位置を推定する自己位置推定部と、
    　周囲の画像を撮像する撮像部と、
    　前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、
    　マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、
    　前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と、
    　前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部とをさらに含み、
    　前記現在情報自己位置を推定する場合、
    　　前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、
    　　前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する
    　移動体。
PCT/JP2018/046018 2017-12-28 2018-12-14 制御装置、および制御方法、プログラム、並びに移動体 WO2019131198A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112018006730.0T DE112018006730T5 (de) 2017-12-28 2018-12-14 Steuervorrichtung und steuerverfahren, programm und mobiles objekt
US16/956,664 US11822341B2 (en) 2017-12-28 2018-12-14 Control device, control method, and mobile object to estimate the mobile object's self-position
JP2019562988A JP7151725B2 (ja) 2017-12-28 2018-12-14 制御装置、および制御方法、プログラム、並びに移動体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017253150 2017-12-28
JP2017-253150 2017-12-28

Publications (1)

Publication Number Publication Date
WO2019131198A1 true WO2019131198A1 (ja) 2019-07-04

Family

ID=67067216

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/046018 WO2019131198A1 (ja) 2017-12-28 2018-12-14 制御装置、および制御方法、プログラム、並びに移動体

Country Status (4)

Country Link
US (1) US11822341B2 (ja)
JP (1) JP7151725B2 (ja)
DE (1) DE112018006730T5 (ja)
WO (1) WO2019131198A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021132477A1 (ja) * 2019-12-26 2021-07-01 株式会社豊田自動織機 自己位置推定装置、移動体、自己位置推定方法、及び自己位置推定プログラム
JP2022039689A (ja) * 2020-08-28 2022-03-10 株式会社豊田自動織機 自律走行車
WO2023085183A1 (ja) * 2021-11-10 2023-05-19 ソニーグループ株式会社 情報処理装置、情報処理方法および移動体
WO2023090213A1 (ja) * 2021-11-18 2023-05-25 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11348269B1 (en) * 2017-07-27 2022-05-31 AI Incorporated Method and apparatus for combining data to construct a floor plan
JP7353747B2 (ja) * 2018-01-12 2023-10-02 キヤノン株式会社 情報処理装置、システム、方法、およびプログラム
US11714411B2 (en) * 2018-03-19 2023-08-01 Honda Motor Co., Ltd. Autonomous traveling work machine
CN109344801A (zh) * 2018-10-26 2019-02-15 京东方科技集团股份有限公司 一种物体检测方法及装置
JP7273696B2 (ja) * 2019-11-15 2023-05-15 株式会社東芝 位置推定装置及びシステム
CN111079669A (zh) * 2019-12-20 2020-04-28 京东方科技集团股份有限公司 一种图像处理方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11219435A (ja) * 1998-02-03 1999-08-10 Honda Motor Co Ltd 自動車用白線検出装置
JP2007155699A (ja) * 2005-12-08 2007-06-21 Korea Electronics Telecommun カメラ及び標識を用いた移動ロボットの測位システム及び方法
JP2009068852A (ja) * 2007-09-10 2009-04-02 Tokyo Metropolitan Univ 環境認識システム、自律型移動体および環境認識プログラム
JP2011022157A (ja) * 2000-05-26 2011-02-03 Honda Motor Co Ltd 位置検出装置、位置検出方法、及び位置検出プログラム
JP2017021427A (ja) * 2015-07-07 2017-01-26 トヨタ自動車株式会社 自己位置推定装置、自己位置推定方法及びプログラム
WO2017038012A1 (ja) * 2015-08-28 2017-03-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 地図生成方法、自己位置推定方法、ロボットシステム、およびロボット

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6936414B2 (en) 1999-12-22 2005-08-30 Abbott Laboratories Nucleic acid isolation method and kit
JP4672175B2 (ja) 2000-05-26 2011-04-20 本田技研工業株式会社 位置検出装置、位置検出方法、及び位置検出プログラム
JP5251629B2 (ja) 2008-05-20 2013-07-31 株式会社リコー 画像処理装置、撮像装置、画像処理方法、及び、コンピュータプログラム
JP2010033447A (ja) 2008-07-30 2010-02-12 Toshiba Corp 画像処理装置および画像処理方法
JP5036084B2 (ja) * 2010-10-14 2012-09-26 シャープ株式会社 映像処理装置、映像処理方法、及びプログラム
JP5699697B2 (ja) 2011-03-07 2015-04-15 セイコーエプソン株式会社 ロボット装置、位置姿勢検出装置、位置姿勢検出プログラム、および位置姿勢検出方法
JP2014512522A (ja) * 2011-03-18 2014-05-22 ブリヂストン アメリカズ タイヤ オペレイションズ エルエルシー 停止距離性能効率を分析する方法
CN103492972B (zh) * 2011-04-21 2016-06-22 金哲宇 可3维移动和旋转输入的通用运动控制器
US9488487B2 (en) * 2013-11-01 2016-11-08 Yahoo! Inc. Route detection in a trip-oriented message data communications system
US9632504B1 (en) * 2015-04-30 2017-04-25 X Development Llc Robotic navigation based on building surface contours
US10091436B2 (en) * 2015-05-13 2018-10-02 Samsung Electronics Co., Ltd. Electronic device for processing image and method for controlling the same
JP6849330B2 (ja) 2015-08-28 2021-03-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 地図生成方法、自己位置推定方法、ロボットシステム、およびロボット
JP2017187911A (ja) 2016-04-05 2017-10-12 シャープ株式会社 販売管理システム
JP6736334B2 (ja) * 2016-04-07 2020-08-05 東芝テック株式会社 画像処理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11219435A (ja) * 1998-02-03 1999-08-10 Honda Motor Co Ltd 自動車用白線検出装置
JP2011022157A (ja) * 2000-05-26 2011-02-03 Honda Motor Co Ltd 位置検出装置、位置検出方法、及び位置検出プログラム
JP2007155699A (ja) * 2005-12-08 2007-06-21 Korea Electronics Telecommun カメラ及び標識を用いた移動ロボットの測位システム及び方法
JP2009068852A (ja) * 2007-09-10 2009-04-02 Tokyo Metropolitan Univ 環境認識システム、自律型移動体および環境認識プログラム
JP2017021427A (ja) * 2015-07-07 2017-01-26 トヨタ自動車株式会社 自己位置推定装置、自己位置推定方法及びプログラム
WO2017038012A1 (ja) * 2015-08-28 2017-03-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 地図生成方法、自己位置推定方法、ロボットシステム、およびロボット

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021132477A1 (ja) * 2019-12-26 2021-07-01 株式会社豊田自動織機 自己位置推定装置、移動体、自己位置推定方法、及び自己位置推定プログラム
JP2021105831A (ja) * 2019-12-26 2021-07-26 株式会社豊田自動織機 自己位置推定装置、移動体、自己位置推定方法、及び自己位置推定プログラム
JP7283378B2 (ja) 2019-12-26 2023-05-30 株式会社豊田自動織機 自己位置推定装置、移動体、自己位置推定方法、及び自己位置推定プログラム
JP2022039689A (ja) * 2020-08-28 2022-03-10 株式会社豊田自動織機 自律走行車
JP7415853B2 (ja) 2020-08-28 2024-01-17 株式会社豊田自動織機 自律走行車
WO2023085183A1 (ja) * 2021-11-10 2023-05-19 ソニーグループ株式会社 情報処理装置、情報処理方法および移動体
WO2023090213A1 (ja) * 2021-11-18 2023-05-25 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
DE112018006730T5 (de) 2020-10-01
JP7151725B2 (ja) 2022-10-12
US20200402256A1 (en) 2020-12-24
JPWO2019131198A1 (ja) 2020-12-24
US11822341B2 (en) 2023-11-21

Similar Documents

Publication Publication Date Title
WO2019131198A1 (ja) 制御装置、および制御方法、プログラム、並びに移動体
JP7043755B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
JP7259749B2 (ja) 情報処理装置、および情報処理方法、プログラム、並びに移動体
US11427218B2 (en) Control apparatus, control method, program, and moving body
US11537131B2 (en) Control device, control method, and mobile body
WO2019130945A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
WO2019111701A1 (ja) 制御装置、および制御方法、プログラム、並びに移動体
JP7143857B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
WO2019073920A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US20210027486A1 (en) Controller, control method, and program
US20200278208A1 (en) Information processing apparatus, movable apparatus, information processing method, movable-apparatus control method, and programs
JP7257737B2 (ja) 情報処理装置、自己位置推定方法、及び、プログラム
WO2019044571A1 (ja) 画像処理装置、および画像処理方法、プログラム、並びに移動体
US20200230820A1 (en) Information processing apparatus, self-localization method, program, and mobile body
JP7147142B2 (ja) 制御装置、および制御方法、プログラム、並びに移動体
KR20230051412A (ko) 차량을 찾고 액세스하기 위한 기술
WO2021153176A1 (ja) 自律移動装置、自律移動制御方法、並びにプログラム
US11906970B2 (en) Information processing device and information processing method
JP7135690B2 (ja) 情報処理装置および方法、プログラム、並びに移動体制御システム
WO2021187299A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2019100942A (ja) 移動体、測位システム、測位プログラム及び測位方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18896254

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019562988

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 18896254

Country of ref document: EP

Kind code of ref document: A1