WO2020026798A1 - 制御装置、制御方法、およびプログラム - Google Patents

制御装置、制御方法、およびプログラム Download PDF

Info

Publication number
WO2020026798A1
WO2020026798A1 PCT/JP2019/028008 JP2019028008W WO2020026798A1 WO 2020026798 A1 WO2020026798 A1 WO 2020026798A1 JP 2019028008 W JP2019028008 W JP 2019028008W WO 2020026798 A1 WO2020026798 A1 WO 2020026798A1
Authority
WO
WIPO (PCT)
Prior art keywords
map
camera
robot
control
moving body
Prior art date
Application number
PCT/JP2019/028008
Other languages
English (en)
French (fr)
Inventor
熙 陳
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/250,422 priority Critical patent/US11303799B2/en
Publication of WO2020026798A1 publication Critical patent/WO2020026798A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications

Definitions

  • the present technology relates to a control device, a control method, and a program, and in particular, to a control device, a control method, and a program that can capture an image suitable for use in image processing such as recognition of an object.
  • AI Artificial Intelligence
  • the behavior of such a robot is controlled based on, for example, analyzing an image captured by a camera and recognizing an object such as a nearby obstacle.
  • Patent Literature 1 discloses a subject tracking device that determines a subject area based on a defocus amount of each focus detection area and an optical axis vector indicating a change in a depth position of the subject in an image. .
  • the accuracy of recognition of surrounding objects depends on the quality of images captured by the camera. Whether the subject is in focus at the time of shooting is one of the factors that affect recognition accuracy.
  • Patent Document 1 when a plurality of subjects at different distances appear in a captured image, it is difficult to specify a subject to be focused.
  • the present technology has been made in view of such a situation, and is to enable an image suitable for use in image processing such as recognition of a target object to be captured.
  • a control device includes: a map generation unit configured to generate a map including an object existing around the moving object based on an output of a sensor provided on the moving object; and the object in the map. And a control unit that controls the driving of a camera provided on the moving body for photographing the object based on the relationship between the position of the moving body and the position of the moving body.
  • a map including an object existing around the moving object is generated based on an output of a sensor provided on the moving object, and a position of the object on the map and the moving object are generated.
  • the driving of a camera provided on the moving body for photographing the object is controlled based on the relationship with the position of the moving object.
  • an image suitable for use in image processing such as recognition of an object can be captured.
  • FIG. 3 is a diagram illustrating an example of map information generated by a robot. It is a figure showing an example of calculation of the distance to an object.
  • FIG. 4 is a diagram illustrating an example of focus control.
  • FIG. 4 is a diagram illustrating an example of control of a shooting angle of view.
  • FIG. 4 is a diagram illustrating an example in which focus control and shooting angle of view control are not performed.
  • FIG. 3 is a block diagram illustrating a hardware configuration example of a robot.
  • FIG. 3 is a block diagram illustrating a functional configuration example of a control unit. It is a flowchart explaining the map information generation processing of a robot.
  • FIG. 3 is a diagram illustrating an example of an image captured by a camera. It is a figure showing the example of map information.
  • FIG. 4 is a diagram illustrating an example of focus control. It is a figure showing the example of composition of a control system.
  • FIG. 2 is a block diagram illustrating a configuration example of hardware of a computer.
  • FIG. 1 is a diagram illustrating an example of an appearance of a robot according to an embodiment of the present technology.
  • the robot 1 shown in FIG. 1A is a moving body that can move to an arbitrary position by driving wheels provided on a bottom surface of a box-shaped housing.
  • a camera 11 is provided on the front of the housing.
  • the robot 1 executes a predetermined program by a built-in computer, and performs an autonomous action by driving each part such as wheels.
  • a dog-shaped robot as shown in FIG. 1B may be used, or a humanoid robot capable of bipedal walking may be used.
  • Various mobile bodies that can move autonomously, such as so-called drones that can fly unmanned, can be used in place of the robot 1.
  • the action of the robot 1 is controlled based on a recognition result based on an image captured by the camera 11, for example.
  • the tasks of the robot 1 include a task of tracking a specific person and a task of searching around. These tasks are also tasks that use recognition results based on images captured by the camera 11.
  • the task of tracking a specific person is performed by recognizing a target person by analyzing an image captured by the camera 11 and tracking the recognized person.
  • the task of searching the surroundings is performed by recognizing an object such as a building or a signboard by analyzing an image captured by the camera 11.
  • the accuracy of these tasks depends on the appearance of the subject in the image taken by the camera 11. For example, when the subject is photographed in focus or when the subject is largely photographed, the accuracy of the task increases as the recognition accuracy of the object increases.
  • the camera 11 is a camera equipped with a zoom lens capable of controlling the angle of view by changing the focal length.
  • the robot 1 is equipped with a distance sensor, and generates map information based on a distance to a surrounding object detected by the distance sensor. For example, the map information is sequentially updated during execution of the task.
  • FIG. 2 is a diagram showing an example of map information generated by the robot 1.
  • the map information M1 is information in which objects existing around the robot 1 are arranged on a map representing a state where a predetermined range around the robot 1 is viewed from above.
  • the reference position of the map information M1 is the position of the robot 1.
  • each object around the robot 1 The position, size, shape, and the like of each object around the robot 1 are represented by the map information M1.
  • the type of each object around the robot 1 is represented by the map information M1.
  • the type of each object around the robot 1 is recognized by, for example, analyzing an image captured by the camera 11, and is associated with an object on a map.
  • the distance from the robot 1 to the person # 4 is calculated based on the map information M1, as indicated by the dashed arrow in FIG.
  • the focus of the camera 11 is controlled so that the person # 4 located at the distance calculated based on the map information M1 is focused.
  • FIG. 4 is a diagram illustrating an example of focus control.
  • the camera 11 is controlled using the so-called SLAM (Simultaneous Localization and Mapping) technology.
  • SLAM Simultaneous Localization and Mapping
  • the robot 1 can shoot an image in which the target is focused with high accuracy.
  • the robot 1 can recognize the object with high accuracy, and based on the recognition result, perform tracking of a person or the like. Tasks can be performed with high accuracy.
  • control of the angle of view of the camera 11 is performed based on the distance calculated using the map information M1.
  • FIG. 5 is a diagram showing an example of control of the photographing angle of view.
  • the state shown on the left side of FIG. 5 shows the state in front of the robot 1. It is assumed that the target person # 4 is located to the right of the center.
  • the shooting angle of view of the camera 11 is controlled based on the distance calculated by using the map information M1 so that the person # 4 can be largely captured.
  • the position of the person # 4 is also specified based on the map information M1.
  • the zoom operation of the lens mounted on the camera 11 is performed so as to enlarge the range surrounded by the dashed-dotted line frame F1.
  • the angle of view of the image P1 is such that the person # 4 is large.
  • the robot 1 can recognize the target object with high accuracy and perform the task with high accuracy.
  • FIG. 6 is a diagram showing an example in which the focus control and the control of the shooting angle of view are not performed.
  • focus control is performed based on the output of the phase difference sensor or the contrast.
  • the object to be focused cannot be designated from the robot, and there are a plurality of persons having different distances as shown in FIG. 6, the person automatically focused by the camera attempts to pay attention to the robot. Not necessarily a person.
  • the object focused by the robot 1 is focused, and the object is focused on. It is possible to capture an image in which the image is large.
  • FIG. 7 is a block diagram illustrating a hardware configuration example of the robot 1.
  • the robot 1 is configured by connecting the input / output unit 32, the driving unit 33, the wireless communication unit 34, and the power supply unit 35 to the control unit 31.
  • the control unit 31 is configured by a computer having a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), a flash memory, and the like.
  • the control unit 31 executes a predetermined program by the CPU and controls the entire operation of the robot 1.
  • the computer constituting the control unit 31 is provided in the housing of the robot 1 and functions as a control device that controls the operation of the robot 1.
  • the control unit 31 Based on the distance information supplied from the distance sensor 12 of the input / output unit 32, the control unit 31 generates the map information as described with reference to FIG. Further, the control unit 31 selects an object and calculates a distance to the selected object and the like based on the map information. The control unit 31 controls the driving of the camera 11 based on the distance or the like calculated using the map information.
  • the control unit 31 controls each unit of the driving unit 33 so as to take a predetermined action.
  • the input / output unit 32 includes a sensing unit 32A and an output unit 32B.
  • the sensing unit 32A includes the camera 11, the distance sensor 12, and the microphone (microphone) 13.
  • the camera 11 sequentially captures the surrounding situation, and outputs an image obtained by the capturing to the control unit 31. If the characteristics of the object can be captured, various types of sensors such as an RGB sensor, a gray scale sensor, and an infrared sensor can be provided as the image sensor of the camera 11.
  • the distance sensor 12 measures the distance to the object, and outputs distance information indicating the measured distance to the control unit 31. If the distance can be measured, various sensors such as an IR camera, a LIDAR (Light Detection and Ranging) sensor, and a RADAR sensor can be provided as the distance sensor 12.
  • various sensors such as an IR camera, a LIDAR (Light Detection and Ranging) sensor, and a RADAR sensor can be provided as the distance sensor 12.
  • the microphone 13 detects the environmental sound and outputs data of the environmental sound to the control unit 31.
  • the output unit 32B includes the speaker 14 and the display 15.
  • the speaker 14 outputs a predetermined sound such as a synthesized voice, a sound effect, and BGM.
  • the display 15 is constituted by, for example, an LCD, an organic EL display, or the like.
  • the display 15 displays various images under the control of the control unit 31.
  • the driving unit 33 drives according to the control of the control unit 31 to realize the action of the robot 1.
  • the drive unit 33 includes a drive unit for driving wheels provided on the bottom surface of the housing, a drive unit provided for each joint, and the like.
  • Each drive unit is configured by a combination of a motor that rotates around an axis, an encoder that detects the rotational position of the motor, and a driver that adaptively controls the rotational position and rotational speed of the motor based on the output of the encoder.
  • the hardware configuration of the robot 1 is determined by the number of drive units, the positions of the drive units, and the like.
  • drive units 51-1 to 51-n are provided.
  • the drive unit 51-1 includes a motor 61-1, an encoder 62-1 and a driver 63-1.
  • the drive units 51-2 to 51-n have the same configuration as the drive unit 51-1.
  • the wireless communication unit 34 is a wireless communication module such as a wireless LAN module and a mobile communication module compatible with LTE (Long Term Evolution).
  • the wireless communication unit 34 communicates with an external device such as a server on the Internet.
  • the power supply unit 35 supplies power to each unit in the robot 1.
  • the power supply unit 35 includes a charge battery 71 and a charge / discharge control unit 72 that manages a charge / discharge state of the charge battery 71.
  • FIG. 8 is a block diagram showing a functional configuration example of the control unit 31.
  • the control unit 31 includes a generation unit 101, a calculation unit 102, a task management unit 103, and a drive control unit 104. At least a part of the functional units illustrated in FIG. 8 is realized by a predetermined program being executed by a CPU configuring the control unit 31.
  • FIG. 8 also shows the camera 11 and the distance sensor 12 of the sensing unit 32A.
  • the generation unit 101 includes a point cloud map generation unit 111, a recognition unit 112, and a map generation unit 113.
  • the point cloud map generation unit 111 plots the distance to each position on the surrounding object, which is represented by the distance information supplied from the distance sensor 12, on a plane, thereby setting the position of the robot 1 as a reference. Generate a point cloud map. Each point plotted on the plane represents a position on the object.
  • the point cloud map generator 111 outputs information on the point cloud map to the map generator 113.
  • the recognition unit 112 analyzes the image captured by the camera 11 and recognizes the type of an object appearing in the image. For example, during execution of the task of tracking a specific person, the recognition unit 112 analyzes the image and recognizes the target person. The recognizing unit 112 outputs information representing the recognition result to the map generating unit 113.
  • the map generation unit 113 specifies the type of each object on the point cloud map supplied from the point cloud map generation unit 111 based on the recognition result by the recognition unit 112.
  • the map generation unit 113 generates map information including information (semantic information) about the meaning of each object such as a type, and outputs the map information to the calculation unit 102.
  • the calculation unit 102 includes an object position estimation unit 121 and a parameter calculation unit 122.
  • the object position estimating unit 121 estimates the position of the target object based on the map information generated by the map generating unit 113. Which object is targeted is specified by the task management unit 103, for example.
  • the object position estimating unit 121 estimates the position of the target at the timing of capturing the next frame by the camera 11.
  • the object position estimating unit 121 outputs information representing a result of estimating the position of the target object to the parameter calculating unit 122.
  • the parameter calculation unit 122 calculates various parameters for controlling the camera 11 based on the relationship between the position of the robot 1 and the position of the target object estimated by the object position estimation unit 121.
  • the parameters may be calculated based on the relationship between the position of the camera 11 and the position of the target object instead of the position of the robot 1.
  • the parameter calculation unit 122 outputs the calculated parameters to the drive control unit 104, and drives the camera 11.
  • the parameter calculator 122 calculates a value for controlling the focus so that the target is in focus as a focus control command value.
  • the parameter calculation unit 122 calculates a focal length for controlling a shooting angle of view so that the target object is largely captured.
  • the aperture value (F-number) of the camera 11 may be controlled based on the size of the object on the map.
  • the parameter calculation unit 122 has information indicating the correspondence between the size of the target object and the aperture value.
  • the parameter calculation unit 122 increases the aperture value and sets the depth of field deep to capture an image in which the entire object is in focus. Further, when the size of the target object is small, the parameter calculation unit 122 sets a smaller aperture value and a shallower depth of field in order to capture an image in which only the target object is in focus.
  • the task management unit 103 manages tasks of the robot 1. When executing a task using the image recognition result, the task management unit 103 selects an object corresponding to the task. The selection of the target is performed based on the map information generated by the map generation unit 113, for example. An object may be selected based on an image captured by the camera 11. The task management unit 103 outputs information specifying the target to the calculation unit 102.
  • the drive control unit 104 controls the drive of the camera 11 according to the parameters supplied from the parameter calculation unit 122. That is, when the focus control command value is supplied from the parameter calculation unit 122, the drive control unit 104 drives the focus lens forming the lens of the camera 11, and controls the focus so that the object is focused.
  • the drive control unit 104 drives the zoom lens of the camera 11 in the zoom direction or the tele direction to control the angle of view.
  • the drive control unit 104 controls the aperture of the lens of the camera 11.
  • the process of FIG. 9 is performed, for example, before executing a predetermined task using the image recognition result.
  • step S ⁇ b> 1 the point cloud map generator 111 generates a point cloud map based on the position of the robot 1 based on the distance information supplied from the distance sensor 12.
  • step S2 the recognition unit 112 recognizes each object appearing in the image captured by the camera 11.
  • step S3 the map generation unit 113 specifies the type of each object on the point cloud map generated by the point cloud map generation unit 111 based on the recognition result by the recognition unit 112, and the map including the semantic information of each object. Generate information.
  • step S1 the process returns to step S1, and the above processing is repeated.
  • the map information is sequentially updated.
  • step S11 the task management unit 103 selects an object according to the task of the robot 1.
  • step S12 the object position estimating unit 121 estimates the position of the target on the map based on the map information generated by the map generating unit 113.
  • step S13 the parameter calculation unit 122 calculates various parameters for controlling the camera 11 based on the relationship between the position of the robot 1 and the position of the target object estimated by the object position estimation unit 121.
  • step S14 the drive control unit 104 controls the driving of the camera 11 according to the parameters calculated by the parameter calculation unit 122. As a result, the focus, shooting angle of view, and aperture value of the camera 11 are controlled as described above. Thereafter, the process returns to step S11, and the above processing is repeated.
  • the robot 1 can focus on a target with high accuracy even in a situation where there are a plurality of objects at different distances, which are difficult to adjust by autofocus based on optical control. Becomes possible.
  • the robot 1 performs recognition processing and the like based on an image in which the object is in focus, and thus can recognize the object with high accuracy.
  • the robot 1 can select an appropriate object according to the task as a target object by referring to such map information.
  • the control of the camera 11 using the map information is also performed at the time of executing a task for searching the surroundings. During execution of the task of searching for surroundings, focus control and the like are performed by sequentially switching objects.
  • FIG. 11 is a diagram illustrating an example of an image captured by the camera 11.
  • the task of searching for the surroundings proceeds by identifying the contents such as the signboard attached to the pillars # 11 to # 14 based on the image taken by the camera 11 and recognizing the surrounding situation.
  • FIG. 12 is a diagram showing an example of map information.
  • each of the pillars # 11 to # 14 is sequentially selected as an object, and the distance from the robot 1 to each object is calculated based on the map information M2.
  • the focus of the camera 11 is controlled based on the distance calculated using the map information M2. Further, the control of the photographing angle of view and the control of the aperture value are appropriately performed.
  • FIG. 13 is a diagram illustrating an example of focus control.
  • the focus is controlled based on the distance to the pillar # 11 as shown by the dashed arrow in FIG. 13, and shooting is performed in that state.
  • a signboard or the like pasted on the pillar # 11 is largely focused and in focus.
  • Such photographing is performed by switching the target in the order of, for example, pillar # 12, pillar # 13, and pillar # 14.
  • control of the camera 11 based on the positional relationship between the robot 1 and each object can be applied to various tasks.
  • the photographing of an image used for recognizing a traffic signal or a sign installed on a road is represented by map information. Is controlled based on the positional relationship between the robot 1 and each object.
  • An obstacle with a high risk may be selected based on the map information, and a moving route that preferentially avoids such an obstacle with a high risk may be set.
  • the robot 1 when the robot 1 is a drone, a flying bird, an electric wire, or the like is selected as an obstacle.
  • the robot 1 when the robot 1 is a car, a person, a dog, a car running ahead, and the like are selected as obstacles.
  • the moving speed is specified based on the map information, the object with the fast moving speed is set as the high risk object, and the risk of each object may be determined. Good.
  • the driving of another device may be controlled based on the positional relationship between the robot 1 and the object represented by the map information.
  • the characteristics of the microphone 13 can be controlled based on the positional relationship between the robot 1 and the target.
  • FIG. 14 is a diagram showing a configuration example of a control system.
  • the control system in FIG. 14 is configured by connecting the robot 1 and the control server 201 via a network 202 such as the Internet.
  • the robot 1 and the control server 201 communicate via a network 202.
  • control server 201 which is a device external to the robot 1. That is, each functional unit of the generation unit 101, the calculation unit 102, and the task management unit 103 in FIG. 8 is realized in the control server 201 by executing a predetermined program.
  • the control server 201 generates the map information as described above based on the image and the distance information transmitted from the robot 1. Various data such as an image captured by the camera 11 and distance information detected by the distance sensor 12 are repeatedly transmitted from the robot 1 to the control server 201.
  • the control server 201 calculates various parameters based on the positional relationship between the robot 1 and the target on the map, and transmits the calculated parameters to the robot 1.
  • the robot 1 drives the camera 11 according to the parameters transmitted from the control server 201.
  • the control server 201 functions as a control device that controls the behavior of the robot 1.
  • control device that controls the behavior of the robot 1 may be provided as a device external to the robot 1.
  • FIG. 15 is a block diagram illustrating a configuration example of hardware of a computer that executes the series of processes described above by a program.
  • the control server 201 of FIG. 14 also has a configuration similar to the configuration shown in FIG.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the input / output interface 1005 is further connected to the bus 1004.
  • the input / output interface 1005 is connected to an input unit 1006 including a keyboard and a mouse, and an output unit 1007 including a display and a speaker.
  • a storage unit 1008 including a hard disk or a non-volatile memory, a communication unit 1009 including a network interface, and a drive 1010 for driving the removable medium 1011 are connected to the input / output interface 1005.
  • the CPU 1001 loads a program stored in the storage unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the program, for example, to execute the above-described series of processing. Is performed.
  • the program executed by the CPU 1001 is recorded on, for example, the removable medium 1011 or provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting, and is installed in the storage unit 1008.
  • the program executed by the computer may be a program in which processing is performed in chronological order in the order described in this specification, or may be performed in parallel or at a necessary timing such as when a call is made. It may be a program that performs processing.
  • a system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network and one device housing a plurality of modules in one housing are all systems. .
  • the present technology can adopt a configuration of cloud computing in which one function is shared by a plurality of devices via a network, and processing is performed jointly.
  • each step described in the above-described flowchart can be executed by one device, or can be executed by being shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or can be shared and executed by a plurality of devices.
  • the present technology can also have the following configurations.
  • a map generation unit that generates a map including an object existing around the moving body based on an output of a sensor provided on the moving body, A control unit configured to control driving of a camera provided on the moving body, which captures the object, based on a relationship between the position of the object on the map and the position of the moving body.
  • An estimating unit that estimates a position of the moving object on the map, The control device according to (1), wherein the control unit controls the driving of the camera so as to track and photograph the object based on the estimated position.
  • control unit controls a focal length of the camera based on a distance from the moving body to the object, which is specified based on the map.
  • Control device controls an aperture value of the camera based on a size of the target object specified based on the map.
  • control unit controls driving of the camera so as to switch the object to be photographed in accordance with a task performed by the moving body.
  • the control device according to any one of (1) to (6) which is provided on a housing of the moving body.
  • the control device is Based on an output of a sensor provided on the moving body, a map including an object existing around the moving body is generated, A control method for controlling driving of a camera provided on the moving body for photographing the target based on a relationship between a position of the moving object and a position of the moving object on the map. (9) On the computer, Based on an output of a sensor provided on the moving body, a map including an object existing around the moving body is generated, A program for executing, based on a relationship between the position of the object and the position of the moving object on the map, control of driving of a camera provided on the moving object for photographing the object.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

本技術は、対象物の認識などの画像処理に用いるのに適した画像を撮影することができるようにする制御装置、制御方法、およびプログラムに関する。 本技術の一実施形態に係る制御装置は、移動体に設けられたセンサの出力に基づいて、移動体の周囲に存在する対象物を含む地図を生成し、地図における対象物の位置と移動体の位置との関係に基づいて、対象物を撮影する移動体に設けられたカメラの駆動を制御する。本技術は、自律的に行動することが可能なロボットに適用することができる。

Description

制御装置、制御方法、およびプログラム
　本技術は、制御装置、制御方法、およびプログラムに関し、特に、対象物の認識などの画像処理に用いるのに適した画像を撮影することができるようにした制御装置、制御方法、およびプログラムに関する。
　AI(Artificial Intelligence)などの進歩により、周囲の環境に応じて自律的に行動するロボットが普及してきている。
　このようなロボットによる行動は、例えば、カメラにより撮影された画像を解析し、周囲にある障害物などの物体の認識結果などに基づいて制御される。
　特許文献１には、各焦点検出領域のデフォーカス量と、画像内における被写体の奥行き方向の位置の変化を示す光軸ベクトルとに基づいて、被写体領域を決定する被写体追跡装置が開示されている。
特開２０１７－２０００８８号公報
　周囲にある物体の認識精度は、カメラにより撮影された画像の質に左右される。撮影時のピントが被写体にあっているかどうかは、認識精度に影響を与える要素の一つとなる。
　特許文献１に記載の技術においては、撮影された画像内に、異なる距離にある被写体が複数写っている場合、フォーカス対象とする被写体の特定が難しい。
　本技術はこのような状況に鑑みてなされたものであり、対象物の認識などの画像処理に用いるのに適した画像を撮影することができるようにするものである。
　本技術の一側面の制御装置は、移動体に設けられたセンサの出力に基づいて、前記移動体の周囲に存在する対象物を含む地図を生成する地図生成部と、前記地図における前記対象物の位置と前記移動体の位置との関係に基づいて、前記対象物を撮影する前記移動体に設けられたカメラの駆動を制御する制御部とを備える。
　本技術の一側面においては、移動体に設けられたセンサの出力に基づいて、前記移動体の周囲に存在する対象物を含む地図が生成され、前記地図における前記対象物の位置と前記移動体の位置との関係に基づいて、前記対象物を撮影する前記移動体に設けられたカメラの駆動が制御される。
　本技術によれば、対象物の認識などの画像処理に用いるのに適した画像を撮影することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係るロボットの外観の例を示す図である。 ロボットにおいて生成される地図情報の例を示す図である。 対象物までの距離の算出の例を示す図である。 フォーカス制御の例を示す図である。 撮影画角の制御の例を示す図である。 フォーカス制御と撮影画角の制御が行われない場合の例を示す図である。 ロボットのハードウェア構成例を示すブロック図である。 制御部の機能構成例を示すブロック図である。 ロボットの地図情報生成処理について説明するフローチャートである。 ロボットの撮影制御処理について説明するフローチャートである。 カメラにより撮影された画像の例を示す図である。 地図情報の例を示す図である。 フォーカス制御の例を示す図である。 制御システムの構成例を示す図である。 コンピュータのハードウェアの構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．地図情報を用いたカメラ制御
　２．ロボットの構成例
　３．ロボットの動作
　４．変形例
＜地図情報を用いたカメラ制御＞
　図１は、本技術の一実施形態に係るロボットの外観の例を示す図である。
　図１のＡに示すロボット１は、箱形の筐体の底面に設けられた車輪を駆動させることにより、任意の位置に移動することが可能な移動体である。筐体の正面にはカメラ１１が設けられる。
　ロボット１は、内蔵するコンピュータによって所定のプログラムを実行し、車輪などの各部位を駆動させることによって自律的な行動をとる。
　ロボット１に代えて、図１のＢに示すような犬型のロボットが用いられるようにしてもよいし、二足歩行が可能な人型のロボットが用いられるようにしてもよい。無人飛行が可能な航空機であるいわゆるドローンなどの、自律的に移動が可能な各種の移動体がロボット１に代えて用いられるようにすることが可能である。
　ロボット１による行動は、例えばカメラ１１により撮影された画像に基づく認識結果などに基づいて制御される。ロボット１のタスクには、特定の人物を追跡するタスク、周囲を探索するタスクなどがある。これらのタスクも、カメラ１１により撮影された画像に基づく認識結果を用いたタスクとなる。
　例えば、特定の人物を追跡するタスクは、カメラ１１により撮影された画像を解析することによって対象となる人物を認識し、認識した人物を追跡するようにして行われる。また、周囲を探索するタスクは、カメラ１１により撮影された画像を解析することによって周囲のビルや看板などの物体を認識するようにして行われる。
　これらのタスクの精度は、カメラ１１により撮影された画像における被写体の写りに左右される。例えば、ピントが合った状態で被写体が写っている場合、または、被写体が大きく写っている場合、対象物の認識精度が上がることによって、タスクの精度も上がることになる。
　ロボット１においては、焦点制御（フォーカスの制御）、撮影画角の制御、絞り値の制御などのカメラ１１の各種の制御が、ロボット１が生成し、管理している地図情報に基づいて行われる。カメラ１１は、焦点距離を変えることによって、撮影画角の制御が可能なズームレンズを搭載したカメラである。
　ロボット１には距離センサが搭載されており、距離センサにより検出された周囲の物体までの距離に基づいて地図情報が生成される。例えば、地図情報は、タスクの実行中、順次更新される。
　図２は、ロボット１において生成される地図情報の例を示す図である。
　図２に示すように、地図情報Ｍ１は、ロボット１の周囲の所定の範囲を上から見た状態を表す地図上に、周囲に存在する物体を配置した情報である。地図情報Ｍ１の基準位置はロボット１の位置である。
　地図情報Ｍ１により、ロボット１の周囲にある各物体の位置、大きさ、形状などが表される。また、地図情報Ｍ１により、ロボット１の周囲にある各物体の種類が表される。ロボット１の周囲にある各物体の種類は、例えばカメラ１１により撮影された画像を解析することによって認識され、地図上の物体と対応付けられる。
　図２の例においては、ロボット１の前方に、人物＃１乃至＃４の４人の人物がいるものとされている。例えば、人物＃１はロボット１を基準として近い位置に存在し、人物＃４はロボット１を基準として遠い位置に存在する。車、建物、標識などの、人物以外の各種の物体が、地図情報Ｍ１上に適宜配置される。
　例えば、特定の人物を追跡するタスクを実行する場合において、人物＃４を追跡対象とすることが選択されたものとする。
　この場合、ロボット１においては、図３の破線矢印で示すように、ロボット１から人物＃４までの距離が地図情報Ｍ１に基づいて算出される。ロボット１においては、地図情報Ｍ１に基づいて算出された距離にいる人物＃４にピントが合うように、カメラ１１のフォーカスが制御される。
　図４は、フォーカス制御の例を示す図である。
　地図上の距離に基づいてフォーカスが制御された場合、図４に示すように、カメラ１１により撮影された画像は、人物＃４にピントが合った画像となる。図４において、人物＃４以外の人物を破線で示していることは、人物＃１乃至＃３にピントが合っていないことを表す。
　このように、ロボット１においては、いわゆるSLAM(Simultaneous Localization and Mapping)技術を用いて、カメラ１１の制御が行われる。
　地図情報Ｍ１を用いて算出した対象物までの距離に基づいてフォーカスを制御することにより、ロボット１は、対象物に高い精度でピントが合った画像を撮影することが可能となる。
　また、対象物にピントが合った画像に基づいて認識処理を行うことになるため、ロボット１は、対象物を高い精度で認識することができ、その認識結果に基づいて、人物の追跡等のタスクを高い精度で行うことが可能となる。
　フォーカスの制御だけでなく、カメラ１１の撮影画角の制御が、地図情報Ｍ１を用いて算出した距離に基づいて行われる。
　図５は、撮影画角の制御の例を示す図である。
　図５の左側に示す状態は、ロボット１の前方の状態を示している。対象とする人物＃４は、中心より右寄りの位置にいるものとされている。
　この場合、ロボット１においては、地図情報Ｍ１を用いて算出した距離に基づいて、人物＃４が大きく写るようにカメラ１１の撮影画角が制御される。人物＃４の位置も、地図情報Ｍ１に基づいて特定される。
　図５の例においては、一点鎖線の枠Ｆ１で囲む範囲を拡大するように、カメラ１１に搭載されたレンズのズーム動作が行われる。矢印の先に示すように、画像Ｐ１の撮影画角は、人物＃４が大きく写るものとなる。
　ロボット１においては、人物＃４が大きく写る画像Ｐ１に基づいて、太線で囲んで示すように人物＃４を追跡するなどのタスクが行われる。
　対象物が大きく写っている画像に基づいて認識処理を行うことになるため、ロボット１は、対象物を高い精度で認識し、タスクを高い精度で行うことが可能となる。
　このように、ロボット１においては、ロボット１と対象物の地図上での位置関係に基づいて、対象物にピントが合っているとともに、対象物が大きく写る画像が撮影される。このような対象物の撮影は、地図情報Ｍ１から推定される対象物の位置に基づいて、対象物を追跡するようにして行われる。
　図６は、フォーカス制御と撮影画角の制御が行われない場合の例を示す図である。
　通常のカメラにおいては、位相差センサの出力、またはコントラストに基づいてフォーカス制御が行われる。ピントを合わせる対象をロボットから指定することができない場合、図６に示すように距離が異なる複数の人物が存在するときには、カメラによって自動的にピントが合わせられた人物が、ロボットが注目しようとする人物であるとは限らない。
　ピントを合わせる対象が間違っている場合、注目しようとする人物がぼけた状態で写ることになるため、例えば追従対象とする人物の認識精度が下がってしまう。また、周囲を探索するタスクの実行中に、遠くにあるビルの看板をロボットが認識しようとしている場合、そのような意図がカメラ単体では分からないため、看板にピントが合っていない画像が撮影され、これにより、看板の認識精度が下がってしまう。
　ロボット１と対象物の位置関係を地図情報に基づいて特定し、カメラ１１のフォーカスを制御するとともに撮影画角を制御することにより、ロボット１が注目する対象物にピントが合い、かつ、対象物が大きく写る画像を撮影することが可能となる。
＜ロボットの構成例＞
　図７は、ロボット１のハードウェア構成例を示すブロック図である。
　図７に示すように、ロボット１は、制御部３１に対して、入出力部３２、駆動部３３、無線通信部３４、および電源部３５が接続されることによって構成される。
　制御部３１は、CPU(Central Processing Unit)，ROM(Read Only Memory)，RAM(Random Access Memory)、フラッシュメモリなどを有するコンピュータにより構成される。制御部３１は、CPUにより所定のプログラムを実行し、ロボット１の全体の動作を制御する。制御部３１を構成するコンピュータは、ロボット１の筐体内に設けられ、ロボット１の動作を制御する制御装置として機能する。
　例えば、制御部３１は、入出力部３２の距離センサ１２から供給された距離情報に基づいて、図２を参照して説明したような地図情報を生成する。また、制御部３１は、対象物を選択し、選択した対象物までの距離などを地図情報に基づいて算出する。制御部３１は、地図情報を用いて算出した距離などに基づいて、カメラ１１の駆動を制御する。
　また、制御部３１は、所定の行動をとるように駆動部３３の各部を制御する。
　入出力部３２は、センシング部３２Ａと出力部３２Ｂにより構成される。
　センシング部３２Ａは、カメラ１１、距離センサ１２、およびマイク（マイクロフォン）１３により構成される。
　カメラ１１は、周囲の状況を順次撮影し、撮影によって得られた画像を制御部３１に出力する。物体の特徴を捉えることができれば、RGBセンサ、グレースケールセンサ、赤外線センサなどの各種の方式のセンサをカメラ１１のイメージセンサとして設けることが可能である。
　距離センサ１２は、対象物までの距離を測定し、測定した距離を表す距離情報を制御部３１に出力する。距離を測定することができれば、IRカメラ、LIDAR(Light Detection and Ranging)方式のセンサ、RADAR方式のセンサなどの各種のセンサを距離センサ１２として設けることが可能である。
　マイク１３は、環境音を検出し、環境音のデータを制御部３１に出力する。
　出力部３２Ｂは、スピーカ１４とディスプレイ１５により構成される。
　スピーカ１４は、合成音声、効果音、BGMなどの所定の音を出力する。
　ディスプレイ１５は、例えば、LCD、有機ELディスプレイなどにより構成される。ディスプレイ１５は、制御部３１による制御に従って各種の画像を表示する。
　駆動部３３は、制御部３１による制御に従って駆動し、ロボット１の行動を実現する。駆動部３３は、筐体の底面に設けられた車輪を駆動させる駆動ユニット、各関節に設けられた駆動ユニットなどにより構成される。
　各駆動ユニットは、軸回りの回転動作を行うモータ、モータの回転位置を検出するエンコーダ、および、エンコーダの出力に基づいてモータの回転位置や回転速度を適応的に制御するドライバの組み合わせによって構成される。駆動ユニットの数、駆動ユニットの位置などによって、ロボット１のハードウェア構成が定まる。
　図７の例においては、駆動ユニット５１－１乃至５１－ｎが設けられる。例えば駆動ユニット５１－１は、モータ６１－１、エンコーダ６２－１、ドライバ６３－１により構成される。駆動ユニット５１－２乃至５１－ｎも、駆動ユニット５１－１と同様の構成を有する。
　無線通信部３４は、無線LANモジュール、LTE(Long Term Evolution)に対応した携帯通信モジュールなどの無線通信モジュールである。無線通信部３４は、インターネット上のサーバなどの外部の装置との間で通信を行う。
　電源部３５は、ロボット１内の各部に対して給電を行う。電源部３５は、充電バッテリ７１と、充電バッテリ７１の充放電状態を管理する充放電制御部７２とで構成される。
　図８は、制御部３１の機能構成例を示すブロック図である。
　図８に示すように、制御部３１は、生成部１０１、算出部１０２、タスク管理部１０３、および駆動制御部１０４から構成される。図８に示す機能部のうちの少なくとも一部は、制御部３１を構成するCPUにより所定のプログラムが実行されることによって実現される。図８には、センシング部３２Ａのカメラ１１と距離センサ１２も示されている。
　生成部１０１は、点群地図生成部１１１、認識部１１２、および地図生成部１１３により構成される。
　点群地図生成部１１１は、距離センサ１２から供給された距離情報により表される、周囲にある物体上の各位置までの距離を平面上にプロットすることにより、ロボット１の位置を基準とした点群地図を生成する。平面上にプロットされたそれぞれの点が、物体上の位置を表す。点群地図生成部１１１は、点群地図の情報を地図生成部１１３に出力する。
　認識部１１２は、カメラ１１により撮影された画像を解析し、画像に写る物体の種類などを認識する。例えば、特定の人物を追跡するタスクの実行中、認識部１１２は、画像を解析し、対象とする人物を認識する。認識部１１２は、認識結果を表す情報を地図生成部１１３に出力する。
　地図生成部１１３は、点群地図生成部１１１から供給された点群地図上の各物体の種類を、認識部１１２による認識結果に基づいて特定する。地図生成部１１３は、種類などの各物体の意味の情報（セマンティック情報）を含む地図情報を生成し、算出部１０２に出力する。
　算出部１０２は、物体位置推定部１２１とパラメータ算出部１２２から構成される。
　物体位置推定部１２１は、地図生成部１１３による生成された地図情報に基づいて、対象物の位置を推定する。どの物体を対象とするのかは例えばタスク管理部１０３により指定される。
　対象物が動いている場合、物体位置推定部１２１は、カメラ１１による次のフレームの撮影タイミングにおける、対象物の位置を推定する。物体位置推定部１２１は、対象物の位置の推定結果を表す情報をパラメータ算出部１２２に出力する。
　パラメータ算出部１２２は、ロボット１の位置と、物体位置推定部１２１により推定された対象物の位置との関係に基づいて、カメラ１１を制御するための各種のパラメータを算出する。ロボット１の位置ではなく、カメラ１１の位置と対象物の位置との関係に基づいてパラメータが算出されるようにしてもよい。パラメータ算出部１２２は、算出したパラメータを駆動制御部１０４に出力し、カメラ１１を駆動させる。
　例えば、パラメータ算出部１２２は、ロボット１から対象物までの距離に基づいて、対象物にピントが合うようにフォーカスを制御するための値を焦点制御指令値として算出する。また、パラメータ算出部１２２は、対象物が大きく写るように撮影画角を制御するための焦点距離を算出する。
　対象物の地図上のサイズに基づいて、カメラ１１の絞り値（Ｆ値）が制御されるようにしてもよい。対象物のサイズと絞り値との対応関係を表す情報をパラメータ算出部１２２は有している。
　例えば、パラメータ算出部１２２は、対象物のサイズが大きい場合、対象物全体にピントが合っている画像を撮影するために、絞り値を上げ、被写界深度を深く設定する。また、パラメータ算出部１２２は、対象物のサイズが小さい場合、対象物にのみピントが合っている画像を撮影するために、絞り値を下げ、被写界深度を浅く設定する。
　対象物のサイズに応じて絞り値を制御することにより、対象物にピントが合い、他の物体（非対象物）がぼけた状態で写る画像を撮影することが可能となる。対象物だけにピントが合った状態で写っている画像を撮影することにより、認識処理などの画像処理の精度を高めることが可能となる。
　タスク管理部１０３は、ロボット１のタスクを管理する。タスク管理部１０３は、画像の認識結果を用いるタスクを実行する場合、タスクに応じた対象物を選択する。対象物の選択は、例えば地図生成部１１３により生成された地図情報に基づいて行われる。カメラ１１により撮影された画像に基づいて対象物が選択されるようにしてもよい。タスク管理部１０３は、対象物を指定する情報を算出部１０２に出力する。
　駆動制御部１０４は、パラメータ算出部１２２から供給されたパラメータに従って、カメラ１１の駆動を制御する。すなわち、駆動制御部１０４は、焦点制御指令値がパラメータ算出部１２２から供給された場合、カメラ１１のレンズを構成するフォーカスレンズを駆動させ、対象物にピントが合うようにフォーカスを制御する。
　駆動制御部１０４は、焦点距離の情報がパラメータ算出部１２２から供給された場合、カメラ１１のズームレンズをズーム方向またはテレ方向に駆動させ、撮影画角を制御する。
　駆動制御部１０４は、絞り値の情報がパラメータ算出部１２２から供給された場合、カメラ１１のレンズの絞りを制御する。
＜ロボットの動作＞
　ここで、以上のような構成を有するロボット１の動作について説明する。
　はじめに、図９のフローチャートを参照して、地図情報を生成するロボット１の処理について説明する。
　図９の処理は、例えば、画像の認識結果を用いる所定のタスクを実行する前に行われる。
　ステップＳ１において、点群地図生成部１１１は、距離センサ１２から供給された距離情報に基づいて、ロボット１の位置を基準とした点群地図を生成する。
　ステップＳ２において、認識部１１２は、カメラ１１により撮影された画像に写る各物体を認識する。
　ステップＳ３において、地図生成部１１３は、点群地図生成部１１１により生成された点群地図上の各物体の種類を認識部１１２による認識結果に基づいて特定し、各物体のセマンティック情報を含む地図情報を生成する。
　その後、ステップＳ１に戻り、以上の処理が繰り返される。各処理が繰り返されることにより、地図情報が順次更新されることになる。
　次に、図１０のフローチャートを参照して、カメラ１１による撮影を制御するロボット１の処理について説明する。
　ステップＳ１１において、タスク管理部１０３は、ロボット１のタスクに応じて対象物を選択する。
　ステップＳ１２において、物体位置推定部１２１は、地図生成部１１３により生成された地図情報に基づいて、対象物の地図上の位置を推定する。
　ステップＳ１３において、パラメータ算出部１２２は、ロボット１の位置と、物体位置推定部１２１により推定された対象物の位置との関係に基づいて、カメラ１１を制御するための各種のパラメータを算出する。
　ステップＳ１４において、駆動制御部１０４は、パラメータ算出部１２２により算出されたパラメータに従って、カメラ１１の駆動を制御する。これにより、カメラ１１のフォーカス、撮影画角、絞り値が上述したようにして制御される。その後、ステップＳ１１に戻り、以上の処理が繰り返される。
　以上の処理により、光学的な制御に基づくオートフォーカスでは調整しにくかった、距離の違う複数の物体が存在するような状況であっても、ロボット１は、対象物に高い精度でピントを合わせることが可能となる。ロボット１は、対象物にピントが合った画像に基づいて認識処理などを行うことになるため、対象物を高い精度で認識することが可能となる。
　また、各物体の意味を表す情報が地図情報に含まれるため、ロボット１は、そのような地図情報を参照して、タスクに応じた適切な物体を対象物として選択することが可能となる。
＜適用例＞
　地図情報を用いたカメラ１１の制御は、周囲を探索するタスクの実行時にも行われる。周囲を探索するタスクの実行中、対象物を順次切り替えてフォーカスの制御などが行われる。
　図１１は、カメラ１１により撮影された画像の例を示す図である。
　ここでは、建物の中などにおいて、周囲を探索するタスクをロボット１が実行しているものとする。図１１の例においては、人物とともに、円柱状の柱＃１１乃至＃１４が画像Ｐ２に写っている。柱＃１１乃至＃１４の表面のうち、斜線を付して示す部分には看板やポスターなどが貼り付けられている。
　周囲を探索するタスクは、柱＃１１乃至＃１４に貼り付けられた看板などの内容をカメラ１１により撮影された画像に基づいて特定し、周囲の状況を認識することによって進められる。
　図１２は、地図情報の例を示す図である。
　図１１に示すような状況において生成される地図情報Ｍ２には、図１２に示すように、人物が配置されるとともに、柱＃１１乃至＃１４が配置される。図１２において、色を付して示す３つの丸は人物を表す。
　この場合、ロボット１においては、柱＃１１乃至＃１４のそれぞれが対象物として順に選択され、ロボット１から各対象物までの距離が地図情報Ｍ２に基づいて算出される。
　また、ロボット１においては、地図情報Ｍ２を用いて算出された距離に基づいて、カメラ１１のフォーカスが制御される。また、適宜、撮影画角の制御、絞り値の制御が行われる。
　図１３は、フォーカス制御の例を示す図である。
　柱＃１１が対象物として選択されている場合、図１３の破線矢印で示すように、柱＃１１までの距離に基づいてフォーカスが制御され、その状態で撮影が行われる。カメラ１１により撮影された画像には、柱＃１１に貼り付けられた看板などが、ピントが合った状態で、かつ、大きく写ることになる。
　このような撮影が、対象物を例えば柱＃１２、柱＃１３、柱＃１４の順に切り替えて行われる。
　以上の処理により、それぞれの柱にピントが合った画像を撮影することができ、それぞれの柱に貼り付けられた看板などの内容の認識を高い精度で行うことが可能となる。
　このように、ロボット１と各対象物との位置関係に基づくカメラ１１の制御は、各種のタスクに適用可能である。
　例えば、ロボット１が自動運転機能を搭載した車である場合において、目的地まで移動するタスクの実行中、道路に設置された信号機や標識の認識に用いられる画像の撮影は、地図情報により表される、ロボット１と各対象物との位置関係に基づいて制御される。
　例えば障害物にピントが合った画像を撮影することにより、障害物の認識精度を向上させることができ、それにより、障害物をより適切に回避することが可能になる。危険度の高い障害物を地図情報に基づいて選択し、そのような危険度の高い障害物を優先的に回避するような移動経路が設定されるようにしてもよい。
　例えば、ロボット１がドローンである場合、飛んでいる鳥、電線などが障害物として選択される。また、ロボット１が車である場合、人、犬、前方を走行している車などが障害物として選択される。
　各物体が移動体である場合、移動速度を地図情報に基づいて特定し、移動速度が速い物体を危険度が高い物体とするようにして、各物体の危険度が判断されるようにしてもよい。
＜変形例＞
　カメラ１１の駆動を制御する場合について説明したが、地図情報により表される、ロボット１と対象物との位置関係に基づいて他のデバイスの駆動が制御されるようにしてもよい。例えば、マイク１３の特性が、ロボット１と対象物との位置関係に基づいて制御されるようにすることが可能である。
　図１４は、制御システムの構成例を示す図である。
　図１４の制御システムは、ロボット１と制御サーバ２０１がインターネットなどのネットワーク２０２を介して接続されることによって構成される。ロボット１と制御サーバ２０１は、ネットワーク２０２を介して通信を行う。
　図１４の制御システムにおいては、上述したようなロボット１の処理が、ロボット１の外部の装置である制御サーバ２０１により行われる。すなわち、図８の生成部１０１、算出部１０２、およびタスク管理部１０３の各機能部が、所定のプログラムが実行されることによって制御サーバ２０１において実現される。
　制御サーバ２０１は、ロボット１から送信されてきた画像と距離情報に基づいて、上述したようにして地図情報を生成する。ロボット１から制御サーバ２０１に対しては、カメラ１１により撮影された画像、距離センサ１２により検出された距離情報などの各種のデータが繰り返し送信される。
　制御サーバ２０１は、ロボット１と対象物との地図上の位置関係に基づいて各種のパラメータを算出し、ロボット１に送信する。ロボット１は、制御サーバ２０１から送信されてきたパラメータに従ってカメラ１１を駆動させる。制御サーバ２０１は、ロボット１の行動を制御する制御装置として機能する。
　このように、ロボット１の行動を制御する制御装置が、ロボット１の外部の装置として設けられるようにしてもよい。
・コンピュータの構成例
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。図１４の制御サーバ２０１も、図１５に示す構成と同様の構成を有する。
　CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。
　バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５及びバス１００４を介してRAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　CPU１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
・構成の組み合わせ例
　本技術は、以下のような構成をとることもできる。
（１）
　移動体に設けられたセンサの出力に基づいて、前記移動体の周囲に存在する対象物を含む地図を生成する地図生成部と、
　前記地図における前記対象物の位置と前記移動体の位置との関係に基づいて、前記対象物を撮影する前記移動体に設けられたカメラの駆動を制御する制御部と
　を備える制御装置。
（２）
　動いている前記対象物の前記地図における位置を推定する推定部をさらに備え、
　前記制御部は、推定された位置に基づいて、前記対象物を追跡して撮影するように前記カメラの駆動を制御する
　前記（１）に記載の制御装置。
（３）
　前記制御部は、前記地図に基づいて特定される、前記移動体から前記対象物までの距離に基づいて、前記カメラの焦点制御を行う
　前記（１）または（２）に記載の制御装置。
（４）
　前記制御部は、前記地図に基づいて特定される、前記移動体から前記対象物までの距離に基づいて、前記カメラの焦点距離を制御する
　前記（１）乃至（３）のいずれかに記載の制御装置。
（５）
　前記制御部は、前記地図に基づいて特定される、前記対象物の大きさに基づいて、前記カメラの絞り値を制御する
　前記（１）乃至（４）のいずれかに記載の制御装置。
（６）
　前記制御部は、前記移動体が実行するタスクに応じて、撮影する前記対象物を切り替えるように前記カメラの駆動を制御する
　前記（１）乃至（５）のいずれかに記載の制御装置。
（７）
　前記移動体の筐体に設けられる
　前記（１）乃至（６）のいずれかに記載の制御装置。
（８）
　制御装置が、
　移動体に設けられたセンサの出力に基づいて、前記移動体の周囲に存在する対象物を含む地図を生成し、
　前記地図における前記対象物の位置と前記移動体の位置との関係に基づいて、前記対象物を撮影する前記移動体に設けられたカメラの駆動を制御する
　制御方法。
（９）
　コンピュータに、
　移動体に設けられたセンサの出力に基づいて、前記移動体の周囲に存在する対象物を含む地図を生成し、
　前記地図における前記対象物の位置と前記移動体の位置との関係に基づいて、前記対象物を撮影する前記移動体に設けられたカメラの駆動を制御する
　処理を実行させるためのプログラム。
　１　ロボット，　３１　制御部，　３２　入出力部，　３３　駆動部，　３４　無線通信部，　３５　電源部，　１０１　生成部，　１０２　算出部，　１０３　タスク管理部，　１０４　駆動制御部，　１１１　点群地図生成部，　１１２　認識部，　１１３　地図生成部，　１２１　物体位置推定部，　１２２　パラメータ算出部，　２０１　制御サーバ，　２０２　ネットワーク

Claims (9)

  1. 　移動体に設けられたセンサの出力に基づいて、前記移動体の周囲に存在する対象物を含む地図を生成する地図生成部と、
    　前記地図における前記対象物の位置と前記移動体の位置との関係に基づいて、前記対象物を撮影する前記移動体に設けられたカメラの駆動を制御する制御部と
    　を備える制御装置。
  2. 　動いている前記対象物の前記地図における位置を推定する推定部をさらに備え、
    　前記制御部は、推定された位置に基づいて、前記対象物を追跡して撮影するように前記カメラの駆動を制御する
    　請求項１に記載の制御装置。
  3. 　前記制御部は、前記地図に基づいて特定される、前記移動体から前記対象物までの距離に基づいて、前記カメラの焦点制御を行う
    　請求項１に記載の制御装置。
  4. 　前記制御部は、前記地図に基づいて特定される、前記移動体から前記対象物までの距離に基づいて、前記カメラの焦点距離を制御する
    　請求項１に記載の制御装置。
  5. 　前記制御部は、前記地図に基づいて特定される、前記対象物の大きさに基づいて、前記カメラの絞り値を制御する
    　請求項１に記載の制御装置。
  6. 　前記制御部は、前記移動体が実行するタスクに応じて、撮影する前記対象物を切り替えるように前記カメラの駆動を制御する
    　請求項１に記載の制御装置。
  7. 　前記移動体の筐体に設けられる
    　請求項１に記載の制御装置。
  8. 　制御装置が、
    　移動体に設けられたセンサの出力に基づいて、前記移動体の周囲に存在する対象物を含む地図を生成し、
    　前記地図における前記対象物の位置と前記移動体の位置との関係に基づいて、前記対象物を撮影する前記移動体に設けられたカメラの駆動を制御する
    　制御方法。
  9. 　コンピュータに、
    　移動体に設けられたセンサの出力に基づいて、前記移動体の周囲に存在する対象物を含む地図を生成し、
    　前記地図における前記対象物の位置と前記移動体の位置との関係に基づいて、前記対象物を撮影する前記移動体に設けられたカメラの駆動を制御する
    　処理を実行させるためのプログラム。
PCT/JP2019/028008 2018-07-31 2019-07-17 制御装置、制御方法、およびプログラム WO2020026798A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/250,422 US11303799B2 (en) 2018-07-31 2019-07-17 Control device and control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-143260 2018-07-31
JP2018143260A JP2021177582A (ja) 2018-07-31 2018-07-31 制御装置、制御方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2020026798A1 true WO2020026798A1 (ja) 2020-02-06

Family

ID=69232155

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/028008 WO2020026798A1 (ja) 2018-07-31 2019-07-17 制御装置、制御方法、およびプログラム

Country Status (3)

Country Link
US (1) US11303799B2 (ja)
JP (1) JP2021177582A (ja)
WO (1) WO2020026798A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112788238A (zh) * 2021-01-05 2021-05-11 中国工商银行股份有限公司 用于机器人跟随的控制方法和装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11381730B2 (en) * 2020-06-25 2022-07-05 Qualcomm Incorporated Feature-based image autofocus

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009177666A (ja) * 2008-01-28 2009-08-06 Mitsubishi Heavy Ind Ltd 追尾装置及び追尾方法
JP2018049438A (ja) * 2016-09-21 2018-03-29 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8996172B2 (en) * 2006-09-01 2015-03-31 Neato Robotics, Inc. Distance sensor system and method
US7974460B2 (en) * 2007-02-06 2011-07-05 Honeywell International Inc. Method and system for three-dimensional obstacle mapping for navigation of autonomous vehicles
JP2013022705A (ja) * 2011-07-25 2013-02-04 Sony Corp ロボット装置及びロボット装置の制御方法、コンピューター・プログラム、並びにロボット・システム
EP4250738A3 (en) * 2014-04-22 2023-10-11 Snap-Aid Patents Ltd. Method for controlling a camera based on processing an image captured by other camera
JP6685823B2 (ja) 2016-04-28 2020-04-22 キヤノン株式会社 被写体追跡装置およびその制御方法、撮像装置、プログラム
JP6800628B2 (ja) * 2016-06-22 2020-12-16 キヤノン株式会社 追跡装置、追跡方法、及びプログラム
KR20180098079A (ko) * 2017-02-24 2018-09-03 삼성전자주식회사 비전 기반의 사물 인식 장치 및 그 제어 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009177666A (ja) * 2008-01-28 2009-08-06 Mitsubishi Heavy Ind Ltd 追尾装置及び追尾方法
JP2018049438A (ja) * 2016-09-21 2018-03-29 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112788238A (zh) * 2021-01-05 2021-05-11 中国工商银行股份有限公司 用于机器人跟随的控制方法和装置

Also Published As

Publication number Publication date
US20210266467A1 (en) 2021-08-26
US11303799B2 (en) 2022-04-12
JP2021177582A (ja) 2021-11-11

Similar Documents

Publication Publication Date Title
US11158056B2 (en) Surround camera system with seamless stitching for arbitrary viewpoint selection
US11126182B2 (en) Unmanned aerial image capture platform
US20210279444A1 (en) Systems and methods for depth map sampling
US20190291723A1 (en) Three-dimensional object localization for obstacle avoidance using one-shot convolutional neural network
US10849543B2 (en) Focus-based tagging of sensor data
US9191642B2 (en) Visual obstruction removal with image capture
US8909375B2 (en) Nodding mechanism for a single-scan sensor
IL256524A (en) Improved object detection for an autonomous vehicle
WO2020107372A1 (zh) 拍摄设备的控制方法、装置、设备及存储介质
KR20190102152A (ko) 디스플레이 패널의 색상을 조정하는 인공 지능 장치 및 그 방법
WO2019227333A1 (zh) 集体照拍摄方法和装置
WO2020026798A1 (ja) 制御装置、制御方法、およびプログラム
US11483480B2 (en) Simulated rolling shutter image data
EP4246437A1 (en) Method and apparatus for detecting motion information of target, and device and medium
JP7077726B2 (ja) 車両システム、空間領域推測方法及び空間領域推測装置
KR102607390B1 (ko) 차량의 주변 상황 확인 방법
US20210349467A1 (en) Control device, information processing method, and program
US20230401748A1 (en) Apparatus and methods to calibrate a stereo camera pair
Martínez-Carranza et al. Combining deep learning and RGBD SLAM for monocular indoor autonomous flight
Leung et al. Toward a large-scale multimodal event-based dataset for neuromorphic deep learning applications
Syntakas et al. Object Detection and Navigation of a Mobile Robot by Fusing Laser and Camera Information
CN112731919B (zh) 一种基于人群密度估计的指引机器人方法及系统
Hamim et al. Reconnaissance Robot for Military Operation and Multipurpose Surveillance
Odagiri et al. Monocular Blind Spot Estimation with Occupancy Grid Mapping
Chen et al. ATopNet: Robust Visual Localization for AMR Navigation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19843185

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19843185

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP