WO2023047625A1 - 情報処理装置と情報処理方法およびロボット装置とその制御方法 - Google Patents

情報処理装置と情報処理方法およびロボット装置とその制御方法 Download PDF

Info

Publication number
WO2023047625A1
WO2023047625A1 PCT/JP2022/007009 JP2022007009W WO2023047625A1 WO 2023047625 A1 WO2023047625 A1 WO 2023047625A1 JP 2022007009 W JP2022007009 W JP 2022007009W WO 2023047625 A1 WO2023047625 A1 WO 2023047625A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
cost map
unit
movement
information processing
Prior art date
Application number
PCT/JP2022/007009
Other languages
English (en)
French (fr)
Inventor
祐輝 遠藤
佳昭 中島
恭平 鈴木
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023047625A1 publication Critical patent/WO2023047625A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions

Definitions

  • This technology relates to an information processing device and information processing method, a robot device and its control method, and enables it to perform actions adapted to surrounding conditions.
  • Patent Document 1 a robot arm is mounted on an unmanned guided vehicle, the robot arm performs work while moving between a plurality of facilities, and only the arm is stopped when the arm-side distance sensor detects an obstacle. It is described that the carriage continues to move, and both the arm and the carriage are stopped when the carriage-side sensor detects an obstacle.
  • the number of sensors increases. Also, if control is performed according to the obstacle detected by each sensor, the arm movement and the carriage movement may be performed independently with respect to the same obstacle, resulting in suboptimal movement.
  • a first aspect of the present technology is a cost map generation unit that generates, based on sensing information of an imaging target, an imaging cost map used for controlling an imaging unit that images the imaging target and a movement cost map that is used for controlling a truck on which the imaging unit is provided; An imaging control command for the imaging unit is generated based on the imaging cost map generated by the cost map generating unit, and a movement control command for the truck is generated based on the movement cost map generated by the cost map generating unit.
  • the information processing apparatus includes a command generation unit that performs
  • an imaging cost map used for controlling an imaging unit that captures an image of an imaging target and control of a trolley provided with the imaging unit.
  • Each movement cost map to be used is generated by the cost map generation unit.
  • the imaging unit includes, for example, an imaging main unit that picks up an imaging target and generates a captured image, and a support that is provided on the carriage so that the posture of the imaging main unit can be changed.
  • the imaging cost map indicates the cost value according to the position of the imaging unit with respect to the imaging target
  • the movement cost map indicates the cost value according to the position of the cart with respect to the imaging target.
  • the imaging cost map and the movement cost map are maps in which the cost value is binary or changes according to the distance from the imaging target.
  • a recognition processing unit that recognizes the type and attributes of an imaging target is provided to recognize the type of imaging target (human or non-human object) and the attributes of the imaging target (for example, at least one of posture, appearance, and individual information).
  • the cost map generation unit generates an imaging cost map and a movement cost map according to the types and attributes recognized by the recognition processing unit. For example, when the recognition processing unit recognizes that the imaging target is a person, the cost map generation unit generates at least one of the imaging cost map and the movement cost map in a map shape reflecting a personal space model, or a human A map shape that reflects the visual field range or a map shape that reflects the result of human flow line prediction is used.
  • the command generation unit generates an imaging control command for the imaging unit based on the imaging cost map generated by the cost map generation unit, and generates a movement control command for the truck based on the movement cost map generated by the cost map generation unit. .
  • the command generation unit generates an imaging control command for performing an imaging avoidance operation of the imaging target.
  • the image capturing avoidance operation when the image capturing target is a person, the image capturing operation is stopped or the image capturing operation is performed to make the image capturing target unidentifiable. .
  • the command generation unit generates a movement control command to stop movement of the cart when the position of the imaging unit is within the close range area on the movement cost map. Further, the command generation unit generates a movement control command for performing an approach avoidance operation of the truck when the position of the imaging unit is within a close distance area that is farther than the close distance area in the movement cost map.
  • the information processing device has a user interface that accepts user input, and the command generation unit generates an imaging control command for the imaging unit and a carriage movement control command based on the user input received by the user interface.
  • a second aspect of the technology is generating an imaging cost map related to the imaging operation and a moving cost map related to the moving operation of the trolley by a generating unit based on the sensing information of the imaging target;
  • the information processing method includes generating an imaging control command based on the imaging cost map, and generating a movement control command by a command generation unit based on the movement cost map.
  • a third aspect of the technology is a sensor unit that generates sensing information of an imaging target; a cost map generating unit that generates an imaging cost map related to an operation of imaging the imaging target and a movement cost map related to a moving operation of the trolley, based on the sensing information generated by the sensor unit; a command generation unit that generates an imaging control command based on the imaging cost map generated by the cost map generation unit, and generates a movement control command based on the movement cost map that is generated by the cost map generation unit; a driving unit that moves the carriage based on the movement control command;
  • the robot apparatus includes an imaging unit that is provided on the carriage and performs an imaging operation based on the imaging control command.
  • a fourth aspect of the present technology is generating sensing information of an imaging target in a sensor unit; a generation unit generating an imaging cost map related to an imaging operation and a movement cost map related to a movement operation of a trolley based on the sensing information generated by the sensor unit; generating an imaging control command based on the imaging cost map, and generating a movement control command based on the movement cost map by a command generation unit; moving the carriage by a drive unit based on the movement control command generated by the command generation unit;
  • the control method of the robot device includes performing an imaging operation of the imaging target with an imaging unit provided on the cart based on the imaging control command generated by the command generation unit.
  • FIG. 10 is a diagram illustrating an operation when the robot device is within the area of the cost map; It is the figure which illustrated the area
  • a robot device using the information processing device of the present technology has a working unit mounted on a movable truck, and the working unit is provided so that its posture and position can be changed with respect to the truck.
  • the robot device is moved by the carriage and autonomously performs desired work by the work section.
  • an imaging unit which is a working unit, captures an image of an object to be imaged.
  • Fig. 1 illustrates the external configuration of the robot device.
  • the robot device 10 is configured using a carriage 10a and an imaging unit 10b for imaging an object to be imaged.
  • the truck 10a has a drive unit 20 and an information processing unit 70, which will be described later, for example.
  • the imaging unit 10 b has an imaging main unit 30 and a support unit 40 .
  • the imaging main unit 30 has an imaging optical system including a focus lens and the like, an image sensor, and an image processing unit, and images an object to be imaged to generate image data.
  • One end of the support portion 40 is fixed to the carriage 10a, and the other end is provided with a camera rig, pan head, or the like.
  • an imaging main unit 30 is attached to the other end via a camera rig, pan head, or the like.
  • the support section 40 may have any configuration as long as it can adjust the position, posture, orientation, etc. of the imaging main body section 30, and performs turning and raising and lowering motions like a crane arm to adjust the position and posture of the imaging main body section 30.
  • a configuration or the like that adjusts the direction or the like may be used.
  • Fig. 2 illustrates the functional configuration of the robot device.
  • the robot device 10 has a sensor section 50 , a user interface section 60 and an information processing section 70 .
  • the robot device 10 also has a carriage drive section 81 , a support drive section 82 and an imaging control section 83 .
  • the sensor section 50 has an external sensor 51 and an internal sensor 52 .
  • the external sensor 51 generates sensing information (for example, an image indicating the surrounding situation, information indicating the distance to a surrounding object, etc.) regarding the surrounding situation of the robot device 10 .
  • the external sensor 51 is configured using, for example, an image sensor or a ranging sensor (LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), TOF (Time Of Flight), SONAR (Sound navigation and ranging), a stereo camera, etc.). and outputs the generated sensing information (also referred to as “external sensing information”) to the information processing section 70 .
  • LIDAR Light Detection and Ranging, Laser Imaging Detection and Ranging
  • TOF Time Of Flight
  • SONAR Sound navigation and ranging
  • a stereo camera etc.
  • the internal sensor 52 generates sensing information about the robot device itself (for example, information indicating the position and posture of the carriage 10a and its changes, and information indicating the imaging direction of the imaging main unit 30 and its changes).
  • the internal sensor 52 is configured using, for example, a position sensor, an angle sensor, an acceleration sensor, a gyro sensor, etc., and outputs generated sensing information (also referred to as “internal sensing information”) to the information processing section 70 .
  • a user interface (I/F) unit 60 is configured using a display unit 61, an operation unit 62, an audio input/output unit 63, and the like.
  • the display unit 61 displays a menu for setting the operation of the carriage 10a and the imaging unit 10b of the robot device 10, displays the operation state of the imaging main unit 30, and the like. For example, when indicating the operating state of the imaging main unit 30, the tally lamp is turned on when the imaging main unit 30 is in the imaging state, and turned off when the imaging main unit 30 is in the imaging stop state.
  • the operation unit 62 is configured using operation switches, operation buttons, a touch panel, a code reader, and the like.
  • the operation unit 62 accepts various setting operations of the robot device 10 and user information such as an action plan indicating how to perform an imaging operation.
  • the voice input/output unit 63 is configured using a speaker, a microphone, and the like.
  • the voice input/output unit 63 outputs voice information indicating the operating state and the like from a speaker.
  • the audio input/output unit 343 may control the imaging operation based on the audio acquired by the microphone.
  • the information processing unit 70 utilizes sensing information generated by the sensor unit 50 to perform movement control of the carriage 10a and the imaging unit so that an imaging operation instructed via the user I/F unit 60 can be performed. 10b attitude control, imaging operation control, and the like.
  • the information processing section 70 has a recognition processing section 71 , a cost map generation section 72 and a command generation section 73 .
  • the recognition processing unit 71 recognizes the surrounding situation based on the external world sensing information acquired by the sensor unit 50, and recognizes, for example, areas in which the robot device 10 can move, objects in the surroundings, and the like. In addition, the recognition processing unit 71 determines the object to be imaged from the surrounding objects recognized based on the external sensing information, and determines the position and type of the object to be imaged (a person or an object other than a person), attributes (for example, posture, appearance, and individual information).
  • the recognition processing unit 71 uses the internal world sensing information or the internal world sensing information and the external world sensing information acquired by the sensor unit 50 to determine the position, orientation and speed of the vehicle itself, that is, the position and speed of the truck 10a. On the other hand, it recognizes the position, orientation, etc. of the imaging main unit 30 attached via the support unit 40 . Therefore, based on the recognition processing result of the recognition processing unit 71, for example, the positional relationship between the carriage 10a and the object to be imaged, the positional relationship between the imaging main unit 30 and the object to be imaged, and changes in the positional relationship can be grasped.
  • the cost map generation unit 72 calculates the imaging cost used for controlling the imaging unit 10b that images the imaging target based on sensing information (for example, a depth map, etc.) that enables determination of the distance to the imaging target acquired by the sensor unit 50.
  • a map and a movement cost map used for controlling the carriage 10a provided with the imaging unit 10b are generated.
  • the cost map generation unit 72 generates an imaging cost map and a movement cost map using the same sensing information.
  • the imaging cost map indicates cost values according to the position of the imaging unit 10 b with respect to the imaging target recognized by the recognition processing unit 71 .
  • the movement cost map indicates cost values according to the position of the carriage 10a with respect to the imaging target recognized by the recognition processing unit 71.
  • the cost map generation unit 72 sets the map shape and cost value of the cost map according to the type and attributes of the imaging target.
  • the command generation unit 73 is adapted to the surrounding conditions to capture an image of the imaging target. , the operation cost for moving the carriage 10a and the operation cost for operating the imaging unit 10b are calculated. In addition, the command generation unit 73 updates the action plan so that the operation cost is minimized, and the movement control command is generated based on the updated action plan in order to efficiently image the imaging target in accordance with the surrounding situation. and imaging control commands.
  • the algorithm and control settings for generating the control command may be switched based on the action plan of the robot device 10, the processing result of the recognition processing unit 71, and the like.
  • the command generation unit 73 outputs the generated movement control command to the carriage driving unit 81 .
  • the command generation section 73 outputs the generated imaging control command to the support drive section 82 and/or the imaging control section 83 .
  • the carriage drive unit 81 is configured using wheels and a drive source (for example, a motor), etc., and moves the carriage 10a by driving the wheels with the drive source based on the movement control command output from the information processing unit 70.
  • a drive source for example, a motor
  • the support driving section 82 is configured using a drive source (for example, a motor) or the like for driving the support section 40 such as a camera rig, and drives the support section 40 based on the imaging control command output from the information processing section 70. The posture and position of the imaging main unit 30 are moved.
  • a drive source for example, a motor
  • the posture and position of the imaging main unit 30 are moved.
  • the imaging control unit 83 controls operations of the imaging body unit 30 (for example, start and stop of imaging, focus operation, image processing operation, etc.) based on imaging control commands output from the information processing unit 70 .
  • the robot device 10 may have a communication unit that performs wireless communication.
  • Wireless communication may include, for example, cellular communication using any of LTE, WCDMA (registered trademark), 5G, etc., and short-range wireless communication using any of Wi-Fi, Bluetooth (registered trademark), etc. may contain.
  • the communication unit wirelessly communicates with other robot devices, for example, transmits the estimated self-position and action plan to the other robot devices, and performs a plurality of imaging operations of the imaging target adapted to the surrounding situation by the plurality of robot devices.
  • a robotic device may be used.
  • wireless communication may be performed with a management device or the like that manages the robot device, and information indicating the operation status of the robot device may be notified to the management device, or the management device may change or update the action plan.
  • the above-described user I/F unit 60 is provided in the management device or the like, and various setting operations, action plans, etc. are received at a position away from the robot device 10, and user information indicating the received various settings, action plans, etc. may be transmitted to the information processing unit 70 .
  • FIG. 3 is a flow chart illustrating the operation of the robot device.
  • the information processing section acquires sensing information.
  • the information processing section 70 acquires the external world sensing information and the internal world sensing information from the sensor section 50, and proceeds to step ST2.
  • step ST2 the information processing section performs recognition processing. Based on the sensing information acquired in step ST1, the information processing section 70 recognizes the surrounding situation, the position and type of the object to be imaged, the attributes, speed, and the position, posture, and speed of the self, and proceeds to step ST3.
  • the information processing section sets the cost map generation rule.
  • the information processing section 70 sets generation rules for generating a movement cost map used for movement control of the cart 10a and an imaging cost map used for imaging control of the imaging section 10b according to the recognition processing result of step ST2. Go to step ST4.
  • the information processing section generates a cost map.
  • the information processing section 70 generates a movement cost map and an imaging cost map based on the cost map generation rule set in step ST3, and proceeds to step ST5.
  • the information processing section calculates the operation cost.
  • the information processing unit 70 uses the movement cost map and the imaging cost map generated in step ST4 to determine the operation cost for moving the carriage 10a and the operation for operating the imaging unit 10b in order to capture an image of the imaging target. Each cost is calculated and the process proceeds to step ST11.
  • step ST6 the information processing section accepts user information.
  • the information processing section 70 accepts user information indicating various settings of the robot apparatus 10, an action plan, etc., and proceeds to step ST7.
  • step ST7 the information processing section sets an imaging task. Based on the user information received in step ST7, the information processing section 70 sets an imaging task from which position and direction the imaging target is to be imaged, and proceeds to step ST8.
  • step ST8 the information processing section determines whether the specific imaging condition is set.
  • the information processing section 70 proceeds to step ST9 if the specific imaging condition is set for the imaging target, for example, if the imaging direction is restricted for the imaging target, and if the specific imaging condition is not set. Go to step ST11.
  • the information processing section determines whether a specific action should be executed.
  • the information processing unit 70 is set to execute a specific operation when the specific imaging condition is not satisfied, for example, an operation of avoiding imaging of the imaging target when the imaging direction of the imaging target is a prohibited direction. proceeds to step ST10, and proceeds to step ST11 if it is not set to execute a specific action.
  • the information processing section performs control settings corresponding to the specific operation.
  • the information processing section 70 sets what kind of control is to be performed when the specific action is performed.
  • the control setting for the specific operation is not limited to one control setting, and may be a plurality of control settings.
  • the information processing section updates the action plan.
  • the information processing section 70 updates the action plan as necessary so that the cost of executing the imaging task set in step ST7 is minimized, that is, the imaging task can be executed efficiently, and the process proceeds to step ST12.
  • the information processing section generates a control command. Based on the action plan updated as necessary in step ST11, the information processing section 70 performs control to operate the carriage 10a and the imaging section 10b so as to perform the imaging task of imaging the imaging target in accordance with the surrounding situation. Generate directives.
  • the information processing unit 70 sends a control command regarding the carriage 10a to the carriage driving unit 81, a control command regarding the support unit 40 of the imaging unit 10b to the support driving unit 82, and a control command regarding the imaging body unit 30 of the imaging unit 10b to the imaging control unit 83. Output each.
  • the operation of the robot device is not limited to the flowchart illustrated in FIG.
  • the cost map generation rule may be set before the cost map is generated, for example, before the sensing information is acquired or the recognition process is performed.
  • the generation rule if the generation rule is set so that the cost map can be generated in consideration of the specific imaging conditions set for the imaging target, the cost map used to generate the control command can be efficiently generated. .
  • the robot device 10 can perform motions adapted to the surrounding conditions. Further, since the robot apparatus 10 controls the operations of the carriage 10a and the imaging unit 10b using the same sensing information, it is possible to ensure the sameness of the imaging target used in each control and the synchronization of time in each control. .
  • the truck 10a can be individually set according to the position of the truck 10a with respect to the object to be imaged, and the operation of the imaging unit 10b can be set individually according to the position of the imaging body unit 30 with respect to the object to be imaged, the truck 10a can take safe actions, The imaging unit 10b can realize operations in different modes such as continuing imaging.
  • a cost map is generated in which a cost field is set around an imaging target (for example, a person or an object other than a person), and movement control of the cart 10a and imaging control of the imaging unit 10b are performed.
  • an imaging target for example, a person or an object other than a person
  • FIG. 4 illustrates the actions performed by the robot device.
  • the object to be imaged when the object to be imaged is a person, the object to be imaged is imaged from an undesirable direction or distance, and the imaged image includes a state or part that should not be photographed, which is an ethical problem.
  • the imaging operation is performed so as not to cause
  • the object to be imaged when the object to be imaged is an object other than a person, it is necessary to prevent the quality of the imaged image from deteriorating due to the fact that the object is too close to the object to be imaged to make it unclear what is being imaged. image pickup operation.
  • the robot device 10 generates a cart cost map and an imaging cost map. Further, the robot apparatus 10 recognizes the positions of itself and the subject, and the type and attributes of the imaging target based on common sensing information (for example, a depth map, etc.). The robot apparatus 10 performs an operation based on the cost map, the positions of the robot apparatus and the object to be imaged, and the type and attributes of the object to be imaged. When the object comes too close to the object, an operation is performed to continue imaging while avoiding the object.
  • FIG. 5 illustrates a cost map.
  • FIG. 5(a) shows the cart cost map and the imaging cost map when the imaging target is a person
  • FIG. 5(b) shows the cart cost map and the imaging cost map when the imaging target is an object other than a person. exemplified.
  • the teardrop-shaped area MBAa in the vehicle cost map indicates the close range area
  • the teardrop-shaped area MBAb indicates the close range area
  • the circular area MCAa in the imaging cost map indicates the close range area. is shown. Also, in FIG.
  • a circular area MBBa in the vehicle cost map indicates a close range area
  • a circular area MBBb indicates a close range area
  • a circular area MCBa in the imaging cost map indicates a close range area.
  • the close distance is a distance that restricts the operation of the carriage 10a and the imaging unit 10b due to being too close to the object to be imaged.
  • the cost value is binary, with a high cost value (eg "1") inside the region and a low cost value (eg "0") outside the region.
  • FIG. 6 exemplifies the operation when the robot device is within the area of the cost map.
  • the robot device 10 moves in the direction in which the cost increases with respect to the operation of the imaging unit 10b (i.e., the imaging target direction).
  • the robot device 10 changes the imaging direction of the imaging main unit 30 by the support part 40 to a downward direction or a rearward direction that is different from the direction of the imaging target.
  • the robot apparatus 10 performs, as restrictions, an operation to stop imaging by the imaging main unit 30, an operation to defocus and blur the captured image, and image processing to mask the imaging target.
  • the robot device 10 sets the speed of the trolley 10a to zero and stops to perform a collision prevention operation.
  • the robot device 10 moves the cart 10a in the direction in which the cost increases (the direction of the imaging target). is constrained not to be close to As a constraint, the robot device 10 performs a collision avoidance motion, for example, by reducing its speed and performing a running motion deviating from the movement path.
  • the robot device 10 controls the movement of the carriage 10a to travel along the specified route. Drive on the designated route. Further, the robot apparatus 10 controls the operation of the imaging unit 10b to capture an image of the imaging target without restriction, for example, an imaging target at a specified angle of view without restriction of posture.
  • FIG. 7 exemplifies areas of the trolley cost map and the imaging cost map when the imaging target is a person.
  • the imaging cost map is composed of, for example, a circular area (close range area) MCAa based on the position of the imaging target.
  • a case is illustrated in which the area is composed of an area) MBAa and an area (short-distance area) MBAb.
  • FIG. 8 exemplifies the relationship between the position of the imaging target and the movement of the cart and the movement of the imaging unit.
  • the command generation unit 73 stops the trolley 10a so that the object to be imaged is either a person or an object other than a person so that the trolley 10a does not collide with the object to be imaged. Generate a movement control command to Further, when the position of the imaging unit 10b is within the close range area in the imaging cost map, the command generation unit 73 generates an imaging control command to cause the imaging unit 10b to perform imaging avoidance operation of the imaging target.
  • the command generation unit 73 stops imaging the imaging target as the imaging avoidance operation. Specifically, the imaging main unit 30 is turned downward so that the imaging target is not captured by the supporting unit 40, or the imaging main unit 30 is placed in an imaging stop state. By performing such an imaging avoidance operation, the person who is the imaging target can determine that imaging is not being performed by turning off the tally lamp due to the attitude of the imaging main unit 30 or the end of the imaging operation. Further, the instruction generation unit 73 may perform an imaging operation that makes the imaging target unidentifiable as the imaging avoidance operation. For example, the instruction generation unit 73 may move the focus lens position of the imaging body unit 30 to blur the imaging target, or perform image processing such as replacing the imaging target portion with another image in image processing.
  • the command generation unit 73 prevents the object from being too close to the object to be imaged, which makes it unclear what is being imaged and degrades the quality of the imaged image. As a result, the angle of view of the imaging main unit 30 is changed and the imaging direction is changed.
  • the instruction generation unit 73 determines whether the object to be imaged is a person or an object other than a person as the operation of the truck 10a. However, a movement control command is generated to perform an avoidance operation so that the carriage 10a does not collide with the object to be imaged. Further, when the position of the imaging unit 10b is within the close distance area that is the outer area of the close distance area in the imaging cost map, the instruction generation unit 73 determines that the imaging target is a person or other than a person as the operation of the imaging unit 10b. to generate an image capturing control command for capturing an image of an image capturing target.
  • the instruction generating unit 73 operates the imaging unit 10b to determine whether the imaging target is a person or an object other than a person. Generate an imaging control command for imaging.
  • the close range areas in the movement cost map and the imaging cost map may be the same area or different areas.
  • the proximity distance areas in the movement cost map and the imaging cost map may be the same area or may be different areas.
  • the image pickup provided in the robot device 10 is controlled.
  • the imaging target is imaged by the unit 10b
  • the imaging target can be imaged by adapting to the surrounding situation.
  • the robot apparatus 10 efficiently captures an image of an object to be imaged, such as "does not capture what should not be captured” and "maximizes the available time for capturing and captures at an angle that can improve the image quality". can be done.
  • FIG. 9 illustrates cost values.
  • (a) of FIG. 9 shows a cost map
  • (b) of FIG. 9 shows the cost values of the areas MBAa and MCAa at the position of line AA' in (a) of FIG. 9, and (c) of FIG. illustrates the cost value of the area MBAb at the position of line AA' in FIG. 9(a).
  • the cost values of the regions MBAa and MCAa are binary, and the cost value of the region MBAb is a continuous value.
  • a continuously changing cost value is set, for example, so that the change in the cost value in the region MBAb exhibits the normal distribution shown in Equation (1).
  • the change in the cost value in the area MBAb may be a characteristic such that the cost value increases linearly as the imaging target is approached.
  • the robot device 10 holds a function f(x, y) indicating a two-dimensional cost map around the imaging target, calculates the operation cost based on the position of the imaging target and the position of the robot device 10, and calculates the operation cost. Based on this, we will set a course of action thereafter. For example, in the cost map, when the cost value becomes high as the imaging target is approached, the action policy after that is set so that the operation cost is reduced.
  • FIG. 10 illustrates the operation according to the aspect of the imaging target.
  • the robot apparatus 10 uses, for example, posture, appearance (clothing), and individual information as aspects of an imaging target will be described.
  • the robot device 10 permits imaging while looking up when the imaging target is at a certain distance or longer. In addition, when the distance is shorter than a certain distance, imaging while looking up is not permitted. For example, when the robot device 10 is away from the object to be imaged by a certain distance or more, the robot device 10 directs the imaging main unit 30 toward the object to be imaged and turns on the tally lamp. When the distance becomes closer than a certain distance, the imaging operation of the imaging main unit 30 is stopped, the tally lamp is turned off, and the imaging main unit 30 is turned downward.
  • the robot device 10 When the posture of the imaging target is squatting or sitting, the robot device 10 permits imaging of the face by looking up regardless of the distance. For example, regardless of the distance from the imaging target, the robot apparatus 10 directs the imaging main unit 30 toward the imaging target to perform imaging, turns on the tally lamp, and continues imaging even when approaching the imaging target.
  • the robot device 10 permits imaging of the face by looking up regardless of the distance. For example, regardless of the distance from the imaging target, the robot apparatus 10 directs the imaging main unit 30 toward the imaging target to perform imaging, turns on the tally lamp, and continues imaging even when approaching the imaging target.
  • the robot device 10 permits imaging while looking up when the distance is equal to or greater than a certain distance.
  • imaging while looking up is not permitted.
  • the imaging main unit 30 is directed toward the object to be imaged, and the tally lamp is turned on. , the image capturing operation of the image capturing main unit 30 is stopped, the tally lamp is turned off, and the image capturing main unit 30 faces downward.
  • the robot device 10 applies imaging settings related to the specific individual. For example, when a uniquely set refusal distance for photographing looking up is set, the robot apparatus 10 does not permit photographing looking up at a distance closer than the refusal distance. Further, when imaging of facial expressions limited to a specific angle is permitted, the robot apparatus 10 prohibits imaging from a frontal direction different from the specific angle, and prohibits imaging from a side direction that is a specific angle. To give permission.
  • the robot apparatus 10 applies preset standard imaging settings. For example, the robot apparatus 10 permits imaging from the front.
  • the robot apparatus 10 may generate a cost map according to the mode. By selecting a cost map corresponding to the mode determined based on the result, an operation corresponding to the mode may be performed.
  • the robot apparatus 10 uses the function f(x, y, p) using the parameter p indicating the mode of the imaging target as the function indicating the cost map. is generated, and the same control as in the first operation example or the like may be performed.
  • the robot device 10 can be configured to "do not interfere with people” or “do not interfere with human ethics” based on the aspect of the imaging target and the positional relationship between the robot device 10 and the imaging target. It is possible to solve problems such as not moving in a contrary direction, not moving the robot to make people feel uneasy, and being present in a place where people can see it. In this case, the imaging target can be imaged while minimizing the adverse effect of the robot device 10 on the surroundings.
  • the map shape of the cost map used in the robot device may cause the movement of the robot device to be uneasy for humans. Set so that the possibility of giving etc. is reduced. For example, if the robot device 10 is positioned behind a person, the person feels uneasy. In addition, it is difficult to convey the intention to the robot device 10 when the robot device 10 is out of the field of view of the person. Therefore, if the map shape of the cost map is such that the robot device 10 can easily fit within the human visual field, it is possible to make it difficult for the user to feel uneasy.
  • Fig. 11 exemplifies the map shape of the cost map.
  • the robot device 10 has a cost map shape that reflects a model of a personal space (personal space) that makes one feel uncomfortable when approached by another person.
  • Intimate Space is a space that is only allowed for people who are very close to you
  • Personal Space is a space where you can read the other person's facial expressions
  • Social Space is a space that is difficult to reach but can be easily reached.
  • a space where conversation can take place, a public space is a space that can be viewed by multiple parties.
  • the robot apparatus 10 has a map shape that reflects the model of the personal space, thereby reducing the anxiety and distrust caused by the movement of the robot apparatus 10 .
  • the personal space shown in (a) of FIG. 1 is an example, and may be, for example, an isosceles triangle having a long axis in the traveling direction, an inverted T shape, a rectangular shape, or a shape combining these. .
  • FIG. 11(b) of FIG. 11 shows a case where the human visual field range is reflected in the map shape of the cost map.
  • the predetermined angle range is the recommended range
  • the predetermined angle range outside the recommended range is the allowable range
  • the outside of the allowable range is the unsuitable range.
  • FIG. 11 shows a case in which the result of predicting the flow line of a person in the front-rear direction is reflected in the shape of the cost map.
  • FIG. 11(c) illustrates a movement forecast circle when a flow line prediction result is obtained in which a person moves from the position PS1 to the position PS2 and then advances to the position PS3 by the flow line prediction.
  • the human flow line intersects with the flow line of the robot device 10, and the robot device 10 interferes with the movement of the person. can be prevented.
  • the cost map is not limited to a two-dimensional shape.
  • the imaging main unit 30 mounted on the carriage 10a can move in a direction (height direction) perpendicular to the movement direction of the carriage 10a, the cost map is taken as a three-dimensional shape.
  • the imaging operation of the imaging subject may be controlled according to the height of the body section 30 .
  • the imaging unit is provided on the cart to pick up an image of the object to be imaged.
  • a manipulator is provided on a truck and various operations are performed on the work object by the manipulator
  • a work cost map for the work object and a movement cost map for the movement operation of the truck are generated based on the same sensing information.
  • generating a work control command based on the generated work cost map and generating a movement control command based on the generated movement cost map it is possible to efficiently perform various works adapted to surrounding conditions. become.
  • a series of processes described in the specification can be executed by hardware, software, or a composite configuration of both.
  • a program recording a processing sequence is installed in a memory within a computer incorporated in dedicated hardware and executed.
  • the program can be installed and executed in a general-purpose computer capable of executing various processes.
  • the program can be recorded in advance on a hard disk, SSD (Solid State Drive), or ROM (Read Only Memory) as a recording medium.
  • the program can be stored on flexible discs, CD-ROMs (Compact Disc Read Only Memory), MO (Magneto optical) discs, DVDs (Digital Versatile Discs), BDs (Blu-Ray Discs (registered trademark)), magnetic discs, semiconductor memory cards It can be temporarily or permanently stored (recorded) in a removable recording medium such as.
  • Such removable recording media can be provided as so-called package software.
  • the program can also be downloaded from the download site via a network such as WAN (Wide Area Network), LAN (Local Area Network) such as cellular, or the Internet to the computer wirelessly or by wire. You can transfer with The computer can receive the program transferred in this way and install it in a built-in recording medium such as a hard disk.
  • WAN Wide Area Network
  • LAN Local Area Network
  • the information processing apparatus of the present technology can also have the following configuration.
  • Cost map generation for generating an imaging cost map used for controlling an imaging unit that images an imaging target and a movement cost map used for controlling a truck on which the imaging unit is provided, based on sensing information of the imaging target.
  • Department and An imaging control command for the imaging unit is generated based on the imaging cost map generated by the cost map generating unit, and a movement control command for the truck is generated based on the movement cost map generated by the cost map generating unit.
  • An information processing device comprising a command generation unit for (2) the imaging cost map indicates a cost value according to the position of the imaging unit with respect to the imaging target;
  • a recognition processing unit that recognizes the type and attributes of the imaging target,
  • the recognition processing unit recognizes at least one of posture, appearance, and individual information of the imaging target as the attribute.
  • the cost map generation unit converts at least one of the imaging cost map and the movement cost map into a map reflecting a personal space model.
  • the information processing device according to (3) or (4), which has a shape.
  • the cost map generation unit reflects the visual field range of the person in at least one of the imaging cost map and the movement cost map.
  • the information processing apparatus according to any one of (3) to (5), wherein the map shape is used.
  • the cost map generation unit generates at least one of the imaging cost map and the movement cost map as a flow line prediction result of the person.
  • the information processing apparatus according to any one of (3) to (6), wherein the reflected map shape is used.
  • the command generation unit generates an imaging control command for performing an imaging avoidance operation of the imaging target when the position of the imaging unit is within the close range area in the imaging cost map (3) to (7).
  • the information processing device according to any one of . (9) As the imaging avoidance operation, the command generation unit performs an imaging operation in which imaging is stopped or the imaging target is made unidentifiable when the imaging target is a person, and the imaging target is an object other than a person.
  • the information processing apparatus which changes the angle of view or the imaging direction when the (10) Any one of (3) to (9), wherein the command generation unit generates a movement control command for stopping movement of the cart when the position of the cart is within a close range area on the movement cost map.
  • the information processing device according to . (11)
  • the command generation unit generates a movement control command to perform an approach avoidance operation of the cart when the position of the cart is within a close distance region that is an outer region of the close distance region in the imaging cost map.
  • the information processing apparatus which generates.
  • (12) The information according to any one of (1) to (11), wherein the imaging cost map and the movement cost map are maps in which the cost value is binary or the cost value changes according to the distance from the imaging target. processing equipment.
  • the information processing apparatus according to any one of (1) to (12), wherein the sensing information includes information that enables determination of a distance to the imaging target.
  • the sensing information includes information that enables determination of a distance to the imaging target.
  • the command generation unit generates an imaging control command for the imaging unit and a movement control command for the cart based on a user input received by the user interface. processing equipment.
  • the image pickup unit includes an image pickup main unit that picks up an image of the object to be imaged and generates image data, and a support unit that is provided on the carriage so that the posture of the image pickup main unit can be changed. ).
  • the present technology includes the following programs and information processing devices.
  • a generator A work control command for the work unit is generated based on the work cost map generated by the cost map generation unit, and a movement control command for the cart is generated based on the movement cost map generated by the cost map generation unit.
  • An information processing device comprising a command generation unit for

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

周辺状況に適応した動作を可能とする。　センサ部５０は撮像対象のセンシング情報を生成する。コストマップ生成部７２は、センシング情報に基づいて、撮像対象を撮像する動作に関する撮像コストマップと台車の移動動作に関する移動コストマップをそれぞれ生成する。指令生成部７３は、撮像コストマップに基づいて撮像制御指令を生成して、移動コストマップに基づいて移動制御指令を生成する。台車駆動部８１は、移動制御指令に基づき台車を移動させる。支持駆動部８２は、撮像本体部の姿勢を変更可能として台車に設ける支持部を撮像制御指令に基づき駆動して、撮像本体部の姿勢を制御する。撮像制御部８３は、撮像対象を撮像して撮像画を生成する撮像本体部の動作を撮像制御指令に基づき制御する。

Description

情報処理装置と情報処理方法およびロボット装置とその制御方法
　本技術は、情報処理装置と情報処理方法およびロボット装置とその制御方法に関し、周辺状況に適応した動作を行えるようにする。
　従来、ロボット分野等では、移動可能な本体に作業装置を移動可能に設けて種々の作業を行う技術が提案されている。例えば特許文献１では、無人搬送台車にロボットアームを搭載して、複数の設備間を移動しながらロボットアームによる作業を行い、アーム側距離センサが障害物検出した場合にはアームのみを停止して台車は移動を継続して、台車側センサが障害物検出した場合にはアームと台車をともに停止することが記載されている。
特開平９－３００２５２号公報
　ところで、アーム側と台車側にそれぞれセンサを設ける構成では、センサの数が多くなってしまう。また、各センサで検出した障害物に応じて制御を行うと、同一の障害物に対してアームの動作と台車の動作が独立して行われて、最適な動作とならないおそれがある。
　そこで、本技術では、周辺状況に適応した動作を可能とする情報処理装置と情報処理方法およびロボット装置とその制御方法を提供することを目的とする。
　本技術の第１の側面は、
　撮像対象のセンシング情報に基づいて、前記撮像対象を撮像する撮像部の制御に用いる撮像コストマップと前記撮像部が設けられた台車の制御に用いる移動コストマップをそれぞれ生成するコストマップ生成部と、
　前記コストマップ生成部で生成された前記撮像コストマップに基づき前記撮像部の撮像制御指令を生成して、前記コストマップ生成部で生成された前記移動コストマップに基づき前記台車の移動制御指令を生成する指令生成部と
を備える情報処理装置にある。
　本技術においては、例えば撮像対象までの距離を判別可能とする情報であるセンシング情報に基づいて、撮像対象を撮像する撮像部の制御に用いる撮像コストマップと撮像部が設けられた台車の制御に用いる移動コストマップをコストマップ生成部でそれぞれ生成する。なお、撮像部は、例えば撮像対象を撮像して撮像画を生成する撮像本体部と、撮像本体部の姿勢を変更可能として台車に設ける支持部とを備える。
　撮像コストマップは、撮像対象に対する撮像部の位置に応じたコスト値を示しており、移動コストマップは、撮像対象に対する台車の位置に応じたコスト値を示している。また、撮像コストマップと移動コストマップは、コスト値が二値あるいは撮像対象からの距離に応じてコスト値が変化するマップである。
　また、撮像対象の種別や属性を認識する認識処理部を設けて、撮像対象の種別（人あるいは人以外の物体）や撮像対象の属性（例えば姿勢と外観と個体情報の少なくともいずれか）を認識する。コストマップ生成部は、認識処理部で認識された種別や属性に応じて撮像コストマップと移動コストマップを生成する。例えば、コストマップ生成部は、認識処理部で撮像対象が人であると認識された場合、撮像コストマップと移動コストマップの少なくともいずれかを、パーソナルスペースのモデルを反映したマップ形状、あるいは人の視野範囲を反映したマップ形状、または人の動線予測結果を反映したマップ形状とする。
　指令生成部は、コストマップ生成部で生成された撮像コストマップに基づき撮像部の撮像制御指令を生成して、コストマップ生成部で生成された移動コストマップに基づき台車の移動制御指令を生成する。例えば、指令生成部は、撮像部の位置が撮像コストマップにおける至近距離領域内であるとき、撮像対象の撮像回避動作を行う撮像制御指令を生成する。撮像回避動作では、撮像対象が人である場合に撮像停止または撮像対象を判別不能とした撮像動作を行い、撮像対象が人以外の物体である場合に画角または撮像方向を変更する動作を行う。
　指令生成部は、撮像部の位置が移動コストマップにおける至近距離領域内であるとき、台車の移動を停止する移動制御指令を生成する。また、指令生成部は、撮像部の位置が移動コストマップにおける至近距離領域よりも離れた近接距離領域内であるとき、台車の接近回避動作を行う移動制御指令を生成する。
　さらに、情報処理装置は、ユーザ入力を受け付けるユーザインタフェースを備え、指令生成部は、ユーザインタフェースで受け付けたユーザ入力に基づいて、撮像部の撮像制御指令と台車の移動制御指令の生成を行う。
　本技術の第２の側面は、
　撮像対象のセンシング情報に基づいて、撮像動作に関する撮像コストマップと台車の移動動作に関する移動コストマップをそれぞれ生成部で生成することと、
　前記撮像コストマップに基づいて撮像制御指令を生成して、前記移動コストマップに基づいて移動制御指令を指令生成部で生成することと
を含む情報処理方法にある。
　本技術の第３の側面は、
　撮像対象のセンシング情報を生成するセンサ部と、
　前記センサ部で生成されたセンシング情報に基づいて、前記撮像対象を撮像する動作に関する撮像コストマップと台車の移動動作に関する移動コストマップをそれぞれ生成するコストマップ生成部と、
　前記コストマップ生成部で生成された前記撮像コストマップに基づいて撮像制御指令を生成して、前記コストマップ生成部で生成された前記移動コストマップに基づいて移動制御指令を生成する指令生成部と
　前記移動制御指令に基づき前記台車を移動させる駆動部と、
　前記台車に設けられて前記撮像制御指令に基づき撮像動作を行う撮像部と
を備えるロボット装置にある。
　本技術の第４の側面は、
　撮像対象のセンシング情報をセンサ部で生成することと、
　前記センサ部で生成された前記センシング情報に基づいて、撮像動作に関する撮像コストマップと台車の移動動作に関する移動コストマップをそれぞれ生成部で生成することと、
　前記撮像コストマップに基づいて撮像制御指令を生成して、前記移動コストマップに基づいて移動制御指令を指令生成部で生成することと、
　前記指令生成部で生成された前記移動制御指令に基づき前記台車を駆動部で移動させることと、
　前記指令生成部で生成された前記撮像制御指令に基づき、前記台車に設けられた撮像部で前記撮像対象の撮像動作を行うこと
を含むロボット装置の制御方法にある。
ロボット装置の外観構成を例示した図である。 ロボット装置の機能構成を例示した図である。 ロボット装置の動作を例示したフローチャートである。 ロボット装置で行う動作を例示した図である。 コストマップを例示した図である。 ロボット装置がコストマップの領域内となったときの動作を例示した図である。 撮像対象が人であるときの台車コストマップおよび撮像コストマップの領域を例示した図である。 撮像対象の位置と台車の動作および撮像部の動作との関係を例示した図である。 コスト値を例示した図である。 撮像対象の態様に応じた動作を例示した図である。 コストマップのマップ形状を例示した図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．ロボット装置の構成
　２．ロボット装置の動作
　３．動作例
　　３－１．第１の動作例
　　３－２．第２の動作例
　　３－３．第３の動作例
　　３－４．他の動作例
　４．変形例
　＜１．ロボット装置の構成＞
　本技術の情報処理装置を用いたロボット装置は、移動可能な台車に作業部が搭載されており、作業部は台車に対して姿勢や位置が変更できるように設けられている。ロボット装置は、台車によって移動して作業部によって所望の作業を自律的に行う。なお、以下の説明では、台車によって移動して、作業部である撮像部によって撮像対象を撮像する場合について説明する。
　図１は、ロボット装置の外観構成を例示している。ロボット装置１０は、台車１０ａと撮像対象を撮像する撮像部１０ｂを用いて構成されている。台車１０ａは、駆動部２０と例えば後述する情報処理部７０を有している。撮像部１０ｂは、撮像本体部３０と支持部４０を有している。撮像本体部３０はフォーカスレンズ等で構成される撮像光学系とイメージセンサおよび画像処理部を有しており撮像対象を撮像して画像データを生成する。支持部４０の一端は、台車１０ａに固定されており、他端にはカメラリグあるいは雲台等が設けられている。さらに、他端にはカメラリグあるいは雲台等を介して撮像本体部３０が取り付けられている。なお、支持部４０の構成は、撮像本体部３０の位置や姿勢・向き等を調整できる構成であればよく、クレーンアームのように旋回動作や起伏動作を行い、撮像本体部３０の位置や姿勢・向き等を調整する構成等であってもよい。
　図２は、ロボット装置の機能構成を例示している。ロボット装置１０は、センサ部５０とユーザインタフェース部６０、情報処理部７０を有している。また、ロボット装置１０は、台車駆動部８１と支持駆動部８２と撮像制御部８３を有している。
　センサ部５０は、外界センサ５１と内界センサ５２を有している。外界センサ５１は、ロボット装置１０の周辺状況に関するセンシング情報（例えば周辺状況を示す画像や周辺の物体までの距離等を示す情報）を生成する。外界センサ５１は、例えばイメージセンサや測距センサ（ＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）やＴＯＦ（Time Of Flight）、ＳＯＮＡＲ（Sound navigation and ranging）、ステレオカメラ等）を用いて構成されており、生成したセンシング情報（「外界センシング情報」ともいう）を情報処理部７０へ出力する。内界センサ５２は、ロボット装置自身に関するセンシング情報（例えば台車１０ａの位置や姿勢およびその変化等を示す情報や撮像本体部３０の撮像方向やその変化等を示す情報）を生成する。内界センサ５２は、例えば位置センサや角度センサ、加速度センサ、ジャイロセンサ等を用いて構成されており、生成したセンシング情報（「内界センシング情報」ともいう）を情報処理部７０へ出力する。
　ユーザインタフェース（Ｉ／Ｆ）部６０は、表示部６１や操作部６２、音声入出力部６３等を用いて構成されている。表示部６１は、ロボット装置１０の台車１０ａや撮像部１０ｂの動作設定等を行うためのメニュー表示、撮像本体部３０の動作状態を示す表示等を行う。例えば、撮像本体部３０の動作状態を示すときには、撮像本体部３０が撮像状態であるときタリーランプを点灯して撮像停止状態であるときタリーランプを消灯する。
　操作部６２は、操作スイッチや操作ボタン、タッチパネル、コードリーダ等を用いて構成されている。操作部６２は、ロボット装置１０の各種設定操作の受け付け、撮像動作をどのように行うかを示す行動計画等のユーザ情報を受け付ける。
　音声入出力部６３は、スピーカやマイク等を用いて構成されている。音声入出力部６３は、スピーカから動作状態等を示す音声情報を出力とする。また、音声入出力部３４３は、マイクによって取得した音声に基づき、撮像動作の制御を行えるようにしてもよい。
　情報処理部７０は、ユーザＩ／Ｆ部６０を介して指示された撮像動作を行うことができるように、センサ部５０で生成されたセンシング情報を利用して、台車１０ａの移動制御や撮像部１０ｂの姿勢制御、撮像動作制御等を行う。
　情報処理部７０は、認識処理部７１とコストマップ生成部７２と指令生成部７３を有している。
　認識処理部７１は、センサ部５０で取得された外界センシング情報に基づき周辺状況の認識を行い、例えばロボット装置１０が移動可能な領域や周辺の物体等を認識する。また、認識処理部７１は、外界センシング情報に基づき認識した周辺の物体から撮像対象を判別して、撮像対象の位置や種別（人あるいは人以外の物体）、属性（例えば姿勢と外観と個体情報（個人認識結果等）の少なくともいずれか）および速度等を認識する。さらに、認識処理部７１は、センサ部５０で取得された内界センシング情報あるいは内界センシング情報と外界センシング情報を用いて自己の位置や姿勢および速度、すなわち台車１０ａの位置や速度、台車１０ａに対して支持部４０を介して取り付けられている撮像本体部３０の位置や姿勢等を認識する。したがって、認識処理部７１の認識処理結果に基づき、例えば台車１０ａと撮像対象との位置関係と撮像本体部３０と撮像対象との位置関係および位置関係の変化を把握できるようになる。
　コストマップ生成部７２は、センサ部５０で取得された撮像対象までの距離を判別可能とするセンシング情報（例えばデプスマップ等）に基づいて、撮像対象を撮像する撮像部１０ｂの制御に用いる撮像コストマップと、撮像部１０ｂが設けられた台車１０ａの制御に用いる移動コストマップをそれぞれ生成する。また、コストマップ生成部７２は、等しいセンシング情報を用いて撮像コストマップと移動コストマップをそれぞれ生成する。撮像コストマップは、認識処理部７１で認識された撮像対象に対する撮像部１０ｂの位置に応じたコスト値を示す。また、移動コストマップは、認識処理部７１で認識された撮像対象に対する台車１０ａの位置に応じたコスト値を示す。コストマップ生成部７２は、撮像対象の種別や属性に応じてコストマップのマップ形状やコスト値を設定する。
　指令生成部７３は、ロボット装置１０の行動計画と認識処理部７１の認識処理結果およびコストマップ生成部７２で生成された移動コストマップに基づき、周辺状況に適応して撮像対象を撮像するために、台車１０ａを移動させる場合の動作コストと、撮像部１０ｂを動作させる場合の動作コストを算出する。また、指令生成部７３は、周辺状況に適応して撮像対象を効率よく撮像するために、すなわち動作コストが最小となるように行動計画を更新して、更新後の行動計画に基づき移動制御指令や撮像制御指令を生成する。移動制御指令と撮像制御指令の生成では、ロボット装置１０の行動計画や認識処理部７１の処理結果等に基づき、制御指令を生成するためのアルゴリズムや制御設定を切り替えてもよい。指令生成部７３は、生成した移動制御指令を台車駆動部８１へ出力する。また、指令生成部７３は、生成した撮像制御指令を支持駆動部８２および／または撮像制御部８３へ出力する。
　台車駆動部８１は、車輪と駆動源（例えばモータ）等を用いて構成されており、情報処理部７０から出力された移動制御指令に基づき駆動源で車輪を駆動して台車１０ａを移動させる。
　支持駆動部８２は、カメラリグ等の支持部４０を駆動する駆動源（例えばモータ）等を用いて構成されており、情報処理部７０から出力された撮像制御指令に基づき支持部４０を駆動して撮像本体部３０の姿勢や位置を移動させる。
　撮像制御部８３は、情報処理部７０から出力された撮像制御指令に基づき撮像本体部３０の動作（例えば、撮像の開始や停止、フォーカス動作、画像処理動作等）を制御する。
　なお、ロボット装置１０は、無線通信を行う通信部を有してもよい。無線通信は、例えば、ＬＴＥ、ＷＣＤＭＡ（登録商標）、５Ｇなどのいずれかを使用するセルラー通信を含んでもよく、Ｗｉ－Ｆｉ、ブルートゥース（登録商標）などのいずれかを使用する近距離無線通信を含んでもよい。通信部は、他のロボット装置と無線通信を行い、例えば推定した自己位置や行動計画を他のロボット装置へ送信して、複数のロボット装置で周辺状況に適応した撮像対象の撮像動作を複数のロボット装置で行ってもよい。また、ロボット装置を管理する管理装置等と無線通信を行い、ロボット装置の動作状況を示す情報を管理装置に通知することや、行動計画の変更や更新等を管理装置で行うようにしてもよい。さらに、上述のユーザＩ／Ｆ部６０を管理装置等に設けて、ロボット装置１０から離れた位置で各種設定操作や行動計画の受け付け等を行い、受け付けた各種設定や行動計画等を示すユーザ情報を情報処理部７０へ送信してもよい。
　＜２．ロボット装置の動作＞
　次にロボット装置の動作について説明する。図３は、ロボット装置の動作を例示したフローチャートである。ステップＳＴ１で情報処理部はセンシング情報を取得する。情報処理部７０は、センサ部５０から外界センシング情報と内界センシング情報を取得してステップＳＴ２に進む。
　ステップＳＴ２で情報処理部は認識処理を行う。情報処理部７０は、ステップＳＴ１で取得したセンシング情報に基づいて、周辺状況、撮像対象の位置や種別、属性、速度、自己の位置や姿勢および速度等を認識してステップＳＴ３に進む。
　ステップＳＴ３で情報処理部はコストマップ生成ルールの設定を行う。情報処理部７０は、台車１０ａの移動制御に用いる移動コストマップと撮像部１０ｂの撮像制御に用いる撮像コストマップをそれぞれ生成するための生成ルールを、ステップＳＴ２の認識処理結果に応じて設定してステップＳＴ４に進む。
　ステップＳＴ４で情報処理部はコストマップを生成する。情報処理部７０は、ステップＳＴ３で設定されたコストマップ生成ルールに基づき、移動コストマップと撮像コストマップを生成してステップＳＴ５に進む。
　ステップＳＴ５で情報処理部は動作コストを算出する。情報処理部７０は、ステップＳＴ４で生成された移動コストマップと撮像コストマップを用いて、撮像対象を撮像するために、台車１０ａを移動させる場合の動作コストと撮像部１０ｂを動作させる場合の動作コストをそれぞれ算出してステップＳＴ１１に進む。
　ステップＳＴ６で情報処理部はユーザ情報の受け付けを行う。情報処理部７０は、ロボット装置１０の各種設定や行動計画等示すユーザ情報を受け付けてステップＳＴ７に進む。
　ステップＳＴ７で情報処理部は撮像タスクを設定する。情報処理部７０は、ステップＳＴ７で受け付けたユーザ情報に基づき、撮像対象をどのような位置や方向から撮像するか撮像タスクを設定してステップＳＴ８に進む。
　ステップＳＴ８で情報処理部は特定撮像条件が設定されているか判別する。情報処理部７０は、撮像対象について特定撮像条件が設定されている場合、例えば撮像対象について撮像方向の制限等が行われている場合にステップＳＴ９に進み、特定撮像条件が設定されていない場合にステップＳＴ１１に進む。
　ステップＳＴ９で情報処理部は特定動作を実行すべきであるか判別する。情報処理部７０は特定撮像条件を満たしていない場合に特定動作、例えば撮像対象について撮像方向が禁止されている方向である場合に撮像対象の撮像を回避する動作を実行すると設定されている場合にはステップＳＴ１０に進み、特定動作を実行すると設定されていない場合はステップＳＴ１１に進む。
　ステップＳＴ１０で情報処理部は特定動作に対応した制御設定を行う。情報処理部７０は、特定動作を行う場合にどのような制御を行うか設定する。なお、特定動作の制御設定は１つの制御設定に限らず複数の制御設定でもよい。
　ステップＳＴ１１で情報処理部は行動計画の更新を行う。情報処理部７０は、ステップＳＴ７で設定された撮像タスクを実行するときのコストが最小、すなわち効率よく撮像タスクを実行できるように、必要に応じて行動計画の更新を行いステップＳＴ１２に進む。
　ステップＳＴ１２で情報処理部は制御指令を生成する。情報処理部７０は、ステップＳＴ１１で必要に応じて更新された行動計画に基づいて、周辺状況に適応して撮像対象を撮像する撮像タスクを実行するように台車１０ａと撮像部１０ｂを動作させる制御指令を生成する。情報処理部７０は、台車１０ａに関する制御指令を台車駆動部８１、撮像部１０ｂの支持部４０に関する制御指令を支持駆動部８２、撮像部１０ｂの撮像本体部３０に関する制御指令を撮像制御部８３へそれぞれ出力する。
　なお、ロボット装置の動作は、図３に例示したフローチャートに限られない。例えば、コストマップ生成ルールの設定は、コストマップの生成前に行われていればよく、例えばセンシング情報の取得前や認識処理前に行ってもよい。また、コストマップ生成ルールの設定では、撮像対象について設定されている特定撮像条件を考慮したコストマップを生成できるように生成ルールを設定すれば、制御指令の生成に用いるコストマップを効率よく生成できる。
　このような動作をロボット装置１０で行えば、ロボット装置１０は、周辺状況に適応した動作を行えるようになる。また、ロボット装置１０は、同じセンシング情報を用いて台車１０ａと撮像部１０ｂの動作を制御することから、それぞれの制御で用いる撮像対象の同一性と、それぞれの制御における時刻の同期性を確保できる。
　また、撮像対象に対する台車１０ａの位置に応じて台車１０ａの動作、および撮像対象に対する撮像本体部３０の位置に応じて撮像部１０ｂの動作を個別に設定できるので、台車１０ａは安全行動をとり、撮像部１０ｂは撮像を継続する等の異なるモードの動作を実現できる。
　＜３．動作例＞
　次にロボット装置の動作例について説明する。動作例では、撮像対象（例えば人や人以外の物体）の周りにコスト場を設定したコストマップを生成して、台車１０ａの移動制御と撮像部１０ｂの撮像制御を行う。
　図４は、ロボット装置で行う動作を例示している。例えば、図４の（ａ）に示すように撮像対象が人である場合、撮像対象が望ましくない方向や距離から撮像されて、写すべきでない状態や部分が撮像画に含まれて倫理上の問題を生じることがないように撮像動作を行う。また、図４の（ｂ）に示すように撮像対象が人以外の物体である場合、撮像対象に近づきすぎて何を撮像しているか不明となり撮像画の品質が低下してしまうことがないように撮像動作を行う。
　＜３－１．第１の動作例＞
　移動制御と撮像制御では、異なる可動部である台車１０ａと撮像部１０ｂに対して、共通のセンシング情報を利用することで、センシング情報の入力処理や認識処理を共通化する。また、共通のセンシング情報に基づく認識処理結果に対して、異なる可動部のそれぞれについてコストマップを生成する。さらに、台車１０ａの移動動作に関する移動コストマップや行動計画に基づいて台車１０ａを移動することで悪影響を抑制しながら、撮像対象を撮像する動作に関する撮像コストマップや行動計画に基づいて撮像を行うことにより、倫理的問題や映像品質の低下を生じることなくの効率よく画像データを生成する。
　ロボット装置１０は、台車コストマップと撮像コストマップを生成する。また、ロボット装置１０は、共通のセンシング情報（例えばデプスマップ等）に基づき、自機と被写体の位置、撮像対象の種別や属性を認識する。ロボット装置１０は、コストマップや自機と撮像対象の位置および撮像対象の種別や属性に基づいた動作、例えば人に近づきすぎた場合には人の撮像を中止する動作を行い、人以外の物体に近づきすぎた場合には、物体を回避しつつ撮像を継続する動作を行う。
　図５は、コストマップを例示している。図５の（ａ）は、撮像対象が人であるときの台車コストマップと撮像コストマップ、図５の（ｂ）は撮像対象が人以外の物体であるときの台車コストマップと撮像コストマップを例示している。図５の（ａ）において、台車コストマップにおける涙滴形の領域ＭＢＡａは至近距離領域、涙滴形の領域ＭＢＡｂは近距離領域を示しており、撮像コストマップにおける円形の領域ＭＣＡａは至近距離領域を示している。また、図５の（ｂ）において、台車コストマップにおける円形の領域ＭＢＢａは至近距離領域、円形の領域ＭＢＢｂは近距離領域を示しており、撮像コストマップにおける円形の領域ＭＣＢａは至近距離領域を示している。なお、至近距離とは、撮像対象に接近しすぎて台車１０ａや撮像部１０ｂの動作を制約する距離である。このようなコストマップにおいて、コスト値は２値とされており、領域内ではコスト値が高値（例えば「１」）、領域外ではコスト値が低値（例えば「０」）とされている。
　図６は、ロボット装置がコストマップの領域内となったときの動作を例示している。ロボット装置１０の撮像部１０ｂが撮像コストマップにおける領域（至近距離領域）ＭＣＡａ、ＭＣＢａの領域内となったとき、ロボット装置１０は、撮像部１０ｂの動作に対してコストが上がる方向（撮像対象の方向）に向いてはいけない制約を行う。ロボット装置１０は、制約として、支持部４０によって撮像本体部３０の撮像方向を撮像対象の方向に対して異なる下向き方向や背面方向に変更する。また、ロボット装置１０は、制約として、撮像本体部３０での撮像を中止する動作や、フォーカスを外して撮像画をぼけさせる動作、撮像対象をマスキングする画像処理等を行う。
　ロボット装置１０の台車１０ａが台車コストマップにおける領域（至近距離領域）ＭＢＢａの領域内となったとき、ロボット装置１０は台車１０ａの速度をゼロとして停止して衝突防止動作を行う。
　ロボット装置１０の台車１０ａが台車コストマップにおける領域（近距離領域）ＭＢＡｂ、ＭＢＢｂの領域内となったとき、ロボット装置１０は台車１０ａの動作に対して、コストが上がる方向（撮像対象の方向）に近づけない制約を行う。ロボット装置１０は、制約として、衝突回避動作を行い例えば速度を低下させて移動経路から外れた走行動作を行う。
　ロボット装置１０が領域ＭＣＡａ、ＭＣＢａ、ＭＢＡａ、ＭＢＢａ、ＭＢＡｂ、ＭＢＢｂと異なる領域（遠距離領域）内である場合、ロボット装置１０は、台車１０ａの動作を制御して、指定された経路を走行する指定経路走行を行う。また、ロボット装置１０は、撮像部１０ｂの動作を制御して、制約を設けることなく撮像対象の撮像、例えば姿勢の制約等を行うことなく指定の画角で撮像対象の撮像を行う。
　図７は、撮像対象が人であるときの台車コストマップおよび撮像コストマップの領域を例示している。撮像コストマップは、例えば撮像対象の位置を基準とした円形の領域（至近距離領域）ＭＣＡａで構成されており、台車コストマップは、撮像対象の位置を基準とした涙滴形の領域（至近距離領域）ＭＢＡａ、領域（近距離領域）ＭＢＡｂで構成されている場合を例示している。
　図８は、撮像対象の位置と台車の動作および撮像部の動作との関係を例示している。例えば、撮像対象に対する台車１０ａの位置が至近距離領域内である場合、指令生成部７３は、撮像対象が人あるいは人以外の物体のいずれでも台車１０ａが撮像対象と衝突しないように台車１０ａを停止させる移動制御指令を生成する。また、撮像部１０ｂの位置が撮像コストマップにおける至近距離領域内である場合、指令生成部７３は、撮像対象の撮像回避動作を撮像部１０ｂで行わせる撮像制御指令を生成する。指令生成部７３は、撮像対象が人である場合、撮像回避動作として撮像対象の撮像を停止する。具体的には、支持部４０によって撮像対象が写らないように撮像本体部３０を下向きとする動作や撮像本体部３０を撮像停止状態とする。このような撮像回避動作を行えば、撮像対象である人は、撮像本体部３０の姿勢や撮像動作の終了によりタリーランプが消灯されたことで、撮像が行われていないことを判別できる。また、指示生成部７３は、撮像回避動作として、撮像対象を判別不能とした撮像動作を行ってもよい。例えば、指示生成部７３は、撮像本体部３０のフォーカスレンズ位置を移動して撮像対象をぼけさせる動作や画像処理で撮像対象部分を他の画像に置き換える画像処理等の動作を行うようにしてもよい。指令生成部７３は、撮像対象が人以外の物体である場合、撮像対象に近づきすぎて何を撮像しているか不明となり撮像画の品質が低下しまうことを防止するため、撮像対象の撮像回避動作として撮像本体部３０の画角変更や撮像方向を変更する見回しを行う。
　台車１０ａの位置が台車コストマップにおける至近距離領域の外側領域である近接距離領域の領域内である場合、指示生成部７３は、台車１０ａの動作として、撮像対象が人あるいは人以外の物体のいずれでも台車１０ａが撮像対象と衝突しないように回避動作を行う移動制御指令を生成する。また、撮像部１０ｂの位置が撮像コストマップにおける至近距離領域の外側領域である近接距離領域の領域内である場合、指示生成部７３は、撮像部１０ｂの動作として、撮像対象が人あるいは人以外の物体のいずれでも撮像対象を撮像する撮像制御指令を生成する。
　台車１０ａの位置が移動コストマップにおける近接距離領域の外側領域（遠距離領域）の領域内である場合、撮像対象までの距離が遠距離であることから、指示生成部７３は、台車１０ａの動作として、撮像対象が人あるいは人以外の物体のいずれでも台車１０ａが経路計画で示された指定経路を走行する指定経路走行を行うように移動制御指令を生成する。また、指示生成部７３は、撮像部１０ｂの位置が撮像コストマップにおける近接距離領域の外側領域である場合、撮像部１０ｂの動作として、撮像対象が人あるいは人以外の物体のいずれでも撮像対象を撮像する撮像制御指令を生成する。なお、移動コストマップと撮像コストマップにおける至近距離領域は等しい領域であってもよく異なる領域であってもよい。また、移動コストマップと撮像コストマップにおける近接距離領域は等しい領域であってもよく異なる領域であってもよい。
　このような第１の動作例によれば、制御対象である台車と撮像部について、撮像対象に対する位置を元に生成したコストマップに基づき動作を制御することで、ロボット装置１０に設けられた撮像部１０ｂで撮像対象を撮像する際に、周辺状況に適応して撮像対象を撮像できる。このため、ロボット装置１０は、「撮影すべきでないものは撮影しない」「撮影できる時間を最大化して、映像品質を向上できるアングルで撮影する」とのように撮像対象の撮像を効率よく行うことができる。
　＜３－２．第２の動作例＞
　次にロボット装置の第２の動作例について説明する。第２の動作例では、コスト値が連続的に変化するコストマップを用いる場合について説明する。図９は、コスト値を例示している。図９の（ａ）はコストマップを示しており、図９の（ｂ）は図９の（ａ）におけるＡ－Ａ'線の位置における領域ＭＢＡａ、ＭＣＡａのコスト値、図９の（ｃ）は図９の（ａ）におけるＡ－Ａ'線の位置における領域ＭＢＡｂのコスト値を例示している。領域ＭＢＡａ、ＭＣＡａのコスト値は二値であり、領域ＭＢＡｂのコスト値は連続値とされており、撮像対象に近づくとコスト値が高い値となる。
　連続的に変化するコスト値は、例えば領域ＭＢＡｂにおけるコスト値の変化が式（１）に示す正規分布を示すように設定する。なお、領域ＭＢＡｂにおけるコスト値の変化は撮像対象に近づくに伴いコスト値がリニアに高い値となる特性等であってもよい。
Figure JPOXMLDOC01-appb-M000001
　ロボット装置１０は、撮像対象の周辺に２次元のコストマップを示す関数ｆ（ｘ、ｙ）を保持しており、撮像対象の位置と自機の位置に基づき動作コストを算出して、動作コストに基づき、その後の行動の方針を設定する。例えば、コストマップでは、撮像対象に近づくとコスト値が高い値となる場合、少ない動作コストとなるように、その後の行動の方針を設定する。
　このように、コスト値が連続的に変化するコストマップを用いるようにすれば、二値のコストマップのみを用いる場合に比べて、さらに周辺状況に適応して撮像対象を撮像できるようになる。
　＜３－３．第３の動作例＞
　次にロボット装置の第３の動作例について説明する。第３の動作例では、撮像対象である人の態様に応じた動作を行う場合について説明する。
　図１０は、撮像対象の態様に応じた動作を例示している。ロボット装置１０は、撮像対象の態様として、例えば姿勢と外観（服装）と個体情報を用いた場合について説明する。
　ロボット装置１０は、撮像対象の姿勢が立ち姿勢の場合、一定距離以上のときには見上げての撮像を許可する。また、一定距離よりも近いときには見上げての撮像を不許可とする。例えば、ロボット装置１０は、撮像対象から一定距離以上離れている場合には、撮像本体部３０を撮像対象に向けて撮像を行い、タリーランプを点灯する、また、ロボット装置１０は、撮像対象から一定距離よりも近くなった場合に、撮像本体部３０の撮像動作を停止してタリーランプを消灯して、撮像本体部３０を下向きとする。
　ロボット装置１０は、撮像対象の姿勢がしゃがみ・座り姿勢の場合、距離に関わらず見上げて顔の撮像を許可する。例えば、ロボット装置１０は、撮像対象からの距離に関わらず、撮像本体部３０を撮像対象に向けて撮像を行い、タリーランプを点灯して、撮像対象に近づいても引き続き撮像を継続する。
　ロボット装置１０は、撮像対象の服装がズボン等である場合、距離に関わらず見上げて顔の撮像を許可する。例えば、ロボット装置１０は、撮像対象からの距離に関わらず、撮像本体部３０を撮像対象に向けて撮像を行い、タリーランプを点灯して、撮像対象に近づいても引き続き撮像を継続する。
　ロボット装置１０は、撮像対象の服装がスカート等である場合、一定距離以上のときには見上げての撮像を許可する。また、一定距離よりも近いときには見上げての撮像を不許可とする。例えば、ロボット装置１０は、撮像対象から一定距離以上離れている場合、撮像本体部３０を撮像対象に向けて撮像を行い、タリーランプを点灯する、また、ロボット装置１０は、撮像対象から一定距離よりも近くなった場合に、撮像本体部３０の撮像動作を停止してタリーランプを消灯して、撮像本体部３０を下向きとする。
　ロボット装置１０は、撮像対象の個体情報が撮像設定のなされた特定個人を示す場合、特定個人に関する撮像設定を適用する。例えば、ロボット装置１０は、独自に設定されている見上げ撮像の拒否距離が設定されている場合、拒否距離よりも近づいて見上げ撮像を行うことを非許可とする。また、ロボット装置１０は、特定のアングルに限定した表情の撮像が許可されている場合、特定のアングルと異なる正面方向からの撮像を非許可として、特定のアングルである側面方向からの撮像を非許可する。
　ロボット装置１０は、撮像対象の個体情報が撮像設定非対象の個人を示す場合、予め設定された標準撮像設定を適用する。例えば、ロボット装置１０は、正面からの撮像を許可する。
　このように撮像対象の態様に応じて動作を制御する場合、ロボット装置１０は、態様に応じたコストマップを生成してもよく、予め態様毎のコストマップを用意して、撮像対象の認識処理結果に基づき判別した態様に応じたコストマップを選択することで、態様に応じた動作を行うようにしてもよい。
　なお、第３の動作例の動作を行う場合、ロボット装置１０は、コストマップを示す関数として、撮像対象の態様を示すパラメータｐを用いた関数ｆ（ｘ、ｙ、ｐ）を用いてコストマップを生成して、第１の動作例等と同様な制御を行えばよい。
　ロボット装置１０は、このような動作を行うことで、撮像対象の態様やロボット装置１０と撮像対象との位置関係に基づき「ロボット装置が人の邪魔にならない」「ロボット装置が人の倫理性に反する動きをしない」「ロボット装置が人に不安を与える動きをしない」「人から見える場所でアテンドする」などといった課題を解決できるため、撮像効率を向上しながら特に人混在環境で撮影対象を撮像する場合に、周囲へのロボット装置１０による悪影響を最小化しながら撮像対象の撮像を行うことができる。
　＜３－４．他の動作例＞
　ロボット装置で用いるコストマップのマップ形状、すなわち移動コストマップや撮像コストマップの至近距離領域の領域形状や移動コストマップの近距離領域の領域形状の少なくともいずれかは、ロボット装置の動きが人に不安等を与える可能性が少なくなるように設定する。例えば、ロボット装置１０が人の背後の位置となると人に不安を与えてしまう。また、ロボット装置１０が人の視界から外れるとロボット装置１０に意図を伝え難い。そこで、コストマップのマップ形状は、ロボット装置１０が人の視野範囲内に収まりやすい形状とすれば、不安等を与え難くできる。
　図１１はコストマップのマップ形状を例示している。ロボット装置１０は、例えば図１１の（ａ）に示すように、他人に近付かれると不快に感じるパーソナルスペース（個人空間：Personal Space）のモデルを反映したコストマップ形状とする。なお、密接空間(Intimate Space)は、ごく親しい人に許される空間、パーソナルスペース（Personal Space)は、相手の表情が読み取れる空間、社会空間（Social Space)は相手に手は届きづらいが、容易に会話ができる空間、公共空間（Public Space)は複数の相手が見渡せる空間である。このように、ロボット装置１０はパーソナルスペースのモデルを反映したマップ形状とすることでロボット装置１０の動きが人に不安・不信を与えることを軽減できる。なお、図１の（ａ）に示すパーソナルスペースは一例であって、例えば、進行方向に長軸を有する二等辺三角形、逆Ｔ字、矩形状、あるいはこれらを組み合わせた形状等であってもよい。
　図１１の（ｂ）は、人の視野範囲をコストマップのマップ形状に反映させた場合を示している。なお、図１１の（ｂ）では、正面方向を基準として所定角度範囲を推奨範囲、推奨範囲よりも外側の所定角度範囲を許容範囲、許容範囲の外側を不適当範囲としている。このように、人の視野範囲をマップ形状に反映させることで、ロボット装置１０が背後に回り込んで人に不安を与えることや、ロボット装置１０が視界から外れてどのような意図で撮像を行っているか人に伝わり難くなることを防止できる。
　図１１の（ｃ）は、人の前後方向の動線予測結果をコストマップ形状に反映させた場合を示している。なお、図１１の（ｃ）では、動線予測によって人が位置ＰＳ１から位置ＰＳ２に移動したのち位置ＰＳ３に進む動線予測結果が得られた場合の移動予報円を例示している。このように、人の動線予測結果に基づいて移動予報円をマップ形状に反映させることで、人の動線とロボット装置１０の動線が交錯してロボット装置１０が人の移動の邪魔しまうことを防止できる。
　さらに、コストマップは２次元形状に限られない。例えばロボット装置１０において、台車１０ａに搭載されている撮像本体部３０が台車１０ａの移動方向に対して直交する方向（高さ方向）に移動可能である場合、コストマップを３次元形状として、撮像本体部３０の高さに応じて撮像被写体の撮像動作を制御してもよい。
　＜４．変形例＞
　ところで、上述の実施の形態では、台車に撮像部を設けて撮像対象を撮像する場合について説明したが、ロボット装置１０は台車に作業部を設けて作業対象に作用する作業を行ってもよい。例えば、台車にマニピュレータを設けて、作業対象に対してマニピュレータで種々の作業を行う場合、等しいセンシング情報に基づいて、作業対象に関する作業コストマップと台車の移動動作に関する移動コストマップをそれぞれ生成する。また、生成した作業コストマップに基づいて作業制御指令を生成して、生成した移動コストマップに基づいて移動制御指令を生成すれば、周辺状況に適応した種々の作業を効率よく行うことができるようになる。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＭＯ（Magneto optical）ディスク、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからセルラーに代表されるＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した実施の形態に限定して解釈されるべきではない。本技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
　また、本技術の情報処理装置は以下のような構成も取ることができる。
　（１）　撮像対象のセンシング情報に基づいて、前記撮像対象を撮像する撮像部の制御に用いる撮像コストマップと前記撮像部が設けられた台車の制御に用いる移動コストマップをそれぞれ生成するコストマップ生成部と、
　前記コストマップ生成部で生成された前記撮像コストマップに基づき前記撮像部の撮像制御指令を生成して、前記コストマップ生成部で生成された前記移動コストマップに基づき前記台車の移動制御指令を生成する指令生成部と
を備える情報処理装置。
　（２）　前記撮像コストマップは、前記撮像対象に対する前記撮像部の位置に応じたコスト値を示し、
　前記移動コストマップは、前記撮像対象に対する前記台車の位置に応じたコスト値を示す（１）に記載の情報処理装置。
　（３）　前記撮像対象の種別や属性を認識する認識処理部を備え、
　前記コストマップ生成部は、前記認識処理部で認識された種別や属性に応じて前記撮像コストマップと前記移動コストマップを生成する（２）に記載の情報処理装置。
　（４）　前記認識処理部は、前記属性として前記撮像対象の姿勢と外観と個体情報の少なくともいずれかを認識する（３）に記載の情報処理装置。
　（５）　前記コストマップ生成部は、前記認識処理部で前記撮像対象が人であると認識された場合、前記撮像コストマップと前記移動コストマップの少なくともいずれかをパーソナルスペースのモデルを反映したマップ形状とする（３）または（４）に記載の情報処理装置。
　（６）　前記コストマップ生成部は、前記認識処理部で前記撮像対象が人であると認識された場合、前記撮像コストマップと前記移動コストマップの少なくともいずれかを前記人の視野範囲を反映したマップ形状とする（３）乃至（５）のいずれかに記載の情報処理装置。
　（７）　前記コストマップ生成部は、前記認識処理部で前記撮像対象が人であると認識された場合、前記撮像コストマップと前記移動コストマップの少なくともいずれかを前記人の動線予測結果を反映したマップ形状とする（３）乃至（６）のいずれかに記載の情報処理装置。
　（８）　前記指令生成部は、前記撮像部の位置が前記撮像コストマップにおける至近距離領域内であるとき、前記撮像対象の撮像回避動作を行う撮像制御指令を生成する（３）乃至（７）のいずれかに記載の情報処理装置。
　（９）　前記指令生成部は、前記撮像回避動作として、前記撮像対象が人である場合に撮像停止または前記撮像対象を判別不能とした撮像動作を行い、前記撮像対象が人以外の物体である場合に画角または撮像方向を変更する（８）に記載の情報処理装置。
　（１０）　前記指令生成部は、前記台車の位置が前記移動コストマップにおける至近距離領域内であるとき、前記台車の移動を停止する移動制御指令を生成する（３）乃至（９）のいずれかに記載の情報処理装置。
　（１１）　前記指令生成部は、前記台車の位置が前記撮像コストマップにおける前記至近距離領域の外側領域である近接距離領域の領域内であるとき、前記台車の接近回避動作を行う移動制御指令を生成する（１０）に記載の情報処理装置。
　（１２）　前記撮像コストマップと前記移動コストマップは、コスト値が二値あるいは撮像対象からの距離に応じてコスト値が変化するマップである（１）乃至（１１）のいずれかに記載の情報処理装置。
　（１３）　前記センシング情報は、前記撮像対象までの距離を判別可能とする情報を含む（１）乃至（１２）のいずれかに記載の情報処理装置。
　（１４）　ユーザ入力を受け付けるユーザインタフェースを備え、
　前記指令生成部は、前記ユーザインタフェースで受け付けたユーザ入力に基づいて、前記撮像部の撮像制御指令と前記台車の移動制御指令の生成を行う（１）乃至（１３）のいずれかに記載の情報処理装置。
　（１５）　前記撮像部は、前記撮像対象を撮像して画像データを生成する撮像本体部と、前記撮像本体部の姿勢を変更可能として前記台車に設ける支持部とを備える（１）乃至（１４）のいずれかに記載の情報処理装置。
　また、本技術は以下のようなプログラムや情報処理装置を含む。
　（１）　台車と該台車に設けられた撮像部の動作制御をコンピュータで実行させるプログラムであって、
　撮像対象のセンシング情報に基づいて、前記撮像対象を撮像する前記撮像部の制御に用いる撮像コストマップと前記台車の制御に用いる移動コストマップをそれぞれ生成する手順と、
　生成された前記撮像コストマップに基づき前記撮像部の撮像制御指令を生成して、前記生成された前記移動コストマップに基づき前記台車の移動制御指令を生成する手順を
前記コンピュータで実行させるプログラム。
　（２）　作業対象のセンシング情報に基づいて、前記作業対象に対する作業を行う作業部の制御に用いる作業コストマップと前記作業部が設けられた台車の制御に用いる移動コストマップをそれぞれ生成するコストマップ生成部と、
　前記コストマップ生成部で生成された前記作業コストマップに基づき前記作業部の作業制御指令を生成して、前記コストマップ生成部で生成された前記移動コストマップに基づき前記台車の移動制御指令を生成する指令生成部と
を備える情報処理装置。
　１０・・・ロボット装置
　１０ａ・・・台車
　１０ｂ・・・撮像部
　２０・・・駆動部
　３０・・・撮像本体部
　４０・・・支持部
　５０・・・センサ部
　５１・・・外界センサ
　５２・・・内界センサ
　６０・・・ユーザインタフェース（Ｉ／Ｆ）部
　６１・・・表示部
　６２・・・操作部
　６３・・・音声入出力部
　７０・・・情報処理部
　７１・・・認識処理部
　７２・・・コストマップ生成部
　７３・・・指令生成部
　８１・・・台車駆動部
　８２・・・支持駆動部
　８３・・・撮像制御部

Claims (18)

  1. 　撮像対象のセンシング情報に基づいて、前記撮像対象を撮像する撮像部の制御に用いる撮像コストマップと前記撮像部が設けられた台車の制御に用いる移動コストマップをそれぞれ生成するコストマップ生成部と、
    　前記コストマップ生成部で生成された前記撮像コストマップに基づき前記撮像部の撮像制御指令を生成して、前記コストマップ生成部で生成された前記移動コストマップに基づき前記台車の移動制御指令を生成する指令生成部と
    を備える情報処理装置。
  2. 　前記撮像コストマップは、前記撮像対象に対する前記撮像部の位置に応じたコスト値を示し、
    　前記移動コストマップは、前記撮像対象に対する前記台車の位置に応じたコスト値を示す
    請求項１に記載の情報処理装置。
  3. 　前記撮像対象の種別や属性を認識する認識処理部を備え、
    　前記コストマップ生成部は、前記認識処理部で認識された種別や属性に応じて前記撮像コストマップと前記移動コストマップを生成する
    請求項２に記載の情報処理装置。
  4. 　前記認識処理部は、前記属性として前記撮像対象の姿勢と外観と個体情報の少なくともいずれかを認識する
    請求項３に記載の情報処理装置。
  5. 　前記コストマップ生成部は、前記認識処理部で前記撮像対象が人であると認識された場合、前記撮像コストマップと前記移動コストマップの少なくともいずれかをパーソナルスペースのモデルを反映したマップ形状とする
    請求項３に記載の情報処理装置。
  6. 　前記コストマップ生成部は、前記認識処理部で前記撮像対象が人であると認識された場合、前記撮像コストマップと前記移動コストマップの少なくともいずれかを前記人の視野範囲を反映したマップ形状とする
    請求項３に記載の情報処理装置。
  7. 　前記コストマップ生成部は、前記認識処理部で前記撮像対象が人であると認識された場合、前記撮像コストマップと前記移動コストマップの少なくともいずれかを前記人の動線予測結果を反映したマップ形状とする
    請求項３に記載の情報処理装置。
  8. 　前記指令生成部は、前記撮像部の位置が前記撮像コストマップにおける至近距離領域内であるとき、前記撮像対象の撮像回避動作を行う撮像制御指令を生成する
    請求項３に記載の情報処理装置。
  9. 　前記指令生成部は、前記撮像回避動作として、前記撮像対象が人である場合に撮像停止または前記撮像対象を判別不能とした撮像動作を行い、前記撮像対象が人以外の物体である場合に画角または撮像方向を変更する
    請求項８に記載の情報処理装置。
  10. 　前記指令生成部は、前記台車の位置が前記移動コストマップにおける至近距離領域内であるとき、前記台車の移動を停止する移動制御指令を生成する
    請求項３に記載の情報処理装置。
  11. 　前記指令生成部は、前記台車の位置が前記移動コストマップにおける前記至近距離領域の外側領域である近接距離領域の領域内であるとき、前記台車の接近回避動作を行う移動制御指令を生成する
    請求項１０に記載の情報処理装置。
  12. 　前記撮像コストマップと前記移動コストマップは、コスト値が二値あるいは撮像対象からの距離に応じてコスト値が変化するマップである 
    請求項１に記載の情報処理装置。
  13. 　前記センシング情報は、前記撮像対象までの距離を判別可能とする情報である
    請求項１に記載の情報処理装置。
  14. 　ユーザ入力を受け付けるユーザインタフェースを備え、
    　前記指令生成部は、前記ユーザインタフェースで受け付けたユーザ入力に基づいて、前記撮像部の撮像制御指令と前記台車の移動制御指令の生成を行う
    請求項１に記載の情報処理装置。
  15. 　前記撮像部は、前記撮像対象を撮像して撮像画を生成する撮像本体部と、前記撮像本体部の姿勢を変更可能として前記台車に設ける支持部とを備える
    請求項１に記載の情報処理装置。
  16. 　撮像対象のセンシング情報に基づいて、撮像動作に関する撮像コストマップと台車の移動動作に関する移動コストマップをそれぞれ生成部で生成することと、
    　前記撮像コストマップに基づいて撮像制御指令を生成して、前記移動コストマップに基づいて移動制御指令を指令生成部で生成することと
    を含む情報処理方法。
  17. 　撮像対象のセンシング情報を生成するセンサ部と、
    　前記センサ部で生成されたセンシング情報に基づいて、前記撮像対象を撮像する動作に関する撮像コストマップと台車の移動動作に関する移動コストマップをそれぞれ生成するコストマップ生成部と、
    　前記コストマップ生成部で生成された前記撮像コストマップに基づいて撮像制御指令を生成して、前記コストマップ生成部で生成された前記移動コストマップに基づいて移動制御指令を生成する指令生成部と
    　前記移動制御指令に基づき前記台車を移動させる駆動部と、
    　前記台車に設けられて前記撮像制御指令に基づき撮像動作を行う撮像部と
    を備えるロボット装置。
  18. 　撮像対象のセンシング情報をセンサ部で生成することと、
    　前記センサ部で生成された前記センシング情報に基づいて、撮像動作に関する撮像コストマップと台車の移動動作に関する移動コストマップをそれぞれ生成部で生成することと、
    　前記撮像コストマップに基づいて撮像制御指令を生成して、前記移動コストマップに基づいて移動制御指令を指令生成部で生成することと、
    　前記指令生成部で生成された前記移動制御指令に基づき前記台車を駆動部で移動させることと、
    　前記指令生成部で生成された前記撮像制御指令に基づき、前記台車に設けられた撮像部で前記撮像対象の撮像動作を行うこと
    を含むロボット装置の制御方法。
PCT/JP2022/007009 2021-09-24 2022-02-21 情報処理装置と情報処理方法およびロボット装置とその制御方法 WO2023047625A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021155032 2021-09-24
JP2021-155032 2021-09-24

Publications (1)

Publication Number Publication Date
WO2023047625A1 true WO2023047625A1 (ja) 2023-03-30

Family

ID=85720360

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/007009 WO2023047625A1 (ja) 2021-09-24 2022-02-21 情報処理装置と情報処理方法およびロボット装置とその制御方法

Country Status (1)

Country Link
WO (1) WO2023047625A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007099237A (ja) * 2005-10-07 2007-04-19 Fuji Heavy Ind Ltd 車両用運転支援装置
JP2011111132A (ja) * 2009-11-30 2011-06-09 Toyota Motor Corp 運転支援装置
JP2011150579A (ja) * 2010-01-22 2011-08-04 Toyota Motor Corp 車両制御装置
JP2012173786A (ja) * 2011-02-17 2012-09-10 Toyota Motor Corp 運転支援装置
WO2016092591A1 (ja) * 2014-12-09 2016-06-16 三菱電機株式会社 衝突リスク算出装置、衝突リスク表示装置、車体制御装置
JP2017182568A (ja) * 2016-03-31 2017-10-05 株式会社Ｓｕｂａｒｕ 周辺リスク表示装置
JP2017182563A (ja) * 2016-03-31 2017-10-05 株式会社Ｓｕｂａｒｕ 周辺リスク表示装置
WO2021085296A1 (ja) * 2019-10-30 2021-05-06 株式会社日立製作所 遠隔管制システム
WO2021171874A1 (ja) * 2020-02-27 2021-09-02 パナソニックＩｐマネジメント株式会社 制御システム及び制御方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007099237A (ja) * 2005-10-07 2007-04-19 Fuji Heavy Ind Ltd 車両用運転支援装置
JP2011111132A (ja) * 2009-11-30 2011-06-09 Toyota Motor Corp 運転支援装置
JP2011150579A (ja) * 2010-01-22 2011-08-04 Toyota Motor Corp 車両制御装置
JP2012173786A (ja) * 2011-02-17 2012-09-10 Toyota Motor Corp 運転支援装置
WO2016092591A1 (ja) * 2014-12-09 2016-06-16 三菱電機株式会社 衝突リスク算出装置、衝突リスク表示装置、車体制御装置
JP2017182568A (ja) * 2016-03-31 2017-10-05 株式会社Ｓｕｂａｒｕ 周辺リスク表示装置
JP2017182563A (ja) * 2016-03-31 2017-10-05 株式会社Ｓｕｂａｒｕ 周辺リスク表示装置
WO2021085296A1 (ja) * 2019-10-30 2021-05-06 株式会社日立製作所 遠隔管制システム
WO2021171874A1 (ja) * 2020-02-27 2021-09-02 パナソニックＩｐマネジメント株式会社 制御システム及び制御方法

Similar Documents

Publication Publication Date Title
JP5987842B2 (ja) コミュニケーション引き込みシステム、コミュニケーション引き込み方法およびコミュニケーション引き込みプログラム
JP6687573B2 (ja) ロボットシステム
WO2021225713A1 (en) Robotic social interaction
US20150012168A1 (en) Semi-Autonomous Dolly
US20120053727A1 (en) Movable robot
JP2014516816A (ja) モバイルロボットによる移動対象物のトラッキング及びフォローイング
JP7180613B2 (ja) 情報処理装置および情報処理方法
RU2012142510A (ru) Роботизированная хирургическая системы с усовершенствованным управлением
US11345032B2 (en) Autonomous moving body and control program for autonomous moving body
US11241790B2 (en) Autonomous moving body and control program for autonomous moving body
JP2008191800A (ja) 先導者追従車両
JP5755011B2 (ja) ロボット群制御装置および方法
Nascimento et al. Collision avoidance interaction between human and a hidden robot based on kinect and robot data fusion
JP2008142841A (ja) 移動ロボット
JP2024023193A (ja) 情報処理装置及び情報処理方法
WO2016039158A1 (ja) 移動体制御装置及び移動体
KR20190104488A (ko) 인공 지능을 이용하여, 오브젝트의 이동을 관리하는 인공 지능 로봇 및 그의 동작 방법
WO2020077025A1 (en) Systems and methods for conditional robotic teleoperation
JP6257308B2 (ja) 自動追尾撮影システム
JP2007269309A (ja) 駐車支援装置および方法、駐車位置設定装置および方法、記録媒体、並びに、プログラム
WO2015029331A1 (ja) ロボット及びその制御方法
JP5609760B2 (ja) ロボット、ロボットの動作方法、及びプログラム
WO2023047625A1 (ja) 情報処理装置と情報処理方法およびロボット装置とその制御方法
US20190384307A1 (en) Autonomous moving body and control program for autonomous moving body
JP2019006183A (ja) 操縦支援装置、操縦支援方法、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22872384

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE