WO2024075206A1 - ピックアンドプレース動作予測装置、予測方法、および予測プログラム - Google Patents

ピックアンドプレース動作予測装置、予測方法、および予測プログラム Download PDF

Info

Publication number
WO2024075206A1
WO2024075206A1 PCT/JP2022/037250 JP2022037250W WO2024075206A1 WO 2024075206 A1 WO2024075206 A1 WO 2024075206A1 JP 2022037250 W JP2022037250 W JP 2022037250W WO 2024075206 A1 WO2024075206 A1 WO 2024075206A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction
arrival point
pick
future
series
Prior art date
Application number
PCT/JP2022/037250
Other languages
English (en)
French (fr)
Inventor
雅人 宮原
仁志 瀬下
大祐 佐藤
成宗 松村
匡人 福田
太智 金田
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2022/037250 priority Critical patent/WO2024075206A1/ja
Publication of WO2024075206A1 publication Critical patent/WO2024075206A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators

Definitions

  • the present invention relates to a pick-and-place operation prediction device, a prediction method, and a prediction program.
  • robotics technology could be used to support people when they perform repetitive tasks such as tidying a room or arranging items on display.
  • the robot could predict the movements of the human worker, allowing the task to proceed efficiently and to be carried out safely by avoiding collisions with the human.
  • Non-Patent Document 1 makes use of the knowledge that human movements are goal-oriented, moving towards a point in space. Using video information from a third-person perspective showing a pedestrian, the destination point, i.e., how far the person will walk in the room shown in the video, is predicted in advance, and the predicted destination point and the past skeletal coordinate series are used to predict future skeletal position coordinates.
  • destination points are also expected to be effective when predicting the movements of people who repeatedly perform pick-and-place tasks, such as tidying up or arranging displays, in which they grab objects and place them in designated locations.
  • the destination point is the "position where the object is grabbed," and when a person places an object, the destination point is the "position where the object is placed.”
  • predicting the destination points of these movements in advance and using them in motion prediction together with the skeletal coordinate series is expected to improve prediction accuracy.
  • FIG. 5 is a diagram that shows a schematic of the two issues in predicting the movements of a person performing pick-and-place work.
  • the first issue (issue 1) is that prediction accuracy drops in the motion switching section.
  • pick-and-place tasks there is a switch between motions with different destinations, such as "grab the plate” to "carry it to the shelf.”
  • a change in the direction of movement occurs that cannot be narrowed down using past observation information (skeletal coordinate series, video information), and the occurrence of a change in the direction of movement that cannot be narrowed down using the skeletal coordinate series or the destination of the current motion reduces the accuracy of motion prediction in the motion switching section.
  • the second issue (issue 2) is the difficulty of predicting movements when there is insufficient observational information. Even for movements within the same destination, it is difficult to narrow down the movement until the movement continues for a certain amount of time and sufficient time-series observational information, such as the input skeletal coordinate series and video information, is available.
  • the present invention was made in light of the above-mentioned circumstances, and its purpose is to provide a pick-and-place operation prediction device, prediction method, and prediction program that can quickly and accurately predict the actions of a person performing pick-and-place work.
  • the pick-and-place operation prediction device has an arrival point series prediction unit and an operation prediction unit.
  • the arrival point series prediction unit receives as input at least one of third-party viewpoint video information and a past skeletal coordinate series relating to a worker performing pick-and-place work, and the past arrival point series, and predicts a future arrival point series using a machine learning prediction model.
  • the operation prediction unit receives as input the past skeletal coordinate series and the future arrival point series predicted by the arrival point series prediction unit, and predicts the worker's future skeletal coordinate series using a machine learning prediction model.
  • the pick-and-place operation prediction method includes a step of receiving third-person viewpoint video information of a worker performing pick-and-place work, a past skeletal coordinate series, and a past arrival point series as inputs, and predicting a future arrival point series using a machine learning prediction model, and a step of receiving a past skeletal coordinate series and a future arrival point series as inputs, and predicting a future skeletal coordinate series of the worker using a machine learning prediction model.
  • the pick-and-place operation prediction program causes a computer having a processor and a storage device to execute at least some of the functions of the components of the pick-and-place operation prediction device described above.
  • the present invention provides a pick-and-place operation prediction device, a prediction method, and a prediction program that can quickly and accurately predict the operations of a person performing pick-and-place work.
  • FIG. 1 is a block diagram showing a functional configuration of a pick-and-place operation prediction device according to an embodiment.
  • FIG. 2 is a block diagram showing a hardware configuration of the pick-and-place operation prediction device according to the embodiment.
  • FIG. 3 is a flowchart showing a process flow for predicting a future skeleton coordinate series, which is executed by the pick-and-place operation prediction device according to the embodiment.
  • FIG. 4 is a diagram illustrating a flow of a process for predicting a future skeleton coordinate series executed by the pick-and-place operation prediction device according to the embodiment.
  • FIG. 5 is a diagram showing a schematic diagram of a problem in a conventional example of motion prediction of a person performing pick-and-place work.
  • Fig. 1 is a block diagram showing the functional configuration of a pick-and-place operation prediction device according to an embodiment.
  • the pick-and-place motion prediction device 10 is a device that predicts future physical motions of a person performing pick-and-place work.
  • Pick-and-place work involves grasping an object to be operated, moving it, and placing the object.
  • One example of such work is tidying up.
  • a person performing pick-and-place work will be referred to as a worker.
  • the physical motions of the worker are expressed by the worker's skeletal coordinate series. In other words, the skeletal coordinate series represents physical motions.
  • the input information to the pick-and-place operation prediction device 10 is the worker's past skeletal coordinate series, third-person viewpoint video information and depth information, and past arrival point series.
  • the past skeletal coordinate series is time-series information of the worker's past skeletal information extracted from video, sensors, etc.
  • the third-person viewpoint video information is video information showing the worker and the entire workspace, and the depth information is information indicating the position of each object in the workspace.
  • the past arrival point series is time-series information of arrival points in past pick-and-place operations. In other words, the past arrival point series is time-series information of the "position where the worker grabbed" and "placed" the object.
  • the past arrival point series can be expressed as the three-dimensional position coordinates of the center position of the object, or as a one-hot expression of a combination of candidate placement positions for the object.
  • the output information from the pick-and-place operation prediction device 10 is a future skeletal coordinate series of the worker.
  • the future skeletal coordinate series is time series information of the skeletal information of the worker at a prediction time ahead of the prediction time at which the operation prediction is performed.
  • the future skeletal coordinate series is used, for example, for a robot that works in collaboration with the worker.
  • the future skeletal coordinate series is used for remote operation of a humanoid robot or arm-type robot in a remote location.
  • the pick-and-place operation prediction device 10 has an input unit 20, a destination point sequence prediction unit 30, an operation prediction unit 40, and an output unit 50.
  • the input unit 20 receives the worker's past skeletal coordinate series, third-person perspective video information, depth information, and past arrival point series, which are input from outside to the pick-and-place operation prediction device 10.
  • the input unit 20 passes the received past skeletal coordinate series, third-person perspective video information, depth information, and arrival point series to the arrival point series prediction unit 30.
  • the input unit 20 also passes the received past skeletal coordinate series to the operation prediction unit 40.
  • the input information of the worker's past skeletal coordinate series may not only relate to the worker's entire skeleton, but may also relate to only some of the body parts related to the pick-and-place operation, such as the worker's left and right arms or only the upper body.
  • the arrival point sequence prediction unit 30 receives third-person perspective video information and depth information, a past skeletal coordinate sequence, and a past arrival point sequence as input from the input unit 20, and predicts a future arrival point sequence using a prediction model based on machine learning.
  • the arrival point sequence prediction unit 30 has a model storage unit 31 that stores the prediction model.
  • the arrival point sequence prediction unit 30 passes the predicted future arrival point sequence to the motion prediction unit 40.
  • the destination point is the "grab position" when grasping an object, and the "placement position” when carrying or placing an object.
  • the destination point can be expressed as the three-dimensional coordinates of the object's center position.
  • the future destination point series is a series of three-dimensional coordinates of the "grab position” and "placement position” where the worker will grasp the object in the future. If the "placement position" of the object is decided in advance during the operation, it can be expressed as a one-hot expression of the combination of the "placement positions" of the object. It is not necessary to use all of the input information when predicting the future destination point series; it is sufficient to select according to the prediction model being used.
  • the arrival point sequence prediction unit 30 recursively predicts a future arrival point sequence by repeatedly sequentially predicting the next arrival point using a previous arrival point.
  • a possible existing method for sequentially predicting arrival points is a method such as a Markov model in which the transition probability from one arrival point to the next is learned in advance from other task data and used for prediction.
  • a method is possible in which the arrival point of the current action is estimated from video information and depth information using a deep generative model such as a Variational Auto Encoder (VAE), and then a sequential prediction model such as a Markov model is used to recursively predict the arrival point of the future action.
  • VAE Variational Auto Encoder
  • the arrival point series prediction unit 30 directly predicts a future arrival point series using a past arrival point series.
  • Possible methods for directly predicting an arrival point series include a method using an existing deterministic deep learning-based time series prediction model such as Seq-to-Seq, and a probability-based time series prediction method such as Gaussian process regression or Neural Process.
  • the movement prediction unit 40 receives as input the worker's past skeletal coordinate series from the input unit 20 and the future arrival point series from the arrival point series prediction unit 30, and predicts the worker's future skeletal coordinate series using a prediction model based on machine learning.
  • the movement prediction unit 40 has a model storage unit 41 that stores the prediction model.
  • the movement prediction unit 40 passes the predicted future skeletal coordinate series to the output unit 50.
  • the prediction model used by the motion prediction unit 40 may be an existing deep learning-based time series prediction model such as RNN or Seq-to-Seq, which are used in existing skeletal prediction.
  • Bayesian-based methods such as Gaussian processes or deep Bayesian-based methods such as Neural Processes
  • Bayesian-based methods such as Gaussian processes or deep Bayesian-based methods such as Neural Processes
  • probabilistic predictions it is possible to pass not only plausible movement sequences, but also all possible candidates for movement sequences and their probability values to external devices such as robots.
  • One example of how the candidate movement sequences and probability values can be used is to generate safer movement paths for robots when they work collaboratively with workers.
  • the output unit 50 receives the future skeletal coordinate series from the operation prediction unit 40 and outputs it to the outside of the pick-and-place operation prediction device 10.
  • the future skeletal coordinate series output from the pick-and-place operation prediction device 10 is used to control a robot that operates in cooperation with a worker performing pick-and-place work.
  • the future skeletal coordinate series is used to remotely operate a humanoid robot or an arm-type robot that performs pick-and-place work in a remote location.
  • the pick-and-place operation prediction apparatus 10 is configured with a personal computer, a server computer, or the like.
  • FIG. 2 is a block diagram showing the hardware configuration of the pick-and-place operation prediction device 10 according to an embodiment.
  • the pick-and-place operation prediction device 10 has a processor 61, a ROM (Read Only Memory) 62, a RAM (Random Access Memory) 63, an auxiliary storage device 64, and an input/output interface 65.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the processor 61, ROM 62, RAM 63, auxiliary storage device 64, and input/output interface 65 are electrically connected to each other via a bus 66, and data is exchanged via the bus 66.
  • the processor 61 is composed of a general-purpose hardware processor including, for example, a CPU (Central Processing Unit) and a GPU (Graphical Processing Unit).
  • the processor 61 controls the ROM 62, the RAM 63, the auxiliary storage device 64, and the input/output interface 65 as a whole.
  • ROM 62 is a non-volatile memory that constitutes part of the main storage device. ROM 62 non-temporarily stores the startup program required when processor 61 is started. Processor 61 starts up by executing the program in ROM 62. ROM 62 is composed of, for example, an EPROM (Erasable Programmable Read Only Memory), and stores various settings at startup in addition to the startup program.
  • EPROM Erasable Programmable Read Only Memory
  • RAM 63 is a volatile memory that constitutes part of the main storage device.
  • RAM 63 temporarily stores the programs necessary for the processing of processor 61 and the data necessary for executing the programs.
  • Processor 61 executes the programs in RAM 63 to calculate the data in RAM 63 and store the calculation results in RAM 63.
  • the auxiliary storage device 64 is composed of non-volatile memory such as a HDD (Hard Disk Drive) or SSD (Solid State Drive).
  • the auxiliary storage device 64 non-temporarily stores the programs executed by the processor 61 and data required to execute the programs.
  • the processor 61 loads the programs and data in the auxiliary storage device 64 into the RAM 63 and executes the programs to perform various functions.
  • the input/output interface 65 is connected to an external input device 71, output device 72, etc., and enables the input of information from the input device 71 and the output of information to the output device 72.
  • the input/output interface 65 may be a wired interface or a wireless interface.
  • a wired interface includes a port to which a device is connected, etc.
  • a wireless interface includes Bluetooth (registered trademark), WiFi (registered trademark), etc.
  • the input/output interface 65 constitutes the input unit 20 and the output unit 50.
  • the input device 71 includes equipment that inputs video information, depth information, a past skeletal coordinate series, and a past arrival point series to the pick-and-place operation prediction device 10.
  • the input device 71 includes a receiving device.
  • the input device 71 may also include a disk drive, a keyboard, a mouse, a touch panel, etc.
  • the input device 71 is not limited to this and may include any other input device.
  • the output device 72 includes equipment that outputs a future skeletal coordinate series.
  • the output device 72 includes a transmitting device.
  • the output device 72 may also include a disk drive, a display, etc.
  • the output device 72 is not limited to this and may include any other output device.
  • the input device 71 and the output device 72 may be configured as an input/output device 73 that has the functions of both devices.
  • the program non-temporarily stored in the auxiliary storage device 64 is provided to the computer, for example, via a computer-readable recording medium 74 on which the program is non-temporarily recorded.
  • a recording medium 74 is called a non-temporary computer-readable recording medium.
  • Non-temporary computer-readable recording media include disks such as flexible disks, optical disks (CD-ROM, CD-R, DVD-ROM, DVD-R, etc.), magneto-optical disks (MO, etc.), and semiconductor memories.
  • the program non-temporarily stored in the auxiliary storage device 64 is read into the auxiliary storage device 64 and non-temporarily stored therein via the disk drive, which is the input device 71, and the input/output interface 65 if the recording medium 74 is a disk, or via a port, which is the input/output interface 65, if the recording medium 74 is a semiconductor memory.
  • the program may also be stored in a server on the network, downloaded from the server, and non-temporarily stored in the auxiliary storage device 64.
  • the programs non-temporarily stored in the auxiliary storage device 64 include a pick-and-place operation prediction program.
  • the pick-and-place operation prediction program is a program that causes the computer constituting the pick-and-place operation prediction device 10 to execute the functions of the input unit 20, the arrival point sequence prediction unit 30, the operation prediction unit 40, and the output unit 50.
  • the processor 61 When the processor 61 is started, it executes the program in the ROM 62, and loads and starts the OS in the RAM 63. Under the control of the OS, the processor 61 monitors the input of instructions and the connection of external devices. Under the control of the OS, the processor 61 also sets a program area and a data area in the RAM 63. In response to the input of an instruction to start the pick-and-place operation prediction device 10, the processor 61 loads the pick-and-place operation prediction program from the auxiliary storage device 64 into the program area of the RAM 63, and loads the prediction model and data required for executing the pick-and-place operation prediction program from the auxiliary storage device 64 into the data area of the RAM 63.
  • the processor 61 calculates the data in the data area according to the pick-and-place operation prediction program, and writes the calculation result into the data area. Through such operations, the processor 61, the RAM 63, the auxiliary storage device 64, and the input/output interface 65 work together to execute the functions of the input unit 20, the arrival point sequence prediction unit 30, the operation prediction unit 40, and the output unit 50 of the pick-and-place operation prediction device 10.
  • Fig. 3 is a flowchart showing the flow of the process for predicting a future skeletal coordinate series executed by the pick-and-place operation prediction apparatus 10 according to the embodiment.
  • Fig. 3 is a flowchart of a pick-and-place operation prediction method according to the embodiment.
  • step S1 the arrival point sequence prediction unit 30 acquires third-person perspective video information and depth information, a past skeleton coordinate sequence, and a past arrival point sequence from the input unit 20.
  • step S2 the arrival point sequence prediction unit 30 uses the image information and depth information acquired in step S1, the past skeletal coordinate sequence, and the past arrival point sequence as inputs, and predicts the future arrival point sequence using a machine learning prediction model.
  • step S3 the movement prediction unit 40 acquires the worker's past skeletal coordinate series from the input unit 20, and acquires the future arrival point series predicted in step S2 from the arrival point series prediction unit 30.
  • step S4 the motion prediction unit 40 inputs the past skeletal coordinate series and future destination series acquired in step S3, and predicts the worker's future skeletal coordinate series, i.e., physical motion, using a machine learning prediction model.
  • Figure 4 shows a schematic flow of the process in which the pick-and-place motion prediction device predicts the worker's future skeletal coordinate series from third-person perspective video information, depth information, past skeletal coordinate series, and past arrival point series, through the above-mentioned steps S1 to S4.
  • the arrival point sequence prediction unit 30 receives the past arrival point sequence as input in addition to the third-person viewpoint video information, depth information, and past skeletal coordinate sequence, and predicts the future arrival point sequence using a prediction model based on machine learning.
  • the operation prediction unit 40 receives the worker's past skeletal coordinate sequence and the future arrival point sequence predicted by the arrival point sequence prediction unit 30 as input, and predicts the worker's future skeletal coordinate sequence using a prediction model based on machine learning.
  • the prediction performed by the operation prediction unit 40 is based on the past skeletal coordinate sequence as well as the future arrival point sequence, so that the body motion of the worker performing the pick-and-place operation can be narrowed down at an early timing.
  • the accuracy of the operation prediction can be improved even at the timing of the operation switching or at a timing that cannot be narrowed down using the past observation information (skeletal coordinate sequence, video information) that has been used conventionally.
  • the accuracy of the operation prediction in the operation switching section is improved. Therefore, the pick-and-place operation prediction device 10 according to the embodiment can predict the future body motion of the worker quickly and with high accuracy.
  • the pick-and-place operation prediction device 10 When the pick-and-place operation prediction device 10 according to the embodiment is applied to a robot that works in cooperation with a worker performing pick-and-place work, the robot can predict the physical movements of the worker and operate accordingly, thereby enabling the work to proceed efficiently and to be carried out safely by avoiding collisions with the worker.
  • the pick-and-place operation prediction device 10 When the pick-and-place operation prediction device 10 according to the embodiment is applied to a humanoid robot or arm-type robot that performs pick-and-place operations in a remote location, it is expected that failures due to malfunctions in the advance execution of remote operations will be reduced and the time required for workers to check whether they are moving in the desired direction will be shortened, thereby shortening the overall work time for remote operations.
  • the pick-and-place operation prediction device 10 is composed of a computer having a processor 61 and a memory device (ROM 62, RAM 63, and auxiliary memory device 64), the memory device stores a pick-and-place operation prediction program, and the processor 61 executes the pick-and-place operation prediction program to predict the physical movements of a worker performing pick-and-place work.
  • the functions of the pick-and-place operation prediction program executed by the processor 61 may be implemented in combination with a program already stored in the computer, or may be implemented using hardware such as a PLD (Programmable Logic Device), FPGA (Field Programmable Gate Array), or GPU (Graphic Processing Unit).
  • the present invention is not limited to the above-described embodiments, and can be modified in various ways in the implementation stage without departing from the gist of the invention.
  • the embodiments may also be implemented in appropriate combination, in which case the combined effects can be obtained.
  • the above-described embodiments include various inventions, and various inventions can be extracted by combinations selected from the multiple constituent elements disclosed. For example, if the problem can be solved and an effect can be obtained even if some constituent elements are deleted from all the constituent elements shown in the embodiments, the configuration from which these constituent elements are deleted can be extracted as an invention.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Dentistry (AREA)
  • Biomedical Technology (AREA)
  • Physiology (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

ピックアンドプレース動作予測装置は、到達点系列予測部と動作予測部とを有する。到達点系列予測部は、ピックアンドプレース作業を行う作業者に関する第三者視点の映像情報と過去の骨格座標系列の少なくともいずれかと、過去の到達点系列を入力として受け取り、機械学習による予測モデルを用いて、未来の到達点系列を予測する。動作予測部は、過去の骨格座標系列と、到達点系列予測部によって予測された未来の到達点系列とを入力として受け取り、機械学習による予測モデルを用いて、作業者の未来の骨格座標系列を予測する。

Description

ピックアンドプレース動作予測装置、予測方法、および予測プログラム
　本発明は、ピックアンドプレース動作予測装置、予測方法、および予測プログラムに関する。
　人が部屋の片付け作業や陳列業務などの作業を繰り返し行う際に、ロボット技術によるサポートを行うことが考えられる。その際に、ロボットが作業者である人の動きを予測することで、効率よく作業を進めたり、人との衝突を回避して安全に作業を実行したりすることができる。
　また、遠隔地にある人型ロボットやアーム型ロボットを人が操作して片付け作業を行う際には、操作情報となる人の動作を予測し、遠隔地のロボットを先行動作させることで、通信遅延による作業効率の低下の悪影響を低減させることが期待される。
　人の動作を予測する技術はこれまでにも多くの技術が提案されている。多くの骨格予測手法では、映像やセンサなどから抽出された人の過去の骨格情報の時系列情報（骨格座標系列）を入力として、未来時刻の骨格座標系列の予測を行う。近年では、骨格以外の人の動きの特性の知見を考慮したモデルに改良することで、予測精度を向上させた手法が生まれている。非特許文献１では、人の動作が空間中の一点に向かう目的志向であるという知見を活用している。歩行者が映る第三者視点の映像情報から、映像に映る部屋のどこまで歩くかという到達点を事前に予測し、予測した到達点と過去の骨格座標系列を用いて未来の骨格位置座標を予測する。
　片付け作業や陳列業務など対象物を掴んで所定の場所に置くピックアンドプレース作業を繰り返し行う人の動きを予測する際にも、到達点の活用は有効であると期待される。人が対象物を掴む動きをする際には「物体を掴む位置」が到達点となり、人が物体を置く際には「物体を置く位置」が到達点となる。非特許文献１と同様に、これらの動きの到達点を事前に予測して、骨格座標系列と併せて動作予測に活用することで、予測精度を上げることが期待される。
Z. Cao, H. Gao, K. Mangalam, Q.-Z. Cai, M. Vo, and J. Malik, "Long-Term Human Motion Prediction with Scene Context", Computer Vision - ECCV 2020, Cham, 2020, pp. 387-404. <URL:https://doi.org/10.1007/978-3-030-58452-8_23>.
　非特許文献１の手法を用いて、ピックアンドプレース作業を行う人の動作を予測する際には、二つの課題がある。以下、図５を参照して、これら二つの課題について説明する。図５は、ピックアンドプレース作業を行う人の動作の予測における二つの課題を模式的に示す図である。
　一点目の課題（課題１）は、動作切り替わり区間で予測精度が低下する点である。ピックアンドプレース作業では、「皿を掴む」→「棚に運ぶ」のような到達点の異なる動作への切り替わりが起こる。予測時刻と予測時刻先の間で、過去の観測情報（骨格座標系列、映像情報）では絞り込めない移動方向の変化が起こり、骨格座標系列や現在の動作の到達点では絞りきれない移動方向の変化が発生することで、動作切り替わり区間での動作予測の精度が低下する。
　二点目の課題（課題２）は、観測情報が不足した段階での動作予測が困難である点である。同じ到達点内の動作でも、ある程度動作が継続して、入力となる骨格座標系列や映像情報などの時系列の観測情報が十分に得られるまで動作を絞り込むのが難しい。
　本発明は、上記事情に着目してなされたもので、その目的は、ピックアンドプレース作業を行う人の動作をいち早く高い精度で予測することができるピックアンドプレース動作予測装置、予測方法、および予測プログラムを提供することにある。
　本発明の一態様は、ピックアンドプレース動作予測装置である。ピックアンドプレース動作予測装置は、到達点系列予測部と動作予測部とを有する。到達点系列予測部は、ピックアンドプレース作業を行う作業者に関する第三者視点の映像情報と過去の骨格座標系列の少なくともいずれかと、過去の到達点系列を入力として受け取り、機械学習による予測モデルを用いて、未来の到達点系列を予測する。動作予測部は、過去の骨格座標系列と、到達点系列予測部によって予測された未来の到達点系列とを入力として受け取り、機械学習による予測モデルを用いて、作業者の未来の骨格座標系列を予測する。
　本発明の一態様は、ピックアンドプレース動作予測方法である。ピックアンドプレース動作予測方法は、ピックアンドプレース作業を行う作業者に関する第三者視点の映像情報と過去の骨格座標系列と過去の到達点系列を入力として受け取り、機械学習による予測モデルを用いて、未来の到達点系列を予測するステップと、過去の骨格座標系列と、未来の到達点系列とを入力として受け取り、機械学習による予測モデルを用いて、作業者の未来の骨格座標系列を予測するステップとを有する。
　本発明の一態様は、ピックアンドプレース動作予測プログラムである。ピックアンドプレース動作予測プログラムは、プロセッサと記憶装置を有するコンピュータに、上記のピックアンドプレース動作予測装置の構成要素の少なくとも一部の機能を実行させる。
　本発明によれば、ピックアンドプレース作業を行う人の動作をいち早く高い精度で予測することができるピックアンドプレース動作予測装置、予測方法、および予測プログラムが提供される。
図１は、実施形態に係るピックアンドプレース動作予測装置の機能構成を示すブロック図である。 図２は、実施形態に係るピックアンドプレース動作予測装置のハードウェア構成を示すブロック図である。 図３は、実施形態に係るピックアンドプレース動作予測装置が実行する未来の骨格座標系列を予測する処理の流れを示すフローチャートである。 図４は、実施形態に係るピックアンドプレース動作予測装置が実行する未来の骨格座標系列を予測する処理の流れを模式的に示す図である。 図５は、ピックアンドプレース作業を行う人の動作予測の従来例における課題を模式的に示す図である。
　以下、図面を参照して本発明に係る実施形態について説明する。
　〈構成例〉
　（機能構成）
　まず、図１を参照して、実施形態に係るピックアンドプレース動作予測装置の機能構成について説明する。図１は、実施形態に係るピックアンドプレース動作予測装置の機能構成を示すブロック図である。
　ピックアンドプレース動作予測装置１０は、ピックアンドプレース作業を行う人の未来の身体動作を予測する装置である。ピックアンドプレース作業は、操作対象である物体を掴み、移動し、物体を置く作業である。そのような作業は、一例として、片付け作業があげられる。以下では、便宜上、ピックアンドプレース作業を行う人を作業者と称する。作業者の身体動作は、作業者の骨格座標系列で表現される。つまり、骨格座標系列は身体動作を意味する。
　ピックアンドプレース動作予測装置１０への入力情報は、作業者の過去の骨格座標系列、第三者視点の映像情報およびdepth情報、過去の到達点系列である。過去の骨格座標系列は、映像やセンサなどから抽出された作業者の過去の骨格情報の時系列情報である。第三者視点の映像情報は、作業者と作業空間全体が映った映像情報であり、また、depth情報は、作業空間内の各物体の位置を示す情報である。過去の到達点系列は、過去のピックアンドプレース作業における到達点の時系列情報である。すなわち、過去の到達点系列は、作業者が物体を「掴んだ位置」と「置いた位置」の時系列情報である。過去の到達点系列の表現方法は、物体の中心位置の３次元位置座標や、物体の配置候補位置の組み合わせのone-hot表現で表すことが考えられる。
　また、ピックアンドプレース動作予測装置１０からの出力情報は、作業者の未来の骨格座標系列である。未来の骨格座標系列は、動作予測を行う予測時刻よりも先の予測時刻先における作業者の骨格情報の時系列情報である。未来の骨格座標系列は、例えば、作業者と協調作業するロボットに利用される。あるいは、未来の骨格座標系列は、遠隔地にある人型ロボットやアーム型ロボットの遠隔操作に利用される。
　ピックアンドプレース動作予測装置１０は、入力部２０と、到達点系列予測部３０と、動作予測部４０と、出力部５０とを有する。
　入力部２０は、外部からピックアンドプレース動作予測装置１０に入力される作業者の過去の骨格座標系列と第三者視点の映像情報およびdepth情報と過去の到達点系列を受け取る。入力部２０は、受け取った過去の骨格座標系列と第三者視点の映像情報およびdepth情報と到達点系列を到達点系列予測部３０に渡す。入力部２０はまた、受け取った過去の骨格座標系列を動作予測部４０に渡す。
　入力情報の作業者の過去の骨格座標系列は、作業者の全身骨格に関するものだけでなく、作業者の左右の腕や上半身のみなど、ピックアンドプレース作業に関連する一部の身体部位のみに関するものでもよい。
　到達点系列予測部３０は、入力部２０から第三者視点の映像情報およびdepth情報と過去の骨格座標系列と過去の到達点系列を入力として受け取り、機械学習による予測モデルを用いて、未来の到達点系列を予測する。到達点系列予測部３０は、予測モデルを記憶しておくモデル記憶部３１を有する。到達点系列予測部３０は、予測した未来の到達点系列を動作予測部４０に渡す。
　ピックアンドプレース作業では、物体を掴む際には「掴む位置」、物体を運ぶ動作や置く動作では物体を「置く位置」が到達点となる。到達点の表現方法は、物体の中心位置の３次元位置座標で表すことが考えられる。未来の到達点系列は、作業者が未来で物体を「掴む位置」と「置く位置」の３次元位置座標の系列である。予め物体を「置く位置」が作業中で決まっている場合には、物体を「置く位置」の組み合わせのone-hot表現で表すことが考えられる。未来の到達点系列の予測において、必ずしも入力情報の全てを用いる必要はなく、用いる予測モデルに合わせて選択をすればよい。
　一例では、到達点系列予測部３０は、一つ過去の到達点を用いた次の到達点の逐次的な予測を繰り返し行うことで、再帰的に将来の到達点系列を予測する。到達点を逐次的に予測する既存手法としては、Markovモデルのように、ある到達点から次の到達点への遷移確率を事前に別の作業データから学習し、予測に用いる手法が考えられる。また、非特許文献１のように、映像情報およびdepth情報からVariational Auto Encoder（ＶＡＥ）などの深層生成モデルを用いて現在の動作の到達点を推定し、その後、Markovモデルなどの逐次的な予測モデルを用いて、再帰的に未来の動作の到達点を予測する方法が考えられる。
　別の例では、到達点系列予測部３０は、過去の到達点系列を用いて直接に未来の到達点系列を予測する。直接に到達点系列を予測する方法としては、Seq-to-Seqなどの既存の決定的な深層学習ベースの時系列予測モデルを用いる方法、ガウス過程回帰やNeural Processなどの確率ベースの時系列予測手法が考えられる。
　動作予測部４０は、入力部２０から作業者の過去の骨格座標系列を、到達点系列予測部３０から未来の到達点系列を入力として受け取り、機械学習による予測モデルを用いて、作業者の未来の骨格座標系列を予測する。動作予測部４０は、予測モデルを記憶しておくモデル記憶部４１を有する。動作予測部４０は、予測した未来の骨格座標系列を出力部５０に渡す。
　動作予測部４０が用いる予測モデルとしては、既存の骨格予測で用いられるようなＲＮＮやSeq-to-Seqなどの既存の深層学習ベースの時系列予測モデルが考えられる。
　また、ガウス過程などのベイズベースの手法やNeural Processなどの深層ベイズベースの手法を用いることで、人の動きの不確実性を考慮した確率的な予測を行う手法も考えられる。確率的な予測を行うことで、尤もらしい動作系列だけでなく、起こりうる全ての動作系列の候補とその確率値も、ロボット等の外部装置に渡すことができる。動作系列の候補と確率値を活用方法の例として、ロボットが作業者と協調作業を行う際などに、より安全なロボットの動作経路の生成が考えられる。
　出力部５０は、動作予測部４０から未来の骨格座標系列を受け取り、ピックアンドプレース動作予測装置１０の外部へ出力する。ピックアンドプレース動作予測装置１０から出力される未来の骨格座標系列は、一例では、ピックアンドプレース作業を行う作業者と協調動作するロボットの制御に利用される。別の例では、未来の骨格座標系列は、遠隔地においてピックアンドプレース作業を行う人型ロボットやアーム型ロボットの遠隔操作に利用される。
　（ハードウェア構成）
　次に、ピックアンドプレース動作予測装置１０のハードウェア構成について説明する。例えば、ピックアンドプレース動作予測装置１０は、パーソナルコンピュータやサーバコンピュータ等で構成される。
　図２は、実施形態に係るピックアンドプレース動作予測装置１０のハードウェア構成を示すブロック図である。図２に示されるように、ピックアンドプレース動作予測装置１０は、プロセッサ６１と、ＲＯＭ（Read Only Memory）６２と、ＲＡＭ（Random Access Memory）６３と、補助記憶装置６４と、入出力インタフェース６５とを有する。
　プロセッサ６１とＲＯＭ６２とＲＡＭ６３と補助記憶装置６４と入出力インタフェース６５は、バス６６を介して互いに電気的に接続されており、バス６６を介してデータのやりとりを行う。
　プロセッサ６１は、たとえば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphical Processing Unit）等を含む汎用ハードウェアプロセッサで構成される。プロセッサ６１は、ＲＯＭ６２とＲＡＭ６３と補助記憶装置６４と入出力インタフェース６５の全体を制御する。
　ＲＯＭ６２は、主記憶装置の一部を構成する不揮発性メモリである。ＲＯＭ６２は、プロセッサ６１の起動時に必要な起動プログラムを非一時的に記憶している。プロセッサ６１は、ＲＯＭ６２内のプログラムを実行することにより起動する。ＲＯＭ６２は、たとえば、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）で構成され、起動プログラムに加えて、起動時の諸設定を記憶している。
　ＲＡＭ６３は、主記憶装置の一部を構成する揮発性メモリである。ＲＡＭ６３は、プロセッサ６１の処理に必要なプログラムとプログラムの実行に必要なデータを一時的に記憶する。ＲＡＭ６３は、プロセッサ６１は、ＲＡＭ６３内のプログラムを実行することにより、ＲＡＭ６３内のデータを演算し、演算結果をＲＡＭ６３に記憶させる。
　補助記憶装置６４は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の不揮発性メモリで構成される。補助記憶装置６４は、プロセッサ６１が実行するプログラムとプログラムの実行に必要なデータを非一時的に記憶している。プロセッサ６１は、補助記憶装置６４内のプログラムとデータをＲＡＭ６３内に読み込み、プログラムを実行することにより各種機能を実行する。
　入出力インタフェース６５は、外部の入力デバイス７１や出力デバイス７２等と接続され、入力デバイス７１からの情報の入力、出力デバイス７２への情報の出力を可能にする。たとえば、入出力インタフェース６５は、有線のインタフェースであっても、無線のインタフェースであってもよい。有線のインタフェースは、デバイスが接続されるポート等を含む。無線のインタフェースは、Bluetooth（登録商標）、WiFi（登録商標）等を含む。入出力インタフェース６５は、入力部２０と、出力部５０を構成する。
　入力デバイス７１は、ピックアンドプレース動作予測装置１０に、映像情報、depth情報、過去の骨格座標系列、過去の到達点系列を入力する機器を含む。例えば、入力デバイス７１は、受信装置を含む。また、入力デバイス７１は、ディスクドライブ、キーボード、マウス、タッチパネル等を含み得る。入力デバイス７１は、これに限らず、他の任意の入力機器を含み得る。出力デバイス７２は、未来の骨格座標系列を出力する機器を含む。例えば、出力デバイス７２は、送信装置を含む。また、出力デバイス７２は、ディスクドライブ、ディスプレイ等を含み得る。出力デバイス７２は、これに限らず、他の任意の出力機器を含み得る。入力デバイス７１と出力デバイス７２は、両者の機能を有する入出力デバイス７３で構成されてもよい。
　補助記憶装置６４に非一時的に記憶されるプログラムは、たとえば、プログラムを非一時的に記録したコンピュータで読み取り可能な記録媒体７４を介して、コンピュータに提供される。そのような記録媒体７４は、非一時的コンピュータ読取可能記録媒体と呼ばれる。非一時的コンピュータ読取可能記録媒体は、フレキシブルディスク、光ディスク（ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ－ＲＯＭ、ＤＶＤ－Ｒ等）、光磁気ディスク（ＭＯ等）等のディスクや、半導体メモリ等を含む。
　補助記憶装置６４に非一時的に記憶されるプログラムは、記録媒体７４がディスクである場合には、入力デバイス７１であるディスクドライブと入出力インタフェース６５を介して、記録媒体７４が半導体メモリある場合には、入出力インタフェース６５であるポートを介して、補助記憶装置６４に読み込まれ非一時的に記憶される。また、プログラムは、ネットワーク上のサーバに格納されており、サーバからダウンロードされ、補助記憶装置６４に非一時的に記憶されてもよい。
　補助記憶装置６４に非一時的に記憶されるプログラムは、ピックアンドプレース動作予測プログラムを含む。ピックアンドプレース動作予測プログラムは、ピックアンドプレース動作予測装置１０を構成するコンピュータに、入力部２０と到達点系列予測部３０と動作予測部４０と出力部５０の機能を実行させるプログラムである。
　プロセッサ６１は、起動時に、ＲＯＭ６２内のプログラムを実行し、ＲＡＭ６３内にＯＳを読み込み起動する。プロセッサ６１は、ＯＳによる制御の下、指示入力や外部機器の接続等を監視する。また、プロセッサ６１は、ＯＳによる制御の下、ＲＡＭ６３内にプログラムエリアとデータエリアを設定する。プロセッサ６１は、ピックアンドプレース動作予測装置１０の起動の指示入力に対して、補助記憶装置６４からピックアンドプレース動作予測プログラムをＲＡＭ６３のプログラムエリアに読み込むとともに、ピックアンドプレース動作予測プログラムの実行に必要な予測モデルやデータを補助記憶装置６４からＲＡＭ６３のデータエリアに読み込む。プロセッサ６１は、ピックアンドプレース動作予測プログラムに従ってデータエリアのデータを演算し、演算結果をデータエリアに書き込む。このような動作によって、プロセッサ６１とＲＡＭ６３と補助記憶装置６４と入出力インタフェース６５は共働して、ピックアンドプレース動作予測装置１０の入力部２０と到達点系列予測部３０と動作予測部４０と出力部５０の機能を実行する。
　〈動作例〉
　次に、図３を参照して、ピックアンドプレース動作予測装置１０が実行する作業者の未来の身体動作すなわち骨格座標系列を予測する処理について説明する。図３は、実施形態に係るピックアンドプレース動作予測装置１０が実行する未来の骨格座標系列を予測する処理の流れを示すフローチャートである。言い換えれば、図３は、実施形態に係るピックアンドプレース動作予測方法のフローチャートである。
　ステップＳ１において、到達点系列予測部３０は、入力部２０から第三者視点の映像情報およびdepth情報と過去の骨格座標系列と過去の到達点系列を取得する。
　ステップＳ２において、到達点系列予測部３０は、ステップＳ１において取得した映像情報およびdepth情報と過去の骨格座標系列と過去の到達点系列を入力として、機械学習による予測モデルを用いて、未来の到達点系列を予測する。
　ステップＳ３において、動作予測部４０は、入力部２０から作業者の過去の骨格座標系列を取得するとともに、ステップＳ２において予測された未来の到達点系列を到達点系列予測部３０から取得する。
　ステップＳ４において、動作予測部４０は、ステップＳ３において取得した過去の骨格座標系列と未来の到達点系列を入力として、機械学習による予測モデルを用いて、作業者の未来の骨格座標系列すなわち身体動作を予測する。
　図４に、第三者視点の映像情報およびdepth情報と過去の骨格座標系列と過去の到達点系列から、上記のステップＳ１～ステップＳ４の処理を経て、ピックアンドプレース動作予測装置が作業者の未来の骨格座標系列を予測する処理の流れを模式的に示す。
　〈効果〉
　実施形態に係るピックアンドプレース動作予測装置１０では、到達点系列予測部３０は、第三者視点の映像情報およびdepth情報と過去の骨格座標系列に加えて、過去の到達点系列を入力として、機械学習による予測モデルを用いて、未来の到達点系列を予測する。動作予測部４０は、作業者の過去の骨格座標系列と、到達点系列予測部３０が予測した未来の到達点系列を入力として、機械学習による予測モデルを用いて、作業者の未来の骨格座標系列を予測する。動作予測部４０が行う予測は、過去の骨格座標系列の他、未来の到達点系列に基づくため、ピックアンドプレース作業を行う作業者の身体動作を早いタイミングで絞り込むことができる。つまり、動作切り替わりのタイミングや、従来用いられていた過去の観測情報（骨格座標系列、映像情報）では絞りきれないタイミングでも、動作予測の精度を向上させることができる。つまり、動作切り替わり区間での動作予測の精度が向上する。このため、実施形態に係るピックアンドプレース動作予測装置１０は、作業者の未来の身体動作をいち早く高い精度で予測することができる。
　実施形態に係るピックアンドプレース動作予測装置１０を、ピックアンドプレース作業を行う作業者と協調動作するロボットに適用した場合、作業者の身体動作をロボットが予測して動作することで、効率良く作業を進めたり、作業者との衝突を回避して安全に作業を実行したりすることができる。
　実施形態に係るピックアンドプレース動作予測装置１０を、遠隔地においてピックアンドプレース作業を行う人型ロボットやアーム型ロボットに適用した場合、遠隔作業の先行実行の誤動作による失敗が削減され、作業者が所望した方向へ動いているか確認する時間を短縮することが期待できるため、遠隔作業全体の作業時間の短縮できる。
　実施形態では、ピックアンドプレース動作予測装置１０がプロセッサ６１と記憶装置（ＲＯＭ６２とＲＡＭ６３と補助記憶装置６４）を有するコンピュータで構成され、記憶装置がピックアンドプレース動作予測プログラムを記憶し、プロセッサ６１がピックアンドプレース動作予測プログラムを実行することにより、ピックアンドプレース作業を行う作業者の身体動作を予測する例について説明した。しかし、プロセッサ６１が実行するピックアンドプレース動作予測プログラムの一部の機能は、コンピュータにすでに記録されているプログラムとの組み合わせによって実施されてもよく、また、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphic Processing Unit）等のハードウェアを用いて実施されてもよい。
　なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
　　１０…ピックアンドプレース動作予測装置
　　２０…入力部
　　３０…到達点系列予測部
　　３１…モデル記憶部
　　４０…動作予測部
　　４１…モデル記憶部
　　５０…出力部
　　６１…プロセッサ
　　６２…ＲＯＭ
　　６３…ＲＡＭ
　　６４…補助記憶装置
　　６５…入出力インタフェース
　　６６…バス
　　７１…入力デバイス
　　７２…出力デバイス
　　７３…入出力デバイス
　　７４…記録媒体

Claims (7)

  1. 　ピックアンドプレース作業を行う作業者に関する第三者視点の映像情報と過去の骨格座標系列の少なくともいずれかと、過去の到達点系列を入力として受け取り、機械学習による予測モデルを用いて、未来の到達点系列を予測する到達点系列予測部と、
    　前記過去の骨格座標系列と、前記到達点系列予測部によって予測された前記未来の到達点系列とを入力として受け取り、機械学習による予測モデルを用いて、前記作業者の未来の骨格座標系列を予測する動作予測部と、
    　を有する、ピックアンドプレース動作予測装置。
  2. 　前記到達点系列予測部は、前記映像情報に加えてdepth情報を入力として受け取り、前記予測モデルを用いて、前記未来の到達点系列を予測する、
    　請求項１に記載のピックアンドプレース動作予測装置。
  3. 　前記到達点系列予測部は、一つ過去の到達点を用いた次の到達点の逐次的な予測を繰り返し行うことで、再帰的に前記未来の到達点系列を予測する、
    　請求項１に記載のピックアンドプレース動作予測装置。
  4. 　前記到達点系列予測部は、前記過去の到達点系列を用いて直接に前記未来の到達点系列を予測する、
    　請求項１に記載のピックアンドプレース動作予測装置。
  5. 　前記動作予測部は、前記作業者の動きの不確実性を考慮した確率的な前記未来の到達点系列の予測を行う、
    　請求項１に記載のピックアンドプレース動作予測装置。
  6. 　ピックアンドプレース作業を行う作業者に関する第三者視点の映像情報と過去の骨格座標系列と過去の到達点系列を入力として受け取り、機械学習による予測モデルを用いて、未来の到達点系列を予測するステップと、
    　前記過去の骨格座標系列と、前記未来の到達点系列とを入力として受け取り、機械学習による予測モデルを用いて、前記作業者の未来の骨格座標系列を予測するステップと、
    　を有する、ピックアンドプレース動作予測方法。
  7. 　プロセッサと記憶装置を有するコンピュータに、
    　請求項１から５までのいずれかひとつに記載のピックアンドプレース動作予測装置の構成要素の少なくとも一部の機能を実行させる、
    　ピックアンドプレース動作予測プログラム。
PCT/JP2022/037250 2022-10-05 2022-10-05 ピックアンドプレース動作予測装置、予測方法、および予測プログラム WO2024075206A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/037250 WO2024075206A1 (ja) 2022-10-05 2022-10-05 ピックアンドプレース動作予測装置、予測方法、および予測プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/037250 WO2024075206A1 (ja) 2022-10-05 2022-10-05 ピックアンドプレース動作予測装置、予測方法、および予測プログラム

Publications (1)

Publication Number Publication Date
WO2024075206A1 true WO2024075206A1 (ja) 2024-04-11

Family

ID=90607829

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/037250 WO2024075206A1 (ja) 2022-10-05 2022-10-05 ピックアンドプレース動作予測装置、予測方法、および予測プログラム

Country Status (1)

Country Link
WO (1) WO2024075206A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012118683A (ja) * 2010-11-30 2012-06-21 Daihatsu Motor Co Ltd 歩行者認識装置
WO2017056382A1 (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012118683A (ja) * 2010-11-30 2012-06-21 Daihatsu Motor Co Ltd 歩行者認識装置
WO2017056382A1 (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Similar Documents

Publication Publication Date Title
TWI707280B (zh) 動作預測系統以及動作預測方法
US11331803B2 (en) Mixed reality assisted spatial programming of robotic systems
Romero et al. Towards an operator 4.0 typology: a human-centric perspective on the fourth industrial revolution technologies
US7194396B2 (en) Simulation device
Kang et al. Planning and visualization for automated robotic crane erection processes in construction
CN108145709B (zh) 控制机器人的方法和设备
CN112135717B (zh) 基于像素的模型预测控制的系统和方法
US11908337B2 (en) Information processing device, intermediation device, simulation system, and information processing method
Escande et al. Planning support contact-points for humanoid robots and experiments on HRP-2
JP7458741B2 (ja) ロボット制御装置及びその制御方法及びプログラム
WO2022074823A1 (ja) 制御装置、制御方法及び記憶媒体
JP7264253B2 (ja) 情報処理装置、制御方法及びプログラム
WO2024075206A1 (ja) ピックアンドプレース動作予測装置、予測方法、および予測プログラム
Huang et al. Parallel monte carlo tree search with batched rigid-body simulations for speeding up long-horizon episodic robot planning
JP7452619B2 (ja) 制御装置、制御方法及びプログラム
JP7448024B2 (ja) 制御装置、制御方法及びプログラム
JP7416197B2 (ja) 制御装置、制御方法及びプログラム
JP7485058B2 (ja) 判定装置、判定方法及びプログラム
WO2022264333A1 (ja) 遠隔作業装置の制御装置、制御方法及び制御プログラム
JP2021070096A (ja) 制御方法、制御装置、ロボット装置、物品の製造方法、動作プログラム作成方法、動作プログラム作成装置、表示装置、制御プログラムおよび記録媒体
JP2021084188A (ja) 制御システム
JP7468694B2 (ja) 情報収集装置、情報収集方法及びプログラム
JP7276466B2 (ja) 情報処理装置、制御方法及びプログラム
Atorf et al. Simulation-based Optimization, Reasoning and Control: The eRobotics Approach Towards Intelligent Robots
JP7456552B2 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22961394

Country of ref document: EP

Kind code of ref document: A1