WO2023238735A1 - 情報処理装置、情報処理方法、プログラム - Google Patents

情報処理装置、情報処理方法、プログラム Download PDF

Info

Publication number
WO2023238735A1
WO2023238735A1 PCT/JP2023/020074 JP2023020074W WO2023238735A1 WO 2023238735 A1 WO2023238735 A1 WO 2023238735A1 JP 2023020074 W JP2023020074 W JP 2023020074W WO 2023238735 A1 WO2023238735 A1 WO 2023238735A1
Authority
WO
WIPO (PCT)
Prior art keywords
target object
event
edge
movement trajectory
edge position
Prior art date
Application number
PCT/JP2023/020074
Other languages
English (en)
French (fr)
Inventor
信哉 谷村
達治 芦谷
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2023238735A1 publication Critical patent/WO2023238735A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation

Definitions

  • the present technology relates to an information processing device, its method, and a program, and particularly relates to a technology for improving the accuracy of estimating the edge position of a target object when the target object is displaced within the sensing range of a sensor. It is.
  • the so-called hand-eye type robot arm is used to analyze the captured images of target objects such as cardboard boxes.
  • the timing of picking up an object is determined.
  • the robot arm is movable horizontally toward the position where the target object, such as a cardboard box, is placed, and a camera is attached to the hand section at the tip of the robot arm to capture an image below. is installed.
  • the target object comes to be captured within the camera's field of view (within the sensing range), and then the target object is positioned at a specific position within the camera's field of view.
  • the timing is determined as the pick-up timing of the target object.
  • a process of estimating the edge position of the target object appearing in the captured image is performed. Then, the position of the target object (position within the captured image) is identified based on the edge position, and the timing when the identified target object position is located at a specific position determined in the image coordinate system is determined. Determined as pickup timing.
  • Patent Document 1 discloses a technique for detecting the edge position of an object from two angles using a device that moves along the object.
  • images are captured while the positional relationship between the target object and the camera changes, in other words, the target object is within the sensing range of the camera (image sensor).
  • image sensor image sensor
  • the edges of the target object may not be captured accurately due to factors such as changes in the amount of light hitting the target object during the movement process. It is possible that you may be For such captured images, it is difficult to accurately estimate the edge position of the target object. If the captured image corresponding to the pickup timing becomes such a captured image, it becomes impossible to accurately determine the pickup timing.
  • the present technology has been developed in view of the above circumstances, and its purpose is to improve the accuracy of estimating the edge position of a target object when the target object is displaced within the sensing range of a sensor.
  • the information processing device is configured such that when the positional relationship between the event sensor and the target object is changed such that the target object is displaced within the sensing range of the event sensor, the event sensor a movement trajectory estimation unit that estimates a movement trajectory of the edge position of the target object based on position information of event occurrence pixels detected within a period; and an edge position estimating section that estimates an edge position of the target object at a reference time as a reference time edge position.
  • an event sensor corresponds to a so-called EVS (Event-based Vision Sensor), and specifically means a sensor defined as below.
  • a plurality of pixels each having a light-receiving element are provided, and each pixel is configured to be able to detect a change in the amount of light received by a predetermined amount or more as an event.
  • the information processing device detects the event when the positional relationship between the event sensor and the target object is changing such that the target object is displaced within the sensing range of the event sensor.
  • the movement trajectory of the edge position of the target object is estimated based on the position information of the event occurrence pixel detected by the sensor in the past period before the reference time, and the movement trajectory of the edge position of the target object is estimated based on the movement trajectory of the edge position at the reference time.
  • the program according to the present technology is a program readable by a computer device, and the positional relationship between the event sensor and the target object is changed such that the target object is displaced within the sensing range of the event sensor.
  • a movement trajectory estimation function that estimates a movement trajectory of the edge position of the target object based on position information of event occurrence pixels detected by the event sensor in a past period before a reference time; and an edge position estimating function of estimating an edge position of the target object at the reference time as a reference time edge position based on a movement trajectory of the edge position.
  • FIG. 1 is a block diagram showing a configuration example of a pickup system as an embodiment of the present technology.
  • FIG. 2 is a diagram for explaining an overview of a method for determining the arrival of a pickup timing in an embodiment.
  • FIG. 1 is a diagram for explaining an example of the internal configuration of an information processing device as an embodiment. It is a diagram showing an example of the internal configuration of an event sensor in an embodiment. It is a diagram showing an example of the configuration of pixels included in an event sensor.
  • FIG. 2 is a diagram for explaining an example of the internal configuration of an output control/reset circuit in an embodiment.
  • FIG. 2 is a functional block diagram showing functions of an information processing device as an embodiment.
  • FIG. 3 is a diagram schematically representing event data detected by an event sensor within a certain period.
  • FIG. 3 is a diagram for explaining a method for estimating an edge position movement trajectory in the embodiment.
  • FIG. 3 is a diagram for explaining a specific example of a method for estimating an edge position movement trajectory in the embodiment.
  • 2 is a flowchart illustrating a specific example of a processing procedure for realizing a pickup timing arrival determination method according to an embodiment.
  • FIG. 7 is an explanatory diagram of a modification example related to the displacement of a target object.
  • FIG. 1 is a block diagram showing a configuration example of a pickup system as an embodiment including an information processing device 1 as an embodiment according to the present technology. As illustrated, the pickup system according to the embodiment includes an information processing device 1, a robot arm 10, and an arm control device 11.
  • the robot arm 10 has a hand portion 10a that functions as a suction hand at the tip of the arm.
  • the robot arm 10 can adsorb the target object ob by pressing the hand part 10a against the target object ob, and can pick up the target object ob attracted to the hand part 10a by driving the arm. .
  • the arm control device 11 is configured as a control device that controls the movement of the robot arm 10.
  • the pickup system of this example is assumed to be applied to the field of logistics, and the target object ob is assumed to be a packing box such as a cardboard box, for example. Since the outer shape of the packing box is a cube or a rectangular parallelepiped, it can be expressed as having a rectangular shape when viewed from above. Alternatively, it can also be expressed as having a shape with edges when viewed from above.
  • the robot arm is moved to the location where the target object ob as a packing box is placed, and the hand portion 10a picks up the target object ob by suction. Specifically, in this example, the hand portion 10a is directed downward, and the robot arm 10 is moved in the horizontal direction in this state.
  • the hand unit 10a is lowered and the hand unit 10a is pressed against the upper surface of the target object ob, so that the target object ob is attracted to the hand unit 10a.
  • a device having a sensing function is attached to the hand portion 10a, similar to the conventional hand-eye method.
  • the information processing device 1 is attached to the hand portion 10a.
  • the information processing device 1 includes an EVS (Event-based Vision Sensor) 2 as an event sensor, and is capable of sensing a target object ob.
  • an event sensor includes a plurality of pixels each having a light-receiving element, each pixel is configured to be able to detect a change of a predetermined amount or more in the amount of received light as an event, and the event sensor is This refers to a sensor capable of outputting information indicating a position and information indicating an event detection time.
  • the sensing direction of the EVS 2 is the same direction as the direction in which the hand portion 10a faces, that is, the downward direction in this example.
  • the information processing device 1 includes a process for estimating the edge position of the target object ob captured within the sensing range of the EVS 2 based on the detection information of the EVS 2, and a process for picking up the target object ob based on the estimated edge position.
  • a signal processing unit (control unit 4 to be described later) and the like for performing processing for determining the arrival of timing are also provided, but the configuration of the information processing device 1 will be explained later.
  • FIG. 2 the upper rows of FIGS. 2A, 2B, and 2C schematically show how the robot arm 10 moves in the horizontal direction and gradually approaches the target object ob.
  • the "front side” and “back side” referred to here are based on the moving direction of the robot arm 10. Specifically, the "front side” refers to the side opposite to the moving direction of the robot arm 10, and the “back side” refers to the side opposite to the moving direction of the robot arm 10.
  • “side” means the side in the same direction as the moving direction of the robot arm 10, respectively.
  • FIGS. 2A, 2B, and 2C the lower rows schematically show the state of the target object ob captured within the sensing range As of the EVS 2, corresponding to the states in the upper rows.
  • FIG. 2A shows a state where only the near side edge of the near side target object ob is captured within the sensing range As
  • FIG. 2B shows a state where only the near side edge of the near side object ob is captured within the sensing range As.
  • FIG. 2C shows the state in which the entire front target object ob and the rear target object ob are captured within the sensing range As. This shows the state in which the whole is captured.
  • a target position Pt corresponding to the pickup timing is determined in advance for the sensing range As of the EVS2.
  • This target position Pt is a projection of the center position of the hand portion 10a within the sensing range As. Since the separation distance from the optical axis of the EVS 2 to the center position of the hand section 10a is known, the center position of the hand section 10a in the sensing range As can be determined based on the separation distance. The central position of the hand portion 10a in the sensing range As obtained in this way is determined in advance as the target position Pt.
  • the sensing range of EVS2 is determined based on the effective pixel range of EVS2. Therefore, the target position Pt is determined as a position in the pixel coordinate system (coordinate system indicating pixel positions) of the EVS2.
  • the pickup timing of the target object ob is determined based on the positional relationship between the center position of the target object ob captured within the sensing range As and the target position Pt. Specifically, as shown in the lower part of FIG. 2C, the timing at which the center position of the target object ob captured within the sensing range As coincides with the target position Pt is determined as the pickup timing.
  • the target position Pt with the center position of the hand portion 10a is just an example.
  • the center position of the suction section is offset from the center position of the hand section 10a, it is conceivable to determine the target position Pt based on the center position of the suction section.
  • the position of the hand portion 10a on which the target position Pt is determined can be changed as appropriate depending on the actual embodiment, and is not limited to a specific position.
  • FIG. 3 is a diagram for explaining an example of the internal configuration of the information processing device 1, and also shows the arm control device 11 shown in FIG. 1 together with the example of the internal configuration of the information processing device 1.
  • the information processing device 1 includes an EVS 2, a memory 3, and a control unit 4.
  • FIG. 4 is a diagram showing an example of the internal configuration of the EVS2.
  • the EVS 2 includes a pixel array section 21 in which a plurality of pixels 20 are two-dimensionally arranged, an X arbiter 22, a Y arbiter 23, an event processing circuit 24, and an output I/F (interface). .
  • each pixel 20 has a light receiving element and is configured to be able to detect an event in which the amount of received light changes by more than a predetermined amount.
  • each pixel 20 recognizes as events a "positive polarity event" which is a change in the amount of received light that increases by more than a predetermined amount, and a "negative polarity event” which is a change in the amount of received light that decreases by more than a predetermined amount. Configured to be discoverable.
  • each pixel 20 When each pixel 20 detects an event, regardless of whether it is a positive polarity event or a negative polarity event, it sends a request signal to the X arbiter 22 and Y arbiter 23 to request readout (output) of the event signal from itself. Output. As shown in the figure, the request signal to the X arbiter 22 is referred to as a "request signal Xrq”, and the request signal to the Y arbiter 23 is referred to as a "request signal Yrq". Then, each pixel 20 outputs an event signal according to arbitration by the X arbiter 22 and Y arbiter 23 according to the above-mentioned request signals Xrq and Yrq.
  • each pixel 20 receives a response signal Xac output from the X arbiter 22 as a response (ACK) to the request signal Xrq, and a response signal Yac output from the Y arbiter 23 as a response to the request signal Yrq. Accordingly, a positive event signal Ip, which is a signal indicating the detection result of a positive polarity event, and a negative event signal Im, which is a signal indicating the detection result of a negative polarity event, are output to the event processing circuit 24.
  • the X arbiter 22 and the Y arbiter 23 arbitrate the request signals from each pixel 20 (the above-mentioned request signals It is transmitted as a response signal (Xac, Yac) to the pixel 20 from which the request signal was output.
  • the event processing circuit 24 generates event data for the pixel 20 based on the event signal input from the pixel 20 (in this example, the positive event signal Ip and the negative event signal Im).
  • This event data includes at least the position information of the pixel that detected the event (address information in the pixel coordinate system: hereinafter referred to as "position information of the event pixel") and the "detection time information" indicating the event detection time.
  • position information of the event pixel address information in the pixel coordinate system: hereinafter referred to as "position information of the event pixel"
  • the event data includes the position information and detection time information of the event pixel described above, as well as the detected event data.
  • the generated data includes "event type information" which is information indicating the type of event (positive polarity event/negative polarity event).
  • the output I/F 25 sequentially outputs the event data output line by line from the event processing circuit 24 to the outside of the EVS 2, specifically to the memory 3 shown in FIG. 3 in this example.
  • FIG. 5 is a diagram showing an example of the circuit configuration of the pixel 20.
  • the pixel 20 includes a photodiode PD as a light receiving element, a logarithmic conversion section 31, a buffer 32, an event detection circuit 33, and an output control/reset circuit 36.
  • the charges accumulated in the photodiode PD are transferred to the logarithmic conversion section 31.
  • the logarithmic conversion unit 31 converts the photocurrent (current according to the amount of received light) obtained by the photodiode PD into a logarithmic voltage signal.
  • the buffer 32 corrects the voltage signal input from the logarithmic conversion section 31 and outputs the corrected voltage signal to the event detection circuit 33.
  • the logarithmic conversion unit 31 includes a transistor Q1, a transistor Q2, and a transistor Q3.
  • MOSFETs metal-oxide-semiconductor field-effect transistors
  • the transistor Q1 and the transistor Q3 are N-type transistors, and the transistor Q2 is a P-type transistor.
  • the source of the transistor Q1 is connected to the cathode of the photodiode PD, and the drain is connected to the power supply terminal (reference potential VDD).
  • Transistor Q2 and transistor Q3 are connected in series between a power supply terminal and a ground terminal. Further, the connection point between the transistor Q2 and the transistor Q3 is connected to the gate of the transistor Q1 and the input terminal of the buffer 32 (the gate of a transistor Q5, which will be described later). Further, a predetermined bias voltage Vbias is applied to the gate of the transistor Q2.
  • the drains of the transistor Q1 and the transistor Q3 are connected to the power supply side (reference potential VDD), forming a source follower circuit. These two source followers connected in a loop convert the photocurrent from the photodiode PD into a logarithmic voltage signal. Furthermore, transistor Q2 supplies a constant current to transistor Q3.
  • the buffer 32 includes a transistor Q4 and a transistor Q5, each of which is a P-type transistor, and these transistors Q4 and Q5 are connected in series between a power supply terminal and a ground terminal.
  • the connection point between the transistors Q4 and Q5 is the output terminal of the buffer 32, and the corrected voltage signal is output from the output terminal to the event detection circuit 33 as a light reception signal.
  • the event detection circuit 33 detects a change in the amount of received light as an event by determining the difference between the level of the received light signal in the past and the current level of the received light signal as a reference level Lref. Specifically, the event detection circuit 33 detects the presence or absence of an event based on whether the level (absolute value) of a difference signal representing the difference between the reference level Lref and the current level of the light reception signal is greater than or equal to a predetermined threshold. do.
  • the event detection circuit 33 of this example is capable of detecting and distinguishing between a positive polarity event, that is, an event in which the difference from the reference level Lref is positive, and a negative polarity event, that is, an event in which the difference from the reference level Lref is negative. configured to be possible.
  • the event detection circuit 33 generates a positive output voltage Vop as an output voltage indicating the detection result of a positive polarity event, and a negative output voltage Vom as an output voltage indicating the detection result of a negative
  • the event detection circuit 33 resets the reference level Lref to the current level of the light reception signal based on a reset signal RST, which will be described later.
  • a reset signal RST which will be described later.
  • the event detection circuit 33 includes a subtracter 34 and a quantizer 35.
  • the subtracter 34 lowers the level of the light reception signal (voltage signal) from the buffer 32 in accordance with the reset signal RST, and outputs the lowered light reception signal to the quantizer 35.
  • the quantizer 35 quantizes the light reception signal from the subtracter 34 and obtains an output voltage representing the quantization result. Specifically, in this example, a positive output voltage Vop and a negative output voltage Vom are obtained.
  • the subtracter 34 includes a capacitor C1 and a capacitor C2, a transistor Q7 and a transistor Q8, and a reset switch SWr.
  • Transistor Q7 is a P-type transistor
  • transistor Q8 is an N-type transistor.
  • Transistor Q7 and transistor Q8 are connected in series between a power supply terminal and a ground terminal, and constitute an inverter. Specifically, the source of the transistor Q7 is connected to the power supply terminal, the drain is connected to the drain of the transistor Q8, and the source of the transistor Q8 is connected to the ground terminal. Note that a voltage Vbdif is applied to the gate of the transistor Q8.
  • One end of the capacitor C1 is connected to the output terminal of the buffer 32, and the other end is connected to the gate of the transistor Q7 (input terminal of the inverter).
  • One end of the capacitor C2 is connected to the other end of the capacitor C1, and the other end is connected to the connection point between the transistors Q7 and Q8.
  • the reset switch SWr has one end connected to the connection point between the capacitor C1 and the capacitor C2, the other end connected to the connection point between the transistor Q7 and the transistor Q8, and the connection point between the capacitor C2, and is connected in parallel to the capacitor C2. ing.
  • the reset switch SWr is a switch that is turned on/off according to the reset signal RST.
  • the inverter formed by the transistor Q7 and the transistor Q8 inverts the received light signal inputted through the capacitor C1 and outputs it to the quantizer 35.
  • the subtracter 34 outputs a signal representing the difference between the past level of the received light signal (Vinit) and the current level of the received light signal (Vafter).
  • the potential Vinit corresponds to the reference level Lref mentioned above. From the above explanation, this potential Vinit, that is, the reference level Lref, is reset to the current level of the light reception signal, in other words, the level of the light reception signal at the time when the reset switch SWr is turned ON, by turning on the reset switch SWr. become.
  • the quantizer 35 includes a transistor Q9, a transistor Q10, a transistor Q11, and a transistor Q12, and is configured as a 1.5-bit quantizer.
  • Transistors Q9 and Q11 are P-type transistors, and transistors Q10 and Q12 are N-type transistors. As shown in the figure, the transistors Q9 and Q10, and the transistors Q11 and Q12 are connected in series between the power supply terminal and the ground terminal, respectively, and the output voltage of the subtracter 34 is applied to each gate of the transistors Q9 and Q11. (Vout) is input. Further, a voltage Vhigh is applied to the gate of the transistor Q10, and a voltage Vlow is applied to the gate of the transistor Q12.
  • a positive output voltage Vop indicating the detection result of a positive polarity event is obtained at the connection point between transistor Q9 and transistor Q10, and a negative output voltage Vop indicating the detection result of a negative polarity event is obtained at the connection point between transistor Q11 and transistor Q12.
  • Vom is obtained.
  • the level of the output voltage (Vafter-Vinit) of the subtracter 34 is equal to or higher than the positive threshold corresponding to the voltage Vhigh, a voltage is applied to the connection point between the transistors Q9 and Q10.
  • a positive output voltage Vop at H level is obtained, and when the level of the output voltage of the subtracter 34 is less than the positive threshold, a positive output voltage Vop at L level is obtained.
  • a signal indicating whether the amount of received light has changed in the increasing direction by more than a predetermined threshold value that is, a positive output voltage Vop indicating the detection result of a positive polarity event is obtained.
  • a predetermined threshold value that is, a positive output voltage Vop indicating the detection result of a positive polarity event.
  • the negative output voltage due to the H level is applied to the connection point between the transistors Q11 and Q12. Vom is obtained, and when the level of the output voltage of the subtracter 34 is greater than the negative threshold, a negative output voltage Vom at the L level is obtained.
  • a signal indicating whether the amount of received light has changed in the decreasing direction by more than a predetermined threshold value, that is, a negative output voltage Vom indicating the detection result of a negative polarity event is provided. can get.
  • the output control/reset circuit 36 outputs a positive event signal Ip and a negative event signal Im in response to the request signals Xrq and Yrq and the response signals Xac and Yac to the X arbiter 22 and Y arbiter 23, and Outputs a reset signal RST to the reset switch SWr.
  • FIG. 6 is a diagram for explaining an example of the internal configuration of the output control/reset circuit 36, and shows an example of the internal configuration of the output control/reset circuit 36 as well as the event detection circuit 33.
  • the output control/reset circuit 36 includes a positive side memory 37p, a negative side memory 37m, an output circuit 38, an OR circuit 39, and a delay device 40.
  • the positive output voltage Vop from the event detection circuit 33 is held at the positive output voltage Vop and is input to the OR circuit 39 .
  • the negative output voltage Vom from the event detection circuit 33 is held in the negative memory 37m and is input to the OR circuit 39.
  • the positive side memory 37p and the negative side memory 37m hold values (digital values) corresponding to the voltage levels of the inputted positive side output voltage Vop and negative side output voltage Vom. Specifically, in this example, if the voltage levels of the positive output voltage Vop and the negative output voltage Vom are H level, "1" is held, and if they are L level, "0" is held.
  • the OR circuit 39 outputs an H level signal when at least one of the input positive output voltage Vop and negative output voltage Vom is at an H level, and outputs an L level signal when both are at an L level. Outputs a signal by That is, the OR circuit 39 sets the output signal to H level in response to the detection of either a positive polarity event or a negative polarity event, and sets the output signal to L level when neither event is detected. .
  • the output signals from the OR circuit 39 are sent to the X arbiter 22 and Y arbiter 23 as the aforementioned request signals Xrq and Yrq, respectively.
  • the output circuit 38 In response to both the response signal Xac from the X arbiter 22 and the response signal Yac from the Y arbiter 23 being input, the output circuit 38 outputs the value held in the positive side memory 37p and the value held in the negative side memory 37m. The obtained values are outputted to the event processing circuit 24 as a positive event signal Ip and a negative event signal Im, respectively.
  • a positive polarity event When a positive polarity event is detected, "1" is output as the positive polarity event signal Ip, "0" is output as the negative polarity event signal Im, and the event processing circuit 24 detects the positive polarity event in the corresponding pixel 20. It becomes possible to identify what happened.
  • the delay device 40 delays the output signal from the OR circuit 39 and outputs the delayed signal as a reset signal RST to the event detection circuit 33 (reset switch SWr). Thereby, in response to detection of either a positive polarity event or a negative polarity event, the reference level Lref mentioned above is reset, and the event detection circuit 33 is reset to a state in which new event detection is possible.
  • the delay time of the delay device 40 is such that when the positive output voltage Vop and the negative output voltage Vom change to H level or L level, the positive output voltage Vop and the negative output voltage Vom after the change change to the positive output voltage Vop and the negative output voltage Vom. It is sufficient to set at least a time longer than the time required to be held in the side memory 37p and the negative side memory 37m. This makes it possible to prevent events from being omitted from detection.
  • the EVS 2 includes event data regarding the pixel 20 that has detected an event as a positive polarity event or a negative polarity event, that is, position information of the event occurrence pixel, and detection time information indicating the detection time of the event. It is configured to output data including event type information indicating whether the event is a positive polarity event or a negative polarity event.
  • event data output by the EVS 2 is stored in the memory 3.
  • the event data stored in the memory 3 in this manner can be referenced by the control unit 4.
  • the control unit 4 includes, for example, a microcomputer equipped with a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), etc., and the CPU executes programs stored in the ROM and the like.
  • Various functions of the information processing device 1 are realized by executing processes according to programs loaded into the RAM.
  • the control unit 4 performs a process of estimating the edge position of the target object ob captured within the sensing range of the EVS 2 based on the event data stored in the memory 3, and picks up the target object ob based on the estimated edge position. Performs processing to determine when the timing has arrived.
  • the control unit 4 instructs the arm control device 11 to pick up the target object ob. That is, it instructs the arm control device 11 to start controlling the robot arm 10 to perform a pick-up operation of the target object ob.
  • FIG. 7 is a functional block diagram showing the functions of the control unit 4 in the information processing device 1 as an embodiment.
  • the control unit 4 includes a movement trajectory estimation unit F1, an edge position estimation unit F2, and a timing determination unit F3.
  • the movement trajectory estimating unit F1 estimates the movement trajectory of the edge position of the target object ob based on the position information of event occurrence pixels detected by the EVS 2 in the past period before the reference time. Specifically, when the positional relationship between the EVS 2 and the target object ob is changing such that the target object ob is displaced within the sensing range As of the EVS 2, an event detected by the EVS 2 within the past period before the reference time occurs. The movement trajectory of the edge position of the target object ob is estimated based on the pixel position information.
  • FIG. 8 schematically represents event data detected by the EVS2 within a certain period when the positional relationship between the EVS2 and the target object ob is changing such that the target object ob is displaced within the sensing range As.
  • event data detected by the EVS 2 within a certain period is displayed while the positional relationship between the EVS 2 and the target object ob is changing such that the target object ob is displaced within the sensing range As. They are shown side by side in the time direction (in the figure, the axis direction of time t). Note that for convenience of illustration, only event data detected for the first target object ob is shown here.
  • the sensing range As can be expressed as a range on the XY plane, where X is the row direction and Y is the column direction in the EVS2 (pixel array section 21).
  • the EVS 2 Since the EVS 2 detects as an event a change in the amount of light received by a predetermined amount or more, it detects an event in response to the edge position of the target object ob. Since it is assumed here that the target object ob is displaced within the sensing range As, the event detection position changes in the same direction as the displacement direction of the target object ob as time passes, as shown in the figure. go. Specifically, in the figure, the black circles indicate event data of a positive polarity event detected in response to the near side edge of the target object ob, and the white circles indicate event data of a negative polarity event detected in response to the far side edge of the target object ob. Although event data of events are shown, the detection position of each of these events changes in the same direction as the displacement direction of the target object ob over time.
  • the near side edge is the edge that is caught before the sensing range As of the two edges in the displacement direction of the target object ob
  • the back side edge is the edge that is caught in the sensing range As after the near side edge. I can do it. Therefore, the event on the far side edge (negative polarity event) starts to be detected after the event on the near side edge (positive polarity event).
  • the movement trajectory estimating unit F1 estimates the movement trajectory of the edge position of the target object ob based on the position information of the event occurrence pixel detected by the EVS 2 in the past period before the reference time. Specifically, the movement trajectory estimation unit F1 in this example estimates the movement trajectory of the edge position of the target object ob at each processing point in the processing cycle based on the position information of event occurrence pixels detected in the past period. . This can be expressed as estimating the movement trajectory based on the position information of the event occurrence pixel detected in the past period at each processing point in the processing cycle (that is, at the current time).
  • FIG. 9 is a diagram for explaining a method for estimating an edge position movement trajectory in the embodiment.
  • event data detected by the EVS 2 in the past period is plotted and shown here on a two-dimensional plane defined by the Y-axis and the t-axis.
  • the movement trajectory of both the front edge movement trajectory and the back edge movement trajectory can be estimated by fitting a linear function based on a plurality of event data detected within the past period. This fitting may be performed using the least squares method for a plurality of event data detected within the past period.
  • such estimation of the edge position movement trajectory is performed at each processing point in the processing cycle.
  • the edge position movement trajectory at each processing time by finding the intersection with the current time on the estimated edge position movement trajectory, the edge position at that processing time can be calculated. can be estimated (see the double circle mark in the figure).
  • the edge position estimating unit F2 calculates the intersection point with the current time on the edge position movement trajectory for each processing time point based on the edge position movement trajectory estimated for each processing time point as described above.
  • the edge position at the time of processing is estimated. This can be expressed as estimating the reference time edge as the edge position at the reference time.
  • the timing determination unit F3 determines whether the pickup timing of the target object ob has arrived based on the positional relationship between the reference edge position estimated by the edge position estimation unit F2 and the target position Pt defined in the pixel coordinate system of the EVS2. . Specifically, as shown in FIG. 9, the timing determination unit F3 in this example determines the difference between the estimated edge position of the near side edge and the edge position of the far side edge at the current time (current processing time point). Find the center position (see the black square mark in the diagram). Then, it is determined whether or not this central position has reached the target position Pt as a determination that the pickup timing has arrived.
  • FIG. 9 the timing determination unit F3 determines whether the pickup timing of the target object ob has arrived based on the positional relationship between the reference edge position estimated by the edge position estimation unit F2 and the target position Pt defined in the pixel coordinate system of the EVS2. . Specifically, as shown in FIG. 9, the timing determination unit F3 in this example determines the difference between the estimated edge position of the near
  • FIG 9 illustrates a state in which the center position has not yet reached the target position Pt at the current time, in the future, at the timing when the target position Pt shown in the figure intersects with the extension line of the center position, A determination result indicating that the pickup timing has arrived can be obtained.
  • a specific example of the method for estimating the edge position movement trajectory in this example will be described with reference to FIG. 10.
  • the movement trajectory estimation unit F1 in this example estimates the line segment Ls based on the latest event data stored in the memory 3 (event data newly stored from the previous processing time) at each processing time. I do.
  • the target object ob is displaced within the sensing range
  • events that react to the edges of the target object ob are sequentially detected at new positions. Based on the event data of the edge newly detected in this way, the line segment Ls corresponding to the edge is estimated.
  • the line segment Ls is estimated for both the near side edge and the far side edge of the target object ob.
  • the line segment Ls corresponding to the near side edge can be estimated based on event data of a newly detected positive polarity event.
  • the line segment Ls corresponding to the far side edge can be estimated based on event data of a newly detected negative polarity event.
  • the line segment Ls corresponding to the front edge will be referred to as a "front edge line segment”
  • the line segment Ls corresponding to the rear edge will be referred to as a "back edge line segment.”
  • the movement trajectory estimating unit F1 in this example estimates the near side edge line segment and the far side edge line segment as described above at each processing time, and also estimates the estimated near side edge line segment and the far side edge line segment.
  • the information is stored in the memory 3.
  • the movement trajectory of the near side edge line and the back side edge line are determined. Estimate the movement trajectory. Note that FIG. 10 shows the movement locus of the front edge line segment and the movement locus of the back edge line segment for only the first target object ob.
  • the movement locus of the edge line segment is represented by a strip, so the only slope is the slope in the Y-t plane (see the slope shown in FIG. 9).
  • the inclination in the XY plane should also be estimated. Therefore, in this case, the movement trajectory estimating unit F1 calculates not only a linear function indicating the inclination in the Y-t plane but also a linear function indicating the inclination in the X-Y plane based on the edge line segments estimated in the past period.
  • the movement trajectory of the edge line segment is estimated by performing fitting.
  • the edge position estimating unit F2 in this example determines the near side edge position of the target object ob based on the movement trajectory of the front edge line segment and the movement trajectory of the back edge line segment estimated by the movement trajectory estimation unit F1 as described above. , and estimate the rear edge position, respectively. Specifically, the intersection line between the movement trajectory of the front edge line segment and the current time is estimated as the near side edge position, and the intersection line between the movement trajectory of the back edge line segment and the current time is estimated as the back side edge position. . Then, the timing determination unit F3 determines the center position between the estimated edge position of the near side edge and the edge position of the back side edge, and picks up a judgment as to whether or not this center position has reached the target position Pt. This is done to determine when the timing has arrived.
  • FIG. 11 is a flowchart showing an example of a specific processing procedure for realizing the pickup timing arrival determination method as the embodiment described above. The process shown in FIG. 11 is executed by the control unit 4 of the information processing device 1 based on a program stored in a predetermined storage device such as the ROM described above.
  • step S101 the control unit 4 estimates edge line segments based on the latest event data stored in the memory 3. That is, the near side edge line segment is estimated based on the event data of the latest positive polarity event stored in the memory 3, and the far side edge line segment is estimated based on the event data of the latest negative polarity event stored in the memory 3. Estimate.
  • the target object ob is not captured within the sensing range As, no event regarding the target object ob is detected.
  • step S101 the control unit 4 estimates the edge line segment for the edge on which the corresponding event has been detected, among the front edge and the back edge.
  • step S102 following step S101 the control unit 4 performs a process of storing the estimated edge line segment in the memory 3.
  • step S103 the control unit 4 estimates the movement trajectory of the edge line segment based on the edge line segment within the past period stored in the memory 3.
  • a predetermined plurality of edge line segments are required to estimate the movement trajectory of the edge line segment.
  • the control unit 4 determines the movement trajectory of the front edge line segment based on the predetermined plurality of front edge line segments.
  • the movement locus of the back edge line segment is estimated based on the predetermined plurality of back edge line segments.
  • step S104 the control unit 4 determines whether or not the edge line segment movement trajectory of both end sides has been estimated. That is, it is determined whether the movement trajectories of both the near side edge line segment and the far side edge line segment are estimated. In step S104, if a negative result is obtained because no edge line segment movement trajectory of any end side has been estimated or only the movement trajectory of the near side edge line segment has been estimated, the control unit 4 returns to step S101. As a result, the processes from steps S101 to S103 are repeated until a state is reached in which the edge line segment movement trajectory of both end sides is estimated.
  • step S104 if a positive result is obtained that the movement trajectories of both the front edge line segment and the back edge line segment are estimated, and the edge line segment movement trajectories of both ends are estimated, the control unit 4 The process proceeds to step S105, and for each edge, the intersection line between the edge line segment movement locus and the current time is estimated as the current edge position.
  • the intersection line between the movement trajectory of the near side edge line segment and the current time is defined as the current edge position of the near side edge
  • the intersection line between the movement trajectory of the far side edge line segment and the current time is defined as the current edge position of the far side edge. Estimate each as a position.
  • step S106 the control unit 4 calculates the center position between the current edge positions of both ends. That is, the center position between the current edge positions of the near side edge and the far side edge estimated in step S105 is calculated.
  • step S107 following step S106 the control unit 4 determines whether the center position has reached the target position Pt. This corresponds to determining that the pickup timing of the target object ob has arrived.
  • step S107 If it is determined in step S107 that the center position has not reached the target position Pt, the control unit 4 returns to step S101. As a result, the estimation of the center position of the target object ob is repeated until the pickup timing arrives.
  • step S107 if it is determined in step S107 that the center position has reached the target position Pt, the control unit 4 proceeds to step S108 and instructs the arm control device 11 to pick up. That is, an instruction is given to the arm control device 11 to start control for causing the robot arm 10 to perform a pick-up operation of the target object ob.
  • control unit 4 finishes the series of processes shown in FIG.
  • the edge position movement trajectory is estimated based only on event data, but the edge position movement trajectory is estimated based not only on the event data but also on the relative velocity between the EVS 2 and the target object ob. It can also be done using information. Specifically, when picking up the target object ob by moving only the robot arm 10 side as in this example, information indicating the moving speed of the robot arm 10 is used as the information indicating the relative speed. When estimating the slope of the edge position movement trajectory, it is possible to take into account the relative velocity between the EVS 2 and the target object ob, and it is possible to improve the accuracy of estimating the movement trajectory against erroneous event detection.
  • relative velocity information is used when fitting the slope of the edge position movement trajectory using the least squares method or the like. For example, if the difference between the slope of the edge position movement trajectory estimated only from event data and the slope of the edge position movement trajectory calculated from relative velocity is large, the slope of the movement trajectory estimated only from event data can be calculated from relative velocity. It is conceivable to perform a correction so that the slope approaches the slope of the movement trajectory. Alternatively, it is conceivable to place a limit on the slope of the movement trajectory so that the slope of the movement trajectory estimated from only the event data does not exceed a predetermined slope range based on the slope of the movement trajectory determined from the relative speed.
  • the estimation of the back edge line segment is performed based on the event data of the negative polarity event.
  • some event sensors detect a change in the amount of received light of a predetermined amount or more as an event, regardless of the polarity of the change in the amount of received light. Note that, hereinafter, such an event sensor will be referred to as a "non-polar event sensor" for convenience.
  • the following method may be used to enable estimation of the back edge line segment even when a non-polar event sensor is used.
  • the estimation of the back edge line segment is based on event data (position of event occurrence pixel information).
  • event data position of event occurrence pixel information.
  • the front edge line segment can be estimated.
  • the line segment can be predicted to be captured within a pixel region where the distance from the estimated position of the near side edge line segment in the back direction is within a predetermined distance range.
  • the estimation of the back edge line segment is This is done based on pixel position information. This makes it possible to estimate the back edge line segment based on event data detected within the pixel area where an event corresponding to the back edge is predicted to be detected. It is possible to improve the estimation accuracy of the number of minutes.
  • this method of estimating the back edge line segment based on the distance from the estimated position of the front edge line segment is based on an event sensor such as EVS2 that can detect and distinguish between positive polarity events and negative polarity events. It can also be applied when In other words, in that case, among the event data of the detected negative polarity event, the event data detected within the pixel area where the distance from the estimated position of the near side edge line segment in the back direction is within the predetermined distance range. Based on this, estimate the back edge line segment.
  • the specific examples described so far are just examples, and the present technology can take configurations as various modified examples.
  • the target object ob is displaced within the sensing range As
  • an example was given in which the target object ob is displaced within the sensing range As as the robot arm 10 moves.
  • the target object ob may be displaced within the sensing range As by being transported by a transport means such as a conveyor.
  • the robot arm 10 may also be moved.
  • the moving direction of the target object ob by the conveyor etc. and the moving direction of the robot arm 10 are the same direction, in other words, the robot arm 10 chases the target object ob being transported by the conveyor etc.
  • the object is picked up, or a case where the direction in which the target object ob is moved by a conveyor or the like and the direction in which the robot arm 10 is moved are opposite to each other.
  • information on the movement direction can be used in estimating the edge position movement trajectory even when the target object ob is not transported by a conveyor or the like.
  • the horizontal movement direction of the robot arm 10 is not fixed, it is effective to use information on the movement direction of the robot arm 10 to estimate the edge position movement trajectory.
  • the robot arm 10 does not move in a direction perpendicular to the front edge or the back edge of the target object ob, but can also move in a direction diagonal to the orthogonal direction. In this case, it is effective to use information on the movement direction of the robot arm 10 to estimate the edge position movement trajectory.
  • both the near side edge position and the back side edge position of the target object ob are estimated based on event data.
  • at least one of the near side edge position and the far side edge position may be estimated based on the event data. If the size of the target object ob when viewed from above is known, the distance from the front edge position or back edge position to the center position is also known. It is possible to estimate the center position from either side edge position.
  • the estimation of the edge position movement trajectory according to the present technology and the estimation of the edge position based on the edge position movement trajectory are applied to the determination of the arrival of the pickup timing of the target object ob.
  • the object to which the trajectory estimation and the edge position estimation are applied is not limited to the determination of the arrival of the pickup timing of the target object ob.
  • this technology can also be used to determine the timing for labeling, wrapping, printing, etc. on the target object ob, or to determine the timing to push the target object ob out of the conveyor when a conveyor is used as in the example in Fig. 12. It is possible to apply the estimation of the edge position movement trajectory and the estimation of the edge position.
  • the center position of the target object ob is estimated based on the edge position of the target object ob estimated based on event data, but
  • the position of the target object ob to be estimated is not limited to the central position.
  • the target object ob is displaced within the sensing range
  • the target object ob is displaced in the horizontal direction, that is, in a direction parallel to the sensor surface of the EVS2.
  • the "displacement" of ob is not limited to such a displacement in a direction parallel to the sensor surface, but may also include a displacement in a direction perpendicular to the sensor surface (direction toward and away from the EVS 2).
  • the target object ob expands or contracts when viewed from the EVS 2 side.
  • the information processing device 1 is a device in which the control unit 4 that performs processing for estimating edge positions based on event data and the EVS 2 are integrally configured, but the control unit 4 and the EVS 2 are integrated. It is also possible to adopt a configuration in which the two are separate bodies (each is provided in a separate device).
  • the information processing device (same 1) as the embodiment operates under conditions where the positional relationship between the event sensor and the target object is changing such that the target object is displaced within the sensing range of the event sensor (EVS2).
  • the movement trajectory estimation unit (F1) estimates the movement trajectory of the edge position of the target object based on the position information of the event occurrence pixel detected by the event sensor in the past period before the reference time, and the movement trajectory estimation unit estimates the movement trajectory of the edge position of the target object.
  • the apparatus includes an edge position estimating section (F2) that estimates the edge position of the target object at the reference time as the reference time edge position based on the movement trajectory of the edge position.
  • the movement trajectory of the edge position of the target object is estimated based on the position information of the event occurrence pixel detected in the past period before the reference time. This makes it possible to accurately estimate the edge position at the reference time based on the movement trajectory. Further, by using the event sensor, the sampling rate of detection information used for estimating the edge position movement trajectory of the target object can be improved, so that the estimation accuracy of the edge position movement trajectory can be improved. According to the present embodiment, these two aspects make it possible to improve the accuracy of estimating the edge position of the target object when the target object is displaced within the sensing range of the sensor.
  • the target object has a shape having edges when viewed from above
  • the movement trajectory estimating unit estimates a movement trajectory of a line segment corresponding to the edge of the target object
  • the edge position estimating unit estimates the edge position as the end side as the reference edge position based on the movement locus of the line segment.
  • the target object has a rectangular shape when viewed from above
  • the movement trajectory estimating unit is configured to detect two opposing edges of the four edges of the target object when viewed from above.
  • the edge position estimating unit estimates the movement trajectory of the line segment for the edges, and calculates the position of each edge for each of the two edges as the reference edge position based on the movement trajectory of the line segment estimated for the two edges. It is estimated that By estimating the edge positions of each of the opposing edges of the target object as described above, it is possible to estimate the center position of the target object from these edge positions.
  • the center position of the target object by being able to estimate the center position of the target object, it is possible to stably pick up the target object by appropriately pressing the suction hand against the center of the target object. If the center position of the target object can be estimated in this way, it is possible to ensure that the target object is handled appropriately.
  • the edge on the side that is captured earlier within the sensing range as the target object is displaced is referred to as the near side edge.
  • the movement trajectory estimation unit estimates the line segment corresponding to the back edge in the back direction from the estimated position of the line segment corresponding to the front edge. This is performed based on position information of event-occurring pixels detected within a pixel region whose separation distance from the event occurs within a predetermined distance range.
  • the line segment on the edge can be predicted to be captured within a pixel region where the distance from the line segment position on the front edge in the back direction is within a predetermined distance range. Therefore, as in the above configuration, the line segment corresponding to the far side edge is estimated so that the separation distance in the far side direction from the estimated position of the line segment corresponding to the near side edge is within a predetermined distance range. This is performed based on the position information of the event occurrence pixel detected within the pixel area. This makes it possible to estimate the line segment on the far side edge based on event information detected within the pixel area where an event corresponding to the far side edge is predicted to be detected. It is possible to improve the accuracy of estimating line segments on the edges.
  • the event sensor detects both a positive polarity event, which is an increase-side change in the amount of received light by a predetermined amount or more, and a negative-polarity event, which is a decrease-side change in the received light amount by more than a predetermined amount.
  • the movement trajectory estimating unit estimates a line segment corresponding to the far side edge based on position information of an event occurrence pixel for a negative polarity event. If the near side edge is captured within the sensing range of the event sensor, a positive polarity event will be detected, while if the far side edge is captured within the sensing range of the event sensor, a negative polarity event will be detected. It will be detected. Therefore, by estimating the position of the line segment on the far side edge based on the position information of the event occurrence pixel for the negative polarity event as described above, the line segment on the far side edge can be estimated appropriately. It can be estimated.
  • the movement trajectory estimating unit uses information indicating the relative speed between the event sensor and the target object in estimating the movement trajectory. This makes it possible to take into account the relative velocity between the event sensor and the target object when estimating the slope of the edge position movement trajectory, making it possible to improve the accuracy of estimating the movement trajectory against erroneous event detection. . By improving the estimation accuracy of the edge position movement trajectory, it is possible to improve the estimation accuracy of the reference edge position.
  • the information processing apparatus is configured to be able to input detection information from an event sensor attached to a hand portion (10a) of a robot arm (10) that picks up a target object.
  • a timing determination unit that determines the arrival of the pick-up timing of the target object based on the positional relationship between the reference edge position estimated by the edge position estimation unit and the target position (Pt) defined in the pixel coordinate system of the event sensor; (F3).
  • the target object has a rectangular shape when viewed from above, and the movement trajectory estimating unit calculates the distance between two opposite edges of the four edges of the target object.
  • the edge position estimation unit estimates the line segment movement trajectory, and estimates the position of each of the two edges as the reference edge position based on the line segment movement trajectory estimated for the two edges.
  • the timing determination unit calculates the center position between the reference time edge positions estimated for each of the two edges, and determines whether the pickup timing has arrived based on the positional relationship between the center position and the target position.
  • the information processing apparatus is configured to include an event sensor.
  • the information processing device is configured as a device in which an event sensor and a signal processing unit that estimates the edge position of a target object based on information detected by the event sensor are integrated.
  • the event sensor and the signal processing section for edge position estimation are integrated devices.
  • the target device such as a robot arm. It is possible to improve the ease of attachment to the target device, such as by reducing the area occupied by the attachment when attaching the device to the device.
  • the information processing device uses the event sensor as a reference when the positional relationship between the event sensor and the target object is changing such that the target object is displaced within the sensing range of the event sensor.
  • the movement trajectory of the edge position of the target object is estimated based on the position information of the event occurrence pixel detected in the past period before the point in time, and based on the movement trajectory of the estimated edge position, the edge position of the target object at the reference time is set as the reference point.
  • This is an information processing method that estimates the edge position. Even with the information processing method as such an embodiment, the same operation and effect as the information processing apparatus as the embodiment described above can be obtained.
  • the program of the embodiment is a program that can be read by a computer device, and is configured to detect an event when the positional relationship between the event sensor and the target object changes such that the target object is displaced within the sensing range of the event sensor.
  • a movement trajectory estimation function that estimates the movement trajectory of the edge position of the target object based on the position information of event occurrence pixels detected by the sensor in the past period before the reference time, and a movement trajectory of the edge position estimated by the movement trajectory estimation function.
  • the function of the control section 4 described above can be realized by software processing by a computer device.
  • the above programs can be recorded in advance on an HDD (Hard Disk Drive) as a recording medium built into equipment such as a computer device, or a ROM in a microcomputer having a CPU.
  • a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disk, a DVD (Digital Versatile Disc), a Blu-ray Disc (registered trademark), a magnetic disk, a semiconductor memory It can be stored (recorded) temporarily or permanently in a removable recording medium such as a memory card.
  • a removable recording medium can be provided as so-called package software.
  • a program into a personal computer or the like from a removable recording medium, it can also be downloaded from a download site via a network such as a LAN (Local Area Network) or the Internet.
  • LAN Local Area Network
  • Such a program is suitable for widely providing the information processing device 1 as the embodiment.
  • a program for example, by downloading a program to a personal computer, portable information processing device, mobile phone, game device, video device, PDA (Personal Digital Assistant), etc., the personal computer etc. can be processed as the information processing device 1 of the present disclosure. It can function as a device that realizes.
  • the present technology can also adopt the following configuration.
  • a movement trajectory estimation unit that estimates a movement trajectory of the edge position of the target object based on the position information;
  • An information processing device comprising: an edge position estimating unit that estimates an edge position of the target object at the reference time as a reference time edge position based on a movement trajectory of the edge position estimated by the movement trajectory estimation unit.
  • the target object has a shape having edges when viewed from above, The movement trajectory estimating unit estimates a movement trajectory of a line segment corresponding to an edge of the target object, The information processing device according to (1), wherein the edge position estimating unit estimates an edge position as the end side as the reference edge position based on a movement trajectory of the line segment.
  • the target object has a rectangular shape when viewed from above, The movement trajectory estimating unit estimates a movement trajectory of a line segment for two opposing edges of the four edges of the target object when viewed from above, (2) The edge position estimating unit estimates the position of each of the two edges as the reference edge position based on the movement locus of the line segment estimated for the two edges.
  • the edge that is captured earlier within the sensing range due to the displacement of the target object is the front edge
  • the edge opposite to the front edge is the back edge.
  • the movement trajectory estimating unit estimates the line segment corresponding to the back edge when the separation distance in the back direction from the estimated position of the line segment corresponding to the front edge is within a predetermined distance range.
  • the information processing device according to (3) above, wherein the information processing is performed based on position information of the event occurrence pixel detected within a pixel region.
  • the event sensor is configured to be able to detect both a positive polarity event, which is a change in the amount of received light that increases by a predetermined amount or more, and a negative polarity event, which is a change in the amount of received light that decreases by more than a predetermined amount,
  • a positive polarity event which is a change in the amount of received light that increases by a predetermined amount or more
  • a negative polarity event which is a change in the amount of received light that decreases by more than a predetermined amount
  • (7) configured to be able to input detection information from the event sensor attached to the hand portion of the robot arm that picks up the target object, a timing determination unit that determines when a pick-up timing for the target object has arrived based on a positional relationship between the reference edge position estimated by the edge position estimation unit and a target position defined in a pixel coordinate system of the event sensor;
  • the information processing device according to any one of (1) to (6) above.
  • the target object has a rectangular shape when viewed from above
  • the movement trajectory estimating unit estimates the movement trajectory of a line segment for two opposing edges among the four edges of the target object
  • the edge position estimating unit estimates the position of each of the two edges as the reference edge position based on the movement locus of the line segment estimated for the two edges
  • the timing determination unit calculates a center position between the reference time edge positions estimated for each of the two edges, and determines the arrival of the pickup timing based on the positional relationship between the center position and the target position.
  • the information processing device according to (7) above.
  • (9) The information processing device according to any one of (1) to (8), including the event sensor.
  • the information processing device The number of event occurrence pixels detected by the event sensor in the past period before the reference time while the positional relationship between the event sensor and the target object is changing such that the target object is displaced within the sensing range of the event sensor. Estimating the movement trajectory of the edge position of the target object based on the position information, An information processing method, wherein the edge position of the target object at the reference time is estimated as a reference time edge position based on the estimated movement trajectory of the edge position.
  • (11) A program readable by a computer device, The number of event occurrence pixels detected by the event sensor in the past period before the reference time while the positional relationship between the event sensor and the target object is changing such that the target object is displaced within the sensing range of the event sensor.
  • a program that causes the computer device to realize an edge position estimation function of estimating an edge position of the target object at the reference time as a reference time edge position based on a movement trajectory of the edge position estimated by the movement trajectory estimation function.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本技術に係る情報処理装置は、対象物体がイベントセンサのセンシング範囲内で変位するようにイベントセンサと対象物体との位置関係が変化している下でイベントセンサが基準時点以前の過去期間内に検出したイベント発生画素の位置情報に基づき、対象物体のエッジ位置の移動軌跡を推定する移動軌跡推定部と、移動軌跡推定部が推定したエッジ位置の移動軌跡に基づき、基準時点における対象物体のエッジ位置を基準時エッジ位置として推定するエッジ位置推定部とを備えている。

Description

情報処理装置、情報処理方法、プログラム
　本技術は、情報処理装置とその方法、及びプログラムに関するものであり、特には、対象物体がセンサのセンシング範囲内で変位する場合における対象物体のエッジ位置推定精度の向上を図るための技術に関するものである。
　画像センシングに係る技術として様々な技術が存在する。例えば、ＲＧＢセンサ等のイメージセンサによる撮像画像について画像解析処理を行って対象物体のエッジ位置を推定したり形状を推定したりする技術がある。
　このような画像解析技術の応用として、例えば物流の分野等では、いわゆるハンドアイ方式のロボットアームについて、段ボール箱等の対象物体の撮像画像に対し画像解析を行った結果に基づき、ロボットアームによる対象物体のピックアップタイミングを判定するということが行われている。具体的にこの場合、ロボットアームは、段ボール箱等の対象物体が配置された位置に向けて、水平方向に移動可能とされており、このロボットアーム先端のハンド部に対し、下方を撮像するカメラが取り付けられている。ロボットアームが対象物体に向けて水平方向に移動していくと、カメラ視野内（センシング範囲内）に対象物体が捉えられるようになり、その後、カメラ視野内の特定位置に対象物体が位置されたタイミングを、対象物体のピックアップタイミングとして判定する。この場合、具体的な画像解析としては、撮像画像に写る対象物体について、そのエッジ位置を推定する処理を行う。そして、エッジ位置に基づいて対象物体の位置（撮像画像内での位置）を特定し、特定した対象物体の位置が、画像の座標系において定められた特定位置に位置したタイミングを、対象物体のピックアップタイミングとして判定する。
　なお、関連する従来技術については下記特許文献１を挙げることができる。特許文献１には、物体に沿って移動する装置を用いて、二つの角度から物体のエッジ位置を検出する技術が開示されている。
特開２０２１－０１５６１６号公報
　ここで、例えば上記した物流分野での画像解析のように、対象物体とカメラとの位置関係が変化する下で撮像された画像、換言すれば、対象物体がカメラ（イメージセンサ）のセンシング範囲内で変位する下で撮像された画像について画像解析を行う場合には、対象物体のエッジ位置を正確に推定することが困難となる。
　センシング範囲内で対象物体が移動している場合には、その移動過程において対象物体への光の当たり具合が変化する等の要因により、対象物体のエッジ部分を正確に捉えられていない画像が撮像されてしまうことが有り得る。そのような撮像画像については、対象物体のエッジ位置を正確に推定することが困難となる。そして、ピックアップタイミングに相当する撮像画像がそのような撮像画像となってしまった場合には、ピックアップタイミングを正確に判定することができなくなってしまう。
　本技術は上記事情に鑑み為されたものであり、対象物体がセンサのセンシング範囲内で変位する場合における対象物体のエッジ位置の推定精度向上を図ることを目的とする。
　本技術に係る情報処理装置は、対象物体がイベントセンサのセンシング範囲内で変位するように前記イベントセンサと前記対象物体との位置関係が変化している下で前記イベントセンサが基準時点以前の過去期間内に検出したイベント発生画素の位置情報に基づき、前記対象物体のエッジ位置の移動軌跡を推定する移動軌跡推定部と、前記移動軌跡推定部が推定した前記エッジ位置の移動軌跡に基づき、前記基準時点における前記対象物体のエッジ位置を基準時エッジ位置として推定するエッジ位置推定部と、を備えるものである。
　本明細書において、イベントセンサとは、いわゆるＥＶＳ（Event-based Vision Sensor）に相当するものであり、具体的には以下のように定義されるセンサを意味する。すなわち、受光素子を有する画素を複数備え、各画素が受光量の所定量以上の変化をイベントとして検出可能に構成されると共に、イベントが検出された画素の位置を示す情報及びイベントの検出時刻を示す情報を出力可能とされたセンサを意味する。
　上記構成によれば、イベントの誤検出が生じる場合であっても、基準時点以前の過去期間内に検出されたイベント発生画素の位置情報に基づいて対象物体のエッジ位置の移動軌跡が推定されることで、該移動軌跡に基づき基準時点におけるエッジ位置を正確に推定することが可能となる。また、イベントセンサを用いることで、対象物体のエッジ位置移動軌跡の推定に用いる検出情報のサンプリングレート向上が図られるため、エッジ位置移動軌跡の推定精度向上が図られる。
　また、本技術に係る情報処理方法は、情報処理装置が、対象物体がイベントセンサのセンシング範囲内で変位するように前記イベントセンサと前記対象物体との位置関係が変化している下で前記イベントセンサが基準時点以前の過去期間内に検出したイベント発生画素の位置情報に基づき、前記対象物体のエッジ位置の移動軌跡を推定し、推定した前記エッジ位置の移動軌跡に基づき、前記基準時点における前記対象物体のエッジ位置を基準時エッジ位置として推定する情報処理方法である。
　さらに、本技術に係るプログラムは、コンピュータ装置が読み取り可能なプログラムであって、対象物体がイベントセンサのセンシング範囲内で変位するように前記イベントセンサと前記対象物体との位置関係が変化している下で前記イベントセンサが基準時点以前の過去期間内に検出したイベント発生画素の位置情報に基づき、前記対象物体のエッジ位置の移動軌跡を推定する移動軌跡推定機能と、前記移動軌跡推定機能が推定した前記エッジ位置の移動軌跡に基づき、前記基準時点における前記対象物体のエッジ位置を基準時エッジ位置として推定するエッジ位置推定機能と、を前記コンピュータ装置に実現させるプログラムである。
　これら情報処理方法やプログラムにより、上記した本技術に係る情報処理装置を実現する。
本技術に係る実施形態としてのピックアップシステムの構成例を示したブロック図である。 実施形態におけるピックアップタイミング到来判定手法の概要について説明するための図である。 実施形態としての情報処理装置の内部構成例を説明するための図である。 実施形態におけるイベントセンサの内部構成例を示した図である。 イベントセンサが備える画素の構成例を示した図である。 実施形態における出力制御・リセット回路の内部構成例を説明するための図である。 情報処理装置が有する実施形態としての機能を示した機能ブロック図である。 イベントセンサが或る期間内に検出したイベントデータを模式的に表した図である。 実施形態におけるエッジ位置移動軌跡の推定手法について説明するための図である。 実施形態におけるエッジ位置移動軌跡の推定手法の具体例を説明するための図である。 実施形態としてのピックアップタイミング到来判定手法を実現するための具体的な処理手順例を示したフローチャートである。 対象物体の変位に係る変形例についての説明図である。
　以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。
＜１．実施形態としてのピックアップシステム＞
＜２．情報処理装置、イベントセンサの構成＞
＜３．実施形態としてのピックアップタイミング到来判定手法＞
＜４．処理手順＞
＜５．変形例＞
＜６．実施形態のまとめ＞
＜７．本技術＞
＜１．実施形態としてのピックアップシステム＞
　図１は、本技術に係る実施形態としての情報処理装置１を備えて構成される実施形態としてのピックアップシステムの構成例を示したブロック図である。
　図示のように実施形態としてのピックアップシステムは、情報処理装置１、ロボットアーム１０、及びアーム制御装置１１を備えている。
　ロボットアーム１０は、アーム先端部に吸着ハンドとして機能するハンド部１０ａを有している。ロボットアーム１０は、ハンド部１０ａを対象物体ｏｂに押し当てることで対象物体ｏｂを吸着することができ、ハンド部１０ａに吸着された対象物体ｏｂをアームの駆動によりピックアップすることが可能とされる。
　アーム制御装置１１は、ロボットアーム１０の動きを制御する制御装置として構成されている。
　本例のピックアップシステムは、物流の分野への適用を想定しており、対象物体ｏｂとしては例えば段ボール箱等の荷箱を想定している。荷箱は、外形が立方体や直方体の形状とされるため、上面視による形状が矩形状とされていると表現することができる。また、別の表現としては、上面視で端辺を有する形状であると表現することもできる。
　本例のピックアップシステムでは、荷箱としての対象物体ｏｂが配置された場所にロボットアームを移動させていき、ハンド部１０ａにより対象物体ｏｂを吸着して対象物体ｏｂをピックアップする。具体的に、本例では、ハンド部１０ａは下方に向けられており、その状態でロボットアーム１０を水平方向に移動させる。対象物体ｏｂをピックアップする際には、ハンド部１０ａを下降させてハンド部１０ａを対象物体ｏｂの上面に押し当てることで、対象物体ｏｂをハンド部１０ａに吸着させる。
　このとき、対象物体ｏｂを適切にピックアップするためには、ハンド部１０ａが対象物体ｏｂを吸着できる位置に到達したか否かを判定することを要する。
　この判定のために、本例では、従来のハンドアイ方式と同様に、ハンド部１０ａに対してセンシング機能を有する装置を取り付けるものとしている。具体的には、情報処理装置１をハンド部１０ａに対して取り付けている。
　後述するように情報処理装置１は、イベントセンサとしてのＥＶＳ（Event-based Vision Sensor）２を備えており、対象物体ｏｂのセンシングを行うことが可能とされている。
　ここで、本明細書においてイベントセンサとは、受光素子を有する画素を複数備え、各画素が受光量の所定量以上の変化をイベントとして検出可能に構成されると共に、イベントが検出された画素の位置を示す情報及びイベントの検出時刻を示す情報を出力可能とされたセンサを意味するものである。
　情報処理装置１において、ＥＶＳ２のセンシング方向は、ハンド部１０ａが向く方向と同方向、つまり本例では下方向とされている。
　情報処理装置１には、ＥＶＳ２の他、ＥＶＳ２の検出情報に基づき、ＥＶＳ２のセンシング範囲内に捉えられた対象物体ｏｂのエッジ位置を推定する処理や、推定したエッジ位置に基づき対象物体ｏｂのピックアップタイミングの到来を判定する処理を行うための信号処理部（後述する制御部４）等も設けられるが、情報処理装置１の構成については後に改めて説明する。
　図２を参照し、実施形態における対象物体ｏｂのピックアップタイミング到来判定手法の概要について説明する。
　図２において、図２Ａ、図２Ｂ、図２Ｃの上段では、ロボットアーム１０が水平方向に移動して対象物体ｏｂに徐々に近づいてく様子を模式的に示している。ここでは、対象物体ｏｂとして、ロボットアーム１０から見て手前側の対象物体ｏｂと奥側の対象物体ｏｂの二つ対象物体ｏｂが並んで配置されている場合を想定している。
　ここで言う「手前側」「奥側」は、ロボットアーム１０の移動方向を基準としたものであり、具体的に「手前側」とはロボットアーム１０の移動方向とは逆方向側、「奥側」とはロボットアーム１０の移動方向と同方向側をそれぞれ意味している。
　また、図２Ａ、図２Ｂ、図２Ｃにおいて、それぞれの下段には、上段の状態に対応してＥＶＳ２のセンシング範囲Ａｓ内に捉えられる対象物体ｏｂの様子を模式的に示している。
　この下段を参照して分かるように、図２Ａは、センシング範囲Ａｓ内に手前側の対象物体ｏｂにおける手前側の端辺部のみが捉えられた状態、図２Ｂはセンシング範囲Ａｓ内に手前側の対象物体ｏｂの全体と奥側の対象物体ｏｂにおける手前側の端辺部のみが捉えられた状態、図２Ｃはセンシング範囲Ａｓ内に手前側の対象物体ｏｂの全体と奥側の対象物体ｏｂの全体が捉えられた状態を示すものである。
　本例のピックアップタイミング到来判定では、ＥＶＳ２のセンシング範囲Ａｓに対し、予め、ピックアップタイミングに対応した目標位置Ｐｔが定められる。この目標位置Ｐｔは、ハンド部１０ａの中央位置をセンシング範囲Ａｓ内に投影したものである。ＥＶＳ２の光軸からハンド部１０ａの中央位置までの離間距離は既知であるため、該離間距離に基づき、センシング範囲Ａｓにおけるハンド部１０ａの中央位置を求めることができる。このように求めたセンシング範囲Ａｓにおけるハンド部１０ａの中央位置を、目標位置Ｐｔとして予め定めておく。
　ここで、ＥＶＳ２のセンシング範囲は、ＥＶＳ２の有効画素範囲に基づき定まるものである。このため、目標位置Ｐｔとしては、ＥＶＳ２の画素座標系（画素位置を示す座標系）における位置として定められている。
　本例のピックアップタイミング到来判定では、センシング範囲Ａｓ内に捉えられた対象物体ｏｂの中央位置と、目標位置Ｐｔとの位置関係に基づいて、対象物体ｏｂのピックアップタイミングを判定する。具体的には、図２Ｃの下段に示すように、センシング範囲Ａｓ内に捉えられた対象物体ｏｂの中央位置が、目標位置Ｐｔと一致するタイミングを、ピックアップタイミングとして判定する。
　なお、目標位置Ｐｔをハンド部１０ａの中央位置を基準として定めることはあくまでも一例である。例えば、ハンド部１０ａにおいて、吸着部の中央位置がハンド部１０ａの中央位置からオフセットしている場合には、吸着部の中央位置を基準として目標位置Ｐｔを定めることが考えられる。
　目標位置Ｐｔをハンド部１０ａの何れの位置を基準として定めるかについては実際の実施形態に応じて適宜変更可能なものであり、特定の位置を基準とすることに限定されるものではない。
＜２．情報処理装置、イベントセンサの構成＞
　図３は、情報処理装置１の内部構成例を説明するための図であり、情報処理装置１の内部構成例と共に図１に示したアーム制御装置１１を併せて示している。
　図示のように情報処理装置１は、ＥＶＳ２、メモリ３、及び制御部４を備えている。
　図４から図６を参照し、ＥＶＳ２の構成について説明する。
　図４は、ＥＶＳ２の内部構成例を示した図である。
　図示のようにＥＶＳ２は、複数の画素２０が二次元配列された画素アレイ部２１と、Ｘアービタ２２及びＹアービタ２３と、イベント処理回路２４と、出力Ｉ／Ｆ（インタフェース）とを備えている。
　画素アレイ部２１において、画素２０は、行方向（図中、横方向：Ｘ方向）と列方向（図中、縦方向：Ｙ方向）にそれぞれ複数配列されている。
　各画素２０は、受光素子を有し、受光量の所定量以上の変化であるイベントを検出可能に構成されている。
　本例において、各画素２０は、イベントとして、受光量の所定量以上の増大側変化である「正極性イベント」と、受光量の所定量以上の減少側変化である「負極性イベント」とを検出可能に構成されている。
　各画素２０は、正極性イベント、負極性イベントを問わず、イベントを検出した場合には、自身からのイベント信号の読み出し（出力）を要求するための要求信号をＸアービタ２２及びＹアービタ２３に出力する。図示のようにＸアービタ２２に対する要求信号を「要求信号Ｘｒｑ」、Ｙアービタ２３に対する要求信号を「要求信号Ｙｒｑ」とする。
　そして、各画素２０は、上記の要求信号Ｘｒｑ、Ｙｒｑに応じたＸアービタ２２、Ｙアービタ２３による調停に従って、イベント信号の出力を行う。具体的に、各画素２０は、Ｘアービタ２２が要求信号Ｘｒｑの応答（ＡＣＫ）として出力する応答信号Ｘａｃと、Ｙアービタ２３が要求信号Ｙｒｑの応答として出力する応答信号Ｙａｃとを受信したことに応じて、正極性イベントの検出結果を示す信号である正極側イベント信号Ｉｐと、負極性イベントの検出結果を示す信号である負極側イベント信号Ｉｍとを、イベント処理回路２４に対して出力する。
　Ｘアービタ２２、Ｙアービタ２３は、各画素２０からの要求信号（上記した要求信号Ｘｒｑ、Ｙｒｑ）を調停し、その調停結果（イベント信号の出力の許可／不許可）に基づく応答を、上記した応答信号（Ｘａｃ、Ｙａｃ）として、要求信号の出力元の画素２０に送信する。
　イベント処理回路２４は、画素２０から入力されたイベント信号（本例では正極側イベント信号Ｉｐ、負極側イベント信号Ｉｍ）に基づき、該画素２０についてのイベントデータを生成する。
　このイベントデータとしては、イベントを検出した画素の位置情報（画素座標系におけるアドレス情報：以下「イベント発生画素の位置情報」と表記）と、イベントの検出時刻を示す「検出時刻情報」とを少なくとも含むデータを生成する。本例では、イベントとして正極性イベントと負極性イベントとを検出可能とされているため、これに対応すべく、イベントデータとしては、上記したイベント発生画素の位置情報及び検出時刻情報と共に、検出されたイベントの種別（正極性イベント／負極性イベントの別）を示す情報である「イベント種別情報」を含むデータを生成する。
　出力Ｉ／Ｆ２５は、イベント処理回路２４から行単位で出力されたイベントデータを順次、ＥＶＳ２の外部、具体的に本例では図３に示したメモリ３に出力する。
　図５は、画素２０の回路構成例を示した図である。
　図示のように画素２０は、受光素子としてのフォトダイオードＰＤと、対数変換部３１と、バッファ３２と、イベント検出回路３３と、出力制御・リセット回路３６とを備えている。
　画素２０において、フォトダイオードＰＤに蓄積された電荷は、対数変換部３１に転送される。対数変換部３１は、フォトダイオードＰＤにより得られる光電流（受光量に応じた電流）を、その対数の電圧信号に変換する。
　バッファ３２は、対数変換部３１より入力した電圧信号を補正してイベント検出回路３３に出力する。
　図示のように対数変換部３１は、トランジスタＱ１、トランジスタＱ２、及びトランジスタＱ３を備えている。
　ここで、本例において、画素２０が備える各種のトランジスタＱには、ＭＯＳＦＥＴ（metal-oxide-semiconductor field-effect transistor）が用いられている。
　対数変換部３１において、トランジスタＱ１及びトランジスタＱ３はＮ型のトランジスタとされ、トランジスタＱ２はＰ型トランジスタとされる。
　トランジスタＱ１のソースはフォトダイオードＰＤのカソードに接続され、ドレインは電源端子（基準電位ＶＤＤ）に接続される。トランジスタＱ２及びトランジスタＱ３は、電源端子と接地端子との間において直列に接続されている。また、トランジスタＱ２とトランジスタＱ３の接続点は、トランジスタＱ１のゲートとバッファ３２の入力端子（後述するトランジスタＱ５のゲート）とに接続される。また、トランジスタＱ２のゲートには、所定のバイアス電圧Ｖｂｉａｓが印加される。
　トランジスタＱ１及びトランジスタＱ３のドレインは電源側（基準電位ＶＤＤ）に接続されており、ソースフォロワ回路が形成されている。これらのループ状に接続された二つのソースフォロワにより、フォトダイオードＰＤからの光電流は、その対数の電圧信号に変換される。また、トランジスタＱ２は、一定の電流をトランジスタＱ３に供給する。
　バッファ３２は、それぞれＰ型のトランジスタとされたトランジスタＱ４とトランジスタＱ５とを備え、これらトランジスタＱ４、Ｑ５が電源端子と接地端子との間において直列に接続されて構成されている。
　トランジスタＱ４とトランジスタＱ５の接続点がバッファ３２の出力端子とされ、該出力端子より補正後の電圧信号が受光信号としてイベント検出回路３３に出力される。
　イベント検出回路３３は、過去における受光信号のレベルを基準レベルＬｒｅｆとして、現在における受光信号のレベルとの差分を求めることで、受光量の変化をイベントとして検出する。具体的に、イベント検出回路３３は、基準レベルＬｒｅｆと現在における受光信号のレベルとの差分を表す差分信号のレベル（絶対値）が所定の閾値以上であるか否かにより、イベントの有無を検出する。
　本例のイベント検出回路３３は、正極性イベント、すなわち基準レベルＬｒｅｆとの差分がプラスとなるイベントと、負極性イベント、つまり基準レベルＬｒｅｆとの差分がマイナスとなるイベントとを検出し分けることが可能に構成されている。
　イベント検出回路３３は、正極性イベントの検出結果を示す出力電圧として正極側出力電圧Ｖｏｐを、また、負極性イベントの検出結果を示す出力電圧として負極側出力電圧Ｖｏｍをそれぞれ生成する。
　ここで、イベント検出回路３３は、後述するリセット信号ＲＳＴに基づき、基準レベルＬｒｅｆを現在における受光信号のレベルにリセットする。
　このような基準レベルＬｒｅｆのリセットを行うことで、該リセットを行った時点からの受光信号レベルの変化に基づき、新たなイベント検出を行うことが可能となる。すなわち、基準レベルＬｒｅｆのリセットは、イベント検出回路３３を新たなイベント検出が可能な状態に戻すことと等価である。
　イベント検出回路３３は、減算器３４と量子化器３５とを備えている。
　減算器３４は、リセット信号ＲＳＴに従って、バッファ３２からの受光信号（電圧信号）のレベルを低下させ、低下後の受光信号を量子化器３５に出力する。
　量子化器３５は、減算器３４からの受光信号を量子化し、量子化結果を示す出力電圧を得る。具体的に本例では、正極側出力電圧Ｖｏｐ、及び負極側出力電圧Ｖｏｍを得る。
　減算器３４は、コンデンサＣ１及びコンデンサＣ２と、トランジスタＱ７及びトランジスタＱ８と、リセットスイッチＳＷｒとを備えている。トランジスタＱ７はＰ型トランジスタ、トランジスタＱ８はＮ型トランジスタとされる。
　トランジスタＱ７及びトランジスタＱ８は、電源端子と接地端子との間において直列に接続され、インバータを構成している。具体的に、トランジスタＱ７は、ソースが電源端子に接続され、ドレインがトランジスタＱ８のドレインに接続されており、トランジスタＱ８は、ソースが接地端子に接続されている。なお、トランジスタＱ８のゲートには電圧Ｖｂｄｉｆが印加されている。
　コンデンサＣ１は、一端がバッファ３２の出力端子に接続され、他端がトランジスタＱ７のゲート（インバータの入力端子）に接続される。コンデンサＣ２は、一端がコンデンサＣ１の他端と接続され、他端がトランジスタＱ７とトランジスタＱ８の接続点に接続されている。
　リセットスイッチＳＷｒは、一端がコンデンサＣ１とコンデンサＣ２との接続点に接続され、他端がトランジスタＱ７とトランジスタＱ８の接続点とコンデンサＣ２との接続点に接続され、コンデンサＣ２に対して並列接続されている。リセットスイッチＳＷｒは、リセット信号ＲＳＴに従ってＯＮ／ＯＦＦされるスイッチである。
　トランジスタＱ７及びトランジスタＱ８によるインバータは、コンデンサＣ１を介して入力された受光信号を反転して量子化器３５に出力する。
　ここで、減算器３４において、或る時点でコンデンサＣ１のバッファ３２側に生じている電位を電位Ｖｉｎｉｔとする。そして、このとき、リセットスイッチＳＷｒがＯＮされたとする。リセットスイッチＳＷｒがＯＮの場合、コンデンサＣ１のバッファ３２とは逆側は仮想接地端子となる。この仮想接地端子の電位を便宜上、ゼロとする。このとき、コンデンサＣ１に蓄積されている電荷ＣＨｉｎｉｔは、コンデンサＣ１の容量をＣｐ１とすると、次の［式１］により表される。

　　ＣＨｉｎｉｔ＝Ｃｐ１×Ｖｉｎｉｔ ・・・［式１］

　また、リセットスイッチＳＷｒがＯＮのとき、コンデンサＣ２の両端は短絡されているため、その蓄積電荷はゼロとなる。
　次いで、リセットスイッチＳＷｒがＯＦＦされたとする。受光量の変化が生じていれば、コンデンサＣ１のバッファ３２側の電位は上記したＶｉｎｉｔから変化している。変化後の該電位をＶａｆｔｅｒとすると、コンデンサＣ１に蓄積される電荷ＣＨａｆｔｅｒは、次の［式２］により表される。

　　ＣＨａｆｔｅｒ＝Ｃｐ１×Ｖａｆｔｅｒ ・・・［式２］
　一方、コンデンサＣ２に蓄積される電荷ＣＨ２は、コンデンサＣ２の容量をＣｐ２、減算器３４の出力電圧をＶｏｕｔとすると、次の［式３］により表される。

　　ＣＨ２＝－Ｃｐ２×Ｖｏｕｔ ・・・［式３］
　このとき、コンデンサＣ１及びＣ２の総電荷量は変化しないため、次の［式４］が成立する。

　　ＣＨｉｎｉｔ＝ＣＨａｆｔｅｒ＋ＣＨ２ ・・・［式４］
　［式４］に［式１］から［式３］を代入して変形すると、次の［式５］が得られる。

　　Ｖｏｕｔ＝－（Ｃｐ１／Ｃｐ２）×（Ｖａｆｔｅｒ－Ｖｉｎｉｔ） ・・・［式５］

　［式５］は、電圧信号の減算動作を表し、減算結果の利得はＣｐ１／Ｃｐ２となる。
　この［式５］より、減算器３４は、過去における受光信号のレベル（Ｖｉｎｉｔ）と現在の受光信号のレベル（Ｖａｆｔｅｒ）との差分を表す信号を出力することが分かる。
　ここで、電位Ｖｉｎｉｔは、上述した基準レベルＬｒｅｆに相当するものである。上記説明より、この電位Ｖｉｎｉｔ、つまり基準レベルＬｒｅｆは、リセットスイッチＳＷｒがＯＮされることで、現在の受光信号のレベル、換言すればリセットスイッチＳＷｒのＯＮ時点における受光信号のレベルにリセットされることになる。
　量子化器３５は、トランジスタＱ９、トランジスタＱ１０、トランジスタＱ１１、及びトランジスタＱ１２を備え、１．５ｂｉｔ量子化器として構成されている。
　トランジスタＱ９、Ｑ１１はＰ型トランジスタとされ、トランジスタＱ１０、Ｑ１２はＮ型トランジスタとされる。
　図示のようにトランジスタＱ９とトランジスタＱ１０、及びトランジスタＱ１１とトランジスタＱ１２は、それぞれ電源端子と接地端子との間において直列に接続されており、トランジスタＱ９、Ｑ１１の各ゲートには減算器３４の出力電圧（Ｖｏｕｔ）が入力される。また、トランジスタＱ１０のゲートには電圧Ｖｈｉｇｈが、トランジスタＱ１２のゲートには電圧Ｖｌｏｗがそれぞれ印加されている。
　トランジスタＱ９とトランジスタＱ１０の接続点には、正極性イベントの検出結果を示す正極側出力電圧Ｖｏｐが得られ、トランジスタＱ１１とトランジスタＱ１２の接続点には負極性イベントの検出結果を示す負極側出力電圧Ｖｏｍが得られる。
　具体的に、トランジスタＱ９、Ｑ１０側において、減算器３４の出力電圧（Ｖａｆｔｅｒ－Ｖｉｎｉｔ）のレベルが電圧Ｖｈｉｇｈに応じたプラス側の閾値以上である場合には、トランジスタＱ９とトランジスタＱ１０の接続点にＨレベルによる正極側出力電圧Ｖｏｐが得られ、また、減算器３４の出力電圧のレベルが該プラス側の閾値未満である場合にはＬレベルによる正極側出力電圧Ｖｏｐが得られる。すなわち、トランジスタＱ９とトランジスタＱ１０の接続点には、受光量が増加方向に所定の閾値以上変化したか否かを表す信号、すなわち、正極性イベントの検出結果を示す正極側出力電圧Ｖｏｐが得られる。
　また、トランジスタＱ１１、Ｑ１２側において、減算器３４の出力電圧のレベルが電圧Ｖｌｏｗに応じたマイナス側の閾値以下である場合には、トランジスタＱ１１とトランジスタＱ１２の接続点にＨレベルによる負極側出力電圧Ｖｏｍが得られ、また、減算器３４の出力電圧のレベルが該マイナス側の閾値より大きい場合にはＬレベルによる負極側出力電圧Ｖｏｍが得られる。このように、トランジスタＱ１１とトランジスタＱ１２の接続点には、受光量が減少方向に所定の閾値以上変化したか否かを表す信号、すなわち、負極性イベントの検出結果を示す負極側出力電圧Ｖｏｍが得られる。
　出力制御・リセット回路３６は、前述したＸアービタ２２、Ｙアービタ２３に対する要求信号Ｘｒｑ、Ｙｒｑの出力や応答信号Ｘａｃ、Ｙａｃに応じた正極側イベント信号Ｉｐ、負極側イベント信号Ｉｍの出力、及び、リセットスイッチＳＷｒに対するリセット信号ＲＳＴの出力を行う。
　図６は、出力制御・リセット回路３６の内部構成例を説明するための図であり、出力制御・リセット回路３６の内部構成例と共にイベント検出回路３３を併せて示している。
　出力制御・リセット回路３６は、正極側メモリ３７ｐ、負極側メモリ３７ｍ、出力回路３８、ＯＲ回路３９、及び遅延器４０を備える。
　イベント検出回路３３からの正極側出力電圧Ｖｏｐは、正極側出力電圧Ｖｏｐに保持されると共に、ＯＲ回路３９に入力される。また、イベント検出回路３３からの負極側出力電圧Ｖｏｍは負極側メモリ３７ｍに保持されると共にＯＲ回路３９に入力される。
　ここで、正極側メモリ３７ｐ、負極側メモリ３７ｍは、入力された正極側出力電圧Ｖｏｐ、負極側出力電圧Ｖｏｍの電圧レベルに応じた値（デジタル値）を保持する。具体的に本例では、正極側出力電圧Ｖｏｐ、負極側出力電圧Ｖｏｍの電圧レベルがＨレベルであれば「１」を、Ｌレベルであれば「０」を保持する。
　ＯＲ回路３９は、入力された正極側出力電圧Ｖｏｐ、負極側出力電圧Ｖｏｍのうち少なくとも何れかがＨレベルである場合はＨレベルによる信号を出力し、双方がＬレベルである場合にはＬレベルによる信号を出力する。つまり、ＯＲ回路３９は、正極性イベント、負極性イベントの何れかが検出されたことに応じて出力信号をＨレベルとし、何れのイベントも検出されていない場合には出力信号をＬレベルとする。
　このようなＯＲ回路３９による出力信号が、前述した要求信号Ｘｒｑ、ＹｒｑとしてそれぞれＸアービタ２２、Ｙアービタ２３に送信される。
　出力回路３８は、Ｘアービタ２２からの応答信号Ｘａｃ、Ｙアービタ２３からの応答信号Ｙａｃの双方が入力されたことに応じて、正極側メモリ３７ｐに保持された値、負極側メモリ３７ｍに保持された値をそれぞれ正極側イベント信号Ｉｐ、負極側イベント信号Ｉｍとしてイベント処理回路２４に出力する。
　正極性イベントが検出された場合には、正極側イベント信号Ｉｐとして「１」が、負極側イベント信号Ｉｍとして「０」が出力され、イベント処理回路２４では該当する画素２０において正極性イベントが検出されたことを特定可能となる。一方で、負極性イベントが検出された場合には、正極側イベント信号Ｉｐとして「０」が、負極側イベント信号Ｉｍとして「１」が出力され、イベント処理回路２４では該当する画素２０において負極性イベントが検出されたことを特定可能となる。
　遅延器４０は、ＯＲ回路３９による出力信号を遅延してリセット信号ＲＳＴとしてイベント検出回路３３（リセットスイッチＳＷｒ）に出力する。これにより、正極性イベント、負極性イベントの何れかが検出されたことに応じて、前述した基準レベルＬｒｅｆがリセットされ、イベント検出回路３３が新たなイベント検出が可能な状態にリセットされる。
　なお、遅延器４０の遅延時間としては、正極側出力電圧Ｖｏｐ、負極側出力電圧ＶｏｍがＨレベル又はＬレベルに変化した際に、変化後の正極側出力電圧Ｖｏｐ、負極側出力電圧Ｖｏｍが正極側メモリ３７ｐ、負極側メモリ３７ｍに保持されるまでに要する時間以上の時間を少なくとも設定すればよい。これにより、イベントの検出漏れ防止を図ることができる。
　上記により説明したように、ＥＶＳ２は、正極性イベント、負極性イベントとしてのイベントを検出した画素２０についてのイベントデータ、すなわちイベント発生画素の位置情報と、イベントの検出時刻を示す検出時刻情報と、正極性イベント／負極性イベントの別を示すイベント種別情報とを含むデータを出力するように構成されている。
　図３において、ＥＶＳ２により出力されたイベントデータは、メモリ３に記憶される。このようにメモリ３に記憶されたイベントデータは、制御部４により参照可能とされる。
　制御部４は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）等を備えたマイクロコンピュータを有して構成され、ＣＰＵが例えばＲＯＭに記憶されたプログラムやＲＡＭにロードされたプログラムに従った処理を実行することで、情報処理装置１の各種機能を実現する。
　特に、制御部４は、メモリ３に記憶されたイベントデータに基づき、ＥＶＳ２のセンシング範囲内に捉えられた対象物体ｏｂのエッジ位置を推定する処理や、推定したエッジ位置に基づき対象物体ｏｂのピックアップタイミングの到来を判定する処理を行う。また、制御部４は、ピックアップタイミングが到来したと判定したことに応じて、アーム制御装置１１に対して対象物体ｏｂのピックアップ指示を行う。すなわち、アーム制御装置１１に対して、ロボットアーム１０に対象物体ｏｂのピックアップ動作を実行させる制御の開始指示を行うものである。
＜３．実施形態としてのピックアップタイミング到来判定手法＞
　前述したように、ハンドアイ方式のロボットアームについて、対象物体ｏｂのセンシングにＲＧＢセンサ等のイメージセンサを用いた場合には、対象物体がセンシング範囲内で変位する下で撮像を行う関係から、対象物体ｏｂのエッジ位置検出が困難な画像が撮像されてしまうことがあり、対象物体ｏｂのピックアップタイミングを正確に判定することが困難となる。
　そこで、本実施形態では、イベントセンサとしてのＥＶＳ２により検出されたイベントデータに基づき、対象物体ｏｂのエッジ位置を推定し、該エッジ位置に基づいてピックアップタイミングの到来判定を行うという手法を採る。
　以下、具体的な手法について図７から図１０を参照して説明する。
　図７は、情報処理装置１における制御部４が有する実施形態としての機能を示した機能ブロック図である。
　図示のように制御部４は、移動軌跡推定部Ｆ１、エッジ位置推定部Ｆ２、及びタイミング判定部Ｆ３を有する。
　移動軌跡推定部Ｆ１は、ＥＶＳ２が基準時点以前の過去期間内に検出したイベント発生画素の位置情報に基づき、対象物体ｏｂのエッジ位置の移動軌跡を推定する。具体的には、対象物体ｏｂがＥＶＳ２のセンシング範囲Ａｓ内で変位するようにＥＶＳ２と対象物体ｏｂとの位置関係が変化している下でＥＶＳ２が基準時点以前の過去期間内に検出したイベント発生画素の位置情報に基づき、対象物体ｏｂのエッジ位置の移動軌跡を推定する。
　図８は、対象物体ｏｂがセンシング範囲Ａｓ内で変位するようにＥＶＳ２と対象物体ｏｂとの位置関係が変化している下でＥＶＳ２が或る期間内に検出したイベントデータを模式的に表している。具体的に、図８では、対象物体ｏｂがセンシング範囲Ａｓ内で変位するようにＥＶＳ２と対象物体ｏｂとの位置関係が変化している下で、ＥＶＳ２が或る期間内に検出したイベントデータを時間方向（図中、時間ｔの軸方向）に並べて示している。なお、ここでは図示の都合から、一つ目の対象物体ｏｂについて検出されるイベントデータのみを表している。
　ここで、図中に表すように、センシング範囲Ａｓは、ＥＶＳ２（画素アレイ部２１）における行方向をＸ、列方向をＹとしたときに、Ｘ－Ｙ平面の範囲として表現できるものである。
　ＥＶＳ２は、受光量の所定量以上の変化をイベントとして検出することから、対象物体ｏｂのエッジ位置に反応してイベントを検出することになる。そして、ここではセンシング範囲Ａｓ内で対象物体ｏｂが変位していくことを前提としているため、図示のようにイベントの検出位置は、時間経過と共に対象物体ｏｂの変位方向と同方向に変化していく。
　具体的に、図中では、黒丸により対象物体ｏｂの手前側エッジに反応して検出された正極性イベントのイベントデータを、白丸により対象物体ｏｂの奥側エッジに反応して検出された負極性イベントのイベントデータを示しているが、これら何れのイベントも、その検出位置は、時間経過と共に対象物体ｏｂの変位方向と同方向に変化していく。
　ここで、手前側エッジは、対象物体ｏｂの変位方向における二つのエッジのうちセンシング範囲Ａｓに先行して捉えられるエッジ、奥側エッジは手前側エッジの後にセンシング範囲Ａｓに捉えられるエッジと言うことができる。このため、奥側エッジのイベント（負極性イベント）は、手前側エッジのイベント（正極性イベント）に遅れて検出され始めることになる。
　上述のように移動軌跡推定部Ｆ１は、ＥＶＳ２が基準時点以前の過去期間内に検出したイベント発生画素の位置情報に基づき、対象物体ｏｂのエッジ位置の移動軌跡を推定する。具体的に、本例における移動軌跡推定部Ｆ１は、処理サイクルにおける各処理時点で、過去期間内に検出されたイベント発生画素の位置情報に基づいて対象物体ｏｂのエッジ位置の移動軌跡を推定する。これは、処理サイクルにおける各処理時点ごと（つまり現在時刻ごと）に、過去期間内に検出されたイベント発生画素の位置情報に基づき移動軌跡を推定するものと換言できる。
　図９は、実施形態におけるエッジ位置移動軌跡の推定手法について説明するための図である。
　ここでは、説明上、ＥＶＳ２が過去期間内に検出したイベントデータをＹ軸とｔ軸とで定まる二次元平面上にプロットして示している。
　図示のように手前側エッジの移動軌跡、奥側エッジの移動軌跡の何れについても、移動軌跡は、過去期間内に検出された複数のイベントデータに基づき、一次関数をフィッティングすることで推定できる。このフィッティングは、過去期間内に検出された複数のイベントデータについて、最小二乗法を用いたフィッティングとして行うことが考えられる。
　本例において、このようなエッジ位置移動軌跡の推定は、処理サイクルにおける各処理時点で行われる。このように各処理時点でエッジ位置移動軌跡が推定されることで、各処理時点では、推定されたエッジ位置移動軌跡上における現在時刻との交点を求めることにより、その処理時点でのエッジ位置を推定することができる（図中、二重丸マークを参照）。
　エッジ位置推定部Ｆ２（図７）は、上記のように処理時点ごとに推定されるエッジ位置移動軌跡に基づいて、処理時点ごとに、エッジ位置移動軌跡上における現在時刻との交点を求めて、その処理時点でのエッジ位置を推定する。これは、基準時点におけるエッジ位置としての、基準時エッジを推定するものであると表現することができる。
　タイミング判定部Ｆ３は、エッジ位置推定部Ｆ２が推定した基準時エッジ位置と、ＥＶＳ２の画素座標系に定められた目標位置Ｐｔとの位置関係に基づき、対象物体ｏｂのピックアップタイミングの到来判定を行う。
　具体的に、本例におけるタイミング判定部Ｆ３は、図９に示すように、現在時刻（現在の処理時点）において、推定された手前側エッジのエッジ位置と奥側エッジのエッジ位置との間の中央位置を求める（図中、黒四角マークを参照）。そして、この中央位置が目標位置Ｐｔに達したか否かの判定を、ピックアップタイミングの到来判定として行う。
　図９では、現在時刻において中央位置が目標位置Ｐｔに未だ達していない状態を例示しているが、将来的には、図中に示す目標位置Ｐｔと中央位置の延長線とが交わるタイミングで、ピックアップタイミングが到来したとの判定結果が得られるものとなる。
　ここで、本例におけるエッジ位置移動軌跡の推定手法の具体例を図１０を参照して説明する。
　本例において、エッジ位置移動軌跡の推定にあたっては、対象物体ｏｂの端辺に相当する線分Ｌｓを推定する。つまり、本例における移動軌跡推定部Ｆ１は、各処理時点において、メモリ３に記憶された最新のイベントデータ（前回の処理時点から新たに記憶されたイベントデータ）に基づいて、線分Ｌｓの推定を行う。対象物体ｏｂがセンシング範囲Ａｓ内で変位する下では、対象物体ｏｂの端辺に反応したイベントが順次、新たな位置に検出される。このように新たに検出される端辺のイベントデータに基づいて、該端辺に相当する線分Ｌｓを推定するものである。
　具体的にこの場合、線分Ｌｓについては、対象物体ｏｂの手前側端辺と奥側端辺の双方について推定する。手前側端辺に相当する線分Ｌｓについては、新たに検出された正極性イベントのイベントデータに基づき推定することができる。また、奥側端辺に相当する線分Ｌｓについては、新たに検出された負極性イベントのイベントデータに基づき推定することができる。
　ここで以下、手前側端辺に相当する線分Ｌｓのことを「手前側エッジ線分」、奥側端辺に相当する線分Ｌｓのことを「奥側エッジ線分」と表記する。
　本例における移動軌跡推定部Ｆ１は、各処理時点において、上記のように手前側エッジ線分と奥側エッジ線分とを推定すると共に、推定した手前側エッジ線分と奥側エッジ線分の情報をメモリ３に記憶させる。
　そして、各処理時点では、過去期間内に推定した複数の手前側エッジ線分、複数の奥側エッジ線分の情報に基づき、それぞれ、手前側エッジ線分の移動軌跡、奥側エッジ線分の移動軌跡を推定する。
なお、図１０では、一つ目の対象物体ｏｂのみについて、手前側エッジ線分の移動軌跡と奥側エッジ線分の移動軌跡とを表している。
　ここで、図１０を参照して分かるようにエッジ線分の移動軌跡は帯状で表されるものとなるため、傾きとしては、Ｙ－ｔ平面での傾き（図９で表す傾きを参照）のみでなく、Ｘ－Ｙ平面での傾きも推定すべきものである。従って、この場合における移動軌跡推定部Ｆ１は、過去期間内に推定したエッジ線分に基づき、Ｙ－ｔ平面での傾きを示す一次関数のみでなく、Ｘ－Ｙ平面での傾きを示す一次関数のフィッティングを行って、エッジ線分の移動軌跡を推定する。
　本例におけるエッジ位置推定部Ｆ２は、移動軌跡推定部Ｆ１が上記のように推定した手前側エッジ線分の移動軌跡、奥側エッジ線分の移動軌跡に基づき、対象物体ｏｂの手前側エッジ位置、奥側エッジ位置をそれぞれ推定する。具体的には、手前側エッジ線分の移動軌跡と現在時刻との交線を手前側エッジ位置、奥側エッジ線分の移動軌跡と現在時刻途の交線を奥側エッジ位置としてそれぞれ推定する。
　そして、タイミング判定部Ｆ３は、推定された手前側エッジのエッジ位置と奥側エッジのエッジ位置との間の中央位置を求め、この中央位置が目標位置Ｐｔに達したか否かの判定をピックアップタイミングの到来判定として行う。
＜４．処理手順＞
　図１１は、上記により説明した実施形態としてのピックアップタイミング到来判定手法を実現するための具体的な処理手順例を示したフローチャートである。
　この図１１に示す処理は、情報処理装置１の制御部４が、前述したＲＯＭ等の所定の記憶装置に記憶されたプログラムに基づき実行する。
　制御部４はステップＳ１０１で、メモリ３に記憶された最新のイベントデータに基づき、エッジ線分を推定する。すなわち、メモリ３に記憶された最新の正極性イベントのイベントデータに基づき手前側エッジ線分を推定し、また、メモリ３に記憶された最新の負極性イベントのイベントデータに基づき奥側エッジ線分を推定する。ここで、対象物体ｏｂがセンシング範囲Ａｓ内に捉えられていない状態では、該対象物体ｏｂについてのイベントは検出されない。また、対象物体ｏｂの手前側端辺と奥側端辺のうち手前側端辺のみがセンシング範囲Ａｓ内に捉えられている状態もあり、その場合には、手前側端辺についての正極性イベントが検出されるが奥側端辺についての負極性イベントは検出されないものとなる。ステップＳ１０１の処理において制御部４は、手前側端辺と奥側端辺のうち、対応するイベントが検出されている端辺について、エッジ線分の推定を行う。
　ステップＳ１０１に続くステップＳ１０２で制御部４は、推定したエッジ線分をメモリ３に記憶する処理を行う。
　そして、ステップＳ１０２に続くステップＳ１０３で制御部４は、メモリ３に記憶された過去期間内のエッジ線分に基づき、エッジ線分の移動軌跡を推定する。ここで、先の説明から理解されるように、エッジ線分の移動軌跡推定には、所定複数個のエッジ線分を要する。ステップＳ１０３の処理において制御部４は、メモリ３において所定複数個以上の手前側エッジ線分が記憶されていれば、所定複数個の手前側エッジ線分に基づいて手前側エッジ線分の移動軌跡を推定し、また、メモリ３において所定複数個以上の奥側エッジ線分が記憶されていれば所定複数個の奥側エッジ線分に基づいて奥側エッジ線分の移動軌跡を推定する。
　ステップＳ１０３に続くステップＳ１０４で制御部４は、両端辺のエッジ線分移動軌跡が推定されているか否かを判定する。すなわち、手前側エッジ線分と奥側エッジ線分双方の移動軌跡が推定されているか否かを判定する。
　ステップＳ１０４において、何れの端辺のエッジ線分移動軌跡も推定されてない、又は手前側エッジ線分の移動軌跡のみが推定されており、判定結果として否定結果が得られた場合、制御部４はステップＳ１０１に戻る。これにより、両端辺のエッジ線分移動軌跡が推定される状態となるまで、ステップＳ１０１からＳ１０３の処理が繰り替えされる。
　一方ステップＳ１０４において、手前側エッジ線分と奥側エッジ線分双方の移動軌跡が推定され、両端辺のエッジ線分移動軌跡が推定されているとの肯定結果が得られた場合、制御部４はステップＳ１０５に進み、端辺ごとに、エッジ線分移動軌跡と現在時刻との交線を現エッジ位置として推定する。すなわち、手前側エッジ線分の移動軌跡と現在時刻との交線を手前側エッジの現エッジ位置として、また奥側エッジ線分の移動軌跡と現在時刻との交線を奥側エッジの現エッジ位置としてそれぞれ推定する。
　ステップＳ１０５に続くステップＳ１０６で制御部４は、両端辺の現エッジ位置間の中央位置を算出する。すなわち、ステップＳ１０５で推定した手前側エッジと奥側エッジの現エッジ位置間の中央位置を算出する。
　ステップＳ１０６に続くステップＳ１０７で制御部４は、中央位置が目標位置Ｐｔに達したか否かを判定する。これは、対象物体ｏｂのピックアップタイミング到来判定に相当する。
　ステップＳ１０７において、中央位置が目標位置Ｐｔに達してはいないと判定した場合、制御部４はステップＳ１０１に戻る。これにより、ピックアップタイミングの到来までの間、対象物体ｏｂの中央位置の推定が繰り返される。
　一方ステップＳ１０７において、中央位置が目標位置Ｐｔに達したと判定した場合、制御部４はステップＳ１０８に進み、アーム制御装置１１にピックアップ指示を行う。すなわち、アーム制御装置１１に対して、ロボットアーム１０に対象物体ｏｂのピックアップ動作を実行させる制御の開始指示を行う。
　ステップＳ１０８の処理を実行したことに応じ、制御部４は図１１に示す一連の処理を終える。
　ここで、上記では、エッジ位置移動軌跡の推定をイベントデータのみに基づき行う例を挙げたが、エッジ位置移動軌跡の推定は、イベントデータのみでなく、ＥＶＳ２と対象物体ｏｂとの相対速度を示す情報を用いて行うこともできる。具体的に、本例のようにロボットアーム１０側のみを動かして対象物体ｏｂをピックアップする場合には、上記相対速度を示す情報として、ロボットアーム１０の移動速度を示す情報を用いる。
　エッジ位置移動軌跡の傾きを推定するにあたり、ＥＶＳ２と対象物体ｏｂとの相対速度を勘案することが可能となり、イベントの誤検出に対し移動軌跡の推定精度向上を図ることが可能となる。
　具体例としては、最小二乗法等でエッジ位置移動軌跡の傾きをフィッティングする際に、相対速度の情報を用いる。例えば、イベントデータのみから推定したエッジ位置移動軌跡の傾きと、相対速度から求まるエッジ位置移動軌跡の傾きとの差が大きい場合に、イベントデータのみから推定した移動軌跡の傾きが、相対速度から求まる移動軌跡の傾きに近づくように補正を行う等が考えられる。或いは、イベントデータのみから推定した移動軌跡の傾きが、相対速度から求まる移動軌跡の傾きを基準とした所定の傾き範囲を超えないように、移動軌跡の傾きにリミットをかける等も考えられる。
　また、上記では、ＥＶＳ２が正極性イベントと負極性イベントとを検出し分けることが可能に構成された場合に対応して、奥側エッジ線分の推定を、負極性イベントのイベントデータに基づいて行う例を挙げた。
　ここで、イベントセンサとしては、受光量変化の極性を問わず、受光量の所定量以上の変化をイベントとして検出するものも存在する。なお、以下ではそのようなイベントセンサを、便宜上「無極性イベントセンサ」と表記する。
　無極性イベントセンサが用いられる場合にも奥側エッジ線分の推定を可能とする手法として、以下のような手法を採ることが考えられる。
　すなわち、奥側エッジ線分の推定を、手前側エッジ線分の推定位置からの奥側方向への離間距離が所定距離範囲内となる画素領域内で検出されたイベントデータ（イベント発生画素の位置情報）に基づいて行う、というものである。
　手前側エッジ線分が推定できている状態において、対象物体ｏｂの上面視でのサイズが既知であり手前側端辺から奥側端辺までの距離が特定できている場合には、奥側エッジ線分は、手前側エッジ線分の推定位置からの奥側方向への離間距離が所定距離範囲内となる画素領域内に捉えられるものと予測できる。このため、上記のように、奥側エッジ線分の推定を、手前側エッジ線分の推定位置からの奥側方向への離間距離が所定距離範囲内となる画素領域内で検出されたイベント発生画素の位置情報に基づいて行う。
　これにより、奥側エッジ線分の推定は、奥側端辺に対応するイベントが検出されると予測される画素領域内で検出されたイベントデータに基づいて行うことが可能となり、奥側エッジ線分の推定精度向上を図ることができる。
　なお、このような手前側エッジ線分の推定位置からの離間距離に基づく奥側エッジ線分の推定手法は、ＥＶＳ２のように正極性イベントと負極性イベントとを検出し分けることができるイベントセンサが用いられる場合にも適用し得るものである。つまりその場合は、検出された負極性イベントのイベントデータのうち、手前側エッジ線分の推定位置からの奥側方向への離間距離が所定距離範囲内となる画素領域内で検出されたイベントデータに基づき、奥側エッジ線分の推定を行う。
＜５．変形例＞
　ここで、これまでに説明した具体例はあくまで一例であり、本技術は多様な変形例としての構成を採り得る。
　例えば、上記では、対象物体ｏｂがセンシング範囲Ａｓ内で変位する場合の例として、ロボットアーム１０の移動に伴い対象物体ｏｂがセンシング範囲Ａｓ内で変位する例を挙げたが、例えば図１２に例示するように、コンベア等の運搬手段により対象物体ｏｂが運搬されることで、対象物体ｏｂがセンシング範囲Ａｓ内で変位する場合もあり得る。
　また、このようにコンベア等により対象物体ｏｂを所定方向に運搬しつつ、ロボットアーム１０側も移動させるということもあり得る。具体的なケースとしては、コンベア等による対象物体ｏｂの移動方向とロボットアーム１０の移動方向とが同方向の場合、換言すれば、コンベア等で運搬される対象物体ｏｂをロボットアーム１０が追いかけてピックアップする場合と、コンベア等による対象物体ｏｂの移動方向とロボットアーム１０の移動方向とが逆方向の場合とがあり得る。
　そこで、この場合には、エッジ位置移動軌跡の推定において、コンベア等による対象物体ｏｂの移動方向と、ロボットアーム１０の移動方向の情報を用いることも考えられる。具体的には、先に述べた移動速度に基づくエッジ位置移動軌跡の推定を、コンベア等による対象物体の移動方向とロボットアーム１０の移動方向とを加味して行うことが考えられる。
　なお、エッジ位置移動軌跡の推定において移動方向の情報を用いることは、コンベア等で対象物体ｏｂを運搬しない場合においても行い得る。例えば、ロボットアーム１０の水平移動方向が固定されていない場合においては、エッジ位置移動軌跡の推定に、ロボットアーム１０の移動方向の情報を用いることが有効である。具体的には、ロボットアーム１０が対象物体ｏｂの手前側端辺や奥側端辺に直交する方向に移動するのではなく、該直交する方向に対して斜めとなる方向等にも移動可能とされる場合においては、エッジ位置移動軌跡の推定にロボットアーム１０の移動方向の情報を用いることが有効である。
　また、上記では特に言及しなかったが、イベントデータに基づき推定した対象物体ｏｂの中央位置と目標位置Ｐｔとの位置誤差を示す情報を、ロボットアーム１０の移動制御にフィードバックすることも考えられる。例えば、対象物体ｏｂの中央位置と目標位置Ｐｔとに誤差が認められる場合にはロボットアーム１０の移動を継続させるようにアーム制御装置１１に指示を出すということが考えられる。或いは、位置誤差がキャンセルされるように、ロボットアーム１０の移動量や移動方向を制御するということも考えられる。
　また、上記では、対象物体ｏｂの中央位置を推定するにあたり、対象物体ｏｂの手前側エッジ位置と奥側エッジ位置の双方をイベントデータに基づき推定するものとしたが、対象物体ｏｂの中央位置の推定にあたっては、少なくとも、手前側エッジ位置と奥側エッジ位置の何れか一方をイベントデータに基づき推定すればよい。対象物体ｏｂの上面視でのサイズが既知であれば、手前側エッジ位置又は奥側エッジ位置から中央位置までの距離も既知となるため、該距離の情報を用いて、手前側エッジ位置と奥側エッジ位置の何れか一方から中央位置を推定することが可能である。
　また、上記では、本技術に係るエッジ位置移動軌跡の推定、及びエッジ位置移動軌跡に基づくエッジ位置の推定を、対象物体ｏｂのピックアップタイミング到来判定に適用する例を挙げたが、これらエッジ位置移動軌跡の推定及びエッジ位置の推定の適用対象については、対象物体ｏｂのピックアップタイミング到来判定に限定されない。
　例えば、対象物体ｏｂへのラベリングやラッピング、印字等を行うタイミングの判定や、図１２の例のようにコンベアを用いる場合において、対象物体ｏｂをコンベア外へと押し出すタイミングの判定等にも本技術に係るエッジ位置移動軌跡の推定、及びエッジ位置の推定を適用することが可能である。
　また、上記では、イベントデータに基づき推定した対象物体ｏｂのエッジ位置に基づいて、対象物体ｏｂの中央位置を推定する場合を例示したが、イベントデータに基づき推定した対象物体ｏｂのエッジ位置に基づいて推定する対象物体ｏｂの位置は、中央位置に限定されない。例えば、上記したラベリングや印字等の用途では、対象物体ｏｂにおけるラベリングや印字を行うべき位置を推定すればよく、推定対象とする位置は中央位置に限定されない。
　また、上記では、対象物体ｏｂがセンシング範囲Ａｓ内で変位する例として、対象物体ｏｂが水平方向、つまりＥＶＳ２のセンサ面に平行な方向に変位する例を挙げたが、本技術において、対象物体ｏｂの「変位」としては、このようなセンサ面に平行な方向における変位に限らず、センサ面の直交方向（ＥＶＳ２に対して接離する方向）における変位も含み得るものである。
　対象物体ｏｂがセンサ面の直交方向において変位する場合、ＥＶＳ２側から見て、対象物体ｏｂが拡縮する。本技術の適用により、このように対象物体ｏｂが拡縮する状況においても、対象物体ｏｂのエッジ位置を正確に推定し得る。
　また、上記では、情報処理装置１として、イベントデータに基づくエッジ位置の推定のための処理を行う制御部４と、ＥＶＳ２とが一体に構成された装置を例示したが、制御部４とＥＶＳ２とが別体とされた構成（それぞれが別装置に設けられた構成）も採り得る。
＜６．実施形態のまとめ＞
　上記のように実施形態としての情報処理装置（同１）は、対象物体がイベントセンサ（ＥＶＳ２）のセンシング範囲内で変位するようにイベントセンサと対象物体との位置関係が変化している下でイベントセンサが基準時点以前の過去期間内に検出したイベント発生画素の位置情報に基づき、対象物体のエッジ位置の移動軌跡を推定する移動軌跡推定部（同Ｆ１）と、移動軌跡推定部が推定したエッジ位置の移動軌跡に基づき、基準時点における対象物体のエッジ位置を基準時エッジ位置として推定するエッジ位置推定部（同Ｆ２）と、を備えるものである。
　上記構成によれば、イベントの誤検出が生じる場合であっても、基準時点以前の過去期間内に検出されたイベント発生画素の位置情報に基づいて対象物体のエッジ位置の移動軌跡が推定されることで、該移動軌跡に基づき基準時点におけるエッジ位置を正確に推定することが可能となる。また、イベントセンサを用いることで、対象物体のエッジ位置移動軌跡の推定に用いる検出情報のサンプリングレート向上が図られるため、エッジ位置移動軌跡の推定精度向上が図られる。
　本実施形態によれば、これら二つの側面で、対象物体がセンサのセンシング範囲内で変位する場合における対象物体のエッジ位置の推定精度向上を図ることができる。
　また、実施形態としての情報処理装置においては、対象物体は、上面視で端辺を有する形状とされ、移動軌跡推定部は、対象物体の端辺に相当する線分の移動軌跡を推定し、エッジ位置推定部は、線分の移動軌跡に基づいて端辺としてのエッジ位置を基準時エッジ位置として推定している。
　これにより、対象物体が上面視で端辺を有する形状とされる場合において、対象物体における端辺としてのエッジ位置を正確に推定することができる。
　さらに、実施形態としての情報処理装置においては、対象物体は上面視による形状が矩形状とされ、移動軌跡推定部は、対象物体の上面視における四つの端辺のうち対向関係にある二つの端辺について、線分の移動軌跡を推定し、エッジ位置推定部は、二つの端辺について推定された線分の移動軌跡に基づき、二つの端辺ごとにそれら端辺の位置を基準時エッジ位置として推定している。
　上記のように対象物体の対向する端辺それぞれのエッジ位置を推定することで、それらエッジ位置から対象物体の中央位置を推定することが可能となる。
　例えば、ハンドアイ方式への適用においては、対象物体の中央位置が推定できることで、対象物体の中央に吸着ハンドを適切に押し当てて対象物体を安定的にピックアップすることができる。このように対象物体の中央位置を推定できれば、対象物体が適切にハンドリングされるように図ることができる。
　さらにまた、実施形態としての情報処理装置においては、二つの端辺のうち、対象物体の変位に伴いセンシング範囲内に先行して捉えられる側の端辺を手前側端辺、該手前側端辺に対向する端辺を奥側端辺としたとき、移動軌跡推定部は、奥側端辺に相当する線分の推定を、手前側端辺に相当する線分の推定位置からの奥側方向への離間距離が所定距離範囲内となる画素領域内で検出されたイベント発生画素の位置情報に基づいて行っている。
　手前側端辺の線分が推定できている状態において、対象物体の上面視でのサイズが既知であり手前側端辺から奥側端辺までの距離が特定できている場合には、奥側端辺の線分は、手前側端辺の線分位置からの奥側方向への離間距離が所定距離範囲内となる画素領域内に捉えられるものと予測できる。このため、上記構成のように、奥側端辺に相当する線分の推定を、手前側端辺に相当する線分の推定位置からの奥側方向への離間距離が所定距離範囲内となる画素領域内で検出されたイベント発生画素の位置情報に基づいて行う。
　これにより、奥側端辺の線分の推定は、奥側端辺に対応するイベントが検出されると予測される画素領域内で検出されたイベント情報に基づいて行うことが可能となり、奥側端辺の線分の推定精度向上を図ることができる。
　また、実施形態としての情報処理装置においては、イベントセンサは、受光量の所定量以上の増大側変化である正極性イベントと、受光量の所定量以上の減少側変化である負極性イベントの双方を検出可能に構成され、移動軌跡推定部は、奥側端辺に相当する線分の推定を、負極性イベントについてのイベント発生画素の位置情報に基づいて行っている。
　手前側端辺がイベントセンサのセンシング範囲内に捉えられた場合には正極性イベントが検出される一方、奥側端辺がイベントセンサのセンシング範囲内に捉えられた場合には、負極性イベントが検出されることになる。このため、上記のように奥側端辺の線分位置の推定を、負極性イベントについてのイベント発生画素の位置情報に基づいて行うようにすることで、奥側端辺の線分を適切に推定することができる。
　さらに、実施形態としての情報処理装置においては、移動軌跡推定部は、移動軌跡の推定において、イベントセンサと対象物体との相対速度を示す情報を用いている。
　これにより、エッジ位置移動軌跡の傾きを推定するにあたり、イベントセンサと対象物体との相対速度を勘案することが可能となり、イベントの誤検出に対し移動軌跡の推定精度向上を図ることが可能となる。
　エッジ位置移動軌跡の推定精度向上により、基準時エッジ位置の推定精度向上を図ることができる。
　さらにまた、実施形態としての情報処理装置においては、対象物体をピックアップするロボットアーム（同１０）のハンド部（同１０ａ）に対して取り付けられたイベントセンサによる検出情報を入力可能に構成されており、エッジ位置推定部が推定した基準時エッジ位置と、イベントセンサの画素座標系に定められた目標位置（同Ｐｔ）との位置関係に基づき、対象物体のピックアップタイミングの到来判定を行うタイミング判定部（同Ｆ３）を備えている。
　これにより、ロボットアームによる対象物体のピックアップタイミングの到来判定を、イベントセンサによる過去期間のイベント検出情報から推定された対象物体のエッジ位置の情報に基づき適切に行うことができる。
　また、実施形態としての情報処理装置においては、対象物体は上面視による形状が矩形状とされ、移動軌跡推定部は、対象物体における四つの端辺のうち対向関係にある二つの　端辺について、線分の移動軌跡を推定し、エッジ位置推定部は、二つの端辺について推定された線分の移動軌跡に基づき、二つの端辺ごとにそれら端辺の位置を基準時エッジ位置として推定し、タイミング判定部は、二つの端辺ごとに推定された基準時エッジ位置間の中央位置を算出し、該中央位置と目標位置との位置関係に基づいてピックアップタイミングの到来判定を行っている。
　これにより、対象物体がイベントセンサのセンシング範囲内で変位する状況において、対象物体の変位方向における中央位置を基準としてピックアップタイミングの到来判定を行うことが可能となる。
　従って、対象物体の中央に吸着ハンドを適切に押し当てて対象物体を安定的にピックアップすることができる。
　さらに、実施形態としての情報処理装置においては、イベントセンサを備えた構成としている。
　これにより、情報処理装置は、イベントセンサと、イベントセンサによる検出情報に基づいて対象物体のエッジ位置推定を行う信号処理部とが一体化された装置として構成される。
　イベントセンサとエッジ位置推定のための信号処理部とが一体装置として構成されることで、それらイベントセンサと信号処理部との間で装置間配線を行う必要がなくなり、ロボットアーム等の取り付け対象装置に取り付けを行う際の取り付け占有面積の縮小化を図ることができる等、取り付け対象装置への取り付け性向上を図ることができる。
　また、実施形態としての情報処理方法は、情報処理装置が、対象物体がイベントセンサのセンシング範囲内で変位するようにイベントセンサと対象物体との位置関係が変化している下でイベントセンサが基準時点以前の過去期間内に検出したイベント発生画素の位置情報に基づき、対象物体のエッジ位置の移動軌跡を推定し、推定したエッジ位置の移動軌跡に基づき、基準時点における対象物体のエッジ位置を基準時エッジ位置として推定する情報処理方法である。
　このような実施形態としての情報処理方法によっても、上記した実施形態としての情報処理装置と同様の作用及び効果を得ることができる。
　ここで、実施形態としては、先の図１１等で説明した制御部４の処理を、例えばＣＰＵ、ＤＳＰ（Digital Signal Processor）等、或いはこれらを含むデバイスに実行させるプログラムを考えることができる。
　すなわち、実施形態のプログラムは、コンピュータ装置が読み取り可能なプログラムであって、対象物体がイベントセンサのセンシング範囲内で変位するようにイベントセンサと対象物体との位置関係が変化している下でイベントセンサが基準時点以前の過去期間内に検出したイベント発生画素の位置情報に基づき、対象物体のエッジ位置の移動軌跡を推定する移動軌跡推定機能と、移動軌跡推定機能が推定したエッジ位置の移動軌跡に基づき、基準時点における対象物体のエッジ位置を基準時エッジ位置として推定するエッジ位置推定機能と、をコンピュータ装置に実現させるプログラムである。
　このようなプログラムにより、上述した制御部４としての機能をコンピュータ装置によるソフトウェア処理により実現できる。
　上記のようなプログラムは、コンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤ（Hard Disk Drive）や、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
　或いはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ（Local Area Network）、インターネットなどのネットワークを介してダウンロードすることもできる。
　またこのようなプログラムによれば、実施形態としての情報処理装置１の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本開示の情報処理装置１としての処理を実現する装置として機能させることができる。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
＜７．本技術＞
　なお本技術は以下のような構成も採ることができる。
（１）
　対象物体がイベントセンサのセンシング範囲内で変位するように前記イベントセンサと前記対象物体との位置関係が変化している下で前記イベントセンサが基準時点以前の過去期間内に検出したイベント発生画素の位置情報に基づき、前記対象物体のエッジ位置の移動軌跡を推定する移動軌跡推定部と、
　前記移動軌跡推定部が推定した前記エッジ位置の移動軌跡に基づき、前記基準時点における前記対象物体のエッジ位置を基準時エッジ位置として推定するエッジ位置推定部と、を備える
　情報処理装置。
（２）
　前記対象物体は、上面視で端辺を有する形状とされ、
　前記移動軌跡推定部は、前記対象物体の端辺に相当する線分の移動軌跡を推定し、
　前記エッジ位置推定部は、前記線分の移動軌跡に基づいて前記端辺としてのエッジ位置を前記基準時エッジ位置として推定する
　前記（１）に記載の情報処理装置。
（３）
　前記対象物体は上面視による形状が矩形状とされ、
　前記移動軌跡推定部は、前記対象物体の上面視における四つの端辺のうち対向関係にある二つの端辺について、線分の移動軌跡を推定し、
　前記エッジ位置推定部は、前記二つの端辺について推定された前記線分の移動軌跡に基づき、前記二つの端辺ごとにそれら端辺の位置を前記基準時エッジ位置として推定する
　前記（２）に記載の情報処理装置。
（４）
　前記二つの端辺のうち、前記対象物体の前記変位に伴い前記センシング範囲内に先行して捉えられる側の端辺を手前側端辺、該手前側端辺に対向する端辺を奥側端辺としたとき、
　前記移動軌跡推定部は、前記奥側端辺に相当する前記線分の推定を、前記手前側端辺に相当する線分の推定位置からの奥側方向への離間距離が所定距離範囲内となる画素領域内で検出された前記イベント発生画素の位置情報に基づいて行う
　前記（３）に記載の情報処理装置。
（５）
　前記イベントセンサは、受光量の所定量以上の増大側変化である正極性イベントと、受光量の所定量以上の減少側変化である負極性イベントの双方を検出可能に構成され、
　前記移動軌跡推定部は、前記奥側端辺に相当する前記線分の推定を、前記負極性イベントについてのイベント発生画素の位置情報に基づいて行う
　前記（３）又は（４）に記載の情報処理装置。
（６）
　前記移動軌跡推定部は、前記移動軌跡の推定において、前記イベントセンサと前記対象物体との相対速度を示す情報を用いる
　前記（１）から（５）の何れかに記載の情報処理装置。
（７）
　前記対象物体をピックアップするロボットアームのハンド部に対して取り付けられた前記イベントセンサによる検出情報を入力可能に構成されており、
　前記エッジ位置推定部が推定した前記基準時エッジ位置と、前記イベントセンサの画素座標系に定められた目標位置との位置関係に基づき、前記対象物体のピックアップタイミングの到来判定を行うタイミング判定部を備えた
　前記（１）から（６）の何れかに記載の情報処理装置。
（８）
　前記対象物体は上面視による形状が矩形状とされ、
　前記移動軌跡推定部は、前記対象物体における四つの端辺のうち対向関係にある二つの　端辺について、線分の移動軌跡を推定し、
　前記エッジ位置推定部は、前記二つの端辺について推定された前記線分の移動軌跡に基づき、前記二つの端辺ごとにそれら端辺の位置を前記基準時エッジ位置として推定し、
　前記タイミング判定部は、前記二つの端辺ごとに推定された前記基準時エッジ位置間の中央位置を算出し、該中央位置と前記目標位置との位置関係に基づいて前記ピックアップタイミングの到来判定を行う
　前記（７）に記載の情報処理装置。
（９）
　前記イベントセンサを備えた
　前記（１）から（８）の何れかに記載の情報処理装置。
（１０）
　情報処理装置が、
　対象物体がイベントセンサのセンシング範囲内で変位するように前記イベントセンサと前記対象物体との位置関係が変化している下で前記イベントセンサが基準時点以前の過去期間内に検出したイベント発生画素の位置情報に基づき、前記対象物体のエッジ位置の移動軌跡を推定し、
　推定した前記エッジ位置の移動軌跡に基づき、前記基準時点における前記対象物体のエッジ位置を基準時エッジ位置として推定する
　情報処理方法。
（１１）
　コンピュータ装置が読み取り可能なプログラムであって、
　対象物体がイベントセンサのセンシング範囲内で変位するように前記イベントセンサと前記対象物体との位置関係が変化している下で前記イベントセンサが基準時点以前の過去期間内に検出したイベント発生画素の位置情報に基づき、前記対象物体のエッジ位置の移動軌跡を推定する移動軌跡推定機能と、
　前記移動軌跡推定機能が推定した前記エッジ位置の移動軌跡に基づき、前記基準時点における前記対象物体のエッジ位置を基準時エッジ位置として推定するエッジ位置推定機能と、を前記コンピュータ装置に実現させる
　プログラム。
１　情報処理装置
２　ＥＶＳ
３　メモリ
４　制御部
１０　ロボットアーム
１０ａ　ハンド部
１１　アーム制御装置
ｏｂ　対象物体
Ａｓ　センシング範囲
Ｐｔ　目標位置
２０　画素
２１　画素アレイ部
２２　Ｘアービタ
２３　Ｙアービタ
２４　イベント処理回路
２５　出力Ｉ／Ｆ
Ｘｒｑ，Ｙｒｑ　要求信号
Ｘａｃ，Ｙａｃ　応答信号
Ｉｐ　正極側イベント信号
Ｉｍ　負極側イベント信号
３１　対数変換部
３２　バッファ
３３　イベント検出回路
３４　減算器
３５　量子化器
３６　出力制御・リセット回路
ＰＤ　フォトダイオード
Ｑ１からＱ５，Ｑ７からＱ１２　トランジスタ
Ｃ１，Ｃ２　コンデンサ
ＳＷｒ　リセットスイッチ
Ｖｏｐ　正極側出力電圧
Ｖｏｍ　負極側出力電圧
３７ｐ　正極側メモリ
３７ｍ　負極側メモリ
３８　出力回路
３９　ＯＲ回路
４０　遅延器
Ｆ１　移動軌跡推定部
Ｆ２　エッジ位置推定部
Ｆ３　タイミング判定部
Ｌｓ　線分

Claims (11)

  1. 　対象物体がイベントセンサのセンシング範囲内で変位するように前記イベントセンサと前記対象物体との位置関係が変化している下で前記イベントセンサが基準時点以前の過去期間内に検出したイベント発生画素の位置情報に基づき、前記対象物体のエッジ位置の移動軌跡を推定する移動軌跡推定部と、
    　前記移動軌跡推定部が推定した前記エッジ位置の移動軌跡に基づき、前記基準時点における前記対象物体のエッジ位置を基準時エッジ位置として推定するエッジ位置推定部と、を備える
    　情報処理装置。
  2. 　前記対象物体は、上面視で端辺を有する形状とされ、
    　前記移動軌跡推定部は、前記対象物体の端辺に相当する線分の移動軌跡を推定し、
    　前記エッジ位置推定部は、前記線分の移動軌跡に基づいて前記端辺としてのエッジ位置を前記基準時エッジ位置として推定する
    　請求項１に記載の情報処理装置。
  3. 　前記対象物体は上面視による形状が矩形状とされ、
    　前記移動軌跡推定部は、前記対象物体の上面視における四つの端辺のうち対向関係にある二つの端辺について、線分の移動軌跡を推定し、
    　前記エッジ位置推定部は、前記二つの端辺について推定された前記線分の移動軌跡に基づき、前記二つの端辺ごとにそれら端辺の位置を前記基準時エッジ位置として推定する
    　請求項２に記載の情報処理装置。
  4. 　前記二つの端辺のうち、前記対象物体の前記変位に伴い前記センシング範囲内に先行して捉えられる側の端辺を手前側端辺、該手前側端辺に対向する端辺を奥側端辺としたとき、
    　前記移動軌跡推定部は、前記奥側端辺に相当する前記線分の推定を、前記手前側端辺に相当する線分の推定位置からの奥側方向への離間距離が所定距離範囲内となる画素領域内で検出された前記イベント発生画素の位置情報に基づいて行う
    　請求項３に記載の情報処理装置。
  5. 　前記イベントセンサは、受光量の所定量以上の増大側変化である正極性イベントと、受光量の所定量以上の減少側変化である負極性イベントの双方を検出可能に構成され、
    　前記移動軌跡推定部は、前記奥側端辺に相当する前記線分の推定を、前記負極性イベントについてのイベント発生画素の位置情報に基づいて行う
    　請求項３に記載の情報処理装置。
  6. 　前記移動軌跡推定部は、前記移動軌跡の推定において、前記イベントセンサと前記対象物体との相対速度を示す情報を用いる
    　請求項１に記載の情報処理装置。
  7. 　前記対象物体をピックアップするロボットアームのハンド部に対して取り付けられた前記イベントセンサによる検出情報を入力可能に構成されており、
    　前記エッジ位置推定部が推定した前記基準時エッジ位置と、前記イベントセンサの画素座標系に定められた目標位置との位置関係に基づき、前記対象物体のピックアップタイミングの到来判定を行うタイミング判定部を備えた
    　請求項１に記載の情報処理装置。
  8. 　前記対象物体は上面視による形状が矩形状とされ、
    　前記移動軌跡推定部は、前記対象物体における四つの端辺のうち対向関係にある二つの　端辺について、線分の移動軌跡を推定し、
    　前記エッジ位置推定部は、前記二つの端辺について推定された前記線分の移動軌跡に基づき、前記二つの端辺ごとにそれら端辺の位置を前記基準時エッジ位置として推定し、
    　前記タイミング判定部は、前記二つの端辺ごとに推定された前記基準時エッジ位置間の中央位置を算出し、該中央位置と前記目標位置との位置関係に基づいて前記ピックアップタイミングの到来判定を行う
    　請求項７に記載の情報処理装置。
  9. 　前記イベントセンサを備えた
    　請求項１に記載の情報処理装置。
  10. 　情報処理装置が、
    　対象物体がイベントセンサのセンシング範囲内で変位するように前記イベントセンサと前記対象物体との位置関係が変化している下で前記イベントセンサが基準時点以前の過去期間内に検出したイベント発生画素の位置情報に基づき、前記対象物体のエッジ位置の移動軌跡を推定し、
    　推定した前記エッジ位置の移動軌跡に基づき、前記基準時点における前記対象物体のエッジ位置を基準時エッジ位置として推定する
    　情報処理方法。
  11. 　コンピュータ装置が読み取り可能なプログラムであって、
    　対象物体がイベントセンサのセンシング範囲内で変位するように前記イベントセンサと前記対象物体との位置関係が変化している下で前記イベントセンサが基準時点以前の過去期間内に検出したイベント発生画素の位置情報に基づき、前記対象物体のエッジ位置の移動軌跡を推定する移動軌跡推定機能と、
    　前記移動軌跡推定機能が推定した前記エッジ位置の移動軌跡に基づき、前記基準時点における前記対象物体のエッジ位置を基準時エッジ位置として推定するエッジ位置推定機能と、を前記コンピュータ装置に実現させる
    　プログラム。
PCT/JP2023/020074 2022-06-07 2023-05-30 情報処理装置、情報処理方法、プログラム WO2023238735A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022092221 2022-06-07
JP2022-092221 2022-06-07

Publications (1)

Publication Number Publication Date
WO2023238735A1 true WO2023238735A1 (ja) 2023-12-14

Family

ID=89118260

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/020074 WO2023238735A1 (ja) 2022-06-07 2023-05-30 情報処理装置、情報処理方法、プログラム

Country Status (1)

Country Link
WO (1) WO2023238735A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014182632A (ja) * 2013-03-19 2014-09-29 Honda Motor Co Ltd 車両周辺監視装置
WO2014192137A1 (ja) * 2013-05-31 2014-12-04 トヨタ自動車株式会社 移動軌跡予測装置及び移動軌跡予測方法
KR20210006106A (ko) * 2019-07-08 2021-01-18 삼성전자주식회사 다이내믹 비젼 센서의 이벤트 보정 방법 및 이를 수행하는 이미지 센서 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014182632A (ja) * 2013-03-19 2014-09-29 Honda Motor Co Ltd 車両周辺監視装置
WO2014192137A1 (ja) * 2013-05-31 2014-12-04 トヨタ自動車株式会社 移動軌跡予測装置及び移動軌跡予測方法
KR20210006106A (ko) * 2019-07-08 2021-01-18 삼성전자주식회사 다이내믹 비젼 센서의 이벤트 보정 방법 및 이를 수행하는 이미지 센서 장치

Similar Documents

Publication Publication Date Title
US10658405B2 (en) Solid-state image sensor, electronic apparatus, and imaging method
US7554591B2 (en) Photoelectric conversion apparatus and image sensing system using the same
CN106254727A (zh) 摄像装置以及信号处理电路
US9930258B2 (en) Image processing device and image processing system to determine capturing scheme for capturing a pixel value during moving image capture
US20140028883A1 (en) Depth sensing apparatus and method
JP6646824B2 (ja) 撮像装置
US10033956B2 (en) Image sensor
JPH11164210A (ja) 動き検出用固体撮像装置
US8854509B2 (en) Image pickup apparatus, method of performing image compensation, and computer readable recording medium
US9202831B2 (en) Imaging apparatus and imaging system
JPS63102569A (ja) テレビジョンカメラ
US8036525B2 (en) Method and apparatus for motion compensation
US11153501B1 (en) Systems and methods for sampling images
WO2023238735A1 (ja) 情報処理装置、情報処理方法、プログラム
US20160134820A1 (en) Method and apparatus for increasing pixel sensitivity and dynamic range
JP6267887B2 (ja) 深度検出装置、深度検出方法及び深度値取得方法
JP2010239169A (ja) 撮像装置
JP5456652B2 (ja) 固体撮像装置、撮像方法及び２足歩行ロボット
Zhao et al. Modeling the detection capability of high-speed spiking cameras
JP2009267466A (ja) 動体検知機能付監視カメラ
US9748303B2 (en) Solid-state image pick-up apparatus, image pick-up system, and method of driving solid-state image pick-up apparatus
WO2021138838A1 (zh) 一种图像读取电路、图像传感器以及终端设备
CN1642222A (zh) 有源像素传感器电路
US8619149B2 (en) Camera with an image sensor that doubles as a motion sensor
JP2017022671A (ja) 撮像装置および撮像方法、並びにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23819715

Country of ref document: EP

Kind code of ref document: A1