WO2023188183A1 - 情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム - Google Patents

情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム Download PDF

Info

Publication number
WO2023188183A1
WO2023188183A1 PCT/JP2022/016251 JP2022016251W WO2023188183A1 WO 2023188183 A1 WO2023188183 A1 WO 2023188183A1 JP 2022016251 W JP2022016251 W JP 2022016251W WO 2023188183 A1 WO2023188183 A1 WO 2023188183A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
light
distance information
event
predetermined pattern
Prior art date
Application number
PCT/JP2022/016251
Other languages
English (en)
French (fr)
Inventor
直之 宮田
英明 岩木
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to PCT/JP2022/016251 priority Critical patent/WO2023188183A1/ja
Publication of WO2023188183A1 publication Critical patent/WO2023188183A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers

Definitions

  • the present invention relates to an information processing device, a system, an information processing method, an information processing program, and a computer system.
  • Event-based sensors are known in which pixels that detect changes in the intensity of incident light generate signals in a time-asynchronous manner. Event-based sensors have the advantage of being able to operate at low power and high speed compared to frame-based vision sensors that scan all pixels at predetermined intervals, specifically image sensors such as CCD and CMOS. be. Techniques regarding such event-based sensors are described in, for example, Patent Document 1 and Patent Document 2.
  • the present invention provides an information processing device, a system, an information processing method, and an information processing system that can improve the accuracy of calculating distance information by calculating complementary information that complements distance information using an event-based sensor.
  • the purpose is to provide programs and computer systems.
  • the first calculation unit calculates distance information to the target object irradiated with a predetermined pattern of light;
  • a generation unit that constructs an image based on an event signal output in response to reflected light from an object, and a second calculation unit that calculates complementary information that complements the distance information based on a change in the shape of a predetermined pattern in the image.
  • an event-based sensor an irradiation unit that irradiates a target object with light in a predetermined pattern, and distance information to the target object that is irradiated with the predetermined pattern of light are calculated.
  • a first calculation unit that constructs an image based on the event signal output according to the reflected light among the event signals output by the sensor, and a generation unit that constructs an image based on a change in the shape of a predetermined pattern in the image
  • a system is provided that includes an information processing apparatus having a second calculation unit that calculates complementary information that complements the distance information.
  • the first calculation step of calculating distance information to the object irradiated with the predetermined pattern of light, and the event signal output by the event-based sensor includes a generation step of constructing an image based on an event signal output in response to reflected light from a target object, and a second step of calculating complementary information that complements the distance information based on a change in the shape of a predetermined pattern in the image.
  • An information processing method is provided that includes a step of calculating.
  • an object irradiated with a predetermined pattern of light there is a function to calculate distance information to the object, and an event signal output from an event-based sensor is calculated from the object.
  • a computer has the function of constructing an image based on an event signal output in response to reflected light, and the function of calculating complementary information that complements distance information based on changes in the shape of a predetermined pattern in the image.
  • An information processing program is provided.
  • the invention includes a memory for storing a program code, and a processor for processing the program code to perform an operation, the operation being performed on an object illuminated with a predetermined pattern of light. , calculate the distance information to the target object, construct an image based on the event signal output according to the reflected light from the target object among the event signals output by the event-based sensor, and create a predetermined pattern in the image.
  • a computer system is provided that includes calculating complementary information that complements distance information based on a change in the shape of the distance information.
  • FIG. 1 is a block diagram showing a schematic configuration of a system according to a first embodiment of the present invention. It is a figure explaining calculation of distance information in a 1st embodiment of the present invention.
  • FIG. 7 is another diagram illustrating calculation of complementary information in the first embodiment of the present invention.
  • FIG. 7 is another diagram illustrating calculation of complementary information in the first embodiment of the present invention.
  • 3 is a flowchart illustrating an example of a processing method according to the first embodiment of the present invention. It is another flowchart which shows the example of the processing method based on 1st Embodiment of this invention.
  • FIG. 2 is a block diagram showing a schematic configuration of a system according to a second embodiment of the present invention.
  • FIG. 2 is a block diagram showing a schematic configuration of a system according to a third embodiment of the present invention.
  • FIG. 1 is a block diagram showing a schematic configuration of a system according to a first embodiment of the present invention.
  • the system 1 includes a ToF (Time of Flight) sensor 11, an EDS (Event Driven Sensor) 12, and an information processing device 20.
  • the ToF sensor 11 includes, for example, an infrared laser light source and controls an irradiation section 111 that irradiates a predetermined pattern of infrared light, a light reception section 112 that includes a light receiving element such as a photodiode, and the irradiation section 111 and the light reception section 112.
  • the ToF control unit 113 is also included.
  • the ToF control unit 113 controls the irradiation timing of the predetermined pattern of light in the irradiation unit 111 and outputs information indicating the irradiation start time in the irradiation unit 111 and the light reception time by the light reception unit 112 to the information processing device 20.
  • the predetermined pattern of light is a pattern including a figure, such as a plurality of dot patterns arranged in a grid pattern or a plurality of line patterns arranged at regular intervals. Below, as an example, a plurality of dot patterns arranged in a lattice pattern will be described.
  • EDS12 is an example of an event-based sensor that generates an event signal when the sensor detects a change in the intensity of light, and is also an example of a sensor called DVS (Dynamic Vision Sensor) or EVS (Event-based Vision Sensor). It is.
  • the EDS 12 includes a sensor 121 forming a sensor array and a processing circuit 122 connected to the sensor 121.
  • the sensor 121 is an event-based sensor that includes a light receiving element and generates an event signal 123 when it detects a change in the intensity of light incident on each pixel, more specifically, a change in brightness that exceeds a predetermined value. be.
  • the event signal 123 is generated asynchronously in time in the EDS 12.
  • An event signal 123 generated by the EDS 12 is output to the information processing device 20.
  • the event signal 123 outputted via the processing circuit 122 includes identification information of the sensor 121 (eg, pixel location), the polarity of the brightness change (increase or decrease), and a timestamp 124. Additionally, upon detecting a change in brightness, the EDS 12 can generate an event signal 123 significantly more frequently than a frame-based vision sensor.
  • the shutter is blocked or shielded by a filter or the like.
  • the above-mentioned reflected light is received by the sensor 121 of the EDS 12, and the event signal 123 is generated. Calculation of complementary information will be described later.
  • the light receiving section 112 of the ToF sensor 11 and the sensor 121 of the EDS 12 are associated with each other by a calibration procedure between the ToF sensor 11 and the EDS 12 that is executed in advance. More specifically, for example, a common calibration pattern is captured by the ToF sensor 11 and the EDS 12, and the relationship between the light receiving unit 112 and the sensor 121 is determined from the internal parameters and external parameters of the ToF sensor 11 and the EDS 12, respectively. By calculating the correspondence parameters, the light receiving section 112 of the ToF sensor 11 and the sensor 121 of the EDS 12 can be associated with each other.
  • the information processing device 20 is implemented, for example, by a computer having a communication interface, a processor, and a memory, in which the processor processes program codes to perform operations, and program codes are stored in the memory or received via the communication interface. It includes the functions of a distance information calculation section 21, an image generation section 22, and a complementary information calculation section 23, which are realized by operating according to a program. The functions of each part will be further explained below.
  • the distance information calculation unit 21 calculates distance information to the target object based on the difference between the irradiation start time by the irradiation unit 111 and the light reception time by the light reception unit 112.
  • the irradiation unit 111 of the ToF sensor 11 irradiates light in a plurality of dot patterns arranged in a grid pattern.
  • the light irradiated at the same irradiation start time is reflected by each target object, and the reflected light is received by the light receiving unit 112 at a time corresponding to the distance to each target object. In other words, for objects located further away, the light reception time is later than for objects located closer.
  • the distance information calculation unit 21 can calculate the distance to the object corresponding to each dot pattern by calculating the difference between the irradiation start time and the light reception time for each dot pattern. Note that various known techniques can be used to calculate the ToF sensor 11 and the distance information based on the output of the ToF sensor 11, so a detailed explanation will be omitted.
  • the image generation unit 22 constructs an image (hereinafter referred to as an “event image”) based on the event signal 123, and outputs it to the complementary information calculation unit 23.
  • the complementary information calculation unit 23 calculates complementary information that complements the distance information calculated by the distance information calculation unit 21 based on the event image constructed by the image generation unit 22.
  • 2 and 3 are diagrams for explaining an example of calculation of complementary information. 2 and 3 show an example of an event image constructed by the image generation unit 22. For example, if the object is a person holding his left hand in front of his face, the event image may contain minute movements, such as the outline of the person or the palm of his hand, as shown in Figures 2 and 3. , and the parts where brightness changes occur are drawn.
  • the irradiation unit 111 of the ToF sensor 11 irradiates light in a plurality of dot patterns arranged in a grid pattern. Therefore, as shown in FIG. 2, in the event image, the dot pattern is deformed according to the shape of the person's body. After that, when the person brings their left hand closer to their face, that is, moves it away from the EDS 12, the size of the dots in the event image changes to become smaller, as shown in area A1 of FIG. 3A, and the interval between the dots changes. Changes to become more widespread.
  • the complementary information calculating section 23 calculates complementary information that complements the distance information based on the change in the shape of the dot pattern in the event image constructed by the image generating section 22.
  • the complementary information includes, for example, information indicating the moving direction of the object, information indicating the amount of movement of the object, and the like.
  • the complementary information calculation unit 23 determines the moving direction of the object, that is, the direction of movement of the object in the ToF sensor 11 and the EDS 12, based on changes in the size and interval of dots in a plurality of event images that are continuous in time series. Information indicating whether the object is approaching or moving away can be calculated. Further, the complementary information calculation unit 23 stores in advance the relationship between the distance to the target object and the change in the shape of the predetermined pattern, and compares the shape of the predetermined pattern in a plurality of chronologically consecutive event images. By doing so, information indicating the approximate amount of movement of the object can be calculated.
  • the complementary information calculation unit 23 calculates complementary information based on changes in the size of the dot pattern, changes in the position of the dot pattern, etc. as changes in the shape of the predetermined pattern. Then, the complementary information calculation unit 23 outputs the calculated complementary information to the distance information calculation unit 21.
  • the distance information calculation unit 21 calculates the difference between the irradiation start time and the light reception time for each dot pattern based on the output of the ToF sensor 11, thereby calculating the distance to the object corresponding to each dot pattern. Calculate distance.
  • a certain limit for example, 30 frames/second
  • the distance information calculation unit 21 achieves a high frame rate in the time axis direction by complementing the distance information based on the complementary information calculated by the complementary information calculation unit 23.
  • the distance information calculation unit 21 calculates the distance information based on the output of the ToF sensor 11 and then calculates the distance information based on the output of the ToF sensor 11, using the previously calculated distance information and complementary information. Based on this, the latest distance information is calculated. That is, the latest distance information can be calculated by applying the above-described information indicating the moving direction of the object and the information indicating the moving amount of the object to the previously calculated distance information.
  • the event signal 123 has relatively high immediacy, and is generated only when a change in brightness is detected. Therefore, by constructing an event image and calculating complementary information every time the event signal 123 is generated, the frequency of distance information calculation based on the output of the ToF sensor 11 is increased in the time axis direction, and the distance information is The accuracy of calculation can be improved.
  • FIG. 4 is a flowchart illustrating an example of processing according to the first embodiment of the present invention.
  • the image generation unit 22 of the information processing device 20 constructs an event image (step S102).
  • the complementary information calculation unit 23 compares the shapes of the predetermined patterns (step S103), detects the moving direction of the object (step S104), and calculates the amount of movement of the object (step S105). Then, the complementary information calculation unit 23 outputs the calculated complementary information to the distance information calculation unit 21.
  • the movement direction detection process in step S104 and the movement amount calculation process in step S105 are complementary information calculation processes, but they may be executed in the reverse order or may be executed simultaneously.
  • a configuration may be adopted in which only one of the process of detecting the movement direction and the process of calculating the movement amount is executed, or the configuration may be such that information other than the movement direction and the movement amount is calculated as the complementary information. good.
  • the information calculated as complementary information may be set according to the purpose of use, etc., or may be set based on user operation.
  • Each part of the information processing device 20 can calculate complementary information at the timing when the event signal 123 is generated by repeating the processing from steps S101 to S106 described above.
  • FIG. 5 is a flowchart showing another example of processing of the system 1 according to the first embodiment of the present invention.
  • distance information calculation processing is executed in accordance with the complementary information described with reference to FIG.
  • the ToF sensor 11 irradiates and receives infrared light (step S201 YES)
  • the distance information calculation unit 21 calculates the distance to the target object based on the difference between the irradiation start time by the irradiation unit 111 and the light reception time by the light receiver 112. distance information is calculated (step 202).
  • the distance information calculation unit 21 determines whether or not complementary information has been acquired from the complementary information calculation unit 23, and If it is determined that the information has been acquired (step 203 YES), the distance information calculation unit 21 calculates the latest complementary information by complementing the previously calculated distance information based on the complementary information (step S204).
  • the predetermined time may be set according to the calculation frequency of distance information based on the output of the ToF sensor 11. Then, the distance information calculation unit 21 outputs the distance information calculated in step S202 or step S204 from the information processing device 20 (step S205). Each part of the information processing device 20 can calculate distance information while appropriately using complementary information by repeating the processing from steps S201 to S205 described above.
  • the distance information calculation unit 21 which is a first calculation unit that calculates distance information to the target object, with respect to the target object irradiated with a predetermined pattern of light;
  • an image generation unit 22 constructs an event image based on the event signal 123 output according to the reflected light from the object;
  • It includes a complementary information calculation section 23 which is a second calculation section that calculates complementary information that complements the distance information based on a change in the shape of the pattern.
  • the complementary information based on the event signal 123 having a relatively high time resolution it is possible to complement the distance information based on the output of the ToF sensor 11, which has a certain limit on the frequency of calculation.
  • By calculating complementary information that complements the distance information using an event-based sensor it is possible to achieve a high frame rate in the time axis direction and improve the accuracy of distance information calculation.
  • the light of the predetermined pattern is infrared light
  • the distance information calculation unit 21 calculates distance information based on the difference between the irradiation start time and the light reception time of the infrared light. calculate. That is, in combination with the EDS 12, it is possible to effectively utilize the reflected light of the infrared light irradiated by the ToF sensor 11, and improve the accuracy of distance information calculation.
  • the complementary information is information indicating the moving direction of the target object or the moving amount of the target object. Therefore, by using the characteristics of the event signal 123, it is possible to calculate useful supplementary information when supplementing distance information without increasing the processing load.
  • FIG. 6 is a block diagram showing a schematic configuration of a system 2 according to a second embodiment of the present invention.
  • the system 2 according to the second embodiment includes an RGB camera 13 in addition to the system 1 according to the first embodiment.
  • the system 2 includes an information processing device 30 instead of the information processing device 20 of the system 1 of the first embodiment.
  • the RGB camera 13 includes an image sensor 131 that is a frame-based vision sensor, and a processing circuit 132 connected to the image sensor 131.
  • the image sensor 131 generates the RGB image signal 133 by, for example, synchronously scanning all pixels at a predetermined cycle or at a predetermined timing according to a user's operation.
  • Processing circuit 132 converts, for example, RGB image signal 133 into a format suitable for storage and transmission. Furthermore, the processing circuit 132 provides a time stamp 134 to the RGB image signal 133.
  • the RGB image signal 133 generated by the RGB camera 13 is output to the information processing device 30.
  • the time stamp 134 given to the RGB image signal 133 and the time stamp 124 given to the event signal 123 generated by the EDS 12 are synchronized.
  • the timestamp 134 can be synchronized with the timestamp 124 by providing the RGB camera 13 with time information used to generate the timestamp 124 in the EDS 12, for example.
  • the time information for generating the timestamps 134 and 124 is independent for the RGB camera 13 and the EDS 12
  • the time when a specific event for example, a change in the subject across the entire image
  • the time stamp 134 in the RGB camera 13 and the time stamp 124 in the EDS 12 can be synchronized after the fact.
  • the ToF sensor 11, EDS 12, and RGB camera 13 are associated with each other by a calibration procedure for the ToF sensor 11, EDS 12, and RGB camera 13.
  • the sensor 121 of the EDS 12 is associated with one or more pixels of the RGB image signal 133
  • the event signal 123 is generated in response to a change in light intensity at the one or more pixels of the RGB image signal 133.
  • a common calibration pattern is imaged by the ToF sensor 11, EDS 12, and RGB camera 13, and the camera is calculated based on the internal parameters and external parameters of the ToF sensor 11, EDS 12, and RGB camera 13.
  • the information processing device 30 includes a distance information calculation section 31 in place of the distance information calculation section 21 of the information processing device 20 of the first embodiment, and an image generation section 32 in place of the image generation section 22 and the complementary information calculation section 23; It includes a specifying section 33 and a tracking section 34.
  • the image generation unit 32 of the information processing device 30 generates an image (hereinafter referred to as “RGB image”) based on the RGB image signal 133 every time the RGB image signal 133 is generated by the RGB camera 13, and the identification unit Output to 33.
  • the specifying unit 33 specifies at least one rectangular area in the RGB image generated by the image generating unit 32.
  • the rectangular area can be specified using a known line segment detection technique, so a detailed explanation will be omitted.
  • FIG. 7 is a diagram illustrating identification of a rectangular area.
  • FIG. 7 shows an example of an RGB image generated by the image generation unit 32.
  • the specifying unit 33 detects line segments in the RGB image using a line segment detection technique, and specifies a rectangular area according to the correlation between the plurality of line segments. The example in FIG.
  • the specifying unit 33 outputs information indicating the specified rectangular area to both the distance information calculating unit 31 and the tracking unit 34. Note that when a plurality of rectangular areas exist in the RGB image, the specifying unit 33 distinguishes and specifies each rectangular area.
  • the tracking unit 34 tracks the target area corresponding to the rectangular area specified by the specifying unit 33 based on the event signal 123. Note that when a plurality of rectangular areas are specified by the specifying unit 33, the tracking unit 34 performs tracking using each rectangular area as a target area.
  • the event signal 123 may be stored in a buffer, or may be constructed as an event image as in the first embodiment.
  • the event signals 123 may be grouped by time stamps that are the same or within a certain range, and stored in a buffer as data indicating the presence or absence of an event, the polarity of the event, and the like.
  • FIG. 8 is a diagram explaining tracking.
  • FIG. 8 shows an example of an event image constructed based on the event signal 123.
  • the event image may contain stationary objects such as the outline of the person and the outline of the object he is grasping, as shown in Figure 8. Even when the image is displayed, there are minute movements and areas where brightness changes occur are drawn.
  • the identifying unit 33 identifies a rectangular object as a rectangular region R2, and the tracking unit 34 tracks a target area corresponding to the rectangular region R2. Then, the tracking section 34 outputs tracking information indicating the tracking result to the distance information calculation section 31.
  • the distance information calculation unit 31 calculates distance information to the target object based on the difference between the irradiation start time by the irradiation unit 111 and the light reception time by the light reception unit 112. do. At this time, the distance information calculation section 31 calculates the distance information by taking into account the information indicating the rectangular area outputted by the identification section 33 and the tracking information outputted from the tracking section 34. Basically, it can be assumed that the rectangular area specified by the above-mentioned specifying unit 33 exists on a certain plane. For example, in the example of FIG. 8, it can be assumed that the rectangular region R2 corresponding to the rectangular object held by the person exists on the cover surface of a book.
  • the distance information calculation unit 31 calculates distance information to the target object for each rectangular area based on the difference between the irradiation start time by the irradiation unit 111 and the light reception time by the light reception unit 112. That is, for a certain rectangular area, one piece of distance information is calculated for all points within the rectangular area.
  • the density (resolution) of distance information calculated based on the output of the ToF sensor 11 is determined depending on the dot pattern irradiated by the irradiation section 111 of the ToF sensor 11.
  • the distance information calculation unit 31 calculates distance information for each target area based on the target area in the tracking information output by the tracking unit 34. That is, in the information processing device 30, the identifying unit 33 identifies a rectangular area based on the RGB image, the tracking unit 34 tracks the rectangular area as a target area based on the event signal 123, and the distance information calculating unit 31 identifies the target area. Distance information is calculated for each time.
  • the distance information calculation unit 31 calculates distance information based on the output of the ToF sensor 11, the information indicating the rectangular area outputted by the identification unit 33, and the tracking information outputted by the tracking unit 34. By calculating, it is possible to increase the density (high resolution) of distance information calculation based on the output of the ToF sensor 11, increase the frame rate in the time axis direction, and improve the accuracy of distance information calculation.
  • FIG. 9 is a flowchart illustrating an example of processing according to the second embodiment of the present invention.
  • the image generation unit 32 of the information processing device 30 when the image sensor 131 of the RGB camera 13 generates the RGB image signal 133 (step S301 YES), the image generation unit 32 of the information processing device 30 generates an RGB image (step S302).
  • the identifying unit 33 identifies a rectangular area in the RGB image (step S303), and outputs information indicating the identified rectangular area to the distance information calculating unit 31 and the tracking unit 34 (step S304).
  • step S301 NO if the RGB image signal 133 is not generated even after a predetermined period of time has passed (step S301 NO), or if the identifying unit 33 outputs information indicating the identified rectangular area to the distance information calculating unit 31 and the tracking unit 34 , proceed to step S305.
  • the predetermined time may be set according to the frame rate of the image sensor 131 of the RGB camera 13, etc.
  • the tracking unit 34 of the information processing device 20 tracks the target area (step S306), and outputs tracking information indicating the tracking result to the distance information calculation unit 31. (Step S307).
  • Each part of the information processing device 30 can perform tracking based on the event signal 123 by repeating the processing from steps S301 to S307 described above.
  • FIG. 10 is a flowchart showing another example of processing of the system 1 according to the second embodiment of the present invention.
  • distance information calculation processing is executed in accordance with the tracking information described with reference to FIG.
  • the ToF sensor 11 irradiates and receives infrared light (step S401 YES)
  • the distance information calculation unit 31 determines the distance to the target object based on the difference between the irradiation start time by the irradiation unit 111 and the light reception time by the light receiver 112. distance information is calculated (step 402).
  • the distance information calculation unit 31 determines whether or not complementary information has been acquired from the tracking unit 34, and calculates the tracking information. If it is determined that the distance information has been acquired (step 403 YES), the distance information calculation unit 31 calculates distance information for each target area based on the tracking information (step S404). Note that the predetermined time may be set according to the calculation frequency of distance information based on the output of the ToF sensor 11. Then, the distance information calculation unit 31 outputs the distance information calculated in step S402 or step S404 from the information processing device 30 (step S405). Each part of the information processing device 30 can calculate distance information while appropriately using tracking information by repeating the processing from steps S401 to S405 described above.
  • the identification unit 33 that identifies at least one rectangular area in an RGB image acquired using the image sensor 131 that is a frame-based vision sensor, and the event-based A tracking unit 34 that tracks a target area corresponding to a rectangular area based on an event signal 123 output by a sensor 121, and a tracking unit 34 that tracks a target area corresponding to a rectangular area, and a tracking unit 34 that tracks a target area corresponding to a rectangular area based on the difference between the infrared light irradiation start time and the light reception time for each target area. , and a distance information calculation unit 31 that calculates distance information.
  • the density (resolution) of distance information calculation determined depending on the dot pattern irradiated by the irradiation unit 111 of the ToF sensor 11 can be made higher (higher resolution). Furthermore, it is possible to increase the frame rate in the time axis direction and improve the accuracy of distance information calculation.
  • the second embodiment shows an example in which the identifying unit 33 identifies a rectangular area in the RGB image generated by the image generating unit 32
  • the present invention is not limited to this example.
  • the specifying unit 33 may specify a region having a shape other than a rectangle, such as a circle.
  • the specifying unit 33 may specify the area detected by area detection processing such as known edge detection.
  • the specifying unit 33 may specify the area based on known background separation processing. Further, the area specified by the specifying unit 33 may be set based on a user operation.
  • FIG. 11 is a block diagram showing a schematic configuration of the system 3.
  • the system 3 according to the third embodiment is a system having a configuration that combines the system 1 of the first embodiment and the system 2 of the second embodiment.
  • the system 3 includes an information processing device 40 instead of the information processing device 20 of the system 1 of the first embodiment and the information processing device 30 of the system 2 of the second embodiment.
  • the information processing device 40 includes a distance information calculation section 41, an image generation section 42, a specification section 43, a tracking section 44, an image generation section 45, and a complementary information calculation section 46.
  • the image generation section 42, the identification section 43, and the tracking section 44 of the information processing device 40 are similar to the image generation section 32, the identification section 33, and the tracking section 34 of the information processing device 30 of the second embodiment. It has a configuration. Further, the image generation unit 45 and the complementary information calculation unit 46 of the information processing device 40 have the same configuration as the image generation unit 22 and the complementary information calculation unit 23 in the information processing device 20 of the first embodiment. have
  • the information processing device 40 of the third embodiment executes the processing of the information processing device 20 of the first embodiment and the information processing device 30 of the second embodiment. That is, both the computation of complementary information described in the first embodiment with reference to the flowchart of FIG. 4 and the tracking described with reference to the flowchart of FIG. 9 in the second embodiment are executed. Then, the tracking information described in the second embodiment is included in the complementary information described in the first embodiment. Then, the distance information calculation unit 41 executes the distance information calculation process according to the complementary information described in the first embodiment with reference to the flowchart of FIG. A similar effect can be obtained. Note that detailed processing in the information processing device 40 is similar to the combination of each processing described in the first embodiment and the second embodiment, so illustration and description of the flowchart will be omitted.
  • the ToF sensor 11 may have any configuration.
  • it may be a dToF (direct time of flight) sensor or an iToF (indirect time of flight) sensor.
  • a dToF sensor as the ToF sensor 11, it is possible to accurately calculate distance information even for objects with low reflectance or distant objects, and the dToF sensor has the characteristics of being power saving. The accuracy of calculation can be further improved.
  • the ToF sensor 11 includes an infrared laser light source and irradiates a predetermined pattern of infrared light as irradiation light, but the present invention is not limited to this example.
  • the irradiation light may be ultraviolet light or visible light depending on the application.
  • the number of EDS and RGB cameras may be the same or different. Further, the number of EDS and RGB cameras may be one each, or may be multiple. For example, when a plurality of RGB cameras are provided, it is possible to expand the range of the field for generating RGB image signals, or to estimate the state of a person three-dimensionally from the plurality of RGB image signals. In addition, for example, when multiple EDSs are provided, it is possible to expand the range of the object scene that generates event signals, or to calculate the three-dimensional movement amount of a person based on the multiple event signals. can.
  • the distance information described in each of the above embodiments may be used in any way.
  • it may be used in a rendering system that uses the user's movements to depict a CG (Computer Graphics) model, a mirroring system that reproduces the user's movements with a robot, or a gaming system that accepts user operations in the same way as a controller.
  • CG Computer Graphics
  • the present invention can also be applied to cases where the target object is a predetermined vehicle, machine, living thing, etc., or a predetermined marker, etc. other than a person. can be applied similarly.
  • the system 1, system 2, and system 3 described in each of the above embodiments may be implemented within a single device, or may be distributed and implemented in a plurality of devices.
  • the system may include a camera unit including the ToF sensor 11 and a camera (an RGB camera and an EDS), and an information processing device.
  • the camera unit may be a unit that can be worn on the user's body, such as an HMD unit.
  • a part or all of the processing in the information processing device may be executed by an Internet communication network or a server (for example, a cloud server) connected in a wirelessly communicable manner.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

所定パターンの光が照射された対象物について、対象物までの距離情報を算出する第１の算出部と、イベントベースのセンサが出力するイベント信号のうち、対象物からの反射光に応じて出力されたイベント信号に基づいて画像を構築する生成部と、画像における前記所定パターンの形状の変化に基づいて、距離情報を補完する補完情報を算出する第２の算出部とを備える情報処理装置が提供される。

Description

情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム
　本発明は、情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステムに関する。
　入射する光の強度変化を検出したピクセルが時間非同期的に信号を生成する、イベントベースのセンサが知られている。イベントベースのセンサは、所定の周期ごとに全ピクセルをスキャンするフレームベースのビジョンセンサ、具体的にはＣＣＤやＣＭＯＳなどのイメージセンサに比べて、低電力で高速に動作可能である点で有利である。このようなイベントベースのセンサに関する技術は、例えば特許文献１および特許文献２に記載されている。
特表２０１４－５３５０９８号公報 特開２０１８－８５７２５号公報
　しかしながら、イベントベースのセンサについては、上記のような利点は知られているものの、他の装置と組み合わせた利用方法については、まだ十分に提案されているとは言いがたい。
　そこで、本発明は、イベントベースのセンサを用いて距離情報を補完する補完情報を算出することによって、距離情報の算出の精度を向上させることができる情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステムを提供することを目的とする。
　本発明のある観点によれば、所定パターンの光が照射された対象物について、対象物までの距離情報を算出する第１の算出部と、イベントベースのセンサが出力するイベント信号のうち、対象物からの反射光に応じて出力されたイベント信号に基づいて画像を構築する生成部と、画像における所定パターンの形状の変化に基づいて、距離情報を補完する補完情報を算出する第２の算出部とを備える情報処理装置が提供される。
　本発明の別の観点によれば、イベントベースのセンサと、対象物に所定パターンの光を照射する照射部と、所定パターンの光が照射された対象物について、対象物までの距離情報を算出する第１の算出部と、センサが出力するイベント信号のうち、反射光に応じて出力されたイベント信号に基づいて画像を構築する生成部と、画像における所定パターンの形状の変化に基づいて、距離情報を補完する補完情報を算出する第２の算出部とを有する情報処理装置とを備えるシステムが提供される。
　本発明のさらに別の観点によれば、所定パターンの光が照射された対象物について、対象物までの距離情報を算出する第１の算出ステップと、イベントベースのセンサが出力するイベント信号のうち、対象物からの反射光に応じて出力されたイベント信号に基づいて画像を構築する生成ステップと、画像における所定パターンの形状の変化に基づいて、距離情報を補完する補完情報を算出する第２の算出ステップとを含む情報処理方法が提供される。
　本発明のさらに別の観点によれば、所定パターンの光が照射された対象物について、対象物までの距離情報を算出する機能と、イベントベースのセンサが出力するイベント信号のうち、対象物からの反射光に応じて出力されたイベント信号に基づいて画像を構築する機能と、画像における所定パターンの形状の変化に基づいて、距離情報を補完する補完情報を算出する機能とをコンピュータに実現させる情報処理プログラムが提供される。
　本発明のさらに別の観点によれば、プログラムコードを記憶するためのメモリ、およびプログラムコードを処理して動作を実行するためのプロセッサを備え、動作は、所定パターンの光が照射された対象物について、対象物までの距離情報を算出し、イベントベースのセンサが出力するイベント信号のうち、対象物からの反射光に応じて出力されたイベント信号に基づいて画像を構築し、画像における所定パターンの形状の変化に基づいて、距離情報を補完する補完情報を算出することを含むコンピュータシステムが提供される。
本発明の第１実施形態に係るシステムの概略的な構成を示すブロック図である。 本発明の第１実施形態における距離情報の算出について説明する図である。 本発明の第１実施形態における補完情報の算出について説明する別の図である。 本発明の第１実施形態における補完情報の算出について説明する別の図である。 本発明の第１実施形態に係る処理方法の例を示すフローチャートである。 本発明の第１実施形態に係る処理方法の例を示す別のフローチャートである。 本発明の第２実施形態に係るシステムの概略的な構成を示すブロック図である。 本発明の第２実施形態における矩形領域の特定について説明する図である。 本発明の第２実施形態におけるトラッキングについて説明する図である。 本発明の第２実施形態に係る処理方法の例を示すフローチャートである。 本発明の第２実施形態に係る処理方法の例を示す別のフローチャートである。 本発明の第３実施形態に係るシステムの概略的な構成を示すブロック図である。
　以下、添付図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
＜第１実施形態＞
　図１は、本発明の第１実施形態に係るシステムの概略的な構成を示すブロック図である。
　システム１は、ＴｏＦ（Time of Flight）センサ１１と、ＥＤＳ（Event Driven Sensor）１２と、情報処理装置２０とを含む。
　ＴｏＦセンサ１１は、例えば赤外線レーザー光源を含み、所定パターンの赤外光を照射する照射部１１１と、例えばフォトダイオードなどの受光素子を含む受光部１１２と、照射部１１１および受光部１１２を制御するＴｏＦ制御部１１３とを含む。ＴｏＦ制御部１１３は、照射部１１１における所定パターンの光の照射タイミングを制御するとともに、照射部１１１における照射開始時刻、および受光部１１２による受光時刻を示す情報を情報処理装置２０に出力する。所定パターンの光とは、図形を含むパターンであり、例えば、格子状に配置される複数のドットパターンや、一定間隔で配置される複数のラインパターンなどである。以下では、一例として、格子状に配置される複数のドットパターンを例に挙げて説明する。
　ＥＤＳ１２は、センサが光の強度変化を検出したときにイベント信号を生成するイベントベースのセンサの例であり、ＤＶＳ（Dynamic Vison Sensor）またはＥＶＳ（Event-based Vision Sensor）とも称されるセンサの例である。ＥＤＳ１２は、センサアレイを構成するセンサ１２１と、センサ１２１に接続される処理回路１２２とを含む。センサ１２１は、受光素子を含み、画素ごとに入射する光の強度変化、より具体的には予め定めた所定の値を超える輝度変化を検出したときにイベント信号１２３を生成するイベントベースのセンサである。入射する光の強度変化を検出しなかったセンサ１２１はイベント信号１２３を生成しないため、ＥＤＳ１２においてイベント信号１２３は時間非同期的に生成される。ＥＤＳ１２により生成されるイベント信号１２３は、情報処理装置２０に出力される。
　処理回路１２２を経て出力されるイベント信号１２３は、センサ１２１の識別情報（例えばピクセルの位置）と、輝度変化の極性（上昇または低下）と、タイムスタンプ１２４とを含む。また、輝度変化を検出した際に、ＥＤＳ１２は、フレームベースのビジョンセンサよりも大幅に高い頻度でイベント信号１２３を生成することができる。
　通常、ＴｏＦセンサ１１において照射部１１１から照射される所定パターンの光が対象物に応じて反射した後、反射光がセンサに入射すると、センサに関しては不要あるいは悪影響を及ぼす可能性があるため、シャッタやフィルタ等により反射光は遮断あるいは遮光される。しかし、本実施形態においては、ＴｏＦセンサ１１によって算出される距離情報を補完する補完情報を算出するために、上述した反射光をＥＤＳ１２のセンサ１２１によって受光し、イベント信号１２３を生成する。補完情報の算出については後述する。
　また、本実施形態において、事前に実行されるＴｏＦセンサ１１とＥＤＳ１２とのキャリブレーション手順によって、ＴｏＦセンサ１１の受光部１１２とＥＤＳ１２のセンサ１２１とが対応付けられる。より具体的には、例えば、ＴｏＦセンサ１１とＥＤＳ１２とで共通の校正パターンを撮像し、ＴｏＦセンサ１１およびＥＤＳ１２のぞれぞれの内部パラメータおよび外部パラメータから受光部１１２とセンサ１２１との間の対応パラメータを算出することによって、ＴｏＦセンサ１１の受光部１１２とＥＤＳ１２のセンサ１２１とを対応付けることができる。
　情報処理装置２０は、例えば通信インターフェース、プロセッサ、およびメモリを有するコンピュータによって実装され、プログラムコードを処理して動作を実行するためのプロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現される距離情報算出部２１、画像生成部２２、および補完情報算出部２３の各機能を含む。以下、各部の機能についてさらに説明する。
　距離情報算出部２１は、照射部１１１による照射開始時刻と受光部１１２による受光時刻との差分に基づいて、対象物までの距離情報を算出する。
　ＴｏＦセンサ１１の照射部１１１は、上述したように、格子状に配置される複数のドットパターンの光を照射する。そして、同一の照射開始時刻に照射された光は、各対象物で反射し、反射光は各対象物までの距離に応じた時間で受光部１１２により受光される。つまり、より遠方に存在する対象物については、より近方に存在する対象物よりも受光時刻が遅くなる。
　距離情報算出部２１は、各ドットパターンについて、照射開始時刻と受光時刻との差分を算出することにより、各ドットパターンに対応する対象物までの距離を算出することが。なお、ＴｏＦセンサ１１およびＴｏＦセンサ１１の出力に基づく距離情報の算出については、公知の各種の技術を利用可能であるため詳細な説明は省略する。
　画像生成部２２は、ＥＤＳ１２によりイベント信号１２３が生成されるたびに、イベント信号１２３に基づいて画像（以下、「イベント画像」と称する）を構築し、補完情報算出部２３に出力する。
　補完情報算出部２３は、画像生成部２２により構築されたイベント画像に基づいて、距離情報算出部２１により算出された距離情報を補完する補完情報を算出する。
　図２および図３は、補完情報の算出の例について説明するための図である。図２および図３は、画像生成部２２により構築されたイベント画像の一例を示す。
　例えば、対象物が顔の前に左手をかざした人物である場合、図２および図３に示すように、イベント画像には、人物の輪郭や掌の部分など、静止していても微細な動きがあり、輝度変化が発生する部分が描画される。
　さらに、上述したように、ＴｏＦセンサ１１の照射部１１１は、格子状に配置される複数のドットパターンの光を照射する。そのため、図２に示すように、イベント画像において、人物の体の形状に応じてドットパターンが変形する。
　その後、人物が左手を顔の方に近づける、つまり、ＥＤＳ１２から遠ざけた場合、図３Ａの領域Ａ１に示すように、イベント画像におけるドットの大きさはより小さくなる方向に変化し、ドットの間隔はより広がる方向に変化する。一方、人物が左手を顔から離す、つまり、ＥＤＳ１２に近づけた場合、図３Ｂの領域Ａ２に示すように、イベント画像におけるドットの大きさはより大きくなる方向に変化し、ドットの間隔はより狭まる方向に変化する。
　補完情報算出部２３は、画像生成部２２により構築されたイベント画像におけるドットパターンの形状の変化に基づいて、距離情報を補完する補完情報を算出する。
　補完情報には、例えば、対象物の移動方向を示す情報、および対象物の移動量を示す情報等が含まれる。補完情報算出部２３は、上述したように、時系列に連続した複数のイベント画像におけるドットの大きさや間隔の変化に基づいて、対象物の移動方向、つまり、対象物がＴｏＦセンサ１１およびＥＤＳ１２に近づいているのか、遠ざかっているのかを示す情報を算出することができる。また、補完情報算出部２３は、例えば、予め対象物までの距離と所定パターンの形状の変化との関係を記憶しておき、時系列に連続した複数のイベント画像における所定パターンの形状を比較することにより、対象物のおおよその移動量を示す情報を算出することができる。つまり、補完情報算出部２３は、所定パターンの形状の変化として、ドットパターンの大きさの変化や、ドットパターンの位置の変化等に基づいて、補完情報を算出する。そして、補完情報算出部２３は、算出した補完情報を距離情報算出部２１に出力する。
　距離情報算出部２１は、上述したように、ＴｏＦセンサ１１の出力に基づいて、各ドットパターンについて照射開始時刻と受光時刻との差分を算出することにより、各ドットパターンに対応する対象物までの距離を算出する。しかし、この算出方法による距離情報の算出頻度にはある程度（例えば３０フレーム／秒）の限界があり、それ以上のフレームレートで距離情報を算出することは困難である。
　そこで、距離情報算出部２１は、補完情報算出部２３により算出した補完情報に基づいて、距離情報を補完することにより時間軸方向の高フレームレート化を実現する。
　距離情報算出部２１は、ＴｏＦセンサ１１の出力に基づいて距離情報を算出してから、次にＴｏＦセンサ１１の出力に基づく距離情報を算出するまでの間は、前回算出した距離情報と補完情報とに基づいて、最新の距離情報を算出する。
　つまり、前回算出した距離情報に対して、上述した対象物の移動方向を示す情報、および対象物の移動量を示す情報を適用することにより、最新の距離情報を算出することができる。
　イベント信号１２３は、即時性が相対的に高く、また、輝度変化を検出した際にのみ生成される。そのため、イベント信号１２３が生成されるたびにイベント画像を構築し、補完情報を算出することにより、ＴｏＦセンサ１１の出力に基づく距離情報の算出頻度を時間軸方向において高フレームレート化し、距離情報の算出の精度を向上させることができる。
　図４は、本発明の第１実施形態に係る処理の例を示すフローチャートである。図示された例では、ＥＤＳ１２のセンサ１２１がイベント信号１２３を生成すると（ステップＳ１０１ＹＥＳ）、情報処理装置２０の画像生成部２２がイベント画像を構築する（ステップＳ１０２）。次に、補完情報算出部２３が所定パターンの形状を比較し（ステップＳ１０３）、対象物の移動方向を検出する（ステップＳ１０４）とともに、対象物の移動量を算出する（ステップＳ１０５）。そして、補完情報算出部２３は、算出した補完情報を距離情報算出部２１に出力する。
　なお、ステップＳ１０４の移動方向の検出処理、およびステップＳ１０５の移動量の算出処理は、補完情報の算出処理であるが、逆順で実行されてもよいし、同時に実行されてもよい。補完情報の算出処理については、移動方向の検出処理および移動量の算出処理の何れか一方のみを実行する構成としてもよいし、移動方向および移動量以外の情報を補完情報として算出する構成としてもよい。また、補完情報として算出する情報は、使用目的等に応じて設定されてもよいし、ユーザー操作に基づいて設定されてもよい。
　情報処理装置２０の各部は、上記のステップＳ１０１からＳ１０６の処理を繰り返すことによって、イベント信号１２３が生成されるタイミングで補完情報を算出することができる。
　図５は、本発明の第１実施形態に係るシステム１の別の処理の例を示すフローチャートである。図示された例では、図４を参照して説明した補完情報に応じて、距離情報の算出処理を実行する。
　ＴｏＦセンサ１１によって赤外光が照射され受光されると（ステップＳ２０１ＹＥＳ）、距離情報算出部２１は、照射部１１１による照射開始時刻と受光部１１２による受光時刻との差分に基づいて、対象物までの距離情報を算出する（ステップ２０２）。一方、所定の時間が経過しても赤外光が照射され受光されない場合（ステップＳ２０１ＮＯ）、距離情報算出部２１は、補完情報算出部２３から補完情報を取得したか否かを判定し、補完情報を取得したと判定すると（ステップ２０３ＹＥＳ）、距離情報算出部２１は、補完情報に基づいて、前回算出した距離情報を補完することにより、最新の補完情報を算出する（ステップＳ２０４）。なお、所定の時間は、ＴｏＦセンサ１１の出力に基づく距離情報の算出頻度に応じて設定されるとよい。
　そして、距離情報算出部２１は、ステップＳ２０２またはステップＳ２０４で算出した距離情報を情報処理装置２０から出力する（ステップＳ２０５）。
　情報処理装置２０の各部は、上記のステップＳ２０１からＳ２０５の処理を繰り返すことによって、補完情報を適宜利用しつつ距離情報を算出することができる。
　以上で説明したような本発明の第１実施形態では、所定パターンの光が照射された対象物について、対象物までの距離情報を算出する第１の算出部である距離情報算出部２１と、イベントベースのセンサであるセンサ１２１が出力するイベント信号１２３のうち、対象物からの反射光に応じて出力されたイベント信号１２３に基づいてイベント画像を構築する画像生成部２２と、イベント画像における所定パターンの形状の変化に基づいて、距離情報を補完する補完情報を算出する第２の算出部である補完情報算出部２３とを備える。
　したがって、時間分解能が相対的に高いイベント信号１２３に基づいて補完情報を算出することにより、算出頻度にある程度の限界があるＴｏＦセンサ１１の出力に基づく距離情報を補完することができる。そして、イベントベースのセンサを用いて距離情報を補完する補完情報を算出することによって、時間軸方向の高フレームレート化を実現し、距離情報の算出の精度を向上させることができる。
　また、本発明の第１実施形態では、所定パターンの光は、赤外光であり、距離情報算出部２１は、赤外光の照射開始時刻と受光時刻との差分に基づいて、距離情報を算出する。つまり、ＥＤＳ１２との組み合わせによって、ＴｏＦセンサ１１において照射される赤外光の反射光を有効利用し、距離情報の算出の精度を向上させることができる。
　また、本発明の第１実施形態では、補完情報は、対象物の移動方向、または対象物の移動量を示す情報である。したがって、イベント信号１２３の特性を利用することにより、処理負荷を増やすことなく、距離情報を補完する際に有用な補完情報を算出することができる。
＜第２実施形態＞
　以下、図面を参照して本発明の第２実施形態について説明する。第２実施形態では、第１実施形態と異なる部分についてのみ説明し、第１実施形態と同様の部分については説明を省略する。また、第２実施形態においては、第１実施形態と実質的に同一の機能構成を有する構成要素については、同一の符号を付す。
　図６は、本発明の第２実施形態に係るシステム２の概略的な構成を示すブロック図である。
　第２実施形態に係るシステム２は、図６に示すように、第１実施形態のシステム１に加えて、ＲＧＢカメラ１３を備えるシステムである。また、システム２は、第１実施形態のシステム１の情報処理装置２０に代えて、情報処理装置３０を含む。
　ＲＧＢカメラ１３は、フレームベースのビジョンセンサであるイメージセンサ１３１と、イメージセンサ１３１に接続される処理回路１３２とを含む。イメージセンサ１３１は、例えば所定の周期で、またはユーザー操作に応じた所定のタイミングで全ピクセルを同期的にスキャンすることによってＲＧＢ画像信号１３３を生成する。処理回路１３２は、例えばＲＧＢ画像信号１３３を保存および伝送に適した形式に変換する。また、処理回路１３２は、ＲＧＢ画像信号１３３にタイムスタンプ１３４を与える。ＲＧＢカメラ１３により生成されるＲＧＢ画像信号１３３は、情報処理装置３０に出力される。
　本実施形態において、ＲＧＢ画像信号１３３に与えられるタイムスタンプ１３４と、ＥＤＳ１２により生成されるイベント信号１２３に与えられるタイムスタンプ１２４とは同期している。具体的には、例えば、ＥＤＳ１２でタイムスタンプ１２４を生成するために用いられる時刻情報をＲＧＢカメラ１３に提供することによって、タイムスタンプ１３４をタイムスタンプ１２４に同期させることができる。あるいは、タイムスタンプ１３４，１２４を生成するための時刻情報がＲＧＢカメラ１３とＥＤＳ１２とでそれぞれ独立している場合、特定のイベント（例えば、画像全体にわたる被写体の変化）が発生した時刻を基準にしてタイムスタンプのオフセット量を算出することによって、事後的にＲＧＢカメラ１３におけるタイムスタンプ１３４とＥＤＳ１２におけるタイムスタンプ１２４とを同期させることができる。
　また、本実施形態では、事前に実行されると、ＴｏＦセンサ１１とＥＤＳ１２とＲＧＢカメラ１３とのキャリブレーション手順によって、ＴｏＦセンサ１１とＥＤＳ１２とＲＧＢカメラ１３とが対応付けられる。例えば、ＥＤＳ１２のセンサ１２１がＲＧＢ画像信号１３３の１または複数のピクセルに対応付けられ、イベント信号１２３はＲＧＢ画像信号１３３の１または複数のピクセルにおける光の強度変化に応じて生成される。より具体的には、例えば、ＴｏＦセンサ１１とＥＤＳ１２とＲＧＢカメラ１３とで共通の校正パターンを撮像し、ＴｏＦセンサ１１とＥＤＳ１２とＲＧＢカメラ１３とのぞれぞれの内部パラメータおよび外部パラメータからカメラとセンサとの間の対応パラメータを算出することによって、ＴｏＦセンサ１１の受光部１１２とイベント信号１２３とＲＧＢ画像信号１３３とを対応付けることができる。
　情報処理装置３０は、第１実施形態の情報処理装置２０の距離情報算出部２１に代えて距離情報算出部３１を含み、画像生成部２２および補完情報算出部２３に代えて画像生成部３２、特定部３３、およびトラッキング部３４を含む。
　情報処理装置３０の画像生成部３２は、ＲＧＢカメラ１３によりＲＧＢ画像信号１３３が生成されるたびに、ＲＧＢ画像信号１３３に基づいて画像（以下、「ＲＧＢ画像」と称する）を生成し、特定部３３に出力する。
　特定部３３は、画像生成部３２により生成されたＲＧＢ画像において少なくとも１つの矩形領域を特定する。矩形領域の特定は、公知の線分検出技術（Line Segmentation）を利用可能であるため詳細な説明は省略する。
　図７は、矩形領域の特定について説明する図である。図７は、画像生成部３２により生成されたＲＧＢ画像の一例を示す。特定部３３は、線分検出技術によってＲＧＢ画像における線分を検出し、複数の線分の相関に応じて矩形領域を特定する。図７の例では、額縁の縁の部分が矩形領域Ｒ１として特定される例を示す。特定部３３は、特定した矩形領域を示す情報を距離情報算出部３１およびトラッキング部３４の両方に出力する。なお、ＲＧＢ画像に複数の矩形領域が存在する場合、特定部３３は、それぞれの矩形領域を区別して特定する。
　トラッキング部３４は、イベント信号１２３に基づいて、特定部３３により特定された矩形領域に対応する対象領域をトラッキングする。なお、特定部３３により複数の矩形領域が特定されている場合、トラッキング部３４は、各矩形領域を対象領域としてトラッキングを行う。なお、イベント信号１２３は、バッファに蓄積されたものであってもよいし、第１実施形態と同様にイベント画像として構築されたものであってもよい。例えば、同一また一定レンジ内のタイムスタンプでグルーピングし、イベントの有無、イベントの極性等を示すデータとしてイベント信号１２３をバッファに蓄積してもよい。
　図８は、トラッキングについて説明する図である。図８は、イベント信号１２３に基づいて構築されたイベント画像の一例を示す。
　例えば、対象物が左手で本などの矩形の物体を把持している人物である場合、図８に示すように、イベント画像には、人物の輪郭や把持している物体の輪郭など、静止していても微細な動きがあり、輝度変化が発生する部分が描画される。情報処理装置３０においては、特定部３３により矩形の物体が矩形領域Ｒ２として特定され、トラッキング部３４により矩形領域Ｒ２に対応する対象領域がトラッキングされる。
　そして、トラッキング部３４は、トラッキング結果を示すトラッキング情報を距離情報算出部３１に出力する。
　距離情報算出部３１は、第１実施形態の距離情報算出部２１と同様に、照射部１１１による照射開始時刻と受光部１１２による受光時刻との差分に基づいて、対象物までの距離情報を算出する。このとき、距離情報算出部３１は、特定部３３により出力された矩形領域を示す情報と、トラッキング部３４により出力されたトラッキング情報とを加味して距離情報を算出する。
　上述した特定部３３により特定される矩形領域は、基本的に、ある特定の平面に存在すると仮定することができる。例えば、図８の例では、人物が把持している矩形の物体に相当する矩形領域Ｒ２は、本であれば表紙面に存在すると仮定することができる。そこで、距離情報算出部３１は、矩形領域ごとに、照射部１１１による照射開始時刻と受光部１１２による受光時刻との差分に基づいて、対象物までの距離情報を算出する。つまり、ある矩形領域について、その矩形領域内のすべての点について１つの距離情報を算出する。一般に、ＴｏＦセンサ１１の出力に基づいて算出される距離情報の密度（解像度）は、ＴｏＦセンサ１１の照射部１１１により照射されるドットパターンに依存して決まる。しかし、上述したように、矩形領域の情報に応じて距離情報を算出することにより、より高密度（高解像度）で距離情報を算出することができる。
　また、ＲＧＢ画像において特定される矩形領域は、上述したように有用であるが、一方で、ＲＧＢ画像信号１３３はイベント信号１２３に比べて時間分解能が相対的に低い。そこで、距離情報算出部３１は、トラッキング部３４により出力されたトラッキング情報における対象領域に基づいて、対象領域ごとに距離情報を算出する。
　つまり、情報処理装置３０において、特定部３３がＲＧＢ画像に基づいて矩形領域を特定し、トラッキング部３４がイベント信号１２３に基づいて矩形領域を対象領域としてトラッキングし、距離情報算出部３１が対象領域ごとに距離情報を算出する。
　このように、距離情報算出部３１が、ＴｏＦセンサ１１の出力に加えて、特定部３３により出力された矩形領域を示す情報と、トラッキング部３４により出力されたトラッキング情報とに基づいて距離情報を算出することにより、ＴｏＦセンサ１１の出力に基づく距離情報の算出を高密度（高解像度）化するとともに、時間軸方向において高フレームレート化し、距離情報の算出の精度を向上させることができる。
　図９は、本発明の第２実施形態に係る処理の例を示すフローチャートである。図示された例では、ＲＧＢカメラ１３のイメージセンサ１３１がＲＧＢ画像信号１３３を生成すると（ステップＳ３０１ＹＥＳ）、情報処理装置３０の画像生成部３２がＲＧＢ画像を生成する（ステップＳ３０２）。次に、特定部３３がＲＧＢ画像における矩形領域を特定し（ステップＳ３０３）、特定した矩形領域を示す情報を距離情報算出部３１およびトラッキング部３４に出力する（ステップＳ３０４）。
　一方、所定の時間が経過してもＲＧＢ画像信号１３３が生成されない場合（ステップＳ３０１ＮＯ）、あるいは、特定部３３が特定した矩形領域を示す情報を距離情報算出部３１およびトラッキング部３４に出力した場合、ステップＳ３０５に進む。なお、所定の時間は、ＲＧＢカメラ１３のイメージセンサ１３１のフレームレート等に応じて設定されるとよい。
　ＥＤＳ１２のセンサ１２１がイベント信号１２３を生成すると（ステップＳ３０５ＹＥＳ）、情報処理装置２０のトラッキング部３４が対象領域をトラッキングし（ステップＳ３０６）、トラッキング結果を示すトラッキング情報を距離情報算出部３１に出力する（ステップＳ３０７）。
　情報処理装置３０の各部は、上記のステップＳ３０１からＳ３０７の処理を繰り返すことによって、イベント信号１２３に基づくトラッキングを実行することができる。
　図１０は、本発明の第２実施形態に係るシステム１の別の処理の例を示すフローチャートである。図示された例では、図９を参照して説明したトラッキング情報に応じて、距離情報の算出処理を実行する。
　ＴｏＦセンサ１１によって赤外光が照射され受光されると（ステップＳ４０１ＹＥＳ）、距離情報算出部３１は、照射部１１１による照射開始時刻と受光部１１２による受光時刻との差分に基づいて、対象物までの距離情報を算出する（ステップ４０２）。一方、所定の時間が経過しても赤外光が照射され受光されない場合（ステップＳ４０１ＮＯ）、距離情報算出部３１は、トラッキング部３４から補完情報を取得したか否かを判定し、トラッキング情報を取得したと判定すると（ステップ４０３ＹＥＳ）、距離情報算出部３１は、トラッキング情報に基づいて、対象領域ごとに距離情報を算出する（ステップＳ４０４）。なお、所定の時間は、ＴｏＦセンサ１１の出力に基づく距離情報の算出頻度に応じて設定されるとよい。
　そして、距離情報算出部３１は、ステップＳ４０２またはステップＳ４０４で算出した距離情報を情報処理装置３０から出力する（ステップＳ４０５）。
　情報処理装置３０の各部は、上記のステップＳ４０１からＳ４０５の処理を繰り返すことによって、トラッキング情報を適宜利用しつつ距離情報を算出することができる。
　以上で説明したような本発明の第２実施形態では、フレームベースのビジョンセンサであるイメージセンサ１３１を用いて取得されたＲＧＢ画像において少なくとも１つの矩形領域を特定する特定部３３と、イベントベースのセンサであるセンサ１２１が出力するイベント信号１２３に基づいて、矩形領域に対応する対象領域をトラッキングするトラッキング部３４と、対象領域ごとに、赤外光の照射開始時刻および受光時刻の差分に基づいて、距離情報を算出する距離情報算出部３１とを備える。
　したがって、ＴｏＦセンサ１１の照射部１１１により照射されるドットパターンに依存して決まる距離情報算出の密度（解像度）をより高密度化（高解像度化）することができる。また、時間軸方向において高フレームレート化し、距離情報の算出の精度を向上させることができる。
　なお、第２実施形態では、特定部３３が、画像生成部３２により生成されたＲＧＢ画像において矩形領域を特定する例を示したが、本発明はこの例に限定されない。例えば、特定部３３が、円形等、矩形以外の形状の領域を特定してもよい。また、特定部３３が、公知のエッジ検出などの領域検出処理により検出された領域を特定してもよい。さらに、特定部３３が、公知の背景分離処理に基づく領域を特定してもよい。また、特定部３３により特定する領域は、ユーザー操作に基づいて設定されてもよい。
＜第３実施形態＞
　以下、図面を参照して本発明の第３実施形態について説明する。第３実施形態では、第１実施形態および第２実施形態と異なる部分についてのみ説明し、第１実施形態および第２実施形態と同様の部分については説明を省略する。また、第３実施形態においては、第１実施形態および第２実施形態と実質的に同一の機能構成を有する構成要素については、同一の符号を付す。
　図１１は、システム３の概略的な構成を示すブロック図である。
　第３実施形態に係るシステム３は、図１１に示すように、第１実施形態のシステム１と第２実施形態のシステム２とを合わせた構成を備えるシステムである。また、システム３は、第１実施形態のシステム１の情報処理装置２０、および第２の実施形態のシステム２の情報処理装置３０に代えて、情報処理装置４０を含む。
　情報処理装置４０は、距離情報算出部４１、画像生成部４２、特定部４３、トラッキング部４４、画像生成部４５、および補完情報算出部４６の各部を含む。
　情報処理装置４０の画像生成部４２、特定部４３、およびトラッキング部４４の各部は、第２実施形態の情報処理装置３０における画像生成部３２、特定部３３、およびトラッキング部３４の各部と同様の構成を有する。また、情報処理装置４０の画像生成部４５、および補完情報算出部４６の各部は、第１実施形態の情報処理装置２０における画像生成部２２、および補完情報算出部２３の各部と同様の構成を有する。
　第３実施形態の情報処理装置４０は、第１実施形態の情報処理装置２０、および第２実施形態の情報処理装置３０の処理を実行する。つまり、第１実施形態において図４のフローチャートを参照して説明した補完情報の算出と、第２実施形態において図９のフローチャートを参照して説明したトラッキングの両方を実行する。
　そして、第１実施形態において説明した補完情報に、第２実施形態において説明したトラッキング情報を含ませる。そして、距離情報算出部４１が、第１実施形態において図５のフローチャートを参照して説明した補完情報に応じた距離情報の算出処理を実行することにより、第１実施形態および第２実施形態と同様の効果を得ることができる。
　なお、情報処理装置４０における詳細な処理は、第１実施形態および第２実施形態において説明した各処理の組み合わせと同様であるため、フローチャートの図示および説明を省略する。
　なお、上記の各実施形態において、ＴｏＦセンサ１１はどのような構成のものであってもよい。例えば、ｄＴｏＦ（direct Time of Flight）センサであってもよいし、ｉＴｏＦ（indirect Time of Flight）センサであってもよい。特に、ＴｏＦセンサ１１としてｄＴｏＦセンサを用いる場合、反射率が低い対象物や、遠方の対象物に関しても精度よく距離情報を算出可能であり、省電力であるという特性を有するｄＴｏＦセンサについて、距離情報の算出の精度をより向上させることができる。
　また、上記の各実施形態において、ＴｏＦセンサ１１は、赤外線レーザー光源を含み、所定パターンの赤外光を照射光として照射する例を示したが、本発明はこの例に限定されない。例えば、照射光は、用途に応じて、紫外光であってもよいし、可視光であってもよい。
　また、上記の各実施形態において、ＥＤＳおよびＲＧＢカメラの数は同数であってもよいし、異なる数であってもよい。また、ＥＤＳおよびＲＧＢカメラの数は、それぞれ１つであってもよいし、複数であってもよい。例えば、複数のＲＧＢカメラを備える場合には、ＲＧＢ画像信号を生成する被写界のレンジを拡大したり、複数のＲＧＢ画像信号から人物の状態を三次元で推定したりすることができる。また、例えば、複数のＥＤＳを備える場合には、イベント信号を生成する被写界のレンジを拡大したり、複数のイベント信号に基づいて、人物の三次元の移動量を算出したりすることができる。
　また、上記の各実施形態で説明した距離情報は、どのように利用されてもよい。例えば、ユーザーの動きをＣＧ（Computer graphics）モデルの描写に用いるレンダリングシステム、ユーザーの動きをロボット等により再現するミラーリングシステム、コントローラ同様にユーザー操作を受け付けるゲーミングシステム等に利用してもよい。
　また、対象物は人物である例を示したが、人物以外に、例えば、所定の車両、機械、生物などを対象物とする場合、および所定のマーカーなどを対象物とする場合にも本発明を同様に適用することができる。
　また、上記の各実施形態で説明されたシステム１、システム２、およびシステム３は、単一の装置内で実装されてもよいし、複数の装置に分散して実装されてもよい。例えば、ＴｏＦセンサ１１およびカメラ（ＲＧＢカメラおよびＥＤＳ）を含むカメラユニットと、情報処理装置とからなるシステムであってもよい。また、カメラユニットは、ＨＭＤユニットなど、ユーザーの体に装着可能なユニットであってもよい。
　さらに、情報処理装置における処理の一部または全部は、インターネット通信網や、無線によって通信可能に接続されたサーバ（例えば、クラウドサーバ）により実行されてもよい。
　以上、添付図面を参照しながら本発明のいくつかの実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
　１・２・３…システム、１１…ＴｏＦセンサ、１２…ＥＤＳ、１３…ＲＧＢカメラ、２０・３０・４０…情報処理装置、２１・３１・４１…距離情報算出部、２２・３２・４２・４５…画像生成部、２３・４６…補完情報算出部、３３・４３…特定部、３４・４４…トラッキング部、１１１…照射部、１１２…受光部、１１３…ＴｏＦ制御部、１２１…センサ、１２２・１３２…処理回路、１２３…イベント信号、１３１…イメージセンサ、１３３…ＲＧＢ画像信号。
 

Claims (14)

  1. 　所定パターンの光が照射された対象物について、前記対象物までの距離情報を算出する第１の算出部と、
    　イベントベースのセンサが出力するイベント信号のうち、前記対象物からの反射光に応じて出力された前記イベント信号に基づいて画像を構築する生成部と、
    　前記画像における前記所定パターンの形状の変化に基づいて、前記距離情報を補完する補完情報を算出する第２の算出部と
    　を備える情報処理装置。
  2. 　前記所定パターンの光は、赤外光であり、
    　前記第１の算出部は、前記赤外光の照射開始時刻と受光時刻との差分に基づいて、前記距離情報を算出する、請求項１に記載の情報処理装置。
  3. 　前記補完情報は、前記対象物の移動方向を示す情報である、請求項１または請求項２に記載の情報処理装置。
  4. 　前記補完情報は、前記対象物の移動量を示す情報である、請求項１から請求項３のいずれか一項に記載の情報処理装置。
  5. 　前記所定パターンは、図形を含み、
    　前記所定パターンの形状の変化は、前記図形の大きさの変化と、前記図形の位置の変化との少なくとも一方を含む、請求項１から請求項４のいずれか一項に記載の情報処理装置。
  6. 　イベントベースのセンサと、
    　対象物に所定パターンの光を照射する照射部と、
    　　所定パターンの光が照射された対象物について、前記対象物までの距離情報を算出する第１の算出部と、
    　　前記センサが出力するイベント信号のうち、前記反射光に応じて出力された前記イベント信号に基づいて画像を構築する生成部と、
    　　前記画像における前記所定パターンの形状の変化に基づいて、前記距離情報を補完する補完情報を算出する第２の算出部とを有する情報処理装置と
    　を備えるシステム。
  7. 　前記反射光を受光する受光部をさらに備え、
    　前記照射部は、赤外光を照射し、
    　前記第１の算出部は、前記赤外光の照射開始時刻と受光時刻との差分に基づいて、前記距離情報を算出する、請求項６に記載のシステム。
  8. 　前記補完情報は、前記対象物の移動方向を示す情報である、請求項６または請求項７に記載のシステム。
  9. 　前記補完情報は、前記対象物の移動量を示す情報である、請求項６から請求項８のいずれか一項に記載のシステム。
  10. 　前記所定パターンは、図形を含み、
    　前記所定パターンの形状の変化は、前記図形の大きさの変化と、前記図形の位置の変化との少なくとも一方を含む、請求項６から請求項９のいずれか一項に記載のシステム。
  11. 　前記情報処理装置は、サーバである、請求項６から請求項１０のいずれか一項に記載のシステム。
  12. 　所定パターンの光が照射された対象物について、前記対象物までの距離情報を算出する第１の算出ステップと、
    　イベントベースのセンサが出力するイベント信号のうち、前記対象物からの反射光に応じて出力された前記イベント信号に基づいて画像を構築する生成ステップと、
    　前記画像における前記所定パターンの形状の変化に基づいて、前記距離情報を補完する補完情報を算出する第２の算出ステップと
    　を含む情報処理方法。
  13. 　所定パターンの光が照射された対象物について、前記対象物までの距離情報を算出する機能と、
    　イベントベースのセンサが出力するイベント信号のうち、前記対象物からの反射光に応じて出力された前記イベント信号に基づいて画像を構築する機能と、
    　前記画像における前記所定パターンの形状の変化に基づいて、前記距離情報を補完する補完情報を算出する機能と
    　をコンピュータに実現させる情報処理プログラム。
  14. 　プログラムコードを記憶するためのメモリ、および前記プログラムコードを処理して動作を実行するためのプロセッサを備え、前記動作は、
    　所定パターンの光が照射された対象物について、前記対象物までの距離情報を算出し、
    　イベントベースのセンサが出力するイベント信号のうち、前記対象物からの反射光に応じて出力された前記イベント信号に基づいて画像を構築し、
    　前記画像における前記所定パターンの形状の変化に基づいて、前記距離情報を補完する補完情報を算出することを含むコンピュータシステム。
     
PCT/JP2022/016251 2022-03-30 2022-03-30 情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム WO2023188183A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/016251 WO2023188183A1 (ja) 2022-03-30 2022-03-30 情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/016251 WO2023188183A1 (ja) 2022-03-30 2022-03-30 情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム

Publications (1)

Publication Number Publication Date
WO2023188183A1 true WO2023188183A1 (ja) 2023-10-05

Family

ID=88199732

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/016251 WO2023188183A1 (ja) 2022-03-30 2022-03-30 情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム

Country Status (1)

Country Link
WO (1) WO2023188183A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013104784A (ja) * 2011-11-14 2013-05-30 Mitsubishi Electric Corp 光３次元カメラ
JP2014535098A (ja) * 2011-10-14 2014-12-25 サムスン エレクトロニクス カンパニー リミテッド イベント基盤ビジョンセンサを用いた動作認識装置及び方法
US20190045173A1 (en) * 2017-12-19 2019-02-07 Intel Corporation Dynamic vision sensor and projector for depth imaging
JP2020030189A (ja) * 2018-08-24 2020-02-27 独立行政法人日本スポーツ振興センター 位置計測システム、及び位置計測方法
WO2020255399A1 (ja) * 2019-06-21 2020-12-24 株式会社ソニー・インタラクティブエンタテインメント 位置検出システム、画像処理装置、位置検出方法および位置検出プログラム
JP2021032763A (ja) * 2019-08-27 2021-03-01 ソニー株式会社 測距システム及び電子機器
WO2021176873A1 (ja) * 2020-03-03 2021-09-10 ソニーグループ株式会社 情報処理装置と情報処理方法およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014535098A (ja) * 2011-10-14 2014-12-25 サムスン エレクトロニクス カンパニー リミテッド イベント基盤ビジョンセンサを用いた動作認識装置及び方法
JP2013104784A (ja) * 2011-11-14 2013-05-30 Mitsubishi Electric Corp 光３次元カメラ
US20190045173A1 (en) * 2017-12-19 2019-02-07 Intel Corporation Dynamic vision sensor and projector for depth imaging
JP2020030189A (ja) * 2018-08-24 2020-02-27 独立行政法人日本スポーツ振興センター 位置計測システム、及び位置計測方法
WO2020255399A1 (ja) * 2019-06-21 2020-12-24 株式会社ソニー・インタラクティブエンタテインメント 位置検出システム、画像処理装置、位置検出方法および位置検出プログラム
JP2021032763A (ja) * 2019-08-27 2021-03-01 ソニー株式会社 測距システム及び電子機器
WO2021176873A1 (ja) * 2020-03-03 2021-09-10 ソニーグループ株式会社 情報処理装置と情報処理方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MUGLIKAR MANASI; GALLEGO GUILLERMO; SCARAMUZZA DAVIDE: "ESL: Event-based Structured Light", 2021 INTERNATIONAL CONFERENCE ON 3D VISION (3DV), IEEE, 1 December 2021 (2021-12-01), pages 1165 - 1174, XP033999042, DOI: 10.1109/3DV53792.2021.00124 *

Similar Documents

Publication Publication Date Title
JP5054008B2 (ja) 複数の観察者の眼のトラッキングとリアルタイム検出のための方法と回路
JP6377863B2 (ja) 反射マップ表現による奥行きマップ表現の増補
JP2018179911A (ja) 測距装置及び距離情報取得方法
CN108683902B (zh) 目标图像获取系统与方法
US11143879B2 (en) Semi-dense depth estimation from a dynamic vision sensor (DVS) stereo pair and a pulsed speckle pattern projector
WO2015098288A1 (ja) 画像処理装置、および画像処理方法
KR20110084029A (ko) 3차원 영상 획득 장치 및 방법
US20190266425A1 (en) Identification apparatus, identification method, and non-transitory tangible recording medium storing identification program
WO2018223153A1 (en) System and method for active stereo depth sensing
JP2008243184A (ja) 濃淡画像の輪郭補正処理方法及びその装置
EP2476999B1 (en) Method for measuring displacement, device for measuring displacement, and program for measuring displacement
GB0324179D0 (en) Device for scanning three-dimensional objects
WO2023188183A1 (ja) 情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム
WO2023188184A1 (ja) 情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム
WO2021111747A1 (ja) 画像処理装置、監視システム、及び画像処理方法
WO2020255399A1 (ja) 位置検出システム、画像処理装置、位置検出方法および位置検出プログラム
WO2022107647A1 (ja) 情報処理装置、システム、情報処理方法および情報処理プログラム
US20230386082A1 (en) Unified calibration between dvs and camera
US20240015402A1 (en) Tracking camera, tracking camera systems, and operation thereof
US11501408B2 (en) Information processing apparatus, information processing method, and program
JP7269515B2 (ja) 映像生成装置、映像生成方法、及び映像生成プログラム
JP7191236B2 (ja) 画像処理装置、画像処理方法およびプログラム
TWI837854B (zh) 深度處理系統及其操作方法
WO2019047841A1 (zh) 一种解决3d视觉设备之间相互干扰的方法及装置
JP7311597B2 (ja) システム、位置検出装置、位置検出方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22935328

Country of ref document: EP

Kind code of ref document: A1