WO2021111747A1 - 画像処理装置、監視システム、及び画像処理方法 - Google Patents

画像処理装置、監視システム、及び画像処理方法 Download PDF

Info

Publication number
WO2021111747A1
WO2021111747A1 PCT/JP2020/039378 JP2020039378W WO2021111747A1 WO 2021111747 A1 WO2021111747 A1 WO 2021111747A1 JP 2020039378 W JP2020039378 W JP 2020039378W WO 2021111747 A1 WO2021111747 A1 WO 2021111747A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
image
camera
time
information
Prior art date
Application number
PCT/JP2020/039378
Other languages
English (en)
French (fr)
Inventor
幸介 森泉
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to US17/774,511 priority Critical patent/US20220373683A1/en
Priority to JP2021562486A priority patent/JPWO2021111747A1/ja
Priority to EP20896552.5A priority patent/EP4071516A4/en
Publication of WO2021111747A1 publication Critical patent/WO2021111747A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section

Definitions

  • the present disclosure relates to an image processing device, a monitoring system, and an image processing method.
  • An image processing device that detects the position of an object existing in the imaging region based on an image taken by a camera or the like is known.
  • This type of image processing device accurately grasps the position of a person or a working machine (hereinafter collectively referred to as "moving object"), analyzes the behavior or movement of the moving body, or analyzes the behavior or movement of the moving body. It is expected to be applied to predictive applications.
  • a laser radar Light Detection And Ringing: LiDAR
  • LiDAR Light Detection And Ringing
  • FIG. 1 is a diagram showing an example of a distance image generated by a laser radar.
  • a laser radar emits a laser beam and measures the time (TOF: Time of Flight) until the laser beam is reflected by an object and returns to measure the distance from its own position to the position of the object. Ask. Then, the laser radar generates image data related to the distance image by performing such processing while scanning within a predetermined range in which the monitored area is reflected. Since such a distance image includes information on the three-dimensional position of each part of the moving body, it is useful for recognizing the posture and movement of the moving body.
  • TOF Time of Flight
  • Patent Document 1 recognizes a moving object by measuring the surrounding environment using a laser radar and clustering and analyzing point cloud-grouped AF points, thereby trying to grasp the position of the moving object. The technology is disclosed.
  • the distance image has lower resolution in the horizontal direction and the vertical direction than the camera image generated by a general visible camera, and does not include color information of the object to be imaged. Therefore, it is not desirable to provide the distance image as it is in order for the user to visually recognize the state of the monitored area.
  • the inventors of the present application are considering adding information on a moving object detected from a distance image to the image data of the camera image.
  • the present invention has been made in view of the above problems, and is an image processing device, a monitoring system, and an image processing capable of adding information on an object detected from a distance image to the image data of a camera image.
  • the purpose is to provide a method.
  • the main invention for solving the above-mentioned problems is A first image acquisition unit that acquires first image data including a distance image of one of a plurality of distance images continuously generated in time, and a first image acquisition unit.
  • a second image acquisition unit that acquires second image data including one camera image among a plurality of camera images that are continuously generated at a frame rate different from that of the first image data.
  • Department and It is an image processing apparatus provided with.
  • a laser radar that generates the first image data
  • a camera that generates the second image data
  • An image processing device that associates the first image data generated by the laser radar with the second image data generated by the camera. It is a monitoring system that has.
  • the first image data including one of the plurality of distance images generated continuously in time, and obtain the first image data.
  • the second image data including one camera image among the plurality of camera images generated continuously in time at a frame rate different from that of the first image data is acquired. Based on the time when the first image data is generated and the time when the second image data is generated, a process of associating the information of the distance image included in the first image data with the second image data is performed. This is an image processing method.
  • the image processing apparatus it is possible to add information on an object detected from a distance image to the image data of the camera image.
  • Diagram showing an example of a distance image generated by a laser radar The figure which shows an example of the monitoring system which concerns on 1st Embodiment
  • the figure explaining the process of the object information addition part which concerns on 1st Embodiment The figure which shows an example of the camera image data which the moving body information was given by the object information giving part which concerns on 1st Embodiment.
  • the figure which shows an example of the structure of the image processing apparatus which concerns on 2nd Embodiment The figure explaining the operation of the data compression part which concerns on 2nd Embodiment
  • FIG. 2 is a diagram showing an example of the monitoring system U according to the present embodiment.
  • the monitoring system U according to the present embodiment is applied to an application for detecting a moving object (here, a person M1) invading the monitored area.
  • a moving object here, a person M1
  • the monitoring system U includes an image processing device 100, a laser radar 200, a camera 300, and a terminal device 400.
  • the laser radar 200 for example, emits a laser beam and measures the time (TOF: Time of Flight) until the laser beam is reflected by the object and returns, so that the distance from its own position to the position of the object is measured. Ask for.
  • the laser radar 200 generates image data related to a distance image (hereinafter, abbreviated as "distance image data") by performing such processing while scanning within a predetermined range in which a monitored area is projected. Then, the laser radar 200 continuously generates distance image data in frame units, and outputs the distance image data (that is, moving images) arranged in time series to the image processing device 100.
  • the laser radar 200 continuously generates distance image data at a frame rate of, for example, 10 fps (frames per second).
  • the distance image is an image in which each scanning position is a pixel and the measurement data (for example, distance and reflection intensity) of the laser radar 200 is associated with each pixel as a pixel value (also referred to as point group data).
  • the distance image shows the position of the object in three dimensions (for example, the horizontal direction, the vertical direction, and the depth direction) in the monitored area.
  • the position of the object is set in the three-dimensional Cartesian coordinate system (X,). It is represented by Y, Z).
  • the camera 300 is, for example, a general visible camera, and AD-converts an image signal generated by its own image sensor to generate image data related to the camera image (hereinafter, referred to as “camera image data”). .. Then, the camera 300 continuously generates camera image data in frame units, and outputs the camera image data (that is, moving images) arranged in time series to the image processing device 100. The camera 300 continuously generates camera image data at a frame rate of, for example, 30 fps. Further, the camera 300 is configured to have a variable frame rate in the range of, for example, 30 fps to 120 fps.
  • the camera image is, for example, an image in which a luminance value for each of RGB (for example, a luminance value of 256 gradations for each of RGB) is associated as a pixel value for each pixel.
  • a luminance value for each of RGB for example, a luminance value of 256 gradations for each of RGB
  • the laser radar 200 and the camera 300 are installed at appropriate positions near the monitoring target area so as to image the same monitoring target area.
  • the image processing device 100 detects a moving object (person M1 in FIG. 2) existing in the monitored area based on the distance image data generated by the laser radar 200. Then, the image processing device 100 converts information related to the moving object (for example, position information, movement locus information, size information, etc.) (hereinafter, referred to as “moving object information”) into the camera image data generated by the camera 300. It is given and transmitted to the terminal device 400.
  • a moving object person M1 in FIG. 2
  • the image processing device 100 converts information related to the moving object (for example, position information, movement locus information, size information, etc.) into the camera image data generated by the camera 300. It is given and transmitted to the terminal device 400.
  • FIG. 3 is a diagram showing a hardware configuration of the image processing device 100 according to the present embodiment.
  • the image processing device 100 has a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, an external storage device (for example, a flash memory) 104, and a communication interface 105 as main components. It is a computer equipped with such as.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • a communication interface 105 as main components. It is a computer equipped with such as.
  • Each function described later in the image processing device 100 is realized by, for example, the CPU 101 referring to a control program (for example, an image processing program) stored in the ROM 102, the RAM 103, the external storage device 104, or the like and various data.
  • a part or all of each function may be realized by processing by DSP (Digital Signal Processor) instead of or together with processing by CPU.
  • a part or all of each function may be realized by processing by a dedicated hardware circuit (for example, ASIC or FPGA) instead of or together with the processing by software.
  • the image processing device 100 is arranged in a state of being built in the housing of the camera 300.
  • the image processing device 100 is connected to each of the laser radar 200 and the camera 300 by communication, and is configured to be able to acquire distance image data and camera image data from each of the laser radar 200 and the camera 300.
  • the terminal device 400 is a general computer, and displays camera image data received from the image processing device 100 on a monitor.
  • the terminal device 400 displays, for example, a composite image of the camera image with a marker indicating the position of the detected moving object in the monitored area on the monitor (see FIG. 7).
  • FIG. 4 is a diagram showing a functional block of the image processing device 100 according to the present embodiment.
  • the arrows in FIG. 4 represent the flow of data.
  • the image processing device 100 includes a first image acquisition unit 10, a second image acquisition unit 20, a first time stamp addition unit 30, a second time stamp addition unit 40, an analysis unit 50, and an object information addition unit 60. There is.
  • the first image acquisition unit 10 sequentially acquires distance image data continuously generated in time from the laser radar 200. That is, the first image acquisition unit 10 sequentially acquires the distance image data at the frame rate interval (here, 10 fps) at which the distance image data is generated.
  • the frame rate interval here, 10 fps
  • the second image acquisition unit 20 sequentially acquires camera image data continuously generated in time from the camera 300. That is, the second image acquisition unit 20 sequentially acquires the camera image data at the frame rate interval (here, 30 fps) at which the camera image data is generated.
  • the first time stamp adding unit 30 adds a time stamp to the distance image data.
  • the laser radar 200 sequentially transmits the distance image data generated by the laser radar 200 to the image processing device 100, and the time stamp given to each distance image data by the first time stamping unit 30 is , The timing at which each distance image data is generated will be indicated.
  • the second time stamp adding unit 40 adds a time stamp to the image data.
  • the camera 300 sequentially transmits the camera image data generated by the camera 300 to the image processing device 100, and the time stamp given to each camera image data by the second time stamp adding unit 40 is It indicates the timing at which each camera image data is generated.
  • the first time stamping unit 30 and the second time stamping unit 40 add the time indicated by the time measuring unit (not shown) built in the image processing device 100 to the image data as a time stamp. That is, the time stamp given to the distance image data and the time stamp given to the camera image data indicate the time on a common time axis.
  • the time measuring unit built in the image processing device 100 can specify, for example, the generation timing of each distance image data of the time-series distance image data and the generation timing of each camera image data of the time-series camera image data. As you can see, it counts in millisecond units.
  • the analysis unit 50 detects a moving object existing in the monitored area based on the distance image data arranged in time series, and generates moving object information Da.
  • the analysis unit 50 detects a moving object reflected in each frame of the distance image data arranged in time series, assigns an ID to each moving object, and associates the position where the moving object exists with the ID.
  • the method by which the analysis unit 50 detects a moving object in the distance image may be any known method.
  • the analysis unit 50 may detect a moving object by, for example, taking a difference between the frame of interest and the previous frame. Further, even if the analysis unit 50 detects a moving object (for example, a person or a car) by pattern matching based on, for example, the feature amount (for example, shape and size) of clusters of AF points in a distance image. Good.
  • the analysis unit 50 calculates, for example, the degree of association between the moving object detected in the attention frame and the moving object detected in the previous frame, and based on the degree of association, the moving object detected in the attention frame and the previous frame. Determine the identity with the moving object detected in.
  • the analysis unit 50 detects the moving body detected in the attention frame in the previous frame. The same ID is given to the moving body, and if the moving body detected in the frame of interest and the moving body detected in the previous frame are not the same, a new ID is given to the moving body detected in the frame of interest. .. In this way, the analysis unit 50 detects and tracks the moving object reflected in each frame separately.
  • the method by which the analysis unit 50 determines the identity of each moving object between different frames may be any known method.
  • the analysis unit 50 may, for example, describe the distance between the object detected in the frame of interest and the object detected in the previous frame, the size similarity between the two, the shape similarity between the two, and the distance between the two.
  • the degree of relevance between the two is calculated based on the similarity of colors and the similarity of the moving speed between the two. Then, when the association is equal to or greater than a predetermined value, the analysis unit 50 determines that the moving body detected in the frame of interest and the moving body detected in the previous frame are the same.
  • the moving object information Da generated by the analysis unit 50 is, for example, as shown in FIG. 5, data indicating the position of the moving object (here, the three-dimensional coordinate position) in each frame of the distance image data arranged in time series. is there.
  • the moving body information Da may include information on the size of the moving body, information on the area where the moving body exists, information on the type of the moving body, and the like.
  • the object information adding unit 60 adds the moving object information Da generated based on the distance image data to the camera image data. At this time, the object information adding unit 60 determines the generation timing of the distance image data and the time of the camera image data based on the time of the time stamp attached to the distance image data and the time of the time stamp attached to the camera image data. Identify the temporal correspondence with the generation timing. As a result, the object information adding unit 60 adds the moving body information Da to the camera image data generated at substantially the same timing as the timing at which the distance image data that is the source of the moving body information Da is generated.
  • FIG. 6 is a diagram for explaining the processing of the object information adding unit 60.
  • FIG. 6 shows a time chart and a camera 300 showing the timing when the laser radar 200 generates the distance image data (here, the timing when the time is stamped by the first time stamp unit 30) on a common time axis.
  • a time chart showing the timing of generating the camera image data (here, the timing of being time stamped by the second time stamp unit 40) and the data flow of the camera image data to which the moving object information Da is added are shown. ..
  • Da1 and Da2 in FIG. 6 represent moving object information Da related to the distance image data generated at the timing indicated by the arrow.
  • Db1, Db2, Db3, Db4, and Db5 in FIG. 6 represent camera image data generated at the timing indicated by the arrow.
  • the object information adding unit 60 compares the time of the time stamp attached to each of the distance image data arranged in the time series with the time of the time stamp attached to each of the camera image data arranged in the time series. Then, based on whether or not the difference ( ⁇ t) is within the reference time width, the simultaneity between the generation timing of the distance image data and the generation timing of the camera image data is determined. Then, when the difference ( ⁇ t) is within the reference time width, the object information adding unit 60 specifies that the generation timing of the distance image data and the generation timing of the camera image data are substantially the same timing, and the object information addition unit 60 determines that the timing is substantially the same. Moving object information Da related to the distance image data is added to the camera image data.
  • the "reference time width" for specifying the temporal correspondence between the distance image data and the camera image data is, for example, a time shorter than the frame interval in which the distance image data is generated and the camera image.
  • a time width (eg, 9 msec) shorter than the frame interval at which the data is generated is set.
  • FIG. 6 shows an embodiment in which the object information adding unit 60 stores the moving object information Da1 in the header storage area of the camera image data Db1 and stores the moving object information Da2 in the header storage area of the camera image data Db4. .
  • the object information adding unit 60 assigns (that is, stores) only the moving body information Da to the camera image data, but the object information giving unit 60 gives the moving body information Da to the camera image data.
  • distance image data may be attached (that is, stored).
  • the object information adding unit 60 includes, for example, the time-series distance image data output from the analysis unit 50, the moving object information Da of the distance image data, and the time-series camera output from the first time stamping unit 30.
  • a memory for example, RAM 103 in which the image data is temporarily stored, the correspondence between the generation timing of the distance image data and the generation timing of the camera image data is specified.
  • FIGS. 7 and 8 are diagrams showing another example of camera image data to which moving object information Da is added by the object information adding unit 60.
  • 7 and 8 are composite images in which a marker generated based on the moving object information Da is added to the camera image.
  • Rall is the entire image area of the camera image
  • R1 is a marker indicating the existence position of the moving body M1
  • R2 is a marker indicating the movement locus of the moving body M1.
  • the object information adding unit 60 assigns the moving object information Da to the camera image data, as shown in FIGS. 7 and 8, a composite in which a marker generated based on the moving object information Da is added to the camera image. It may be one that produces an image.
  • the object information adding unit 60 identifies the existence position of the moving object reflected in the camera image based on the moving object information Da, and generates a composite image in which a marker indicating the existing position of the moving object is superimposed on the camera image. The aspect is shown. Further, in FIG.
  • the object information adding unit 60 identifies the movement locus of the moving object reflected in the camera image based on the moving object information Da, and superimposes a marker indicating the moving locus of the moving object on the camera image to obtain a composite image.
  • the generated aspect is shown.
  • the position in the image of the distance image (here, the position of the three-dimensional coordinates) is converted into the position in the image of the camera image (here, the position of the two-dimensional coordinates) in advance in the ROM 102 or the like.
  • the conversion formula is stored, and the object information giving unit 60 is realized by referring to the conversion formula.
  • the marker is, for example, information on the size of a moving object or information on the distance between the moving object and the laser radar 200. And so on.
  • the mode in which the object information adding unit 60 adds the moving body information Da to the camera image data is not limited to the mode in which the composite image is generated as shown in FIGS. 7 and 8, but is applied to the camera image data.
  • the data of the moving body information Da may be associated with each other.
  • FIG. 9 is a flowchart showing an example of the operation of the object information adding unit 60.
  • the flowchart shown in FIG. 9 is, for example, a process executed according to a computer program.
  • step S12 the object information adding unit 60 receives the distance image data generated within the reference time width (for example, 9 msec) from the timing at which the camera image data is generated (that is, the time indicated by the time stamp). Determine if it exists. Then, when the distance image data generated within the reference time width from the timing when the camera image data is generated exists (S12: YES), the process proceeds to step S13, and from the timing when the camera image data is generated. If the generated distance image data does not exist within the reference time width (S12: NO), the process proceeds to step S14. At this time, as described above, the object information adding unit 60 performs the determination process by comparing the time stamp attached to the camera image data with the time stamp attached to the distance image data.
  • the reference time width for example, 9 msec
  • step S13 the object information adding unit 60 adds the moving body information Da of the distance image data specified in step S12 to the camera image data.
  • step S14 the object information adding unit 60 transmits the camera image data to the terminal device 400.
  • step S15 the object information adding unit 60 increments the frame number to be processed, returns to step S11, and executes the process related to the camera image data at the next time.
  • the image processing apparatus 100 sequentially detects the camera image data in time series from the distance image data while synchronizing the camera image data and the distance image data.
  • the moving body information Da is given.
  • the image processing apparatus 100 is A first image acquisition unit 10 that sequentially acquires distance image data continuously generated in time from a laser radar 200 that monitors a predetermined area, and A second image acquisition unit 20 that sequentially acquires camera image data continuously generated in time from a camera that monitors a predetermined area, and The first time stamping unit 30 that gives a time stamp to the distance image data when the distance image data is acquired, and A second time stamping unit 40 that gives a time stamp to the camera image data when the camera image data is acquired, and Identify the temporal correspondence between the generation timing of the distance image data and the generation timing of the camera image data based on the time of the time stamp given to the distance image data and the time of the time stamp given to the camera image data. It also includes an object information adding unit 60 that adds moving object information Da in a predetermined region detected based on the distance image data to the camera image data.
  • the image processing device 100 According to the image processing device 100 according to the present embodiment, there is a temporal correspondence between the generation timing of the distance image data and the generation timing of the camera image data without depending on the frame rate of the camera 300 or the laser radar 200. Can be identified. Therefore, the image processing device 100 according to the present embodiment freely changes the frame rate of the camera 300 or the laser radar 200 according to the usage environment, and obtains the moving object information Da detected based on the distance image data as a camera image. It is also useful in that it can be added to the data.
  • FIG. 10 is a diagram showing an example of the configuration of the image processing device 100 according to the second embodiment.
  • the image processing device 100 according to the present embodiment is different from the image processing device 100 according to the first embodiment in that it has a data compression unit 70.
  • the description of the configuration common to the first embodiment will be omitted.
  • FIG. 11 is a diagram illustrating the operation of the data compression unit 70 according to the present embodiment.
  • FIG. 11 shows a data flow of camera image data transmitted from the object information adding unit 60.
  • the data compression unit 70 acquires the camera image data sent from the object information addition unit 60, and performs data compression processing on the camera image data. Then, the data compression unit 70 transmits the camera image data that has undergone the data compression process to the terminal device 400.
  • the data compression unit 70 changes the compression rate when performing data compression processing on the camera image data based on the moving object information Da added to the camera image data. Specifically, the data compression unit 70 compares the case where the moving body information Da given to the camera image data indicates the existence of a moving body and the case where the moving body information Da given to the camera image data does not indicate the existence of a moving body. Therefore, the compression rate when performing data compression processing on the camera image data is lowered. As a result, it is possible to reduce the amount of data for the less important camera image data and compress the camera image data so that the more important camera image data becomes a clear image. it can.
  • the data compression unit 70 changes the resolution of the camera image to be data-compressed and the frame rate of the camera image data to be data-compressed (that is, thins out the frames) with respect to the camera image data. Change the compression rate when performing data compression processing.
  • the standard for data compression of camera image data is that a moving object (for example, a person) of a target type of interest is used in the camera image instead of whether or not the moving object is reflected in the camera image. It may be whether or not it is reflected.
  • FIG. 12 is a flowchart showing an example of the operation of the data compression unit 70 according to the present embodiment.
  • step S21 the data compression unit 70 reads out the camera image data to be data-compressed.
  • the data compression unit 70 uses, for example, time-series camera image data (in FIG. 12, the camera image data to which the distance image data is added and the camera image) at the frame interval to which the moving object information Da is added.
  • the camera image data for one frame before and after the data and the camera image data for three frames including the data) are read out.
  • step S22 the data compression unit 70 determines whether or not the moving body information Da added to the camera image data indicates the existence of the moving body, and the moving body information Da given to the camera image data indicates the existence of the moving body. If not (S22: YES), the process proceeds to step S23, and if the moving object information Da added to the camera image data indicates the existence of the moving object (S22: NO), the process proceeds to step S24.
  • step S23 the data compression unit 70 reduces the image resolution of the camera image data, and then proceeds to the process in step S24. That is, here, the data compression unit 70 lowers the image resolution of the camera image data in which the moving object does not appear in the camera image.
  • step S24 the data compression unit 70 performs data compression processing on the camera image data to be data-compressed.
  • the data compression unit 70 transmits the camera image data subjected to the data compression processing to the terminal device 400 in this way.
  • the data compression unit 70 sequentially executes the processes of steps S21 to S24 while incrementing the frame number to be processed in the time-series camera image data.
  • the number of frames referred to by the data compression unit 70 in one data compression is set to 3, but the number of frames is arbitrary.
  • the data compression unit 70 determines the timing at which the camera image data related to the camera image in which the moving object is not reflected is switched to the camera image data related to the camera image in which the moving object is reflected in the time-series camera image data. It may be detected and data compression processing may be performed in units of any number of frames in each of these camera image data groups.
  • the compression rate can be changed depending on whether or not a moving object is reflected in the camera image data. it can. As a result, it is possible to reduce the amount of data for the less important camera image data and to compress the more important camera image data so as to obtain a clear image.
  • the moving body information Da of the distance image data is within the reference time width from the generation timing of the distance image data and from the generation timing of the distance image data. Also showed an aspect of adding to the camera image data generated at a later time.
  • the object information adding unit 60 may add the moving object information Da of the distance image data to the camera image data generated at a time earlier than the generation timing of the distance image data. ..
  • the object information adding unit 60 does not give the moving body information Da to only one camera image data, but gives the moving body information Da to the difference between the generation timing of the distance image data and the generation timing of the camera image data. It may be given to the data of a plurality of camera images in which ( ⁇ t) is within the reference time width.
  • the information given to the camera image data is not limited to the information related to the moving object, but may be the information related to any object detected from the distance image data.
  • the use of detecting a moving object invading a predetermined area is shown, but the use of the image processing device according to the present invention is not limited to this.
  • the image processing device according to the present invention may be mounted on a vehicle, for example, and may be applied to an application for detecting an object in front of the vehicle.
  • a mode in which a TOF type laser radar is used is shown as an example of the laser radar 200, but in the present invention, the configuration of the laser radar 200 is arbitrary.
  • the laser radar 200 an FMCW type laser radar or the like may be used.
  • a stereo camera or a millimeter-wave radar may be used as a means for generating a distance image.
  • the embodiment in which the first time stamping unit 30 and the second time stamping unit 40 are provided in the image processing apparatus 100 is shown.
  • the first time stamping unit 30 and the second time stamping unit 40 can be added to the laser radar 200 and the camera 300, respectively. It may be built in.
  • the image processing apparatus it is possible to add information on an object detected from a distance image to the image data of the camera image.
  • U monitoring system 100 image processing device 101 CPU 102 ROM 103 RAM 104 External storage device 105 Communication interface 10 1st image acquisition unit 20 2nd image acquisition unit 30 1st time stamping unit 40 2nd time stamping unit 50 Analysis unit 60 Object information addition unit 70 Data compression unit 200 Laser radar 300 Camera 400 Terminal device Da Motion information

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

時間的に連続して生成される複数の距離画像のうちの一つの距離画像を含む第１画像データを取得する第１画像取得部（１０）と、第１画像データと異なるフレームレートで時間的に連続して生成される複数のカメラ画像のうちの一つのカメラ画像を含む第２画像データを取得する第２画像取得部（２０）と、第１画像データの生成された時刻と第２画像データの生成された時刻とに基づいて、第１画像データが含む距離画像の情報を第２画像データに対応づける処理を行う処理部（６０）と、を備える画像処理装置。

Description

画像処理装置、監視システム、及び画像処理方法
　本開示は、画像処理装置、監視システム、及び画像処理方法に関する。
　カメラ等で撮影された画像に基づいて、撮像領域内に存在する物体の位置を検出する画像処理装置が知られている。この種の画像処理装置は、例えば、人や作業機（以下、「動体」と総称する）の位置を正確に把握し、当該動体の行動又は動作を解析したり、当該動体の行動又は動作を予測する用途への適用が期待されている。
　動体の位置を把握するための技術には様々なものがあるが、特に、同一物体を認識し続ける必要がある動体のトラッキングの用途においては、レーザーレーダー（Light Detection And Ranging:LiDARとも称される）を用いた位置測定が有効である（例えば、特許文献１を参照）。又、レーザーレーダーは、夜間等においても、動体を検出し得る点で有効である。
　図１は、レーザーレーダーに生成された距離画像の一例を示す図である。
　一般に、レーザーレーダーは、レーザ光を打ち出し、当該レーザ光が物体に反射して戻ってくるまでの時間（TOF：Time of Flight）を測定することで、自身の位置から物体の位置までの距離を求める。そして、レーザーレーダーは、かかる処理を、監視対象領域が映り込む所定範囲内を走査しながら行うことにより、距離画像に係る画像データを生成する。かかる距離画像は、動体の各部の三次元位置の情報を含むため、当該動体の姿勢や動作を認識する上で有用である。
　特許文献１には、レーザーレーダーを利用して周辺環境を測定し、点群化した測距点をクラスタリングして解析することで動体を認識し、これにより、当該動体の位置を把握しようとする技術が開示されている。
特開２０１４－１６７７０２号
　ところで、距離画像は、一般的な可視カメラにより生成されるカメラ画像と比較して、水平方向及び垂直方向の分解能が低く、加えて撮像対象の物体の色彩の情報等を含まない。そのため、ユーザに、監視対象領域の状態を視認させる上では、距離画像をそのまま提供するのは望ましくない。
　このような背景から、本願の発明者らは、カメラ画像の画像データに対して、距離画像から検出された動体の情報を付与することを検討している。但し、かかる構成を実現するためには、夫々異なるフレームレートで生成されるカメラ画像の画像データと距離画像の画像データとの時間的な対応関係を特定する必要がある。
　本発明は、上記問題点に鑑みてなされたもので、カメラ画像の画像データに対して、距離画像から検出された物体の情報を付与することを可能とする画像処理装置、監視システム及び画像処理方法を提供することを目的とする。
　前述した課題を解決する主たる本発明は、
　時間的に連続して生成される複数の距離画像のうちの一つの距離画像を含む第１画像データを取得する第１画像取得部と、
　前記第１画像データと異なるフレームレートで時間的に連続して生成される複数のカメラ画像のうちの一つのカメラ画像を含む第２画像データを取得する第２画像取得部と、　
　前記第１画像データの生成された時刻と前記第２画像データの生成された時刻とに基づいて、前記第１画像データが含む距離画像の情報を前記第２画像データに対応づける処理を行う処理部と、
　を備える画像処理装置である。
　又、他の局面では、
　前記第１画像データを生成するレーザーレーダーと、
　前記第２画像データを生成するカメラと、
　前記レーザーレーダーが生成した前記第１画像データと前記カメラが生成した前記第２画像データとを対応付ける上記画像処理装置と、
　を有する監視システムである。
　又、他の局面では、
　時間的に連続して生成される複数の距離画像のうちの一つの距離画像を含む第１画像データを取得し、
　前記第１画像データと異なるフレームレートで時間的に連続して生成される複数のカメラ画像のうちの一つのカメラ画像を含む第２画像データを取得し、
　前記第１画像データの生成された時刻と前記第２画像データの生成された時刻とに基づいて、前記第１画像データが含む距離画像の情報を前記第２画像データに対応づける処理を行う、
　画像処理方法である。
　本発明に係る画像処理装置によれば、カメラ画像の画像データに対して、距離画像から検出された物体の情報を付与することが可能である。
レーザーレーダーに生成された距離画像の一例を示す図 第１の実施形態に係る監視システムの一例を示す図 第１の実施形態に係る画像処理装置のハードウェア構成を示す図 第１の実施形態に係る画像処理装置の機能ブロックを示す図 第１の実施形態に係る解析部により生成される動体に係る情報（動体情報）の一例を示す図 第１の実施形態に係る物体情報付与部の処理について、説明する図 第１の実施形態に係る物体情報付与部によって、動体情報が付与されたカメラ画像データの一例を示す図 第１の実施形態に係る物体情報付与部によって、動体情報が付与されたカメラ画像データの一例を示す図 第１の実施形態に係る物体情報付与部の動作の一例を示すフローチャート 第２の実施形態に係る画像処理装置の構成の一例を示す図 第２の実施形態に係るデータ圧縮部の動作について、説明する図 第２の実施形態に係るデータ圧縮部の動作の一例を示すフローチャート
　以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。尚、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複説明を省略する。
（第１の実施形態）
［監視システムの全体構成］
　以下、図２～図３を参照して、一実施形態に係る監視システムの構成、及び監視システムに適用した画像処理装置の構成の概要について説明する。
　図２は、本実施形態に係る監視システムＵの一例を示す図である。本実施形態に係る監視システムＵは、監視対象領域内に侵入する動体（ここでは、人Ｍ１）を検出する用途に適用されている。
　本実施形態に係る監視システムＵは、画像処理装置１００、レーザーレーダー２００、カメラ３００、及び、端末装置４００を備えている。
　レーザーレーダー２００は、例えば、レーザ光を打ち出し、当該レーザ光が物体に反射して戻ってくるまでの時間（TOF：Time of Flight）を測定することで、自身の位置から物体の位置までの距離を求める。レーザーレーダー２００は、かかる処理を、監視対象領域が映る所定範囲内を走査しながら行うことにより、距離画像に係る画像データ（以下、「距離画像データ」と略称する）を生成する。そして、レーザーレーダー２００は、フレーム単位の距離画像データを連続的に生成し、時系列に並んだ距離画像データ（即ち、動画像）を画像処理装置１００に対して出力する。尚、レーザーレーダー２００は、例えば、１０ｆｐｓ（frames per second）のフレームレートで、距離画像データを連続的に生成する。
　距離画像は、各走査位置を画素として、画素毎に、レーザーレーダー２００の測定データ（例えば、距離及び反射強度）が画素値として対応付けられた画像である（点群データとも称される）。距離画像は、監視対象領域内における物体の３次元（例えば、水平方向、鉛直方向、及び奥行方向）の位置を示すものであり、例えば、物体の存在位置を３次元の直交座標系（Ｘ、Ｙ、Ｚ）で表す。
　カメラ３００は、例えば、一般的な可視カメラであり、自身の有する撮像素子が生成した画像信号をＡＤ変換して、カメラ画像に係る画像データ（以下、「カメラ画像データ」と称する）を生成する。そして、カメラ３００は、フレーム単位のカメラ画像データを連続的に生成して、時系列に並んだカメラ画像データ（即ち、動画像）を画像処理装置１００に対して出力する。尚、カメラ３００は、例えば、３０ｆｐｓのフレームレートで、カメラ画像データを連続的に生成する。又、カメラ３００は、例えば、３０ｆｐｓ～１２０ｆｐｓの範囲でフレームレートを可変に構成されている。
　カメラ画像は、例えば、画素毎に、ＲＧＢそれぞれについての輝度値（例えば、ＲＧＢそれぞれについての２５６階調の輝度値）が画素値として対応付けられた画像である。
　尚、レーザーレーダー２００及びカメラ３００は、同一の監視対象領域を撮像するように、当該監視対象領域付近の適宜な位置に設置されている。
　画像処理装置１００は、レーザーレーダー２００で生成された距離画像データに基づいて、監視対象領域内に存在する動体（図２では、人Ｍ１）を検出する。そして、画像処理装置１００は、当該動体に係る情報（例えば、位置情報、移動軌跡情報、及びサイズ情報等）（以下、「動体情報」と称する）を、カメラ３００で生成されたカメラ画像データに付与して、端末装置４００に送信する。
　図３は、本実施形態に係る画像処理装置１００のハードウェア構成を示す図である。
　画像処理装置１００は、主たるコンポーネントとして、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、外部記憶装置（例えば、フラッシュメモリ）１０４、及び、通信インターフェイス１０５等を備えたコンピュータである。
　画像処理装置１００の後述する各機能は、例えば、ＣＰＵ１０１がＲＯＭ１０２、ＲＡＭ１０３、及び外部記憶装置１０４等に記憶された制御プログラム（例えば、画像処理プログラム）や各種データを参照することによって実現される。但し、各機能の一部又は全部は、ＣＰＵによる処理に代えて、又は、これと共に、ＤＳＰ（Digital Signal Processor）による処理によって実現されてもよい。又、同様に、各機能の一部又は全部は、ソフトウェアによる処理に代えて、又は、これと共に、専用のハードウェア回路（例えば、ＡＳＩＣ又はＦＰＧＡ）による処理によって実現されてもよい。
　尚、本実施形態に係る画像処理装置１００は、カメラ３００の筐体に内蔵された状態で、配設されている。そして、画像処理装置１００は、レーザーレーダー２００及びカメラ３００それぞれと通信接続され、レーザーレーダー２００及びカメラ３００それぞれから距離画像データ及びカメラ画像データを取得可能に構成されている。
　端末装置４００は、一般的なコンピュータであって、画像処理装置１００から受信したカメラ画像データを、モニターに表示する。端末装置４００は、例えば、カメラ画像に、監視対象領域内に検出された動体の位置を示すマーカが付された合成画像をモニターに表示する（図７を参照）。
［画像処理装置の構成］
　次に、本実施形態に係る画像処理装置１００の構成の一例について説明する。
　図４は、本実施形態に係る画像処理装置１００の機能ブロックを示す図である。尚、図４中の矢印は、データの流れを表す。
　図５は、解析部５０により生成される動体に係る情報（動体情報）Ｄａの一例を示す図である。尚、図５は、各クレームにおける動体の位置を示しており、ＩＤは各動体の識別番号を表し、ｔ＝０、ｔ＝１、ｔ＝２…はフレーム番号を表す。
　画像処理装置１００は、第１画像取得部１０、第２画像取得部２０、第１タイムスタンプ付与部３０、第２タイムスタンプ付与部４０、解析部５０、及び、物体情報付与部６０を備えている。
　第１画像取得部１０は、レーザーレーダー２００から、時間的に連続して生成される距離画像データを順次取得する。つまり、第１画像取得部１０は、距離画像データが生成されるフレームレートの間隔（ここでは、１０ｆｐｓ）で、距離画像データを順次取得する。
　第２画像取得部２０は、カメラ３００から、時間的に連続して生成されるカメラ画像データを順次取得する。つまり、第２画像取得部２０は、カメラ画像データが生成されるフレームレートの間隔（ここでは、３０ｆｐｓ）で、カメラ画像データを順次取得する。
　第１タイムスタンプ付与部３０は、第１画像取得部１０が距離画像データを取得した際に、当該距離画像データに対して、タイムスタンプを付与する。レーザーレーダー２００は、自身が生成した距離画像データを、逐次的に、画像処理装置１００に対して送信しており、第１タイムスタンプ付与部３０にて各距離画像データに付与されたタイムスタンプは、各距離画像データが生成されたタイミングを示すことになる。
　第２タイムスタンプ付与部４０は、第２画像取得部２０がカメラ画像データを取得した際に、当該画像データに対して、タイムスタンプを付与する。カメラ３００は、自身が生成したカメラ画像データを、逐次的に、画像処理装置１００に対して送信しており、第２タイムスタンプ付与部４０にて各カメラ画像データに付与されたタイムスタンプは、各カメラ画像データが生成されたタイミングを示すことになる。
　尚、第１タイムスタンプ付与部３０及び第２タイムスタンプ付与部４０は、画像処理装置１００に内蔵された計時部（図示せず）が示す時刻を、タイムスタンプとして画像データに付与する。つまり、距離画像データに付与されたタイムスタンプとカメラ画像データに付与されたタイムスタンプとは、共通の時間軸上の時刻を示す。尚、画像処理装置１００に内蔵された計時部は、例えば、時系列の距離画像データの各距離画像データの生成タイミング、及び時系列のカメラ画像データの各カメラ画像データの生成タイミングを特定し得るように、ミリ秒単位で計時する。
　解析部５０は、時系列に並んだ距離画像データに基づいて、監視対象領域に存在する動体を検出し、動体情報Ｄａを生成する。
　具体的には、解析部５０は、時系列に並んだ距離画像データの各フレームに映る動体を検出し、動体毎に、ＩＤを付与すると共に、その動体が存在する位置を、ＩＤと関連付けて記憶する。解析部５０が距離画像中から動体を検出する手法は、公知の任意の手法であってよい。解析部５０は、例えば、注目フレームと前フレームとの差分を取ることによって、動体を検出してもよい。又、解析部５０は、例えば、距離画像中の測距点のクラスタの特徴量（例えば、形状及びサイズ等）に基づいて、パターンマッチングにより、動体（例えば、人や車）を検出してもよい。
　又、解析部５０は、例えば、注目フレームで検出された動体とその前フレームで検出された動体との関連度を算出し、当該関連度に基づいて、注目フレームで検出された動体と前フレームで検出された動体との同一性を判定する。そして、この際、解析部５０は、注目フレームで検出された動体と前フレームで検出された動体とが同一である場合には、注目フレームで検出された動体に対して、前フレームで検出された動体と同一のＩＤを付与し、注目フレームで検出された動体と前フレームで検出された動体とが同一でない場合には、注目フレームで検出された動体に対して、新規なＩＤを付与する。このようにして、解析部５０は、各フレームに映る動体を、各別に、検出し、トラッキングする。
　尚、解析部５０が異なるフレーム間で各動体の同一性を判定する手法は、公知の任意の手法であってよい。解析部５０は、例えば、注目フレームで検出された物体と前フレームで検出された物体との間の距離、両者の間のサイズの類似性、両者の間の形状の類似性、両者の間の色の類似性、及び、両者の間の移動速度の類似性等に基づいて、両者の間の関連度を算出する。そして、解析部５０は、当該関連が所定値以上の場合、注目フレームで検出された動体と前フレームで検出された動体とが同一であると判定する。
　解析部５０によって生成された動体情報Ｄａは、例えば、図５に示すように、時系列に並んだ距離画像データの各フレームにおける動体の位置（ここでは、三次元の座標位置）を示すデータである。尚、動体情報Ｄａは、動体のサイズの情報、動体が存在する領域に係る情報、及び動体の種別に係る情報等を含んでいてもよい。
　物体情報付与部６０（本発明の「処理部」に相当）は、距離画像データに基づいて生成された動体情報Ｄａを、カメラ画像データに付与する。この際、物体情報付与部６０は、距離画像データに付されたタイムスタンプの時刻と当該カメラ画像データに付されたタイムスタンプの時刻とに基づいて、距離画像データの生成タイミングとカメラ画像データの生成タイミングとの時間的な対応関係を特定する。これによって、物体情報付与部６０は、動体情報Ｄａを、当該動体情報Ｄａの元となる距離画像データが生成されたタイミングと略同一のタイミングに生成されたカメラ画像データに付与する。
　図６は、物体情報付与部６０の処理について、説明する図である。図６には、共通の時間軸上に、レーザーレーダー２００が距離画像データを生成したタイミング（ここでは、第１タイムスタンプ部３０によりタイムスタンプが付されたタイミング）を示すタイムチャート、カメラ３００がカメラ画像データを生成したタイミング（ここでは、第２タイムスタンプ部４０によりタイムスタンプが付されたタイミング）を示すタイムチャート、及び、動体情報Ｄａが付与されたカメラ画像データのデータフローを示している。
　尚、図６のＤａ１、Ｄａ２は、矢印に示すタイミングで生成された距離画像データに係る動体情報Ｄａを表している。又、図６のＤｂ１、Ｄｂ２、Ｄｂ３、Ｄｂ４、Ｄｂ５は、矢印に示すタイミングで生成されたカメラ画像データを表している。
　具体的には、物体情報付与部６０は、時系列に並ぶ距離画像データそれぞれに付されたタイムスタンプの時刻と、時系列に並ぶカメラ画像データそれぞれに付されたタイムスタンプの時刻と、を比較して、その差分（Δｔ）が基準時間幅以内であるか否かに基づいて、距離画像データの生成タイミングとカメラ画像データの生成タイミングとの同時性を判定する。そして、物体情報付与部６０は、その差分（Δｔ）が基準時間幅以内である場合、距離画像データの生成タイミングとカメラ画像データの生成タイミングとが略同一のタイミングであると特定して、当該距離画像データに係る動体情報Ｄａを、当該カメラ画像データに対して付与する。
　尚、距離画像データとカメラ画像データとの時間的な対応関係を特定するための「基準時間幅」としては、例えば、距離画像データが生成されるフレーム間隔よりも短い時間で、且つ、カメラ画像データが生成されるフレーム間隔よりも短い時間幅（例えば、９ｍｓｅｃ）が設定される。
　図６では、物体情報付与部６０が、動体情報Ｄａ１を、カメラ画像データＤｂ１のヘッダー記憶領域に記憶させ、動体情報Ｄａ２を、カメラ画像データＤｂ４のヘッダー記憶領域に記憶させた態様を示している。ここでは、物体情報付与部６０は、カメラ画像データに対して、動体情報Ｄａのみを付与（即ち、記憶）しているが、物体情報付与部６０は、カメラ画像データに対して、動体情報Ｄａに加えて、距離画像データを添付（即ち、記憶）してもよい。
　尚、物体情報付与部６０は、例えば、解析部５０から出力された時系列の距離画像データ及び当該距離画像データの動体情報Ｄａと、第１タイムスタンプ付与部３０から出力された時系列のカメラ画像データが一時記憶されたメモリー（例えば、ＲＡＭ１０３）を参照して、距離画像データの生成タイミングとカメラ画像データの生成タイミングとの対応関係を特定する。
　図７、図８は、物体情報付与部６０によって、動体情報Ｄａが付与されたカメラ画像データの他の一例を示す図である。図７、図８は、カメラ画像に、動体情報Ｄａに基づいて生成されたマーカが付与された合成画像である。図７、図８中のＲａｌｌはカメラ画像の全画像領域、Ｒ１は動体Ｍ１の存在位置を示すマーカ、Ｒ２は動体Ｍ１の移動軌跡を示すマーカである。
　物体情報付与部６０が、カメラ画像データに対して動体情報Ｄａを付与する態様としては、図７及び図８に示すように、カメラ画像に、動体情報Ｄａに基づいて生成したマーカを付与した合成画像を生成するものであってもよい。図７では、物体情報付与部６０が、動体情報Ｄａに基づいて、カメラ画像に映る動体の存在位置を特定し、カメラ画像に、動体の存在位置を示すマーカを重畳させた合成画像を生成した態様を示している。又、図８では、物体情報付与部６０が、動体情報Ｄａに基づいて、カメラ画像に映る動体の移動軌跡を特定し、カメラ画像に、動体の移動軌跡を示すマーカを重畳させた合成画像を生成した態様を示している。
　かかる態様は、例えば、予め、ＲＯＭ１０２等に、距離画像の画像内の位置（ここでは、三次元座標の位置）からカメラ画像の画像内の位置（ここでは、二次元座標の位置）に座標変換するための変換式を格納しておき、物体情報付与部６０が、当該変換式を参照することで実現される。
　尚、物体情報付与部６０がカメラ画像にマーカを重畳させた合成画像を生成する際には、当該マーカは、例えば、動体のサイズ情報、又は動体とレーザーレーダー２００との間の距離に係る情報等であってもよい。
　但し、物体情報付与部６０が、カメラ画像データに対して動体情報Ｄａを付与する態様としては、図７及び図８のように、合成画像を生成する態様に限らず、カメラ画像データに対して動体情報Ｄａのデータの関連付けを行うものであってもよい。
　図９は、物体情報付与部６０の動作の一例を示すフローチャートである。図９に示すフローチャートは、例えば、コンピュータプログラムに従って実行される処理である。
　ステップＳ１１において、物体情報付与部６０は、フレーム番号ｔ＝ｉのカメラ画像データを読み出す。
　次に、ステップＳ１２において、物体情報付与部６０は、当該カメラ画像データが生成されたタイミング（即ち、タイムスタンプが示す時刻）から基準時間幅内（例えば、９ｍｓｅｃ）に生成された距離画像データが存在するか否かを判定する。そして、当該カメラ画像データが生成されたタイミングから基準時間幅内に生成された距離画像データが存在する場合（Ｓ１２：ＹＥＳ）、ステップＳ１３に処理を進め、当該カメラ画像データが生成されたタイミングから基準時間幅内に生成された距離画像データが存在しない場合（Ｓ１２：ＮＯ）、ステップＳ１４に処理を進める。尚、この際、物体情報付与部６０は、上記したように、カメラ画像データに付されたタイムスタンプと距離画像データに付されたタイムスタンプとを比較することによって、当該判定処理を行う。
　次に、ステップＳ１３において、物体情報付与部６０は、カメラ画像データに対して、ステップＳ１２で特定された距離画像データの動体情報Ｄａを付与する。
　次に、ステップＳ１４において、物体情報付与部６０は、カメラ画像データを端末装置４００に対して送信する。
　次に、ステップＳ１５において、物体情報付与部６０は、処理対象のフレーム番号をインクリメントして、ステップＳ１１に戻って、次の時刻のカメラ画像データに関する処理を実行する。
　画像処理装置１００は、このような処理を、繰り返し実行することで、カメラ画像データと距離画像データとを同期させながら、時系列のカメラ画像データに対して、順次、距離画像データから検出された動体情報Ｄａを付与する。
　[効果]
　以上のように、本実施形態に係る画像処理装置１００は、
　所定領域を監視するレーザーレーダー２００から、時間的に連続して生成される距離画像データを順次取得する第１画像取得部１０と、
　所定領域を監視するカメラから、時間的に連続して生成されるカメラ画像データを順次取得する第２画像取得部２０と、
　距離画像データを取得した際に、当該距離画像データに対して、タイムスタンプを付与する第１タイムスタンプ付与部３０と、
　カメラ画像データを取得した際に、当該カメラ画像データに対して、タイムスタンプを付与する第２タイムスタンプ付与部４０と、
　距離画像データに付与されたタイムスタンプの時刻とカメラ画像データに付与されたタイムスタンプの時刻とに基づいて、距離画像データの生成タイミングとカメラ画像データの生成タイミングとの時間的な対応関係を特定し、距離画像データに基づいて検出される所定領域内の動体情報Ｄａを、カメラ画像データに付与する物体情報付与部６０と、を備えている。
　これによって、正確に、動体情報Ｄａを、当該動体情報Ｄａの元となる距離画像データが生成されたタイミングと略同一のタイミングに生成されたカメラ画像データに付与することが可能である。これにより、視認性の高いカメラ画像に対して、動体検出感度の高い距離画像から検出される動体情報を付与することができるため、例えば、ユーザによる監視を好適に支援することが可能である。
　尚、本実施形態に係る画像処理装置１００によれば、カメラ３００やレーザーレーダー２００のフレームレートに依存することなく、距離画像データの生成タイミングとカメラ画像データの生成タイミングとの時間的な対応関係を特定することが可能である。そのため、本実施形態に係る画像処理装置１００は、カメラ３００又はレーザーレーダー２００のフレームレートを使用環境に応じて自由に変更しながら、距離画像データに基づいて検出される動体情報Ｄａを、カメラ画像データに付与することが可能である点でも、有用である。
（第２の実施形態）
　次に、図１０～図１２を参照して、第２の実施形態に係る画像処理装置１００の構成について説明する。
　図１０は、第２の実施形態に係る画像処理装置１００の構成の一例を示す図である。本実施形態に係る画像処理装置１００は、データ圧縮部７０を有している点で、第１の実施形態に係る画像処理装置１００と相違する。尚、第１の実施形態と共通する構成については、説明を省略する。　
　図１１は、本実施形態に係るデータ圧縮部７０の動作について、説明する図である。図１１には、物体情報付与部６０から送出されるカメラ画像データのデータフローを示している。
　データ圧縮部７０は、物体情報付与部６０から送出されるカメラ画像データを取得して、当該カメラ画像データに対してデータ圧縮処理を施す。そして、データ圧縮部７０は、データ圧縮処理を施したカメラ画像データを、端末装置４００に対して送信する。
　ここで、データ圧縮部７０は、カメラ画像データに付与された動体情報Ｄａに基づいて、カメラ画像データに対してデータ圧縮処理を施す際の圧縮率を変更する。具体的には、データ圧縮部７０は、カメラ画像データに付与された動体情報Ｄａが動体の存在を示す場合、カメラ画像データに付与された動体情報Ｄａが動体の存在を示さない場合と比較して、当該カメラ画像データに対してデータ圧縮処理を施す際の圧縮率を低くする。これによって、重要度の低いカメラ画像データについては、データ量を軽減しつつ、重要度の高いカメラ画像データについては、鮮明な画像となるように、カメラ画像データに対してデータ圧縮を施すことができる。
　図１１では、動体の存在が検出されたカメラ画像データＤｂ４とその前後のカメラ画像データＤｂ３及びＤｂ５に対しては、動体の存在が検出されていないカメラ画像データＤｂ１、Ｄｂ２、Ｄｂ６、Ｄｂ７に対してよりも、低い圧縮率となるようにデータ圧縮処理が施された態様を示している。
　尚、ここで言う「圧縮率」とは、データを圧縮した際に、圧縮後のデータが元のデータのどのくらいの情報量に減ったかを表す割合（=Processed data/Pre-processing data）であり、圧縮率が高いほどデータ量が少なくなった状態を表す。又、データ圧縮部７０によるデータ圧縮処理は、公知の手法と同様であり、例えば、ＭＰＥＧ方式が用いられている。
　データ圧縮部７０は、例えば、データ圧縮する対象のカメラ画像の解像度や、データ圧縮する対象のカメラ画像データのフレームレートを変更する（即ち、フレームを間引く）ことによって、当該カメラ画像データに対してデータ圧縮処理を施す際の圧縮率を変更する。
　尚、データ圧縮部７０にて、カメラ画像データのデータ圧縮を施す際の基準は、カメラ画像に動体が映っているか否かに代えて、カメラ画像に注目対象種別の動体（例えば、人）が映っているか否か等であってもよい。
　図１２は、本実施形態に係るデータ圧縮部７０の動作の一例を示すフローチャートである。
　ステップＳ２１において、データ圧縮部７０は、データ圧縮対象のカメラ画像データを読み出す。尚、この際、データ圧縮部７０は、例えば、動体情報Ｄａが付与されるフレーム間隔で、時系列のカメラ画像データ（図１２では、距離画像データが付与されたカメラ画像データと、当該カメラ画像データの前後の１フレーム分のカメラ画像データと、を含む３フレーム分のカメラ画像データ）を読み出す。
　ステップＳ２２において、データ圧縮部７０は、カメラ画像データに付与された動体情報Ｄａが動体の存在を示しているか否かを判定し、カメラ画像データに付与された動体情報Ｄａが動体の存在を示さない場合（Ｓ２２：ＹＥＳ）、ステップＳ２３に処理を進め、カメラ画像データに付与された動体情報Ｄａが動体の存在を示す場合（Ｓ２２：ＮＯ）、ステップＳ２４に処理を進める。
　ステップＳ２３において、データ圧縮部７０は、カメラ画像データの画像解像度を低下させた後、ステップＳ２４に処理を進める。つまり、ここでは、データ圧縮部７０は、カメラ画像に動体が映らないカメラ画像データについては、画像解像度を低下させている。
　ステップＳ２４において、データ圧縮部７０は、データ圧縮対象のカメラ画像データに対して、データ圧縮処理を施す。データ圧縮部７０は、このようにして、データ圧縮処理を施したカメラ画像データを、端末装置４００に対して送信する。
　データ圧縮部７０は、かかるステップＳ２１～ステップＳ２４の処理を、時系列のカメラ画像データにおける処理対象のフレーム番号をインクリメントしながら、順次実行する。
　尚、ここでは、データ圧縮部７０が一回のデータ圧縮で参照するフレーム枚数を、３枚としたが、当該フレーム枚数は、任意である。データ圧縮部７０は、例えば、データ圧縮処理の前に、時系列のカメラ画像データにおいて、動体が映らないカメラ画像に係るカメラ画像データから、動体が映るカメラ画像に係るカメラ画像データに切り替わるタイミングを検出し、これらそれぞれのカメラ画像データ群の中で、任意のフレーム枚数の単位でデータ圧縮処理を施してもよい。
　以上のように、本実施形態に係る画像処理装置１００によれば、カメラ画像データをデータ圧縮する際に、当該カメラ画像データに動体が映っているか否かによって、その圧縮率を変更することができる。これによって、重要度の低いカメラ画像データについては、データ量を軽減しつつ、重要度の高いカメラ画像データについては、鮮明な画像となるように、データ圧縮を施すことができる。
（その他の実施形態）
　本発明は、上記実施形態に限らず、種々に変形態様が考えられる。
　例えば、上記実施形態では、物体情報付与部６０の一例として、距離画像データの動体情報Ｄａを、当該距離画像データの生成タイミングから基準時間幅以内であり、且つ、当該距離画像データの生成タイミングよりも後の時刻に生成されたカメラ画像データに付与する態様を示した。但し、本発明おいて、物体情報付与部６０は、距離画像データの動体情報Ｄａを、当該距離画像データの生成タイミングよりも前の時刻に生成されたカメラ画像データに対して付与してもよい。又、物体情報付与部６０は、動体情報Ｄａを、一個のカメラ画像データのみに付与しているのではなく、動体情報Ｄａを、距離画像データの生成タイミングとカメラ画像データの生成タイミングとの差分（Δｔ）が基準時間幅以内である複数のカメラ画像のデータに対して、付与してもよい。
　又、上記実施形態では、画像処理装置１００の一例として、距離画像データから検出された動体情報Ｄａを、カメラ画像データに付与する態様を示した。但し、本発明において、カメラ画像データに付与する情報は、動体に係る情報に限らず、距離画像データから検出された任意の物体に係る情報であってよい。
　又、上記実施形態では、画像処理装置１００の用途の一例として、所定領域内に侵入する動体検出の用途を示したが、本発明に係る画像処理装置の用途は、これに限られない。本発明に係る画像処理装置は、例えば、車両に搭載され、当該車両の前方物体を検出する用途に適用されてもよい。
　又、上記実施形態では、レーザーレーダー２００の一例として、ＴＯＦ方式のレーザーレーダーを用いる態様を示したが、本発明において、レーザーレーダー２００の構成は、任意である。例えば、レーザーレーダー２００としては、ＦＭＣＷ方式のレーザーレーダー等が用いられてもよい。又、その他、距離画像を生成する手段としては、ステレオカメラやミリ波レーダが用いられてもよい。
　又、上記実施形態では、画像処理装置１００内に、第１タイムスタンプ付与部３０及び第２タイムスタンプ付与部４０を設ける態様を示した。しかしながら、レーザーレーダー２００及びカメラ３００に、時間的に同期した計時部を有していれば、第１タイムスタンプ付与部３０及び第２タイムスタンプ付与部４０を、それぞれ、レーザーレーダー２００及びカメラ３００に内蔵させてもよい。
　以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
　２０１９年１２月３日出願の特願２０１９－２１９０１９の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
　本発明に係る画像処理装置によれば、カメラ画像の画像データに対して、距離画像から検出された物体の情報を付与することが可能である。
  Ｕ　監視システム
　１００　画像処理装置
　１０１　ＣＰＵ
　１０２　ＲＯＭ　
　１０３　ＲＡＭ
　１０４　外部記憶装置
　１０５　通信インターフェイス
  １０　第１画像取得部
  ２０　第２画像取得部
  ３０　第１タイムスタンプ付与部
  ４０　第２タイムスタンプ付与部
  ５０　解析部
  ６０　物体情報付与部
　７０　データ圧縮部
　２００　レーザーレーダー
　３００　カメラ
　４００　端末装置
  Ｄａ　動体情報

Claims (18)

  1. 　時間的に連続して生成される複数の距離画像のうちの一つの距離画像を含む第１画像データを取得する第１画像取得部と、
    　前記第１画像データと異なるフレームレートで時間的に連続して生成される複数のカメラ画像のうちの一つのカメラ画像を含む第２画像データを取得する第２画像取得部と、
    　前記第１画像データの生成された時刻と前記第２画像データの生成された時刻とに基づいて、前記第１画像データが含む距離画像の情報を前記第２画像データに対応づける処理を行う処理部と、
    　を備える画像処理装置。
  2. 　前記第１画像取得部は、レーザーレーダーから、前記第１画像データを取得する、
    　請求項１に記載の画像処理装置。
  3. 　前記第２画像取得部は、カメラから、前記第２画像データを取得する、
    　請求項１又は２に記載の画像処理装置。
  4. 　前記第１画像データを取得した際に、当該第１画像データに対して、タイムスタンプを付与する第１タイムスタンプ付与部と、
    　前記第２画像データを取得した際に、当該第２画像データに対して、タイムスタンプを付与する第２タイムスタンプ付与部と、を更に備える、
    　請求項１乃至３のいずれか一項に記載の画像処理装置。
  5. 　前記処理部は、前記第１画像データに基づいて検出される前記所定領域内の物体の情報を、前記第２画像データに付与する、
    　請求項１乃至４のいずれか一項に記載の画像処理装置。
  6. 　前記物体は、動体である、
    　請求項５に記載の画像処理装置。
  7. 　前記物体の情報は、前記物体の位置情報を含む、
    　請求項５又は６に記載の画像処理装置。
  8. 　前記物体の情報は、前記物体のサイズ情報を含む、
    　請求項５乃至７のいずれか一項に記載の画像処理装置。
  9. 　前記物体の情報は、前記物体と前記レーザーレーダーとの間の距離に係る情報を含む、
    　請求項５乃至８のいずれか一項に記載の画像処理装置。
  10. 　前記物体の情報は、前記物体の移動軌跡に係る情報を含む、
    　請求項５乃至９のいずれか一項に記載の画像処理装置。
  11. 　前記処理部は、前記カメラ画像に、前記物体の存在位置を示すマーカを重畳させた合成画像を生成する、
    　請求項５乃至１０のいずれか一項に記載の画像処理装置。
  12. 　前記処理部は、前記カメラ画像に、前記物体の移動軌跡を示すマーカを重畳させた合成画像を生成する、
    　請求項５乃至１１のいずれか一項に記載の画像処理装置。
  13. 　時系列の前記第１画像データに基づいて、前記物体を検出する解析部を更に備える、
    　請求項１乃至１２のいずれか一項に記載の画像処理装置。
  14. 　前記第２画像データに対してデータ圧縮処理を施すデータ圧縮処理部を更に備え、
    　前記データ圧縮処理部は、前記第２画像データに付与された前記物体の情報に基づいて、当該第２画像データに対してデータ圧縮処理を施す際の圧縮率を変更する、
    　請求項１乃至１３のいずれか一項に記載の画像処理装置。
  15. 　前記データ圧縮処理部は、前記第２画像データに付与された前記物体の情報が動体の存在を示す場合、前記第２画像データに付与された前記物体の情報が動体の存在を示さない場合と比較して、当該第２画像データに対してデータ圧縮処理を施す際の圧縮率を低くする、
    　請求項１４に記載の画像処理装置。
  16. 　前記カメラのフレームレートが可変となっている、
    　請求項３に記載の画像処理装置。
  17. 　前記第１画像データを生成するレーザーレーダーと、
    　前記第２画像データを生成するカメラと、
    　前記レーザーレーダーが生成した前記第１画像データと前記カメラが生成した前記第２画像データとを対応付ける請求項１乃至１６のいずれか一項に記載の画像処理装置と、
    　を有する監視システム。
  18. 　時間的に連続して生成される複数の距離画像のうちの一つの距離画像を含む第１画像データを取得し、
    　前記第１画像データと異なるフレームレートで時間的に連続して生成される複数のカメラ画像のうちの一つのカメラ画像を含む第２画像データを取得し、
    　前記第１画像データの生成された時刻と前記第２画像データの生成された時刻とに基づいて、前記第１画像データが含む距離画像の情報を前記第２画像データに対応づける処理を行う、
    　画像処理方法。
PCT/JP2020/039378 2019-12-03 2020-10-20 画像処理装置、監視システム、及び画像処理方法 WO2021111747A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/774,511 US20220373683A1 (en) 2019-12-03 2020-10-20 Image processing device, monitoring system, and image processing method
JP2021562486A JPWO2021111747A1 (ja) 2019-12-03 2020-10-20
EP20896552.5A EP4071516A4 (en) 2019-12-03 2020-10-20 IMAGE PROCESSING DEVICE, MONITORING SYSTEM AND IMAGE PROCESSING METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019219019 2019-12-03
JP2019-219019 2019-12-03

Publications (1)

Publication Number Publication Date
WO2021111747A1 true WO2021111747A1 (ja) 2021-06-10

Family

ID=76221184

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/039378 WO2021111747A1 (ja) 2019-12-03 2020-10-20 画像処理装置、監視システム、及び画像処理方法

Country Status (4)

Country Link
US (1) US20220373683A1 (ja)
EP (1) EP4071516A4 (ja)
JP (1) JPWO2021111747A1 (ja)
WO (1) WO2021111747A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023062400A1 (ja) * 2021-10-12 2023-04-20 日産自動車株式会社 物体認識方法及び物体認識装置
WO2023189691A1 (en) * 2022-03-30 2023-10-05 Nec Corporation Potential object pathway determination method, apparatus and system

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004191095A (ja) * 2002-12-09 2004-07-08 Foundation For The Promotion Of Industrial Science 通行人軌跡抽出装置およびシステム
JP2004212129A (ja) * 2002-12-27 2004-07-29 Ishikawajima Harima Heavy Ind Co Ltd 環境状況把握装置
US20130058527A1 (en) * 2010-03-09 2013-03-07 The University Of Sydney Sensor data processing
JP2014167702A (ja) 2013-02-28 2014-09-11 Denso Corp 物体認識装置及び物体認識方法
US20170364758A1 (en) * 2017-09-01 2017-12-21 GM Global Technology Operations LLC Systems and methods for vehicle signal light detection
JP2018182543A (ja) * 2017-04-13 2018-11-15 キヤノン株式会社 撮像装置、撮像システム、及び撮像素子の制御方法
WO2018213338A1 (en) * 2017-05-15 2018-11-22 Ouster, Inc. Augmenting panoramic lidar results with color
JP2019219019A (ja) 2018-06-20 2019-12-26 Smc株式会社 流体圧機器におけるシール構造

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8743176B2 (en) * 2009-05-20 2014-06-03 Advanced Scientific Concepts, Inc. 3-dimensional hybrid camera and production system
US11567201B2 (en) * 2016-03-11 2023-01-31 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
US20180136314A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system for analyzing the distance to an object in an image
US20180373980A1 (en) * 2017-06-27 2018-12-27 drive.ai Inc. Method for training and refining an artificial intelligence
JP6686988B2 (ja) * 2017-08-28 2020-04-22 株式会社Ｓｏｋｅｎ 映像出力装置及び映像生成プログラム
JP7353747B2 (ja) * 2018-01-12 2023-10-02 キヤノン株式会社 情報処理装置、システム、方法、およびプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004191095A (ja) * 2002-12-09 2004-07-08 Foundation For The Promotion Of Industrial Science 通行人軌跡抽出装置およびシステム
JP2004212129A (ja) * 2002-12-27 2004-07-29 Ishikawajima Harima Heavy Ind Co Ltd 環境状況把握装置
US20130058527A1 (en) * 2010-03-09 2013-03-07 The University Of Sydney Sensor data processing
JP2014167702A (ja) 2013-02-28 2014-09-11 Denso Corp 物体認識装置及び物体認識方法
JP2018182543A (ja) * 2017-04-13 2018-11-15 キヤノン株式会社 撮像装置、撮像システム、及び撮像素子の制御方法
WO2018213338A1 (en) * 2017-05-15 2018-11-22 Ouster, Inc. Augmenting panoramic lidar results with color
US20170364758A1 (en) * 2017-09-01 2017-12-21 GM Global Technology Operations LLC Systems and methods for vehicle signal light detection
JP2019219019A (ja) 2018-06-20 2019-12-26 Smc株式会社 流体圧機器におけるシール構造

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023062400A1 (ja) * 2021-10-12 2023-04-20 日産自動車株式会社 物体認識方法及び物体認識装置
WO2023189691A1 (en) * 2022-03-30 2023-10-05 Nec Corporation Potential object pathway determination method, apparatus and system

Also Published As

Publication number Publication date
US20220373683A1 (en) 2022-11-24
EP4071516A4 (en) 2022-12-14
JPWO2021111747A1 (ja) 2021-06-10
EP4071516A1 (en) 2022-10-12

Similar Documents

Publication Publication Date Title
JP4883517B2 (ja) 三次元計測装置および三次元計測方法並びに三次元計測プログラム
KR101336139B1 (ko) 깊이 카메라를 이용한 움직임 추정 시스템 및 방법
US20180089501A1 (en) Computer implemented method of detecting the distance of an object from an image sensor
WO2009099022A1 (ja) 周辺監視装置及び周辺監視方法
WO2021111747A1 (ja) 画像処理装置、監視システム、及び画像処理方法
JP4691701B2 (ja) 人数検出装置及び方法
KR20130099735A (ko) 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법
CN107431747B (zh) 摄像装置
US8599278B2 (en) Method for estimating a plane in a range image and range image camera
WO2020156299A1 (zh) 基于三维光学成像传感器的三维超声成像方法和系统
US20220138971A1 (en) Three-dimensional displacement measuring method and three-dimensional displacement measuring device
KR20160119597A (ko) 복수의 깊이 카메라를 통한 사람 검출, 추적 방법 및 장치
JP7286406B2 (ja) 画像分析システムおよび画像分析方法
KR102129916B1 (ko) 이벤트 정보를 포함하는 영상을 분석하는 장치 및 방법
WO2022195954A1 (ja) センシングシステム
JP2010002326A (ja) 移動ベクトル検出装置
JPH09322153A (ja) 自動監視装置
WO2022228461A1 (zh) 一种基于激光雷达的三维超声成像方法和系统
US11694446B2 (en) Advanced driver assist system and method of detecting object in the same
CN111046765B (zh) 一种用于高铁的危险预警方法和系统
JPWO2020175085A1 (ja) 画像処理装置、及び画像処理方法
CN113792645A (zh) 一种融合图像和激光雷达的ai眼球
RU2315357C2 (ru) Способ детектирования объекта
EP4155758A1 (en) Information processing device, control method, and non-transitory computer-readable media
WO2019082474A1 (ja) ３次元侵入検知システムおよび３次元侵入検知方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20896552

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021562486

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020896552

Country of ref document: EP

Effective date: 20220704