WO2025220141A1 - 物体検出装置及び方法 - Google Patents

物体検出装置及び方法

Info

Publication number
WO2025220141A1
WO2025220141A1 PCT/JP2024/015192 JP2024015192W WO2025220141A1 WO 2025220141 A1 WO2025220141 A1 WO 2025220141A1 JP 2024015192 W JP2024015192 W JP 2024015192W WO 2025220141 A1 WO2025220141 A1 WO 2025220141A1
Authority
WO
WIPO (PCT)
Prior art keywords
object detection
unit
frame
predetermined number
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/015192
Other languages
English (en)
French (fr)
Inventor
寛之 鵜澤
健 中村
大祐 小林
祐輔 堀下
優也 大森
周平 吉田
宥光 飯沼
晃嗣 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2024/015192 priority Critical patent/WO2025220141A1/ja
Publication of WO2025220141A1 publication Critical patent/WO2025220141A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks

Definitions

  • the disclosed technology relates to an object detection device and an object detection method.
  • An object detection device is a device that detects objects contained in an input image and extracts metadata including location information such as a rectangular frame indicating the area of the object, attributes indicating the type of object (person, vehicle, etc.), and the reliability of the detection results.
  • Non-Patent Documents 1 and 2 Non-Patent Documents 1 and 2.
  • the input size is limited to 320 (width) x 320 (height) pixels, 416 x 416 pixels, or 608 x 608 pixels.
  • Non-Patent Document 3 A method has been disclosed that enables deep learning-based object detection for high-resolution images such as full HD and 4K, while still meeting the above-mentioned constraints on the input size of a machine learning model. Specifically, the method involves reducing the input image to an input size that satisfies the above-mentioned constraints, performing overall processing to detect objects in the entire image, and segmentation processing to divide the input image and perform object detection for each divided image, and then combining the results of the overall processing and the segmentation processing to obtain the final detection result.
  • Non-Patent Document 3 has the problem that when ultra-high definition video such as 4K (3840 x 2160 pixels) is used as input, the number of segmented images increases, resulting in a huge amount of calculation required for the segmentation process. For example, in the case of YOLOv3, if the input size is restricted to 608 x 608 pixels, the maximum number of segmented images is 28, resulting in a huge amount of calculation required for the segmentation process to detect objects from each segmented image.
  • 4K 3840 x 2160 pixels
  • One way to reduce the amount of calculation required for object detection is to narrow down (thin out) the number of faces on which object detection is performed for the same frame (faces corresponding to reduced images and faces corresponding to divided images). It is possible to determine the number of faces on which object detection is performed per frame depending on the frame rate of the object detection process, but because the frame rate of the object detection process can fluctuate, it is not uniquely determined, making it difficult to determine an appropriate number of faces. If the number of faces on which object detection is performed is too small, the accuracy of object detection will decrease, and if the number of faces on which object detection is performed is too large, the amount of calculation will increase, so it is desirable to determine an appropriate number of faces.
  • the disclosed technology was developed in consideration of the above points, and aims to appropriately narrow down the number of surfaces on which object detection is performed when there are multiple target surfaces for object detection per frame.
  • a first aspect of the present disclosure is an object detection device that includes a detection unit that detects an object from each of a predetermined number of faces for each frame among faces corresponding to each of the divided images obtained by dividing an image of each frame included in a video into a plurality of parts and a reduced image obtained by reducing the entire image; a synthesis unit that synthesizes the object detection results for each of the predetermined number of faces; and a determination unit that determines the predetermined number based on an index related to the difference between the input frame rate of the video and the frame rate of the object detection process performed by the detection unit.
  • a second aspect of the present disclosure is an object detection method executed by an object detection device including a detection unit, a synthesis unit, and a determination unit, in which the detection unit detects an object from each of a predetermined number of surfaces for each frame among surfaces corresponding to each of the divided images obtained by dividing an image of each frame included in a video into multiple parts and a reduced image obtained by reducing the entire image, the synthesis unit synthesizes the object detection results for each of the predetermined number of surfaces, and the determination unit determines the predetermined number based on an index related to the difference between the input frame rate of the video and the frame rate of the object detection process in the detection unit.
  • the disclosed technology makes it possible to appropriately narrow down the number of surfaces on which object detection is performed when there are multiple surfaces on which object detection is performed per frame.
  • FIG. 2 is a diagram illustrating object detection in the present embodiment.
  • FIG. 2 is a block diagram showing a hardware configuration of the object detection device.
  • FIG. 2 is a block diagram illustrating an example of a functional configuration of an object detection device.
  • FIG. 10 is a control diagram for determining the total number of faces.
  • 10A and 10B are diagrams for explaining how the number of narrowing-down planes for each frame is determined in the first embodiment.
  • 10 is a flowchart showing the flow of an object detection process.
  • 10 is a flowchart showing the flow of a decision process.
  • FIG. 11 is a diagram for explaining how to determine the number of narrowing-down planes for each frame in the second embodiment.
  • the object detection device performs a segmentation process in which an input image of one frame of video is segmented into a plurality of images and object detection is performed for each segmented image, and a whole process in which object detection is performed for a reduced image obtained by reducing the entire input image.
  • the object detection device performs image scaling to reduce the input image to an image size that can be input into an object detection model prepared in advance for the reduced image, generating a reduced image, and inputs the reduced image into the object detection model.
  • the object detection device then performs object detection processing using the object detection model, detects objects contained in the reduced image, and obtains a detection result.
  • the detection result includes information identifying the area indicating the detected object, information indicating the object's attributes, and the reliability of the detection result.
  • the information identifying the area indicating the object is, for example, position information of the object's circumscribing rectangle (hereinafter referred to as the "detection frame").
  • the position information may be, for example, a specified point of the detection frame (e.g., the center point, the point in the upper left corner, etc.) and the size (width and height).
  • the information indicating the object's attributes is information indicating the object's type, etc., and in the example of Figure 1, this is "dog,” "bicycle,” etc. Because these are detection results for the reduced image, the object detection device scales the detection frame (adjusts metadata) to map it to the input image before reduction. After adjusting the metadata, objects detected are selected whose reliability is above a preset threshold and output to subsequent synthesis processing.
  • the object detection device In the segmentation process, the object detection device generates segmented images by dividing the input image into image sizes that can be input into an object detection model prepared in advance for the segmented images, and inputs each segmented image into the object detection model. The object detection device then performs object detection processing using the object detection model, detects objects contained in each segmented image, and obtains detection results. Because the detection results obtained here are detection results for the segmented images, the object detection device adjusts metadata to map them to the input image before segmentation. In addition, in the segmentation process, the object detection device performs screening on the detection results for each segmented image, retaining only one detection result for the same object that has been detected multiple times and removing the rest. After metadata adjustment and screening, the object detection device selects objects with a reliability above a threshold, just as in the overall processing, and outputs them to the subsequent synthesis process.
  • the object detection device outputs a final detection result that combines the detection result from the segmentation process and the detection result from the overall process. For example, in the synthesis process, the object detection device interpolates objects that were not detected in the overall process with objects detected in the segmentation process. In selecting objects to be interpolated, a match is determined between the objects detected in the overall process and the objects detected in the segmentation process, and objects detected in the segmentation process that do not match the objects detected in the overall process are output as objects to be interpolated.
  • object detection is performed from a reduced image created by reducing the entire input image and each divided image created by dividing the input image. This makes it possible to simultaneously detect both large and small objects contained in the input image, even for high-definition video that exceeds the input size constraints of the object detection model.
  • the number of planes on which object detection is performed for the same frame (hereinafter referred to as the "number of narrowed-down planes M") is given by, for example, (N ⁇ R object )/R input .
  • R input is the input frame rate of the video
  • R object is the frame rate of object detection processing for one plane by a processing core
  • N is the number of processing cores.
  • N ⁇ R object represents the maximum frame rate of object detection processing. Therefore, (N ⁇ R object )/M is the frame rate of object detection processing for one frame.
  • R object can fluctuate and cannot be uniquely determined, it is difficult to appropriately narrow down the number of faces for which object detection is performed, which means that it is difficult to appropriately determine the value of M in advance.
  • the value of the number of narrowed-down planes M is dynamically adjusted in accordance with the speed difference between the video input frame rate (R input ) and the frame rate of the object detection process ((N ⁇ R object )/M). Specifically, when (N ⁇ R object )/M ⁇ R input , the next frame will be input before the execution of object detection on M planes is completed, and the number of frames waiting to be executed for object detection will increase. In order to reduce this number of frames waiting to be executed, the value of M is reduced. On the other hand, when (N ⁇ R object )/M ⁇ R input , the value of M is maintained or increased. As a result, even if R object fluctuates, the value of M is automatically adjusted to be optimal accordingly.
  • FIG. 2 is a block diagram showing the hardware configuration of object detection device 10.
  • object detection device 10 has a central processing unit (CPU) 11, a read-only memory (ROM) 12, a random access memory (RAM) 13, a storage 14, an input unit 15, a display unit 16, and a communication interface (I/F) 17.
  • CPU central processing unit
  • ROM read-only memory
  • RAM random access memory
  • storage 14 an input unit
  • display unit 16 and a communication interface (I/F) 17.
  • I/F communication interface
  • CPU 11 is a central processing unit that executes various programs and controls each component. That is, CPU 11 reads programs from ROM 12 or storage 14 and executes the programs using RAM 13 as a work area. CPU 11 controls the above components and performs various calculation processes in accordance with the programs stored in ROM 12 or storage 14. In this embodiment, ROM 12 or storage 14 stores an object detection program, which will be described later.
  • ROM 12 stores various programs and data.
  • RAM 13 temporarily stores programs or data as a working area.
  • Storage 14 is made up of storage devices such as HDDs (Hard Disk Drives) and SSDs (Solid State Drives), and stores various programs and data, including the operating system.
  • the input unit 15 includes a pointing device such as a mouse and a keyboard, and is used to enter various types of input.
  • the display unit 16 is, for example, an LCD display, and displays various types of information.
  • the display unit 16 may also function as the input unit 15 by employing a touch panel system.
  • the communication I/F 17 is an interface for communicating with other devices.
  • wired communication standards such as Ethernet (registered trademark) and FDDI
  • wireless communication standards such as 4G, 5G, and Wi-Fi (registered trademark) are used.
  • Figure 3 is a block diagram showing an example of the functional configuration of the object detection device 10.
  • the object detection device 10 includes, as its functional components, a division unit 21, a reduction unit 22, a first buffer 23, a determination unit 24, a first selection unit 25, a detection unit 26, a second buffer 27, a result holding unit 28, and a second selection unit 29.
  • the object detection device 10 also includes a motion estimation unit 30, a third buffer 31, a correction unit 32, and a synthesis unit 33.
  • Each functional component is realized when the CPU 11 reads out an object detection program stored in the ROM 12 or storage 14, expands it in the RAM 13, and executes it.
  • the division unit 21 acquires each input image corresponding to each frame included in the video input to the object detection device 10.
  • the division unit 21 divides the acquired input image into multiple divided images of a size according to the input size of the object detection model used by the detection unit 26, which will be described later.
  • the division unit 21 assigns consecutive numbers (hereinafter referred to as "partial surface numbers") to the multiple partial surfaces corresponding to the multiple divided images, in order, starting from the partial surface corresponding to the upper left of the frame, for example, and stores them in the first buffer 23.
  • the reduction unit 22 acquires each input image corresponding to each frame included in the video input to the object detection device 10.
  • the reduction unit 22 reduces the acquired input image to a reduced image of a size corresponding to the input size of the object detection model used by the detection unit 26 (described below).
  • the reduction unit 22 stores the entire surface corresponding to the reduced image in the first buffer 23.
  • the first buffer 23, second buffer 27, and third buffer 31 are buffers for adjusting the speed between the input frame rate of video (R input ) and the frame rate of object detection in the detection unit 26 ((N ⁇ R object )/M).
  • the determination unit 24 determines the number of planes on which object detection is performed for the same frame in the detection unit 26, i.e., the number of narrowed-down planes M, based on an index related to the difference between the input frame rate of the video and the frame rate of the object detection process in the detection unit 26.
  • the determination unit 24 determines M to be a number that is less than the currently set M. Furthermore, if the indicator indicates that the input frame rate is equal to or less than the frame rate of the object detection process, the determination unit 24 determines to maintain the currently set M, or determines M to be a number that is greater than the currently set M.
  • the determination unit 24 sets the index as the difference between the number of frames waiting for the detection unit 26 to execute the object detection process and a predetermined target number, and determines M so that the difference approaches 0.
  • M is determined using the above difference value as the index.
  • the determination unit 24 executes a process of determining the number of narrowed-down planes M at a cycle of every J frames (hereinafter referred to as a "determination cycle"), where J is a predetermined integer equal to or greater than 1.
  • the determination unit 24 executes the following process to determine M so that the number of frames waiting to be executed Baccum accumulated in the first buffer 23 becomes a predetermined target value Btarget .
  • the determination unit 24 determines the total number of surfaces (total surface count) on which object detection will be performed in the next determination cycle.
  • the total surface count is the sum of the number of narrowed-down surfaces M in each frame included in the determination cycle.
  • the determination unit 24 determines the total surface count, for example, based on PD control, so that the number of execution waiting frames B accum converges to the target value B target .
  • FIG. 4 shows a control diagram for determining the total surface count.
  • the determination unit 24 adds together a proportional value P obtained by multiplying the calculated difference value e by a constant Kp and a differential value D obtained by multiplying the difference value e (e_prev) in the previous determination cycle and the difference value e in the current determination cycle by a constant Kd. If the evaluation value SUM_INT obtained by converting the sum of the proportional value P and the differential value D into an integer value is 0, the determination unit 24 maintains the currently set total number of faces. On the other hand, if the evaluation value is not 0, the determination unit 24 sets the total number of faces in the next determination cycle to the greater of either the value obtained by adding the evaluation value SUM_INT to the currently set total number of faces or a predetermined lower limit value for the total number of faces.
  • Kp is an example of a "first constant” in the present disclosure
  • the proportional value P is an example of a "first value” in the present disclosure
  • Kd is an example of a "second constant” in the present disclosure
  • D is an example of a "second value” in the present disclosure.
  • the value obtained by adding the evaluation value SUM_INT to the currently set total number of sides is an example of a "third value” in the present disclosure.
  • the determination unit 24 determines the number of faces M i distributed to each frame when the remaining number becomes 0 as the number of narrowed-down faces M to be executed for the i-th frame in the next determination cycle.
  • the number of narrowed-down planes Mi is determined to be 3 planes in frame #0 of the next determination cycle, 3 planes in frame #1, 2 planes in frame #2, and 2 planes in frame #3.
  • the determination unit 24 also determines which partial surface will be subjected to object detection and at what timing, i.e., which frame in the next determination cycle. In this embodiment, one surface of M i is assigned to the whole surface, and the remaining M i ⁇ 1 surfaces are assigned to the partial surfaces.
  • the determination unit 24 determines which partial surface of each frame will be subjected to object detection, based on, for example, the absolute value of the difference between the average value of the number of object detections in past determination cycles and the number of object detections in the current determination cycle. Specifically, the determination unit 24 calculates the absolute value of the difference in the number of object detections for each partial surface.
  • the determination unit 24 allocates (total number of surfaces—number of frames in the determination cycle) to each partial surface in a ratio according to the calculated absolute value of the difference for each partial surface.
  • the determination unit 24 may then allocate the number of partial surfaces to each frame within the range of the narrowed-down surface number M i so that the allocated number of partial surfaces is selected in the next determination cycle, thereby determining the partial surface on which object detection will be performed in the next determination cycle.
  • the method of determining the partial surface on which object detection is to be performed is not limited to the above example.
  • the determination unit 24 may randomly select a partial surface of the M i -1 surface for each frame and determine it as the partial surface on which object detection is to be performed.
  • the determination unit 24 may select a partial surface of the M i -1 surface from the partial surface next to the partial surface selected in the previous frame in order of partial surface number and determine it as the partial surface on which object detection is to be performed.
  • the determination unit 24 notifies the first selection unit 25 and the second selection unit 29 of determination information that associates the frame number of the i-th frame in the next determination cycle with the partial surface number of the partial surface on which object detection is performed in that frame.
  • the first selection unit 25 Based on the decision information notified by the decision unit 24, the first selection unit 25 reads from the first buffer 23 the full surface and partial surface on which object detection is to be performed, and outputs them to the detection unit 26. The first selection unit 25 also deletes from the first buffer 23 the partial surface that was not selected as the partial surface on which object detection is to be performed in each frame, i.e., the partial surface that was thinned out in each frame.
  • the detection unit 26 uses an object detection model to detect objects from each of the overall surface and partial surface output from the first selection unit 25, and stores the detection results in the second buffer 27.
  • the object detection model is, for example, a machine learning model such as YOLO.
  • the second buffer 27 divides the accumulated detection results into frame-by-frame detection results and outputs them in order to the synthesis unit 33, while also notifying the result holding unit 28 of the detection results.
  • the result storage unit 28 stores the detection results for each partial surface of each frame in the previous determination cycle (hereinafter referred to as the "previous detection results").
  • the result storage unit 28 is notified by the second buffer 27 of the detection results for a partial surface by the detection unit 26, it updates the detection results it has stored for the partial surface for the relevant frame in the determination cycle with the notified detection results.
  • the result storage unit 28 is notified by the correction unit 32 (described later) of the detection results corrected based on the motion vector for the thinned partial surfaces, it updates the detection results it has stored for the partial surface for the relevant frame in the determination cycle with the notified detection results.
  • the second selection unit 29 reads the detection results for the previous partial surfaces that have been thinned out in each frame from the result storage unit 28 and outputs them to the correction unit 32.
  • the motion estimation unit 30 estimates the motion vector for each frame from the difference between frames of the input image. Conventional methods can be used to estimate the motion vector, so a detailed explanation will be omitted here.
  • the motion estimation unit 30 stores the estimated motion vector for each frame in the third buffer 31.
  • the third buffer 31 outputs the accumulated motion vectors to the correction unit 32 frame by frame.
  • the correction unit 32 corrects the position coordinates of the detection frame in the previous detection result output from the second selection unit 29 based on the motion vector output from the third buffer 31, and substitutes this as the detection result for the thinned-out partial surface.
  • the result of correcting the detection result stored in the result storage unit 28 based on the motion vector is used as the detection result for the corresponding partial surface of the corresponding frame in the current determination cycle.
  • the correction unit 32 outputs the detection result for the thinned-out partial surface to the synthesis unit 33, and notifies the result storage unit 28 of this.
  • the synthesis unit 33 synthesizes the detection results based on the object detection model for the entire surface and selected partial surfaces output from the second buffer 27 with the detection results corrected with the motion vector for the thinned partial surfaces output from the correction unit 32, to obtain the final detection result.
  • the synthesis unit 33 outputs the final detection result.
  • Figure 6 is a flowchart showing the flow of the object detection process performed by the object detection device 10.
  • the object detection process is performed by the CPU 11 reading an object detection program from the ROM 12 or storage 14, expanding it into the RAM 13, and executing it.
  • step S10 the CPU 11, functioning as the determination unit 24, determines whether it is time to execute the process for determining the number of narrowed-down surfaces M for the next determination cycle. If it is time to execute the process, the process proceeds to step S20, where the determination process is executed. On the other hand, if it is not time to execute the process, the process proceeds to step S30.
  • step S21 the CPU 11, functioning as the determination unit 24, determines the total number of narrowed-down surfaces M in each frame included in the next determination cycle.
  • step S23 the CPU 11, as the determination unit 24, assigns one of the M i faces to the whole face and the remaining M i ⁇ 1 faces to the partial faces, and determines the partial faces on which object detection will be performed for each frame of the next determination cycle.
  • step S24 the CPU 11, as the determination unit 24, notifies the first selection unit 25 and the second selection unit 29 of determination information that associates the frame number of the i-th frame in the next determination cycle with the partial face number of the partial face on which object detection will be performed in that frame, and then returns to the object detection process ( FIG. 6 ).
  • step S30 the CPU 11, acting as the division unit 21, divides the input image into a plurality of divided images, assigns partial surface numbers to the plurality of partial surfaces corresponding to the plurality of divided images, and stores them in the first buffer 23. Furthermore, the CPU 11, acting as the reduction unit 22, reduces the input image into reduced images, and stores the entire surface corresponding to the reduced images in the first buffer 23.
  • step S40 the CPU 11, functioning as the first selection unit 25, reads from the first buffer 23 the full surface and partial surface on which object detection is to be performed, based on the decision information notified by the decision unit 24, and outputs them to the detection unit 26. Then, the CPU 11, functioning as the detection unit 26, detects objects from each of the full surface and partial surface output from the first selection unit 25 using an object detection model, and stores the detection results in the second buffer 27.
  • step S50 the CPU 11, acting as the first selection unit 25, deletes from the first buffer 23 the partial surfaces that were not selected as partial surfaces for performing object detection in each frame, i.e., the thinned partial surfaces.
  • step S60 the CPU 11, acting as the second buffer 27, divides the accumulated detection results into detection results for each frame and outputs them in order to the synthesis unit 33, while also notifying the result holding unit 28 of the detection results.
  • the CPU 11, acting as the result holding unit 28 updates the detection result of the relevant partial surface of the relevant frame, from the previous detection results for each partial surface that it holds, with the notified detection result.
  • step S70 the CPU 11, acting as the second selection unit 29, reads out the previous detection results of the thinned partial surfaces in each frame from the result storage unit 28 and outputs them to the correction unit 32.
  • the CPU 11, acting as the motion estimation unit 30, estimates the motion vector for each frame and stores it in the third buffer 31.
  • the CPU 11, acting as the third buffer 31, outputs the stored motion vectors to the correction unit 32 frame by frame.
  • the CPU 11, acting as the correction unit 32 corrects the position coordinates of the detection frame in the previous detection results output from the second selection unit 29 based on the motion vector output from the third buffer 31 to obtain the detection results of the thinned partial surfaces.
  • step S80 the CPU 11, functioning as the synthesis unit 33, synthesizes the detection results output in steps S60 and S70 to obtain and output a final detection result.
  • step S90 the CPU 11 determines whether or not to end the object detection process. For example, it may determine that the object detection process is to end when the final frame of the video has been reached, when a command indicating the end of object detection has been input, etc. If the determination is negative, the process returns to step S10, and if the determination is positive, the object detection process ends.
  • the detection unit detects objects from each of a predetermined number of surfaces for each frame, among surfaces corresponding to the divided images obtained by dividing the image of each frame included in the video into multiple parts and the reduced image obtained by reducing the entire image.
  • the synthesis unit also synthesizes the object detection results for each of the predetermined number of surfaces.
  • the determination unit determines the predetermined number based on an index related to the difference between the input frame rate of the video and the frame rate of the object detection process performed by the detection unit. This makes it possible to appropriately narrow down the number of surfaces on which object detection is performed when there are multiple target surfaces for object detection per frame.
  • the hardware configuration of the object detection device 210 according to the second embodiment is similar to the hardware configuration of the object detection device 10 according to the first embodiment shown in Figure 2.
  • the functional configuration of the object detection device 210 will be described. Note that the same functional configuration as the object detection device 10 according to the first embodiment will be assigned the same reference numerals and detailed description will be omitted.
  • the object detection device 210 includes, as a functional configuration, a determination unit 224 instead of the determination unit 24 of the object detection device 10 according to the first embodiment.
  • the determination unit 224 allows the occurrence of frames in which the number of narrowed-down planes M i per frame is 0, and determines the number of narrowed-down planes per frame to be a predetermined fixed value M' for frames in which the number of narrowed-down planes M i is not 0.
  • M' the number of narrowed-down planes M i is not 0.
  • the determination unit 224 allocates a fixed value M' of face numbers sequentially starting from the first frame of the next determination cycle based on the total number of faces.
  • the number of frames to which the number of faces M' can be allocated is obtained by Floor (total number of faces/M').
  • the determination unit 224 allocates all remaining numbers to the next frame, and sets M i to 0 for subsequent frames in the determination cycle.
  • the narrowed-down number of faces M i is determined to be 3 faces for frames #0 to #2 of the next determination cycle, and 1 face for frame #3.
  • the object detection process using the object detection model in the detection unit 26 is skipped.
  • no detection result may be obtained, or a detection result in which the position coordinates of the previous detection result are corrected based on the motion vector estimated by the motion estimator 30 may be used instead, as in the first embodiment.
  • the operation of the object detection device 210 according to the second embodiment is the same as that of the first embodiment, except that in step S22 of the determination process in FIG. 7, the determination unit 224 determines M i using a fixed value M′, and therefore a description thereof will be omitted.
  • the object detection device when there are multiple target surfaces for which object detection is to be performed per frame, the number of surfaces for which object detection is to be performed can be appropriately narrowed down.
  • the B accumulator when determining the total number of frames to be narrowed down for the next determination cycle, the B accumulator is acquired at the end of the current determination cycle.
  • the B accumulator may be acquired several frames before the end to determine the total number of frames.
  • the result storage unit not only stores the previous detection result for each partial face, but also the previous detection result for the whole face. Then, as with the partial faces, when the whole face is thinned out from the targets of the object detection process using the object detection model, the previous detection result for the whole face is substituted with a detection result corrected by a motion vector.
  • the number of narrowed-down planes M is determined based on the difference between the number of frames waiting to be executed and the target value, but this is not limiting.
  • the input frame rate and object detection frame rate for the current determination cycle may be measured, and the number of narrowed-down planes M may be determined based on the difference between these values.
  • the object detection process executed by the CPU in each of the above embodiments by loading software may be executed by various processors other than the CPU.
  • processors in this case include PLDs (Programmable Logic Devices) such as FPGAs (Field-Programmable Gate Arrays), whose circuit configuration can be changed after manufacture, and dedicated electrical circuits, such as ASICs (Application Specific Integrated Circuits), which are processors with circuit configurations specifically designed to execute specific processes.
  • the object detection process may be executed by one of these various processors, or by a combination of two or more processors of the same or different types (e.g., multiple FPGAs, or a combination of a CPU and an FPGA).
  • the hardware structure of these various processors is, more specifically, an electrical circuit that combines circuit elements such as semiconductor devices.
  • the program may be provided in a form stored on a non-transitory storage medium such as a CD-ROM (Compact Disk Read Only Memory), a DVD-ROM (Digital Versatile Disk Read Only Memory), or a USB (Universal Serial Bus) memory.
  • the program may also be downloaded from an external device via a network.
  • a detection unit that detects an object from each of a predetermined number of surfaces for each frame among surfaces corresponding to divided images obtained by dividing an image of each frame included in the video into a plurality of parts and reduced images obtained by reducing the entire image; a synthesis unit that synthesizes the detection results of the object for each of the predetermined number of surfaces; a determination unit that determines the predetermined number based on an index related to a difference between an input frame rate of the video and a frame rate of the object detection process performed by the detection unit;
  • An object detection device comprising:
  • the determination unit If the indicator indicates that the input frame rate is greater than the frame rate of the object detection process, the predetermined number is determined to be a number that is reduced from the currently set predetermined number; If the indicator indicates that the input frame rate is equal to or lower than the frame rate of the object detection process, the currently set predetermined number is determined to be maintained, or the currently set predetermined number is determined to be a number increased from the currently set predetermined number.
  • Item 2 The object detection device according to item 1.
  • a motion estimation unit that estimates a motion vector for each frame based on the image difference between the frames; a correction unit that obtains an object detection result in a current frame by correcting, for each frame, a detection result of an object in front of each face that is not included in the predetermined number of faces, based on the motion vector estimated by the motion estimation unit; the combining unit combines the object detection result for each of the predetermined number of surfaces with the object detection result obtained by the correction unit; 8.
  • the object detection device according to any one of claims 1 to 7.
  • a detection unit that detects an object from each of a predetermined number of surfaces for each frame among surfaces corresponding to divided images obtained by dividing an image of each frame included in the video into a plurality of parts and reduced images obtained by reducing the entire image; a synthesis unit that synthesizes the object detection results for each of the predetermined number of surfaces; and an object detection program that causes the program to function as a determination unit that determines the predetermined number based on an index related to a difference between an input frame rate of the video and a frame rate of the object detection process in the detection unit.
  • the object detection device is configured to determine the predetermined number based on an index related to a difference between an input frame rate of the video and a frame rate of the object detection process.
  • a non-transitory storage medium storing a program executable by a computer to perform an object detection process,
  • the object detection process includes: Detecting an object from each of a predetermined number of surfaces for each frame among surfaces corresponding to divided images obtained by dividing an image of each frame included in the video into a plurality of parts and reduced images obtained by reducing the entire image; combining the object detection results for each of the predetermined number of surfaces;
  • the predetermined number is determined based on an index relating to a difference between an input frame rate of the video and a frame rate of the object detection process.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

物体検出装置は、映像に含まれる各フレームの画像を複数に分割した分割画像、及び画像全体を縮小した縮小画像の各々に相当する面のうち、フレーム毎に所定数の面の各々から物体を検出し、所定数の面の各々についての物体の検出結果を合成し、映像の入力フレームレートと物体の検出処理のフレームレートとの差に関する指標に基づいて、所定数を決定する。

Description

物体検出装置及び方法
　開示の技術は、物体検出装置及び物体検出方法に関する。
　物体検出装置は、入力画像の中から、その画像に含まれる物体を検出し、その物体の領域を示す矩形枠等の位置情報、人、車等の物体の種別を示す属性、及び検出結果の信頼度を含むメタデータを検出する装置である。
　近年、深層学習により訓練された機械学習モデルを用いた物体検出が行われており、監視カメラやエッジコンピューティングにおけるＡＩ画像処理等への利用が検討されている。そのような機械学習モデルの一例として、ＹＯＬＯ（Ｙｏｕ　Ｏｎｌｙ　Ｌｏｏｋ　Ｏｎｃｅ）、ＳＳＤ（Ｓｉｎｇｌｅ　Ｓｈｏｔ　ｍｕｌｔｉｂｏｘ　Ｄｅｔｅｃｔｏｒ）等が提案されている（非特許文献１及び２）。
　これら深層学習に基づく物体検出では、機械学習モデルに入力される画像のサイズに制約がある。例えば、ＹＯＬＯｖ３の標準モデル（非特許文献１）では、入力サイズは３２０（幅）×３２０（高さ）画素、４１６×４１６画素、及び６０８×６０８画素のいずれかである。
　上記のような機械学習モデルへの入力サイズの制約下で、フルＨＤ、４Ｋ等の高精細画像に対して深層学習に基づく物体検出を可能にするための方法が開示されている（非特許文献３）。具体的には、入力画像を上記制約下の入力サイズに縮小し、画像全体に対して物体検出を行う全体処理と、入力画像を分割し、分割画像毎に物体検出を行う分割処理とを行い、全体処理結果と分割処理結果とを合成して最終的な検出結果を得る方法である。
Joseph Redmon et.al, "YOLOv3: An Incremental Improvement", arXiv:1804.02767v1 [cs.CV] 8 Apr 2018. Wei Liu et.al, "SSD: Single Shot MultiBox Detector", arXiv:1512.02325v5 [cs.CV] 29 Dec 2016. H.Uzawa et.al, "High-definition object detection technology based on AI inference scheme and its implementation", IEICE Electronics Express, 2021, Volume 18, Issue 22, Pages 20210323．
　上記の非特許文献３の方法において、４Ｋ（３８４０×２１６０画素）等の超高精細映像を入力とする場合、分割画像数が多くなり、分割処理における計算量が膨大となる課題がある。例えば、ＹＯＬＯｖ３の場合において、入力サイズの制約が６０８×６０８画素の場合、分割画像数は最大で２８個となり、それぞれの分割画像から物体検出を行う分割処理における計算量が膨大となる。
　物体検出の計算量を削減する方法として、同一フレームに対して物体検出を実行する面（縮小画像に相当する面及び分割画像に相当する面）を絞り込む（間引く）ことが考えられる。物体検出処理のフレームレートに応じて、１フレームにつき物体検出を実行する面数を決定することが考えられるが、物体検出処理のフレームレートは揺らぎ得るため、一意に定まらず、適切な面数を決定することが困難である。物体検出を実行する面数が少な過ぎる場合には、物体検出の精度が低下し、物体検出を実行する面数が多過ぎる場合には、計算量の増加を招くため、適切な面数を決定することが望ましい。
　開示の技術は、上記の点に鑑みてなされたものであり、１フレームにつき物体検出を実行する対象の面が複数ある場合に、物体検出を実行する面数を適切に絞り込むことを目的とする。
　本開示の第１態様は、物体検出装置であって、映像に含まれる各フレームの画像を複数に分割した分割画像、及び前記画像全体を縮小した縮小画像の各々に相当する面のうち、フレーム毎に所定数の面の各々から物体を検出する検出部と、前記所定数の面の各々についての前記物体の検出結果を合成する合成部と、前記映像の入力フレームレートと前記検出部における前記物体の検出処理のフレームレートとの差に関する指標に基づいて、前記所定数を決定する決定部と、を含む。
　本開示の第２態様は、検出部と、合成部と、決定部とを含む物体検出装置が実行する物体検出方法であって、前記検出部が、映像に含まれる各フレームの画像を複数に分割した分割画像、及び前記画像全体を縮小した縮小画像の各々に相当する面のうち、フレーム毎に所定数の面の各々から物体を検出し、前記合成部が、前記所定数の面の各々についての前記物体の検出結果を合成し、前記決定部が、前記映像の入力フレームレートと前記検出部における前記物体の検出処理のフレームレートとの差に関する指標に基づいて、前記所定数を決定する。
　開示の技術によれば、１フレームにつき物体検出を実行する対象の面が複数ある場合に、物体検出を実行する面数を適切に絞り込むことができる。
本実施形態における物体検出を説明するための図である。 物体検出装置のハードウェア構成を示すブロック図である。 物体検出装置の機能構成の例を示すブロック図である。 総面数の決定のための制御図である。 第１実施形態におけるフレーム毎の絞り込み面数の決定を説明するための図である。 物体検出処理の流れを示すフローチャートである。 決定処理の流れを示すフローチャートである。 第２実施形態におけるフレーム毎の絞り込み面数の決定を説明するための図である。
　以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
＜本開示の概要＞
　各実施形態の詳細を説明する前に、図１を参照して、本開示の概要について説明する。本開示に係る物体検出装置は、映像の１フレーム分の入力画像を複数の画像に分割した分割画像毎に物体検出を行う分割処理と、入力画像全体を縮小した縮小画像の物体検出を行う全体処理とを実行する。
　物体検出装置は、全体処理において、縮小画像用に予め用意された物体検出モデルに入力可能な画像サイズに入力画像を縮小するための画像スケーリング処理を行って縮小画像を生成し、縮小画像を物体検出モデルへ入力する。そして、物体検出装置は、物体検出モデルにより物体検出処理を実行し、縮小画像内に含まれる物体を検出し、検出結果を得る。検出結果には、検出された物体を示す領域を特定する情報、物体の属性を示す情報、及び検出結果の信頼度が含まれる。図１の例では、物体を示す領域を特定する情報は、例えば、物体の外接矩形（以下、「検出枠」という）の位置情報である。位置情報は、例えば、検出枠の所定点（例えば、中心点、左上角の点等）及びサイズ（幅及び高さ）としてよい。物体の属性を示す情報は、物体の種別等を示す情報であり、図１の例では「ｄｏｇ」、「ｂｉｃｙｃｌｅ」等である。これらは、縮小画像に対する検出結果であるため、物体検出装置は、縮小前の入力画像にマッピングするために検出枠のスケーリング（メタデータ調整）を行う。メタデータ調整後の検出物体群に対して、信頼度が予め設定された閾値以上の物体を選別し、後段の合成処理に出力する。
　物体検出装置は、分割処理において、分割画像用に予め用意された物体検出モデルに入力可能な画像サイズに入力画像を分割して分割画像を生成し、各分割画像を物体検出モデルへ入力する。そして、物体検出装置は、物体検出モデルにより物体検出処理を実行し、各分割画像内に含まれる物体を検出し、検出結果を得る。ここで得られる検出結果は分割画像に対する検出結果であるため、物体検出装置は、分割前の入力画像にマッピングするためのメタデータ調整を行う。また、物体検出装置は、分割処理において、各分割画像の検出結果に対して、多重検出された同一物体の検出結果を１つだけ残し、残りを除去するスクリーニングを実行する。物体検出装置は、メタデータ調整及びスクリーニング後に、全体処理と同様に、信頼度が閾値以上の物体を選別し、後段の合成処理に出力する。
　物体検出装置は、合成処理において、分割処理による検出結果と、全体処理による検出結果とを合成した最終的な検出結果を出力する。例えば、物体検出装置は、合成処理において、全体処理で検出されなかった物体を、分割処理で検出された物体で補間する。補間対象の物体の選別においては、全体処理で検出された物体と、分割処理で検出された物体との一致判定を行い、分割処理で検出された物体のうち、全体処理で検出された物体と一致しない物体を補間対象として出力する。
　このように、入力画像全体を縮小した縮小画像と、入力画像を分割した各分割画像とから物体検出を行うため、物体検出モデルの入力サイズの制約を上回る高精細映像に対しても、入力画像に含まれる大小両方の物体を一度に検出することができる。
　ここで、上述したように、４Ｋ等の超高精細映像を入力とする場合、分割画像数が多くなり、分割処理における計算量が膨大となる課題がある。物体検出の計算量を削減する方法として、同一フレームに対して物体検出を実行する面を絞り込む（間引く）ことが考えられる。なお、ここでの「面」とは、入力画像全体を縮小した縮小画像に相当する全体面、及び入力画像を分割した各分割画像に相当する部分面である。例えば、上記のように分割画像数が２８個となる入力画像の場合、１フレーム当たりの面数は２９面である。
　同一フレームに対して物体検出を実行する面数（以下、「絞り込み面数Ｍ」という）は、例えば、（Ｎ×Ｒｏｂｊｅｃｔ）／Ｒｉｎｐｕｔで与えられる。ここで、Ｒｉｎｐｕｔは、映像の入力フレームレート、Ｒｏｂｊｅｃｔは、演算コアによる１面分の物体検出処理のフレームレート、Ｎは演算コア数である。Ｎ×Ｒｏｂｊｅｃｔは、物体検出処理の最大フレームレートを表す。したがって、（Ｎ×Ｒｏｂｊｅｃｔ）／Ｍが１フレーム分の物体検出処理のフレームレートとなる。
　しかしながら、Ｒｏｂｊｅｃｔは揺らぎ得るため、一意に定まらず、物体検出を実行する面数を適切に絞り込むことが困難である。すなわち、Ｍの値を予め適切に定めることが困難である。
　そこで、以下の各実施形態では、映像の入力フレームレート（Ｒｉｎｐｕｔ）と物体検出処理のフレームレート（（Ｎ×Ｒｏｂｊｅｃｔ）／Ｍ）との速度差に合わせて、動的に絞り込み面数Ｍの値を調整する。具体的には、（Ｎ×Ｒｏｂｊｅｃｔ）／Ｍ＜Ｒｉｎｐｕｔの場合には、Ｍ面の物体検出の実行が完了するよりも前に、次のフレームが入ってくることになり、物体検出の実行待ちフレーム数が増えてくる。この実行待ちフレーム数を減らすために、Ｍの値を低減させる。一方、（Ｎ×Ｒｏｂｊｅｃｔ）／Ｍ≧Ｒｉｎｐｕｔの場合には、Ｍの値を維持又は増加させる。これにより、Ｒｏｂｊｅｃｔが揺らいでも、それに合わせて自動的にＭの値が最適となるように調整される。以下、各実施形態について詳述する。
＜第１実施形態＞
　図２は、物体検出装置１０のハードウェア構成を示すブロック図である。図２に示すように、物体検出装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１３と、ストレージ１４と、入力部１５と、表示部１６と、通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１７とを有する。各構成は、バス１９を介して相互に通信可能に接続されている。
　ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムの実行、各部の制御等を行う。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、後述する物体検出プログラムが格納されている。
　ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記憶装置により構成され、オペレーティングシステムを含む各種プログラム及び各種データを格納する。
　入力部１５は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。表示部１６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能してもよい。
　通信Ｉ／Ｆ１７は、他の機器と通信するためのインタフェースである。当該通信には、例えば、イーサネット（登録商標）、ＦＤＤＩ等の有線通信の規格、又は、４Ｇ、５Ｇ、Ｗｉ－Ｆｉ（登録商標）等の無線通信の規格が用いられる。
　次に、物体検出装置１０の機能構成について説明する。図３は、物体検出装置１０の機能構成の例を示すブロック図である。図３に示すように、物体検出装置１０は、機能構成として、分割部２１と、縮小部２２と、第１バッファ２３と、決定部２４と、第１選択部２５と、検出部２６と、第２バッファ２７と、結果保持部２８と、第２選択部２９とを含む。また、物体検出装置１０は、動き推定部３０と、第３バッファ３１と、補正部３２と、合成部３３とを含む。各機能構成は、ＣＰＵ１１がＲＯＭ１２又はストレージ１４に記憶された物体検出プログラムを読み出し、ＲＡＭ１３に展開して実行することにより実現される。
　分割部２１は、物体検出装置１０に入力される映像に含まれる各フレームに相当する各入力画像を取得する。分割部２１は、取得した入力画像を、後述する検出部２６で用いる物体検出モデルの入力サイズに応じたサイズの複数の分割画像に分割する。分割部２１は、複数の分割画像に相当する複数の部分面に、例えばフレームの左上に相当する部分面から順番に連番（以下、「部分面番号」という）を付与し、第１バッファ２３に蓄積する。
　縮小部２２は、物体検出装置１０に入力される映像に含まれる各フレームに相当する各入力画像を取得する。縮小部２２は、取得した入力画像を、後述する検出部２６で用いる物体検出モデルの入力サイズに応じたサイズの縮小画像に縮小する。縮小部２２は、縮小画像に相当する全体面を第１バッファ２３に蓄積する。
　すなわち、第１バッファ２３には、物体検出の実行待ちフレームが蓄積される。なお、詳細は後述するが、第１バッファ２３、第２バッファ２７、及び第３バッファ３１は、映像の入力フレームレート（Ｒｉｎｐｕｔ）と検出部２６における物体検出のフレームレート（（Ｎ×Ｒｏｂｊｅｃｔ）／Ｍ）との速度調整のためのバッファである。
　決定部２４は、映像の入力フレームレートと検出部２６における物体の検出処理のフレームレートとの差に関する指標に基づいて、検出部２６において、同一フレームに対して物体検出を実行する面数、すなわち絞り込み面数Ｍを決定する。
　具体的には、決定部２４は、指標が、入力フレームレートが物体の検出処理のフレームレートよりも大きいことを示している場合は、Ｍを、現在設定されているＭより減少させた数に決定する。また、決定部２４は、指標が、入力フレームレートが物体の検出処理のフレームレート以下であることを示している場合は、現在設定されているＭを維持するように決定するか、又は、Ｍを、現在設定されているＭより増加させた数に決定する。
　例えば、決定部２４は、指標を、検出部２６による物体の検出処理の実行待ちフレーム数と、予め定めた目標数との差分値とし、差分値が０に近づくようにＭを決定する。上記の差分値を指標として用いてＭを決定する場合の実現例について具体的に説明する。
　決定部２４は、絞り込み面数Ｍを決定する処理を、Ｊフレーム毎の周期（以下、「決定周期」という）で実行する。Ｊは、予め定めた１以上の整数である。決定部２４は、第１バッファ２３に蓄積された実行待ちフレーム数Ｂａｃｃｕｍが、予め定めた目標値ＢｔａｒｇｅｔとなるようにＭを決定するために、以下の処理を実行する。
　まず、決定部２４は、次の決定周期で物体検出を実行する面数の総数（総面数）を決定する。総面数は、決定周期に含まれる各フレームにおける絞り込み面数Ｍの総数である。決定部２４は、実行待ちフレーム数Ｂａｃｃｕｍが目標値Ｂｔａｒｇｅｔに収束するように、例えばＰＤ制御に基づいて総面数を決定する。図４に、総面数の決定のための制御図を示す。決定部２４は、現決定周期の末尾にて、第１バッファ２３に蓄積されている実行待ちフレーム数Ｂａｃｃｕｍを取得し、目標値Ｂｔａｒｇｅｔとの差分値ｅ（ｅ＝Ｂｔａｒｇｅｔ－Ｂａｃｃｕｍ）を算出する。決定部２４は、算出した差分値ｅに定数Ｋｐを乗算して得られる比例値Ｐと、前決定周期における差分値ｅ（ｅ＿ｐｒｅｖ）と現決定周期の差分値ｅとの差分値に定数Ｋｄを乗算して得られる微分値Ｄとを加算する。決定部２４は、得られた比例値Ｐと微分値Ｄとの加算値を整数値に変換して得られる評価値ＳＵＭ＿ＩＮＴが０の場合、現在設定されている総面数を維持する。一方、決定部２４は、評価値が０でない場合、現在設定されている総面数に評価値ＳＵＭ＿ＩＮＴを加算して得られる値、及び予め定めた総面数の下限値のいずれか大きい方の値を次の決定周期における総面数にする。
　なお、Ｋｐは、本開示の「第１の定数」の一例であり、比例値Ｐは、本開示の「第１の値」の一例である。また、Ｋｄは、本開示の「第２の定数」の一例であり、Ｄは、本開示の「第２の値」の一例である。また、現在設定されている総面数に評価値ＳＵＭ＿ＩＮＴを加算して得られる値は、本開示の「第３の値」の一例である。
　また、決定部２４は、決定した総面数に基づいて、次の決定周期内のフレーム毎の絞り込み面数Ｍｉ（ｉ＝０，１，２，・・・，Ｊ－１）を決定する。具体的には、決定部２４は、図５のＡに示すように、次の決定周期（図５の例では４フレーム）内のフレームに総面数（図５の例は、総面数＝１０）を均等に振り分ける。この段階で、各フレームに２面ずつ振り分けられると共に、残数が２面となっている。決定部２４は、図５のＢに示すように、フレーム番号をスイープさせながら残数を１つずつ、該当のフレームに分配する面数に加算する。決定部２４は、図５のＣに示すように、残数が０になった段階で各フレームに振り分けられている面数Ｍｉを、次の決定周期のｉ番目のフレームについて実行される絞り込み面数Ｍとして決定する。図５の例では、破線部に示すように、絞り込み面数Ｍｉが、次の決定周期のフレーム＃０では３面、フレーム＃１では３面、フレーム＃２では２面、フレーム＃３では２面と決定されている。
　また、決定部２４は、どの部分面の物体検出を、どのタイミング、すなわち次の決定周期のどのフレームで実行するか決定する。本実施形態では、Ｍｉのうちの１面を全体面に割り当て、残りのＭｉ－１面を部分面に割り当てることとする。決定部２４は、各フレームの部分面のうち、どの部分面を物体検出を実行する部分面とするかを、例えば、過去の決定周期における物体検出数の平均値と現決定周期における物体検出数との差分絶対値に基づいて決定する。具体的には、決定部２４は、部分面毎に上記の物体検出数の差分絶対値を算出する。決定部２４は、算出した部分面毎の差分絶対値に応じた比となるように、（総面数－決定周期内フレーム数）を各部分面に配分する。そして、決定部２４は、当該配分数だけ各部分面が次の決定周期内で選択されるように、絞り込み面数Ｍｉの範囲内で各フレームに配分することで、次の決定周期にて物体検出を実行する部分面を決定してよい。
　なお、物体検出を実行する部分面の決定方法は上記の例に限定されない。例えば、決定部２４は、フレーム毎にランダムにＭｉ－１面の部分面を選択して、物体検出を実行する部分面として決定してもよい。また、例えば、決定部２４は、部分面番号の順番に、前のフレームで選択済みの部分面の次の部分面からＭｉ－１面の部分面を選択して、物体検出を実行する部分面として決定してもよい。
　決定部２４は、次の決定周期のｉ番目のフレームのフレーム番号に、そのフレームにおいて物体検出を実行する部分面の部分面番号を対応付けた決定情報を、第１選択部２５及び第２選択部２９へ通知する。
　第１選択部２５は、決定部２４から通知された決定情報に基づいて、第１バッファ２３から、物体検出を実行する全体面及び部分面を読み出し、検出部２６へ出力する。また、第１選択部２５は、各フレームにおいて、物体検出を実行する部分面として選択されなかった部分面、すなわち各フレームにおいて間引かれた部分面を第１バッファ２３から削除する。
　検出部２６は、第１選択部２５から出力された全体面及び部分面の各々から、物体検出モデルを用いて物体を検出し、検出結果を第２バッファ２７に蓄積する。物体検出モデルは、例えばＹＯＬＯ等の機械学習モデルである。
　ここで、検出部２６による物体検出はＮ個の演算コアで並列に実行される。すなわち、Ｎ面の物体検出が並列に実行される。そこで、Ｎ面の中に複数のフレームの全体面及び部分面が混在することを許容する。例えば、Ｎ＝４、Ｍｉ＝２、及びＭｉ＋１＝２の場合には、Ｍｉ＋Ｍｉ＋１＝４であるため、現決定周期の先頭からｉ番目のフレームに対して実行するＭｉ面と、ｉ＋１番目のフレームに対して実行するＭｉ＋１面とを、Ｎ個の演算コアを用いて並列に実行する。
　第２バッファ２７は、蓄積された検出結果を、１フレームずつの検出結果に分けて順番に合成部３３に出力すると共に、結果保持部２８に検出結果を通知する。
　結果保持部２８は、前の決定周期における各フレームの部分面毎の検出結果（以下、「前の検出結果」という）を保持している。結果保持部２８は、第２バッファ２７から、検出部２６による部分面の検出結果が通知されると、決定周期内の該当のフレームについての該当の部分面について保持している検出結果を通知された検出結果で更新する。また、結果保持部２８は、後述する補正部３２から、間引かれた部分面について、動きベクトルに基づいて補正された検出結果（詳細は後述）が通知されると、決定周期内の該当のフレームについての該当の部分面について保持している検出結果を通知された検出結果で更新する。
　第２選択部２９は、決定部２４から通知された決定情報に基づいて、各フレームにおいて間引かれた部分面の前の検出結果を結果保持部２８から読み出し、補正部３２へ出力する。
　動き推定部３０は、入力画像のフレーム間における差分から、各フレームにおける動きベクトルを推定する。動きベクトルの推定方法は従来手法を適用してよいため、ここでは詳細な説明を省略する。動き推定部３０は、推定したフレーム毎の動きベクトルを第３バッファ３１に蓄積する。
　第３バッファ３１は、蓄積された動きベクトルを、１フレームずつ補正部３２に出力する。
　補正部３２は、第３バッファ３１から出力された動きベクトルに基づいて、第２選択部２９から出力された前の検出結果における検出枠の位置座標を補正して、間引かれた部分面の検出結果として代用する。すなわち、間引かれた部分面については、検出部２６による物体検出モデルを用いた物体検出に代えて、結果保持部２８で保持されている検出結果を動きベクトルに基づいて補正した結果を、現決定周期における該当のフレームの該当の部分面の検出結果とする。補正部３２は、間引かれた部分面の検出結果を合成部３３に出力すると共に、結果保持部２８へ通知する。
　合成部３３は、第２バッファ２７から出力された、全体面及び選択された部分面についての物体検出モデルによる検出結果と、補正部３２から出力された、間引かれた部分面についての、動きベクトルで補正された検出結果とを合成し、最終的な検出結果を得る。合成部３３は、最終的な検出結果を出力する。
　次に、第１実施形態に係る物体検出装置１０の作用について説明する。図６は、物体検出装置１０による物体検出処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から物体検出プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、物体検出処理が行なわれる。
　ステップＳ１０において、ＣＰＵ１１は、決定部２４として、次の決定周期の絞り込み面数Ｍを決定する処理の実行タイミングとなったか否かを判定する。実行タイミングの場合には、ステップＳ２０へ移行し、決定処理が実行される。一方、実行タイミングではない場合には、ステップＳ３０へ移行する。
　ここで、図７を参照して、決定処理について説明する。
　ステップＳ２１で、ＣＰＵ１１は、決定部２４として、次の決定周期に含まれる各フレームにおける絞り込み面数Ｍの総面数を決定する。次に、ステップＳ２２で、ＣＰＵ１１は、決定部２４として、決定した総面数に基づいて、次の決定周期内のフレーム毎の絞り込み面数Ｍｉ（ｉ＝０，１，２，・・・，Ｊ－１）を決定する。
　次に、ステップＳ２３で、ＣＰＵ１１は、決定部２４として、次の決定周期の各フレームについて、Ｍｉのうちの１面を全体面に割り当て、残りのＭｉ－１面を部分面に割り当てると共に、物体検出を実行する部分面を決定する。次に、ステップＳ２４で、ＣＰＵ１１は、決定部２４として、次の決定周期のｉ番目のフレームのフレーム番号に、そのフレームにおいて物体検出を実行する部分面の部分面番号を対応付けた決定情報を、第１選択部２５及び第２選択部２９へ通知し、物体検出処理（図６）にリターンする。
　次に、ステップＳ３０で、ＣＰＵ１１は、分割部２１として、入力画像を複数の分割画像に分割し、複数の分割画像に相当する複数の部分面に部分面番号を付与して、第１バッファ２３に蓄積する。また、ＣＰＵ１１は、縮小部２２として、入力画像を縮小画像に縮小し、縮小画像に相当する全体面を第１バッファ２３に蓄積する。
　次に、ステップＳ４０で、ＣＰＵ１１は、第１選択部２５として、決定部２４から通知された決定情報に基づいて、第１バッファ２３から、物体検出を実行する全体面及び部分面を読み出し、検出部２６へ出力する。そして、ＣＰＵ１１は、検出部２６として、第１選択部２５から出力された全体面及び部分面の各々から、物体検出モデルを用いて物体を検出し、検出結果を第２バッファ２７に蓄積する。
　次に、ステップＳ５０で、ＣＰＵ１１は、第１選択部２５として、各フレームにおいて、物体検出を実行する部分面として選択されなかった部分面、すなわち間引かれた部分面を第１バッファ２３から削除する。次に、ステップＳ６０で、ＣＰＵ１１は、第２バッファ２７として、蓄積された検出結果を、１フレームずつの検出結果に分けて順番に合成部３３に出力すると共に、結果保持部２８に検出結果を通知する。ＣＰＵ１１は、結果保持部２８として、保持している部分面毎の前の検出結果のうち、該当のフレームの該当の部分面の検出結果を、通知された検出結果で更新する。
　次に、ステップＳ７０で、ＣＰＵ１１は、第２選択部２９として、各フレームにおいて間引かれた部分面の前の検出結果を結果保持部２８から読み出し、補正部３２へ出力する。また、ＣＰＵ１１は、動き推定部３０として、各フレームにおける動きベクトルを推定し、第３バッファ３１に蓄積する。ＣＰＵ１１は、第３バッファ３１として、蓄積された動きベクトルを、１フレームずつ補正部３２に出力する。そして、ＣＰＵ１１は、補正部３２として、第３バッファ３１から出力された動きベクトルに基づいて、第２選択部２９から出力された前の検出結果における検出枠の位置座標を補正して、間引かれた部分面の検出結果を得る。ＣＰＵ１１は、補正部３２として、間引かれた部分面の検出結果を合成部３３に出力すると共に、結果保持部２８へ通知する。ＣＰＵ１１は、結果保持部２８として、保持している部分面毎の前の検出結果のうち、該当のフレームの該当の部分面の検出結果を、通知された検出結果で更新する。
　次に、ステップＳ８０で、ＣＰＵ１１は、合成部３３として、上記ステップＳ６０及びＳ７０で出力された検出結果を合成して、最終的な検出結果を得て、出力する。次に、ステップＳ９０で、ＣＰＵ１１は、物体検出処理を終了するか否かを判定する。例えば、映像の最終フレームまで到達した場合、物体検出の終了を示すコマンドが入力された場合等の場合に、物体検出処理を終了すると判定してよい。否定判定の場合には、ステップＳ１０に戻り、肯定判定の場合には、物体検出処理は終了する。
　以上説明したように、第１実施形態に係る物体検出装置では、検出部が、映像に含まれる各フレームの画像を複数に分割した分割画像、及び画像全体を縮小した縮小画像の各々に相当する面のうち、フレーム毎に所定数の面の各々から物体を検出する。また、合成部が、所定数の面の各々についての物体の検出結果を合成する。そして、決定部が、映像の入力フレームレートと検出部における物体の検出処理のフレームレートとの差に関する指標に基づいて、所定数を決定する。これにより、１フレームにつき物体検出を実行する対象の面が複数ある場合に、物体検出を実行する面数を適切に絞り込むことができる。
＜第２実施形態＞
　次に、第２実施形態について説明する。
　第２実施形態に係る物体検出装置２１０のハードウェア構成は、図２に示す第１実施形態に係る物体検出装置１０のハードウェア構成と同様である。
　次に、物体検出装置２１０の機能構成について説明する。なお、第１実施形態に係る物体検出装置１０と同一の機能構成については、同一符号を付して詳細な説明を省略する。
　図３に示すように、物体検出装置２１０は、機能構成として、第１実施形態に係る物体検出装置１０の決定部２４に代えて、決定部２２４を含む。
　決定部２２４は、総面数の決定及び物体検出を実行する部分面の決定については、第１実施形態の決定部２４と同様の処理を実行する。ただし、フレーム毎の絞り込み面数Ｍｉ（ｉ＝０，１，２，・・・，Ｊ－１）を決定する処理において、絞り込み面数Ｍを固定化し、物体検出処理のフレームレートを調整する点が第１実施形態における決定部２４と異なる。
　具体的には、決定部２２４は、フレーム毎の絞り込み面数Ｍｉが０となるフレームが生じることを許容し、絞り込み面数Ｍｉが０ではないフレームには、予め定めた固定値Ｍ’となるようにフレーム毎の絞り込み面数を決定する。これにより、物体検出モデルによる物体検出がスキップされるフレームが発生するが、物体検出モデルによる物体検出が実行されるフレームでは十分な面数の物体検出が可能となり、検出性能を高めることができる。
　例えば、決定部２２４は、総面数に基づいて、次の決定周期の先頭フレームから順に固定値Ｍ’の面数を割り振る。ここで、面数Ｍ’を割り振ることが可能なフレーム数は、Ｆｌｏｏｒ（総面数／Ｍ’）で得られる。決定部２２４は、図８のＡに示すように、次の決定周期の先頭から数えてＦｌｏｏｒ（総面数／Ｍ’）までのフレームは、Ｍｉ＝Ｍ’とする。また、決定部２２４は、図８のＢに示すように、その次のフレームに残数を全て割り振り、決定周期内の以降のフレームのＭｉは０とする。図８の例では、破線部に示すように、絞り込み面数Ｍｉが、次の決定周期のフレーム＃０～＃２では３面、フレーム＃３では１面と決定されている。
　Ｍｉが０のフレームについては、上述したように、検出部２６における物体検出モデルを用いた物体検出処理がスキップされる。この場合、物体検出処理をスキップしたフレームについては、検出結果を無しとしてもよいし、第１実施形態と同様に、動き推定部３０で推定した動きベクトルに基づいて、前の検出結果における位置座標を補正した検出結果で代用してもよい。
　第２実施形態に係る物体検出装置２１０の作用については、図７の決定処理におけるステップＳ２２において、決定部２２４が、固定値Ｍ’を用いたＭｉの決定を行う点を除いて、第１実施形態と同様であるため、説明を省略する。
　以上説明したように、第２実施形態に係る物体検出装置においても、第１実施形態に係る物体検出装置と同様に、１フレームにつき物体検出を実行する対象の面が複数ある場合に、物体検出を実行する面数を適切に絞り込むことができる。
　なお、上記各実施形態では、次の決定周期の絞り込み総面数を決定する際、現決定周期の末尾にてＢａｃｃｕｍを取得する場合について説明したが、これに限定されない。処理時間を鑑みて末尾よりも数フレーム前にＢａｃｃｕｍを取得して、総面数を決定するようにしてもよい。
　また、上記各実施形態では、Ｍｉのうちの１面を全体面に割り当て、残りのＭｉ－１面を部分面に割り当てる場合について説明したが、これに限定されない。全体面及び部分面群の中からＭｉ個の面を選択するようにしてもよい。この場合、結果保持部には、部分面毎の前の検出結果を保持するだけでなく、全体面の前の検出結果も保持することとする。そして、部分面と同様に、全体面が物体検出モデルを用いた物体検出処理の対象から間引かれた場合には、全体面についての前の検出結果を動きベクトルで補正した検出結果で代用する。
　また、上記各実施形態では、実行待ちフレーム数と目標値との差分値に基づいて、絞り込み面数Ｍを決定する場合について説明したが、これに限定されない。例えば、現決定周期における入力フレームレート及び物体検出のフレームレートを計測し、その差分値に基づいて、絞り込み面数Ｍを決定してもよい。
　また、上記各実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した物体検出処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、物体検出処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
　また、上記各実施形態では、物体検出プログラムがストレージ１４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
　以上の実施形態に関し、更に以下の付記を開示する。
（付記項１）
　映像に含まれる各フレームの画像を複数に分割した分割画像、及び前記画像全体を縮小した縮小画像の各々に相当する面のうち、フレーム毎に所定数の面の各々から物体を検出する検出部と、
　前記所定数の面の各々についての前記物体の検出結果を合成する合成部と、
　前記映像の入力フレームレートと前記検出部における前記物体の検出処理のフレームレートとの差に関する指標に基づいて、前記所定数を決定する決定部と、
　を含む物体検出装置。
（付記項２）
　前記決定部は、
　　前記指標が、前記入力フレームレートが前記物体の検出処理のフレームレートよりも大きいことを示している場合は、前記所定数を、現在設定されている前記所定数より減少させた数に決定し、
　　前記指標が、前記入力フレームレートが前記物体の検出処理のフレームレート以下であることを示している場合は、現在設定されている前記所定数を維持するように決定するか、又は、前記所定数を、現在設定されている前記所定数より増加させた数に決定する、
　付記項１に記載の物体検出装置。
（付記項３）
　前記決定部は、前記指標を、前記検出部による物体の検出処理の実行待ちフレーム数と、予め定めた目標数との差分値とし、前記差分値が０に近づくように前記所定数を決定する付記項１又は付記項２に記載の物体検出装置。
（付記項４）
　前記決定部は、前記所定数の決定を実行する所定フレーム数の周期に含まれるフレームにおける前記所定数の総数を、前記差分値に予め定めた第１の定数を乗じて得られる第１の値と、前周期における前記差分値と現周期における前記差分値との差に予め定めた第２の定数を乗じて得られる第２の値とを加算した加算値を整数に変換した評価値が０の場合には、現在設定されている前記所定数の総数を維持し、前記評価値が０でない場合には、現在設定されている前記所定数の整数に前記評価値を加算した第３の値、及び予め定めた前記所定数の総数の下限値のいずれか大きい方の値として決定する付記項３に記載の物体検出装置。
（付記項５）
　前記決定部は、前記周期に含まれるフレームに、前記所定数の総数を均等に分配し、余りを前記周期に含まれる先頭のフレームから順に１つずつ分配することで、フレーム毎の前記所定数を決定する付記項４に記載の物体検出装置。
（付記項６）
　前記決定部は、前記周期に含まれる先頭のフレームから順に、前記所定数の総数を前記所定数として予め定めた固定数ずつ割り当て、余りを前記固定数が最後に割り当てられたフレームの次のフレームの前記所定数として割り当て、残りのフレームの所定数を０とする付記項４に記載の物体検出装置。
（付記項７）
　前記検出結果は、前記物体を示す領域を特定する情報、前記物体の属性を示す情報、及び前記検出結果の信頼度を含む付記項１～付記項６のいずれか１項に記載の物体検出装置。
（付記項８）
　フレーム間の画像の差分に基づいて、各フレームの動きベクトルを推定する動き推定部と、
　各フレームにおいて、前記所定数の面に含まれない面について、前記動き推定部で推定された動きベクトルに基づいて、各面の前の物体の検出結果を補正することで現フレームにおける物体の検出結果を得る補正部と、を含み、
　前記合成部は、前記所定数の面の各々についての前記物体の検出結果と、前記補正部による前記物体の検出結果とを合成する、
　付記項１～付記項７のいずれか１項に記載の物体検出装置。
（付記項９）
　コンピュータを、
　映像に含まれる各フレームの画像を複数に分割した分割画像、及び前記画像全体を縮小した縮小画像の各々に相当する面のうち、フレーム毎に所定数の面の各々から物体を検出する検出部、
　前記所定数の面の各々についての前記物体の検出結果を合成する合成部、並びに、
　前記映像の入力フレームレートと前記検出部における前記物体の検出処理のフレームレートとの差に関する指標に基づいて、前記所定数を決定する決定部
　として機能させるための物体検出プログラム。
（付記項１０）
　メモリと、
　前記メモリに接続された少なくとも１つのプロセッサと、
　を含み、
　前記プロセッサは、
　映像に含まれる各フレームの画像を複数に分割した分割画像、及び前記画像全体を縮小した縮小画像の各々に相当する面のうち、フレーム毎に所定数の面の各々から物体を検出し、
　前記所定数の面の各々についての前記物体の検出結果を合成し、
　前記映像の入力フレームレートと前記物体の検出処理のフレームレートとの差に関する指標に基づいて、前記所定数を決定する
　ように構成されている物体検出装置。
（付記項１１）
　物体検出処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
　前記物体検出処理は、
　映像に含まれる各フレームの画像を複数に分割した分割画像、及び前記画像全体を縮小した縮小画像の各々に相当する面のうち、フレーム毎に所定数の面の各々から物体を検出し、
　前記所定数の面の各々についての前記物体の検出結果を合成し、
　前記映像の入力フレームレートと前記物体の検出処理のフレームレートとの差に関する指標に基づいて、前記所定数を決定する
　非一時的記憶媒体。
１０、２１０  物体検出装置
１１   ＣＰＵ
１２   ＲＯＭ
１３   ＲＡＭ
１４   ストレージ
１５   入力部
１６   表示部
１７   通信Ｉ／Ｆ
１９   バス
２１   分割部
２２   縮小部
２３   第１バッファ
２４、２２４  決定部
２５   第１選択部
２６   検出部
２７   第２バッファ
２８   結果保持部
２９   第２選択部
３０   動き推定部
３１   第３バッファ
３２   補正部
３３   合成部

Claims (4)

  1. 　映像に含まれる各フレームの画像を複数に分割した分割画像、及び前記画像全体を縮小した縮小画像の各々に相当する面のうち、フレーム毎に所定数の面の各々から物体を検出する検出部と、
    　前記所定数の面の各々についての前記物体の検出結果を合成する合成部と、
    　前記映像の入力フレームレートと前記検出部における前記物体の検出処理のフレームレートとの差に関する指標に基づいて、前記所定数を決定する決定部と、
    　を含む物体検出装置。
  2. 　前記決定部は、
    　　前記指標が、前記入力フレームレートが前記物体の検出処理のフレームレートよりも大きいことを示している場合は、前記所定数を、現在設定されている前記所定数より減少させた数に決定し、
    　　前記指標が、前記入力フレームレートが前記物体の検出処理のフレームレート以下であることを示している場合は、現在設定されている前記所定数を維持するように決定するか、又は、前記所定数を、現在設定されている前記所定数より増加させた数に決定する、
    　請求項１に記載の物体検出装置。
  3. 　前記決定部は、前記指標を、前記検出部による物体の検出処理の実行待ちフレーム数と、予め定めた目標数との差分値とし、前記差分値が０に近づくように前記所定数を決定する請求項１又は請求項２に記載の物体検出装置。
  4. 　検出部と、合成部と、決定部とを含む物体検出装置が実行する物体検出方法であって、
    　前記検出部が、映像に含まれる各フレームの画像を複数に分割した分割画像、及び前記画像全体を縮小した縮小画像の各々に相当する面のうち、フレーム毎に所定数の面の各々から物体を検出し、
    　前記合成部が、前記所定数の面の各々についての前記物体の検出結果を合成し、
    　前記決定部が、前記映像の入力フレームレートと前記検出部における前記物体の検出処理のフレームレートとの差に関する指標に基づいて、前記所定数を決定する、
    　物体検出方法。
PCT/JP2024/015192 2024-04-16 2024-04-16 物体検出装置及び方法 Pending WO2025220141A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/015192 WO2025220141A1 (ja) 2024-04-16 2024-04-16 物体検出装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/015192 WO2025220141A1 (ja) 2024-04-16 2024-04-16 物体検出装置及び方法

Publications (1)

Publication Number Publication Date
WO2025220141A1 true WO2025220141A1 (ja) 2025-10-23

Family

ID=97403072

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/015192 Pending WO2025220141A1 (ja) 2024-04-16 2024-04-16 物体検出装置及び方法

Country Status (1)

Country Link
WO (1) WO2025220141A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022101321A (ja) * 2020-12-24 2022-07-06 中部電力パワーグリッド株式会社 物体検出装置
WO2022259299A1 (ja) * 2021-06-07 2022-12-15 日本電信電話株式会社 物体検出装置および方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022101321A (ja) * 2020-12-24 2022-07-06 中部電力パワーグリッド株式会社 物体検出装置
WO2022259299A1 (ja) * 2021-06-07 2022-12-15 日本電信電話株式会社 物体検出装置および方法

Similar Documents

Publication Publication Date Title
KR102115066B1 (ko) 비디오 안정화를 위한 적응적 경로 평활화
US12423852B2 (en) Device and method for dividing, scaling, and combining similar attributes for object detection
US11900529B2 (en) Image processing apparatus and method for generation of a three-dimensional model used for generating a virtual viewpoint image
US11537857B2 (en) Pooling processing method and system applied to convolutional neural network
US10990826B1 (en) Object detection in video
CN107784281B (zh) 人脸检测方法、装置、设备及计算机可读介质
CN109977952B (zh) 基于局部最大值的候选目标检测方法
CN109191498B (zh) 基于动态记忆和运动感知的目标检测方法及系统
US20140294293A1 (en) Image processing circuit and image detection device
CN115205519B (zh) 一种锚框参与训练的目标检测方法及装置
JP7529056B2 (ja) 物体検出装置、方法、及びプログラム
JP2018180945A (ja) 物体検出装置及びプログラム
US20240296648A1 (en) Object detecting device and method
US20240062506A1 (en) Object detection device, object detection method, and object detection program
JP7803411B2 (ja) 物体検出装置、及び物体検出方法
JP2022142119A (ja) 情報処理装置、情報処理システム、情報処理方法、及び、プログラム
CN115797719A (zh) 图像检测模型的训练方法、图像检测方法及装置
US20170076187A1 (en) Image processing apparatus and image processing method for estimating time required for print processing
US20260080652A1 (en) Object detection device, object detection method, and object detection program
US11676372B2 (en) Object/region detection and classification system with improved computer memory efficiency
CN117746433A (zh) 文本检测方法和装置、电子设备和存储介质
US11057641B1 (en) Systems and methods of motion estimation using monocular event-based sensor
CN110427816B (zh) 物体检测方法、装置、计算机设备和存储介质
JP2009194626A (ja) 動き補償に伴う更新領域検出装置
WO2024257361A1 (ja) 推論処理装置、推論処理方法及び推論処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24935946

Country of ref document: EP

Kind code of ref document: A1