WO2024029382A1 - 信号処理装置、信号処理方法 - Google Patents

信号処理装置、信号処理方法 Download PDF

Info

Publication number
WO2024029382A1
WO2024029382A1 PCT/JP2023/026959 JP2023026959W WO2024029382A1 WO 2024029382 A1 WO2024029382 A1 WO 2024029382A1 JP 2023026959 W JP2023026959 W JP 2023026959W WO 2024029382 A1 WO2024029382 A1 WO 2024029382A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
frame
signal processing
processing device
unit
Prior art date
Application number
PCT/JP2023/026959
Other languages
English (en)
French (fr)
Inventor
大貴 田中
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2024029382A1 publication Critical patent/WO2024029382A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present technology relates to the technical field of a signal processing device and a signal processing method that follow a moving object that is a detection target and generate and output a cropped image that includes the moving object.
  • ROI Region of Interest
  • Some ROI functions output only partial image data of a region that includes the detected object by setting the ROI to follow the detected object when it moves (for example, the following Patent Document 1).
  • the ROI function for tracking a subject has a problem in that the processing load is large because the subject to be tracked is detected in each frame image by image processing.
  • the present technology was developed in view of these problems, and aims to reduce the processing load associated with the ROI function for tracking a subject.
  • the signal processing device includes: a position detection unit that detects a position of the object in the captured image as an object position based on an image captured by an imaging unit that captures an image of a moving target; a position estimating unit that estimates the position of the object in the captured images from the next frame onward based on the object position and the moving speed of the object; A frame setting section for setting a cutting frame.
  • the cutting frame can be set to include the position of the target object predicted based on the object position and the moving speed.
  • FIG. 2 is a block diagram of a camera device.
  • FIG. 3 is a diagram for explaining a cutting frame and a detection frame set in a part of a captured image.
  • FIG. 6 is a diagram illustrating an example in which a detection frame wider than the extraction frame is set.
  • FIG. 2 is a diagram for explaining an overview of barcode monitoring.
  • FIG. 6 is a diagram for explaining how a cutting frame is set to follow a barcode.
  • FIG. 2 is a block diagram showing the functional configuration of an image sensor in the first embodiment. This is an example of output data in accordance with the MIPI standard.
  • 5 is a flowchart illustrating an example of a process executed by a control unit of an image sensor.
  • FIG. 2 is a block diagram showing the functional configuration of an image sensor in a second embodiment.
  • FIG. 7 is a block diagram showing the functional configuration of an image sensor in a third embodiment.
  • the signal processing device is a device that performs various types of processing on a captured image captured by an imaging section. Various types of such signal processing devices are possible, but in the following description, an image sensor IS will be mentioned.
  • the image sensor IS is included in the camera device 1. An example of the internal configuration of the camera device 1 will be described with reference to FIG.
  • the camera device 1 includes an image sensor IS, an imaging optical system 31, an optical system drive section 32, a control section 33, a memory section 34, and a communication section 35.
  • the image sensor IS, the control section 33, the memory section 34, and the communication section 35 are connected via a bus 36, and are capable of mutual data communication.
  • the imaging optical system 31 includes lenses such as a cover lens, zoom lens, and focus lens, and an aperture (iris) mechanism. This imaging optical system 31 guides light (incident light) from the subject and focuses it on the light receiving surface of the image sensor IS.
  • the optical system drive unit 32 comprehensively represents the zoom lens, focus lens, and aperture mechanism drive units included in the imaging optical system 31.
  • the optical system drive unit 32 includes actuators for driving each of the zoom lens, focus lens, and aperture mechanism, and a drive circuit for the actuators.
  • the control unit 33 is configured with a microcomputer having, for example, a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory), and the CPU executes programs stored in the ROM or loaded in the RAM.
  • the overall control of the camera device 1 is performed by executing various processes according to the programs.
  • control unit 33 instructs the optical system drive unit 32 to drive the zoom lens, focus lens, aperture mechanism, etc.
  • the optical system drive unit 32 moves the focus lens and zoom lens, opens and closes the aperture blades of the aperture mechanism, etc. in response to these drive instructions.
  • the control unit 33 controls writing and reading of various data to and from the memory unit 34 .
  • the memory unit 34 is a nonvolatile storage device such as an HDD (Hard Disk Drive) or a flash memory device, and is used as a storage destination (recording destination) for image data output from the image sensor IS.
  • control unit 33 performs various data communications with external devices via the communication unit 35.
  • the camera device 1 in this example is used, for example, for the purpose of monitoring (or checking) an object to be monitored that moves while being placed on an object transport mechanism such as a belt conveyor. That is, the camera device 1 performs various checks on the monitoring object OB by performing predetermined image processing based on captured image data of the monitoring object OB.
  • the communication unit 35 is configured to be able to perform data communication with a belt conveyor control device, etc., and is capable of outputting these monitoring results (check results) to the outside. This makes it possible to remove the monitoring object OB in which a problem has occurred from the belt conveyor or to generate an alert.
  • the image sensor IS is configured as, for example, a CCD type image sensor, a CMOS type image sensor, or the like.
  • the image sensor IS includes an imaging section 41, an image signal processing section 42, an in-sensor control section 43, a memory section 45, and a communication I/F 46, each of which can communicate data with each other via a bus 47.
  • the imaging section 41 includes a pixel array section in which pixels having photoelectric conversion elements such as photodiodes are arranged two-dimensionally, and a readout circuit that reads out electrical signals obtained by photoelectric conversion from each pixel of the pixel array section. It is possible to output the electrical signal as a captured image signal.
  • the readout circuit performs, for example, CDS (Correlated Double Sampling) processing, AGC (Automatic Gain Control) processing, etc. on the electrical signal obtained by photoelectric conversion, and further performs A/D (Analog/Digital) conversion processing.
  • CDS Correlated Double Sampling
  • AGC Automatic Gain Control
  • the image signal processing unit 42 performs preprocessing, synchronization processing, YC generation processing, resolution conversion processing, codec processing, etc. on the captured image signal as digital data after A/D conversion processing.
  • preprocessing clamping processing for clamping the R, G, and B black levels to predetermined levels and correction processing between the R, G, and B color channels are performed on the captured image signal.
  • simultaneous processing color separation processing is performed so that the image data for each pixel includes all R, G, and B color components. For example, in the case of an image sensor using a Bayer array color filter, demosaic processing is performed as color separation processing.
  • a luminance (Y) signal and a color (C) signal are generated (separated) from R, G, and B image data.
  • the resolution conversion process the resolution conversion process is performed on image data that has been subjected to various types of signal processing.
  • the codec processing the image data that has been subjected to the various processes described above is subjected to encoding processing for recording or communication, and file generation, for example.
  • video file formats such as MPEG-2 (MPEG: Moving Picture Experts Group) and H. It is possible to generate files in formats such as H.264.
  • the image signal processing unit 42 calculates information about the subject based on two signals output from the image sensor IS as iToF (indirect time of flight), for example. The distance information is calculated and a distance image is output.
  • iToF indirect time of flight
  • the in-sensor control unit 43 instructs the imaging unit 41 to control the execution of the imaging operation.
  • the image signal processing unit 42 also controls execution of processing.
  • the image signal processing unit 42 and the sensor internal control unit 43 in this embodiment perform various processes in order to monitor (or check) the monitoring object OB that is placed on an object transport mechanism such as a belt conveyor and moves.
  • the image signal processing unit 42 and the sensor internal control unit 43 perform binarization processing, mask processing, moment processing, center of gravity calculation processing, frame position calculation processing, movement amount calculation processing, and movement speed acquisition processing. , position estimation processing, image cutting processing, output data shaping processing, etc.
  • Each process may be performed by either the image signal processing section 42 or the in-sensor control section 43. That is, each process may be realized by hardware such as a logic circuit, or may be realized by software such as a program.
  • the memory unit 45 can be used as a so-called frame memory in which captured image data (RAW image data) obtained by the image signal processing unit 42 and image data after synchronization processing are stored. Further, the memory unit 45 may be used to store temporary data generated when the image signal processing unit 42 and the in-sensor control unit 43 execute the above-described processes.
  • captured image data RAW image data
  • the communication I/F 46 is an interface for communicating with the control unit 33, memory unit 34, etc. located outside the image sensor IS.
  • the communication I/F 46 performs communication for acquiring a program to be executed by the image signal processing unit 42 from the outside, and stores it in the memory unit 45 included in the image sensor IS.
  • the image sensor IS as a signal processing device images the monitoring object OB being carried by an object transport mechanism such as a belt conveyor, and images the area including the target object that is part of the monitoring object OB.
  • a partial image of is output as an ROI image.
  • the monitoring object OB is a product placed in a packaging material such as cardboard, and a barcode BC such as a one-dimensional code or a two-dimensional code is affixed to the surface of the packaging material.
  • the image sensor IS monitors these barcodes BC as monitoring targets.
  • a barcode BC will be used as an example of an object that is part of the monitoring object OB, but the object may be other than that.
  • the target object may be a part of a product (for example, a handle), and the image sensor IS may determine whether the part is properly attached to the product.
  • the image sensor IS In order to detect the barcode BC on the monitoring object OB, the image sensor IS outputs a part of the captured image 2 corresponding to the effective area of the sensor surface as an ROI area. For this purpose, the image sensor IS sets a frame for cutting out the ROI region as a cutting frame 3 (see FIG. 2).
  • the partial image cut out by the cutout frame 3 is set as the ROI image 4.
  • the cutting frame 3 is shown by a dashed line.
  • a part of the area within the cutout frame 3 is set as a target area for performing image processing for object recognition.
  • the image sensor IS sets a detection frame 5 as a frame for specifying the target area.
  • the detection frame 5 is shown by a broken line in FIG.
  • the detection frame 5 is set so that the barcode BC is located within the frame when the monitoring object OB is transported to a predetermined position in the object transport mechanism. If there is a possibility that the position of the barcode BC will shift significantly, the detection frame 5 is also set large. At this time, the detection frame 5 may be set larger than the extraction frame 3 (see FIG. 3).
  • the extraction frame 3 and the detection frame 5 are set to move within the captured image 2 to follow the movement of the barcode BC when the barcode BC is detected.
  • the image sensor IS sets the cutout frame 3 and the detection frame 5 so that the moving barcode BC fits within the frame.
  • FIG. 4 shows an overview of the positional relationship between the extraction frame 3, the detection frame 5, and the barcode BC.
  • FIG. 4 shows five captured images 2 and a cutting frame 3 and a detection frame 5 set on the captured images 2.
  • the five captured images 2 are arranged in chronological order from the top, and are labeled as captured images 2A, 2B, 2C, 2D, and 2E.
  • FIG. 4 shows ROI images 4A, 4B, 4C, 4D, and 4E corresponding to the captured images 2A, 2B, 2C, 2D, and 2E.
  • a cutting frame 3A and a detection frame 5A are set on the captured image 2A. Moreover, the barcode BC is not detected within the detection frame 5A of the captured image 2A.
  • a cutting frame 3B and a detection frame 5B are set on the captured image 2B.
  • a part of the barcode BC is detected within the detection frame 5B of the captured image 2B.
  • the image sensor IS separates the cutting frame 3 and the detection frame 5 in the captured image 2 as the next frame image (not shown).
  • the barcode BC may be captured within the detection frame 5 as early as possible by shifting it to the right in the figure.
  • a cutting frame 3C and a detection frame 5C are set. Further, the entire barcode BC is included within the detection frame 5C of the captured image 2C, and the barcode BC is detected.
  • a cutting frame 3D and a detection frame 5D are set on the captured image 2D. Moreover, the cutting frame 3D and the detection frame 5D are set to be shifted to the left in the figure as the barcode BC moves. The entire barcode BC is included within the detection frame 5D of the captured image 2D, and the barcode BC is detected.
  • a cutting frame 3E and a detection frame 5E are set on the captured image 2E. Further, the extraction frame 3E and the detection frame 5E are set to be further shifted to the left in the figure as the barcode BC moves. The entire barcode BC is included within the detection frame 5E of the captured image 2E, and the barcode BC is detected.
  • the image sensor IS acquires the moving speed of the barcode BC, and after acquiring the moving speed, performs a process of predicting the position of the barcode BC based on the moving speed. At this time, image processing for detecting the barcode BC within the detection frame 5 is not performed. Therefore, the image sensor IS does not need to set the detection frame 5 after calculating the moving speed.
  • FIG. 5 shows a captured image 2 captured by the image sensor IS, an ROI image 4 output according to a cutting frame 3 set on the captured image 2, and an image signal processing unit 42 or an ROI image in the sensor at that time. It shows the relationship between the processes executed by the control unit 43.
  • the captured images 2 are arranged as captured images 2a, 2b, 2c, 2d, and 2e in chronological order and frame by frame, and the captured images 2y and 2z are arranged after the captured image 2, which is not shown.
  • the captured images 2y and 2z are the last two frame images when tracking of the barcode BC is stopped.
  • the captured image 2 captured before the captured image 2a that is, the captured image 2 until the entire barcode BC is captured within the detection frame 5 is omitted. That is, the captured image 2a is the first captured image 2 in which the entire barcode BC is contained within the detection frame 5.
  • the image signal processing section 42 and the in-sensor control section 43 (hereinafter simply referred to as "control section") of the image sensor IS perform image processing on the captured image 2a within the detection frame 5a to detect the barcode BC. Perform processing.
  • the control section of the image sensor IS calculates the center of gravity position of the barcode BC. This determines the position of the barcode BC. The details will be described later.
  • a cutting frame 3b and a detection frame 5b are set within the image.
  • the positions of the cropping frame 3b and the detection frame 5b in the image are the same as the positions of the cropping frame 3a and the detection frame 5a in the captured image 2a. That is, the cropping frame 3a and the cropping frame 3b are set at predetermined positions within the image, and the detection frame 5a and the detection frame 5b are set at predetermined positions within the image different from the cropping frames 3a and 3b.
  • the control unit of the image sensor IS performs a detection process on the captured image 2b to detect the barcode BC by performing image processing within the detection frame 5b. Further, the control unit of the image sensor IS calculates the center of gravity position of the barcode BC and specifies the position of the barcode BC. Further, the control unit of the image sensor IS moves the barcode BC according to the difference between the center of gravity position of the barcode BC for the captured image 2a and the center of gravity of the barcode BC for the captured image 2b, and the length of the frame period. Calculate speed.
  • the control unit of the image sensor IS performs processing for estimating the predicted position of the barcode BC on the captured image 2c for the captured image 2c captured following the captured image 2b, and cuts the image so that the predicted position is included. Set the slot 3c.
  • control unit of the image sensor IS estimates the predicted position of the barcode BC on the captured images 2d and 2e, and sets cutting frames 3d and 3e.
  • the control unit of the image sensor IS does not perform image processing for detecting the barcode BC on the captured images 2c, 2d, and 2e. Thereby, the processing load on the control unit of the image sensor IS can be reduced, and power consumption can be reduced. Note that the period during which the cutout frame 3 is set based on the predicted position of the barcode BC will be referred to as a "tracking period".
  • the control unit of the image sensor IS returns to the detection frame as shown in the captured images 2y and 2z of FIG. Set 5y and 5z.
  • control unit of the image sensor IS specifies the position of the barcode BC within the detection frames 5y and 5z. At this time, the control unit of the image sensor IS performs barcode BC detection processing and gravity center position calculation processing. Further, the control unit of the image sensor IS calculates the moving speed of the barcode BC based on the difference in the center of gravity position of the barcode BC between the detection frame 5y and the detection frame 5z.
  • the calculated moving speed is used for comparison with the moving speed calculated based on the captured images 2a and 2b. Thereby, it is possible to determine the correctness of the moving speed calculated for the barcode BC. Note that since the moving speed calculated based on the captured images 2a and 2b is the moving speed at the start of the tracking period, it is referred to as the “starting moving speed.” Similarly, the moving speed calculated based on the captured images 2y and 2z is referred to as the "finishing moving speed.”
  • the cutting frames 3y and 3z are set based on the predicted position without specifying the position of the barcode BC by image processing in the captured images 2y and 2z. You may.
  • Captured image data supplied from the imaging unit 41 of the image sensor IS is passed to the binarization processing unit 10.
  • the binarization processing unit 10 performs a process of comparing the pixel value of the captured image 2 with the pixel value serving as a threshold value and binarizing it. Specifically, when the pixel value is less than or equal to the threshold value, the pixel value of the pixel is set to "1", and when the pixel value is higher than the threshold value, the pixel value of the relevant pixel is set to "0". As a result, a binarized image in which the pixel value of the black line portion of the barcode BC is set to "1" is generated.
  • the binarized image obtained as a result of the binarization process is supplied to the mask processing section 11.
  • the mask processing unit 11 performs mask processing to replace the pixel values in the area outside the cutting frame 3 with "0".
  • the mask image obtained as a result of the mask processing is supplied to the subsequent detection processing section 12.
  • the detection processing unit 12 sets a detection frame 5 in a predetermined area within the cutout frame 3 of the mask processing unit 11, and detects the barcode BC, which is the detection target, within the detection frame 5. If it is not detected, no further processing is performed.
  • the mask image is supplied to the moment processing unit 13.
  • the detection processing section 12 is located at the subsequent stage of the mask processing section 11, it may be configured to detect the barcode BC on an image before being binarized. That is, various positions of the detection processing section 12 are possible.
  • the moment processing unit 13 calculates the mn-th moment M(m, n).
  • the mn-th moment M (m, n) is calculated using the following equation (1).
  • area A is an area where the pixel value in the mask image is "1”, and is the area of the black line of barcode BC.
  • the moment processing unit 13 calculates M(0, 0), M(1, 0), and M(0, 1), respectively.
  • Each calculated value is output to the center of gravity calculation unit 14.
  • the center of gravity calculation unit 14 calculates the center of gravity position of the barcode BC using M(0,0), M(1,0), and M(0,1). Specifically, the x-coordinate of the center of gravity position of the barcode BC is calculated using the following equation (2), and the y-coordinate is calculated using the following equation (3).
  • center of gravity calculation unit 14 can be considered to be executing a process of detecting the position of the barcode BC. That is, the center of gravity calculation unit 14 functions as a position detection unit for the barcode BC.
  • the calculated center of gravity position of the barcode BC is supplied to the frame position calculation unit 15.
  • the frame position calculation unit 15 calculates the position of the cutting frame 3 based on the supplied center of gravity position. Thereby, the cutout frame 3 is made to include the detected barcode BC.
  • the calculated frame position is supplied to the frame setting section 16.
  • the processing of the frame setting unit 16 will be described later.
  • center of gravity position calculated by the center of gravity calculation unit 14 is also supplied to the movement amount calculation unit 17. Then, the center of gravity position is output to the movement amount calculation unit 17 for a plurality of frame images (captured image 2).
  • the movement amount calculation unit 17 calculates the movement amount of the barcode BC based on the position of the center of gravity of each of the plurality of captured images 2 supplied from the center of gravity calculation unit 14 . Specifically, the difference in the center of gravity positions is calculated. The calculated movement amount is supplied to the movement speed acquisition section 18.
  • the difference in imaging time of the plurality of frame images whose center of gravity positions have been calculated is output from the difference time calculation unit 19 to the movement speed acquisition unit 18 .
  • the difference time calculation unit 19 uses frequency (number of clocks) information to calculate the difference time between the frame start timings of each of the plurality of captured images 2 whose center of gravity positions have been calculated. For example, when the center of gravity position of captured image 2 as two consecutive frame images is calculated, the reciprocal of the frame rate is calculated as the difference time. The calculated difference time is output to the moving speed acquisition section 18.
  • the moving speed acquisition unit 18 calculates the moving speed of the barcode BC based on the moving amount and time difference of the barcode BC calculated in the captured image 2 as a plurality of frame images.
  • the calculated moving speed is output to the position estimating section 20.
  • the position estimating unit 20 obtains the moving speed of the barcode BC from the moving speed obtaining unit 18 and also obtains the current center of gravity position of the barcode BC from the center of gravity calculating unit 14.
  • the position estimating unit 20 estimates the predicted position of the barcode BC in the captured image 2 for the next frame based on the center of gravity position and moving speed of the barcode BC.
  • the estimated predicted position is output to the frame setting section 16.
  • the frame setting unit 16 sets the cutting frame 3 so that the barcode BC is included.
  • the frame setting section 16 functions as a selector. Specifically, the frame setting unit 16 sets the frame position (output from the frame position calculation unit 15) obtained by performing image processing on the captured image 2 as the current frame image acquired from the frame position calculation unit 15. ) or the frame position (output from the position estimation unit 20) according to the predicted position of the barcode BC based on the captured image 2 captured before the current frame image. The position of the extending frame 3 is set and output to the image cutting section 21.
  • the frame setting unit 16 sets the cutout frame 3 for the captured images 2a and 2b shown in FIG. 5 based on the frame position information obtained from the frame position calculation unit 15 (first setting process). That is, for the captured images 2a and 2b, the barcode BC is detected by image processing, and the position of the cutting frame 3 is set from the center of gravity of the barcode BC.
  • the cutout frame 3 is set using a predicted position based on the moving speed of the barcode BC calculated based on the difference in the center of gravity positions of the barcode BC obtained from the captured images 2a and 2b.
  • the frame position of the clipping frame 3 set by the frame setting unit 16 is output to the image clipping unit 21.
  • the frame setting unit 16 starts the first setting process in response to a change from a non-detection state where the barcode BC is not detected to a detection state where the barcode BC is detected, and sets the position.
  • the process of switching to the second setting process is performed in response to the calculation of the moving speed of the barcode BC by the estimation unit 20.
  • the image cutting unit 21 cuts out a ROI image 4 as a partial image based on the cutting frame 3.
  • the cut-out ROI image 4 is supplied to the output data shaping processing section 22.
  • the comparison unit 23 compares the moving speed of the barcode BC at the time when the calculation of the predicted position of the barcode BC is started and the moving speed of the barcode BC at the time when the calculation of the predicted position is stopped. That is, a comparison is made between the starting moving speed, which is the moving speed at the start of the tracking period, and the ending moving speed, which is the moving speed at the end of the tracking period. Specifically, the moving speed of the barcode BC calculated based on the captured images 2a and 2b shown in FIG. 5 is compared with the moving speed of the barcode BC calculated based on the captured images 2y and 2z.
  • the comparison unit 23 determines that tracking of the position of the barcode BC has been performed normally when the deviation between the two moving speeds is less than the threshold value. Further, if the difference between the two moving speeds is equal to or greater than a threshold value, it is determined that the position of the barcode BC has not been properly tracked.
  • the determination result is provided to the output data shaping processing section 22 as, for example, flag information.
  • the output data shaping processing unit 22 is supplied with not only the ROI image 4 but also the information on the moving speed of the barcode BC obtained by the moving speed acquiring unit 18 and the comparison result between the moving speed.
  • the output data shaping processing unit 22 stores each of these pieces of information in each area of a data structure based on the MIPI (Mobile Industry Processor Interface) standard, for example, and transmits it to the subsequent processing unit.
  • the subsequent processing section is, for example, the control section 33 shown in FIG. 1 or a control section provided in a device provided outside the camera device 1.
  • Packet data compliant with the MIPI standard (hereinafter referred to as "MIPI data") that is output during one frame period is a series of data that starts at the frame start ("FS" in the diagram) and ends at the frame end ("FE” in the diagram). It is transmitted as packet data (line data).
  • MIPI data is transmitted as frame data in which multiple packets are connected between a frame start and a frame end.
  • Each packet data is composed of a packet header ("PH" in the figure), a payload area, and a packet footer ("PF" in the figure), and various types of transmission data are stored in the payload area.
  • PH packet header
  • PF packet footer
  • the output data shaping processing section 22 shown in FIG. 6 stores the ROI image 4 cut out by the image cutting section 21 as cut out image data in the payload area of the line data LD5, LD6, . . . LD11, LD12. Further, the output data shaping processing unit 22 uses the moving speed information supplied from the moving speed acquisition unit 18 and the comparison result information supplied from the comparing unit 23 as embedded data as payload of the line data LD1, LD2, LD3, and LD4. Store in area.
  • the information on the moving speed and the information on the comparison result may be stored in the payload area of the line data LD13, LD14, LD15, and LD16.
  • the moving speed information and the comparison result information before the ROI image 4 is transmitted, it is possible to change the settings of the object transport device or the imaging settings of the camera device 1, etc. in the ROI image for the next frame. It is easy to finish the process before 4 is output. Therefore, processing for dealing with the case where the barcode BC cannot be tracked can be quickly performed.
  • a process of returning from the above-described second setting process to the first setting process may be performed. That is, the state may be returned to specifying the barcode BC by image processing without using the predicted position.
  • information on the moving speed and the information on the comparison results are output as metadata of the cropped image data.
  • information on the center of gravity position of the barcode BC may also be output as the metadata.
  • step S101 the control unit of the image sensor IS determines whether it is a tracking period.
  • the tracking period is a period during which the cutting frame 3 is set based on the predicted position of the barcode BC, as described above.
  • the control unit of the image sensor IS acquires the captured image 2 from the imaging unit 41 in step S102.
  • control unit of the image sensor IS performs binarization processing in step S103, and performs masking processing in the subsequent step S104. Note that each process has been described above, so a detailed description thereof will be omitted. Detailed description of each process described below may also be omitted.
  • control unit of the image sensor IS performs barcode BC detection processing in step S105.
  • the target area of the detection process is an area within the detection frame 5 set on the captured image 2.
  • the control unit of the image sensor IS returns to the process of step S101 again.
  • the control unit of the image sensor IS performs moment processing in step S107.
  • the control unit of the image sensor IS calculates the center of gravity position of the barcode BC in the subsequent step S108, and calculates the position of the cutting frame 3 in step S109.
  • the control unit of the image sensor IS calculates the position of the cutting frame 3 based on image processing by performing a series of processes shown from step S102 to step S109. As a result, the cutting frame 3 is set based on image processing. This is the first setting process described above.
  • the control unit of the image sensor IS determines whether the movement amount calculation is possible in step S110. For example, if the center of gravity position of the barcode BC is detected in both the captured image 2a and the captured image 2b shown in FIG. 5, it is determined that the amount of movement can be calculated.
  • control unit of the image sensor IS calculates the amount of movement in step S111, calculates the time difference in step S112, and calculates the speed of movement in step S113.
  • control unit of the image sensor IS calculates the moving speed of the barcode BC necessary to estimate the predicted position of the barcode BC by executing a series of processes shown from step S111 to step S113.
  • step S110 the control unit of the image sensor IS proceeds to step S114 without executing each process of steps S111, S112, and S113.
  • step S114 the control unit of the image sensor IS determines whether comparison of moving speeds is possible. For example, if the timing is after executing the process of step S113 on the captured image 2z shown in FIG. 5, the starting movement speed based on the captured images 2a and 2b and the ending movement speed based on the captured images 2y and 2z Both are obtained. Therefore, it is possible to compare both moving speeds.
  • control section of the image sensor IS performs a movement speed comparison process in step S115, and supplies the comparison result to the output data shaping processing section 22.
  • step S114 On the other hand, at the time when the captured image 2b shown in FIG. 5 is acquired, only one moving speed is obtained, so it is determined in step S114 that comparison of moving speeds is impossible. In this case, the process of step S115 is avoided.
  • the control unit of the image sensor IS performs a process of cutting out the ROI image 4 based on the set cutting frame 3 in step S116, and performs a process of outputting the ROI image 4 and metadata in step S117. Note that in the output process of step S117, if the moving speed has been calculated, the moving speed is output as metadata. Furthermore, if a comparison result of the moving speed has been calculated, the comparison result is output as metadata.
  • control unit of the image sensor IS returns to the process in step S101.
  • step S101 determines whether it is the tracking period. If it is determined in the determination process of step S101 that it is the tracking period, the control unit of the image sensor IS proceeds to the process of step S118. For example, at the timing when the captured images 2c, 2d, and 2e shown in FIG. 5 are acquired, it is determined that it is the tracking period. In this case, each process from step S102 to S109, that is, image processing for specifying the position of the barcode BC is not performed.
  • step S118 the control unit of the image sensor IS performs predicted position estimation processing. Further, in step S119, the control unit of the image sensor IS performs a process of setting the cutting frame 3 based on the predicted position. This is the second setting process described above.
  • control unit of the image sensor IS executes the processes of steps S116 and S117 to perform image cutting processing and data output processing.
  • the image sensor IS as a signal processing device in the second embodiment is configured to be able to provide information on the moving speed of the barcode BC from the outside. This will be specifically explained with reference to FIG.
  • FIG. 9 is a diagram corresponding to FIG. 6 in the first embodiment, and shows the functional configuration of the image sensor IS.
  • the movement speed acquisition unit 18 calculates the movement speed of the barcode BC based on the movement amount of the barcode BC calculated by the movement amount calculation unit 17 and the difference time calculated by the difference time calculation unit 19. is considered possible.
  • the moving speed acquisition unit 18 in this embodiment is configured to be able to obtain and employ a moving speed input from outside the image sensor IS or outside the camera device 1 instead of calculating the moving speed. has been done.
  • the external input of the moving speed is, for example, the moving speed input when the moving speed of the object flowing on the line is known due to the settings of the object transport device, etc., and is information about the speed setting. .
  • the binarization processing section 10 for the captured image 2 as a subsequent frame image, the binarization processing section 10, the mask processing section 11, the detection processing section 12, the moment processing section 13, the center of gravity calculation section 14, the frame position calculation section 15, It becomes possible to omit each process in the movement amount calculation section 17, the difference time calculation section 19, and the comparison section 23, and the processing load can be reduced.
  • the image sensor IS as a signal processing device in the third embodiment calculates the moving speed of the barcode BC outside the image sensor IS or outside the camera device 1. This will be specifically explained with reference to FIG.
  • FIG. 10 is a diagram corresponding to FIG. 6 in the first embodiment and FIG. 9 in the second embodiment, and shows the functional configuration of the image sensor IS.
  • the center of gravity calculation unit 14 provides the calculated center of gravity position to the output data shaping processing unit 22.
  • the center of gravity position of the barcode BC is output to the control unit 33 outside the image sensor IS or to a device outside the camera device 1.
  • these devices are referred to as “external devices.”
  • the external device calculates the moving speed of the barcode BC based on the received multiple center of gravity positions. Then, the external device provides the calculated moving speed and the received information on the center of gravity position to the moving speed acquisition unit 18 of the image sensor IS.
  • the moving speed acquisition unit 18 receives information on the center of gravity position and moving speed from an external device, and provides the information to the position estimating unit 20.
  • the position estimating unit 20 estimates the predicted position of the barcode BC based on the information on the center of gravity position and the information on the moving speed, and provides it to the frame setting unit 16.
  • the image sensor IS sets the cutting frame 3 using the information on the moving speed of the barcode BC calculated by the external device.
  • the comparison section 23 performs a process of comparing the two movement speeds by outputting information on the plurality of movement speeds to the comparison section 23. , it is determined whether or not the position of the barcode BC has been successfully tracked.
  • the determination result is provided to the output data shaping processing section 22 as, for example, flag information.
  • the function of the comparison unit 23 may be provided by an external device of the image sensor IS or an external device of the camera device 1.
  • the image sensor IS as a signal processing device performs the following operations: A position detection unit (center of gravity calculation unit 14) that detects the position of the object as the object position, and a position of the object in the captured image 2 from the next frame onwards as the predicted position based on the detected object position and the moving speed of the object. It includes a position estimating unit 20 that estimates the position, and a frame setting unit 16 that sets the cutting frame 3 in the captured image 2 from the next frame onwards according to the predicted position. Thereby, the cutting frame 3 can be set to include the position of the target object predicted based on the object position and the moving speed.
  • the frequency of image processing is reduced compared to the case where the object position is detected each time, and thus the processing load can be reduced.
  • the object is moved, for example, at a constant speed in one direction.
  • Constant velocity here means that even if the moving speed of the object varies minutely due to, for example, vibrations during operation of the drive mechanism of a belt conveyor, the object moves at approximately the same speed overall. including cases where it can be considered that
  • a rectangular frame was illustrated in the example mentioned above about the cutting frame 3, it may be any shape, such as a circle, an ellipse, or a star shape.
  • the image sensor IS as a signal processing device may include a moving speed acquisition unit 18 that obtains the moving speed of a target object (for example, a barcode BC). By acquiring the moving speed of the target object, the predicted position can be estimated with high accuracy in combination with the object position of the target object.
  • a target object for example, a barcode BC
  • the moving speed acquisition unit 18 of the image sensor IS as a signal processing device may calculate the moving speed based on the difference in object positions in the captured images 2 of multiple frames. .
  • the moving speed acquisition unit 18 can calculate the moving speed of the object (for example, the barcode BC) based on the length of the frame period and the difference (distance) between the object positions. That is, the moving speed of the object can be calculated by image processing. For example, when the moving speed of the object cannot be obtained, the moving speed can be determined from the captured image 2.
  • the moving speed acquisition unit 18 of the image sensor IS serving as the signal processing device may obtain information input about the moving speed.
  • the movement speed acquisition unit 18 may, for example, acquire the movement speed input by the user, or may acquire the movement speed of the belt conveyor input by processing executed in another device. That is, the predicted position of the object (for example, barcode BC) may be calculated based on the moving speed input from the outside. For example, when the moving speed of the object cannot be obtained by image processing on the captured image 2, information about the moving speed can be obtained.
  • the image sensor IS as a signal processing device includes a center of gravity calculation unit 14 that calculates the center of gravity position on the captured image 2 of an object (for example, a barcode BC), and
  • the center of gravity calculation unit 14 may detect the object position based on the position of the center of gravity. That is, the position of each object is calculated by calculating the position of the center of gravity of the object in each of the two captured images 2. Then, the amount of movement of the object is determined based on the difference in object position. Thereby, the moving speed of the object can be calculated by image processing. Therefore, even if a specific position on the object cannot be detected, the moving speed of the object can be calculated if the center of gravity position can be calculated.
  • the image sensor IS as a signal processing device may include an output section (output data shaping processing section 22) that outputs the center of gravity position.
  • output data shaping processing section 22 outputs the center of gravity position.
  • the image sensor IS as a signal processing device acquires the movement speed calculated externally based on the center of gravity position output from the output section (output data shaping processing section 22).
  • the moving speed acquisition unit 18 may also be provided.
  • the predicted position can be estimated using the moving speed of the object (for example, barcode BC) calculated externally. Therefore, it is possible to reduce the processing load on the signal processing device.
  • the position detection unit (centroid calculation unit 14) of the image sensor IS as a signal processing device detects an object within the detection frame 5 set as a part of the captured image 2. Position detection may also be performed. Thereby, the area to be detected for the object (for example, barcode BC) can be limited to the area within the detection frame 5, and the processing load for the process for detecting the object can be reduced.
  • the frame setting unit 16 of the image sensor IS as a signal processing device cuts out the detection frame 5 so that the detected object (for example, barcode BC) is included.
  • Frame 3 may also be set. Thereby, a cropped image including the target object can be output to another device with a small processing load. Further, it is possible to reduce the burden of image processing in a subsequent device than by outputting the entire captured image 2.
  • the image sensor IS as a signal processing device includes an output section (output data shaping processing section 22) that outputs the moving speed acquired by the moving speed acquiring section 18. Good too. This makes it possible to present the moving speed and the like calculated by the signal processing device to the user in another device. Therefore, it becomes possible for the user to judge whether the moving speed is normal or not, and convenience is improved.
  • the frame setting unit 16 of the image sensor IS as a signal processing device performs the first setting for setting the cutting frame 3 based on the object position detected within the captured image 2. It may be possible to switch between the process and the second setting process of setting the cutting frame 3 based on the predicted position.
  • the first setting process based on image processing sets the cropping frame 3 that includes the object (for example, barcode BC), and the second setting process based on the predicted position without image processing performs the cropping.
  • Setting frame 3 can be used appropriately. Therefore, depending on the situation, it is possible to use the cropping frame 3 that includes the highly accurately identified object position and the cropping frame 3 that includes the identified predicted position while reducing the processing load. .
  • the predicted position can be calculated with high accuracy, making it possible to both reduce the processing load and track the object with high precision. .
  • the position detection unit (center of gravity calculation unit 14) of the image sensor IS as a signal processing device performs processing for detecting the object position within the captured image 2 in the second setting processing. You don't have to do it. This reduces the processing load during execution of the second setting process.
  • the frame setting unit 16 of the image sensor IS as a signal processing device changes from a non-detection state in which the target object (for example, barcode BC) is not detected to a state in which the target object (for example, barcode BC) is detected.
  • a moving speed acquisition unit 18 that calculates and obtains a starting moving speed that is the moving speed at the start of the tracking period and an ending moving speed that is the moving speed at the end of the tracking period; It may also include an output section (output data shaping processing section 22) that outputs the speed comparison results.
  • output data shaping processing section 22 outputs the speed comparison results.
  • the image sensor IS as a signal processing device collects the cut-out image data (data of the ROI image 4) cut out by the cut-out frame 3 and the metadata of the cut-out image data.
  • the metadata includes at least one of the moving speed and the center of gravity position of the object (for example, barcode BC) on the captured image 2, and the metadata includes an output unit (output data shaping processing unit 22) that outputs
  • the information may be stored in an embedded data area in a data structure compliant with the Mobile Industry Processor Interface (Mobile Industry Processor Interface) standard. This makes it possible to transmit both cut-out image data and metadata in a data format compliant with the MIPI standard.
  • Metadata is extracted from among multiple line data included in the same frame data in a data structure compliant with the MIPI standard.
  • Image data data of ROI image 4
  • Image data may be stored in the payload area of line data that is transmitted before the stored line data. This allows the information processing device that has received MIPI standard data to lengthen the time from when the metadata is received until when the next frame data is received. Therefore, changes in belt conveyor settings and imaging settings based on metadata can be completed by the time the next frame data is received. That is, it becomes possible to quickly change settings based on metadata.
  • the target object may be a barcode (one-dimensional code, two-dimensional code, etc.) provided on the object.
  • the cutout frame 3 is set for each frame according to the moving speed of the belt conveyor so that the one-dimensional code or two-dimensional code affixed to the surface of the packaging material of the product fits within the frame. Therefore, it is possible to easily check whether a barcode has been forgotten to be attached to the packaging material.
  • the image sensor IS as a signal processing device includes a binarization processing unit 10 that generates a binarized image by binarizing the captured image 2, and a position detection unit ( The center of gravity calculation unit 14) may perform object position detection on the binarized image.
  • a binarization processing unit 10 that generates a binarized image by binarizing the captured image 2
  • a position detection unit The center of gravity calculation unit 14
  • image processing is simplified and the processing load can be reduced.
  • the signal processing device may be an image sensor IS including the imaging section 41. Setting the cropping frame 3 that follows the target object (for example, barcode BC) and cropping the image using the cropping frame 3 are performed within the image sensor, thereby reducing the amount of calculations for processing performed outside the image sensor. be able to.
  • the target object for example, barcode BC
  • the signal processing method in this technology detects the position of the object in the captured image as the object position based on the image captured by the imaging unit that captures the image of the moving target, and detects the detected object position and the moving speed of the target.
  • a computer device executes a process of estimating the position of the object in the captured images from the next frame onwards as a predicted position based on the predicted position, and setting a cutting frame in the captured images from the next frame onwards according to the predicted position. .
  • the program in this technology has a function of detecting the position of the object in the captured image as the object position based on the image captured by the imaging unit that captures the moving object, and the detected object position and the moving speed of the target.
  • the image sensor IS has a function of estimating the position of the object in the captured images from the next frame onwards as a predicted position based on the predicted position, and a function of setting a cutting frame in the captured images from the next frame onwards according to the predicted position.
  • This is a program that is executed by the image signal processing section 42 and the sensor internal control section 43. With such a program, it is possible to reduce the processing load for the ROI function of tracking a subject in the image sensor IS as the signal processing device described above.
  • HDD Hard Disk Drive
  • ROM Compact Disk Read Only Memory
  • MO Magnetic Optical
  • DVD Digital Versatile Disc
  • Blu-ray Disc registered trademark
  • magnetic disk semiconductor
  • semiconductor It can be stored (recorded) temporarily or permanently in a removable recording medium such as a memory or a memory card.
  • a removable recording medium can be provided as so-called package software.
  • a program can also be downloaded from a download site via a network such as a LAN (Local Area Network) or the Internet.
  • LAN Local Area Network
  • the present technology can also adopt the following configuration.
  • a position detection unit that detects a position of the object in the captured image as an object position based on an image captured by an imaging unit that captures an image of a moving target; a position estimating unit that estimates the position of the object in the captured images in subsequent frames as a predicted position based on the detected object position and the moving speed of the object;
  • a signal processing device comprising: a frame setting unit that sets a cutting frame in the captured image of the next frame and thereafter according to the predicted position.
  • the signal processing device further comprising a movement speed acquisition unit that acquires the movement speed calculated externally based on the center of gravity position output from the output unit.
  • a movement speed acquisition unit that acquires the movement speed calculated externally based on the center of gravity position output from the output unit.
  • the position detection unit detects the object position within a detection frame set as a part of the captured image.
  • the frame setting unit sets the cutting frame so that the target object detected within the detection frame is included.
  • the signal processing device according to any one of (2) to (4) above, including an output section that outputs the moving speed acquired by the moving speed acquiring section.
  • the frame setting unit performs a first setting process of setting the cutout frame based on the object position detected in the captured image, and a second setting process of setting the cutout frame based on the predicted position.
  • the signal processing device according to any one of (1) to (10) above, which is capable of switching between.
  • the frame setting unit starts the first setting process in response to a change from a non-detection state in which the target object is not detected to a detection state in which the target object is detected, and calculates the moving speed.
  • the signal processing device comprising an output unit that outputs cut-out image data cut out by the cut-out frame and metadata of the cut-out image data
  • the metadata is including at least one of the moving speed and the center of gravity position of the object on the captured image
  • the signal processing device according to any one of (1) to (13) above, wherein the signal processing device is stored in an embedded data area in a data structure compliant with the MIPI (Mobile Industry Processor Interface) standard.
  • the metadata is a payload area of line data that is transmitted before the line data in which the cutout image data is stored, among a plurality of line data included in the same frame data in a data structure compliant with the MIPI standard.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

信号処理装置は、移動する対象物を撮像する撮像部による撮像画像に基づいて前記対象物の前記撮像画像内での位置を物体位置として検出する位置検出部と、検出された前記物体位置と前記対象物の移動速度に基づいて次フレーム以降の前記撮像画像における前記対象物の位置を予測位置として推定する位置推定部と、前記予測位置に応じて次フレーム以降の前記撮像画像における切出枠を設定する枠設定部と、を備えるものとした。

Description

信号処理装置、信号処理方法
　本技術は、検出対象物とされた移動物体を追随し、移動物体が含まれるように切出画像を生成して出力する信号処理装置及び信号処理方法の技術分野に関する。
　画角全体を撮像した撮像画像から一部の領域を切り出すＲＯＩ（Region of Interest）機能がある。ＲＯＩ機能には、検出された被写体が動く場合に該被写体を追従するようにＲＯＩが設定されることにより対象物が含まれる領域の部分画像データのみが出力されるものもある（例えば下記特許文献１）。
特開２０２１－１６６３１７号公報
　被写体を追尾するＲＯＩ機能は、各フレーム画像において追尾対象の被写体を画像処理により検出するため、処理負担が大きいという問題がある。
　本技術はこのような問題に鑑みて為されたものであり、被写体を追尾するＲＯＩ機能についての処理負担の軽減を図ることを目的とする。
　本技術に係る信号処理装置は、移動する対象物を撮像する撮像部による撮像画像に基づいて前記対象物の前記撮像画像内での位置を物体位置として検出する位置検出部と、検出された前記物体位置と前記対象物の移動速度に基づいて次フレーム以降の前記撮像画像における前記対象物の位置を予測位置として推定する位置推定部と、前記予測位置に応じて次フレーム以降の前記撮像画像における切出枠を設定する枠設定部と、を備えたものである。
　これにより、物体位置と移動速度に基づいて予測された対象物の位置を含むように切出枠を設定することができる。
カメラ装置のブロック図である。 撮像画像の一部の領域に設定される切出枠と検波枠を説明するための図である。 切出枠よりも広い検波枠が設定された例を示す図である。 バーコードの監視の概要を説明するための図である。 バーコードを追随するように切出枠が設定される様子を説明するための図である。 第１の実施の形態におけるイメージセンサの機能構成を示すブロック図である。 ＭＩＰＩ規格に準じた出力データの一例である。 イメージセンサの制御部が実行する処理の一例についてのフローチャートである。 第２の実施の形態におけるイメージセンサの機能構成を示すブロック図である。 第３の実施の形態におけるイメージセンサの機能構成を示すブロック図である。
　以下、添付図面を参照し、本技術に係る実施の形態を次の順序で説明する。
＜１．信号処理装置の構成＞
＜２．信号処理装置による監視の概要＞
＜３．信号処理装置の機能構成＞
＜４．処理の流れ＞
＜５．第２の実施の形態＞
＜６．第３の実施の形態＞
＜７．まとめ＞
＜８．本技術＞
＜１．信号処理装置の構成＞
　本実施の形態に係る第１の実施の形態の信号処理装置は、撮像部によって撮像された撮像画像に対して各種の処理を行う装置である。このような信号処理装置は各種考えられるが、以下の説明においては、イメージセンサＩＳを挙げる。
　イメージセンサＩＳは、カメラ装置１に備えられている。カメラ装置１の内部構成例について図１を参照して説明する。
　カメラ装置１は、イメージセンサＩＳと撮像光学系３１と光学系駆動部３２と制御部３３とメモリ部３４と通信部３５とを備えている。
　イメージセンサＩＳと制御部３３とメモリ部３４と通信部３５はバス３６を介して接続され、相互にデータ通信を行うことが可能とされている。
　撮像光学系３１は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り（アイリス）機構を備える。この撮像光学系３１により、被写体からの光（入射光）が導かれ、イメージセンサＩＳの受光面に集光される。
　光学系駆動部３２は、撮像光学系３１が有するズームレンズ、フォーカスレンズ、及び絞り機構の駆動部を包括的に示したものである。具体的に、光学系駆動部３２は、これらズームレンズ、フォーカスレンズ、絞り機構それぞれを駆動するためのアクチュエータ、及び該アクチュエータの駆動回路を有している。
　制御部３３は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を有するマイクロコンピュータを備えて構成され、ＣＰＵがＲＯＭに記憶されているプログラム、又はＲＡＭにロードされたプログラムに従って各種の処理を実行することで、カメラ装置１の全体制御を行う。
　また、制御部３３は、光学系駆動部３２に対してズームレンズ、フォーカスレンズ、絞り機構等の駆動指示を行う。光学系駆動部３２はこれらの駆動指示に応じてフォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させることになる。
　また、制御部３３は、メモリ部３４に対する各種データの書き込みや読み出しについての制御を行う。
　メモリ部３４は、例えばＨＤＤ（Hard Disk Drive）やフラッシュメモリ装置等の不揮発性の記憶デバイスとされ、イメージセンサＩＳから出力された画像データの保存先（記録先）として用いられる。
　さらに、制御部３３は、通信部３５を介して外部装置との間で各種データ通信を行う。
　本例におけるカメラ装置１は、例えば、ベルトコンベア等の物体運搬機構に載せられて移動する監視対象の物体を監視（或いはチェック）する目的で用いられている。即ち、カメラ装置１は、監視物体ＯＢを撮像した撮像画像データに基づいて所定の画像処理を行うことにより監視物体ＯＢに対する各種チェックを行う。
　通信部３５は、ベルトコンベア制御装置などとの間でデータ通信を行うことが可能に構成されており、これらの監視結果（チェック結果）を外部に出力することが可能とされている。これにより、不具合の発生した監視物体ＯＢをベルトコンベアから除去したり、アラートを発生させたりすることが可能となる。
　イメージセンサＩＳは、例えばＣＣＤ型、ＣＭＯＳ型等のイメージセンサとして構成されている。
　イメージセンサＩＳは、撮像部４１、画像信号処理部４２、センサ内制御部４３、メモリ部４５及び通信Ｉ／Ｆ４６を備え、それぞれがバス４７を介して相互にデータ通信可能とされている。
　撮像部４１は、フォトダイオード等の光電変換素子を有する画素が二次元に配列された画素アレイ部と、画素アレイ部が備えるそれぞれの画素から光電変換によって得られた電気信号を読み出す読み出し回路とを備えており、該電気信号を撮像画像信号として出力することが可能とされている。
　読み出し回路では、光電変換により得られた電気信号について、例えばＣＤＳ（Correlated Double Sampling）処理、ＡＧＣ（Automatic Gain Control）処理などを実行し、さらにＡ／Ｄ（Analog/Digital）変換処理を行う。
　画像信号処理部４２は、Ａ／Ｄ変換処理後のデジタルデータとしての撮像画像信号に対して、前処理、同時化処理、ＹＣ生成処理、解像度変換処理、コーデック処理等を行う。
  前処理では、撮像画像信号に対してＲ、Ｇ、Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ、Ｇ、Ｂの色チャンネル間の補正処理等を行う。同時化処理では、各画素についての画像データが、Ｒ、Ｇ、Ｂ全ての色成分を有するようにする色分離処理を施す。例えば、ベイヤー配列のカラーフィルタを用いた撮像素子の場合は、色分離処理としてデモザイク処理が行われる。ＹＣ生成処理では、Ｒ、Ｇ、Ｂの画像データから、輝度（Ｙ）信号及び色（Ｃ）信号を生成（分離）する。解像度変換処理では、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。
　コーデック処理では、上記の各種処理が施された画像データについて、例えば記録用や通信用の符号化処理、ファイル生成を行う。コーデック処理では、動画のファイル形式として、例えばＭＰＥＧ－２（ＭＰＥＧ：Moving Picture Experts Group）やＨ．２６４などの形式によるファイル生成を行うことが可能とされる。また静止画ファイルとしてＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）等の形式のファイル生成を行うことも考えられる。なお、イメージセンサＩＳが測距センサとされている場合には、画像信号処理部４２は、例えば、ｉＴｏＦ（indirect Time of Flight）としてのイメージセンサＩＳから出力される二つの信号に基づいて被写体についての距離情報を算出して距離画像を出力する。
　センサ内制御部４３は、撮像部４１に対する指示を行って撮像動作の実行制御を行う。同様に、画像信号処理部４２に対しても処理の実行を制御する。
　本実施の形態における画像信号処理部４２やセンサ内制御部４３は、ベルトコンベア等の物体運搬機構に載せられて移動する監視物体ＯＢを監視（或いはチェック）するために各種の処理を行う。
　具体的には後述するが、画像信号処理部４２やセンサ内制御部４３は、二値化処理、マスク処理、モーメント処理、重心算出処理、枠位置算出処理、移動量算出処理、移動速度取得処理、位置推定処理、画像切出処理、出力データ整形処理等を行う。
　各処理は、画像信号処理部４２とセンサ内制御部４３の何れで行われてもよい。即ち、各処理は、論理回路等のハードウェアによって実現されてもよいし、プログラム等によるソフトウェアによって実現されてもよい。
　メモリ部４５には、画像信号処理部４２により得られた撮像画像データ（ＲＡＷ画像データ）や同時化処理後の画像データが保存される所謂フレームメモリとして利用可能である。また、メモリ部４５は、画像信号処理部４２やセンサ内制御部４３が上述した各処理を実行する際に生成される一時データの記憶等に用いられてもよい。
　通信Ｉ／Ｆ４６は、イメージセンサＩＳの外部にある制御部３３やメモリ部３４等との通信を行うインタフェースである。通信Ｉ／Ｆ４６は、画像信号処理部４２が実行するプログラムなどを外部から取得するための通信を行い、イメージセンサＩＳが備えるメモリ部４５に記憶させる。
＜２．信号処理装置による監視の概要＞
　信号処理装置としてのイメージセンサＩＳは、上述したように、ベルトコンベア等の物体運搬機構によって運ばれている監視物体ＯＢを撮像し、監視物体ＯＢの一部とされた対象物が含まれる領域についての部分画像をＲＯＩ画像として出力する。
　例えば、監視物体ＯＢは段ボールなどの梱包材に入れられた製品などとされ、梱包材の表面には一次元コードや二次元コードなどのバーコードＢＣが貼付されている。イメージセンサＩＳは、これらのバーコードＢＣを監視対象として監視する。
　以降の説明においては、監視物体ＯＢの一部とされた対象物の一例としてバーコードＢＣを挙げて説明するが、該対象物がそれ以外のものであってもよい。例えば、対象物が製品の一部の部品（例えば取っ手など）とされ、イメージセンサＩＳは、製品に部品が正常に取り付けられているか否かを判定してもよい。
　監視物体ＯＢ上のバーコードＢＣを検出するために、イメージセンサＩＳは、センサ面の有効領域に対応した撮像画像２上の一部の領域をＲＯＩ領域として出力する。そのために、イメージセンサＩＳは、ＲＯＩ領域を切り出すための枠を切出枠３として設定する（図２参照）。
　切出枠３によって切り出された部分画像はＲＯＩ画像４とされる。
　図２においては、切出枠３を一点鎖線で示している。
　切出枠３内の一部の領域は、物体認識のための画像処理を行う対象領域として設定される。イメージセンサＩＳは、該対象領域を特定するための枠として検波枠５を設定する。検波枠５は図２において破線で示している。
　検波枠５は、物体運搬機構における所定の位置に監視物体ＯＢが運ばれてきた際にバーコードＢＣが枠内に位置するように設定されるものである。バーコードＢＣの位置が大きくずれる可能性がある場合には検波枠５も大きく設定される。このとき、検波枠５が切出枠３よりも大きく設定されてもよい（図３参照）。
　切出枠３と検波枠５は、バーコードＢＣを検出した場合にバーコードＢＣの移動に合わせて追随するように撮像画像２内を移動するように設定される。換言すれば、イメージセンサＩＳは、移動するバーコードＢＣが枠内に収まるように切出枠３と検波枠５を設定する。
　切出枠３と検波枠５とバーコードＢＣ位置関係についての概要を図４に示す。図４では、５枚の撮像画像２と撮像画像２上に設定された切出枠３と検波枠５を示している。５枚の撮像画像２は上から順に時系列に沿ったものとされ、撮像画像２Ａ、２Ｂ、２Ｃ、２Ｄ、２Ｅとされる。
　また、図４には、撮像画像２Ａ、２Ｂ、２Ｃ、２Ｄ、２Ｅに対応したＲＯＩ画像４Ａ、４Ｂ、４Ｃ、４Ｄ、４Ｅを示している。
　撮像画像２Ａ上においては切出枠３Ａと検波枠５Ａが設定されている。また、撮像画像２Ａの検波枠５Ａ内においてはバーコードＢＣが検出されない。
　撮像画像２Ｂ上においては切出枠３Ｂと検波枠５Ｂが設定されている。撮像画像２Ｂの検波枠５Ｂ内においてはバーコードＢＣの一部が検出されている。このように、検波枠５Ｂ内にバーコードＢＣの一部を検出したと判定した場合には、イメージセンサＩＳは図示しない次のフレーム画像としての撮像画像２において切出枠３と検波枠５を図中右方向にずらして設定することによりできるだけ早期にバーコードＢＣを検波枠５内に捉えるようにしてもよい。
　撮像画像２Ｃにおいては切出枠３Ｃと検波枠５Ｃが設定されている。また、撮像画像２Ｃの検波枠５Ｃ内にバーコードＢＣの全体が含まれており、バーコードＢＣが検出される。
　撮像画像２Ｄ上においては切出枠３Ｄと検波枠５Ｄが設定されている。また、切出枠３Ｄと検波枠５Ｄは、バーコードＢＣの移動に伴ってそれまでよりも図中左方向にずらして設定されている。撮像画像２Ｄの検波枠５Ｄ内にバーコードＢＣの全体が含まれており、バーコードＢＣが検出される。
　撮像画像２Ｅ上においては切出枠３Ｅと検波枠５Ｅが設定されている。また、切出枠３Ｅと検波枠５Ｅは、バーコードＢＣの移動に伴って図中左方向に更にずらして設定されている。撮像画像２Ｅの検波枠５Ｅ内にバーコードＢＣの全体が含まれており、バーコードＢＣが検出される。
　なお、イメージセンサＩＳは、バーコードＢＣの移動速度を取得すると共に、移動速度を取得した後は該移動速度に基づいてバーコードＢＣの位置を予測する処理を行う。このとき、検波枠５内においてバーコードＢＣを検出するための画像処理は行わない。従って、イメージセンサＩＳは移動速度を算出した後は検波枠５の設定を行わなくてもよい。
　具体的にイメージセンサＩＳが実行する処理の流れについて図５を参照して説明する。
　図５は、イメージセンサＩＳによって撮像された撮像画像２と、撮像画像２上に設定された切出枠３に応じて出力されるＲＯＩ画像４と、その際に画像信号処理部４２或いはセンサ内制御部４３によって実行される処理の関係を示したものである。
　撮像画像２は、時系列順且つ１フレームごとに撮像画像２ａ、２ｂ、２ｃ、２ｄ、２ｅとされ、図示が省略された撮像画像２の後に撮像画像２ｙ、２ｚとされる。撮像画像２ｙ、２ｚは、バーコードＢＣの追尾をやめる際の最後の２フレームの画像とされる。
　なお、図５においては、撮像画像２ａよりも前に撮像された撮像画像２、即ち、検波枠５内にバーコードＢＣの全体を捉えるまでの撮像画像２は省略している。即ち、撮像画像２ａは、検波枠５内にバーコードＢＣの全体が収まった最初の撮像画像２とされる。
　撮像画像２ａに対してイメージセンサＩＳの画像信号処理部４２やセンサ内制御部４３（以降単に「制御部」と記載）は検波枠５ａ内における画像処理を行うことによりバーコードＢＣを検出する検出処理を行う。その結果バーコードＢＣが検波枠５ａ内に検出されたことに応じて、イメージセンサＩＳの制御部はバーコードＢＣについての重心位置算出を行う。これにより、バーコードＢＣの位置が決定される。具体的には後述する。
　撮像画像２ａの次に撮像された撮像画像２ｂは、画像内において切出枠３ｂと検波枠５ｂが設定される。切出枠３ｂと検波枠５ｂの画像内における位置は撮像画像２ａにおける切出枠３ａと検波枠５ａの位置と同じである。即ち、切出枠３ａと切出枠３ｂは画像内の所定の位置に設定され、検波枠５ａと検波枠５ｂは切出枠３ａ、３ｂとは異なる画像内の所定の位置に設定される。
　撮像画像２ｂに対してイメージセンサＩＳの制御部は、検波枠５ｂ内における画像処理を行うことによりバーコードＢＣを検出する検出処理を行う。
　また、イメージセンサＩＳの制御部はバーコードＢＣについての重心位置算出を行いバーコードＢＣの位置を特定する。
　更に、イメージセンサＩＳの制御部は、撮像画像２ａについてのバーコードＢＣの重心位置と撮像画像２ｂについてのバーコードＢＣの重心位置の差分と、フレーム期間の長さとに応じてバーコードＢＣの移動速度を算出する。
　撮像画像２ｂに続いて撮像された撮像画像２ｃに対して、イメージセンサＩＳの制御部は撮像画像２ｃ上におけるバーコードＢＣの予測位置を推定する処理を行い、当該予測位置が含まれるように切出枠３ｃを設定する。
　撮像画像２ｄ、２ｅについても同様に、イメージセンサＩＳの制御部は撮像画像２ｄ、２ｅ上においてバーコードＢＣの予測位置を推定し切出枠３ｄ、３ｅを設定する。
　撮像画像２ｃ、２ｄ、２ｅに対して、イメージセンサＩＳの制御部はバーコードＢＣを検出するための画像処理を行わない。これにより、イメージセンサＩＳの制御部の処理負担の軽減が図られ、消費電力の削減を実現することができる。
　なお、バーコードＢＣの予測位置に基づいて切出枠３を設定している期間を「追尾期間」と記載する。
　バーコードＢＣの追尾期間の終了時、即ち、バーコードＢＣの予測位置の推定を終了させる際には、図５の撮像画像２ｙ、２ｚに示すように、イメージセンサＩＳの制御部は再び検波枠５ｙ、５ｚを設定する。
　即ち、イメージセンサＩＳの制御部は、検波枠５ｙ、５ｚ内においてバーコードＢＣの位置を特定する。このとき、イメージセンサＩＳの制御部は、バーコードＢＣの検出処理と重心位置算出処理を行う。また、イメージセンサＩＳの制御部は、検波枠５ｙと検波枠５ｚにおけるバーコードＢＣの重心位置の差分に基づいてバーコードＢＣの移動速度を算出する。
　算出した移動速度は、撮像画像２ａ、２ｂに基づいて算出された移動速度との比較に用いられる。これにより、バーコードＢＣについて算出した移動速度の正しさを判定することができる。なお、撮像画像２ａ、２ｂに基づいて算出された移動速度は追尾期間の開始時の移動速度であるため、「開始時移動速度」とする。同様に、撮像画像２ｙ、２ｚに基づいて算出された移動速度は「終了時移動速度」とする。
　なお、移動速度の正しさを判定する必要がない場合には、撮像画像２ｙ、２ｚにおいても画像処理によるバーコードＢＣの位置を特定せずに予測位置に基づいて切出枠３ｙ、３ｚを設定してもよい。
＜３．信号処理装置の機能構成＞
　信号処理装置としてのイメージセンサＩＳの機能構成について図６を参照して説明する。なお、各機能は、イメージセンサＩＳの画像信号処理部４２によるハードウェア処理やセンサ内制御部４３によるソフトウェア処理によって実現される。
　イメージセンサＩＳの撮像部４１から供給された撮像画像データは、二値化処理部１０に渡される。
　二値化処理部１０は、検出対象とされた対象物がバーコードＢＣであることから、撮像画像２の画素値と閾値となる画素値を比較して二値化する処理を行う。具体的には、画素値が閾値以下である場合に当該画素の画素値を「１」とし、画素値が閾値よりも高い場合に当該画素の画素値を「０」とする。これにより、バーコードＢＣの黒線の部分の画素値が「１」とされた二値化画像が生成される。
　二値化処理の結果得られる二値化画像はマスク処理部１１に供給される。
　マスク処理部１１は、切出枠３の外側の領域の画素値を「０」に置き換えるマスク処理を行う。
　マスク処理の結果得られるマスク画像は後段の検出処理部１２に供給される。
　検出処理部１２は、マスク処理部１１の切出枠３内の所定領域に検波枠５を設定し、検波枠５内において検出対象であるバーコードＢＣを検出する。検出されなかった場合には以降の処理は行われない。
　バーコードＢＣが検出された場合には、マスク画像がモーメント処理部１３に供給される。
　なお、検出処理部１２はマスク処理部１１の後段に位置しているが、二値化する前の画像に対してバーコードＢＣを検出するように構成されていてもよい。即ち、検出処理部１２の位置は各種考えられる。
　モーメント処理部１３では、ｍｎ次モーメントＭ（ｍ、ｎ）を算出する。ｍｎ次モーメントＭ（ｍ、ｎ）は、以下の式（１）で算出される。
Figure JPOXMLDOC01-appb-M000001
　ここで領域Ａはマスク画像における画素値が「１」とされた領域であり、バーコードＢＣの黒線の領域である。モーメント処理部１３では、Ｍ（０、０）とＭ（１、０）とＭ（０、１）をそれぞれ算出する。
　算出されたそれぞれの値は重心算出部１４に出力される。
　重心算出部１４は、Ｍ（０、０）とＭ（１、０）とＭ（０、１）を用いてバーコードＢＣの重心位置を算出する。具体的に、バーコードＢＣの重心位置のｘ座標は以下の式（２）で算出され、ｙ座標は以下の式（３）で算出される。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　なお、重心算出部１４はバーコードＢＣの位置を検出する処理を実行していると捉えることができる。即ち、重心算出部１４はバーコードＢＣについての位置検出部として機能する。
　算出されたバーコードＢＣの重心位置は枠位置算出部１５に供給される。
　枠位置算出部１５は、供給された重心位置に基づいて切出枠３の位置を算出する。これにより、切出枠３は、検出されたバーコードＢＣが含まれるようにされる。
　算出された枠位置は枠設定部１６に供給される。枠設定部１６の処理については後述する。
　なお、重心算出部１４によって算出された重心位置は、移動量算出部１７にも供給される。そして、移動量算出部１７に対する重心位置の出力は複数のフレーム画像（撮像画像２）について行われる。
　移動量算出部１７は、重心算出部１４から供給された複数の撮像画像２についてのそれぞれの重心位置に基づいてバーコードＢＣの移動量を算出する。具体的には、重心位置の差分を算出する。
　算出した移動量は移動速度取得部１８に供給される。
　また、移動速度取得部１８に対しては、重心位置が算出された複数のフレーム画像の撮像時間の差分が差分時間算出部１９から出力される。
　差分時間算出部１９は、重心位置が算出された複数の撮像画像２それぞれのフレーム開始タイミングの差分時間を算出するために周波数（クロック数）情報を用いる。例えば、連続する二つのフレーム画像としての撮像画像２についての重心位置が算出された場合には、フレームレートの逆数を差分時間として算出する。算出した差分時間は移動速度取得部１８に出力される。
　移動速度取得部１８は、複数のフレーム画像としての撮像画像２において算出されたバーコードＢＣの移動量と差分時間に基づいてバーコードＢＣの移動速度を算出する。
　算出した移動速度は位置推定部２０に出力される。
　位置推定部２０は、移動速度取得部１８からバーコードＢＣの移動速度を得ると共に重心算出部１４からバーコードＢＣの現在の重心位置を取得する。
　位置推定部２０は、バーコードＢＣの重心位置と移動速度に基づいて次フレームについての撮像画像２におけるバーコードＢＣの予測位置を推定する。推定した予測位置は枠設定部１６に出力される。
　枠設定部１６は、バーコードＢＣが含まれるように切出枠３を設定する。なお、枠設定部１６は、セレクタとして機能する。具体的には、枠設定部１６は、枠位置算出部１５から取得した現在のフレーム画像としての撮像画像２に対する画像処理を行うことにより得られた枠位置（枠位置算出部１５から出力されるもの）と、現在のフレーム画像よりも前に撮像された撮像画像２に基づくバーコードＢＣの予測位置に応じた枠位置（位置推定部２０から出力されるもの）の何れかを選択して切出枠３の位置を設定し、画像切出部２１に出力する。
　枠設定部１６は、図５に示す撮像画像２ａ、２ｂについては、枠位置算出部１５から得た枠位置の情報に基づいて切出枠３を設定する（第１設定処理）。即ち、撮像画像２ａ、２ｂについては、画像処理によりバーコードＢＣを検出してその重心位置から切出枠３の位置を設定する。
　そして、枠設定部１６は図５に示す撮像画像２ｃ、２ｄ、２ｅについては、位置推定部２０から得たバーコードＢＣについての予測位置に基づいて切出枠３を設定する（第２設定処理）。即ち、撮像画像２ａ、２ｂから得たバーコードＢＣについての重心位置の差分に基づいて算出されたバーコードＢＣの移動速度に基づく予測位置を用いて切出枠３を設定する。
　枠設定部１６によって設定された切出枠３の枠位置は画像切出部２１に出力される。
　なお、枠設定部１６は、換言すれば、バーコードＢＣが検出されていない非検出状態からバーコードＢＣが検出された検出状態へと変化したことに応じて第１設定処理を開始し、位置推定部２０によりバーコードＢＣの移動速度が算出されたことに応じて第２設定処理へ切り替える処理を行うものとされる。
　画像切出部２１に対しては、切出枠３の枠位置だけでなく撮像画像データが入力される。画像切出部２１は、切出枠３に基づいて部分画像としてのＲＯＩ画像４を切り出す。切り出したＲＯＩ画像４は出力データ整形処理部２２に供給される。
　移動速度取得部１８で得られたバーコードＢＣの移動速度の情報は、比較部２３に出力される。
　比較部２３は、バーコードＢＣの予測位置の算出を開始した時点でのバーコードＢＣの移動速度と、該予測位置の算出を停止した時点でのバーコードＢＣの移動速度の比較を行う。即ち、追尾期間の開始時点の移動速度である開始時移動速度と終了時点の移動速度である終了時移動速度の比較を行う。
　具体的には、図５に示す撮像画像２ａ、２ｂに基づいて算出したバーコードＢＣの移動速度と、撮像画像２ｙ、２ｚに基づいて算出したバーコードＢＣの移動速度の比較を行う。
　比較部２３は、二つの移動速度の乖離が閾値未満であった場合にバーコードＢＣの位置の追尾が正常に行われていたと判定する。また、二つの移動速度の乖離が閾値以上であった場合にバーコードＢＣの位置の追尾が正常に行われなかったと判定する。判定結果は、例えばフラグ情報などとして出力データ整形処理部２２に提供される。
　出力データ整形処理部２２には、ＲＯＩ画像４だけでなく移動速度取得部１８で得られたバーコードＢＣの移動速度の情報と移動速度の比較結果が供給される。
　出力データ整形処理部２２は、これらの各情報を例えばＭＩＰＩ（Mobile Industry Processor Interface）規格に準拠したデータ構造の各領域に格納して後段の処理部へ送信する。後段の処理部は、例えば、図１に示す制御部３３やカメラ装置１の外部に設けられた装置が備える制御部などとされる。
　ここで、ＭＩＰＩ規格に準拠したデータ構造の一例について図７を参照して説明する。
　１フレーム期間に出力されるＭＩＰＩ規格に準拠したパケットデータ（以降「ＭＩＰＩデータ」と記載）は、フレームスタート（図中の「ＦＳ」）で始まりフレームエンド（図中の「ＦＥ」）で終わる一連のパケットデータ（ラインデータ）として送信される。
　ＭＩＰＩデータは、フレームスタートとフレームエンドの間に複数のパケットが連なったフレームデータとして送信される。各パケットデータは、パケットヘッダ（図中の「ＰＨ」）とペイロード領域とパケットフッタ（図中の「ＰＦ」）で構成されており、ペイロード領域に各種の送信データが格納される。
　図６に示す例では、先ず、フレームスタート後に、埋め込みデータ（図中の「Ｅｍｂｅｄｄｅｄ　Ｄａｔａ」）がペイロード領域に格納されたパケット（ラインデータＬＤ１、ＬＤ２、ＬＤ３、ＬＤ４）が送信され、次に、切出枠３によるＲＯＩ画像４のデータがペイロード領域に格納されたパケット（ラインデータＬＤ５、ＬＤ６、・・・ＬＤ１１、Ｌ１２）が送信され、更に、埋め込みデータがペイロード領域に格納されたパケット（ラインデータＬＤ１３、ＬＤ１４、ＬＤ１５、ＬＤ１６）が送信される。
　図６に示す出力データ整形処理部２２は、画像切出部２１によって切り出されたＲＯＩ画像４を切出画像データとしてラインデータＬＤ５、ＬＤ６、・・・ＬＤ１１、ＬＤ１２のペイロード領域に格納する。
　また、出力データ整形処理部２２は、移動速度取得部１８から供給された移動速度の情報と比較部２３から供給された比較結果の情報を埋め込みデータとしてラインデータＬＤ１、ＬＤ２、ＬＤ３、ＬＤ４のペイロード領域に格納する。
　なお、移動速度の情報と比較結果の情報は、ラインデータＬＤ１３、ＬＤ１４、ＬＤ１５、ＬＤ１６のペイロード領域に格納されてもよい。但し、ＲＯＩ画像４が送信される前に移動速度の情報と比較結果の情報を送信することで、物体運搬装置の設定変更やカメラ装置１の撮像設定の変更等を次のフレームについてのＲＯＩ画像４が出力される前に終えることが容易となる。従って、バーコードＢＣを追随できなかった場合に対応するための処理を迅速に行うことができる。
　なお、バーコードＢＣを正常に追随できていない場合には、物体運搬装置の速度変更等以外にも、上述した第２設定処理から第１設定処理へと戻す処理が行われてもよい。即ち、予測位置を用いずに画像処理によってバーコードＢＣを特定する状態に戻してもよい。
　なお、移動速度の情報や比較結果の情報は、切出画像データのメタデータとして出力される。また、バーコードＢＣの重心位置の情報についても当該メタデータとして出力されてもよい。
＜４．処理の流れ＞
　イメージセンサＩＳの制御部（画像信号処理部４２やセンサ内制御部４３）が実行する処理の流れについて図８を参照して説明する。なお、図８に示す各処理の順序は一例であり、一部の処理の順序が前後して実行されてもよい。
　イメージセンサＩＳの制御部は、ステップＳ１０１において、追尾期間であるか否かを判定する。追尾期間は、上述したようにバーコードＢＣの予測位置に基づいて切出枠３を設定する期間である。
　例えば、バーコードＢＣが未検出の状態においては追尾期間でないと判定する。その場合には、イメージセンサＩＳの制御部はステップＳ１０２において、撮像画像２を撮像部４１から取得する。
　続いて、イメージセンサＩＳの制御部は、ステップＳ１０３の二値化処理を行い、続くステップＳ１０４のマスク処理を行う。なお、各処理については上述したため詳述を省く。以下に説明する各処理においても詳述を省くことがある。
　続いて、イメージセンサＩＳの制御部はステップＳ１０５において、バーコードＢＣの検出処理を行う。検出処理の対象領域は、撮像画像２上に設定された検波枠５内の領域である。
　バーコードＢＣを検出できない場合、例えば、図４に示す撮像画像２Ａのような場合、イメージセンサＩＳの制御部は再度ステップＳ１０１の処理へと戻る。
　一方、検出できたと判定した場合、例えば、図４に示す撮像画像２Ｃのような場合、イメージセンサＩＳの制御部はステップＳ１０７のモーメント処理を行う。
　イメージセンサＩＳの制御部は、続くステップＳ１０８でバーコードＢＣについての重心位置を算出し、ステップＳ１０９において切出枠３の位置を算出する。
　イメージセンサＩＳの制御部は、ステップＳ１０２からステップＳ１０９に示す一連の処理を行うことにより、画像処理に基づく切出枠３の位置算出を行う。これにより、画像処理に基づく切出枠３の設定が行われる。これは、上述した第１設定処理である。
　イメージセンサＩＳの制御部はステップＳ１１０で移動量算出が可能であるか否かを判定する。例えば、図５に示す撮像画像２ａと撮像画像２ｂの双方においてバーコードＢＣの重心位置が検出されている場合は、移動量の算出が可能であると判定する。
　この場合、イメージセンサＩＳの制御部は、ステップＳ１１１において移動量の算出を行い、ステップＳ１１２において差分時間の算出を行い、ステップＳ１１３において移動速度の算出を行う。
　即ち、イメージセンサＩＳの制御部は、ステップＳ１１１からステップＳ１１３に示す一連の処理を実行することにより、バーコードＢＣの予測位置を推定するために必要となるバーコードＢＣの移動速度を算出する。
　また、図５に示す撮像画像２ａを取得した時点においては、バーコードＢＣの重心位置の情報が一つしかないため、ステップＳ１１０において移動量算出が可能でないと判定される。
　この場合には、イメージセンサＩＳの制御部はステップＳ１１１、Ｓ１１２及びＳ１１３の各処理を実行せずにステップＳ１１４へと進む。
　ステップＳ１１４においては、イメージセンサＩＳの制御部は、移動速度の比較が可能であるか否かを判定する。
　例えば、図５に示す撮像画像２ｚに対してステップＳ１１３の処理を実行した後のタイミングであれば、撮像画像２ａ、２ｂに基づく開始時移動速度と、撮像画像２ｙ、２ｚに基づく終了時移動速度の双方が得られている。従って、両移動速度を比較することが可能とされる。
　この場合には、イメージセンサＩＳの制御部はステップＳ１１５において移動速度の比較処理を行い、比較結果を出力データ整形処理部２２に供給する。
　一方、図５に示す撮像画像２ｂを取得した時点等においては、移動速度が一つしか得られていないため、ステップＳ１１４において移動速度の比較が不可能と判定される。
　この場合には、ステップＳ１１５の処理が回避される。
　イメージセンサＩＳの制御部は、設定された切出枠３に基づいてＲＯＩ画像４を切り出す処理をステップＳ１１６で行い、ＲＯＩ画像４やメタデータを出力する処理をステップＳ１１７で行う。
　なお、ステップＳ１１７の出力処理では、移動速度が算出されている場合には移動速度がメタデータとして出力される。また、移動速度の比較結果が算出されている場合には比較結果がメタデータとして出力される。
　ステップＳ１１７の処理の後、イメージセンサＩＳの制御部はステップＳ１０１の処理へと戻る。
　ステップＳ１０１の判定処理において追尾期間であると判定した場合、イメージセンサＩＳの制御部はステップＳ１１８の処理へと進む。
　例えば、図５に示す撮像画像２ｃ、２ｄ、２ｅを取得したタイミングなどでは、追尾期間であると判定する。この場合には、ステップＳ１０２からＳ１０９の各処理、即ち、バーコードＢＣの位置を特定するための画像処理は行われない。
　ステップＳ１１８において、イメージセンサＩＳの制御部は、予測位置推定処理を行う。更に、イメージセンサＩＳの制御部はステップＳ１１９において、予測位置に基づいて切出枠３を設定する処理を行う。これは、上述した第２設定処理である。
　その後、イメージセンサＩＳの制御部は、ステップＳ１１６及びＳ１１７の各処理を実行することにより、画像の切り出し処理と、データを出力する処理を行う。
＜５．第２の実施の形態＞
　第２の実施の形態における信号処理装置としてのイメージセンサＩＳは、バーコードＢＣの移動速度の情報を外部から付与できる構成を備えている。
　具体的に図９を参照して説明する。
　図９は、第１の実施の形態における図６に対応した図であり、イメージセンサＩＳの機能構成を示したものである。
　なお、図６を参照して説明した部分と同様の部分については適宜説明を省略する。
　移動速度取得部１８は、移動量算出部１７によって算出されたバーコードＢＣの移動量と、差分時間算出部１９によって算出された差分時間とに基づいて、バーコードＢＣの移動速度を算出することが可能とされている。
　また、本実施の形態における移動速度取得部１８は、移動速度を算出する替わりに、イメージセンサＩＳの外部或いはカメラ装置１の外部から入力された移動速度を取得して採用することが可能に構成されている。
　移動速度の外部からの入力とは、例えば、物体運搬装置の設定等によりライン上を流れる物体の移動速度が既知である場合などに入力される移動速度などであり、速度設定についての情報である。
　外部から移動速度についての情報が入力された場合には、更に、一枚の撮像画像２についてのバーコードＢＣの位置を特定することにより、その後のバーコードＢＣの動きを特定することができ、バーコードＢＣの予測位置を推定することが可能となる。
　従って、それ以降のフレーム画像としての撮像画像２に対しては、二値化処理部１０、マスク処理部１１、検出処理部１２、モーメント処理部１３、重心算出部１４、枠位置算出部１５、移動量算出部１７、差分時間算出部１９、比較部２３における各処理を省略することが可能となり、処理負担の軽減が図られる。
＜６．第３の実施の形態＞
　第３の実施の形態における信号処理装置としてのイメージセンサＩＳは、バーコードＢＣの移動速度の算出をイメージセンサＩＳの外部或いはカメラ装置１の外部で行うものである。
　具体的に図１０を参照して説明する。
　図１０は、第１の実施の形態における図６や第２の実施の形態における図９に対応した図であり、イメージセンサＩＳの機能構成を示したものである。
　なお、図６を参照して説明した部分と同様の部分については適宜説明を省略する。
　重心算出部１４は、算出した重心位置を出力データ整形処理部２２に提供する。これにより、バーコードＢＣについての重心位置がイメージセンサＩＳ外の制御部３３やカメラ装置１の外部の装置に出力される。ここでは、これらの装置を「外部装置」と記載する。
　外部装置は、受信した複数の重心位置に基づいてバーコードＢＣの移動速度を算出する。そして、外部装置は、算出した移動速度と受信した重心位置の情報をイメージセンサＩＳの移動速度取得部１８に提供する。
　移動速度取得部１８は、重心位置の情報と移動速度の情報を外部装置から受け取り、位置推定部２０に提供する。
　位置推定部２０は、重心位置の情報と移動速度の情報に基づいてバーコードＢＣについての予測位置を推定し、枠設定部１６に提供する。
　このように、イメージセンサＩＳは、外部装置において算出されたバーコードＢＣについての移動速度の情報を用いて切出枠３を設定する。
　また、移動速度取得部１８が複数の移動速度を得た場合には、比較部２３に複数の移動速度の情報を出力することにより、比較部２３において二つの移動速度を比較する処理が行われ、バーコードＢＣの位置の追尾が正常に行われたか否か判定される。判定結果は、例えばフラグ情報などとして出力データ整形処理部２２に提供される。
　イメージセンサＩＳの外部においてバーコードＢＣについての移動速度が算出されることにより、イメージセンサＩＳにおける演算量が削減され処理負担の軽減が図られる。
　なお、比較部２３としての機能は、イメージセンサＩＳの外部装置、或いは、カメラ装置１の外部装置が備えていてもよい。
＜７．まとめ＞
　上述した各例において説明したように、信号処理装置としてのイメージセンサＩＳは、　移動する対象物（例えばバーコードＢＣ）を撮像する撮像部４１による撮像画像２に基づいて対象物の撮像画像２内での位置を物体位置として検出する位置検出部（重心算出部１４）と、検出された物体位置と対象物の移動速度に基づいて次フレーム以降の撮像画像２における対象物の位置を予測位置として推定する位置推定部２０と、予測位置に応じて次フレーム以降の撮像画像２における切出枠３を設定する枠設定部１６と、を備えている。
　これにより、物体位置と移動速度に基づいて予測された対象物の位置を含むように切出枠３を設定することができる。
　従って、毎フレームの撮像画像２に対する画像処理を行うことにより都度物体位置を検出する場合と比較して画像処理の頻度が軽減されるため処理負担を削減することができる。
　なお、対象物は例えば等速で一方向に移動される。ここで言う「等速」とは、例えばベルトコンベアの駆動機構の動作時の振動等によって対象物の移動速度が細かく変化する場合であっても、全体的に見ればおおよそ等速で移動していると見なすことができる場合を含む。
　また、切出枠３について上述した例では矩形状の枠を例示したが、円形や楕円形、或いは星形など何れの形状であってもよい。
　図６等を参照して説明したように、信号処理装置としてのイメージセンサＩＳは、対象物（例えばバーコードＢＣ）の移動速度を取得する移動速度取得部１８を備えていてもよい。
　対象物の移動速度を取得することにより対象物の物体位置と合わせて予測位置を高精度で推定することができる。
　図６等を参照して説明したように、信号処理装置としてのイメージセンサＩＳの移動速度取得部１８は、複数フレームの撮像画像２における物体位置の差分に基づいて移動速度を算出してもよい。
　具体的に、移動速度取得部１８は、フレーム期間の長さと、物体位置の差分（距離）とに基づいて対象物（例えばバーコードＢＣ）の移動速度を算出可能である。即ち、画像処理によって対象物の移動速度を算出することができる。
　例えば、対象物の移動速度が得られない場合に、撮像画像２から移動速度を特定することができる。
　図９等を参照して説明したように、信号処理装置としてのイメージセンサＩＳの移動速度取得部１８は、移動速度について入力された情報を取得してもよい。
　移動速度取得部１８は、例えば、ユーザによって入力された移動速度を取得してもよいし、他の機器において実行される処理によって入力されたベルトコンベアの移動速度を取得してもよい。即ち、対象物（例えばバーコードＢＣ）の予測位置は外部から入力された移動速度に基づいて算出されてもよい。
　例えば、撮像画像２に対する画像処理により対象物の移動速度が得られない場合に、移動速度についての情報を得ることができる。
　図６等を参照して説明したように、信号処理装置としてのイメージセンサＩＳは、対象物（例えばバーコードＢＣ）の撮像画像２上における重心位置を算出する重心算出部１４を備え、位置検出部（重心算出部１４）は、重心位置に基づいて物体位置を検出してもよい。
　即ち、２枚の撮像画像２それぞれにおいて対象物の重心位置を算出することによりそれぞれの物体位置を算出する。そして、物体位置の差分によって対象物の移動量を特定する。これにより、画像処理によって対象物の移動速度を算出することができる。
　従って、対象物における特定の位置が検出できない場合であっても重心位置が算出できる場合に対象物の移動速度を算出することができる。
　図６等を参照して説明したように、信号処理装置としてのイメージセンサＩＳは、重心位置を出力する出力部（出力データ整形処理部２２）を備えていてもよい。
　重心位置を出力することにより信号処理装置の外部の装置において対象物（例えばバーコードＢＣ）の移動速度を算出することが可能となる。即ち、信号処理装置の処理負担の軽減を図ることができる。
　図１０等を参照して説明したように、信号処理装置としてのイメージセンサＩＳは、出力部（出力データ整形処理部２２）から出力された重心位置に基づいて外部で算出された移動速度を取得する移動速度取得部１８を備えていてもよい。
　外部で算出された対象物（例えばバーコードＢＣ）についての移動速度を用いて予測位置を推定することができる。従って、信号処理装置の処理負担軽減を図ることができる。
　図２等を参照して説明したように、信号処理装置としてのイメージセンサＩＳの位置検出部（重心算出部１４）は、撮像画像２の一部の領域として設定された検波枠５内において物体位置の検出を行ってもよい。
　これにより、対象物（例えばバーコードＢＣ）の検出対象とされる領域を検波枠５内の領域に限定することができ、対象物を検出する処理についての処理負担の軽減を図ることができる。
　図２等を参照して説明したように、信号処理装置としてのイメージセンサＩＳの枠設定部１６は、検波枠５内において検出された対象物（例えばバーコードＢＣ）が含まれるように切出枠３を設定してもよい。
　これにより、少ない処理負担で他の装置に対して対象物が含まれた切出画像を出力することができる。また、撮像画像２全体を出力するよりも後段の装置における画像処理の負担軽減を図ることができる。
　図７等を参照して説明したように、信号処理装置としてのイメージセンサＩＳは、移動速度取得部１８によって取得された移動速度を出力する出力部（出力データ整形処理部２２）を備えていてもよい。
　これにより、信号処理装置において算出された移動速度などを他の装置においてユーザに提示することが可能となる。従って、ユーザにとって移動速度が正常であるか否かを判断することが可能となり、利便性の向上が図られる。
　図６等を参照して説明したように、信号処理装置としてのイメージセンサＩＳの枠設定部１６は、撮像画像２内で検出された物体位置に基づいて切出枠３を設定する第１設定処理と、予測位置に基づいて切出枠３を設定する第２設定処理と、を切り替え可能とされてもよい。
　これにより、画像処理に基づく第１設定処理で対象物（例えばバーコードＢＣ）が含まれる切出枠３を設定することと、画像処理を行わない予測位置に基づく第２設定処理で該切出枠３を設定することを使い分けることができる。従って、高精度に特定された物体位置が含まれる切出枠３と、処理負担が軽減されつつ特定された予測位置が含まれる切出枠３とを状況に応じて使い分けることが可能とされる。
　なお、対象物が一方向に略等速で移動する状況においては、予測位置の算出を高精度で行うことができるため、処理負担の軽減と高精度な対象物の追随を両立することができる。
　図８等を参照して説明したように、信号処理装置としてのイメージセンサＩＳの位置検出部（重心算出部１４）は、第２設定処理において撮像画像２内での物体位置を検出する処理を行わなくてもよい。
　これにより、第２設定処理を実行中の処理負担が軽減される。
　図８等を参照して説明したように、信号処理装置としてのイメージセンサＩＳの枠設定部１６は、対象物（例えばバーコードＢＣ）が検出されていない非検出状態から対象物を検出された検出状態へと変化したことに応じて第１設定処理を開始し、移動速度が算出されたことに応じて第１設定処理から第２設定処理へと切り替え、第２設定処理が行われる追尾期間の開始時における移動速度である開始時移動速度と、追尾期間の終了時における移動速度である終了時移動速度とを算出して取得する移動速度取得部１８と、開始時移動速度と終了時移動速度の比較結果を出力する出力部（出力データ整形処理部２２）と、を備えていてもよい。
　開始時移動速度と終了時移動速度を比較することにより、算出された移動速度の正しさ判定することができる。従って、当該比較結果が出力される他の情報処理装置等において比較結果を提示することにより、ユーザは算出された移動速度の正しさを把握することができる。
　なお、移動速度の替わりにフレーム期間辺りの移動量を算出してもよい。
　図７等を参照して説明したように、信号処理装置としてのイメージセンサＩＳは、切出枠３によって切り出された切出画像データ（ＲＯＩ画像４のデータ）と、該切出画像データのメタデータと、を出力する出力部（出力データ整形処理部２２）を備え、メタデータは、移動速度と対象物（例えばバーコードＢＣ）の撮像画像２上における重心位置の少なくとも何れかを含み、ＭＩＰＩ（Mobile Industry Processor Interface）規格に準拠したデータ構造における埋め込みデータ領域（Ｅｍｂｅｄｄｅｄ　Ｄａｔａ領域）に格納されてもよい。
　これにより、ＭＩＰＩ規格に準拠したデータ形式で切出画像データとメタデータの双方を送信することができる。
　図７等を参照して説明したように、信号処理装置としてのイメージセンサＩＳにおいて、メタデータは、ＭＩＰＩ規格に準拠したデータ構造における同一のフレームデータに含まれる複数のラインデータのうち、切出画像データ（ＲＯＩ画像４のデータ）が格納されたラインデータよりも前に送信されるラインデータのペイロード領域に格納されてもよい。
　これにより、ＭＩＰＩ規格のデータを受信した情報処理装置においてメタデータを受信してから次のフレームデータを受信するまでの時間を長くすることができる。従って、メタデータに基づくベルトコンベアの設定や撮像設定の変更を次のフレームデータの受信までに完了させることができる。即ち、メタデータに基づく設定変更を速やかに行うことが可能となる。
　図２等を参照して説明したように、信号処理装置としてのイメージセンサＩＳにおいて、対象物は物体に設けられたバーコード（一次元コードや二次元コード等）とされてもよい。
　例えば、商品の梱包材の表面に貼付された一次元コードや二次元コードが枠内に入るように、ベルトコンベアの移動速度に応じてフレームごとに切出枠３が設定される。従って、梱包材に対するバーコードの貼付忘れ等を容易に検査することが可能となる。
　図６等を参照して説明したように、信号処理装置としてのイメージセンサＩＳは、撮像画像２を二値化した二値化画像を生成する二値化処理部１０を備え、位置検出部（重心算出部１４）は二値化画像に対して物体位置の検出を行ってもよい。
　白黒で形成されたバーコードについては撮像画像２を二値化することにより、画像処理が簡易化され、処理負担の軽減を図ることができる。
　図１等を参照して説明したように、信号処理装置は、撮像部４１を備えたイメージセンサＩＳとされてもよい。
　対象物（例えばバーコードＢＣ）を追随する切出枠３の設定や切出枠３による画像の切り出し等がイメージセンサ内で行われることにより、イメージセンサ外で行う処理についての演算量を削減することができる。
　本技術における信号処理方法は、移動する対象物を撮像する撮像部による撮像画像に基づいて対象物の撮像画像内での位置を物体位置として検出し、検出された物体位置と対象物の移動速度に基づいて次フレーム以降の撮像画像における対象物の位置を予測位置として推定し、予測位置に応じて次フレーム以降の撮像画像における切出枠を設定する処理を、コンピュータ装置が実行するものである。
　本技術におけるプログラムは、移動する対象物を撮像する撮像部による撮像画像に基づいて対象物の撮像画像内での位置を物体位置として検出する機能と、検出された物体位置と対象物の移動速度に基づいて次フレーム以降の撮像画像における対象物の位置を予測位置として推定する機能と、予測位置に応じて次フレーム以降の撮像画像における切出枠を設定する機能を、例えばイメージセンサＩＳが備える画像信号処理部４２やセンサ内制御部４３に実行させるプログラムである。
　このようなプログラムにより上述した信号処理装置としてのイメージセンサＩＳにおいて、被写体を追尾するＲＯＩ機能についての処理負担の軽減を図ることができる。
　これらのプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤ（Hard Disk Drive）や、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。あるいはまたプログラムは、フレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
　また、上述した各例はいかように組み合わせてもよく、各種の組み合わせを用いた場合であっても上述した種々の作用効果を得ることが可能である。
＜８．本技術＞
　本技術は以下のような構成を採ることも可能である。
（１）
　移動する対象物を撮像する撮像部による撮像画像に基づいて前記対象物の前記撮像画像内での位置を物体位置として検出する位置検出部と、
　検出された前記物体位置と前記対象物の移動速度に基づいて次フレーム以降の前記撮像画像における前記対象物の位置を予測位置として推定する位置推定部と、
　前記予測位置に応じて次フレーム以降の前記撮像画像における切出枠を設定する枠設定部と、を備えた
　信号処理装置。
（２）
　前記対象物の前記移動速度を取得する移動速度取得部を備えた
　上記（１）に記載の信号処理装置。
（３）
　前記移動速度取得部は、複数フレームの前記撮像画像における前記物体位置の差分に基づいて前記移動速度を算出する
　上記（２）に記載の信号処理装置。
（４）
　前記移動速度取得部は、前記移動速度について入力された情報を取得する
　上記（２）から上記（３）の何れかに記載の信号処理装置。
（５）
　前記対象物の前記撮像画像上における重心位置を算出する重心算出部を備え、
　前記位置検出部は、前記重心位置に基づいて前記物体位置を検出する
　上記（１）から上記（４）の何れかに記載の信号処理装置。
（６）
　前記重心位置を出力する出力部を備えた
　上記（５）に記載の信号処理装置。
（７）
　前記出力部から出力された前記重心位置に基づいて外部で算出された前記移動速度を取得する移動速度取得部を備えた
　上記（６）に記載の信号処理装置。
（８）
　前記位置検出部は、前記撮像画像の一部の領域として設定された検波枠内において前記物体位置の検出を行う
　上記（１）から上記（７）の何れかに記載の信号処理装置。
（９）
　前記枠設定部は、前記検波枠内において検出された前記対象物が含まれるように前記切出枠を設定する
　上記（８）に記載の信号処理装置。
（１０）
　前記移動速度取得部によって取得された前記移動速度を出力する出力部を備えた
　上記（２）から上記（４）の何れかに記載の信号処理装置。
（１１）
　前記枠設定部は、前記撮像画像内で検出された前記物体位置に基づいて前記切出枠を設定する第１設定処理と、前記予測位置に基づいて前記切出枠を設定する第２設定処理と、を切り替え可能とされた
　上記（１）から上記（１０）の何れかに記載の信号処理装置。
（１２）
　前記位置検出部は、前記第２設定処理において前記撮像画像内での前記物体位置を検出する処理を行わない
　上記（１１）に記載の信号処理装置。
（１３）
　前記枠設定部は、前記対象物が検出されていない非検出状態から前記対象物を検出された検出状態へと変化したことに応じて前記第１設定処理を開始し、前記移動速度が算出されたことに応じて前記第１設定処理から前記第２設定処理へと切り替え、
　前記第２設定処理が行われる追尾期間の開始時における前記移動速度である開始時移動速度と、前記追尾期間の終了時における前記移動速度である終了時移動速度とを算出して取得する移動速度取得部と、
　前記開始時移動速度と前記終了時移動速度の比較結果を出力する出力部と、を備えた
　上記（１１）から上記（１２）の何れかに記載の信号処理装置。
（１４）
　前記切出枠によって切り出された切出画像データと、該切出画像データのメタデータと、を出力する出力部を備え、
　前記メタデータは、
　前記移動速度と前記対象物の前記撮像画像上における重心位置の少なくとも何れかを含み、
　ＭＩＰＩ（Mobile Industry Processor Interface）規格に準拠したデータ構造における埋め込みデータ領域に格納される
　上記（１）から上記（１３）の何れかに記載の信号処理装置。
（１５）
　前記メタデータは、ＭＩＰＩ規格に準拠したデータ構造における同一のフレームデータに含まれる複数のラインデータのうち、前記切出画像データが格納されたラインデータよりも前に送信されるラインデータのペイロード領域に格納される
　上記（１４）に記載の信号処理装置。
（１６）
　前記対象物は物体に設けられたバーコードとされた
　上記（１）から上記（１５）の何れかに記載の信号処理装置。
（１７）
　前記撮像画像を二値化した二値化画像を生成する二値化処理部を備え、
　前記位置検出部は前記二値化画像に対して前記物体位置の検出を行う
　上記（１６）に記載の信号処理装置。
（１８）
　前記撮像部を備えたイメージセンサとされた
　上記（１）から上記（１７）の何れかに記載の信号処理装置。
（１９）
　移動する対象物を撮像する撮像部による撮像画像に基づいて前記対象物の前記撮像画像内での位置を物体位置として検出し、
　検出された前記物体位置と前記対象物の移動速度に基づいて次フレーム以降の前記撮像画像における前記対象物の位置を予測位置として推定し、
　前記予測位置に応じて次フレーム以降の前記撮像画像における切出枠を設定する処理を、コンピュータ装置が実行する
　信号処理方法。
２、２Ａ、２Ｂ、２Ｃ、２Ｄ、２Ｅ　撮像画像
２ａ、２ｂ、２ｃ、２ｄ、２ｅ、２ｙ、２ｚ　撮像画像
３、３Ａ、３Ｂ、３Ｃ、３Ｄ、３Ｅ　切出枠
３ａ、３ｂ、３ｃ、３ｄ、３ｅ、３ｙ、３ｚ　切出枠
４、４Ａ、４Ｂ、４Ｃ、４Ｄ、４Ｅ　ＲＯＩ画像（切出画像）
４ａ、４ｂ、４ｃ、４ｄ、４ｅ、４ｙ、４ｚ　ＲＯＩ画像（切出画像）
５、５Ａ、５Ｂ、５Ｃ、５Ｄ、５Ｅ　検波枠
５ａ、５ｂ、５ｙ、５ｚ　検波枠
１０　二値化処理部
１４　重心算出部（位置検出部）
１６　枠設定部
１８　移動速度取得部
２０　位置推定部
２２　出力データ整形処理部（出力部）
４１　撮像部
ＩＳ　イメージセンサ
ＢＣ　バーコード（対象物）

Claims (19)

  1. 　移動する対象物を撮像する撮像部による撮像画像に基づいて前記対象物の前記撮像画像内での位置を物体位置として検出する位置検出部と、
    　検出された前記物体位置と前記対象物の移動速度に基づいて次フレーム以降の前記撮像画像における前記対象物の位置を予測位置として推定する位置推定部と、
    　前記予測位置に応じて次フレーム以降の前記撮像画像における切出枠を設定する枠設定部と、を備えた
    　信号処理装置。
  2. 　前記対象物の前記移動速度を取得する移動速度取得部を備えた
    　請求項１に記載の信号処理装置。
  3. 　前記移動速度取得部は、複数フレームの前記撮像画像における前記物体位置の差分に基づいて前記移動速度を算出する
    　請求項２に記載の信号処理装置。
  4. 　前記移動速度取得部は、前記移動速度について入力された情報を取得する
    　請求項２に記載の信号処理装置。
  5. 　前記対象物の前記撮像画像上における重心位置を算出する重心算出部を備え、
    　前記位置検出部は、前記重心位置に基づいて前記物体位置を検出する
    　請求項１に記載の信号処理装置。
  6. 　前記重心位置を出力する出力部を備えた
    　請求項５に記載の信号処理装置。
  7. 　前記出力部から出力された前記重心位置に基づいて外部で算出された前記移動速度を取得する移動速度取得部を備えた
    　請求項６に記載の信号処理装置。
  8. 　前記位置検出部は、前記撮像画像の一部の領域として設定された検波枠内において前記物体位置の検出を行う
    　請求項１に記載の信号処理装置。
  9. 　前記枠設定部は、前記検波枠内において検出された前記対象物が含まれるように前記切出枠を設定する
    　請求項８に記載の信号処理装置。
  10. 　前記移動速度取得部によって取得された前記移動速度を出力する出力部を備えた
    　請求項２に記載の信号処理装置。
  11. 　前記枠設定部は、前記撮像画像内で検出された前記物体位置に基づいて前記切出枠を設定する第１設定処理と、前記予測位置に基づいて前記切出枠を設定する第２設定処理と、を切り替え可能とされた
    　請求項１に記載の信号処理装置。
  12. 　前記位置検出部は、前記第２設定処理において前記撮像画像内での前記物体位置を検出する処理を行わない
    　請求項１１に記載の信号処理装置。
  13. 　前記枠設定部は、前記対象物が検出されていない非検出状態から前記対象物を検出された検出状態へと変化したことに応じて前記第１設定処理を開始し、前記移動速度が算出されたことに応じて前記第１設定処理から前記第２設定処理へと切り替え、
    　前記第２設定処理が行われる追尾期間の開始時における前記移動速度である開始時移動速度と、前記追尾期間の終了時における前記移動速度である終了時移動速度とを算出して取得する移動速度取得部と、
    　前記開始時移動速度と前記終了時移動速度の比較結果を出力する出力部と、を備えた
    　請求項１１に記載の信号処理装置。
  14. 　前記切出枠によって切り出された切出画像データと、該切出画像データのメタデータと、を出力する出力部を備え、
    　前記メタデータは、
    　前記移動速度と前記対象物の前記撮像画像上における重心位置の少なくとも何れかを含み、
    　ＭＩＰＩ（Mobile Industry Processor Interface）規格に準拠したデータ構造における埋め込みデータ領域に格納される
    　請求項１に記載の信号処理装置。
  15. 　前記メタデータは、ＭＩＰＩ規格に準拠したデータ構造における同一のフレームデータに含まれる複数のラインデータのうち、前記切出画像データが格納されたラインデータよりも前に送信されるラインデータのペイロード領域に格納される
    　請求項１４に記載の信号処理装置。
  16. 　前記対象物は物体に設けられたバーコードとされた
    　請求項１に記載の信号処理装置。
  17. 　前記撮像画像を二値化した二値化画像を生成する二値化処理部を備え、
    　前記位置検出部は前記二値化画像に対して前記物体位置の検出を行う
    　請求項１６に記載の信号処理装置。
  18. 　前記撮像部を備えたイメージセンサとされた
    　請求項１に記載の信号処理装置。
  19. 　移動する対象物を撮像する撮像部による撮像画像に基づいて前記対象物の前記撮像画像内での位置を物体位置として検出し、
    　検出された前記物体位置と前記対象物の移動速度に基づいて次フレーム以降の前記撮像画像における前記対象物の位置を予測位置として推定し、
    　前記予測位置に応じて次フレーム以降の前記撮像画像における切出枠を設定する処理を、コンピュータ装置が実行する
    　信号処理方法。
PCT/JP2023/026959 2022-08-05 2023-07-24 信号処理装置、信号処理方法 WO2024029382A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022125562 2022-08-05
JP2022-125562 2022-08-05

Publications (1)

Publication Number Publication Date
WO2024029382A1 true WO2024029382A1 (ja) 2024-02-08

Family

ID=89848933

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/026959 WO2024029382A1 (ja) 2022-08-05 2023-07-24 信号処理装置、信号処理方法

Country Status (1)

Country Link
WO (1) WO2024029382A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07210795A (ja) * 1994-01-24 1995-08-11 Babcock Hitachi Kk 画像式交通流計測方法と装置
JP2001096235A (ja) * 1999-09-30 2001-04-10 Shibaura Mechatronics Corp 宛名の特定方法及び発送物処理装置
JP2009171369A (ja) * 2008-01-18 2009-07-30 Mitsubishi Electric Corp 画像データ処理装置及びプログラム
JP2011259354A (ja) * 2010-06-11 2011-12-22 Sharp Corp 視聴環境制御システム、送信装置、受信装置
JP2019003565A (ja) * 2017-06-19 2019-01-10 コニカミノルタ株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP2021190848A (ja) * 2020-05-29 2021-12-13 ソニーセミコンダクタソリューションズ株式会社 検出装置、検出システム及び検出方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07210795A (ja) * 1994-01-24 1995-08-11 Babcock Hitachi Kk 画像式交通流計測方法と装置
JP2001096235A (ja) * 1999-09-30 2001-04-10 Shibaura Mechatronics Corp 宛名の特定方法及び発送物処理装置
JP2009171369A (ja) * 2008-01-18 2009-07-30 Mitsubishi Electric Corp 画像データ処理装置及びプログラム
JP2011259354A (ja) * 2010-06-11 2011-12-22 Sharp Corp 視聴環境制御システム、送信装置、受信装置
JP2019003565A (ja) * 2017-06-19 2019-01-10 コニカミノルタ株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP2021190848A (ja) * 2020-05-29 2021-12-13 ソニーセミコンダクタソリューションズ株式会社 検出装置、検出システム及び検出方法

Similar Documents

Publication Publication Date Title
US10115178B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
JP4702441B2 (ja) 撮像装置及び撮像方法
US20070030381A1 (en) Digital camera
EP2157547B1 (en) Object tracking
US8441554B2 (en) Image capturing apparatus capable of extracting subject region from captured image
JP4876065B2 (ja) 動きベクトル検出装置及び動きベクトル検出方法及び撮像装置及びプログラム
JP2007129587A (ja) 撮像装置、交換式レンズ装置、撮像制御方法、歪曲収差補正用データ処理方法、及びコンピュータプログラム
JP4647885B2 (ja) カメラ
JP6742173B2 (ja) 焦点調節装置及び方法、及び撮像装置
JP2007281646A (ja) 電子カメラ
JP2007286474A (ja) 焦点検出装置および撮影装置
JP2006195037A (ja) カメラ
WO2024029382A1 (ja) 信号処理装置、信号処理方法
JP6602286B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP4692273B2 (ja) 焦点検出装置およびカメラ
JP4418342B2 (ja) 画像処理装置及び電子カメラ
JP2007251532A (ja) 撮像装置及び顔領域抽出方法
US11425297B2 (en) Image capturing apparatus and control method thereof
JP2007158997A (ja) 画像処理プログラム、およびカメラ
JP4085720B2 (ja) デジタルカメラ
JP5320937B2 (ja) 焦点検出装置および撮像装置
JP2007300592A (ja) 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法
JP4810440B2 (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP2007249526A (ja) 撮像装置及びその顔領域抽出方法
JP6493746B2 (ja) 画像追尾装置及び画像追尾方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23849937

Country of ref document: EP

Kind code of ref document: A1