WO2020152997A1 - 画像処理システムおよびカメラシステム - Google Patents

画像処理システムおよびカメラシステム Download PDF

Info

Publication number
WO2020152997A1
WO2020152997A1 PCT/JP2019/047136 JP2019047136W WO2020152997A1 WO 2020152997 A1 WO2020152997 A1 WO 2020152997A1 JP 2019047136 W JP2019047136 W JP 2019047136W WO 2020152997 A1 WO2020152997 A1 WO 2020152997A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
original image
processing system
original
image processing
Prior art date
Application number
PCT/JP2019/047136
Other languages
English (en)
French (fr)
Inventor
小林　正幸
雅幸 竹村
フェリペ ゴメズカバレロ
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to EP19912034.6A priority Critical patent/EP3916675A4/en
Publication of WO2020152997A1 publication Critical patent/WO2020152997A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Definitions

  • the present invention relates to an image processing system and a camera system.
  • the template matching process can be executed by using an image that is similar to the image on the other hand. It is difficult to execute because it is extracted as ".”
  • Japanese Patent Laid-Open No. 2004-242242 describes, "When a background image is recreated in response to a change in illuminance, a luminance value of an image (P2 in FIG. 1C) in an area where the background cannot be created because the background is blocked by a moving object. Is calculated as an approximate expression from the relationship between the brightness values at the same pixel positions in both the background image before the illuminance change (FIG. 1A) and the captured image at the changed illuminance (FIG. 1B) (illuminance The luminance value before the change is converted to a value after the change) to estimate it as a likely value of the background image to be used after the illuminance change, and it is complemented with the obtained estimated value.”
  • Patent Document 1 when the illumination condition of the input image changes, it is possible to switch not to use the background difference method for object detection. Further, in the technique of Patent Document 2, it is necessary to prepare a background image as a reference in advance, and the application range is limited. For example, it cannot cope with the case where the camera moves or the direction changes.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide an image processing system and a camera system that can appropriately detect an object by a background difference method even when the exposure condition of the camera changes.
  • An original image acquisition unit that acquires a first original image and a second original image
  • a brightness-corrected image is acquired by correcting the brightness value of the second original image so that the difference in brightness value between the first original image and the first original image is reduced according to the exposure condition for each of the original images.
  • a brightness correction unit Based on the brightness correction image, to detect the object by acquiring the background difference, a background difference type object detection unit, Equipped with.
  • the present specification includes the disclosure content of Japanese Patent Application No. 2019-009090 on which the priority of the present application is based.
  • the object can be appropriately detected by the background difference method. Therefore, for example, even a vehicle-mounted camera that needs to be operated while changing exposure conditions can appropriately detect a moving object.
  • FIG. 3 is a diagram showing a specific example of calculation of a brightness value by the brightness correction unit in FIG. 2.
  • FIG. 9 is a diagram illustrating a viewing angle of view of a sensor unit according to the stereo camera of Example 2.
  • FIG. 9 is a block diagram showing an example of the configuration of an image processing system according to a second embodiment.
  • FIG. 9 is a diagram illustrating an example of bit calculation by a brightness correction unit according to the second embodiment. It is a block diagram which shows the example of a more detailed structure about the object detection part of a background difference system. It is a block diagram which shows the example of a more detailed structure about the object detection part of a parallax method.
  • the image processing system performs detection by a background difference method in an image (for example, a shutter image captured by a camera), and can detect a moving body, for example.
  • the "moving body” refers to a moving object with respect to the background.
  • the “background” is not limited to a region including pixels that do not change in the image.
  • a road surface is an example of a background
  • a pedestrian or a vehicle moving on the road surface is an example of a moving body.
  • a person or animal moving in the camera image, an object to be moved, etc. are examples of the moving body.
  • FIG. 1 is a block diagram showing an example of the configuration of a camera system according to this embodiment.
  • the camera system includes a sensor unit 10 and an image processing system 100.
  • the sensor unit 10 and the image processing system 100 are communicably connected to each other.
  • the sensor unit 10 is an image pickup unit including an image pickup sensor, and is configured as, for example, a known camera.
  • a lens is attached to the image sensor to image the outside of the device.
  • the image sensor is, for example, an image sensor including a CMOS (Complementary Metal Oxide Semiconductor), and converts light into an electric signal.
  • CMOS Complementary Metal Oxide Semiconductor
  • the information converted into an electric signal by the image sensor of the sensor unit 10 is further converted into image data representing an image in the sensor unit 10.
  • the image data includes the brightness value of the pixel.
  • the luminance value can be expressed as a digital value, for example, and is represented as a luminance value for each color such as RGB (Red Green Blue) and RC (Red Clear), or a monochrome luminance value.
  • the sensor unit 10 transmits the image data to the image processing system 100.
  • the sensor unit 10 has a function of changing the exposure condition of the image sensor.
  • the image sensor is provided with an electronic shutter such as a global shutter or a rolling shutter, and an exposure time can be set to an arbitrary time for shooting.
  • the exposure time is the time from resetting the accumulated electric charges of the photodiode to extracting the electric charges for reading the information related to the brightness value. Point to.
  • the exposure time is extended, a large amount of electric charge will be accumulated, and the read brightness value will increase.
  • the exposure time is shortened, the electric charge that is stored is reduced, so that the read-out luminance is lowered. Therefore, the brightness of the image obtained from the image sensor changes in correlation with the exposure time.
  • the amount of electric charge taken out from the photodiode is converted into a voltage, and A/D (Analog Digital) conversion is performed to obtain a digital value.
  • the sensor unit 10 includes an amplifier used for A/D conversion and may be configured so that the gain of the amplifier can be changed as a part of the exposure condition. In that case, the brightness value read changes according to the gain setting of the amplifier. The higher the gain, the higher the brightness value, and the lower the gain, the lower the brightness value.
  • the brightness value of a dark object becomes 0, or the brightness value of an object having a low contrast ratio becomes In some cases, it becomes uniform, and the contour, shade, etc. cannot be discriminated.
  • This problem is remarkable when the brightness value is expressed as a digital value, but the same problem may occur when the brightness value is expressed as an analog value.
  • the brightness value of the bright target object becomes the maximum value, and the contour of the target object or the shade of the target object may not be discriminated. Therefore, it is necessary to set the exposure condition according to the brightness of the object to be photographed.
  • the sensor unit 10 can take a moving image by repeatedly turning off the electronic shutter in time series and acquiring image data for each shutter. The number of times the electronic shutter is turned off per unit time and image data is output is called a frame rate, and the frame rate per second is expressed in FPS (Frame Per Second) units.
  • the sensor unit 10 transmits data including image data to the image processing system 100.
  • the image processing system 100 receives data including image data from the sensor unit 10 and processes the data to detect an object in the image.
  • the detection of an object is performed by the background subtraction method, which makes it possible to detect a moving body, for example.
  • the image processing system 100 has a well-known computer configuration, and includes a computing unit 110 and a storage unit 120.
  • the arithmetic means 110 includes, for example, a microprocessor
  • the storage means 120 includes, for example, a semiconductor memory and a magnetic disk.
  • FIG. 2 is a block diagram showing an example of the configuration of the image processing system 100.
  • the calculation unit 110 of the image processing system 100 executes the program stored in the storage unit 120 or another place to obtain the original image acquisition unit 101, the exposure amount acquisition unit 102, the exposure condition adjustment unit 103, and the brightness correction unit 104. And functions as the object detection unit 105.
  • the original image acquisition unit 101 acquires an image from the sensor unit 10.
  • the image is, for example, a shutter image of a camera.
  • the image acquired here is an image before the adjustment and correction described below, and thus will be referred to as an “original image” below.
  • the original image acquisition unit 101 can acquire a plurality of original images at different times.
  • the images at different times are images with different shutters or different shutter times from, for example, one image sensor. For example, when the sensor unit 10 continuously outputs a plurality of images representing a moving image, the original image acquisition unit 101 sequentially acquires these.
  • the exposure amount acquisition unit 102 acquires the exposure amount of the original image acquired by the original image acquisition unit 101.
  • the exposure amount is, for example, an amount indicating how much light the image sensor of the sensor unit 10 is exposed to within the same shutter.
  • the expression format and the acquisition method of the exposure amount can be appropriately designed by those skilled in the art based on known techniques.
  • the exposure amount may be acquired by any method.
  • the exposure meter provided in the sensor unit 10 may output information related to the exposure amount, and the exposure amount acquisition unit 102 may receive the information and acquire the exposure amount.
  • the exposure amount acquisition unit 102 can acquire the exposure condition by calculating the exposure condition based on the original image.
  • the exposure amount is calculated based on the brightness value of one or more specific pixels of the original image or the brightness value of all pixels. Good.
  • the exposure condition adjusting unit 103 adjusts the exposure condition for the original image. This adjustment is performed by transmitting an instruction and information for changing the exposure condition to the sensor unit 10. As a more specific example, the adjustment of the exposure condition is performed by adjusting the exposure time and gain of the CMOS, for example.
  • Adjustment of exposure conditions is performed based on, for example, the amount of exposure.
  • the exposure condition is adjusted so that the exposure amount of the original image is maintained at a predetermined constant value, for example.
  • a predetermined constant value for example.
  • the exposure time of the sensor unit 10 is shortened or the gain is lowered. Then, the brightness value of the next shutter is lowered. If the brightness value of one or more specific pixels of the CMOS or the whole pixel is lower than a predetermined reference value, the exposure time is lengthened or the gain is increased.
  • the exposure condition adjustment unit 103 transmits information indicating the adjusted exposure condition to the brightness correction unit 104.
  • the exposure condition is associated with each original image, for example. For example, when the exposure condition adjusting unit 103 instructs the sensor unit 10 to set the exposure condition to a certain value, and when the original image under the exposure condition is captured, the exposure condition is added to the original image. Are associated with.
  • the brightness correction unit 104 acquires the original image from the original image acquisition unit 101, and also acquires the exposure condition related to the original image from the exposure condition adjustment unit 103. Then, the brightness correction unit 104 changes the brightness value of the original image based on the exposure condition. A specific example of the brightness value changing process will be described below.
  • the brightness correction unit 104 corrects the variation in the sensitivity of each pixel of the sensor unit 10.
  • the brightness correction unit 104 corrects variations based on sensitivity information for the light amount of each pixel of the image sensor, which is stored in the storage unit 120 in advance.
  • the sensitivity information is information indicating whether or not the brightness value corresponds to a constant light amount.
  • the storage unit 120 stores the sensitivity information.
  • Sensitivity information can be created by any method. For example, the sensor unit 10 images an object of uniform brightness in advance, and the brightness value of each pixel at that time is checked, and based on this brightness value. Sensitivity information can be generated. In the imaging at this time, for example, a white, low-reflection plate-shaped object is imaged so as to spread over the entire visual field. Note that such correction of the sensitivity by the brightness correction unit 104 may be omitted. In that case, creation of sensitivity information can be omitted.
  • the brightness correction unit 104 corrects the brightness value according to the exposure conditions of the plurality of original images. For example, the brightness of the second original image is reduced so that the difference in brightness value between the first original image and the second original image is reduced in accordance with the exposure condition of the first original image and the exposure condition of the second original image.
  • a new image is acquired by correcting the value.
  • this new image will be referred to as a “luminance correction image”.
  • the correction is performed so that the brightness values of the multiple original images are closer to each other.
  • one of the original images is used as a reference (first original image), and the luminance value of another original image (second original image) is corrected so as to be close to the reference.
  • the brightness values may be corrected so that they match each other, or the brightness values may be corrected so as to fall within a similar range.
  • the definition of the “brightness value” for a given image can be appropriately determined by those skilled in the art.
  • the brightness value of a specific pixel of an image may be used, or the brightness value of the image may be calculated by performing statistical processing (averaging, etc.) on the brightness values of all pixels. Good.
  • the exposure condition includes information indicating the exposure time
  • the second The luminance value of the original image of is corrected low.
  • the exposure time of the second original image becomes shorter, the brightness value of the second original image is corrected to be higher.
  • the exposure condition includes information indicating the gain
  • the gain when the second original image is captured is higher than the gain when the first original image is captured, the second original image is obtained.
  • the brightness value of is corrected low.
  • the gain of the second original image is low, the brightness value of the second original image is corrected to be high.
  • FIG. 3 shows a specific example of the calculation of the brightness value by the brightness correction unit 104.
  • the brightness correction unit 104 multiplies the brightness value of the second original image by the ratio of the exposure time of the first original image to the exposure time of the second original image.
  • Such calculation is suitable when the image sensor has a linear sensitivity to the light amount.
  • the ratio of the exposure times is 1/2
  • the brightness value of the second image is 2 minutes. Is multiplied by 1. It can be said that such multiplication of the ratio is an example of correction in which the difference in the brightness value from the first original image is set to zero.
  • the exposure condition is only the exposure time, but the gain or other information may be used instead of or in addition to the exposure time.
  • the original image captured first is the first original image and the original image captured later is the correction target as the second original image, but the context of these is arbitrary. That is, the original image captured later may be used as the first original image (reference), and the original image captured earlier may be used as the second original image to correct its luminance value.
  • the brightness correction unit 104 transmits the brightness correction image to the object detection unit 105. If there is no difference in the brightness value between the two original images, or if the difference is within a predetermined allowable range, the brightness correction unit 104 may omit the correction of the brightness value. In that case, the brightness correction unit 104 may directly transmit the original image to the object detection unit 105.
  • the object detection unit 105 detects an object by acquiring the background difference based on the brightness correction image received from the brightness correction unit 104.
  • the object is detected based on these two images.
  • a person skilled in the art can appropriately design the specific processing by the background difference method, but an example is shown below.
  • Figure 4 shows the principle of object detection using the background subtraction method.
  • the background difference method images of a plurality of shutters in time series are compared with each other, and pixels having a difference are output as a difference image.
  • the difference image 203 is acquired based on the first original image 201 and the brightness correction image 202.
  • the first original image 201 is a background image and is an image in which a moving body is not shown.
  • the brightness correction image 202 is a brightness correction image corresponding to the latest shutter image (second original image).
  • the difference image 203 shows the difference between the first original image 201 and the brightness correction image 202.
  • the first original image 201 does not include the moving body and the brightness correction image includes the moving body, only the moving body can be detected as the difference in the difference image 203.
  • a reference background image may be stored in the storage unit 120 in advance and used as the first original image.
  • a reference background image can be generated.
  • the image processing system 100 may also have a function of updating the reference background image.
  • the image processing system 100 may also have a function of updating the reference background image.
  • the background changes from moment to moment.
  • the image related to the latest shutter luminance correction image
  • the image related to the shutter is compared with the image related to the shutter at a time earlier than the latest (first original image), and a difference image is output. May be.
  • Fig. 5 shows the principle of object detection by the background subtraction method, which does not use a background image of a moving body that has not been captured. According to this principle, a moving body can be appropriately detected even when the sensor unit 10 moves, for example.
  • the first original image 301 is a shutter image at a time before the latest time.
  • the brightness correction image 302 is an image generated by correcting the brightness of the latest shutter image as an original image (second original image).
  • a difference image 303 is acquired based on the first original image 301 and the brightness correction image 302.
  • the sensor unit 10 moves, it may be difficult or infrequent to generate a background image, but an image related to the latest shutter and an image related to the shutter at a time earlier than the latest time are generated.
  • the moving object can be detected by comparing
  • either or both images may be transformed such that they are translated so that the portions corresponding to the backgrounds of the two images overlap. By doing so, the difference in the background can be suppressed and the difference can be acquired by focusing on the moving body.
  • the object detection unit 105 may further specify and output the range of pixels in which the moving body exists in the difference image. For example, among the pixels representing the moving body, a plurality of pixels that are close to each other may be combined into one set, and the range where the set exists may be the range where the moving body exists.
  • the brightness value is constant at B1 until time T2, and the object can be correctly detected.
  • the brightness value of the pixels of the entire image changes, so that the entire image changes. Is recognized as an object and cannot be detected correctly.
  • the correction is performed by the brightness correction unit 104.
  • the image processing system 100 may also have a function of performing geometric conversion on an image.
  • the bird's-eye view conversion may be performed on the image.
  • conversion may be performed so that the road surface is parallel to the image plane.
  • the moving body may be, for example, a pedestrian or a vehicle.
  • the image processing system 100 may further include a function of detecting an object regardless of the background difference method. That is, the image processing system 100 may include a non-background difference type object detection unit that detects an object based on any of the original images without acquiring the background difference.
  • the non-background difference type object detection unit may be an object detection unit different from the background difference type object detection unit. With such a detection method, not only a moving object but also an object can be detected, and for example, a three-dimensional object can also be detected.
  • the object can be appropriately detected by the background difference method. Therefore, for example, a moving object can be appropriately detected.
  • FIG. 7 is a block diagram showing an example of the configuration of the camera system according to the present embodiment.
  • the camera system includes a sensor unit 11 and an image processing system 500.
  • the sensor unit 11 includes a left imaging unit 12 and a right imaging unit 13, and is configured as a known stereo camera, for example.
  • the left image pickup unit 12 and the right image pickup unit 13 are arranged at different positions to generate parallax.
  • the hardware configuration of the image processing system 500 is the same as that of the first embodiment.
  • the viewing angle of view of the sensor unit 11 according to the stereo camera of the present embodiment will be described with reference to FIG.
  • the left imaging section 12 images the left visual field area 14, and the right imaging section 13 images the right visual field area 15.
  • the left visual field area 14 and the right visual field area 15 have a relationship in which they are laterally offset from each other while partially overlapping each other. Therefore, the original image includes the stereo region R1, the left monocular region R2, and the right monocular region R3.
  • the stereo region is a region in which the original image of the left imaging unit 12 and the original image of the right imaging unit 13 have the same angle of view.
  • the monocular region is a region where the angle of view does not overlap between the original image of the left imaging unit 12 and the original image of the right imaging unit 13.
  • the stereo region R1, the left monocular region R2, and the right monocular region R3 do not overlap each other.
  • the image processing system 500 performs stereo matching type object detection in the stereo region R1 and background subtraction type object detection in the left monocular region R2 and the right monocular region R3.
  • background difference type object detection a bird's-eye view image projectively converted on the road surface may be used. Background difference processing using an overhead image is called overhead difference processing.
  • FIG. 9 is a block diagram showing an example of the configuration of the image processing system 500 according to the second embodiment.
  • the calculation means of the image processing system executes the program stored in the storage means or another place to obtain the original image acquisition unit 501, the exposure amount acquisition unit 502, the exposure condition adjustment unit 503, the brightness correction unit 504, and the background difference. It functions as an object detection unit 505 of the system and a object detection unit 506 of the parallax system.
  • the parallax-type object detection unit 506 is an example of a non-background difference-type object detection unit that detects an object without acquiring a background difference.
  • the parallax-type object detection unit 506 may be configured as an object detection unit different from the background-difference-type object detection unit 505.
  • the original image acquisition unit 501 acquires an image from the sensor unit 11.
  • a plurality of original images at different positions can be acquired from the left imaging unit 12 and the right imaging unit 13. More precisely, the first original image and the second original image can be acquired for each of a plurality of different positions.
  • the first original image and the second original image with different shutters or different shutter times are acquired from the left imaging unit 12, and the first original images with different shutters or different shutter times from the right imaging unit 13 are acquired.
  • An original image and a second original image are acquired.
  • the operations of the exposure amount acquisition unit 502, the exposure condition adjustment unit 503, and the background difference type object detection unit 505 are the same as those of the exposure amount acquisition unit 102, the exposure condition adjustment unit 103, and the object detection unit 105 of the first embodiment, respectively. ..
  • the brightness correction unit 504 corrects the variation in the sensitivity of each pixel of the image sensors of the left image pickup unit 12 and the right image pickup unit 13 as in the first embodiment. Then, the brightness correction unit 504 generates a conversion coefficient for converting the brightness value of each pixel according to the exposure condition.
  • the conversion coefficient is calculated according to the mathematical formulas in FIG. 3, for example, as in the first embodiment.
  • the conversion at this time is performed by associating a plurality of original images at the same position. That is, the brightness correction unit 504 corrects the brightness value of the second original image from the left imaging unit 12 so that the difference in brightness value from the first original image from the left imaging unit 12 becomes small, and The brightness value of the second original image from the right imaging unit 13 is corrected so that the difference in brightness value from the first original image from the imaging unit 13 becomes small.
  • the brightness correction unit 504 executes a predetermined conversion in connection with the brightness correction processing described in the first embodiment.
  • This conversion can be performed, for example, as a bit operation.
  • the brightness correction unit 504 converts the brightness value of the original image represented by a predetermined initial bit number (for example, the brightness value of all pixels) into the brightness value of the same number of bits as the initial bit number according to the conversion coefficient or Convert to a luminance value with a bit number smaller than the initial bit number.
  • This conversion may be, for example, an operation of bit-shifting by the number of bits according to the conversion coefficient, or an operation of extracting only the bit of each bit corresponding to the conversion coefficient and discarding the other bits. It may be a combination of operations.
  • this conversion can be performed using a conversion table stored in advance in the storage means.
  • the conversion table associates each input value of the brightness value with a different output value according to the conversion coefficient.
  • FIG. 10 is a diagram illustrating an example of bit operation.
  • the endian in which the upper-order bit is arranged in the MSB is assumed.
  • the arrangement of bits as appropriate (for example, swap the MSB side and the LSB side in FIG. 10).
  • the brightness correction unit 504 performs the bit operation shown in FIG. 10 on the brightness value in each of the original images acquired from the original image acquisition unit 501. Further, when the brightness value is corrected for a certain original image, the correction is performed by bit calculation.
  • FIG. 10A is an example of the data format of the brightness value before bit calculation.
  • the brightness value before bit operation is represented by 12 bits.
  • FIG. 10B and FIG. 10C are examples of the data format of the brightness value after bit calculation. In this example, the brightness value after bit calculation is represented by 8 bits.
  • 10(B) and 10(C) the data in FIG. 10(A) is bit-shifted to the LSB side, and then a specific bit is truncated to reduce the number of bits.
  • Bit calculation can be performed based on, for example, the exposure condition or brightness value of the original image.
  • FIG. 10B is an example in which the luminance value of the original image is relatively low, and the amount of bit shift is relatively small (1 bit).
  • FIG. 10C shows an example in which the luminance value of the original image is relatively high, and the bit shift amount is relatively large (4 bits).
  • the amount of bit shift may be 0 (that is, the bit shift calculation is not substantially performed). In either case, only the bits corresponding to bit 0 to bit 7 after the shift are held.
  • the amount of bit shift changes depending on the conversion coefficient. For example, when the exposure condition of the first original image and the exposure condition of the second original image are largely different, the conversion coefficient becomes large. In that case, the bit shift amount is changed so that the difference between the bit number of the bit shift for the first original image and the bit number of the bit shift for the second original image becomes large. On the contrary, when the exposure condition of the first original image and the exposure condition of the second original image are the same or almost different, the conversion coefficient becomes 0 or becomes small. In that case, the amount of bit shift is changed so that the number of bits of bit shift for the first original image becomes equal to or smaller than the number of bits of bit shift for the second original image. ..
  • the brightness correction unit 504 when correcting the brightness value of the second original image, according to the exposure condition of the first original image and the exposure condition of the second original image, It can be said that the luminance value of the second original image is bit-shifted. Further, when the brightness correction unit 504 executes the multiplication as shown in FIG. 3, the calculation related to the multiplication is performed according to the exposure condition related to the first original image and the exposure condition related to the second original image. , The second original image can be said to be executed via bit-shifting the luminance value.
  • the process of FIG. 10 can be interpreted as an operation that reduces the number of bits.
  • bits 0, 9 to 11 are truncated and the number of bits is reduced
  • bits 8 to 11 are truncated and the number of bits is reduced.
  • the brightness correction unit 504 when correcting the brightness value of the second original image, according to the exposure condition of the first original image and the exposure condition of the second original image, the second It can be said that the number of bits of the luminance value of the original image is reduced.
  • the brightness correction unit 504 executes the multiplication as shown in FIG. 3, the calculation related to the multiplication is performed according to the exposure condition related to the first original image and the exposure condition related to the second original image. , Through the reduction of the number of bits of the luminance value of the second original image.
  • the background difference type object detection unit 505 detects an object by acquiring the background difference based on the image output from the brightness correction unit 504. Further, the parallax-type object detection unit 506 detects an object by acquiring parallax based on the image output from the original image acquisition unit 501.
  • the specific contents of the processing of these detection units can be appropriately designed by those skilled in the art, but an example is shown below.
  • FIG. 11 is a block diagram showing a more detailed configuration example of the background difference type object detection unit 505.
  • the background difference type object detection unit 505 includes an overhead view conversion unit 510, an overhead view difference unit 511, a pixel set detection unit 512, and a type identification unit 513.
  • the bird's-eye view conversion unit 510 converts the image output from the brightness correction unit 504 into a bird's-eye view image projected on the road surface while correcting lens distortion.
  • the bird's-eye view difference unit 511 acquires a difference between bird's-eye view images of front and rear shutters.
  • the pixel set detection unit 512 detects the set of pixels having the difference as an object (for example, a three-dimensional object or a moving object).
  • the type identifying unit 513 identifies the type of an object such as a pedestrian or a vehicle.
  • FIG. 12 is a block diagram showing a more detailed configuration example of the parallax-type object detection unit 506.
  • the parallax object detection unit 506 includes a geometric correction unit 520, a stereo matching unit 521, a pixel set detection unit 522, and a type identification unit 523.
  • the geometric correction unit 520 corrects the distortion of the sensor unit 11 when capturing an image.
  • the correction is performed based on the distortion information of each of the left imaging unit 12 and the right imaging unit 13.
  • This distortion information is held in the storage means as a calibration table indicating the position of the image coordinates before distortion correction for each pixel in the image coordinate system after distortion correction.
  • the stereo matching unit 521 compares the left and right images corrected by the geometric correction unit 520 and specifies the parallax value between the corresponding pixels.
  • the “corresponding pixel” is a pixel in which the same object is captured.
  • the parallax value is 3.2 if the corresponding pixels on the left and right are displaced by 3.2 pixels, for example.
  • a method of searching for a position where the sum SAD (Sum of Absolute Difference) of the absolute values of the differences in the brightness value is used as a template is selected by using a region of a plurality of pixels as a template.
  • the pixel set detection unit 522 detects an object (for example, a three-dimensional object or a moving object) by specifying a pixel set of the same object based on the parallax value of each pixel output by the stereo matching unit 521. Since the same object exists at the same distance, it is assumed that one set is composed of a plurality of pixels having close parallax values, and this set represents the object.
  • the type identification unit 523 identifies the type of the object detected by the pixel set detection unit 522. The type is, for example, a vehicle or a pedestrian.
  • the object can be appropriately detected by the background difference method even when the exposure condition of the camera changes, as in the first embodiment. .. Therefore, for example, a moving object can be appropriately detected.
  • a parallax-type object detection unit that does not depend on the background difference method.
  • the object is detected using.
  • the exposure condition adjusting unit 503 can be configured to determine the exposure condition based on the stereo area of each original image.
  • the brightness correction unit 504 can be configured to correct the brightness based on the monocular area of each original image. More specifically, the brightness correction unit 504 has a small difference in brightness value between the first original image and the second original image of the left imaging unit 12 in the left monocular region R2.
  • the first original image and the second original image of the right imaging unit 13 are By correcting the brightness value of the second original image so that the difference in brightness value in the right monocular region R3 from the first original image becomes small, the brightness correction image of the right imaging unit 13 is acquired.
  • the exposure adjustment is performed by giving priority to the parallax method, and in the background difference method, the brightness value is corrected to cancel this adjustment, so it is possible to use different images depending on the method. Further, it is possible to realize a detection process suitable for each method.
  • the exposure condition adjusting section can be omitted.
  • the exposure condition may be adjusted (for example, as a part of the function of the sensor unit) by another mechanism or the like independent of the image processing system.
  • the present invention is not limited to the above-described embodiments, but includes various modifications.
  • the above-described embodiments have been described in detail for the purpose of explaining the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the configurations described.
  • a part of the configuration of a certain embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of a certain embodiment.
  • other configurations can be added/deleted/replaced.
  • each of the above-mentioned configurations, functions, processing units, processing means, etc. may be realized in hardware by designing a part or all of them with, for example, an integrated circuit.
  • each of the above-described configurations, functions, and the like may be realized by software by a processor interpreting and executing a program that realizes each function.
  • Information such as a program, a table, and a file that realizes each function can be placed in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card or an SD card.
  • the control lines and information lines are shown as being considered necessary for explanation, and not all the control lines and information lines in the product are necessarily shown. In practice, it may be considered that almost all configurations are connected to each other.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

カメラの露光条件が変化しても、背景差分方式で物体を適切に検知できる画像処理システムおよびカメラシステムを提供する。カメラシステムは、画像処理システム１００を備える。画像処理システム１００は、第１の元画像および第２の元画像を取得する、元画像取得部１０１と、各元画像に係る露光条件に応じ、第１の元画像との輝度値の差分が小さくなるように第２の元画像の輝度値を補正することにより、輝度補正画像を取得する、輝度補正部１０４と、輝度補正画像に基づき、背景差分を取得することにより物体を検知する、背景差分方式の物体検知部１０５とを備える。

Description

画像処理システムおよびカメラシステム
　この発明は、画像処理システムおよびカメラシステムに関する。
　カメラによって撮像された画像等に基づき、画像中で移動する物体を検知するための様々な技術が公知である。このような技術の例は、特許文献１および２に記載される。
　特許文献１に記載された技術では、「移動物体を追跡する処理手段として、背景差分処理手段とテンプレートマッチング処理手段があり、この２つの処理を、環境変動検出手段による監視領域の照明変動検出結果、記憶部に記憶された背景画像の安定度に基づいて、適宜切り替える。」、「環境変動検出手段が監視領域内の照明変動を検出すると、追跡処理切替手段が移動物体の追跡処理を背景差分処理から本テンプレートマッチング処理に切り替えるとともに入力画像を照明補償して、移動物体の追跡を継続する。」、「移動物体の抽出は背景差分処理法の方が安定度に優れ、処理負荷も少ない。しかし、照明変動により入力画像が不安定な状態となった場合は、背景差分処理はできなくなる。これはテンプレートマッチングの処理も同様であるが、入力画像を補償して輝度値を変化前の画像に近似した画像にすることでテンプレートマッチング処理は実行可能となる。一方、背景差分処理では照明補償しても全ての画素で正確に補正できるわけではないため、移動物体以外の領域まで背景差分領域として抽出してしまい実行が、困難である。」と記載されている。
　また、特許文献２には、「照度変化に対応して背景画像を作成し直す際に、移動体により遮られたために背景が作成できない領域の画像（図１（Ｃ）のＰ２）の輝度値を、照度変化前の背景画像（図１（Ａ））、変化後の照度における撮影画像（図１（Ｂ））双方における同一画素位置の輝度値の関係から近似式として求めた変換式（照度変化前の輝度値を変化後の値に変換）によって照度変化後に使用する背景画像の尤もらしい値として推測し、得られた推測値で補完する」ことが記載されている。
特開２０１１－０６０１６７号公報 特開２０１１－０７０５７２号公報
　従来の技術では、カメラの露光条件が変化した場合に、背景差分方式で物体を検知することが困難であるという課題があった。
　たとえば、特許文献１の技術では、入力画像の照明条件が変化した場合には、物体検知に背景差分方式を用いないよう切り替えられる。また、特許文献２の技術では、予め基準となる背景画像を準備しておく必要があり、応用範囲が限られる。たとえば、カメラが移動したり向きが変化する場合には対応できない。
　本発明は、上記のような課題に鑑みてなされたものであり、カメラの露光条件が変化しても、背景差分方式で物体を適切に検知できる画像処理システムおよびカメラシステムを提供することを目的とする。
　この発明に係る画像処理システムは、
　第１の元画像および第２の元画像を取得する、元画像取得部と、
　各前記元画像に係る露光条件に応じ、前記第１の元画像との輝度値の差分が小さくなるように前記第２の元画像の輝度値を補正することにより、輝度補正画像を取得する、輝度補正部と、
　前記輝度補正画像に基づき、背景差分を取得することにより物体を検知する、背景差分方式の物体検知部と、
を備える。
　本明細書は本願の優先権の基礎となる日本国特許出願番号2019-009090号の開示内容を包含する。
　本発明に係る画像処理システムおよびカメラシステムによれば、カメラの露光条件が変化しても、背景差分方式で物体を適切に検知できる。このため、たとえば露光条件を変化させながら動作させる必要のある、車載カメラでも、移動する物体を適切に検知することが可能である。
本発明の実施例１に係るカメラシステムの構成の例を示すブロック図である。 図１の画像処理システムの構成の例を示すブロック図である。 図２の輝度補正部による輝度値の演算の具体例を示す図である。 背景差分方式による物体検知原理を示す図である。 移動体の撮像されていない背景画像を用いない、背景差分方式による物体検知原理を示す図である。 ３枚以上の画像にわたって連続して物体検知処理を行う場合の輝度の補正について説明する図である。 本発明の実施例２に係るカメラシステムの構成の例を示すブロック図である。 実施例２のステレオカメラに係るセンサ部の視野画角について説明する図である。 実施例２に係る画像処理システムの構成の例を示すブロック図である。 実施例２に係る輝度補正部によるビット演算の例を説明する図である。 背景差分方式の物体検知部について、より詳細な構成の例を示すブロック図である。 視差方式の物体検知部について、より詳細な構成の例を示すブロック図である。
　以下、この発明の実施例を添付図面に基づいて説明する。
［実施例１］
　本発明の実施例１に係る画像処理システムは、画像（たとえばカメラで撮像されたシャッタ画像）中において、背景差分方式で検知を行うものであり、たとえば移動体を検知することができる。この「移動体」とは、背景に対して動いているものを指す。ただし、「背景」とは、画像中で変化しない画素からなる領域に限らない。例えば前方センシングを行う車載カメラの場合には、路面が背景の例であり、路面に対して移動を行う歩行者や車両が移動体の例である。また例えば固定された監視カメラであれば、カメラ画像内で動く人物や動物、動かされる物、等が移動体の例である。
　図１は、本実施例に係るカメラシステムの構成の例を示すブロック図である。カメラシステムは、センサ部１０と画像処理システム１００とを備える。センサ部１０および画像処理システム１００は、相互に通信可能に接続される。センサ部１０は撮像センサを含む撮像部であり、たとえば公知のカメラとして構成される。撮像センサにはレンズが取り付けられ、装置の外界を撮像する。撮像センサは、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を備える撮像センサであり、光を電気信号に変換するものである。
　センサ部１０の撮像センサで電気信号に変換された情報は、さらにセンサ部１０内で、画像を表す画像データに変換される。画像データは画素の輝度値を含む。輝度値は、たとえばデジタル値として表現することができ、ＲＧＢ（Ｒｅｄ　Ｇｒｅｅｎ　Ｂｌｕｅ）やＲＣ（Ｒｅｄ　Ｃｌｅａｒ）等の色毎の輝度値や、モノクロの輝度値として表される。センサ部１０は、画像データを画像処理システム１００に送信する。
　センサ部１０は、撮像センサの露光条件を変更する機能を備える。たとえば、撮像センサにグローバルシャッタまたはローリングシャッタ等の電子シャッタが備わっており、露光時間を任意の時間に設定して撮影することができる。受光素子として、受光すると電荷が蓄積されるフォトダイオードを用いる場合には、露光時間は、フォトダイオードの蓄積電荷をリセットしてから、輝度値に係る情報を読み出すために電荷を取り出すまでの時間を指す。
　露光時間を長くすると電荷が多く蓄積されるので、読み出される輝度値が高くなる。一方で露光時間を短くすると蓄えられる電荷が少なくなるので、読み出される輝度が低くなる。そのため、露光時間に相関して、撮像センサから得られる画像の明るさが変化する。
　センサ部１０では、フォトダイオードから取り出される電荷量を電圧に変換し、Ａ／Ｄ（Ａｎａｌｏｇ　Ｄｉｇｉｔａｌ）変換を行ってデジタル値を取得する。センサ部１０はＡ／Ｄ変換に用いる増幅器を備えており、露光条件の一部として増幅器のゲインが変更できるように構成される場合がある。その場合には、増幅器のゲイン設定に応じて読み出される輝度値が変化する。ゲインを高くすれば輝度値は高く、ゲインを低くすれば輝度値は低くなる。
　ここで、一般的に、露光条件（上記の例では露光時間およびゲイン）の変化により輝度値が低くなると、暗い対象物の輝度値が０になったり、コントラスト比が低い対象物の輝度値が一様になったりし、輪郭や濃淡等が判別できなくなる場合がある。この問題は輝度値をデジタル値として表現する場合に顕著であるが、アナログ値として表現する場合にも同質の問題が発生し得る。同様に、露光条件の変化により輝度値が高くなると、明るい対象物の輝度値が最大値となり、対象物の輪郭や対象物の濃淡が判別できなくなる場合がある。従って、撮影する対象物の明るさに応じて露光条件を設定する必要がある。
　センサ部１０は、時系列的に繰り返し電子シャッタを切り、シャッタ毎の画像データを取得することにより動画を撮影することができる。単位時間あたりの電子シャッタを切り画像データを出力する回数をフレームレートと呼び、１秒あたりのフレームレートをＦＰＳ（Ｆｒａｍｅ　Ｐｅｒ　Ｓｅｃｏｎｄ）の単位で表す。センサ部１０は、画像データを含むデータを画像処理システム１００に送信する。
　画像処理システム１００は、センサ部１０から画像データを含むデータを受信し、これを処理することにより画像中の物体を検知する。物体の検知は背景差分方式で行われ、これによってたとえば移動体を検知することが可能である。
　画像処理システム１００は、公知のコンピュータとしての構成を備え、演算手段１１０および記憶手段１２０を有する。演算手段１１０はたとえばマイクロプロセッサを含み、記憶手段１２０はたとえば半導体メモリおよび磁気ディスクを含む。
　図２は、画像処理システム１００の構成の例を示すブロック図である。画像処理システム１００の演算手段１１０は、記憶手段１２０またはその他の場所に格納されるプログラムを実行することにより、元画像取得部１０１、露出量取得部１０２、露光条件調整部１０３、輝度補正部１０４および物体検知部１０５として機能する。
　元画像取得部１０１はセンサ部１０から画像を取得する。画像はたとえばカメラのシャッタ画像である。ここで取得される画像は、以下に記載する調整および補正の前の画像であるため、以下では「元画像」と呼ぶ。元画像取得部１０１は、異なる時刻に係る複数の元画像を取得することができる。異なる時刻に係る画像は、たとえば１つの撮像センサからの、異なるシャッタまたは異なるシャッタ時刻に係る画像である。たとえば、センサ部１０が動画を表す複数の画像を連続的に出力する場合には、元画像取得部１０１はこれらを順次取得する。
　露出量取得部１０２は、元画像取得部１０１が取得する元画像に係る露出量を取得する。露出量は、たとえばセンサ部１０の撮像センサが同一シャッタ内でどの程度の光に露出されているかを表す量である。露出量の表現形式および取得方法は、公知技術に基づき当業者が適宜設計することができる。
　露出量の取得はどのような方法で行われてもよい。たとえば、センサ部１０に設けられる露出計が露出量に係る情報を出力し、露出量取得部１０２がこれを受信して露出量を取得してもよい。別の方法では、露出量取得部１０２は、元画像に基づいて露光条件を算出することにより取得することができる。より具体的な例では、センサ部１０の撮像センサとしてＣＭＯＳが用いられる場合に、元画像の特定の１つ以上の画素または全体の画素の輝度値の高さに基づいて露出量を算出してもよい。
　露光条件調整部１０３は、元画像に係る露光条件を調整する。この調整は、露光条件を変更するための指示および情報をセンサ部１０に送信することによって行われる。より具体的な例として、露光条件の調整は、たとえばＣＭＯＳの露光時間およびゲインを調整することにより行われる。
　露光条件の調整は、たとえば露出量に基づいて行われる。また、露光条件の調整は、たとえば元画像の露出量が予め定められた一定の値に維持されるように行われる。具体例として、ＣＭＯＳの特定の１つ以上の画素または全体の画素の輝度値が、予め定められた基準値に対して高ければ、センサ部１０の露光時間を短縮するか、またはゲインを低下させて、次のシャッタの輝度値が下がるようにする。また、ＣＭＯＳの特定の１つ以上の画素または全体の画素の輝度値が、予め定められた基準値に対して低ければ、露光時間を長くするか、またはゲインを増加させる。
　露光条件調整部１０３は、調整後の露光条件を表す情報を、輝度補正部１０４に送信する。露光条件は、たとえば元画像それぞれに関連付けられる。たとえば、露光条件調整部１０３が露光条件をある値にするようセンサ部１０に対して指示し、その露光条件のもとである元画像が撮像された場合には、その元画像にその露光条件が関連付けられる。
　輝度補正部１０４は、元画像取得部１０１から元画像を取得するとともに、露光条件調整部１０３からその元画像に係る露光条件を取得する。そして、輝度補正部１０４は、露光条件に基づいて元画像の輝度値を変更する。この輝度値の変更処理の具体例を、以下に説明する。
　まず輝度補正部１０４は、センサ部１０の画素毎の感度のバラつきを補正する。輝度補正部１０４では、バラつきの補正を、予め記憶手段１２０に記憶しておいた撮像センサの画素毎の光量に対する感度情報に基づき行う。感度情報は一定の光量に対して、輝度値が対応しているのか否かの関係を示す情報である。
　記憶手段１２０は、感度情報を記憶する。感度情報の作成は任意の方法で行うことができ、たとえば、予めセンサ部１０で均一の明るさの物体を撮像し、その際の各画素の輝度値を調べておき、この輝度値に基づいて感度情報を生成することができる。この際の撮像では、例えば真っ白な低反射な板状のものを、視野全域に広がる様に撮像が行われる。なお、輝度補正部１０４によるこのような感度の補正は省略してもよい。その場合には感度情報の作成も省略可能である。
　次に、輝度補正部１０４は、複数の元画像の露光条件に応じて輝度値を補正する。たとえば、第１の元画像に係る露光条件と、第２の元画像に係る露光条件とに応じ、第１の元画像との輝度値の差分が小さくなるように、第２の元画像の輝度値を補正することにより、新たな画像を取得する。この新たな画像を、以下では「輝度補正画像」と呼ぶ。
　言い換えると、複数の元画像の輝度値が、互いにより近い値となるように、補正が行われる。または、複数の元画像において、何れか１つの元画像を基準（第１の元画像）とし、他の元画像（第２の元画像）の輝度値が、基準に近くなるように補正するということもできる。より具体的には、輝度値が互いに一致するように補正してもよいし、輝度値が互いに類似する範囲内の値となるよう補正してもよい。
　なお、ある画像に関する「輝度値」の定義は、当業者が適宜決定可能である。たとえば、ある画像の特定の画素の輝度値を用いてもよいし、全体の画素の輝度値に対して統計的処理（平均化等）を実施することにより、その画像の輝度値を算出してもよい。
　たとえば、露光条件が露光時間を表す情報を含む場合において、第１の元画像を撮像した際の露光時間に対して、第２の元画像を撮像した際の露光時間が長くなれば、第２の元画像の輝度値が低く補正される。逆に、第２の元画像の露光時間が短くなれば、第２の元画像の輝度値が高く補正される。
　また、露光条件がゲインを表す情報を含む場合において、第１の元画像を撮像した際のゲインに対して、第２の元画像を撮像した際のゲインが高くなれば、第２の元画像の輝度値が低く補正される。逆に、第２の元画像のゲインが低くなれば、第２の元画像の輝度値が高く補正される。
　図３に、輝度補正部１０４による輝度値の演算の具体例を示す。この例では、輝度補正部１０４は、第２の元画像に係る露光時間に対する第１の元画像に係る露光時間の比を、第２の元画像の輝度値に乗算する。このような演算は、撮像センサが光量に対して線形な感度を有する場合に好適である。例えば、第１の元画像の露光時間が１ｍｓで、第２の元画像の露光時間が２ｍｓだった場合、露光時間の比は２分の１となり、第２の画像の輝度値には２分の１が乗算される。このような比の乗算は、第１の元画像との輝度値の差分を０とする補正の例であるということができる。なお、この例では露光条件は露光時間のみであるが、露光時間に代えて、またはこれに加えて、ゲインまたは他の情報を用いてもよい。
　なお、この例では先に撮像された元画像が第１の元画像であり、後に撮像された元画像が第２の元画像として補正の対象となるが、これらの前後関係は任意である。すなわち、後に撮像された元画像を第１の元画像（基準）とし、先に撮像された元画像を第２の元画像としてその輝度値を補正してもよい。
　このように露光時間の比を乗算することにより、輝度値の差をより適切に補正することができる。
　輝度補正部１０４は、輝度補正画像を物体検知部１０５に送信する。なお、２つの元画像間で輝度値の差がないか、または差が所定の許容範囲内である場合には、輝度補正部１０４は輝度値の補正を省略してもよい。その場合には、輝度補正部１０４は元画像をそのまま物体検知部１０５に送信してもよい。
　物体検知部１０５は、輝度補正部１０４から受信した輝度補正画像に基づき、背景差分を取得することにより物体を検知する。とくに、輝度補正部１０４から、第１の元画像と、第２の元画像から得られた輝度補正画像とを受信した場合には、これら２枚の画像に基づいて物体を検知する。背景差分方式による具体的な処理は当業者が適宜設計可能であるが、一例を以下に示す。
　図４に、背景差分方式による物体検知原理を示す。背景差分方式では、時系列上の複数シャッタの画像を比較し、違いのある画素を差分画像として出力する。第１の元画像２０１と、輝度補正画像２０２とに基づき、差分画像２０３が取得される。この例では、第１の元画像２０１は背景画像であり、移動体の写っていない画像である。輝度補正画像２０２は最新シャッタの画像（第２の元画像）に対応する輝度補正画像である。差分画像２０３では、第１の元画像２０１と輝度補正画像２０２との差分が示される。この例では、第１の元画像２０１には移動体が含まれず、輝度補正画像には移動体が含まれているので、差分画像２０３では移動体のみを差分として検知することができる。
　前後のフレームの画像を比較する際は、画像を複数の領域に分割し、差分の生じなかった領域を収集し、異なるシャッタの画像を組み合わせて、基準背景画像としても良い。このような基準背景画像を予め記憶手段１２０に記憶しておき、これを第１の元画像として用いてもよい。広い視野のカメラでは、全画角のうちどこにも移動体が含まれない瞬間を撮影するのが困難な場合があるが、そのような場合でも、前記の様に分割した領域を組み合わせることで、基準背景画像を生成することが出来る。
　また、画像処理システム１００は、基準背景画像を更新する機能を備えてもよい。基準背景画像を頻繁に更新することにより、時間経過で明るさが変わる場所においても、基準背景画像と最新のシャッタ画像との明るさの差が少なくなるので、輝度補正画像に残存する誤差をより小さくし、背景差分をより高い精度で取得できる。
　本実施例の装置が移動する場合（例えばセンサ部１０および画像処理システム１００が車載される場合等）、背景が刻一刻と変化する。このような場合には、最新シャッタに係る画像（輝度補正画像）と、最新よりも前の時刻のシャッタに係る画像（第１の元画像）とを比較し、差分画像を出力するよう構成してもよい。
　図５に、移動体の撮像されていない背景画像を用いない、背景差分方式による物体検知原理を示す。この原理によれば、たとえばセンサ部１０が移動する場合にも適切に移動体を検知できる。第１の元画像３０１は、最新よりも前の時刻のシャッタの画像である。輝度補正画像３０２は、最新シャッタの画像を元画像（第２の元画像）とし、その輝度を補正することで生成された画像である。第１の元画像３０１と、輝度補正画像３０２とに基づき、差分画像３０３が取得される。第１の元画像３０１および輝度補正画像３０２の双方に移動体が含まれていると、それぞれの画像に移動体が写っていた部分の画素に差分が生じ、背景が写っていた部分の画素には差分が生じない。
　センサ部１０が移動する場合には、背景画像の生成が困難だったり、頻繁に行えなかったりする可能性があるが、最新シャッタに係る画像と、最新よりも前の時刻のシャッタに係る画像とを比較することで、移動体の検知を行うことが出来る。
　なお、センサ部１０が移動する場合には、背景部分が画像上移動してしまう。このような場合には、２枚の画像において背景に対応する部分が重なる様に、いずれかまたは双方の画像を平行移動させる等、変形させてもよい。このようにすることで、背景の差分を抑制し、移動体に絞って差分を取得することができる。
　物体検知部１０５は、さらに、差分画像の内、移動体の存在する画素の範囲を特定し出力してもよい。たとえば、移動体を表す画素のうち互いに近い距離にある複数の画素を一つの集合にまとめて、その集合の存在する範囲を移動体の存在する範囲としてもよい。
　図６を用いて、３枚以上の画像にわたって連続して物体検知処理を行う場合の輝度の補正について説明する。時刻Ｔ０，Ｔ１，Ｔ２，Ｔ３，Ｔ４，…において画像が取得され、各画像に係る露光時間４０１および輝度値４０２の変化が示される。時系列シャッタを時刻Ｔ０から時刻Ｔ４に順に撮像していく中で、時刻Ｔ２と時刻Ｔ３との間に露光条件が変化し、露光時間がＥ１からＥ２に減少する。それに伴い輝度値もＢ１からＢ２に減少する。
　ここで、従来の背景差分処理による物体検知では、時刻Ｔ２までは輝度値がＢ１で一定であり、正しく物体を検知できるが、時刻Ｔ３では画像全体の画素の輝度値が変化するので、画像全体が物体として認識されてしまい、正しく物体を検知できない。
　これに対し、本発明の実施例１では、輝度補正部１０４による補正が行われる。たとえば、時刻Ｔ２に係る画像（第１の元画像）と、時刻Ｔ３に係る画像（第２の元画像）との差分を取得する際には、時刻Ｔ３に係る画像に対して補正が行われ、輝度補正画像では輝度値がＢ１となるので、適切に物体の検知が可能となる。なお、図６の例において、図３の数式を用いると、次の等式が成り立つと考えられる。
　Ｂ１＝Ｂ２×（Ｅ１／Ｅ２）
　また、画像処理システム１００は、画像に幾何的変換を施す機能を備えてもよい。たとえば、画像に対して俯瞰変換を行ってもよい。たとえば、路面を俯瞰して撮像した画像において、路面が画像平面に平行となるよう変換を施してもよい。
　実施例１において、移動体はたとえば歩行者であってもよく、車両であってもよい。
　また、画像処理システム１００は、背景差分方式によらず物体を検知する機能をさらに備えてもよい。すなわち、画像処理システム１００は、元画像のいずれかに基づき、背景差分を取得することなしに物体を検知する、非背景差分方式の物体検知部を備えてもよい。この非背景差分方式の物体検知部は、背景差分方式の物体検知部とは異なる物体検知部であってもよい。そのような検知方式では、移動体に限らず物体の検知が可能であり、たとえば立体物を検知することもできる。
　このように、本発明の実施例１に係る画像処理システム１００およびカメラシステムによれば、カメラの露光条件が変化しても、背景差分方式で物体を適切に検知できる。このため、たとえば移動する物体についても適切に検知することが可能である。
［実施例２］
　実施例１では、センサ部１０における撮像部の数をとくに限定していない。実施例２では、センサ部が複数の撮像部を備える構成に限定したものである。
　図７は、本実施例に係るカメラシステムの構成の例を示すブロック図である。カメラシステムは、センサ部１１と、画像処理システム５００とを備える。センサ部１１は左撮像部１２および右撮像部１３を含み、たとえば公知のステレオカメラとして構成される。左撮像部１２および右撮像部１３は異なる位置に配置され、視差を生じるようになっている。画像処理システム５００のハードウェア構成は実施例１と同様である。
　図８を用いて、本実施例のステレオカメラに係るセンサ部１１の視野画角について説明する。左撮像部１２は左視野領域１４を撮像し、右撮像部１３は右視野領域１５を撮像する。左視野領域１４と右視野領域１５とは、一部重複しつつ互いに左右にずれた関係にある。このため、元画像は、ステレオ領域Ｒ１と、左単眼領域Ｒ２と、右単眼領域Ｒ３とを含むことになる。ステレオ領域とは、左撮像部１２に係る元画像と右撮像部１３に係る元画像とで画角が重複する領域である。単眼領域とは、左撮像部１２に係る元画像と右撮像部１３に係る元画像とで画角が重複しない領域である。なお、ステレオ領域Ｒ１、左単眼領域Ｒ２および右単眼領域Ｒ３は、互いに重複しない。
　画像処理システム５００は、ステレオ領域Ｒ１においてステレオマッチング方式の物体検知を行い、左単眼領域Ｒ２および右単眼領域Ｒ３において背景差分方式の物体検知を行う。背景差分方式の物体検知では、路面に射影変換した俯瞰画像を用いてもよい。俯瞰画像を用いた背景差分処理を俯瞰差分処理と呼ぶ。
　図９は実施例２に係る画像処理システム５００の構成の例を示すブロック図である。画像処理システムの演算手段は、記憶手段またはその他の場所に格納されるプログラムを実行することにより、元画像取得部５０１、露出量取得部５０２、露光条件調整部５０３、輝度補正部５０４、背景差分方式の物体検知部５０５、および視差方式の物体検知部５０６として機能する。視差方式の物体検知部５０６は、背景差分を取得することなしに物体を検知する、非背景差分方式の物体検知部の例である。視差方式の物体検知部５０６は、背景差分方式の物体検知部５０５とは異なる物体検知部として構成されてもよい。
　元画像取得部５０１は、センサ部１１から画像を取得する。実施例２では、左撮像部１２および右撮像部１３から、それぞれ異なる位置に係る複数の元画像を取得することができる。より厳密には、複数の異なる位置について、それぞれ第１の元画像および第２の元画像を取得することができる。たとえば、左撮像部１２からの、異なるシャッタまたは異なるシャッタ時刻に係る第１の元画像および第２の元画像が取得され、右撮像部１３からの、異なるシャッタまたは異なるシャッタ時刻に係る第１の元画像および第２の元画像が取得される。
　露出量取得部５０２、露光条件調整部５０３、および背景差分方式の物体検知部５０５の動作は、それぞれ実施例１の露出量取得部１０２、露光条件調整部１０３および物体検知部１０５と同様である。
　輝度補正部５０４は、実施例１と同様に左撮像部１２および右撮像部１３の撮像センサの画素毎の感度のバラつきを補正する。そして、輝度補正部５０４は、露光条件に応じて各画素の輝度値を変換する際の変換係数を生成する。変換係数は、たとえば実施例１と同様に図３の数式に従って算出される。
　なお、この際の変換は、それぞれ同じ位置に係る複数の元画像を対応させて行われる。すなわち、輝度補正部５０４は、左撮像部１２からの第１の元画像との輝度値の差分が小さくなるように、左撮像部１２からの第２の元画像の輝度値を補正し、右撮像部１３からの第１の元画像との輝度値の差分が小さくなるように、右撮像部１３からの第２の元画像の輝度値を補正する。
　次に、輝度補正部５０４は、実施例１において説明した輝度の補正処理に関連して、所定の変換を実行する。この変換は、たとえばビット演算として実行することができる。たとえば、輝度補正部５０４は、所定の初期ビット数で表される元画像の輝度値（たとえば全画素の輝度値）を、前記変換係数に応じて、初期ビット数と同じビット数の輝度値または初期ビット数より少ないビット数の輝度値に変換する。この変換は、たとえば変換係数に応じたビット数だけビットシフトさせる演算であってもよく、各ビットのうち変換係数に応じたビットのみ抽出して他のビットを切り捨てる演算であってもよく、これらを組み合わせた演算であってもよい。
　このようにビット数を低減させる変換により、物体の検知に用いられる輝度値のビット数が実質的に低減されるので、処理負荷が小さく高速な処理が可能となる。また、この変換をビットシフト演算として行うことにより、演算処理が簡素になり、より高速な処理が可能となる。
　また、この変換は、予め記憶手段に記憶される変換テーブルを用いて行うこともできる。変換テーブルは、輝度値の各入力値に対し、変換係数に応じて異なる出力値を関連付ける。
　輝度補正部５０４が、変換をビット演算として行う場合の一例を以下に説明する。
　図１０は、ビット演算の例を説明する図である。なお、この例では、ＭＳＢに上位桁のビットが配置されるエンディアンを想定しているが、そうでない場合（ＬＳＢに上位桁のビットが配置されるエンディアンを用いる場合等）には、当業者がビットの配置を適宜変更する（たとえば図１０においてＭＳＢ側とＬＳＢ側とを入れ替える）ことが可能である。輝度補正部５０４は、元画像取得部５０１から取得した元画像のそれぞれにおいて、輝度値に対して図１０に示すビット演算を行う。また、ある元画像について輝度値の補正を行う場合には、補正はビット演算によって実行される。
　図１０（Ａ）はビット演算前の輝度値のデータ形式の例である。この例では、ビット演算前の輝度値は１２ビットで表される。図１０（Ｂ）および図１０（Ｃ）はビット演算後の輝度値のデータ形式の例である。この例では、ビット演算後の輝度値は８ビットで表される。図１０（Ｂ）および図１０（Ｃ）は、いずれも、図１０（Ａ）のデータをＬＳＢ側にビットシフトした上で、特定のビットを切り捨ててビット数を低減したものとなっている。
　ビット演算は、たとえば元画像の露光条件または輝度値に基づいて行うことができる。図１０（Ｂ）は、元画像の輝度値が比較的低い場合の例であり、ビットシフトの量が比較的小さい（１ビット）。図１０（Ｃ）は元画像の輝度値が比較的高い場合の例であり、ビットシフトの量が比較的大きい（４ビット）。なお、元画像の輝度がさらに低い場合には、ビットシフトの量を０としてもよい（すなわち実質的にはビットシフト演算は行われない）。いずれの場合も、シフト後のビット０～ビット７に対応するビットのみが保持される。
　ビットシフトの量は、変換係数に応じて変化する。たとえば、第１の元画像の露光条件と第２の元画像の露光条件とが大きく異なる場合には、変換係数が大きくなる。その場合には、第１の元画像に対するビットシフトのビット数と、第２の元画像に対するビットシフトのビット数との差が大きくなるように、ビットシフトの量が変化する。逆に、第１の元画像の露光条件と第２の元画像の露光条件とが同一またはほとんど異ならない場合には、変換係数が０となるかまたは小さくなる。その場合には、第１の元画像に対するビットシフトのビット数と、第２の元画像に対するビットシフトのビット数とが等しくなるか、または差が小さくなるように、ビットシフトの量が変化する。なお、この例では、輝度補正部５０４は、第２の元画像の輝度値を補正する際に、第１の元画像に係る露光条件と、第２の元画像に係る露光条件とに応じ、第２の元画像の輝度値をビットシフトすると言うことができる。また、輝度補正部５０４が図３のような乗算を実行する場合には、この乗算に係る演算を、第１の元画像に係る露光条件と、第２の元画像に係る露光条件とに応じ、第２の元画像の輝度値をビットシフトすることを介して実行すると言うことができる。
　また、図１０の処理は、ビット数を低減する演算として解釈することも可能である。たとえば、図１０（Ｂ）ではビット０，９～１１が切り捨てられてビット数が低減されており、図１０（Ｃ）ではビット８～１１が切り捨てられてビット数が低減されている。このように、輝度補正部５０４は、第２の元画像の輝度値を補正する際に、第１の元画像に係る露光条件と、第２の元画像に係る露光条件とに応じ、第２の元画像の輝度値のビット数を低減すると言うこともできる。また、輝度補正部５０４が図３のような乗算を実行する場合には、この乗算に係る演算を、第１の元画像に係る露光条件と、第２の元画像に係る露光条件とに応じ、第２の元画像の輝度値のビット数を低減することを介して実行すると言うことができる。
　背景差分方式の物体検知部５０５は、輝度補正部５０４から出力された画像に基づき、背景差分を取得することにより物体を検知する。また、視差方式の物体検知部５０６は、元画像取得部５０１から出力された画像に基づき、視差を取得することにより物体を検知する。これらの検知部の処理の具体的内容は当業者が適宜設計可能であるが、例を以下に示す。
　図１１は、背景差分方式の物体検知部５０５について、より詳細な構成の例を示すブロック図である。背景差分方式の物体検知部５０５は、俯瞰変換部５１０と、俯瞰差分部５１１と、画素集合検知部５１２と、種別識別部５１３とを備える。
　俯瞰変換部５１０は、輝度補正部５０４から出力される画像を、レンズの歪みを補正しつつ、路面に射影された俯瞰画像に変換する。俯瞰差分部５１１は、前後のシャッタの俯瞰画像の差分を取得する。画素集合検知部５１２は、前記差分のある画素の集合を物体（たとえば立体物または移動体）として検知する。種別識別部５１３は、歩行者や車両といった物体の種別を識別する。
　図１２は、視差方式の物体検知部５０６について、より詳細な構成の例を示すブロック図である。視差方式の物体検知部５０６は、幾何補正部５２０と、ステレオマッチング部５２１と、画素集合検知部５２２と、種別識別部５２３とを備える。
　幾何補正部５２０は、センサ部１１における撮像の際の歪みを補正する。この補正では、左撮像部１２および右撮像部１３それぞれの歪み情報に基づき補正を行う。この歪み情報は、歪み補正後の画像座標系の各画素について、歪み補正前の画像座標の位置を示す、キャリブレーションテーブルとして、記憶手段に保持される。
　ステレオマッチング部５２１は、幾何補正部５２０で補正された左右両画像の比較を行い、対応する画素間の視差値を特定する。「対応する画素」とは、同一物体が写る画素である。視差値は、例えば左右で対応画素が３．２ピクセルだけずれているなら３．２となる。対応する画素は、例えば複数画素の領域をテンプレートとして輝度値の差の絶対値の合計ＳＡＤ（Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅ）の値が最も小さくなる位置を探す手法を用いる。
　画素集合検知部５２２は、ステレオマッチング部５２１が出力した各画素の視差値を元に、同一物体の画素の集合を特定して物体（たとえば立体物または移動体）を検知する。同一物体は同じ距離に存在しているので、視差値の近い複数の画素から１つの集合を構成し、この集合が物体を表すものとする。種別識別部５２３は、画素集合検知部５２２で検知された物体の種別を識別する。種別は例えば車両や歩行者である。
　このように、本発明の実施例２に係る画像処理システム５００およびカメラシステムによれば、実施例１と同様に、カメラの露光条件が変化しても、背景差分方式で物体を適切に検知できる。このため、たとえば移動する物体についても適切に検知することが可能である。
　また、実施例２では、背景差分方式によらない視差方式の物体検知部を備えており、とくに、視差方式の物体検知部５０６では、輝度補正部５０４による輝度の補正が行われない状態の画像を用いて物体の検知を行う。この場合には、露光条件調整部５０３は、各元画像のステレオ領域に基づいて露光条件を決定するように構成することができる。また、この場合には、輝度補正部５０４は、各元画像の単眼領域に基づいて輝度を補正するよう構成することができる。より具体的には、輝度補正部５０４は、左撮像部１２に係る第１の元画像および第２の元画像について、第１の元画像との、左単眼領域Ｒ２における輝度値の差分が小さくなるように第２の元画像の輝度値を補正することにより、左撮像部１２に係る輝度補正画像を取得し、右撮像部１３に係る第１の元画像および第２の元画像について、第１の元画像との、右単眼領域Ｒ３における輝度値の差分が小さくなるように第２の元画像の輝度値を補正することにより、右撮像部１３に係る輝度補正画像を取得する。
　このようにすると、露光調整は視差方式を優先して行われ、背景差分方式ではこの調整を相殺するために輝度値の補正を行うという、方式の違いによる画像の使い分けが可能となる。また、各方式にそれぞれ適した検知処理を実現することができる。
　なお、実施例１および２の変形例として、露光条件調整部は省略可能である。露光条件は、画像処理システムとは独立した他の機構等によって（たとえばセンサ部の機能の一部として）調整されてもよい。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
　１０　センサ部（カメラ）、１１　センサ部（ステレオカメラ）、１２　左撮像部（撮像部）、１３　右撮像部（撮像部）、１００，５００　画像処理システム、１０１，５０１　元画像取得部、１０２，５０２　露出量取得部、１０３，５０３　露光条件調整部、１０４，５０４　輝度補正部、１０５，５０５　背景差分方式の物体検知部、５０６　視差方式の物体検知部（非背景差分方式の物体検知部）、２０１，３０１　元画像、２０２，３０２　輝度補正画像、２０３，３０３　差分画像、４０１　露光時間、４０２　輝度値、Ｒ１　ステレオ領域、Ｒ２　左単眼領域、Ｒ３　右単眼領域。
　本明細書で引用した全ての刊行物、特許及び特許出願はそのまま引用により本明細書に組み入れられるものとする。

Claims (10)

  1. 　画像処理システムであって、
    　第１の元画像および第２の元画像を取得する、元画像取得部と、
    　各前記元画像に係る露光条件に応じ、前記第１の元画像との輝度値の差分が小さくなるように前記第２の元画像の輝度値を補正することにより、輝度補正画像を取得する、輝度補正部と、
    　前記輝度補正画像に基づき、背景差分を取得することにより物体を検知する、背景差分方式の物体検知部と、
    を備える、画像処理システム。
  2. 　請求項１に記載の画像処理システムであって、
    　前記輝度補正部は、各前記元画像に係る露光条件に応じ、前記第２の元画像の輝度値をビットシフトする、画像処理システム。
  3. 　請求項１に記載の画像処理システムであって、
    　前記輝度補正部は、各前記元画像に係る露光条件に応じ、前記第２の元画像の輝度値のビット数を低減する、画像処理システム。
  4. 　請求項１に記載の画像処理システムであって、
    　前記元画像取得部は、複数の異なる位置に係る第１の元画像および第２の元画像を取得し、
    　各前記元画像は、ステレオ領域および単眼領域を含み、前記ステレオ領域は、異なる位置に係る元画像間で画角が重複する領域であり、前記単眼領域は、異なる位置に係る元画像間で画角が重複しない領域であり、
    　前記画像処理システムは、各前記元画像の前記ステレオ領域に基づいて前記露光条件を決定する、露光条件調整部を備え、
    　前記輝度補正部は、前記第１の元画像との、前記単眼領域における前記輝度値の差分が小さくなるように前記第２の元画像の輝度値を補正することにより、前記輝度補正画像を取得する、
    画像処理システム。
  5. 　請求項１に記載の画像処理システムであって、
    　前記露光条件は、露光時間を表す情報を含み、
    　前記輝度補正部は、前記第２の元画像に係る露光時間に対する前記第１の元画像に係る露光時間の比を、前記第２の元画像の輝度値に乗算する、
    画像処理システム。
  6. 　請求項５に記載の画像処理システムであって、
    　前記輝度補正部は、前記乗算に係る演算を、各前記元画像に係る露光条件に応じ、前記第２の元画像の輝度値をビットシフトすることを介して実行する、画像処理システム。
  7. 　請求項５に記載の画像処理システムであって、
    　前記輝度補正部は、前記乗算に係る演算を、各前記元画像に係る露光条件に応じ、前記第２の元画像の輝度値のビット数を低減することを介して実行する、画像処理システム。
  8. 　請求項１に記載の画像処理システムであって、
    　前記画像処理システムは、さらに、前記元画像のいずれかに基づき、背景差分を取得することなしに物体を検知する、非背景差分方式の物体検知部を備え、
    　前記非背景差分方式の物体検知部は、前記背景差分方式の物体検知部とは異なる物体検知部である、
    画像処理システム。
  9. 　請求項１に記載の画像処理システムと、カメラとを備え、
    　前記元画像はカメラのシャッタ画像である、
    カメラシステム。
  10. 　請求項１に記載の画像処理システムと、ステレオカメラとを備え、
    　前記元画像取得部は、前記ステレオカメラにおける複数の撮像部それぞれにおいて撮像された、異なる時刻に係る複数の元画像を取得し、
    　前記元画像は前記撮像部のシャッタ画像である、
    カメラシステム。
PCT/JP2019/047136 2019-01-23 2019-12-03 画像処理システムおよびカメラシステム WO2020152997A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP19912034.6A EP3916675A4 (en) 2019-01-23 2019-12-03 IMAGE PROCESSING SYSTEM AND CAMERA SYSTEM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-009090 2019-01-23
JP2019009090A JP7193359B2 (ja) 2019-01-23 2019-01-23 画像処理システムおよびカメラシステム

Publications (1)

Publication Number Publication Date
WO2020152997A1 true WO2020152997A1 (ja) 2020-07-30

Family

ID=71735495

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/047136 WO2020152997A1 (ja) 2019-01-23 2019-12-03 画像処理システムおよびカメラシステム

Country Status (3)

Country Link
EP (1) EP3916675A4 (ja)
JP (1) JP7193359B2 (ja)
WO (1) WO2020152997A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004274325A (ja) * 2003-03-07 2004-09-30 Fuji Heavy Ind Ltd 撮像による物体抽出方法
JP2013117514A (ja) * 2011-11-02 2013-06-13 Ricoh Co Ltd 付着物検出装置および車載機器制御装置
JP2019009090A (ja) 2017-06-28 2019-01-17 矢崎総業株式会社 吸熱体付き導体及び電池パック

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004274325A (ja) * 2003-03-07 2004-09-30 Fuji Heavy Ind Ltd 撮像による物体抽出方法
JP2013117514A (ja) * 2011-11-02 2013-06-13 Ricoh Co Ltd 付着物検出装置および車載機器制御装置
JP2019009090A (ja) 2017-06-28 2019-01-17 矢崎総業株式会社 吸熱体付き導体及び電池パック

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3916675A4

Also Published As

Publication number Publication date
JP2020119176A (ja) 2020-08-06
EP3916675A4 (en) 2022-10-26
JP7193359B2 (ja) 2022-12-20
EP3916675A1 (en) 2021-12-01

Similar Documents

Publication Publication Date Title
US9092875B2 (en) Motion estimation apparatus, depth estimation apparatus, and motion estimation method
US8509482B2 (en) Subject tracking apparatus, subject region extraction apparatus, and control methods therefor
US8682068B2 (en) Image processing apparatus, image processing method, and program
US8983140B2 (en) Image processing unit, image processing method, and image processing program to correct blurs and noise in an image
US8743268B2 (en) Image capturing apparatus, control method therefor, and program for correcting shift based on shift amount in image plane
KR102452564B1 (ko) 광학식 이미지 안정화 움직임을 추정하기 위한 장치 및 방법
US9589339B2 (en) Image processing apparatus and control method therefor
JP2007081806A (ja) 撮像システム
JP4410168B2 (ja) 画像処理装置
US20110235866A1 (en) Motion detection apparatus and method
JP5395650B2 (ja) 被写体領域抽出装置およびその制御方法、被写体追跡装置、並びにプログラム
US10652467B2 (en) Shake correction device, shake correction method, shake correction program, lens device, and imaging device
JP2019061303A (ja) 車両の周辺監視装置と周辺監視方法
US10129449B2 (en) Flash band, determination device for detecting flash band, method of controlling the same, storage medium, and image pickup apparatus
JP4668863B2 (ja) 撮像装置
JP4523629B2 (ja) 撮像装置
WO2020152997A1 (ja) 画像処理システムおよびカメラシステム
CN110930440A (zh) 图像对齐方法、装置、存储介质及电子设备
JP2018160024A (ja) 画像処理装置、画像処理方法及びプログラム
JP4329677B2 (ja) 動き検出装置
US20220270264A1 (en) Image processing device, control method thereof, imaging device, and recording medium
EP3930308A1 (en) Image processing device, imaging system, moving body, image processing method and program
JP2008028634A (ja) 撮像装置
JP2017123069A (ja) 画像処理装置および方法、および撮像装置
JP4086025B2 (ja) 動き検出装置及び方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19912034

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019912034

Country of ref document: EP

Effective date: 20210823