WO2021124657A1 - カメラシステム - Google Patents

カメラシステム Download PDF

Info

Publication number
WO2021124657A1
WO2021124657A1 PCT/JP2020/038395 JP2020038395W WO2021124657A1 WO 2021124657 A1 WO2021124657 A1 WO 2021124657A1 JP 2020038395 W JP2020038395 W JP 2020038395W WO 2021124657 A1 WO2021124657 A1 WO 2021124657A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
image
unit
road surface
camera system
Prior art date
Application number
PCT/JP2020/038395
Other languages
English (en)
French (fr)
Inventor
小林　正幸
フェリペ ゴメズカバレロ
遠藤　健
琢馬 大里
一貴 湯浅
Original Assignee
日立Astemo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立Astemo株式会社 filed Critical 日立Astemo株式会社
Priority to CN202080082086.0A priority Critical patent/CN114762019A/zh
Publication of WO2021124657A1 publication Critical patent/WO2021124657A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a camera system.
  • Patent Documents 1 and 2 Various techniques for detecting moving objects in an image based on an image captured by a camera are known. Examples of such techniques are described in Patent Documents 1 and 2.
  • the background subtraction method and the background subtraction method are used to pay attention to the distance in the image as a factor for properly using the background subtraction method and the background subtraction method in order to detect a short-distance object captured in the image.
  • the saliency calculation method is used to detect a long-distance object that has little change in pixel value and is difficult to detect by the background subtraction method. It should be noted that the object cannot be imaged in the image (walking). Areas above the vanishing point of the image (where no one can appear) are excluded in advance from the area for object detection. "
  • Patent Document 2 "By referring to the distance information (distance map) estimated from the parallax image and setting the template image and the search image to the optimum size, the probability of determining the correct subject area is improved. The determined information of one subject area becomes the output of the subject tracking unit 161. "
  • the saliency calculation method is used by focusing on a distant region or a region below the vanishing point, but considering that the optical axis of the camera moves up and down due to the vertical movement of the vehicle, the region The processing load is high due to insufficient narrowing down.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide an image processing system and a camera system that can appropriately detect an object even if the optical axis of the camera changes up and down. ..
  • An example of the camera system according to the present invention is About the distance acquisition area
  • the distance acquisition unit that acquires the distance
  • a camera that acquires an image for an image acquisition area that at least partially overlaps the distance acquisition area.
  • a template matching detection unit that detects an object by performing template matching processing on the image using a template.
  • a road surface estimation unit that estimates the position of the road surface based on the distance calculated by the distance acquisition unit, and a road surface estimation unit. It is provided with a search line calculation unit that calculates a search line in the image based on the position of the road surface.
  • the search line is a line along a position where the distance becomes a predetermined value on the road surface in the image.
  • the template matching process is performed along the search line. It is characterized by that.
  • This specification includes the disclosure of Japanese Patent Application No. 2019-227407, which is the basis of the priority of the present application.
  • the image processing system and the camera system according to the present invention it is possible to detect a specific object with a low processing load even in an in-vehicle system in which the direction of the camera changes up and down.
  • FIG. 1 The block diagram which shows the example of the structure of the camera system which concerns on Example 1 of this invention.
  • FIG. The figure which shows the specific example of the image taken by the stereo camera of FIG. The figure which shows the example of the search processing by the monocular distance detection part of FIG.
  • FIG. Block diagram showing an example of the configuration of the camera system according to the second embodiment The figure which shows the example of the angle of view of the image pickup part which concerns on Example 2.
  • FIG. Block diagram showing an example of the configuration of the camera system according to the third embodiment The figure which shows the example of the angle of view of the distance measuring sensor part and the image pickup part which concerns on Example 3.
  • FIG. 3 The figure which shows the example of the angle of view of the distance measuring sensor part and the image pickup part which concerns on Example 3.
  • FIG. 3 The figure which shows the example of the angle of view of the distance
  • the image processing system detects a target object in an image (for example, a shutter image captured by a camera), and detects, for example, a moving object, a three-dimensional object, or a specific object. can do.
  • This "moving body” refers to a moving object with respect to the background.
  • the "background” is not limited to the area consisting of pixels that do not change in the image.
  • the road surface is an example of the background
  • a pedestrian or a vehicle that moves with respect to the road surface is an example of a moving body.
  • a moving person or animal, a moving object, or the like in the camera image is an example of a moving body.
  • Three-dimensional object means, for example, an object having a height with respect to the road surface, and refers to a vehicle, a pedestrian, a motorcycle, a utility pole, or the like.
  • the "specific object” means, for example, a specific object that is intentionally desired to be detected, for example, a vehicle, a pedestrian, a two-wheeled vehicle, or the like. The specific object can be detected based on whether or not a template, a pattern, a machine learning dictionary, or the like is prepared in advance and the degree of similarity with the template, the pattern, or the machine learning dictionary is high.
  • FIG. 1 is a block diagram showing an example of the configuration of the camera system according to this embodiment.
  • the camera system includes a plurality of imaging units 101, a stereo matching unit 102, a road surface estimation unit 103, a size calculation unit 104, a search line calculation unit 105, a template search method determination unit 106, and a monocular distance detection unit 107.
  • a monocular bird's-eye view difference detection unit 108 is provided.
  • the imaging unit 101 includes an imaging sensor and is configured as, for example, a known camera.
  • a lens is attached to the image sensor to image the outside world of the device.
  • the image pickup sensor is, for example, an image pickup sensor provided with CMOS (Complementary Metal Oxide Sensor), which converts light into an electric signal.
  • CMOS Complementary Metal Oxide Sensor
  • the information converted into an electric signal by the image sensor of the image pickup unit 101 is further converted into image data representing an image in the image pickup unit 101.
  • the image data includes the brightness value of the pixel.
  • the luminance value can be expressed as, for example, a digital value, and is expressed as a luminance value for each color or a monochrome luminance value.
  • RGB Red Green Blue
  • RC Red Clear
  • the imaging unit 101 transmits the image data to the stereo matching unit 102, the monocular distance detection unit 107, and the monocular bird's-eye view difference detection unit 108.
  • the imaging unit 101 has a function of changing the exposure conditions of the imaging sensor.
  • the image sensor is equipped with an electronic shutter such as a global shutter or a rolling shutter, and the exposure time can be set to an arbitrary time for shooting.
  • the exposure time is the time from resetting the accumulated electric charge of the photodiode to taking out the electric charge to read out the information related to the brightness value. Point to.
  • the exposure time is lengthened, a large amount of electric charge is accumulated, so the read luminance value becomes high.
  • the exposure time is shortened, the stored charge is reduced, so that the read-out brightness is lowered. Therefore, the brightness of the image obtained from the image sensor changes in correlation with the exposure time.
  • the imaging unit 101 converts the amount of electric charge taken out from the photodiode into a voltage, performs A / D (Analog Digital) conversion, and acquires a digital value.
  • the imaging unit 101 includes an amplifier used for A / D conversion, and may be configured so that the gain of the amplifier can be changed as part of the exposure conditions. In that case, the read luminance value changes according to the gain setting of the amplifier. The higher the gain, the higher the luminance value, and the lower the gain, the lower the luminance value.
  • the luminance value of a dark object becomes 0 or the luminance value of an object having a low contrast ratio becomes 0. It may become uniform, and it may not be possible to distinguish the contour and shading. This problem is remarkable when the brightness value is expressed as a digital value, but the same problem may occur when the brightness value is expressed as an analog value.
  • the brightness value of the bright object becomes the maximum value, and the outline of the object and the shading of the object may not be discriminated. Therefore, it is preferable to set the exposure conditions according to the brightness of the object to be photographed.
  • the imaging unit 101 can shoot a moving image by repeatedly releasing the electronic shutter in time series and acquiring image data for each shutter.
  • the number of times the electronic shutter is released per unit time and image data is output is called the frame rate, and the frame rate per second is expressed in the unit of FPS (Frame Per Second).
  • the stereo matching unit 102 receives data including image data from a plurality of imaging units 101 and processes the data to calculate the parallax between the image data.
  • the parallax is the parallax of the image data from the image pickup unit 101 other than the reference image pickup unit 101 with respect to the image data from the reference image pickup unit 101.
  • the parallax refers to a difference in the image coordinates of the same object caused by a difference in the positions of a plurality of imaging units.
  • the parallax is large for short distances and small for long distances, and the distance can be calculated from the parallax.
  • FIG. 2 shows a specific example of the viewing angle of view of the image processing system of FIG. This is an example in which the two imaging units 101 are attached to the front of the car.
  • the camera system of this embodiment is attached to the vehicle 201.
  • the camera system includes a stereo camera 202 including two imaging units 101.
  • the imaging unit 101 that captures the right field of view is shown as the imaging unit 203 in FIG.
  • the imaging unit 101 that captures the left field of view is shown as the imaging unit 204 in FIG.
  • the imaging units 203 and 204 have overlapping visual fields in the front central visual field of the vehicle 201.
  • the imaging unit 203 has a field of view 205.
  • the imaging unit 204 has a field of view 206.
  • the image pickup unit 203 has a right field of view on the right side of the vehicle 201, which is outside the field of view 206 of the image pickup unit 204.
  • the imaging unit 204 has a left field of view on the left side of the vehicle 201, which is outside the field of view 205 of the imaging unit 204.
  • FIG. 3 shows a specific example of an image captured by the stereo camera 202 of FIG.
  • FIG. 3A shows an image 301 acquired by the imaging unit 203
  • FIG. 3B shows an image 302 acquired by the imaging unit 204
  • FIG. 3C shows a composite image 303 of these two images. Is shown.
  • Image 301 is an image of the image pickup unit 203 facing to the right, and the vicinity of the center in front and the right side are imaged.
  • the image 302 is an image of the image pickup unit 204 facing to the left, and the vicinity of the center in front and the left side are imaged.
  • the composite image 303 is a composite image of the left and right imaging units, which is a composite of images captured by the imaging unit 203 and the imaging unit 204, respectively.
  • the composite image 303 includes a region 304, a region 305, and a region 306.
  • the region 304 is a portion of the image 302 that corresponds to a visual field region that is not shown in the image 301, and is a left monocular visual field.
  • the region 305 is a portion of the image 301 that corresponds to a visual field region that is not shown in the image 302, and is a right monocular visual field.
  • Areas 304 and 305 are monocular areas captured by one camera.
  • the area 306 is a portion reflected in both the images 301 and 302, and is a stereo visual field (distance acquisition area).
  • the imaging units 203 and 204 acquire images in a region (image acquisition region) that at least partially overlaps the stereo visual field (distance acquisition region).
  • the stereo matching unit 102 may correct the distortion of the image data. For example, using a central projection model or a perspective projection model, distortion of image data is corrected so that objects having the same height and the same depth distance are arranged horizontally in the image.
  • the image data (reference image data) of one imaging unit 101 is used as a reference. The parallax is obtained by comparing this with the image data (comparative image data) of the other imaging unit 101.
  • the stereo matching unit 102 functions as a distance acquisition unit, and acquires the distance of an object (for example, a road surface) appearing in the visual field of view in the stereo visual field.
  • the stereo matching unit 102 includes a plurality of cameras (imaging units 203 and 204), and calculates the distance by performing stereo matching. With such a configuration, an expensive distance measuring means becomes unnecessary, and the cost can be reduced.
  • distance refers to the distance between the road surface and a reference point specified for the camera system.
  • the starting point of the distance may be the midpoint between the imaging unit 203 and the imaging unit 204, may be a specific part of the vehicle 201 (for example, the center of the front end of the vehicle), or the like. It may be the position of the device (distance measuring device, etc.). Further, the distance can be measured by a known method based on, for example, the calculated parallax.
  • specific objects are detected in the areas 304 and 305.
  • specific objects are detected in the areas 304, 305 and 306.
  • the central projection model and the perspective projection model were used, but the projection model is not limited to this.
  • the projection model is not limited to this.
  • the angle of view is wide, in order to suppress the size of the image data, for example, it may be projected onto a cylinder or a spherical surface.
  • the matching process is performed, for example, along a search line in which objects of the same distance are lined up on the projection surface.
  • the vertical coordinates of the disappearance point of the reference image data and the comparison image data are combined, and for each coordinate of the reference image data, which horizontal coordinate of the same vertical coordinate of the comparison image data is set. Whether or not the same object is projected is inspected by a method such as SSD (Sum of Coordinated Difference) or SAD (Sum of Absolute Difference).
  • SSD and SAD are used in the above, other methods may be used.
  • matching processing of the same object is performed by combining methods such as FAST (Faires from Accelerated Segment Test) and BRIEF (Binary Robot Independent Elementary Features), which extract corner feature points and inspect whether they are the same feature points. Good.
  • the road surface estimation unit 103 estimates the position of the road surface based on the distance calculated by the stereo matching unit 102. In the estimation of the position of the road surface, for example, based on the parallax data received from the stereo matching unit 102, it is estimated that the portion, point or region having a specific parallax corresponding to the road surface is the road surface.
  • the road surface estimation unit 103 may have information such as the height of the image pickup unit 101 from the road surface and the mounting angle of the image pickup unit 101 in advance, and obtains the relationship between the coordinates and the distance on the image data in which the road surface is captured. It may be specified that the point that produces the parallax that fits the relationship is the point that represents the road surface.
  • the road surface estimation unit 103 of this embodiment uses parallax, a configuration that does not use parallax is also possible.
  • the distance measurement result may be used.
  • the result of distance measurement by LiDAR (Light Detection and Ringing) or millimeter wave radar may be mapped to the coordinates of the camera image.
  • the process of estimating the road surface may be performed after the geometric transformation or before the geometric transformation. If the road surface is specified at a timing that can be used in the search line determination process by the search line calculation unit 105 and the geometric transformation is performed, the search can be performed by template matching processing or the like.
  • the size calculation unit 104 calculates the size of the frame (used by the monocular distance detection unit 107) for cutting out an image when executing a template matching process or the like.
  • the size calculation unit 104 calculates the size according to the depth distance on the search line having the same depth distance. That is, the size calculation unit 104 functions as a template size determination unit.
  • the search line calculation unit 105 calculates the search line used by the monocular distance detection unit 107 in the template matching process based on the points representing the road surfaces having the same depth distance.
  • the search line is a line extending along a position having the same depth distance in the image or its area. In this embodiment, it is a line along a position where the distance from the camera system is a predetermined value (including a value within a range in consideration of a predetermined tolerance) on the road surface in the image.
  • the template search method determination unit 106 determines the search method for the template matching process (executed by the monocular distance detection unit 107) based on the position of the road surface and the size of the frame determined by the size calculation unit 104.
  • the monocular distance detection unit 107 is a template matching detection unit that detects an object (for example, a specific object) by performing template matching processing on the images acquired by the imaging units 203 and 204 using a template.
  • the monocular distance detection unit 107 searches for an object that matches the characteristics of a specific object to be detected by template matching processing.
  • the template matching process may include a pattern matching process or may include a matching process using a machine learning dictionary.
  • a machine learning dictionary can be generated by learning various variations of the specific object in AdaBoost using, for example, Haar Like features.
  • the monocular distance detection unit 107 uses a frame of a size determined by the template search method determination unit 106 to cut out a target area for template matching processing from the image data. In this way, the monocular distance detection unit 107 detects the specific object. For example, it is determined whether or not the image of the target area is similar to the image of the specific object, thereby determining whether or not the specific object is reflected in the target area.
  • a specific area on the image is cut out, and based on the image of the cut out area and a model (or model image) represented by a template, a pattern, or a machine learning dictionary, these are used.
  • Check for similarity In this cropping, it is preferable to align the model to an appropriate size and angle (for example, a size and angle close to the actual image) according to the size and angle of a specific image, for example, by normalization processing or the like. ..
  • an appropriate size and angle for example, a size and angle close to the actual image
  • the process of aligning the angles can be omitted.
  • the positions where the distances from the camera system are the same are arranged horizontally on the road surface. Since vehicles, pedestrians, motorcycles, etc. stand in contact with the road surface, it is considered that their lower ends are aligned horizontally (that is, the Y coordinates match) if they are equidistant from the camera system. Further, in this case, the distance from the camera system to these specific objects is considered to be equal to the distance to the road surface located at the lower end thereof (here, the distance due to the difference in the vertical position on the vertical line). We believe that the difference is negligible, but if it is not, it can be converted or corrected as appropriate).
  • the search line becomes a horizontal straight line.
  • the positions at the same distance are lined up diagonally instead of horizontally or curved. It may be lined up.
  • a line (search line) connecting positions that are the same distance on the road surface is defined as a line represented by a model function having one or more parameters, and the parameters are set by the least squares method or the like. You may specify and specifically determine the search line based on a mathematical formula, a table, or the like.
  • the monocular distance detection unit 107 searches for a specific object by template matching or the like along the determined search line. For example, a frame is set with the search line as the lower end, a region within the frame is cut out, and it is confirmed whether or not the specific object is reflected.
  • FIG. 4 shows an example of search processing by the monocular distance detection unit 107.
  • the composite image 400 is a composite of the images of the left and right imaging units 101, and corresponds to the composite image 303 of FIG.
  • the road surface portion 401 appears in the composite image 400.
  • the same distance point 402 represents a point where the parallax is equal to each other, that is, a point where the distance is equal.
  • the search line calculation unit 105 identifies the search line 403 in the image based on the same distance point 402.
  • the calculation of the search line 403 can be performed based on, for example, the position (or distance) of the road surface.
  • the search line 403 is, for example, a line along a position on the road surface in the image where the distance is a predetermined value (including a value within a range in consideration of a predetermined tolerance).
  • the frame 404 is a frame of an image area to be cut out in order to compare with a specific object by the template matching process of the monocular distance detection unit 107.
  • the specific object 405 appears at a position consistent with the search line 403.
  • a search line 403 is created on the road surface, a frame 404 of a specific size is placed on the search line 403, and the frame 404 is moved left and right with the lower end of the frame 404 matching the search line 403.
  • the template matching process by the monocular distance detection unit 107 is performed along the search line 403.
  • the monocular distance detection unit 107 performs template matching processing on images cut out from the frame 404 at different positions while moving the frame 404 left and right, and determines whether or not the images are similar to a specific object.
  • the template matching process is performed in the monocular region (for example, regions 304 and 305 in FIG. 3) and not in the stereo visual field (for example, region 306 in FIG. 3).
  • the number of template matching processes can be reduced and the processing load can be reduced.
  • template matching processing may be performed on the entire or part of the stereo visual field.
  • the cropped image is similar to a specific object at any position, it is detected that the specific object appears at that position.
  • the detected distance to the specific object is determined to be equal to the distance to the search line 403.
  • the search line 403 is set according to the road surface, so that the moving range of the frame is left and right. It is limited to the direction (or the one-dimensional range along the search line 403), and the processing load is low. In this way, even in an in-vehicle system in which the direction of the camera changes up and down, a specific object can be detected with a low processing load.
  • a plurality of search lines 403 may be generated.
  • individual search lines 403 may be generated for different distances, and the monocular distance detection unit 107 may perform template matching processing for each search line 403. In this way, it is possible to search for a specific object by template matching processing at various distances.
  • a plurality of search lines are created within the distance range and the search is performed. By doing so, it is possible to suppress unnecessary searches outside the distance range and shorten the processing time.
  • each search line 403 may be set at a constant pixel interval on the image, or may be set at a constant distance interval on the road surface.
  • the interval between the search lines 403 can be determined according to the robustness of the template matching process. For example, if the template matching process is robust and a specific object can be detected even if the distance of the search line 403 and the distance to the specific object are significantly different, then between adjacent search lines 403. The interval can be designed to be large. By doing so, the number of search lines 403 can be reduced and the processing time can be shortened.
  • the spacing between positions where template matching processing is performed (for example, the spacing in the left-right direction) on one search line 403 can be designed in the same manner. For example, if the template matching process is robust and the specific object can be detected even if the frame 404 and the specific object are largely separated from each other, the interval of the template matching process can be designed to be large. By doing so, the number of times of template matching processing can be reduced and the processing time can be shortened.
  • FIG. 5 shows a method for obtaining the dimensions of the frame 404.
  • FIG. 5 shows a conceptual position of a specific object 501, a lens 502 of an imaging unit 101, an image sensor 503 (imaging element) of an imaging unit 101, and a road surface 504 as viewed from a horizontal direction orthogonal to the optical axis. Show the relationship.
  • f be the focal length 505 of the imaging unit 101.
  • Z be a depth distance 506 (distance) between the specific object 501 and the imaging unit 101 (more precisely, the lens 502).
  • the height 507 in the image is a value to be obtained.
  • h be the height 508 of the specific object 501.
  • Formula 509 shows the relationship between these parameters. From Equation 509, the height of the frame 404 in the image can be obtained. In the above, the height is shown, but the width can be obtained as well. In that case, the height h is replaced with the width, and the height 507 in the image is replaced with the width in the image.
  • the monocular bird's-eye view difference detection unit 108 receives data including image data from the image pickup unit 101, and detects an object in the image by processing the data. Object detection is performed by the bird's-eye view difference method, which makes it possible to detect an object (for example, a moving object).
  • the bird's-eye view difference method is a method of comparing bird's-eye view images at different times for a part of an image (first area).
  • the background subtraction of the bird's-eye view image may be acquired, or the time difference of the bird's-eye view image may be acquired.
  • the monocular distance detection unit 107 may perform template matching processing on a part of the image (second region).
  • This second region may be a region different from the first region, and in particular, a region that does not overlap with the first region may be used.
  • the template matching process by the monocular distance detection unit 107 can be partially omitted, and the processing load is reduced.
  • the monocular bird's-eye view difference detection unit 108 may be omitted.
  • Example 2 of the present invention will be described.
  • Example 2 is basically the same as Example 1, but differs in the following points.
  • imaging units are installed on all four sides of the vehicle so that the entire surroundings can be detected. Therefore, the horizontal angle of view of the imaging unit is wide.
  • FIG. 6 is a block diagram showing an example of the configuration of the camera system according to the second embodiment.
  • the camera system according to the second embodiment includes an imaging unit 601 capable of capturing a horizontal angle of view exceeding 180 degrees. Further, the camera system includes a stereo matching unit 602, and the stereo matching unit 602 receives images from a plurality of imaging units 601 and performs stereo matching processing in an area where the plurality of imaging units overlap. As a result, the distance of the road surface is estimated, and template matching processing becomes possible.
  • FIG. 7 is a diagram showing an example of the angle of view of the imaging unit 601 when the camera system of the second embodiment is attached to the vehicle.
  • the first imaging unit 601 has a horizontal angle of view 701.
  • the second imaging unit 601 has a horizontal angle of view 702.
  • the third imaging unit 601 has a horizontal angle of view 703.
  • the fourth imaging unit 601 has a horizontal angle of view 704.
  • the leftmost region of the horizontal angle of view 701 overlaps the frontmost region of the horizontal angle of view 702.
  • the rightmost region of the horizontal angle of view 701 overlaps the frontmost region of the horizontal angle of view 703.
  • the leftmost region of the horizontal angle of view 704 overlaps the rearmost region of the horizontal angle of view 702.
  • the rightmost region of the horizontal angle of view 704 overlaps the rearmost region of the horizontal angle of view 703.
  • the camera system of the second embodiment performs stereo matching processing, performs road surface estimation in the region where stereo matching is performed, and connects points having parallax corresponding to the same distance based on the result. Create a search line and perform template matching processing.
  • Example 3 of the present invention will be described.
  • Example 3 is basically the same as Example 1, but differs in the following points.
  • the distance measuring sensor unit is provided, the road surface is estimated based on the distance information of the distance measuring sensor unit, the search line is determined, and the template matching process is performed.
  • FIG. 8 is a block diagram showing an example of the configuration of the camera system according to the third embodiment.
  • the camera system includes a distance measuring sensor unit 801, and the distance measuring sensor unit 801 can acquire three-dimensional distance information of the surroundings.
  • the distance measuring sensor unit 801 is, for example, LiDar (Laser Imaging Detection and Ringing). In this embodiment, the distance measuring sensor unit 801 measures the distance.
  • the camera system includes a data integration unit 802, and the data integration unit 802 receives three-dimensional distance information from the distance measuring sensor unit 801 and receives a camera image from the imaging unit 101, and coordinates are converted with respect to the camera image. The distance information is superimposed. In this superposition process, the three-dimensional distance information is converted into camera image coordinates with the three-dimensional position of the imaging unit 101 as the viewpoint and superposed. As a result, the distance of the road surface is estimated, and template matching processing becomes possible.
  • FIG. 9 shows an example of the angles of view of the distance measuring sensor unit 801 and the imaging unit 101 when the camera system of the third embodiment is attached to the vehicle.
  • the distance measuring sensor unit 801 has an angle of view 901 (distance acquisition region).
  • the distance measuring sensor unit 801 is attached to, for example, the front bumper of the vehicle.
  • the imaging unit 101 has an angle of view 902.
  • the image pickup unit 101 is attached to, for example, the windshield of a vehicle.
  • the template matching process is performed outside the angle of view 901 of the distance measuring sensor unit 801. That is, the template matching process is performed only on the portion of the angle of view 902 of the imaging unit 101 that does not overlap with the angle of view 901 of the distance measuring sensor unit 801. In this way, the range in which the template matching process is performed is limited, and the processing load is reduced.
  • the camera system may use the distance measuring sensor unit 801 having a viewing angle as shown in FIG.
  • the imaging unit 101 has an angle of view of 1001.
  • the distance measuring sensor unit 801 has an angle of view of 1002 (distance acquisition region).
  • the angle of view 1002 of the distance measuring sensor unit 801 extends to 360 degrees in the entire circumference. Therefore, all the detection of the object can be performed only by the distance measuring sensor unit 801. However, distance information alone may not be sufficient to identify the type of object.
  • the distance measuring sensor unit 801 performs the template matching process within the angle of view 1002 in order to identify the type of the object (for example, whether or not the object is a specific object). For example, based on the road surface estimation result of the omnidirectional angle of view using the angle of view 1002 of the distance measuring sensor unit 801, a search line is determined within the angle of view 1001 of the imaging unit 101, and template matching processing is performed along the search line. .. By doing so, it is possible to efficiently identify the type of the object.
  • the present invention is not limited to the above-described examples and modifications, and includes various modifications other than these.
  • the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and the present invention is not necessarily limited to those having all the described configurations.
  • each of the above configurations, functions, processing units, processing means, etc. may be realized by hardware by designing a part or all of them by, for example, an integrated circuit. Further, each of the above configurations, functions, and the like may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as programs, tables, and files that realize each function can be placed in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card or an SD card.
  • SSD Solid State Drive
  • control lines and information lines indicate those that are considered necessary for explanation, and not all control lines and information lines are necessarily indicated on the product. In practice, it can be considered that almost all configurations are interconnected.

Abstract

カメラの光軸が上下に変化しても、物体を適切に検知できる画像処理システムおよびカメラシステムを提供する。カメラシステムは、距離取得領域について距離を取得する距離取得部と、距離取得領域と少なくとも一部が重複する画像取得領域について画像を取得するカメラと、画像について、テンプレートを用いてテンプレートマッチング処理を行うことにより対象物を検知する、テンプレートマッチング検知部と、距離取得部で算出された距離に基づき、路面の位置を推定する路面推定部と、路面の位置に基づき、画像における探索線を算出する、探索線算出部とを備える。探索線は、画像中の路面において距離が所定の値となる位置に沿った線であり、テンプレートマッチング処理は、探索線に沿って行われる。

Description

カメラシステム
　本発明はカメラシステムに関する。
　カメラによって撮像された画像等に基づき、画像中で移動する物体を検知するための様々な技術が公知である。このような技術の例は、特許文献１および２に記載される。特許文献１に記載された技術では、「背景差分法と顕著性算出法を使い分ける要因として画像内の距離に注目し、画像内に撮像された近距離の物体を検出するためには背景差分法を用い、また、画素値の変化が少なく背景差分法では検出されにくい遠距離の物体を検出するためには顕著性算出法を用いている。なお、画像内に物体が撮像され得ない（歩行者が出現し得ない）画像の消失点より上の領域については、物体検出を行う領域からあらかじめ除外する。」と記載されている。
　また、特許文献２には、「視差画像より推定される距離情報（距離マップ）を参照し、テンプレート画像および探索画像を最適なサイズに設定することで、正しい被写体領域を決定する確率を向上している。決定された１つの被写体領域の情報が被写体追跡部１６１の出力となる。」ことが記載されている。
特開２００７－６４８９４号公報 特開２０１９－７９４４０号公報
C. Yang, H. Hongo, and S. Tanimoto, "A New Approach for In-Vehicle Camera Obstacle Detection by Ground Movement Compensation", 2008 11th International IEEE Conference on Intelligent Transportation Systems, 2008.
　車載のカメラシステムの場合、従来の技術では、視差が出ない領域で、且遠方の領域の物体検知をするために、テンプレートマッチング処理や顕著性算出法を用いて検知しようとすると、テンプレートや顕著性を抽出すべき大きさを特定することができず、処理負荷が大きいという課題があった。
　たとえば、特許文献１の技術では、遠方の領域や消失点より下の領域に絞って顕著性算出法を用いるとしているが、車両の上下動によりカメラの光軸が上下に動くことを考慮すると領域の絞り込みが不十分で処理負荷が高くなる。
　また、特許文献２の技術では、視差の出ていない領域のテンプレートサイズを決定する方法がなく、全領域で視差を出せないと検知が難しい。
　本発明は、上記のような課題に鑑みてなされたものであり、カメラの光軸が上下に変化しても、物体を適切に検知できる画像処理システムおよびカメラシステムを提供することを目的とする。
　本発明に係るカメラシステムの一例は、
　距離取得領域について距離を取得する距離取得部と、
　前記距離取得領域と少なくとも一部が重複する画像取得領域について画像を取得するカメラと、
　前記画像について、テンプレートを用いてテンプレートマッチング処理を行うことにより対象物を検知する、テンプレートマッチング検知部と、
　前記距離取得部で算出された距離に基づき、路面の位置を推定する路面推定部と、
　前記路面の位置に基づき、前記画像における探索線を算出する、探索線算出部と
を備え、
　前記探索線は、前記画像中の路面において距離が所定の値となる位置に沿った線であり、
　前記テンプレートマッチング処理は、前記探索線に沿って行われる、
ことを特徴とする。
　本明細書は本願の優先権の基礎となる日本国特許出願番号2019-227407号の開示内容を包含する。
　本発明に係る画像処理システムおよびカメラシステムによれば、カメラの向きが上下に変化する車載システムにおいても、低処理負荷で、特定の物体を検知することができる。
本発明の実施例１に係るカメラシステムの構成の例を示すブロック図。 実施例１に係る画像処理システムの視野画角の具体例を示す図。 図２のステレオカメラで撮像される画像の具体例を示す図。 図１の単眼遠方検知部による探索処理の例を示す図。 実施例１に係る探索枠の寸法を求める方法を示す図。 実施例２に係るカメラシステムの構成の例を示すブロック図 実施例２に係る撮像部の画角の例を示す図。 実施例３に係るカメラシステムの構成の例を示すブロック図 実施例３に係る測距センサ部および撮像部の画角の例を示す図。 実施例３に係る測距センサ部および撮像部の画角の例を示す図。
　以下、この発明の実施例を添付図面に基づいて説明する。
［実施例１］
　本発明の実施例１に係る画像処理システムは、画像（たとえばカメラで撮像されたシャッタ画像）中において、対象となる物体検知を行うものであり、たとえば移動体や立体物、特定の物体を検知することができる。この「移動体」とは、背景に対して動いているものを指す。ただし、「背景」とは、画像中で変化しない画素からなる領域に限らない。例えば前方センシングを行う車載カメラの場合には、路面が背景の例であり、路面に対して移動を行う歩行者や車両が移動体の例である。また例えば固定された監視カメラであれば、カメラ画像内で動く人物や動物、動かされる物、等が移動体の例である。
　「立体物」は、たとえば、路面に対して高さのある物体を意味し、車両や歩行者、二輪車、電柱などをいう。「特定の物体」は、たとえば、意図的に検知したい特定の物体を意味し、たとえば、車両や歩行者、二輪車などをいう。前記特定の物体は、テンプレートやパターンや機械学習の辞書などを予め用意して、該テンプレートやパターンや機械学習の辞書との類似度が高いか否かに基づいて検知することができる。
　図１は、本実施例に係るカメラシステムの構成の例を示すブロック図である。カメラシステムは、複数の撮像部１０１と、ステレオマッチング部１０２と、路面推定部１０３と、サイズ算出部１０４と、探索線算出部１０５と、テンプレート探索方法決定部１０６と、単眼遠方検知部１０７と、単眼俯瞰差分検知部１０８とを備える。
　撮像部１０１は撮像センサを含み、たとえば公知のカメラとして構成される。撮像センサにはレンズが取り付けられ、装置の外界を撮像する。撮像センサは、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を備える撮像センサであり、光を電気信号に変換するものである。
　撮像部１０１の撮像センサで電気信号に変換された情報は、さらに撮像部１０１内で、画像を表す画像データに変換される。画像データは画素の輝度値を含む。輝度値は、たとえばデジタル値として表現することができ、色毎の輝度値や、モノクロの輝度値として表される。色毎の輝度値としては、たとえばＲＧＢ（Ｒｅｄ　Ｇｒｅｅｎ　Ｂｌｕｅ）またはＲＣ（Ｒｅｄ　Ｃｌｅａｒ）が利用可能である。
　撮像部１０１は、画像データを、ステレオマッチング部１０２と単眼遠方検知部１０７と単眼俯瞰差分検知部１０８とに送信する。
　撮像部１０１は、撮像センサの露光条件を変更する機能を備える。たとえば、撮像センサにグローバルシャッタまたはローリングシャッタ等の電子シャッタが備わっており、露光時間を任意の時間に設定して撮影することができる。受光素子として、受光すると電荷が蓄積されるフォトダイオードを用いる場合には、露光時間は、フォトダイオードの蓄積電荷をリセットしてから、輝度値に係る情報を読み出すために電荷を取り出すまでの時間を指す。
　露光時間を長くすると電荷が多く蓄積されるので、読み出される輝度値が高くなる。一方で露光時間を短くすると蓄えられる電荷が少なくなるので、読み出される輝度が低くなる。そのため、露光時間に相関して、撮像センサから得られる画像の明るさが変化する。
　撮像部１０１では、フォトダイオードから取り出される電荷量を電圧に変換し、Ａ／Ｄ（Ａｎａｌｏｇ　Ｄｉｇｉｔａｌ）変換を行ってデジタル値を取得する。撮像部１０１はＡ／Ｄ変換に用いる増幅器を備えており、露光条件の一部として増幅器のゲインが変更できるように構成される場合がある。その場合には、増幅器のゲイン設定に応じて読み出される輝度値が変化する。ゲインを高くすれば輝度値は高く、ゲインを低くすれば輝度値は低くなる。
　ここで、一般的に、露光条件（上記の例では露光時間およびゲイン）の変化により輝度値が低くなると、暗い対象物の輝度値が０になったり、コントラスト比が低い対象物の輝度値が一様になったりし、輪郭や濃淡等が判別できなくなる場合がある。この問題は輝度値をデジタル値として表現する場合に顕著であるが、アナログ値として表現する場合にも同質の問題が発生し得る。同様に、露光条件の変化により輝度値が高くなると、明るい対象物の輝度値が最大値となり、対象物の輪郭や対象物の濃淡が判別できなくなる場合がある。従って、撮影する対象物の明るさに応じて露光条件を設定すると好適である。
　撮像部１０１は、時系列的に繰り返し電子シャッタを切り、シャッタ毎の画像データを取得することにより動画を撮影することができる。単位時間あたりの電子シャッタを切り画像データを出力する回数をフレームレートと呼び、１秒あたりのフレームレートをＦＰＳ（Ｆｒａｍｅ　Ｐｅｒ　Ｓｅｃｏｎｄ）の単位で表す。
　ステレオマッチング部１０２は、複数の撮像部１０１から画像データを含むデータを受信し、これを処理することにより、画像データ間の視差を演算する。視差は、基準となる撮像部１０１からの画像データに対する、該基準となる撮像部１０１以外の撮像部１０１からの画像データの、視差である。前記視差とは、複数の撮像部の位置の違いから生じる、同一物体の写る画像座標の差を示す。視差は、近距離のものは大きく、遠距離のものは小さくなり、視差から距離を算出することが可能である。
　撮像部１０１は、たとえば２つ備わり、それぞれの撮像部の視野は、一部重なり、一部重ならない。図２に、図１の画像処理システムの視野画角の具体例を示す。２つの撮像部１０１を車の前方向きに取り付ける例である。本実施例のカメラシステムは、車両２０１に取り付けられる。
　カメラシステムは、２つの撮像部１０１を備えるステレオカメラ２０２を備える。右視野を撮像する撮像部１０１を、図２ではとくに撮像部２０３として示す。左視野を撮像する撮像部１０１を、図２ではとくに撮像部２０４として示す。撮像部２０３および２０４は、車両２０１の前方中央視野において、重なった視野を持つ。
　撮像部２０３は、視野２０５を有する。撮像部２０４は、視野２０６を有する。撮像部２０３は、車両２０１の右側に、撮像部２０４の視野２０６よりも外側となる右視野を持つ。撮像部２０４は、車両２０１の左側に、撮像部２０４の視野２０５より外側となる左視野を持つ。
　図３に、図２のステレオカメラ２０２で撮像される画像の具体例を示す。図３（ａ）は撮像部２０３によって取得される画像３０１を示し、図３（ｂ）は撮像部２０４によって取得される画像３０２を示し、図３（ｃ）はこれら２つの画像の合成画像３０３を示す。
　画像３０１は右向きの撮像部２０３の画像であり、前方の中央近傍および右側が撮像されている。画像３０２は左向きの撮像部２０４の画像であり、前方の中央近傍および左側が撮像されている。
　合成画像３０３は、撮像部２０３と撮像部２０４とがそれぞれ撮像した画像を合成した、左右撮像部合成画像である。合成画像３０３は、領域３０４と、領域３０５と、領域３０６とを含む。領域３０４は、画像３０２の内、画像３０１には写っていない視野領域に該当する部分であり、左単眼視視野である。領域３０５は、画像３０１の内、画像３０２には写っていない視野領域に該当する部分であり、右単眼視視野である。
　領域３０４および３０５は、一つのカメラで撮像された単眼領域である。領域３０６は、画像３０１および３０２の両方に写っている部分であり、ステレオ視視野（距離取得領域）である。このように、撮像部２０３および２０４は、ステレオ視視野（距離取得領域）と少なくとも一部が重複する領域（画像取得領域）について、画像を取得する。
　ステレオマッチング部１０２は、画像データの歪みを補正してもよい。たとえば、中心射影モデルや透視投影モデルを用い、同一の高さで同一の奥行距離の物体が、画像中で水平に並ぶ様に、画像データの歪を補正する。前記補正された左右双方の画像に対して（たとえば２つの撮像部１０１それぞれの画像に対して）ステレオマッチング処理を行う際は、１つの撮像部１０１の画像データ(基準画像データ)を基準として、これともう一方の撮像部１０１の画像データ（比較画像データ）とを比較することにより、視差を求める。
　このように、本実施例では、ステレオマッチング部１０２が距離取得部として機能し、ステレオ視視野について、視野中に現れる対象物（たとえば路面）の距離を取得する。とくに、本実施例では、ステレオマッチング部１０２は複数のカメラ（撮像部２０３および２０４）を備え、ステレオマッチングを行うことにより距離を算出する。このような構成により、高価な測距手段が不要となり、コストを低減できる。
　なお、本明細書において、「距離」の定義および測定方法は当業者が適切に決定可能である。たとえば、「路面の距離」とは、路面と、カメラシステムに対して特定される基準点との間の距離をいう。また、距離の起点（たとえば特定の基準点）は、撮像部２０３と撮像部２０４との中点であってもよく、車両２０１の特定部位（たとえば車両の前端中央）であってもよく、他の装置（測距装置等）の位置であってもよい。また、距離の測定は、たとえば算出された視差に基づいて公知の方法により実施することができる。
　本実施例では、領域３０４および３０５において特定の物体を検知する。或いは、本実施例では、領域３０４、３０５および３０６において特定の物体を検知する。
　尚、前記では中心射影モデルや透視投影モデルを用いたが、投影モデルはこれに限らない。たとえば画角が広い場合は、画像データのサイズを抑制するために、たとえば円筒や球面に射影してもよい。マッチング処理は、たとえば投影面上に同一距離の物体が並ぶ探索線に沿って行われる。
　視差を求める際は、前記基準画像データと、前記比較画像データの消失点の垂直座標を合わせて、前記基準画像データの各座標に対して、前記比較画像データの同一垂直座標のどの水平座標が同一物体を映しているのかを、たとえばＳＳＤ（Ｓｕｍ　ｏｆ　Ｓｑｕａｒｅｄ　Ｄｉｆｆｅｒｅｎｃｅ）やＳＡＤ（Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅ）といった手法で検査する。
　尚、前記ではＳＳＤやＳＡＤとしたが、そのほかの手法でもよい。たとえばコーナー特徴点抽出を行い、同一特徴点かを検査する、ＦＡＳＴ（Ｆｅａｔｕｒｅｓ　ｆｒｏｍ　Ａｃｃｅｌｅｒａｔｅｄ　Ｓｅｇｍｅｎｔ　Ｔｅｓｔ）や、ＢＲＩＥＦ（Ｂｉｎａｒｙ　Ｒｏｂｕｓｔ　Ｉｎｄｅｐｅｎｄｅｎｔ　Ｅｌｅｍｅｎｔａｒｙ　Ｆｅａｔｕｒｅｓ）などの手法を組み合わせて、同一物体のマッチング処理を行ってもよい。
　路面推定部１０３は、ステレオマッチング部１０２で算出された距離に基づき、路面の位置を推定する。路面の位置の推定では、たとえばステレオマッチング部１０２から受け取った視差データをもとに、路面に対応する特定の視差を有する部分、点または領域が路面であると推定する。
　路面推定部１０３は、予め撮像部１０１の路面からの高さや撮像部１０１の取り付け角度などの情報を有してもよく、路面の写る前記画像データ上の座標と距離との関係を求めて、その関係に適合する視差を生じる点が路面を表す点であると特定してもよい。
　本実施例の路面推定部１０３では、視差を用いるとしたが、視差を用いない構成も可能である。たとえば測距結果を用いてもよく、例えばＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）またはミリ波レーダで測距した結果を、カメラ画像の座標とマッピングしたものを用いてもよい。
　ＬｉＤＡＲを用いる場合は、カメラとＬｉＤＡＲとの設置位置および向きの関係に基づき幾何変換してマッピングを行うことができる。路面推定を行う処理は、前記幾何変換の後に行われてもよく、前記幾何変換の前に行われてもよい。探索線算出部１０５による探索線の決定処理で用いることができるタイミングで路面を特定しておき、且前記幾何変換を施せば、テンプレートマッチング処理などで探索することが可能である。
　サイズ算出部１０４は、テンプレートマッチング処理などの実行時に画像を切り出す枠（単眼遠方検知部１０７が用いる）の大きさを算出する。サイズ算出部１０４では、同一奥行距離の探索線において、該奥行距離に応じてサイズを算出する。すなわち、サイズ算出部１０４は、テンプレートサイズ決定部として機能する。
　探索線算出部１０５は、同一の奥行距離を有する路面を表す点に基づいて、単眼遠方検知部１０７がテンプレートマッチング処理において用いる探索線を算出する。探索線は、画像またはその領域において、同一奥行距離となる位置に沿って延びる線である。本実施例では、画像中の路面において、カメラシステムを起点とした距離が所定の値（所定の許容度を考慮した範囲内の値である場合を含む）となる位置に沿った線である。
　テンプレート探索方法決定部１０６は、路面の位置と、サイズ算出部１０４が決定した枠の大きさとに基づき、テンプレートマッチング処理（単眼遠方検知部１０７で実行される）の探索方法を決定する。
　このようにテンプレートサイズが決定されることにより、テンプレートマッチング処理の精度が向上し、または処理負荷が低減される。
　単眼遠方検知部１０７は、撮像部２０３および２０４が取得した画像について、テンプレートを用いてテンプレートマッチング処理を行うことにより、対象物（たとえば特定の物体）を検知するテンプレートマッチング検知部である。
　単眼遠方検知部１０７は、テンプレートマッチング処理により、検知したい特定の物体の特徴に当てはまるものがないかを探す。テンプレートマッチング処理は、パターンマッチング処理を含んでもよく、機械学習の辞書によるマッチング処理を含んでもよい。機械学習の辞書は、たとえばＨａａｒ　Ｌｉｋｅ特徴量を用いて、Ａｄａｂｏｏｓｔにて、前記特定の物体の様々なバリエーションを学習させることにより生成することができる。この際に、単眼遠方検知部１０７は、テンプレート探索方法決定部１０６が決定した大きさの枠を用い、画像データからテンプレートマッチング処理の対象領域を切り出す。このようにして単眼遠方検知部１０７は該特定の物体を検出する。たとえば、対象領域の画像が前記特定の物体の画像と類似しているか否かを判定し、これによって、その対象領域に該特定の物体が写っているか否かを判定する。
　前記特定の物体の探索処理では、画像上の特定の領域を切り出し、該切り出した領域の画像と、テンプレートやパターンや機械学習の辞書で表現されたモデル（またはモデル画像）とに基づき、これらの類似度を検査する。この前記切り出しでは、前記モデルを、特定の画像の大きさや角度に応じ、たとえば正規化処理等により、適切な大きさおよび角度（たとえば実際の画像に近い大きさおよび角度）に揃えると好適である。ただし、車両や歩行者や二輪車は、路面に対して大きく傾いてカメラに写ることは少ないので、角度は合っていると考えることもでき、その場合には角度を揃える処理は省略可能である。
　モデルを前記適切な大きさに合わせるには、前記モデルの実際の大きさと、写っている特定の物体と撮像部１０１との距離と、撮像部の焦点距離および画素ピッチとが分かっていればよい。
　たとえば路面において、カメラシステムからの距離が同一となる位置が水平に並んでいる場合を考える。車両、歩行者、二輪車等は、路面に接して立っているので、これらがカメラシステムから等距離にあれば、これらの下端は水平に揃う（すなわちＹ座標が一致する）と考えられる。また、この場合には、カメラシステムからこれらの特定の物体までの距離は、その下端に位置する路面までの距離と等しいと考えられる（なお、ここでは、鉛直線上における上下位置の差による距離の差は無視できるものと考えているが、そうでない場合には適宜変換または補正が可能である）。
　前記では路面において同一の距離となる位置が水平に並んでいると想定した。このような場合には、探索線は水平の直線となる。しかしながら、路面が斜めである場合、撮像部１０１が傾いているような場合、画像の周辺に歪みが発生する場合、等では、同一の距離となる位置が、水平ではなく斜めに並んだり、曲線上に並んだりする場合もある。
　このような場合には、路面において同一の距離となる位置を結ぶ線（探索線）を、１以上のパラメータを有するモデル関数で表される線として定義しておき、最小二乗法などでパラメータを特定して、数式またはテーブル等に基づき、具体的に探索線を決定してもよい。
　このようにして、視差が得られない領域（たとえば領域３０４および３０５）についても路面の推定および探索線の決定が可能である。単眼遠方検知部１０７は、決定された探索線に沿って、テンプレートマッチングなどで特定の物体を探索する。たとえば、探索線を下端として枠を設定し、枠内の領域を切り抜き、該特定の物体が写っていないかを確認する。
　図４に、単眼遠方検知部１０７による探索処理の例を示す。合成画像４００は、左右の撮像部１０１の画像を合成したものであり、図３の合成画像３０３に対応する。合成画像４００には路面部４０１が現れている。同一距離点４０２は、視差が互いに等しい点を表し、すなわち距離が等しい点を表す。
　探索線算出部１０５は、画像における探索線４０３を、同一距離点４０２に基づいて特定する。探索線４０３の算出は、たとえば、路面の位置（または距離）に基づいて行うことができる。探索線４０３は、たとえば画像中の路面において距離が所定の値（所定の許容度を考慮した範囲内の値である場合を含む）となる位置に沿った線である。
　枠４０４は、単眼遠方検知部１０７のテンプレートマッチング処理により特定の物体と比較するために、切り抜く画像領域の枠である。特定の物体４０５が、探索線４０３と整合する位置に現れている。
　本実施例では、路面上に探索線４０３を作成し、探索線４０３上に特定の大きさの枠４０４を配置し、枠４０４の下端が探索線４０３に一致した状態で枠４０４を左右に移動させる。このように、単眼遠方検知部１０７によるテンプレートマッチング処理は、探索線４０３に沿って行われる。単眼遠方検知部１０７は、枠４０４を左右に移動させながら、異なる位置において枠４０４から切り抜いた画像についてテンプレートマッチング処理を行い、特定の物体と類似しているか否かを判定する。
　本実施例では、テンプレートマッチング処理は、単眼領域（たとえば図３の領域３０４および３０５）において行われ、ステレオ視視野（たとえば図３の領域３０６）では行われない。このようにすると、テンプレートマッチング処理の回数を減らし、処理負荷を低減することができる。ただし、変形例として、ステレオ視視野の全体または一部においてテンプレートマッチング処理を行ってもよい。
　いずれかの位置において、切り抜いた画像が特定の物体と類似している場合は、その位置に特定の物体が写っていると検知する。検知された特定の物体までの距離は、探索線４０３までの距離と等しいものと判断される。
　ここで、撮像部１０１の向きが上下に変化する場合を考える。撮像部１０１の向きが上下に変化すると、路面が画像中で上下するので、所定距離にある路面の画像中での上下位置が一定せず、想定される上下動の範囲内でテンプレートマッチングを行う必要がある。
　このため、従来技術では、ある大きさの枠を、上下左右に２次元的に広がる範囲内の各位置に移動させてテンプレートマッチング処理を行う必要があり、処理負荷が高くなる。
　これに対し、本発明の実施例１に係る画像処理システムおよびカメラシステムによれば、路面が画像中で上下しても、路面に合わせた探索線４０３を設定するので、枠の移動範囲は左右方向（または探索線４０３に沿った１次元範囲）のみに限定され、処理負荷が低くなる。このように、カメラの向きが上下に変化する車載システムにおいても、低処理負荷で、特定の物体を検知することができる。
　探索線４０３は複数生成してもよい。たとえば、異なる距離についてそれぞれ個別の探索線４０３を生成してもよく、単眼遠方検知部１０７は、各探索線４０３についてテンプレートマッチング処理を行ってもよい。このようにすると、様々な距離において、テンプレートマッチング処理により特定の物体を探索することができる。特定の物体を検知したい距離範囲が予め定まっている場合は、該距離範囲内において複数の探索線を作り、探索を行う。そうすることで、距離範囲外の不要な探索を抑制して、処理時間を短くすることができる。
　複数の探索線４０３を設定する場合において、隣接する探索線４０３間の間隔は任意に設計可能である。たとえば、各探索線４０３は、画像上で一定の画素間隔をおいて設定されてもよいし、路面上で一定の距離間隔をおいて設定されてもよい。
　ここで、ある程度の距離ずれがあってもテンプレートマッチング処理が可能である場合には、テンプレートマッチング処理の頑強度に応じて探索線４０３間の間隔を決定することができる。たとえば、テンプレートマッチング処理が頑強であり、探索線４０３の距離と特定の物体との距離とが大きく相違していても特定の物体を検出することができる場合には、隣接する探索線４０３間の間隔を大きく設計することができる。このようにすることで、探索線４０３の数を低減し、処理時間を短くすることができる。
　一本の探索線４０３上において、テンプレートマッチング処理を行う位置の間隔（たとえば左右方向の間隔）も、同様に設計可能である。たとえば、テンプレートマッチング処理が頑強であり、枠４０４と特定の物体とが大きく隔たっていても特定の物体を検出することができる場合には、テンプレートマッチング処理の間隔を大きく設計することができる。このようにすることで、テンプレートマッチング処理の回数を低減し、処理時間を短くすることができる。
　図５に枠４０４の寸法を求める方法について示す。図５は、特定の物体５０１と、撮像部１０１のレンズ５０２と、撮像部１０１の撮像センサ５０３（撮像素子）と、路面５０４とを、光軸と直交する水平方向から見た概念的な位置関係を示す。
　撮像部１０１の焦点距離５０５をｆとする。特定の物体５０１と撮像部１０１（より厳密にはレンズ５０２）との奥行距離５０６（距離）をＺとする。画像中の高さ５０７（撮像センサ５０３上に写る特定の物体５０１の高さ）が求めるべき値である。特定の物体５０１の高さ５０８をｈとする。
　数式５０９は、これらのパラメータの関係を示す。数式５０９から、画像における枠４０４の高さを求めることができる。前記においては、高さについて示したが、同様に幅についても求めることができる。その場合には、高さｈを幅に置き換え、画像中の高さ５０７を画像中の幅に置き換える。
　単眼俯瞰差分検知部１０８は、撮像部１０１から画像データを含むデータを受信し、これを処理することにより画像中の物体を検知する。物体の検知は俯瞰差分方式で行われ、これによって対象物（たとえば移動体）を検知することが可能である。
　俯瞰差分方式は、画像の一部（第１領域）について、異なる時刻の俯瞰画像を比較する方式である。俯瞰差分方式では、俯瞰画像の背景差分を取得してもよいし、俯瞰画像の時間差分を取得してもよい。
　このような場合には、単眼遠方検知部１０７は、画像の一部（第２領域）においてテンプレートマッチング処理を行ってもよい。この第２領域は、第１領域とは異なる領域であってもよく、とくに、第１領域と重ならない領域であってもよい。このようにすると、単眼遠方検知部１０７によるテンプレートマッチング処理を一部省略することができ、処理負荷が低減される。
　なお、単眼俯瞰差分検知部１０８は省略してもよい。
［実施例２］
　本発明の実施例２について説明する。実施例２は実施例１と基本的には同じであるが、以下の点において異なる。実施例２では、車両の四面に撮像部を設置し、全周囲の検知を行える様にする。そのため撮像部の水平画角は広くとる。
　図６は、実施例２に係るカメラシステムの構成の例を示すブロック図である。実施例２に係るカメラシステムは、１８０度を超える水平画角を撮像可能な撮像部６０１を備える。また、カメラシステムはステレオマッチング部６０２を備え、ステレオマッチング部６０２は、複数の撮像部６０１から画像を受け取り、複数の撮像部が重なる領域においてステレオマッチング処理を行う。これによって路面の距離が推定され、テンプレートマッチング処理が可能となる。
　図７は、実施例２のカメラシステムが車両に取り付けられた際の、撮像部６０１の画角の例を示す図である。第１撮像部６０１は水平画角７０１を有する。第２撮像部６０１は水平画角７０２を有する。第３撮像部６０１は水平画角７０３を有する。第４撮像部６０１は水平画角７０４を有する。
　水平画角７０１の左端の領域は、水平画角７０２の前端の領域と重なる。水平画角７０１の右端の領域は、水平画角７０３の前端の領域と重なる。水平画角７０４の左端の領域は、水平画角７０２の後端の領域と重なる。水平画角７０４の右端の領域は、水平画角７０３の後端の領域と重なる。
　複数の画角が重なる領域において、実施例２のカメラシステムは、ステレオマッチング処理を行い、ステレオマッチングを行った領域において路面推定を行い、結果に基づいて同一距離に対応する視差を有する点を結んだ探索線を作成し、テンプレートマッチング処理を行う。
［実施例３］
　本発明の実施例３について説明する。実施例３は実施例１と基本的には同じであるが、以下の点において異なる。実施例３では、測距センサ部を設け、測距センサ部の距離情報に基づいて路面推定を行い、探索線を決定してテンプレートマッチング処理を行う。
　図８は、実施例３に係るカメラシステムの構成の例を示すブロック図である。カメラシステムは測距センサ部８０１を備え、測距センサ部８０１は周囲の三次元の距離情報を取得することができる。測距センサ部８０１は、例えばＬｉＤａｒ（Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）である。本実施例では、測距センサ部８０１が距離の測定を行う。
　カメラシステムはデータ統合部８０２を備え、データ統合部８０２は、測距センサ部８０１から三次元距離情報を受信し、撮像部１０１からカメラ画像を受信して、該カメラ画像に対して座標変換された距離情報を重畳する。この重畳の処理では、三次元距離情報を、撮像部１０１の三次元位置を視点としたカメラ画像座標に変換して重畳する。これによって路面の距離が推定され、テンプレートマッチング処理が可能となる。
　図９に、実施例３のカメラシステムを車両に取り付けた際の、測距センサ部８０１および撮像部１０１の画角の例を示す。測距センサ部８０１は画角９０１（距離取得領域）を有する。測距センサ部８０１は、例えば車両のフロントバンパに取り付けられる。撮像部１０１は画角９０２を有する。撮像部１０１は、例えば車両のフロントガラスに取り付けられる。
　実施例３のカメラシステムは、テンプレートマッチング処理を、測距センサ部８０１の画角９０１の外部において行う。すなわち、撮像部１０１の画角９０２のうち、測距センサ部８０１の画角９０１と重なっていない部分のみについてテンプレートマッチング処理を行う。このようにするとテンプレートマッチング処理を行う範囲が限定され、処理負荷が低減される。
　また、実施例３の変形例として、カメラシステムは、図１０に示すような視野角の測距センサ部８０１を用いてもよい。撮像部１０１は画角１００１を有する。測距センサ部８０１は画角１００２（距離取得領域）を有する。
　測距センサ部８０１の画角１００２は全周囲３６０度に及ぶ。このため、物体の検知は測距センサ部８０１のみで全て行える。しかしながら、物体の種別を識別するためには距離情報だけでは不十分な場合がある。
　本変形例のカメラシステムは、物体の種別（たとえば、その物体が特定の物体であるか否か）を識別するために、テンプレートマッチング処理を、測距センサ部８０１は画角１００２内において行う。たとえば、測距センサ部８０１の画角１００２を利用した全周囲画角の路面推定結果に基づき、撮像部１０１の画角１００１内で探索線を決定し、探索線に沿ってテンプレートマッチング処理を行う。そうすることで、物体の種別の識別を効率的に行うことができる。
　なお、本発明は上記した実施例および変形例に限定されるものではなく、これら以外にも様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、本発明は必ずしも説明した全ての構成を備えるものに限定されるものではない。
　また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
　１０１，２０３，２０４，６０１…撮像部
　１０２…ステレオマッチング部（距離取得部）
　１０３…路面推定部
　１０４…サイズ算出部（テンプレートサイズ決定部）
　１０５…探索線算出部
　１０６…テンプレート探索方法決定部
　１０７…単眼遠方検知部
　１０８…単眼俯瞰差分検知部
　２０１…車両
　２０２…ステレオカメラ
　３０１，３０２…画像
　３０３，４００…合成画像
　４０１…路面部
　４０２…同一距離点
　４０３…探索線
　４０４…枠
　４０５，５０１…物体
　５０２…レンズ
　５０３…撮像センサ
　５０４…路面
　５０５…焦点距離
　５０６…奥行距離
　５０７，５０８…高さ
　６０１…撮像部
　６０２…ステレオマッチング部（距離取得部）
　８０１…測距センサ部
　８０２…データ統合部
　本明細書で引用した全ての刊行物、特許および特許出願はそのまま引用により本明細書に組み入れられるものとする。

Claims (8)

  1. 　カメラシステムであって、
    　前記カメラシステムは、
    　距離取得領域について距離を取得する距離取得部と、
    　前記距離取得領域と少なくとも一部が重複する画像取得領域について画像を取得するカメラと、
    　前記画像について、テンプレートを用いてテンプレートマッチング処理を行うことにより対象物を検知する、テンプレートマッチング検知部と、
    　前記距離取得部で算出された距離に基づき、路面の位置を推定する路面推定部と、
    　前記路面の位置に基づき、前記画像における探索線を算出する、探索線算出部と
    を備え、
    　前記探索線は、前記画像中の路面において距離が所定の値となる位置に沿った線であり、
    　前記テンプレートマッチング処理は、前記探索線に沿って行われる、
    ことを特徴とするカメラシステム。
  2. 　請求項１に記載のカメラシステムであって、前記距離取得部は複数のカメラを備え、ステレオマッチングを行うことにより距離を算出することを特徴とする、カメラシステム。
  3. 　請求項２に記載のカメラシステムであって、
    　前記画像のうち第１領域について、異なる時刻の俯瞰画像を比較する俯瞰差分方式により対象物を検知する、俯瞰差分検知部をさらに備え、
    　前記テンプレートマッチング検知部は、前記画像のうち、前記第１領域とは異なる第２領域において前記テンプレートマッチング処理を行う、
    ことを特徴とするカメラシステム。
  4. 　請求項１に記載のカメラシステムであって、前記路面の位置に基づき前記テンプレートのサイズを決定する、テンプレートサイズ決定部をさらに備えることを特徴とする、カメラシステム。
  5. 　請求項１に記載のカメラシステムであって、前記テンプレートマッチング処理は、一つのカメラで撮像された単眼領域において行われることを特徴とする、カメラシステム。
  6. 　請求項１に記載のカメラシステムであって、前記距離取得部は、距離を測定する測距センサ部を備えることを特徴とする、カメラシステム。
  7. 　請求項６に記載のカメラシステムであって、前記テンプレートマッチング処理を、前記距離取得領域の外部において行うことを特徴とする、カメラシステム。
  8. 　請求項６に記載のカメラシステムであって、物体の種別を識別するために、前記テンプレートマッチング処理を、前記距離取得領域内において行うことを特徴とするカメラシステム。
PCT/JP2020/038395 2019-12-17 2020-10-09 カメラシステム WO2021124657A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202080082086.0A CN114762019A (zh) 2019-12-17 2020-10-09 摄像机系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019227407A JP7293100B2 (ja) 2019-12-17 2019-12-17 カメラシステム
JP2019-227407 2019-12-17

Publications (1)

Publication Number Publication Date
WO2021124657A1 true WO2021124657A1 (ja) 2021-06-24

Family

ID=76431396

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/038395 WO2021124657A1 (ja) 2019-12-17 2020-10-09 カメラシステム

Country Status (3)

Country Link
JP (1) JP7293100B2 (ja)
CN (1) CN114762019A (ja)
WO (1) WO2021124657A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023090170A1 (ja) * 2021-11-22 2023-05-25 日立Astemo株式会社 画像処理装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099997A (ja) * 2000-09-26 2002-04-05 Mitsubishi Motors Corp 動体物検出装置
JP2004120585A (ja) * 2002-09-27 2004-04-15 Mitsubishi Electric Corp 車載用走行車線認識装置
JP2007064894A (ja) * 2005-09-01 2007-03-15 Fujitsu Ten Ltd 物体検出装置、物体検出方法および物体検出プログラム
WO2011090053A1 (ja) * 2010-01-21 2011-07-28 クラリオン株式会社 障害物検知警報装置
WO2016092925A1 (ja) * 2014-12-09 2016-06-16 クラリオン株式会社 接近車両検出装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4171282B2 (ja) * 2002-10-25 2008-10-22 富士重工業株式会社 地形認識装置および地形認識方法
EP1901225A1 (en) * 2005-05-10 2008-03-19 Olympus Corporation Image processing device, image processing method, and image processing program
JP2006318061A (ja) * 2005-05-10 2006-11-24 Olympus Corp 画像処理装置、画像処理方法、および画像処理用プログラム
JP4804202B2 (ja) * 2006-04-10 2011-11-02 富士重工業株式会社 ステレオ式監視装置
JP2010020710A (ja) * 2008-07-14 2010-01-28 Mazda Motor Corp 路側固定物検出装置
JP2013140515A (ja) * 2012-01-05 2013-07-18 Toyota Central R&D Labs Inc 立体物検出装置及びプログラム
JP2013161241A (ja) * 2012-02-03 2013-08-19 Toyota Motor Corp 物体認識装置、物体認識方法
JP6035774B2 (ja) * 2012-02-24 2016-11-30 株式会社リコー 画像処理装置、画像処理方法、及び車両
JP2014021017A (ja) * 2012-07-20 2014-02-03 Sanyo Electric Co Ltd 情報取得装置および物体検出装置
JP2014052307A (ja) * 2012-09-07 2014-03-20 Sanyo Electric Co Ltd 情報取得装置および物体検出装置
JP2014067320A (ja) * 2012-09-27 2014-04-17 Hitachi Automotive Systems Ltd ステレオカメラ装置
JP6550881B2 (ja) * 2014-07-14 2019-07-31 株式会社リコー 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
CN104881661B (zh) * 2015-06-23 2018-02-13 河北工业大学 基于结构相似度的车辆检测方法
JP6548518B2 (ja) * 2015-08-26 2019-07-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
JP6623044B2 (ja) * 2015-11-25 2019-12-18 日立オートモティブシステムズ株式会社 ステレオカメラ装置
JP2017167970A (ja) * 2016-03-17 2017-09-21 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
CN106228110B (zh) * 2016-07-07 2019-09-20 浙江零跑科技有限公司 一种基于车载双目相机的障碍物及可行驶区域检测方法
CN109631829B (zh) * 2018-12-17 2022-05-27 南京理工大学 一种自适应快速匹配的双目测距方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099997A (ja) * 2000-09-26 2002-04-05 Mitsubishi Motors Corp 動体物検出装置
JP2004120585A (ja) * 2002-09-27 2004-04-15 Mitsubishi Electric Corp 車載用走行車線認識装置
JP2007064894A (ja) * 2005-09-01 2007-03-15 Fujitsu Ten Ltd 物体検出装置、物体検出方法および物体検出プログラム
WO2011090053A1 (ja) * 2010-01-21 2011-07-28 クラリオン株式会社 障害物検知警報装置
WO2016092925A1 (ja) * 2014-12-09 2016-06-16 クラリオン株式会社 接近車両検出装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023090170A1 (ja) * 2021-11-22 2023-05-25 日立Astemo株式会社 画像処理装置

Also Published As

Publication number Publication date
CN114762019A (zh) 2022-07-15
JP7293100B2 (ja) 2023-06-19
JP2021096638A (ja) 2021-06-24

Similar Documents

Publication Publication Date Title
US20200364896A1 (en) Trailer assist system with estimation of 3d location of hitch
CN109831660B (zh) 深度图像获取方法、深度图像获取模组及电子设备
US10909395B2 (en) Object detection apparatus
US7899211B2 (en) Object detecting system and object detecting method
US6956469B2 (en) Method and apparatus for pedestrian detection
US8867790B2 (en) Object detection device, object detection method, and program
US8102427B2 (en) Camera egomotion estimation from an infra-red image sequence for night vision
US11679635B2 (en) Vehicular trailer hitching assist system with coupler height and location estimation
US20110311130A1 (en) Image processing apparatus, method, program, and recording medium
US9747524B2 (en) Disparity value deriving device, equipment control system, movable apparatus, and robot
KR101551026B1 (ko) 차량 검출 방법
US20200068186A1 (en) Stereo camera
US20110187828A1 (en) Apparatus and method for obtaining 3d location information
US20180276844A1 (en) Position or orientation estimation apparatus, position or orientation estimation method, and driving assist device
US20200193184A1 (en) Image processing device and image processing method
WO2021124657A1 (ja) カメラシステム
JP2001266128A (ja) 奥行き情報取得方法，装置および奥行き情報取得プログラムを記録した記録媒体
KR102065337B1 (ko) 비조화비를 이용하여 대상체의 이동 정보를 측정하는 장치 및 방법
JP6577595B2 (ja) 車両用外界認識装置
JP4788399B2 (ja) 歩行者検出方法、装置、およびプログラム
KR20170119167A (ko) 도로 상의 객체를 검출하기 위한 객체 검출 시스템 및 방법
JPH09145368A (ja) ステレオ画像による物体の移動追跡方法
TW202311781A (zh) 障礙物偵測方法
JPH1141521A (ja) 撮像装置および車間距離計測装置ならびに車間距離計測方法
CN112229381A (zh) 一种利用臂长和摄像头的智能手机测距方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20902126

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20902126

Country of ref document: EP

Kind code of ref document: A1