WO2011111247A1 - ステレオカメラ装置 - Google Patents

ステレオカメラ装置 Download PDF

Info

Publication number
WO2011111247A1
WO2011111247A1 PCT/JP2010/063755 JP2010063755W WO2011111247A1 WO 2011111247 A1 WO2011111247 A1 WO 2011111247A1 JP 2010063755 W JP2010063755 W JP 2010063755W WO 2011111247 A1 WO2011111247 A1 WO 2011111247A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
resolution
distance
vehicle
stereo camera
Prior art date
Application number
PCT/JP2010/063755
Other languages
English (en)
French (fr)
Inventor
彰二 村松
未来 樋口
門司　竜彦
横田　聡一郎
盛彦 坂野
健 志磨
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to US13/577,712 priority Critical patent/US20120327189A1/en
Priority to EP10847476.8A priority patent/EP2546602B1/en
Publication of WO2011111247A1 publication Critical patent/WO2011111247A1/ja
Priority to US14/692,276 priority patent/US9443313B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to a stereo camera device mounted on a vehicle, for example, a stereo camera device that measures the distance from the vehicle to an object in front of the vehicle with high accuracy.
  • a stereo camera device that uses two cameras to measure the distance to a measurement object on the principle of triangulation is known. For example, by installing a stereo camera device in a car, it is possible to extract obstacles ahead and white lines of the road, and calculate the distance to the obstacle and the shape of the road while driving to notify the driver of the danger. It becomes possible, and safe driving can be secured.
  • each camera Since each camera is mounted on the vehicle so as to be almost parallel to the road surface, the distance resolution at a distance is lower than that at the vicinity. In addition, since a distant measurement object becomes small on the image, it is difficult to stably measure the distance to the measurement object. Therefore, in the stereo camera device, it is an important issue to improve the stability and accuracy of distance measurement at a long distance.
  • the stereo camera analyzes the images obtained from the left and right cameras based on the principle of triangulation, calculates the parallax of the measurement object, and converts the value into distance data.
  • a parallax calculation method there is a method of setting a small region (matching block) using the right image as a base image, and searching for a small region having a high correlation value (similarity) from the left reference image. It is used.
  • a calculation of the correlation value between the matching blocks for example, there is a SAD (sum of absolute differences) method.
  • the matching block setting is usually divided into blocks for reducing the amount of calculation, and adjacent blocks are overlapped with each other in the left-right direction.
  • the parallax high accuracy and stable parallax calculation are realized.
  • Patent Document 2 for the purpose of improving the accuracy of corresponding points, when a predetermined correlation value cannot be obtained by searching for the first matching block initially set in the base image and the reference image, A technique for changing the size and searching again is disclosed. JP-A-9-133524 JP 2008-90583 A
  • FIG. 3 is a diagram schematically illustrating an image obtained by capturing a road with white lines drawn on both sides in the vehicle width direction.
  • Patent Document 2 uses the input image as it is for the parallax calculation, and does not disclose an effective method for improving the distance resolution.
  • the present invention provides a stereo camera device that can measure the distance with high accuracy by changing the distance resolution of the measurement according to the distance of the measurement object.
  • the stereo camera device of the present invention that solves the above problems captures two images, changes the resolution of a partial area of each captured image, and based on the parallax of the partial area of each of the changed images It is characterized by calculating a distance from a vehicle to a measurement object mapped to a partial area.
  • the distance measurement process can be performed stably even when the measurement object exists at a long distance and its size is small.
  • FIGS. 4A and 4B illustrate a structure of a stereo camera device in this embodiment.
  • the figure explaining that the distance resolution in a long distance falls.
  • the figure explaining the interpolation process aiming at high definition.
  • the figure explaining the other method of making an image high-definition The figure explaining the example which changes the resolution according to the distance with a measurement target object.
  • the figure explaining the processing content in case a some object exists.
  • the figure explaining the example of a setting of the table which determines a priority The figure explaining the method of achieving high resolution, without changing an image size.
  • the figure explaining the content of the process in 2nd Embodiment. The figure explaining the high resolution process at the time of taking in a high-definition image.
  • stereo camera device 10 left image acquisition unit (image capture unit) 11 Right image acquisition unit (image capture unit) 12 left camera 13 right camera 20 image generation unit 30 distance calculation unit 40 application processing unit 50 travel environment information storage unit 1711 reference image (right image) 1712 Reference image (left image)
  • FIG. 1 is a diagram illustrating a configuration of a stereo camera device according to the present embodiment.
  • the image acquisition units 10 and 11 capture images synchronized from the left camera 12 and the right camera 13.
  • the left and right cameras 12 and 13 are attached to the left side and the right side of the front part of the vehicle so that the front side of the vehicle can be imaged.
  • the cause of this distortion is various, such as a displacement of the imaging device, a distortion inherent to the attached lens, and a displacement in the optical axis direction of the camera.
  • a displacement of the imaging device such as a displacement of the imaging device, a distortion inherent to the attached lens, and a displacement in the optical axis direction of the camera.
  • the image generation unit 20 parallelizes the left and right images and further corrects various distortions to generate an image without distortion.
  • the distance to be measured with reference to the travel environment information stored in the travel environment information storage means 50 such as the external environment information such as the preceding vehicle and obstacles, the vehicle speed of the host vehicle, and the surrounding map information.
  • the image generation according to is performed.
  • the image generation method in the image generation unit 20 will be described later.
  • the distance calculation unit 30 performs parallax calculation using the left and right images generated by the image generation unit 20, and measures the distance from the vehicle of the host vehicle to the measurement object.
  • the obtained distance information is used by the application processing unit 40 to realize an inter-vehicle distance maintenance system and a collision reduction brake system.
  • the images captured by the left and right image acquisition units 10 and 11 from the left and right cameras 12 and 13 are corrected by the distortion correction units 16 and 17 for distortion caused by lens distortion of the cameras 12 and 13 and mounting errors of the imaging device.
  • the optical axis collimating means 21a performs affine correction such as rotating the left and right images so that the optical axes of the left and right cameras 12 and 13 are parallel to the image distorted by the correction.
  • Information on distortion and optical axis deviation necessary for the processing so far is investigated in advance at the time of assembly and recorded in a nonvolatile memory (not shown) in the stereo camera device 1.
  • the distance calculation unit 30 performs distance calculation.
  • a small region (matching block) in the reference image is searched for in the reference image (corresponding point calculation), and a difference in coordinates on the image is calculated as parallax.
  • FIG. 17A attention is paid to a certain matching block 1701 in the standard image 1711 with the standard image 1711 for the right image and the reference image 1712 for the left image.
  • the matching block 1701 has a matching block size of 8 ⁇ 4 pixels.
  • the size of the matching block 1701 is desirably a minimum size that can obtain an appropriate correlation value for performing matching processing of the left and right images.
  • the same pattern is searched from the reference image 1712 using the matching block 1701 as a template.
  • the search since the parallel processing of the left and right images is performed by the optical axis collimating means 21a, the search only needs to scan the reference image 1712 in one dimension in the horizontal direction.
  • the reference image 1712 is scanned one-dimensionally from left to right, and a correlation value is calculated.
  • correlation value calculations such as a normalized correlation method and a phase-only correlation method.
  • SAD Standard Absolute Difference: sum of absolute value differences
  • the correlation value Cn of SAD is calculated by the following equation (1).
  • I (i, j) is a luminance value in the matching block of the standard image 1711
  • R (i, j) is a luminance value in the matching block of the reference image. Search is performed by scanning n and m of the reference image 1712. In this embodiment, since the reference image 1712 is scanned one-dimensionally from left to right, m is a fixed value.
  • the image generation unit 20 performs a process of changing the resolution of a partial area of the image input from the left and right cameras 12 and 13 based on the information of the driving environment information 50 in FIG. Since the left and right cameras 12 and 13 mounted on the vehicle are mounted substantially parallel to the road surface, the resolution in the distance is reduced as shown in FIG. FIG. 2 (a) is an input image from the camera, and FIG. 2 (b) is an image obtained by converting the road surface viewed from directly above.
  • a plurality of straight lines 201 to 208 extending in the horizontal direction and equally arranged in the vertical direction are drawn, and the intersections with the white lines 221 and 222 on the image are indicated by “+ ".
  • the straight lines 201 to 208 in FIG. 2A correspond to the straight lines 211 to 218 in FIG.
  • the image generation unit 20 performs processing for increasing the resolution of the far region 501 that is a partial region of the image so that a sufficient resolution can be obtained even in the far region 501.
  • a distance (reference distance) L in front of the vehicle on the image 500 is defined, and processing for increasing the image resolution is performed on a region 501 farther away than the distance L to newly create a high-definition image. To generate.
  • the region 504 near the vehicle than the distance L has a normal resolution equivalent to the resolution of the video input from the cameras 12 and 13, and the far region 501 has a higher resolution than the input video.
  • FIG.5 (b) is an enlarged view of the preceding vehicle area 502 of Fig.5 (a).
  • the matching block 503 assumes a template size that operates at a normal resolution.
  • the size of the template 401 is not changed from the one shown in FIG. 4A, the object to be measured such as the preceding vehicle becomes smaller in the far region as shown in FIG. Many disturbances such as background parts are included. Therefore, conventionally, when such a matching block 401 is used, the correlation value in the measurement target cannot be accurately calculated at a distance, and as a result, accurate distance information cannot be obtained.
  • the resolution of the far region 501 is changed to increase the resolution, so the image size of the matching block 503 is changed. Therefore, the correlation value of the measurement target can be accurately obtained, and as a result, the distance measurement is also highly accurate.
  • detection of the preceding vehicle is performed on the distance image (image in which the pixel value is distance information) and the gray image obtained by the processing of the distance calculation unit 30. This is executed by performing recognition processing. For example, as shown in FIG. 4B, when the preceding vehicle has only a small area, good results cannot be obtained even if vehicle detection is performed using a grayscale image.
  • the performance can be improved by setting the resolution accordingly. Since the size of the preceding vehicle on the image is inversely proportional to the distance, the measurement performance can be improved by adjusting the resolution in accordance with the distance of the preceding vehicle by the image generation unit 20. In this case, as an index for determining the resolution, for example, control is performed so that the number of pixels including the preceding vehicle is 200 to 300 pixels.
  • the present invention by increasing the resolution of the far region 501, stability of correlation value calculation at a long distance and improvement in distance resolution can be realized at the same time without changing the size of the matching block. Note that when the distance calculation is performed using a high-definition image in the high-resolution area 501, since the resolution is different from that of the normal area, the disparity information obtained by matching is converted into the number of pixels at the normal resolution and the distance is calculated. Perform the calculation.
  • FIG. 6 is a diagram illustrating an example of processing performed in the stereo camera device.
  • the left and right image acquisition process S101 is first performed by the start of the process, and the images captured by the left and right cameras 12 and 13 are acquired by the left image acquisition unit 10 and the right image acquisition unit 11, respectively. Is done. As the next step, processing S102 is performed in which the parallax is calculated using the normal image and the distance is calculated.
  • the object detection process S103 is performed based on the distance information obtained in the process S102, and the detection result is recorded in the travel environment information storage means 50 as the travel environment information.
  • the traveling environment information the relative position and relative speed of a three-dimensional object on the road such as a preceding vehicle, an oncoming vehicle, a pedestrian, and a motorcycle are recorded.
  • map information that has been input in advance, such as travel lane information, relative position information of road structures such as guardrails and utility poles, own vehicle position information obtained from GPS (Global Positioning Systems) and car navigation, and car navigation. ing.
  • Such travel environment information is updated every time the object detection process S103 is performed.
  • the specification of the image to be generated is determined using the travel environment information in the travel environment information storage means 50, and the image is generated.
  • the resolution is determined by narrowing down the target to a certain measurement object, and the traveling environment information is used to determine which measurement object is the target at that time. For example, based on the traveling environment information, targeting the one with the highest possibility of collision can be cited as an example.
  • the collision possibility can be calculated from the speed of the host vehicle and the measurement object, the traveling direction, etc. Further, when the traveling speed of the host vehicle is low, image generation can be performed by more complicated processing.
  • the movement vector is obtained for the small area image used in the image compression technique and the intermediate data is created by interpolation. It is possible. Further, by applying a super-resolution technique that is a technique for improving the actual resolution, it is possible to create a high-definition image that is higher than the interpolation process. Super-resolution processing is usually unsuitable for real time due to its long processing time. However, since it can be applied on the assumption that the moving speed of the host vehicle is slow, better image generation processing can be performed by utilizing the travel environment information. Note that techniques such as super-resolution processing are described in, for example, Japanese Patent Application Laid-Open No. 2010-21730.
  • FIG. 7 is a diagram illustrating the details of the image generation processing.
  • the image generation unit 20 refers to the travel environment information stored in the travel environment information storage unit 50 and determines the object that the subject vehicle is most interested in from among the measurement objects.
  • attention is paid to a vehicle that may collide, and attention object discrimination processing S111 is executed.
  • a process S112 for determining the resolution of the long-distance region based on the distance from the host vehicle to the target object is performed.
  • the process S113 for increasing the resolution of the long-distance area is performed accordingly.
  • a high-resolution image is generated in the long-distance region
  • parallax calculation and distance calculation processing S105 are performed again using the high-resolution image, and more accurate object detection processing S106 is executed based on the result.
  • the processing result here is again fed back to the traveling environment information storage means 50 as the traveling environment information and changed to the latest information.
  • the parallax / distance calculation processing S105 at this time is executed in the processing flow described with reference to FIGS.
  • FIG. 8 is a diagram for explaining a method for increasing the resolution of an image.
  • the high resolution area 501 in FIG. 5A has a resolution four times that of the normal resolution area 504 in the vertical and horizontal directions.
  • FIG. 8 shows a conceptual diagram of 4 times and 2 times in length and width as an example.
  • “ ⁇ ” (white circle) shown in FIG. 8 is a pixel (normal pixel) that exists at the normal resolution, and an interpolation pixel “ ⁇ ” (black circle) is generated using this normal pixel.
  • this interpolation pixel there are various known methods for generating this interpolation pixel, such as bi-linear interpolation which is linear interpolation, spline interpolation, and polynomial interpolation.
  • Super-resolution methods that define high-order polynomials and object models are disadvantageous because they require a large amount of computation, but they can be increased in resolution by preserving or enhancing image features, so it is necessary to use them according to the application. is there.
  • FIG. 9 another embodiment relating to higher resolution will be described.
  • the area where the image resolution is changed is divided into three areas 901 to 903.
  • Three divided regions 901 to 903 are defined in the long-range resolution determination processing S112 in FIG.
  • division processing is performed using two parameters of distances L1 and L2 from the host vehicle (first reference distance and second reference distance).
  • the image generation unit 20 sets the regions divided in the horizontal direction of each image using the distance L from the vehicle as a parameter as partial regions 901 to 903 of each image.
  • the resolution is improved only in the vertical direction without increasing the resolution in the horizontal direction.
  • An example of interpolation at this time is shown in FIG.
  • an interpolation method at this time in addition to the interpolation method described above, in the case of an interlace method (a video format consisting of two fields of which one frame is odd and even), field information which is not used for processing is used. There is a method to use.
  • FIG. 10 another embodiment relating to higher resolution will be described.
  • the image resolution is divided into three stages, but in FIG. In many stages, as shown in FIG. 10 (b), the distance measurement resolution as viewed from the upper part of the road surface is sufficiently secured even in the distance, and is further equally divided.
  • Such setting of the distance measurement resolution has an advantage that the estimation accuracy is further improved by curve estimation or the like.
  • the conventional setting shown in FIG. 2 (b) there is no measurement result in the distance when the forward curve is estimated, so that a delay or error in the estimation of the curve shape is likely to occur.
  • the performance of road shape estimation including curve shape estimation can be improved by arranging measurement points evenly as shown in FIG.
  • FIG. 11 shows the difference in image resolution setting according to the distance of the measurement object.
  • FIG. 11A two white lines on the road surface and a preceding vehicle are mapped as measurement objects, and the preceding vehicle is selected as the object of interest.
  • the resolution of the image 501 is set high to obtain a high-definition image. Further, in FIG. 11B, since the object of interest is located at a medium distance, the resolution of the image 501 is somewhat suppressed to obtain a medium-definition image.
  • the normal resolution is used, and the resolution is not increased.
  • FIG. 12 shows a corresponding embodiment when there are a plurality of objects of interest.
  • the resolution is set according to the importance of the application using the distance measurement result.
  • the preceding vehicle in the traveling lane in which the host vehicle is traveling becomes the target object, and the resolution is determined.
  • FIG. 12 shows an embodiment in which, when there are a plurality of preceding vehicles, the last preceding vehicle is the target object.
  • This embodiment is merely an example.
  • a collision other than the preceding vehicle such as a collision reducing brake system, it can be considered as an object of interest.
  • the result of distance measurement is used for vehicle control, the relative speed with respect to the object is important, and the present invention for measuring distance from a further distance with high accuracy is effective.
  • FIG. 13 is a diagram illustrating an example of a priority order determination table.
  • the priority order of the measurement object changes depending on the operating system. For example, in the inter-vehicle distance maintenance system, the preceding vehicle has the first priority, but in the collision warning system and the collision mitigation control system, the oncoming vehicle having a higher relative speed has the first priority. On the other hand, in the case of the speed limit control system, it is necessary to recognize the speed limit road sign earlier and prepare for deceleration, and the road sign is the first priority.
  • the priorities change depending on the operating status of the system, etc., and it is possible to perform optimum image generation control corresponding thereto and increase the sensing ability.
  • FIG. 14 is used to explain another embodiment related to high resolution.
  • the embodiment of FIG. 14 shows a form of a method for increasing the resolution without changing the image size.
  • the image generation unit 20 performs a process of transforming the trapezoidal area 1201 indicated by the thick solid line shown in FIG. 14A into a rectangular area 1202 shown in FIG. By performing this process, as a result, the enlargement ratio increases in the long-distance region, and the same effect as increasing the resolution can be obtained.
  • this method has an effect that the processing speed is constant regardless of the measurement object and the resolution of the high-resolution area 501 because the converted image size (Lx ⁇ Ly) is constant.
  • the constant processing time is an important matter for the control system, and it is one of the effective points of the present invention to perform conversion so that the processing load is constant as shown in FIG.
  • the dotted lines in FIG. 14B mean the pixel grid of FIG. 14A, and the image after conversion shown in FIG. 14A is the image before conversion shown in FIG. 14B. It can be seen that is transformed into a fan shape.
  • the parallax / distance calculation processing S102 is executed using the normal image every time the left and right cameras 12 and 13 acquire the left and right images.
  • the processing flow shown in FIG. Only when the parallax / distance calculation process S102 is performed using the normal image, the subsequent left and right image acquisition S111 is inserted in the middle, and the image generation process is performed using the previous traveling environment information 50.
  • the processing method shown in FIG. 15 it is possible to eliminate the need to perform the parallax / distance calculation processing S102 for each normal image, and it is possible to immediately shift to the image generation S104 after image acquisition and perform image generation. .
  • the stereo camera device 1 having the above-described configuration, by increasing the resolution of a partial area of the image, the stability of the correlation value calculation at a long distance without changing the size of the matching block and the improvement of the distance resolution at the same time. This can be realized, and the distance from the vehicle to the measurement object can be accurately calculated. Therefore, in an application that uses information on the distance from the host vehicle to the measurement object, more accurate distance information can be used, and accurate and highly accurate processing can be performed.
  • the low-resolution processing S112 is inserted after the high-resolution left and right image acquisition S101 in the processing flow of FIG.
  • the high resolution image is converted into a normal image.
  • the high-resolution image means an image having a resolution capable of calculating a sufficient distance accuracy even in a long-distance region, and the normal image is within a processing time required for the stereo camera device 1 for the system. It means the image size that can calculate the distance information.
  • the stereo camera device 1 can also be equipped with an imaging device that captures high-definition images (high-resolution images).
  • high-resolution images the resolution at a short distance is unnecessarily high, so reducing the resolution is effective from the viewpoint of processing time and memory capacity.
  • the captured high resolution image can be converted into a low resolution image, and subsequent processing can be executed, and both high speed processing and high accuracy can be achieved.
  • FIG. 19 illustrates the use of pixels when increasing the resolution.
  • a white circle “ ⁇ ” having a normal resolution of the input image is described as a low resolution pixel, and a white square ( ⁇ ) pixel that is not used when a low resolution is used is expressed as a high resolution pixel. Yes.
  • a black circle ( ⁇ ) means a pixel generated by the interpolation process.
  • the measurement object decreases as the distance from the host vehicle increases, and increases as the vehicle approaches the host vehicle.
  • the measurement target from the vehicle is based on the parallax of a partial area of each image whose resolution is changed by the image generation unit.
  • FIG. 20A when the measurement object exists far from the host vehicle, as shown in an image 2001 used for processing in FIG. A partial region 2002 of the resolution image 2000 is cut out, and processing is performed with the number of pixels that can provide sufficient resolution for the measurement target.
  • the high-resolution image 2000 is not reduced in resolution, and a partial area 2002 including the measurement target is cut out and used with the same resolution. In this manner, by cutting out the partial area 2002, the number of pixels to be processed can be handled in the same manner as an image with a normal resolution.
  • the pixels of the high resolution image 2100 are thinned out to reduce the resolution.
  • a resolution image 2101 is generated.
  • the low-resolution image may be generated by simply thinning out the pixels of the high-resolution image to generate the low-resolution image, or by adding the data of the thinned-out pixels to generate the low-resolution image.
  • the present embodiment it is possible to use a high-resolution image sensor and change the resolution of an image used for processing according to the distance of the measurement object. Therefore, efficient processing can be performed using a high-resolution image sensor, and a stereo camera device can be provided at low cost without using a high-performance processor.
  • the distance measurement process can be executed without wasting processing time and hardware resources by reducing the resolution.
  • the relationship between the matching block of the standard image and the reference image must always have the same resolution, and the resolution cannot be changed in the horizontal direction. This is one limitation of the embodiments described so far. However, if the matching block resolution can be matched and converted at a calculation cost at the time of processing, the above-described restrictions can be deleted.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

　計測対象物の距離に応じて計測の距離分解能を可変にして、安定かつ高精度に距離測定を行うステレオカメラ装置を提供する。ステレオカメラ装置（１）は、二枚の画像を取り込み、その取り込んだ各画像の一部領域の解像度を変更し、その解像度が変更された各画像の一部領域の視差に基づいて車両から一部領域に写像されている計測対象物までの距離を計算する。これにより、計測対象物が遠距離に存在しかつその大きさが小さい場合でも、安定に距離計測処理を行うことができる。

Description

ステレオカメラ装置
　本発明は、車両に搭載されるステレオカメラ装置に係わり、例えば車両から車両前方の物体までの距離を高精度に計測するステレオカメラ装置に関する。
　二つのカメラを用いて三角測量の原理で計測対象物までの距離を計測するステレオカメラ装置が既知となっている。例えば、自動車にステレオカメラ装置を設置することにより、前方の障害物や道路の白線を抽出し、障害物までの距離や走行中の道路形状を算出することで、危険をドライバーに報知することが可能となり、安全な運転を確保することができる。
　各カメラは、路面とほぼ平行になるように車両に搭載されるので、遠方での距離分解能は近傍よりも低下する。また、遠方の計測対象物は画像上で小さくなるので、計測対象物までの距離を安定して計測することが困難である。そこで、ステレオカメラ装置では、遠方の距離測定の安定性および精度を向上させることが重要な課題となっている。
　ステレオカメラは、三角測量の原理で、左右カメラから得られた画像を分析して計測対象物の視差を算出し、その値を距離データに変換している。視差の計算方法として、二つの画像の内、右側の画像を基準画像として小領域（マッチングブロック）を設定し、左側の参照画像から高い相関値（類似度）をもつ小領域を探索する方法が用いられている。このマッチングブロック間の相関値の計算としては、例えばSAD（差分絶対値の総和）法などがある。
　特許文献１に示された技術では、ステレオカメラ装置の分解能向上を目的として、マッチングブロックの設定を通常計算量の削減のためブロック単位で分割するものを、隣接するブロックを左右方向に互いに重なり合わせながら視差を求めることで、高精度化と安定な視差計算を実現している。
　また、特許文献２には、対応点の高精度化を目的として、基準画像と参照画像で最初に設定した第一のマッチングブロックの探索で所定の相関値が得られない場合に、マッチングブロックのサイズを変更して再度探索する技術が開示されている。
特開平９－１３３５２４号公報 特開２００８－９０５８３号公報
　しかしながら、特許文献１に開示されている方法の場合、基準画像上でのマッチングブロックの位置を半ブロックずつ細かくずらして設定することで、計測の安定性は向上するが、遠方での距離分解能の向上に関しては不十分である。例えば、図３（ａ）に示す入力画像をそのまま視差計算に使用すると、図３（ｂ）に示すようにマッチングブロックの位置を細かくずらしても、距離分解能自体は変化しない。なお、図３は、車幅方向両側に白線が引かれた道路を撮像した画像を模式的に示す図である。
　また、特許文献２の技術に関しては、一回目で所定の相関値が得られない場合、マッチングブロックのサイズを変更して再度相関値計算を行うことで、より安定した視差計算を実現している。例えば、図４に示すように、対象物（先行車）４１０が近距離にある場合は、図４(a)に示すように大きなマッチングブロック４００で十分に相関値を正しく計算することができるが、図４(b)のように遠距離になるとマッチングブロック４０１を小さくしなければ背景なども入り相関値を正確に求めることが難しくなるからである。
　しかしながら、特許文献２の技術も入力画像をそのまま視差計算に使用しており、距離分解能の向上に関して有効な方法を開示していない。これら従来技術で、遠方での距離分解能を上げるためには、例えば、視差計算のサブピクセル処理などの適用が考えられる。
　しかし、遠方での距離分解能を上げるために、画面全体に一律に同一処理を適用したのでは、本来距離分解能の向上が必要のない近距離の対象物に対しても分解能向上の処理が追加されるため計算量が不要に大きくなってしまう。
　本発明は、計測対象物の距離に応じて計測の距離分解能を可変にして、安定かつ高精度に距離測定を行うステレオカメラ装置を提供するものである。
　上記課題を解決する本発明のステレオカメラ装置は、二枚の画像を取り込み、その取り込んだ各画像の一部領域の解像度を変更し、その変更された各画像の一部領域の視差に基づいて車両から一部領域に写像されている計測対象物までの距離を計算することを特徴としている。
　本発明によれば、計測対象物が遠距離に存在しかつその大きさが小さい場合でも、安定に距離計測処理を行うことができる。
 本明細書は、本願の優先権の基礎である日本国特許出願2010-56199号の明細書及び／または図面に記載されている内容を包含する。
本実施の形態におけるステレオカメラ装置の構成を説明する図。 遠距離での距離分解能が低下することを説明する図。 第一の公知例を説明する図。 第二の公知例を説明する図。 本発明の主要なアイデアを説明する図。 ステレオカメラ装置で行われる処理の一実施例を示す図。 画像生成処理の詳細を説明する図。 高精細化を目的とした補間処理を説明する図。 画像を高精細化する方法を説明する図。 画像を高精細化する他の方法を説明する図。 計測対象物との距離に応じて解像度を変更する例を説明する図。 複数の物体が存在する場合の処理内容を説明する図。 優先順位を判定するテーブルの設定例を説明する図。 画像サイズを変更することなく高解像度化する方法を説明する図。 第１実施の形態で行われる処理の他の実施例を示す図。 第１実施の形態で行われる処理の内容を説明する図。 視差計算の処理方法を説明する図。 第２実施の形態における処理の内容を説明する図。 高精細画像を取り込んだ場合の高解像度化処理を説明した図。 第２実施の形態で行われる処理の内容を説明する図。 第２実施の形態で行われる処理の内容を説明する図。
１　ステレオカメラ装置
１０　左画像取得部（画像取込部）
１１　右画像取得部（画像取込部）
１２　左カメラ
１３　右カメラ
２０　画像生成部
３０　距離計算部
４０　アプリケーション処理部
５０　走行環境情報記憶部
１７１１　基準画像（右画像）
１７１２　参照画像（左画像）
［第１実施の形態］
　次に、本発明の第１実施の形態について説明する。
　図１は、本実施の形態におけるステレオカメラ装置の構成を説明する図である。
　ステレオカメラ装置１は、左カメラ１２と右カメラ１３から同期した画像をそれぞれの画像取得部１０、１１が取り込む。左右のカメラ１２、１３は、車両前部の左側および右側に取り付けられており、それぞれ車両前方を撮像できるようになっている。
　通常、カメラには固有の歪みが存在する。この歪みの原因は、撮像デバイスの設置ずれ、取り付けたレンズ固有の歪み、カメラの光軸方向ずれなど様々である。ステレオカメラ装置による三角測量では、左右のカメラの小領域（マッチングブロック）での相関値を正確に求めるために、左右の画像が正確に平行に並んでいることが重要である。
　したがって、画像生成部２０では、左右の画像の平行化を行い、さらに様々な歪みを補正して歪みのない画像を生成する。このとき、本発明では、先行車や障害物などの外界環境情報や自車の車速、周辺の地図情報など、走行環境情報記憶手段５０に記憶された走行環境情報を参照して、計測したい距離に応じた画像生成を行う。なお、画像生成部２０における画像生成方法に関しては後述する。
　距離計算部３０では、画像生成部２０で生成された左右の画像を用いて視差計算を行い、自車の車両から計測対象物までの距離を計測する。そして得られた距離情報は、アプリケーション処理部４０で利用され、車間距離維持システムや衝突軽減ブレーキシステムを実現する。
　次に、図１６、１７を用いて、距離計算部３０における処理内容について詳しく説明する。左右カメラ１２、１３から左右の画像取得部１０、１１によって取り込まれた画像は、カメラ１２、１３のレンズ歪み、撮像デバイスの取り付け誤差などによって生じている歪みが歪み補正部１６、１７で補正される。
　そして、光軸平行化手段２１ａによって、補正により歪みがとれた画像に対して左右カメラ１２、１３の光軸が平行化するように左右画像を回転するなどのアフィン補正が行われる。これまでの処理で必要な歪みや光軸ずれの情報は、組み立て時に予め調査してステレオカメラ装置１内の不揮発性メモリ（図示せず）に記録しておく。
　そして、距離計算部３０で距離計算が行われる。距離計算は、基準画像中の小領域（マッチングブロック）が参照画像中のどこにあるかを探索して（対応点算出）、画像上の座標の差を視差として計算するものである。図１７(a)において、右画像を基準画像１７１１、左画像を参照画像１７１２として、基準画像１７１１中のあるマッチングブロック１７０１に注目する。
　マッチングブロック１７０１は、例えば図１７(b)に示すように、マッチングブロックのサイズを８×４画素としている。マッチングブロック１７０１のサイズは、左右の画像のマッチング処理を行うのに適正な相関値を求めることができる最小サイズが望ましい。
　マッチングブロック１７０１をテンプレートとして、参照画像１７１２から同じパターンを探索する。このとき、光軸平行化手段２１ａによって左右画像の平行化処理が実施されているので、探索は参照画像１７１２を横方向に一次元に走査を行うだけでよい。
　例えば、参照画像１７１２内を左から右へ一次元に走査を行い、相関値を計算する。相関値の計算には、正規化相関法、位相限定相関法など多数あるが、本実施形態では、一例としてSAD（Summation of Absolute Difference:絶対値差分の総和）を用いている。SADの相関値Cnは、下記の式（１）で算出される。
［数１］
　　　　　Cn ＝ Σ|I(i、j) - R(i+n、j+m)|．　・・・（１）
　ここで、I(i、j)は基準画像１７１１のマッチングブロックにおける輝度値、R(i、j)は参照画像のマッチングブロックにおける輝度値である。参照画像１７１２のn、mを走査することにより探索を行う。本実施の形態では、参照画像１７１２内を左から右へ一次元に走査を行うので、mは固定値である。
　そして、走査の結果、C0からCN（N:探索範囲の画素数）までの結果が得られるので、その最小値をマッチング地点として定義し、そのときの視差情報が視差１７０３となる。視差が算出されると、三角測量の原理で、左右のカメラ間距離、視差の物理的な長さからテンプレートの対象物までの距離が算出可能である。これらの処理は、図１６の距離計算３２で実行する。計測するマッチングブロックが全て終了になるまで処理を続けて、距離情報を算出する。
　次に、画像生成部２０による画像生成の方法について説明する。
　画像生成部２０では、図１の走行環境情報５０の情報に基づき、左右カメラ１２、１３から入力された画像の一部領域の解像度を変更する処理が行われる。車両に搭載された左右カメラ１２、１３は、路面にほぼ平行に取り付けられているため、図２に示すように遠方での分解能が低下している。図２(a)はカメラからの入力画像、図２(b)は路面を真上から見た画像に変換したものである。図２（ａ）の画像２００上に、横方向に亘って延在して上下に均等に配置される複数の直線２０１～２０８を引き、画像上での白線２２１、２２２との交点を「＋」記号で示す。図２（ａ）の直線２０１～２０８が図２（ｂ）の直線２１１～２１８に対応している。
　画像上では垂直方向に均等距離にある＋記号が、実際の三次元空間では、図２（ｂ）に示すように自車両から遠ざかるほど＋記号間の距離が離れており、遠距離での分解能が低いことがわかる。
　そこで、画像生成部２０では、図５に示すように、画像の一部領域である遠方領域５０１の解像度を高める処理を行い、遠方領域５０１でも十分な解像度を得られるようにする。図５(a)では、画像５００上における車両前方の距離（基準距離）Ｌを定義し、距離Ｌよりも遠方の領域５０１に対して、画像解像度を上げる処理を行い、高精細な画像を新たに生成する。
　本実施の形態では、距離Ｌよりも車両近傍の領域５０４は、カメラ１２、１３からの映像入力の解像度と同等の通常解像度であり、遠方領域５０１は入力された映像よりも高い解像度となる。図５(b)は図５(a)の先行車領域５０２の拡大図である。マッチングブロック５０３は、図３、４で説明したように、通常の解像度で動作するテンプレートサイズを想定している。
　このとき、テンプレート４０１のサイズを図４（ａ）に示すものから変更しない場合、図４(b)に示したように、遠方領域では先行車などの計測対象が小さくなり、マッチングブロック４０１には背景部分など多くの外乱が含まれることとなる。したがって、従来は、このようなマッチングブロック４０１を使用すると、遠方では計測対象での相関値が正確に計算できず、結果として正確な距離情報を求めることができない。
　これに対して、本実施の形態におけるステレオカメラ装置１では、図５（ａ）に示すように、遠方領域５０１の解像度を変更して高解像度化するので、マッチングブロック５０３の画像サイズを変更することなく、計測対象の相関値を正確に求めることができ、その結果、距離計測も高精度となる。
　先行車両を検出して先行車両までの距離を測定する場合、先行車両の検出は、距離計算部３０の処理で得られた距離画像（画素の値が距離情報である画像）と濃淡画像に対して認識処理を行うことによって実行される。例えば、図４（ｂ）に示すように、先行車両が小さい領域しか持っていない場合、濃淡画像を用いて車両検知を行っても良好な結果が得られない。
　濃淡画像で車両判断をするためには、車両の特徴である、タイヤ、窓枠、ストップランプなどが知覚できるだけの分解能が必要である。画像サイズにして、縦１０画素×横２０画素程度以上の画素数が必要とされている。
　既知の車両検出方法を用いた場合、通常、種々の方法に適した画像の分解能（対象物が含まれる画素数）が存在し、それに応じた分解能とすることで性能向上が可能となる。先行車両の画像上のサイズは距離に反比例しているため、画像生成部２０で先行車両の距離に応じて分解能を調整することにより、計測性能の向上が可能となる。この際に、分解能を決める指標としては、例えば、先行車両を含む画素数が２００～３００画素となるように制御することなどがある。
　本発明によれば、遠方領域５０１の解像度を上げることで、マッチングブロックのサイズを変えることなく遠距離での相関値計算の安定性と、距離分解能向上とを同時に実現することができる。尚、この高解像度領域５０１の高精細画像を使用して距離計算を行う際は、通常領域と解像度が異なるため、マッチングで得られた視差情報を通常の解像度での画素数に変換して距離算出を行う。
　次に、図６、７を用いて、図５で説明したアイデアを実現する方法の一例について説明する。図６は、ステレオカメラ装置で行われる処理の一実施例を示す図である。
　図６に示すように、処理の開始により、最初に左右画像取得処理S101が行われ、左右のカメラ１２、１３で撮像された各画像がそれぞれ左画像取得部１０と右画像取得部１１によって取得される。その次のステップとして、通常画像を用いて視差算出を行い距離計算する処理S102が行われる。
　その後、処理S102で得られた距離情報に基づいて物体検知処理S103を行い、その検知結果を走行環境情報として走行環境情報記憶手段５０に記録する。走行環境情報には、先行車、対向車、歩行者、バイクなどの路上立体物の相対位置、相対速度が記録されている。さらに、走行レーン情報、ガードレール、電柱などの道路構造物の相対位置情報、GPS(Global Positioning Systems)やカーナビゲーションから得られる自車位置情報、カーナビゲーションなどに予め入力されている地図情報が含まれている。これらの走行環境情報は、物体検知処理S103を行うたびに更新される。
　画像生成処理S104では、走行環境情報記憶手段５０の走行環境情報を利用して生成する画像の仕様を決定し、画像生成を行う。画像生成処理S104では、ある計測対象物にターゲットを絞って分解能を決定するが、その際にどの計測対象物をターゲットにするかを決定するのに走行環境情報を使用する。例えば、走行環境情報に基づいて、衝突可能性が最も高いものをターゲットとすることを一例として挙げることができる。
　衝突可能性は、自車両および計測対象物の速度、進行方向等から計算することができる。また、自車両の走行速度が遅い場合、より複雑な処理によって画像生成を行うことができる。
　例えば、自車両の走行速度が遅いため、画像上の変化が非常に小さい場合は、画像圧縮技術などで使われている小領域の画像に対し移動ベクトルを求めて、途中のデータを補間作成することなどが可能である。また、実際の解像度よりも向上する技術である超解像度技術を適用して、補間処理以上の高精細な画像を作成することができる。超解像度処理は、通常処理時間が大きく、リアルタイムには不向きな処理であった。しかし、自車両の移動速度が遅いという前提で適用することができるため、走行環境情報を活用することでよりよい画像生成処理が可能となる。なお、超解像度処理などの技術については、例えば、特開２０１０－２１７３０号公報に記載されている。
　次に、画像生成処理S104における詳細な処理内容について図７を用いて説明する。図７は、画像生成処理の内容を詳細に説明する図である。
　画像生成部２０は、物体検知処理S103が終了すると、走行環境情報記憶手段５０の走行環境情報を参照して、計測対象物の中から自車両が最も注目すべき物体を決定する。ここでは、衝突する恐れのある車両に注目することとし、注目物体判別処理S111を実行する。計測対象物の中から注目物体が抽出されると、自車両からその注目物体までの距離に基づいて遠距離領域の分解能を決定する処理S112が行われる。
　そして、処理S112によって遠距離領域の分解能が決定されると、それに従い遠距離領域を高解像度化する処理S113が実施される。遠距離領域で高分解能な画像が生成されるとそれを用いて視差算出、距離計算処理S105を再度実施し、その結果からより高精度な物体検知処理S106を実行する。ここでの処理結果は、走行環境情報として、再度、走行環境情報記憶手段５０にフィードバックされ最新の情報に変更される。このときの視差・距離計算処理S105は、図１６、１７で説明した処理フローにて実行される。
　図８は、画像を高解像度化する方法について説明する図である。図５(a)の高解像度領域５０１は通常解像度領域５０４よりも縦横にそれぞれ４倍の解像度となっている。図８に例として縦横４倍と２倍の概念図を示す。図８に示す「○」（白丸）が通常解像度で存在する画素（通常画素）であり、この通常画素を用いて補間画素「●」（黒丸）を生成する。
　この補間画素の生成法には、様々な既知の方法があり、線形補間であるバイリニア補間（Bi-linear interpolation）、スプライン補間(Spline interpolation)、多項式補間などある。高次多項式や物体モデルを定義した超解像度手法は計算量が大きく不利であるが、画像の特徴を保存したり強調したりして高解像度化が可能であるため、用途に応じて使い分ける必要がある。本発明では、処理に利用する画像自体を高解像度化することによって、相関値算出の安定化と計測分解能の向上する効果がある。
　図９を用いて、高解像度化に関する別の実施例を説明する。図９では、画像解像度を変化させる領域を９０１～９０３の三つの領域に分割している。図７の遠距離分解能決定処理S112にて三つの分割領域９０１～９０３を定義する。ここでは、自車両からの距離（第１の基準距離と第２の基準距離）L1、L2の二つのパラメータで分割処理をしている。画像生成部２０は、車両からの距離Ｌをパラメータとして各画像の水平方向に区切られた領域を、前記各画像の一部領域９０１～９０３とする。
　また、図９の実施形態では、横方向には解像度を上げず、縦方向のみ解像度を向上させている。このときの補間例は、図９(b)に示す。このときの補間方法としては、先に説明した補間手法以外に、インタレース方式（一つのフレームが奇数、偶数の二つのフィールドからなる映像形式）であれば、処理に使用していないフィールド情報を使用する方法がある。
　図１０を用いて、高解像度化に関する別の実施例を説明する。図９では3段階で画像分解能を分けたが、図１０(a)では多段階にしている。多段階では、図１０(b)に示すように路面上部から見た距離測定分解能が遠方でも十分に確保され、さらに等分になっている。このような距離測定分解能の設定は、カーブ推定などでより推定精度が向上するなどの利点がある。従来の図２(b)の設定の場合、前方カーブの推定時に、遠方での測定結果がないため、カーブ形状の推定の遅延や誤差が生じ易くなっていた。図１０(b)のように均等に計測点を配置することによりカーブ形状推定を含む道路形状推定の性能向上が可能になる。
　次に、計測対象物の距離に応じた画像分解能の設定の違いに関して図１１に示す。図１１(a)では、計測対象物として路面の白線と先行車両の二つが写像されており、先行車両が注目物体として選択されている。
　図１１(a)では、注目物体が自車両から遠距離に位置するので、画像５０１の分解能を高く設定して高精細画像としている。また、図１１(b)では、注目物体が中距離に位置するので、画像５０１の分解能もやや抑えて、中精細画像としている。そして、注目物体が近距離に位置する場合には、図４(a)に示すように、通常解像度で対応し、高解像度化は実施しない。
　図１２に注目物体が複数存在した場合の対応の実施形態を示す。注目物体が複数いる場合、距離測定結果を使用しているアプリケーションの重要度に合わせて解像度を設定する。車間距離維持システムであれば、前方の車両追従が重要であるため、自車が走行中の走行レーン内の先行車が注目物体となり、分解能が決定される。
　図１２では、先行車両が複数あった場合、最後尾の先行車を注目物体とする実施形態を示している。本実施形態は一例で、実際には衝突軽減ブレーキシステムなど先行車以外でも衝突可能性のあるものがあれば、注目物体とすることが考えられる。車両制御に距離測定の結果を使う場合、物体との相対速度が重要であり、より遠方から高精度に距離測定をする本発明は有効である。
　また、ここでは、車間距離維持システムの場合を説明したが、他のシステムが動作中の場合は、そのとき動作中のシステムに応じて計測対象物の優先順位が変化する。
　図１３は、優先順位判定テーブルの一例を示す図である。計測対象物の優先順位は、動作しているシステムに応じて変化する。例えば、車間距離維持システムでは、先行車両が第１優先であるが、衝突警報システムや衝突軽減制御システムでは、相対速度がより高くなる対向車が第１優先となる。一方で、制限速度制御システムの場合は、より早く速度制限の道路標識を認識して、減速の準備が必要であり、道路標識が第１優先となる。
　このように、衝突安全性だけで優先順位を付ける以外にも、システムの稼働状況などによって優先順位が変わり、それに対応した最適な画像生成制御を行い、センシング能力を高くすることが可能となる。
　図１４を用いて、高解像度化に関する別の実施例を説明する。図１４の実施例は、画像サイズを変更せずに解像度を上げる方式の形態を示している。画像生成部２０は、図１４(a)に示した太い実線で示した台形領域１２０１を図１２(b)で示す矩形領域１２０２に変形する処理を行う。この処理を行うことにより、結果的に遠距離領域では拡大率が大きくなり解像度を上げたことと同じ効果が得られる。また、この方法は、変換後の画像サイズ（Lx×Ly）が一定であるため、計測対象物や高解像度領域５０１の解像度に無関係に処理速度が一定になる効果がある。
　計測対象物の位置により、台形領域１２０１の上辺の長さLoを変更したり、上辺の位置を変更することで、環境の変動に追従することができる。処理時間が一定になることは、制御システムにとって重要な事項であり、図１４のように処理負荷が一定になるように変換をかけることは本発明の有効な点の一つである。図１４(b)の点線は、図１４(a)の画素の格子を意味しており、図１４（ａ）で示した変換後の画像が、図１４（ｂ）で示した変換前の画像を扇状に変形していることが分かる。
　次に、図１５を用いて他の実施例について説明する。図６では、左右のカメラ１２、１３で左右の画像を取得する度に、通常画像を用いて視差・距離計算処理S102を実行していたが、図１５に示す処理フローでは、最初のシステム実行時のみ通常画像を用いて視差・距離計算処理S１02を実施し、それ以降の繰り返し処理では、左右画像取得S111を途中に挿入し、前回の走行環境情報５０を用いて画像生成処理を行う。図１５に示す処理方法によれば、毎回の通常画像での視差・距離計算処理S102を実施不要とすることができ、画像取得後、直ぐに画像生成S104に移行し、画像生成を行うことができる。
　上記構成を有するステレオカメラ装置１によれば、画像の一部領域の解像度を上げることで、マッチングブロックのサイズを変えることなく遠距離での相関値計算の安定性と、距離分解能向上とを同時に実現することができ、自車両から計測対象物までの距離を正確に算出することができる。したがって、自車両から計測対象物までの距離の情報を利用するアプリケーションでは、より正確な距離情報を利用することができ、正確で精度の高い処理を行うことができる。
［第２実施の形態］
　上記した第１実施の形態では、入力画像が遠距離の計測に十分な解像度を持っていないことを想定し、低解像度のカメラを用いても高精度かつ安定な距離計測が可能となるステレオカメラ装置について説明したが、本実施の形態では、入力画像が遠距離の計測に十分な解像度を持っている場合について説明する。
　左右のカメラ１２、１３が高解像度な画像を撮像可能な撮像素子（高精細カメラ）である場合、図１８の処理フローにおいて、高解像度の左右画像取得S101の後に低解像度化処理S112を挿入して、高解像度画像を通常画像に変換する。ここで、高解像度画像とは、遠距離領域でも十分な距離精度を算出できる解像度を持った画像を意味しており、通常画像とは、ステレオカメラ装置１がシステムに要求される処理時間以内で距離情報を算出できる画像サイズを意味している。
　最近の撮像デバイスの高解像度化に伴い、ステレオカメラ装置１でも高精細な画像（高解像度画像）を取り込む撮像デバイスの搭載が可能となっている。しかし、高解像度画像の場合、近距離での分解能は不要に高いため、解像度を減らすことが処理時間やメモリ容量の観点から有効である。本発明は、取り込んだ高解像度画像を低解像度画像に変換して、それ以後の処理を実行することが可能となり、高速処理と高精度とを両立することができる。
　図１９に高解像度化する際の画素の使用に関して説明する。本実施の形態では、既に入力時点で高解像度化された画素データが存在する。図１９の例では入力された画像が通常解像度の白丸「○」を低解像度画素と記載し、低解像度を使用する場合には使用しない白四角（□）の画素を高解像度画素と表記している。
　２倍の解像度の場合は、低解像度化によって間引かれた高解像度画素、すなわち、高精細カメラから入力された高精細な画像のもともとの画素データを復活させることで対応することができる。
　さらに４倍の解像度の場合は、高精細カメラから入力された高精細な画像を使用して補間処理を行い４倍の解像度の画像を作成することができる。黒丸（●）は、補間処理で生成される画素を意味している。
　次に、図２０、図２１を用いて本実施の形態における詳細な処理内容について説明する。例えば、図４や図１１に示すように、画像５００において、計測対象物は、自車両から離れるほど小さくなり、自車両に接近するほど大きくなる。
　ここでは、自車両から計測対象物までの距離が予め設定された第１の基準距離よりも短いときは画像生成部で解像度が変更された各画像の一部領域の視差に基づき車両から計測対象物までの距離を算出し、車両から計測対象物までの距離が予め設定された第２の基準距離よりも長いときは画像取込部で取り込んだ各画像の視差に基づき車両から計測対象物までの距離を算出する処理が行われる。
　図２０（ａ）に示すように、計測対象物が自車両から遠方に存在している場合は、図２０（ｂ）で処理に使用する画像２００１に示すように、図２０（ａ）の高解像度画像２０００の一部領域２００２を切り出して、計測対象物に対して十分な分解能が得られる画素数で処理を行う。このとき、高解像度画像２０００は、低解像度化されておらず、計測対象が含まれる一部領域２００２を切り出してそのままの分解能で使用する。このように、一部領域２００２を切り出すことにより、処理する画素数としては、通常の解像度の画像と同様に取り扱うことができる。
　一方、図２１（ａ）に示すように、計測対象物が自車に接近している場合は、図２１（ｂ）に示すように、高解像度画像２１００の画素を間引いて低解像度化した低解像度画像２１０１を生成する。低解像度画像の生成は、単純に高解像度画像の画素を間引いて低解像度画像を生成してもよく、また、間引かれる画素のデータを合算して低解像度画像を生成してもよい。
　本実施の形態によれば、高解像度の撮像素子を使用し、計測対象物の距離に応じて処理に使用する画像の解像度を変更することができる。したがって、高解像度の撮像素子を利用して効率よく処理することができ、高性能なプロセッサを用いることなく、ステレオカメラ装置を安価に提供することができる。
　以上のように、ステレオカメラ装置１に高解像度画像を入力した場合には、解像度を低下させることで、処理時間やハードリソースを無駄に使用することなく、距離測定処理を実行することができる。
　本実施の形態では、２倍の高精細画像を想定したが、４倍、６倍などさらに高精細になった場合は、解像度を落とす度合いを強めることで対応ができる。また、図１０に示すように画像分解能を距離に応じて多段階に設定して、近距離は解像度を低下させ、遠距離は高解像度にする制御に適用すると、さらに本発明を効果的に活用することができる。
　なお、本発明は、上述の各実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。例えば、上述の各実施の形態では、示唆・距離計算処理(S102)において、マッチングブロックを使用して相関値を求めるために、横方向の一次元のスキャンが必要であると説明した。
　正確に相関値を計算するためには、基準画像のマッチングブロックと参照画像との関係は常に同一の解像度である必要があり、横方向には解像度を変更することはできない。これがこれまで説明してきた実施形態の一つの制約事項である。しかし、マッチングブロックの解像度合わせて、処理時に計算コストをかけて変換できる場合は、上記の制約を削除することができる。

Claims (13)

  1. 　二台のカメラで車両から同方向に向かって同時に撮像した二枚の画像を用いて計測対象物までの距離を計測するステレオカメラ装置であって、
    　前記二枚の画像を取り込む画像取込部と、
    　該画像取込部で取り込んだ各画像の一部領域の解像度を変更する画像生成部と、
    　該画像生成部で解像度が変更された各画像の一部領域の視差に基づき前記車両から前記一部領域に写像されている計測対象物までの距離を計算する距離計算部と、
    　を有することを特徴とするステレオカメラ装置。
  2. 　前記画像生成部は、走行環境情報に基づいて、前記各画像の一部領域の解像度を変更することを特徴とする請求項１に記載のステレオカメラ装置。
  3. 　前記走行環境情報には、前記車両から前記計測対象物までの距離の情報が含まれることを特徴とする請求項２に記載のステレオカメラ装置。
  4. 　前記走行環境情報には、前記車両の車速、前記車両と前記計測対象物との相対速度、前記車両と前記計測対象物の進行方向の少なくとも一つの情報が含まれることを特徴とする請求項２に記載のステレオカメラ装置。
  5. 　前記画像生成部は、前記車両からの距離をパラメータとして前記各画像の水平方向に区切られた領域を、前記各画像の一部領域とすることを特徴とする請求項１に記載のステレオカメラ装置。
  6. 　前記画像生成部は、前記各画像における複数の領域を、前記各画像の一部領域とすることを特徴とする請求項１に記載のステレオカメラ装置。
  7. 　前記画像生成部は、前記画像取込部で取り込んだ各画像の視差に基づき前記車両から前記計測対象物までの距離を算出し、該算出した距離に基づいて前記各画像の一部領域の解像度を変更することを特徴とする請求項１に記載のステレオカメラ装置。
  8. 　前記画像生成部は、計測対象物を含む画素数が該計測対象物の種類に応じて予め設定された画素数となるように、前記車両から前記計測対象物までの距離に基づいて前記各画像の一部領域の解像度を変更することを特徴とする請求項１に記載のステレオカメラ装置。
  9. 　前記画像生成部は、前記車両から前記計測対象物までの距離が予め設定された第１の基準距離よりも長い場合に、前記解像度を高解像度に変更することを特徴とする請求項１に記載のステレオカメラ装置。
  10. 　前記画像生成部は、垂直方向の解像度を向上させることによって、前記解像度を高解像度に変更することを特徴とする請求項９に記載のステレオカメラ装置。
  11. 　前記画像生成部は、前記一部領域に複数の計測対象物が写像されている場合に、予め設定された優先順位に基づいて最優先の計測対象物を選択し、該選択した計測対象物の情報に基づいて前記各画像の一部領域の解像度を決定することを特徴とする請求項１に記載のステレオカメラ装置。
  12. 　前記画像生成部は、前記各画像の一部領域の画像サイズが変更前と同一となるように、前記一部領域の形状を変形する処理を行うことを特徴とする請求項１に記載のステレオカメラ装置。
  13. 　該画像取込部で取り込んだ各画像の解像度を低下させる低解像度化手段を有し、
    　前記距離計算部は、前記車両から前記計測対象物までの距離が予め設定された第１の基準距離よりも短いときは前記画像生成部で解像度が変更された各画像の一部領域の視差に基づき前記車両から前記計測対象物までの距離を算出し、前記車両から前記計測対象物までの距離が予め設定された第２の基準距離よりも長いときは前記画像取込部で取り込んだ各画像の視差に基づき前記距離を算出することを特徴とする請求項１に記載のステレオカメラ装置。
PCT/JP2010/063755 2010-03-12 2010-08-13 ステレオカメラ装置 WO2011111247A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/577,712 US20120327189A1 (en) 2010-03-12 2010-08-13 Stereo Camera Apparatus
EP10847476.8A EP2546602B1 (en) 2010-03-12 2010-08-13 Stereo camera apparatus
US14/692,276 US9443313B2 (en) 2010-03-12 2015-04-21 Stereo camera apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-056199 2010-03-12
JP2010056199A JP5468426B2 (ja) 2010-03-12 2010-03-12 ステレオカメラ装置

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/577,712 A-371-Of-International US20120327189A1 (en) 2010-03-12 2010-08-13 Stereo Camera Apparatus
US14/692,276 Continuation US9443313B2 (en) 2010-03-12 2015-04-21 Stereo camera apparatus

Publications (1)

Publication Number Publication Date
WO2011111247A1 true WO2011111247A1 (ja) 2011-09-15

Family

ID=44563087

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/063755 WO2011111247A1 (ja) 2010-03-12 2010-08-13 ステレオカメラ装置

Country Status (4)

Country Link
US (2) US20120327189A1 (ja)
EP (1) EP2546602B1 (ja)
JP (1) JP5468426B2 (ja)
WO (1) WO2011111247A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150248744A1 (en) * 2012-08-31 2015-09-03 Sony Corporation Image processing device, image processing method, and information processing device
CN106463060A (zh) * 2014-05-19 2017-02-22 株式会社理光 处理装置、处理系统、处理程序和处理方法
CN109314749A (zh) * 2016-06-28 2019-02-05 索尼公司 成像设备、成像方法和程序

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11119396B1 (en) 2008-05-19 2021-09-14 Spatial Cam Llc Camera system with a plurality of image sensors
US10354407B2 (en) 2013-03-15 2019-07-16 Spatial Cam Llc Camera for locating hidden objects
US9736368B2 (en) 2013-03-15 2017-08-15 Spatial Cam Llc Camera in a headframe for object tracking
US10896327B1 (en) 2013-03-15 2021-01-19 Spatial Cam Llc Device with a camera for locating hidden object
US10585344B1 (en) 2008-05-19 2020-03-10 Spatial Cam Llc Camera system with a plurality of image sensors
JP5792662B2 (ja) * 2011-03-23 2015-10-14 シャープ株式会社 視差算出装置、距離算出装置及び視差算出方法
US8823777B2 (en) * 2011-03-30 2014-09-02 Intel Corporation Real-time depth extraction using stereo correspondence
JP5817639B2 (ja) * 2012-05-15 2015-11-18 ソニー株式会社 映像フォーマット判別装置及び映像フォーマット判別方法、並びに映像表示装置
JP6071422B2 (ja) * 2012-10-29 2017-02-01 日立オートモティブシステムズ株式会社 画像処理装置
KR101767927B1 (ko) * 2012-11-01 2017-08-17 한화테크윈 주식회사 실시간 움직임 검출 방법 및 시스템
JP5982298B2 (ja) * 2013-02-21 2016-08-31 シャープ株式会社 障害物検出装置および障害物検出方法
JP2014191485A (ja) * 2013-03-26 2014-10-06 Sharp Corp 障害物検出装置、及びそれを備えた電動車両
KR101516428B1 (ko) * 2013-12-26 2015-05-06 홍예브게니 로봇의 사물 인식 시스템
JP6547292B2 (ja) * 2014-02-05 2019-07-24 株式会社リコー 画像処理装置、機器制御システム、および画像処理プログラム
TWI489195B (zh) * 2014-02-10 2015-06-21 Etron Technology Inc 增加影像擷取系統偵測範圍的方法及其相關的影像擷取系統
JP6349774B2 (ja) * 2014-02-24 2018-07-04 株式会社リコー 画像処理装置、画像処理システム、画像処理方法
JP6467776B2 (ja) * 2014-03-13 2019-02-13 株式会社リコー 測距システム、情報処理装置、情報処理方法及びプログラム
IN2014MU01297A (ja) * 2014-04-07 2015-10-09 Tata Consultancy Services Ltd
JP6352216B2 (ja) * 2014-04-16 2018-07-04 タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ ステレオオブジェクト検出及び距離計算のためのシステム及び方法
US9754377B2 (en) * 2014-08-15 2017-09-05 Illinois Institute Of Technology Multi-resolution depth estimation using modified census transform for advanced driver assistance systems
WO2016063545A1 (ja) * 2014-10-24 2016-04-28 京セラ株式会社 ステレオカメラ装置及びステレオカメラ装置を備える車両
EP3805706B1 (en) 2014-11-05 2022-05-18 Sierra Nevada Corporation Systems and methods for generating improved environmental displays for vehicles
JP6600945B2 (ja) 2015-01-20 2019-11-06 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
EP3299240A4 (en) * 2015-05-19 2019-01-30 LG Electronics Inc. DEVICE FOR ASSISTING THE DRIVING OF A VEHICLE AND VEHICLE
JP6443247B2 (ja) * 2015-07-14 2018-12-26 株式会社デンソー 車両用表示装置
WO2017017963A1 (ja) * 2015-07-29 2017-02-02 京セラ株式会社 視差算出装置、ステレオカメラ装置、車両及び視差算出方法
CN106559614A (zh) * 2015-09-28 2017-04-05 中兴通讯股份有限公司 拍照的方法、装置及终端
US10769804B2 (en) 2015-10-22 2020-09-08 Kyocera Corporation Parallax calculation apparatus, stereo camera apparatus, vehicle, and parallax calculation method
JP6657789B2 (ja) 2015-10-29 2020-03-04 株式会社リコー 画像処理装置、撮像装置、機器制御システム、頻度分布画像生成方法、及びプログラム
US9889859B2 (en) * 2015-12-21 2018-02-13 Intel Corporation Dynamic sensor range in advanced driver assistance systems
JP6660751B2 (ja) * 2016-02-04 2020-03-11 日立オートモティブシステムズ株式会社 撮像装置
JP6936557B2 (ja) * 2016-05-16 2021-09-15 日立Astemo株式会社 探索処理装置、及びステレオカメラ装置
JP6585006B2 (ja) * 2016-06-07 2019-10-02 株式会社東芝 撮影装置および車両
EP3489928A4 (en) * 2016-07-22 2020-03-25 Hitachi Automotive Systems, Ltd. DEVICE FOR CALCULATING TRAVEL LIMITS AND DRIVING AID SYSTEM THEREFOR
WO2018030319A1 (ja) 2016-08-12 2018-02-15 パナソニックＩｐマネジメント株式会社 測距システム、および、移動体システム
KR102462502B1 (ko) * 2016-08-16 2022-11-02 삼성전자주식회사 스테레오 카메라 기반의 자율 주행 방법 및 그 장치
JP6740116B2 (ja) * 2016-12-23 2020-08-12 株式会社Ｚｍｐ 移動車両
CN108932115B (zh) * 2017-06-06 2022-08-19 北京猎户星空科技有限公司 一种视觉图像的更新方法、装置及电子设备
WO2019022910A2 (en) * 2017-07-28 2019-01-31 Qualcomm Incorporated SYSTEM AND METHOD FOR DYNAMICALLY CONTROLLING PARAMETERS FOR PROCESSING SENSOR OUTPUT DATA
US11507097B2 (en) 2018-02-05 2022-11-22 Pixart Imaging Inc. Control apparatus for auto clean machine and auto clean machine control method
JPWO2019208544A1 (ja) * 2018-04-25 2021-05-27 株式会社小糸製作所 画像処理装置、車両用灯具および画像処理方法
CN109159667A (zh) * 2018-07-28 2019-01-08 上海商汤智能科技有限公司 智能驾驶控制方法和装置、车辆、电子设备、介质、产品
JP7005458B2 (ja) * 2018-09-12 2022-01-21 株式会社東芝 画像処理装置、及び、画像処理プログラム、並びに、運転支援システム
US11518384B2 (en) * 2018-12-07 2022-12-06 Thinkware Corporation Method for displaying lane information and apparatus for executing the method
JP7283268B2 (ja) * 2019-06-28 2023-05-30 株式会社デンソー 情報処理装置及び車載システム
US20210406679A1 (en) * 2020-06-30 2021-12-30 Nvidia Corporation Multi-resolution image patches for predicting autonomous navigation paths
EP4254382A4 (en) 2020-11-27 2023-10-04 Nissan Motor Co., Ltd. VEHICLE ASSISTANCE METHOD AND VEHICLE ASSISTANCE DEVICE
US11790665B2 (en) 2021-04-29 2023-10-17 Hitachi Astemo, Ltd. Data driven dynamically reconfigured disparity map
KR102643155B1 (ko) * 2023-08-16 2024-03-05 오토아이티(주) 다목적 영상 제공용 어라운드 뷰 모니터 영상 처리 장치
KR102643152B1 (ko) * 2023-08-16 2024-03-05 오토아이티(주) 스마트 어라운드 뷰 모니터 영상 처리 장치

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09133524A (ja) 1995-11-10 1997-05-20 Nippon Soken Inc 距離計測装置
JP2001266128A (ja) * 2000-03-21 2001-09-28 Nippon Telegr & Teleph Corp <Ntt> 奥行き情報取得方法，装置および奥行き情報取得プログラムを記録した記録媒体
JP2004245701A (ja) * 2003-02-14 2004-09-02 Toyota Central Res & Dev Lab Inc 距離分布検知装置
JP2006038578A (ja) * 2004-07-26 2006-02-09 Toyota Motor Corp 物体検出装置
JP2008090583A (ja) 2006-10-02 2008-04-17 Konica Minolta Holdings Inc 情報処理システム、プログラムおよび情報処理方法
JP2008298532A (ja) * 2007-05-30 2008-12-11 Konica Minolta Holdings Inc 障害物計測方法、障害物計測装置及び障害物計測システム
JP2008298533A (ja) * 2007-05-30 2008-12-11 Konica Minolta Holdings Inc 障害物計測方法、障害物計測装置及び障害物計測システム
JP2009136968A (ja) * 2007-12-06 2009-06-25 Honda Motor Co Ltd 移動型ロボット
JP2009146217A (ja) * 2007-12-14 2009-07-02 Hitachi Ltd ステレオカメラ装置
JP2010021730A (ja) 2008-07-09 2010-01-28 Canon Inc 画像処理装置及び画像処理方法ならびにプログラム
JP2010056199A (ja) 2008-08-27 2010-03-11 Fujifilm Corp 研磨用組成物及びそれを用いた研磨方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000283754A (ja) * 1999-03-31 2000-10-13 Seiko Precision Inc センサシステム
JP2001126065A (ja) * 1999-10-26 2001-05-11 Toyota Central Res & Dev Lab Inc 距離分布検知装置
US8134637B2 (en) * 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
JP4394487B2 (ja) * 2004-03-05 2010-01-06 富士重工業株式会社 ステレオ画像処理装置
JP2006318272A (ja) * 2005-05-13 2006-11-24 Nissan Motor Co Ltd 車両用物体検出装置、および方法
JP2008039491A (ja) * 2006-08-02 2008-02-21 Fuji Heavy Ind Ltd ステレオ画像処理装置
US20120078684A1 (en) * 2010-09-28 2012-03-29 Giuliano Maciocci Apparatus and method for representing a level of interest in an available item

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09133524A (ja) 1995-11-10 1997-05-20 Nippon Soken Inc 距離計測装置
JP2001266128A (ja) * 2000-03-21 2001-09-28 Nippon Telegr & Teleph Corp <Ntt> 奥行き情報取得方法，装置および奥行き情報取得プログラムを記録した記録媒体
JP2004245701A (ja) * 2003-02-14 2004-09-02 Toyota Central Res & Dev Lab Inc 距離分布検知装置
JP2006038578A (ja) * 2004-07-26 2006-02-09 Toyota Motor Corp 物体検出装置
JP2008090583A (ja) 2006-10-02 2008-04-17 Konica Minolta Holdings Inc 情報処理システム、プログラムおよび情報処理方法
JP2008298532A (ja) * 2007-05-30 2008-12-11 Konica Minolta Holdings Inc 障害物計測方法、障害物計測装置及び障害物計測システム
JP2008298533A (ja) * 2007-05-30 2008-12-11 Konica Minolta Holdings Inc 障害物計測方法、障害物計測装置及び障害物計測システム
JP2009136968A (ja) * 2007-12-06 2009-06-25 Honda Motor Co Ltd 移動型ロボット
JP2009146217A (ja) * 2007-12-14 2009-07-02 Hitachi Ltd ステレオカメラ装置
JP2010021730A (ja) 2008-07-09 2010-01-28 Canon Inc 画像処理装置及び画像処理方法ならびにプログラム
JP2010056199A (ja) 2008-08-27 2010-03-11 Fujifilm Corp 研磨用組成物及びそれを用いた研磨方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2546602A4

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150248744A1 (en) * 2012-08-31 2015-09-03 Sony Corporation Image processing device, image processing method, and information processing device
US9600859B2 (en) * 2012-08-31 2017-03-21 Sony Corporation Image processing device, image processing method, and information processing device
CN106463060A (zh) * 2014-05-19 2017-02-22 株式会社理光 处理装置、处理系统、处理程序和处理方法
US10402664B2 (en) 2014-05-19 2019-09-03 Ricoh Company, Limited Processing apparatus, processing system, processing program, and processing method
CN106463060B (zh) * 2014-05-19 2020-01-10 株式会社理光 处理装置、处理系统和处理方法
CN109314749A (zh) * 2016-06-28 2019-02-05 索尼公司 成像设备、成像方法和程序
CN109314749B (zh) * 2016-06-28 2022-04-05 索尼公司 成像设备、成像方法和程序
US11425298B2 (en) 2016-06-28 2022-08-23 Sony Corporation Imaging device, imaging method, and program

Also Published As

Publication number Publication date
EP2546602A4 (en) 2014-05-14
EP2546602B1 (en) 2017-09-13
JP2011191905A (ja) 2011-09-29
US20150339825A1 (en) 2015-11-26
US9443313B2 (en) 2016-09-13
JP5468426B2 (ja) 2014-04-09
US20120327189A1 (en) 2012-12-27
EP2546602A1 (en) 2013-01-16

Similar Documents

Publication Publication Date Title
JP5468426B2 (ja) ステレオカメラ装置
JP2018532099A (ja) ローカライゼーション基準データを生成及び使用する方法及びシステム
KR20160123668A (ko) 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
KR101551026B1 (ko) 차량 검출 방법
JP6743882B2 (ja) 画像処理装置、機器制御システム、撮像装置、画像処理方法及びプログラム
EP3282389B1 (en) Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program
CN110895821B (zh) 图像处理装置、存储有图像处理程序的存储介质及驾驶支援系统
JP2008298533A (ja) 障害物計測方法、障害物計測装置及び障害物計測システム
US9813694B2 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value deriving method
JPWO2017154389A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6733302B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6543935B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP2022045947A5 (ja)
US20240144507A1 (en) Electronic device and control method
JP2014130429A (ja) 撮像装置及び立体物領域検出用プログラム
KR20190134303A (ko) 영상 인식 장치 및 그 방법
JP2017211791A (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP2013161187A (ja) 物体認識装置
JP6416654B2 (ja) 白線検出装置
JP2018146495A (ja) 物体検出装置、物体検出方法、物体検出プログラム、撮像装置、及び、機器制御システム
US20240098231A1 (en) Image processing device, image processing method, and computer-readable medium
JP2017049666A (ja) 飛び出し物体検知装置および飛び出し物体検知方法
JP2023131720A (ja) 電子機器、移動体、距離算出方法、及びコンピュータプログラム
JP2005267388A (ja) 画像処理装置
JP2013161188A (ja) 物体認識装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10847476

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13577712

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2010847476

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2010847476

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE