WO2014069169A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2014069169A1
WO2014069169A1 PCT/JP2013/077195 JP2013077195W WO2014069169A1 WO 2014069169 A1 WO2014069169 A1 WO 2014069169A1 JP 2013077195 W JP2013077195 W JP 2013077195W WO 2014069169 A1 WO2014069169 A1 WO 2014069169A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixels
reduced
parallax
block
Prior art date
Application number
PCT/JP2013/077195
Other languages
English (en)
French (fr)
Inventor
春樹 的野
裕史 大塚
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to EP13852310.5A priority Critical patent/EP2914001B1/en
Priority to US14/439,076 priority patent/US9652853B2/en
Priority to CN201380056889.9A priority patent/CN104769942B/zh
Publication of WO2014069169A1 publication Critical patent/WO2014069169A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to an image processing apparatus that performs image recognition of an object.
  • the amount of displacement of the object position between the original images, that is, the parallax is calculated based on the two original images captured by two cameras to generate a parallax image, and this parallax image
  • It is known to perform an image recognition process for recognizing a three-dimensional position of an object by using an original image and an original image for example, see Patent Document 1).
  • the parallax image may be generated on the basis of the parallax calculated by block matching in consideration of the reduction of the processing load in the image processing apparatus.
  • one parallax is calculated for each block used in block matching, that is, for each of a plurality of pixels
  • one parallax image corresponding to one piece of parallax information for each of a plurality of pixels is one for each pixel
  • the resolution apparently decreases with respect to the original image to which the luminance information is associated.
  • the processing time can be shortened by performing the image recognition processing in parallel, but the circuit configuration required for the processing becomes large or complicated.
  • the present invention has an object to provide an image processing apparatus capable of shortening the processing time required for image recognition processing of an object.
  • the image processing apparatus calculates parallax by block matching based on two original images captured by two cameras, and generates a parallax image based on the calculated parallax. Then, a reduced image in which at least one of the two original images is reduced according to the parallax image is generated, and the image recognition of the object is performed based on the parallax image and the reduced image.
  • the processing time required for the image recognition processing of an object can be shortened.
  • the image processing apparatus calculates positional deviation (parallax) of an object by block matching on a pair of images obtained by imaging an object from different positions at the same timing and at the same timing by a stereo camera, and based on the calculated parallax. It is an apparatus that calculates the three-dimensional position of an object according to a known conversion equation, that is, performs image recognition of the object.
  • This device is applied to various systems that require object recognition, such as a monitoring system that monitors the intrusion of a suspicious person, an in-vehicle system that predicts the risk of collision with an obstacle, and supports safe travel of a vehicle. It is possible.
  • FIG. 1 shows an example of an image recognition system including an image processing apparatus.
  • the image recognition system includes a stereo camera 10 including two cameras 101 and 102, a camera control unit 12 for controlling the stereo camera 10, a random access memory (RAM) 14 as a temporary storage area, programs, and various initial stages.
  • (Read Only Memory) 16 that stores values
  • a Central Processing Unit (CPU) 18 that controls the entire image recognition system
  • an external unit that outputs recognition information of an object recognized by the image recognition system to the outside of the image recognition system
  • An IF (Interface) 20 and an image processing LSI (Large Scale Integration) 22 are provided, and each component exchanges data via the communication bus 24.
  • IF Interface
  • LSI Large Scale Integration
  • the stereo camera 10 includes imaging elements 101a and 102a such as, for example, a charge coupled device (CCD) image sensor or a complementary metal oxide semiconductor (CMOS) image sensor.
  • the light incident on the imaging elements 101a and 102a is converted into an electrical signal according to the intensity.
  • the electrical signal is output to the RAM 14 or directly to the image processing LSI 22 through the communication bus 24 as original image data representing the luminance information of the imaged object.
  • the size of the original image depends on the number of pixels of the imaging elements 101a and 102a, but in the present embodiment, the size is, for example, about 10 megabytes.
  • the optical axis of this stereo camera 10 is arranged parallel to the z axis in the xz plane in the xyz coordinate system in three dimensional space, and the lenses 101b and 102b are arranged in the x axis, the light from the imaging object A is through the lens 101b of one of the cameras 101 and x-coordinate x 1 when incident on the imaging device 101a, the x coordinate x 2 when the light from the imaged object a is incident on the imaging device 102a through the lens 102b of the other cameras 102
  • of the difference between and is obtained as the disparity ⁇ .
  • the z coordinate of the imaging object A that is, the distance D from the stereo camera 10 to the imaging object A is the parallax ⁇ , the base lengths (optical axis intervals) b of the two cameras, and the lenses 101b and 102b and the imaging device 101a , 101b using the focal length f, and is obtained by the following equation.
  • a camera of “parallel stereo” in which the stereo camera 10 arranges the camera 101 and the camera 102 in parallel at the same height position with the y direction as the height direction.
  • the present invention is not limited to such an arrangement.
  • the camera control unit 12 is a control circuit that controls the camera 101 and the camera 102. Specifically, the camera control unit 12 controls so that the imaging timings of the camera 101 and the camera 102 become simultaneous. This is because when the imaging timing is different, if the position of the imaging target changes between the timings, the parallax ⁇ can not be calculated according to the latest position of the imaging target. Further, the camera control unit 12 controls so that the exposure amounts of the camera 101 and the camera 102 become equal. This is because in the block matching process described later, the matching accuracy is improved if the same imaging target is associated with the same luminance value in two original images.
  • the image processing LSI 22 is an image processing apparatus that performs image recognition of an object by inputting two pieces of original image data output from the stereo camera 10 via the communication bus 24.
  • FIG. 3 shows the contents of processing performed in the image processing LSI 22.
  • the image processing LSI 22 is configured to include correction units 26 a and 26 b, a parallax calculation unit 28, a parallax image generation unit 30, a first reduced image generation unit 32, and an image recognition unit 34.
  • the correction units 26a and 26b convert the two input original image data so that the objects captured when the two original images are arranged horizontally have the same height, and are performed by the parallax calculation unit 28. This facilitates the block matching process described later.
  • the correction data for conversion is obtained by referring to a correction data table (stored in the ROM 16) created by performing calibration in advance. In this calibration, correction data is calculated by measuring in advance various errors such as distortion of the lenses 101 b and 102 b and errors in the mounting positions and angles of the cameras 101 and 102.
  • the disparity calculating unit 28 forms disparity calculating means for calculating disparity by block matching processing based on the two original image data corrected by the correcting units 26 a and 26 b.
  • one of the original images (hereinafter referred to as “reference image”) is made to include a plurality of pixels by a first block (thick solid line in the figure) of a predetermined shape 4B, the other of the original image (hereinafter referred to as “comparison image”) is a second block (thick solid line in the figure) of the same size, shape and position as the first block.
  • the calculation method of the correlation value uses sum of absolute differences (SAD), but is not limited thereto, and any known method may be used.
  • SAD sum of absolute differences
  • a specific pixel in the first block for example, the lower left pixel
  • a specific pixel in the second block at the specified position for example, The distance to the lower left pixel
  • the same steps are performed for all the reference pixels as one step.
  • the calculated parallax ⁇ may be associated with the position of the first block or the second block when calculated, and may be temporarily stored, for example, in the RAM 14 or the like.
  • the first block and the second block are each substantially square including 16 pixels of 4 pixels in the vertical direction and 4 pixels in the horizontal direction.
  • the first block and the second block may be respectively rectangular without being limited to the size and shape. That is, in the first block and the second block, the number of pixels included in the first block and the second block is m pixels in the vertical direction and n pixels in the horizontal direction (where m and n are natural numbers of 1 or more) And, either one may be 2 or more). Further, for example, when the original image has a parallelogram shape, the first block and the second block may be formed into a parallelogram shape to include a plurality of pixel numbers.
  • the sizes of the first block and the second block used in the block matching process can be changed.
  • the CPU 18 determines that the image recognition capability of an object may be reduced due to weather conditions or the like
  • the CPU 18 causes the parallax calculator 28 to reduce the sizes of the first block and the second block. You may instruct to
  • the CPU 18 sends the disparity calculating unit 28 , And may be instructed to increase the size of the first block and the second block.
  • the parallax image generation unit 30 forms parallax image generation means for generating a parallax image based on the parallax ⁇ calculated by the parallax calculation unit 28.
  • the parallax image generation unit 30 sets one parallax ⁇ calculated by the parallax calculation unit 28 into one of the first block of the reference image or the second block of the comparison image when this is calculated.
  • a parallax image is generated by associating this with all the pixels and performing this association for all the calculated parallaxes ⁇ . For this reason, the parallax image is generated based on one of the reference image and the comparison image.
  • the association may be performed, for example, by giving one piece of hue information according to the parallax ⁇ to the entire plurality of pixels in the first block or the second block. Therefore, parallax images are associated with one parallax information for each of a plurality of pixels, and the resolution is apparently reduced with respect to an original image in which one luminance information is associated for each pixel.
  • the parallax image generation unit 30 does not calculate all of the parallax ⁇ in the parallax calculation unit 28 and then starts generation of the parallax image, but sequentially with respect to the reference image or the comparison image each time the parallax ⁇ is calculated.
  • the parallax image may be generated by correlating the parallax ⁇ . In this case, it is not necessary for the disparity calculating unit 28 to output the calculated disparity ⁇ to the RAM 14.
  • the first reduced image generation unit 32 reduces a first reduced image obtained by reducing one of the two original images converted by the correction units 26a and 26b to a block used in the block matching process of the disparity calculation unit 28.
  • the first reduced image generating unit is generated.
  • the original image to be reduced by the first reduced image generation unit 32 differs depending on whether the parallax image is generated based on the reference image or the comparison image, and the original image that has become the reference image when generated based on the reference image.
  • the original image that has become the comparison image is reduced.
  • one of two original images is reduced according to the shape of a block used in the block matching process.
  • the shape of the first block and the second block is square or rectangular, and in the first block and the second block, the number of (m ⁇ n) pixels of m pixels in the vertical direction and n pixels in the horizontal direction is
  • the number of pixels in the vertical direction of the first reduced image is the number of pixels obtained by dividing the number of pixels in the vertical direction of the original image by m
  • the number of pixels in the horizontal direction of the first reduced image is the horizontal direction of the original image
  • the original image is reduced so that the number of pixels is divided by n. Thereby, the resolution of the parallax image and the resolution of the first reduced image become equal.
  • the image recognition unit 34 forms an image recognition unit that performs image recognition of an object based on the parallax image generated by the parallax image generation unit 28 and the first reduced image generated by the first reduced image generation unit 32. . More specifically, the image recognition unit 34 performs an object identification process by performing pattern matching using the luminance information of the first reduced image. The image recognition unit 34 also performs image recognition of the object by calculating the three-dimensional position of the identified object from the parallax information of the parallax image. At this time, the position of the corresponding pixel is calculated between the parallax image and the first reduced image as to which region in the parallax image the region of the object identified in the first reduced image corresponds to. The recognition information of the object obtained by the image recognition unit 34 is output to the external IF 20 via the communication bus 24.
  • the first block and the first block used in the block matching process in the parallax operation unit 28 to reduce the processing load on the image processing LSI 22. Even if the size of the two blocks is increased within the range that does not affect the image recognition capability, the resolution of the parallax image and the resolution of the first reduced image are equal, so the influence on the time taken for the image recognition processing of the image recognition unit 34 There is almost no
  • the first reduced image generation unit 32 may reduce the original image as follows. That is, when the first block and the second block are square or rectangular and the number of pixels included in the first block and the second block is m pixels in the vertical direction and n pixels in the horizontal direction, a natural number of 2 or more
  • the predetermined number k which is, the number of pixels in the vertical direction of the first reduced image becomes the number of pixels obtained by dividing the number of pixels in the vertical direction of the original image by (m ⁇ k), and the width of the first reduced image
  • the original image may be reduced so that the number of pixels in the direction becomes the number of pixels obtained by dividing the number of pixels in the horizontal direction of the original image by (n ⁇ k). Even in the case of such reduction, the processing burden of calculating the position of the corresponding pixel between the parallax image and the first reduced image is reduced as compared with the case of not reducing.
  • the image processing LSI 22 generates a cutout image partially cut out from the original image converted by at least one of the correction unit 26 a and the correction unit 26 b instead of the first reduced image generation unit 32.
  • An image generation unit may be provided.
  • In the cutout image only luminance information of only a part of the imaging range of the camera 101 or the camera 102 can be obtained as compared to the parallax image, but, for example, what is the luminance information shown in the original image in each pixel
  • An attention area may be determined by focusing on whether time change is indicated, and a cutout image according to the block shape of the first block and the second block may be generated so as to include the pixels of the attention area. Thereby, the processing load of the image recognition process in the image recognition unit 34 is reduced.
  • the original image converted by the correction unit 26b of the two correction units 26a and 26b is used to generate the first reduced image in the first reduced image generation unit 32.
  • the present invention is not limited thereto.
  • an original image converted by the correction unit 26a or two original images converted by both of the two correction units 26a and 26b may be used.
  • FIG. 5 shows the processing content of the image processing LSI 22 in the second embodiment.
  • the image processing LSI 36 adds processing by the second reduced image generation units 38a and 38b between the correction units 26a and 26b and the parallax calculation unit 28, respectively. It differs in
  • the second reduced image generating units 38a and 38b form second reduced image generating means for reducing the two original images converted by the correcting units 26a and 26b to generate two second reduced images.
  • the second reduced image generated by the second reduced image generation units 38a and 38b is used for calculation of parallax in the parallax calculation unit 28 instead of the two original images converted by the correction units 26a and 26b.
  • the second reduced image generation units 38a and 38b restore colors based on the color filter pattern, and The two original images converted by the correction units 26a and 26b are reduced according to the pattern.
  • the second reduced image generation units 38a and 38b are set to one or more predetermined
  • the number of pixels in the vertical direction of the second reduced image becomes the number of pixels obtained by dividing the number of pixels in the vertical direction of the two original images by (i ⁇ h)
  • the horizontal direction of the second reduced image The second reduced image is generated such that the number of pixels in the image is the number of pixels obtained by dividing the number of pixels in the horizontal direction of the two original images by (j ⁇ h).
  • the color filter pattern is repeated with four pixels of two pixels in the vertical direction and two pixels in the horizontal direction.
  • the second reduced image generating units 38a and 38b The number of pixels in the second reduced image is the number of pixels obtained by dividing the number of pixels in the vertical direction of the two original images by (2 ⁇ h), and the number of pixels in the horizontal direction of the second reduced image is 2 A second reduced image is generated so as to have the number of pixels obtained by dividing the number of pixels in the horizontal direction of the two original images by (2 ⁇ h).
  • an optical low pass filter inserted between the lens 101b and the imaging device 101a and between the lens 102b and the imaging device 102a becomes unnecessary, thereby reducing the manufacturing cost of the image recognition system Also contribute.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

　画像認識処理にかかる処理時間を短縮するために、２つのカメラで物体を撮像した２つの原画像に対して、補正部２６ａ，２６ｂは、２つの原画像を左右に並べた場合に同じ高さとなるように補正する。視差演算部２８は、補正された２つの原画像に基づいて、ブロックマッチング処理により視差を算出する。視差画像生成部３０は、視差演算部２８により算出された視差に基づいて視差画像を生成する。第１縮小画像生成部３２は、ブロックマッチング処理で用いられたブロックが縦方向にｍ画素かつ横方向にｎ画素の画素数を含む矩形状である場合、補正された２つの原画像のうち１つを、縦方向の画素数が１／ｍとなり、かつ、横方向の画素数が１／ｎとなるように縮小した第１縮小画像を生成する。これにより、第１縮小画像の解像度を視差画像の解像度と等しくする。そして、画像認識部３４は、視差画像と第１縮小画像とに基づいて物体の画像認識処理を行う。

Description

画像処理装置
　本発明は、物体の画像認識を行う画像処理装置に関する。
　物体の画像認識を行う画像処理装置として、２つのカメラで撮像した２つの原画像に基づいて、原画像間における物体位置のずれ量、すなわち視差を算出して視差画像を生成し、この視差画像と原画像とを用いて物体の３次元位置を認識する画像認識処理を行うものが知られている（例えば、特許文献１参照）。
特開２００９－１４６２１７号公報
　ところで、視差画像は、画像処理装置における処理負担の軽減などを考慮して、ブロックマッチングにより算出された視差に基づいて生成される場合がある。この場合、視差は、ブロックマッチングで用いられたブロックごと、すなわち複数の画素ごとに１つ算出されるので、複数の画素ごとに１つの視差情報を対応付ける視差画像は、１つの画素ごとに１つの輝度情報を対応付ける原画像に対して見かけ上解像度が低下する。
　しかしながら、視差画像の解像度が原画像の解像度と異なる場合、視差画像と原画像とを用いて行う画像認識処理において、両画像間で対応する画素の位置を毎回演算する必要があり、その分、画像認識処理にかかる時間が長くなる可能性がある。これに対し、画像認識処理を並列的に行うことで処理時間の短縮が可能であるが、処理に必要な回路構成が大型化又は複雑化してしまう。
　そこで、本発明は以上のような問題点に鑑み、物体の画像認識処理にかかる処理時間を短縮できる画像処理装置を提供することを目的とする。
　このため、本発明に係る画像処理装置は、２つのカメラで撮像した２つの原画像に基づいて、ブロックマッチングにより視差を算出し、算出された視差に基づいて視差画像を生成する。そして、２つの原画像の少なくとも１つを視差画像に合わせて縮小した縮小画像を生成し、視差画像と縮小画像とに基づいて物体の画像認識を行う。
　本発明の画像処理装置によれば、物体の画像認識処理にかかる処理時間を短縮できる。
画像認識システムの概略構成を示す説明図である。 ステレオカメラとこれによる三角測量技術を示す説明図である。 画像認識ＬＳＩにおける処理内容を示すブロック図である。 ブロックマッチング処理の方法を示し、（ａ）は基準画像における第１ブロックの設定方法であり、（ｂ）は比較画像における第２ブロックによる探索方法である。 画像認識ＬＳＩにおける別の態様による処理内容を示すブロック図である。
　以下、添付された図面を参照し、本発明を実施するための第１実施形態の一例について詳述する。
　本実施形態の画像処理装置は、ステレオカメラが同タイミングかつ異なる位置から物体を撮像して得られる一対の画像上において、物体の位置ずれ（視差）をブロックマッチングにより算出し、算出した視差に基づいて、物体の３次元位置を周知の変換式により算出する、すなわち、物体の画像認識を行う装置である。この装置は、不審者の侵入などを監視する監視システムや、障害物と衝突する危険性を予測して車両の安全走行を支援する車載システムなど、物体の認識を必要とする様々なシステムに適用可能である。
　図１は、画像処理装置を含む画像認識システムの一例を示す。
　画像認識システムは、２つのカメラ１０１，１０２で構成されるステレオカメラ１０と、ステレオカメラ１０を制御するカメラ制御部１２と、一時記憶領域であるＲＡＭ（Random Access Memory）１４と、プログラムや各種初期値を格納するＲＯＭ（Read Only Memory）１６と、画像認識システム全体の制御を行うＣＰＵ（Central Processing Unit）１８と、画像認識システムで認識した物体の認識情報を画像認識システムの外部へ出力する外部ＩＦ（Interface）２０と、画像処理ＬＳＩ（Large Scale Integration）２２と、を備え、各構成要素は通信バス２４を介してデータの授受を行う。
　ステレオカメラ１０は、図２に示すように、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子１０１ａ，１０２ａを備え、撮像対象物からレンズ１０１ｂ，１０２ｂを通して撮像素子１０１ａ，１０２ａに入射した光を、その強度に応じて電気信号に変換する。電気信号は、撮像した物体の輝度情報を表す原画像データとして、通信バス２４を介して、ＲＡＭ１４、あるいは、直接、画像処理ＬＳＩ２２へ出力される。原画像のサイズは、撮像素子１０１ａ，１０２ａの画素数にもよるが、本実施形態では、例えば、１０メガバイト程度の大きさである。
　このステレオカメラ１０の光軸を、３次元空間のｘｙｚ座標系におけるｘｚ平面でｚ軸に平行に配置し、かつ、レンズ１０１ｂ，１０２ｂをｘ軸に並べた場合、撮像対象物Ａからの光が一方のカメラ１０１のレンズ１０１ｂを通して撮像素子１０１ａに入射したときのｘ座標ｘ1と、撮像対象物Ａからの光が他方のカメラ１０２のレンズ１０２ｂを通して撮像素子１０２ａに入射したときのｘ座標ｘ2と、の差分の絶対値｜ｘ1－ｘ2｜が視差δとして得られる。そして、撮像対象物Ａのｚ座標、すなわちステレオカメラ１０から撮像対象物Ａまでの距離Ｄは、視差δ、２つのカメラの基線長（光軸間隔）ｂ、及びレンズ１０１ｂ，１０２ｂと撮像素子１０１ａ，１０１ｂとの間の焦点距離ｆを用いて、以下の式で求められる。
　　Ｄ＝ｂ×ｆ／δ
　以下、本明細書では、説明の便宜上、ｙ方向を高さ方向として、ステレオカメラ１０が、カメラ１０１及びカメラ１０２を横並びに平行で同じ高さの位置に配置する「平行等位ステレオ」のカメラを前提とするが、このような配置に限定されないことはいうまでもない。
　カメラ制御部１２は、カメラ１０１及びカメラ１０２の制御を行う制御回路である。具体的には、カメラ制御部１２は、カメラ１０１及びカメラ１０２の撮像タイミングが同時となるように制御する。これは、撮像タイミングが異なると、そのタイミング間で撮像対象物の位置が変化した場合には、視差δを撮像対象物の最新の位置に応じて算出することができないためである。また、カメラ制御部１２は、カメラ１０１及びカメラ１０２の露光量が等しくなるように制御する。これは、後述するブロックマッチング処理において、同一の撮像対象物については２つの原画像において同一の輝度値で対応付けられていると、マッチング精度が向上するからである。
　画像処理ＬＳＩ２２は、ステレオカメラ１０から出力された２つの原画像データを、通信バス２４を介して入力することにより、物体の画像認識を行う画像処理装置である。
　図３は、画像処理ＬＳＩ２２において行われる処理の内容を示す。
　画像処理ＬＳＩ２２は、補正部２６ａ，２６ｂと、視差演算部２８と、視差画像生成部３０と、第１縮小画像生成部３２と、画像認識部３４と、を含んで構成される。
　補正部２６ａ，２６ｂは、入力した２つの原画像データに対して、２つの原画像を左右に並べた場合に撮像された物体が同じ高さとなるように変換し、視差演算部２８で行われる後述のブロックマッチング処理を容易にする。変換するための補正データは、予めキャリブレーションを行うことにより作成される補正データテーブル（ＲＯＭ１６に記憶されている）を参照することで得られる。かかるキャリブレーションでは、レンズ１０１ｂ，１０２ｂの歪み、カメラ１０１，１０２の取り付け位置・角度の誤差などの各種誤差を予め計測して補正データを算出する。
　視差演算部２８は、補正部２６ａ，２６ｂで補正された２つの原画像データに基づいて、ブロックマッチング処理により視差を算出する視差演算手段をなす。
　ブロックマッチング処理は、図４（ａ）に示すように、原画像の一方（以下、「基準画像」という）を、所定形状の第１ブロック（図中の太実線）により複数の画素を含むように区切り、図４（ｂ）に示すように、原画像の他方（以下、「比較画像」という）を、第１ブロックと同じサイズ・形状・位置の第２ブロック（図中の太実線）で区切り、この第２ブロックを１画素ずつ横方向にずらして、各位置で第１ブロック内及び第２ブロック内における２つの輝度パターンについての相関値を算出し、相関値が最も低くなる、即ち、相関が最も高い位置を探索する。本実施形態において、相関値の算出方法は差分絶対値和（ＳＡＤ：Sum of Absolute Difference）を用いるが、これに限定されず、公知のあらゆる方法を用い得る。探索の結果、相関が最も高くなる位置を特定した場合には、第１ブロック内の特定の画素（例えば、左下の画素）と、特定された位置における第２ブロック内の特定の画素（例えば、左下の画素）との間の距離を視差δとして算出する。これを１つのステップとして、同様のステップを基準画素の全画素について実行する。算出された視差δは、算出されたときの第１ブロックあるいは第２ブロックの位置と関連付けられて、例えば、ＲＡＭ１４などに一時記憶されてもよい。
　図４（ａ）及び図４（ｂ）では、第１ブロック及び第２ブロックを、夫々、縦方向に４画素、かつ、横方向に４画素の１６画素を含む略正方形としているが、このようなサイズ及び形状に限定されず、第１ブロック及び第２ブロックをそれぞれ長方形にしてもよい。すなわち、第１ブロック及び第２ブロックは、第１ブロック及び第２ブロックに含まれる画素数が縦方向にｍ画素、かつ、横方向にｎ画素（ただし、ｍ及びｎは１以上の自然数であり、かつ、いずれか一方が２以上である）であってもよい。また、例えば、原画像が平行四辺形状である場合には、第１ブロック及び第２ブロックを平行四辺形状にして複数の画素数を含むようにしてもよい。
　ブロックマッチング処理において用いる第１ブロック及び第２ブロックのサイズは変更可能である。例えば、ＣＰＵ１８が、気象条件などにより物体の画像認識能力が低下するおそれがあると判断した場合には、ＣＰＵ１８は視差演算部２８に対して、第１ブロック及び第２ブロックのサイズを小さくするように指示してもよい。一方、例えば、ＣＰＵ１８が、気象条件などが画像認識能力に影響を与えるものではなく、画像処理ＬＳＩ２２の処理負担を優先させるべきであると判断した場合には、ＣＰＵ１８は視差演算部２８に対して、第１ブロック及び第２ブロックのサイズを大きくするように指示してもよい。
　視差画像生成部３０は、視差演算部２８により算出された視差δに基づいて視差画像を生成する視差画像生成手段をなす。
　視差画像生成部３０は、視差演算部２８で算出された１つの視差δを、これが算出されたときにおける、基準画像の第１ブロック内、又は比較画像の第２ブロック内のいずれか一方の複数画素全体に対応付けて、この対応付けを、算出された全ての視差δについて行うことにより視差画像を生成する。このため、視差画像は、基準画像と比較画像とのいずれか一方に基づいて生成される。対応付けは、例えば、第１ブロック内又は第２ブロック内の複数画素全体に視差δに応じた１つの色相情報を与えることで行われてもよい。したがって、視差画像は、複数の画素ごとに１つの視差情報で対応付けられ、１つの画素ごとに１つの輝度情報を対応付ける原画像に対して見かけ上解像度が低下することになる。
　なお、視差画像生成部３０は、視差演算部２８において視差δを全て算出してから視差画像の生成を開始するのではなく、視差δが算出される都度、順次、基準画像あるいは比較画像に対して視差δの対応付けを行うことにより視差画像を生成してもよい。この場合、視差演算部２８は、算出した視差δをＲＡＭ１４に出力する必要がなくなる。
　第１縮小画像生成部３２は、補正部２６ａ，２６ｂで変換された２つの原画像のうち一方を、視差演算部２８のブロックマッチング処理で用いられたブロックに合わせて縮小した第１縮小画像を生成する第１縮小画像生成手段をなす。
　第１縮小画像生成部３２において縮小する原画像は、視差画像が基準画像及び比較画像のいずれに基づいて生成されたかにより異なり、基準画像を基礎として生成した場合には、基準画像となった原画像を縮小し、比較画像を基礎として生成した場合には、比較画像となった原画像を縮小する。
　縮小の方法としては、２つの原画像のうち一方をブロックマッチング処理で用いられたブロックの形状に応じて縮小する。例えば、第１ブロック及び第２ブロックの形状が正方形又は長方形であり、第１ブロック及び第２ブロックに、縦方向にｍ画素、かつ、横方向にｎ画素の（ｍ×ｎ）の画素数が含まれる場合、第１縮小画像の縦方向の画素数が原画像の縦方向の画素数をｍで除算した画素数となり、かつ、第１縮小画像の横方向の画素数が原画像の横方向の画素数をｎで除算した画素数となるように、原画像を縮小する。これにより、視差画像の解像度と第１縮小画像の解像度が等しくなる。
　画像認識部３４は、視差画像生成部２８で生成された視差画像と、第１縮小画像生成部３２で生成された第１縮小画像と、に基づいて物体の画像認識を行う画像認識手段をなす。より具体的には、画像認識部３４は、第１縮小画像の輝度情報を用いてパターンマッチングをすることにより物体の識別処理を行う。また、画像認識部３４は、識別された物体の３次元位置を視差画像の視差情報から算出することにより、物体の画像認識を行う。このとき、第１縮小画像において識別された物体の領域が視差画像においてどの領域に相当するのか、視差画像と第１縮小画像との間で、対応する画素の位置を算出する。なお、画像認識部３４で得られた物体の認識情報は、通信バス２４を介して外部ＩＦ２０に出力される。
　このような画像処理ＬＳＩ２２によれば、視差画像の解像度と第１縮小画像の解像度が等しくなるため、画像認識部３４において、視差画像と第１縮小画像との間で対応する画素の位置を全て画素について演算する必要がなくなり、その分、画像認識処理にかかる時間を短縮できる。
　また、ステレオカメラ１０の解像度が高くなることにより原画像データのサイズが大きくなった場合、画像処理ＬＳＩ２２における処理負担を軽減すべく、視差演算部２８におけるブロックマッチング処理で用いられる第１ブロック及び第２ブロックのサイズを、画像認識能力に影響を与えない範囲で大きくしても、視差画像の解像度と第１縮小画像の解像度が等しいため、画像認識部３４の画像認識処理にかかる時間に与える影響が殆どない。
　なお、ＲＡＭ１４の容量に余裕があり、解像度の高い画像を保存できる場合には、第１縮小画像生成部３２において、原画像を次のように縮小してもよい。すなわち、第１ブロック及び第２ブロックが正方形又は長方形であり、第１ブロック及び第２ブロックに含まれる画素数が縦方向にｍ画素、かつ、横方向にｎ画素である場合、２以上の自然数である所定数ｋを用いることにより、第１縮小画像の縦方向の画素数が原画像の縦方向の画素数を（ｍ×ｋ）で除算した画素数となり、かつ、第１縮小画像の横方向の画素数が原画像の横方向の画素数を（ｎ×ｋ）で除算した画素数となるように、原画像を縮小してもよい。このように縮小した場合でも、視差画像と第１縮小画像との間で対応する画素の位置を演算する処理負担は、縮小しない場合に比べ軽減される。
　前述の実施形態において、画像処理ＬＳＩ２２は、第１縮小画像生成部３２に代えて、補正部２６ａ及び補正部２６ｂの少なくとも一方で変換された原画像から部分的に切り出した切出し画像を生成する切出し画像生成部を備えていてもよい。切出し画像では、視差画像と比較すると、カメラ１０１又はカメラ１０２による撮像範囲のうち一部だけの輝度情報しか得られないが、例えば、原画像に示された輝度情報が、各画素でどのような時間変化を示しているかに着目することにより、注目領域を決定し、この注目領域の画素を含むように、第１ブロック及び第２ブロックのブロック形状に応じた切出し画像を生成してもよい。これにより、画像認識部３４における画像認識処理の処理負担が軽減される。
　また、前述の実施形態において、２つの補正部２６ａ，２６ｂのうち補正部２６ｂで変換された原画像を第１縮小画像生成部３２における第１縮小画像の生成に用いたが、これに限られず、補正部２６ａで変換された原画像、あるいは２つの補正部２６ａ，２６ｂの両方で変換された２つの原画像を用いてもよい。
　次に、本発明を実施するための第２実施形態の一例について説明する。なお、第１実施形態と同一構成については、同一符号を付すことでその説明を省略又は簡潔にする。
　図５は、第２実施形態における画像処理ＬＳＩ２２の処理内容を示す。
　第２実施形態における画像処理ＬＳＩ３６は、第１実施形態と比較すると、補正部２６ａ，２６ｂと視差演算部２８との間に、夫々、第２縮小画像生成部３８ａ，３８ｂによる処理が追加されている点で異なる。
　第２縮小画像生成部３８ａ，３８ｂは、補正部２６ａ，２６ｂで変換された２つの原画像を夫々縮小して２つの第２縮小画像を生成する第２縮小画像生成手段をなす。第２縮小画像生成部３８ａ，３８ｂで生成された第２縮小画像は、補正部２６ａ，２６ｂで変換された２つの原画像に代えて、視差演算部２８における視差の算出に用いられる。
　また、第２縮小画像生成部３８ａ，３８ｂは、２つのカメラ１０１，１０２の撮像素子１０１ａ，１０２ａが色フィルタを備えている場合、色フィルタのパターンに基づいて色を復元するとともに、色フィルタのパターンに応じて補正部２６ａ，２６ｂで変換された２つの原画像を縮小する。
　色フィルタのパターンが、例えば、縦方向にｉ画素、かつ、横方向にｊ画素の（ｉ×ｊ）の画素数で繰り返される場合、第２縮小画像生成部３８ａ，３８ｂは、１以上の所定数ｈを用いることにより、第２縮小画像の縦方向の画素数が２つの原画像の縦方向の画素数を（ｉ×ｈ）で除算した画素数となり、かつ、第２縮小画像の横方向の画素数が２つの原画像の横方向の画素数を（ｊ×ｈ）で除算した画素数となるように、第２縮小画像を生成する。色フィルタのパターンは、例えば、ベイヤ配列である場合には、縦方向に２画素、かつ、横方向に２画素の４画素数で繰り返されるが、この場合、第２縮小画像生成部３８ａ，３８ｂは、第２縮小画像の縦方向の画素数が２つの原画像の縦方向の画素数を（２×ｈ）で除算した画素数となり、かつ、第２縮小画像の横方向の画素数が２つの原画像の横方向の画素数を（２×ｈ）で除算した画素数となるように、第２縮小画像を生成する。
　このような第２実施形態の画像処理ＬＳＩ３８によれば、色復元処理でしばしば問題となる偽色を解消すべくステレオカメラ１０の解像度を高くしても、ステレオカメラ１０から出力された原画像のサイズは、第２縮小画像生成部３８ａ，３８ｂにおいて縮小されるため、視差演算部２８における処理負担が軽減される。
　また、偽色の発生を抑制するために、レンズ１０１ｂと撮像素子１０１ａとの間、及びレンズ１０２ｂと撮像素子１０２ａとの間に挿入される光学ローパスフィルタが不要となり、画像認識システムの製造コスト削減にも貢献する。
　１０　　　ステレオカメラ
　１０１　　カメラ
　１０２　　カメラ
　１０１ａ　撮像素子
　１０２ａ　撮像素子
　２２　　　画像処理ＬＳＩ
　２４　　　通信バス
　２８　　　視差演算部
　３０　　　視差画像生成部
　３２　　　第１縮小画像生成部
　３４　　　画像認識部
　３６ａ　　第２縮小画像生成部
　３６ｂ　　第２縮小画像生成部

Claims (8)

  1. 　２つのカメラで撮像した２つの原画像に基づいて、ブロックマッチングにより視差を算出する視差演算手段と、
    　前記視差演算手段により算出された視差に基づいて視差画像を生成する視差画像生成手段と、
    　前記２つの原画像の少なくとも１つを前記視差画像に合わせて縮小した第１縮小画像を生成する第１縮小画像生成手段と、
    　前記視差画像と前記第１縮小画像とに基づいて前記物体の画像認識を行う画像認識手段と、
    を含んで構成されることを特徴とする画像処理装置。
  2. 　前記第１縮小画像生成手段は、前記２つの原画像の少なくとも１つを前記ブロックマッチングで用いられたブロックの形状に応じて縮小することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記ブロックの形状は、正方形又は長方形であることを特徴とする請求項２に記載の画像処理装置。
  4. 　前記第１縮小画像生成手段は、前記ブロックに含まれる画素数が縦方向にｍ画素、かつ、横方向にｎ画素である場合、１以上の自然数である所定数ｋを用いることにより、前記第１縮小画像の縦方向の画素数が前記２つの原画像の縦方向の画素数を（ｍ×ｋ）で除算した画素数となり、かつ、前記第１縮小画像の横方向の画素数が前記２つの原画像の横方向の画素数を（ｎ×ｋ）で除算した画素数となるように、前記第１縮小画像を生成することを特徴とする請求項３に記載の画像処理装置。
  5. 　前記所定数ｋは１であることを特徴とする請求項４に記載の画像処理装置。
  6. 　前記２つの原画像を夫々縮小して２つの第２縮小画像を生成する第２縮小画像生成手段を更に含んで構成され、
    　前記２つの第２縮小画像は、前記２つの原画像に代えて、前記視差演算手段における視差の算出に用いられることを特徴とする請求項１～請求項５のいずれか１つに記載の画像処理装置。
  7. 　前記第２縮小画像生成手段は、前記２つのカメラの撮像素子が色フィルタを備えている場合、前記色フィルタのパターンに基づいて色を復元するとともに、前記色フィルタのパターンに応じて前記２つの原画像を縮小することを特徴とする請求項６に記載の画像処理装置。
  8. 　前記第２縮小画像生成手段は、前記色フィルタのパターンが縦方向にｉ画素、かつ、横方向にｊ画素の画素数で繰り返される場合、１以上の所定数ｈを用いることにより、前記第２縮小画像の縦方向の画素数が前記２つの原画像の縦方向の画素数を（ｉ×ｈ）で除算した画素数となり、かつ、前記第２縮小画像の横方向の画素数が前記２つの原画像の横方向の画素数を（ｊ×ｈ）で除算した画素数となるように、前記第２縮小画像を生成することを特徴とする請求項７に記載の画像処理装置。
PCT/JP2013/077195 2012-10-29 2013-10-07 画像処理装置 WO2014069169A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP13852310.5A EP2914001B1 (en) 2012-10-29 2013-10-07 Image processing device
US14/439,076 US9652853B2 (en) 2012-10-29 2013-10-07 Image processing device
CN201380056889.9A CN104769942B (zh) 2012-10-29 2013-10-07 图像处理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-237591 2012-10-29
JP2012237591A JP6071422B2 (ja) 2012-10-29 2012-10-29 画像処理装置

Publications (1)

Publication Number Publication Date
WO2014069169A1 true WO2014069169A1 (ja) 2014-05-08

Family

ID=50627085

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/077195 WO2014069169A1 (ja) 2012-10-29 2013-10-07 画像処理装置

Country Status (4)

Country Link
US (1) US9652853B2 (ja)
EP (1) EP2914001B1 (ja)
JP (1) JP6071422B2 (ja)
WO (1) WO2014069169A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109313808A (zh) * 2016-08-18 2019-02-05 麦克赛尔株式会社 图像处理系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101882931B1 (ko) * 2014-07-10 2018-07-30 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그의 디스패리티 측정 방법
DE102015112289A1 (de) * 2015-07-28 2017-02-02 Valeo Schalter Und Sensoren Gmbh Verfahren zum Identifizieren eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
JP6853928B2 (ja) * 2016-11-10 2021-04-07 株式会社金子製作所 三次元動画像表示処理装置、並びにプログラム
JP2018207259A (ja) * 2017-06-01 2018-12-27 マクセル株式会社 ステレオ撮像装置
KR20190013224A (ko) * 2017-08-01 2019-02-11 엘지전자 주식회사 이동 단말기
JP2022053086A (ja) * 2020-09-24 2022-04-05 トヨタ自動車株式会社 自己位置推定システム及び自己位置推定方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009122842A (ja) * 2007-11-13 2009-06-04 National Institute Of Information & Communication Technology 設定パラメータ最適化装置およびそのプログラム
JP2009146217A (ja) 2007-12-14 2009-07-02 Hitachi Ltd ステレオカメラ装置
WO2009101798A1 (ja) * 2008-02-12 2009-08-20 Panasonic Corporation 複眼撮像装置、測距装置、視差算出方法及び測距方法
JP2012150614A (ja) * 2011-01-18 2012-08-09 Nagoya Univ 自由視点画像生成装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69417824D1 (de) * 1993-08-26 1999-05-20 Matsushita Electric Ind Co Ltd Stereoskopischer Abtastapparat
US6384859B1 (en) * 1995-03-29 2002-05-07 Sanyo Electric Co., Ltd. Methods for creating an image for a three-dimensional display, for calculating depth information and for image processing using the depth information
JP2003150936A (ja) 2001-11-08 2003-05-23 Fuji Heavy Ind Ltd 画像処理装置および画像処理方法
JP4275378B2 (ja) * 2002-09-27 2009-06-10 富士重工業株式会社 ステレオ画像処理装置およびステレオ画像処理方法
WO2010146844A1 (ja) * 2009-06-19 2010-12-23 パナソニック株式会社 消耗電極式アーク溶接方法および消耗電極式アーク溶接装置
JP5468426B2 (ja) * 2010-03-12 2014-04-09 日立オートモティブシステムズ株式会社 ステレオカメラ装置
US9087375B2 (en) * 2011-03-28 2015-07-21 Sony Corporation Image processing device, image processing method, and program
JP5622648B2 (ja) * 2011-04-14 2014-11-12 日立オートモティブシステムズ株式会社 画像処理装置
JP5762211B2 (ja) * 2011-08-11 2015-08-12 キヤノン株式会社 画像処理装置および画像処理方法、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009122842A (ja) * 2007-11-13 2009-06-04 National Institute Of Information & Communication Technology 設定パラメータ最適化装置およびそのプログラム
JP2009146217A (ja) 2007-12-14 2009-07-02 Hitachi Ltd ステレオカメラ装置
WO2009101798A1 (ja) * 2008-02-12 2009-08-20 Panasonic Corporation 複眼撮像装置、測距装置、視差算出方法及び測距方法
JP2012150614A (ja) * 2011-01-18 2012-08-09 Nagoya Univ 自由視点画像生成装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2914001A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109313808A (zh) * 2016-08-18 2019-02-05 麦克赛尔株式会社 图像处理系统

Also Published As

Publication number Publication date
CN104769942A (zh) 2015-07-08
JP2014090233A (ja) 2014-05-15
US9652853B2 (en) 2017-05-16
EP2914001A9 (en) 2016-03-02
EP2914001A4 (en) 2016-07-06
US20150310621A1 (en) 2015-10-29
JP6071422B2 (ja) 2017-02-01
EP2914001A1 (en) 2015-09-02
EP2914001B1 (en) 2019-08-14

Similar Documents

Publication Publication Date Title
WO2014069169A1 (ja) 画像処理装置
EP1343332B1 (en) Stereoscopic image characteristics examination system
JP7038345B2 (ja) カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置
US7092015B1 (en) Apparatus and method for stereo matching and method of calculating an infinite distance corresponding point
JP6417886B2 (ja) 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム
JP6044868B2 (ja) ステレオカメラキャリブレーション装置及び方法、並びに距離測定装置
JP6970577B2 (ja) 周辺監視装置および周辺監視方法
CN108496056B (zh) 摄像装置
KR20150101749A (ko) 객체의 3차원 형상을 산출하는 장치 및 방법
JP6975003B2 (ja) 周辺監視装置およびその校正方法
JP5365387B2 (ja) 位置検出装置
CN110580718B (zh) 图像装置的校正方法及其相关图像装置和运算装置
CN114424516A (zh) 图像处理装置、图像处理方法、摄像装置和程序
JP3599255B2 (ja) 車両用環境認識装置
JP5487946B2 (ja) カメラ画像の補正方法およびカメラ装置および座標変換パラメータ決定装置
WO2019058729A1 (ja) ステレオカメラ
CN111179180A (zh) 影像的修正方法及其装置
EP3564747A1 (en) Imaging device and imaging method
US10726528B2 (en) Image processing apparatus and image processing method for image picked up by two cameras
JP6241083B2 (ja) 撮像装置及び視差検出方法
CN104769942B (zh) 图像处理装置
JP2007114923A (ja) 画像処理装置及び画像処理方法
WO2023067867A1 (ja) 車載制御装置、および、３次元情報取得方法
JP2018170666A (ja) カメラシステムおよびカメラのキャリブレーション方法
JP6626737B2 (ja) ステレオカメラ装置および車両

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13852310

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2013852310

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14439076

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE