KR20140032283A - Method and apparatus for processing stereo images - Google Patents

Method and apparatus for processing stereo images Download PDF

Info

Publication number
KR20140032283A
KR20140032283A KR1020120098990A KR20120098990A KR20140032283A KR 20140032283 A KR20140032283 A KR 20140032283A KR 1020120098990 A KR1020120098990 A KR 1020120098990A KR 20120098990 A KR20120098990 A KR 20120098990A KR 20140032283 A KR20140032283 A KR 20140032283A
Authority
KR
South Korea
Prior art keywords
image
stereo
camera
slope
vehicle
Prior art date
Application number
KR1020120098990A
Other languages
Korean (ko)
Other versions
KR101907852B1 (en
Inventor
김주영
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020120098990A priority Critical patent/KR101907852B1/en
Priority to CN201310380608.7A priority patent/CN103686126B/en
Publication of KR20140032283A publication Critical patent/KR20140032283A/en
Application granted granted Critical
Publication of KR101907852B1 publication Critical patent/KR101907852B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a stereo image processing method and an apparatus thereof for performing an efficient stereo matching regarding a stereo image. By the present invention, the stereo image processing apparatus of a vehicle includes: a stereo camera including a first camera and a second camera which obtain a stereo image; and a stereo matching unit which performs a stereo matching by using the stereo image. The stereo matching unit performs a parallelization between a first image of the first camera and a second image of the second camera by using a maximum slope between the first camera and the second camera, which is set in consideration of the state of the vehicle. [Reference numerals] (122) Pixel extracting unit; (124) Specific point matching unit; (126) Slope calculating unit; (128) Image converting unit; (130) Storage unit; (140) Electronic control device

Description

스테레오 영상 처리 방법 및 장치 {Method and Apparatus for Processing Stereo Images}Stereo Image Processing Method and Apparatus {Method and Apparatus for Processing Stereo Images}

본 발명은 스테레오 영상 처리 방법 및 장치에 대한 것이다. 더욱 상세하게는 본 발명은, 스테레오 영상에 대한 스테레오 매칭을 효율적으로 수행하도록 하는 스테레오 영상 처리 방법 및 장치에 대한 것이다. The present invention relates to a stereo image processing method and apparatus. More particularly, the present invention relates to a stereo image processing method and apparatus for efficiently performing stereo matching on a stereo image.

복수의 카메라로부터 획득된 영상을 이용하여 영상 내에 포함된 특정 지점까지의 거리를 산출하는 방법이 알려져 있다. 그 대표적인 방법으로서 스테레오 매칭(stereo matching)은 어느 하나의 카메라로부터 획득된 영상에서의 임의의 패턴을 삼차원 공간상의 같은 지점으로 매핑되는 다른 카메라의 영상에서 찾아내고, 그 패턴의 대응 관계와 삼각 기법을 이용하여 삼차원 공간상의 위치를 알아낸다. 여기서 상기 패턴은 영상에서의 픽셀, 윈도우 블록이나 feature(edge, 궤적) 등 다양한 요소들일 수 있다. A method of calculating a distance to a specific point included in an image by using images acquired from a plurality of cameras is known. As a representative method, stereo matching finds an arbitrary pattern in an image obtained from one camera from an image of another camera mapped to the same point in three-dimensional space, and finds a correspondence of the pattern and a trigonometric technique. To find the location in three-dimensional space. The pattern may be various elements such as pixels, window blocks, or features (edges, trajectories) in the image.

도 1은 스테레오 매칭 기법을 이용하여 거리를 산출하는 예를 설명하기 위한 도면이다. 1 is a view for explaining an example of calculating a distance using a stereo matching technique.

임의의 베이스라인(b)의 거리를 두고 배치된 두 대의 카메라를 통해 촬영된 두 개 영상에서 피사체 간 거리차(변위, disparity)를 구하고, 렌즈의 초점 거리(f)를 알면 카메라로부터 피사체 사이의 거리는 도 1의 기하학적 구조를 통해 다음의 수학식 1과 같이 얻어질 수 있다. The distance difference (disparity) between the subjects is obtained from two images taken by two cameras arranged at a distance of an arbitrary baseline (b), and when the focal length (f) of the lens is known, The distance may be obtained as shown in Equation 1 through the geometry of FIG. 1.

Figure pat00001
Figure pat00001

수학식 1에서, r은 피사체와 카메라와의 거리, b는 두 대 카메라 사이의 베이스 라인의 거리, f는 카메라 렌즈의 초점 거리이고, d는 두 개 영상에 맺인 동일 피사체 사이의 거리차(disparity)로서 dl-dr이다. In Equation 1, r is a distance between a subject and a camera, b is a distance of a baseline between two cameras, f is a focal length of a camera lens, and d is a distance between the same subjects of two images. ) Is d l -d r .

위와 같은 스테레오 매칭을 수행함에 있어서, 두 개의 영상에서 특정 피사체에 관한 패턴은 수직 방향으로는 같은 선상에 존재하는 것으로 전제(즉, 수평 방향으로의 disparity만 있다고 가정)된다. 이에 따라 두 개의 영상에서 대응되는 점을 수평 방향으로 동일 선상에서 탐색한다. 이를 위해, 두 개의 영상에서의 에피폴라(epipolar) 라인은 일치되어야 하며, 이러한 작업을 rectification이라 한다. 일반적인 경우, 영상 내의 특징점(feature)을 탐색하여 좌우 영상간의 기울기 또는 왜곡 정도를 판단한 후 회전/보정 매트릭스(matrix)를 이용하여 영상을 보정한다. In performing the stereo matching as described above, it is assumed that a pattern regarding a specific subject in two images is present on the same line in the vertical direction (that is, there is only a disparity in the horizontal direction). Accordingly, the corresponding points in the two images are searched on the same line in the horizontal direction. For this purpose, the epipolar lines in the two images must be coincident and this operation is called rectification. In general, a feature point in an image is searched to determine the degree of inclination or distortion between left and right images, and the image is corrected using a rotation / correction matrix.

그런데, 종래 방법에 있어서는 하나의 영상을 기준으로 하여 다른 영상을 회전시킴에 따라 매칭 점이 변화하고 실제 disparity가 변화되는 문제점이 존재한다. 또한, 영상 내의 특징점을 탐색하고 기울기를 확인하는 과정에서 지연(delay)이 발생하는 문제점이 존재한다. 이러한 지연은 특히 즉시 처리가 요구되는 차량용 영상 스테레오 매칭에 있어서는 바람직하지 않다. However, in the conventional method, there is a problem that the matching point changes and the actual disparity changes as the other image is rotated based on one image. In addition, there is a problem in that a delay occurs in the process of searching for a feature point in the image and checking a slope. This delay is particularly undesirable for in-vehicle video stereo matching, which requires immediate processing.

본 발명은 상기한 문제점을 해결하기 위하여, 스테레오 카메라(110)로부터의 영상에 대한 스테레오 매칭을 위하여 영상을 평행화(rectification)하는 과정에서 오류를 최소화하고, 특히 차량에 적용되는 스테레오 카메라에 대하여 효과적으로 적용될 수 있는 스테레오 영상 처리 방법을 제공하는 것을 목적으로 한다. In order to solve the above problems, the present invention minimizes errors in the process of parallelizing an image for stereo matching with respect to the image from the stereo camera 110, and is particularly effective for a stereo camera applied to a vehicle. It is an object of the present invention to provide a stereo image processing method that can be applied.

또한, 본 발명은 상기와 같은 스테레오 영상 처리 방법을 수행하는 스테레오 영상 처리 장치를 제공하는 것을 목적으로 한다. In addition, an object of the present invention is to provide a stereo image processing apparatus for performing the stereo image processing method as described above.

본 발명은, 차량의 스테레오 영상을 처리하는 장치에 있어서, 스테레오 영상을 취득하는 제 1 카메라와 제 2 카메라를 포함하는 스테레오 카메라; 및 상기 스테레오 영상을 이용하여 스테레오 매칭을 수행하는 스테레오 매칭부를 포함하며, 상기 스테레오 매칭부는 상기 차량의 상태를 고려하여 설정된 상기 제 1 카메라와 상기 제 2 카메라 간의 최대 기울기를 이용하여 상기 제 1 카메라의 제 1 영상과 상기 제 2 카메라의 제 2 영상간의 평행화를 수행하는 것을 특징으로 하는 스테레오 영상 처리 장치를 제공한다. The present invention provides a device for processing a stereo image of a vehicle, comprising: a stereo camera including a first camera and a second camera for acquiring a stereo image; And a stereo matching unit configured to perform stereo matching using the stereo image, wherein the stereo matching unit uses a maximum slope between the first camera and the second camera set in consideration of the state of the vehicle. Provided is a stereo image processing apparatus, characterized in that parallelization between a first image and a second image of the second camera is performed.

일 실시예에 있어서, 상기 스테레오 매칭부는, 상기 최대 기울기를 이용하여 상기 제 1 영상과 상기 제 2 영상으로부터 상기 평행화를 위한 제 1 추출영역 및 제 2 추출영역을 각각 추출하는 픽셀 추출부; 상기 제 1 추출영역과 상기 제 2 추출영역에서 대응되는 특징점을 추출하는 특징점 매칭부; 상기 특징점을 이용하여 상기 제 1 추출영역과 상기 제 2 추출영역 간의 기울기를 산출하는 기울기 산출부; 및 상기 기울기를 이용하여 상기 제 1 영상 및 상기 제 2 영상을 평행화하고 최종 스테레오 매칭을 수행하는 영상 변환부를 포함하여 구성될 수 있다. The stereo matching unit may further include: a pixel extracting unit configured to extract a first extraction region and a second extraction region for the parallelization from the first image and the second image using the maximum slope; A feature point matching unit configured to extract corresponding feature points from the first extraction area and the second extraction area; A slope calculator configured to calculate a slope between the first extraction area and the second extraction area by using the feature point; And an image converter configured to parallelize the first image and the second image by using the inclination and perform final stereo matching.

또한, 상기 제 1 추출영역은 상기 제 1 영상에서 세로 방향으로 X번째 행을 추출될 수 있다. In addition, the first extraction region may extract an X-th row in the vertical direction from the first image.

또한, 상기 제 2 추출영역은 상기 제 2 영상에서 상기 최대 기울기를 고려하여 상기 X번째 행을 포함한 복수의 행을 추출한 것일 수 있다. The second extraction region may be a plurality of rows including the X-th row in consideration of the maximum slope in the second image.

또한, 본 발명은, 차량의 스테레오 영상 처리 방법에 있어서, (a) 차량의 스테레오 카메라로부터 제 1 영상 및 제 2 영상을 취득하는 단계; (b) 스테레오 매칭부의 픽셀추출부에서 상기 차량의 상태를 고려하여 설정된 상기 제 1 카메라와 상기 제 2 카메라 간의 최대 기울기를 이용하여 상기 제 1 영상과 제 2 영상에서 소정 영역을 제 1 추출영역 및 제 2 추출영역으로 추출하는 단계; (c) 상기 스테레오 매칭부에서 상기 제 1 추출영역 및 상기 제 2 추출영역에서 대응되는 특징점을 산출하고 상기 제 1 영상 및 상기 제 2 영상 간의 기울기를 산출하는 단계; 및 (d) 상기 스테레오 매칭부에서 상기 기울기를 이용하여 상기 제 1 영상 및 상기 제 2 영상을 평행화하고 최종 스테레오 매칭을 수행하는 단계를 포함하는 스테레오 영상 처리 방법을 제공한다. The present invention also provides a method for processing a stereo image of a vehicle, comprising: (a) acquiring a first image and a second image from a stereo camera of the vehicle; (b) a predetermined region is extracted from the first image and the second image using a maximum slope between the first camera and the second camera set in consideration of the state of the vehicle in the pixel extracting unit of the stereo matching unit; Extracting to a second extraction region; calculating a corresponding feature point in the first extraction area and the second extraction area by the stereo matching unit and calculating a slope between the first image and the second image; And (d) parallelizing the first image and the second image by using the slope in the stereo matching unit and performing a final stereo matching.

본 발명에 따르면, 차량의 스테레오 카메라로부터 취득된 영상에 대하여 스테레오 매칭을 수행함에 있어서, 스테레오 영상 간의 평행화 과정을 영상의 전체 영역이 아니라 차량이라는 특수한 환경을 고려하여 영상의 일부 영역만을 대상으로 수행함에 따라 처리 시간을 단축하고 시스템을 단순화할 수 있는 효과가 있다. According to the present invention, in performing stereo matching on an image acquired from a stereo camera of a vehicle, the parallelization process between stereo images is performed on only a partial region of the image in consideration of a special environment such as a vehicle, not an entire region of the image. This can shorten the processing time and simplify the system.

도 1은 스테레오 매칭 기법을 이용하여 거리를 산출하는 예를 설명하기 위한 도면이다.
도 2는 본 발명의 바람직한 실시예에 따른 스테레오 영상 처리 장치의 블록도이다.
도 3은 본 발명의 바람직한 실시예에 따른 스테레오 영상 처리 장치에 있어서 스테레오 영상의 처리예를 도시한 도면이다.
도 4는 본 발명의 바람직한 실시예에 따른 스테레오 영상 처리 방법을 도시한 순서도이다. 1 is a view for explaining an example of calculating a distance using a stereo matching technique.
2 is a block diagram of a stereo image processing apparatus according to a preferred embodiment of the present invention.
3 is a diagram illustrating an example of processing a stereo image in the stereo image processing apparatus according to the preferred embodiment of the present invention.
4 is a flowchart illustrating a stereo image processing method according to a preferred embodiment of the present invention.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to designate the same or similar components throughout the drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, the preferred embodiments of the present invention will be described below, but it is needless to say that the technical idea of the present invention is not limited thereto and can be variously modified by those skilled in the art.

도 2는 본 발명의 바람직한 실시예에 따른 스테레오 영상 처리 장치의 블록도이고, 도 3은 본 발명의 바람직한 실시예에 따른 스테레오 영상 처리 장치에 있어서 스테레오 영상의 처리예를 도시한 도면이다. 2 is a block diagram of a stereo image processing apparatus according to a preferred embodiment of the present invention, and FIG. 3 is a diagram illustrating an example of processing a stereo image in the stereo image processing apparatus according to the preferred embodiment of the present invention.

본 발명의 바람직한 실시예에 따른 스테레오 영상 처리 장치(100)는, 차량에 구비되는 스테레오 카메라(110)와, 스테레오 매칭부(120)와, 저장부(130)를 포함한다. 또한, 상기 스테레오 영상 처리 장치는 스테레오 영상을 이용하여 차량의 각종 제어를 수행하는 전자제어장치(140)(ECU)와 연결될 수 있다. The stereo image processing apparatus 100 according to an exemplary embodiment of the present invention includes a stereo camera 110, a stereo matching unit 120, and a storage unit 130 provided in a vehicle. In addition, the stereo image processing apparatus may be connected to an electronic control unit 140 (ECU) that performs various control of the vehicle using the stereo image.

스테레오 카메라(110)는 차량에 구비되며 통상적으로는 차량의 전방에 구비된다. 이러한 스테레오 카메라(110)는 제 1 카메라(110a)와 제 2 카메라(110b)를 포함하며, 상기 제 1 카메라(110a)와 제 2 카메라(110b)는 동일한 지점에 대한 영상을 취득하도록 설치될 수 있다. 다만, 본 발명의 실시에 있어서 스테레오 카메라(110)는 차량의 전방이 아니라 측방이나 후방에 설치되는 것도 가능함은 물론이다. The stereo camera 110 is provided in a vehicle and is typically provided in front of the vehicle. The stereo camera 110 includes a first camera 110a and a second camera 110b, and the first camera 110a and the second camera 110b may be installed to acquire an image of the same point. have. However, in the practice of the present invention, the stereo camera 110 may be installed at the side or the rear instead of the front of the vehicle.

일 실시예에 있어서 스테레오 매칭부(120)는, 픽셀 추출부(122), 특징점 매칭부(124), 기울기 산출부(126), 및 영상 변환부(128)를 포함한다. In an exemplary embodiment, the stereo matcher 120 includes a pixel extractor 122, a feature point matcher 124, a gradient calculator 126, and an image converter 128.

픽셀 추출부(122)는, 제 1 카메라(110a)로부터 취득한 제 1 영상(150a)과 제 2 카메라(110b)로부터 취득한 제 2 영상(150b)으로부터 매칭을 수행할 블록을 추출하는 기능을 수행한다. 도 2를 참조하면, 픽셀 추출부(122)는 차량의 운행 환경을 고려하여 제 1 카메라(110a)와 제 2 카메라(110b) 간에 발생할 수 있는 최대 기울기(A)를 설정한다. 예를 들면, 제 1 카메라(110a)와 제 2 카메라(110b)가 차량의 전방에 설치된 경우, 차량에 가해지는 충격이나 진동에 의해 제 1 카메라(110a)와 제 2 카메라(110b)가 상호 발생할 수 있는 각도차의 최대값을 최대 기울기(A)로 설정한다. 상기 최대 기울기(A)는 포장 도로에서 주행할 것으로 예상되는 승용차의 경우는 적게 설정되고, 비포장 도로에서 주행할 것으로 예상되는 오프로드 차량의 경우에는 크게 설정될 수 있다. 이러한 최대 기울기(A)는 차량 출고시에 설정될 수도 있으나, 차량의 실제 주행 조건으로부터 실시간으로 설정되는 것도 가능하다. The pixel extracting unit 122 performs a function of extracting a block to be matched from the first image 150a acquired from the first camera 110a and the second image 150b obtained from the second camera 110b. . Referring to FIG. 2, the pixel extracting unit 122 sets the maximum inclination A that may occur between the first camera 110a and the second camera 110b in consideration of the driving environment of the vehicle. For example, when the first camera 110a and the second camera 110b are installed in front of the vehicle, the first camera 110a and the second camera 110b may mutually occur due to the shock or vibration applied to the vehicle. Set the maximum value of the possible angle difference to the maximum slope (A). The maximum inclination A may be set less in the case of a passenger car that is expected to travel on a pavement, and may be set greatly in the case of an off-road vehicle that is expected to travel on an unpaved road. The maximum inclination A may be set at the time of shipment of the vehicle, but may also be set in real time from actual driving conditions of the vehicle.

픽셀 추출부(122)는 제 1 영상(150a)에서 수직 방향으로 X번째 픽셀의 행을 제 1 추출영역으로 추출한다. 제 1 영상(150a)과 제 2 영상(150b)이 각각 M×N의 픽셀로 이루어졌다면, 제 1 추출영역은 M×1의 픽셀을 갖게 될 것이다. The pixel extractor 122 extracts the row of the X-th pixel in the vertical direction from the first image 150a as the first extraction region. If the first image 150a and the second image 150b each consist of M × N pixels, the first extraction region will have M × 1 pixels.

한편, 제 2 영상(150b)에서는 최대 기울기(A)를 고려하면 수직 방향으로 고려할 픽셀의 수(Y)를 산출할 수 있다. 상기 Y는

Figure pat00002
와 같은 수식을 이용하여 산출할 수 있다. 픽셀 추출부(122)는 상기 Y를 고려하여 제 2 영상(150b)으로부터 ±Y에 해당하는 영역을 제 2 추출영역으로 추출한다. 제 2 추출영역은 제 2 영상(150b)의 X번째 행의 상하 Y개만큼의 영역을 포함하는 것으로서 M×(1+2Y)의 픽셀을 갖게 될 것이다. Meanwhile, in the second image 150b, when the maximum slope A is considered, the number Y of pixels to be considered in the vertical direction may be calculated. Y is
Figure pat00002
It can be calculated using the following formula. The pixel extractor 122 extracts a region corresponding to ± Y from the second image 150b as the second extraction region in consideration of the Y. The second extraction area includes up to Y areas of the X-th row of the second image 150b and may have M × (1 + 2Y) pixels.

본 발명의 실시에 있어서, 상기 X는 제 1 영상(150a)과 제 2 영상(150b)에서 세로 방향으로 중앙에 위치하는 부분으로 설정될 수 있다. 다만, 상기 X는 제 1 영상(150a) 및 제 2 영상(150b)의 세로 방향 중앙이 아니라 상하로 치우쳐 설정되는 것도 가능하다. In the embodiment of the present invention, X may be set to a portion located in the center in the vertical direction in the first image 150a and the second image 150b. However, X may be set up and down, not in the vertical center of the first image 150a and the second image 150b.

픽셀 추출부(122)에서 추출된 제 1 추출영역과 제 2 추출영역의 정보는 저장부(130)에 임시 저장될 수 있다. Information about the first extraction region and the second extraction region extracted by the pixel extraction unit 122 may be temporarily stored in the storage unit 130.

특징점 매칭부(124)는 상기 제 1 추출영역과 제 2 추출영역을 이용하여 스테레오 매칭을 수행하여 매칭되는 대칭점을 산출한다. 일례에 있어서, 특징점 매칭부(124)는 SSD(Sum of Squared Differences), SAD(Sum of Absolute Differences), 또는NCC(Normalized Cross Correlation)와 같은 스테레오 매칭 알고리즘을 이용하여 제 1 추출영역과 제 2 추출영역의 대칭점을 산출할 수 있다. 다만, 본 발명의 실시에 있어서 스테레오 매칭 알고리즘은 상기한 바에 한정되는 것은 아니며 스테레오 매칭을 위한 다른 다양한 알고리즘을 사용할 수 있다. The feature point matching unit 124 performs stereo matching using the first extraction area and the second extraction area to calculate a matching symmetric point. In one example, the feature point matching unit 124 extracts the first extraction area and the second extraction using a stereo matching algorithm such as Sum of Squared Differences (SSD), Sum of Absolute Differences (SAD), or Normalized Cross Correlation (NCC). The symmetry point of the area can be calculated. However, in the practice of the present invention, the stereo matching algorithm is not limited to the above, and various other algorithms for stereo matching may be used.

본 발명에 있어서는 1행으로 이루어진 제 1 추출영역의 픽셀을 상기 제 2 추출영역의 픽셀과 대비하여 대칭점을 산출하게 되므로 종전과 비교할 때 매우 빠른 연산이 가능하게 된다. In the present invention, since the symmetry point is calculated by comparing the pixel of the first extraction region consisting of one row with the pixel of the second extraction region, the calculation is much faster than before.

기울기 산출부(126)는 상기 특징점 매칭부(124)에서 산출된 특징점을 이용하여 제 1 추출영역과 제 2 추출영역의 영상간의 기울기를 산출한다. The slope calculator 126 calculates the slope between the images of the first extraction area and the second extraction area by using the feature points calculated by the feature point matching unit 124.

영상 변환부(128)는 상기 기울기 산출부(126)에서 산출된 기울기를 이용하여 제 1 영상(150a) 또는 제 2 영상(150b) 중 어느 하나의 영상을 기준으로 다른 영상을 회전시킨 후, 제 1 영상(150a)과 제 2 영상(150b) 간의 스테레오 매칭을 수행한다. The image converter 128 rotates another image based on one of the first image 150a or the second image 150b by using the slope calculated by the tilt calculator 126, and then Stereo matching between the first image 150a and the second image 150b is performed.

저장부(130)는, 상기 제 1 영상(150a)과 제 2 영상(150b)의 정보 및 상기 제 1 추출영역 및 제 2 추출영역의 정보를 임시 저장하는 기능을 수행한다. The storage unit 130 performs a function of temporarily storing the information of the first image 150a and the second image 150b and the information of the first extraction region and the second extraction region.

차량의 전자제어장치(140)는 상기 영상 변환부(128)에서 최종 스테레오 매칭된 결과를 이용하여 FCW(Forward Collision Warning), LDWS(Lane Departure Warning System)과 같은 기능을 수행한다. The electronic controller 140 of the vehicle performs functions such as a forward collision warning (FCW) and a lane departure warning system (LDWS) by using the final stereo matched result from the image converter 128.

도 4는 본 발명의 바람직한 실시예에 따른 스테레오 영상 처리 방법을 도시한 순서도이다. 4 is a flowchart illustrating a stereo image processing method according to a preferred embodiment of the present invention.

차량의 스테레오 카메라(110)는 제 1 카메라(110a)와 제 2 카메라(110b)를 이용하여 제 1 영상(150a) 및 제 2 영상(150b)을 취득한다(S200). The stereo camera 110 of the vehicle acquires the first image 150a and the second image 150b by using the first camera 110a and the second camera 110b (S200).

스테레오 매칭부(120)의 픽셀 추출부(122)는 차량의 최대 기울기(A)를 고려하여 제 1 영상(150a)과 제 2 영상(150b)간의 기울기를 산출하기 위한 제 1 추출영역과 제 2 추출영역을 제 1 영상(150a) 및 제 2 영상(150b)으로부터 각각 추출한다(S210). The pixel extracting unit 122 of the stereo matching unit 120 may include the first extraction area and the second extraction area for calculating the inclination between the first image 150a and the second image 150b in consideration of the maximum inclination A of the vehicle. The extraction region is extracted from the first image 150a and the second image 150b, respectively (S210).

특징점 매칭부(124)는 상기 제 1 추출영역과 제 2 추출영역을 비교하여 특징점을 산출한다(S220). The feature point matching unit 124 calculates a feature point by comparing the first extraction area and the second extraction area (S220).

기울기 산출부(126)는 상기 특징점 매칭부(124)로부터 산출된 특징점을 이용하여 제 1 추출영역과 제 2 추출영역 간의 기울기를 산출한다(S230). The slope calculator 126 calculates a slope between the first extraction area and the second extraction area by using the feature points calculated by the feature point matching unit 124 (S230).

영상 변환부(128)는 상기 기울기를 이용하여 제 1 영상(150a) 또는 제 2 영상(150b) 중 어느 하나를 기준으로 다른 하나의 영상을 회전시킨다(S240). The image converter 128 rotates the other image based on one of the first image 150a or the second image 150b using the slope (S240).

영상 변환부(128)는 회전된, 즉 영상 평행화가 완료된 제 1 영상(150a) 및 제 2 영상(150b)을 이용하여 제 1 영상(150a)과 제 2 영상(150b)간의 스테레오 매칭을 수행한다(S250). The image converting unit 128 performs stereo matching between the first image 150a and the second image 150b by using the rotated, i.e., the first image 150a and the second image 150b that have completed image parallelization. (S250).

영상 변환부(128)에서 최종 스테레오 매칭된 결과는 차량의 전자제어장치(140)로 전달되고, 전자제어장치(140)는 스테레오 매칭 결과를 이용하여 차량의 제어를 수행한다. The final stereo matched result from the image converter 128 is transmitted to the electronic controller 140 of the vehicle, and the electronic controller 140 performs the control of the vehicle using the stereo matching result.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.It will be apparent to those skilled in the art that various modifications, substitutions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims. will be. Accordingly, the embodiments disclosed in the present invention and the accompanying drawings are not intended to limit the technical spirit of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by the embodiments and the accompanying drawings. . The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.

100 : 스테레오 영상 처리 장치
110 : 스테레오 카메라
120 : 스테레오 매칭부
122 : 픽셀 추출부
124 : 특징점 매칭부
126 : 기울기 산출부
128 : 영상 변환부
130 : 저장부
140 : 전자제어장치100: stereo image processing device
110: stereo camera
120: stereo matching unit
122: pixel extracting unit
124: feature matching unit
126: slope calculation unit
128: video conversion unit
130:
140: electronic control device

Claims (7)

차량의 스테레오 영상을 처리하는 장치에 있어서,
스테레오 영상을 취득하는 제 1 카메라와 제 2 카메라를 포함하는 스테레오 카메라; 및
상기 스테레오 영상을 이용하여 스테레오 매칭을 수행하는 스테레오 매칭부를 포함하며, 상기 스테레오 매칭부는 상기 차량의 상태를 고려하여 설정된 상기 제 1 카메라와 상기 제 2 카메라 간의 최대 기울기를 이용하여 상기 제 1 카메라의 제 1 영상과 상기 제 2 카메라의 제 2 영상간의 평행화를 수행하는 것을 특징으로 하는 스테레오 영상 처리 장치. In the device for processing a stereo image of a vehicle,
A stereo camera including a first camera and a second camera for acquiring stereo images; And
And a stereo matching unit configured to perform stereo matching using the stereo image, wherein the stereo matching unit uses a maximum slope between the first camera and the second camera set in consideration of the state of the vehicle. And performing parallelism between the first image and the second image of the second camera. 제 1 항에 있어서,
상기 스테레오 매칭부는,
상기 최대 기울기를 이용하여 상기 제 1 영상과 상기 제 2 영상으로부터 상기 평행화를 위한 제 1 추출영역 및 제 2 추출영역을 각각 추출하는 픽셀 추출부;
상기 제 1 추출영역과 상기 제 2 추출영역에서 대응되는 특징점을 추출하는 특징점 매칭부;
상기 특징점을 이용하여 상기 제 1 추출영역과 상기 제 2 추출영역 간의 기울기를 산출하는 기울기 산출부; 및
상기 기울기를 이용하여 상기 제 1 영상 및 상기 제 2 영상을 평행화하고 최종 스테레오 매칭을 수행하는 영상 변환부
를 포함하는 것을 특징으로 하는 스테레오 영상 처리 장치.The method of claim 1,
The stereo matching unit,
A pixel extracting unit extracting a first extraction region and a second extraction region for the parallelization from the first image and the second image using the maximum slope;
A feature point matching unit configured to extract corresponding feature points from the first extraction area and the second extraction area;
A slope calculator configured to calculate a slope between the first extraction area and the second extraction area by using the feature point; And
An image converter for parallelizing the first image and the second image using the slope and performing final stereo matching
Stereo image processing apparatus comprising a. 제 2 항에 있어서,
상기 제 1 추출영역은 상기 제 1 영상에서 세로 방향으로 X번째 행을 추출한 것임을 특징으로 하는 스테레오 영상 처리 장치.3. The method of claim 2,
The first extraction region is a stereo image processing apparatus, characterized in that the X-th row is extracted in the vertical direction from the first image. 제 2 항 또는 제 3 항에 있어서,
상기 제 2 추출영역은 상기 제 2 영상에서 상기 최대 기울기를 고려하여 상기 X번째 행을 포함한 복수의 행을 추출한 것임을 특징으로 하는 스테레오 영상 처리 장치.The method according to claim 2 or 3,
And the second extraction area is a plurality of rows including the X-th row from the second image in consideration of the maximum slope. 차량의 스테레오 영상 처리 방법에 있어서,
(a) 차량의 스테레오 카메라로부터 제 1 영상 및 제 2 영상을 취득하는 단계;
(b) 스테레오 매칭부의 픽셀추출부에서 상기 차량의 상태를 고려하여 설정된 상기 제 1 카메라와 상기 제 2 카메라 간의 최대 기울기를 이용하여 상기 제 1 영상과 제 2 영상에서 소정 영역을 제 1 추출영역 및 제 2 추출영역으로 추출하는 단계;
(c) 상기 스테레오 매칭부에서 상기 제 1 추출영역 및 상기 제 2 추출영역에서 대응되는 특징점을 산출하고 상기 제 1 영상 및 상기 제 2 영상 간의 기울기를 산출하는 단계; 및
(d) 상기 스테레오 매칭부에서 상기 기울기를 이용하여 상기 제 1 영상 및 상기 제 2 영상을 평행화하고 최종 스테레오 매칭을 수행하는 단계
를 포함하는 스테레오 영상 처리 방법.In the stereo image processing method of a vehicle,
(a) acquiring a first image and a second image from a stereo camera of the vehicle;
(b) a predetermined region is extracted from the first image and the second image using a maximum slope between the first camera and the second camera set in consideration of the state of the vehicle in the pixel extracting unit of the stereo matching unit; Extracting to a second extraction region;
calculating a corresponding feature point in the first extraction area and the second extraction area by the stereo matching unit and calculating a slope between the first image and the second image; And
(d) parallelizing the first image and the second image using the slope and performing a final stereo matching in the stereo matching unit;
Stereo image processing method comprising a. 제 5 항에 있어서,
상기 제 1 추출영역은 상기 제 1 영상에서 세로 방향으로 X번째 행을 추출한 것임을 특징으로 하는 스테레오 영상 처리 장치.The method of claim 5, wherein
The first extraction region is a stereo image processing apparatus, characterized in that the X-th row is extracted in the vertical direction from the first image. 제 5 항 또는 제 6 항에 있어서,
상기 제 2 추출영역은 상기 제 2 영상에서 상기 최대 기울기를 고려하여 상기 X번째 행을 포함한 복수의 행을 추출한 것임을 특징으로 하는 스테레오 영상 처리 장치.The method according to claim 5 or 6,
And the second extraction area is a plurality of rows including the X-th row from the second image in consideration of the maximum slope.
KR1020120098990A 2012-09-06 2012-09-06 Method and Apparatus for Processing Stereo Images KR101907852B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120098990A KR101907852B1 (en) 2012-09-06 2012-09-06 Method and Apparatus for Processing Stereo Images
CN201310380608.7A CN103686126B (en) 2012-09-06 2013-08-28 Stereo image processing device and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120098990A KR101907852B1 (en) 2012-09-06 2012-09-06 Method and Apparatus for Processing Stereo Images

Publications (2)

Publication Number Publication Date
KR20140032283A true KR20140032283A (en) 2014-03-14
KR101907852B1 KR101907852B1 (en) 2018-10-15

Family

ID=50322229

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120098990A KR101907852B1 (en) 2012-09-06 2012-09-06 Method and Apparatus for Processing Stereo Images

Country Status (2)

Country Link
KR (1) KR101907852B1 (en)
CN (1) CN103686126B (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160118578A (en) * 2015-04-02 2016-10-12 현대자동차주식회사 Apparatus and Method for Compensating of Image Data Obtained by Stereo Camera
US10003784B2 (en) 2016-07-05 2018-06-19 Hyundai Motor Company Stereo image matching apparatus and method requiring small calculation
US10063831B2 (en) 2015-02-09 2018-08-28 Samsung Electronics Co., Ltd. Method and apparatus for stereo image rectification

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09223227A (en) * 1996-02-15 1997-08-26 Honda Motor Co Ltd Environment recognizing device for vehicle
JP2008286648A (en) * 2007-05-17 2008-11-27 Sumitomo Electric Ind Ltd Distance measuring device, distance measuring system, and distance measuring method
JP2010085240A (en) * 2008-09-30 2010-04-15 Mazda Motor Corp Image processing device for vehicle

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101354796B (en) * 2008-09-05 2010-08-11 浙江大学 Omnidirectional stereo vision three-dimensional rebuilding method based on Taylor series model
EP2416293A4 (en) * 2009-03-31 2017-02-01 Panasonic Intellectual Property Management Co., Ltd. Stereo image processor and stereo image processing method
CN102404595B (en) * 2011-08-16 2013-11-20 上海交通大学 Epipolar line rectification method capable of providing instruction for shooting of 3-dimensional programs

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09223227A (en) * 1996-02-15 1997-08-26 Honda Motor Co Ltd Environment recognizing device for vehicle
JP2008286648A (en) * 2007-05-17 2008-11-27 Sumitomo Electric Ind Ltd Distance measuring device, distance measuring system, and distance measuring method
JP2010085240A (en) * 2008-09-30 2010-04-15 Mazda Motor Corp Image processing device for vehicle

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10063831B2 (en) 2015-02-09 2018-08-28 Samsung Electronics Co., Ltd. Method and apparatus for stereo image rectification
KR20160118578A (en) * 2015-04-02 2016-10-12 현대자동차주식회사 Apparatus and Method for Compensating of Image Data Obtained by Stereo Camera
US10003784B2 (en) 2016-07-05 2018-06-19 Hyundai Motor Company Stereo image matching apparatus and method requiring small calculation

Also Published As

Publication number Publication date
KR101907852B1 (en) 2018-10-15
CN103686126A (en) 2014-03-26
CN103686126B (en) 2017-05-24

Similar Documents

Publication Publication Date Title
US20210334557A1 (en) Monocular cued detection of three-dimensional strucures from depth images
US10079975B2 (en) Image distortion correction of a camera with a rolling shutter
US9773176B2 (en) Image processing apparatus and image processing method
EP3007099B1 (en) Image recognition system for a vehicle and corresponding method
US9771080B2 (en) Road surface gradient detection device
US10033981B2 (en) Image processing apparatus
US20130129148A1 (en) Object detection device, object detection method, and program
US20120166033A1 (en) Method and apparatus for detecting driving information of autonomous driving system
US9594966B2 (en) Obstacle detection device and obstacle detection method
JP6316976B2 (en) In-vehicle image recognition device
US9747507B2 (en) Ground plane detection
US10719949B2 (en) Method and apparatus for monitoring region around vehicle
US20160307051A1 (en) Traveling road surface detection device and traveling road surface detection method
US10984263B2 (en) Detection and validation of objects from sequential images of a camera by using homographies
US11417080B2 (en) Object detection apparatus, object detection method, and computer-readable recording medium
WO2018211930A1 (en) Object detection device, object detection method, and computer-readable recording medium
KR101236223B1 (en) Method for detecting traffic lane
CN108292441B (en) Vision system for a motor vehicle and method for controlling a vision system
KR20140032283A (en) Method and apparatus for processing stereo images
US20190180122A1 (en) Detection and Tracking of Objects from Images of a Camera
JP4696925B2 (en) Image processing device
US9041778B2 (en) Image processing device and method of processing image
WO2014054124A1 (en) Road surface markings detection device and road surface markings detection method
JP6677141B2 (en) Parking frame recognition device
KR101371875B1 (en) A vehicle detection and distance measurement system and method between the vehicles using stereo vision

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant