KR101317839B1 - An image object detection apparatus and method of the same - Google Patents
An image object detection apparatus and method of the same Download PDFInfo
- Publication number
- KR101317839B1 KR101317839B1 KR1020110137544A KR20110137544A KR101317839B1 KR 101317839 B1 KR101317839 B1 KR 101317839B1 KR 1020110137544 A KR1020110137544 A KR 1020110137544A KR 20110137544 A KR20110137544 A KR 20110137544A KR 101317839 B1 KR101317839 B1 KR 101317839B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- parallax
- pixel
- cost
- value
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
본 발명은 스테레오 이미지 시차 정합을 이용한 이미지 객체 검출 장치 및 방법을 개시한다. 본 발명에 따른 이미지 객체 검출 장치는, 스테레오 이미지를 촬상하는 촬상부, 스테레오 이미지 사이의 호모그라피(homography)를 연산하는 호모그라피 연산부, 스테레오 이미지를 구성하는 복수의 픽셀의 밝기값을 이용하여 정합비용(matching cost)을 연산하는 정합비용 연산부, 정합비용을 이용하여 집계비용을 산출하는 집계부, 집계비용을 합산하여 최소값을 갖는 시차값을 해당 픽셀의 최종 시차값으로 결정하는 시차값 결정부 및 기결정된 기준값보다 큰 시차값을 갖는 픽셀을 포함하는 이미지 객체를 검출하는 이미지 객체 검출부를 포함한다.The present invention discloses an apparatus and method for detecting an image object using stereo image parallax matching. An image object detecting apparatus according to the present invention includes a matching cost using an image pickup unit for imaging a stereo image, a homograph calculation unit for calculating homography between stereo images, and brightness values of a plurality of pixels constituting the stereo image. a matching cost calculation unit for calculating a matching cost, an aggregation unit for calculating an aggregation cost using the matching cost, a parallax value determining unit for determining a parallax value having a minimum value as the final parallax value of the corresponding pixel by summing the aggregation costs, and an existing unit. And an image object detector configured to detect an image object including a pixel having a parallax value greater than the determined reference value.
Description
본 발명은 스테레오 영상의 이미지 객체를 검출하는 장치 및 방법에 관한 것으로, 구체적으로 스테레오 영상의 지면 기반의 호모그라피를 활용하고 스테레오 영상을 시차 정합하여 이미지 객체를 검출하는 이미지 객체 검출 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for detecting an image object of a stereo image, and more particularly, to an apparatus and method for detecting an image object by utilizing surface-based homography of a stereo image and parallaxly matching the stereo image. will be.
최근 스마트 자동차(Smart Car)에 대한 관심은 자동차 산업분야에서뿐만 아니라 IT산업 분야에서도 중요한 키워드가 되고 있다. 이는 안전 운전을 달성하기 위해서 운전자에게 추가적인 정보를 제공하고 어떤 사건을 정확하고 적절한 시점에알리도록 도로상의 장면을 분석할 필요성이 있기 때문이다.Recently, interest in smart cars has become an important keyword not only in the automobile industry but also in the IT industry. This is because there is a need to analyze scenes on the road to provide additional information to the driver to achieve safe driving and to inform an event at an accurate and timely point in time.
자동차에 근접하는 장애물을 검출하거나 운전자의 시야를 넓혀주기 위해서, 카메라 또는 범위 센서가 자동차에 설치되고 있다. 이러한 센서 중에서, 스테레오 시야 센서(Stereo vision sensor)는 대표적인 수동 범위 센서(passive range sensor)이다. 이는 2.5 차원(dimension)의 범위 데이터와 이미지를 동시에 생산할 수 있기 때문에 유용하다. 결과로 생성되는 범위 데이터 또는 시차 맵(disparity map)은 장애물을 검출하거나 경로를 계획하는 것과 같은 작업을 위한 입력 정보로 사용될 수 있다.A camera or range sensor is installed in the vehicle to detect obstacles near the vehicle or to broaden the driver's view. Of these sensors, a stereo vision sensor is a representative passive range sensor. This is useful because it can produce 2.5-dimensional range data and images at the same time. The resulting range data or disparity map can be used as input information for tasks such as detecting obstacles or planning routes.
현재 사용되고 있는 스테레오 정합 알고리즘은 제로-시차 평면이 이미지 평면 중의 하나와 평행하다는 추정에 기반하고 있다. 그러나, 이런 추정은 지면과 같이 영상면과 다소 평행하지 않은 평면에 대한 시차를 획득할 경우에 효과적인 추정이 아니다. The currently used stereo matching algorithm is based on the assumption that the zero-disparity plane is parallel to one of the image planes. However, this estimate is not an effective estimate when obtaining the parallax for a plane that is not parallel to the image plane, such as the paper plane.
따라서, 스테레오 이미지로부터 시차 영상 정합을 하여 도로상의 객체를 검출하기 위해서, 자동차 및 특정 물체가 서 있거나 움직이는 지면을 포함한 영상의 경우에도, 효과적으로 시차 정합을 할 수 있는 알고리즘에 대한 연구가 요청되고 있다.Therefore, in order to detect an object on a road by performing parallax image matching from a stereo image, a study on an algorithm capable of effectively parallax matching is required for an image including a vehicle and a ground on which a specific object stands or moves.
도 1에서 도시된 것처럼 종래의 먼 기준 평면에 기초한 스테레오 정합 알고리즘은 주어진 시차의 단계에 대해서 좁은 거리범위의 물체에 대한 시차 정합만이 가능하여 범위를 벗어난 전, 후 시차의 물체에 대해서는 동작하지 않는 문제점이 있다.As shown in FIG. 1, a stereo matching algorithm based on a conventional distant reference plane is only capable of parallax matching for a narrow range of objects for a given stage of parallax, and thus does not operate for objects before and after out of range. There is a problem.
상술한 문제점을 해결하기 위하여 안출된 것으로, 본 발명에 따른 이미지 객체 추출 장치는 지면에 기반하여 이미지들 사이의 호모그라피를 연산하고, 이를 기준으로 시차 정합하되, 지면 가정에 따라 오류를 제거하여 이미지를 이용하여 객체를 보다 효과적으로 검출할 수 있는 이미지 객체 검출 장치 및 그 방법을 제공하는 것을 목적으로 한다.In order to solve the above-mentioned problems, the image object extraction apparatus according to the present invention calculates homographies between images based on the ground, and performs parallax matching based on this, but removes the error according to the assumption of the ground It is an object of the present invention to provide an image object detecting apparatus and a method for detecting an object more effectively using the.
상기 목적을 달성하기 위하여 안출된 본 발명에 따른 이미지 객체 검출 장치는, 적어도 2개 이상의 이미지들을 촬상하는 촬상부, 상기 이미지들 사이의 호모그라피(homography)를 연산하는 호모그라피 연산부, 상기 이미지들의 특정 픽셀 및 상기 특정 픽셀의 상기 호모그라피의 강도값(intensity value) 및 시차값을 이용하여 정합비용(matching cost)을 연산하는 정합비용 연산부, 복수의 방향에 따라 상기 정합비용을 합산하여 집계비용을 산출하는 집계부 및 상기 집계비용의 합이 최소값을 갖는 경우의 시차값을 최종 시차값으로 결정하는 시차값 결정부를 포함한다.In order to achieve the above object, an image object detecting apparatus according to the present invention includes: an image pickup unit for capturing at least two or more images, a homograph calculation unit for calculating a homography between the images, and the specification of the images. A matching cost calculator for calculating a matching cost using intensity values and parallax values of a pixel and the homograph of the specific pixel, and calculating the aggregation cost by summing the matching costs according to a plurality of directions And a parallax value determination unit that determines a parallax value when the sum of the aggregation costs and the sum of the aggregation costs has a minimum value as a final parallax value.
이 경우에, 상기 호모그라피(H)는, 
한편, 상기 정합비용은, 
(여기서, 상기 IL은 제1 스테레오 이미지, IR 은 제2 스테레오 이미지, p는 특정 픽셀, d는 시차값)에 의하여 연산될 수 있다.Where I L is the first stereo image, I R is the second stereo image, p is a specific pixel, and d is a parallax value.
한편, 상기 집계비용은, On the other hand, the aggregate cost,
(여기서, p-1 은 픽셀 P 이전 픽셀, P1 는 작은 시차 변화를 위한 보상비용, P2 는 큰 시차 변화를 위한 보상비용)에 의하여 연산될 수 있다.Where p −1 is the pixel before the pixel P, P 1 is the compensation cost for the small parallax change, and P 2 is the compensation cost for the large parallax change.
한편, 이미지 객체 검출 장치는, 상기 검출된 이미지 객체의 픽셀에 중간값 필터(median filter)를 적용하여, 상기 픽셀을 보정하는 보정부;를 더 포함할 수 있다.The image object detecting apparatus may further include a correcting unit configured to apply a median filter to the pixels of the detected image object to correct the pixels.
한편, 이미지 객체 검출 장치는, 상기 검출된 이미지 객체의 픽셀 중 인접 픽셀 사이의 시차값을 비교하여 모든 방향에서 기결정된 차이값을 벗어나는 픽셀의 시차를 보정하는 보정부;를 더 포함할 수 있다. The image object detecting apparatus may further include a correcting unit configured to compare parallax values between adjacent pixels among the pixels of the detected image object to correct parallaxes of pixels that deviate from a predetermined difference value in all directions.
본 발명의 다른 실시예에 따른 이미지 객체 검출 방법은, 스테레오 이미지를 촬상하는 단계, 상기 스테레오 이미지들 사이의 호모그라피(homography)를 연산하는 단계, 상기 스테레오 이미지들의 특정 픽셀 및 상기 특정 픽셀의 상기 호모그라피가 적용된 위치의 픽셀의 강도값(intensity value) 및 시차범위를 이용하여 정합비용(matching cost)을 연산하는 단계, 복수의 방향에 따라 상기 정합비용을 합산하여 집계비용을 산출하는 단계; 및 상기 집계비용의 합산값이 최소값을 갖는 경우의 시차값을 최종 시차값으로 결정하는 단계;를 포함하는 것을 특징으로 한다.According to another embodiment of the present invention, there is provided a method of detecting an image object, the method comprising: capturing a stereo image, calculating a homography between the stereo images, a specific pixel of the stereo images, and the homo of the specific pixel Calculating a matching cost using an intensity value and a parallax range of the pixel at the position where the graphiation is applied, and calculating the aggregation cost by summing the matching costs in a plurality of directions; And determining the disparity value when the total value of the aggregate cost has a minimum value as a final disparity value.
이 경우에, 상기 호모그라피(H)는, 
(여기서, HGL 은 제1 이미지와 상기 지면 사이의 호모그라피, HRG 는 상기 제2 이미지와 상기 지면 사이의 호모그라피)에 의하여 연산될 수 있고 일반적인 경우 두 영상의 지면 영역에 해당하는 픽셀의 대응관계를 활용하여 연산한다.Where H GL is a homograph between the first image and the ground, H RG is a homograph between the second image and the ground, and in general, the pixels corresponding to the ground regions of the two images Calculate using correspondence.
한편, 상기 정합비용은, 
(여기서, 상기 IL은 제1 스테레오 이미지, IR 은 제2 스테레오 이미지, p는 특정 픽셀, d는 시차범위 안의 특정 시차값)에 의하여 연산되는 것을 특징으로 한다.Where I L is a first stereo image, I R is a second stereo image, p is a specific pixel, and d is a specific parallax value within a parallax range.
한편, 상기 집계비용은, 
(여기서, p-1 은 픽셀 P 이전 픽셀, P1 는 작은 시차 변화를 위한 보상비용, P2 는 큰 시차 변화를 위한 보상비용)에 의하여 연산되는 것을 특징으로 한다.Where p −1 is the pixel before the pixel P, P 1 is the compensation cost for the small parallax change, and P 2 is the compensation cost for the large parallax change.
한편, 이미지 객체 검출 방법은, 상기 최종 시차값을 이용하여 시차 맵을 형성하는 단계를 더 포함한다.The image object detecting method may further include forming a parallax map by using the final parallax value.
한편, 상기 검출된 이미지 객체의 픽셀 중 인접 픽셀 사이의 시차값을 비교하여 모든 방향에서 기결정된 차이값을 벗어나는 픽셀의 시차를 보정하는 단계를 더 포함할 수 있다.The method may further include correcting a parallax of a pixel that deviates from a predetermined difference value in all directions by comparing parallax values between adjacent pixels among the pixels of the detected image object.
본 발명에 따르면, 고정된 시차 범위로 도로상에 더 넓은 거리범위를 나타낼 수 있고, 수평면에 대해 보다 차별적인 정합 비용으로 생산이 가능하며, 시차영상은 거리영상으로 변환 및 활용이 가능하며, 시차영상으로부터 직접적으로 객체영상을 획득할 수 있는 효과를 제공한다.According to the present invention, it is possible to represent a wider range of distance on the road with a fixed parallax range, to be produced at a more discriminating matching cost with respect to the horizontal plane, and the parallax image can be converted and utilized as a distance image, parallax Provides the effect of obtaining an object image directly from the image.
도 1은 스테레오 카메라의 영상평면을 기준으로 한 스테레오 시차 정합 알고리즘을 설명하기 위한 도면,
도 2는 본 발명에 따른 스테레오 카메라의 지면 기반으로 한 스테레오 시차 정합 알고리즘의 효과를 설명하기 위한 도면,
도 3은 본 발명에 따른 지면 기반 스테레오 시차 정합을 이용한 객체 추출 장치를 설명하기 위한 블럭도,
도 4는 본 발명에 따른 지면 기반 스테레오 시차 정합을 위한 호모그래피(homography)를 설명하기 위한 도면,
도 5는 본 발명에 따른, 좌측 영상과 호모그라피가 적용된 우측 영상이 겹쳐진 영상을 나타내는 도면,
도 6은 본 발명에 따른, 지면 기반 스테레오 시차 정합을 이용한 객체 추출 방법을 설명하기 위한 흐름도,
도 7은 본 발명에 따른, 지면 기반 스테레오 시차 정합 과정을 설명하기 위한 도면,
도 8은 본 발명에 따른 시차 맵을 개선하기 위해서, 지면 제약을 위반하는 불량 픽셀이 제거되는 과정을 설명하기 위한 도면,
도 9는 본 발명에 따른 지면 시차 맵과 이를 변환한 시차맵을 나타내는 도면,
도 10 내지 11은 본 발명에 따른 다양한 물체를 갖는 지면 장면과 이에 대응하는 시차맵을 나타내는 도면,
도 12는 본 발명에 따라 지면 시차 맵을 이용하여 물체를 검출하는 것을 설명하기 위한 도면이다.1 is a view for explaining a stereo parallax matching algorithm based on the image plane of the stereo camera,
2 is a view for explaining the effect of the ground-based stereo parallax matching algorithm of the stereo camera according to the present invention;
3 is a block diagram illustrating an object extraction apparatus using ground-based stereo parallax matching according to the present invention;
4 is a diagram for explaining homography for ground based stereo parallax matching according to the present invention;
5 is a view showing an image in which a left image and a right image to which homography is applied are overlapped according to the present invention;
6 is a flowchart illustrating an object extraction method using ground based stereo parallax matching according to the present invention;
7 is a view for explaining a ground-based stereo parallax matching process according to the present invention,
8 is a view for explaining a process of removing a bad pixel in violation of the ground constraint in order to improve the parallax map according to the present invention;
9 is a diagram illustrating a ground disparity map and a disparity map converted therefrom according to the present invention;
10 to 11 are views showing a ground scene having various objects and a parallax map corresponding thereto according to the present invention;
12 is a view for explaining the detection of an object using the ground parallax map according to the present invention.
본 발명의 일 실시예들이 상세하게 설명되고, 그것의 예시적인 것은 첨부된 도면과 함께 설명된다. 여기서 동일하거나 유사한 식별번호는 도면 전체에서 동일하거나 유사한 구성요소를 지시한다. 실시예들은 본 발명을 설명하기 위해서 도면과 함께 참고적으로 설명된다. BRIEF DESCRIPTION OF THE DRAWINGS One embodiment of the present invention will be described in detail and its exemplary embodiment is described in conjunction with the accompanying drawings. Wherein like or similar reference numerals designate the same or similar elements throughout the figures. The embodiments are described with reference to the drawings in order to explain the present invention.
도 2는 본 발명에 따른 스테레오 카메라의 지면 기반으로 한 스테레오 시차 정합 알고리즘을 설명하기 위한 도면이다.2 is a view for explaining a ground-based stereo parallax matching algorithm of the stereo camera according to the present invention.
도 2를 참고하면, 스테레오 카메라를 장착한 자동차는 도 1에 도시된 스테레오 카메라보다 더 넓은 시차 범위, 즉 넓은 거리 범위에 존재하는 자동차에 대한 시차값을 획득할 수 있음을 확인할 수 있다.Referring to FIG. 2, it can be seen that a vehicle equipped with a stereo camera can obtain a parallax value for a vehicle existing in a wider parallax range, that is, a wide distance range, than the stereo camera shown in FIG. 1.
스테레오 정합을 통하여 얻어지는 시차영상(disparity image)은 일반적으로 카메라의 영상평면에 평행한 가상의 평면을 시차영상의 기준면(시차가 0인 평면)으로 하여 획득될 수 있다. 평행한 두 대의 카메라에서는 시차가 0인 평면이 무한대에 위치하게 된다. 영상의 지면을 기준면으로 시차영상을 획득할 경우 실제 지면에 대해 획득된 화소의 경우, 작은 값, 즉 0에 가까운 시차를 가지게 된다. 이 경우에 카메라로부터 동일한 거리의 물체의 경우, 바닥면에 대한 높이에 따라 시차가 증가하며 같은 높이의 물체인 경우 카메라에 가까울수록 큰 시차를 가지게 된다.A disparity image obtained through stereo matching may be generally obtained by using a virtual plane parallel to the image plane of the camera as a reference plane (a plane with zero parallax). In two parallel cameras, a plane with zero parallax is located at infinity. When the parallax image is acquired from the ground of the image as a reference plane, the pixel acquired with respect to the actual ground has a small value, that is, a parallax close to zero. In this case, the parallax increases according to the height with respect to the floor in the case of an object of the same distance from the camera, and when the object of the same height is closer to the camera has a larger parallax.
도 3는 본 발명에 따른 지면 기반 스테레오 시차 정합을 이용한 객체 검출 장치를 설명하기 위한 블럭도이다.3 is a block diagram illustrating an object detection apparatus using ground-based stereo parallax matching according to the present invention.
도 3을 참고하면, 이미지 객체 검출 장치는, 촬상부(310), 호모그라피 연산부(420), 정합비용 연산부(330), 집계부(340) 및 시차값 결정부(350)를 포함한다.Referring to FIG. 3, the image object detecting apparatus includes an
촬상부(310)는 특정 장면(scene)에 대해서 좌측 카메라 및 우측 카메라등 적어도 2개 이상의 카메라를 이용하여 스테레오 이미지를 촬상할 수 있다. 촬상부(310)는 2개의 CCD 카메라로 구현될 수 있고, 예를 들어 6mm C-마운트 렌즈와 200mm 수평 리그(rig)를 갖는 스테레오 카메라 시스템으로 구현될 수 있다.The
호모그라피 연산부(320)는 우측 이미지의 평면과 좌측 이미지의 평면 사이의 호모그라피를 연산할 수 있다. 이를 위해서 도 4를 참고하여 살펴본다.The
도 4는 본 발명에 따른 지면 기반 스테레오 시차 정합을 위한 호모그래피(homography)를 설명하기 위한 도면이다.4 is a diagram for explaining homography for ground-based stereo parallax matching according to the present invention.
도 4를 참고하면, 지면(ground plane ; ΠG)에서 좌측 카메라 영상 평면(ΠL) 사이의 호모그라피는 HGL로 정의될 수 있다. 또한, 우측 카메라 영상 평면(ΠR)에서 지면 사이의 호모그라피는 HRG로 정의될 수 있다. 우측 카메라 영상 평면(ΠR)에서 좌측 카메라 영상 평면(ΠL) 사이의 호모그라피는 HRGL로 정의될 수 있다.Referring to FIG. 4, the homography between the left camera image plane Π L in the ground plane Π G may be defined as H GL . In addition, the homography between the ground in the right camera image plane Π R may be defined as H RG . The homography between the right camera image plane Π R and the left camera image plane Π L may be defined as H RGL .
호모그라피(HRGL)는 다음의 수학식 1과 같이 나타낼 수 있다.Homograph (H RGL ) can be represented by the following equation (1).
여기서 HRG는 우측 카메라 영상 평면(ΠR)에서 지면(ΠG)까지의 호모그래피이고, HGL은 지면(ground plane ; ΠG)에서 좌측 카메라 영상 평면(ΠL)까지의 호모그래피이다. 스테레오 영상에서의 지면에 대한 호모그라피(HRGL)는 수학식 1처럼 각 영상평면과 지면사이의 호모그라피(HRG , HGL)를 곱한 단일 행렬로 표현할 수 있다. 실제 호모그라피의 연산의 경우 두 영상의 지면영역에 대한 픽셀 대응관계를 활용하여 지면 호모그라피를 획득한다.Where H RG is a homography from the right camera image plane Π R to the ground Π G , and H GL is a homography from the ground plane Π G to the left camera image plane Π L. The homograph (H RGL ) for the ground in a stereo image may be expressed as a single matrix multiplied by the homographies (H RG , H GL ) between each image plane and the ground as in Equation 1. In the case of real homography, the ground homography is obtained by using the pixel correspondence of the ground regions of two images.
정합비용 연산부(330)는 좌측 또는 우측 이미지들의 특정 픽셀 및 특정 픽셀의 호모그라피 및 시차값이 적용된 위치의 상대 영상의 픽셀의 강도값(intensity value)을 이용하여 정합비용(matching cost)을 연산할 수 있다.The matching
정합비용 연산부(330)는 좌측 또는 우측 이미지들의 특정 픽셀 및 특정 픽셀의 호모그라피의 강도값(intensity value) 및 시차값을 이용하여 정합비용(matching cost)을 연산할 수 있다.The matching
이를 보다 구체적으로 살펴보면, 지면 기준의 시차(d)에 대한 특정 화소(p)의 정합비용(matcing cost ;C)는 호모그라피(H)를 활용하여 다음의 수학식 2와 같이 표현할 수 있다.In more detail, the mating cost (C) of a specific pixel p with respect to the parallax d of the ground reference may be expressed by Equation 2 using homography (H).
여기서, IL과 IR 은 스테레오 영상을 의미한다. 단일화소의 정합비용으로 시차를 결정하는 경우에 영상의 가려짐(occlusion), 호모그라피에 의한 와핑(warping), 노이즈(noise) 등의 요인으로 인해 오차가 큰 시차가 선택될 수 있다. Here, I L and I R denote stereo images. When the parallax is determined by the matching cost of a single pixel, parallax having a large error may be selected due to factors such as occlusion of the image, warping due to homography, and noise.
집계부(440)는 복수의 방향(r)에 따라 정합비용을 집계하여 집계비용을 산출할 수 있다. 상술한 오류를 감소시키기 위해서 반광역 최적화 기법인 SGM(Semi-grobal matching)과 유사하게 영상의 여러 방향을 따라서 정합비용을 연산한다. 본 발명의 일 실시예에 따르면, 4개 방향의 비용집계를 수행할 수 있다. 영상의 각 방향에 대해서는 영상 밝기의 차가 작은 경우 시차가 연속적인 값을 가지는 것이 바람직하다. 방향(r)에 대한 정합비용의 집계 Lr 는 다음의 수학식 3에 의해서 결정될 수 있다.The aggregation unit 440 may calculate the aggregation cost by aggregating the matching costs along the plurality of directions r. In order to reduce the above error, the matching cost is calculated along various directions of the image similarly to semi-grobal matching (SGM), which is a semi-wide optimization technique. According to an embodiment of the present invention, it is possible to perform cost aggregation in four directions. For each direction of the image, when the difference in image brightness is small, the parallax preferably has a continuous value. The aggregation L r of the matching costs for the direction r may be determined by Equation 3 below.
여기서 Lr(p,d)는 픽셀(p)과 시차(d)의 합계 정합비용(aggregated matching cost)이다. p-1은 집계방향에 대한 이전 화소를 나타내고, P1과 P2는 작은 시차변화(±1)에 대한 추가비용, 큰 시차변화(1 ＜)에 대한 추가비용이다. P2 는 P1 과 P2 사이의 픽셀 값의 차이에 따라 적응적으로 결정된다. Where L r (p, d) is the aggregated matching cost of the pixel p and parallax d. p-1 represents the previous pixel in the direction of aggregation, P 1 and P 2 are the additional cost for small parallax variation (± 1) and the additional cost for large parallax variation (1 <). P 2 is adaptively determined according to the difference in pixel values between P 1 and P 2 .
외부 환경에서, 다른 노출, 움직임으로 인한 흐려짐(motion blur), 가려짐(occlusion), 비동기적 획득(asynchronous acquisition)과 같은 다양한 이유로 정합오류가 발생할 수 있다.In the external environment, mismatches can occur for a variety of reasons, such as other exposures, motion blur, occlusion, and asynchronous acquisition.
시차값 결정부(350)는 집계비용의 합이 최소값을 갖는 경우의 시차값을 최종 시차값으로 결정할 수 있다. 최적화 시차는 모든 방향에 대한 합계 비용의 가장 작은 합계를 갖는 시차를 최종 시차로 결정한다. 초기 시차 맵이 연산된 후에, 플리킹 노이즈를 제거하기 위해서 중간값 필터(median filter)가 적용된다. 그 다음 단계로, 지면 가정에 적합하지 않는 시차값의 패턴을 필터한다. 그 규칙은 특정 픽셀이 ε보다 작은 값이면 픽셀은 지면의 픽셀로 받아들여 질 수 있다. 시차 값이 ε보다 크다면, 지면의 픽셀과 연결되는 어떤 이웃하는 픽셀이 존재해야 한다.The parallax
이러한 규칙은 다음의 수학식 4와 같이 표현될 수 있다.This rule may be expressed as Equation 4 below.
여기서 D(p)는 픽셀(p)의 결정된 시차이고, Np 는 반경(r) 내에 체류하지 않는 이웃 픽셀과 시차 값의 허용가능한 값(t)의 세트이다. 수학식 4는 재귀적인 형태로 표현되지만, 연산적인 효율을 위해서 영상 전체의 복수 스캐닝을 통해 실행할 수 있다. 얻어진 시차 맵은 수학식 2의 호모그라피 관계에 역으로 적용가능함으로써 수직평면 기반의 시차 맵으로 변환될 수 있다. 다른 한편으로 물체 경계의 시차 값의 불연속성을 통해 구분되는 요소들을 찾음으로써 객체 검출에 직접 사용될 수 있다.Where D (p) is the determined parallax of pixel p, and N p is the set of allowable values t of parallax values and neighboring pixels that do not stay within radius r. Equation 4 is expressed in a recursive form, but may be executed through multiple scanning of the entire image for computational efficiency. The resulting parallax map can be converted into a vertical plane based parallax map by applying inversely to the homography relationship of equation (2). On the other hand, it can be used directly in object detection by finding elements that are distinguished through discontinuities in parallax values of object boundaries.
2개의 CCD 카메라를 갖는 스테레오 카메라 시스템으로 구성된다. 스테레오 카메라 시스템을 이용하여 스테레오 비디오 및 외부에서 움직이는 자동차의 시차 맵을 얻는다. 입력 데이터의 해상도는 640×480의 해상도를 가지며, 각 측면의 20 픽셀 경계는 버려진다.It consists of a stereo camera system with two CCD cameras. A stereo camera system is used to obtain stereo video and parallax maps of cars moving outside. The resolution of the input data has a resolution of 640x480, and the 20 pixel border on each side is discarded.
먼저, 스테레오 정합 기반 수직 평면의 것과 지면 스테레오의 시차 맵을 비교한다. 본 발명의 일 실시예에서, 지면 호모그라피는 지면의 픽셀의 대응관계를 수동으로 할당하여 얻어진다. 추가비용 파라미터(P1 및 P2)는 최적의 시차 맵을 생성하기 위해서 실험적으로 조정될 수 있다. First, the parallax map of the ground stereo is compared with that of the stereo matching based vertical plane. In one embodiment of the present invention, ground homography is obtained by manually assigning the correspondence of pixels on the ground. The additional cost parameters P 1 and P 2 can be adjusted experimentally to produce an optimal parallax map.
이미지 객체 검출부(360)는 이미지를 구성하는 픽셀의 시차값이 기결정된 값, 예를 들어 지면을 구성하는 픽셀의 경우에 시차값이 작은 값을 갖는데, 바람직하게는 0에 가까운 값을 갖게 된다. 반면에 지면 위에 존재하는 물체의 경우에는 5보다 더 큰 값을 갖는다. 이렇게 기 결정된 값은 5로 정할 수 있겠지만 이미지의 특성에 따라 그 값은 변경가능하다.The image
즉, 각 픽셀의 시차값이 기 결정된 값(예를 들어, 5)보다 작은 시차값을 갖는 픽셀은 제외되고, 5이상의 시차값을 갖는 픽셀을 이미지 객체를 구성하는 픽셀로 검출한다.That is, a pixel having a parallax value smaller than a predetermined value (for example, 5) of each pixel is excluded, and a pixel having a parallax value of 5 or more is detected as a pixel constituting an image object.
도 5는 본 발명에 따른, 좌측 영상과 호모그라피가 적용된 우측 영상이 겹쳐진 영상을 나타내는 도면이다. 5 is a diagram illustrating an image in which a left image and a right image to which homography is applied are overlapped according to the present invention.
도 5를 참고하면, 본 발명에 따른 지면가정에 따르는 개선의 결과를 예시적으로 도시하고 있다. 즉, 좌측 이미지 평면에 지면영역에 대한 우측 이미지 평면의 대응관계를 통해 지면 호모그라피를 연산하고, 이렇게 연산된 호모그라피를 우측 이미지에 적용한다. 이렇게 호모그라피가 적용된 우측 이미지와 좌측 이미지를 겹쳐서 비교하면, 좌측 이미지와 우측 이미지 사이에서 지면의 이미지는 일치하나 높이를 가진 객체 영역은 불치하고 있음을 확인할 수 있다.Referring to Figure 5, it shows by way of example the results of the improvement according to the ground assumption according to the present invention. That is, the ground homography is calculated through the correspondence of the right image plane with respect to the ground area on the left image plane, and the homography thus calculated is applied to the right image. When comparing the homogeneous right image and the left image by overlapping, it can be seen that the image of the ground coincides with the left image and the right image, but the object region having the height is incurable.
도 6은 본 발명에 따른, 지면 기반 스테레오 시차 정합을 이용한 객체 추출 방법을 설명하기 위한 흐름도이다.6 is a flowchart illustrating an object extraction method using ground-based stereo parallax matching according to the present invention.
도 6을 참고하면, 이미지 촬상 단계(S610), 호모그라피 연산 단계(S620), 정합비용 연산 단계(S630), 집계비용 산출 단계(S640), 최종 시차값 결정 단계(S650) 및 이미지 객체 검출 단계(S660)를 포함한다. Referring to FIG. 6, an image imaging step S610, a homography calculation step S620, a matching cost calculation step S630, an aggregation cost calculation step S640, a final parallax value determination step S650, and an image object detection step are performed. (S660).
이미지 촬상 단계(S610)는, 2개 이상의 CCD 카메라를 이용하되, 좌측 카메라를 통해서 특정 장면에 대하여 좌측 이미지를 촬상하고, 우측 카메라를 이용하여 동일한 장면에 대한 우측 이미지를 촬상하는 단계이다. 이때 좌측 이미지와 우측 이미지는 동시에 촬상되어야 한다.In the image capturing step (S610), two or more CCD cameras are used, and the left image is captured by the left camera for a specific scene, and the right image is captured by the right camera. At this time, the left image and the right image should be captured simultaneously.
호모그라피 연산 단계(S620)는, 좌측 이미지 평면과 이미지의 지면 픽셀과 우측 이미지 평면과 이미지의 지면 픽셀 사이의 대응관계를 사용하여 지면 호모그라피를 연산하는 단계이다. The homography calculation step (S620) is a step of calculating the ground homography using the correspondence between the left image plane and the ground pixel of the image and the right image plane and the ground pixel of the image.
정합비용 연산 단계(S630)는, 상기 스테레오 이미지들의 특정 픽셀 및 상기 특정 픽셀의 상기 호모그라피가 적용된 위치의 픽셀의 강도값(intensity value) 및 시차범위를 이용하여 상술한 수학식 2에 따라 정합비용(matching cost)을 연산하는 단계이다.In operation S630, the matching cost is calculated according to Equation 2 using an intensity value and a parallax range of a specific pixel of the stereo images and a pixel at which the homography of the specific pixel is applied. (matching cost) is calculated.
집계비용 산출 단계(S640)는 복수의 방향에 따라 정합비용을 집계하여 상술한 수학식 3에 따라 집계비용을 산출한다.In the calculation of the aggregate cost (S640), the aggregate cost is calculated according to the plurality of directions, and the aggregate cost is calculated according to Equation 3 described above.
최종 시차값 결정 단계(S650)는 집계비용의 합이 최소값을 갖는 경우의 시차값을 최종 시차값으로 결정한다.The final disparity value determining step S650 determines the disparity value when the sum of the aggregate costs has a minimum value as the final disparity value.
이미지 객체 검출 단계(S660)는 이미지를 구성하는 픽셀의 시차값이 기결정된 값, 예를 들어 지면을 구성하는 픽셀의 경우에 시차값이 작은 값을 갖는데, 바람직하게는 0에 가까운 값을 갖게 된다. 반면에 지면위에 존재하는 물체의 경우에는 5보다 더 큰 값을 갖는다. 이렇게 기 결정된 값은 5로 정할 수 있겠지만 이미지의 특성에 따라 그 값은 변경가능하다.In the image object detecting operation S660, when the parallax value of the pixels constituting the image has a predetermined value, for example, a pixel constituting the ground, the parallax value is small, and preferably has a value close to zero. . On the other hand, an object on the ground has a value greater than five. The predetermined value may be set to 5, but the value may be changed according to the characteristics of the image.
즉, 각 픽셀의 시차값이 기 결정된 값(예를 들어, 5)보다 작은 시차값을 갖는 픽셀은 제외되고, 5이상의 시차값을 갖는 픽셀을 이미지 객체를 구성하는 픽셀로 검출한다.That is, a pixel having a parallax value smaller than a predetermined value (for example, 5) of each pixel is excluded, and a pixel having a parallax value of 5 or more is detected as a pixel constituting an image object.
도 7은 본 발명에 따른, 지면 기반 스테레오 시차 정합 과정을 예시적으로 설명하기 위한 도면이다.7 is a diagram for exemplarily describing a ground-based stereo disparity matching process according to the present invention.
도 7을 참고하면, 촬상부(310)에 의해서 좌측 이미지를 촬상한다(도 7의 첫번째 좌측 도면 참고). 촬상된 이미지는 도로상에 자동차가 지나고 있는 장면을 촬상한 것이다. 이미지의 지면(도로)을 기반으로 하여 스테레오 정합을 수행한다. 이때 32-레벨의 시차범위로 스테레오 시차 정합을 수행한다(도 7의 두번째 좌측 도면 참고). 시차 정합된 이미지는 지면 영역의 시차값은 낮은 값을 갖고, 검은색으로 표시된다. 자동차 및 도로상의 물체는 시차값이 큰 값은 갖고, 흰색으로 표시된다. 지면 호모그라피를 활용하여 정합된 시차영상은 기존의 수직 평면의 정합비용에 SGM 기법을 적용한 시차영상에 비해 같은 32-레벨의 시차범위로 더 넓은 거리범위를 표현할 수 있다. (도 7의 세 번째, 네 번째 좌측 도면 참고).Referring to FIG. 7, an image captured by the
도 8은 본 발명에 따른 시차 맵을 개선하기 위해서, 지면 제약을 위반하는 불량 픽셀이 제거되는 과정을 설명하기 위한 도면이다.8 is a view for explaining a process of removing a bad pixel in violation of the ground constraint in order to improve the parallax map according to the present invention.
도 8을 참고하면, 촬상부(310)에 의해서 좌측 이미지를 촬상한다(도 8의 좌측 첫번째 도면 참고). 촬상된 이미지를 지면 기반으로 하여 스테레오 시차 정합을 수행하면, 지면에 대해서는 시차값이 낮은 검은색으로 표현된다(도 8의 좌측 두번째 도면 참고). 스테레오 시차 정합된 시차 맵에 대해서 중간값 필터를 적용하여 불량 픽셀을 제거할 수 있다. 이때 검은색으로 표현된 지면에서 주변의 연속적인 변화없이 독립적으로 흰색으로 표현된 부분은 불량 픽셀에 해당한다. 이러한 불량 픽셀에 대해서 중간값 필터를 적용하여 제거할 수 있다.Referring to FIG. 8, the
초기 시차 맵과 비교하면 불량 픽셀이 감소하였지만 여전히 불량 픽셀(도면의 아랫부분의 흰색 점(spot))이 존재하고 있음을 확인할 수 있다(도 8의 좌측에서 세번째 도면 참고). 중간값 필터에 의해서 일부 불량 픽셀이 제거된 시차 맵에 대하여 상술한 수학식 4를 적용하여 연속값을 갖지 않는 픽셀을 시차 맵에서 제거할 수 있다. 즉, 지면 영역(검은색으로 표현된 부분)의 픽셀값과 비교하여 연속값을 갖지 않는 픽셀(검은색 영역에서 흰색으로 표현된 영역)은 지면(검은색으로 표현)으로부터 대부분 제거됨으로서 불량 픽셀을 대부분 제거할 수 있다(도 8의 좌측에서 네번째 도면 참고). 따라서, 본 발명에 따른 이미지 검출 장치는, 검출된 이미지 객체의 픽셀 중 인정할 픽셀 사이의 시차값을 비교하여 복수의 방향에서 기결정된 차이값을 벗어나는 픽셀의 시차값을 보정할 수 있다. 이미지 검출 장치는 픽셀의 시차값을 보정하는 보정부를 별도로 포함할 수도 있고, 이미지 객체 검출부에서 이러한 기능을 통합적으로 수행할 수도 있다.Compared with the initial parallax map, although the bad pixels are reduced, it can be seen that there are still bad pixels (white spots in the lower part of the drawing) (see the third drawing from the left of FIG. 8). The parallax map from which some defective pixels are removed by the median filter may be applied to the parallax map by removing the continuous pixels. That is, pixels that do not have continuous values (regions represented by white in the black region) are mostly removed from the ground (expressed in black) as compared with the pixel values of the ground region (parts represented by black), thereby removing defective pixels. Most can be removed (see the fourth drawing from the left in FIG. 8). Accordingly, the image detecting apparatus according to the present invention may correct the parallax value of a pixel that deviates from the predetermined difference value in a plurality of directions by comparing the parallax values between pixels to be recognized among the pixels of the detected image object. The image detection apparatus may separately include a correction unit for correcting the parallax value of the pixel, or the image object detection unit may integrally perform this function.
또한, 이러한 픽셀의 시차값 보정은 하드웨어 적인 방법으로도 구현될 수도 있겠으나, 소프트웨어 적인 방법으로도 구현될 수 있겠다. In addition, the parallax correction of the pixel may be implemented by a hardware method, but may also be implemented by a software method.
따라서, 본 발명에 따른 이미지 객체 검출 장치는, 원 거리 범위의 물체에 대한 시차 정합도 가능하며, 지면 가정에 따라 오류를 제거함으로써 이미지에 포함된 객체를 보다 효과적으로 검출할 수 있다. Accordingly, the image object detecting apparatus according to the present invention can also perform parallax matching on an object in a far distance range, and can more effectively detect an object included in an image by eliminating an error according to the ground assumption.
도 9는 본 발명에 따른 지면 시차 맵과 이를 변환한 시차맵을 나타내는 도면이다.9 is a diagram illustrating a ground disparity map according to the present invention and a disparity map converted therefrom.
도 9를 참고하면, 지면 시차 맵은 지면에 대해서는 검은색으로 표현되고, 지면 상에 존재하는 물체에 대해서는 명도가 높은 색으로 표현될 수 있다(도 9의 윗쪽 도면 참고). 지면 기반의 스테레오 시차 정합된 시차 맵을 기존의 영상평면에 평행한 수직 평면 기반의 시차영상으로 변환하면 도 9의 아랫쪽 도면과 같이 변환된다. 도 9의 아랫쪽 도면에서 밝은 부분은 카메라에서 가깝고 어두운 영역은 먼 거리를 나타낸다. Referring to FIG. 9, the ground parallax map may be expressed in black with respect to the ground, and may be represented with a high brightness for objects on the ground (refer to the upper drawing of FIG. 9). When the ground-based stereo parallax matched parallax map is converted into a parallax image based on a vertical plane parallel to the existing image plane, it is converted as shown in the lower drawing of FIG. 9. In the lower diagram of Fig. 9, the bright parts are close to the camera and the dark areas are far away.
도 10 내지 11는 본 발명에 따른 다양한 물체를 갖는 지면 장면과 이에 대응하는 지면기반 시차맵 및 같은 시차범위를 사용하여 얻어진 기존의 수직평면 기반의 시차맵을 나타내는 도면이다.10 to 11 are diagrams illustrating a ground scene having various objects, a ground based parallax map corresponding thereto, and a conventional vertical plane based parallax map obtained by using the same parallax range.
도 10를 참고하면, 도로상에서 자동차가 움직이는 장면에 대한 이미지이다.(도 10의 좌측 첫번째 도면 참고). 좌측 첫번째 도면의 이미지에 지면 기반 스테레오 시차 정합을 수행하면, 도로는 명도가 낮은 검은색으로 표현되고, 자동차는 명도가 높은 흰색으로 표현될 수 있다(도 10의 좌측 두번째 도면 참고). 같은 범위의 시차범위를 활용하여 기존의 수직평면 기반의 시차맵을 획득하면 영상 전체의 시차를 잘 표현하지 못하고 오류가 발생하는 것을 확인할 수 있다.(도 10의 좌측 세번째 도면 참고).Referring to FIG. 10, it is an image of a scene of a vehicle moving on a road (see the first drawing on the left of FIG. 10). When the ground-based stereo parallax matching is performed on the image of the first left figure, the road may be expressed in black with low brightness and the vehicle may be expressed in white with high brightness (see the second left figure of FIG. 10). By using a parallax range of the same range and acquiring a parallax map based on the existing vertical plane, it can be seen that an error occurs without expressing the parallax of the entire image well (see the third drawing on the left of FIG. 10).
도 11를 참고하면, 지면은 횡단보도이고, 횡단보도 상에 사람들이 이동하고 있는 장면에 대한 이미지이다(도 11의 좌측 첫번째 도면 참고). 좌측 첫번째 도면의 이미지에 지면(횡단보도)을 기반으로 하여 스테레오 시차 정합을 수행하면 횡단보도는 명도가 낮은 검은색으로 표현하고, 사람들은 명도가 높은 흰색으로 표현하게 된다(도 11의 좌측 두번째 도면 참고). 같은 범위의 시차범위를 활용하여 기존의 수직평면 기반의 시차맵을 획득하면 영상 전체의 시차를 잘 표현하지 못하고 오류가 발생하는 것을 확인할 수 있다 (도 11의 좌측 세번째 도면 참고).Referring to FIG. 11, the ground is a pedestrian crossing and an image of a scene where people are moving on the pedestrian crossing (see the first drawing on the left of FIG. 11). When the stereo parallax matching is performed based on the ground (crosswalk) on the image of the first drawing on the left, the crosswalk is expressed in black with low brightness, and the people are expressed in white with high brightness (the second drawing on the left of FIG. 11). Reference). By using a parallax range of the same range to obtain a parallax map based on the existing vertical plane, it can be seen that an error occurs without expressing the parallax of the entire image well (see the third drawing on the left of FIG. 11).
도 12은 본 발명에 따라 지면 시차 맵을 이용하여 물체를 검출하는 것을 설명하기 위한 도면이다.12 is a view for explaining the detection of an object using a surface parallax map according to the present invention.
도 12을 참고하면, 도 10의 좌측 첫번째 도면의 이미지에서 물체를 검출하기 위하여, 먼저 시차 정합을 수행하고, 지면에 해당하는 시차값이 낮은 영역을 제거하고 기존의 시차영상으로 변환하여 시차가 낮은(원거리) 영역을 제거한다. (도 12의 상부 도면 참고).Referring to FIG. 12, in order to detect an object in the image of the first drawing on the left side of FIG. 10, parallax matching is performed first, an area having a low parallax value corresponding to the ground is removed, and the parallax is converted into an existing parallax image so that the parallax is low. Remove the (far) area. (See top view in FIG. 12).
물체가 검출된 이미지와 원래의 이미지를 서로 겹쳐서 도시함으로써, 본 발명에 따라 이미지로부터 물체를 검출하는 것을 원래 이미지와 비교할 수 있다(도 12의 하부 도면 참고).By superimposing the detected image and the original image on top of each other, the detection of the object from the image according to the invention can be compared with the original image (see lower figure in FIG. 12).
비록 본 발명의 예시적인 실시예 및 적용예가 도시되고 설명되었더라도, 본 발명의 기술적 사상의 범위를 벗어나지 않는 범위에서 많은 변화 및 수정이 가능하고, 이러한 변형은 본 발명이 속하는 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있다. 따라서, 설명된 실시예는 예시적이지 제한적인 것이 아니며, 본 발명은 첨부된 상세한 설명에 의해서 제한되는 것이 아니지만 청구항의 기술적 범위 내에서 수정가능하다.Although exemplary embodiments and applications of the present invention have been shown and described, many changes and modifications are possible without departing from the scope of the spirit of the present invention, and such modifications may be made to those skilled in the art. Can be clearly understood. Accordingly, the described embodiments are illustrative and not restrictive, and the invention is not limited by the accompanying detailed description, but is capable of modifications within the scope of the claims.
310 : 촬상부 320 : 호모그라피 연산부
330 : 정합비용 연산부 340 : 집계부
350 : 시차값 결정부310: imaging unit 320: homography calculation unit
330: matching cost calculation unit 340: aggregation unit
350: parallax value determination unit
Claims (12)
스테레오 이미지를 촬상하는 촬상부;
상기 스테레오 이미지 사이의 호모그라피(homography)를 연산하는 호모그라피 연산부;
상기 스테레오 이미지를 구성하는 복수의 픽셀의 밝기값을 이용하여 정합비용(matching cost)을 연산하는 정합비용 연산부;
상기 정합비용을 이용하여 집계비용을 산출하는 집계부;
상기 집계비용을 합산하여 최소값을 갖는 시차값을 해당 픽셀의 최종 시차값으로 결정하는 시차값 결정부; 및
기결정된 기준값보다 큰 시차값을 갖는 픽셀을 포함하는 이미지 객체를 검출하는 이미지 객체 검출부;를 포함하는 것을 특징으로 하는 이미지 객체 검출 장치.In the image object detection apparatus,
An imaging unit for imaging a stereo image;
A homography calculation unit for calculating homography between the stereo images;
A matching cost calculator configured to calculate a matching cost using brightness values of a plurality of pixels constituting the stereo image;
An aggregation unit for calculating an aggregation cost using the matching cost;
A parallax value determining unit configured to add the aggregate cost and determine a parallax value having a minimum value as a final parallax value of the corresponding pixel; And
And an image object detector configured to detect an image object including a pixel having a parallax value greater than a predetermined reference value.
상기 호모그라피는,
(여기서, HGL 은 제1 이미지와 지면 사이의 호모그라피, HRG 는 제2 이미지와 상기 지면 사이의 호모그라피)
에 의하여 표현되며, 상기 제1 이미지와 상기 제2 이미지의 지면영역의 대응관계를 사용하여 연산되는 것을 특징으로 하는 이미지 객체 검출 장치.The method of claim 1,
The homography,
(Wherein H GL is homography between the first image and the ground, H RG is homography between the second image and the ground)
The image object detection apparatus, wherein the image object is calculated by using a correspondence relationship between the ground area of the first image and the second image.
상기 정합비용은,
(여기서, 상기 IL은 제1 스테레오 이미지 밝기, IR 은 제2 스테레오 이미지 밝기, p는 특정 픽셀, d는 시차범위 안의 특정 시차값)
에 의하여 연산되는 것을 특징으로 하는 이미지 객체 검출 장치.The method of claim 1,
The matching cost is
Where I L is the first stereo image brightness, I R is the second stereo image brightness, p is a specific pixel, and d is a specific parallax value within the parallax range.
Image object detection apparatus, characterized in that calculated by.
상기 집계비용은,
(여기서, p-1 은 픽셀 P의 이전 픽셀, P1 는 작은 시차 변화를 위한 보상비용, P2 는 큰 시차 변화를 위한 보상비용)
에 의하여 연산되는 것을 특징으로 하는 이미지 객체 검출 장치.The method of claim 1,
The aggregate cost,
Where p −1 is the previous pixel of pixel P, P 1 is the compensation cost for small parallax changes, and P 2 is the compensation cost for large parallax changes)
Image object detection apparatus, characterized in that calculated by.
상기 검출된 이미지 객체의 픽셀에 중간값 필터(median filter)를 적용하여, 상기 픽셀을 보정하는 보정부;를 더 포함하는 것을 특징으로 하는 이미지 객체 검출 장치.The method of claim 1,
And a correction unit configured to apply a median filter to the pixels of the detected image object to correct the pixels.
상기 검출된 이미지 객체의 픽셀 중 인접 픽셀의 시차값을 비교하여 복수의 방향에 대하여 기결정된 차이값보다 큰 값을 갖는 픽셀의 시차값을 보정하는 보정부;를 더 포함하는 이미지 객체 검출 장치.The method of claim 1,
And a correcting unit configured to compare parallax values of adjacent pixels among the detected image objects to correct parallax values of pixels having a value greater than a predetermined difference value for a plurality of directions.
스테레오 이미지를 촬상하는 단계;
상기 스테레오 이미지 사이의 호모그라피(homography)를 연산하는 호모그라피 연산하는 단계;
상기 스테레오 이미지를 구성하는 복수의 픽셀의 밝기값을 이용하여 정합비용(matching cost)을 연산하는 정합비용 연산단계;
상기 정합비용을 이용하여 집계비용을 산출하는 집계비용 산출단계;
상기 집계비용을 합산하여 최소값을 갖는 시차값을 해당 픽셀의 최종 시차값으로 결정하는 시차값 결정 단계; 및
기결정된 기준값보다 큰 시차값을 갖는 픽셀을 포함하는 이미지 객체를 검출하는 이미지 객체 검출 단계;를 포함하는 것을 특징으로 하는 이미지 객체 검출 방법.In the image object detection method,
Imaging a stereo image;
Performing a homography operation that computes homography between the stereo images;
A matching cost calculating step of calculating a matching cost using brightness values of a plurality of pixels constituting the stereo image;
An aggregate cost calculation step of calculating an aggregate cost using the matching cost;
A parallax value determining step of adding the aggregation cost to determine a parallax value having a minimum value as a final parallax value of the corresponding pixel; And
And an image object detecting step of detecting an image object including a pixel having a parallax value greater than a predetermined reference value.
상기 호모그라피는,
(여기서, HGL 은 제1 이미지와 지면 사이의 호모그라피, HRG 는 제2 이미지와 상기 지면 사이의 호모그라피)
에 의하여 표현되며 상기 제1 이미지와 상기 제2 이미지의 지면영역의 대응관계를 사용하여 연산되는 것을 특징으로 하는 이미지 객체 검출 방법.The method of claim 7, wherein
The homography,
(Wherein H GL is homography between the first image and the ground, H RG is homography between the second image and the ground)
And is computed using a correspondence relationship between the ground area of the first image and the second image.
상기 정합비용은,
(여기서, 상기 IL은 제1 스테레오 이미지, IR 은 제2 스테레오 이미지, p는 특정 픽셀, d는 시차값)
에 의하여 연산되는 것을 특징으로 하는 이미지 객체 검출 방법.The method of claim 7, wherein
The matching cost is
Where I L is a first stereo image, I R is a second stereo image, p is a specific pixel, and d is a parallax value
Image object detection method characterized in that the operation.
상기 집계비용은,
(여기서, p-1 은 픽셀 P 이전 픽셀, P1 는 작은 시차 변화를 위한 보상비용, P2 는 큰 시차 변화를 위한 보상비용)
에 의하여 연산되는 것을 특징으로 하는 이미지 객체 검출 방법.The method of claim 7, wherein
The aggregate cost,
Where p -1 is the pixel prior to pixel P, P 1 is the compensation cost for small parallax changes, and P 2 is the compensation cost for large parallax changes)
Image object detection method characterized in that the operation.
상기 검출된 이미지 객체의 픽셀에 중간값 필터(median filter)를 적용하여, 상기 픽셀을 보정하는 단계;를 더 포함하는 것을 특징으로 하는 이미지 객체 검출 방법.The method of claim 7, wherein
Correcting the pixel by applying a median filter to the pixel of the detected image object.
상기 검출된 이미지 객체의 픽셀 중 인접 픽셀의 시차값을 비교하여 복수의 방향에 대하여 기결정된 차이값보다 큰 차이값을 갖는 픽셀의 시차값을 보정하는 단계;를 더 포함하는 이미지 객체 검출 방법.The method of claim 7, wherein
And comparing the parallax values of adjacent pixels among the pixels of the detected image object and correcting the parallax value of a pixel having a difference value greater than a predetermined difference value for a plurality of directions.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110137544A KR101317839B1 (en) | 2011-12-19 | 2011-12-19 | An image object detection apparatus and method of the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110137544A KR101317839B1 (en) | 2011-12-19 | 2011-12-19 | An image object detection apparatus and method of the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130070299A KR20130070299A (en) | 2013-06-27 |
| KR101317839B1 true KR101317839B1 (en) | 2013-10-15 |
Family
ID=48865135
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110137544A KR101317839B1 (en) | 2011-12-19 | 2011-12-19 | An image object detection apparatus and method of the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101317839B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101673144B1 (en) * | 2014-10-28 | 2016-11-07 | 한국기계연구원 | Stereoscopic image registration method based on a partial linear method |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003303337A (en) | 2002-04-12 | 2003-10-24 | Fuji Heavy Ind Ltd | System and method of image correction |
| KR100933304B1 (en) | 2007-08-30 | 2009-12-22 | 중앙대학교 산학협력단 | An object information estimator using the single camera, a method thereof, a multimedia device and a computer device including the estimator, and a computer-readable recording medium storing a program for performing the method. |
| KR20100068751A (en) * | 2008-12-15 | 2010-06-24 | 재단법인대구경북과학기술원 | Image matching method and apparatus and object detection apparatus using same |
-
2011
- 2011-12-19 KR KR1020110137544A patent/KR101317839B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003303337A (en) | 2002-04-12 | 2003-10-24 | Fuji Heavy Ind Ltd | System and method of image correction |
| KR100933304B1 (en) | 2007-08-30 | 2009-12-22 | 중앙대학교 산학협력단 | An object information estimator using the single camera, a method thereof, a multimedia device and a computer device including the estimator, and a computer-readable recording medium storing a program for performing the method. |
| KR20100068751A (en) * | 2008-12-15 | 2010-06-24 | 재단법인대구경북과학기술원 | Image matching method and apparatus and object detection apparatus using same |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130070299A (en) | 2013-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11170466B2 (en) | Dense structure from motion | |
| JP3868876B2 (en) | Obstacle detection apparatus and method | |
| US9378553B2 (en) | Stereo image processing device for vehicle | |
| JP4956452B2 (en) | Vehicle environment recognition device | |
| KR101417571B1 (en) | Object identification device | |
| JP3759429B2 (en) | Obstacle detection apparatus and method | |
| KR101285106B1 (en) | Obstacle detection method using image data fusion and apparatus | |
| CN107990878B (en) | Distance measuring system and distance measuring method based on low-light-level binocular camera | |
| JP4872769B2 (en) | Road surface discrimination device and road surface discrimination method | |
| CN103366155B (en) | Temporal coherence in unobstructed pathways detection | |
| JP4032843B2 (en) | Monitoring system and monitoring method, distance correction device and distance correction method in the monitoring system | |
| JP2013250907A (en) | Parallax calculation device, parallax calculation method and parallax calculation program | |
| JP4344860B2 (en) | Road plan area and obstacle detection method using stereo image | |
| JP6956051B2 (en) | Image processing equipment, driving support system, image processing method and program | |
| JP5501084B2 (en) | Planar area detection apparatus and stereo camera system | |
| KR100508763B1 (en) | System for detecting and recognizing a car plate area by using stereo vision and method thereof | |
| JP2018085059A (en) | Information processing device, imaging apparatus, device control system, information processing method and program | |
| US20200193184A1 (en) | Image processing device and image processing method | |
| Garro et al. | A novel interpolation scheme for range data with side information | |
| JP6701905B2 (en) | Detection device, parallax value derivation device, object recognition device, device control system, and program | |
| KR101317839B1 (en) | An image object detection apparatus and method of the same | |
| JP5587852B2 (en) | Image processing apparatus and image processing method | |
| JP4754434B2 (en) | Road surface estimation device | |
| JP6988860B2 (en) | Information processing system, information processing method and information processing program | |
| JP2014067320A (en) | Stereo camera device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20170922 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20180920 Year of fee payment: 6 |