KR19980018429A - Distance detection method using image - Google Patents
Distance detection method using image Download PDFInfo
- Publication number
- KR19980018429A KR19980018429A KR1019970037530A KR19970037530A KR19980018429A KR 19980018429 A KR19980018429 A KR 19980018429A KR 1019970037530 A KR1019970037530 A KR 1019970037530A KR 19970037530 A KR19970037530 A KR 19970037530A KR 19980018429 A KR19980018429 A KR 19980018429A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- data
- correlation
- target
- value
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
Abstract
본 발명의 목적은 이미지 센서법(20)으로 얻은 타켓(1)의 이미지 검출 결과의 신뢰도를 확인함으로써 정확한 타겟 거리를 제공하는 것이다.An object of the present invention is to provide an accurate target distance by confirming the reliability of the image detection result of the target 1 obtained by the image sensor method 20. [
광학법(10)으로 이미지 센서법(20)에서 이미지 센서 쌍(21, 22)의 이미지를 제공함으로써 이미지 패턴을 나타내는 이미지 데이터 쌍(D1, D2)을 발생한다. 상관치 연산 방법(30)에 의해, 이미지 데이터로부터 추출한 윈도우부 데이터(WD1, WD2)로부터 시야(S)에 따라 분할 그룹(d1, d2)을 추출하고, 분할 위치를 순차적으로 시프트하고, 상기 추출 분할(d1, d2)의 조합(Ck)을 형성하며, 각 조합에 대한 분할 사이의 상관치(Vk)를 계산한다. 신뢰도 검사법(50)에 의해, 신뢰도에 대한 평가 기준으로서 사용되는 최량 상관 관계로서 양방향 경사도(φ+)와 음방향 경사도(φ-)를 얻되 상기 최량 상관 관계를 얻은 시프트 값(s) 근방에서의 상관치 변화 상태에 기초하여 얻고, 타겟(1)이 시야(S) 내에 있는지를 판단하고 정밀도가 소정의 레벨 이상인 경우에만 타켓(1)까지의 거리 계산을 허용하고, 타켓(1)까지의 거리를 검출한다.Generates an image data pair (D1, D2) representing the image pattern by providing an image of the image sensor pair (21, 22) in the image sensor method (20) by the optical method (10). The correlation value calculation method 30 extracts the divided groups d1 and d2 in accordance with the visual field S from the window sub data WD1 and WD2 extracted from the image data, sequentially shifts the divided positions, Forms a combination ( Ck ) of segments (d1, d2), and calculates a correlation value ( Vk ) between segments for each combination. The bidirectional gradient (? +) And negative gradient (? -) are obtained as the best correlation used as the evaluation criterion for the reliability by the reliability test method (50), and the bidirectional gradient The distance to the target 1 is allowed only when the target 1 is within the visual field S and only when the accuracy is not less than the predetermined level, .
Description
본 발명은 이미지 센서에서 수신한 이미지로부터 앞의 자동차 등의 타겟(target)을 포착하고 그 거리를 계산하여 충돌을 방지하기 위한 소극적 거리 검출 방법에 관한 것이다.The present invention relates to a passive distance detection method for capturing a target such as an automobile ahead of an image received by an image sensor and calculating the distance to prevent collision.
전술한 소극적 거리 검출 방법에서는 이미지 센서 쌍을 수평·수직 또는 대각으로 배치하여 타겟에 대한 두 개의 이미지를 포착한다. 이 두 이미지 사이의 시차(parallax)를 이용하여 타겟과의 거리를 계산한다. 타겟에 초음파나 광을 조사하여 그 반사 시간으로부터 거리를 검출하는 능동적 방법에 비하여, 이 소극적 방법은 더 정확하고 장거리 검출에 보다 적절하며 주변 배경으로부터 잘 구분되는 타겟에 잘 맞는다. 수동적 방법은 자동 카메라에 이미 적용되고 있고, 자동차 충돌 방지 분야에 잘 적용될 것으로 예상된다.In the above-described passive distance detection method, pairs of image sensors are arranged horizontally, vertically, or diagonally to capture two images for a target. The distance between the two images is calculated using the parallax between the two images. Compared to the active method of irradiating the target with ultrasound or light and detecting the distance from its reflection time, this passive method is more accurate, more suitable for long distance detection, and well suited to targets that are well separated from the surrounding background. Passive methods are already being applied to automatic cameras and are expected to be well applied in the field of automobile crash prevention.
시차를 이용한 거리 검출한 삼각 측량의 원리에 기초한다. 렌즈 쌍을 갖는 광학 시스템이 사용되어 이미지 센서 쌍에서 서로 상이한 광경로를 통한 타겟 이미지를 형성하고, 또한 이미지 형성 위치에 있는 타겟이 무한 거리에 있을 때의 기준 위치로부터의 오프셋(σ)을 검출하면, 삼각 측량의 기본 거리인 렌즈간 거리와 렌즈 사이의 초점 거리를 각각 b와 f라 할 때 거리(d)는It is based on the principle of distance detection triangulation using time lag. An optical system having a pair of lenses is used to form a target image through different optical paths in the image sensor pair and also detects an offset from the reference position when the target at the image forming position is at an infinite distance , The distance between the lens, which is the basic distance of the triangulation, and the focal length between the lens are b and f, respectively,
d=bf/σd = bf / σ
과 같이 표현할 수 있다. 실제 응용에서는 거리(d) 대신 오프셋(σ)이 지시자로서 사용된다.Can be expressed as follows. In an actual application, an offset (?) Is used as an indicator instead of the distance (d).
자동초점 카메라를 사용함에 있어서, 사용자는 뷰파인더(viewfinder)를 사용하여 거리를 측정할 타겟을 선택한다. 그러나, 충돌 방지 장치에서는, 운전자에게 자동차 바로 앞에 있거나 대각 방향에 있는 타겟을 식별하도록 하는 것이 불가능하므로, 이미지 센서에 비교적 넓은 시야를 설정하여 불특정 타겟을 자동적으로 검출하고 그들과의 거리를 계산하도록 해야 한다.In using an autofocus camera, the user selects a target to measure distance using a viewfinder. However, in the collision avoidance apparatus, it is impossible to allow the driver to identify the target immediately before the car or in the diagonal direction, so that a relatively wide field of view should be set on the image sensor to automatically detect the unspecified target and calculate the distance therebetween do.
다행스럽게도, 공지된 바와 같이, 검출 타겟이 자동차의 이미지 센서 정면으로부터 일정각(θ)으로 대각 방향에 있는 경우에도, 이미지 형성 위치에 있는 타겟이 각(θ) 방향으로 무한 거리에 있을 때 기준 위치로부터의 오프셋(σ)을 검출함으로써 그 각(θ)에 관계없이 위의 식을 사용하여 거리(d)를 결정할 수 있다. 따라서, 문제는 시야에 있는 타겟을 검출하는 것에 있다.As is well known, even when the detection target is in the diagonal direction from the image sensor front face of the automobile at a certain angle ([theta]), when the target at the image forming position is at an infinite distance in the angle The distance d can be determined using the above equation regardless of the angle? By detecting the offset? Thus, the problem lies in detecting a target in view.
제안된 한 가지 방법에서는, 시야를 다수의 좁은 부시야(sub-visual fields)로 나누고 각 부시야에 대하여 거리를 계산한 후, 검출된 거리의 주파수 배치에 기초하여 가장 정확한 거리일 것으로 보이는 거리를 선택한다. (방법 A) 다른 방법에서는, 이미지 센서 시야 내의 각 부시야를 순차적으로 스캐닝하여 각 부시야에 대한 이미지 쌍의 상관 관계(correlation)를 결정함으로써, 양호한 상관 관계를 갖는 스캐닝 범위의 타겟이 존재한다고 판단하고 센서로부터의 거리를 검출한다.(방법 B)One proposed method divides the field of view into a number of narrow sub-visual fields, calculates distances for each of the busses, and then computes the distance that appears to be the most accurate distance based on the frequency placement of the detected distances Select. (Method A) In another method, it is determined that there is a target of a scanning range having a good correlation by sequentially scanning each of the bussies in the image sensor field of view and determining the correlation of image pairs for each bussy field And detects the distance from the sensor. (Method B)
그러나, 타겟을 발견하고 그 거리를 검출하기 위해 사용하는 이미지 센서의 시야에서 타겟 이외의 물체가 검출된다. 따라서, 각 부시야에 대한 거리를 검출하는 데 있어서 오차가 발생하고, 이로써 각 부시야에 대한 이미지 쌍 검사에 있어서 양호한 상관 관계를 얻는 것이 곤란하다.However, an object other than the target is detected in the field of view of the image sensor used to detect the target and to detect the distance. Therefore, an error occurs in detecting the distance to each of the bushy areas, and it is difficult to obtain a good correlation in the image pair inspection for each bushy area.
시야에 존재하는 물체의 거리는 많은 경우 검출하고자 하는 타겟의 거리와는 상이하고, 따라서 다른 물체로부터 타겟을 구분할 필요가 있다.The distance of an object existing in the visual field is different from the distance of the target to be detected in many cases, and therefore it is necessary to distinguish the target from another object.
그러나, 시야로부터 상이한 거리를 가지고 있고 이미지 센서 쌍 간에 시차가 존재하는 물체가 타겟을 포착하고자 하는 시야에 혼재되어 있는 경우에는, 이미지 쌍 사이에 양호한 상관 관계를 얻는 것이 불가능하고 따라서 거리 검출도 부정확하게 된다.However, if an object having a different distance from the field of view and having parallax between the image sensor pairs is mixed in the field of view in which the target is to be captured, it is impossible to obtain a good correlation between the image pairs, do.
도 3을 참조하여 간략히 설명한다. 도면의 프레임에 도시된 복수의 이미지 센서의 시야 내의 이미지는 검출 타겟(1)(앞의 자동차)과 배경인데, 여기서 배경은 도로(RD), 가드레일(GR), 도로 신호(RS), 다른 자동차(Au), 나무(Tr), 기둥(Ps), 산(Mt), 그리고 타겟(1)이 도로(RD)에 만드는 그림자(Sh)를 포함한다. 이러한 시야에서 타겟(1)을 포착하는 부시야는 일반적으로 각 이미지 센서 쌍에 대한 시야의 일부분으로서 설정되고, 이러한 부시야의 몇 가지 예를 장방형으로 도시하였다. 도면에서, 부시야(S1-S3)는 이미지 센서 쌍이 수직으로 배치된 경우이고, 부시야(S4, S5)는 이미지 센서 쌍이 수평으로 배치된 경우이다.Will be briefly described with reference to FIG. The image in the field of view of the plurality of image sensors shown in the frame of the drawing is the background with the detection target 1 (the preceding car), wherein the background is the road RD, the guard rail GR, the road signal RS, (Au), a tree (Tr), a column (Ps), a mountain (Mt), and a shadow (Sh) made by the target (1) on the road (RD). The bass field that captures the target 1 in this field of view is typically set as part of the field of view for each image sensor pair, and some examples of such buss fields are shown in a rectangle. In the figure, bushy areas (S1-S3) are when the image sensor pairs are arranged vertically, and bushy areas (S4, S5) are when the image sensor pairs are arranged horizontally.
S1은 이상적인 시야로서, 전체 타겟(1)을 포함하되 외부 이미지는 거의 존재하지 않도록 설정된다. 따라서, 이 부시야를 사용하여, 방법 A는 거리를 정확히 검출할 수 있고 방법 B는 양호한 상관 관계를 제공한다. 부시야(S2)는 타겟의 일부분을 포착함과 함께, 이미지 센서에 멀리 위치하는 이미지, 즉 다가오는 자동차(Au)와 산(Mt)의 이미지를 포함한다. 따라서, 방법 A는 이 멀리 떨어져 있는 물체의 거리를 검출할 가능성이 높다. 방법 B는 가정된 특정 거리와의 상관 관계를 판단하므로, 가정된 거리가 타겟(1)과의 실제 거리에 가까운 경우에는 양호한 상관 관계를 얻게 되고 가정이 틀린 경우에는 불량한 상관 관계를 얻게 된다. 부시야(S3)는 타겟(1)의 일부분과 그 그림자(Sh)를 포착한다. 그림자에 대한 대비도가 높기 때문에, 방법 A는 타겟(1)과의 거리보다는 그림자(Sh)와의 거리를 검출할 가능성이 높으며, 방법 B는 상당히 정확한 가정이 이루어지더라도 상관 관계가 저하된다.S1 is an ideal field of view, including the entire target 1, but with no external image. Thus, using this busy, method A can accurately detect the distance and method B provides a good correlation. Busy S2 captures a portion of the target and includes an image of an image located away from the image sensor, that is, an image of the coming automobile (Au) and the mountain (Mt). Therefore, the method A is highly likely to detect the distance of this distant object. Since Method B determines the correlation with the assumed specific distance, a good correlation is obtained when the assumed distance is close to the actual distance from the target 1, and a poor correlation is obtained when the assumption is wrong. Bushy S3 captures a portion of target 1 and its shadow Sh. Because of the high degree of contrast for shadows, method A is more likely to detect the distance to the shadow (Sh) than the distance to the target (1), and method B degrades the correlation even if a fairly accurate assumption is made.
부시야(S4)는 대부분 타겟(1)을 포함하고는 있지만 특유 이미지 패턴(distinctive image pattern)이 포함되어 있지 않고 또한 도로(RD)와 가드레일(GR)의 이미지가 혼재되어 있다. 따라서, 방법 A는 혼재된 이미지에 의해 잘못된 거리를 제공할 가능성이 높고, 방법 B는 정확한 가정이 이루어지더라도 낮은 상관 관계가 얻어진다. 부시야(S5)는 타겟(1)의 대부분의 특유 이미지 패턴을 포함하고 있다. 따라서, 나무(Tr)와 기둥(Ps)의 이미지가 부시야에 혼재되어 있음에도 불구하고, 이러한 이미지가 타겟(1) 근처에 있다면 방법 A는 거리를 정확히 검출할 수 있다. 타겟(1)을 부정확하게 포착하고 있음에도 불구하고, 방법 B는 거리를 정확히 가정한다면 양호한 상관 관계를 제공한다.Most of the bushy S4 includes the target 1 but does not include a distinctive image pattern and images of the road RD and the guard rail GR are mixed. Thus, Method A is more likely to provide false distances due to the mixed image, and Method B achieves a lower correlation even if correct assumptions are made. The bushy area S5 contains most of the unique image patterns of the target 1. Thus, although the image of the tree Tr and the column Ps are mixed in the bushy, the method A can accurately detect the distance if this image is near the target 1. [ Despite incorrectly capturing the target 1, Method B provides a good correlation if the distance is precisely assumed.
이러한 예로부터, 타겟을 정확히 포착할 수 있도록 시야의 방향과 크기를 설정할 수 있다면, 거리와 존재 유무를 정확히 검출할 수 있다. 다른 물체의 이미지, 특히 이미지 센서로부터 거리가 상이한 물체의 이미지가 시야에 혼재되어 있는 경우에는, 타겟의 거리와 방향을 정확히 검출할 수 없다. 그러나, 검출 결과가 정확한지 여부를 판단하는 것이 어렵기 때문에, 실제에 있어서는 오차를 포함할 수 있는 인식 결과(perception result)에 기초하여 타겟의 거리와 방향을 결정한다. 특히, 충돌 방지에 있어서는, 거리와 방향을 계산하기 위해서 정확하고도 자동적인 타겟 포착이 필요하다.From this example, if the direction and size of the field of view can be set so that the target can be accurately captured, the distance and presence or absence can be accurately detected. The distances and directions of the target can not be accurately detected when images of other objects, particularly images of objects having different distances from the image sensor, are mixed in the field of view. However, since it is difficult to determine whether or not the detection result is correct, in practice, the distance and direction of the target are determined based on a perception result that may include an error. Especially, in the prevention of collision, accurate and automatic target acquisition is required to calculate distance and direction.
따라서, 본 발명의 한 가지 목적은 검출 결과의 신뢰도를 평가하여 진실로 믿을 수 있는 결과에만 기초하여 타겟의 거리와 존재 여부를 계산할 수 있도록 하는 것이다.It is therefore an object of the present invention to evaluate the reliability of detection results and to be able to calculate the distance and presence of a target based solely on reliable results.
도 1은 본 발명에서 사용되는 여러 방법의 구성을 도시하며, 실시예를 나타내는 도면과 다이어그램을 포함하는 도면으로서, 도 1a는 본 발명의 예를 타켓과 함께 도시하는 블록도이고, 도 1b는 윈도우부 데이터와 분할 그룹을 도시하는 이미지 도면으로서서, 상관치 연산법을 나타내는 도면, 도 1c는 분학의 조합 번호에 대한 상관치 변화의 상태를 나타내는 도면.FIG. 1 is a block diagram showing the configuration of various methods used in the present invention, including drawings and diagrams showing embodiments, wherein FIG. 1A is a block diagram showing an example of the present invention together with a target, FIG. FIG. 1C is a view showing a state of a change in a correlation value with respect to a combination number of a discipline; FIG.
도 2는 상관치 연산법과 신뢰도 검사법을 소프트웨어로서 구성한 흐름도로서, 도 2a는 상관치 연산법의 예를 도시하는 흐름도, 도 2b는 신뢰도 검사법의 예를 도시하는 흐름도.FIG. 2 is a flowchart showing a correlation value calculation method and a reliability check method as software. FIG. 2A is a flow chart showing an example of a correlation value calculation method and FIG. 2B is a flowchart showing an example of a reliability check method.
도 3은 복수의 이미지 센서 쌍의 시야를 예로서 도시한 도면으로서, 부시야를 시야 내에 설정하여 본 발명의 목적을 나타내는 도면.Fig. 3 is a view showing an example of a view of a plurality of image sensor pairs, in which the object of the present invention is set by setting the bass field within the field of view. Fig.
*도면의 주요 부분에 대한 부호의 설명*Description of the Related Art [0002]
1:거리를 검출한 타겟(예컨대, 자동차)1: target (e.g., car)
20:이미지 센서법30:상관치 연산법20: image sensor method 30: correlation value calculation method
31:시야 지정법70:프로세서 또는 소형 컴퓨터31: Field of view designation 70: Processor or small computer
72:상관치 저장요 메모리72: Correlation value storage memory
본 발명의 거리 검출 방법은 상이한 광경로를 통한 광학 이미지를 수신하여 이미지 패턴을 나타내는 이미지 데이터 쌍을 제공하기 위한 이미지 센서쌍을 사용하고, 상관치 연산법에 의해 이미지 데이터로부터 추출한 윈도우부 데이터(windowpart data)로부터 각 이미지 데이터로부터 검출되는 검출 타겟 포착용 시야에 대응하는 분할 그룹을 추출하고, 각 그룹에서 분학 위치를 순차적으로 시프트하여 각각이 분할 쌍을 포함하는 조합을 제공하고, 각 조합에 대한 분할 사이의 상관치를 계산하며, 신뢰도 검사법에 의해 최량 상관 관계(best correlation)의 신뢰도에 대한 지시자로서 최량 상관 관계점의 정밀도를 결정하되 상기 최량 상관치를 계산한 시프트 값 근방에서의 상관치 변화 상태에 기초하여 상기 정밀도를 얻고, 이로써 상기 검출 타겟이 상기 윈도우부 데이터에 대응하는 윈도우를 통해서 본 시야 내에 있는지를 판단하고 상기 정밀도가 소정의 레벨 이상인 경우에만 상기 정밀도로부터 상기 검출 타겟까지의 거리를 검출한다.The distance detection method of the present invention uses an image sensor pair for receiving an optical image through different optical paths to provide an image data pair representing an image pattern and extracting window part data extracted from the image data by a correlation value calculation method data from the respective image data, and sequentially shifts the positions of the zeros in the respective groups to provide a combination including each of the split pairs, and the division for each combination And the accuracy of the best correlation point is determined as an indicator of the reliability of the best correlation by the reliability test method. Based on the correlation value change state near the shift value in which the best correlation value is calculated, Thereby obtaining the above-mentioned accuracy, Determining whether it is within the field of view through the window corresponding to the data and detects the distance to the detection target from the precision only when the accuracy is equal to or higher than a predetermined level.
상기 구성에서, 타겟을 포착하는 시야의 크기와 방향은 윈도우부 데이터의 개수와 이미지 데이터가 연속적으로 추출되는 추출 위치로부터 설정됨을 알 수 있다. 즉, 타겟은 윈도우부 데이터에 대응하는 윈도우를 통해 본 시야에서 포착한다.In the above configuration, it can be seen that the size and direction of the field of view for capturing the target are set from the number of window sub data and the extraction position from which the image data is continuously extracted. That is, the target is captured in the view through the window corresponding to the window sub-data.
타겟까지의 거리를 검출함에 있어서, 본 발명에서는 상관치 연산법에 의해 전술한 구성에 따라 분할 조합에 대한 상관치를 계산하고 그 윈도우부의 데이터에서 최량 상관 관계가 추출된 위치의 시프트 값으로부터 거리를 결정한다. 상이한 거리의 다른 물체가 시야를 공유하는 경우에는, 최적치 근방의 상관치의 시프트 값에 대한 의존도가 변화하여 최량 상관 관계점의 정밀도가 저하된다. 본 발명은 전술한 구성의 신뢰도 검사법을 사용하여 최량 상관 관계점에 대응하는 시프트 값 근방에서의 상관치의 변화 상태로부터 정밀도를 계산하여 이 정밀도를 상기 최량 상관 관계의 신뢰도 지시자로서 사용하고, 이 정밀도가 소정 레벨 이상일 때에만 상기 최량 상관 관계를 신뢰할 수 있다고 판단하여 이에 대응하는 시프트 값으로부터 타겟까지의 거리를 검출한다.In detecting the distance to the target, in the present invention, the correlation value for the division combination is calculated according to the above-described configuration by the correlation value calculation method, and the distance from the shift value of the position where the best correlation is extracted from the data of the window portion is determined do. When other objects at different distances share the field of view, the dependence on the shift value of the correlation value in the vicinity of the optimal value changes and the accuracy of the best correlation point decreases. The present invention uses the reliability test method of the above-described configuration to calculate the precision from the change state of the correlation value in the vicinity of the shift value corresponding to the best correlation point and use this precision as the reliability indicator of the best correlation, It is determined that the best correlation is reliable only when it is higher than the predetermined level, and the distance from the corresponding shift value to the target is detected.
신뢰도 지시자로서의 정밀도는 바람직하게는 복수의 , 예컨대 최량 상관 관계 점 전후에서의 두 개의 상관치의 경사도의 평균치이거나 또는 최량 상관 관계점 양쪽 경사도 중에서 완만한 값이다. 후자의 경우, 경사도의 평균치가 완만한 쪽의 값에 근접할 수 있도록 적절한 정정이 수행된다.The precision as the reliability indicator is preferably a mean value of the inclination degrees of two correlation values before and after a plurality of, for example, the best correlation point, or a gentle value among both inclination degrees of the best correlation point. In the latter case, appropriate correction is performed so that the average value of the slope approaches the value of the gentler side.
그러나, 정밀도는 시야에서 이미지의 대비도가 증가할수록 이에 따라서 증가 하는 경향이 있고, 따라서 이미지의 대비도를 사용하여 정정한 유효 정밀도(effective precision)를 신뢰도 평가를 위한 기준으로서 적절히 사용할 수 있다. 대비도 값을 시야에서 이미지를 나타내는 윈도우부 데이터에서 내부 데이터 개수에 대한 차분치의 절대값의 합이고 각 윈도우부 데이터로부터 얻은 유효 정밀도의 평균치는 보아 정확한 기준으로서 바람직하게 사용되도록 결정된다. 대비도 값 계산에 사용되는 윈도우부 데이터의 차분치는 상관치의 계산을 위한 기초로서 유용하고, 상관치를 윈도우부 데이터가 아닌 차분치에 기초하여 상관치 연산법에 의해 계산하는 경우에 계산을 보다 쉽게 수행하여 보다 양호한 결과를 얻을 수 있다.However, the accuracy tends to increase as the contrast of the image increases in the field of view, and therefore, the effective precision corrected using the contrast of the image can be suitably used as a criterion for reliability evaluation. The contrast value is the sum of the absolute values of the difference values relative to the number of internal data in the window sub-data representing the image in the field of view and the average of the effective precision obtained from each window sub-data is determined to be preferably used as an accurate reference. The difference value of the window side data used in the calculation of the contrast value is useful as a basis for calculating the correlation value and the calculation is made easier when the correlation value is calculated by the correlation value calculation method based on the difference value instead of the window side data. So that better results can be obtained.
도 3의 예로부터, 검출 결과의 신뢰도는 타겟 포착용 시야를 가능한 한 적절하게 설정할 수 있는지에 달려있다는 것을 알 수 있다. 따라서, 본 발명에 의해 얻은 신뢰할 만한 검출 결과를 시야의 특정에 사용하여야 한다. 이를 위해서, 타겟을 포착할 시야의 방향과 크기를 특정하기 위한 시야 특정법을 상관치 연산법과 함께 사용함으로써, 검출 결과의 면에서 타켓 포착에 있어 가장 적절한 것으로 생각되는 시야에 대응하는 윈도우부 데이터를 이미지 데이터로부터 추출하여 이를 상관치 계산의 기초로서 사용한다.From the example of Fig. 3, it can be seen that the reliability of the detection result depends on whether the target capture field can be set as appropriate as possible. Therefore, the reliable detection result obtained by the present invention should be used for specifying the field of view. For this purpose, by using a visual field specifying method for specifying the direction and size of a visual field for capturing a target, together with a correlation value calculation method, window portion data corresponding to a field of view, which is considered to be most appropriate in capturing a target, Extracts it from the image data and uses it as the basis of the correlation value calculation.
도면을 참조하여 본 발명의 바람직한 실시예를 설명한다. 도 1은 본 실시예에서 사용되는 여러가지 방법의 구성을 도시하는데, 연산을 설명하는 그림과 다이어그램을 포함한다. 도 2는 소프트웨어를 사용한 상관치 연산법과 신뢰도 검사법의 연산예를 나타내는 흐름도이다.Preferred embodiments of the present invention will be described with reference to the drawings. Fig. 1 shows the configuration of various methods used in the present embodiment, and includes figures and diagrams for explaining operations. 2 is a flowchart showing an example of the operation of the correlation value calculation method and the reliability check method using software.
도 1a의 상단에 도시된 광학법(10)과 이미지 센서법(20)은 시야(S)에서 타겟(1), 예컨대 광학법(10)의 우측에 도시된 자동차를 포착하기 위해 사용된다. 광학법(10)의 렌즈 쌍(11, 12)은 시야(S) 내에 타겟(1)을 포함하는 이미지를 이미지 센서법(20)에서 광경로(L1, L2)를 통해 이미지 센서 쌍(21, 22)에 형성하는 데, 이를 도면에 굽은 직선으로 표시하였다. 이 실시예를 실제로는 렌즈쌍(11, 12)과 이미지 센서 쌍(21, 22)을 시야(S)에 대한 수직으로 배열되었으나, 도면에서는 설명의 편이를 위해 수평으로 도시하였다. 타겟(1)을 정확히 포착하기 위해서, 시야(S)는 도시된 바와 같이 광학법(10)의 정면에 대하여 각도(θ)로 배치되어야 한다.The optical method 10 and the image sensor method 20 shown in the upper part of Fig. 1A are used for capturing the target 1, for example the vehicle shown in the right side of the optical method 10, in the sight S. The pair of lenses 11 and 12 of the optical method 10 are arranged so that an image including the target 1 in the field of view S is transmitted from the image sensor method 20 to the image sensor pair 21, 22, which are indicated by curved lines in the drawing. This embodiment is actually arranged vertically with respect to the field of view S of the pair of lenses 11 and 12 and the pair of image sensors 21 and 22 but shown horizontally for convenience of explanation. In order to accurately capture the target 1, the view S must be arranged at an angle? With respect to the front face of the optical method 10 as shown.
신호 처리/변환 회로(23)가 이미지 센서법(20)에 사용된다. 신호 처리/변환 회로(23)는 이미지 센서(21, 22)의 CCD와 같은 광센서로부터 센서 신호 출력을 아날로그 신호로서 순차적으로 수신 및 증폭하고, 이 신호를 디지털 신호로 변환하여 센서 데이터로 출력한다. 신호 처리/변환 회로(23)는 각 이미지 센서 (21, 22)에 대하여 제공될 수 있다.The signal processing / conversion circuit 23 is used for the image sensor method 20. [ The signal processing / conversion circuit 23 sequentially receives and amplifies the sensor signal output from an optical sensor such as a CCD of the image sensors 21 and 22 as an analog signal, converts the signal into a digital signal, and outputs the digital signal as sensor data . A signal processing / conversion circuit 23 may be provided for each image sensor 21, 22.
프로세서(70)는 센서 데이터를 메모리(71)로 순차적으로 로딩하는데, 이 메모리(71)에 데이터는 이미지 데이터(D1, D2)로서 저장되어 이미지 센서(21, 22)가 제공하는 시야 내의 이미지 패턴을 나타낸다. 도 1에서, 프로세서(70)는 이미지 센서법(20) 아래에 파선으로 나타내었다.The processor 70 sequentially loads the sensor data into the memory 71 in which the data is stored as image data D1 and D2 and stored in the memory 71 as image data D1 . In Figure 1, the processor 70 is shown in dashed lines under the image sensor method 20.
도시된 실시예에서, 상관치 연산법(30)과 신뢰도 검사법(50)은 프로세서(70)에 소프트웨어로서 설치된다.In the illustrated embodiment, the correlation value calculation method 30 and the reliability check method 50 are installed in the processor 70 as software.
프로세서(70)와는 별도로 게이트 어레이(gate array)와 같은 직접 회로를 사용하여 상관치 연산법(30)을 하드웨어로서 구성함으로써, 복수의 이미지 센서 쌍(21, 22)을 이미지 센서법(20)에 결합시켜 복수의 이미지 센서 쌍이 동시에 동작하여 각 이미지 센서 쌍에 대한 상관치를 병렬 방식으로 계산할 수 있다.A plurality of image sensor pairs 21 and 22 are connected to the image sensor method 20 by configuring the correlation value calculation method 30 as hardware by using an integrated circuit such as a gate array separately from the processor 70 So that a plurality of image sensor pairs operate simultaneously and the correlation value for each image sensor pair can be calculated in a parallel manner.
도시된 실시예에서, 프로세서(70)에 설치된 상관치 연산법(30)은 시야 특정법(31)과 함께 사용한다. 특정 데이터(SD)에 대응하여, 시야 특정법(31)은 이미지 데이터(D1, D2)로부터 시야의 방향과 크기에 대응하여 타겟(1)을 포착할 윈도우부 데이터(WD1, WD2)를 추출한다. 도면에서, 시야 방향은 각(θ)으로 그리고 크기는 시야각(ψ)으로 표시하였고, 대응하는 윈도우부 데이터(WD1, WD2)는 이미지 데이터(D1, D2)의 해칭 표시한 부분으로 나타내었다.In the illustrated embodiment, the correlation value computation method 30 provided in the processor 70 is used in conjunction with the field of view specification method 31. Corresponding to the specific data SD, the visual field specifying method 31 extracts window part data WD1 and WD2 for capturing the target 1 corresponding to the direction and size of the visual field from the image data D1 and D2 . In the drawing, the viewing direction is represented by an angle (?) And the magnitude is represented by a viewing angle (?), And corresponding window portion data WD1 and WD2 are represented by hatched portions of the image data D1 and D2.
윈도우부 데이터(WD1, WD2)로부터 상관치를 계산하는 상관치 연산법(30)의 정차를 도1(b)를 참조하여 설명한다.The stopping of the correlation value calculating method 30 for calculating the correlation value from the window portion data WD1 and WD2 will be described with reference to Fig. 1 (b).
윈도우부 데이터(WD1, WD2)로부터, 각 분할이 서로 오프셋되어 도시된 바와 같이 복수의 조합(Ck:k=0에서 ke)을 얻을 수 있는 방식으로 분할 그룹(d1, d2)이 추출된다. 윈도우부 데이터(WD1, WD2)는 각각 m개의 센서 데이터를 가지고 있고 각각의 분할 그룹(d1, d2)은 n개의 센서 데이터를 가지고 있다고 가정한다.The divided groups d1 and d2 are extracted from the window portion data WD1 and WD2 in such a manner that each division is offset from each other and a plurality of combinations ( Ck : k = 0 to ke) can be obtained. It is assumed that the window portion data WD1 and WD2 each have m sensor data and each of the divided groups d1 and d2 has n sensor data.
바람직하게는, n을 m의 1/2 내지 2/3로 설정한다. 조합(C0)의 분할(d1)이 윈도우부 데이터(WD1)의 우측 단부에서 추출되고, 분할(d2)은 윈도우부 데이터(WD2)의 좌측 단부에서 추출되도록 한다. 이후의 추출 위치는 이전의 추출 위치에 대하여 바람직하게는 한 센서 데이터만큼 시프트된다.Preferably, n is set to 1/2 to 2/3 of m. The division d1 of the combination C0 is extracted at the right end of the window sub data WD1 and the division d2 is extracted at the left end of the window sub data WD2. The subsequent extraction position is preferably shifted by one sensor data with respect to the previous extraction position.
상관치 연산법(30)은 각 조합(Ck)에서 분할(d1, d2) 사이의 상관 관계를 검사하여 상관치를 얻는다. 이 상관치는, 예컨대 분할(d1, d2)의 대응하는 센서 데이터에 대한 차분치의 절대값의 합일 수 있다. 이 경우, 분할(d1, d2) 사이의 상관 관계가 증가할수록 상관치는 감소한다. 이 계산의 결과는 각 조합 번호(k)에 대한 상관치(Vk)로서 메모리(72)에 저장된다.The correlation value calculation method 30 obtains a correlation value by examining a correlation between the division (d1, d2) in each combination ( Ck ). The correlation value may be, for example, the sum of the absolute values of the differential values for the corresponding sensor data of the segments d1 and d2. In this case, the correlation value decreases as the correlation between the segments d1 and d2 increases. The result of this calculation is stored in the memory 72 as a correlation value V k for each combination number k.
신뢰도 검사법(50)은 복수의 상관치(Vk)를 수신하고 최량 상관 관계의 신뢰도 지시자로서 시프트 값 근방에서의 상관치(Vk)의 변화 상태에 기초하여 최량 상관 관계점의 정밀도를 결정하는 데, 상기 시프트 값을 최량 상관 관계에 대응하는 분할 조합의 번호이다. 최량 상관 관계의 신뢰도 지시자로서의 정밀도는 바람직하게는 최량 상관 관계점 전후에서의 복수의(예컨대, 2) 상관치의 경사도의 평균이거나, 또는 최량 상관 관계점의 양측의 경사도 중에서 완만한 값이다. 도 1c를 참조하여 이를 설명한다.The reliability test method 50 receives a plurality of correlation values V k and determines the precision of the best correlation point based on the change state of the correlation value V k near the shift value as a reliability indicator of the best correlation And the shift value is the number of the division combination corresponding to the best correlation. The precision as the confidence indicator of the best correlation is preferably an average of the gradients of a plurality of (e.g., two) correlation values before or after the best correlation point, or a gentle value among the gradients of both sides of the best correlation point. This will be described with reference to FIG.
도 1c의 수평축은 각 그룹에서 분할 조합의 번호(k)를 나타내고, 상관치(Vk)는 변수 k에 따라 일반적으로 복잡하게 변화한다. 그러나, 복잡함을 피하기 위해, 도면에서는 최량 상관 관계점 근방에서의 상관치(Vk) 변동을 도시한다. 도시된 예에서, 상관치는 분할에서 대응하는 센서 데이터 사이에서 차분값의 절대값의 합으로서 계산되고, 따라서 상관치(Vk)가 최소로 되는 변수 k의 값은 도면에서 최량 상관 관계점(s)이다. 도시된 예에서, 신뢰도 지시자인 정밀도는 상기 최량 상관 관계점(s)의 전후에서 두 개의 상관치(Vk)로부터 결정되는 양방향 경사도(φ+) 및 음방향 경사도(φ-)의 평균치이거나, 또는 양측의 경사도가 상당히 차이가 나는 경우에는 보다 완만한 경사도를 정밀도로서 사용하여 정밀도를 낮게 나타낸다. 후자의 경우, 평균치가 완만한 경사도 값에 근접할 수 있도록 정정 과정을 수행해야 한다.The horizontal axis of Fig. 1C represents the number (k) of the division combination in each group, and the correlation value ( Vk ) generally changes complicatedly according to the variable k. However, in order to avoid complication, the figure shows the variation of the correlation value (V k ) in the vicinity of the best correlation point. In the illustrated example, the correlation value is calculated as the sum of the absolute values of the difference values between the corresponding sensor data in the division, and thus the value of the variable k whose correlation value V k is minimized is represented by the best correlation point s )to be. In the illustrated example, the reliability which is the reliability indicator is the average of the bidirectional gradient? + And negative gradient? - determined from the two correlation values V k before and after the maximum correlation point s, Or when the inclination of both sides is considerably different, a gentle inclination is used as the accuracy and the accuracy is lowered. In the latter case, the correction process should be performed so that the average value approaches the gentle slope value.
그러나, 이러한 방식으로 결정된 정밀도는 시야(S)의 대비도가 증가함에 따라서 함께 증가하는 경향이 있다. 대비도를 사용하여 정정한 유효 정밀도를 신뢰도 지시자로서 사용할 수 있다. 대비도 값은 윈도우부 데이터(WD1, WD2)에서 데이터 개수에 대한 차분치의 절대값의 합이고, 거리를 보다 정확하게 계산하기 위해서 각 윈도우부 데이터 쌍으로부터 얻은 유효 정밀도의 평균치를 결정하여야 한다. 윈도우부 데이터의 차분치는 상관치(Vk)의 계산에 유용하다. 경험적으로, 윈도우부 데이터에 기초하는 것보다는 차분치를 상관치 연산법(30)에 제공하고 이로부터 상관치(Vk)를 계산하는 것이 보다 양호한 결과를 제공한다.However, the precision determined in this manner tends to increase together as the contrast of the view S increases. The effective precision corrected using the degree of contrast can be used as the reliability indicator. The contrast value is the sum of the absolute values of the difference values with respect to the number of data in the window portion data (WD1, WD2), and the average of the effective precision obtained from each window portion data pair must be determined in order to calculate the distance more accurately. The difference value of the window portion data is useful for calculation of the correlation value (V k ). Empirically, providing the difference value to the correlation value calculation method 30 rather than based on the window side data and calculating the correlation value ( Vk ) therefrom provides a better result.
본 발명은 전술한 바와 같이 얻은 정밀도 또는 유효 정밀도가 소정의 레벨을 넘는 경우에만 타겟(1)의 이미지가 성공적으로 검출되었다고 결정한다. 이 경우, 상기 정밀도는 윈도우부 데이터(WD1, WD2)로부터 얻었고 시야(S)의 방향을 나타내는 각도(θ)와 필드의 시야각(ψ)이 윈도우부 데이터(WD1, WD2)가 이미지 데이터(D1, D2)와 센서 데이터 개수로부터 추출된 위치에 대응하기 때문에, 타겟(1)은 윈도우부 데이터에 대응하는 시야(S) 내에 검출된 것이다. 또한, 도 1b에서 보는 바와 같이, 최량 상관 관계점(s)은 이미지 센서(21, 22)에 의해 포착된 시야(S) 내의 이미지 사이의 시차에 따라 최량 상관치를 얻을 수 있는 방식으로 분할(d1, d2)을 시프트하여 얻은 값이다. 종래 기술에서 타겟(1)까지의 거리의 지지사(σ)는 최량상관 관계점(s)인 시프트 값으로부터 용이하게 계산된다.The present invention determines that the image of the target 1 has been successfully detected only when the precision or effective precision obtained as described above exceeds a predetermined level. In this case, the accuracy is obtained from the window part data WD1 and WD2, and the angle? Indicating the direction of the view S and the viewing angle? Of the field are determined by the window sub data WD1 and WD2, D2) and the number of sensor data, the target 1 is detected in the field of view S corresponding to the window sub data. 1B, the best correlation point s is obtained by dividing d1 (n) in such a manner that the best correlation value can be obtained according to the parallax between the images in the field of view S captured by the image sensors 21 and 22, , and d2. The support yarn? Of the distance from the prior art to the target 1 is easily calculated from the shift value that is the best correlation point s.
이번에는 도 2를 참조하여 상관치 연산법(30)과 신뢰도 검사법(50)의 연산에 대한 예를 설명하는데, 양 방법 모두 프로세서(70) 내에 소프트웨어로서 설치되어 있다. 도 2a는 상관치 연산법(30)의 연산예를 나타내는 흐름도이고, 도 2b는 신뢰도 검사법(50)의 연산예를 나타내는 흐름도이다. 도 2a에 도시된 상관치 연산법(30)의 예에서는, 상관치(Vk)를 계산하기 위한 기초로서 윈도우부 데이터에 대한 차분 데이터를 사용하고, 윈도우부 데이터(WD1)와 분할 그룹(d1)에 대한 데이터 개수는 (i)이며 윈도우부 데이터(WD2)와 분할(d2)에 대한 데이터 개수는 (j)이다. 또한, 대응하는 센서 데이터는 각각 Di, Dj로 표시한다.2, an example of the calculation of the correlation value calculation method 30 and the reliability check method 50 will be described. Both methods are installed in the processor 70 as software. FIG. 2A is a flowchart showing an example of an operation of the correlation value calculating method 30, and FIG. 2B is a flowchart showing an operation example of the reliability checking method 50. FIG. In the example of the correlation value calculation method 30 shown in Fig. 2A, difference data for window portion data is used as a basis for calculating the correlation value V k , and the window portion data WD1 and the division group d1 ) Is (i), and the number of data for the window portion data WD2 and the division (d2) is (j). The corresponding sensor data are denoted by D i and D j , respectively.
상관치 연산법(30)의 제1단계(S31)에서, 윈도우부 데이터(WD1, WD2)의 내부 데이터 개수(i, j)는 1로 초기화된다. 다음 단계(S32)에서, 윈도우부 데이터에 대한 데이터(Si, Sj)를 Dj+1과 Di, 그리고 Dj+1과 Di사이의 차분치로서 계산하고, 단계(S33)에서 (m) 데이터가 윈도우부 데이터에 존재하면 데이터 번호(i)를 m-1과 비교한다. (i)가 m-1보다 작으면 데이터 번호(i, j)는 단계(S34)에서 하나씩 증가되고 프로시저는 단계(S32)로 복귀한다. 차분 데이터에 대한 모든 연산이 수행되면, 프로시저는 단계(S33)에서 이 연산 루프를 이탈한다. 차분 데이터(Si, Sj)에 대한 연산이 수행되었으므로서, 단계(S35)에서 값(m)을 m-1로 치환하고, 그리고 나서 단계(S36)으로 진행하여 이후에 단계를 준비한다.In the first step S31 of the correlation value calculation method 30, the number of internal data (i, j) of the window portion data WD1 and WD2 is initialized to one. In the next step (S32), the data (S i, S j) of the window sub-data as a difference value between D j + 1 to D i, and D j + 1 and D i is calculated, in step (S33) (m) data exists in the window sub-data, the data number (i) is compared with m-1. (i) is smaller than m-1, the data number (i, j) is incremented by one in step S34 and the procedure returns to step S32. When all the operations on the difference data are performed, the procedure leaves this operation loop in step S33. Since the operation on the difference data S i , S j has been performed, the value m is replaced by m-1 in step S35, and then the process goes to step S36 to prepare the step thereafter.
단계(S36)에서, 분할(d1, d2)의 조합 번호(k)에 대하여 최종치(ke)가 설정된다. ke는 2(m-n)일 수 있는데, 여기서 (n)은 각 분할에서의 데이터 개수이다. 합의 번호(k)는 변수로서 0으로 초기화된다.In step S36, the final value ke is set for the combination number k of the partitions d1 and d2. ke may be 2 (m-n), where (n) is the number of data in each partition. The consensus number (k) is initialized to 0 as a variable.
다음으로, 단계(S36)에서, 시작 데이터 번호(is, js)는 조합 번호(k)가 0인 경우에 분할(d1, d2)에 대하여 설정된다. 도 1b에서 보는 바와 같이, is=m-n+1이고 js=1이다. 그리고, 최량 상관치(Vs)에 대하여 충분히 큰 값(Vm)이 설정되고, 연산 스위칭을 위한 스위치 플래그(SF)가 1로 설정된다. 그리고 나서, 조합 번호(k)에 대하여 상관치를 계산하고, 단계(37)에서 상관치 변수(V)를 0으로 설정하고 분할(d1, d2)의 데이터 번호 변수 (i, j)를 각각 (is, js)로 초기화하며 분할(d1)에 대한 데이터 번호 변수(i)의 최종치(ie)를 설정한다. 상기 최종치(ie)는 is+n-1일 수 있다.Next, in step S36, the start data number (is, js) is set for the division (d1, d2) when the combination number (k) is zero. As shown in Fig. 1B, is = m-n + 1 and js = 1. Then, a sufficiently large value Vm is set for the maximum correlation value Vs, and the switch flag SF for arithmetic switching is set to one. Then, in step 37, the correlation value variable V is set to 0 and the data number variable (i, j) of the division (d1, d2) , js and sets the final value (ie) of the data number variable i for the partition d1. The final value (ie) may be is + n-1.
다음의 단계(S38)에서는 상관치를 계산하는데, 이를 위해 분할(d1, d2)에 대한 차분 데이타(Si, Sj) 사이의 차이의 절대값을 상관치 변수(V)에 가산한다. 단계(S39)에서 변수(i)가 최종치(ie)에 도달하지 않았다고 판단하면, 단계(S40)에서 변수(i, j)를 각각 1만큼 증가시키고, 프로시저는 단계(S38)로 복귀한다. 변수(i)가 최종적으로 최종치(ie)에 도달하여 연산이 단계(S39)에서 단계(S41)로 이동하게 되면, 조합 번호(k)에 대한 분할(d1, d2)의 상관치(V)는 계산되었고 k번재 상관치(Vk)로서 메모리(72)에 저장된다. 단계(S42)에서 상관치(Vk)를 최량 상관치(Vs)와 비교하고, Vk가 더 큰 경우에는 이 값을 직접 저장한다. 그렇지 않은 경우에는, 단계(S43)에서 변수(k)의 현재값을 최량 상관치에 대응하는 시프트 값(s)으로서 저장하고 단계(S44)로 진행한다.In the next step S38, the correlation value is calculated. To this end, the absolute value of the difference between the difference data S i and S j for the division (d 1, d 2) is added to the correlation value variable V. If it is determined in step S39 that the variable i has not reached the final value (ie), the variable i, j is incremented by 1 in step S40 and the procedure returns to step S38 . When the variable i finally reaches the final value (ie) and the calculation moves from step S39 to step S41, the correlation value V of the division (d1, d2) for the combination number (k) Is stored in the memory 72 as the k-th correlation value (V k ). In step S42, the correlation value V k is compared with the best correlation value V s , and if V k is larger, this value is directly stored. Otherwise, in step S43, the current value of the variable k is stored as the shift value s corresponding to the best correlation value, and the process proceeds to step S44.
단계(S44)에서 조합 번호의 변수(k)는 최종치(ke)와 비교하여 (k)가 ke보다 작은지 검사한다. 이 검사의 결과는 초기에는 긍정으로 나오므로, 연산은 단계(S45)로 진행하여 스위치 플래그(SF)가 세팅되어 있는지를 검사한다. 단계(S36)에서 플래그(SF)를 1로 설정하였으므로 그 결과는 긍정적이고, 단계(S46)에서 분할(d1)의 시작 데이터 번호(is)를 하나 증가시켜 도 1b에 도시된 바와 같이 분할(d1)을 좌측으로 하나 시프트시킨다. 다음 단계(S48)에서, 스위치 플래그(SF)의 부호를 스위칭하고 조합 번호의 변수(k)를 증가히시킨다. 그리고 나서, 프로시저는 단계(S37)로 돌아가서 갱신된 변수(k)에 대하여 상관치(Vk)를 계산하기 시작한다. 이 계산이 종료하면, 연산은 단계(S45)로 진행한다. 스위치 플래그(SF)가 음수로 설정되었으므로, 판단 결과는 부정적이고, 단계(S47)에서 분할(d2)의 시작 데이터 번호(js)를 하나 증가시킴으로써 우측으로 시프트한다. 연산은 단계(S48)로 진행한다.In step S44, the variable k of the combination number is compared with the final value ke to determine whether (k) is smaller than ke. Since the result of this check is initially positive, the operation proceeds to step S45 to check whether the switch flag SF is set. The flag SF is set to 1 in step S36 and the result is positive and in step S46 the start data number is of the segment d1 is incremented by one so that the segment d1 ) To the left. In the next step S48, the sign of the switch flag SF is switched and the variable k of the combination number is incremented. The procedure then returns to step S37 and begins to calculate the correlation value V k for the updated variable k. When this calculation is completed, the operation proceeds to step S45. Since the switch flag SF is set to a negative value, the determination result is negative and the shift is made to the right by incrementing the start data number js of the segment d2 in step S47. The operation proceeds to step S48.
이후의 단계에서, 동일한 연산이 반복되어 조합 번호 변수(k)를 증가시키면서 상관치(Vk)를 계산한다. 변수(k)가 최종치(ke)와 같아지면, 프로시저는 단계(S44)에서 루프를 이탈하여 상관치 연산법(30)을 완료한다. 이 경우, 도 1b에서 조합(C0내지 Cke)에 대한 2(m-n)+1 상관치(Vk)가 도 1a의 프로세서(70)의 메모리(72)에 저장되고, 도 1c에 도시된 최량 상관치에 대응하는 시프트 값(s)도 또한 메모리(72)에 저장된다. 전술한 상관치 연산법(30)의 처리 과정은 차분 데이터(Si, Sj)를 사용하였지만, 단계(S31 내지 S35)는 생략할 수 있고, 단계(S38)에서 센서 데이터(Di, Dj)를 그대로 사용하는 경우에는 Di와 Dj사이의 차분치의 절대값을 사용하여 상관치(V)를 계산할 수 있다.In the subsequent steps, the same calculation is repeated to calculate the correlation value V k while increasing the combination number variable k. If the variable k becomes equal to the final value ke, the procedure leaves the loop in step S44 and completes the correlation value calculation method 30. [ In this case, a 2 (mn) +1 correlation value V k for the combination (C 0 to C ke ) in FIG. 1B is stored in the memory 72 of the processor 70 of FIG. 1A, The shift value s corresponding to the best correlation value is also stored in the memory 72. [ The process of the correlation value calculation method 30 described above uses the difference data S i and S j but the steps S 31 to S 35 may be omitted and the sensor data D i , D j ) is used as it is, the correlation value (V) can be calculated using the absolute value of the difference value between D i and D j .
도 2b의 신뢰도 검사법(50)의 처리 과정의 예를 설명한다. 단계(S51) 내지 단계(S54)는 도 1c에 도시된 바와 같이 메모리(72)로부터 판독한 최량 상관 관계점에서의 복수의 상관치(Vk)와 시프트 값(s)에 기초하여 최량 상관 관계의 정밀도 지시자로서 음방향 경사도(φ-)와 양방향 경사도(φ+)를 결정한다. 단계(S51)에서 φ-는 VkS-1-VkS-1로부터 계산하고, 단계(S54)에서 그 양수 여부를 검사한다. 단계(S52, S54)에서 모두 양수인 경우에는, 도면에 도시된 본 실시예에서는, 단계(S55)에서 음방향 경사도(φ-)와 양방향 경사도(φ-)의 평균치(φav)를 결정한다.An example of the process of the reliability checking method 50 of FIG. 2B will be described. Step S51 to step S54 are based on the correlation value V k and the shift value s at the maximum correlation point read from the memory 72 as shown in Fig. (? - ) and the bidirectional gradient (? + ) As the precision indicators of the directional gradient. In step S51,? - is calculated from V kS-1- V kS-1 , and it is checked in step S54 whether or not it is positive. If both are positive in the steps S52 and S54, the average value? Av of the negative direction inclination? - and the bidirectional inclination? - is determined in the step S55 in this embodiment shown in the figure.
다음 단계(S56)에서, 음방향 경사도(φ-)와 양방향 경사도(φ+)의 크기를 비교한다. 음방향 경사도(φ-)의 크기가 양방향 경사도(φ+)의 크기보다 클 경우에는, 단계(S57)에서 평균 경사도(φav)에 φ-/φ+를 곱한다. 그렇지 않은 경우에는, 단계(S58)에서 φ-/φ+를 곱한다. 이러한 방식으로 정정을 수행하여, 평균 경사도(φav)가 양 경사도 중에서 완만한 쪽에 근접하도록 한다. 그 정정 결과를 정밀도의 지시자로서 사용하는데, 경사도(φ-, φ+)가 비대칭일 경우에는 특히 그러하다.In the next step S56, the magnitude of the negative gradient ( - - ) and the gradient of the bidirectional gradient ( + ) are compared. If the magnitude of the negative gradient (φ - ) is greater than the magnitude of the bidirectional gradient (φ + ), the average gradient (φ av ) is multiplied by φ - / φ + in step S57. Otherwise, it is multiplied by? - /? + In step S58. Correction is performed in this manner, so that the average slope? Av is close to the gentle slope of the positive slope. The result of the correction is used as an indicator of precision, especially when the slopes (φ - , φ + ) are asymmetric.
앞의 예에서, 경사도(φ)는 시야(S) 내의 이미지 대비도에 의해 더 정정된다. 대비도는 이미지 패턴 내의 명도 범위인데, 단계(S59)에서 윈도우부에 대응하는 (m)개의 차분 데이터(Si, Sj)의 절대값의 합의 평균치로서 대비도 값(C)을 계산한다.(도면에서 Σ로 표시) 기술한 실시예에서는, 경사도(φ)를 대비도 값(C)으로 나누어 유효 경사도(φe)를 얻는다. 대비도(C)에 의한 경사도(φ)의 정정은 여러 가지 과정을 이용하여 이룰 수 있다.In the above example, the slope? Is further corrected by the image contrast in the view S. The degree of contrast is the brightness range in the image pattern. In step S59, the contrast value C is calculated as the average of the sum of the absolute values of the (m) pieces of differential data (S i , S j ) corresponding to the window portion. in the (shown in the figure by Σ) the embodiments described, by dividing the inclination (φ) is also a value (C) is obtained compared to the effective inclination (φ e). Correction of the slope (?) By the contrast ratio (C) can be achieved by using various processes.
단계(S60)에서, 유효 경사도(φe)가 소정의 한계 레벨(φl) 이상인지를 검사한다. 이상인 경우에는, 단계(S61)에서 최량 상관 관계에 대응하는 시프트 값(s)으로부터 타겟(1)의 거리 지시자(σ)를 계산한다. 지시자(σ)는 윈도우부 데이터의 데이터 항목 개수(m), 및 시프트 값(s)에서 분할의 데이터 항목의 개수(n)에 대한 단순 선형 함수이고, 따라서 대단히 간단하게 계산할 수 있다. 단계(S60, S52 또는 S54)에서의 판단 결과가 부정인 경우에는 지시자(σ)그 클리어되는데, 이는 타겟(1)의 검출이 실패하였다는 것을 나타낸다. 단계(S63)에서, 거리 지시자(σ)가 출력되고, 이로써 신뢰도 검사법(50)은 완료된다.In step S60, it is determined whether or not the effective gradient [phi] e is equal to or greater than a predetermined limit level [phi] l . The distance indicator? Of the target 1 is calculated from the shift value s corresponding to the best correlation in step S61. The indicator sigma is a simple linear function of the number (m) of data items of the window portion data and the number (n) of data items of the division at the shift value s and can therefore be computed very simply. If the determination result in step S60, S52, or S54 is negative, the indicator? Is cleared, indicating that detection of the target 1 has failed. In step S63, the distance indicator? Is output, thereby the reliability test method 50 is completed.
신뢰도를 평가한 타겟(1)의 검출 결과를 사용하여 시야 특정법(31)에서 시야(S)를 특정한다. 예를 들어, 검출 결과가 신뢰할 수 없다면, 타겟(1)을 정확히 포착할 수 있는 시야(S)는, 시야(S)의 방향 또는 크기를 변경하여 얻은 다른 검출 결과로부터 판단할 수 있다. 이 경우, 유효 경사도(φe)를 효과적으로 참고할 수 있다.The visual field S is specified in the visual field specifying method 31 using the detection result of the target 1 that has evaluated the reliability. For example, if the detection result is unreliable, the visual field S capable of accurately capturing the target 1 can be determined from another detection result obtained by changing the direction or size of the visual field S. In this case, the effective inclination (? E ) can be effectively referred to.
전술한 바와 같이, 본 발명에 따른 이미지 센서 방법은 상이한 광경로를 통한 광학 이미지를 수신하여 이미지 패턴을 나타내는 이미지 데이터 쌍을 제공하기 위한 이미지 센서 쌍을 사용하고, 상관치 연산법에 의해 이미지 데이터로부터 추출한 윈도우부 데이터로부터 각 이미지 데이터로부터 검출되는 검출 타겟 포착용 시야에 대응하는 분할 그룹을 추출하고, 각 그룹에서 분할 위치를 순차적으로 시프트 하여 각각이 분할 쌍을 포함하는 조합을 제공하고, 각 조합에 대한 분할 사이의 상관치를 계산하며, 신뢰도 검사법에 의해 최량 상관 관계의 신뢰도에 대한 지시자로서 최량 상관 관계점의 정밀도를 결정하되 상기 최량 상관치를 계산한 시프트 값 근방에서의 상관치 변화 상태에 기초하여 상기 정밀도를 얻고, 이로써 상기 검출 타겟이 상기 윈도우부 데이터에 대응하는 윈도우를 통해서 본 시야 내에 있는지를 판단하고 상기 정밀도가 소정의 레벨 이상인 경우에만 타겟이 존재한다고 판단한다. 그리고 나서, 타겟까지의 거리를 계산한다. 이러한 구성에 의해, 타겟과는 상이한 거리를 갖는 다른 물체의 이미지가 혼재된 것에 의해 발생되는 잘못된 검출 결과를 제거하여 타겟까지의 거리를 정확하게 검출할 수 있고, 신뢰도 지시자를 사용하여 타겟을 정확히 포착할 수 있는 시야를 설정할 수 있다.As described above, the image sensor method according to the present invention uses an image sensor pair to receive an optical image through different optical paths and to provide an image data pair representing an image pattern, Extracting a divided group corresponding to the field of view for capturing a detection target detected from each image data from the extracted window sub data and sequentially shifting the divided positions in each group to provide a combination including each divided pair, And determining a precision of the best correlation point as an indicator of the reliability of the best correlation based on the correlation value change state in the vicinity of the shift value in which the best correlation value is calculated, Thereby obtaining the detection target, It is determined whether or not the target exists in the visual field through the window corresponding to the sub-data, and only when the precision is equal to or higher than the predetermined level. Then, the distance to the target is calculated. With this configuration, it is possible to accurately detect the distance to the target by eliminating the false detection result caused by the mixture of images of other objects having different distances from the target, and accurately detect the target using the reliability indicator You can set the field of view.
신뢰도 기준으로서, 본 실시예에서는 최량 상관 관계점 전후에서의 복수의 상관치의 경사도의 평균값을 사용하였다. 이러한 방법의 장점은 정확한 정밀도를 용이하게 계산할 수 있다는 점이다. 최량 상관 관계점의 양방향의 경사도 중에서 보다 완만한 경사를 사용하고 정정값에 의해 양 경사도의 평균값이 보다 완만한 경사도 값에 근접하도록 하는 본 발명의 실시예는 신뢰도에 대한 정밀한 평가 기준을 제공하고, 또한 잘못된 검출 결과를 제거한다.As a reliability criterion, in this embodiment, an average value of the inclination degrees of a plurality of correlation values before and after the best correlation point was used. The advantage of this method is that it can easily calculate accurate precision. Embodiments of the present invention, which use a more gradual slope in the bidirectional slope of the best correlation point and allow the mean value of the slope to approach a gentle slope value by the correction value, provide a precise evaluation criterion for reliability, It also eliminates false detection results.
또한, 본 발명에서 시야 내의 이미지 대비도에 따라 정정을 수행하는 실시예는 검출 결과의 신뢰도를 평가함에 있어서 전술한 실시예에 비해 보다 더 합당한 기준을 제공할 수 있다. 정정용 대비도 값으로서 윈도우부 데이터에 대한 차분치의 절대값의 합을 사용하는 실시예에 의하면, 간단한 계산을 통해 보다 정확한 대비도 값을 얻을 수 있다. 더욱이, 대비도 계산에 사용된 차분치에 기초하여 정정 값을 계산하는 실시예에 의하면, 원래 윈도우부 데이터를 이용하여 정정값을 계산하는 실시예에 비해 보다 더 정확한 검출 결과를 얻을 수 있다.Also, in the present invention, the embodiment that performs correction according to the image contrast in the visual field may provide a more reasonable criterion than the above-described embodiment in evaluating the reliability of detection results. According to the embodiment using the sum of the absolute values of the difference values for the window portion data as the correction contrast value, more accurate contrast value can be obtained by simple calculation. Furthermore, according to the embodiment in which the correction value is calculated based on the difference value used in the contrast degree calculation, a more accurate detection result can be obtained as compared with the embodiment in which the correction value is calculated using the original window portion data.
Claims (7)
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP96-206687 | 1996-08-06 | ||
| JP20668796A JP3216792B2 (en) | 1996-08-06 | 1996-08-06 | Distance detection method using video |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR19980018429A true KR19980018429A (en) | 1998-06-05 |
| KR100525931B1 KR100525931B1 (en) | 2005-12-26 |
Family
ID=16527458
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019970037530A KR100525931B1 (en) | 1996-08-06 | 1997-08-06 | Distance detection method using images |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6021209A (en) |
| JP (1) | JP3216792B2 (en) |
| KR (1) | KR100525931B1 (en) |
| DE (1) | DE19732883A1 (en) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3216792B2 (en) * | 1996-08-06 | 2001-10-09 | 富士電機株式会社 | Distance detection method using video |
| JP3596314B2 (en) * | 1998-11-02 | 2004-12-02 | 日産自動車株式会社 | Object edge position measuring device and moving object traffic judging device |
| US6675121B1 (en) * | 1999-07-06 | 2004-01-06 | Larry C. Hardin | Velocity measuring system |
| US20070162248A1 (en) * | 1999-07-06 | 2007-07-12 | Hardin Larry C | Optical system for detecting intruders |
| JP4097869B2 (en) * | 2000-01-17 | 2008-06-11 | 日本放送協会 | Corresponding point reliability estimation device and corresponding point search device |
| US6317691B1 (en) * | 2000-02-16 | 2001-11-13 | Hrl Laboratories, Llc | Collision avoidance system utilizing machine vision taillight tracking |
| JP2001324305A (en) * | 2000-05-17 | 2001-11-22 | Minolta Co Ltd | Image correspondent position detector and range finder equipped with the same |
| JP2002350129A (en) * | 2001-05-23 | 2002-12-04 | Canon Inc | Measuring apparatus |
| US7262798B2 (en) * | 2001-09-17 | 2007-08-28 | Hewlett-Packard Development Company, L.P. | System and method for simulating fill flash in photography |
| US7221777B2 (en) * | 2002-07-02 | 2007-05-22 | Honda Giken Kogyo Kabushiki Kaisha | Image analysis device |
| EP1391778A1 (en) * | 2002-08-08 | 2004-02-25 | Seiko Precision Inc. | Apparatus for detecting the inclination angle of a projection screen and projector comprising the same |
| JP2004234423A (en) * | 2003-01-31 | 2004-08-19 | Seiko Epson Corp | Stereoscopic image processing method, stereoscopic image processor and stereoscopic image processing program |
| US7561720B2 (en) * | 2004-04-30 | 2009-07-14 | Visteon Global Technologies, Inc. | Single camera system and method for range and lateral position measurement of a preceding vehicle |
| US7561721B2 (en) * | 2005-02-02 | 2009-07-14 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| US20070031008A1 (en) * | 2005-08-02 | 2007-02-08 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| JP2007139756A (en) * | 2005-10-17 | 2007-06-07 | Ricoh Co Ltd | Relative position detection apparatus, rotator travel detection apparatus, and image forming apparatus |
| US7623681B2 (en) * | 2005-12-07 | 2009-11-24 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| JP4426535B2 (en) * | 2006-01-17 | 2010-03-03 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
| US20090005948A1 (en) * | 2007-06-28 | 2009-01-01 | Faroog Abdel-Kareem Ibrahim | Low speed follow operation and control strategy |
| JP5544497B2 (en) * | 2012-03-13 | 2014-07-09 | 株式会社モルフォ | Image processing apparatus, image processing method, and image processing program |
| US10498948B1 (en) | 2018-06-05 | 2019-12-03 | Applied Materials, Inc. | Methods and apparatus for absolute and relative depth measurements using camera focus distance |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4561749A (en) * | 1983-02-02 | 1985-12-31 | Nippon Kogaku K.K. | Focus detection apparatus |
| US4969036A (en) * | 1989-03-31 | 1990-11-06 | Bir Bhanu | System for computing the self-motion of moving images devices |
| JP2676953B2 (en) * | 1989-10-27 | 1997-11-17 | 富士電機株式会社 | Video position detector |
| JP2676985B2 (en) * | 1990-06-26 | 1997-11-17 | 富士電機株式会社 | Object detection method for optical instruments |
| JPH0588077A (en) * | 1991-06-20 | 1993-04-09 | Fuji Photo Film Co Ltd | Device and method for detecting distance |
| JPH0546386A (en) * | 1991-08-13 | 1993-02-26 | Hitachi Ltd | Data processor |
| US5422828A (en) * | 1991-12-18 | 1995-06-06 | Choate; William C. | Method and system for image-sequence-based target tracking and range estimation |
| JP3343697B2 (en) * | 1992-12-31 | 2002-11-11 | 株式会社リコー | Focusing state or subject distance detection device |
| JP3197979B2 (en) * | 1993-04-19 | 2001-08-13 | 富士フイルムマイクロデバイス株式会社 | Phase difference distance detecting apparatus and method |
| US5487116A (en) * | 1993-05-25 | 1996-01-23 | Matsushita Electric Industrial Co., Ltd. | Vehicle recognition apparatus |
| US5586063A (en) * | 1993-09-01 | 1996-12-17 | Hardin; Larry C. | Optical range and speed detection system |
| JPH0771916A (en) * | 1993-09-06 | 1995-03-17 | Fuji Film Micro Device Kk | On-vehicle distance measuring device |
| JP3059035B2 (en) * | 1993-12-14 | 2000-07-04 | 三菱電機株式会社 | Distance measuring device |
| JPH07306038A (en) * | 1994-05-13 | 1995-11-21 | Nippon Soken Inc | Distance measuring instrument |
| JPH0894916A (en) * | 1994-09-28 | 1996-04-12 | Nikon Corp | Focus detector |
| JP3216792B2 (en) * | 1996-08-06 | 2001-10-09 | 富士電機株式会社 | Distance detection method using video |
-
1996
- 1996-08-06 JP JP20668796A patent/JP3216792B2/en not_active Expired - Fee Related
-
1997
- 1997-07-28 US US08/901,066 patent/US6021209A/en not_active Expired - Fee Related
- 1997-07-30 DE DE19732883A patent/DE19732883A1/en not_active Ceased
- 1997-08-06 KR KR1019970037530A patent/KR100525931B1/en not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| DE19732883A1 (en) | 1998-02-12 |
| JPH1047955A (en) | 1998-02-20 |
| US6021209A (en) | 2000-02-01 |
| JP3216792B2 (en) | 2001-10-09 |
| KR100525931B1 (en) | 2005-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR19980018429A (en) | Distance detection method using image | |
| KR930004880B1 (en) | Tracking type vehicle-distance measuring apparatus | |
| JPH07320199A (en) | Obstacle detector for vehicle | |
| JP2768042B2 (en) | Distance measuring device | |
| JPH0450611A (en) | Apparatus for measuring distance | |
| JP2003098424A (en) | Range finder based on image processing | |
| US6697146B2 (en) | Range finder for finding range by image realization | |
| JP3562250B2 (en) | Leading vehicle detection device | |
| KR940000019B1 (en) | Measuring apparatus for distance | |
| JP3807583B2 (en) | Road area determination device | |
| JPH0552562A (en) | Vehicular gap detector for tracking advance vehicle | |
| JPH07244717A (en) | Travel environment recognition device for vehicle | |
| JPH07333339A (en) | Obstacle detector for automobile | |
| US20020048011A1 (en) | Rangefinder device and camera | |
| JPH1096607A (en) | Object detector and plane estimation method | |
| JPH1151644A (en) | Distance measuring instrument for vehicle | |
| JPH11223516A (en) | Three dimensional image pickup device | |
| JP2001004367A (en) | Distance measurement computing device | |
| JP2635232B2 (en) | Inter-vehicle distance detection device | |
| JP3632315B2 (en) | Distance detector | |
| JPH0933248A (en) | Passive triangulation-type range finder | |
| JP3354448B2 (en) | Vehicle distance measuring device | |
| JPH07190757A (en) | Distance measuring device | |
| JP3819549B2 (en) | Vehicle distance measuring device | |
| JP3923181B2 (en) | Vehicle distance measuring device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20081024 Year of fee payment: 4 |
|
| LAPS | Lapse due to unpaid annual fee |