KR101165122B1 - 실내 주행을 위한 빛 줄무늬 감지 방법 및 그를 이용한주차 보조 장치 - Google Patents

실내 주행을 위한 빛 줄무늬 감지 방법 및 그를 이용한주차 보조 장치 Download PDF

Info

Publication number
KR101165122B1
KR101165122B1 KR1020070102053A KR20070102053A KR101165122B1 KR 101165122 B1 KR101165122 B1 KR 101165122B1 KR 1020070102053 A KR1020070102053 A KR 1020070102053A KR 20070102053 A KR20070102053 A KR 20070102053A KR 101165122 B1 KR101165122 B1 KR 101165122B1
Authority
KR
South Korea
Prior art keywords
light
streaks
log
stripe
parking
Prior art date
Application number
KR1020070102053A
Other languages
English (en)
Other versions
KR20090036795A (ko
Inventor
정호기
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020070102053A priority Critical patent/KR101165122B1/ko
Priority to DE102008050809A priority patent/DE102008050809A1/de
Priority to US12/287,494 priority patent/US20090099767A1/en
Publication of KR20090036795A publication Critical patent/KR20090036795A/ko
Application granted granted Critical
Publication of KR101165122B1 publication Critical patent/KR101165122B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/06—Automatic manoeuvring for parking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/06—Automatic manoeuvring for parking

Abstract

본 발명은 실내 주행을 위한 빛 줄무늬 감지 방법 및 그를 이용한 주차 보조 장치에 관한 것이다.
본 발명은 빛면 투사(Light Plane Projection)를 실내 주행(Indoor Navigation)에 적용하여 카메라를 통해 입력된 영상으로부터 빛 줄무늬(Light Stripe)를 감지하여 장애물을 감지한 후, 능동조향장치 및 전자제어 제동장치를 이용하여 차량의 주차를 보조하는 장치에 있어서, 빛 줄무늬 폭 함수(Light Stripe Width Function)를 이용하여 계산한 빛 줄무늬 폭의 반값을 로그 필터(LOG Filter: Laplacian of Gaussian Filter)의 상수값으로 사용하여 로그 필터링함으로써 상기 빛 줄무늬를 검출하는 것을 특징으로 하는 실내 주행을 위한 빛 줄무늬 감지 방법을 이용한 주차 보조 장치를 제공한다.
본 발명에 의하면, 로그 필터링으로 구하는 빛 줄무늬의 인식률과 정밀도를 개선할 수 있고, 그를 통해 실내 주행에서의 장애물을 정밀하게 인식하여 주차를 효율적으로 보조할 수 있다.
실내, 주행, 빛, 투사, 줄무늬, 폭, 로그, 필터, 주차, 보조

Description

실내 주행을 위한 빛 줄무늬 감지 방법 및 그를 이용한 주차 보조 장치{Light Stripe Detection Method for Indoor Navigation and Parking Assist Apparatus Using Same}
본 발명은 실내 주행을 위한 빛 줄무늬 감지 방법 및 그를 이용한 주차 보조 장치에 관한 것이다. 더욱 상세하게는, 지하 주차장에서의 자동 주차와 같은 실내 주행(Indoor Navigation) 환경에서 빛 줄무늬의 중심을 정확하게 많이 찾아 더욱 많은 위치에서 실내 주행 환경에 대한 3차원 정보를 더욱 정밀하게 검출함으로써, 빛면 투사(Light Plane Projection)의 3차원 정보 인식에 대한 성능을 개선하기 위한 방법 및 그를 이용한 주차 보조 장치에 관한 것이다.
1.1 빛면 투사(Light Plane Projection)에 의한 3차원 정보 인식
빛면 투사란 빛면 투사기(Light Plane Projector)를 이용하여 빛면(Light Plane)을 투사하고 물체에 생기는 줄무늬(Stripe)을 이용하여 3차원 정보를 인식하는 기술이다.
도 1은 빛면 투사를 이용한 3차원 정보 인식 과정을 설명하기 위한 예시도이다.
'O'는 카메라의 광학중심(Optical Center), 'x-y 평면'은 영상면(Image Plane), 'b'는 카메라의 y축 방향으로 광학중심 'O'와 빛면 투사기 사이의 거리, P0는 빛면 투사기의 위치를 나타낸다. Π는 빛면 투사기가 만들어낸 빛면(Light Plane)을 나타낸다.
빛면 Π는 점 P0(0, -b, 0)에서 Y축과 만나고, 빛면 Π과 Y축 사이각은 α, 빛면과 X축 사이각은 ρ라고 가정하고, 빛면 투사기를 물체에 비추면 레이저 줄무늬(Laser Stripe)를 형성한다. 레이저 줄무늬의 한 점 P(X,Y,Z)의 영상면 상의 해당점을 p(x, y)로 나타내고, 평면 Π와 직선 Op의 교점을 이용하여 P의 좌표를 측정한다. 빛면이 카메라의 X축에 거의 평행한 구성을 사용할 경우, 빛 줄무늬(Light Stripe)는 영상 컬럼(Column)당 단 한 번 발생한다.
1) 빛면 Π의 방정식
XZ평면의 법선 벡터(Normal Vector)인 (0, 1, 0)을 X축에 대하여 π/2-α 만큼 회전시키고 Z축에 대하여 ρ만큼 회전시켜서 빛면 Π의 법선 벡터 n을 구하면 수학식 1과 같이 같다.
Figure 112007072721178-pat00001
수학식 1의 법선 벡터 n과 빛면 상의 한점 P0를 이용하면 빛면 Π의 방정식 을 수학식 2와 같이 구할 수 있다.
Figure 112007072721178-pat00002
2) 레이저 줄무늬 상의 점 P 구하기
광학중심 O, 영상면 상의 한 점 p, 이에 해당하는 3차원 공간상의 한 점 P는 모두 한 직선 위에 있다. 수학식 3과 같은 원근 카메라 모델(Perspective Camera Model)을 이용하여 직선상의 모든 점 Q를 매개변수 k를 이용하여 수학식 4와 같이 표현할 수 있다. 이때, f는 초점 길이(Focal Length)를 나타낸다.
Figure 112007072721178-pat00003
Figure 112007072721178-pat00004
여기서, 레이저 줄무늬 상의 한 점 P는 빛면 Π와 직선 Op의 교점이기 때문에 수학식 2와 수학식 4를 동시에 만족한다. 따라서, 수학식 4와 수학식 1을 수학식 2에 대입하면, 매개변수 k를 수학식 5와 같이 도출할 수 있다.
Figure 112007072721178-pat00005
또한, 수학식 5를 수학식 4에 대입하면, 점 P의 좌표를 수학식 6, 수학식 7, 수학식 8과 같이 구할 수 있다.
Figure 112007072721178-pat00006
Figure 112007072721178-pat00007
Figure 112007072721178-pat00008
특히, 빛면과 X축이 평행하면(즉, ρ가 0이면), 수학식 6, 수학식 7, 수학식 8은 수학식 9, 수학식 10, 수학식 11과 같이 단순화할 수 있다. 이때, 카메라와 물체 상의 점 P사이의 거리 Z는 영상 상의 점의 y좌표와 1대1 관계임을 주목하자.
Figure 112007072721178-pat00009
Figure 112007072721178-pat00010
Figure 112007072721178-pat00011
1.2 로그(LOG: Laplacian Of Gaussian) 기반 선분 검출
로그 또는 멕시칸 햇 웨이블릿(Mexican Hat Wavelet)은 컴퓨터 비전(Computer Vision) 분야에서 선분을 검출하기 위하여 가장 많이 사용하는 필터(Filter)이다.
도 2는 멕시칸 햇 웨이블릿 함수를 그래프로 나타낸 예시도이다.
로그는 수학식 12와 같이 정의되며, 가우시안(Gaussian) 함수의 표준이계도 함수(Normalized Second Derivative)이다. 또한, 로그는 가우시안 저역 통과 필터(Gaussian LPF(Low Pass Filter))와 최고 상승(Peak Enhancement)의 결합으로, 로그와 컨볼루션(Convolution)한 결과의 크기는 입력 영상이 선(Line)일 가능성에 비례한다.
Figure 112007072721178-pat00012
여기서, σ는 선폭(Line Width)에 해당하는 영전압점(Zero Crossing Point)의 위치를 결정한다. 실제 선의 폭보다 작은 σ를 사용하면, 줄무늬의 중심보다는 변두리 점을 검출한다. 실제 선의 폭보다 현저히 작은 σ를 사용하면, 강력한 저역 통과 필터의 효과로 선을 무시하게 된다. 빛면 투사기에서는 컬럼당 단 하나의 빛 줄무늬가 있기 때문에, 각 컬럼에 대한 1차원 LOG 필터링(Filtering)을 수행하여 가장 큰 출력을 나타내는 점을 줄무늬로 인식한다.
1.3 고 명암비 이미지(HDRi: High Dynamic Range Imaging)에 의한 레디언스 맵(Radiance Map) 구성
노출(Exposure) X는 광휘(Irradiance) E와 노출 시간(Exposure Time) t의 곱으로 정의된다. 명암(Intensity) Z는 수학식 13과 같이 노출 X에 대한 비선형(Non-Linear) 함수로 표현된다.
Figure 112007072721178-pat00013
수학식 13의 양변에 로그(Log)를 취하면 수학식 14와 같이 되고, 함수 g를 logf -1 로 정의하면 수학식 5와 같이 된다.
Figure 112007072721178-pat00014
Figure 112007072721178-pat00015
이때, i는 픽셀(Pixel) 좌표에 대한 인덱스(Index)이고, j는 촬영 시의 노출 시간에 대한 인덱스이다. 노출 X와 명암 Z 사이 관계를 정의하는 비선형 함수를 이미징 시스템(Imaging System)의 응답 커브(Response Curve)라고 한다.
데베벡(Debevec)은 픽셀들의 수학식 15에 대한 오류를 최소화하면서 응답 커브가 부드러워 지도록 하는 기준을 수학식 16과 같이 정의하고, 최소자승법(LS Method: Least Square Method)으로 추정하는 방법을 제시하였다. 이는 한 장면을 노출 시간을 달리해가면서 촬영하면, 센서의 응답 커브와 장면의 레디언스 맵을 구할 수 있다는 것을 의미한다.
Figure 112007072721178-pat00016
전술한 문제점을 해결하기 위해 본 발명은, 지하 주차장에서의 자동 주차와 같은 실내 주행 환경에서 빛 줄무늬의 중심을 정확하게 많이 찾아 더욱 많은 위치에서 실내 주행 환경에 대한 3차원 정보를 더욱 정밀하게 검출함으로써, 빛면 투사의 3차원 정보 인식에 대한 성능을 개선하기 위한 방법 및 그를 이용한 주차 보조 장치를 제공하는 데 그 목적이 있다.
전술한 목적을 달성하기 위해 본 발명은, 빛면 투사(Light Plane Projection)를 실내 주행(Indoor Navigation)에 적용하여 카메라를 통해 입력된 영상으로부터 빛 줄무늬(Light Stripe)를 감지하여 장애물을 감지한 후, 능동조향장치 및 전자제어 제동장치를 이용하여 차량의 주차를 보조하는 장치에 있어서, 빛 줄무늬 폭 함수(Light Stripe Width Function)를 이용하여 계산한 빛 줄무늬 폭의 반값을 로그 필터(LOG Filter: Laplacian of Gaussian Filter)의 상수값으로 사용하여 로그 필터링함으로써 상기 빛 줄무늬를 검출하는 것을 특징으로 하는 실내 주행을 위한 빛 줄무늬 감지 방법을 이용한 주차 보조 장치를 제공한다.
또한, 본 발명의 다른 목적에 의하면, 카메라, 능동조향장치 및 전자제어 제동장치와 연결되어 차량의 주차를 보조하는 주차 보조 장치가, 빛면 투사(Light Plane Projection)를 실내 주행(Indoor Navigation)에 적용하여 카메라를 통해 입력된 영상으로부터 빛 줄무늬(Light Stripe)를 감지하는 방법에 있어서, (a) 상기 카메라로부터 입력되는 입력 영상을 이용하여 빛 줄무늬 레디언스 맵(Light Stripe Radiance Map)을 구성하는 단계; (b) 상기 빛 줄무늬 레디언스 맵의 파라미터를 상 기 카메라로부터 장애물까지의 거리의 함수로 모델링하는 단계; (c) 상기 빛 줄무늬 레디언스 맵의 파라미터를 이용하여 빛 줄무늬 폭 함수(Light Stripe Width Function)를 계산하는 단계; (d) 상기 빛 줄무늬 폭 함수를 이용하여 빛 줄무늬 폭(Light Stripe Width)을 계산하는 단계; 및 (e) 상기 빛 줄무늬 폭의 1/2 크기를 로그 필터(LOG filter: Laplacian of Gaussian Filter)의 상수로서 사용하여 로그 필터링함으로써 상기 빛 줄무늬를 검출하는 단계를 포함하는 것을 특징으로 하는 실내 주행을 위한 빛 줄무늬 감지 방법을 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 로그 필터링으로 구하는 빛 줄무늬의 인식률과 정밀도를 개선할 수 있고, 그를 통해 실내 주행에서의 장애물을 정밀하게 인식하여 주차를 효율적으로 보조할 수 있다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
2.1 카메라 응답 커브(Response Curve)의 근사화
도 3은 실험에 따른 응답 커브를 그래프로 나타낸 예시도이다.
고 명암비 이미지(HDRi: High Dynamic Range Imaging, 이하 'HDRi'라 칭함) 를 이용하여 카메라의 응답 커브를 구한다. 실험에 의한 응답 커브는 도 3에 도시한 바와 같이 잡음이 발생하므로, 수학식 17과 같이 모델링(Modeling)한 응답 커브를 사용한다. 여기서, 수학식 17의 파라미터는 최소자승법(LS Method: Least Square Method)에 의해 추정한다.
Figure 112007072721178-pat00017
2.2 빛 줄무늬(Light Stripe)의 레디언스 맵(Radiance Map) 구하기
도 4는 빛 줄무늬의 레디언스 맵을 구하는 과정을 나타낸 예시도이다.
4A는 빛면 투사기를 켰을 때 노출 이미지를 달리하면서 빛 줄무늬 레디언스 맵을 구성하는 과정을 나타낸 것이며, 4B는 빛면 투사기를 껐을 때 노출 이미지를 달리하면서 빛 줄무늬 레디언스 맵을 구성하는 과정을 나타낸 것이며, 4C는 최종적인 빛 줄무늬 레디언스 맵을 나타낸 것이며, 4D는 왜곡을 보정한 빛 줄무늬 레디언스 맵을 나타낸 것이며, 4E는 왜곡을 보정한 빛 줄무늬 레디언스 맵을 영상으로 변환한 것을 나타낸 것이다.
위 그림에서 보는 바와 같이, 빛면 투사기(Light Plane Projector)를 켜고 노출 시간(Exposure Time)을 바꿔가면서 찍은 영상들에 HDRi를 적용하여 레디언스 맵을 구성하고, 빛면 투사기를 끄고 노출 시간을 바꿔가면서 찍은 영상들에 HDRi를 적용하여 레디언스 맵을 구성한다. 이와 같이 구한 두 레디언스 맵의 차가 빛 줄무늬의 레디언스 맵이다.
일반적으로 실내 주행(Indoor Navigation)에서는 광각의 렌즈를 사용하기 때문에, 사전에 교정(Calibration) 과정을 통하여 방사상의 왜곡 파라미터(Radial Distortion Parameter)들을 추정하고 이것을 이용하여 방사상의 왜곡(Radial Distortion)을 제거한다.
2.3. 빛 줄무늬 레디언스 맵(Light Stripe Radiance Map)의 2차원 가우시안 모델링(2 Dimensional Gaussian Modeling)
빛 줄무늬의 레디언스 맵은 수학식 18과 같이 2차원 정규 분포(Gaussian Distribution)를 따른다.
Figure 112007072721178-pat00018
2차원 정규 분포를 정의하기 위해서는 5개의 파라미터를 추정해야 한다. 여기서, 5개의 파라미터는 진폭(Amplitude) K, 평균값(Mean) (μx,μy ), 각 축(σx,σy)에 대한 표준 편차(Standard Deviation)이다. 최소자승법에 의하여 y축 분포를 먼저, 추정한 후, x축 분포를 추정하여 파라미터 값을 구할 수 있다.
도 5는 추정된 파라미터에 의해 묘사되는 빛 줄무늬 레디언스 맵을 나타낸 예시도이다.
도 5에 도시한 바와 같이, 추정된 파라미터에 의해 측정된 빛 줄무늬 레디언스 맵이 잘 묘사되고 있다.
빛 줄무늬 투사기(Light Stripe Projector)와 카메라가 장애물까지의 거리 d를 변화시키면, 2차원 가우시안 파라미터(Gaussian Parameter) 중 평균값은 변하지 않지만 K, σx, σy는 각각 수학식 19, 수학식 20, 수학식 21과 같이 거리 d에 대한 함수로 모델링될 수 있다.
Figure 112007072721178-pat00019
Figure 112007072721178-pat00020
Figure 112007072721178-pat00021
도 6은 측정된 파라미터들이 수학식으로 모델링된 결과를 나타낸 예시도이다.
6A는 측정된 K를 나타낸 것이고, 6B는 측정된 σx를 나타낸 것이며, 6C는 측정된 σy를 나타낸 것이다. 도시한 바와 같이, K, σx, σy들이 수학식 19, 수학식 20, 수학식 21로 모델링된 결과를 보여준다.
2.4 빛 줄무늬 폭 함수(Light Stripe Width Function)
빛 줄무늬 폭(Light Stripe Width)을 주변과의 명암(Intensity) 차이 θZ 보 다 큰 영역의 길이라고 가정하면, 명암 차이 θZ는 수학식 15에 의하여 이레디언스(Irradiance) 차이 θE로 변환할 수 있다. 이레디언스 임계치 θE를 수학식 18에 대입하고, log를 씌워 정리하면 수학식 22와 같이 도출된다.
Figure 112007072721178-pat00022
빛면 투사(Light Plane Projection)에서 빛 줄무늬(Light Stripe)는 영상의 한 컬럼(Column)당 단 한 번 나타나고, y축 방향으로 1차원 정규 분포를 따른다.
따라서, 수학식 22와 같이 θE를 만족하는 y좌표가 빛 줄무늬의 경계의 y좌표이고, 평균값에서 가장 큰 이레디언스 값을 가짐을 알 수 있고, 경계의 y좌표와 평균값 사이 거리의 두 배가 빛 줄무늬 폭(Light Stripe Width)임을 알 수 있다.
이때, K, σx, σy의 거리 d에 대한 모델링인 수학식 19, 수학식 20, 수학식 21을 수학식 22에 대입하면, 수학식 23과 같이 영상 x축 좌표 x와 거리 d에 대한 빛 줄무늬 폭(Light Stripe Width) 함수 w(x, d)를 얻을 수 있다.
Figure 112007072721178-pat00023
도 7은 측정된 빛 줄무늬 폭과 계산된 빛 줄무늬 폭을 나타낸 예시도이다.
7A는 실측된 빛 줄무늬 폭을 나타낸 것이고, 7B는 수학식 23에 의해 계산된 빛 줄무늬 폭을 나타낸 것이다.
빛 줄무늬 투사에서는 수학식 11과 같이 거리 d(세계(world) 좌표계에서 Z)가 영상의 y좌표와 1 대 1 관계를 갖기 때문에, 수학식 23의 w(x, d)는 수학식 24와 같이 영상 상의 좌표 (x, y)에 대한 빛 줄무늬 폭 함수 w(x, y)로 변환될 수 있다.
Figure 112007072721178-pat00024
도 8은 영상의 각 픽셀에서 측정한 빛 줄무늬 폭과 계산된 빛 줄무늬 폭을 나타낸 예시도이다.
8A는 영상의 각 픽셀(Pixel) (x, y)에서 측정한 빛 줄무늬 폭을 나타낸 것이고, 8B는 수학식 24로 계산한 빛 줄무늬 폭을 나타낸 것이다.
따라서, 빛면 투사의 구성(Configuration)을 고정하고, 실내 주행(Indoor Navigation)의 주요 대상물인 도색벽(Painted Wall)에 대한 빛 줄무늬 레디언스 맵의 2차원 정규 분포의 파라미터 함수를 미리 추정해 놓으면, 영상 좌표 (x, y)에 나타날 빛 줄무늬의 폭을 추정할 수 있다.
예를 들어 지하 주차장에서의 주행과 같은 실내 주행의 경우, 주변의 장애물은 대체로 도색벽으로서 비교적 동일한 반사 특성이 있다. 따라서, 이하에서는 장애물이 균등 확산면(Homogeneous Lambertian Surface)이라고 가정하고, 빛 줄무늬 레디언스 맵이 2D 정규 분포로 모델링될 수 있다고 가정한다.
2차원 가우시안 모델(Gaussian Model)의 진폭(Amplitude)과 x축, y축 정규 분포는 거리에 대한 함수이고, 이 함수의 파라미터들은 사전 교정을 통해 추정할 수 있다. 줄무늬를 배경으로부터 구분할 수 있는 명암 임계치 θZ에 대하여 수학식 23과 수학식 24를 이용하여 빛 줄무늬 폭 함수를 정의하고, 픽셀 좌표 (x, y)에 대한 빛 줄무늬 폭을 사전에 계산할 수 있다.
도 9는 영상의 모든 픽셀에 대한 빛 줄무늬 폭을 계산한 결과를 영상으로 나타낸 예시도이다.
따라서, 빛면 투사를 실내 주행에 적용함에 있어 수학식 12와 같은 로그 필터(LOG Filter)를 이용하여 빛 줄무늬를 검출한다면, 수학식 22, 수학식 23으로 구한 빛 줄무늬 폭의 1/2 크기를 로그 필터의 σ로 사용함으로써, 로그 필터링(LOG Filtering)으로 구하는 빛 줄무늬의 정밀도와 인식률을 개선할 수 있다.
도 10은 본 발명의 일 실시예에 따른 빛 줄무늬 감지 방법의 효과를 나타낸 예시도이다.
10A는 입력 영상을 나타낸 것이고, 10B는 정답 빛 줄무늬를 나타낸 것이며, 10C는 본 발명의 일 실시예에 따른 빛 줄무늬 감지 방법의 결과를 나타낸 것이다. 10C에 도시된 바와 같이, 빛 줄무늬가 두꺼운 가까운 곳과 빛 줄무늬가 얇은 먼 곳 모두에서 비교적 정확하게 빛 줄무늬를 검출하였다.
10D는 σ가 1인 경우의 로그 결과를 나타낸 것이다. 10D에 나타낸 바와 같이, 작은 상수 σ를 사용한 경우에는 잡음에 민감하고 두꺼운 빛 줄무늬의 중심을 찾지 못한다. 10E는 σ가 5인 경우의 로그 결과를 나타낸 것이다. 10E에 나타낸 바와 같이, 큰 상수 σ를 사용한 경우에는 먼 곳의 얇은 빛 줄무늬들이 무시되고, 바닥의 선분들이 빛 줄무늬로 인식된다.
10F는 본 발명의 일 실시예에 따른 빛 줄무늬 감지 방법에 의한 결과와 상수 σ의 변화에 따른 결과의 성능 비교를 나타낸 것이다.
본 발명의 일 실시예에 따른 빛 줄무늬 감지 방법의 인식 결과를 정답 빛 줄무늬와 비교한 결과와 상수 σ를 사용하는 로그(LOG)의 σ를 바꿔가면서 구한 인식결과를 정답 빛 줄무늬와 비교한 결과가 10F에 도시되어 있다.
실험에 사용한 경우처럼 장애물까지의 거리가 다양한 경우에 한가지 σ로 인식하는 어떤 경우보다 본 발명의 일 실시예에 따른 빛 줄무늬 감지 방법이 우수한 결과를 나타냄을 알 수 있다.
도 11은 본 발명의 일 실시예에 따른 빛 줄무늬 감지를 이용한 주차 보조 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 빛 줄무늬 감지를 이용한 주차 보조 장치(1120)는 카메라(110), 능동조향장치(1130) 및 전자제어 제동장치(1140)와 연결되어, 카메라로부터 입력되는 영상을 이용하여 주변 환경의 장애물을 감지하고 전동식 조향장치(1130) 및 전자제어 제동장치(1140)를 이용하여 차량을 조향 및 제동함으로써, 차량의 주차를 보조한다.
여기서, 능동조향장치(1130)는 차량의 운전 상황과 운전자의 운전 의도를 파악하여 차량의 조향을 보조하는 조향 보조 수단으로서, 전동식 조향장치(EPS: Electronic Power Steering), 모터구동 조향장치(MDPS: Motor Driven Power Steering), 능동전류 조향장치(AFS: Active Front Steering) 등을 포함하는 개념이다.
또한, 전자제어 제동장치(140)는 차량의 제동 상태를 변환하는 제동 제어 수단으로서, 안티록 브레이크 시스템(ABS: Anti-lock Brake System), 자동 안정성 제어(ASC: Automatic Stability Control) 시스템, 동적 안정성 제어(DSC: Dynamic Stabilty Control) 시스템 등을 포함하는 개념이다.
본 발명의 일 실시예에 따른 주차 보조 장치(1120)는 빛면 투사를 실내 주행에 적용하여 카메라를 통해 입력된 영상으로부터 빛 줄무늬를 감지하고 빛 줄무늬를 이용하여 장애물을 감지하여 차량의 주차를 보조한다.
또한, 본 발명의 일 실시예에 따른 주차 보조 장치(1120)는 빛 줄무늬를 감지하는 데 있어서, 빛 줄무늬 폭 함수(Light Stripe Width Function)를 이용하여 계산한 빛 줄무늬 폭의 반값을 로그(LOG: Laplacian of Gaussian) 필터(Filter)의 상수값으로 사용하여 빛 줄무늬를 검출한다.
또한, 본 발명의 일 실시예에 따른 주차 보조 장치(1120)는 빛면 투사에서 빛 줄무늬 레디언스 맵(Light Stripe Radiance Map)을 2차원 정규 분포로 모델링할 때, 빛 줄무늬 레디언스 맵의 파라미터를 카메라로부터 장애물까지의 거리의 함수로 모델링한다.
도 12는 본 발명의 일 실시예에 따른 실내 주행을 위한 빛 줄무늬 감지 방법을 설명하기 위한 순서도이다.
도 11을 통해 전술한 주차 보조 장치(1120)는 지하 주차장과 같은 실내 주행 환경에서 장애물을 감지하여 차량의 운행 또는 주차를 보조하는데, 빛면 투사를 실내 주행에 적용하여 빛 줄무늬를 감지함으로써 장애물을 감지한다.
즉, 주차 보조 장치(1120)는 카메라(110)에 장착된 빛면 투사기를 이용하여 실내 주행 환경에 빛면을 투사하고(S1210), 카메라(110)로부터 입력되는 입력 영상을 수신하면(S1220), 입력 영상으로부터 빛 줄무늬 레디언스 맵을 구성한다(S1230).
빛 줄무늬 레디언스 맵을 구성한 주차 보조 장치(1120)는 빛 줄무늬 레디언스 맵의 파라미터를 카메라로부터 장애물까지의 거리의 함수로 모델링하고(S1240), 모델링한 빛 줄무늬 레디언스 맵의 파라미터를 이용하여 빛 줄무늬 폭 함수를 계산한다(S1250).
주차 보조 장치(1120)는 빛 줄무늬 폭 함수를 이용하여 빛 줄무늬 폭을 계산하고, 계산한 빛 줄무늬 폭의 1/2 크기를 선분 검출을 위한 로그 필터의 상수 즉, σ로 사용하여 빛 줄무늬를 검출한다(S1260).
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석 되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
도 1은 빛면 투사를 이용한 3차원 정보 인식 과정을 설명하기 위한 예시도,
도 2는 멕시칸 햇 웨이블릿 함수를 그래프로 나타낸 예시도,
도 3은 실험에 따른 응답 커브를 그래프로 나타낸 예시도,
도 4는 빛 줄무늬의 레디언스 맵을 구하는 과정을 나타낸 예시도,
도 5는 추정된 파라미터에 의해 묘사되는 빛 줄무늬 레디언스 맵을 나타낸 예시도,
도 6은 측정된 파라미터들이 수학식으로 모델링된 결과를 나타낸 예시도,
도 7은 측정된 빛 줄무늬 폭과 계산된 빛 줄무늬 폭을 나타낸 예시도,
도 8은 영상의 각 픽셀에서 측정한 빛 줄무늬 폭과 계산된 빛 줄무늬 폭을 나타낸 예시도,
도 9는 영상의 모든 픽셀에 대한 빛 줄무늬 폭을 계산한 결과를 영상으로 나타낸 예시도,
도 10은 본 발명의 일실시예에 따른 빛 줄무늬 감지 방법의 효과를 나타낸 예시도,
도 11은 본 발명의 일 실시예에 따른 빛 줄무늬 감지를 이용한 주차 보조 장치를 간략하게 나타낸 블록 구성도,
도 12는 본 발명의 일 실시예에 따른 실내 주행을 위한 빛 줄무늬 감지 방법을 설명하기 위한 순서도이다.
< 도면의 주요 부분에 대한 부호의 설명 >
1110: 카메라 1120: 주차 보조 장치
1130: 능동조향장치 1140: 전자제어 제동장치

Claims (4)

  1. 빛면 투사(Light Plane Projection)를 실내 주행(Indoor Navigation)에 적용하여 카메라를 통해 입력된 영상으로부터 빛 줄무늬(Light Stripe)를 감지하여 장애물을 감지한 후, 능동조향장치 및 전자제어 제동장치를 이용하여 차량의 주차를 보조하는 장치에 있어서,
    빛 줄무늬 폭 함수(Light Stripe Width Function)를 이용하여 계산한 빛 줄무늬 폭의 반값을 로그 필터(LOG Filter: Laplacian of Gaussian Filter)의 상수값으로 사용하여 로그 필터링함으로써 상기 빛 줄무늬를 검출하며, 빛면 투사에서 빛 줄무늬 레디언스 맵(Light Stripe Radiance Map)을 2차원 정규 분포로 모델링할 때, 상기 빛 줄무늬 레디언스 맵의 파라미터를 상기 카메라로부터 상기 장애물까지의 거리의 함수로 모델링하는 것을 특징으로 하는 실내 주행을 위한 빛 줄무늬 감지 방법을 이용한 주차 보조 장치.
  2. 삭제
  3. 제 1 항에 있어서, 상기 빛 줄무늬 폭 함수는,
    상기 빛 줄무늬를 배경으로부터 구분하는 명암 임계치를 이용하여 계산되는 것을 특징으로 하는 실내 주행을 위한 빛 줄무늬 감지 방법을 이용한 주차 보조 장 치.
  4. 카메라, 능동조향장치 및 전자제어 제동장치와 연결되어 차량의 주차를 보조하는 주차 보조 장치가, 빛면 투사(Light Plane Projection)를 실내 주행(Indoor Navigation)에 적용하여 카메라를 통해 입력된 영상으로부터 빛 줄무늬(Light Stripe)를 감지하는 방법에 있어서,
    (a) 상기 카메라로부터 입력되는 입력 영상을 이용하여 빛 줄무늬 레디언스 맵(Light Stripe Radiance Map)을 구성하는 단계;
    (b) 상기 빛 줄무늬 레디언스 맵의 파라미터를 상기 카메라로부터 장애물까지의 거리의 함수로 모델링하는 단계;
    (c) 상기 빛 줄무늬 레디언스 맵의 파라미터를 이용하여 빛 줄무늬 폭 함수(Light Stripe Width Function)를 계산하는 단계;
    (d) 상기 빛 줄무늬 폭 함수를 이용하여 빛 줄무늬 폭(Light Stripe Width)을 계산하는 단계; 및
    (e) 상기 빛 줄무늬 폭의 1/2 크기를 로그 필터(LOG filter: Laplacian of Gaussian Filter)의 상수로서 사용하여 로그 필터링함으로써 상기 빛 줄무늬를 검출하는 단계
    를 포함하는 것을 특징으로 하는 실내 주행을 위한 빛 줄무늬 감지 방법.
KR1020070102053A 2007-10-10 2007-10-10 실내 주행을 위한 빛 줄무늬 감지 방법 및 그를 이용한주차 보조 장치 KR101165122B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020070102053A KR101165122B1 (ko) 2007-10-10 2007-10-10 실내 주행을 위한 빛 줄무늬 감지 방법 및 그를 이용한주차 보조 장치
DE102008050809A DE102008050809A1 (de) 2007-10-10 2008-10-08 Lichtstreifendetektionsverfahren zur Innennavigation und Parkassistenzvorrichtung unter Verwendung desselben
US12/287,494 US20090099767A1 (en) 2007-10-10 2008-10-09 Light stripe detection method for indoor navigation and parking assist apparatus using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070102053A KR101165122B1 (ko) 2007-10-10 2007-10-10 실내 주행을 위한 빛 줄무늬 감지 방법 및 그를 이용한주차 보조 장치

Publications (2)

Publication Number Publication Date
KR20090036795A KR20090036795A (ko) 2009-04-15
KR101165122B1 true KR101165122B1 (ko) 2012-07-12

Family

ID=40535036

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070102053A KR101165122B1 (ko) 2007-10-10 2007-10-10 실내 주행을 위한 빛 줄무늬 감지 방법 및 그를 이용한주차 보조 장치

Country Status (3)

Country Link
US (1) US20090099767A1 (ko)
KR (1) KR101165122B1 (ko)
DE (1) DE102008050809A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8363062B2 (en) * 2009-06-26 2013-01-29 Sony Corporation Method and unit for generating a radiance map
WO2011144968A1 (en) * 2010-05-19 2011-11-24 Nokia Corporation Physically-constrained radiomaps
CN105807672A (zh) * 2014-12-27 2016-07-27 哈尔滨聚吉轩科技开发有限公司 一种太阳能电动汽车智能地下停车系统
FR3039918B1 (fr) * 2015-08-06 2021-01-29 Renault Sas Dispositif et procede d'aide au stationnement pour un vehicule automobile.
US10849205B2 (en) 2015-10-14 2020-11-24 Current Lighting Solutions, Llc Luminaire having a beacon and a directional antenna
CN106959079A (zh) * 2017-03-27 2017-07-18 淮阴师范学院 一种改进型聚焦三维形貌测量方法
CN108364457A (zh) * 2018-01-31 2018-08-03 长安大学 一种基于gps的商用车疲劳驾驶检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000292135A (ja) * 1999-04-07 2000-10-20 Minolta Co Ltd ３次元情報入力カメラ
US6751344B1 (en) * 1999-05-28 2004-06-15 Champion Orthotic Investments, Inc. Enhanced projector system for machine vision
JP2002131016A (ja) * 2000-10-27 2002-05-09 Honda Motor Co Ltd 距離測定装置、及び距離測定方法
US6683539B2 (en) * 2001-12-27 2004-01-27 Koninklijke Philips Electronics N.V. Computer vision based parking assistant

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Ho Gi Jung, Dong Suk Kim, Pal Joo Yoon and Jaihie Kim. Proceedings of the 2007 IEEE Intelligent Vehicles Symposium. June 13-15, 2007, pp. 962-968.*
Zhenzhong Wei, Fuqiang Zhou and Guangjun Zhang. 3D coordinates measurement based on structured light sensor. Sensors and Actuators A. 2005, Vol. 120, pp. 527-535.*

Also Published As

Publication number Publication date
DE102008050809A1 (de) 2009-06-10
US20090099767A1 (en) 2009-04-16
KR20090036795A (ko) 2009-04-15

Similar Documents

Publication Publication Date Title
CN112861653B (zh) 融合图像和点云信息的检测方法、系统、设备及存储介质
KR102275310B1 (ko) 자동차 주변의 장애물 검출 방법
KR101165122B1 (ko) 실내 주행을 위한 빛 줄무늬 감지 방법 및 그를 이용한주차 보조 장치
US10424081B2 (en) Method and apparatus for calibrating a camera system of a motor vehicle
JP3719095B2 (ja) 挙動検出装置および勾配検出方法
JP4600760B2 (ja) 障害物検出装置
JP5926228B2 (ja) 自律車両用の奥行き検知方法及びシステム
Kim et al. Lane-level localization using an AVM camera for an automated driving vehicle in urban environments
US11003920B2 (en) Detection and planar representation of three dimensional lanes in a road scene
US11288833B2 (en) Distance estimation apparatus and operating method thereof
KR20090103165A (ko) 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법
Pinggera et al. High-performance long range obstacle detection using stereo vision
KR20210090384A (ko) 카메라 및 라이다 센서를 이용한 3d 객체 검출방법 및 장치
JP4344860B2 (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法
JP6171849B2 (ja) 移動体位置姿勢角推定装置及び移動体位置姿勢角推定方法
CN114764138A (zh) 多传感器顺序校准系统
JP5530773B2 (ja) ステレオカメラによる平面検出方法とこの方法を用いた移動ロボット
CN114919584A (zh) 机动车定点目标测距方法、装置及计算机可读存储介质
KR20180030167A (ko) 물체 검출 장치, 물체 검출 방법, 및 프로그램
Zhang et al. Real-time obstacle detection based on stereo vision for automotive applications
Shu et al. Vision based lane detection in autonomous vehicle
KR20110012317A (ko) 빛 줄무늬 감지 방법, 목표 위치 검출 방법 및 그를 이용한 주차 보조 장치
Chavan et al. Obstacle detection and avoidance for automated vehicle: A review
WO2018123640A1 (ja) 撮像装置
JP3985610B2 (ja) 車両用走行路認識装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150630

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee