KR20100047674A - Apparatus and method for driving assistance using feature of vehicle, and microprocessor and recording medium used thereto - Google Patents
Apparatus and method for driving assistance using feature of vehicle, and microprocessor and recording medium used thereto Download PDFInfo
- Publication number
- KR20100047674A KR20100047674A KR1020080106667A KR20080106667A KR20100047674A KR 20100047674 A KR20100047674 A KR 20100047674A KR 1020080106667 A KR1020080106667 A KR 1020080106667A KR 20080106667 A KR20080106667 A KR 20080106667A KR 20100047674 A KR20100047674 A KR 20100047674A
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- information
- generating
- spatial information
- driving assistance
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000011084 recovery Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 description 13
- 230000033001 locomotion Effects 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/54—Audio sensitive means, e.g. ultrasound
Landscapes
- Engineering & Computer Science (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 차량의 운전 보조 시스템에 관한 것으로서, 운전자에게 안전성 및 편의성을 제공함은 물론, 3차원 복원의 정확성을 개선하고 단일한 카메라만을 이용하여 경제성 및 효율성을 개선함으로써 실제 제품화 가능성을 향상시키는 운전 보조 장치 및 방법과 이에 사용되는 마이크로프로세서 및 기록매체에 관한 것이다.The present invention relates to a driving assistance system of a vehicle, which provides a driver with safety and convenience, as well as improving the accuracy of three-dimensional restoration and improving economic feasibility and efficiency by using only a single camera, thereby improving the possibility of actual commercialization. An apparatus and method, and a microprocessor and a recording medium used therein.
최근, 차량의 안전한 운행 및 주차 등을 위해 운전자를 보조할 수 있는 지능형 시스템과 자동 항법 시스템에 관한 다양한 연구가 활발이 진행되고 있다.In recent years, various studies have been actively conducted on intelligent systems and automatic navigation systems capable of assisting drivers for safe driving and parking of vehicles.
이에 따라, 카메라를 통한 영상 인식 기술을 차량 운전 시스템에 적용하려는 시도가 계속되고 있으며, 실제로 차량에 CCD(Charge-Coupled Device) 카메라 또는 CMOS(Complementary Metal Oxide Semiconductor) 카메라를 장착하고 상기 카메라를 통해 차량의 후방 또는 좌·우측의 영상을 획득하여 상기 획득한 영상을 차량의 내부 모니터에 디스플레이함으로써 운전자로 하여금 차량 주변의 시야를 확보할 수 있도록 하는 기술이 소개되고 있다.Accordingly, attempts are being made to apply image recognition technology through a camera to a vehicle driving system, and in fact, a charge-coupled device (CCD) camera or a complementary metal oxide semiconductor (CMOS) camera is mounted on the vehicle and the vehicle is operated through the camera. The technique of acquiring the image of the rear or the left and the right of the and displaying the acquired image on the internal monitor of the vehicle enables the driver to secure a view around the vehicle.
그러나, 기존의 기술들은 주로 운전자의 사각 지대에 대한 시야를 확보하는데 초점을 두고 있을 뿐, 좁은 골목길 운전 등 정밀한 운전 조작을 요하는 상황에서 운전 초보자에게 안전한 운전 경로를 제시하는 기술에 관해 특별한 해결책을 제시하지 못하는 문제점이 있다.However, existing technologies are mainly focused on securing the driver's blind spot and provide a special solution for a technique that presents a safe driving route to a beginner in a driving situation in which a precise driving operation such as narrow alley driving is required. There is a problem that cannot be presented.
또한, 기존의 일반적인 차량용 영상 인식 시스템의 구성은 크게 차량 외부에 장착되는 카메라 모듈, 상기 카메라 모듈이 획득한 영상을 처리하는 영상처리 모듈, 상기 영상처리 모듈을 통해 처리된 영상이 출력되는 디스플레이로 이루어진다. 그러나, 이러한 영상 인식 시스템의 경우 단순히 운전자에게 차량 외부의 환경만을 인지할 수 있도록 디스플레이 할 뿐이므로 운전 초보자가 차량을 주차하는 등의 경우 여전히 실질적인 도움을 줄 수 없다는 문제점이 있다. 운전자는 기존의 차량용 영상 인식 시스템을 통해 차량 주변의 영상을 획득할 수 있지만, 실제 주차 등을 수행하는 경우 디스플레이되는 영상을 바탕으로 운전자가 스스로 주차 경로를 설정해야 하기 때문이다.In addition, the configuration of a conventional general vehicle image recognition system is composed of a camera module mounted on the outside of the vehicle, an image processing module for processing the image obtained by the camera module, a display for outputting the image processed through the image processing module. . However, such an image recognition system merely displays the driver so that only the environment outside the vehicle can be recognized, and thus there is a problem in that the novice still cannot provide practical help in the case of parking the vehicle. The driver can acquire the image around the vehicle through the existing vehicle image recognition system, but when the actual parking, etc., the driver must set the parking path on his own based on the displayed image.
한편, 최근에는 영상 인식에 의한 3차원 복원(3D reconstruction) 기술이 소개되면서 이러한 3차원 복원 기술을 차량 주변의 3차원 정보를 획득하는데 적용하려는 노력이 계속되고 있다. 기존의 3차원 복원 시스템은 복수의 카메라를 사용하는 것이 일반적이다.Meanwhile, with the introduction of 3D reconstruction technology by image recognition, efforts have been made to apply the 3D reconstruction technology to acquire 3D information around a vehicle. Conventional three-dimensional reconstruction systems generally use multiple cameras.
그러나, 복수의 카메라를 이용하는 경우 카메라들 간의 물리적 특성의 차이, 예컨대 초점거리의 차이, CCD 등 촬상소자의 내적 파라미터(intrinsic parameter)의 차이 등으로 인해 3차원 복원시 오차가 발생하는 문제점이 있다. 또한, 차량의 진행 방향에 대한 공간 정보를 획득하기 위해 복수의 카메라를 사용하여 3차원 복원 시스템을 구현하는 것은 경제성 및 효율성 면에서 경쟁력이 떨어지는 문제점이 있으며, 이러한 비경제성 및 비효율성은 3차원 복원 기술을 실제 차량에 적용하여 제품화하는데 있어서 커다란 걸림돌이 된다.However, when using a plurality of cameras, there is a problem that an error occurs during 3D reconstruction due to a difference in physical characteristics between the cameras, for example, a difference in focal length, and a difference in intrinsic parameters of an image pickup device such as a CCD. In addition, implementing a three-dimensional reconstruction system using a plurality of cameras to obtain spatial information on the direction of travel of the vehicle has a problem of inferior competitiveness in terms of economics and efficiency, and such inefficiency and inefficiency are three-dimensional reconstruction. It is a huge obstacle to the application of technology to actual vehicles.
또한, 단일한 카메라를 이용하는 경우라도 정량적인 수치로 복원이 어렵다는 문제점이 있다. 즉, 3차원 복원의 정확도가 떨어진다는 문제점이 있다.In addition, even when using a single camera, there is a problem that it is difficult to restore to a quantitative value. That is, there is a problem that the accuracy of three-dimensional reconstruction is poor.
따라서, 본 발명이 이루고자 하는 첫 번째 기술적 과제는, 단일한 카메라를 이용하여 차량의 진행 경로에 관한 정보를 제공함으로써 운전자에게 안전성 및 편의성을 제공함은 물론 경제성 및 정확성까지 개선된 운전 보조 장치를 제공하는 것이다.Accordingly, the first technical problem to be achieved by the present invention is to provide a driving assistance apparatus that provides safety and convenience to the driver as well as economical and accurate by providing information on the traveling route of the vehicle using a single camera. will be.
본 발명이 이루고자 하는 두 번째 기술적 과제는, 단일한 카메라를 이용하여 차량의 진행 경로에 관한 정보를 제공함으로써 운전자에게 안전성 및 편의성을 제공함은 물론 경제성 및 정확성까지 개선된 운전 보조 방법을 제공하는 것이다.The second technical problem to be achieved by the present invention is to provide a driving assistance method that provides safety and convenience to the driver as well as economical and accurate by providing information on the traveling route of the vehicle using a single camera.
본 발명이 이루고자 하는 세 번째 기술적 과제는, 상기 운전 보조 장치 및 방법에 사용되는 마이크로프로세서를 제공하는 것이다.A third technical object of the present invention is to provide a microprocessor for use in the driving assistance apparatus and method.
본 발명이 이루고자 하는 네 번째 기술적 과제는, 상기 운전 보조 장치 및 방법에 사용되는 기록매체를 제공하는 것이다.A fourth technical object of the present invention is to provide a recording medium for use in the driving assistance apparatus and method.
상기와 같은 첫 번째 기술적 과제를 해결하기 위하여 본 발명은, 차량에 장착된 카메라의 시야 내에 고정되는 상기 차량의 특징점을 이용하여 상기 카메라를 통해 입력되는 이미지로부터 3차원 공간 정보를 생성하는 공간 정보 생성부; 및 상기 3차원 공간 정보를 이용하여 후보 경로(candidate course) 정보를 생성하는 경로 정보 생성부를 포함하는 차량의 특징점을 이용한 운전 보조 장치를 제공한다.In order to solve the first technical problem as described above, the present invention, by using the feature points of the vehicle is fixed within the field of view of the camera mounted on the vehicle to generate spatial information from the image input through the camera part; And a route information generator for generating candidate course information using the 3D spatial information.
일 실시예에 있어서, 상기 차량의 특징점을 이용한 운전 보조 장치는, 단일 한 카메라를 통해 상기 공간 정보 생성부에 이미지를 입력한다.According to an embodiment, the driving assistance apparatus using the feature point of the vehicle inputs an image to the spatial information generating unit through a single camera.
일 실시예에 있어서, 상기 공간 정보 생성부는 상기 카메라를 통해 입력되는 이미지로부터 이미지 시퀀스(image sequence)를 생성하는 이미지 그래버(image grabber); 및 상기 차량의 특징점에 관해 미리 얻어진 공간 정보를 이용하여 상기 이미지 시퀀스로부터 3차원 복원을 수행하는 3차원 복원부를 포함한다.The spatial information generator may include an image grabber configured to generate an image sequence from an image input through the camera; And a three-dimensional reconstruction unit that performs three-dimensional reconstruction from the image sequence by using spatial information obtained in advance with respect to a feature point of the vehicle.
일 실시예에 있어서, 상기 3차원 복원부는 상기 이미지 시퀀스에서 특징점을 추출하는 특징점 추출 모듈; 상기 이미지 시퀀스에서 3차원 복원에 사용되는 키 프레임(keey frame)을 선택하는 키 프레임 선택 모듈; 및 상기 선택된 키 프레임의 특징점을 이용하여 상기 3차원 공간 정보를 생성하는 3차원 정보 생성 모듈을 포함한다.The 3D reconstruction unit may include a feature point extraction module configured to extract a feature point from the image sequence; A key frame selection module for selecting a key frame used for 3D reconstruction in the image sequence; And a 3D information generating module generating the 3D spatial information using the feature points of the selected key frame.
일 실시예에 있어서, 상기 특징점 추출 모듈은 SIFT(Scale Invariant Feature Transform)을 이용하여 상기 이미지 시퀀스에서 특징점을 추출한다.In one embodiment, the feature point extraction module extracts a feature point from the image sequence using a scale invariant feature transform (SIFT).
일 실시예에 있어서, 상기 키 프레임 선택 모듈은 옵티컬 플로우(optical flow) 변화량의 평균값을 이용하여 키 프레임을 선택한다.In one embodiment, the key frame selection module selects a key frame using an average value of the amount of optical flow change.
일 실시예에 있어서, 상기 3차원 정보 생성 모듈은 상기 차량의 특징점에 관해 미리 얻어진 공간 정보를 메트릭 리커버리(metric recovery) 과정에서 기준값으로 사용하여 상기 3차원 공간 정보를 생성한다.In one embodiment, the three-dimensional information generating module generates the three-dimensional spatial information by using the spatial information obtained in advance with respect to the feature point of the vehicle as a reference value during a metric recovery process.
일 실시예에 있어서, 상기 경로 정보 생성부는 상기 후보 경로 정보를 Z맵(Z-map) 정보로 생성한다.In example embodiments, the path information generation unit generates the candidate path information as Z-map information.
일 실시예에 있어서, 상기 차량의 특징점을 이용한 운전 보조 장치는 상기 후보 경로 정보를 Z맵으로 표시하는 디스플레이부를 더 포함한다.In one embodiment, the driving assistance apparatus using the feature point of the vehicle further includes a display unit for displaying the candidate route information in a Z map.
일 실시예에 있어서, 상기 차량의 특징점을 이용한 운전 보조 장치는 초음파를 통해 거리를 감지하는 초음파 거리 감지부를 더 포함하고, 상기 경로 정보 생성부는 상기 3차원 공간 정보 및 상기 초음파 거리 감지부에 의한 거리 정보를 이용하여 상기 후보 경로 정보를 생성한다.In one embodiment, the driving assistance apparatus using the feature point of the vehicle further includes an ultrasonic distance sensing unit for sensing the distance through the ultrasonic wave, the path information generation unit is the distance by the three-dimensional space information and the ultrasonic distance sensing unit The candidate path information is generated using the information.
일 실시예에 있어서, 상기 경로 정보 생성부는 상기 후보 경로 정보를 상기 차량의 자동 조향 시스템에 제공하여 상기 차량을 제어한다.In one embodiment, the route information generation unit provides the candidate route information to the automatic steering system of the vehicle to control the vehicle.
일 실시예에 있어서, 상기 차량의 특징점을 이용한 운전 보조 장치는 운전자로 하여금 자동 주행 모드를 선택할 수 있도록 하는 사용자 인터페이스를 더 포함하고, 그리고 상기 경로 정보 생성부는 상기 사용자 인터페이스를 통해 상기 자동 주행 모드가 선택된 경우 상기 자동 조향 시스템을 통해 상기 차량을 제어한다.In one embodiment, the driving assistance apparatus using the feature point of the vehicle further includes a user interface for allowing a driver to select an automatic driving mode, and the route information generator is configured to display the automatic driving mode through the user interface. If selected, the vehicle is controlled through the automatic steering system.
상기와 같은 두 번째 기술적 과제를 해결하기 위하여 본 발명은, 차량에 장착된 카메라의 시야 내에 고정되는 상기 차량의 특징점을 이용하여 상기 카메라를 통해 입력되는 이미지로부터 3차원 공간 정보를 생성하는 공간 정보 생성 단계; 및 상기 3차원 공간 정보를 이용하여 후보 경로(candidate course) 정보를 생성하는 경로 정보 생성 단계를 포함하는 차량의 특징점을 이용한 운전 보조 방법을 제공한다.In order to solve the second technical problem as described above, the present invention, by using the feature points of the vehicle is fixed within the field of view of the camera mounted on the vehicle to generate spatial information from the image input through the camera step; And a route information generation step of generating candidate course information using the three-dimensional spatial information.
일 실시예에 있어서, 상기 공간 정보 생성 단계는 단일한 카메라를 통해 입력되는 이미지로부터 상기 3차원 공간 정보를 생성하는 단계이다.In one embodiment, the generating of the spatial information is generating the three-dimensional spatial information from an image input through a single camera.
일 실시예에 있어서, 상기 공간 정보 생성 단계는 상기 카메라를 통해 입력 되는 이미지로부터 이미지 시퀀스(image sequence)를 생성하는 이미지 그랩(image grab) 단계; 및 상기 차량의 특징점에 관해 미리 얻어진 공간 정보를 이용하여 상기 이미지 시퀀스로부터 3차원 복원을 수행하는 3차원 복원 단계를 포함한다.The spatial information generating step may include: an image grab step of generating an image sequence from an image input through the camera; And a three-dimensional reconstruction step of performing three-dimensional reconstruction from the image sequence by using spatial information obtained in advance on the feature points of the vehicle.
일 실시예에 있어서, 상기 3차원 복원 단계는 상기 이미지 시퀀스에서 특징점을 추출하는 특징점 추출 단계; 상기 이미지 시퀀스에서 3차원 복원에 사용되는 키 프레임(keey frame)을 선택하는 키 프레임 선택 단계; 및 상기 선택된 키 프레임의 특징점을 이용하여 상기 3차원 공간 정보를 생성하는 3차원 정보 생성 단계를 포함한다.In an embodiment, the three-dimensional reconstruction step may include: extracting a feature point from the image sequence; A key frame selecting step of selecting a key frame used for 3D reconstruction in the image sequence; And generating three-dimensional space information by using feature points of the selected key frame.
일 실시예에 있어서, 상기 특징점 추출 단계는 SIFT(Scale Invariant Feature Transform)을 이용하여 상기 이미지 시퀀스에서 특징점을 추출하는 단계이다.In one embodiment, the feature point extraction step is to extract a feature point from the image sequence using a scale invariant feature transform (SIFT).
일 실시예에 있어서, 상기 키 프레임 선택 단계는 옵티컬 플로우(optical flow) 변화량의 평균값을 이용하여 키 프레임을 선택하는 단계이다.In one embodiment, the key frame selection step is a step of selecting a key frame using an average value of the amount of optical flow change.
일 실시예에 있어서, 상기 3차원 정보 생성 단계는 상기 차량의 특징점에 관해 미리 얻어진 공간 정보를 메트릭 리커버리(metric recovery) 과정에서 기준값으로 사용하여 상기 3차원 공간 정보를 생성하는 단계이다.In one embodiment, the three-dimensional information generating step is a step of generating the three-dimensional spatial information by using the spatial information obtained in advance with respect to the feature point of the vehicle as a reference value during a metric recovery (metric recovery) process.
일 실시예에 있어서, 상기 경로 정보 생성 단계는 상기 후보 경로 정보를 Z맵(Z-map) 정보로 생성하는 단계이다.In an exemplary embodiment, the generating of the path information may include generating the candidate path information as Z-map information.
일 실시예에 있어서, 상기 차량의 특징점을 이용한 운전 보조 방법은 상기 후보 경로 정보를 Z맵으로 표시하는 디스플레이 단계를 더 포함한다.In one embodiment, the driving assistance method using the feature point of the vehicle further includes a display step of displaying the candidate route information in a Z-map.
일 실시예에 있어서, 상기 경로 정보 생성 단계는 상기 3차원 공간 정보 및 초음파 센서에 의한 거리 정보를 이용하여 상기 후보 경로 정보를 생성하는 단계이다.In an exemplary embodiment, the generating of the path information may include generating the candidate path information by using the 3D space information and the distance information by the ultrasonic sensor.
일 실시예에 있어서, 상기 차량의 특징점을 이용한 운전 보조 방법은 상기 후보 경로 정보를 상기 차량의 자동 조향 시스템에 제공하여 상기 차량을 제어하는 자동 주행 단계를 더 포함한다.The driving assistance method using the feature points of the vehicle may further include an automatic driving step of controlling the vehicle by providing the candidate route information to the automatic steering system of the vehicle.
일 실시예에 있어서, 상기 자동 주행 단계는 운전자로 하여금 자동 주행 모드를 선택할 수 있도록 하는 사용자 인터페이스를 제공하여 상기 사용자 인터페이스를 통해 상기 자동 주행 모드가 선택된 경우 상기 자동 조향 시스템을 통해 상기 차량을 제어하는 단계이다.In one embodiment, the autonomous driving step provides a user interface for allowing a driver to select an autonomous driving mode to control the vehicle through the autopilot system when the autonomous driving mode is selected through the user interface. Step.
상기와 같은 세 번째 기술적 과제를 해결하기 위하여 본 발명은, 상기 공간 정보 생성부 및 상기 경로 정보 생성부가 시스템 온 칩(system on chip) 형태로 구현된 마이크로프로세서를 제공한다.In order to solve the third technical problem as described above, the present invention provides a microprocessor implemented in the form of a system on chip (spatial information generation unit and the path information generation unit).
상기와 같은 네 번째 기술적 과제를 해결하기 위하여 본 발명은, 상기 운전 보조 방법을 컴퓨터 시스템 상에서 실행하는 프로그램이 기록된 기록매체로서, 상기 컴퓨터 시스템이 판독할 수 있는 상기 기록매체를 제공한다.In order to solve the fourth technical problem as described above, the present invention provides a recording medium that can be read by the computer system as a recording medium on which a program for executing the driving assistance method on a computer system is recorded.
본 발명에 따른 차량의 특징점을 이용한 운전 보조 장치 및 방법과 이에 사용되는 마이크로프로세서 및 기록매체는, 좁은 골목길 또는 장애물의 출현으로 주행이 곤란한 도로 등 실제 주행 환경에서 차량의 주행 경로에 관한 정보를 운전자 에게 제공하고, 또한 차량의 자동 조향 시스템을 이용하여 차량을 제어하도록 함으로써 운전자에게 안전성 및 편의성을 제공한다. 또한, 단일한 카메라만을 이용하여 경제성 및 효율성을 개선함으로써 실제 제품화 가능성을 향상시킨다는 이점을 제공한다. 나아가, 차량의 특징점을 이용하여 3차원 공간 정보를 생성함으로써 3차원 복원의 정확성을 개선하는 이점을 제공한다.A driving assistance apparatus and method using a feature point of a vehicle according to the present invention, and a microprocessor and a recording medium used therein, provide information about a driving route of a vehicle in an actual driving environment, such as a road where it is difficult to drive due to the appearance of narrow alleys or obstacles. And control the vehicle using the vehicle's automatic steering system to provide safety and convenience to the driver. It also offers the advantage of improving the feasibility of actual production by improving economics and efficiency using only a single camera. Furthermore, by generating three-dimensional spatial information using the feature points of the vehicle, it provides an advantage of improving the accuracy of the three-dimensional reconstruction.
본 발명에 관한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하고자 하는 기술적 과제의 개요를 우선 제시한다.Prior to the description of the specific contents of the present invention, for the sake of understanding, an outline of the technical problem to be solved by the present invention is first presented.
도 1에는, 운전 중 직면할 수 있는 실제 주행 환경의 일례가 도시되어 있다.1 shows an example of an actual driving environment that may be encountered while driving.
도 1에 도시된 바와 같이, 좁은 골목길 또는 장애물의 출현으로 주행이 곤란한 경우 초보 운전자는 자기의 차량이 통과할 수 있을지 판단하기 어렵다. 또한, 숙력된 운전자라도 판단 착오나 부주의한 운전으로 접촉 사고를 일으키는 경우가 흔히 발생한다.As shown in FIG. 1, when driving is difficult due to the appearance of a narrow alleyway or an obstacle, a novice driver may have difficulty determining whether his vehicle may pass. In addition, even experienced drivers often cause contact accidents due to misunderstanding or careless driving.
따라서, 본 발명은 카메라에 의한 영상 인식을 통해 실제 주행 환경에 대한 3차원 공간 정보를 생성하고, 상기 3차원 공간 정보를 이용하여 운전자에게 바람직한 주행 경로를 제시한다. 이때, 상기 3차원 공간 정보 생성 과정에서 차량의 고유한 특징점에 관해 미리 얻어진 공간 정보를 이용함으로써 3차원 복원의 정확성을 향상시킨다. 즉, 본 발명은 차량의 이동 중 한 대의 전방 카메라를 통해 획득되는 영상 간에 스테레오 매칭 기법(Motion Stereo-based Method)을 적용함에 있어서, 차량의 특징점, 예컨대 차량의 보닛(bonnet)에 고정된 특징점들의 상대적 위치를 미리 측정하고 이를 이용하여 향상된 성능의 알고리즘을 제시한다. Accordingly, the present invention generates three-dimensional space information on the actual driving environment through the image recognition by the camera, and proposes a preferable driving route to the driver using the three-dimensional space information. In this case, the accuracy of the 3D reconstruction is improved by using the spatial information obtained in advance regarding the unique feature points of the vehicle in the process of generating the 3D spatial information. That is, according to the present invention, in applying a stereo matching method (Motion Stereo-based Method) between the images obtained through a single front camera during the movement of the vehicle, the feature points of the vehicle, for example, feature points fixed to the bonnet of the vehicle We measure the relative position in advance and use it to present an algorithm with improved performance.
이하, 본 발명의 기술적 과제의 해결 방안을 명확화하기 위해 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명한다. 다만, 본 발명을 설명함에 있어서 관련된 공지기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불명료하게 할 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자 등의 의도 또는 관례 등에 따라 달라질 수 있을 것이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to clarify the solutions of the technical problems of the present invention. However, in describing the present invention, when it is determined that the detailed description of the related known technology or configuration may make the gist of the present invention unclear, the detailed description thereof will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to intention or custom of a user, an operator, or the like. Therefore, the definition should be made based on the contents throughout the specification.
도 2에는 본 발명에 따른 차량의 특징점을 이용한 운전 보조 장치의 일례가 블록도로 도시되어 있다.2 is a block diagram of an example of a driving assistance device using a feature point of a vehicle according to the present invention.
또한, 도 3에는 본 발명에 따른 차량의 특징점을 이용한 운전 보조 방법의 일례가 흐름도로 도시되어 있다.3 illustrates an example of a driving assistance method using a feature point of a vehicle according to the present invention.
도 2 및 도 3을 참조하여 본 발명을 설명하면, 본 발명에 따른 차량의 특징점을 이용한 운전 보조 장치(200)는 공간 정보 생성부(210) 및 경로 정보 생성부(220)를 포함한다. Referring to FIG. 2 and FIG. 3, the driving
우선, 차량에 장착된 카메라(230)는 상기 카메라(230)의 시야 내에 고정되는 상기 차량의 특징점(232)을 포함하여 차량 전방의 이미지를 실시간으로 촬영한다(S300). 일 실시예에 있어서, 한 대의 카메라(230)를 상기 차량의 전방 상황과 상기 차량의 특징점(232), 예컨대 상기 차량의 보닛에 형성되어 있는 특징점이 상기 카메라(230)의 시야에 동시에 들어오도록 고정 장착하고, 상기 카메라(230) 통 해 차량의 전방 상황을 촬영한다. 아래에서 다시 설명하겠지만, 본 발명은 상기 차량의 특징점(232)에 관해 미리 얻어진 공간 정보를 캘리브레이션(calibration) 정보로 이용하여 3차원 복원의 정확성을 높이며, 그와 동시에 복수의 카메라가 아닌 단일한 카메라만을 사용하여 제품화 가능성을 높일 수 있다.First, the
그 다음, 상기 공간 정보 생성부(210)는 상기 차량의 특징점(232)을 이용하여 상기 카메라(230)를 통해 입력되는 이미지로부터 3차원 공간 정보를 생성한다(S310 내지 S330).Next, the
도 4에는 상기 공간 정보 생성부(210) 구성의 일례가 블록도로 도시되어 있다. 도 4를 참조하면, 상기 공간 정보 생성부(210)는 이미지 그래버(image grabber; 400) 및 3차원 복원부(410)를 포함한다.4 illustrates an example of a configuration of the
도 5에는 상기 3차원 복원부(410) 구성의 일례가 블록도로 도시되어 있다. 도 5를 참조하면, 상기 3차원 복원부(410)는 특징점 추출 모듈(500), 키 프레임 선택 모듈(510) 및 3차원 정보 생성 모듈(520)을 포함한다.5 shows an example of the configuration of the three-dimensional restoring
상기 이미지 그래버(400)는 차량의 이동에 따라 상기 카메라(230)를 통해 실시간으로 입력되는 이미지로부터 이미지 시퀀스(image sequence)를 생성하고, 상기 3차원 복원부(410)의 상기 특징점 추출 모듈(500)은 상기 이미지 시퀀스로부터 이미지 각각의 특징점을 추출한다(S310).The
상기 이미지 그래버(400)는, 상기 카메라(230)로부터 입력된 아날로그 영상신호를 디지털 영상신호로 변환시키는 A/D컨버터부를 포함할 수 있다.The
상기 3차원 복원부(410)의 상기 특징점 추출 모듈(500)은, SIFT(Lowe. D. G. “Object recognition from local scale-invariant features”, International Conference on Computer Vision, Corfu, Greece, September 1999. 참조)를 이용하여 상기 이미지 시퀀스에서 특징점을 추출할 수 있다. SIFT는 이미지 회전, 스케일링, 이동, 부분 조명 변화 및 투영 변환(projective transform)에 불변인 특성을 지니고 있다. 특히, SIFT는 모든 이미지 프레임에서 특징점 추출의 수가 많고 일정하여, 3차원 공간 복원시 우수한 성능을 나타낸다. 물론, 변형된 SIFT, 예컨대 PCA-SIFT(Principal Component Analysis-SIFT; Y. Ke and R. Sukthankar, "PCA-SIFT: A more distinctive representation for local image descriptors", In Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition(CVPR), Washington, DC, pp511-517, 2004. 참조) 또는 ROBPCA-SIFT(robust PCA-SIFT; J. oh, H. Kim et al., "ROBPCA-SIFT: a feature point extraction method for the consistent with epipolar geometry in endoscopic images", Image and Vision Computing New Zealand, 221-226, 2006. 참조) 등이나 다른 특징점 추출 알고리즘이 사용될 수 있다.The feature
그 다음, 상기 3차원 복원부(410)의 상기 키 프레임 선택 모듈(510)이 특징점 추출 및 추적을 통해 상기 이미지 시퀀스에서 3차원 복원에 사용되는 키 프레임(key frame)을 선택한다(S320).Next, the key
유의할 점은, 3차원 정보 복원의 간격을 정하는 상기 키 프레임 선택 모듈(510)의 키 프레임 선택(key frame selection) 과정에서 적절한 간격의 키 프레임을 선택하여야 한다는 것이다. 왜냐하면, 전·후 두 키 프레임 간에 움직 임(motion) 변화가 지나치게 적은 키 프레임들을 선택할 경우, 모션 파라미터(motion parameter) 추정시 베이스라인(baseline)이 짧아지므로 추정 오차 값이 커지게 되고, 반대로 두 키 프레임 간에 움직임 변화가 지나치게 클 경우, 상기 두 키 프레임 간의 동일점(correspondence point)들이 감소하여 3차원 복원 성능을 저하시키는 문제가 발생하기 때문이다.Note that key frames with appropriate intervals should be selected in the key frame selection process of the key
일 실시예에 따르면, 적절한 키 프레임 선택을 위해 상기 키 프레임 선택 모듈(510)은 옵티컬 플로우(optical flow) 변화량의 평균값을 이용하여 키 프레임들을 선택할 수 있다. 즉, 일정 시간 동안 들어온 이미지의 첫 프레임과 마지막 프레임의 옵티컬 플로우의 평균값을 계산하여 상기 평균값이 일정한 임계치 이상 차이가 날 때 키 프레임으로 선택한다. 상기 임계치는 실험적으로 설정할 수 있는데, 예컨대 보통의 승용차에 전방향 높이에 설치할 경우 50 pixel로서 카메라의 움직임은 약 100-150cm이다.According to an embodiment, the key
도 6에는 이미지 간 옵티컬 플로우의 개념이 도시되어 있다.6 illustrates the concept of optical flow between images.
도 6에 도시된 바와 같이, 옵티컬 플로우란 실제 3차원 공간 좌표를 P(X,Y,Z), 이미지 프레임에서의 2차원 평면 좌표를 p(x,y)로 정의할 때, P(X,Y,Z)에서의 이미지 변화량을 p(x,y)에서의 변화량 v로 나타낸 것이다.As shown in FIG. 6, optical flow is defined as P (X, Y, Z) as the actual three-dimensional space coordinates and p (x, y) as the two-dimensional plane coordinates in the image frame. The change amount of the image in Y, Z) is represented by the change amount v in p (x, y).
그 다음, 상기 3차원 복원부(410)의 상기 3차원 정보 생성 모듈(520)은 상기 선택된 키 프레임의 특징점을 이용하여 상기 3차원 공간 정보를 생성한다(S330).Next, the 3D
이 경우, 상기 3차원 정보 생성 모듈(520)은 3차원으로 복원된 영상 정보들에 대해서 정량적 크기로 보정하는 메트릭 리커버리(metric recovery) 과정이 필요 하며, 상기 메트릭 리커버리 과정에서 상기 차량의 특징점에 관해 미리 얻어진 공간 정보를 기준값으로 사용하여 상기 3차원 공간 정보를 생성한다.In this case, the 3D
더욱 구체적으로 설명하면, 상기 3차원 정보 생성 모듈(520)은 상기 선택된 키 프레임 이미지 간의 동일점(correspondence point)을 이용하여 기본 행렬(fundamental matrix; F)을 구한다. 상기 선택된 키 프레임 중 n번째 키 프레임과 (n+1)번째 키 프레임에 대해 특징점 추적 알고리즘(feature tracking algorithm)을 이용하여 상기 두 키 프레임 간의 동일점(correspondence point)들을 i개 찾는다.In more detail, the 3D
도 7에는 특징점 추적(feature tracking)을 통한 이미지 간 특징점 움직임 정보가 도시되어 있다.7 shows feature point motion information between images through feature tracking.
도 8에는 두 개의 키 프레임 이미지 간의 관계가 도시되어 있다.8 shows the relationship between two key frame images.
도 8에 도시된 바와 같이, 상기 두 키 프레임 이미지 간의 동일점 쌍 중에서 n번째 키 프레임 이미지의 점을 xi, (n+1)번째 키 프레임 이미지의 점을 xi'라 할 때, 상기 두 키 프레임 간 관계식을 나타내는 기본 행렬 F를 구한다. 이 경우, RANSAC(Torr. P. and Murray, D. “The development and comparison of robust methods for estimating the fundamental matrix.” International Journal of Computer Vision, 24(3), 1997, pp.271-300. 참조.)을 이용할 수 있다. 도 8에서 상기 두 이미지의 에피폴(epipole)을 e 및 e'라 하고, 그리고 상기 특징점 x에 대응하는 상기 특징점 x'와 상기 에피폴 e'를 지나는 직선인 에피폴라 라인(epipolar line)을 l'라 할 때, 상기 에피폴라 라인 l'는 수학식 1과 같이 나타낼 수 있다.As illustrated in FIG. 8, when the point of the n th key frame image among the pair of identical points between the two key frame images is x i and the point of the (n + 1) th key frame image is x i ', the two Find the basic matrix F that represents the relationship between key frames. In this case, see RANSAC (Torr. P. and Murray, D. “The development and comparison of robust methods for estimating the fundamental matrix.” International Journal of Computer Vision, 24 (3), 1997, pp. 271-300. ) Can be used. In FIG. 8, epipoles of the two images are referred to as e and e ', and an epipolar line that is a straight line passing through the feature point x' and the epipole e 'corresponding to the feature point x is represented by l. When referred to, the epipolar line l may be represented by Equation 1.
상기 두 키 프레임 이미지의 간의 관계식을 Hπ라 할 때, 상기 특징점 x 및 x'는 수학식 2와 같이 나타낼 수 있다.When the relation between the two key frame images is H π , the feature points x and x 'may be represented by Equation 2 below.
상기 수학식 1 및 수학식 2에서 상기 기본 행렬 F는 수학식 3과 같이 나타낼 수 있다.In Equations 1 and 2, the basic matrix F may be expressed as Equation 3.
상기 수학식 3과 같이 구할 수 있는 상기 기본 행렬 F는 상기 카메라(230)의 내부 파라미터(intrinsic parameter; K)와 상기 두 키 프레임 이미지 간의 회전값(rotation; R) 및 이동값(translaton; t)으로 구성된다. 즉, 상기 기본 행렬 F는 수학식 4와 같이 나타낼 수 있다.The basic matrix F, which can be obtained as shown in Equation 3, is a rotation value (R) and a translaton (t) between an internal parameter K of the
카메라의 내부 파라미터는 초기값이 설정되면 변화가 없기 때문에 다양한 캘 리브레이션(calibration) 방법으로 획득하여 상기 두 키 프레임 이미지 간의 상기 회전값 R 및 이동값 t를 얻을 수 있다.Since the internal parameters of the camera do not change when the initial values are set, the rotational values R and the moving values t between the two key frame images may be obtained by various calibration methods.
또한, RANSAC을 이용하여 상기 기본 행렬 F을 구한 후, 수학식 5와 같이 M-estimator를 이용하여 웨이트(weight)값을 구하여 이상값(outlier)들을 제거할 수 있다.In addition, after obtaining the basic matrix F using RANSAC, outliers may be removed by using a M-estimator to obtain a weight value as shown in Equation 5.
그리고나서, 상기 3차원 정보 생성 모듈(520)은 상기 기본 행렬을 이용하여 그에 대응하는 프로젝션 행렬(projection matrix; P)을 구하고, 삼각 측량(triangulation)을 통해 3차원 복원을 수행한다. 도 8에서 2차원 이미지 좌표인 상기 x 및 x'를 백 프로젝션(back projection) 시키면, 상기 두 키 프레임에 관한 두 장의 이미지 정보를 이용하여 3차원 공간 좌표를 얻을 수 있다.(Hartley, R.,“Multiple View Geometry in computer vision”, CAMBRIDGE.chap.11장. 참조.)Then, the 3D
그러나, 상기와 같이 복원된 3차원 정보는 복원 모호성(reconstruction ambiguity)으로 인해 정량화된 정보에 해당하지 않는다. 따라서, 상기 메트릭 리커버리(metric recovery) 과정이 필요한 것이다. 즉, 상기 3차원 정보 생성 모듈(520)은 상기 기본 행렬을 구한 후, 상기 선택된 키 프레임 간의 모션 파라미터(motion parameter)를 추정하고 상기 추정된 모션 파라미터를 토대로 상기 카메라(230)의 외부 파라미터(예컨대, 카메라 위치 변환 정보)를 획득하여, 상기 선택 된 키 프레임 이미지 간의 삼각 측량(Triangulation) 과정과 메트릭 리커버리(Metric recovery) 과정을 통해 정량적인 단위(예컨대, cm 단위)의 상기 3차원 공간 정보를 생성한다.However, the 3D information reconstructed as described above does not correspond to information quantified due to reconstruction ambiguity. Therefore, the metric recovery process is necessary. That is, the 3D
단일 카메라를 이용하는 방식에 있어서 상기 메트릭 리커버리를 위한 기준 정보는, 카메라의 설치 각도와 차량과 접하는 노면이 완벽히 평평하다고 가정하면 틸팅 앵글(tilting angle; θ)을 통해 를 얻을 수 있다. 상기 틸팅 앵글은 수학식 6과 같이 구할 수 있다.In the method using a single camera, the reference information for the metric recovery can be obtained through a tilting angle θ assuming that the installation angle of the camera and the road surface in contact with the vehicle are completely flat. The tilting angle may be obtained as shown in Equation 6.
상기 수학식 6에서, ez 및 z0는 각각 z축에 대한 에피폴(epipole) 및 주점(principal point)을 나타낸다.In Equation 6, e z and z 0 represent an epipole and a principal point with respect to the z axis, respectively.
그러나, 실제 주행 상황에 있어서 카메라는 차량에 고정되어 있는 반면, 노면은 항상 평평한 것은 아니기 때문에 노면의 기울어짐에 따라 상기 틸팅 앵글값 등에 큰 오차가 발생하는 문제점이 있다.However, in a real driving situation, the camera is fixed to the vehicle, but the road surface is not always flat, and thus there is a problem that a large error occurs in the tilting angle value or the like as the road surface is inclined.
이러한 문제점을 해결하기 위해 본 발명에서는 상기 카메라(230)의 시야 내에 고정되어 있는 차량의 특징점(232), 예컨대 차량의 보닛 위에 고정된 특징점(232)에 관해 미리 얻어진 공간 정보를 이용하여 정량적 단위의 상기 3차원 공간 정보를 생성한다. 즉, 상기 차량의 특징점에 관해 미리 정량적으로 측정한 공간 정보를 통해 이미지의 배니싱 포인트(vanishing point) 및 배니싱 라인(vanishing line)의 실제 거리값을 결정함으로써 상기 메트릭 리커버리 과정을 위한 기준값을 제공하게 된다.In order to solve this problem, the present invention provides a quantitative unit using spatial information obtained in advance on a
상술한 바와 같이 상기 차량의 특징점에 관해 미리 얻어진 공간 정보를 메트릭 리커버리 과정에서 기준값으로 사용함으로써 모션 스테레오 매칭(motion stereo matching) 기법의 3차원 복원 성능을 높여주는 효과를 얻을 수 있다.As described above, the spatial information obtained in advance about the feature point of the vehicle may be used as a reference value in the metric recovery process, thereby improving the 3D reconstruction performance of the motion stereo matching technique.
실제로, 일반 도로 환경에서 차량의 보닛의 고정된 특징점과 무관하게 3차원 복원을 한 경우, 평균 14.9cm, 최고 40cm의 오차가 발생하였으나, 차량의 보닛에 고정된 특징점을 이용하여 3차원 복원을 한 경우, 평균 7cm, 최고 20cm의 오차가 발생하여 현저한 성능 개선 효과를 나타내었다.In fact, when 3D restoration was performed regardless of the fixed feature of the bonnet of a vehicle in a general road environment, an error of 14.9 cm and a maximum of 40 cm occurred, but the 3D restoration was performed using the feature fixed to the bonnet of the vehicle. In this case, an error of 7 cm on average and 20 cm at maximum showed a significant performance improvement.
도 9에는 고정된 헤딩 앵글(heading angle)을 지니는 카메라가 장착된 차량이 도시되어 있다.9 shows a vehicle equipped with a camera having a fixed heading angle.
도 10에는 차량의 특징점에 관한 공간 정보를 얻는 과정이 도시되어 있다.10 shows a process of obtaining spatial information about a feature point of the vehicle.
도 9 및 도 10에 도시된 바와 같이, 차량 룸밀러 뒷면에 단일 카메라를 장착하고 캘리브레이션을 통해 외부 파라미터와 내부 파라미터를 얻는다. 특히, 상기 단일 카메라의 시야에 들어오도록 차량 보닛에 있는 고정되어 있는 특징점들과 관련하여 상기 단일 카메라에 대한 상대적 회전값 및 이동값을 구하여 기준 정보로 사용한다.As shown in Figs. 9 and 10, a single camera is mounted on the rear of the vehicle room mirror and the external and internal parameters are obtained through calibration. In particular, relative rotation values and movement values for the single camera are obtained and used as reference information in relation to fixed feature points in the vehicle bonnet so as to enter the field of view of the single camera.
참고로, 차량용 카메라의 경우 일반적으로 어안(fisheye) 렌즈를 사용하기 때문에 차량용 카메라에 획득되는 영상 정보가 왜곡되어 들어온다. 따라서, 이러한 왜곡된 정보를 보정해주는 과정이 필요하다.For reference, since a vehicle camera generally uses a fisheye lens, image information acquired by the vehicle camera is distorted. Therefore, a process for correcting such distorted information is needed.
도 11에는 렌즈 왜곡 보정 과정이 도시되어 있다.11 shows a lens distortion correction process.
렌즈 왜곡을 보정하는 기본적인 방법으로는 정확하게 그려진 정사각형 격자 무늬에 대한 영상 정보를 차량용 카메라를 통해 획득하여 원 영상과의 왜곡 관계식을 구하는 방법 등이 있다.Basic methods for correcting lens distortion include obtaining a distortion relationship with an original image by acquiring image information of a square grid pattern accurately drawn through a vehicle camera.
그 다음, 상기 경로 정보 생성부(220)는 상기 3차원 공간 정보를 이용하여 상기 차량의 진행 가능 여부 및 상기 차량이 통과 가능한 후보 경로(candidate course)에 관한 정보를 생성한다(S340, S350). Next, the
이 경우, 상기 경로 정보 생성부(220)는 상기 후보 경로 정보를 Z맵(Z-map) 정보로 생성하여 현재 주행 상황에 대한 경로 계획(path-planning)을 수립할 수 있다.In this case, the path
도 12a 내지 도 12c에는 3차원 공간 정보를 이용하여 Z맵을 생성하는 과정의 일례가 도시되어 있다.12A to 12C illustrate an example of a process of generating a Z map using 3D spatial information.
도 12a에 도시된 3차원 공간을 도 12b와 같이 0m에서 차량 높이 약 2m까지의 z축 정보에 관한 3차원 공간 정보들의 정사영상을 생성하고, 그리고 3차원 공간 정보들에 대해 프로젝티브 와핑(projectively warping) 과정을 통해 도 12c와 같이 위에서 보는 시점의 이미지로 변환할 수 있다.12A generates an orthogonal image of the 3D spatial information about the z-axis information from 0m to the vehicle height of about 2m as shown in FIG. 12B, and projectively warps the 3D spatial information. Through the warping process, as shown in FIG.
일 실시예에 있어서, 상기 공간 정보 생성부(210) 및 경로 정보 생성부(220)는 상기 차량을 제어하는 마이크로프로세서 상에 시스템 온 칩(system on chip) 형태로 구현될 수 있다. 본 발명을 마이크로프로세서로 구현하면 각종 시스템의 크기를 줄일 수 있고, 조립 과정을 단순화시킬 수 있으며, 나아가 제조 비용을 절감할 수 있는 등의 이점이 있다.In one embodiment, the spatial
일 실시예에 있어서, 본 발명에 따른 차량의 특징점을 이용한 운전 보조 장치는 초음파 센서를 통해 거리를 감지하는 초음파 거리 감지부(260)를 포함하여, 상기 초음파 거리 감지부(260)가 거리 정보를 생성하면, 상기 공간 정보 생성부(210)의 3차원 공간 정보 및 상기 초음파 거리 감지부(260)의 거리 정보를 이용하여 상기 후보 경로 정보를 생성할 수 있다. 이와 같이 초음파 거리 정보를 이용하는 이점은, 영상 인식만을 이용하여 3차원 정보를 획득하는 경우 환경적 요소, 예컨대 급격한 기후 변화나 광도 변화 등에 의해 발생할 수 있는 오차를 보정할 수 있다는 점이다. 따라서, 차량의 좌우 대각선 방향, 예컨대 차량의 진행 방향에 대해 좌우 30°위치에 초음파 센서를 설치하여 상기 차량의 진행 방향에 장애물이 존재하는 경우 상기 차량과 상기 장애물과의 거리를 측정한다. 일 실시예에 있어서, 상기 초음파 거리 감지부(260)의 상기 초음파 센서를 통해 측정한 거리 정보와 상기 공간 정보 생성부(210)가 생성한 3차원 공간 정보 간의 오차가 클 경우, 상기 초음파 거리 감지부(260)의 거리 정보에 따라 상기 3차원 공간 정보를 보정하여 경로 계획(path planning)을 수립할 수 있다.In one embodiment, the driving assistance apparatus using a feature point of the vehicle according to the present invention includes an ultrasonic
그 다음, 본 발명에 따른 차량의 특징점을 이용한 운전 보조 장치는 다양한 HMI(Human Machine Interface; 240)를 포함하여 상기 경로 정보 생성부(220)가 생성한 상기 후보 경로 정보를 운전자에게 제공할 수 있다(S360).Next, the driving assistance apparatus using the feature point of the vehicle according to the present invention may provide the driver with the candidate route information generated by the
도 13에는 후보 경로를 표시하는 디스플레이 화면의 일례가 도시되어 있다.13 shows an example of a display screen displaying a candidate path.
도 13에 도시된 바와 같이, 본 발명에 따른 차량의 특징점을 이용한 운전 보 조 장치는 디스플레이부를 포함하여 상기 경로 정보 생성부(220)가 생성한 후보 경로 정보를 시각적(Z-Map 또는 Bird's Eye View)으로 표시할 수 있다. 또한, 시각, 청각, 촉각 등을 자극하는 여러 경고 장치를 더 포함하여 상기 차량의 주행이 불가능한 경우 운전자에게 경고 신호를 보낼 수 있다.As shown in FIG. 13, the driving assistance apparatus using the feature points of the vehicle according to the present invention includes a display unit to visually display candidate route information generated by the route information generator 220 (Z-Map or Bird's Eye View). ) Can be displayed. In addition, by including a plurality of warning devices for stimulating the visual, auditory, tactile and the like can send a warning signal to the driver when the vehicle is impossible to drive.
일 실시예에 있어서, 상기 경로 정보 생성부(220)는 상기 후보 경로 정보를 상기 차량의 자동 조향 시스템에 제공하여 상기 차량을 제어할 수 있다. 이 경우, 상기 운전 보조 장치(200)는 운전자로 하여금 자동 주행 모드 또는 수동 주행 모드를 선택할 수 있도록 하는 사용자 인터페이스(미도시)를 더 포함하고, 그리고 상기 사용자 인터페이스를 통해 운전자가 자동 주행 모드를 선택한 경우 상기 경로 정보 생성부(220)가 상기 후보 경로 정보를 상기 자동 조향 시스템을 제어하는 MCU(MicroController Unit)에 제공할 수 있다. 그러면 상기 MCU는 각종 센서들(steering angle sensor, wheel speed sensor 등)을 이용하여 차량의 핸들각, 차속, 기어상태 등을 감지하고 핸들, 액셀레이터, 브레이크, 기어 모터 등을 제어하여 운전자의 핸들 조작 없이 상기 후보 경로 정보에 따라 상기 차량을 진행시킬 수 있다. 예컨대, 상기 MCU는 전자식 주행 안정 시스템인 ESC(Electronic Stability Control; 250)에 의해 상기 차량의 주행 방향을 조절하여 상기 후보 경로 정보에 따라 자동으로 상기 차량을 진행시킬 수 있다. 또한, 상기 차량의 진행 속도나 제동은 운전자가 직접 제어하지만, 상기 후보 경로 정보에 따라 차량의 충돌이 예상되는 경우 유압 펌프의 배력을 전자적으로 제어 하는 시스템인 EPS(Electric Power Steering; 252)에 의해 차량 진행을 제어하도록 할 수 있다. 이와 같이, 본 발명에 따른 운전 보조 장치는 운전자에게 Z맵을 통해 후보 경로를 제시하고 운전자의 선택에 따라 수동 또는 자동으로 차량을 제어함으로써 좁은 경로를 안정적으로 통과할 수 있도록 하는 Advanced Driver Assist System 기능을 제공한다.In one embodiment, the route
한편, 상기 차량의 특징점을 이용한 운전 보조 장치는 상기 차량의 이동 중에 상기 후보 경로 정보를 계속 갱신한다(S370). 특히, 좁은 골목길과 같이 정밀한 운전이 필요한 상황이 종료할 때까지 지속적으로 전방 주행 환경에 대한 3차원 공간 정보를 생성하고 상기 생성된 3차원 공간 정보를 이용하여 후보 경로 정보를 Z맵으로 나타내어 운전자에게 차량의 현재 진행 상태를 실시간으로 제공한다.In operation S370, the driving assistance apparatus using the feature points of the vehicle continuously updates the candidate route information while the vehicle moves. In particular, until the end of a situation that requires precise driving, such as narrow alleys, the 3D spatial information of the driving environment is continuously generated, and the candidate path information is represented as a Z map using the generated 3D spatial information to the driver. Provides the current progress of the vehicle in real time.
본 발명에 따른 차량의 특징점을 이용한 운전 보조 방법은 또한 컴퓨터로 판독할 수 있는 기록매체에 컴퓨터가 읽어들일 수 있는 프로그램 코드로서 구현하는 것이 가능하다. 본 발명이 소프트웨어를 통해 실행될 때, 본 발명의 구성 수단들은 필요한 작업을 실행하는 코드 세그먼트들이다. 프로그램 또는 코드 세그먼트들은 프로세서 판독 가능 매체에 저장되거나 전송 매체 또는 통신망에서 반송파와 결합된 컴퓨터 데이터 신호에 의하여 전송될 수 있다.The driving assistance method using the feature points of the vehicle according to the present invention can also be embodied as computer readable program codes on a computer readable recording medium. When the present invention is executed through software, the constituent means of the present invention are code segments for performing necessary tasks. The program or code segments may be stored on a processor readable medium or transmitted by a computer data signal coupled with a carrier on a transmission medium or network.
컴퓨터가 판독할 수 있는 기록매체에는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 판독할 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 판독할 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽어들일 수 있는 코드가 저장되고 실행될 수 있다.The computer-readable recording medium includes all kinds of recording devices for storing data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
상술한 바와 같이, 본 발명에 따른 차량의 특징점을 이용한 운전 보조 장치 및 방법과 이에 사용되는 마이크로프로세서 및 기록매체는, 좁은 골목길 또는 장애물의 출현으로 주행이 곤란한 도로 등 실제 주행 환경에서 차량의 주행 경로에 관한 정보를 운전자에게 제공하고, 또한 차량의 자동 조향 시스템을 이용하여 차량을 제어하도록 함으로써 운전자에게 안전성 및 편의성을 제공한다. 또한, 단일한 카메라만을 이용하여 경제성 및 효율성을 개선함으로써 실제 제품화 가능성을 향상시킨다는 이점을 제공한다. 나아가, 차량의 특징점을 이용하여 3차원 공간 정보를 생성함으로써 3차원 복원의 정확성을 개선하는 이점을 제공한다.As described above, the driving assistance apparatus and method using the feature points of the vehicle according to the present invention and the microprocessor and the recording medium used therein, the driving path of the vehicle in the actual driving environment, such as a road that is difficult to drive due to the appearance of narrow alleys or obstacles It provides the driver with information about the vehicle and also provides the driver with safety and convenience by controlling the vehicle using the vehicle's automatic steering system. It also offers the advantage of improving the feasibility of actual production by improving economics and efficiency using only a single camera. Furthermore, by generating three-dimensional spatial information using the feature points of the vehicle, it provides an advantage of improving the accuracy of the three-dimensional reconstruction.
지금까지 본 발명에 대해 실시예들을 참고하여 설명하였다. 그러나 당업자라면 본 발명의 본질적인 기술적 사상으로부터 벗어나지 않는 범위에서 본 발명이 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 즉, 본 발명의 진정한 기술적 범위는 첨부된 특허청구범위에 나타나 있으며, 그와 균등범위 내에 있는 모든 차이점은 본 발명에 포함되는 것으로 해석되어야 할 것이다.So far, the present invention has been described with reference to the embodiments. However, one of ordinary skill in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential technical spirit of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. That is, the true technical scope of the present invention is shown in the appended claims, and all differences within the equivalent scope will be construed as being included in the present invention.
도 1은 운전 중 직면할 수 있는 실제 주행 환경의 일례를 나타낸 도면.1 illustrates an example of an actual driving environment that may be encountered while driving.
도 2는 본 발명에 따른 차량의 특징점을 이용한 운전 보조 장치의 일례를 나타낸 블록도.2 is a block diagram showing an example of a driving assistance device using a feature point of a vehicle according to the present invention;
도 3은 본 발명에 따른 차량의 특징점을 이용한 운전 보조 방법의 일례를 나타낸 흐름도.3 is a flowchart illustrating an example of a driving assistance method using a feature point of a vehicle according to the present invention;
도 4는 본 발명의 공간 정보 생성부 구성의 일례를 나타낸 블록도.4 is a block diagram showing an example of a configuration of a spatial information generating unit of the present invention.
도 5는 본 발명의 3차원 복원부 구성의 일례를 나타낸 블록도.5 is a block diagram showing an example of the configuration of a three-dimensional restoration unit of the present invention.
도 6은 이미지 간 옵티컬 플로우의 개념을 나타낸 도면.6 illustrates the concept of optical flow between images.
도 7은 특징점 추적을 통한 이미지 간 특징점 움직임 정보를 나타낸 도면.7 is a diagram illustrating feature point motion information between images through feature point tracking;
도 8은 두 개의 키 프레임 이미지 간의 관계를 나타낸 도면.8 illustrates a relationship between two key frame images.
도 9는 고정된 헤딩 앵글을 지니는 카메라가 장착된 차량을 나타낸 도면.9 shows a vehicle equipped with a camera having a fixed heading angle.
도 10은 차량의 특징점에 관한 공간 정보를 얻는 과정을 나타낸 도면.10 is a diagram illustrating a process of obtaining spatial information about a feature point of a vehicle.
도 11은 렌즈 왜곡 보정 과정을 나타낸 도면.11 illustrates a lens distortion correction process.
도 12a 내지 도 12c는 3차원 공간 정보를 이용하여 Z맵을 생성하는 과정의 일례를 나타낸 도면.12A to 12C are diagrams illustrating an example of a process of generating a Z map using three-dimensional spatial information.
도 13은 후보 경로를 표시하는 디스플레이 화면의 일례를 나타낸 도면.13 shows an example of a display screen displaying a candidate path.
Claims (26)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080106667A KR101071061B1 (en) | 2008-10-29 | 2008-10-29 | Apparatus and method for driving assistance using feature of vehicle, and microprocessor and recording medium used thereto |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080106667A KR101071061B1 (en) | 2008-10-29 | 2008-10-29 | Apparatus and method for driving assistance using feature of vehicle, and microprocessor and recording medium used thereto |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20100047674A true KR20100047674A (en) | 2010-05-10 |
KR101071061B1 KR101071061B1 (en) | 2011-10-10 |
Family
ID=42274608
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020080106667A KR101071061B1 (en) | 2008-10-29 | 2008-10-29 | Apparatus and method for driving assistance using feature of vehicle, and microprocessor and recording medium used thereto |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101071061B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013101047A1 (en) * | 2011-12-29 | 2013-07-04 | Intel Corporation | Systems, methods, and apparatus for invehicle fiducial mark tracking and interpretation |
CN111949875A (en) * | 2020-08-13 | 2020-11-17 | 北京汽车股份有限公司 | Vehicle recommendation method and device, electronic equipment and storage medium |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020145432A1 (en) * | 2019-01-09 | 2020-07-16 | 엘지전자 주식회사 | Method for controlling vehicle through multi soc system |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004198211A (en) * | 2002-12-18 | 2004-07-15 | Aisin Seiki Co Ltd | Apparatus for monitoring vicinity of mobile object |
-
2008
- 2008-10-29 KR KR1020080106667A patent/KR101071061B1/en not_active IP Right Cessation
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013101047A1 (en) * | 2011-12-29 | 2013-07-04 | Intel Corporation | Systems, methods, and apparatus for invehicle fiducial mark tracking and interpretation |
US9600728B2 (en) | 2011-12-29 | 2017-03-21 | Intel Corporation | System, methods, and apparatus for in-vehicle fiducial mark tracking and interpretation |
US10417510B2 (en) | 2011-12-29 | 2019-09-17 | Intel Corporation | System, methods, and apparatus for in-vehicle fiducial mark tracking and interpretation |
CN111949875A (en) * | 2020-08-13 | 2020-11-17 | 北京汽车股份有限公司 | Vehicle recommendation method and device, electronic equipment and storage medium |
CN111949875B (en) * | 2020-08-13 | 2024-03-08 | 北京汽车股份有限公司 | Vehicle recommendation method and device, electronic equipment and storage medium |
Also Published As
Publication number | Publication date |
---|---|
KR101071061B1 (en) | 2011-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102275310B1 (en) | Mtehod of detecting obstacle around vehicle | |
KR101188588B1 (en) | Monocular Motion Stereo-Based Free Parking Space Detection Apparatus and Method | |
JP5926228B2 (en) | Depth detection method and system for autonomous vehicles | |
JP3719095B2 (en) | Behavior detection apparatus and gradient detection method | |
EP2757527B1 (en) | System and method for distorted camera image correction | |
KR101725060B1 (en) | Apparatus for recognizing location mobile robot using key point based on gradient and method thereof | |
KR101784183B1 (en) | APPARATUS FOR RECOGNIZING LOCATION MOBILE ROBOT USING KEY POINT BASED ON ADoG AND METHOD THEREOF | |
KR101913168B1 (en) | Egomotion estimation system and method | |
KR101961001B1 (en) | Single-camera distance estimation | |
EP3552926A1 (en) | Apparatus for determining an angle of a trailer attached to a vehicle | |
JP2004297808A (en) | Moving object periphery monitoring device | |
KR102507248B1 (en) | Egomotion estimation system and method thereof | |
Sappa et al. | An efficient approach to onboard stereo vision system pose estimation | |
JP4154980B2 (en) | Moving object periphery monitoring device | |
JP2020060550A (en) | Abnormality detector, method for detecting abnormality, posture estimating device, and mobile control system | |
Kemsaram et al. | A stereo perception framework for autonomous vehicles | |
KR101071061B1 (en) | Apparatus and method for driving assistance using feature of vehicle, and microprocessor and recording medium used thereto | |
JP6826010B2 (en) | Camera motion estimation device, camera motion estimation method and program | |
KR20130132128A (en) | Mobile robot and method for controlling the same | |
Schamm et al. | Vision and ToF-based driving assistance for a personal transporter | |
Cheda et al. | Camera egomotion estimation in the ADAS context | |
JP2010148058A (en) | Device and method for driving support | |
WO2023084660A1 (en) | Information processing device, information processing method, and information processing program | |
CN113167579A (en) | Measurement system, measurement method, and measurement program | |
JPH09259282A (en) | Device and method for detecting moving obstacle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20150831 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20160926 Year of fee payment: 6 |
|
LAPS | Lapse due to unpaid annual fee |