KR101071061B1 - 차량의 특징점을 이용한 운전 보조 장치 및 방법과 이에 사용되는 마이크로프로세서 및 기록매체 - Google Patents

차량의 특징점을 이용한 운전 보조 장치 및 방법과 이에 사용되는 마이크로프로세서 및 기록매체 Download PDF

Info

Publication number
KR101071061B1
KR101071061B1 KR1020080106667A KR20080106667A KR101071061B1 KR 101071061 B1 KR101071061 B1 KR 101071061B1 KR 1020080106667 A KR1020080106667 A KR 1020080106667A KR 20080106667 A KR20080106667 A KR 20080106667A KR 101071061 B1 KR101071061 B1 KR 101071061B1
Authority
KR
South Korea
Prior art keywords
vehicle
information
spatial information
generating
driving assistance
Prior art date
Application number
KR1020080106667A
Other languages
English (en)
Other versions
KR20100047674A (ko
Inventor
이쾌희
김병성
박완주
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to KR1020080106667A priority Critical patent/KR101071061B1/ko
Publication of KR20100047674A publication Critical patent/KR20100047674A/ko
Application granted granted Critical
Publication of KR101071061B1 publication Critical patent/KR101071061B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound

Abstract

본 발명은 차량의 운전 보조 시스템에 관한 것으로서, 본 발명에 따른 차량의 특징점을 이용한 운전 보조 장치는 차량에 장착된 카메라의 시야 내에 고정되는 상기 차량의 특징점을 이용하여 상기 카메라를 통해 입력되는 이미지로부터 3차원 공간 정보를 생성하는 공간 정보 생성부; 및 상기 3차원 공간 정보를 이용하여 후보 경로(candidate course) 정보를 생성하는 경로 정보 생성부를 포함하여, 운전자에게 안전성 및 편의성을 제공함은 물론, 3차원 복원의 정확성을 개선하고 단일한 카메라만을 이용하여 경제성 및 효율성을 개선함으로써 실제 제품화 가능성을 향상시키는 이점을 제공한다.

Description

차량의 특징점을 이용한 운전 보조 장치 및 방법과 이에 사용되는 마이크로프로세서 및 기록매체{Apparatus and method for driving assistance using feature of vehicle, and microprocessor and recording medium used thereto}
본 발명은 차량의 운전 보조 시스템에 관한 것으로서, 운전자에게 안전성 및 편의성을 제공함은 물론, 3차원 복원의 정확성을 개선하고 단일한 카메라만을 이용하여 경제성 및 효율성을 개선함으로써 실제 제품화 가능성을 향상시키는 운전 보조 장치 및 방법과 이에 사용되는 마이크로프로세서 및 기록매체에 관한 것이다.
최근, 차량의 안전한 운행 및 주차 등을 위해 운전자를 보조할 수 있는 지능형 시스템과 자동 항법 시스템에 관한 다양한 연구가 활발이 진행되고 있다.
이에 따라, 카메라를 통한 영상 인식 기술을 차량 운전 시스템에 적용하려는 시도가 계속되고 있으며, 실제로 차량에 CCD(Charge-Coupled Device) 카메라 또는 CMOS(Complementary Metal Oxide Semiconductor) 카메라를 장착하고 상기 카메라를 통해 차량의 후방 또는 좌·우측의 영상을 획득하여 상기 획득한 영상을 차량의 내부 모니터에 디스플레이함으로써 운전자로 하여금 차량 주변의 시야를 확보할 수 있도록 하는 기술이 소개되고 있다.
그러나, 기존의 기술들은 주로 운전자의 사각 지대에 대한 시야를 확보하는데 초점을 두고 있을 뿐, 좁은 골목길 운전 등 정밀한 운전 조작을 요하는 상황에서 운전 초보자에게 안전한 운전 경로를 제시하는 기술에 관해 특별한 해결책을 제시하지 못하는 문제점이 있다.
또한, 기존의 일반적인 차량용 영상 인식 시스템의 구성은 크게 차량 외부에 장착되는 카메라 모듈, 상기 카메라 모듈이 획득한 영상을 처리하는 영상처리 모듈, 상기 영상처리 모듈을 통해 처리된 영상이 출력되는 디스플레이로 이루어진다. 그러나, 이러한 영상 인식 시스템의 경우 단순히 운전자에게 차량 외부의 환경만을 인지할 수 있도록 디스플레이 할 뿐이므로 운전 초보자가 차량을 주차하는 등의 경우 여전히 실질적인 도움을 줄 수 없다는 문제점이 있다. 운전자는 기존의 차량용 영상 인식 시스템을 통해 차량 주변의 영상을 획득할 수 있지만, 실제 주차 등을 수행하는 경우 디스플레이되는 영상을 바탕으로 운전자가 스스로 주차 경로를 설정해야 하기 때문이다.
한편, 최근에는 영상 인식에 의한 3차원 복원(3D reconstruction) 기술이 소개되면서 이러한 3차원 복원 기술을 차량 주변의 3차원 정보를 획득하는데 적용하려는 노력이 계속되고 있다. 기존의 3차원 복원 시스템은 복수의 카메라를 사용하는 것이 일반적이다.
그러나, 복수의 카메라를 이용하는 경우 카메라들 간의 물리적 특성의 차이, 예컨대 초점거리의 차이, CCD 등 촬상소자의 내적 파라미터(intrinsic parameter)의 차이 등으로 인해 3차원 복원시 오차가 발생하는 문제점이 있다. 또한, 차량의 진행 방향에 대한 공간 정보를 획득하기 위해 복수의 카메라를 사용하여 3차원 복원 시스템을 구현하는 것은 경제성 및 효율성 면에서 경쟁력이 떨어지는 문제점이 있으며, 이러한 비경제성 및 비효율성은 3차원 복원 기술을 실제 차량에 적용하여 제품화하는데 있어서 커다란 걸림돌이 된다.
또한, 단일한 카메라를 이용하는 경우라도 정량적인 수치로 복원이 어렵다는 문제점이 있다. 즉, 3차원 복원의 정확도가 떨어진다는 문제점이 있다.
따라서, 본 발명이 이루고자 하는 첫 번째 기술적 과제는, 단일한 카메라를 이용하여 차량의 진행 경로에 관한 정보를 제공함으로써 운전자에게 안전성 및 편의성을 제공함은 물론 경제성 및 정확성까지 개선된 운전 보조 장치를 제공하는 것이다.
본 발명이 이루고자 하는 두 번째 기술적 과제는, 단일한 카메라를 이용하여 차량의 진행 경로에 관한 정보를 제공함으로써 운전자에게 안전성 및 편의성을 제공함은 물론 경제성 및 정확성까지 개선된 운전 보조 방법을 제공하는 것이다.
본 발명이 이루고자 하는 세 번째 기술적 과제는, 상기 운전 보조 장치 및 방법에 사용되는 마이크로프로세서를 제공하는 것이다.
본 발명이 이루고자 하는 네 번째 기술적 과제는, 상기 운전 보조 장치 및 방법에 사용되는 기록매체를 제공하는 것이다.
상기와 같은 첫 번째 기술적 과제를 해결하기 위하여 본 발명은, 차량에 장착된 카메라의 시야 내에 고정되는 상기 차량의 특징점을 이용하여 상기 카메라를 통해 입력되는 이미지로부터 3차원 공간 정보를 생성하는 공간 정보 생성부; 및 상기 3차원 공간 정보를 이용하여 후보 경로(candidate course) 정보를 생성하는 경로 정보 생성부를 포함하는 차량의 특징점을 이용한 운전 보조 장치를 제공한다.
일 실시예에 있어서, 상기 차량의 특징점을 이용한 운전 보조 장치는, 단일 한 카메라를 통해 상기 공간 정보 생성부에 이미지를 입력한다.
일 실시예에 있어서, 상기 공간 정보 생성부는 상기 카메라를 통해 입력되는 이미지로부터 이미지 시퀀스(image sequence)를 생성하는 이미지 그래버(image grabber); 및 상기 차량의 특징점에 관해 미리 얻어진 공간 정보를 이용하여 상기 이미지 시퀀스로부터 3차원 복원을 수행하는 3차원 복원부를 포함한다.
일 실시예에 있어서, 상기 3차원 복원부는 상기 이미지 시퀀스에서 특징점을 추출하는 특징점 추출 모듈; 상기 이미지 시퀀스에서 3차원 복원에 사용되는 키 프레임(keey frame)을 선택하는 키 프레임 선택 모듈; 및 상기 선택된 키 프레임의 특징점을 이용하여 상기 3차원 공간 정보를 생성하는 3차원 정보 생성 모듈을 포함한다.
일 실시예에 있어서, 상기 특징점 추출 모듈은 SIFT(Scale Invariant Feature Transform)을 이용하여 상기 이미지 시퀀스에서 특징점을 추출한다.
일 실시예에 있어서, 상기 키 프레임 선택 모듈은 옵티컬 플로우(optical flow) 변화량의 평균값을 이용하여 키 프레임을 선택한다.
일 실시예에 있어서, 상기 3차원 정보 생성 모듈은 상기 차량의 특징점에 관해 미리 얻어진 공간 정보를 메트릭 리커버리(metric recovery) 과정에서 기준값으로 사용하여 상기 3차원 공간 정보를 생성한다.
일 실시예에 있어서, 상기 경로 정보 생성부는 상기 후보 경로 정보를 Z맵(Z-map) 정보로 생성한다.
일 실시예에 있어서, 상기 차량의 특징점을 이용한 운전 보조 장치는 상기 후보 경로 정보를 Z맵으로 표시하는 디스플레이부를 더 포함한다.
일 실시예에 있어서, 상기 차량의 특징점을 이용한 운전 보조 장치는 초음파를 통해 거리를 감지하는 초음파 거리 감지부를 더 포함하고, 상기 경로 정보 생성부는 상기 3차원 공간 정보 및 상기 초음파 거리 감지부에 의한 거리 정보를 이용하여 상기 후보 경로 정보를 생성한다.
일 실시예에 있어서, 상기 경로 정보 생성부는 상기 후보 경로 정보를 상기 차량의 자동 조향 시스템에 제공하여 상기 차량을 제어한다.
일 실시예에 있어서, 상기 차량의 특징점을 이용한 운전 보조 장치는 운전자로 하여금 자동 주행 모드를 선택할 수 있도록 하는 사용자 인터페이스를 더 포함하고, 그리고 상기 경로 정보 생성부는 상기 사용자 인터페이스를 통해 상기 자동 주행 모드가 선택된 경우 상기 자동 조향 시스템을 통해 상기 차량을 제어한다.
상기와 같은 두 번째 기술적 과제를 해결하기 위하여 본 발명은, 차량에 장착된 카메라의 시야 내에 고정되는 상기 차량의 특징점을 이용하여 상기 카메라를 통해 입력되는 이미지로부터 3차원 공간 정보를 생성하는 공간 정보 생성 단계; 및 상기 3차원 공간 정보를 이용하여 후보 경로(candidate course) 정보를 생성하는 경로 정보 생성 단계를 포함하는 차량의 특징점을 이용한 운전 보조 방법을 제공한다.
일 실시예에 있어서, 상기 공간 정보 생성 단계는 단일한 카메라를 통해 입력되는 이미지로부터 상기 3차원 공간 정보를 생성하는 단계이다.
일 실시예에 있어서, 상기 공간 정보 생성 단계는 상기 카메라를 통해 입력 되는 이미지로부터 이미지 시퀀스(image sequence)를 생성하는 이미지 그랩(image grab) 단계; 및 상기 차량의 특징점에 관해 미리 얻어진 공간 정보를 이용하여 상기 이미지 시퀀스로부터 3차원 복원을 수행하는 3차원 복원 단계를 포함한다.
일 실시예에 있어서, 상기 3차원 복원 단계는 상기 이미지 시퀀스에서 특징점을 추출하는 특징점 추출 단계; 상기 이미지 시퀀스에서 3차원 복원에 사용되는 키 프레임(keey frame)을 선택하는 키 프레임 선택 단계; 및 상기 선택된 키 프레임의 특징점을 이용하여 상기 3차원 공간 정보를 생성하는 3차원 정보 생성 단계를 포함한다.
일 실시예에 있어서, 상기 특징점 추출 단계는 SIFT(Scale Invariant Feature Transform)을 이용하여 상기 이미지 시퀀스에서 특징점을 추출하는 단계이다.
일 실시예에 있어서, 상기 키 프레임 선택 단계는 옵티컬 플로우(optical flow) 변화량의 평균값을 이용하여 키 프레임을 선택하는 단계이다.
일 실시예에 있어서, 상기 3차원 정보 생성 단계는 상기 차량의 특징점에 관해 미리 얻어진 공간 정보를 메트릭 리커버리(metric recovery) 과정에서 기준값으로 사용하여 상기 3차원 공간 정보를 생성하는 단계이다.
일 실시예에 있어서, 상기 경로 정보 생성 단계는 상기 후보 경로 정보를 Z맵(Z-map) 정보로 생성하는 단계이다.
일 실시예에 있어서, 상기 차량의 특징점을 이용한 운전 보조 방법은 상기 후보 경로 정보를 Z맵으로 표시하는 디스플레이 단계를 더 포함한다.
일 실시예에 있어서, 상기 경로 정보 생성 단계는 상기 3차원 공간 정보 및 초음파 센서에 의한 거리 정보를 이용하여 상기 후보 경로 정보를 생성하는 단계이다.
일 실시예에 있어서, 상기 차량의 특징점을 이용한 운전 보조 방법은 상기 후보 경로 정보를 상기 차량의 자동 조향 시스템에 제공하여 상기 차량을 제어하는 자동 주행 단계를 더 포함한다.
일 실시예에 있어서, 상기 자동 주행 단계는 운전자로 하여금 자동 주행 모드를 선택할 수 있도록 하는 사용자 인터페이스를 제공하여 상기 사용자 인터페이스를 통해 상기 자동 주행 모드가 선택된 경우 상기 자동 조향 시스템을 통해 상기 차량을 제어하는 단계이다.
상기와 같은 세 번째 기술적 과제를 해결하기 위하여 본 발명은, 상기 공간 정보 생성부 및 상기 경로 정보 생성부가 시스템 온 칩(system on chip) 형태로 구현된 마이크로프로세서를 제공한다.
상기와 같은 네 번째 기술적 과제를 해결하기 위하여 본 발명은, 상기 운전 보조 방법을 컴퓨터 시스템 상에서 실행하는 프로그램이 기록된 기록매체로서, 상기 컴퓨터 시스템이 판독할 수 있는 상기 기록매체를 제공한다.
본 발명에 따른 차량의 특징점을 이용한 운전 보조 장치 및 방법과 이에 사용되는 마이크로프로세서 및 기록매체는, 좁은 골목길 또는 장애물의 출현으로 주행이 곤란한 도로 등 실제 주행 환경에서 차량의 주행 경로에 관한 정보를 운전자 에게 제공하고, 또한 차량의 자동 조향 시스템을 이용하여 차량을 제어하도록 함으로써 운전자에게 안전성 및 편의성을 제공한다. 또한, 단일한 카메라만을 이용하여 경제성 및 효율성을 개선함으로써 실제 제품화 가능성을 향상시킨다는 이점을 제공한다. 나아가, 차량의 특징점을 이용하여 3차원 공간 정보를 생성함으로써 3차원 복원의 정확성을 개선하는 이점을 제공한다.
본 발명에 관한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하고자 하는 기술적 과제의 개요를 우선 제시한다.
도 1에는, 운전 중 직면할 수 있는 실제 주행 환경의 일례가 도시되어 있다.
도 1에 도시된 바와 같이, 좁은 골목길 또는 장애물의 출현으로 주행이 곤란한 경우 초보 운전자는 자기의 차량이 통과할 수 있을지 판단하기 어렵다. 또한, 숙력된 운전자라도 판단 착오나 부주의한 운전으로 접촉 사고를 일으키는 경우가 흔히 발생한다.
따라서, 본 발명은 카메라에 의한 영상 인식을 통해 실제 주행 환경에 대한 3차원 공간 정보를 생성하고, 상기 3차원 공간 정보를 이용하여 운전자에게 바람직한 주행 경로를 제시한다. 이때, 상기 3차원 공간 정보 생성 과정에서 차량의 고유한 특징점에 관해 미리 얻어진 공간 정보를 이용함으로써 3차원 복원의 정확성을 향상시킨다. 즉, 본 발명은 차량의 이동 중 한 대의 전방 카메라를 통해 획득되는 영상 간에 스테레오 매칭 기법(Motion Stereo-based Method)을 적용함에 있어서, 차량의 특징점, 예컨대 차량의 보닛(bonnet)에 고정된 특징점들의 상대적 위치를 미리 측정하고 이를 이용하여 향상된 성능의 알고리즘을 제시한다.
이하, 본 발명의 기술적 과제의 해결 방안을 명확화하기 위해 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명한다. 다만, 본 발명을 설명함에 있어서 관련된 공지기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불명료하게 할 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자 등의 의도 또는 관례 등에 따라 달라질 수 있을 것이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 2에는 본 발명에 따른 차량의 특징점을 이용한 운전 보조 장치의 일례가 블록도로 도시되어 있다.
또한, 도 3에는 본 발명에 따른 차량의 특징점을 이용한 운전 보조 방법의 일례가 흐름도로 도시되어 있다.
도 2 및 도 3을 참조하여 본 발명을 설명하면, 본 발명에 따른 차량의 특징점을 이용한 운전 보조 장치(200)는 공간 정보 생성부(210) 및 경로 정보 생성부(220)를 포함한다.
우선, 차량에 장착된 카메라(230)는 상기 카메라(230)의 시야 내에 고정되는 상기 차량의 특징점(232)을 포함하여 차량 전방의 이미지를 실시간으로 촬영한다(S300). 일 실시예에 있어서, 한 대의 카메라(230)를 상기 차량의 전방 상황과 상기 차량의 특징점(232), 예컨대 상기 차량의 보닛에 형성되어 있는 특징점이 상기 카메라(230)의 시야에 동시에 들어오도록 고정 장착하고, 상기 카메라(230) 통 해 차량의 전방 상황을 촬영한다. 아래에서 다시 설명하겠지만, 본 발명은 상기 차량의 특징점(232)에 관해 미리 얻어진 공간 정보를 캘리브레이션(calibration) 정보로 이용하여 3차원 복원의 정확성을 높이며, 그와 동시에 복수의 카메라가 아닌 단일한 카메라만을 사용하여 제품화 가능성을 높일 수 있다.
그 다음, 상기 공간 정보 생성부(210)는 상기 차량의 특징점(232)을 이용하여 상기 카메라(230)를 통해 입력되는 이미지로부터 3차원 공간 정보를 생성한다(S310 내지 S330).
도 4에는 상기 공간 정보 생성부(210) 구성의 일례가 블록도로 도시되어 있다. 도 4를 참조하면, 상기 공간 정보 생성부(210)는 이미지 그래버(image grabber; 400) 및 3차원 복원부(410)를 포함한다.
도 5에는 상기 3차원 복원부(410) 구성의 일례가 블록도로 도시되어 있다. 도 5를 참조하면, 상기 3차원 복원부(410)는 특징점 추출 모듈(500), 키 프레임 선택 모듈(510) 및 3차원 정보 생성 모듈(520)을 포함한다.
상기 이미지 그래버(400)는 차량의 이동에 따라 상기 카메라(230)를 통해 실시간으로 입력되는 이미지로부터 이미지 시퀀스(image sequence)를 생성하고, 상기 3차원 복원부(410)의 상기 특징점 추출 모듈(500)은 상기 이미지 시퀀스로부터 이미지 각각의 특징점을 추출한다(S310).
상기 이미지 그래버(400)는, 상기 카메라(230)로부터 입력된 아날로그 영상신호를 디지털 영상신호로 변환시키는 A/D컨버터부를 포함할 수 있다.
상기 3차원 복원부(410)의 상기 특징점 추출 모듈(500)은, SIFT(Lowe. D. G. “Object recognition from local scale-invariant features”, International Conference on Computer Vision, Corfu, Greece, September 1999. 참조)를 이용하여 상기 이미지 시퀀스에서 특징점을 추출할 수 있다. SIFT는 이미지 회전, 스케일링, 이동, 부분 조명 변화 및 투영 변환(projective transform)에 불변인 특성을 지니고 있다. 특히, SIFT는 모든 이미지 프레임에서 특징점 추출의 수가 많고 일정하여, 3차원 공간 복원시 우수한 성능을 나타낸다. 물론, 변형된 SIFT, 예컨대 PCA-SIFT(Principal Component Analysis-SIFT; Y. Ke and R. Sukthankar, "PCA-SIFT: A more distinctive representation for local image descriptors", In Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition(CVPR), Washington, DC, pp511-517, 2004. 참조) 또는 ROBPCA-SIFT(robust PCA-SIFT; J. oh, H. Kim et al., "ROBPCA-SIFT: a feature point extraction method for the consistent with epipolar geometry in endoscopic images", Image and Vision Computing New Zealand, 221-226, 2006. 참조) 등이나 다른 특징점 추출 알고리즘이 사용될 수 있다.
그 다음, 상기 3차원 복원부(410)의 상기 키 프레임 선택 모듈(510)이 특징점 추출 및 추적을 통해 상기 이미지 시퀀스에서 3차원 복원에 사용되는 키 프레임(key frame)을 선택한다(S320).
유의할 점은, 3차원 정보 복원의 간격을 정하는 상기 키 프레임 선택 모듈(510)의 키 프레임 선택(key frame selection) 과정에서 적절한 간격의 키 프레임을 선택하여야 한다는 것이다. 왜냐하면, 전·후 두 키 프레임 간에 움직 임(motion) 변화가 지나치게 적은 키 프레임들을 선택할 경우, 모션 파라미터(motion parameter) 추정시 베이스라인(baseline)이 짧아지므로 추정 오차 값이 커지게 되고, 반대로 두 키 프레임 간에 움직임 변화가 지나치게 클 경우, 상기 두 키 프레임 간의 동일점(correspondence point)들이 감소하여 3차원 복원 성능을 저하시키는 문제가 발생하기 때문이다.
일 실시예에 따르면, 적절한 키 프레임 선택을 위해 상기 키 프레임 선택 모듈(510)은 옵티컬 플로우(optical flow) 변화량의 평균값을 이용하여 키 프레임들을 선택할 수 있다. 즉, 일정 시간 동안 들어온 이미지의 첫 프레임과 마지막 프레임의 옵티컬 플로우의 평균값을 계산하여 상기 평균값이 일정한 임계치 이상 차이가 날 때 키 프레임으로 선택한다. 상기 임계치는 실험적으로 설정할 수 있는데, 예컨대 보통의 승용차에 전방향 높이에 설치할 경우 50 pixel로서 카메라의 움직임은 약 100-150cm이다.
도 6에는 이미지 간 옵티컬 플로우의 개념이 도시되어 있다.
도 6에 도시된 바와 같이, 옵티컬 플로우란 실제 3차원 공간 좌표를 P(X,Y,Z), 이미지 프레임에서의 2차원 평면 좌표를 p(x,y)로 정의할 때, P(X,Y,Z)에서의 이미지 변화량을 p(x,y)에서의 변화량 v로 나타낸 것이다.
그 다음, 상기 3차원 복원부(410)의 상기 3차원 정보 생성 모듈(520)은 상기 선택된 키 프레임의 특징점을 이용하여 상기 3차원 공간 정보를 생성한다(S330).
이 경우, 상기 3차원 정보 생성 모듈(520)은 3차원으로 복원된 영상 정보들에 대해서 정량적 크기로 보정하는 메트릭 리커버리(metric recovery) 과정이 필요 하며, 상기 메트릭 리커버리 과정에서 상기 차량의 특징점에 관해 미리 얻어진 공간 정보를 기준값으로 사용하여 상기 3차원 공간 정보를 생성한다.
더욱 구체적으로 설명하면, 상기 3차원 정보 생성 모듈(520)은 상기 선택된 키 프레임 이미지 간의 동일점(correspondence point)을 이용하여 기본 행렬(fundamental matrix; F)을 구한다. 상기 선택된 키 프레임 중 n번째 키 프레임과 (n+1)번째 키 프레임에 대해 특징점 추적 알고리즘(feature tracking algorithm)을 이용하여 상기 두 키 프레임 간의 동일점(correspondence point)들을 i개 찾는다.
도 7에는 특징점 추적(feature tracking)을 통한 이미지 간 특징점 움직임 정보가 도시되어 있다.
도 8에는 두 개의 키 프레임 이미지 간의 관계가 도시되어 있다.
도 8에 도시된 바와 같이, 상기 두 키 프레임 이미지 간의 동일점 쌍 중에서 n번째 키 프레임 이미지의 점을 xi, (n+1)번째 키 프레임 이미지의 점을 xi'라 할 때, 상기 두 키 프레임 간 관계식을 나타내는 기본 행렬 F를 구한다. 이 경우, RANSAC(Torr. P. and Murray, D. “The development and comparison of robust methods for estimating the fundamental matrix.” International Journal of Computer Vision, 24(3), 1997, pp.271-300. 참조.)을 이용할 수 있다. 도 8에서 상기 두 이미지의 에피폴(epipole)을 e 및 e'라 하고, 그리고 상기 특징점 x에 대응하는 상기 특징점 x'와 상기 에피폴 e'를 지나는 직선인 에피폴라 라인(epipolar line)을 l'라 할 때, 상기 에피폴라 라인 l'는 수학식 1과 같이 나타낼 수 있다.
Figure 112008075282512-pat00001
상기 두 키 프레임 이미지의 간의 관계식을 Hπ라 할 때, 상기 특징점 x 및 x'는 수학식 2와 같이 나타낼 수 있다.
Figure 112008075282512-pat00002
상기 수학식 1 및 수학식 2에서 상기 기본 행렬 F는 수학식 3과 같이 나타낼 수 있다.
Figure 112008075282512-pat00003
,
Figure 112008075282512-pat00004
상기 수학식 3과 같이 구할 수 있는 상기 기본 행렬 F는 상기 카메라(230)의 내부 파라미터(intrinsic parameter; K)와 상기 두 키 프레임 이미지 간의 회전값(rotation; R) 및 이동값(translaton; t)으로 구성된다. 즉, 상기 기본 행렬 F는 수학식 4와 같이 나타낼 수 있다.
Figure 112008075282512-pat00005
카메라의 내부 파라미터는 초기값이 설정되면 변화가 없기 때문에 다양한 캘 리브레이션(calibration) 방법으로 획득하여 상기 두 키 프레임 이미지 간의 상기 회전값 R 및 이동값 t를 얻을 수 있다.
또한, RANSAC을 이용하여 상기 기본 행렬 F을 구한 후, 수학식 5와 같이 M-estimator를 이용하여 웨이트(weight)값을 구하여 이상값(outlier)들을 제거할 수 있다.
Figure 112008075282512-pat00006
그리고나서, 상기 3차원 정보 생성 모듈(520)은 상기 기본 행렬을 이용하여 그에 대응하는 프로젝션 행렬(projection matrix; P)을 구하고, 삼각 측량(triangulation)을 통해 3차원 복원을 수행한다. 도 8에서 2차원 이미지 좌표인 상기 x 및 x'를 백 프로젝션(back projection) 시키면, 상기 두 키 프레임에 관한 두 장의 이미지 정보를 이용하여 3차원 공간 좌표를 얻을 수 있다.(Hartley, R.,“Multiple View Geometry in computer vision”, CAMBRIDGE.chap.11장. 참조.)
그러나, 상기와 같이 복원된 3차원 정보는 복원 모호성(reconstruction ambiguity)으로 인해 정량화된 정보에 해당하지 않는다. 따라서, 상기 메트릭 리커버리(metric recovery) 과정이 필요한 것이다. 즉, 상기 3차원 정보 생성 모듈(520)은 상기 기본 행렬을 구한 후, 상기 선택된 키 프레임 간의 모션 파라미터(motion parameter)를 추정하고 상기 추정된 모션 파라미터를 토대로 상기 카메라(230)의 외부 파라미터(예컨대, 카메라 위치 변환 정보)를 획득하여, 상기 선택 된 키 프레임 이미지 간의 삼각 측량(Triangulation) 과정과 메트릭 리커버리(Metric recovery) 과정을 통해 정량적인 단위(예컨대, cm 단위)의 상기 3차원 공간 정보를 생성한다.
단일 카메라를 이용하는 방식에 있어서 상기 메트릭 리커버리를 위한 기준 정보는, 카메라의 설치 각도와 차량과 접하는 노면이 완벽히 평평하다고 가정하면 틸팅 앵글(tilting angle; θ)을 통해 를 얻을 수 있다. 상기 틸팅 앵글은 수학식 6과 같이 구할 수 있다.
Figure 112008075282512-pat00007
상기 수학식 6에서, ez 및 z0는 각각 z축에 대한 에피폴(epipole) 및 주점(principal point)을 나타낸다.
그러나, 실제 주행 상황에 있어서 카메라는 차량에 고정되어 있는 반면, 노면은 항상 평평한 것은 아니기 때문에 노면의 기울어짐에 따라 상기 틸팅 앵글값 등에 큰 오차가 발생하는 문제점이 있다.
이러한 문제점을 해결하기 위해 본 발명에서는 상기 카메라(230)의 시야 내에 고정되어 있는 차량의 특징점(232), 예컨대 차량의 보닛 위에 고정된 특징점(232)에 관해 미리 얻어진 공간 정보를 이용하여 정량적 단위의 상기 3차원 공간 정보를 생성한다. 즉, 상기 차량의 특징점에 관해 미리 정량적으로 측정한 공간 정보를 통해 이미지의 배니싱 포인트(vanishing point) 및 배니싱 라인(vanishing line)의 실제 거리값을 결정함으로써 상기 메트릭 리커버리 과정을 위한 기준값을 제공하게 된다.
상술한 바와 같이 상기 차량의 특징점에 관해 미리 얻어진 공간 정보를 메트릭 리커버리 과정에서 기준값으로 사용함으로써 모션 스테레오 매칭(motion stereo matching) 기법의 3차원 복원 성능을 높여주는 효과를 얻을 수 있다.
실제로, 일반 도로 환경에서 차량의 보닛의 고정된 특징점과 무관하게 3차원 복원을 한 경우, 평균 14.9cm, 최고 40cm의 오차가 발생하였으나, 차량의 보닛에 고정된 특징점을 이용하여 3차원 복원을 한 경우, 평균 7cm, 최고 20cm의 오차가 발생하여 현저한 성능 개선 효과를 나타내었다.
도 9에는 고정된 헤딩 앵글(heading angle)을 지니는 카메라가 장착된 차량이 도시되어 있다.
도 10에는 차량의 특징점에 관한 공간 정보를 얻는 과정이 도시되어 있다.
도 9 및 도 10에 도시된 바와 같이, 차량 룸밀러 뒷면에 단일 카메라를 장착하고 캘리브레이션을 통해 외부 파라미터와 내부 파라미터를 얻는다. 특히, 상기 단일 카메라의 시야에 들어오도록 차량 보닛에 있는 고정되어 있는 특징점들과 관련하여 상기 단일 카메라에 대한 상대적 회전값 및 이동값을 구하여 기준 정보로 사용한다.
참고로, 차량용 카메라의 경우 일반적으로 어안(fisheye) 렌즈를 사용하기 때문에 차량용 카메라에 획득되는 영상 정보가 왜곡되어 들어온다. 따라서, 이러한 왜곡된 정보를 보정해주는 과정이 필요하다.
도 11에는 렌즈 왜곡 보정 과정이 도시되어 있다.
렌즈 왜곡을 보정하는 기본적인 방법으로는 정확하게 그려진 정사각형 격자 무늬에 대한 영상 정보를 차량용 카메라를 통해 획득하여 원 영상과의 왜곡 관계식을 구하는 방법 등이 있다.
그 다음, 상기 경로 정보 생성부(220)는 상기 3차원 공간 정보를 이용하여 상기 차량의 진행 가능 여부 및 상기 차량이 통과 가능한 후보 경로(candidate course)에 관한 정보를 생성한다(S340, S350).
이 경우, 상기 경로 정보 생성부(220)는 상기 후보 경로 정보를 Z맵(Z-map) 정보로 생성하여 현재 주행 상황에 대한 경로 계획(path-planning)을 수립할 수 있다.
도 12a 내지 도 12c에는 3차원 공간 정보를 이용하여 Z맵을 생성하는 과정의 일례가 도시되어 있다.
도 12a에 도시된 3차원 공간을 도 12b와 같이 0m에서 차량 높이 약 2m까지의 z축 정보에 관한 3차원 공간 정보들의 정사영상을 생성하고, 그리고 3차원 공간 정보들에 대해 프로젝티브 와핑(projectively warping) 과정을 통해 도 12c와 같이 위에서 보는 시점의 이미지로 변환할 수 있다.
일 실시예에 있어서, 상기 공간 정보 생성부(210) 및 경로 정보 생성부(220)는 상기 차량을 제어하는 마이크로프로세서 상에 시스템 온 칩(system on chip) 형태로 구현될 수 있다. 본 발명을 마이크로프로세서로 구현하면 각종 시스템의 크기를 줄일 수 있고, 조립 과정을 단순화시킬 수 있으며, 나아가 제조 비용을 절감할 수 있는 등의 이점이 있다.
일 실시예에 있어서, 본 발명에 따른 차량의 특징점을 이용한 운전 보조 장치는 초음파 센서를 통해 거리를 감지하는 초음파 거리 감지부(260)를 포함하여, 상기 초음파 거리 감지부(260)가 거리 정보를 생성하면, 상기 공간 정보 생성부(210)의 3차원 공간 정보 및 상기 초음파 거리 감지부(260)의 거리 정보를 이용하여 상기 후보 경로 정보를 생성할 수 있다. 이와 같이 초음파 거리 정보를 이용하는 이점은, 영상 인식만을 이용하여 3차원 정보를 획득하는 경우 환경적 요소, 예컨대 급격한 기후 변화나 광도 변화 등에 의해 발생할 수 있는 오차를 보정할 수 있다는 점이다. 따라서, 차량의 좌우 대각선 방향, 예컨대 차량의 진행 방향에 대해 좌우 30°위치에 초음파 센서를 설치하여 상기 차량의 진행 방향에 장애물이 존재하는 경우 상기 차량과 상기 장애물과의 거리를 측정한다. 일 실시예에 있어서, 상기 초음파 거리 감지부(260)의 상기 초음파 센서를 통해 측정한 거리 정보와 상기 공간 정보 생성부(210)가 생성한 3차원 공간 정보 간의 오차가 클 경우, 상기 초음파 거리 감지부(260)의 거리 정보에 따라 상기 3차원 공간 정보를 보정하여 경로 계획(path planning)을 수립할 수 있다.
그 다음, 본 발명에 따른 차량의 특징점을 이용한 운전 보조 장치는 다양한 HMI(Human Machine Interface; 240)를 포함하여 상기 경로 정보 생성부(220)가 생성한 상기 후보 경로 정보를 운전자에게 제공할 수 있다(S360).
도 13에는 후보 경로를 표시하는 디스플레이 화면의 일례가 도시되어 있다.
도 13에 도시된 바와 같이, 본 발명에 따른 차량의 특징점을 이용한 운전 보 조 장치는 디스플레이부를 포함하여 상기 경로 정보 생성부(220)가 생성한 후보 경로 정보를 시각적(Z-Map 또는 Bird's Eye View)으로 표시할 수 있다. 또한, 시각, 청각, 촉각 등을 자극하는 여러 경고 장치를 더 포함하여 상기 차량의 주행이 불가능한 경우 운전자에게 경고 신호를 보낼 수 있다.
일 실시예에 있어서, 상기 경로 정보 생성부(220)는 상기 후보 경로 정보를 상기 차량의 자동 조향 시스템에 제공하여 상기 차량을 제어할 수 있다. 이 경우, 상기 운전 보조 장치(200)는 운전자로 하여금 자동 주행 모드 또는 수동 주행 모드를 선택할 수 있도록 하는 사용자 인터페이스(미도시)를 더 포함하고, 그리고 상기 사용자 인터페이스를 통해 운전자가 자동 주행 모드를 선택한 경우 상기 경로 정보 생성부(220)가 상기 후보 경로 정보를 상기 자동 조향 시스템을 제어하는 MCU(MicroController Unit)에 제공할 수 있다. 그러면 상기 MCU는 각종 센서들(steering angle sensor, wheel speed sensor 등)을 이용하여 차량의 핸들각, 차속, 기어상태 등을 감지하고 핸들, 액셀레이터, 브레이크, 기어 모터 등을 제어하여 운전자의 핸들 조작 없이 상기 후보 경로 정보에 따라 상기 차량을 진행시킬 수 있다. 예컨대, 상기 MCU는 전자식 주행 안정 시스템인 ESC(Electronic Stability Control; 250)에 의해 상기 차량의 주행 방향을 조절하여 상기 후보 경로 정보에 따라 자동으로 상기 차량을 진행시킬 수 있다. 또한, 상기 차량의 진행 속도나 제동은 운전자가 직접 제어하지만, 상기 후보 경로 정보에 따라 차량의 충돌이 예상되는 경우 유압 펌프의 배력을 전자적으로 제어 하는 시스템인 EPS(Electric Power Steering; 252)에 의해 차량 진행을 제어하도록 할 수 있다. 이와 같이, 본 발명에 따른 운전 보조 장치는 운전자에게 Z맵을 통해 후보 경로를 제시하고 운전자의 선택에 따라 수동 또는 자동으로 차량을 제어함으로써 좁은 경로를 안정적으로 통과할 수 있도록 하는 Advanced Driver Assist System 기능을 제공한다.
한편, 상기 차량의 특징점을 이용한 운전 보조 장치는 상기 차량의 이동 중에 상기 후보 경로 정보를 계속 갱신한다(S370). 특히, 좁은 골목길과 같이 정밀한 운전이 필요한 상황이 종료할 때까지 지속적으로 전방 주행 환경에 대한 3차원 공간 정보를 생성하고 상기 생성된 3차원 공간 정보를 이용하여 후보 경로 정보를 Z맵으로 나타내어 운전자에게 차량의 현재 진행 상태를 실시간으로 제공한다.
본 발명에 따른 차량의 특징점을 이용한 운전 보조 방법은 또한 컴퓨터로 판독할 수 있는 기록매체에 컴퓨터가 읽어들일 수 있는 프로그램 코드로서 구현하는 것이 가능하다. 본 발명이 소프트웨어를 통해 실행될 때, 본 발명의 구성 수단들은 필요한 작업을 실행하는 코드 세그먼트들이다. 프로그램 또는 코드 세그먼트들은 프로세서 판독 가능 매체에 저장되거나 전송 매체 또는 통신망에서 반송파와 결합된 컴퓨터 데이터 신호에 의하여 전송될 수 있다.
컴퓨터가 판독할 수 있는 기록매체에는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 판독할 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 판독할 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽어들일 수 있는 코드가 저장되고 실행될 수 있다.
상술한 바와 같이, 본 발명에 따른 차량의 특징점을 이용한 운전 보조 장치 및 방법과 이에 사용되는 마이크로프로세서 및 기록매체는, 좁은 골목길 또는 장애물의 출현으로 주행이 곤란한 도로 등 실제 주행 환경에서 차량의 주행 경로에 관한 정보를 운전자에게 제공하고, 또한 차량의 자동 조향 시스템을 이용하여 차량을 제어하도록 함으로써 운전자에게 안전성 및 편의성을 제공한다. 또한, 단일한 카메라만을 이용하여 경제성 및 효율성을 개선함으로써 실제 제품화 가능성을 향상시킨다는 이점을 제공한다. 나아가, 차량의 특징점을 이용하여 3차원 공간 정보를 생성함으로써 3차원 복원의 정확성을 개선하는 이점을 제공한다.
지금까지 본 발명에 대해 실시예들을 참고하여 설명하였다. 그러나 당업자라면 본 발명의 본질적인 기술적 사상으로부터 벗어나지 않는 범위에서 본 발명이 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 즉, 본 발명의 진정한 기술적 범위는 첨부된 특허청구범위에 나타나 있으며, 그와 균등범위 내에 있는 모든 차이점은 본 발명에 포함되는 것으로 해석되어야 할 것이다.
도 1은 운전 중 직면할 수 있는 실제 주행 환경의 일례를 나타낸 도면.
도 2는 본 발명에 따른 차량의 특징점을 이용한 운전 보조 장치의 일례를 나타낸 블록도.
도 3은 본 발명에 따른 차량의 특징점을 이용한 운전 보조 방법의 일례를 나타낸 흐름도.
도 4는 본 발명의 공간 정보 생성부 구성의 일례를 나타낸 블록도.
도 5는 본 발명의 3차원 복원부 구성의 일례를 나타낸 블록도.
도 6은 이미지 간 옵티컬 플로우의 개념을 나타낸 도면.
도 7은 특징점 추적을 통한 이미지 간 특징점 움직임 정보를 나타낸 도면.
도 8은 두 개의 키 프레임 이미지 간의 관계를 나타낸 도면.
도 9는 고정된 헤딩 앵글을 지니는 카메라가 장착된 차량을 나타낸 도면.
도 10은 차량의 특징점에 관한 공간 정보를 얻는 과정을 나타낸 도면.
도 11은 렌즈 왜곡 보정 과정을 나타낸 도면.
도 12a 내지 도 12c는 3차원 공간 정보를 이용하여 Z맵을 생성하는 과정의 일례를 나타낸 도면.
도 13은 후보 경로를 표시하는 디스플레이 화면의 일례를 나타낸 도면.

Claims (26)

  1. 차량에 장착된 카메라의 시야 내에 고정되는 상기 차량의 특징점을 이용하여 상기 카메라를 통해 입력되는 이미지로부터 3차원 공간 정보를 생성하는 공간 정보 생성부; 및
    상기 3차원 공간 정보를 이용하여 후보 경로(candidate course) 정보를 생성하는 경로 정보 생성부를 포함하고,
    상기 차량의 특징점은 차량의 소정의 위치에 고정되어 정량적 3차원 공간정보를 제공하는 것을 특징으로 하는 차량의 특징점을 이용한 운전 보조 장치.
  2. 제1항에 있어서,
    상기 차량의 특징점을 이용한 운전 보조 장치는, 단일한 카메라를 통해 상기 공간 정보 생성부에 이미지를 입력하는 것을 특징으로 하는 차량의 특징점을 이용한 운전 보조 장치.
  3. 제1항에 있어서,
    상기 공간 정보 생성부는,
    상기 카메라를 통해 입력되는 이미지로부터 이미지 시퀀스(image sequence)를 생성하는 이미지 그래버(image grabber); 및
    상기 차량의 특징점에 관해 미리 얻어진 공간 정보를 이용하여 상기 이미지 시퀀스로부터 3차원 복원을 수행하는 3차원 복원부를 포함하는 것을 특징으로 하는 차량의 특징점을 이용한 운전 보조 장치.
  4. 제3항에 있어서,
    상기 3차원 복원부는,
    상기 이미지 시퀀스에서 특징점을 추출하는 특징점 추출 모듈;
    상기 이미지 시퀀스에서 3차원 복원에 사용되는 키 프레임(keey frame)을 선택하는 키 프레임 선택 모듈; 및
    상기 선택된 키 프레임의 특징점을 이용하여 상기 3차원 공간 정보를 생성하는 3차원 정보 생성 모듈을 포함하는 것을 특징으로 하는 차량의 특징점을 이용한 운전 보조 장치.
  5. 제4항에 있어서,
    상기 특징점 추출 모듈은, SIFT(Scale Invariant Feature Transform)을 이용하여 상기 이미지 시퀀스에서 특징점을 추출하는 것을 특징으로 하는 차량의 특징점을 이용한 운전 보조 장치.
  6. 제4항에 있어서,
    상기 키 프레임 선택 모듈은, 옵티컬 플로우(optical flow) 변화량의 평균값을 이용하여 키 프레임을 선택하는 것을 특징으로 하는 차량의 특징점을 이용한 운전 보조 장치.
  7. 제4항에 있어서,
    상기 3차원 정보 생성 모듈은, 상기 차량의 특징점에 관해 미리 얻어진 공간 정보를 메트릭 리커버리(metric recovery) 과정에서 기준값으로 사용하여 상기 3차원 공간 정보를 생성하는 것을 특징으로 하는 차량의 특징점을 이용한 운전 보조 장치.
  8. 제1항에 있어서,
    상기 경로 정보 생성부는, 상기 후보 경로 정보를 Z맵(Z-map) 정보로 생성하는 것을 특징으로 하는 차량의 특징점을 이용한 운전 보조 장치.
  9. 제8항에 있어서,
    상기 차량의 특징점을 이용한 운전 보조 장치는, 상기 후보 경로 정보를 Z맵으로 표시하는 디스플레이부를 더 포함하는 것을 특징으로 하는 차량의 특징점을 이용한 운전 보조 장치.
  10. 제1항에 있어서,
    상기 차량의 특징점을 이용한 운전 보조 장치는 초음파를 통해 거리를 감지하는 초음파 거리 감지부를 더 포함하고, 상기 경로 정보 생성부는 상기 3차원 공간 정보 및 상기 초음파 거리 감지부에 의한 거리 정보를 이용하여 상기 후보 경로 정보를 생성하는 것을 특징으로 하는 차량의 특징점을 이용한 운전 보조 장치.
  11. 제1항에 있어서,
    상기 경로 정보 생성부는, 상기 후보 경로 정보를 상기 차량의 자동 조향 시스템에 제공하여 상기 차량을 제어하는 것을 특징으로 하는 차량의 특징점을 이용한 운전 보조 장치.
  12. 제11항에 있어서,
    상기 차량의 특징점을 이용한 운전 보조 장치는 운전자로 하여금 자동 주행 모드를 선택할 수 있도록 하는 사용자 인터페이스를 더 포함하고, 그리고
    상기 경로 정보 생성부는 상기 사용자 인터페이스를 통해 상기 자동 주행 모드가 선택된 경우 상기 자동 조향 시스템을 통해 상기 차량을 제어하는 것을 특징으로 하는 차량의 특징점을 이용한 운전 보조 장치.
  13. 제1항 내지 제8항 또는 제11항 중 어느 한 항에 따른 차량의 특징점을 이용한 운전 보조 장치가 시스템 온 칩(system on chip) 형태로 구현된 마이크로프로세서.
  14. 차량에 장착된 카메라의 시야 내에 고정되는 상기 차량의 특징점을 이용하여 상기 카메라를 통해 입력되는 이미지로부터 3차원 공간 정보를 생성하는 공간 정보 생성 단계; 및
    상기 3차원 공간 정보를 이용하여 후보 경로(candidate course) 정보를 생성하는 경로 정보 생성 단계를 포함하고,
    상기 차량의 특징점은 차량의 소정의 위치에 고정되어 정량적 3차원 공간정보를 제공하는 것을 특징으로 하는 차량의 특징점을 이용한 운전 보조 방법.
  15. 제14항에 있어서,
    상기 공간 정보 생성 단계는, 단일한 카메라를 통해 입력되는 이미지로부터 상기 3차원 공간 정보를 생성하는 단계인 것을 특징으로 하는 차량의 특징점을 이용한 운전 보조 방법.
  16. 제14항에 있어서,
    상기 공간 정보 생성 단계는,
    상기 카메라를 통해 입력되는 이미지로부터 이미지 시퀀스(image sequence)를 생성하는 이미지 그랩(image grab) 단계; 및
    상기 차량의 특징점에 관해 미리 얻어진 공간 정보를 이용하여 상기 이미지 시퀀스로부터 3차원 복원을 수행하는 3차원 복원 단계를 포함하는 것을 특징으로 하는 차량의 특징점을 이용한 운전 보조 방법.
  17. 제16항에 있어서,
    상기 3차원 복원 단계는,
    상기 이미지 시퀀스에서 특징점을 추출하는 특징점 추출 단계;
    상기 이미지 시퀀스에서 3차원 복원에 사용되는 키 프레임(keey frame)을 선 택하는 키 프레임 선택 단계; 및
    상기 선택된 키 프레임의 특징점을 이용하여 상기 3차원 공간 정보를 생성하는 3차원 정보 생성 단계를 포함하는 것을 특징으로 하는 차량의 특징점을 이용한 운전 보조 방법.
  18. 제17항에 있어서,
    상기 특징점 추출 단계는, SIFT(Scale Invariant Feature Transform)을 이용하여 상기 이미지 시퀀스에서 특징점을 추출하는 단계인 것을 특징으로 하는 차량의 특징점을 이용한 운전 보조 방법.
  19. 제17항에 있어서,
    상기 키 프레임 선택 단계는, 옵티컬 플로우(optical flow) 변화량의 평균값을 이용하여 키 프레임을 선택하는 단계인 것을 특징으로 하는 차량의 특징점을 이용한 운전 보조 방법.
  20. 제17항에 있어서,
    상기 3차원 정보 생성 단계는, 상기 차량의 특징점에 관해 미리 얻어진 공간 정보를 메트릭 리커버리(metric recovery) 과정에서 기준값으로 사용하여 상기 3차원 공간 정보를 생성하는 단계인 것을 특징으로 하는 차량의 특징점을 이용한 운전 보조 방법.
  21. 제14항에 있어서,
    상기 경로 정보 생성 단계는, 상기 후보 경로 정보를 Z맵(Z-map) 정보로 생성하는 단계인 것을 특징으로 하는 차량의 특징점을 이용한 운전 보조 방법.
  22. 제21항에 있어서,
    상기 차량의 특징점을 이용한 운전 보조 방법은, 상기 후보 경로 정보를 Z맵으로 표시하는 디스플레이 단계를 더 포함하는 것을 특징으로 하는 차량의 특징점을 이용한 운전 보조 방법.
  23. 제14항에 있어서,
    상기 경로 정보 생성 단계는, 상기 3차원 공간 정보 및 초음파 센서에 의한 거리 정보를 이용하여 상기 후보 경로 정보를 생성하는 단계인 것을 특징으로 하는 차량의 특징점을 이용한 운전 보조 방법.
  24. 제14항에 있어서,
    상기 차량의 특징점을 이용한 운전 보조 방법은, 상기 후보 경로 정보를 상기 차량의 자동 조향 시스템에 제공하여 상기 차량을 제어하는 자동 주행 단계를 더 포함하는 것을 특징으로 하는 차량의 특징점을 이용한 운전 보조 방법.
  25. 제24항에 있어서,
    상기 자동 주행 단계는, 운전자로 하여금 자동 주행 모드를 선택할 수 있도록 하는 사용자 인터페이스를 제공하여 상기 사용자 인터페이스를 통해 상기 자동 주행 모드가 선택된 경우 상기 자동 조향 시스템을 통해 상기 차량을 제어하는 단계인 것을 특징으로 하는 차량의 특징점을 이용한 운전 보조 방법.
  26. 제14항 내지 제25항 중 어느 한 항에 따른 차량의 특징점을 이용한 운전 보조 방법을 컴퓨터 시스템 상에서 실행하는 프로그램이 기록된 기록매체로서, 상기 컴퓨터 시스템이 판독할 수 있는 상기 기록매체.
KR1020080106667A 2008-10-29 2008-10-29 차량의 특징점을 이용한 운전 보조 장치 및 방법과 이에 사용되는 마이크로프로세서 및 기록매체 KR101071061B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080106667A KR101071061B1 (ko) 2008-10-29 2008-10-29 차량의 특징점을 이용한 운전 보조 장치 및 방법과 이에 사용되는 마이크로프로세서 및 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080106667A KR101071061B1 (ko) 2008-10-29 2008-10-29 차량의 특징점을 이용한 운전 보조 장치 및 방법과 이에 사용되는 마이크로프로세서 및 기록매체

Publications (2)

Publication Number Publication Date
KR20100047674A KR20100047674A (ko) 2010-05-10
KR101071061B1 true KR101071061B1 (ko) 2011-10-10

Family

ID=42274608

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080106667A KR101071061B1 (ko) 2008-10-29 2008-10-29 차량의 특징점을 이용한 운전 보조 장치 및 방법과 이에 사용되는 마이크로프로세서 및 기록매체

Country Status (1)

Country Link
KR (1) KR101071061B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020145432A1 (ko) * 2019-01-09 2020-07-16 엘지전자 주식회사 Multi soc 시스템을 통해 차량을 제어하는 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013101047A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Systems, methods, and apparatus for invehicle fiducial mark tracking and interpretation
CN111949875B (zh) * 2020-08-13 2024-03-08 北京汽车股份有限公司 车辆推荐方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004198211A (ja) * 2002-12-18 2004-07-15 Aisin Seiki Co Ltd 移動体周辺監視装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004198211A (ja) * 2002-12-18 2004-07-15 Aisin Seiki Co Ltd 移動体周辺監視装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020145432A1 (ko) * 2019-01-09 2020-07-16 엘지전자 주식회사 Multi soc 시스템을 통해 차량을 제어하는 방법
US11840219B2 (en) 2019-01-09 2023-12-12 Lg Electronics Inc. Method for controlling vehicle through multi SoC system

Also Published As

Publication number Publication date
KR20100047674A (ko) 2010-05-10

Similar Documents

Publication Publication Date Title
KR102275310B1 (ko) 자동차 주변의 장애물 검출 방법
KR101188588B1 (ko) 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법
JP5926228B2 (ja) 自律車両用の奥行き検知方法及びシステム
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
JP3719095B2 (ja) 挙動検出装置および勾配検出方法
EP2757527B1 (en) System and method for distorted camera image correction
US10187630B2 (en) Egomotion estimation system and method
JP2004297808A (ja) 移動体周辺監視装置
KR20150144730A (ko) ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
Sappa et al. An efficient approach to onboard stereo vision system pose estimation
KR20130030208A (ko) 에고모션 추정 시스템 및 방법
JP4154980B2 (ja) 移動体周辺監視装置
JP2020060550A (ja) 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム
Kemsaram et al. A stereo perception framework for autonomous vehicles
KR101071061B1 (ko) 차량의 특징점을 이용한 운전 보조 장치 및 방법과 이에 사용되는 마이크로프로세서 및 기록매체
JP6826010B2 (ja) カメラ運動推定装置、カメラ運動推定方法及びプログラム
KR101965739B1 (ko) 이동 로봇 및 이의 제어 방법
Schamm et al. Vision and ToF-based driving assistance for a personal transporter
CN113167579B (zh) 用于测量对象物位置的系统、方法以及存储介质
JP7311407B2 (ja) 姿勢推定装置、および、姿勢推定方法
WO2023084660A1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JPH09259282A (ja) 移動障害物検出装置及びその方法
WO2022269875A1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP7249919B2 (ja) 推定装置、推定方法及びプログラム
WO2022254592A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150831

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160926

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee