KR20140103441A - 시선 유도 반사체를 이용한 차선 인식 방법 및 시스템 - Google Patents
시선 유도 반사체를 이용한 차선 인식 방법 및 시스템 Download PDFInfo
- Publication number
- KR20140103441A KR20140103441A KR1020130016799A KR20130016799A KR20140103441A KR 20140103441 A KR20140103441 A KR 20140103441A KR 1020130016799 A KR1020130016799 A KR 1020130016799A KR 20130016799 A KR20130016799 A KR 20130016799A KR 20140103441 A KR20140103441 A KR 20140103441A
- Authority
- KR
- South Korea
- Prior art keywords
- line
- guided
- reflector
- lane
- input image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000000605 extraction Methods 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 11
- 238000009434 installation Methods 0.000 claims description 9
- 230000001939 inductive effect Effects 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241000272168 Laridae Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
- B60W40/072—Curvature of the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
-
- E—FIXED CONSTRUCTIONS
- E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
- E01F—ADDITIONAL WORK, SUCH AS EQUIPPING ROADS OR THE CONSTRUCTION OF PLATFORMS, HELICOPTER LANDING STAGES, SIGNS, SNOW FENCES, OR THE LIKE
- E01F9/00—Arrangement of road signs or traffic signals; Arrangements for enforcing caution
- E01F9/60—Upright bodies, e.g. marker posts or bollards; Supports for road signs
- E01F9/604—Upright bodies, e.g. marker posts or bollards; Supports for road signs specially adapted for particular signalling purposes, e.g. for indicating curves, road works or pedestrian crossings
- E01F9/619—Upright bodies, e.g. marker posts or bollards; Supports for road signs specially adapted for particular signalling purposes, e.g. for indicating curves, road works or pedestrian crossings with reflectors; with means for keeping reflectors clean
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2300/00—Purposes or special features of road vehicle drive control systems
- B60Y2300/10—Path keeping
- B60Y2300/12—Lane keeping
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Structural Engineering (AREA)
- Civil Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Architecture (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 야간 상황에 도로 주변에 설치된 시선 유도 반사체를 이용하여 차선 인식 범위를 효과적으로 확장할 수 있는 시선 유도 반사체를 이용한 차선 인식 방법 및 시스템에 관한 것으로, 시선 유도 반사체를 이용한 차선 인식 방법은, 차량의 카메라로부터 입력 영상을 수신하는 단계, 입력 영상에서 기설정 문턱값에 기초하여 픽셀이 연결된 영역을 관심 영역으로 추출하는 단계, 관심 영역에서 블롭(Blob)의 특징을 추출하는 단계, 블롭의 특징으로부터 미리 저장된 레퍼런스에 기초하여 시선 유도 반사체를 분류하는 단계, 분류된 시선 유도 반사체를 토대로 복수의 시선 유도 반사체를 추적하는 단계, 및 복수의 시선 반사 유도체를 연결하는 곡선의 곡률에 기초하여 차량이 주행 중인 도로에서 카메라 야간 입력 영상을 통해 인식되는 제1 도로면에서의 차선보다 멀리 위치하는 제2 도로면에서의 차선을 추정하는 단계를 포함한다.
Description
본 발명은 시선 유도 반사체를 이용한 차선 인식 방법 및 시스템에 관한 것으로, 상세하게는, 야간 상황에 도로 주변에 설치된 시선 유도 반사체를 이용하여 차선 인식 범위를 효과적으로 확장할 수 있는 시선 유도 반사체를 이용한 차선 인식 방법 및 시스템에 관한 것이다.
현재 차선 인식 기술은 차량의 전방 카메라에서 획득한 영상에서 차선과 도로의 밝기 차이를 이용하여 차선을 추출하는 방법이 있으며, 이러한 기술은 차선 부분을 추출한 영상을 모두 역원근 처리하고 차선의 기울기를 구하여 차선의 곡률을 얻거나, 마스크에 의한 에지 검출을 이용하여 차선 부분을 검출한 후 근거리와 원거리에 대한 각각의 기울기를 구하여 차선의 곡률을 구하는 것이 일반적이다.
즉, 기존의 차선 인식에 관련된 대부분의 기술의 경우, 차량의 전방 카메라로부터 획득된 영상에 나타난 도로면에서 차선으로 추정되는 후보군의 일관적인 정보를 추출하는 방식으로 이루어진다. 종래의 차선 인식을 위한 영상 처리 방법 및 시스템의 일례가 공개특허공보 제10-2008-0004834호에 개시되어 있다.
영상 처리를 통해 차선을 인식하는 경우, 차선이 지워지거나 더러워져 잘 보이지 않는 경우나, 절대적인 조도가 부족하여 차선이 관찰되지 않는 경우(야간 상황 등)에는 차선 인식 성능이 좋지 못한 한계점이 있다.
또한, 최근에는 차량 운전자의 운전에 도움을 주기 위한 다양한 운전자 보조 시스템이 탑재되고 있다. 예를 들어, 운전자 보조 시스템으로는 차량 자동 항법 장치, 적응형 순항 제어 장치, 차선 유지 보조 시스템, 충돌 예방 시스템, 자동 주차 시스템 등이 있다.
그러나, 차선 유지 보조 시스템 등의 일부 운전자 보조 시스템은 주간 상황에서 차선 인식을 기반으로 운전자의 운전에 도움을 줄 수는 있지만, 야간 상황에서 절대적인 조도 부족으로 인하여 차선 인식 성능이 좋지 못하므로 운전자의 운전에 실질적인 도움을 줄 수 없는 한계가 있다.
본 발명은 전술한 종래의 문제점을 해결하기 위해 도출된 것으로, 본 발명의 목적은, 야간 상황에 도로변에 위치한 시선 유도 반사체를 인식함으로써 전방 카메라에 의한 차선의 가시 범위를 넘는 원거리 도로 곡률을 추정하고 추정한 원거리 도로 곡률을 근거리 차선 인식 결과에 반영하며, 그에 의해 차선 인식 범위를 확장하고 그 신뢰도를 향상시킬 수 있는 시선 유도 반사체를 이용한 차선 인식 방법 및 시스템을 제공하는 것이다.
상기 기술적 과제를 해결하기 위하여 본 발명에 따른 시선 유도 반사체를 이용한 차선 인식 방법은, 차량의 카메라로부터 입력 영상을 수신하는 단계; 입력 영상에서 기설정 문턱값에 기초하여 픽셀이 연결된 영역을 관심 영역으로 추출하는 단계; 관심 영역에서 블롭(Blob)의 특징을 추출하는 단계; 블롭의 특징으로부터 미리 저장된 레퍼런스에 기초하여 시선 유도 반사체를 분류하는 단계; 분류된 시선 유도 반사체를 토대로 복수의 시선 유도 반사체를 추적하는 단계; 및 복수의 시선 반사 유도체를 연결하는 곡선의 곡률에 기초하여 차량이 주행 중인 도로에서 카메라 야간 입력 영상을 통해 인식되는 제1 도로면에서의 차선보다 멀리 위치하는 제2 도로면에서의 차선을 추정하는 단계를 포함하는 것을 특징으로 한다.
일 실시예에서, 제2 도로면은 곡선 도로면을 포함하는 것을 특징으로 한다.
일 실시예에서, 블롭의 특징을 추출하는 단계는, 입력 영상에 대하여 일정한 임계값을 적용하여 이진화한 후 라벨링을 수행함으로써 관심 영역에서 시선 유도 반사체 후보를 추출하는 것을 특징으로 한다.
일 실시예에서, 시선 유도 반사체를 분류하는 단계는, 시선 유도 반사체 후보가 추출된 영상 데이터에서 개개의 시선 유도 반사체를 인식하는 것을 특징으로 한다.
일 실시예에서, 시선 유도 반사체를 추적하는 단계는, 개개의 시선 유도 반사체를 인식한 후 인식된 복수의 시선 유도 반사체의 중심점을 연결하는 곡선에 기초하여 시선 유도 반사체의 설치 패턴을 분석하는 것을 특징으로 한다.
일 실시예에서, 시선 유도 반사체를 이용한 차선 인식 방법은, 시선 유도 반사체를 추적하는 단계 후에, 복수의 시선 유도 반사체의 중심점을 연결하는 곡선을 피팅하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명에 따른 시선 유도 반사체를 이용한 차선 인식 시스템은, 차량의 카메라로부터 입력 영상을 수신하는 입력 영상 수신부; 입력 영상에서 기설정 문턱값에 기초하여 픽셀이 연결된 영역을 관심 영역으로 추출하는 Blob 추출부; 관심 영역에서 블롭(Blob)의 특징을 추출하는 Blob 특징 추출부; 블롭의 특징으로부터 미리 저장된 레퍼런스에 기초하여 시선 유도 반사체를 분류하는 시선 유도 반사체 분류부; 분류된 시선 유도 반사체를 토대로 복수의 시선 유도 반사체를 추적하는 시선 유도 반사체 추적부; 및 시선 유도 반사체 추적부에 의해 추적된 복수의 시선 반사 유도체를 연결하는 곡선의 곡률에 기초하여 차량이 주행 중인 도로에서 카메라의 야간 입력 영상을 통해 인식되는 제1 도로면에서의 차선보다 멀리 위치하는 제2 도로면에서의 차선을 추정하는 차선 곡률 추정부를 포함하는 것을 특징으로 한다.
일 실시예에서, Blob 특징 추출부는, 입력 영상에 대하여 일정한 임계값을 적용하여 이진화한 후 라벨링을 수행함으로써 관심 영역에서 시선 유도 반사체 후보를 추출하는 것을 특징으로 한다.
일 실시예에서, 시선 유도 반사체 분류부는, 시선 유도 반사체 후보가 추출된 영상 데이터에서 개개의 시선 유도 반사체를 인식하는 것을 특징으로 한다.
일 실시예에서, 시선 유도 반사체 추적부는, 시선 유도 반사체 분류부에 의해 인식된 복수의 시선 유도 반사체의 중심점을 연결하는 곡선에 기초하여 제2 도로면에서의 시선 유도 반사체를 추적하는 것을 특징으로 한다.
일 실시예에서, 시선 유도 반사체를 이용한 차선 인식 시스템은, 시선 유도 반사체 추적부로부터의 복수의 시선 유도 반사체의 중심점을 연결하는 곡선을 피팅하는 곡선 피팅부를 더 포함하는 것을 특징으로 한다.
본 발명에 의하면, 야간 상황에서 주행 중인 차량의 도로변에 위치한 시선 유도 반사체를 인식하며 전방 카메라에 의한 차선의 가시 범위를 넘는 원거리 도로 곡률을 추정하고 추정한 원거리 도로 곡률을 근거리 차선 인식 결과에 반영함으로써 차선 인식 거리를 확장하고 그 신뢰도를 향상시킬 수 있는 시선 유도 반사체를 이용한 차선 인식 방법 및 시스템을 제공할 수 있다.
도 1은 본 발명에 따른 시선 유도 반사체를 이용한 차선 인식 원리를 도시적으로 나타낸 도면.
도 2는 도 1의 차선 인식 원리를 적용한 차선 인식 시스템의 블록도.
도 3은 도 2의 차선 인식 시스템의 차선 검출 모듈에 대한 기능 블록도.
도 4는 본 발명에 따른 시선 유도 반사체를 이용한 차선 인식 방법의 순서도.
도 5는 도 4의 방법에 채용가능한 영상 이진화를 통한 시선 유도 반사체 후보를 추출하는 과정을 설명하기 위한 도면.
도 6은 도 4의 방법에 있어서 시선 유도 반사체의 인식을 통하여 원거리 도로 곡률을 추정하는 과정을 설명하기 위한 도면.
도 7은 도 4의 방법에 있어서 추정한 원거리 도로 곡률을 근거리 차선 인식 결과에 반영하는 과정을 설명하기 위한 도면.
도 2는 도 1의 차선 인식 원리를 적용한 차선 인식 시스템의 블록도.
도 3은 도 2의 차선 인식 시스템의 차선 검출 모듈에 대한 기능 블록도.
도 4는 본 발명에 따른 시선 유도 반사체를 이용한 차선 인식 방법의 순서도.
도 5는 도 4의 방법에 채용가능한 영상 이진화를 통한 시선 유도 반사체 후보를 추출하는 과정을 설명하기 위한 도면.
도 6은 도 4의 방법에 있어서 시선 유도 반사체의 인식을 통하여 원거리 도로 곡률을 추정하는 과정을 설명하기 위한 도면.
도 7은 도 4의 방법에 있어서 추정한 원거리 도로 곡률을 근거리 차선 인식 결과에 반영하는 과정을 설명하기 위한 도면.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명한다.
본 발명의 바람직한 실시예를 설명함에 있어서, 본 명세서 및 특허청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
실시예
도 1은 본 발명에 따른 시선 유도 반사체를 이용한 차선 인식 원리를 도시적으로 나타낸 도면이다.
도 1에 도시한 바와 같이, 기존의 경우, 야간 상황에서 도로(12)를 주행 중인 차량(11)의 차선 인식은 차량의 전조등에 의해 실질적으로 빛이 조사되는 범위(14) 내에서만 도로면을 관찰하여 차선을 인식할 수 있기 때문에 상대적으로 짧은 범위에서 차선 인식이 가능하다는 한계가 있다.
하지만, 본 발명의 경우, 야간 상황에서 도로(12)를 주행 중인 차량(11)의 차선 인식은 전조등 조사 범위(14)보다 더 먼 거리의 범위(16)에 위치하는 시선 유도 반사체(13)를 인식함으로써, 현재 차량(11)이 주행 중인 도로(12)의 원거리 도로 곡률을 추정하여 가시 범위 내에서 관찰된 차선 모델을 더 먼 거리까지 확장할 수 있도록 하고, 그 신뢰도를 향상시킬 수 있다.
이와 같이, 기존의 차선 인식에서는, 야간 상황에서 차량이 도로(12)를 주행하는 경우, 주간에 비해 절대적인 조도 부족으로 인하여 상대적으로 짧은 가시 범위 내에서 차선을 인식하게 되므로 차선 인식 성능이 불량하지만, 본 발명의 차선 인식에서는 야간 상황에서 차량이 도로(12)를 주행하는 경우, 도로(12) 주변에 설치되고 차량의 전조등 불빛을 반사시키는 시선 유도 시설을 인식하여 야간 상황에서 차선 인식의 범위를 확장하고 그 신뢰성을 향상시킬 수 있다.
여기서, 시선 유도 시설은 도로 끝 및 도로 선형을 명시하여 주간 및 야간에 운전자의 시선을 유도하기 위해 설치되는 시설로서, 시선유도표지, 갈매기표지, 표지병, 시선유도봉 등으로 분류될 수 있다. 시선유도표지는 직선 및 곡선 구간에서 운전자에게 전방의 도로 선형이나 기하 조건이 변화되는 상황을 반사체를 사용하여 안내해 줌으로써, 안전하고 원활한 차량 주행을 유도하기 위한 시설물이다. 갈매기표지는 급한 평면곡선부 등 시야 거리가 불량한 장소에서 도로의 선형 및 굴곡 정도를 갈매기 기호체를 사용하여 운전자가 명확하게 알 수 있도록 하는 시설물이다. 표지병은 야간 및 악천후 시 운전자의 시선을 명확하게 유도하기 위하여 도로 표면에 설치되는 시설물이다. 그리고, 시선유도봉은 운전자의 주의가 요구되는 장소에 노면 표시를 보조하여 곡선 구간 등의 위험 구간을 예고할 목적으로 설치되는 시설물이다.
전술한 실시예에서, 시선 유도 반사체(13)는 기존의 다양한 시선 유도 시설 중 어느 하나를 이용할 수 있다. 다만, 그 경우, 시선 유도 시설은 도로변(곡선 도로변 등)을 따라 소정 간격을 두고 차량의 전조등을 반사하도록 배치되는 복수의 시설로 이루어지는 것이 바람직하다.
도 2는 도 1의 차선 인식 원리를 적용한 차선 인식 시스템의 블록도이다. 도 3은 도 2의 차선 인식 시스템의 차선 검출 모듈에 대한 기능 블록도이다.
도 2를 참조하면, 본 발명에 따른 차선 인식 시스템(20)은 카메라 모듈(22) 및 차선 검출 모듈(24)을 구비한다.
카메라 모듈(22)은 차량의 전방에 배치되고, 차량의 전방 도로에 대한 컬러 영상을 획득한다. 카메라 모듈(22)은 획득한 영상을 실시간으로 차선 검출 모듈(24)에 전달한다. 이러한 카메라 모듈(22)은 광각 렌즈 또는 어안 렌즈와 같이 화각이 큰 렌즈를 구비하거나, 약 60°내지 120°정도의 넓은 화각을 가진 렌즈를 통해 3차원의 피사체를 2차원의 영상으로 획득하는 장치로 구현될 수 있다. 예를 들어, 카메라 모듈(22)은 핀홀 카메라를 포함할 수 있다.
차선 검출 모듈(24)은 카메라 모듈(22)로부터의 영상을 토대로 차량이 주행 중인 도로에서의 각종 정보를 검출하는 기능을 수행한다. 이러한 차선 검출 모듈(24)은 차선 유지 보조 시스템 등의 운전자 보조 시스템을 구성하는 차량의 전자제어장치(Electronic Control Unit)의 일부 기능부나 이러한 기능부에 상응하는 기능을 수행하는 구성부에 대응된다.
또한, 차선 검출 모듈(24)은, 도 3에 도시한 바와 같이, 입력 영상 수신부(240), 차선 특징 추출부(241), 차선 특징 선택부(242), 차선 피팅부(243), 차선 추적부(244), Blob 추출부(245), Blob 특징 추출부(246), 시선 유도 반사체 분류부(247), 시선 유도 반사체 추적부(248), 곡선 피팅부(249) 및 차선 곡률 추정부(250)로 이루어지는 기능 블록을 구비할 수 있다.
그 경우, 입력 영상 수신부(240)는 카메라 모듈(22)에 연결되는 인터페이스로서 카메라 모듈로부터의 입력 영상을 수신하는 수신부에 대응한다. 입력 영상 수신부(240)는 통신 인터페이스, 아날로그 디지털 컨버터, 홀드 레지스터, 샘플링 레지스터 등에서 선택되는 적어도 하나의 구성부로 구현될 수 있다. 도면에 도시하지는 않았지만, 입력 영상 수신부(240)의 출력단에는 입력 영상 또는 입력 영상을 소정의 포맷으로 변환한 영상 데이터를 저장하는 메모리가 구비될 수 있다.
차선 특징 추출부(241)는 입력 영상에서 차선 후보를 추출한다. 차선 특징 추출부(241)는 입력 영상을 이진화하는 수단이나 이러한 수단에 상응하는 기능을 수행하는 구성부에 대응할 수 있다. 차선 특징 추출부(241)는 입력 영상의 서로 인접한 픽셀(픽셀의 휘도 등)이 서로 유사한가를 조사하고, 유사하지 않은 영역(경계 등)을 기준으로 관심 영역(ROI)을 추출하도록 구현될 수 있다. 또한, 차선 특징 추출부(241)는 입력 영상에서 에지를 검출하고, 도로 모델과 칼만 필터(Kalman Filter)로부터 차량의 옵셋(Offset), 헤딩 각도(Heading Angle), 도로 곡률(Road Curvaurer) 등의 정보를 추출하도록 구현될 수 있다.
차선 특징 선택부(242)는 차선 특징 추출부(241)에서 추출한 차선 특징에서 차선 인식에 방해되는 요소를 영상 데이터 상에서 제거함으로써 차선 특징을 선택한다. 선택된 차선 특징은 차선 모델에 대응된다.
차선 피팅부(243)는 차선 특징 선택부(242)에서 선택된 차선 모델을 소정의 방법(Least-Squares Method 등)으로 피팅한다. 차선 피팅부(243)는 입력 영상에서 추출한 차선 데이터(영상에서의 점들)를 차선 모델(B-spline 곡선으로 표현 등)을 소정의 피팅 방법(Canny Edge Detector, Hough Transform 등)으로 갱신함으로써 디지털 신호로 차선의 형상을 표현할 수 있다.
차선 추적부(244)는 소정의 피팅 방법에 의해 차선 추적을 위한 시작점이 결정된 후 결정된 시작점으로부터 여러 개의 ROI를 차선을 따라 전개하여 차선을 추적하도록 구현될 수 있다.
전술한 차선 특징 추출부(241), 차선 특징 선택부(242), 차선 피팅부(243) 및 차선 추적부(244)는 기존의 차선 인식 시스템으로 대체되거나 기존의 차선 인식 시스템의 차선 인식 알고리즘을 구현하기 위한 대응 구성요소로 적절하게 대체될 수 있다.
Blob 추출부(245)는 카메라 모듈로부터 입력 영상을 수신하는 입력 영상 수신부(240)에 연결되고, 입력 영상 수신부(240)로부터 수신되는 복수의 영상 중 제1 영상에서 소정의 문턱값에 기초하여 픽셀이 연결된 영역, 즉 블롭(Blob)을 시선 유도 반사체의 관심 영역으로 추출한다.
Blob 특징 추출부(246)는 Blob 추출부(245)에서 추출된 관심 영역에서 블롭(Blob)의 특징으로 추출한다. Blob 특징 추출부(246)는 관심 영역에서 시선 유도 반사체 인식에 방해되는 요소를 제거함으로써 Blob 특징을 추출할 수 있다.
시선 유도 반사체 분류부(247)는 Blob 특징 추출부(246)에서 추출된 블롭의 특징에서 시선 유도 반사체를 분류한다. 시선 유도 반사체 분류부(247)는 미리 저장된 레퍼런스에 기초하여 시선 유도 반사체를 분류할 수 있다.
시선 유도 반사체 추적부(248)는 분류된 시선 유도 반사체를 추적한다. 시선 유도 반사체 추적부(248)는 개별 인식된 시선 유도 반사체의 설치 패턴을 얻기 위한 것이다. 복수의 시선 유도 반사체의 설치 패턴은 시선 유도 반사체의 곡률 모델에 대응된다.
곡선 피팅부(249)는 소정의 방법(Least-Squares Method 등)을 적용하여 시선 유도 반사체 추적부(248)에서 얻은 시선 유도 반사체의 곡률 모델을 피팅한다. 곡선 피팅부(249)는 입력 영상에서 추출한 시선 유도 반사체의 데이터(영상에서의 점들)를 소정의 피팅 방법(Canny Edge Detector, Hough Transform 등)을 통해 차선 모델(B-spline 곡선으로 표현 등)로 갱신함으로써 시선 유도 반사체의 설치 패턴을 분석할 수 있다.
차선 곡률 추정부(250)는 차량이 주행 중인 도로의 주간 또는 야간 상황에 따라 시선 유도 반사체를 이용하거나 이용하지 않고 차선 인식을 수행할 수 있다. 야간 상황에서 시선 유도 반사체를 이용하는 경우, 차선 곡률 추정부(250)는 곡선 피팅부(249)로부터의 시선 유도 반사체의 설치 패턴에 따른 도로의 곡률 정보에 기초하여 근거리 차선 인식 결과를 보상하거나, 차량 전조등에 의한 근거리 차선 인식 범위를 시선 유도 반사체의 설치 패턴이 제공하는 범위의 원거리까지 확장하여 차선 곡률을 추정한다.
도 4는 본 발명에 따른 시선 유도 반사체를 이용한 차선 인식 방법의 순서도이다.
본 실시예에 있어서, 주간 상황 등으로 인해 시선 유도 반사체를 이용한 차선 인식 모드로 차선 인식을 수행하지 않는 경우, 입력 영상에 대한 차선 특징 추출(S41), 차선 특징 선택(S42), 차선 피팅(S43), 차선 추적(S44) 및 차선 곡률 추정(S50)에 대한 일련의 과정은 기존의 차량 전방 카메라의 영상 처리에 의해 근거리의 차선을 인식하는 일반적인 방법에 대응하므로 그에 대한 상세 설명은 생략한다.
도 4를 참조하면, 본 실시예에 따른 시선 유도 반사체를 이용한 차선 인식 방법은, 우선 차선 검출 모듈의 입력 영상 수신부에서 카메라 모듈로부터 입력 영상을 수신한다(S40). 입력 영상은 복수의 영상이 시간 흐름에 따라 순차적으로 수신될 수 있다.
다음, 야간 상황 등으로 인해 시선 유도 반사체를 이용한 차선 인식 모드로 차선 인식을 수행하는 경우(S40a), Blob 추출부는 복수의 입력 영상 중 제1 영상에서 Bolb를 추출한다(S45). 여기서, 블롭(Blob)은 픽셀이 연결된 영역으로서, 소정 문턱값을 기준으로 추출한 관심 영역에 대응한다. 본 실시예에서는 시선 유도 반사체를 관심 영역을 추출하기 위해 일정 휘도를 문턱값으로 설정하여 문턱값 이상의 휘도를 갖는 픽셀 또는 필셀들의 영역을 관심 영역으로 추출할 수 있다.
다음, Blob 특징 추출부는 관심 영역에서 블롭의 특징을 추출한다(S46). 본 단계는 Blob 특징 추출부가 시선 유도 반사체를 추출하는데 방해가 되는 가로등 영역 등을 제거하여 블롭의 특징으로 추출하도록 수행될 수 있다.
다음, 차선 검출 모듈은 시선 유도 반사체 분류부를 통해 시선 유도 반사체를 분류한다(S47).
다음, 차선 검출 모듈은 시선 유도 반사체 추적부를 통해 시선 유도 반사체를 추적한다(S48). 본 단계에서, 차선 검출 모듈은 개개의 시선 유도 반사체를 인식한 후 복수의 시선 유도 반사체의 설치 패턴을 분석할 수 있다. 구현에 따라서, 시선 유도 반사체 추적부는 입력 영상 수신부에 수신된 복수의 영상 중 제1 영상 다음에 수신된 적어도 하나의 제2 영상에서 시선 유도 반사체를 추적하도록 동작할 수 있다.
다음, 차선 검출 모듈은 분석된 시선 유도 반사체의 설치 패턴을 이용하여 복수의 시선 유도 반사체를 잇는 곡선을 피팅한다(S49).
다음으로, 차선 검출 모듈은 피팅된 곡선에 기초하여 도로의 곡률을 추정한다(S50). 본 단계에서, 차선 검출 모듈은 복수의 시선 유도 반사체를 잇는 곡선의 곡률을 산출하고, 이를 통해 현재 차량의 주행 중인 도로(곡선 도로)에 대한 곡률을 추정할 수 있다. 그리고, 차선 검출 모듈은 시선 유도 반사체를 토대로 얻은 원거리 도로 곡률을 이용하여 근거리 차선 인식 결과를 보상한다. 또한, 차선 검출 모듈은 시선 유도 반사체에 기초하여 얻은 원거리 도로 곡률을 반영하여 근거리 차선 인식 결과를 원거리 차선 인식 결과로 확장한다.
전술한 일련의 과정(S40, S45, S46, S47, S48, S49 및 S50)에 의하면, 본 발명에 따른 차선 인식 방법은 야간 상황에서 차량이 곡선 도로를 주행할 때 도로변에 배치된 복수의 시선 유도 반사체를 이용하여 원거리의 차선 곡률 추정하고, 추정된 원거리의 차선 곡률에 기초하여 근거리 차선 인식의 결과를 보정하면서 근거리 차선 인식을 원거리 차선 인식으로 신뢰성 있게 확장할 수 있다.
도 5는 도 4의 방법에 채용가능한 영상 이진화를 통한 시선 유도 반사체 후보를 추출하는 과정을 설명하기 위한 도면이다.
도 5를 참조하면, 야간 상황의 시선 유도 반사체는 어두운 배경에 비해 밝게 빛나는 것이 특징이므로, 차량의 전방 카메라로부터 획득한 영상 데이터(50)에서 일정한 임계값(Threshold)을 적용하여 이진화한 후 라벨링(Labeling)을 수행함으로써 시선 유도 반사체 후보(54)를 추출할 수 있다. 시선 유도 반사체 후보(54)는 도 1에 도시한 시선 유도 반사체(13)에 대응한다.
본 실시예에 있어서, 미리 설정한 임계값을 적용하여 이진화한 영상(50)에는, 근거리 차선 후보(52), 복수의 시선 유도 반사체 후보(54), 가로등의 불빛에 의한 후보(56) 등이 포함될 수 있다. 근거리 차선 후보(52)는 기존의 근거리 차선 인식 알고리즘에 의해 얻은 차선 인식 패턴에 대응한다.
도 6은 도 4의 방법에 있어서 시선 유도 반사체의 인식을 통하여 원거리 도로 곡률을 추정하는 과정을 설명하기 위한 도면이다.
도 6을 참조하면, 본 실시예에 따른 차선 인식 시스템은 시선 유도 반사체 후보(54)가 추출된 영상 데이터(50a)에서 개개의 시선 유도 반사체(54)를 인식한 후 인식된 복수의 시선 유도 반사체(54)의 중심점을 연결하는 곡선(60)에 기초하여 시선 유도 반사체의 설치 패턴을 분석한다.
여기서, 차선 인식 시스템의 Blob 특징 추출부에 의해 추출된 도로 정보는 왼쪽의 중앙 분리대 후보(50), 중앙 분리대 후보(50) 상의 시선 유도 반사체 후보(54), 차선 후보(52), 오른쪽의 갓길 후보(53) 및 갓길 오른쪽의 갓길 외측 차도벽 후보(53a) 등에 대한 정보를 포함할 수 있는데, 차선 인식 시스템의 시선 유도 반사체 분류부는 Blob 특징 추출부로부터 받은 도로 정보에서 미리 저장된 레퍼런스에 기초하여 시선 유도 반사체를 인식할 수 있다. 레퍼런스는 소정 휘도의 문턱 값과 차선 후보(52)에 따른 시선 유도 반사체의 기준 패턴을 포함하는 시선 유도 반사체 모델 등을 포함할 수 있다.
예를 들어, 차선 인식 시스템은 시선 유도 반사체의 후보를 추출하는 영상 처리 중에 서포트 벡터 머신(Support Vector Machine, SVM) 학습을 통해 생성된 모델을 이용하여 시선 유도 반사체가 아닌 것을 걸러냄으로써, 최종적으로 시선 유도 반사체 후보(54)를 선택하고, 이들의 중심점을 연결하는 곡선(60)에 의해 시선 유도 반사체에 기초한 도로 곡률을 산출할 수 있다.
도 7은 도 4의 방법에 있어서 추정한 원거리 도로 곡률을 근거리 차선 인식 결과에 반영하는 과정을 설명하기 위한 도면이다.
도 7을 참조하면, 본 실시예에 따른 차선 인식 시스템은 시선 유도 반사체(54)를 이용하여 얻은 도로 곡률에 기초하여 근거리 차선 인식 결과(71)를 보상하거나 근거리 차선 인식 결과(71)를 확장하여 강건한 원거리 차선 인식 결과(72)를 생성한다.
여기서, 차선 인식 시스템은, 현재의 카메라 영상에 나타난 차선의 위치 및 곡률을 참조하여 근거리에 나타난 시선 유도 반사체의 위치로부터 예상되는 범위의 원거리의 시선 유도 반사체를 찾아 도로 곡률을 추정하고 추정한 원거리 도로 곡률에 기초하여 차선 곡률을 수정한다. 이러한 과정을 반복함으로써 먼 거리에 나타난 시선 유도 반사체를 모두 이용하여 원거리까지의 도로 곡률 또는 차선 곡률을 추정할 수 있다.
이와 같이, 원거리 차선 인식 결과(72)는 도 7의 영상 데이터(50b)에 도시한 바와 같이, 근거리 차선 인식 결과(71)에 비해 차선 후보(52)에 정확하게 중첩하면서 그 인식 범위가 소정 길이(L)만큼 연장된 것을 알 수 있다.
전술한 바와 같이, 본 발명은 차량의 야간 주행 시에 카메라 모듈로부터 연속적으로 변하는 영상의 집합을 수신하고 수신한 영상 집합으로부터 도로변의 시선 유도 반사체 후보를 추출하고, 추출한 시선 유도 반사체에 기초하여 획득한 원거리 도로 곡률을 토대로 근거리 차선 인식 결과를 확장함으로써, 근거리 차선 인식 결과를 효과적으로 보상할 수 있고 강건한 구조와 고속 인식 속도를 가진 차선 인식 알고리즘을 제공할 수 있다.
한편, 전술한 실시예에서는 바람직한 예로서 곡선 도로를 주행 중인 차량에서의 차선 인식을 중심으로 설명하였지만, 본 발명을 그러한 구성으로 한정되지 않고, 야간 상황에서 직선 도로를 주행 중인 차량의 차선 인식 거리를 신뢰성 있게 확장하는 데에도 물론 이용할 수 있다.
이상에서 살펴본 바와 같이, 본 발명의 바람직한 실시예를 들어 도시하고 설명하였으나, 본 발명은 상기한 실시예에 한정되지 아니하며 본 발명의 사상을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경, 치환, 수정이 가능할 것이며, 이러한 변경, 치환, 수정 등은 본 발명의 특허청구범위에 속하는 것으로 보아야 할 것이다.
11: 차량
12: 도로
13: 시선 유도 반사체
12: 도로
13: 시선 유도 반사체
Claims (11)
- 차량의 카메라로부터 입력 영상을 수신하는 단계;
상기 입력 영상에서 기설정 문턱값에 기초하여 픽셀이 연결된 영역을 관심 영역으로 추출하는 단계;
상기 관심 영역에서 블롭(Blob)의 특징을 추출하는 단계;
상기 블롭의 특징으로부터 미리 저장된 레퍼런스에 기초하여 시선 유도 반사체를 분류하는 단계;
상기 분류된 시선 유도 반사체를 토대로 복수의 시선 유도 반사체를 추적하는 단계; 및
상기 복수의 시선 반사 유도체를 연결하는 곡선의 곡률에 기초하여 상기 차량이 주행 중인 도로에서 상기 카메라의 야간 입력 영상을 통해 인식되는 제1 도로면에서의 차선보다 멀리 위치하는 제2 도로면에서의 차선을 추정하는 단계;를 포함하는 것을 특징으로 하는 시선 유도 반사체를 이용한 차선 인식 방법. - 제 1 항에 있어서,
상기 제2 도로면은 곡선 도로면을 포함하는 것을 특징으로 하는 시선 유도 반사체를 이용한 차선 인식 방법. - 제 1 항에 있어서,
상기 블롭의 특징을 추출하는 단계는, 상기 입력 영상에 대하여 일정한 임계값을 적용하여 이진화한 후 라벨링을 수행함으로써 상기 관심 영역에서 시선 유도 반사체 후보를 추출하는 것을 특징으로 하는 시선 유도 반사체를 이용한 차선 인식 방법. - 제 1 항에 있어서,
상기 시선 유도 반사체를 분류하는 단계는, 상기 시선 유도 반사체 후보가 추출된 영상 데이터에서 개개의 시선 유도 반사체를 인식하는 것을 특징으로 하는 시선 유도 반사체를 이용한 차선 인식 방법. - 제 4 항에 있어서,
상기 시선 유도 반사체를 추적하는 단계는, 상기 개개의 시선 유도 반사체를 인식한 후 인식된 복수의 시선 유도 반사체의 중심점을 연결하는 곡선에 기초하여 시선 유도 반사체의 설치 패턴을 분석하는 것을 특징으로 하는 시선 유도 반사체를 이용한 차선 인식 방법. - 제 5 항에 있어서,
상기 시선 유도 반사체를 추적하는 단계 후에, 상기 복수의 시선 유도 반사체의 중심점을 연결하는 곡선을 피팅하는 단계를 더 포함하는 것을 특징으로 하는 시선 유도 반사체를 이용한 차선 인식 방법. - 차량의 카메라로부터 입력 영상을 수신하는 입력 영상 수신부;
상기 입력 영상에서 기설정 문턱값에 기초하여 픽셀이 연결된 영역을 관심 영역으로 추출하는 Blob 추출부;
상기 관심 영역에서 블롭(Blob)의 특징을 추출하는 Blob 특징 추출부;
상기 블롭의 특징으로부터 미리 저장된 레퍼런스에 기초하여 시선 유도 반사체를 분류하는 시선 유도 반사체 분류부;
상기 분류된 시선 유도 반사체를 토대로 복수의 시선 유도 반사체를 추적하는 시선 유도 반사체 추적부; 및
상기 시선 유도 반사체 추적부에 의해 추적된 복수의 시선 반사 유도체를 연결하는 곡선의 곡률에 기초하여 상기 차량이 주행 중인 도로에서 상기 카메라를 통해 인식되는 제1 도로면에서의 차선보다 멀리 위치하는 제2 도로면에서의 차선을 추정하는 차선 곡률 추정부;를 포함하는 것을 특징으로 하는 시선 유도 반사체를 이용한 차선 인식 시스템. - 제 7 항에 있어서,
상기 Blob 특징 추출부는, 상기 입력 영상에 대하여 일정한 임계값을 적용하여 이진화한 후 라벨링을 수행함으로써 상기 관심 영역에서 시선 유도 반사체 후보를 추출하는 것을 특징으로 하는 시선 유도 반사체를 이용한 차선 인식 시스템. - 제 7 항에 있어서,
상기 시선 유도 반사체 분류부는, 상기 시선 유도 반사체 후보가 추출된 영상 데이터에서 개개의 시선 유도 반사체를 인식하는 것을 특징으로 하는 시선 유도 반사체를 이용한 차선 인식 시스템. - 제 9 항에 있어서,
상기 시선 유도 반사체 추적부는, 상기 시선 유도 반사체 분류부에 의해 인식된 복수의 시선 유도 반사체의 중심점을 연결하는 곡선에 기초하여 상기 제2 도로면에서의 시선 유도 반사체를 추적하는 것을 특징으로 하는 시선 유도 반사체를 이용한 차선 인식 시스템. - 제 10 항에 있어서,
상기 시선 유도 반사체 추적부로부터의 상기 복수의 시선 유도 반사체의 중심점을 연결하는 곡선을 피팅하는 곡선 피팅부를 더 포함하는 것을 특징으로 하는 시선 유도 반사체를 이용한 차선 인식 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130016799A KR20140103441A (ko) | 2013-02-18 | 2013-02-18 | 시선 유도 반사체를 이용한 차선 인식 방법 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130016799A KR20140103441A (ko) | 2013-02-18 | 2013-02-18 | 시선 유도 반사체를 이용한 차선 인식 방법 및 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20140103441A true KR20140103441A (ko) | 2014-08-27 |
Family
ID=51747713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130016799A KR20140103441A (ko) | 2013-02-18 | 2013-02-18 | 시선 유도 반사체를 이용한 차선 인식 방법 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20140103441A (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160071168A (ko) * | 2014-12-11 | 2016-06-21 | 현대자동차주식회사 | 도로 곡률 안내 장치 및 방법 |
| CN106408938A (zh) * | 2016-09-13 | 2017-02-15 | 天津工业大学 | 夜间城市交通监控中各类车辆轨迹的完整提取 |
| WO2018101603A1 (ko) * | 2016-12-02 | 2018-06-07 | (주)비전에스티 | 스테레오 카메라를 이용한 도로객체 인식방법 및 장치 |
| KR20190088387A (ko) * | 2017-12-29 | 2019-07-26 | 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 | 차도선을 검출하기 위한 방법, 장치 및 매체 |
| KR20190103503A (ko) * | 2018-02-12 | 2019-09-05 | 한양대학교 에리카산학협력단 | 차선 인식 장치 및 방법 |
-
2013
- 2013-02-18 KR KR1020130016799A patent/KR20140103441A/ko not_active Application Discontinuation
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160071168A (ko) * | 2014-12-11 | 2016-06-21 | 현대자동차주식회사 | 도로 곡률 안내 장치 및 방법 |
| CN106408938A (zh) * | 2016-09-13 | 2017-02-15 | 天津工业大学 | 夜间城市交通监控中各类车辆轨迹的完整提取 |
| WO2018101603A1 (ko) * | 2016-12-02 | 2018-06-07 | (주)비전에스티 | 스테레오 카메라를 이용한 도로객체 인식방법 및 장치 |
| KR20190088387A (ko) * | 2017-12-29 | 2019-07-26 | 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 | 차도선을 검출하기 위한 방법, 장치 및 매체 |
| US10846543B2 (en) | 2017-12-29 | 2020-11-24 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for detecting lane line, and medium |
| KR20190103503A (ko) * | 2018-02-12 | 2019-09-05 | 한양대학교 에리카산학협력단 | 차선 인식 장치 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9836657B2 (en) | System and method for periodic lane marker identification and tracking | |
| CN110555361B (zh) | 车道分类的图像处理方法 | |
| EP2879110B1 (en) | Three-dimensional object detection device, and three-dimensional object detection method | |
| EP2282295B1 (en) | Object recognizing device and object recognizing method | |
| Borkar et al. | A layered approach to robust lane detection at night | |
| US10380434B2 (en) | Vehicle detection system and method | |
| JP5747549B2 (ja) | 信号機検出装置及びプログラム | |
| US8848980B2 (en) | Front vehicle detecting method and front vehicle detecting apparatus | |
| US20130027511A1 (en) | Onboard Environment Recognition System | |
| EP2879384B1 (en) | Three-dimensional object detection device | |
| US20100110193A1 (en) | Lane recognition device, vehicle, lane recognition method, and lane recognition program | |
| EP2821980A1 (en) | Three-dimensional object detection device | |
| CN104834889A (zh) | 标志线检测系统和标志线检测方法 | |
| JP6548893B2 (ja) | 走行路認識装置及びそれを用いた走行支援システム | |
| KR101035761B1 (ko) | 차선 인식을 위한 영상 처리 방법 및 시스템 | |
| KR20140103441A (ko) | 시선 유도 반사체를 이용한 차선 인식 방법 및 시스템 | |
| KR101406316B1 (ko) | 차선 인식 장치 및 그 방법 | |
| KR101134857B1 (ko) | 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법및 장치 | |
| Arshad et al. | Lane detection with moving vehicles using color information | |
| JP5353531B2 (ja) | 車両灯火認識装置及びプログラム | |
| Kasai et al. | Lane detection system for vehicle platooning using multi-information map | |
| JP2014067320A (ja) | ステレオカメラ装置 | |
| Zhu et al. | A method of lane detection and tracking for expressway based on ransac | |
| JP2004348645A (ja) | 赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置 | |
| Gumpp et al. | Recognition and tracking of temporary lanes in motorway construction sites |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| N231 | Notification of change of applicant | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal |