KR101244353B1 - 반대향 카메라를 이용한 차선 인식장치 - Google Patents
반대향 카메라를 이용한 차선 인식장치 Download PDFInfo
- Publication number
- KR101244353B1 KR101244353B1 KR1020120062215A KR20120062215A KR101244353B1 KR 101244353 B1 KR101244353 B1 KR 101244353B1 KR 1020120062215 A KR1020120062215 A KR 1020120062215A KR 20120062215 A KR20120062215 A KR 20120062215A KR 101244353 B1 KR101244353 B1 KR 101244353B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- camera
- backlight
- vehicle
- lane
- Prior art date
Links
- 238000000034 method Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 9
- 239000007787 solid Substances 0.000 abstract 1
- 238000004148 unit process Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
- B60W2050/009—Priority selection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2300/00—Purposes or special features of road vehicle drive control systems
- B60Y2300/10—Path keeping
- B60Y2300/12—Lane keeping
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 반대향 카메라를 이용하여 역광에 강건한 차선 인식장치를 제공하기 위한 것으로서, 본 발명에 따른 반대향 카메라를 이용한 차선 인식장치는, 차량의 전방에 설치되어 차량 전방을 촬영하는 전방 카메라; 차량의 후방에 설치되어 차량 후방을 촬영하는 후방 카메라; 및 상기 전방 카메라에서 촬영된 영상 및 상기 후방 카메라에서 촬영된 영상 중 역광이 아닌 카메라의 영상으로부터 차선 인식을 처리하는 영상 처리부를 포함한다.
본 발명에 따르면, 반대향 카메라를 이용하여 항상 사광이나 순광의 영상을 획득할 수 있으며, 카메라에서 추출되는 정보를 통해 역광 여부를 판단함으로써 간단한 방법으로 역광의 영상을 배제할 수 있으며, 전방 카메라에 우선순위를 부여하거나 임계값에 가중치를 부여하는 것으로 보다 정확도 높은 차선 인식을 수행할 수 있는 효과가 있다.
본 발명에 따르면, 반대향 카메라를 이용하여 항상 사광이나 순광의 영상을 획득할 수 있으며, 카메라에서 추출되는 정보를 통해 역광 여부를 판단함으로써 간단한 방법으로 역광의 영상을 배제할 수 있으며, 전방 카메라에 우선순위를 부여하거나 임계값에 가중치를 부여하는 것으로 보다 정확도 높은 차선 인식을 수행할 수 있는 효과가 있다.
Description
본 발명은 반대향 카메라를 이용한 차량용 차선 인식장치에 관한 것으로서, 보다 상세하게는 전방 카메라와 후방 카메라를 이용하여 역광 발생시에도 정확하게 차선을 인식할 수 있는 반대향 카메라를 이용한 차선 인식장치에 관한 것이다.
최근 들어 차량용 블랙박스 등의 보급 증가와 함께, 차량에 장착된 카메라를 이용한 차선이탈 경보장치(LDWS;Lane Departure Warning System), 선행차량 추돌 경보장치(FCWS;Front Collision Warning System), 하이빔 제어 판단 보조장치(HBA;High Beam Assist) 등과 같이 차량 운전자의 안전운전 및 편의를 돕는 지능형 영상 인식장치에 대한 수요가 증가하고 있다.
지능형 영상 인식장치에서 획득되는 영상 인식 정보 중에서 차선 정보는 가장 핵심적인 정보로서, 주행 중인 차량이 인접 차로를 침범하지 않고 현재 차로를 유지하도록 하는 LDWS 및 차선유지 보조장치(LKAS;Lane Keeping Assistant System) 등에 이용된다.
일반적으로, 차선 인식장치는 차량 전방에 설치되는 카메라와, 카메라에서 촬영된 영상을 처리하여 차선 이탈 여부를 판단하는 영상 처리부로 구성된다.
그런데, 차량 전방에 설치된 카메라는 태양광의 역광(Counter-Light)에 취약한 문제점이 있다. 역광은 카메라의 노출 제어 성능을 저하시켜 화질을 떨어뜨릴 뿐만 아니라, 윤택이 있는 아스팔트로 포장되어 있는 도로나 비에 젖은 도로에 반사되어 카메라로 들어오기 때문에 차선의 인식을 불가능하게 한다.
도 1은 종래 차선 인식장치에서 역광이 발생되는 예를 보인 도면이다. 도 1을 참조하면, 차량(1)의 전방에 차선 인식장치를 구성하는 카메라(3)가 설치된다. 그런데, 태양(5)에서 방사된 광이 노면(7)에서 반사되어 카메라(3)로 들어올 때 역광이 발생된다.
도 2를 참조하면, 카메라(3)에 대한 광원의 입사각은 렌즈 중심선이 무한광원인 태양(5)이 이루는 각도이며, 입사각이 대략 0~60도이면 역광, 60~90도면 사광, 90도 이상이면 순광으로 분류된다. 태양의 위치가 5a에서와 같이 역광의 경우에는 차선 인식 성능에 제약을 받지만, 5c에서와 같은 사광이나 5d에서와 같은 순광에서는 인식 성능을 보장받는다. 역광에서도, 입사각이 작을수록 차선 인식장치의 성능 저하가 크다. 예를 들어, 도 3의 사진에서와 같이 역광 발생시 차선 인식이 어려워진다.
태양광에 의한 역광은 방향 통제가 불가능한 자연 조건이므로, 역광에 의한 성능 저하는 불가피하다. 따라서, 역광 발생시에도 차선을 정확하게 인식할 수 있는 새로운 차선 인식장치가 요구되고 있다.
본 발명은 반대향 카메라를 이용하여 항상 역광에 강건한 영상을 획득하고, 그로부터 정확도 높은 차선 인식을 수행함으로써, 차량용 지능형 영상 인식장치의 성능을 향상시키고, 궁극적으로는 차선이탈 경보장치 또는 차선유지 보조장치 등에 적용되어 차량 운전자의 안전운전과 편의를 도모할 수 있는 반대향 카메라를 이용한 차선 인식장치를 제공함에 그 목적이 있다.
본 발명의 일실시예에 따른 반대향 카메라를 이용한 차선 인식장치는, 차량의 전방에 설치되어 차량 전방을 촬영하는 전방 카메라; 차량의 후방에 설치되어 차량 후방을 촬영하는 후방 카메라; 및 상기 전방 카메라에서 촬영된 영상 및 상기 후방 카메라에서 촬영된 영상 중 역광이 아닌 카메라의 영상으로부터 차선 인식을 처리하는 영상 처리부를 포함하며, 상기 영상 처리부에서 역광을 판단하는 것은, 화면 밝기값을 카메라 센서의 노출값과 이득값의 곱으로 나눈 계산값이 소정 임계값 이상일 경우 역광으로 판단하며, 역광 판단시에 전방 카메라에서 촬영된 영상에 대한 임계값과 후방 카메라에서 촬영된 영상에 대한 임계값을 상이하게 설정한다.
본 발명의 다른 실시예에 따른 반대향 카메라를 이용한 차선 인식장치는, 상기 영상 처리부는 전방 카메라에서 촬영된 영상에 우선순위를 부여하여, 전방 카메라에서 촬영된 영상이 역광이 아닌 경우에는 전방 카메라에서 촬영된 영상으로부터 차선 인식을 처리하고, 전방 카메라에서 촬영된 영상이 역광인 경우에만 후방 카메라에서 촬영된 영상으로부터 차선 인식을 처리한다.
본 발명의 또 다른 실시예에 따른 반대향 카메라를 이용한 차선 인식장치는, 상기 영상 처리부는 전방 카메라에서 촬영된 영상과 후방 카메라에서 촬영된 영상 각각에 대하여 역광 여부를 판단하고, 역광이 아닌 영상으로부터 차선 인식을 처리한다.
삭제
삭제
본 발명의 또 다른 실시예에 따른 반대향 카메라를 이용한 차선 인식장치는, 상기 영상 처리부는 역광 판단시에 전방 카메라에서 촬영된 영상에 대한 임계값을 후방 카메라에서 촬영된 영상에 대한 임계값에 비해 높게 설정한다.
본 발명의 또 다른 실시예에 따른 반대향 카메라를 이용한 차선 인식장치는, 상기 후방 카메라는 차량에 기설치된 후방 주차 카메라이다.
본 발명의 일실시예에 따른 반대향 카메라를 이용한 차선 인식장치는, 차량의 전방에 설치되어 차량 전방을 촬영하는 전방 카메라와, 상기 전방 카메라에서 촬영된 영상으로부터 역광 여부를 판단하는 영상 처리부와, 상기 영상 처리부의 역광 판단 결과를 하기 제2 영상 인식장치와 비교하는 영상 비교부를 포함하는 제1 영상 인식장치; 및 차량의 후방에 설치되어 차량 후방을 촬영하는 후방 카메라와, 상기 후방 카메라에서 촬영된 영상으로부터 역광 여부를 판단하는 영상 처리부와, 상기 영상 처리부의 역광 판단 결과를 상기 제1 영상 인식장치와 비교하는 영상 비교부를 포함하는 제2 영상 인식장치를 포함하며, 상기 영상 비교부의 비교 결과에 따라 역광의 정도가 낮은 영상 인식장치의 영상 처리부가 해당 영상으로부터 차선 인식을 처리하며, 상기 각각의 영상 처리부에서 역광을 판단하는 것은, 화면 밝기값을 카메라 센서의 노출값과 이득값의 곱으로 나눈 계산값이 소정 임계값 이상일 경우 역광으로 판단하며, 상기 제1 영상 인식장치에서 역광을 판단하는 임계값과 상기 제2 영상 인식장치에서 역광을 판단하는 임계값은 상이하다.
삭제
삭제
본 발명의 또 다른 실시예에 따른 반대향 카메라를 이용한 차선 인식장치는, 상기 제1 영상 인식장치에서 역광을 판단하는 임계값은 상기 제2 영상 인식장치에서 역광을 판단하는 임계값에 비해 높게 설정된다.
본 발명의 반대향 카메라를 이용한 차선 인식장치에 따르면, 전방 카메라와 후방 카메라 2대의 반대향 카메라에서 촬영된 영상 중 역광이 아닌 영상을 선택하여 차선을 인식함에 따라, 역광에 의한 차선 인식 불능을 방지하고 정확도 높은 차선 인식을 수행할 수 있는 효과가 있다.
또한, 본 발명에 따르면, 전방 카메라에서 촬영된 영상에 대해서만 역광 여부를 판단하고, 전방 카메라의 영상이 역광이 아닌 경우에만 후방 카메라 영상으로 차선을 인식함으로써, 높은 정확도를 갖는 전방 카메라에 우선순위를 부여하는 동시에 매우 간단하게 역광의 영상을 필터링할 수 있는 효과가 있다.
또한, 본 발명에 따르면, 카메라를 통해 쉽게 얻을 수 있는 정보를 근거로 역광 여부를 판단함에 따라, 복잡한 알고리즘을 필요로 하지 않고 간단한 방법으로 역광에 강건한 차선 인식장치를 제공할 수 있다.
또한, 본 발명에 따르면, 역광 판단을 위한 임계값 설정시 전방 카메라의 영상에 가중치를 부여하여, 보다 최적의 영상으로부터 차선 인식을 수행할 수 있다.
또한, 본 발명에 따르면, 기설치된 후방 주차용 카메라를 이용하여 차량 후방 영상을 획득하고 이로부터 역광 여부를 판단함으로써, 별도의 후방 카메라를 신설할 필요가 없다.
또한, 본 발명에 따르면, 전방과 후방에 각각 별도의 영상 인식장치를 설치하고, 영상 인식장치간 영상을 비교하여 차선 인식을 처리함으로써, 역광에 의한 차선 인식 불능 현상을 실질적으로 완벽하게 제거할 수 있는 효과가 있다.
도 1은 종래 차선 인식장치에서 역광이 발생되는 예를 보인 도면,
도 2는 종래 역광이 발생되는 태양의 입사각을 예시한 도면,
도 3은 종래 역광 발생시 카메라에서 촬영된 영상을 예시한 사진,
도 4는 본 발명에 따른 차선 인식장치에서 태양광의 입사각을 보인 도면,
도 5는 본 발명의 일실시예에 따른 차선 인식장치를 보인 블록도,
도 6은 본 발명의 다른 실시예에 따른 차선 인식장치를 보인 블록도, 및
도 7은 본 발명의 또 다른 실시예에 따른 차선 인식장치를 보인 블록도이다.
도 2는 종래 역광이 발생되는 태양의 입사각을 예시한 도면,
도 3은 종래 역광 발생시 카메라에서 촬영된 영상을 예시한 사진,
도 4는 본 발명에 따른 차선 인식장치에서 태양광의 입사각을 보인 도면,
도 5는 본 발명의 일실시예에 따른 차선 인식장치를 보인 블록도,
도 6은 본 발명의 다른 실시예에 따른 차선 인식장치를 보인 블록도, 및
도 7은 본 발명의 또 다른 실시예에 따른 차선 인식장치를 보인 블록도이다.
이하에서는 첨부된 도면을 참조하여 본 발명에 따른 구체적인 실시예가 설명된다. 그러나 이는 본 발명을 특정한 실시 형태에 대하여 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 대체물을 포함하는 것으로 이해되어야 한다.
명세서 전체에 걸쳐 유사한 구성 및 동작을 갖는 부분에 대해서는 동일한 도면 부호를 붙였다. 그리고 본 발명에 첨부된 도면은 설명의 편의를 위한 것으로서, 그 형상과 상대적인 척도는 과장되거나 생략될 수 있다.
실시예를 구체적으로 설명함에 있어서, 중복되는 설명이나 당해 분야에서 자명한 기술에 대한 설명은 생략되었다. 또한, 이하의 설명에서 어떤 부분이 다른 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 기재된 구성요소 외에 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 "~부", "~기", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 어떤 부분이 다른 부분과 전기적으로 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐만 아니라 그 중간에 다른 구성을 사이에 두고 연결되어 있는 경우도 포함한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.
도 4는 본 발명에 따른 차선 인식장치에서 태양광의 입사각을 보인 도면이다. 도 4를 참조하면, 본 발명의 차선 인식장치는 차량(10)의 전방에 설치되어 차량 전방을 촬영하는 전방 카메라(12)와, 차량(10)의 후방에 설치되어 차량 후방을 촬영하는 후방 카메라(14)와, 촬영된 영상으로부터 역광 여부를 판단하고 차선 인식을 처리하는 영상 처리부(26, 120, 220)로 구성된다.
도시한 바와 같이, 전방 카메라(12)와 후방 카메라(14)의 렌즈 중심선이 노면(5)과 평행하다고 가정했을 때, 태양(7)은 무한 광원이므로 전방 카메라(12)의 렌즈 중심선과 태양(7)이 이루는 각도를 'θ'라고 했을 때, 후방 카메라(14)의 렌즈 중심선과 태양(7)이 이루는 각도는 '180°- θ'이다.
즉, 전방 카메라(12)가 역광인 경우(θ ≤ 60°), 후방 카메라(14)는 순광이다. 전방 카메라(12)가 사광인 경우, 후방 카메라(14)는 순광이거나 사광이다. 이에 따라 태양(7)의 위치에 관계없이 두 카메라 중 하나는 반드시 순광이거나 사광에 위치한다.
본 발명의 차선 인식장치는 이와 같이 반대향 카메라를 이용하여 역광인 영상을 배제하고, 순광이나 사광인 영상만을 취득하여 차선 인식을 수행함에 따라, 역광에 의한 차선 인식 불능을 방지할 수 있다.
이하에서는 전방 카메라(12)와 후방 카메라(14)에서 촬영된 각각의 영상으로부터 역광을 판단하고, 보다 높은 화질의 영상을 선택하는 실시예에 대하여 구체적으로 설명한다. 여기서, 선택된 영상으로부터 차선 인식을 수행하는 방법은 통상 알려진 지능형 영상 인식장치와 다름 없으므로, 자세한 설명을 생략하기로 한다.
도 5는 본 발명의 일실시예에 따른 차선 인식장치를 보인 블록도이다. 도 5를 참조하면, 차량 내에 설치되는 영상 인식장치(20)는 전방 카메라(12)와 영상 처리부(26)가 일체로 구성되며, 차량의 후방에 설치된 후방 카메라(14)로부터 영상신호를 송수신한다.
구체적으로는, 전방 카메라(12)는 광을 수광하여 전기적 신호로 변환하는 이미지 센서와, 광을 이미지 센서에 투영하는 렌즈와, 렌즈 고정기구(예컨대, 홀더와 하우징 등과 같은) 등을 구비한다. 후방 카메라(14)는 전방 카메라(12)와 동일한 구성을 기본적으로 하며, 영상 인식장치(20)와 별체로 구성됨에 따라 카메라 제어를 위한 마이크로 컨트롤러, 영상 인식장치(20)와 통신을 위한 통신 회로, 영상신호를 변환하여 전송하는 영상신호 송수신부 등을 추가로 구비한다.
도 5를 참조하면, 영상 처리부(26)는 영상신호 처리를 위한 중앙처리장치(CPU) 및 주변회로로 구성된다. 전원부(24)는 장치 내 구성품에 전원을 공급한다. 메모리(28)는 영상 처리 코드와 설정 파라미터 등을 저장하는 비휘발성(non-volatile) 메모리와, 영상신호 및 영상 처리 결과를 저장하는 휘발성(volatile) 메모리로 구성된다. 영상신호 송수신부(30)는 후방 카메라(14)로부터 영상신호를 수신하여 원래의 영상신호로 복원한다. 인터페이스부(32)는 도시된 차선이탈 경보장치(LDWS, 40) 또는 차선유지 보조장치(LKAS) 등과 인터페이싱하여 영상 처리부(26)에 의한 차선 인식 결과를 전송한다.
도 6은 본 발명의 다른 실시예에 따른 차선 인식장치를 보인 블록도이다. 도 6을 참조하면, 전방 카메라(12) 역시 후방 카메라(14)와 마찬가지로 영상 인식장치(20)와 별체로 구성될 수 있다. 예컨대, 차량에 전방을 지향하는 카메라가 기장착된 경우, 도 6에 도시된 영상 인식장치(20)만을 추가로 설치하여 차선 인식을 수행할 수 있을 것이다.
도 6을 참조하면, 전방 카메라(12)가 영상 인식장치(20)와 별체로 구성된다. 이 경우, 전방 카메라(12)에도 앞서 설명한 바와 같이 카메라 제어를 위한 마이크로 컨트롤러, 영상 인식장치(20)와 통신을 위한 통신 회로, 영상신호를 변환하여 전송하는 영상신호 송수신부 등을 추가로 구비되어야 한다.
도 6의 실시예는 도 5의 실시예와 달리, 영상 인식장치(20)의 영상신호 송수신부(30)가 전방 카메라(12) 및 후방 카메라(14)로부터 영상신호를 수신한다. 영상 처리부(26)는 수신된 영상으로부터 역광을 판단하고 역광이 아닌 영상을 선택하여 차선 인식을 수행한다.
도 5 및 6의 실시예에서, 영상 처리부(26)는 전방 카메라(12)로 촬영된 영상에 대해서만 역광 여부를 판단할 수 있다. 이러한 처리 방법은 통상적으로 차선 인식 정확도가 높은 전방 카메라(12)의 영상에 우선순위를 부여함은 물론, 후방 카메라(14)로 촬영된 영상에 대하여는 별도의 역광 판단 프로세스를 거칠 필요가 없는 이점을 제공한다. 또한, 도 5 및 6의 실시예는 후방 카메라(14)로부터 단지 영상신호만을 수집하면 족하므로, 후방 카메라를 별도로 설치할 필요 없이 기설치된 후방 주차 카메라를 사용할 수 있는 이점이 있다.
예를 들어, 영상 처리부(26)는 전방 카메라(12)로부터 얻을 수 있는 정보로부터 촬영된 영상이 역광인지 여부를 판단한다. 카메라는 통상 입사되는 영상의 밝기에 따라 노출값(exposure)과 신호 증폭비, 즉, 이득값(gain)을 조절하며, 이에 따라 화면 출력되는 영상의 화면 밝기값(brightness)이 결정된다. 즉, 카메라에 입사되는 광원의 밝기(luminance)는 다음과 같은 관계식1로 정의할 수 있다.
그러므로, 카메라 센서의 노출값과 이득값을 취득하고 출력되는 화면 밝기값을 계산하고, 계산값을 소정 임계값(luminance thresholdreverse light)과 비교하여 카메라에 입사되는 광원이 역광인지 여부를 알 수 있다. 다음의 관계식2는 본 발명의 영상 처리부에서 취득된 영상이 역광인지 여부를 판단하는 관계식이다.
영상 처리부(26)는 위의 관계식2에 의해 얻어진 계산값이 임계값(luminance thresholdreverse light) 이상인지를 판단하여 전방 카메라(12)가 역광에 노출되었는지 확인한다. 만약, 전방 카메라(12)가 역광에 노출된 상태라면, 후방 카메라(14)는 순광에 노출된 상태임을 의미하므로, 후방 카메라(14)에서 촬영된 영상으로부터 차선 인식을 처리한다.
다른 예로서, 도 5 및 6의 실시예 공히 영상 처리부(26)는 전방 카메라(12)에서 촬영된 영상과 후방 카메라(14)에서 촬영된 영상 각각에 대하여 역광 여부를 판단한다. 그리고, 역광이 아닌 영상을 선택하여 선택된 영상으로부터 차선 인식을 처리한다.
이때, 관계식2에 의해 얻어진 계산값을 비교한다. 계산값이 높다는 것은 그만큼 반사광의 입사가 크다는 것을 의미하므로, 역광에 가깝다고 해석할 수 있다. 따라서, 영상 처리부(26)는 관계식2에 의해 얻어진 계산값이 작은 영상으로부터 차선 인식을 수행한다.
보다 바람직하게는, 앞선 실시예에서와 같이 전방 카메라(12)에서 촬영한 영상에 우선순위를 부여하기 위해, 전방 카메라(12)에서 촬영된 영상에 대한 임계값과 후방 카메라(14)에서 촬영된 영상에 대한 임계값을 상이하게 설정한다. 전방 카메라(12)에서 촬영된 영상이 차선 인식에 더 적합하므로, 전방 카메라(12)에서 촬영된 영상에 대한 임계값을 더 높게 설정한다. 즉, 전방 카메라(12)에서 촬영된 영상에 가중치를 부여하여, 사광에 노출된 영상이어도 전방 카메라(12)의 영상을 선택하도록 함으로써, 보다 최적의 영상으로부터 차선 인식을 수행할 수 있게 한다.
도 7은 본 발명의 또 다른 실시예에 따른 차선 인식장치를 보인 블록도이다. 도 7을 참조하면, 차량 내에 두 개의 영상 인식장치가 설치될 수도 있다. 차량의 전방에는 제1 영상 인식장치(100)가 설치되며, 차량의 후방에는 제2 영상 인식장치(200)가 설치된다.
제1 영상 인식장치(100)는 전방 카메라(12)와, 전원부(110)와, 영상 처리부(120)와, 메모리(130)와, 영상 비교부(140)와, 인터페이스부(150)로 구성된다. 제2 영상 인식장치(200)는 후방 카메라(14)와, 전원부(210)와, 영상 처리부(220)와, 메모리(230)와, 영상 비교부(240)와, 인터페이스부(250)로 구성된다. 제1 영상 인식장치(100)와 제2 영상 인식장치(200)는 실질적으로 동일한 구성을 갖는다.
각 구성은 앞서 도 5를 참조하여 설명한 바와 동일한 기능을 수행한다. 다만, 영상 비교부(140, 240)는 각 영상 인식장치에서의 영상을 비교한다. 그리고, 영상 비교부(140, 240)의 비교 결과에 따라, 역광이 아닌(또는 역광의 정도가 낮은) 영상을 촬영한 영상 인식장치 측에서 차선 인식 결과를 LDWS(40)로 출력한다. 역광으로 판단되거나 역광의 정도가 높은 영상 인식장치 측은 차선 인식 결과를 출력하지 않고, 메모리에 저장할 수 있다. 메모리에 저장된 영상은 추후 차선 인식 결과가 불충분하거나 차선 인식 불능인 상태에서 호출되어 사용될 수 있을 것이다.
도 7의 실시예에서 각각의 영상 처리부(120, 220)가 카메라 센서로부터 취득한 정보로부터 역광을 판단하고, 전방 카메라(12)에서 촬영된 영상에 대하여 높은 임계값을 설정하는 것 등은 앞서 설명한 실시예와 동일하다.
위에서 개시된 발명은 기본적인 사상을 훼손하지 않는 범위 내에서 다양한 변형예가 가능하다. 즉, 위의 실시예들은 모두 예시적으로 해석되어야 하며, 한정적으로 해석되지 않는다. 따라서 본 발명의 보호범위는 상술한 실시예가 아니라 첨부된 청구항에 따라 정해져야 하며, 첨부된 청구항에 한정된 구성요소를 균등물로 치환한 경우 이는 본 발명의 보호범위에 속하는 것으로 보아야 한다.
5 : 노면 7 : 태양
10 : 차량 12 : 전방 카메라
14 : 후방 카메라 20 : 영상 인식장치
24 : 전원부 26 : 영상 처리부
28 : 메모리 30 : 영상신호 송수신부
32 : 인터페이스부 40 : 차선이탈 경보장치(LDWS)
100 : 제1 영상 인식장치 110 : 전원부
120 : 영상 처리부 130 : 메모리
140 : 영상 비교부 150 : 인터페이스부
200 : 제2 영상 인식장치 210 : 전원부
220 : 영상 처리부 230 : 메모리
240 : 영상 비교부 250 : 인터페이스부
10 : 차량 12 : 전방 카메라
14 : 후방 카메라 20 : 영상 인식장치
24 : 전원부 26 : 영상 처리부
28 : 메모리 30 : 영상신호 송수신부
32 : 인터페이스부 40 : 차선이탈 경보장치(LDWS)
100 : 제1 영상 인식장치 110 : 전원부
120 : 영상 처리부 130 : 메모리
140 : 영상 비교부 150 : 인터페이스부
200 : 제2 영상 인식장치 210 : 전원부
220 : 영상 처리부 230 : 메모리
240 : 영상 비교부 250 : 인터페이스부
Claims (11)
- 차량의 전방에 설치되어 차량 전방을 촬영하는 전방 카메라;
차량의 후방에 설치되어 차량 후방을 촬영하는 후방 카메라; 및
상기 전방 카메라에서 촬영된 영상 및 상기 후방 카메라에서 촬영된 영상 중 역광이 아닌 카메라의 영상으로부터 차선 인식을 처리하는 영상 처리부
를 포함하며,
상기 영상 처리부에서 역광을 판단하는 것은, 화면 밝기값을 카메라 센서의 노출값과 이득값의 곱으로 나눈 계산값이 소정 임계값 이상일 경우 역광으로 판단하며, 역광 판단시에 전방 카메라에서 촬영된 영상에 대한 임계값과 후방 카메라에서 촬영된 영상에 대한 임계값을 상이하게 설정하는 것을 특징으로 하는 반대향 카메라를 이용한 차선 인식장치. - 제1항에 있어서,
상기 영상 처리부는 전방 카메라에서 촬영된 영상에 우선순위를 부여하여, 전방 카메라에서 촬영된 영상이 역광이 아닌 경우에는 전방 카메라에서 촬영된 영상으로부터 차선 인식을 처리하고, 전방 카메라에서 촬영된 영상이 역광인 경우에만 후방 카메라에서 촬영된 영상으로부터 차선 인식을 처리하는 것을 특징으로 하는 반대향 카메라를 이용한 차선 인식장치. - 제1항에 있어서,
상기 영상 처리부는 전방 카메라에서 촬영된 영상과 후방 카메라에서 촬영된 영상 각각에 대하여 역광 여부를 판단하고, 역광이 아닌 영상으로부터 차선 인식을 처리하는 것을 특징으로 하는 반대향 카메라를 이용한 차선 인식장치. - 삭제
- 삭제
- 제1항에 있어서,
상기 영상 처리부는 역광 판단시에 전방 카메라에서 촬영된 영상에 대한 임계값을 후방 카메라에서 촬영된 영상에 대한 임계값에 비해 높게 설정하는 것을 특징으로 하는 반대향 카메라를 이용한 차선 인식장치. - 제1항에 있어서,
상기 후방 카메라는 차량에 기설치된 후방 주차 카메라인 것을 특징으로 하는 반대향 카메라를 이용한 차선 인식장치. - 차량의 전방에 설치되어 차량 전방을 촬영하는 전방 카메라와, 상기 전방 카메라에서 촬영된 영상으로부터 역광 여부를 판단하는 영상 처리부와, 상기 영상 처리부의 역광 판단 결과를 하기 제2 영상 인식장치와 비교하는 영상 비교부를 포함하는 제1 영상 인식장치; 및
차량의 후방에 설치되어 차량 후방을 촬영하는 후방 카메라와, 상기 후방 카메라에서 촬영된 영상으로부터 역광 여부를 판단하는 영상 처리부와, 상기 영상 처리부의 역광 판단 결과를 상기 제1 영상 인식장치와 비교하는 영상 비교부를 포함하는 제2 영상 인식장치
를 포함하며,
상기 영상 비교부의 비교 결과에 따라 역광의 정도가 낮은 영상 인식장치의 영상 처리부가 해당 영상으로부터 차선 인식을 처리하며,
상기 각각의 영상 처리부에서 역광을 판단하는 것은, 화면 밝기값을 카메라 센서의 노출값과 이득값의 곱으로 나눈 계산값이 소정 임계값 이상일 경우 역광으로 판단하며, 상기 제1 영상 인식장치에서 역광을 판단하는 임계값과 상기 제2 영상 인식장치에서 역광을 판단하는 임계값은 상이한 것을 특징으로 하는 반대향 카메라를 이용한 차선 인식장치. - 삭제
- 삭제
- 제8항에 있어서,
상기 제1 영상 인식장치에서 역광을 판단하는 임계값은 상기 제2 영상 인식장치에서 역광을 판단하는 임계값에 비해 높게 설정되는 것을 특징으로 하는 반대향 카메라를 이용한 차선 인식장치.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120062215A KR101244353B1 (ko) | 2012-06-11 | 2012-06-11 | 반대향 카메라를 이용한 차선 인식장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120062215A KR101244353B1 (ko) | 2012-06-11 | 2012-06-11 | 반대향 카메라를 이용한 차선 인식장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101244353B1 true KR101244353B1 (ko) | 2013-03-18 |
Family
ID=48182009
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120062215A KR101244353B1 (ko) | 2012-06-11 | 2012-06-11 | 반대향 카메라를 이용한 차선 인식장치 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101244353B1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11335085B2 (en) | 2019-07-05 | 2022-05-17 | Hyundai Motor Company | Advanced driver assistance system, vehicle having the same and method for controlling the vehicle |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060005428A (ko) * | 2004-07-12 | 2006-01-18 | 현대모비스 주식회사 | 자동차의 차선이탈 경고장치 |
JP2006232112A (ja) | 2005-02-25 | 2006-09-07 | Mazda Motor Corp | 車両の障害物認識装置 |
JP2010069921A (ja) * | 2008-09-16 | 2010-04-02 | Toyota Motor Corp | 車線認識装置 |
-
2012
- 2012-06-11 KR KR1020120062215A patent/KR101244353B1/ko active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060005428A (ko) * | 2004-07-12 | 2006-01-18 | 현대모비스 주식회사 | 자동차의 차선이탈 경고장치 |
JP2006232112A (ja) | 2005-02-25 | 2006-09-07 | Mazda Motor Corp | 車両の障害物認識装置 |
JP2010069921A (ja) * | 2008-09-16 | 2010-04-02 | Toyota Motor Corp | 車線認識装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11335085B2 (en) | 2019-07-05 | 2022-05-17 | Hyundai Motor Company | Advanced driver assistance system, vehicle having the same and method for controlling the vehicle |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11270134B2 (en) | Method for estimating distance to an object via a vehicular vision system | |
JP6540009B2 (ja) | 画像処理装置、画像処理方法、プログラム、画像処理システム | |
JP5846872B2 (ja) | 画像処理装置 | |
JP4926766B2 (ja) | 撮影範囲調節装置、撮影範囲調節方法及びコンピュータプログラム | |
US20040183939A1 (en) | Camera having AF function | |
US20120128340A1 (en) | Camera-based mobile communication device and method for controlling flashlight thereof | |
US20150145997A1 (en) | In-Vehicle Image Processing Device and Semiconductor Device | |
US20130162826A1 (en) | Method of detecting an obstacle and driver assist system | |
US12047716B2 (en) | Monitoring camera, camera parameter determining method and storage medium | |
US9077909B2 (en) | Strobe device, image photographing apparatus having the same, and method thereof | |
US20120128211A1 (en) | Distance calculation device for vehicle | |
KR101244353B1 (ko) | 반대향 카메라를 이용한 차선 인식장치 | |
US10609275B2 (en) | Image processing device, image processing method, and recording medium | |
JP4661934B2 (ja) | 画像処理装置 | |
US10841495B2 (en) | Vehicle camera device and exposure parameter setting method thereof | |
JP2015194388A (ja) | 撮像装置および撮像システム | |
KR20180095251A (ko) | 카메라 모니터링 시스템 및 이의 영상 보정 방법 | |
US20100123795A1 (en) | Image pickup apparatus and control method of the same | |
JP2008199525A (ja) | 車両用撮影装置 | |
KR102565627B1 (ko) | 차량 카메라 시스템 및 그 동작 방법 | |
KR20160122995A (ko) | 차량용 카메라 시스템 | |
JP7515983B2 (ja) | 霧状況検出システム、画像処理システム、及び、霧状況検出方法 | |
JP2014153299A (ja) | 車載撮影装置 | |
JP2002107614A (ja) | 電子カメラ | |
CN117584853A (zh) | 车辆及其控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
A302 | Request for accelerated examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20170308 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20180227 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20190305 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20200311 Year of fee payment: 8 |