KR20220130294A - 차량 카메라 렌즈 오염 검출 장치 및 그 방법 - Google Patents

차량 카메라 렌즈 오염 검출 장치 및 그 방법 Download PDF

Info

Publication number
KR20220130294A
KR20220130294A KR1020210034734A KR20210034734A KR20220130294A KR 20220130294 A KR20220130294 A KR 20220130294A KR 1020210034734 A KR1020210034734 A KR 1020210034734A KR 20210034734 A KR20210034734 A KR 20210034734A KR 20220130294 A KR20220130294 A KR 20220130294A
Authority
KR
South Korea
Prior art keywords
vehicle
camera
image
light
contamination
Prior art date
Application number
KR1020210034734A
Other languages
English (en)
Inventor
김장신
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020210034734A priority Critical patent/KR20220130294A/ko
Publication of KR20220130294A publication Critical patent/KR20220130294A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • H04N5/2171—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/14—Cruise control
    • B60Y2300/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량의 광원을 이용해 카메라 렌즈의 오염을 검출하는 장치 및 그 방법에 관한 것으로, 본 발명에 의하면, 차량의 주변에 빛을 조사하고, 빛이 조사되기 전의 차량의 주변 영상과 빛이 조사되는 중의 상기 차량의 주변 영상을 획득하고, 빛이 조사되기 전의 차량의 주변 영상과 빛이 조사되는 중의 차량의 주변 영상을 비교하여, 카메라의 렌즈에 오염이 존재하는지 여부를 판단할 수 있다. 본 발명을 통해, 차량의 광원을 이용해 밝기가 어두운 밤에 카메라 렌즈 오염의 검출이 어려운 것을 개선하는 효과를 제공할 수 있다.

Description

차량 카메라 렌즈 오염 검출 장치 및 그 방법{APPARATUS FOR DETECTING CONTAMINATION OF CAMERA LENS IN VEHICLE AND METHOD THEREOF}
본 발명은 차량 카메라 렌즈 오염 검출 장치 및 그 방법에 관한 것으로, 보다 상세하게는 차량의 광원을 이용해 카메라 렌즈의 오염을 검출하는 장치 및 그 방법에 관한 것이다.
현존하는 기술로, 카메라 영상의 히스토그램을 계산하여 기준값 이하이면 카메라의 오염으로 판단하는 방법이 있으나, 주행 중 영상이 계속 변화하는 자동차에는 적용이 어렵다. 또한, 현존하는 기술 중 카메라 영상을 주기적으로 취득하여 비교하고, 변경이 없는 영역이 임계치 이상이면 카메라 오염으로 판별하는 방식이 있으나, 주간에는 효과적인 반면, 어두운 야간에는 효과가 떨어진다. 현존하는 차량의 카메라의 렌즈에 존재하는 오염을 판별하는 기술은 주간 조건에 초점이 맞추어져 있다. 야간에는 어둡기 때문에, 렌즈의 오염을 판별하는 기술이 제대로 작동하지 않는 경우가 빈번하다. 하지만, 가까운 곳에 물체가 있다면 카메라는 그것을 인식할 필요가 있어, 카메라 렌즈의 오염은 어두운 조건에서도 지속적으로 검증되어야 한다. 카메라의 영상을 통해 차량 주변의 물체를 검출하는 기술이 이용되는 자율주행에 있어서, 카메라 렌즈에 오염이 존재하는 경우, 치명적인 오류를 유발할 수 있어, 카메라 렌즈의 오염을 검출하는 기술의 중요성은 더욱 부각된다.
따라서, 야간에도 이용될 수 있는 자율주행 기술에 있어서, 야간에 어두운 조건에서도 차량 카메라 렌즈의 오염을 판별할 수 있는 기술의 필요성이 대두된다.
본 발명의 실시 예는, 차량의 광원을 이용해 카메라 렌즈의 오염을 검출하는 장치 및 그 방법을 제공하고자 한다.
본 발명의 다른 실시 예는, 차량의 광원을 이용해 밝기가 어두운 밤에 카메라 렌즈 오염의 검출이 어려운 것을 개선하기 위한 차량 카메라 렌즈 오염 검출 장치 및 그 방법을 제공하고자 한다.
본 발명의 또 다른 실시 예는, 기존의 차량에 구비된 헤드라이트 등을 이용하여 추가 비용 없이 야간에도 정확도가 높은 카메라 렌즈 오염 검출을 제공하는 차량 카메라 렌즈 오염 검출 장치 및 그 방법을 제공하고자 한다.
본 발명의 또 다른 실시 예는, 야간에도 카메라 렌즈 오염을 정확하게 검출하여, 야간 자율주행에 있어서도 카메라 영상에 의해 주변 장애물의 판별이 가능하도록 하는 차량 카메라 렌즈 오염 검출 장치 및 그 방법을 제공하고자 한다.
본 발명의 또 다른 실시 예는, 카메라 렌즈 오염이 검출된 경우, 카메라 영상의 오염 부분을 다른 카메라의 영상으로 대체하여 복구할 수 있는 차량 카메라 렌즈 오염 검출 장치 및 그 방법을 제공하고자 한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시 예에 따른 차량 카메라 렌즈 오염 검출 장치는 차량의 주변에 빛을 조사하는 광원부, 상기 차량에 구비되어, 상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상을 획득하는 카메라, 및 상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상을 비교하여, 상기 카메라의 렌즈에 오염이 존재하는지 여부를 판단하는 제어부를 포함할 수 있다.
일 실시 예에 있어서, 상기 차량의 주변의 조도를 획득하는 센서부를 더 포함하고, 상기 제어부는, 상기 빛에 의한 상기 조도의 차이를 감지할 수 잇다고 판단되는 정도로 정해진 임계치를 초과하도록 상기 빛의 세기를 설정할 수 있다.
일 실시 예에 있어서, 상기 제어부는, 상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상이 기 설정된 기준에 따라 유사하다고 판단될 정도의 시간 간격으로, 상기 카메라를 통해 상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상을 획득할 수 있다.
일 실시 예에 있어서, 상기 제어부는, 상기 차량의 속도를 상기 차량의 주변 차량의 속도와 기 설정된 기준에 따라 유사하다고 판단되는 속도로 제어하며, 상기 카메라를 통해 상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상을 획득할 수 있다.
일 실시 예에 있어서, 상기 제어부는, 상기 차량의 주변 차량이 존재하지 않는 경우, 상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상을 기 설정된 기준에 따라 비교할 수 있다고 판단되는 정도까지 상기 차량의 속도를 감소시키며, 상기 카메라를 통해 상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상을 획득할 수 있다.
일 실시 예에 있어서, 상기 제어부는, 상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상의 픽셀값의 차이를 기반으로 상기 카메라의 렌즈에 오염이 존재하는지 여부를 판단할 수 있다.
일 실시 예에 있어서, 상기 차량의 주변의 조도를 획득하고, 강우 여부를 획득하는 센서부를 더 포함하고, 상기 제어부는, 상기 조도가 임계치보다 낮고, 상기 강우 여부가 강우 상태가 아닌 것으로 판단되는 조건에서, 상기 카메라의 렌즈에 대한 오염의 검출을 수행할 수 있다.
일 실시 예에 있어서, 상기 제어부는, 주기적으로, 상기 카메라의 렌즈에 대한 오염의 검출을 수행하거나, 상기 카메라의 영상을 통한 장애물 감지 여부와 상기 차량에 구비된 센서를 통한 장애물 감지 여부가 다르다고 판단되는 시점에 상기 카메라의 렌즈에 대한 오염의 검출을 수행하거나, 또는 상기 차량의 주행 중에 상기 카메라를 통해 획득한 영상의 변화가 없다고 판단되는 시점에 상기 카메라의 렌즈에 대한 오염의 검출을 수행할 수 있다.
일 실시 예에 있어서, 상기 제어부는, 내비게이션 지도 정보 및 상기 차량에 구비된 센서 중 적어도 하나 이상을 통해, 상기 광원부에서 조사되는 빛이 도달하는 거리에 물체가 존재한다고 판단되는 조건에서, 상기 카메라의 렌즈에 대한 오염의 검출을 수행할 수 있다.
일 실시 예에 있어서, 상기 제어부는, 상기 차량이, 기 설정된 기준에 따라 상기 광원부에서 조사되는 빛이 도달하는 거리에 있는 주변 차량과 근접하다고 판단되는 거리를 유지하도록 상기 차량을 자율 주행 제어하며, 상기 카메라의 렌즈에 대한 오염의 검출을 수행할 수 있다.
일 실시 예에 있어서, 상기 제어부는, 상기 카메라의 렌즈에 오염이 존재하는 것으로 판단된 경우, 상기 카메라의 렌즈에 오염이 존재한다는 내용을 포함하는 알림을 사용자에게 출력하고, 상기 카메라의 영상에 오염이 존재하는 부분에 대한 정보를 상기 카메라의 영상을 사용하는 상기 차량의 시스템에 전달할 수 있다.
일 실시 예에 있어서, 상기 제어부는, 상기 카메라의 영상에 오염이 존재하는 부분을 상기 차량의 다른 카메라에서 촬영된 영상을 통해 복원할 수 있다.
본 발명의 다른 일 실시 예에 따른 차량 카메라 렌즈 오염 검출 방법은 차량의 주변에 빛을 조사하는 단계, 상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상을 획득하는 단계, 및 상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상을 비교하여, 상기 카메라의 렌즈에 오염이 존재하는지 여부를 판단하는 단계를 포함할 수 있다.
일 실시 예에 있어서, 상기 차량의 주변의 조도를 획득하는 단계를 더 포함하고, 차량의 주변에 빛을 조사하는 단계는, 상기 빛에 의한 상기 조도의 차이를 감지할 수 있다고 판단되는 정도로 정해진 임계치를 초과하도록 상기 빛의 세기를 설정하는 단계를 포함할 수 있다.
일 실시 예에 있어서, 상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상을 획득하는 단계는, 상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상이 기 설정된 기준에 따라 유사하다고 판단될 정도의 시간 간격으로, 상기 카메라를 통해 상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상을 획득하는 단계를 포함할 수 있다.
일 실시 예에 있어서, 상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상을 획득하는 단계는, 상기 차량의 속도를 상기 차량의 주변 차량의 속도와 기 설정된 기준에 따라 유사하다고 판단되는 속도로 제어하며, 상기 카메라를 통해 상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상을 획득하는 단계를 포함할 수 있다.
일 실시 예에 있어서, 상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상을 비교하여, 상기 카메라의 렌즈에 오염이 존재하는지 여부를 판단하는 단계는, 상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상의 픽셀값의 차이를 기반으로 상기 카메라의 렌즈에 오염이 존재하는지 여부를 판단하는 단계를 포함할 수 있다.
일 실시 예에 있어서, 주기적으로, 상기 카메라의 렌즈에 대한 오염의 검출을 수행하거나, 상기 카메라의 영상을 통한 장애물 감지 여부와 상기 차량에 구비된 센서를 통한 장애물 감지 여부가 다르다고 판단되는 시점에 상기 카메라의 렌즈에 대한 오염의 검출을 수행하거나, 또는 상기 차량의 주행 중에 상기 카메라를 통해 획득한 영상의 변화가 없다고 판단되는 시점에 상기 카메라의 렌즈에 대한 오염의 검출을 수행하는 단계를 더 포함할 수 있다.
일 실시 예에 있어서, 상기 차량이, 기 설정된 기준에 따라 상기 광원부에서 조사되는 빛이 도달하는 거리에 있는 주변 차량과 근접하다고 판단되는 거리를 유지하도록 상기 차량을 자율 주행 제어하며, 상기 카메라의 렌즈에 대한 오염의 검출을 수행하는 단계를 더 포함할 수 있다.
일 실시 예에 있어서, 상기 카메라의 렌즈에 오염이 존재한다는 내용을 포함하는 알림을 사용자에게 출력하는 단계, 상기 카메라의 영상에 오염이 존재하는 부분에 대한 정보를 상기 카메라의 영상을 사용하는 상기 차량의 시스템에 전달하는 단계, 및 상기 카메라의 영상에 오염이 존재하는 부분을 상기 차량의 다른 카메라에서 촬영된 영상을 통해 복원하는 단계를 더 포함할 수 있다.
본 발명에 따른 차량 카메라 렌즈 오염 검출 장치 및 그 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 차량의 광원을 이용해 카메라 렌즈의 오염을 검출하는 장치 및 그 방법을 제공할 수 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 차량의 광원을 이용해 밝기가 어두운 밤에 카메라 렌즈 오염의 검출이 어려운 것을 개선하기 위한 차량 카메라 렌즈 오염 검출 장치 및 그 방법을 제공할 수 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 기존의 차량에 구비된 헤드라이트 등을 이용하여 추가 비용 없이 야간에도 정확도가 높은 카메라 렌즈 오염 검출을 제공하는 차량 카메라 렌즈 오염 검출 장치 및 그 방법을 제공할 수 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 야간에도 카메라 렌즈 오염을 정확하게 검출하여, 야간 자율주행에 있어서도 카메라 영상에 의해 주변 장애물의 판별이 가능하도록 하는 차량 카메라 렌즈 오염 검출 장치 및 그 방법을 제공할 수 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 카메라 렌즈 오염이 검출된 경우, 카메라 영상의 오염 부분을 다른 카메라의 영상으로 대체하여 복구할 수 있는 차량 카메라 렌즈 오염 검출 장치 및 그 방법을 제공할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 차량 카메라 렌즈 오염 검출 장치를 나타내는 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 차량 카메라 렌즈 오염 검출 장치와 차량의 다른 장치를 나타내는 도면이다.
도 3은 본 발명의 일 실시 예에 따른 차량 카메라 렌즈 오염 검출 장치의 카메라가 촬영하는 영역을 나타내는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 차량 카메라 렌즈 오염 검출 장치가 두 개의 영상을 비교하여 카메라 렌즈의 오염을 판단하는 것을 나타내는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 차량 카메라 렌즈 오염 검출 방법을 나타내는 흐름도이다.
도 6은 본 발명의 다른 일 실시 예에 따른 차량 카메라 렌즈 오염 검출 방법을 나타내는 흐름도이다.
이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면 상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 도 1 내지 도 6을 참조하여, 본 발명의 실시 예들을 구체적으로 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 차량 카메라 렌즈 오염 검출 장치를 나타내는 블록도이다.
도 1을 참조하면, 차량 카메라 렌즈 오염 검출 장치(100)는 광원부(110), 카메라(120) 및 제어부(130)를 포함할 수 있다.
본 발명에 따른 차량 카메라 렌즈 오염 검출 장치(100)는 차량의 내부 또는 외부에 구현될 수 있다. 이때, 차량 카메라 렌즈 오염 검출 장치(100)는 차량의 내부 제어 유닛들과 일체로 형성될 수 있으며, 별도의 하드웨어 장치로 구현되어 연결 수단에 의해 차량의 제어 유닛들과 연결될 수도 있다.
일 예로, 차량 카메라 렌즈 오염 검출 장치(100)는 차량과 일체로 구현될 수도 있고, 차량과 별개의 구성으로 차량에 설치/부착되는 형태로 구현될 수도 있고, 또는 일부는 차량과 일체로 구현되고, 다른 일부는 차량과 별개의 구성으로 차량에 설치/부착되는 형태로 구현될 수도 있다.
광원부(110)는 차량의 주변에 빛을 조사할 수 있다.
일 예로, 광원부(110)는 차량의 전조등 시스템을 포함할 수 있다.
일 예로, 광원부(110)는 차량의 전조등 시스템을 통해, 차량의 헤드 라이트 불빛, 하이빔(High Beam), AFLS(Adaptive Front Lighting System) 등의 광원을 이용해서 차량의 주변에 빛을 조사할 수 있다.
광원부(110)는 바람직하게는, 전조등을 포함하여 구현될 수 있으나, 이에 한정되는 것은 아니고, 차량에 구비된 상향등, 하향등, 안개등, 방향지시등 등을 포함하여 구현될 수도 있다.
일 예로, 광원부(110)는 카메라(120)의 화각에 따른 촬영 범위에 빛을 조사하도록 구현될 수 있다.
일 예로, 광원부(110)는 카메라(120)가 렌즈 오염 검출을 위해 영상을 촬영하는 시간 동안 빛을 조사하도록 구현될 수 있다.
일 예로, 광원부(110)는 카메라(120)가 렌즈 오염 검출을 위해 영상을 촬영하는 시간 동안 차량의 헤드 라이트 불빛, 하이빔 등의 광원을 집중시켜 빛을 조사할 수 있다.
카메라(120)는 차량에 구비되어, 빛이 조사되기 전의 차량의 주변 영상과 빛이 조사되는 중의 차량의 주변 영상을 획득할 수 있다.
일 예로, 카메라(120)는 차량의 SVM(Surround View Monitor) 카메라, DVRS(Digital Video Recording System) 카메라, CMS(Camera Monitor System) 카메라, 또는 차선 검출 카메라를 포함할 수 있다.
일 예로, 카메라(120)는 제어부(130)와 연결되어, 획득한 영상을 제어부(130)에 전달할 수 있다.
일 예로, 카메라(120)는 빛이 조사되기 전의 차량의 주변 영상과 빛이 조사되는 중의 차량의 주변 영상이 기 설정된 기준에 따라 유사하다고 판단될 정도로 짧은 시간 간격으로, 빛이 조사되기 전의 차량의 주변 영상과 빛이 조사되는 중의 차량의 주변 영상을 획득할 수 있다.
제어부(130)는 각 구성요소들이 제 기능을 정상적으로 수행할 수 있도록 전반적인 제어를 수행할 수 있다. 이러한 제어부(130)는 하드웨어의 형태로 구현되거나, 소프트웨어의 형태로 구현되거나, 또는 하드웨어 및 소프트웨어가 결합된 형태로 구현될 수 있다. 바람직하게는, 제어부(130)는 마이크로프로세서로 구현될 수 있으나 이에 한정되는 것은 아니다. 또한, 제어부(120)는 후술하는 다양한 데이터 처리 및 계산 등을 수행할 수 있다.
제어부(130)는 빛이 조사되기 전의 차량의 주변 영상과 빛이 조사되는 중의 차량의 주변 영상을 비교하여, 카메라(120)의 렌즈에 오염이 존재하는지 여부를 판단할 수 있다.
만약, 카메라(120)의 렌즈에 오염이 있는 부분이 있다면, 어두운 조건(빛이 조사되기 전)의 영상과 밝은 조건(빛이 조사되는 중)의 영상에서 오염이 있는 부분은 빛에 의한 영향이 없을 것이므로, 어두운 조건의 영상과 밝은 조건의 영상을 비교하여 카메라(120)의 렌즈에 오염이 존재하는지 여부를 판단할 수 있다.
일 예로, 제어부(130)는 빛이 조사되기 전의 차량의 주변 영상과 빛이 조사되는 중의 차량의 주변 영상의 픽셀값의 차이를 기반으로 카메라(120)의 렌즈에 오염이 존재하는지 여부를 판단할 수 있다.
제어부(130)가 빛이 조사되기 전의 차량의 주변 영상과 빛이 조사되는 중의 차량의 주변 영상의 픽셀값의 차이를 기반으로 카메라(120)의 렌즈에 오염이 존재하는지 여부를 판단하는 과정은 도 4에서 구체적으로 설명하기로 한다.
제어부(130)는 빛이 조사되기 전의 차량의 주변 영상과 빛이 조사되는 중의 차량의 주변 영상이 기 설정된 기준에 따라 유사하다고 판단될 정도로 짧은 시간 간격으로, 카메라를 통해 빛이 조사되기 전의 차량의 주변 영상과 빛이 조사되는 중의 차량의 주변 영상을 획득할 수 있다.
일 예로, 기 설정된 기준에 따라 두 영상이 유사하다고 판단될 정도로 짧은 시간 간격은 0.1초로 정해질 수 있다.
여기서, 0.1초라는 시간 간격은 예시를 들기 위해 임의로 정해진 값이며, 실제로는 두 영상이 유사하다고 판단될 정도로 짧은 다른 값으로 정해질 수 있다.
카메라(120)를 통해 두 개의 영상을 획득하는 시간 간격이 너무 길어지는 경우, 주행에 따른 영상 변화에 의해 렌즈 오염 검출 결과가 부정확해질 수 있으므로, 제어부(130)는 두 개의 영상이 기 설정된 기준에 따라 유사하다고 판단될 정도로 짧은 시간 간격으로 카메라(120)를 통해 두 개의 영상을 획득할 수 있다.
또한, 짧은 시간 간격으로 렌즈 오염 검출을 위한 영상을 획득함으로써, 광원부(110)를 통해 빛이 조사되는 시간을 최소화하여 차량 주변에 빛이 미치는 영향을 최소화할 수 있다.
또한, 제어부(130)는 차량의 속도를 차량의 주변 차량의 속도와 기 설정된 기준에 따라 유사하다고 판단되는 속도로 제어하며, 카메라(120)를 통해 빛이 조사되기 전의 차량의 주변 영상과 빛이 조사되는 중의 차량의 주변 영상을 획득할 수 있다.
일 예로, 기 설정된 기준에 따라 주변 차량의 속도와 유사하다고 판단되는 속도는 주변 차량의 속도와 차이가 10km/h 이내인 속도로 정해질 수 있다.
여기서, 주변 차량의 속도와 차이가 10km/h 이내인 속도는 예시를 들기 위해 임의로 정한 값이며, 실제로는 주변 차량의 속도와 유사하다고 판단되는 다른 속도로 정해질 수 있다.
차량의 속도가 주변 차량의 속도와 차이가 나는 경우, 카메라(120)를 통해 두 개의 영상을 취득하는 시간 차이에 따른 영상 변화에 의해, 렌즈 오염 검출 결과가 부정확해질 수 있으므로, 제어부(130)는 차량의 속도를 차량의 주변 차량의 속도와 기 설정된 기준에 따라 유사하다고 판단되는 속도로 제어하며, 카메라(120)를 통해 연속된 두 개의 영상을 획득할 수 있다.
일 예로, 제어부(130)는 차량의 자율주행 시스템을 통해, 차량의 속도를 주변 차량의 속도와 기 설정된 기준에 따라 유사하다고 판단되는 속도로 제어할 수 있다.
또한, 제어부(130)는 차량의 주변 차량이 존재하지 않는 경우, 빛이 조사되기 전의 차량의 주변 영상과 빛이 조사되는 중의 차량의 주변 영상을 기 설정된 기준에 따라 비교할 수 있다고 판단되는 정도까지 차량의 속도를 감소시키며, 카메라(120)를 통해 빛이 조사되기 전의 차량의 주변 영상과 빛이 조사되는 중의 차량의 주변 영상을 획득할 수 있다.
일 예로, 두 영상을 기 설정된 기준에 따라 비교할 수 있다고 판단되는 정도의 차량 속도는 10km/h 이내로 정해질 수 있다.
여기서, 10km/h 이내라는 값은 예시를 들기 위해 임의로 정한 값이며, 실제로는 두 영상을 기 설정된 기준에 따라 비교할 수 있다고 판단되는 느린 속도로 정해질 수 있다.
차량의 속도가 너무 빠른 경우, 카메라(120)를 통해 두 개의 영상을 취득하는 시간 차이에 따른 영상 변화에 의해, 렌즈 오염 검출 결과가 부정확해질 수 있으므로, 제어부(130)는 차량의 속도를 두 개의 영상을 기 설정된 기준에 따라 비교할 수 있다고 판단되는 정도까지 감소시키며, 카메라(120)를 통해 연속된 두 개의 영상을 획득할 수 있다.
제어부(130)는 카메라(120)의 영상에 오염이 존재하는 부분을 차량의 다른 카메라에서 촬영된 영상을 통해 복원할 수 있다.
일 예로, 제어부(130)는 카메라(120)의 영상에 오염이 존재하는 부분이 다른 카메라에서 촬영한 부분과 중첩되는 경우, 카메라(120)의 영상 중 오염이 존재하고 중첩되는 부분을 다른 카메라의 영상으로 치환하여 복원할 수 있다
이 과정에서, 메모리에 미리 차량 카메라 간의 중첩되는 영상 촬영 영역에 대한 정보가 저장되어 있을 수 있고, 제어부(130)는 메모리에 저장된 차량 카메라 간의 중첩되는 영상 촬영 영역에 대한 정보를 기반으로 카메라(120)의 영상에 오염이 존재하는 부분이 다른 카메라에서 촬영한 부분과 중첩되는지 여부를 판단할 수 있다.
차량 카메라 간의 중첩되는 영상 촬영 영역에 관해서는 도 3을 통해 설명하기로 한다.
도 2는 본 발명의 일 실시 예에 따른 차량 카메라 렌즈 오염 검출 장치와 차량의 다른 장치를 나타내는 도면이다.
차량 센서(201)는 차량에 구비되어, 제어부(203)와 연결되어 있고, 무선 또는 유선 통신을 통해, 직접 또는 간접적으로 정보를 송수신할 수 있다.
일 예로, 차량 센서(201)는 레이다(Radar), 라이다(Lidar), 초음파 센서 등을 포함할 수 있다.
일 예로, 차량 센서(201)는 차량 주변에 물체가 있는지 여부를 감지할 수 있고, 제어부(203)에 차량 주변에 물체가 있는지 여부에 대한 정보를 송신할 수 있다.
카메라(202)는 차량에 구비되어, 제어부(203)와 연결되어 있고, 무선 또는 유선 통신을 통해, 직접 또는 간접적으로 정보를 송수신할 수 있다.
일 예로, 카메라(202)는 차량에 구비되어, 광원부(207)에 의한 빛이 조사되기 전의 차량의 주변 영상과 빛이 조사되는 중의 차량의 주변 영상을 획득할 수 있다.
제어부(203)는 차량 센서(201), 카메라(202), 센서부(204), 광원부(207), 카메라 영상 사용 주변 장치(208), 카메라 세정 장치(209) 및 알림 장치(210) 중 적어도 하나 이상과 연결되어 있고, 무선 또는 유선 통신을 통해, 직접 또는 간접적으로 정보를 송수신할 수 있다.
제어부(203)는 빛에 의한 조도의 차이를 감지할 수 있다고 판단되는 정도로 정해진 임계치를 초과하도록, 광원부(207)를 통해 조사되는 빛의 세기를 설정할 수 있다.
일 예로, 제어부(203)는 센서부(204)가 감지한 조도가 높을수록 광원부(207)를 통해 조사되는 빛의 세기를 높게 조절하여, 광원부(207)의 빛에 의한 조도 변화를 감지할 수 있도록 할 수 있다.
즉, 빛에 의한 조도의 차이를 감지할 수 있다고 판단되는 정도로 정해진 임계치는 센서부(204)가 감지한 조도가 높을수록 높게 정해질 수 있다.
제어부(203)는 카메라(202)의 렌즈에 오염이 존재하는지 여부를 점검할 시점을 결정할 수 있다.
일 예로, 제어부(203)는 센서부(204)를 통해 감지한 조도가 임계치보다 낮고, 센서부(204)를 통해 감지한 강우 여부가 강우 상태가 아닌 것으로 판단되는 조건에서, 카메라(202)의 렌즈에 대한 오염의 검출을 수행할 수 있다.
제어부(203)는 차량의 광원을 이용해서 두 개의 영상의 밝기 차이를 비교하여 렌즈의 오염을 검출하므로, 조도가 임계치보다 높은 경우에는 렌즈의 오염 검출 결과가 부정확해질 수 있어, 조도가 임계치보다 낮은 조건에서 카메라(202)의 렌즈에 대한 오염의 검출을 수행할 수 있다.
일 예로, 임계치는 광원에 의한 빛의 유무에 따라 영상의 비교를 통한 렌즈 오염의 검출이 가능하다고 판단되는 기준이 되는 조도를 기반으로 설정된 값일 수 있다.
또한, 제어부(203)는 빗방울이 카메라(202)에 맺히면 빛에 의한 밝기가 줄어 렌즈 오염 검출 결과가 부정확해질 수 있어, 강우 상태가 아닌 것으로 판단되는 조건에서, 카메라(202)의 렌즈에 대한 오염의 검출을 수행할 수 있다.
제어부(203)는 주기적으로, 카메라(202)의 렌즈에 대한 오염의 검출을 수행하거나, 카메라(202)의 영상을 통한 장애물 감지 여부와 차량 센서(201)를 통한 장애물 감지 여부가 다르다고 판단되는 시점에 카메라(202)의 렌즈에 대한 오염의 검출을 수행하거나, 또는 차량의 주행 중에 카메라(202)를 통해 획득한 영상의 변화가 없다고 판단되는 시점에 카메라(202)의 렌즈에 대한 오염의 검출을 수행할 수 있다.
일 예로, 제어부(203)는 미리 정해진 특정 주기마다 광원부(207)의 빛에 따른 두 개의 영상을 비교하여, 카메라(202)의 렌즈에 대한 오염의 검출을 수행할 수 있다.
일 예로, 제어부(203)는 카메라(202)의 영상을 통해 감지한 차량 주변 장애물의 유무, 움직임 또는 종류를 판단한 결과와 차량 센서(201)를 통해 감지한 차량 주변 장애물의 유무, 움직임 또는 종류를 비교하여 다른 경우, 광원부(207)의 빛에 따른 두 개의 영상을 비교하여, 카메라(202)의 렌즈에 대한 오염의 검출을 수행할 수 있다.
일 예로, 제어부(203)는 카메라(202)를 통해 획득한 영상이 차량이 주행 중인데도 변화가 없는 경우, 광원부(207)의 빛에 따른 두 개의 영상을 비교하여, 카메라(202)의 렌즈에 대한 오염의 검출을 수행할 수 있다.
제어부(203)는 내비게이션 지도 정보 및 차량 센서(201) 중 적어도 하나 이상을 통해, 광원부(207)에서 조사되는 빛이 도달하는 거리에 물체가 존재한다고 판단되는 조건에서, 카메라(202)의 렌즈에 대한 오염의 검출을 수행할 수 있다.
광원부(207)에서 조사되는 빛이 도달하여 반사될 수 있는 거리에 물체가 존재하지 않으면, 빛의 유무에 따라서 영상의 변화가 적어, 두 개의 영상을 비교하여 오염을 검출하는 것이 정확하지 않을 수 있다.
따라서, 제어부(203)는 내비게이션 지도 정보, 통신 또는 차량 센서(201) 등을 통해 차량 주변에 가능하면 큰 물체가 영상 화면에 포함되도록 하는 조건에서 카메라(202)의 렌즈에 대한 오염의 검출을 수행할 수 있다.
일 예로, 제어부(203)는 내비게이션 지도 정보, 통신 또는 차량 센서(201) 등을 통해 차량, 교통 표지판 등의 위치를 확인하고, 차량, 교통 표지판 등이 많은 곳에서 카메라(202)를 통해 획득한 영상을 비교하여 카메라(202)의 렌즈 오염을 검출할 수 있다.
제어부(130)는 차량이, 기 설정된 기준에 따라 광원부(207)에서 조사되는 빛이 도달하는 거리에 있는 주변 차량과 근접하다고 판단되는 거리를 유지하도록 차량을 자율 주행 제어하며, 카메라(202)의 렌즈에 대한 오염의 검출을 수행할 수 있다.
일 예로, 차량이, 기 설정된 기준에 따라 광원부에서 조사되는 빛이 도달하는 거리에 있는 주변 차량과 근접하다고 판단되는 거리는 20m로 정해질 수 있다.
여기서, 20m라는 거리는 예시를 들기 위해 임의로 정해진 값이며, 실제로는 차량이, 기 설정된 기준에 따라 광원부에서 조사되는 빛이 도달하는 거리에 있는 주변 차량과 근접하다고 판단되는 거리로 정해질 수 있다.
일 예로, 제어부(203)는 차량의 자율 주행 시스템을 통해, 기 설정된 기준에 따라 광원부(207)에서 조사되는 빛이 도달하는 거리에 있는 주변 차량과 근접하다고 판단되는 거리를 유지하도록 차량을 자율 주행 제어할 수 있다.
제어부(203)는 카메라(202)의 렌즈에 오염이 존재하는 것으로 판단된 경우, 카메라(202)의 렌즈에 오염이 존재한다는 내용을 포함하는 알림을 사용자에게 출력하고, 카메라(202)의 영상에 오염이 존재하는 부분에 대한 정보를 카메라 영상 사용 주변 장치(208)에 전달할 수 있다.
일 예로, 제어부(203)는 카메라(202)의 렌즈에 오염이 존재하는 것으로 판단된 경우, 알림 장치(210)를 통해 카메라(202)의 렌즈에 오염이 존재한다는 내용을 포함하는 알림을 사용자에게 출력할 수 있다.
센서부(204)는 조도 센서(205) 및 레인 센서(206) 중 적어도 하나 이상을 포함할 수 있다.
또한, 센서부(204)는 차량에 구비되어, 제어부(203)와 연결되어 있고, 무선 또는 유선 통신을 통해, 직접 또는 간접적으로 정보를 송수신할 수 있다.
일 예로, 센서부(204)는 조도 센서(205)를 통해 차량 주변의 조도를 획득할 수 있다.
일 예로, 센서부(204)는 레인 센서(206)를 통해 강우 여부를 획득할 수 있다.
광원부(207)는 차량 주변에 빛을 조사할 수 있다.
일 예로, 광원부(207)는 차량의 전조등 시스템, 헤드 라이트 불빛, 하이빔, AFLS, 상향등, 하향등, 안개등 및 방향지시등 중 적어도 하나 이상을 포함할 수 있고, 제어부(203)에 의해 제어되어, 차량 주변에 빛을 조사할 수 있다.
카메라 영상 사용 주변 장치(208)는 카메라(202)를 통해 촬영된 영상을 분석하여 차량 주변의 장애물의 유무, 움직임 또는 종류 등을 파악하는 차량의 자율 주행 시스템의 일부일 수 있다.
카메라 영상 사용 주변 장치(208)는 제어부(203)와 연결되어 있고, 무선 또는 유선 통신을 통해, 직접 또는 간접적으로 정보를 송수신할 수 있다.
일 예로, 카메라 영상 사용 주변 장치(208)는 제어부(203)를 통해 카메라(202)의 영상에 오염이 존재하는 부분에 대한 정보를 전달받으면, 오염이 존재하는 부분에 대한 데이터를 사용하지 않아, 차량 시스템의 오류를 방지할 수 있다.
또한, 카메라 영상 사용 주변 장치(208)는 제어부(203)를 통해 카메라(202)의 영상에 오염이 존재하는 부분에 대한 정보를 전달받으면, 영상의 복원을 요청하거나, 차량의 다른 센서를 통해 주변 장애물을 감지할 수도 있다.
카메라 세정 장치(209)는 카메라(202)의 렌즈에 워셔액을 분사하거나, 또는 와이퍼 등의 작동을 통해 카메라(202)의 렌즈를 세척할 수 있다.
카메라 세정 장치(209)는 제어부(203)와 연결되어 있고, 무선 또는 유선 통신을 통해, 직접 또는 간접적으로 정보를 송수신할 수 있다.
일 예로, 카메라 세정 장치(209)는 제어부(203)를 통해 카메라(202)의 영상에 오염이 존재하는 부분에 대한 정보를 전달받으면, 카메라(202)의 렌즈 세척을 수행할 수 있다.
알림 장치(210)는 카메라(202)의 렌즈에 오염이 존재한다는 내용을 포함하는 알림을 사용자에게 출력할 수 있다.
일 예로, 알림 장치(210)는 제어부(203)와 연결되어 있고, 무선 또는 유선 통신을 통해, 직접 또는 간접적으로 정보를 송수신할 수 있다.
일 예로, 알림 장치(210)는 햅틱, 경고음, 경고 표시 등을 통해, 촉각, 청각, 시각 등을 이용하여, 카메라(202)의 렌즈에 오염이 존재한다는 내용을 포함하는 알림을 사용자에게 출력할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 차량 카메라 렌즈 오염 검출 장치의 카메라가 촬영하는 영역을 나타내는 도면이다.
도 3을 참조하면, 각각의 차량 카메라의 화각에 따라 촬영할 수 있는 범위가 표시되어 있다.
차량에 구비된 카메라는 전방 SVM 카메라(301), 후방 SVM 카메라(302), 정면 DVRS 카메라(303), 후면 DVRS 카메라(304), 좌측 전방 CMS 카메라(305), 우측 전방 CMS 카메라(306), 좌측 후방 CMS 카메라(307) 및 우측 후방 CMS 카메라(308)를 포함할 수 있다.
표시된 영역 중 ①은 1개의 카메라의 화각 범위에 해당하는 영역을 나타낸 것일 수 있다.
일 예로, ① 영역은 전방 SVM 카메라(301)의 화각 범위에만 해당하는 영역, 후방 SVM 카메라(302)의 화각 범위에만 해당하는 영역, 좌측 전방 CMS 카메라(305)의 화각 범위에만 해당하는 영역, 우측 전방 CMS 카메라(306)의 화각 범위에만 해당하는 영역, 좌측 후방 CMS 카메라(307)의 화각 범위에만 해당하는 영역 및 우측 후방 CMS 카메라(308)의 화각 범위에만 해당하는 영역을 포함할 수 있다.
일 예로, ② 영역은 정면 DVRS 카메라(303)의 화각 범위와 좌측 전방 CMS 카메라(305)의 화각 범위가 중첩된 영역, 정면 DVRS 카메라(303)의 화각 범위와 우측 전방 CMS 카메라(306)의 화각 범위가 중첩된 영역, 후면 DVRS 카메라(304)의 화각 범위와 좌측 후방 CMS 카메라(307)의 화각 범위가 중첩된 영역, 후면 DVRS 카메라(303)의 화각 범위와 우측 후방 CMS 카메라(308)의 화각 범위가 중첩된 영역, 좌측 전방 CMS 카메라(305)의 화각 범위와 좌측 후방 CMS 카메라(307)의 화각 범위가 중첩된 영역, 및 우측 전방 CMS 카메라(306)의 화각 범위와 우측 후방 CMS 카메라(308)의 화각 범위가 중첩된 영역을 포함할 수 있다.
일 예로, ③ 영역은 전방 SVM 카메라(301), 정면 DVRS 카메라(303), 좌측 전방 CMS 카메라(305)의 화각 범위가 중첩된 영역, 전방 SVM 카메라(301), 정면 DVRS 카메라(303), 우측 전방 CMS 카메라(306)의 화각 범위가 중첩된 영역, 후방 SVM 카메라(302), 후면 DVRS 카메라(304), 좌측 후방 CMS 카메라(307)의 화각 범위가 중첩된 영역, 및 후방 SVM 카메라(302), 후면 DVRS 카메라(304), 우측 후방 CMS 카메라(308)의 화각 범위가 중첩된 영역을 포함할 수 있다.
일 예로, ④ 영역은 전방 SVM 카메라(301), 정면 DVRS 카메라(303), 좌측 전방 CMS 카메라(305), 우측 전방 CMS 카메라(306)의 화각 범위가 중첩된 영역, 및 후방 SVM 카메라(302), 후면 DVRS 카메라(304), 좌측 후방 CMS 카메라(307), 우측 후방 CMS 카메라(308)의 화각 범위가 중첩된 영역을 포함할 수 있다.
차량 카메라 렌즈 오염 검출 장치(100)는 카메라의 영상에 오염이 존재하는 부분을 차량의 다른 카메라에서 촬영된 영상을 통해 복원할 수 있다.
차량 카메라 렌즈 오염 검출 장치(100)는 기 저장되어 있는 ① 영역, ② 영역, ③ 영역, 및 ④ 영역에 대한 정보를 기반으로, 카메라의 영상에 오염이 존재하는 부분을 차량의 다른 카메라에서 촬영된 영상으로 치환하여 복원할 수 있다.
① 영역, ② 영역, ③ 영역, 및 ④ 영역에 대한 정보는 차량 개발 시에 메모리에 저장될 수 있다.
도 3은 2차원으로 도시되어 있지만, 실제 정보는 차량은 3차원 영역에 대한 정보가 메모리에 저장되어 있을 수 있다.
도 4는 본 발명의 일 실시 예에 따른 차량 카메라 렌즈 오염 검출 장치가 두 개의 영상을 비교하여 카메라 렌즈의 오염을 판단하는 것을 나타내는 도면이다.
차량 카메라 렌즈 오염 검출 장치(100)는 빛이 조사되기 전의 차량의 주변 영상(401) 및 빛이 조사되는 중의 차량의 주변 영상(402)를 통해 카메라의 렌즈에 오염이 존재하는지 여부를 판단할 수 있다.
일 예로, 차량 카메라 렌즈 오염 검출 장치(100)는 빛이 조사되기 전의 차량의 주변 영상(401) 및 빛이 조사되는 중의 차량의 주변 영상(402)을 비교하여, 기 설정된 기준에 따라 차이가 없다고 판단되는 영역을 조사하고, 각 픽셀값의 차이가 임계치보다 낮으면 카메라의 렌즈에 오염이 존재하는 것으로 판정할 수 있다.
일 예로, 차량 카메라 렌즈 오염 검출 장치(100)는 빛이 조사되기 전의 차량의 주변 영상(401)에서 기 설정된 기준에 따라 차이가 없다고 판단되는 영역(404)을 산출하고, 빛이 조사되는 중의 차량의 주변 영상(402)에서 기 설정된 기준에 따라 차이가 없다고 판단되는 영역(404)을 산출할 수 있다.
또한, 차량 카메라 렌즈 오염 검출 장치(100)는 빛이 조사되기 전의 차량의 주변 영상(401)의 픽셀값에서 빛이 조사되는 중의 차량의 주변 영상(402)의 픽셀값을 빼서, 오염 판정을 하기 위한 가상의 영상(403)을 산출할 수 있다.
그리고, 차량 카메라 렌즈 오염 검출 장치(100)는 오염 판정을 하기 위한 가상의 영상(403)에서 기 설정된 기준에 따라 차이가 없다고 판단되는 영역(406)을 산출할 수 있다.
차량 카메라 렌즈 오염 검출 장치(100)는 오염 판정을 하기 위한 가상의 영상(403)에서 기 설정된 기준에 따라 차이가 없다고 판단되는 영역(406)의 픽셀값의 합이 임계치보다 낮으면 카메라의 렌즈에 오염이 존재하는 것으로 판정할 수 있다.
일 예로, 차량 카메라 렌즈 오염 검출 장치(100)는 하기 [수학식 1]을 통해, 픽셀값의 합이 임계치보다 낮은지 여부를 판정할 수 있다.
[수학식 1]
Figure pat00001
일 예로, 차량 카메라 렌즈 오염 검출 장치(100)는 가상의 영상(403)에서 기 설정된 기준에 따라 차이가 없다고 판단되는 영역(406)의 픽셀값의 R(Red), G(Green), B(Blue)성분을 각각 산출하고, 이를 통해 각각의 Gain과 Difference를 곱한 값들을 합산한 값이 임계치보다 낮은지 여부를 판단할 수 있다.
[수학식 1]에서 G1은 픽셀값의 R성분의 Gain, G2는 픽셀값의 G성분의 Gain, G3은 픽셀값의 B성분의 Gain, DR은 픽셀값의 R성분의 Difference, DG는 픽셀값의 G성분의 Difference, DB는 픽셀값의 B성분의 Difference를 의미할 수 있다.
일 예로, 차량 카메라 렌즈 오염 검출 장치(100)는 가상의 영상(403)에서 기 설정된 기준에 따라 차이가 없다고 판단되는 영역(406)의 모든 픽셀 또는 특정 비율 이상의 픽셀의 픽셀값의 [수학식 1]의 조건을 만족하면, 카메라의 렌즈에 오염이 존재하는 것으로 판정할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 차량 카메라 렌즈 오염 검출 방법을 나타내는 흐름도이다.
도 5를 참조하면, 차량 카메라 렌즈 오염 검출 장치(100)는 현재 상태가 강우 상태인지 여부를 확인할 수 있다(S501).
일 예로, 차량 카메라 렌즈 오염 검출 장치(100)는 차량에 구비된 레인 센서 또는 AVN(Audio, Video, Navigation) 날씨 정보를 통해 현재 상태가 강우 상태인지 여부를 확인할 수 있다.
차량 카메라 렌즈 오염 검출 장치(100)는 현재 상태가 강우 상태인지 여부를 확인한 후(S501), 현재 상태가 강우 상태로 확인된 경우, 렌즈 빗방울 이미지 비교를 통한 오염 판단을 수행할 수 있다(S502).
일 예로, 차량 카메라 렌즈 오염 검출 장치(100)는 빗방울이 카메라에 맺히면 빛에 의해 밝기가 줄어들어, 이 경우에는 딥러닝(Deep Learning)을 통해 이미지 영상을 비교하여 카메라의 렌즈에 오염이 존재하는지 여부를 판단할 수 있다.
차량 카메라 렌즈 오염 검출 장치(100)는 현재 상태가 강우 상태인지 여부를 확인한 후(S501), 현재 상태가 강우 상태가 아닌 것으로 확인된 경우, 조도가 임계치보다 낮은지 여부를 확인할 수 있다(S503)
일 예로, 차량 카메라 렌즈 오염 검출 장치(100)는 차량에 구비된 조도 센서를 통해 현재 차량 외부의 조도가 임계치보다 낮은지 여부를 확인할 수 있다.
차량 카메라 렌즈 오염 검출 장치(100)는 조도가 임계치보다 낮은지 여부를 확인한 후(S503), 조도가 임계치보다 낮은 것으로 확인된 경우, 카메라 렌즈의 오염 검출 시점 조건을 만족했는지 여부를 확인할 수 있다(S504).
일 예로, 차량 카메라 렌즈 오염 검출 장치(100)는 기 설정된 주기에 따라 오염 검출 시점이 되었는지에 따른 조건, 카메라의 영상을 통한 장애물 감지 여부와 차량에 구비된 센서를 통한 장애물 감지 여부가 다르다고 판단되는 오염 검출 시점 조건, 또는 차량의 주행 중에 카메라를 통해 획득한 영상의 변화가 없다고 판단되는 오염 검출 시점 조건을 만족했는지 여부를 확인할 수 있다.
일 예로, 차량 카메라 렌즈 오염 검출 장치(100)는 차량의 주행 중에 카메라를 통해 획득한 영상의 좌표, 크기 또는 색상의 변화가 없다고 판단되는지 여부를 확인할 수 있다.
차량 카메라 렌즈 오염 검출 장치(100)는 조도가 임계치보다 낮은지 여부를 확인한 후(S503), 조도가 임계치보다 낮지 않은 것으로 확인된 경우, 다시 현재 상태가 강우 상태인지 여부를 확인할 수 있다(S501)
일 예로, 차량 카메라 렌즈 오염 검출 장치(100)는 임계치보다 낮지 않은 경우, 차량 광원을 통해 빛을 조사해도 영상에 미치는 영향이 미미하여 빛의 유무에 따른 영상 비교가 어려울 수 있으므로, 조도가 임계치보다 낮은 경우에 카메라 렌즈의 오염 검출을 수행할 수 있다.
차량 카메라 렌즈 오염 검출 장치(100)는 카메라 렌즈의 오염 검출 시점 조건을 만족했는지 여부를 확인한 후(S504), 카메라 렌즈의 오염 검출 시점 조건을 만족한 것으로 확인된 경우, 차량의 위치를 결정할 수 있다(S505).
일 예로, 차량 카메라 렌즈 오염 검출 장치(100)는 내비게이션 지도 정보 및 차량에 구비된 센서 중 적어도 하나 이상을 통해, 광원부에서 조사되는 빛이 도달하는 거리에 물체가 존재한다고 판단되는 위치에서 오염 검출을 수행할 수 있다.
차량 카메라 렌즈 오염 검출 장치(100)는 카메라 렌즈의 오염 검출 시점 조건을 만족했는지 여부를 확인한 후(S504), 카메라 렌즈의 오염 검출 시점 조건을 만족하지 않은 것으로 확인된 경우, 다시 현재 상태가 강우 상태인지 여부를 확인할 수 있다(S501).
차량 카메라 렌즈 오염 검출 장치(100)는 차량의 위치를 결정한 후(S505), 카메라 영상을 취득할 수 있다(S506).
일 예로, 차량 카메라 렌즈 오염 검출 장치(100)는 카메라를 통해 빛이 조사되기 전의 차량의 주변 영상과 빛이 조사되는 중의 차량의 주변 영상을 획득할 수 있다.
차량 카메라 렌즈 오염 검출 장치(100)는 카메라 영상을 취득한 후(S506), 오염이 있다고 판단되는지 여부를 확인할 수 있다(S507).
일 예로, 차량 카메라 렌즈 오염 검출 장치(100)는 빛이 조사되기 전의 차량의 주변 영상과 빛이 조사되는 중의 차량의 주변 영상을 비교하여, 카메라의 렌즈에 오염이 존재하는지 여부를 판단할 수 있다.
차량 카메라 렌즈 오염 검출 장치(100)는 오염이 있다고 판단되는지 여부를 확인한 후(S507), 오염이 있다고 판단되는 경우, 사용자에게 오염을 알릴 수 있다(S508).
일 예로, 차량 카메라 렌즈 오염 검출 장치(100)는 클러스터(Cluster), AVN 등을 통해, 촉각, 시각, 또는 청각적으로 알림을 제공할 수 있다.
차량 카메라 렌즈 오염 검출 장치(100)는 오염이 있다고 판단되는지 여부를 확인한 후(S507), 오염이 없다고 판단되는 경우, 다시 현재 상태가 강우 상태인지 여부를 확인할 수 있다(S501)
차량 카메라 렌즈 오염 검출 장치(100)는 사용자에게 오염을 알린 후(S508), 오염 영역이 중복된 다른 카메라의 영상을 통해 영상을 복원할 수 있다(S509).
일 예로, 차량 카메라 렌즈 오염 검출 장치(100)는 카메라의 렌즈에 오염이 존재한다고 판단되면, 다른 카메라의 중첩된 영역의 데이터를 전달받고, 전달받은 데이터를 기반으로 영상을 복원할 수 있다.
도 6은 본 발명의 다른 일 실시 예에 따른 차량 카메라 렌즈 오염 검출 방법을 나타내는 흐름도이다.
도 6을 참조하면, 차량 카메라 렌즈 오염 검출 방법은 차량의 주변에 빛을 조사하는 단계(S610), 빛이 조사되기 전의 차량의 주변 영상과 빛이 조사되는 중의 차량의 주변 영상을 획득하는 단계(S620) 및 빛이 조사되기 전의 차량의 주변 영상과 빛이 조사되는 중의 차량의 주변 영상을 비교하여, 카메라의 렌즈에 오염이 존재하는지 여부를 판단하는 단계(S630)를 포함할 수 있다.
차량의 주변에 빛을 조사하는 단계(S610)는 빛에 의해 차량의 주변 조도의 차이를 감지할 수 있다고 판단되는 정도로 정해진 임계치를 초과하도록 설정된 빛의 세기로 차량 주변에 빛을 조사하는 단계를 포함할 수 있다.
빛이 조사되기 전의 차량의 주변 영상과 빛이 조사되는 중의 차량의 주변 영상을 획득하는 단계(S620)는 빛이 조사되기 전의 차량의 주변 영상과 빛이 조사되는 중의 차량의 주변 영상이 기 설정된 기준에 따라 유사하다고 판단될 정도의 시간 간격으로, 카메라를 통해 빛이 조사되기 전의 차량의 주변 영상과 빛이 조사되는 중의 차량의 주변 영상을 획득하는 단계를 포함할 수 있다.
빛이 조사되기 전의 차량의 주변 영상과 빛이 조사되는 중의 차량의 주변 영상을 비교하여, 카메라의 렌즈에 오염이 존재하는지 여부를 판단하는 단계(S630)는 빛이 조사되기 전의 차량의 주변 영상과 빛이 조사되는 중의 차량의 주변 영상의 픽셀값의 차이를 기반으로 카메라의 렌즈에 오염이 존재하는지 여부를 판단하는 단계를 포함할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 차량의 주변에 빛을 조사하는 광원부;
    상기 차량에 구비되어, 상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상을 획득하는 카메라; 및
    상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상을 비교하여, 상기 카메라의 렌즈에 오염이 존재하는지 여부를 판단하는 제어부를 포함하는 차량 카메라 렌즈 오염 검출 장치.
  2. 제 1 항에 있어서,
    상기 차량의 주변의 조도를 획득하는 센서부를 더 포함하고,
    상기 제어부는,
    상기 빛에 의한 상기 조도의 차이를 감지할 수 있다고 판단되는 정도로 정해진 임계치를 초과하도록 상기 빛의 세기를 설정하는 차량 카메라 렌즈 오염 검출 장치.
  3. 제 1 항에 있어서,
    상기 제어부는,
    상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상이 기 설정된 기준에 따라 유사하다고 판단될 정도의 시간 간격으로, 상기 카메라를 통해 상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상을 획득하는 차량 카메라 렌즈 오염 검출 장치.
  4. 제 1 항에 있어서,
    상기 제어부는,
    상기 차량의 속도를 상기 차량의 주변 차량의 속도와 기 설정된 기준에 따라 유사하다고 판단되는 속도로 제어하며, 상기 카메라를 통해 상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상을 획득하는 차량 카메라 렌즈 오염 검출 장치.
  5. 제 4 항에 있어서,
    상기 제어부는,
    상기 차량의 주변 차량이 존재하지 않는 경우, 상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상을 기 설정된 기준에 따라 비교할 수 있다고 판단되는 정도까지 상기 차량의 속도를 감소시키며, 상기 카메라를 통해 상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상을 획득하는 차량 카메라 렌즈 오염 검출 장치.
  6. 제 1 항에 있어서,
    상기 제어부는,
    상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상의 픽셀값의 차이를 기반으로 상기 카메라의 렌즈에 오염이 존재하는지 여부를 판단하는 차량 카메라 렌즈 오염 검출 장치.
  7. 제 1 항에 있어서,
    상기 차량의 주변의 조도를 획득하고, 강우 여부를 획득하는 센서부를 더 포함하고,
    상기 제어부는,
    상기 조도가 임계치보다 낮고, 상기 강우 여부가 강우 상태가 아닌 것으로 판단되는 조건에서, 상기 카메라의 렌즈에 대한 오염의 검출을 수행하는 차량 카메라 렌즈 오염 검출 장치.
  8. 제 1 항에 있어서,
    상기 제어부는,
    주기적으로, 상기 카메라의 렌즈에 대한 오염의 검출을 수행하거나,
    상기 카메라의 영상을 통한 장애물 감지 여부와 상기 차량에 구비된 센서를 통한 장애물 감지 여부가 다르다고 판단되는 시점에 상기 카메라의 렌즈에 대한 오염의 검출을 수행하거나, 또는
    상기 차량의 주행 중에 상기 카메라를 통해 획득한 영상의 변화가 없다고 판단되는 시점에 상기 카메라의 렌즈에 대한 오염의 검출을 수행하는 차량 카메라 렌즈 오염 검출 장치.
  9. 제 1 항에 있어서,
    상기 제어부는,
    내비게이션 지도 정보 및 상기 차량에 구비된 센서 중 적어도 하나 이상을 통해, 상기 광원부에서 조사되는 빛이 도달하는 거리에 물체가 존재한다고 판단되는 조건에서, 상기 카메라의 렌즈에 대한 오염의 검출을 수행하는 차량 카메라 렌즈 오염 검출 장치.
  10. 제 1 항에 있어서,
    상기 제어부는,
    상기 차량이, 기 설정된 기준에 따라 상기 광원부에서 조사되는 빛이 도달하는 거리에 있는 주변 차량과 근접하다고 판단되는 거리를 유지하도록 상기 차량을 자율 주행 제어하며, 상기 카메라의 렌즈에 대한 오염의 검출을 수행하는 차량 카메라 렌즈 오염 검출 장치.
  11. 제 1 항에 있어서,
    상기 제어부는,
    상기 카메라의 렌즈에 오염이 존재하는 것으로 판단된 경우,
    상기 카메라의 렌즈에 오염이 존재한다는 내용을 포함하는 알림을 사용자에게 출력하고,
    상기 카메라의 영상에 오염이 존재하는 부분에 대한 정보를 상기 카메라의 영상을 사용하는 상기 차량의 시스템에 전달하는 차량 카메라 렌즈 오염 검출 장치.
  12. 제 1 항에 있어서,
    상기 제어부는,
    상기 카메라의 영상에 오염이 존재하는 부분을 상기 차량의 다른 카메라에서 촬영된 영상을 통해 복원하는 차량 카메라 렌즈 오염 검출 장치.
  13. 차량의 주변에 빛을 조사하는 단계;
    상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상을 획득하는 단계; 및
    상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상을 비교하여, 카메라의 렌즈에 오염이 존재하는지 여부를 판단하는 단계를 포함하는 차량 카메라 렌즈 오염 검출 방법.
  14. 제 13 항에 있어서,
    상기 차량의 주변의 조도를 획득하는 단계를 더 포함하고,
    차량의 주변에 빛을 조사하는 단계는,
    상기 빛에 의한 상기 조도의 차이를 감지할 수 있다고 판단되는 정도로 정해진 임계치를 초과하도록 상기 빛의 세기를 설정하는 단계를 포함하는 차량 카메라 렌즈 오염 검출 방법.
  15. 제 13 항에 있어서,
    상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상을 획득하는 단계는,
    상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상이 기 설정된 기준에 따라 유사하다고 판단될 정도의 시간 간격으로, 상기 카메라를 통해 상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상을 획득하는 단계를 포함하는 차량 카메라 렌즈 오염 검출 방법.
  16. 제 13 항에 있어서,
    상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상을 획득하는 단계는,
    상기 차량의 속도를 상기 차량의 주변 차량의 속도와 기 설정된 기준에 따라 유사하다고 판단되는 속도로 제어하며, 상기 카메라를 통해 상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상을 획득하는 단계를 포함하는 차량 카메라 렌즈 오염 검출 방법.
  17. 제 13 항에 있어서,
    상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상을 비교하여, 상기 카메라의 렌즈에 오염이 존재하는지 여부를 판단하는 단계는,
    상기 빛이 조사되기 전의 상기 차량의 주변 영상과 상기 빛이 조사되는 중의 상기 차량의 주변 영상의 픽셀값의 차이를 기반으로 상기 카메라의 렌즈에 오염이 존재하는지 여부를 판단하는 단계를 포함하는 차량 카메라 렌즈 오염 검출 방법.
  18. 제 13 항에 있어서,
    주기적으로, 상기 카메라의 렌즈에 대한 오염의 검출을 수행하거나,
    상기 카메라의 영상을 통한 장애물 감지 여부와 상기 차량에 구비된 센서를 통한 장애물 감지 여부가 다르다고 판단되는 시점에 상기 카메라의 렌즈에 대한 오염의 검출을 수행하거나, 또는
    상기 차량의 주행 중에 상기 카메라를 통해 획득한 영상의 변화가 없다고 판단되는 시점에 상기 카메라의 렌즈에 대한 오염의 검출을 수행하는 단계를 더 포함하는 차량 카메라 렌즈 오염 검출 방법.
  19. 제 13 항에 있어서,
    상기 차량이, 기 설정된 기준에 따라 상기 조사되는 빛이 도달하는 거리에 있는 주변 차량과 근접하다고 판단되는 거리를 유지하도록 상기 차량을 자율 주행 제어하며, 상기 카메라의 렌즈에 대한 오염의 검출을 수행하는 단계를 더 포함하는 차량 카메라 렌즈 오염 검출 방법.
  20. 제 13 항에 있어서,
    상기 카메라의 렌즈에 오염이 존재한다는 내용을 포함하는 알림을 사용자에게 출력하는 단계;
    상기 카메라의 영상에 오염이 존재하는 부분에 대한 정보를 상기 카메라의 영상을 사용하는 상기 차량의 시스템에 전달하는 단계; 및
    상기 카메라의 영상에 오염이 존재하는 부분을 상기 차량의 다른 카메라에서 촬영된 영상을 통해 복원하는 단계를 더 포함하는 차량 카메라 렌즈 오염 검출 방법.
KR1020210034734A 2021-03-17 2021-03-17 차량 카메라 렌즈 오염 검출 장치 및 그 방법 KR20220130294A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210034734A KR20220130294A (ko) 2021-03-17 2021-03-17 차량 카메라 렌즈 오염 검출 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210034734A KR20220130294A (ko) 2021-03-17 2021-03-17 차량 카메라 렌즈 오염 검출 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20220130294A true KR20220130294A (ko) 2022-09-27

Family

ID=83451852

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210034734A KR20220130294A (ko) 2021-03-17 2021-03-17 차량 카메라 렌즈 오염 검출 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20220130294A (ko)

Similar Documents

Publication Publication Date Title
EP2537709B1 (en) Image processing apparatus and light distribution control method
US10339812B2 (en) Surrounding view camera blockage detection
US9519841B2 (en) Attached matter detector and vehicle equipment control apparatus
CN100472322C (zh) 前方摄影装置
CN114228491B (zh) 具有夜视增强虚拟现实抬头显示系统及方法
JP2007257449A (ja) 道路区画線検出装置
JP2008525051A5 (ko)
US8373754B2 (en) Method and system for evaluating brightness values in sensor images of image-evaluating adaptive cruise control systems
KR20190074769A (ko) 라이다 장치
JP5484123B2 (ja) 車両周辺障害物検出装置
KR20200103984A (ko) 차량의 객체 검출 장치 및 방법
US9524644B2 (en) Notification control method and notification control device
KR101276073B1 (ko) 차량용 내비게이션에서의 영상에서 앞차 검출을 통한 거리 인식 시스템 및 방법
KR102089106B1 (ko) 안개 발생 여부 판단 방법 및 이를 위한 장치
KR20220130294A (ko) 차량 카메라 렌즈 오염 검출 장치 및 그 방법
JPH04193641A (ja) 車両用障害物検出装置
KR20210085971A (ko) 차량용 램프 제어 장치 및 방법
JP4539400B2 (ja) ステレオカメラの補正方法、ステレオカメラ補正装置
US11763570B2 (en) Obstacle detection device, obstacle detection method, and storage medium storing obstacle detection program
JP7460282B2 (ja) 障害物検出装置、障害物検出方法および障害物検出プログラム
JP2019079338A (ja) 対象物検知システム
JP4151571B2 (ja) 車載用障害物検出装置
JP2021113767A (ja) 障害物検知装置、及び障害物検知システム
JP2004325202A (ja) レーザレーダ装置
JP3929420B2 (ja) 車両用光量検出装置及び車両用照明制御装置

Legal Events

Date Code Title Description
A201 Request for examination