KR20230044063A - 인공지능 기반 차량용 디포그 서비스 제공 시스템 - Google Patents

인공지능 기반 차량용 디포그 서비스 제공 시스템 Download PDF

Info

Publication number
KR20230044063A
KR20230044063A KR1020210126438A KR20210126438A KR20230044063A KR 20230044063 A KR20230044063 A KR 20230044063A KR 1020210126438 A KR1020210126438 A KR 1020210126438A KR 20210126438 A KR20210126438 A KR 20210126438A KR 20230044063 A KR20230044063 A KR 20230044063A
Authority
KR
South Korea
Prior art keywords
defog
vehicle
display
user terminal
image
Prior art date
Application number
KR1020210126438A
Other languages
English (en)
Other versions
KR102633972B1 (ko
Inventor
김태훈
Original Assignee
김태훈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김태훈 filed Critical 김태훈
Priority to KR1020210126438A priority Critical patent/KR102633972B1/ko
Publication of KR20230044063A publication Critical patent/KR20230044063A/ko
Application granted granted Critical
Publication of KR102633972B1 publication Critical patent/KR102633972B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • B60H1/00271—HVAC devices specially adapted for particular vehicle parts or components and being connected to the vehicle HVAC unit
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00735—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60J—WINDOWS, WINDSCREENS, NON-FIXED ROOFS, DOORS, OR SIMILAR DEVICES FOR VEHICLES; REMOVABLE EXTERNAL PROTECTIVE COVERINGS SPECIALLY ADAPTED FOR VEHICLES
    • B60J1/00—Windows; Windscreens; Accessories therefor
    • B60J1/002—Windows; Windscreens; Accessories therefor with means for clear vision, e.g. anti-frost or defog panes, rain shields
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/54—Cleaning windscreens, windows or optical devices using gas, e.g. hot air
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Thermal Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

인공지능 기반 차량용 디포그 서비스 제공 시스템이 제공되며, 차량의 내부 또는 외부에 설치되어 차량의 전면 또는 후면을 촬영하는 적어도 하나의 카메라, 적어도 하나의 카메라로부터 수집된 영상 내 안개가 포함된 경우 적어도 하나의 디포그(Defog) 알고리즘을 이용하여 영상을 보정하는 사용자 단말 및 사용자 단말에서 보정된 영상을 출력하는 적어도 하나의 종류의 디스플레이를 포함한다.

Description

인공지능 기반 차량용 디포그 서비스 제공 시스템{SYSTEM FOR PROVIDING ARTIFICIAL INTELLIGENCE BASED VEHICLE DEFOGGING SERVICE}
본 발명은 인공지능 기반 차량용 디포그 서비스 제공 시스템에 관한 것으로, 가시거리가 확보되지 않는 경우 차량 내부에서는 공조기를 이용하여 습기를 제거하고 차량 외부를 촬영하는 카메라의 영상은 디포그 알고리즘을 이용하여 보정함으로써 사용자에게 디스플레이해줄 수 있는 시스템을 제공한다.
최근 차량용 블랙박스나 CCTV와 같이 야외에 설치되는 무인 카메라가 증가하는 가운데 안개가 낀 영상에서는 시인성이 극히 저하되는 경우가 종종 발생하고 있다. 안개가 있는 날씨에서는 물 분자로 인해 실제 사물의 빛이 산란이 되고 안개 속에서 산란된 정보를 이용하여 실제 사물의 정보가 표현된다. 안개 현상은 기후 조건, 연기, 분진 및 입자의 유동에 의해 빈번히 발생하며, 안개에 의한 빛의 산란은 카메라에 맺힌 물체의 상을 선명하지 못하게 만든다. 안개는 교통 정보 수집기나 차량용 CCTV의 시인성을 현저히 저하시킬 수 있고 항공사진이나 위성사진의 경우도 안개로 인해 지면의 정보가 왜곡되는 현상이 발생할 수 있다. 이러한 안개를 제거하기 위한 디포그(Defog) 알고리즘은 서로 다른 편광에 의해서 획득된 영상을 이용하여 안개를 제거하거나 고정된 장소에서 다양한 날씨 조건에서 촬영된 영상을 가지고 안개를 제거하는 방법을 이용한다.
이때, 차량의 블랙박스나 CCTV에서 안개나 비 또는 구름 낀 영상을 제거한 보정 영상을 촬영하도록 하는 구성이 연구 및 개발되었는데, 이와 관련하여 선행기술인 한국공개특허 제2012-0109700호(2012년10월09일 공개) 및 한국공개특허 제2014-0026747호(2014년03월06일 공개)에는, 사용자 단말을 이용하여 블랙박스 기능을 수행할 수 있도록 차량에 장착하고, 블랙박스 기능 시 사용자 단말에 장착된 카메라를 통하여 영상 데이터를 촬영하며, 촬영된 영상 데이터에 대한 영상 보정 처리를 수행하여 선명한 영상 데이터를 저장가능하도록 하는 구성과, CCTV에 안개를 제거하고 색상을 보정하기 위하여 안개성분이 포함된 입력영상에 대응하여 입력영상의 깊이(Depth)정보를 구할 수 있는 다상레벨세트(Multi-Phase Level Set)를 이용하여 변환맵을 생성하고, 안개값을 추정하기 위해 HSV 색상 공간의 밝기값에서 최대 밝기 값을 가진 픽셀의 값을 안개값으로 추정하며, 생성된 변환맵과 추정된 안개값을 기초로 입력영상에 포함된 안개성분을 제거하여 복원 영상을 생성하는 구성이 각각 개시되어 있다.
다만, 상술한 구성은 블랙박스나 CCTV에 저장되는 영상을 선명하게 처리할 뿐, 실제로 현재 차량을 운전하고 있는 운전자가 시인성을 확보할 수 있는 구성이 아니다. 비가 오거나 안개가 껴서 차간 거리를 확보했는지도 확인이 안 된 상태에서 운전을 하는 것은 매우 위험한 일이며 자칫 사고로 이어질 수 있는 원인을 제공하게 된다. 또, 전면 또는 후면 유리에 에어컨 제습기능을 이용하거나 열선으로 얼음을 녹이는 오토디포그(AutoDefog) 기능을 차량 자체 내에서 하드웨어적으로 제공하고는 있지만, 이는 차량 내부와 외부 간의 온도차에 따른 이슬점이 맺히는 것만을 막아줄 뿐, 실제로 안개가 낀 도로의 안개를 걷어주는 장치가 아니다. 이에, 차량 내부에서는 습기를 자동으로 제거하고 외부를 촬영하는 카메라에서 입력되는 영상은 안개를 제거하는 보정처리를 수행하여 사용자에게 실시간으로 디스플레이해줄 수 있는 시스템의 연구 및 개발이 요구된다.
본 발명의 일 실시예는, 차량의 내부 또는 외부에 설치되어 차량의 전면 또는 후면을 촬영하는 적어도 하나의 카메라로부터 입력된 영상에서, 기 설정된 가시거리가 확보되지 않는 경우, 인공지능 모드를 턴 온(Turn On)시켜 차량의 전면 또는 후면의 김서림방지를 제거하는 오토디포그를 실시하고, 적어도 하나의 카메라로부터 수신된 영상 내 안개를 제거하는 디포그 알고리즘을 이용하여 영상을 보정한 후 적어도 하나의 종류의 디스플레이를 이용하여 사용자에게 출력시켜줌으로써, 하드웨어 뿐만 아니라 소프트웨어적으로 디포그를 실시하고, 메모리에 저장하는 것 뿐만 아니라 사용자에게 실시간으로 출력시켜줌으로써 사용자의 시인성을 확보해줄 수 있는, 인공지능 기반 차량용 디포그 서비스 제공 시스템을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 차량의 내부 또는 외부에 설치되어 차량의 전면 또는 후면을 촬영하는 적어도 하나의 카메라, 적어도 하나의 카메라로부터 수집된 영상 내 안개가 포함된 경우 적어도 하나의 디포그(Defog) 알고리즘을 이용하여 영상을 보정하는 사용자 단말 및 사용자 단말에서 보정된 영상을 출력하는 적어도 하나의 종류의 디스플레이를 포함한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 차량의 내부 또는 외부에 설치되어 차량의 전면 또는 후면을 촬영하는 적어도 하나의 카메라로부터 입력된 영상에서, 기 설정된 가시거리가 확보되지 않는 경우, 인공지능 모드를 턴 온(Turn On)시켜 차량의 전면 또는 후면의 김서림방지를 제거하는 오토디포그를 실시하고, 적어도 하나의 카메라로부터 수신된 영상 내 안개를 제거하는 디포그 알고리즘을 이용하여 영상을 보정한 후 적어도 하나의 종류의 디스플레이를 이용하여 사용자에게 출력시켜줌으로써, 하드웨어 뿐만 아니라 소프트웨어적으로 디포그를 실시하고, 메모리에 저장하는 것 뿐만 아니라 사용자에게 실시간으로 출력시켜줌으로써 사용자의 시인성을 확보해줄 수 있다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반 차량용 디포그 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 디포그 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 인공지능 기반 차량용 디포그 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 인공지능 기반 차량용 디포그 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체 지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반 차량용 디포그 서비스 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 인공지능 기반 차량용 디포그 서비스 제공 시스템(1)은, 적어도 하나의 사용자 단말(100), 디포그 서비스 제공 서버(300) 및 적어도 하나의 차량(400)을 포함할 수 있다. 다만, 이러한 도 1의 인공지능 기반 차량용 디포그 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.
이때, 도 1의 각 구성요소들은 일반적으로 네트워크(Network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 사용자 단말(100)은 네트워크(200)를 통하여 디포그 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 디포그 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100) 및 적어도 하나의 차량(400)과 연결될 수 있다. 또한, 적어도 하나의 차량(400)은, 네트워크(200)를 통하여 디포그 서비스 제공 서버(300)와 연결될 수 있다.
여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.
적어도 하나의 사용자 단말(100)은, 인공지능 기반 차량용 디포그 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 차량(400) 내 적어도 하나의 카메라(410)로부터 영상을 입력받고 가시거리가 확보되었는지를 판단하며, 기 설정된 가시거리가 확보되지 않은 경우 인공지능 모드(Mode)를 턴 온시켜 차량(400) 내 ECU(Electronic Control Unit, 430)를 이용하여 공기조화기(Heating, Ventilation, Air Conditioning, HVAC)를 구동시켜 제습모드를 전면(Front) 또는 후면(Rear)에 구동시키도록 하고, 적어도 하나의 카메라(410)로부터 수집된 영상을 디포그 알고리즘을 이용하여 보정한 후 적어도 하나의 디스플레이(420)를 통하여 출력하는 단말일 수 있다. 이때, ECU(430)의 컴퓨팅 자원이나 네트워크 자원이 실시간으로 영상을 보정하고 출력하는 정도를 수행할만큼 충분하다면 사용자 단말(100)은 제거되고 ECU(430)로 통합되도록 구현될 수도 있지만, ECU(430)는 차량 제조사에서 이미 공산품으로 넣어둔 마이크로컴퓨터이기 때문에 이에 대한 컴퓨팅 자원량이나 네트워크 자원량을 임의로 변경할 수 없음을 기반으로 사용자 단말(100)을 더 구비하는 것이다. 물론, 차량 제조사와의 협의를 통하여 ECU(430) 자체를 변경할 수도 있으므로 ECU(430)에 사용자 단말(100)이 통합되도록 구현되는 것을 배제하지는 않는다.
여기서, 적어도 하나의 사용자 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 사용자 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
디포그 서비스 제공 서버(300)는, 인공지능 기반 차량용 디포그 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 디포그 서비스 제공 서버(300)는, 사용자 단말(100)로 디포그 알고리즘을 배포하고 다운로드 및 설치하여 사용할 수 있도록 하는 서버이며, 사용자 단말(100)에서 오류 리포트가 올 때 이를 수집하여 업데이트를 진행하고, 사용자 단말(100)로 디포그 알고리즘을 업데이트하도록 메시지를 전달하는 서버일 수 있다. 이때, 디포그 서비스 제공 서버(300)는 사용자 단말(100)의 컴퓨팅 자원이 충분하지 않지만 네트워크 자원은 충분한 경우 디포그 알고리즘을 사용자 단말(100)에서 진행하지 않고 디포그 서비스 제공 서버(300)에서 진행한 후 그 결과를 사용자 단말(100)로 전송하는 서버일 수 있다. 물론 사용자 단말(100)에서 진행되는 것이 네트워크 딜레이를 없애고 실시간성을 확보하기 위해 바람직하므로 사용자 단말(100) 자체 내에서 진행되는 것을 디폴트로 설정할 수 있다. 이를 위하여 디포그 서비스 제공 서버(300)는, 사용자 단말(100)에서 디포그 서비스 제공 애플리케이션을 다운로드받았을 때 ECU(430), 적어도 하나의 카메라(410) 및 디스플레이(420)와 연결될 수 있도록 무선 또는 유선 네트워크를 구축해주고 세팅해주는 서버일 수 있다.
여기서, 디포그 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.
적어도 하나의 차량(400)은, 인공지능 기반 차량용 디포그 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 사용자 단말(100)과 차량(400) 내 적어도 하나의 카메라(410), 적어도 하나의 디스플레이(420) 및 ECU(430)를 연결시키는 장치일 수 있다. 이때, 차량(400) 자체는 일반적으로는 기계적인 장치의 결합으로 정의될 수도 있지만, 본 발명의 일 실시예에서는 차량(400)은, 카메라(410), 디스플레이(420) 및 ECU(430)를 포함하는 가상의 장치나 시스템으로 정의하기로 한다.
여기서, 적어도 하나의 차량(400)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 차량(400)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 차량(400)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
도 2는 도 1의 시스템에 포함된 디포그 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3 및 도 4는 본 발명의 일 실시예에 따른 인공지능 기반 차량용 디포그 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 2를 참조하면, 사용자 단말(100)은 CMS(Camera Monitor System)을 포함할 수 있고, 디포그 서비스 제공 서버(300)는, 안개제거부(310)를 포함할 수 있으며, 차량(400)은 적어도 하나의 카메라(410), 적어도 하나의 디스플레이(420) 및 ECU(430)를 포함할 수 있다.
본 발명의 일 실시예에 따른 디포그 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 사용자 단말(100) 및 적어도 하나의 차량(400)으로 인공지능 기반 차량용 디포그 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 사용자 단말(100) 및 적어도 하나의 차량(400)은, 인공지능 기반 차량용 디포그 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 사용자 단말(100) 및 적어도 하나의 차량(400)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: World Wide Web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(Hyper Text Mark-up Language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(Chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(Application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(App)을 포함한다.
도 2를 참조하면, 본 발명의 구동 단계는 도 3a와 같이 크게 5 단계로 이루어진다.
① 사용자 단말(100)에서 적어도 하나의 카메라(410)로부터 영상을 입력받아 가시거리가 확보되는지를 확인하고, 가시거리가 확보되지 않는 경우 ② 사용자 단말(100)은, 인공지능 모드를 턴 온(Turn On)시켜 ③ ECU(430)에서 전면 또는 후면 유리를 통하여 차량 외부를 촬영하는 적어도 하나의 카메라(410)에 김이 서리지 않도록 공조기나 열선을 구동하여 김서림 방지를 하는 오토디포그 모드로 구동되도록 제어한다. ④ 그 다음에 물리적인 김서림을 제거한 후 사용자 단말(100)은 적어도 하나의 카메라(410)에서 입력된 영상 내 안개를 제거하는 디포그 알고리즘을 이용하여 출력 영상인 보정된 영상을 생성하고, ⑤ 사용자 단말(100)은, 블랙박스(미도시)를 이용하여 녹화를 하면서 실시간으로 적어도 하나의 디스플레이(420)를 통하여 보정된 영상을 출력하도록 함으로써, 안개가 낀 도로가 아닌 안개가 걷힌 효과를 가지는 영상을 보고 사용자가 운전을 할 수 있도록 도와줄 수 있다.
도 2로 돌아와서, 사용자 단말(100)은 카메라(410), 디스플레이(420) 및 ECU(430)와 연결되는 컨트롤 타워 역할을 수행하며, 상술한 바와 같이 ECU(430)가 실시간성을 확보할 수 있는 충분한 컴퓨팅 자원과 네트워킹 자원을 보유했다면 사용자 단말(100)은 삭제될 수 있고 ECU(430)로 모든 기능이 통합되어 일체로 형성될 수 있다. [카메라(420)→사용자 단말(100)→ECU(430)]의 입출력 과정은 하드웨어적인 프로세스를 구동하는 흐름이고, [카메라(420)→사용자 단말(100)→디스플레이(420)]는 소프트웨어적인 프로세스를 구동하는 흐름이며 실제로 사용자에게 안개가 제거된 영상을 보여주는 단계이다. 이 두 단계는 병렬로 각각 구동하는 것이 아니라, [카메라(420)→사용자 단말(100)→ECU(430)→디스플레이(420)]과 같이 구동한다. 다만 ECU(430)에서 직접 디스플레이(420)로 신호를 주는 것이 아니라, ECU(430)에서 습기가 제거된 것이 확인된 이벤트를 사용자 단말(100)로 넘겨주면 사용자 단말(100)은 카메라(410)의 영상을 이용하여 안개 제거 알고리즘인 디포그 알고리즘을 시작하고 디스플레이(420)로 출력한다.
<가시거리감지>
적어도 하나의 카메라(410)는, 차량의 내부 또는 외부에 설치되어 차량의 전면 또는 후면을 촬영할 수 있다. 이때, 적어도 하나의 카메라(410)가 차량에 설치된 블랙박스라고 가정하면, 블랙박스가 차량(400) 및 디포그 서비스 제공 서버(300)와 연결될 수 있으며, 블랙박스의 컴퓨팅 자원과 네트워크 자원이 실시간으로 디포그 알고리즘을 구동할 수 있다면 사용자 단말(100)은 생략될 수도 있다. 여기서, 가시거리감지는 크게 3 가지로 나눌 수 있다. 하나는 도로에 설치된 가시거리측정기를 통하여 측정된 가시거리를 네트워크(200)를 통하여 사용자 단말(100)로 전달받는 방법이고, 다른 하나는 차량(400) 자체에 안개센서를 장착하는 방법이다. 또 다른 하나는 카메라(410)를 통하여 입력된 영상의 소실점을 측정하는 방법으로 가시거리를 측정하는 방법이다.
첫 번째 방법의 경우 도로교통공단 또는 국토교통부에서 CCTV를 이용하여 안개시정거리를 측정하고 있으므로 이 값을 받을 수도 있겠지만, 2015년 인천영종대교 106중 추돌사고의 원인이 10m도 안되는 가시거리였음에도 각 차량으로 브로드캐스팅을 하지 않았기에 본 발명의 일 실시예에서는 안개센서를 별도로 부착하고 카메라(410)를 통하여 입력된 영상의 소실점을 함께 하이브리드로 이용하기로 한다. 안개센서의 기본적인 동작 원리는 광전식 화재감지기와 거의 동일한 원리이다. 광전식 화재감지기는 근적외선 LED(투광부)와 광센서(수광부)가 한 쌍으로 이루어져 있으며, 투광부와 수광부가 서로 마주보게 사용하는 것이 투과형이고, 어느 정도 각도로 설치된 것이 반사형이다. 동작 원리는 투광부에서 근적외선이 펄스 형태로 나오게 되고, 공기 중에 분무를 일으키는 수분 입자들에 의해 난반사가 일어나게 되고, 난반사가 일어난 일부 빛이 수광부로 들어오게 된다. 분무의 밀도가 높으면, 즉 안개가 짙게 끼게 되면 수광부로 들어오는 빛의 양이 많아지게 된다. 따라서 광센서의 출력 신호와 안개 농도와의 관계로부터 시정거리를 예측할 수 있다.
세 번째 방법은 카메라(410)를 이용하는 방법이다. 이때, 차량에 장착되는 카메라(410)는 지면으로부터 수직이고, 전방 도로를 평행하게 촬영한다고 가정한다. 이때 지면으로부터 카메라(410)가 설치되는 높이에 따라 도로는 서로 다른 형태로 2차원 평면에 표현된다. 예를 들어, 지면으로부터 높은 위치에서 또는 낮은 위치에서 촬영된 영상으로서 시각적 표현에 있어 차이가 있다. 따라서 실제 카메라(410)가 설치되는 높이와 도로 폭이 2차원 평면에 표현되는 형태를 결정하고 소실점(Vanishing Point)의 위치가 다르게 표현된다. 이러한 특성을 이용하여 3차원 모델링 환경을 2차원으로 근사화하는 과정을 도입한다. 인간의 시각적 인지 구조로 표현되는 3차원 도로와 소실점 형태를 평면도와 같이 위에서 본 것으로 근사시키는, 즉, 카메라(410)의 입력영상의 2차원 도로와 소실점 형태를 근사하다고 전제하는 것이다.
이때, 카메라(410)에서 전방으로 일정한 거리까지 떨어져 있는 관찰선의 거리를 예측하기 위해, 3차원 파라미터는 카메라(410)가 장착되어 있는 지면 높이(H), 도로 폭(W) 그리고 기준선으로부터 관찰선까지의 거리(D)로 설정한다. 카메라(410)에 의해 2차원 영상으로 표현되고 획득되는 기준선의 폭(w1), 관찰선의 폭(w2), 깊이(d), 소실각(α) 정보를 파라미터로 사용한다. 2차원 영상에서의 파라미터를 추출하기 위해 5단계의 과정을 거칠 수 있다. 먼저 영상을 입력받은 후에 가장 먼저 에지검출을 수행한다. 에지검출을 위해서 캐니 에지 알고리즘을 적용하여 전방 방향성과 기울기 값에 제한을 두고 이에 마스킹을 둠으로써 선을 검출한다. 그리고 허프변환에 의해 직선성분의 기울기 값과 절편값을 획득하고 동시에 소실점을 얻는다. 이때 얻어진 파라미터 값은 화소 개수 단위로 폭(w), 깊이(d)이고 또한 수평방향과 직선의 교점을 이용하여 소실각(α)의 값을 획득할 수 있다. 여기서 소실점까지 직선방향으로 선이 이어지지 않는 경우 이어진 곳까지의 거리를 측정하여 가시거리를 계산한다. 이때, 가시거리 기준값은 국토교통부의 가이드라인에 따를 수 있다.
<인공지능모드>
사용자 단말(100)은, 적어도 하나의 카메라(410)로부터 수집된 영상 내 안개가 포함된 경우 적어도 하나의 디포그(Defog) 알고리즘을 이용하여 영상을 보정할 수 있다. 이때 디포그 알고리즘은 디포그 서비스 제공 서버(300)의 안개제거부(310)에서 제공될 수 있다. 적어도 하나의 종류의 디스플레이(420)는, 사용자 단말(100)에서 보정된 영상을 출력할 수 있다. 여기서, 디포그 알고리즘은 차량(400)의 전면 또는 후면 유리에 낀 김서림을 하드웨어적으로 제거한 후 소프트웨어적으로 적용되는 것이기 때문에 후술할 ECU(430)의 순서가 먼저 구동되어야 한다. ECU(430)에서 수행하는 것도 오토디포그(AutoDefog) 모드로 디포그라는 용어가 중첩되지만 두 개는 다른 용어이다. 디포그 알고리즘은 영상 내 안개를 제거하는 소프트웨어적인 프로세스이고, 오토디포그는 전면 또는 후면에 낀 습기를 제거하도록 공기조화기를 구동시키는 하드웨어적인 프로세스이다. 실제로 습기를 제거하는 것을 하드웨어적인 프로세스라 하고, 실제로 안개가 제거되지는 않았지만 영상 내에서 안개가 제거된 것과 같은 보정 효과를 내는 것을 소프트웨어적인 프로세스라 정의한다.
<오토디포그 모드>
ECU(Electronic Control Unit, 430)는, 적어도 하나의 카메라(410)가 차량의 내부에 설치되고, 적어도 하나의 카메라(410)로부터 수신된 영상 내 안개가 포함된 경우, 차량의 전면 또는 후면의 김서림 방지를 위하여 공기조화기(Heating, Ventilation, Air Conditioning)를 이용하여 오토디포그(AutoDefog) 모드를 실행시킬 수 있다. ECU(430)는, 적어도 하나의 카메라(410)가 외부에 설치되고, 외부에 설치된 적어도 하나의 카메라(410)로부터 수신된 영상 내 안개가 포함된 경우, 외부에 설치된 적어도 하나의 카메라(410)와 기 연결된 열선을 턴 온(Turn On)시키거나 외부에 설치된 적어도 하나의 카메라(410)로 온풍을 출력하도록 온풍기를 가동시킬 수 있다. 이때, 외부에 설치된 적어도 하나의 카메라(410)와 기 연결된 열선이란, 예를 들어, 카메라(410)가 차량의 전면(Front)에 설치되었다면 [카메라(410)-전면]과 같이 ECU(430) 또는 사용자 단말(100)에 저장되어 있으므로 물리적으로 전선이 연결되었다는 의미가 아니라, 가상적으로 매핑(Mapping)이 되었다는 의미이다. 이에 전면에 설치된 카메라(410)에 김서림이 발생한다면 전면의 온풍기나 열선을 구동시켜 카메라(410)의 김서림을 제거할 수 있도록 하는 것이다.
<디포그 알고리즘>
디포그 서비스 제공 서버(300)는, 적어도 하나의 디포그 알고리즘을 사용자 단말(100)로 전송할 수 있다. 디포그 서비스 제공 서버(300)는, 사용자 단말(100)에서 입력받은 적어도 하나의 카메라(410)의 원본 영상 내 각 영역(Region)에 대한 DCP(Dark Channel Prior)를 이용하여 대기광을 산출하고, 대기광을 이용하여 각 화소에 대한 안개에 따른 빛의 전달량을 산출하며, 각 영역에 CBF(Cross Bilateral Filter)를 이용하여 에지(Edge) 성분을 포함하도록 전달량을 보정하여 후광 현상을 제거하고, 후광 현상이 제거된 빛의 전달량을 통하여 각 화소별 RGB 채널을 이용하여 안개 제거 프로세스를 진행하여 안개 제거 영상을 출력하는 안개제거부(310)를 포함할 수 있다. 이 과정은 상술한 바와 같이 사용자 단말(100)에서 처리되는 것이 가장 바람직하고, 사용자 단말(100)에서 충분한 네트워킹 자원 및 컴퓨팅 자원이 존재하는 경우 사용자 단말(100)에서 처리하도록 할 수 있다.
이때, 실시간성을 확보하여 딜레이 없는 보정 영상을 제공하는 것이 운전자에게 무엇보다 중요하므로, 본 발명의 일 실시예에서는, DCP에 기반하여 후광 현상이 발생될 것으로 추정되는 위치에서 윈도우 크기를 가변시키면서 다크 채널을 구하고 이를 이용해 전달량을 산출함으로써 안개 제거 방법의 고속화를 달성할 수 있도록 한다. 일반적인 DCP를 우선 설명하면, [DCP→대기광검출→전달량산출→전달량보정→안개제거]의 과정을 거치게 된다. 일반적으로 안개 낀 영상의 모델은 수학식 1과 같이 표현될 수 있다. 여기서 I(x)는 안개가 낀 영상을 의미하고, A는 안개의 대기광을 의미한다. t(x)는 전달량으로, 빛이 안개에 산란되지 않고 카메라에 전달되는 양을 나타낸다. J(x)는 안개가 없는 영상을 의미한다.
Figure pat00001
상술한 방법은 다음과 같은 전제에서 시작한다. 일정 영역에서 안개가 없는 깨끗한 영상의 한 화소 값을 확인하면, RGB 채널 중 어떠한 한 채널은 0에 가까운 값을 가진다. 이는 수학식 2와 같이 표현될 수 있다. 여기서, Jdark(x)는 DCP를 의미한다. Jc는 입력영상의 J의 각 RGB 채널을 의미한다. Ω는 일정 픽셀 x를 중심으로 한 일정 영역을 의미한다.
Figure pat00002
다음은 대기광 검출인데, 다크 채널에서 밝기값이 상위 001% 이상인 픽셀들을 후보군으로 정한다. 원본 영상에서 구해진 후보군 중 밝기값이 가장 높은 픽셀의 위치를 대기광으로 선정한다. 영상의 가장 밝은 값을 대기광으로 선정하지 않고 다크 채널에서 선정된 후보군에서 정하는 이유는 자동차나 건물 같은 곳이 대기광으로 오인되는 것을 차단하고자 함이다. 세 번째는 전달량 산출인데, 전달량 계산은 안개가 없는 영상에서 DCP는 0에 가까운 값을 가지기 때문에 Jdark(x)≒0이다. 따라서 수학식 2를 수학식 3과 같이 변형하여 J(x)를 제거할 수 있다. 이때, Jdark(x)≒0이므로 최종적으로 전달량은 수학식 4와 같다.
Figure pat00003
Figure pat00004
전달량 보정 단계를 실시해야 하는데, 수학식 4에서 구해진 전달량은 일정 구역 내에서 구해진 값이기 때문에 그대로 사용할 경우 물체의 주변으로 안개가 남는 후광효과가 나타날 수 있다. 따라서 매팅(Matting) 방식을 이용할 수 있는데 이 방법은 연산량이 많고 메모리 사용량이 많은 단점이 있다. 또는 CBF(Cross Bilateral Filter)를 적용하여 전달량을 보정할 수도 있는데, BF는 기존의 가우시안 필터에 명도 정보를 이용한 가우시안 필터를 결합하여 비등방성 필터이다. 명도값의 가우시안 필터의 가중 평균값과 거리에 대한 가우시안 가중 평균값의 조합으로 새로운 가중 평균값을 얻을 수 있다. 여기서 p는 필터가 적용되는 위치를 뜻한다. q는 일정 구역 s 안의 모든 위치를 의미한다. Ix는 점 x에서의 화소 값이고, Gσ는 표준 편차를 가지는 가우시안 영역이다. Wp는 정규화를 위한 항으로 수학식 5와 같다. CBF를 이용해 전달량을 보정하는 수학식은 수학식 6과 같다.
Figure pat00005
Figure pat00006
마지막 단계로 안개 제거 단계인데, 안개 영상에서 안개를 제거하는 수학식은 수학식 7과 같이 얻을 수 있다. 이때 수학식 7에서 t(x) 값이 너무 작으면 노이즈가 크게 발생함에 따라 수하깃ㄱ 8과 같이 하한값 t0을 지정해 준다.
Figure pat00007
Figure pat00008
이때, 전달량 보정을 생략한 안개 제거 영상과, 전달량 보정을 수행한 안개 제거 영상을 비교해보면, 후광 현상이 현저히 감소하였으나 경계 인근에서는 여전히 후광 현상을 완전히 억제하지 못한다. 더불어 높은 연산 복잡도를 갖는 전달량 보정 과정을 수반하므로 고속의 안개 제거를 수행하기 어려움이 따른다. 이에, 본 발명의 일 실시예에서는,추가적인 전달량 보정을 수행하지 않고도 효과적으로 후광 현상을 억제하는 방법을 이용하기로 한다. 전달량 연산 과정에서 윈도우 크기가 작을수록 블록 현상이 줄어들어 경계에 소또는 왜곡이 감소하는 장점과 윈도우 크기가 클수록 안개 제거 성능이 향상되는 장점을 이용한다.
우선, 명도 에지(Edge)와 컬러 에지를 결합한 에지 맵을 구한다. 안개영역은 대체로 밝아 흰색을 띄기 때문에 RGB의 값이 일정하다고 가정한다. 어떠한 임계값을 기준으로 각 채널의 Max와 Min의 차를 이용해 안개 추정 영역을 구한다. 이 두 가지를 결합한 영역을 기준으로 모폴로지 윤곽영역을 9 단계로 검출한다. 각 단계별로 가변 윈도우를 적용해 전달량을 산출하여 경계 부분의 후광 현상을 자연스럽게 제거하고 속도 성능면에 향상된 효과를 얻을 수 있다.
① 안개추정 영역은, 실제 안개 영역인지를 판단하기 위한 조건이다. 실제 안개 영역은 백색에 가까우므로 RGB채널의 모든 값이 대체로 비슷한 값을 가질 것이라고 예상할 수 있다. 따라서 최대값과 최소값의 차가 일정 임계값(d)보다 크지 않을 경우, 안개 영역이라고 판단하고 haze 조건이 1의 값을, 그렇지 않을 경우에는 안개 영역이 아니라고 판단하여 해당 조건이 0의 값을 갖도록 설정한다.
Figure pat00009
② 에지 맵 산출의 단계를 시작한다. 이때, 경계부분의 후광영역을 기준으로 영역을 나누어 서로 다른 윈도우 크기를 적용한다. 경계 인근의 후광 영역을 구할 때 기준이 되는 에지영상을 검출하는 과정이다. 경계선에서는 명도 값이 급격하게 변화하는 성질을 이용해 수학식 10의 명도 에지 IE(x,y)를 검출한다.
Figure pat00010
다만 명도가 비슷할 경우에는 그레이스케일 값도 비슷하기 때문에 원본 영상에서는 다른 물체이지만 경계가 검출이 안 되는 경우가 있다. 경계이지만 검출되지 못하는 영역은 수학식 11의 컬러 에지 CE(x,y)를 이용하여 검출한다.
Figure pat00011
이때, 각 채널이 같은 에지 방향을 가진 상황일 때 에지 강도를 강하게 부여하는데 그 반대의 경우는 에지 검출이 안 되는 경우가 있다. 서로의 단점으로 인해 검출이 안 되는 경우를 보완하기 위해 명도 에지와 컬러 에지를 결합한다. 안개 추정 영역을 기준으로 각 에지 영상들을 검출한다. 이때, 컬러 에지는 세밀하게 검출되므로 명도 에지에서 에지로 생각하지 않는 영역에까지 에지로 검출을 하게 된다. 에지 영역이 많아지면 작은 윈도우 크기를 적용하여 전달량을 검출하는 영역이 많아지므로, 전체적으로 어두워질 뿐 아니라 안개 제거가 덜 이루어진다. 이에, 임계값을 설정한 후 수학식 12와 같이 출력할 수 있다.
Figure pat00012
③ 그 다음은 가변 윈도우 설정이다. DCP 안개제거를 기반으로 전달량 보정을 수행해도 후광현상이 완전히 억제되지 않으며 속도 성능면에서 저하된다. 전달량을 산출할 때, 작은 윈도우 크기의 다크 채널 연산을 사용할수록 에지 영역에 후광현상이 제거 되고, 큰 윈도우 크기의 다크 채널 연산을 사용할수록 안개 제거가 잘 이루어진다. 에지 영역 보존을 위해 사용되는 윈도우 크기는 1×1, 안개 제거에 사용되는 윈도우 크기는 15×15를 사용한다. 1×1크기의 윈도우와 15×15크기의 윈도우만을 사용할 경우 다크 채널의 값의 차이가 크므로 안개가 제거된 복원영상이 자연스럽지 않을뿐더러, 15×15크기의 윈도우를 사용한 연산에서 에지 영역이 포함될 경우 경계에 후광 현상이 일어나게 된다. 위의 내용에서 산출된 에지 맵과 헤이즈를 결합한 영역을 기준으로 모폴로지 기법을 통해 각 서로 다른 윈도우 크기를 적용할 9개의 영역을 산출한다. 위의 결합한 영역을 기준으로 1×1, 3×3, 5×5, 7×7, 9×9, 11×11, 13×13, 15×15크기의 윈도우를 단계적으로 적용한다. 위의 윈도우의 개수로 보면 8 개의 영역만 필요한데 9개의 영역을 산출한 것은 결합한 영역에 1×1의 윈도우를 제외한 윈도우를 적용할 경우 부자연스러운 후광 현상이 발생하게 된다.
이것을 해결하기 위해 예를 들어, 검은색으로 채워진 부분은 결합한 영역으로 1×1의 윈도우가 적용되고 적색과 주황색은 3×3, 녹색부터는 5×5의 윈도우가 적용된다. 이런 방법으로 모폴로지 영역에 단계적으로 7×7, 9×9,..., 15×15를 적용시킨다면 결합한 영역에 겹치지 않아 후광 현상이 발생하지 않고 자연스러운 경계처리를 할 수 있다. 적색, 주황색 부분에 3×3을 2번 처리한 이유는 주황색부터 5×5부터 단계적으로 적용할 경우 결합한 영역의 값이 포함되므로 후광 현상이 나타나게 된다. 이를 제거하기 위해 위의 방법을 사용하면 각 영역에 주어진 윈도우 크기 연산을 결합한 영역에 겹치지 않아 후광 현상이 발생하지 않고 자연스러운 경계처리를 할 수 있다. 물론, 상술한 가변 윈도우 기반의 방법 이외에도 다양한 방법이 적용될 수 있다.
이때, 사용자 단말(100)은 CMS(Camera Monitoring System)을 포함할 수 있다. 최근, CMS는 사이드미러를 없애고 사이드미러 자리에 카메라를 설치한 후 사이드미러의 영상을 내부에서 볼 수 있도록 자동차 옵션으로 자주 등장하는 것인데 본 발명의 일 실시예에서는 각 카메라(410)로 수신된 영상을 보정한 후 디스플레이(420)에 출력하기 위하여 CMS를 사용자 단말(100)에 내장할 수도 있다.
<디스플레이_네비게이션>
도 4의 (a)와 같이 적어도 하나의 종류의 디스플레이(420)가 네비게이션인 경우, 네비게이션은, 경로안내화면을 분할하여 어느 한 영역에는 경로안내화면을 출력하고, 사용자 단말(100)에서 보정된 영상을 다른 한 영역에 출력할 수 있다. 예를 들어, 경로안내화면은 4 개로 분할된 4 분면 중 1 분면에 위치하고 나머지 2 내지 4 분면에는 보정된 영상을 출력할 수도 있고, 좌우 양쪽으로 균분하여 우측에는 경로안내화면을 좌측에는 보정된 영상을 출력할 수도 있다.
<디스플레이_HUD>
도 4의 (b)와 같이 적어도 하나의 종류의 디스플레이(420)는 헤드업디스플레이(420)(Head-Up Display)일 수 있고, 사용자 단말(100)에서 보정된 영상을 헤드업디스플레이(420)에서 출력할 수 있다. 이때, 차량용 HUD(Head-Up-Display)는 차량의 상태, 경고표시의 알림을 제시해 줌으로써 운전자가 적정한 속도를 유지하게 하고 적시에 시각적, 청각적 알림을 통해 사용자가 목적지를 찾아가 하는데 도움을 주는 디스플레이 형태이다. 운전은 다양한 형태의 시청각 자극을 동시에 처리해야 하는 태스크이기 때문에 운전자의 시선과 눈의 초점을 크게 변동시키지 않도록 하면서 정보를 제공하는 것이 중요하다. 특히, 사용자에게 정보를 제공하는 시점, 인터페이스 방식에 따라 사용자의 주의에 영향을 주게 되므로, 레이아웃측면에서 주행에 필요한 하단 시선영역을 확보하기 위해 하단 보다는 상단에 정보를 표시해야 한다. 또한, 방향전환을 나타내는 정보색상의 채도차이를 크게 하여 가시성을 높일 수 있고, 이동경로 정보를 중심으로 화살표, 블록 등의 기호화 된 아이콘들로 표현하여 주행 중 운전자가 작은 주의만 기울여도 방향, 거리정보를 파악할 수 있도록 구성될 수 있다. 디스플레이 제공 시점도 중요한 요소인데, 주의가 높게 가장 요구되는 좌/우회전 의사결정 컨텍스트에서 다른 컨텍스트에 비해 정보가 제공되는 시점을 앞당기는 것을 고려하여, 이동경로 안내에서 직진 이외에 좌회전, 우회전, 유턴 등 기 설정된 안내 시간보다 더 앞당겨 제공을 하도록 한다.
<디스플레이_WSD>
도 4의 (c)와 같이 적어도 하나의 종류의 디스플레이(420)는 차량의 전면 또는 후면 유리가 디스플레이(420)로 대체된 윈드쉴드디스플레이(WindShield Display, 420)이고, 사용자 단말(100)에서 보정된 영상을 윈드쉴드디스플레이(420)에 전달하는 경우, 윈드쉴드디스플레이(420)에 전류가 도통되며 불투명 유리로 변경되고 사용자 단말(100)의 보정된 영상을 차량의 전면 또는 후면의 윈드쉴드디스플레이(420)에서 출력할 수 있다. 최근 스마트 유리가 개발되어 유리 내 전류를 가하면 유리 내 입자가 변동하여 투명한 유리가 불투명해지는 효과를 내고 있다. 이에 더하여, 윈드쉴드디스플레이는 불투명해진 유리 자체가 디스플레이가 되어 영상을 출력할 수 있는 투명 디스플레이 장치인데, 전면 유리에 안개가 제거된 보정 영상을 그대로 제공해주는 경우, 실제 보는 것은 앞 도로가 아니라 앞 도로를 촬영한 보정 영상이므로 훨씬 선명한 영상을 보게 되고 사용자는 더 넓어진 시야를 가지고 운전을 할 수 있다. 물론, 안개의 변화가 급격할 수 있고 실시간으로 보정이 처리되지 않을 수도 있다는 것을 감안하여 전면 유리의 상부 또는 하부만을, 또는 좌측 또는 우측만을 불투명 처리하여 보정 영상을 디스플레이하는 것도 가능하다.
<디스플레이_대시보드>
도 4의 (d)와 같이 적어도 하나의 종류의 디스플레이(420)는 차량의 대시보드(DashBoard)에 매립형 또는 돌출형 디스플레이(420)이고, 매립형 또는 돌출형 디스플레이(420)는 판넬(Pannel)형 또는 롤러(Roller)형 디스플레이(420)일 수 있다.
정리하면, 본 발명의 일 실시예는 도 3b와 같이 디포그 서비스 제공 서버(300)를 통하여 본 발명의 디포그 서비스 제공 애플리케이션을 사용자 단말(100)에서 다운로드하고(S3100, S3200), 사용자 단말(100)은, 차량(400) 내 카메라(410), 디스플레이(420) 및 ETC(430)와 유무선 네트워크를 설정 및 연결을 하는 초기 세팅을 시작한다(S3300). 그리고, 사용자 단말(100)은 카메라(410)로부터 영상을 전송받으면서 현재 ETC(430)를 통하여 엔진이 ON 상태이고 운행중임이 확인되면 가시거리가 기준값을 만족하는지를 확인하고(S3500), 가시거리가 기준값 미만인 경우 인공지능 모드를 ON 시키며(S3600), ETC(430)로 오토디포그 모드를 턴 온하도록 한다(S3700). 이때 ETC(430)는 HAVC를 가동시키고(S3710) 열선을 가동시키며(S3730), 습도를 피드백해주면서(S3800), 전면 또는 후면 유리에 김서림 여부를 사용자 단말(100)에서 체크하도록 한다. 그리고, 사용자 단말(100)은 습도 피드백 데이터를 이용하여 기준습도보다 낮은 습도를 피드백받은 경우 온도차로 인한 이슬점 구간을 지났다고 판단하고, 이때부터 카메라(410)로부터 수집된 영상에서 안개를 제거하는 보정작업을 시작할 수 있도록 디포그 알고리즘을 영상에 적용하여 보정한다(S3900~S3930). 그리고 사용자 단말(100)은 디스플레이(420)로 안개가 제거된 영상을 출력시키도록 하고(S3940), 디스플레이(420)는 안개가 제거된 영상을 출력한다(S3950).
이와 같은 도 2 내지 도 4의 인공지능 기반 차량용 디포그 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 인공지능 기반 차량용 디포그 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 5는 본 발명의 일 실시예에 따른 도 1의 인공지능 기반 차량용 디포그 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 5를 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 5에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.
도 5를 참조하면, 사용자 단말은, 적어도 하나의 카메라로부터 수집된 영상에서 가시거리 확보가 불가능한 경우 인공지능 모드를 턴 온한다(S5100).
그리고, 사용자 단말은, 차량의 전면 또는 후면의 김서림 방지를 위하여 공기조화기를 오토디포그(AutoDefog) 모드로 동작하도록 하고(S5200), 적어도 하나의 카메라로부터 수집된 영상 내 안개가 포함된 경우 적어도 하나의 디포그 알고리즘을 이용하여 영상을 보정한다(S5300).
또, 사용자 단말은, 보정된 영상을 블랙박스로 녹화하면서 적어도 하나의 종류의 디스플레이를 통하여 출력한다(S5400).
상술한 단계들(S5100~S5400)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S5100~S5400)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.
이와 같은 도 5의 인공지능 기반 차량용 디포그 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 4를 통해 인공지능 기반 차량용 디포그 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 5를 통해 설명된 일 실시예에 따른 인공지능 기반 차량용 디포그 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 일 실시예에 따른 인공지능 기반 차량용 디포그 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 인공지능 기반 차량용 디포그 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

  1. 차량의 내부 또는 외부에 설치되어 차량의 전면 또는 후면을 촬영하는 적어도 하나의 카메라;
    상기 적어도 하나의 카메라로부터 수집된 영상 내 안개가 포함된 경우 적어도 하나의 디포그(Defog) 알고리즘을 이용하여 영상을 보정하는 사용자 단말; 및
    상기 사용자 단말에서 보정된 영상을 출력하는 적어도 하나의 종류의 디스플레이;
    를 포함하는 인공지능 기반 차량용 디포그 서비스 제공 시스템.
  2. 제 1 항에 있어서,
    상기 인공지능 기반 차량용 디포그 서비스 제공 시스템은,
    상기 적어도 하나의 카메라가 상기 차량의 내부에 설치되고, 상기 적어도 하나의 카메라로부터 수신된 영상 내 안개가 포함된 경우, 상기 차량의 전면 또는 후면의 김서림 방지를 위하여 공기조화기(Heating, Ventilation, Air Conditioning)를 이용하여 오토디포그(AutoDefog) 모드를 실행시키는 ECU(Electronic Control Unit);
    를 더 포함하는 것을 특징으로 하는 인공지능 기반 차량용 디포그 서비스 제공 시스템.
  3. 제 2 항에 있어서,
    상기 ECU는,
    상기 적어도 하나의 카메라가 외부에 설치되고, 외부에 설치된 상기 적어도 하나의 카메라로부터 수신된 영상 내 안개가 포함된 경우, 상기 외부에 설치된 적어도 하나의 카메라와 기 연결된 열선을 턴 온(Turn On)시키거나 상기 외부에 설치된 적어도 하나의 카메라로 온풍을 출력하도록 온풍기를 가동시키는 것을 특징으로 하는 인공지능 기반 차량용 디포그 서비스 제공 시스템.
  4. 제 1 항에 있어서,
    상기 적어도 하나의 종류의 디스플레이는 네비게이션이고,
    상기 네비게이션은, 경로안내화면을 분할하여 어느 한 영역에는 상기 경로안내화면을 출력하고, 상기 사용자 단말에서 보정된 영상을 다른 한 영역에 출력하는 것을 특징으로 하는 인공지능 기반 차량용 디포그 서비스 제공 시스템.
  5. 제 1 항에 있어서,
    상기 적어도 하나의 종류의 디스플레이는 헤드업디스플레이(Head-Up Display)이고,
    상기 사용자 단말에서 보정된 영상을 상기 헤드업디스플레이에서 출력하는 것을 특징으로 하는 인공지능 기반 차량용 디포그 서비스 제공 시스템.
  6. 제 1 항에 있어서,
    상기 적어도 하나의 종류의 디스플레이는 차량의 전면 또는 후면 유리가 디스플레이로 대체된 윈드쉴드디스플레이(WindShield Display)이고,
    상기 사용자 단말에서 보정된 영상을 상기 윈드쉴드디스플레이에 전달하는 경우, 상기 윈드쉴드디스플레이에 전류가 도통되며 불투명 유리로 변경되고 상기 사용자 단말의 보정된 영상을 상기 차량의 전면 또는 후면의 윈드쉴드디스플레이에서 출력하는 것을 특징으로 하는 인공지능 기반 차량용 디포그 서비스 제공 시스템.
  7. 제 1 항에 있어서,
    상기 적어도 하나의 종류의 디스플레이는 차량의 대시보드(DashBoard)에 매립형 또는 돌출형 디스플레이이고,
    상기 매립형 또는 돌출형 디스플레이는 판넬(Pannel)형 또는 롤러(Roller)형 디스플레이인 것을 특징으로 하는 인공지능 기반 차량용 디포그 서비스 제공 시스템.
  8. 제 1 항에 있어서,
    상기 인공지능 기반 차량용 디포그 서비스 제공 시스템은,
    상기 적어도 하나의 디포그 알고리즘을 상기 사용자 단말로 전송하는 디포그 서비스 제공 서버;
    를 더 포함하는 것을 특징으로 하는 인공지능 기반 차량용 디포그 서비스 제공 시스템.
  9. 제 8 항에 있어서,
    상기 디포그 서비스 제공 서버는,
    상기 사용자 단말에서 입력받은 상기 적어도 하나의 카메라의 원본 영상 내 각 영역(Region)에 대한 DCP(Dark Channel Prior)를 이용하여 대기광을 산출하고, 상기 대기광을 이용하여 각 화소에 대한 안개에 따른 빛의 전달량을 산출하며, 상기 각 영역에 CBF(Cross Bilateral Filter)를 이용하여 에지(Edge) 성분을 포함하도록 전달량을 보정하여 후광 현상을 제거하고, 상기 후광 현상이 제거된 상기 빛의 전달량을 통하여 각 화소별 RGB 채널을 이용하여 안개 제거 프로세스를 진행하여 안개 제거 영상을 출력하는 안개제거부;
    를 더 포함하는 것을 특징으로 하는 인공지능 기반 차량용 디포그 서비스 제공 시스템.
  10. 제 1 항에 있어서,
    상기 사용자 단말은 CMS(Camera Monitoring System)을 포함하는 것을 특징으로 하는 인공지능 기반 차량용 디포그 서비스 제공 시스템.
KR1020210126438A 2021-09-24 2021-09-24 인공지능 기반 차량용 디포그 서비스 제공 시스템 KR102633972B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210126438A KR102633972B1 (ko) 2021-09-24 2021-09-24 인공지능 기반 차량용 디포그 서비스 제공 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210126438A KR102633972B1 (ko) 2021-09-24 2021-09-24 인공지능 기반 차량용 디포그 서비스 제공 시스템

Publications (2)

Publication Number Publication Date
KR20230044063A true KR20230044063A (ko) 2023-04-03
KR102633972B1 KR102633972B1 (ko) 2024-02-07

Family

ID=85936603

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210126438A KR102633972B1 (ko) 2021-09-24 2021-09-24 인공지능 기반 차량용 디포그 서비스 제공 시스템

Country Status (1)

Country Link
KR (1) KR102633972B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130013725A (ko) * 2011-07-28 2013-02-06 현대자동차주식회사 차량의 윈도우 자동 습기 제거를 위한 공조 제어 방법
KR20190091900A (ko) * 2018-01-30 2019-08-07 한국기술교육대학교 산학협력단 안개 제거를 위한 영상처리장치
WO2019215757A1 (en) * 2018-05-09 2019-11-14 Saint-Gobain Glass France Automobile glazing defogger
KR20210053382A (ko) * 2019-11-01 2021-05-12 감동환 심층신경망 영상기술이 적용된 v-hud 시스템
US20210295546A1 (en) * 2020-12-15 2021-09-23 Beijing Baidu Netcom Science And Technology Co., Ltd. Satellite image processing method, network training method, related devices and electronic device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130013725A (ko) * 2011-07-28 2013-02-06 현대자동차주식회사 차량의 윈도우 자동 습기 제거를 위한 공조 제어 방법
KR20190091900A (ko) * 2018-01-30 2019-08-07 한국기술교육대학교 산학협력단 안개 제거를 위한 영상처리장치
WO2019215757A1 (en) * 2018-05-09 2019-11-14 Saint-Gobain Glass France Automobile glazing defogger
KR20210053382A (ko) * 2019-11-01 2021-05-12 감동환 심층신경망 영상기술이 적용된 v-hud 시스템
US20210295546A1 (en) * 2020-12-15 2021-09-23 Beijing Baidu Netcom Science And Technology Co., Ltd. Satellite image processing method, network training method, related devices and electronic device

Also Published As

Publication number Publication date
KR102633972B1 (ko) 2024-02-07

Similar Documents

Publication Publication Date Title
CN108460734B (zh) 车辆驾驶员辅助模块进行图像呈现的系统和方法
US9846927B2 (en) Systems and methods for haziness detection
CN103218778B (zh) 一种图像和视频的处理方法及装置
CN107209856B (zh) 环境场景状况检测
US11205284B2 (en) Vehicle-mounted camera pose estimation method, apparatus, and system, and electronic device
KR101811157B1 (ko) 사발형 영상 시스템
US20210365696A1 (en) Vehicle Intelligent Driving Control Method and Device and Storage Medium
US20130071043A1 (en) Image defogging method and system
US20200089972A1 (en) Automobile head-up display system and obstacle prompting method thereof
Negru et al. Exponential contrast restoration in fog conditions for driving assistance
CN110651301A (zh) 用于自动为夜视图像着色的方法和系统
JP2021185548A (ja) 物体検出装置、物体検出方法およびプログラム
CN111344169A (zh) 一种防晕光车辆辅助驾驶系统
CN111833627A (zh) 车辆视觉范围扩展方法、装置、系统和计算机设备
CN114339185A (zh) 用于车辆相机图像的图像彩色化
CN115115611B (zh) 车辆损伤识别方法、装置、电子设备和存储介质
CN103226809B (zh) 图像除雾装置和图像除雾方法
US20200343972A1 (en) Optical communication method
CN109519077B (zh) 一种基于图像处理对雨水进行检测的车窗控制系统
Park et al. Panoramic vision system to eliminate driver’s blind spots using a laser sensor and cameras
CN107230373B (zh) 信息推荐方法、装置、计算机可读存储介质和移动终端
KR102633972B1 (ko) 인공지능 기반 차량용 디포그 서비스 제공 시스템
US20230342883A1 (en) Image processing method and apparatus, and storage medium
Chatterjee et al. Vision improvement system using image processing technique for adverse weather condition of opencast mines
CN111241946B (zh) 一种基于单dlp光机增大fov的方法和系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant