KR20210053382A - 심층신경망 영상기술이 적용된 v-hud 시스템 - Google Patents

심층신경망 영상기술이 적용된 v-hud 시스템 Download PDF

Info

Publication number
KR20210053382A
KR20210053382A KR1020190138644A KR20190138644A KR20210053382A KR 20210053382 A KR20210053382 A KR 20210053382A KR 1020190138644 A KR1020190138644 A KR 1020190138644A KR 20190138644 A KR20190138644 A KR 20190138644A KR 20210053382 A KR20210053382 A KR 20210053382A
Authority
KR
South Korea
Prior art keywords
image
vehicle
deep neural
neural network
imaging technology
Prior art date
Application number
KR1020190138644A
Other languages
English (en)
Inventor
감동환
이봉기
추현욱
Original Assignee
감동환
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 감동환 filed Critical 감동환
Priority to KR1020190138644A priority Critical patent/KR20210053382A/ko
Publication of KR20210053382A publication Critical patent/KR20210053382A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B60R11/0235—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes of flat type, e.g. LCD
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/247—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Instrument Panels (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 심층신경망 영상기술이 적용된 V-HUD 시스템에 관한 것으로서, 차량의 좌측면의 영상을 촬영하여 제1영상을 생성하는 제1카메라부; 차량의 우측면의 영상을 촬영하여 제2영상을 생성하는 제2카메라부; 차량의 후측면의 영상을 촬영하여 제3영상을 생성하는 제3카메라부; 차량의 전면 유리에 설치되며, 상기 제1영상과 상기 제2영상과 상기 제3영상과 차량에 설치되는 네비게이션에서 출력되는 네비게이션영상 중 어느 하나 이상을 선택적으로 출력하는 디스플레이부; 및 상기 디스플레이부를 제어하며, 상기 제1영상과 상기 제2영상과 상기 제3영상 중 어느 하나 이상을 심층신경망 영상기술을 사용하여 보정하는 제어부를 포함한다.
본 발명에 따르면, 본 발명에 따르면, 심층신경망 영상기술을 적용하여 우천시, 안개시, 야간시 등과 같은 악조건에서도 차량 주변의 영상을 선명하게 표시할 수 있고, HUD에 지도정보, 사이드미러 정보 등과 같은 다양한 정보를 한꺼번에 표시할 수 있게되며, 이에 따라, 운전자가 전방을 주시한 상태에서 모든 정보를 쉽게 확인할 수 있어, 운전자의 전방시야 확보 실패로 인한 사고가 크게 감소되는 효과가 있다.

Description

심층신경망 영상기술이 적용된 V-HUD 시스템{VISION HEAD UP DISPLAY SYSTEM WITH DEEP NEURAL NETWORKS VISION TECHNOLOGY}
본 발명은 심층신경망 영상기술이 적용된 V-HUD 시스템에 관한 것이다.
근래에 자동차에는 ADAS(Advanced Driver Asistance System: 첨단 운전자 보조 시스템) 기술과 같은 센서기반 안전기술이 적용되고 있으며, 차량 간(V2V), 차량과 인프라 간(V2I)의 통신으로 정보를 융합하기 위한 V2X 연계 안전기술도 확대되고 있다.
기술이 발전함에 따라 주변 환경을 인식하기 위한 센서 디바이스와 센서로부터 수집한 정보를 통합적으로 분석하고 주행을 관리하기 위한 처리장치의 필요성이 강조되고 있다.
환경 인식을 위한 센서 디바이스의 경우, 카메라, 라이다(Lidar), 레이더, 초음파, 적외선 등의 센서들이 활용되고 있으며 그 중 사람의 양안과 유사한 정보 인식 및 처리를 위하여 카메라의 비중이 점점 더 커지고 있다.
카메라는 차선을 인식하고 주변의 사물의 형태와 색상 등을 인식하는 것에 사용되기 때문에 자율 주행 및 ADAS 기술의 필수적이다. 그러나 역광, 상향등, 안개와 우천과 같이 외부 조건에 취약하기 때문에 카메라 영상에 의한 환경 인식 시 정보를 해석하는 과정에서 오류가 발생할 가능성이 있다는 문제점이 있다.
카메라를 통한 외부환경 인식은 악천우(폭우, 안개 등)와 상향등 및 야간의 조명환경 차이에 의하여 영상에 따른 정보 분석의 어려움이 있다. 이러한 악조건 상황에서 안전하게 주행하기 위하여, 카메라를 통한 주변 환경 촬영 후 보정을 통하여 운전자에게 주변 환경에 대한 정확한 정보를 전달할 수 있고, 악조건 환경에서 보정된 영상정보를 획득하여 획득한 정보를 바탕으로 주행에 적용할 수 있는 비전 시스템 개발이 필요하다.
한편, 전방시야 확보는 운전자에게 있어 가장 중요한 덕목 중 하나이며 안전운전을 위해서는 필수적이다. 하지만 그렇다고 해서 마냥 앞만 보고 달릴 수는 없다. 사이드미러와 룸미러를 살피며 주변에 어떤 차량이 있는지 등을 알아야 하기 때문이다.
특히 현재 속도가 얼마나 되는지, 엔진 회전수가 어떤지, 어디로 가야 하는지 알기 위해 계기판과 네비게이션까지 함께 살펴봐야 해서 정신없는 운전이 되기 십상이다.
일반 운전자 입장에서도 번거로운 것이 시야 확보인데, 초보운전자들은 더더욱 어려움을 느끼고 있다. 근래에 출시된 차량들에는 HUD와 BVM이라는 기능을 사용할 수 있는 차량들이 늘어나 시야 확보에 대한 번거로움을 조금은 줄일 수 있게 되었다.
그러나 현재 널리 사용되고 있는 HUD는 제한적인 정보만을 운전자에게 제공하기 때문에, 주변정보 확인을 위해서는 운전자는 여전히 사이드미러와 룸미러를 살펴야하며, 자세한 길안내 및 목적지 확인을 위해 네비게이션도 확인해야 한다. 이 때문에 운전자가 순간적으로 전방시야를 확보하지 못하는 경우, 사고로 이어질 수 있는 위험성이 높다.
본 발명의 목적은 상술한 종래의 문제점을 해결하기 위한 것으로서, 심층신경망 영상기술을 적용하여 우천시, 안개시, 야간시 등과 같은 악조건에서도 차량 주변의 영상을 선명하게 표시할 수 있고, HUD에 지도정보, 사이드미러 정보 등과 같은 다양한 정보를 한꺼번에 표시할 수 있는 심층신경망 영상기술이 적용된 V-HUD 시스템을 제공함에 있다.
상기 목적은, 본 발명에 따라, 차량의 좌측면의 영상을 촬영하여 제1영상을 생성하는 제1카메라부; 차량의 우측면의 영상을 촬영하여 제2영상을 생성하는 제2카메라부; 차량의 후측면의 영상을 촬영하여 제3영상을 생성하는 제3카메라부; 차량의 전면 유리에 설치되며, 상기 제1영상과 상기 제2영상과 상기 제3영상과 차량에 설치되는 네비게이션에서 출력되는 네비게이션영상 중 어느 하나 이상을 선택적으로 출력하는 디스플레이부; 및 상기 디스플레이부를 제어하며, 상기 제1영상과 상기 제2영상과 상기 제3영상 중 어느 하나 이상을 심층신경망 영상기술을 사용하여 보정하는 제어부를 포함하는 심층신경망 영상기술이 적용된 V-HUD 시스템에 의해 달성된다.
본 발명에 따르면, 심층신경망 영상기술을 적용하여 우천시, 안개시, 야간시 등과 같은 악조건에서도 차량 주변의 영상을 선명하게 표시할 수 있다.
또한 본 발명에 따르면, HUD에 지도정보, 사이드미러 정보 등과 같은 다양한 정보를 한꺼번에 표시할 수 있게되며, 이에 따라, 운전자가 전방을 주시한 상태에서 모든 정보를 쉽게 확인할 수 있어, 운전자의 전방시야 확보 실패로 인한 사고가 크게 감소되는 효과가 있다.
한편, 본 발명의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 효과들이 포함될 수 있다.
도 1은 본 발명의 일실시예에 따른 심층신경망 영상기술이 적용된 V-HUD 시스템이 적용된 차량의 내부 모습을 도시한 것이고,
도 2는 본 발명의 일실시예에 따른 심층신경망 영상기술이 적용된 V-HUD 시스템의 구성간 전기적인 연결을 도시한 것이고,
도 3은 본 발명의 일실시예에 따른 심층신경망 영상기술이 적용된 V-HUD 시스템의 디스플레이부에 표시되는 화면을 도시한 것이고,
도 4는 본 발명의 일실시예에 따른 심층신경망 영상기술이 적용된 V-HUD 시스템의 제어부에서 실시되는 심층신경망 영상기술로 영상을 보정하여 디스플레이부에서 표시된 화면을 도시한 것이다.
이하, 본 발명의 일부 실시 예들이 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야한다.
그리고 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 실시 예의 구성요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다.
지금부터 첨부한 도면을 참조하여, 본 발명의 일실시예에 따른 심층신경망 영상기술이 적용된 V-HUD 시스템에 대해 상세히 설명한다.
도 1은 본 발명의 일실시예에 따른 심층신경망 영상기술이 적용된 V-HUD 시스템이 적용된 차량의 내부 모습을 도시한 것이고, 도 2는 본 발명의 일실시예에 따른 심층신경망 영상기술이 적용된 V-HUD 시스템의 구성간 전기적인 연결을 도시한 것이고, 도 3은 본 발명의 일실시예에 따른 심층신경망 영상기술이 적용된 V-HUD 시스템의 디스플레이부에 표시되는 화면을 도시한 것이고, 도 4는 본 발명의 일실시예에 따른 심층신경망 영상기술이 적용된 V-HUD 시스템의 제어부에서 실시되는 심층신경망 영상기술로 영상을 보정하여 디스플레이부에서 표시된 화면을 도시한 것이다.
도 1 내지 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 심층신경망 영상기술이 적용된 V-HUD 시스템(100)은 제1카메라부(110)와 제2카메라부(120)와 제3카메라부(130)와 디스플레이부(140)와 제어부(150)를 포함한다.
제1카메라부(110)는 차량의 좌측면의 영상을 촬영하여 제1영상을 생성하는 것으로서, 제어부(150)에 전기적으로 연결된다. 제1카메라부(110)는 차량의 좌측 사이드미러에 설치되어 차량의 좌측 및 좌후방측을 촬영할 수 있다.
제2카메라부(120)는 차량의 우측면의 영상을 촬영하여 제2영상을 생성하는 것으로서, 제어부(150)에 전기적으로 연결된다. 제2카메라부(120)는 차량의 우측 사이드미러에 설치되어 차량의 우측 및 우후방측을 촬영할 수 있다.
제3카메라부(130)는 차량의 후측면의 영상을 촬영하여 제3영상을 생성하는 것으로서, 제어부(150)에 전기적으로 연결된다. 제3카메라부(130)는 차량의 트렁크측 또는 차량의 후방 범퍼측에 설치되어 차량의 후방을 촬영할 수 있다.
디스플레이부(140)는 상기 제1영상과 상기 제2영상과 상기 제3영상과 차량에 설치되는 네비게이션에서 출력되는 네비게이션영상 중 어느 하나 이상을 선택적으로 출력하는 것으로서, 투명 또는 반투명한 와이드 타입의 디스플레이모듈로 마련되어 차량의 전면 유리에 설치될 수 있다.
이러한 디스플레이부(140)는 도 1 및 도 3에 도시된 바와 같이 3부분으로 영상을 분할 출력할 수 있는데, 후술하는 제어부(150)의 제어에 따라 출력되는 영상을 종류가 전환될 수 있다.
제어부(150)는 차량에 설치되어 디스플레이부(140)를 제어하는 것으로서, 제1영상과 제2영상과 제3영상 중 어느 하나 이상을 심층신경망 영상기술을 사용하여 보정한다.
제어부(150)는 차량이 기본적으로 주행하는 경우 디스플레이부(140)의 좌측에 제1영상이, 중심에 네비게이션영상이, 우측에 제2영상이 출력되도록 제어할 수 있다. 또한, 제어부(150)는 차량이 후진하는 경우 디스플레이부(140)의 좌측에 제1영상이, 중심에 제3영상이, 우측에 제2영상이 출력되도록 제어할 수 있다. 또한, 제어부(150)는 차량의 좌측 방향지시등이 작동되는 경우 디스플레이부(140)의 좌측에 제1영상이, 중심에 제3영상이, 우측에 네비게이션영상이 출력되도록 제어할 수 있다. 또한, 제어부(150)는 차량의 우측 방향지시등의 작동되는 경우 디스플레이부(140)의 좌측에 네비게이션영상이, 중심에 제3영상이, 우측에 제2영상이 출력되도록 제어할 수 있다.
한편, 제어부(150)는 우천시, 안개시, 야간시 등과 같은 악조건이 발생하는 경우 심층신경망 영상기술을 적용하여 제1영상, 제2영상, 제3영상을 보정함으로써, 도 4에 도시된 바와 같이 영상이 선명하게 표시되게 할 수 있다.
상술한 바와 같은 제1카메라부(110)와 제2카메라부(120)와 제3카메라부(130)와 디스플레이부(140)와 제어부(150)를 포함하는 본 발명의 일실시예에 따른 심층신경망 영상기술이 적용된 V-HUD 시스템(100)에 따르면, 심층신경망 영상기술을 적용하여 우천시, 안개시, 야간시 등과 같은 악조건에서도 차량 주변의 영상을 선명하게 표시할 수 있다.
또한 본 발명의 일실시예에 따른 심층신경망 영상기술이 적용된 V-HUD 시스템(100)에 따르면, HUD에 지도정보, 사이드미러 정보 등과 같은 다양한 정보를 한꺼번에 표시할 수 있게되며, 이에 따라, 운전자가 전방을 주시한 상태에서 모든 정보를 쉽게 확인할 수 있어, 운전자의 전방시야 확보 실패로 인한 사고가 크게 감소되는 효과가 있다.
이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석 되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
그리고 이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 본 발명의 일실시예에 따른 심층신경망 영상기술이 적용된 V-HUD 시스템
110 : 제1카메라부
120 : 제2카메라부
130 : 제3카메라부
140 : 디스플레이부
150 : 제어부

Claims (1)

  1. 차량의 좌측면의 영상을 촬영하여 제1영상을 생성하는 제1카메라부;
    차량의 우측면의 영상을 촬영하여 제2영상을 생성하는 제2카메라부;
    차량의 후측면의 영상을 촬영하여 제3영상을 생성하는 제3카메라부;
    차량의 전면 유리에 설치되며, 상기 제1영상과 상기 제2영상과 상기 제3영상과 차량에 설치되는 네비게이션에서 출력되는 네비게이션영상 중 어느 하나 이상을 선택적으로 출력하는 디스플레이부; 및
    상기 디스플레이부를 제어하며, 상기 제1영상과 상기 제2영상과 상기 제3영상 중 어느 하나 이상을 심층신경망 영상기술을 사용하여 보정하는 제어부를 포함하는 심층신경망 영상기술이 적용된 V-HUD 시스템.
KR1020190138644A 2019-11-01 2019-11-01 심층신경망 영상기술이 적용된 v-hud 시스템 KR20210053382A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190138644A KR20210053382A (ko) 2019-11-01 2019-11-01 심층신경망 영상기술이 적용된 v-hud 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190138644A KR20210053382A (ko) 2019-11-01 2019-11-01 심층신경망 영상기술이 적용된 v-hud 시스템

Publications (1)

Publication Number Publication Date
KR20210053382A true KR20210053382A (ko) 2021-05-12

Family

ID=75918952

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190138644A KR20210053382A (ko) 2019-11-01 2019-11-01 심층신경망 영상기술이 적용된 v-hud 시스템

Country Status (1)

Country Link
KR (1) KR20210053382A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230044063A (ko) * 2021-09-24 2023-04-03 김태훈 인공지능 기반 차량용 디포그 서비스 제공 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230044063A (ko) * 2021-09-24 2023-04-03 김태훈 인공지능 기반 차량용 디포그 서비스 제공 시스템

Similar Documents

Publication Publication Date Title
CN107914713B (zh) 车辆用显示装置及包括其的车辆
JP6988819B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US10565962B2 (en) Method and device for adjusting display brightness value
CN107272168B (zh) 车辆用照相机
US8536995B2 (en) Information display apparatus and information display method
US20180015879A1 (en) Side-view mirror camera system for vehicle
CN111433067A (zh) 平视显示装置及其显示控制方法
US9131153B2 (en) Rearview panoramic head-up display device for vehicles
US10609339B2 (en) System for and method of dynamically displaying images on a vehicle electronic display
CN109353279A (zh) 一种增强现实车载抬头显示系统
KR20190012052A (ko) 차량용 사이드 미러
US20010048763A1 (en) Integrated vision system
JP2009227018A (ja) 車両用防眩装置
JP2014201197A (ja) ヘッドアップディスプレイ装置
KR101976106B1 (ko) 정보제공을 위한 차량용 통합 헤드업디스플레이장치
US11124117B2 (en) Imaging device, display system, and display method
US20180304813A1 (en) Image display device
WO2017195459A1 (ja) 撮像装置、および撮像方法
KR20200042549A (ko) 차량 및 그 제어방법
KR20210053382A (ko) 심층신경망 영상기술이 적용된 v-hud 시스템
US20220381913A1 (en) Distance measurement sensor, signal processing method, and distance measurement module
KR20160034681A (ko) 차량의 주변 감시 장치 및 방법
WO2018056981A1 (en) Solar-powered, virtual-reality windshield
WO2019163315A1 (ja) 情報処理装置、撮像装置、及び撮像システム
TWM578660U (zh) 一種利用至少一顆智慧型攝影機之行車載具環景系統