KR20220075696A

KR20220075696A - System and method for head up display correction based on deep learning

Info

Publication number: KR20220075696A
Application number: KR1020200164065A
Authority: KR
Inventors: 김동원; 배준혁
Original assignee: 현대자동차주식회사; 기아 주식회사
Priority date: 2020-11-30
Filing date: 2020-11-30
Publication date: 2022-06-08

Abstract

헤드업 디스플레이 보정 시스템 및 그 방법이 개시된다.
본 발명의 실시 예에 따른 헤드업 디스플레이 보정 시스템은, 공정 라인으로 진입된 차량에 투입되어 헤드업 디스플레이(Head Up Display, HUD)에 의해 윈드쉴드에 투영된 초기 이미지와 보정 이미지를 촬영하는 비전 센서; 차종 별 딥러닝 기반으로 학습된 HUD 영상 보정용 정답 추론 모델을 구축하고, 차량종별 상기 정답 추론 모델을 활용한 상기 초기 이미지의 도트 매트릭스에 대한 보정 좌표를 도출하여 진단통신을 통해 상기 HUD의 영상 보정을 제어하되, 상기 HUD의 캘리브레이션을 통한 영상 보정 후 투영된 상기 보정 이미지의 정합성을 검증하는 HUD 보정 장치;를 포함한다.A head-up display calibration system and method are disclosed.
The head-up display correction system according to an embodiment of the present invention is a vision sensor that is put into a vehicle entering a process line and takes an initial image and a corrected image projected on the windshield by a Head Up Display (HUD). ; Build a correct answer inference model for HUD image correction learned based on deep learning for each vehicle type, derive correction coordinates for the dot matrix of the initial image using the correct answer inference model for each vehicle type, and perform image correction of the HUD through diagnostic communication and a HUD correction device that controls and verifies the consistency of the projected corrected image after image correction through calibration of the HUD.

Description

Deep learning-based head-up display correction system and method {SYSTEM AND METHOD FOR HEAD UP DISPLAY CORRECTION BASED ON DEEP LEARNING}

본 발명은 딥러닝 기반 헤드업 디스플레이 보정 시스템 및 그 방법에 관한 것이다.The present invention relates to a deep learning-based head-up display correction system and method therefor.

일반적으로 헤드업 디스플레이(Head Up Display, HUD)는 운전자 앞창의 가시영역 내에 운전에 필요한 정보를 표시하여 운전자의 시선이 분산 없이 안전운전을 지원하는 운전보조장치이다.In general, a Head Up Display (HUD) is a driving assistance device that supports safe driving without distracting the driver by displaying information necessary for driving within the visible area of the driver's front window.

차량공장의 인라인 공정에서는 차량에 HUD을 조립 후 조립 공차 및 초기 이미지의 왜곡을 보정하기 위한 영상 보정 공정을 수행하고 있다.In the inline process of a vehicle factory, an image correction process is performed to correct assembly tolerances and distortion of the initial image after assembling the HUD in the vehicle.

예컨대, 종래의 영상 보정 공정에서는 HUD 조립 공정 후단에 보정 장비를 구비하고 다양한 차종 별 HUD에 따라 이 가상 영상(Virtual Image, 이하 "초기 이미지"라 명명함)의 형태와 위치가 달라질 수 있는 바, 다음과 같은 HUD 영상 보정 방법을 수행하고 있다.For example, in the conventional image correction process, correction equipment is provided at the rear end of the HUD assembly process, and the shape and location of this virtual image (hereinafter referred to as "initial image") may vary depending on the HUD for each vehicle type. The following HUD image correction method is being performed.

먼저, 보정 장비는 사전에 각 차종 별로 상이한 기준 이미지(Master Image)를 생성하고, 공정에 진입된 차량의 HUD 제어기를 통해 윈드쉴드(Windshield) 글라스에 투영된 초기 이미지를 취득한다. 이 때, HUD 제어기는 상기 초기 이미지의 도트 메트릭스(Dot matrix)의 좌표를 보정장비로 전송할 수 있다.First, the calibration equipment generates a different master image for each vehicle type in advance, and acquires an initial image projected on the windshield glass through the HUD controller of the vehicle entering the process. In this case, the HUD controller may transmit the coordinates of the dot matrix of the initial image to the correction device.

보정 장비는 기준 이미지와 초기 이미지의 편차값(Δ)을 수 차례(예; 3~4회) 비교한 후 결정된 최종 보정 좌표값을 상기 HUD 제어기로 전송하여 보정하도록 하는 초기 이미지 보정 작업을 수행한다. 이 때, HUD의 제어기는 상기 최종 보정 좌표값으로 초기 이미지를 보정을 완료한 후, 자체 보정 미실시 DTC(Diagnostic Trouble Code)를 자동 제거하여 양품(OK)조건을 충족하게 된다.The calibration equipment performs an initial image correction operation that compares the deviation value (Δ) between the reference image and the initial image several times (eg, 3 to 4 times) and transmits the determined final correction coordinate value to the HUD controller to correct it. . At this time, the HUD controller satisfies the OK condition by automatically removing the DTC (Diagnostic Trouble Code) that is not self-correcting after completing the correction of the initial image with the final correction coordinate value.

이처럼, HUD 보정 공정에서의 HUD 조립 공차 및 초기 왜곡의 보정을 위한 해동 공정은 필수적이지만, 신차 개발 시 기준 이미지(Master Image) 생성의 번거로움 및 비용이 발생되는 단점이 있다.As such, the defrosting process for correcting the HUD assembly tolerance and initial distortion in the HUD correction process is essential, but there is a disadvantage in that it is cumbersome and costly to generate a master image when developing a new car.

특히, 종래의 HUD 보정 장치의 보정 프로그램은 설계 엔지니어의 의도에서 벗어난 형태의 초기 이미지 발생 시 이를 정상 보정하는데 한계가 있으며 이로 인한 오보정 발생 가능성을 완전히 배제할 수 없다. 즉, HUD 제어기는 자체적으로 보정 장비와의 보정 루틴(Routine) 수행 여부(DTC 체크)에 따른 양불(OK/NO) 판정 로직은 존재하나, 상기 HUD 보정 장치를 통해 최종 보정된 이미지의 정합성을 판단할 수 없는 단점이 있다.In particular, the correction program of the conventional HUD correction device has a limit in normal correction when an initial image of a form deviating from the design engineer's intention is generated, and the possibility of erroneous correction cannot be completely excluded. That is, the HUD controller itself has OK/NO decision logic according to whether or not to perform a calibration routine with the calibration equipment (DTC check), but determines the consistency of the final corrected image through the HUD calibration device There are downsides to not being able to.

이로 인하여, 종래의 HUD 검사 공정은 보정 장비의 오보정 수행 시 검출할 방법이 없이 양품(OK)으로 판정된 HUD의 영상 왜곡이 발생할 수 있으며, 이로 인한 필드 클레임 유발의 문제점이 존재한다.For this reason, in the conventional HUD inspection process, image distortion of the HUD determined as OK without a detection method may occur when miscalibration of the calibration equipment is performed, and thus there is a problem of inducing field claims.

이 배경기술 부분에 기재된 사항은 발명의 배경에 대한 이해를 증진하기 위하여 작성된 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.Matters described in this background section are prepared to improve understanding of the background of the invention, and may include matters that are not already known to those of ordinary skill in the art to which this technology belongs.

본 발명의 실시 예는 차종 별 딥러닝 기반으로 학습된 HUD 영상 보정용 정답 추론 모델을 구축하고 이를 기반으로 차량의 HUD에서 투영된 초기 이미지를 보정하는 헤드업 디스플레이 보정 시스템 및 그 방법을 제공하는 것을 목적으로 한다.An embodiment of the present invention aims to provide a head-up display correction system and method for establishing a correct answer inference model for HUD image correction learned based on deep learning for each vehicle type and correcting the initial image projected from the HUD of the vehicle based on this do it with

본 발명의 실시 예에 따른 또 다른 목적은 딥러닝 기반으로 보정된 차량의 HUD 보정 이미지의 정합성을 검증하는 헤드업 디스플레이 보정 시스템 및 그 방법을 제공하는데 있다.Another object according to an embodiment of the present invention is to provide a head-up display correction system and method for verifying the consistency of a HUD corrected image of a vehicle corrected based on deep learning.

본 발명의 일 측면에 따르면, 헤드업 디스플레이 보정 시스템은, 공정 라인으로 진입된 차량에 투입되어 헤드업 디스플레이(Head Up Display, HUD)에 의해 윈드쉴드에 투영된 초기 이미지와 보정 이미지를 촬영하는 비전 센서; 차종 별 딥러닝 기반으로 학습된 HUD 영상 보정용 정답 추론 모델을 구축하고, 차량종별 상기 정답 추론 모델을 활용한 상기 초기 이미지의 도트 매트릭스에 대한 보정 좌표를 도출하여 진단통신을 통해 상기 HUD의 영상 보정을 제어하되, 상기 HUD의 캘리브레이션을 통한 영상 보정 후 투영된 상기 보정 이미지의 정합성을 검증하는 HUD 보정 장치;를 포함한다.According to one aspect of the present invention, the head-up display correction system is a vision for shooting an initial image and a corrected image projected on a windshield by a head-up display (HUD) after being put into a vehicle that has entered a process line. sensor; Build a correct answer inference model for HUD image correction learned based on deep learning for each vehicle type, derive correction coordinates for the dot matrix of the initial image using the correct answer inference model for each vehicle type, and perform image correction of the HUD through diagnostic communication and a HUD compensating device that controls, but verifies the consistency of the projected corrected image after image correction through calibration of the HUD.

또한, 상기 HUD 보정 시스템은, 상기 차량의 바코드에서 인식된 차량 ID를 상기 HUD 보정 장치로 전송하는 스캐너; 상기 HUD와 무선 진단통신을 연결하여 하는 안테나; 및 기구학적 자세제어를 통해 선단에 장착된 상기 비전 센서를 상기 윈드쉴드의 촬영위치로 이동시키는 로봇;을 더 포함할 수 있다.In addition, the HUD calibration system may include: a scanner for transmitting the vehicle ID recognized from the barcode of the vehicle to the HUD calibration device; an antenna for connecting the HUD and wireless diagnostic communication; and a robot that moves the vision sensor mounted on the tip to a photographing position of the windshield through kinematic posture control.

또한, 상기 HUD 보정 장치는 안테나와 차량의 OBD를 통해 상기 HUD와의 무선 진단통신을 연결하는 통신부; 상기 비전 센서를 차량 내 촬영위치로 진입시키거나 차량 밖의 대기 위치로 진출시키기 위한 로봇의 동작을 제어하는 로봇 제어부; 초기 이미지를 딥러닝 HUD 보정 알고리즘을 통해 학습하여 상기 정답 추론 모델을 활용한 초기 도트 매트릭스의 좌표 별 오차가 보정된 보정 좌표를 생성하는 딥러닝 학습부; 및 상기 딥러닝 기반으로 HUD 영상 보정을 위한 상기 각부의 전반적인 동작을 제어하는 제어부;를 포함할 수 있다.In addition, the HUD correction device may include: a communication unit connecting an antenna and wireless diagnostic communication with the HUD through an OBD of the vehicle; a robot control unit for controlling an operation of the robot to move the vision sensor into a photographing position within the vehicle or advance to a standby position outside the vehicle; a deep learning learning unit that learns an initial image through a deep learning HUD correction algorithm and generates corrected coordinates in which errors for each coordinate of an initial dot matrix using the correct answer inference model are corrected; and a control unit for controlling the overall operation of each unit for HUD image correction based on the deep learning.

또한, 상기 딥러닝 학습부는 상기 딥러닝 기반 학습에 사용되는 보정 전 이미지에 대하여 이진화, 입력 이미지 조절 및 필터링 중 적어도 하나를 포함하는 전처리 작업을 실시할 수 있다.In addition, the deep learning learning unit may perform a pre-processing operation including at least one of binarization, input image adjustment, and filtering on the image before correction used for the deep learning-based learning.

또한, 상기 딥러닝 학습부는 상기 보정 전 이미지의 도트 매트릭스 좌표수의 정합성을 검사하여 미인식된 좌표가 존재하면 후속 작업을 미진행하고 재촬영하도록 할 수 있다.In addition, the deep learning learning unit may check the consistency of the number of dot matrix coordinates of the image before the correction, and if there are unrecognized coordinates, the subsequent operation may not be performed and re-photographed.

또한, 상기 딥러닝 학습부는 상기 HUD 영상의 도트 매트릭스가 정상적으로 정렬된 정답 이미지와 그 정답 좌표를 생성할 수 있다.Also, the deep learning learner may generate a correct answer image in which the dot matrix of the HUD image is normally aligned and the correct answer coordinates.

또한, 상기 딥러닝 학습부는 사전에 다양한 학습용 이미지를 인공 신경망을 통해 지도 학습하여 정상적으로 정렬된 정답 좌표와의 편차가 보정된 추론 좌표를 도출하는 학습 모듈; 및 상기 보정 전 이미지에서 도출된 초기 좌표를 상기 정답 추론 모델 기반학습을 통해 보정하여 추론 좌표를 도출하는 추론 모듈;을 포함할 수 있다.In addition, the deep learning learning unit is a learning module for deriving inference coordinates corrected for deviations from the normally aligned correct coordinates by supervising various learning images through an artificial neural network in advance; and an inference module for deriving inference coordinates by correcting the initial coordinates derived from the image before correction through the correct answer inference model-based learning.

또한, 상기 인공 신경망은 CNN(Convolutional Neural Network) 및 DNN(Deep Neural Network) 중 적어도 하나를 기반으로 구축될 수 있다.Also, the artificial neural network may be constructed based on at least one of a Convolutional Neural Network (CNN) and a Deep Neural Network (DNN).

또한, 상기 학습 모듈은 상기 다양한 형태로 촬영된 학습 이미지를 전처리 과정을 거쳐 입력 이미지로 변환하는 1단계; 상기 상기 입력 이미지를 분석하여 도트 매트릭스 형태의 2D 입력 좌표를 추출하는 2단계; 및 상기 2D 입력 좌표를 1D 벡터 입력 좌표 단위로 상기 인공 신경망에 입력하여 지도 학습된 출력된 추론 좌표를 도출하는 3단계;를 포함하여 상기 추론 좌표를 도출할 수 있다.In addition, the learning module may include: a first step of converting the learning images taken in the various forms into an input image through a pre-processing process; a second step of analyzing the input image to extract 2D input coordinates in a dot matrix form; and a third step of inputting the 2D input coordinates into the artificial neural network in units of 1D vector input coordinates to derive the supervised and output inferred coordinates.

또한, 상기 학습 모듈은 상기 추론 좌표가 상기 정답 좌표의 오차범위를 만족 시까지 반복 학습하여 최종 결과물로 상기 정답 추론 모델을 생성할 수 있다.In addition, the learning module may generate the correct answer inference model as a final result by repeatedly learning until the inference coordinates satisfy the error range of the correct answer coordinates.

또한, 상기 추론 모듈은 상기 추론 좌표를 보정 전 초기 이미지의 초기 좌표와 비교하여 좌표간 정합성여부를 판단할 수 있다.Also, the inference module may compare the inferred coordinates with the initial coordinates of the initial image before correction to determine whether the coordinates are consistent.

또한, 상기 추론 모듈은 상기 초기 좌표에 대한 상기 추론 좌표를 이용하여 각 좌표값에 대응되는 단위환산 보정률이 적용된 상기 보정 좌표를 도출할 수 있다.Also, the inference module may derive the correction coordinates to which a unit conversion correction rate corresponding to each coordinate value is applied by using the inferred coordinates for the initial coordinates.

또한, 상기 HUD 보정 장치는 상기 보정 이미지를 기초로 분석된 보정 도트 메트릭스 좌표값을 정상적으로 정렬된 정답 좌표와 비교하여 좌표당 편차가 허용오차 이하인 조건을 충족하면 상기 HUD의 영상 보정에 성공한 것으로 판정할 수 있다.In addition, the HUD correction device compares the corrected dot matrix coordinate values analyzed based on the corrected image with the correctly aligned correct coordinates, and determines that the image correction of the HUD is successful if the condition that the deviation per coordinate is less than or equal to the tolerance is satisfied. can

한편, 본 발명의 일 측면에 따른, 사전에 딥러닝 기반으로 학습된 차종 별 헤드업 디스플레이(Head Up Display, HUD) 영상 보정용 정답 추론 모델이 구축된 헤드업 디스플레이(Head Up Display, HUD) 장치가 차량에 장착된 HUD의 영상을 보정하는 방법은, a) 공정에 진입된 차량의 차대번호(VIN)에 매칭된 차종의 HUD에 해당하는 정답 추론 모델을 세팅하고 상기 HUD와 진단통신을 연결하는 단계; b) 로봇의 자세제어를 통해 비전 센서를 차량 내 투입하여 상기 HUD에 의해 윈드쉴드에 투영된 초기 이미지를 촬영하는 단계; c) 상기 정답 추론 모델을 활용한 상기 초기 이미지의 초기 도트 매트릭스 좌표값에 대한 보정 좌표를 도출하여 상기 진단통신을 통해 상기 HUD의 영상 보정을 제어하는 단계; 및 d) 상기 비전 센서를 통해 상기 HUD의 캘리브레이션을 통한 영상 보정 후 투영된 보정 이미지를 촬영하고 상기 보정 이미지의 정합성을 검증하는 단계;를 포함한다.On the other hand, according to an aspect of the present invention, a head-up display (HUD) device in which a correct answer inference model for correcting a head-up display (HUD) image for each vehicle type learned in advance based on deep learning is built. The method of correcting the image of the HUD mounted on the vehicle includes: a) setting a correct answer inference model corresponding to the HUD of the vehicle type matched to the vehicle identification number (VIN) of the vehicle entering the process, and connecting the HUD and diagnostic communication ; b) taking an initial image projected on the windshield by the HUD by putting the vision sensor into the vehicle through the robot's posture control; c) controlling the image correction of the HUD through the diagnosis communication by deriving correction coordinates for the initial dot matrix coordinate values of the initial image using the correct answer reasoning model; and d) photographing a corrected image projected after image correction through calibration of the HUD through the vision sensor and verifying the consistency of the corrected image.

또한, 상기 c) 단계는, 상기 초기 도트 메트릭스 좌표값을 입력 정보로 상기 딥러닝 모델에 학습하여 보정률 계산에 따른 추론 좌표를 도출하는 단계를 포함할 수 있다.In addition, the step c) may include the step of learning the initial dot matrix coordinate value as input information to the deep learning model, and deriving inference coordinates according to the calculation of the correction rate.

또한, 상기 추론 좌표를 도출하는 단계는, 상기 초기 이미지를 전처리 과정을 거쳐 입력 이미지로 변환하는 단계; 상기 입력 이미지를 분석하여 상기 초기 도트 매트릭스의 2D 입력 좌표를 추출하는 단계; 및 상기 2D 입력 좌표를 입력 정보로 상기 딥러닝 모델에 학습하여 상기 추론 좌표를 도출하는 단계;를 포함할 수 있다.In addition, deriving the inferred coordinates may include: converting the initial image into an input image through a preprocessing process; extracting 2D input coordinates of the initial dot matrix by analyzing the input image; and learning the 2D input coordinates as input information to the deep learning model to derive the inferred coordinates.

또한, 상기 c) 단계는, 상기 추론 좌표를 보정 전 초기 도트 메트릭스 좌표값과 비교하여 정합성 불량으로 판정되면 상기 초기 이미지를 재촬영 하는 단계를 더 포함할 수 있다.In addition, the step c) may further include re-photographing the initial image when it is determined that the inconsistency is poor by comparing the inferred coordinates with the initial dot matrix coordinate values before correction.

또한, 상기 d) 단계는, 상기 보정 이미지를 기초로 분석된 보정 도트 메트릭스 좌표값을 획득하는 단계; 상기 보정 도트 메트릭스 좌표값을 정상적으로 정렬된 정답 좌표와 비교하여 좌표당 편차가 허용오차 이하인 조건을 충족하면, 상기 HUD 영상 보정에 성공한 것으로 판정하고 상기 비전 센서를 원래의 대기 위치로 복귀시키는 단계; 혹은 상기 좌표당 편차가 허용오차 이하인 조건을 충족하지 않으면 상기 정답 추론 모델을 활용하여 재학습 하는 단계;를 포함할 수 있다.In addition, the step d) may include: obtaining a corrected dot matrix coordinate value analyzed based on the corrected image; comparing the corrected dot matrix coordinate values with the normally aligned correct coordinates and, if the deviation per coordinate is less than or equal to the tolerance, determining that the HUD image correction has been successful and returning the vision sensor to the original standby position; Alternatively, if the deviation per coordinate does not satisfy the condition that the error is less than the allowable error, re-learning using the correct answer inference model; may include.

또한, 상기 d) 단계 이후에, 상기 상기 보정 이미지의 정합성을 검증에 성공하면 상기 입력 이미지와 입력 좌표를 DB에 저장하여 향후 초기 이미지 보정을 위한 정답 추론 모델에 추가하는 단계를 더 포함할 수 있다.In addition, after step d), if the correctness of the corrected image is successfully verified, the method may further include the step of storing the input image and input coordinates in a DB and adding the input image and input coordinates to a correct answer inference model for future initial image correction. .

본 발명의 실시 예에 따르면, 차종 별 딥러닝 기반으로 학습된 다양한 HUD 영상 보정용 정답 추론 모델을 지속적으로 축적하고 이를 기반으로 차량의 HUD 로부터 수신된 초기 이미지의 왜곡을 보정함으로써 신차 개발 비용 절감 및 HUD 영상 보정의 정확도를 향상시킬 수 있는 효과가 있다.According to an embodiment of the present invention, by continuously accumulating various correct answer inference models for HUD image correction learned based on deep learning for each vehicle type and correcting the distortion of the initial image received from the HUD of the vehicle based on this, it reduces the cost of developing a new car and reduces the HUD There is an effect of improving the accuracy of image correction.

또한, 딥러닝 기반으로 보정되어 차량의 HUD에서 투영된 보정 이미지의 정합성을 검증함으로써 오보정 발생 예방 및 제품 품질을 향상시킬 수 있는 효과가 있다.In addition, it has the effect of preventing mis-correction and improving product quality by verifying the consistency of the corrected image that is corrected based on deep learning and projected from the vehicle's HUD.

또한, 딥러닝 기반으로 1회의 좌표 보정을 통해 HUD 영상의 왜곡 오차를 보정함으로써 영상 보정 공정의 사이클 타임을 단축할 수 있는 효과가 있다.In addition, there is an effect that can shorten the cycle time of the image correction process by correcting the distortion error of the HUD image through one coordinate correction based on deep learning.

도 1은 본 발명의 실시 예에 따른 딥러닝 기반 헤드업 디스플레이 보정 시스템의 구성을 개략적으로 나타낸다.
도 2는 본 발명의 실시 예에 따른 딥러닝 HUD 보정 알고리즘을 나타낸 개념도이다.
도 3은 본 발명의 실시 예에 따른 비전 센서의 촬영 위치에서 바라본 영상을 나타낸다.
도 4는 본 발명의 실시 예에 따른 제어 장치의 구성을 개략적으로 나타낸 블록도이다.
도 5는 본 발명의 실시 예에 따른 이미지 전처리 방법을 나타낸다.
도 6은 본 발명의 실시 예에 따른 딥러닝 학습을 통해 HUD 영상 모델을 생성 방법을 나타낸다.
도 7은 본 발명의 실시 예에 따른 HUD 영상 모델을 활용한 초기 이미지 보정 방법을 나타낸다.
도 8은 본 발명의 실시 예에 다른 딥러닝 기반 헤드업 디스플레이 보정 방법을 개략적으로 나타낸 흐름도이다.1 schematically shows the configuration of a deep learning-based head-up display correction system according to an embodiment of the present invention.
2 is a conceptual diagram illustrating a deep learning HUD correction algorithm according to an embodiment of the present invention.
3 shows an image viewed from a photographing position of a vision sensor according to an embodiment of the present invention.
4 is a block diagram schematically showing the configuration of a control device according to an embodiment of the present invention.
5 shows an image pre-processing method according to an embodiment of the present invention.
6 illustrates a method of generating a HUD image model through deep learning learning according to an embodiment of the present invention.
7 illustrates an initial image correction method using a HUD image model according to an embodiment of the present invention.
8 is a flowchart schematically illustrating a deep learning-based head-up display correction method according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those of ordinary skill in the art to which the present invention pertains can easily implement them. However, the present invention may be implemented in several different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when a part "includes" a certain element, it means that other elements may be further included, rather than excluding other elements, unless otherwise stated. In addition, terms such as “…unit”, “…group”, and “module” described in the specification mean a unit that processes at least one function or operation, which may be implemented as hardware or software or a combination of hardware and software. have.

명세서 전체에서, 제1, 제2, A, B, (a), (b) 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다.Throughout the specification, terms such as first, second, A, B, (a), (b), etc. may be used to describe various elements, but the elements should not be limited by the terms. These terms are only for distinguishing the elements from other elements, and the essence, order, or order of the elements are not limited by the terms.

명세서 전체에서, 어떤 구성요소가 다른 구성요소에 '연결된다'거나 '접속된다'고 언급되는 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결된다'거나 '직접 접속된다'고 언급되는 때에는, 중간에 다른 구성요소가 존재하지 아니하는 것으로 이해되어야 할 것이다.Throughout the specification, when a certain element is referred to as 'connected' or 'connected' to another element, it may be directly connected or connected to the other element, but another element may exist in between. It should be understood that there may be On the other hand, when it is said that a certain element is 'directly connected' or 'directly connected' to another element, it should be understood that another element does not exist in the middle.

명세서 전체에서, 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. Throughout the specification, terms used are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise.

명세서 전체에서, '포함한다', '가진다' 등과 관련된 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Throughout the specification, terms related to 'comprising', 'having', etc. are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification is present, but one or more other features. It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof.

본 명세서에서 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 포함한다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 의미와 일치하는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise herein, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be construed as being consistent with the contextual meaning of the related art, and are not to be construed in an ideal or overly formal meaning unless explicitly defined in the present specification.

이제 본 발명의 실시 예에 따른 딥러닝 기반 헤드업 디스플레이 보정 시스템 및 그 방법에 대하여 도면을 참조로 하여 상세하게 설명한다.Now, a deep learning-based head-up display correction system and method according to an embodiment of the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 실시 예에 따른 딥러닝 기반 헤드업 디스플레이 보정 시스템의 구성을 개략적으로 나타낸다.1 schematically shows the configuration of a deep learning-based head-up display correction system according to an embodiment of the present invention.

도 2는 본 발명의 실시 예에 따른 딥러닝 HUD 보정 알고리즘을 나타낸 개념도이다.2 is a conceptual diagram illustrating a deep learning HUD correction algorithm according to an embodiment of the present invention.

도 1 및 도 2를 참조하면, 본 발명의 실시 예에 따른 딥러닝 기반 헤드업 디스플레이(Head Up Display, HUD) 보정 시스템(100)은 공정에 진입된 차량의 HUD(10)와의 연동을 위한 스캐너(110), 안테나(120), 로봇(130), 비전 센서(140) 및 HUD 보정 장치(150)를 포함한다.1 and 2 , a deep learning-based Head Up Display (HUD) correction system 100 according to an embodiment of the present invention is a scanner for interworking with the HUD 10 of a vehicle entering a process. 110 , an antenna 120 , a robot 130 , a vision sensor 140 , and a HUD correction device 150 .

차량은 OBD의 탑재 상태로 이전 공정에서 HUD(10)를 조립하고 컨베이어를 따라 본 발명의 실시 예에 따른 HUD 보정 공정으로 진입 진입된다.The vehicle assembles the HUD 10 in the previous process with the OBD mounted state, and enters the HUD correction process according to the embodiment of the present invention along the conveyor.

차량의 HUD(10)는 통신 모듈(11) 및 투영 모듈(12) 및 제어 모듈(13)을 포함한다. The HUD 10 of the vehicle includes a communication module 11 and a projection module 12 and a control module 13 .

통신 모듈(11)은 HUD 보정 공정에 진입하면 HUD 보정 장치(150)와 진단통신을 연결한다. 예컨대, 통신 모듈(11)은 OBD 단자에 연결된 OBD 단말기와 공정 내 배치된 안테나(120)를 통해 상기 진단통신을 연결할 수 있다.When entering the HUD calibration process, the communication module 11 connects the HUD calibration device 150 and diagnostic communication. For example, the communication module 11 may connect the diagnosis communication through the OBD terminal connected to the OBD terminal and the antenna 120 disposed in the process.

투영 모듈(12)은 HUD 보정 검사에 필요한 초기 이미지(Image)를 프로젝터를 통해 차량의 윈드쉴드(Windshield) 글라스에 투영한다. 투영 모듈은 프로젝터, 렌즈 및 거울 등으로 구성될 수 있으며 공지된 기술이므로 구체적인 설명을 생략한다.The projection module 12 projects an initial image required for the HUD correction inspection on the windshield glass of the vehicle through a projector. The projection module may be composed of a projector, a lens, a mirror, and the like, and since it is a known technology, a detailed description thereof will be omitted.

제어 모듈(13)은 HUD(10)의 전반적인 동작을 제어하며, HUD 보정 공정을 위한 프로그램 및 데이터를 저장한다.The control module 13 controls the overall operation of the HUD 10 and stores programs and data for the HUD correction process.

제어 모듈(13)은 통신 모듈(11)을 통해 수신된 제어 신호에 따른 투영 모듈(12)을 통해 초기 이미지를 윈드쉴드에 표시한다.The control module 13 displays an initial image on the windshield through the projection module 12 according to the control signal received through the communication module 11 .

제어 모듈(13)은 HUD 영상 캘리브레이션 프로그램을 실행하여 HUD 보정 장치(150)의 초기 이미지 검사 결과에 따라 수신된 보정 데이터를 토대로 상기 초기 이미지의 도트 매트릭스에 대한 초기 좌표를 보정한다. 여기서, 상기 도트 매트릭스는 HUD 영상이 투영되는 픽셀 기반 X-Y(2D) 좌표계를 의미하며 상기 좌표계의 각 좌표를 정상상태의 정답 좌표를 기준으로 보정하여 영상 왜곡을 보정하는 것이다.The control module 13 executes the HUD image calibration program to correct the initial coordinates of the dot matrix of the initial image based on the received correction data according to the initial image inspection result of the HUD correction apparatus 150 . Here, the dot matrix refers to a pixel-based X-Y (2D) coordinate system on which the HUD image is projected, and image distortion is corrected by correcting each coordinate of the coordinate system based on the correct coordinates in a steady state.

이후, 제어 모듈(13)은 투영 모듈(12)을 통해 보정 이미지를 윈드쉴드에 표시할 수 있다.Then, the control module 13 may display the corrected image on the windshield through the projection module 12 .

스캐너(110)는 HUD 보정 공정으로 진입된 차량에 부착된 바코드의 인식으로 차량 ID(예; VIN)를 획득하여 HUD 보정 장치(150)로 전송한다. 여기서, 스캐너(110)는 바코드 스캐너를 가정하여 설명하겠으나 이에 한정되지 않으며 차량의 식별정보가 수록된 RFID나 태그가 부착된 경우 이를 인식하는 리더기로 구성될 수 있다.The scanner 110 acquires a vehicle ID (eg, VIN) by recognizing a barcode attached to a vehicle that has entered the HUD calibration process, and transmits it to the HUD calibration device 150 . Here, the scanner 110 will be described assuming a barcode scanner, but is not limited thereto, and may be configured as a reader that recognizes when an RFID or tag containing vehicle identification information is attached.

안테나(120)는 HUD 보정 공정에 진입된 차량의 HUD(10)와 무선 진단통신을 연결하여 HUD 보정 장치(150)와 차량(10) 간에 송수신되는 데이터를 중계한다. 안테나(120)는 근거리 통신의 지향성 안테나로 구성될 수 있으며, 차량이 이송되는 컨베이어벨트를 따라 일정간격을 두고 복수로 배치될 수 있다.The antenna 120 connects the HUD 10 of the vehicle that has entered the HUD calibration process and wireless diagnostic communication to relay data transmitted/received between the HUD calibration device 150 and the vehicle 10 . The antenna 120 may be configured as a directional antenna for short-range communication, and a plurality of antennas may be disposed at regular intervals along a conveyor belt to which the vehicle is transported.

로봇(130)은 차량의 센터링 위치에 설치되는 다관절 매니퓰레이터로 구성되며, 미리 설정된 기구학적 자세제어를 통해 선단에 장착된 비전 센서(140)를 운전석의 앞창 윈드쉴드의 촬영위치로 이동시킨다.The robot 130 is composed of a multi-joint manipulator installed at the centering position of the vehicle, and moves the vision sensor 140 mounted on the front end to the photographing position of the windshield in the driver's seat through preset kinematic posture control.

예컨대, 도 3은 본 발명의 실시 예에 따른 비전 센서의 촬영 위치에서 바라본 영상을 나타낸다.For example, FIG. 3 shows an image viewed from a photographing position of a vision sensor according to an embodiment of the present invention.

첨부된 도 3을 참조하면, 비전 센서(140)는 카메라와 조명을 포함하며, 운전자가 바라보는 시각 범위(Eyebox)에 투입되어 HUD(10)에 의해 윈드쉴드에 투영된 초기 이미지를 촬영하여 HUD 보정 장치(150)로 전송한다.Referring to FIG. 3 attached, the vision sensor 140 includes a camera and lighting, is put into the driver's visual range (Eyebox), and captures an initial image projected on the windshield by the HUD 10, the HUD sent to the calibration device 150 .

또한, 비전 센서(140)는 위와 동일 위치에서 HUD(10)의 캘리브레이션 이후 윈드쉴드에 투영된 보정 이미지를 촬영하여 HUD 보정 장치(150)로 전송할 수 있다.Also, the vision sensor 140 may photograph the corrected image projected on the windshield after calibration of the HUD 10 at the same position as above, and transmit it to the HUD correction device 150 .

HUD 보정 장치(150)는 본 발명의 실시 예에 따른 딥러닝 기반 차량의 HUD 보정을 위한 전반적인 동작을 제어하는 컴퓨팅 시스템으로 구성될 수 있다.The HUD calibration device 150 may be configured as a computing system that controls overall operations for HUD calibration of a deep learning-based vehicle according to an embodiment of the present invention.

HUD 보정 장치(150)는 차종 별 딥러닝 기반으로 학습된 HUD 영상 보정용 정답 추론 모델을 구축하고, 차종 별 상기 정답 추론 모델을 활용한 HUD(10) 초기 이미지의 도트 매트릭스 보정 좌표를 도출하여 진단통신을 통해 상기 HUD의 영상 보정을 제어한다.The HUD correction device 150 builds a correct answer reasoning model for HUD image correction learned based on deep learning for each vehicle model, and draws the dot matrix correction coordinates of the HUD 10 initial image using the correct answer inference model for each vehicle model to provide diagnostic communication to control the image correction of the HUD.

또한, HUD 보정 장치(150)는 상기 HUD(10)의 캘리브레이션을 통한 영상 보정 후 윈드쉴드에 투영된 상기 보정 이미지의 정합성을 검증하는 HUD 보정 장치;In addition, the HUD correction device 150 includes a HUD correction device for verifying the consistency of the corrected image projected on the windshield after image correction through the calibration of the HUD (10);

도 4는 본 발명의 실시 예에 따른 제어 장치의 구성을 개략적으로 나타낸 블록도이다.4 is a block diagram schematically showing the configuration of a control device according to an embodiment of the present invention.

첨부된 도 4를 참조하면, 본 발명의 실시 예에 따른 HUD 보정 장치(150)는 통신부(151), 로봇 제어부(152), 딥러닝 학습부(153), 데이터베이스(DB)(154) 및 제어부(155)를 포함한다.4 , the HUD calibration apparatus 150 according to an embodiment of the present invention includes a communication unit 151 , a robot control unit 152 , a deep learning learning unit 153 , a database (DB) 154 and a control unit. (155).

통신부(151)는 안테나(120)를 통해 차량의 OBD와 무선 진단통신을 연결하고, 인터넷 네트워크를 통해 생산관리시스템(Manufacturing Execution System, MES) 등의 타 시스템과 통신할 수 있다. 통신부(151)는 다차종 생산라인 운용을 위해 MES를 통해 당해 공정의 차종 별로 탑재되는 HUD(10)의 사양/제원을 조회할 수 있다.The communication unit 151 may connect the OBD of the vehicle and wireless diagnostic communication through the antenna 120 and communicate with other systems such as a Manufacturing Execution System (MES) through an Internet network. The communication unit 151 may inquire the specifications/specifications of the HUD 10 mounted for each vehicle type of the process through the MES for operation of the multi-vehicle production line.

로봇 제어부(152)는 로봇(130)의 자세제어를 위한 기구학적 설정정보를 저장하고, 이를 통해 비전 센서(140)를 차량 내 촬영위치로 진입시키거나 차량 밖의 대기 위치로 진출시키기 위한 동작을 제어한다.The robot control unit 152 stores kinematic setting information for controlling the posture of the robot 130, and through this, controls the operation for moving the vision sensor 140 to a photographing position in the vehicle or advancing to a standby position outside the vehicle. do.

딥러닝 학습부(153)는 비전 센서(140)를 통해 촬영된 보정전 초기 이미지를 딥러닝 HUD 보정 알고리즘을 통해 학습하여 사전에 정답 이미지를 기준으로 학습된 정답 추론 모델을 활용한 초기 도트 매트릭스의 좌표 별 오차가 보정된 보정 좌표를 도출한다.The deep learning learning unit 153 learns the initial image before correction taken through the vision sensor 140 through the deep learning HUD correction algorithm, and uses the correct answer inference model learned based on the correct answer image in advance. The corrected coordinates in which the errors of each coordinate are corrected are derived.

딥러닝 학습부(153)는 공정라인에 진입된 차량의 HUD(10)에서 수신된 초기 이미지를 딥러닝 학습을 위한 전처리하고 이미지 정합성 검사를 통해 잘림이나 훼손 여부를 확인한다.The deep learning learning unit 153 pre-processes the initial image received from the HUD 10 of the vehicle entering the process line for deep learning learning, and checks whether it is cut or damaged through image consistency check.

예컨대, 도 5는 본 발명의 실시 예에 따른 이미지 전처리 방법을 나타낸다.For example, FIG. 5 shows an image pre-processing method according to an embodiment of the present invention.

도 5를 참조하면, 딥러닝 학습부(153)는 딥러닝 학습에 사용되는 이미지에 대하여 이진화, 입력 이미지 조절 및 필터링 등의 전처리 작업을 실시할 수 있다.Referring to FIG. 5 , the deep learning learning unit 153 may perform pre-processing tasks such as binarization, input image adjustment and filtering on an image used for deep learning learning.

딥러닝 학습부(153)는 상기 이미지를 이진화하여 그레이 스케일의 흑백 이미지로 변환하고, 저해상도 변환 및 배경을 잘라내어 입력 이미지 사이즈에 맞게 조절하며, 도트 매트릭스의 인식률 향상을 위해 빛번짐 등의 노이즈를 필터링할 수 있다.The deep learning learning unit 153 binarizes the image and converts it to a grayscale black and white image, adjusts it to the size of the input image by cutting low-resolution conversion and background, and filters noise such as light blur to improve the recognition rate of the dot matrix can do.

이 때, 딥러닝 학습부(153)는 딥러닝 학습에 사용되는 이미지의 도트 매트릭스 좌표수의 정합성을 검사하여 잘림이나 훼손으로 인해 미인식된 좌표가 존재하는 경우 후속 작업을 미진행하고 이미지를 재촬영 하도록 할 수 있다.At this time, the deep learning learning unit 153 checks the consistency of the number of dot matrix coordinates of the image used for deep learning learning. can make it

이러한, 딥러닝 학습부(153)는 학습 모듈(153-1) 및 추론 모듈(153-2)를 포함한다.The deep learning learning unit 153 includes a learning module 153-1 and an inference module 153-2.

도 6은 본 발명의 실시 예에 따른 HUD 보정용 딥러닝 학습 모델 생성 방법을 나타낸다.6 shows a method for generating a deep learning learning model for HUD correction according to an embodiment of the present invention.

도 6을 참조하면, 본 발명의 실시 예에 따른 학습 모듈(153-1)은 먼저 HUD 영상에서의 도트 매트릭스가 정상적으로 정렬된 정답 이미지와 그 정답 좌표를 생성한다.Referring to FIG. 6 , the learning module 153-1 according to an embodiment of the present invention first generates a correct answer image in which a dot matrix in the HUD image is normally aligned and the correct answer coordinates thereof.

학습 모듈(153-1)은 사전에 다양한 학습용 이미지를 CNN(Convolutional Neural Network) 기반 인공 신경망을 통해 지도 학습하여 상기 정답 좌표와의 편차가 보정된 추론 좌표를 도출한다. The learning module 153-1 derives inference coordinates in which deviations from the correct coordinates are corrected by supervising various learning images through a convolutional neural network (CNN)-based artificial neural network in advance.

이 때, 학습 모듈(153-1)은 상기 추론 좌표를 도출하는 과정은 다양한 형태로 촬영된 학습 이미지를 전처리 과정을 거쳐 입력 이미지로 변환하는 1단계, 상기 입력 이미지를 분석하여 도트 매트릭스 형태의 2D 입력 좌표를 추출하는 2단계 및 상기 2D 입력 좌표를 1D 벡터 입력 좌표 단위로 CNN(Convolutional Neural Network) 기반 인공 신경망에 입력하여 지도 학습된 출력된 추론 좌표를 도출하는 3단계를 포함할 수 있다.At this time, the process of deriving the inference coordinates in the learning module 153-1 is the first step of converting the learning images photographed in various forms into an input image through a pre-processing process, and analyzing the input image to form a 2D dot matrix The second step of extracting the input coordinates and the third step of deriving the supervised output inference coordinates by inputting the 2D input coordinates into a Convolutional Neural Network (CNN)-based artificial neural network in units of 1D vector input coordinates may be included.

그리고, 학습 모듈(153-1)은 위 과정의 학습 이미지 좌표를 인공 신경망을 통해 학습하여 도출된 상기 추론 좌표가 상기 정답 좌표의 오차범위(예; 5pixel) 이하를 만족 시까지 반복 학습하여 최종 결과물로 HUD 영상 보정용 정답 추론 모델을 생성한다.Then, the learning module 153-1 repeats learning until the inference coordinates derived by learning the learning image coordinates of the above process through an artificial neural network satisfy the error range (eg, 5pixel) of the correct coordinates or less, and the final result to create a correct answer inference model for HUD image correction.

즉, 학습 모듈(153-1)은 사전에 정상적으로 정렬된 정답 이미지의 도트 메트릭스(Dot matrix) 정답 좌표를 기준으로 구축된 인공 신경망을 활용하여 다양한 학습 이미지의 최종 결과물로 추후 HUD(10)의 보정 전 초기 이미지의 정답 추론 모델을 생성할 수 있다. 상기 정답 추론 모델은 추론 이미지와 그 도트 메트릭스의 추론 좌표를 포함하며, 상기 추론 좌표는 실질적인 정답 좌표와 동일한 것으로 볼 수 있다. 상기 정답 추론 모델은 다양한 케이스의 학습 데이터 세트가 많을수록 추론 결과의 정확도를 향상시킬 수 있는바 이후 실제 공정 상에서 HUD 영상 보정에 성공한 결과를 정답 추론 모델에 추가할 수 있다.That is, the learning module 153-1 utilizes an artificial neural network built based on the dot matrix correct answer coordinates of the correct answer images that are normally arranged in advance to obtain the final result of various learning images. It is possible to generate a correct answer inference model of the entire initial image. The correct answer inference model includes an inference image and inference coordinates of the dot matrix, and the inference coordinates may be considered to be the same as actual correct answer coordinates. The correct answer inference model can improve the accuracy of the inference result as the number of training data sets of various cases increases, and then the result of successful HUD image correction in the actual process can be added to the correct answer inference model.

한편, 도 7은 본 발명의 실시 예에 따른 HUD 영상 모델을 활용한 초기 이미지 보정 방법을 나타낸다.Meanwhile, FIG. 7 shows an initial image correction method using a HUD image model according to an embodiment of the present invention.

도 7을 참조하면, 추론 모듈(153-2)은 보정 전 초기 이미지에서 도출된 초기 도트 메트릭스 좌표값을 상기 학습 모듈(153-1)을 통해 형성된 정답 추론 모델 기반학습을 통해 보정된 추론 좌표를 도출한다.Referring to FIG. 7 , the inference module 153-2 uses the initial dot matrix coordinate values derived from the initial image before correction to infer coordinates corrected through the correct answer inference model-based learning formed through the learning module 153-1. derive

추론 모듈(153-2)은 상기 추론 좌표를 보정 전 초기 이미지의 초기 좌표와 비교하여 좌표간 정합성여부를 판단한다.The inference module 153-2 compares the inferred coordinates with the initial coordinates of the initial image before correction to determine whether the coordinates are consistent.

추론 모듈(153-2)은 상기 좌표간 정합성이 정상으로 확인되면, 상기 초기 좌표에 대한 상기 추론 좌표를 이용하여 각 좌표값에 대응되는 단위환산 보정률이 적용된 보정 좌표를 생성한다. 상기 보정 좌표는 시리얼 스트림의 헥사 코드(HEX code) 형식으로 생성될 수 있다.When the coherence between the coordinates is confirmed as normal, the inference module 153-2 generates correction coordinates to which a unit conversion correction rate corresponding to each coordinate value is applied by using the inferred coordinates for the initial coordinates. The correction coordinates may be generated in the form of a serial stream hexa code (HEX code).

이후, 상기 보정 좌표는 진단통신을 통해 차량의 HUD(10)으로 전송되어 초기 이미지의 도트 매트릭스 좌표값을 보정하는 캘리브레이션을 수행하는데 활용된다.Thereafter, the correction coordinates are transmitted to the HUD 10 of the vehicle through diagnostic communication and used to perform calibration to correct the dot matrix coordinate values of the initial image.

DB(154)는 HUD 보정 장치(150)의 딥러닝 기반 HUD 보정을 위한 각종 프로그램 및 데이터를 저장하고, 그 운용에 따라 생성되는 데이터를 저장한다.The DB 154 stores various programs and data for deep learning-based HUD correction of the HUD correction device 150, and stores data generated according to its operation.

제어부(155)는 HUD 보정 장치(150)의 딥러닝 기반 HUD 영상 보정을 위한 상기 각부의 전반적인 동작을 제어한다.The control unit 155 controls the overall operation of each unit for correcting the HUD image based on deep learning of the HUD correction apparatus 150 .

제어부(155)는 딥러닝 학습부(153)를 통해 사전에 차종 별로 장착되는 HUD(10) 사양에 따른 정답 추론 모델을 구축하고, 이를 기반으로 HUD 보정 공정으로 진입된 차량의 HUD(10)로부터 수신된 초기 이미지를 상기 정답 추론 모델에 투입하여 정답 이미지에 맞게 보정된 보정 좌표 도출한다.The control unit 155 builds a correct answer inference model according to the specifications of the HUD 10 installed for each vehicle type in advance through the deep learning learning unit 153, and based on this, from the HUD 10 of the vehicle entering the HUD correction process. By inputting the received initial image to the correct answer inference model, correction coordinates corrected for the correct answer image are derived.

이후, 제어부(155)는 상기 보정 좌표를 HUD(10)으로 전송하여 캘리브레이션을 수행하도록 하고, HUD(10)에서 투영된 보정 이미지를 재촬영하여 딥러닝 기반으로 정합성 여부를 검증할 수 있다.Thereafter, the controller 155 transmits the correction coordinates to the HUD 10 to perform calibration, and re-photographs the corrected image projected from the HUD 10 to verify consistency based on deep learning.

이러한 제어부(155)는 설정된 프로그램에 의하여 동작하는 하나 이상의 프로세서로 구현될 수 있으며, 상기 설정된 프로그램은 본 발명의 실시 예에 따른 딥러닝 기반 헤드업 디스플레이 보정 방법의 각 단계를 수행하도록 프로그래밍 된 것일 수 있다. This control unit 155 may be implemented with one or more processors operating by a set program, and the set program may be programmed to perform each step of the deep learning-based head-up display calibration method according to an embodiment of the present invention. have.

이러한 딥러닝 기반 헤드업 디스플레이 보정 방법은 아래의 도면을 참조하여 더욱 구체적으로 설명하되, 상기 제어부(155)는 HUD 보정 장치(150)에 포함되는 바, HUD 보정 장치(150)를 주체로 설명하도록 한다.Such a deep learning-based head-up display calibration method will be described in more detail with reference to the drawings below, but the control unit 155 is included in the HUD calibration device 150 , and the HUD calibration device 150 is described as a subject. do.

도 8은 본 발명의 실시 예에 다른 딥러닝 기반 헤드업 디스플레이 보정 방법을 개략적으로 나타낸 흐름도이다.8 is a flowchart schematically illustrating a deep learning-based head-up display correction method according to an embodiment of the present invention.

도 8을 참조하면, 본 발명의 실시 예에 따른 HUD 보정 장치(150)는 스캐너(110)에서 검출된 차대번호(VIN)가 수신되면 차량의 공정 진입을 인식한다(S1).Referring to FIG. 8 , the HUD calibration apparatus 150 according to an embodiment of the present invention recognizes the vehicle's entry into the process when the vehicle identification number (VIN) detected by the scanner 110 is received ( S1 ).

HUD 보정 장치(150)는 상기 차대번호(VIN)에 매칭된 차종에 적용된 HUD(10)의 사양을 파악하고 해당 정답 추론 모델 세팅 및 OBD 단말기의 ID를 조회하여 진단통신을 연결한다(S2). 이 때, HUD 보정 장치(150)는 상기 진단통신이 연결되면 먼저 윈도우 오픈 명령을 차량의 ECU로 전송하여 운전석 위치의 윈도우를 개방할 수 있다.The HUD correction device 150 detects the specifications of the HUD 10 applied to the vehicle model matched to the vehicle identification number (VIN), sets the correct answer inference model, and inquires the ID of the OBD terminal to connect the diagnostic communication (S2). In this case, when the diagnosis communication is connected, the HUD correction device 150 may first transmit a window open command to the ECU of the vehicle to open the window of the driver's seat.

HUD 보정 장치(150)는 차량의 HUD(10)에 제어신호를 전송하여 HUD 보정 검사에 필요한 초기 이미지를 프로젝터를 통해 차량의 윈드쉴드(Windshield) 글라스에 투영하도록 한다(S3).The HUD correction device 150 transmits a control signal to the HUD 10 of the vehicle to project an initial image required for the HUD correction inspection on the windshield glass of the vehicle through the projector (S3).

HUD 보정 장치(150)는 차량이 센터링 위치에 정위치되면, 로봇(130)의 자세제어를 통해 비전 센서(140)를 차량 내 운전자가 바라보는 시각 범위의 촬영 위치로 이동시킨다(S4). When the vehicle is positioned at the centering position, the HUD compensating device 150 moves the vision sensor 140 to a photographing position within the visual range viewed by the driver in the vehicle through posture control of the robot 130 (S4).

HUD 보정 장치(150)는 비전 센서(140)를 통해 상기 윈드쉴드 글라스에 투영된 초기 이미지를 촬영하고(S5), 상기 초기 이미지를 기초로 분석된 초기 도트 메트릭스 좌표값을 획득한다(S6).The HUD compensator 150 captures an initial image projected on the windshield glass through the vision sensor 140 (S5), and acquires an initial dot matrix coordinate value analyzed based on the initial image (S6).

HUD 보정 장치(150)는 상기 초기 도트 메트릭스 좌표값을 입력 정보로 사전에 구축된 딥러닝 모델에 학습하여 최적치 보정률 계산에 따른 추론 이미지와 추론 좌표를 도출한다(S7). The HUD correction device 150 learns the initial dot matrix coordinate values as input information in a deep learning model built in advance to derive an inferred image and inferred coordinates according to the optimal value correction rate calculation (S7).

HUD 보정 장치(150)는 상기 추론 좌표를 보정 전 초기 도트 메트릭스 좌표값과 비교하여 정합성 불량으로 판정되면(S8; 아니오), 상기 S15 단계로 돌아가 초기 이미지를 재촬영 한다. 여기서, 상기 정합성 불량은 각 좌표간 허용오차(예; 5pixel) 이하인 조건 충족 여부에 따라 판정될 수 있다.The HUD correction apparatus 150 compares the inferred coordinates with the initial dot matrix coordinate values before correction, and when it is determined that the inconsistency is poor (S8; No), it returns to the step S15 and re-captures the initial image. Here, the mismatch may be determined according to whether a condition of less than or equal to a tolerance between coordinates (eg, 5 pixels) is satisfied.

반면, HUD 보정 장치(150)는 상기 정합성이 허용오차 이하인 정상으로 판정되면(S8; 예), 상기 초기 도트 메트릭스의 각 좌표값에 대응되는 단위환산 보정률이 적용된 보정 좌표를 생성한다(S9).On the other hand, the HUD correction device 150 generates correction coordinates to which a unit conversion correction rate corresponding to each coordinate value of the initial dot matrix is applied (S9) .

HUD 보정 장치(150)는 상기 보정 좌표를 진단통신을 통해 HUD(10)으로 전송하여 캘리브레이션을 통해 초기 이미지의 도트 매트릭스 좌표값이 보정된 보정 보정 이미지를 투영하도록 제어한다(S10).The HUD correction device 150 transmits the correction coordinates to the HUD 10 through diagnostic communication and controls to project the corrected correction image in which the dot matrix coordinate values of the initial image are corrected through calibration ( S10 ).

HUD 보정 장치(150)는 비전 센서(140)를 통해 상기 윈드쉴드 글라스에 투영된 보정 이미지를 촬영하고(S11), 상기 보정 이미지를 기초로 분석된 보정 도트 메트릭스 좌표값을 획득한다(S12).The HUD compensating device 150 captures a corrected image projected on the windshield glass through the vision sensor 140 (S11), and obtains a corrected dot matrix coordinate value analyzed based on the corrected image (S12).

HUD 보정 장치(150)는 상기 보정 도트 메트릭스 좌표값을 정상적으로 정렬된 정답 좌표와 비교하여 좌표당 편차가 허용오차(예; 5pixel) 이하인 조건을 충족하면(S13; 예), HUD 영상 보정에 성공한 것으로 판정하고 상기 비전 센서(140)를 원래의 대기 위치로 복귀시킨다(S14). The HUD correction device 150 compares the corrected dot matrix coordinate values with the normally aligned correct coordinates and, if the deviation per coordinate satisfies the tolerance (eg, 5 pixels) or less (S13; yes), it is determined that the HUD image correction has been successful. It is determined and the vision sensor 140 is returned to the original standby position (S14).

이 때, HUD 보정 장치(150)는 상기 HUD 영상 보정에 성공한 입력 이미지와 입력 좌표를 DB(154)에 저장하여 향후 초기 이미지 보정을 위한 데이터 셋 모델로 추가 활용 할 수 있다.In this case, the HUD correction apparatus 150 may store the input image and input coordinates that have been successfully corrected for the HUD image in the DB 154 to be additionally utilized as a data set model for initial image correction in the future.

반면, HUD 보정 장치(150)는 상기 좌표당 편차가 허용오차(예; 5pixel) 이하인 조건을 충족하지 않으면(S13; 아니오), HUD 영상 보정에 실패한 것으로 판정하고 상기 S7 단계로 돌아가 상기 보정 이미지를 기초로 재학습을 실시한다.On the other hand, if the HUD correction device 150 does not satisfy the condition that the deviation per coordinate is less than or equal to the allowable error (eg, 5pixel) (S13; No), it is determined that the HUD image correction has failed and returns to the step S7 to display the corrected image. Re-learning is carried out on the basis of

이상에서는 본 발명의 실시 예에 대하여 설명하였으나, 본 발명은 상기한 실시 예에만 한정되는 것은 아니며 그 외의 다양한 변경이 가능하다.Although the embodiment of the present invention has been described above, the present invention is not limited to the above-described embodiment and various other modifications are possible.

예컨대, 전술한 본 발명의 실시 예에서 HUD 보정 장치(150)는 CNN 기반 인공 신경망을 통해 지도 학습하여 HUD 보정 모델을 생성하는 것으로 설명하였으나 이에 한정되지 않으며, DNN(Deep Neural Network) 기반 인공 신경망을 활용하거나 복합 로직 기반 신경망으로 이용하여 HUD 보정 모델을 생성 할 수 있음은 자명하다.For example, in the above-described embodiment of the present invention, the HUD correction device 150 has been described as generating a HUD correction model by supervised learning through a CNN-based artificial neural network, but is not limited thereto, and a Deep Neural Network (DNN)-based artificial neural network It is self-evident that a HUD calibration model can be created by utilizing or using it as a complex logic-based neural network.

이와 같이, 본 발명의 실시 예에 따르면, 차종 별 딥러닝 기반으로 학습된 다양한 HUD 영상 보정용 정답 추론 모델을 지속적으로 축적하고 이를 기반으로 차량의 HUD 로부터 수신된 초기 이미지의 왜곡을 보정함으로써 신차 개발 비용 절감 및 HUD 영상 보정의 정확도를 향상시킬 수 있는 효과가 있다.As described above, according to an embodiment of the present invention, the cost of developing a new car by continuously accumulating various correct answer inference models for HUD image correction learned based on deep learning for each vehicle type and correcting the distortion of the initial image received from the HUD of the vehicle based on this It has the effect of saving and improving the accuracy of HUD image correction.

또한, 딥러닝 기반으로 보정되어 차량의 HUD에서 투영된 보정 이미지의 정합성을 검증함으로써 오보정 발생 예방 및 제품 품질을 향상시킬 수 있는 효과가 있다.In addition, it has the effect of preventing miscorrection and improving product quality by verifying the consistency of the corrected image that is corrected based on deep learning and projected from the vehicle's HUD.

본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.The embodiment of the present invention is not implemented only through the apparatus and/or method described above, and may be implemented through a program for realizing a function corresponding to the configuration of the embodiment of the present invention, a recording medium in which the program is recorded, etc. Also, such an implementation can be easily implemented by an expert in the technical field to which the present invention pertains from the description of the above-described embodiment.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improved forms of the present invention are also provided by those skilled in the art using the basic concept of the present invention as defined in the following claims. is within the scope of the right.

10: HUD 11: 통신 모듈
12: 투영 모듈 13: 제어 모듈
100: HUD 보정 시스템 110: 스캐너
120: 안테나 130: 로봇
140: 비전 센서 150: HUD 보정 장치
151: 통신부 152: 로봇 제어부
153: 딥러닝 학습부 154: 데이터베이스(DB)
155: 제어부10: HUD 11: Communication module
12: projection module 13: control module
100: HUD calibration system 110: scanner
120: antenna 130: robot
140: vision sensor 150: HUD compensator
151: communication unit 152: robot control unit
153: deep learning learning unit 154: database (DB)
155: control unit

Claims

a vision sensor that is put into a vehicle that has entered the process line and takes an initial image and a corrected image projected on the windshield by a Head Up Display (HUD);
Build a correct answer inference model for HUD image correction learned based on deep learning for each vehicle type, derive correction coordinates for the dot matrix of the initial image using the correct answer inference model for each vehicle type, and perform image correction of the HUD through diagnostic communication a HUD correction device that controls, but verifies the consistency of the projected corrected image after image correction through calibration of the HUD;
A head-up display calibration system comprising a.

According to claim 1,
a scanner for transmitting the vehicle ID recognized from the barcode of the vehicle to the HUD correction device;
an antenna for connecting the HUD and wireless diagnostic communication; and
a robot that moves the vision sensor mounted on the tip to a photographing position of the windshield through kinematic posture control;
A head-up display calibration system further comprising a.

3. The method of claim 1 or 2,
The HUD calibration device is
a communication unit for connecting wireless diagnostic communication with the HUD through an antenna and the vehicle's OBD;
a robot control unit for controlling an operation of the robot for moving the vision sensor to a photographing position within the vehicle or advancing to a standby position outside the vehicle;
a deep learning learning unit that learns an initial image through a deep learning HUD correction algorithm and generates corrected coordinates in which errors for each coordinate of an initial dot matrix using the correct answer inference model are corrected; and
a control unit for controlling the overall operation of each unit for HUD image correction based on the deep learning;
A head-up display calibration system comprising a.

4. The method of claim 3,
The deep learning learning unit
A head-up display correction system for performing a pre-processing operation including at least one of binarization, input image adjustment, and filtering on the image before correction used for the deep learning-based learning.

5. The method of claim 4,
The deep learning learning unit
A head-up display correction system that checks the consistency of the number of dot matrix coordinates of the image before the correction, and if there are unrecognized coordinates, does not proceed with the subsequent operation and re-photographs.

4. The method of claim 3,
The deep learning learning unit
A head-up display correction system that generates a correct answer image in which the dot matrix of the HUD image is normally aligned and the correct answer coordinates.

7. The method of claim 6,
The deep learning learning unit
a learning module for deriving inference coordinates in which deviations from the normally aligned correct coordinates are corrected by supervising various learning images in advance through an artificial neural network; and
an inference module for deriving inference coordinates by correcting the initial coordinates derived from the image before the correction through the correct answer inference model-based learning;
A head-up display calibration system comprising a.

8. The method of claim 7,
The artificial neural network is
A head-up display correction system built based on at least one of a Convolutional Neural Network (CNN) and a Deep Neural Network (DNN).

8. The method of claim 7,
The learning module is
Step 1 of converting the learning images taken in the various forms into an input image through a pre-processing process;
a second step of analyzing the input image to extract 2D input coordinates in a dot matrix form; and
a third step of inputting the 2D input coordinates into the artificial neural network in units of 1D vector input coordinates to derive the supervised and output inference coordinates;
A head-up display calibration system for deriving the inferred coordinates, including.

10. The method of claim 9,
The learning module is
A head-up display correction system for generating the correct answer inference model as a final result by repeatedly learning until the inference coordinates satisfy the error range of the correct answer coordinates.

8. The method of claim 7,
The reasoning module is
A head-up display correction system for determining whether the coordinates are consistent by comparing the inferred coordinates with the initial coordinates of the initial image before correction.

8. The method of claim 7,
The reasoning module is
A head-up display correction system for deriving the correction coordinates to which a unit conversion correction rate corresponding to each coordinate value is applied by using the inferred coordinates for the initial coordinates.

According to claim 1,
The HUD calibration device is
A head-up display correction system that determines that the image correction of the HUD is successful when the correction dot matrix coordinate values analyzed based on the corrected image are compared with the normally aligned correct coordinates and the deviation per coordinate is less than or equal to the allowable error.

A head-up display (HUD) device with a correct answer inference model for correcting the head-up display (HUD) image for each vehicle type learned in advance based on deep learning corrects the image of the HUD installed in the vehicle. In the method,
a) setting a correct answer inference model corresponding to the HUD of the vehicle type matched to the vehicle identification number (VIN) of the vehicle entering the process and connecting the HUD and diagnostic communication;
b) taking an initial image projected on the windshield by the HUD by putting the vision sensor into the vehicle through the robot's posture control;
c) controlling the image correction of the HUD through the diagnosis communication by deriving correction coordinates for the initial dot matrix coordinate values of the initial image using the correct answer reasoning model; and
d) photographing a corrected image projected after image correction through calibration of the HUD through the vision sensor and verifying the consistency of the corrected image;
A head-up display calibration method comprising a.

15. The method of claim 14,
Step c) is,
A head-up display correction method comprising learning the initial dot matrix coordinate value as input information to the deep learning model and deriving inferred coordinates according to a correction rate calculation.

16. The method of claim 15,
The step of deriving the inferred coordinates is
converting the initial image into an input image through a preprocessing process;
extracting 2D input coordinates of the initial dot matrix by analyzing the input image; and
deriving the inferred coordinates by learning the 2D input coordinates in the deep learning model as input information;
A head-up display calibration method comprising a.

17. The method according to any one of claims 15 to 16,
Step c) is,
Comparing the inferred coordinates with an initial dot matrix coordinate value before correction, and re-photographing the initial image if it is determined that the inconsistency is poor.

15. The method of claim 14,
Step d) is,
obtaining a corrected dot matrix coordinate value analyzed based on the corrected image;
comparing the corrected dot matrix coordinate values with the normally aligned correct coordinates and, if the deviation per coordinate is less than or equal to the tolerance, determining that the HUD image correction has been successful and returning the vision sensor to the original standby position; or
re-learning using the correct answer inference model if the deviation per coordinate does not satisfy the condition that the error is less than or equal to the allowable error;
A head-up display calibration method comprising a.

16. The method of claim 14 or 15,
After step d),
The head-up display correction method further comprising the step of storing the input image and input coordinates in a DB if the correctness of the corrected image is verified and adding the input image and input coordinates to a correct answer inference model for future initial image correction.