KR20190063601A

KR20190063601A - 실감형 ｈｕｄ의 향상된 ｕｉ／ｕｘ 제공을 위한 증강정보 시뮬레이터

Info

Publication number: KR20190063601A
Application number: KR1020170162509A
Authority: KR
Inventors: 최민국; 권순; 라만샤 타입나피스 이만; 이진희; 정우영; 정희철
Original assignee: 재단법인대구경북과학기술원
Priority date: 2017-11-30
Filing date: 2017-11-30
Publication date: 2019-06-10
Also published as: KR102437606B1

Abstract

본 발명은 증강정보 시뮬레이터에 관한 것으로서, 특히 본 발명의 증강정보 시뮬레이터는 실제 차량에 적용될 실감형 HUD의 정합 및 표출 알고리즘을 실내 환경에서 표현 및 검증할 수 있으며, 차량의 윈드실드에 부분 출력 또는 풀 윈드실드를 이용하는 등의 다양한 형태의 HUD 표출 알고리즘에 대한 검증 및 모사가 가능하고, 실제 주행환경에서 나타나는 문제점을 미리 점검하여, 효과적인 UI (User Interface) 및 UX (User eXperience)를 제공할 수 있도록, 증강정보 정합 기술 및 평가 프레임워크를 구현할 수 있게 한다.

Description

실감형 ＨＵＤ의 향상된 ＵＩ／ＵＸ 제공을 위한 증강정보 시뮬레이터{Augmentation Information Simulator for Providing Enhanced UI/UX of Realistic HUD}

본 발명은 실감형 HUD(Head Up Display)를 위한 증강정보 시뮬레이터에 관한 것으로서, 특히, 실감형 HUD (Head Up Display)의 효과적인 UI (User Interface) 및 UX (User eXperience) 제공을 위한 향상된 증강정보 정합 기술 및 평가 프레임워크를 제공하기 위한 증강정보 시뮬레이터에 관한 것이다.

최근 차량에는 HVI(Human Vehicle Interaction) 관련 기술이 많은 진전을 보이고 있으며, 특히, 전기차의 개발이 상용화되어 감에 따라 여기에 자율 주행 기능 등에 있어서 ADAS(Advanced Driver Assistance System) 기능 등과 함께 교통 사고 없이 차량이 안전한 운행이 유지되도록 하기 위한 많은 기술이 개발되고 있다.

특히, 차량의 앞유리에 운전자의 운행에 도움을 주는 가상의 영상 정보를 표출하기 위한 HUD(Head Up Display)와 관련하여 미리 HUD의 정합/표출 알고리즘을 실내 환경에서 표현 및 검증할 수 있는 기술이 미흡한 실정이다.

관련 선행 문헌으로서 공개특허공보 제10-2017-0060652호 (2017.06.02) 등이 참조될 수 있다.

따라서, 본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은, 실제 차량에 적용될 실감형 HUD의 정합 및 표출 알고리즘을 실내 환경에서 표현 및 검증할 수 있으며, 차량의 윈드실드(wind shield)에 부분 출력 또는 풀 윈드실드를 이용하는 등의 다양한 형태의 HUD 표출 알고리즘에 대한 검증 및 모사가 가능하고, 실제 주행환경에서 나타나는 문제점을 미리 점검하여, 효과적인 UI (User Interface) 및 UX (User eXperience)를 제공할 수 있도록, 증강정보 정합 기술 및 평가 프레임워크를 구현하기 위한 증강정보 시뮬레이터를 제공하는 데 있다.

먼저, 본 발명의 특징을 요약하면, 상기의 목적을 달성하기 위한 본 발명의일면에 따른 증강정보 시뮬레이터는, 가시광 프로젝터; 스크린; 윈드실드; 상기 가시광 프로젝터가 상기 스크린에 가상의 주행 영상을 투영하기 위한 영상 콘텐츠를 상기 가시광 프로젝터로 제공하는 제1처리장치; 상기 가상의 주행 영상에 대하여 ADAS 정보를 생성하는 제2처리장치; 상기 ADAS 정보를 증강형으로 HUD를 표출하기 위해 상기 윈드실드에 해당 레이저를 투영하는 레이저 프로젝터; 및 카메라를 장착하고 있으며, 상기 카메라의 좌표를 운전자의 시점의 좌표로 참조해, 상기 윈드실드에 표출되는 상기 ADAS 정보의 왜곡이 보정된 좌표계로 표시되게 하기 위한 정합 정보를 생성하는 제3처리장치를 포함한다.

상기 제1처리장치, 상기 제2처리장치 및 상기 제3처리장치는 하나의 장치로 구현되는 경우를 포함한다.

상기 제2처리장치는, 심층 신경망의 특징 정보 추정 방법을 이용하여 상기 가상의 주행 영상에 포함된 오브젝트를 검출할 수 있다.

상기 제3처리장치는, 상기 윈드실드 상의 실제 위치 좌표

와 운전자 시점에서 정합위치가 되는 목표위치 좌표

간의 소정의 복수개의 동일점을 지정해 호모그래피 매트릭스 H를 추정한다.

상기 제3처리장치는, 상기 동일점의 수가 n개 일 때, i번째 동일점에 대하여, 수학식들

을 만족하는 방정식의 해로부터 상기 H를 추정하고, 여기서, h_**는 H의 각 성분, w는 정합을 위한 소정의 계수,

,

는 정규화된 동질 좌표계 상 픽셀 위치, w_i'는 i번째 동일점에 대한 목표 위치 좌표 x'에 적용되는 정합을 위한 소정의 계수, h^j는 3×1 크기의 j번째 열 벡터이다.

그리고, 본 발명의 다른 일면에 따른 증강정보 시뮬레이션 방법은, 제1처리장치에서, 가시광 프로젝터가 스크린에 가상의 주행 영상을 투영하기 위한 영상 콘텐츠를 가시광 프로젝터로 제공하는 단계; 제2처리장치에서, 상기 가상의 주행 영상에 대하여 ADAS 정보를 생성하는 단계; 레이저 프로젝터에서, 상기 ADAS 정보를 증강형으로 HUD를 표출하기 위해 상기 윈드실드에 해당 레이저를 투영하는 단계; 및 제3처리장치에서, 카메라의 좌표를 운전자의 시점의 좌표로 참조해, 상기 윈드실드에 표출되는 상기 ADAS 정보의 왜곡이 보정된 좌표계로 표시되게 하기 위한 정합 정보를 생성하는 단계를 포함한다.

본 발명에 따른 증강정보 시뮬레이터에 따르면, 실제 차량에 적용될 실감형 HUD의 정합 및 표출 알고리즘을 실내 환경에서 표현 및 검증할 수 있으며, 차량의 윈드실드에 부분 출력 또는 풀 윈드실드를 이용하는 등의 다양한 형태의 HUD 표출 알고리즘에 대한 검증 및 모사가 가능하고, 실제 주행환경에서 나타나는 문제점을 미리 점검하여, 효과적인 UI (User Interface) 및 UX (User eXperience)를 제공할 수 있도록, 증강정보 정합 기술 및 평가 프레임워크를 제공할 수 있다.

본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는 첨부도면은, 본 발명에 대한 실시예를 제공하고 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 본 발명의 일 실시예에 따른 증강정보 시뮬레이터의 프레임워크를 설명하기 위한 도면이다.
도 2는 도 1과 같은 증강정보 시뮬레이터 프레임워크를 구현한 암실 환경의 예시이다.
도 3은 본 발명에서 오브젝트를 검출하기 위한 모델의 예시를 설명하기 위한 도면이다.
도 4는 본 발명에서 실제 차량의 주행 시 촬영된 주행영상(좌측)과 심층 신경망으로부터 추출된 오브젝트 정보의 예로서 바운딩 박스(우측)의 일례를 나타낸다.
도 5는 본 발명에서 ADAS 정보의 정합 전(상단)과 정합 후(하단)의 해당 바운딩 박스의 비교 사진의 일례이다.

이하에서는 첨부된 도면들을 참조하여 본 발명에 대해서 자세히 설명한다. 이때, 각각의 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타낸다. 또한, 이미 공지된 기능 및/또는 구성에 대한 상세한 설명은 생략한다. 이하에 개시된 내용은, 다양한 실시 예에 따른 동작을 이해하는데 필요한 부분을 중점적으로 설명하며, 그 설명의 요지를 흐릴 수 있는 요소들에 대한 설명은 생략한다. 또한 도면의 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시될 수 있다. 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니며, 따라서 각각의 도면에 그려진 구성요소들의 상대적인 크기나 간격에 의해 여기에 기재되는 내용들이 제한되는 것은 아니다.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 운전자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시 예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.

또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

도 1은 본 발명의 일 실시예에 따른 증강정보 시뮬레이터(100)의 프레임워크를 설명하기 위한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 증강정보 시뮬레이션을 위한증강정보 시뮬레이터(100)는, 랩톱 컴퓨터과 같은 제1처리장치(110), 제2처리장치(120), 제3처리장치(130)를 포함하며, 이외에도 증강현실(AR)-HUP(헤드업디스플레이)를 위한 레이저 프로젝터(140), 윈드실드(150), DLP(Digital Light Processing) 프로젝터와 같은 가시광 프로젝터(160), 화이트 등의 스크린(170) 등을 포함한다. 제1처리장치(110), 제2처리장치(120), 제3처리장치(130)는 하나의 랩톱 컴퓨터과 같은 장치로 구현될 수도 있다.

도 2는 도 1과 같은 증강정보 시뮬레이터(100) 프레임워크를 구현한 암실 환경의 예시이다.

도 2와 같이, 암실 내에 증강정보 시뮬레이터(100)의 구성들을 구성하고, 실차 주행과 유사한 환경을 만들기 위하여 암실 내의 조명등의 조도 조절은 컴퓨터와 같은 제어장치(또는 처리장치)를 이용할 수도 있고, 수동으로 조절할 수도 있다. 차량 외관은 알루미늄 프로파일 등 적절한 금속으로 이루어질 수 있다.

제1처리장치(110)는 미리 저장된 외부 주행 환경에 대하여 녹화한 영상 콘텐츠를 메모리 등에 저장하고 있으며, 해당 콘텐츠를 프로젝터(160)로 제공하여 가상의 주행 영상을 스크린(170)에 투영하게 한다.

제2처리장치(120)는 가상의 주행 영상에 대하여 주행 관련 정보를 포함하는 ADAS 정보를 생성한다. ADAS 정보는 주행 영상에 나타나는 앞 차량의 속도 자차의 속도, 자차와 앞차와의 간격 등 주행 정보, 및 차선, 보행자, 차량, 이동물체 등 오브젝트 정보를 포함할 수 있다.

레이저 프로젝터(140)는 윈드실드(150)에 레이저를 투영해 해당 ADAS 정보를 증강형으로 HUD를 표출한다.

제3처리장치(130)는 웹 카메라와 같은 디지털 카메라(131)를 포함하며, 카메라(131)를 운전자의 시점으로 가정하여 카메라(121)의 좌표를 운전자의 시점의 좌표로 참조해 ADAS 정보가 주행 영상-HUD-운전자의 시점에 대한 3개 좌표계를 정합하여 ADAS 정보의 표출에 대한 왜곡이 보정된 좌표계로 표시되게 하기 위한 정합 정보를 생성한다. 정합 정보에 따라 최종 정합된 ADAS 정보가 증강 정보로서 프로젝터(140)에 의해 표시되도록 할 수 있다.

제2처리장치(120)에서 ADAS 정보를 생성하기 위하여, 심층 신경망(deep neural network)의 특징 정보 추정 방법을 이용하여 상기 가상의 주행 영상에 포함된 오브젝트를 검출하는 방식을 이용할 수 있다. 오브젝트를 검출하기 위한 심층 신경망 모델은 R-FCN(Region-Based Fully Convolutional Networks), Faster-RCNN(Recurrent Convolutional Neural Network), Yolo(you only look once), SSD(Single shot multiBox Detector) 등을 포함할 수 있다. 이러한 심층 신경망 모델은 일반적으로 회선 신경망(Convolutional Neural Nerwork)을 활용한 특징 정보 추출 과정과 물체의 위치 추정의 오차를 조정하는 리그레션(regression) 과정을 포함한다.

도 3은 본 발명에서 오브젝트를 검출하기 위한 모델의 예시를 설명하기 위한 도면이다.

도 3과 같이, 입력 영상으로부터 오브젝트를 검출하기 위하여, 회선 신경망(CNN)을 이용한 특징 추출 과정(S310)과 오브젝트가 존재할 확률이 높은 관심영역(ROI, Region of Interest)에서의 오브젝트 검출 과정(S320)을 포함할 수 있다.

회선 신경망(CNN)을 이용한 특징 추출 과정(S310)은 신경망(CNN)을 중심으로 하는 잔차 신경망(residual network)을 이용해 특징 정보의 맵(feature map)을 생성한다.

오브젝트 검출 과정(S320)을 위하여, 영역 제안 신경망(Region Proposal Network)은 오브젝트가 존재할 확률이 높은 영역들을 제안하고, ROI 풀링 레이어(pooling layer)는 특징 정보의 맵(feature map)으로부터 해당 영역에 대한 소정의 벡터를 추출하고 위치 민감도 스코어 맵(position sensitive score map)을 생성한다. 최종적으로 NMS(non-maximum-suppression) 방식을 이용해 위치 민감도 스코어 맵(position sensitive score map)으로부터 오브젝트가 존재하는 영역들에 대한 정보를 생성할 수 있다(localization).

한편, 차량의 주행 상황에 맞추어 가상 윈드실드(150) 상에 ADAS 정보를 HUD로 정합 및 표출하기 위하여, 제3처리장치(130)는 ADAS 정보를 주행 영상-HUD-운전자의 3개 좌표계를 정합한 좌표계로 표시되게 하기 위한 호모그래피 매트릭스 등 정합 정보를 생성한다. 윈드실드(150) 상의 영상의 표시 면적이 넓을수록 주행 영상-HUD-운전자의 3개 좌표계 간의 시점 차이는 증가하게 된다. 이런 문제점을 극복하기 위해 본 발명에서는 하기와 같이 정합을 통해 정보 표출의 오차를 최소화할 수 있다.

위와 같은 좌표계 간의 정합의 정확도 향상을 위하여, 윈드실드(150) 상의 실제 위치 좌표

와 운전자 시점에서 정합위치가 되도록 하는 윈드실드(150) 상의 목표 위치 좌표

간의 대응되는 소정의 복수개의 동일점(correspondence point)을 지정해 호모그래피(homography) 매트릭스 H를 추정하는 방식을 적용할 수 있다. 실제 위치 좌표 x와 목표 위치 좌표 x'는 카메라(121)의 좌표를 운전자의 시점의 좌표로 참조해 복수의 개수 n개(예, 2이상의 자연수)가 미리 지정될 수 있다.

자유도(degree of freedom)가 8인 호모그래피 매트릭스 H를 추정하기 위한 서로 대응되는 동일점(예, 실제 위치 좌표 x와 목표 위치 좌표 x') 간 선형 관계는 다음 [수학식1]과 같이 정의될 수 있다.

[수학식1]

이때, 벡터

와

는 서로 다른 시점 상에서의 추정된 동일점에 대한 동질 좌표계(homogeneous coordinate) 상 픽셀 위치를 나타낸다. 여기서, w는 정합을 위한 소정의 계수, h_**는 호모그래피 매트릭스 H의 각 성분을 의미한다. 두 시점에서 얻어진 총 동일점의 수가 n개라고 가정한다면 n개의 선형 관계를 갖는 과결정선형계(overdetermined linear system)를 생성할 수 있다. 주어진 과결정선형계 방정식의 해를 근사하기 위해 [수학식2]와 같이 동질계 선형 방정식을 구성하였다.

[수학식2]

여기서,

는 각각 정규화된 동질 좌표계 상 픽셀 위치로

,

로 정의하고, h^j는 3×1 크기의 j번째 열 벡터를 의미한다. 주어진 [수학식2]의 동질계 선형 방정식은 총 n개의 동일점 중 i번째 동일점에 대한 표기를 나타낸 것으로, 예를 들어 최소 동일점이 n=4인 경우 선형계의 해를 구한다면 [수학식3]과 같이 나타낼 수 있다. 여기서, w_i'는 i번째 동일점에 대한 목표 위치 좌표 x'에 적용되는 정합을 위한 소정의 계수이다.

[수학식3]

위와 같은 소정의 동일점들 (x,y)와 (x',y')로부터 방정식의 해를 구하여 호모그래피 매트릭스 H를 추정할 수 있고, 이는 ADAS 정보가 주행 영상-HUD-운전자의 3개 좌표계를 정합한 좌표계로 표시되게 하기 위한 정합 정보로서의 호모그래피 매트릭스로 이용될 수 있다.

도 4는 본 발명에서 실제 차량의 주행 시 촬영된 주행영상(좌측)과 심층 신경망으로부터 추출된 오브젝트 정보의 예로서 바운딩 박스(우측)의 일례를 나타낸다.

도 4와 같이, 제2처리장치(120)가 스크린(170)의 주행영상(좌측)에 대하여 회선 신경망(CNN)을 이용한 특징 추출과 오브젝트 검출 과정을 수행하여, 앞차량들의 오브젝트를 검출해 우측과 같이 오브젝트 정보(예, 바운딩 박스)를 생성할 수 있다. 이와 같은 오브젝트 정보(예, 바운딩 박스) 이외에도, ADAS 정보는 영상에 나타나는 앞 차량의 속도, 자차의 속도, 자차와 앞차와의 간격 등 주행 정보 등이 윈드실드(150) 상의 적절한 위치에 표시되는 정보를 포함할 수 있다.

도 5는 본 발명에서 ADAS 정보의 정합 전(상단)과 정합 후(하단)의 해당 바운딩 박스의 비교 사진의 일례이다.

도 5의 상단 사진들과 같이, ADAS 정보가 윈드실드(150)에 표시되는 상태가 운전자 시점에서 뒤틀리거나 위치 오차가 있는 위치에 나타나는 왜곡이 발생할 수 있다. 본 발명에서는, 도 5의 하단 사진들과 같이, 이와 같은 왜곡이 보정되어 자연스러운 ADAS 정보가 윈드실드(150)에 표출되게 하기 위하여, 제3처리장치(130)에 의해 주행 영상-HUD-운전자의 시점의 3개 좌표계를 정합한 좌표계로 표시되게 하기 위한 호모그래피 매트릭스와 같은 정합 정보를 생성하여, 좌표계 변환 등을 수행할 수 잇다. 실제 차량에 적용 시 위와 같은 정합 정보에 따라 최종 정합된 ADAS 정보가 증강 정보로서 프로젝터(140)에 의해 윈드실드(150)에 표시되도록 할 수 있다.

상술한 바와 같이, 본 발명에 따른 증강정보 시뮬레이터(100)는, 실제 차량에 적용될 실감형 HUD의 정합 및 표출 알고리즘을 실내 환경에서 표현 및 검증할 수 있으며, 차량의 윈드실드에 부분 출력 또는 풀 윈드실드를 이용하는 등의 다양한 형태의 HUD 표출 알고리즘에 대한 검증 및 시뮬레이션이 가능하고, 실제 주행환경에서 나타나는 문제점을 미리 점검하여, 효과적인 UI (User Interface) 및 UX (User eXperience)를 제공할 수 있도록, 증강정보 정합 기술 및 평가 프레임워크를 제공할 수 있다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

제1처리장치(110)
제2처리장치(120)
제3처리장치(130)
레이저 프로젝터(140)
윈드실드(150)
가시광 프로젝터(160)
스크린(170)

Claims

가시광 프로젝터; 스크린; 윈드실드;
상기 가시광 프로젝터가 상기 스크린에 가상의 주행 영상을 투영하기 위한 영상 콘텐츠를 상기 가시광 프로젝터로 제공하는 제1처리장치;
상기 가상의 주행 영상에 대하여 ADAS 정보를 생성하는 제2처리장치;
상기 ADAS 정보를 증강형으로 HUD를 표출하기 위해 상기 윈드실드에 해당 레이저를 투영하는 레이저 프로젝터; 및
카메라를 장착하고 있으며, 상기 카메라의 좌표를 운전자의 시점의 좌표로 참조해, 상기 윈드실드에 표출되는 상기 ADAS 정보의 왜곡이 보정된 좌표계로 표시되게 하기 위한 정합 정보를 생성하는 제3처리장치
를 포함하는 것을 특징으로 하는 증강정보 시뮬레이터.
제1항에 있어서,
상기 제1처리장치, 상기 제2처리장치 및 상기 제3처리장치는 하나의 장치로 구현되는 경우를 포함하는 것을 특징으로 하는 증강정보 시뮬레이터.
제1항에 있어서,
상기 제2처리장치는, 심층 신경망의 특징 정보 추정 방법을 이용하여 상기 가상의 주행 영상에 포함된 오브젝트를 검출하는 것을 특징으로 하는 증강정보 시뮬레이터.
제1항에 있어서,
상기 제3처리장치는,
상기 윈드실드 상의 실제 위치 좌표
와 운전자 시점에서 정합위치가 되는 목표위치 좌표
간의 소정의 복수개의 동일점을 지정해 호모그래피 매트릭스 H를 추정하는 것을 특징으로 하는 증강정보 시뮬레이터.
제4항에 있어서,
상기 제3처리장치는,
상기 동일점의 수가 n개 일 때, i번째 동일점에 대하여, 수학식들

을 만족하는 방정식의 해로부터 상기 H를 추정하고,
여기서, h_**는 H의 각 성분, w는 정합을 위한 소정의 계수,
,
는 정규화된 동질 좌표계 상 픽셀 위치, w_i'는 i번째 동일점에 대한 목표 위치 좌표 x'에 적용되는 정합을 위한 소정의 계수, h^j는 3×1 크기의 j번째 열 벡터인 것을 특징으로 하는 증강정보 시뮬레이터.
제1처리장치에서, 가시광 프로젝터가 스크린에 가상의 주행 영상을 투영하기 위한 영상 콘텐츠를 가시광 프로젝터로 제공하는 단계;
제2처리장치에서, 상기 가상의 주행 영상에 대하여 ADAS 정보를 생성하는 단계;
레이저 프로젝터에서, 상기 ADAS 정보를 증강형으로 HUD를 표출하기 위해 상기 윈드실드에 해당 레이저를 투영하는 단계; 및
제3처리장치에서, 카메라의 좌표를 운전자의 시점의 좌표로 참조해, 상기 윈드실드에 표출되는 상기 ADAS 정보의 왜곡이 보정된 좌표계로 표시되게 하기 위한 정합 정보를 생성하는 단계
를 포함하는 것을 특징으로 하는 증강정보 시뮬레이션 방법.