KR20240055925A

KR20240055925A - 3차원 증강현실 헤드업 디스플레이 장치

Info

Publication number: KR20240055925A
Application number: KR1020220135455A
Authority: KR
Inventors: 이진호; 이고르 야누식; 김성복; 권세용
Original assignee: 에피톤 인코포레이티드
Priority date: 2022-10-20
Filing date: 2022-10-20
Publication date: 2024-04-30
Also published as: WO2024085464A1

Abstract

본 발명은 3차원 증강현실 헤드업 디스플레이 장치에 관한 것으로, 보다 상세하게는 시야 각도(Field of View;'FoV')를 크게 확장 가능하면서도 장치의 부피를 크게 감소시킬 수 있는 3차원(3-Dimensional;'3D') 증강현실(Augmented Reality;'AR') 헤드업 디스플레이(Head-up Display;HUD) 장치에 관한 것이다.
이러한 본 발명에 의하면, 3차원 증강현실 헤드업 디스플레이 장치는 기존의 헤드업 디스플레이 장치가 소형 디스플레이 패널 영상을 광학미러를 이용하여 확대투사하는 방식을 이용하는 것과는 달리 대형 디스플레이 패널 영상을 광학미러를 사용하지 않고 자동차 윈드쉴드(windshield)로 바로 투사하는 방식으로, 장치의 부피 증가를 최소화하면서도 광 시야각 구현이 매우 용이하며, 디스플레이 패널의 크기를 증가시키거나 디스플레이 패널의 개수를 증가시켜 시야각을 더욱 크게 증가시킬 수 있다.
또, 증강현실 구현을 위해서는 자동차 전방 물체 또는 전경과의 정합을 위해서 먼 거리와 다양한 깊이에 영상을 표시해 주어야 하는데, 3차원 영상 표현 방식으로 이를 달성할 수 있다.

Description

3차원 증강현실 헤드업 디스플레이 장치 {Three-Dimensional Augmented Reality Head-up Display Device}

본 발명은 3차원 증강현실 헤드업 디스플레이 장치에 관한 것으로, 보다 상세하게는 시야 각도(Field of View;'FoV')를 크게 확장 가능하면서도 장치의 부피를 크게 감소시킬 수 있는 3차원(3-Dimensional;'3D') 증강현실(Augmented Reality;'AR') 헤드업 디스플레이(Head-up Display;'HUD')장치에 관한 것이다.

헤드업 디스플레이 장치는 운전자의 안전과 운전 중 편안함을 주기 위해서 적용이 크게 증가하고 있다. 헤드업 디스플레이에는 차량 속도, 연료 레벨, 분당 엔진 회전수 등의 계기판 정보와 네비게이션 정보 등이 표시된다. 이러한 정보 외에도 증강현실 적용을 통하여 보다 다양한 정보를 제공할 수 있다.

예를 들면, 차선 이동방향, 위험물, 보행자 위치, 전방 건물 정보 등을 물체 또는 전경과 정합하여 표현할 수 있다. 하지만 이를 위해서는 표현되는 허상(가상 이미지) 거리가 주행 중 시야 거리를 커버하기에 충분하여야 하며, 시야각 또한 차선 너비를 충분히 커버할 수 있어야 한다.

그런데, 기존의 헤드업 디스플레이 장치는 고정된 거리(일반적으로 2.5m 정도)에 허상이 표시되며, 수평 시야각 또한 5도 이내로 작다. 최근 이를 개선하여 허상 거리를 10m, 수평 시야각을 10도로 증가시킨 장치들이 시제품으로 개발 또는 출시되고 있다.

도 1은 투명유리(윈드쉴드;windshield)를 이용한 허상 구현 원리를 설명하는 그림이다. 허상(virtual image)은 디스플레이와 윈드쉴드(W)사이의 거리와 동일한 거리로 윈드쉴드 바깥쪽에 형성된다. 따라서, 확대 광학미러의 사용 없이는 허상거리(Virtual Image Distance;VID)를 증가시킬 수 없다. 한편, 투명유리를 통해 영상이 허상으로 표시되므로 운전자는 유리(윈드쉴드) 건너편의 실제 물체도 동시에 볼 수 있다.

도 2는 기존 헤드업 디스플레이 장치의 구성도이다. 디스플레이 패널과 디스플레이 패널 하부에 배치된 백라이트 유닛(Back Light Unit)으로 구성된 영상생성 유닛(Picture Generation Unit;PGU)에서 생성된 2차원 영상은 두 개의 광학미러를 이용하여 확대되고 왜곡이 보정되어 윈드쉴드로 투사되며 운전자의 전방에 허상(가상 이미지)을 형성한다.

이와 같은 기존 헤드업 디스플레이 장치는 2차원 영상을 사용하므로 확대 광학미러를 사용하여 허상을 좀 더 멀리 보낼 수 있더라도 허상은 한 곳의 위치에 고정된다.

또, 광학미러의 확대비 한계로 인하여 허상 거리 증가에도 한계가 발생한다.

또한, 시야각 증대를 위해서는 확대 광학 미러의 크기 증가를 피할 수 없어서 장치의 부피가 매우 커지는 문제가 발생하고 있고, 이에 따라 차량 내 장착 공간 확보가 이슈가 되고 있다.

그리고, 광학 확대 비율 증가에 따른 태양광 집속 강도가 증가하여 디스플레이 패널의 장기 사용 신뢰성 문제도 대두되고 있다. 한편, 허상거리 즉, 영상 표현 깊이가 고정되어 있어서 자동차 전방의 물체 또는 전경과 표시되는 정보의 깊이가 완벽히 정합되는 진정한 증강현실 구현에는 한계가 있다.

하지만, 본 발명의 구성에서는 비록 짧은 거리에 허상이 형성되더라도 허상면에 3차원 영상을 구현함으로서 마치 허상 거리가 크게 증가하는 것과 같은 효과를 줄 수 있다. 또한, 다양한 거리에 영상을 자유롭게 표시할 수 있으므로 증강현실 표현에 매우 적합하다.

3차원 영상 표시 장치는 도 3과 같이 LCD 등의 2차원 영상 표시 장치의 각 픽셀에서 발생하는 빛을 좌,우측 눈으로 나누어 주기 위하여 렌티큘러 렌즈 필름(lenticular lens film) 또는 패럴렉스 배리어 필름(parallax barrier film)으로 구성된 광학판을 2차원 영상 표시 장치의 상부에 부착한다. 이후 시차 간격을 두어 제작된 좌,우 영상을 각 픽셀에 인가하게 되면 사용자는 3차원 영상을 볼 수 있다.

상기와 같은 종래기술의 문제점을 해결하기 위한 것으로서, 본 발명의 3차원 증강현실 헤드업 디스플레이 장치는 기존의 헤드업 디스플레이 장치가 소형 디스플레이 패널 영상을 광학미러를 이용하여 확대 투사하는 방식을 이용하는 것과는 달리해 광학미러를 사용하지 않고 대형 디스플레이 패널 영상이 자동차 윈드쉴드로 바로 투사되도록 한다. 따라서, 장치의 부피 증가를 최소화하면서 시야각을 크게 확대할 수 있다.

또한, 간단히 디스플레이 패널의 크기를 증가시키거나 디스플레이 패널의 개수를 증가시킴으로서 시야각을 더욱 크게 증가시킬 수 있다. 또, 시야각을 증가시키더라도 장치의 부피는 크게 증가하지 않으며 태양광 집속에 의한 장기사용 신뢰성 문제도 발생하지 않도록 하는데 그 목적이 있다.

이와 같은 기술적 과제를 해결하기 위한 본 발명은,

LCD 패널과, 상기 LCD 패널 상부에 부착된 광학판과, 상기 LCD 패널 하부에 배치된 백라이트 유닛으로 구성된 3차원 영상표시장치와;

운전자를 바라보는 방향으로 배치된 눈추적 카메라를 포함해 구성된다.

또, 눈추적 카메라는, 3차원 영상표시장치와 분리되어 자동차 대쉬보드 내에서 운전자의 눈을 바라보는 위치에 설치되게 구성할 수 있다.

또한, 백라이트 유닛은, LED, 콜리메이팅 렌즈 어레이, 확산판으로 구성되며, 디스플레이 가장자리(edge)에서의 LED 광원으로부터의 최대 출광 각도가 아이박스 중심에서의 시야각과 일치되도록 구성할 수 있다.

그리고, 백라이트 유닛은, 렌즈 어레이에서의 렌즈 유닛 각각에 대한 LED 광원 각각의 상대 위치를 점진적으로 가장자리로 이동시켜 배치하게 구성할 수 있다.

또, 백라이트 유닛은, 렌즈 어레이 상단에 프레넬 렌즈(Fresnel lens)를 삽입해 구성할 수 있다.

또한, 프레넬 렌즈의 초점거리는 허상 거리와 동일하게 구성할 수 있다.

그리고, 백라이트 유닛은, LCD 패널과 확산판 사이에 각도제어 필름이 배치되게 구성할 수 있다.

또, 3차원 영상표시장치에는, 광학판과 LCD 패널 사이에 반파장판이 배치되어 접합 구성될 수 있다.

또한, 3차원 영상표시장치는, 상부에 더스트 커버가 배치된 박스 형태로 구성될 수 있다.

그리고, 더스트 커버는 운전자를 직접적으로 바라보지 않는 곡면 형태로 윈드쉴드 각도에 대응해 배치되게 구성할 수 있다.

또, 3차원 영상표시장치는, 디스플레이가 운전자에게 직접적으로 보여지지 않도록 디스플레이를 가려주는 케이스가 구비되게 구성할 수 있다.

또한, 3차원 영상표시장치는, LCD 패널을 적어도 2개를 연결하여 배치되게 구성할 수 있다.

그리고, 3차원 영상표시장치는, 운전석, 조수석, 또는 운전석과 조수석 사이 중에서 어느 하나에 설치되게 구성할 수 있다.

또, 3차원 영상표시장치는, 허상을 수직 사각형 이미지로 구현하기 위해 윈드쉴드의 각도 및 형상에 대응하여 배치 위치 및 배치 각도가 조정되게 구성할 수 있다.

또한, 3차원 영상표시장치는, 평면 윈드쉴드의 각도가 45도로 배치된 경우에 디스플레이가 대쉬보드 내에 수평으로 배치되게 구성할 수 있다.

그리고, 3차원 영상표시장치는, 평면 윈드쉴드의 각도가 45도 보다 큰 경우에 디스플레이가 윈드쉴드면 안쪽으로 기울어진 형태로 배치되게 구성할 수 있다.

또, 3차원 영상표시장치는, 평면 윈드쉴드의 각도가 45도 보다 작은 경우에 디스플레이가 윈드실드면 바깥쪽으로 기울어진 형태로 배치되게 구성할 수 있다.

또한, 3차원 영상표시장치는, 곡면 윈드쉴드가 배치된 경우에 좌,우 측면부쪽에서 디스플레이가 윈드쉴드면 바깥쪽으로 회전된 형태로 배치되게 구성할 수 있다.

그리고, 3차원 영상표시장치는, 곡면 윈드쉴드에서 좌,우 측면부쪽에서 디스플레이가 수직방향으로 회전된 형태로 배치되게 구성할 수 있다.

또, 3차원 영상표시장치는, 곡면 윈드쉴드의 각도가 45도 보다 큰 경우에 디스플레이가 윈드쉴드면 안쪽으로 기울어진 형태로 배치되게 구성할 수 있다.

또한, 3차원 영상표시장치는, 곡면 윈드쉴드의 각도가 45도 보다 작은 경우에 디스플레이가 윈드쉴드면 바깥쪽으로 기울어진 형태로 배치되게 구성할 수 있다.

그리고, 3차원 영상표시장치는, 허상을 수직 사각형 이미지로 구현하기 위하여 입력 영상을 보정하게 구성할 수 있다.

또, 3차원 영상표시장치는, LCD 패널의 픽셀로부터 광학판을 통하여 윈드쉴드면을 맞고 반사되어 나오는 광선의 진행 경로를 계산하여 좌,우 영상에 대한 광선 렌더링 보정을 추가 구성할 수 있다.

또한, 3차원 영상표시장치는, 운전자의 3차원 눈 위치 좌표, 디스플레이 픽셀 위치를 인풋으로 하고, 뷰 넘버로 표시되는 광선 경로를 아웃풋으로 하는 다항식 모델을 이용하여 연속적인 눈 위치와 픽셀 위치에 대한 정확한 경로를 계산하여 3차원 영상을 렌더링할 수 있다.

그리고, 3차원 영상표시장치는, 광선의 진행 경로를 룩업테이블(look-up table)을 구성하여 그 사이의 값을 보간(interpolation)하여 계산하는 방식으로도 구성할 수 있다.

또한, 3차원 영상표시장치는, 적어도 2개의 LCD 패널을 사용하는 경우 윈드쉴드의 형상 및 배치 위치에 따라서 LCD 패널 각각의 위치 및 각도를 조정 가능하게 구성할 수 있다.

이러한 본 발명에 의하면, 3차원 증강현실 헤드업 디스플레이 장치는 기존의 헤드업 디스플레이 장치가 소형 디스플레이 패널 영상을 광학미러를 이용하여 확대투사하는 방식을 이용하는 것과는 달리 대형 디스플레이 패널 영상을 광학미러를 사용하지 않고 자동차 윈드쉴드로 바로 투사하는 방식으로, 광 시양각 구현이 매우 용이하며, 디스플레이 패널의 크기를 증가시키거나 디스플레이 패널의 개수를 증가시켜 시야각을 더욱 크게 증가시킬 수 있다.

또, 증강현실 구현을 위해서는 자동차 전방 물체 또는 전경과의 정합을 위해서 허상 거리를 멀게 형성하여야 하는데 허상은 디스플레이와 윈드쉴드 사이의 거리와 동일한 거리로 윈드쉴드 바깥쪽에 형성되므로 확대 광학미러 없이는 허상 거리를 멀리 표현할 수 없으나, 본 발명에서는 이를 3차원 영상 표현 방식으로 극복해 짧은 허상 거리에도 불구하고 먼 거리와 다양한 깊이에 영상을 자유롭게 표시할 수 있다.

또한, 본 발명의 헤드업 디스플레이 장치는 윈드쉴드의 형상 및 각도를 반영하여 배치 위치 및 배치 각도를 조정함으로서 일반적으로 왜곡 보정에 이용되는 비구면 광학미러 없이도 왜곡이 크게 없는 수직 사각형 형태의 허상을 구현할 수 있고, 디스플레이 픽셀로부터 광학판을 통하여 윈드쉴드면을 맞고 반사되어 나오는 광선의 진행 경로를 계산하여 좌,우 영상에 대한 추가적인 광선 렌더링 보정을 함으로서 시청피로가 없는 3차원 영상을 구현할 수 있다.

그리고, 백라이트 유닛은 광 시야각 헤드업 디스플레이의 아이박스(eyebox) 영역 내에서 균일도를 유지하기 위해서 디스플레이 패널 가장자리(edge)에서의 LED 광원의 최대 출광 각도가 아이박스 중심에서의 시야각(Field of View; FoV)과 일치되도록 한다. 이를 위해서 렌즈 어레이에서의 렌즈 유닛 각각에 대한 LED 광원 각각의 상대 위치를 점진적으로 가장자리로 이동시켜 배치하거나 렌즈 어레이 상단에 프레넬 렌즈(Fresnel lens)를 삽입하여 LED 광원 각각의 출광 각도를 제어한다.

또, 3차원 증강현실 헤드업 디스플레이 장치는 3차원 영상 표시 장치 상부에 더스트 커버(dust cover)를 추가로 배치한 박스형태로 구성될 수 있으며, 눈추적 카메라를 일체형으로 장착할 수 있다. 더스트 커버는 운전자를 직접적으로 바라보지 않는 곡면 형태로 윈드쉴드 각도에 대응하는 형상으로 변경될 수 있으며, 디스플레이 장치가 운전자에게 직접적으로 보여지지 않도록 디스플레이 장치를 가려주는 형태로 케이스(case)가 마련될 수 있다.

도 1은 투명유리를 이용한 허상 구현 원리를 도시한 개략도.
도 2는 기존 헤드업 디스플레이 장치의 구성도.
도 3은 3차원 영상표시장치의 구현 원리를 도시한 개략도.
도 4는 본 발명에 따른 3차원 증강현실 헤드업 디스플레이 장치의 구성도.
도 5는 본 발명에 따른 3차원 증강현실 헤드업 디스플레이 장치의 실시 구성도.
도 6은 본 발명에 따른 3차원 증강현실 헤드업 디스플레이 장치의 싱글 디스플레이 배치 평면도.
도 7은 본 발명에 따른 3차원 증강현실 헤드업 디스플레이 장치의 듀얼 디스플레이 배치 평면도.
도 8은 본 발명에 따른 3차원 증강현실 헤드업 디스플레이 장치의 대쉬보드 배치 구성도.
도 9는 본 발명에 따른 3차원 증강현실 헤드업 디스플레이 장치의 배치 각도 조정을 통한 영상 왜곡 해석 결과를 나타낸 구성도.
도 10은 본 발명에 따른 3차원 증강현실 헤드업 디스플레이 장치의 싱글 디스플레이 왜곡 보정 해석 결과를 나타낸 구성도.
도 11은 본 발명에 따른 3차원 증강현실 헤드업 디스플레이 장치의 듀얼 디스플레이 왜곡 보정 해석 결과를 나타낸 구성도.
도 12는 본 발명에 따른 3차원 증강현실 헤드업 디스플레이 장치의 3차원 영상 렌더링 방법에 대한 구성도.
도 13은 본 발명에 따른 3차원 증강현실 헤드업 디스플레이 장치의 백라이트 유닛에서 출광 각도에 대한 구성도.
도 14는 본 발명에 따른 3차원 증강현실 헤드업 디스플레이 장치의 백라이트 유닛의 실시 구성도.
도 15는 본 발명에 따른 3차원 증강현실 헤드업 디스플레이 장치의 백라이트 유닛 구성 및 해석 이미지.
도 16은 본 발명에 따른 3차원 증강현실 헤드업 디스플레이 장치의 백라이트 유닛의 다른 실시예 구성도.
도 17은 본 발명에 따른 3차원 증강현실 헤드업 디스플레이 장치의 다른 실시 구성도.
도 18은 본 발명에 따른 3차원 증강현실 헤드업 디스플레이 장치의 또 다른 실시 구성도.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략한다.

도 4는 본 발명에 따른 3차원 증강현실 헤드업 디스플레이 장치의 구성도이다.

상기 3차원 증강현실 헤드업 디스플레이 장치(100)는 LCD 패널(20)과 그 상부에 부착된 광학판(렌티큘러 렌즈 필름 또는 패럴렉스 배리어 필름)(30), 그리고 LCD 패널(20) 하부에 배치된 백라이트 유닛(40)으로 구성된 3차원 영상표시장치(10)와, 운전자의 눈의 위치를 파악하여 좌,우 눈 각각에 대응하는 좌,우 영상을 3차원 영상표시장치(10)에 정확히 인가하기 위한 목적으로 사용되는 눈추적 카메라(50)로 구성된다.

눈추적 카메라(50)는 3차원 영상표시장치(10)와 일체형으로 구성될 수도 있고, 자동차의 대쉬보드 내에 운전자의 눈을 바라볼 수 있는 위치에 따로 설치될 수도 있다.

백라이트 유닛(40)은, 강한 태양광 아래에서도 영상이 잘 보일 수 있도록 10도 이내의 발산각(divergence angle)을 갖는 고휘도 백라이트로 구성하는 것이 바람직하다.

자동차 모델에 따라 각각 다른 형상의 윈드쉴드(W)가 사용되므로, 기존의 헤드업 디스플레이 장치는 이에 대응하여 각각 다르게 제작되었으나, 본 발명의 디스플레이 장치는 거의 모든 차종에 범용으로 적용될 수 있다.

이를 위해, 윈드쉴드(W) 하단의 대쉬보드(dashboard)(D) 내에 설치되는 본 발명의 헤드업 디스플레이 장치(100)는 윈드쉴드(W)의 형상 및 각도에 따라 배치 각도를 변경하여 영상의 왜곡을 쉽게 보정할 수 있다.

도 5의 (a) 및 (b)는 본 발명에 따른 윈드쉴드 각도에 따른 3차원 증강현실 헤드업 디스플레이 장치의 배치 형태도이다.

윈드쉴드(W)를 투과하여 운전자 전방에 형성되는 허상(가상 이미지)은 수직방향으로 세워진 형태의 사각형 이미지로 구현되어야 영상의 화질 및 균일도 확보에 절대적으로 유리하다. 허상은 윈드쉴드(W)를 기준으로 3차원 영상표시장치(10)와 대칭 위치에 형성되므로 윈드쉴드(W)의 각도가 도 4에서와 같이 45도로 배치된 경우에는 3차원 영상표시장치(10)가 대쉬보드 내에 수평으로 배치될 수 있으나, 45도 보다 큰 경우에는 도 5의 (a)와 같이 3차원 영상표시장치(10)가 윈드쉴드(W) 안쪽으로 기울어진 형태로 배치되어야 한다.

또한, 윈드쉴드(W)의 각도가 45도 보다 작은 경우에는 도 5의 (b)와 같이 3차원 영상표시장치(10)가 윈드쉴드(W) 바깥쪽으로 기울어진 형태로 배치되어야 한다.

그리고, 윈드쉴드(W)의 형상에 따라서도 본 발명의 3차원 영상표시장치(10)의 배치가 변경되어야 영상 왜곡 개선을 통한 화질 확보에 유리하다. 평면 윈드쉴드(W1)의 경우에는 도 6의 (a)와 같이 본 발명의 3차원 영상표시장치(10)가 평면 윈드쉴드(W1)에 대하여 수평방향으로 배치되며, 곡면 윈드쉴드(W2)의 경우에는 도 6의 (b)와 같이 좌,우 측면부쪽에서 곡면 윈드쉴드(W2) 바깥쪽으로 3차원 영상표시장치(10)가 회전된 형태로 배치되는 것이 바람직하다. 한편 3차원 영상표시장치(10)는 운전석, 조수석 또는 그 중간에도 설치 가능하다.

본 발명에 의한 3차원 증강현실 헤드업 디스플레이 장치(100)는 3차원 영상표시장치(10)의 LCD 패널(20) 크기를 증가시켜 주는 방법으로 손쉽게 디스플레이의 시야각을 증가시킬 수 있다.

도 7의 (a) 및 (b)는 3차원 영상표시장치(10)의 LCD 패널(20)을 2개 적용하여 디스플레이 화면을 확장한 경우에 대한 실시예이다. 물론 LCD 패널(20)의 가로 대 세로비를 크게 증가시켜 주면 1개의 패널로도 동일한 효과를 얻을 수 있다. 또, LCD 패널(20) 2개를 이어 배치한 경우에도 도 6과 동일한 배치 형태(각도 조정)로 대응할 수 있다. 또한, 다수의 패널을 사용하는 경우 윈드쉴드 형상 및 배치 위치에 따라서 패널 각각의 위치 및 각도를 조정해 줄 수도 있다.

평면 윈드쉴드(W1)의 경우에는 도 8의 (a)와 같이 본 발명의 헤드업 디스플레이 장치(100)를 평면 윈드쉴드(W1)의 마주하는 평면에 대응하여 대쉬보드(D) 내에서 수평방향으로 배치하는 것이 가능하고, 곡면 윈드쉴드(W2)의 경우에는 도 8의 (b)와 같이 헤드업 디스플레이 장치(100)를 곡면 윈드쉴드(W2)의 마주하는 곡면에 대응하여 좌,우 측면부쪽에서 외측이 수직방향으로 회전된 형태로 배치되는 것이 바람직하다.

도 9의 (a)는 30도 각도의 곡면 윈드쉴드(W2)에 대하여 3차원 영상표시장치(10)에서 도 5, 도 6, 도 8의 배치 각도 조정이 반영되지 않아 왜곡된 허상을 표시한 도면이고, 도 9의 (b)는 30도 각도의 곡면 윈드쉴드(W2)에 대하여 3차원 영상표시장치(10)에서 도 5, 도 6, 도 8의 배치 각도 조정을 모두 반영한 왜곡 보정 해석 결과이다.

여기에서, 도 9의 (a)에 정면(x축), 평면(y축), 수직면(z축) 방향에 대하여 각각 -55.6도, +3.9도, -1.9도로 3차원 영상표시장치(10)의 배치 각도를 조정하여 배치하는 경우에는 도 9의 (b)와 같이 허상의 왜곡이 매우 많이 개선될 수 있음을 확인할 수 있다. 본 해석은 3차원 영상표시장치(10)의 디스플레이 면이 수직으로 세워진 위치를 기준점(0,0,0)으로 정하고 운전자 위치에 대하여 계산한 결과이며, 시계방향 회전은 +, 반시계방향 회전은 -로 표시하였다.

이와 같은 배치 각도 조정을 통하여 개선된 허상의 왜곡은 추가적으로 입력 영상의 보정을 통하여 완벽하게 개선할 수 있다. 도 10의 (a) 및 (b)는 영상 보정 전,후의 허상 왜곡을 나타내는 도면이고, 도 11의 (a) 및 (b)는 3차원 영상표시장치(10)의 LCD 패널(20) 2개를 이어 배치한 경우에 대한 추가적인 입력 영상 보정 전,후의 허상 왜곡을 나타내는 도면이다.

도 10의 (a)와 도 11의 (a)에는 도 9의 (b)와 같이 배치 각도 조정을 통하여 개선된 허상에는 일부 왜곡이 남아 있으며, 추가적인 영상 보정을 통하여 도 10의 (b)와 도 11의 (b)와 같이 완전한 사각형 형태로 왜곡이 보정될 수 있다.

이와 같이 2차원적인 영상 왜곡이 완전히 보정되는 경우에도, 3차원 영상의 경우에는 디스플레이 픽셀로부터 광학판(30)을 통하여 윈드쉴드(W)의 면을 맞고 반사되어 나오는 광선의 진행경로를 계산하여 좌,우 영상에 대한 추가적인 렌더링 보정이 필요하다.

도 12는 본 발명에 따른 3차원 증강현실 헤드업 디스플레이 장치의 3차원 영상 렌더링 방법에 대한 설명이며, 이와 같은 방법을 이용하여 시청피로가 없는 3차원 영상을 구현할 수 있다.

광선의 진행경로를 결정 짓는 것은 광선의 출발지점인 디스플레이 픽셀의 위치(Px,Py)와 광선의 도착지점인 운전자의 3차원 눈 위치 좌표(Ex,Ey,Ez)이다. 그러므로 도 12의 (a)와 같이 디스플레이 픽셀 위치(Px,Py)와 운전자의 3차원 눈 위치 좌표(Ex,Ey,Ez)를 몇 군데 정하고, 광선 경로가 정해진 뷰(view) 패턴 영상을 인가하여 분석하면, 각 픽셀 위치에서 어느 광선 경로가 가장 적합한지 파악할 수 있다. 그리고, 운전자의 3차원 눈 위치 좌표, 디스플레이 픽셀 위치(Ex,Ey,Ez,Px,Py)를 인풋으로 하고, 뷰 넘버(view number)로 표시되는 광선 경로를 아웃풋으로 하는 다항식 모델(다항식 계수)을 얻어낼 수 있다. 따라서, 얻어진 다변수 다항식을 사용해 연속적인 눈 위치와 픽셀 위치에 대한 정확한 경로를 계산하여 3차원 영상을 렌더링 할 수 있다.

한편, 적절한 다항식 모델을 얻기 위해서는 다항회귀를 실행하기 전에 도 12의 (b)와 같이 주기성을 가지는 뷰 넘버를 눈 좌표 및 픽셀 위치에 대해서 선형으로 펴는 작업이 필요하다. 이것은 불연속 구간의 데이터를 위쪽으로 이동하여 이어 붙여 주면 된다.

3차원 디스플레이에서 뷰(view)는 동일한 시차(parallex)를 가지는 부분 영상을 의미하며, 시차가 각각 다른 (즉, 광 경로가 다른) 여러 개의 뷰가 모여 완전한 3차원 영상을 구성한다. 그리고, 뷰의 개수에 대응하는 각 픽셀의 뷰 넘버는 일정한 주기성을 갖는 것이 일반적이다. 뷰 패턴은 다양하게 구성될 수 있으며, 본 발명의 3차원 영상 렌더링 보정은 윈드쉴드(W) 면을 맞고 반사되어 표시되는 영상 (즉, 허상)에서의 뷰 패턴의 변화를 관찰하여 보정하는 것을 의미한다.

한편, 광선의 진행 경로를 다항식 형태로 계산하지 않고, 룩업테이블(look-up table)을 구성하여 그 사이의 값을 보간(interpolation)하는 방식으로도 구성할 수 있다.

도 13은 본 발명에 따른 3차원 증강현실 헤드업 디스플레이 장치의 백라이트 유닛의 구성도 및 출광 각도를 설명하기 위한 그림이다.

본 발명에 의한 백라이트 유닛(40)은 영상의 시야 영역 즉, 아이박스(eyebox) 영역 내에서 목표 밝기 및 균일도를 확보할 수 있도록 설계된다. 빛을 아이박스 영역으로 효과적으로 모아 주기 위해서 필요한 백라이트 유닛(40)의 발산각(divergence angle, θ)은 [수학식 1]과 같이 계산할 수 있다.

여기에서, 아이박스 크기(eyebox size)는 수평 및 수직 방향으로 운전자가 움직일 때에 볼 수 있는 영역의 치수이고, 허상 거리(virtual image distance; VID)는 3차원 영상표시장치(10)로부터 윈드쉴드(W)까지의 거리와 윈드쉴드(W)로부터 아이박스(운전자 눈 위치)까지의 거리의 합이다.(도1 참고)

이와 같은, 백라이트 유닛(40)의 발산각(θ)은 일반적으로 광원으로 사용되는 LED 개수와 동일한 개수로 구성된 콜리메이팅 렌즈 어레이(collimating lens array)(41)를 한 개 또는 두 개 사용하여 달성할 수 있다.

그리고, 3차원 영상표시장치(10)의 아이박스 내에서 영상의 균일도를 유지하기 위해서는 추가적으로 LED 광원 각각의 출광 각도(exitance angle)를 제어해 주어야 하며, 아이박스 중심으로의 출광 각도(α)는 [수학식 2]와 같이 계산할 수 있다.

여기에서, 패널 위치(panel position)는 디스플레이 패널 내에서 가로, 세로 방향으로의 공간 위치이다. 결론적으로 디스플레이 가장자리(edge)에서의 LED광원의 최대 출광 각도는 아이박스 중심에서의 시야각(Field of View; FoV)과 일치되도록 해야 한다. 한편, 아이박스 가장자리(edge)는 LED 광원의 발산각에 의해 커버되는 것으로 이해하면 된다.

이를 위해 본 발명에서는 도 14의 (a)에서와 같이 렌즈 어레이(41)에서의 렌즈 유닛 각각에 대한 LED 광원 각각의 상대 위치를 점진적으로 중앙에서 외측 가장자리로 이동시켜 배치하거나, 도 14의 (b)에서와 같이 렌즈 어레이(41) 상단에 프레넬 렌즈(fresnel lens)(42)를 삽입하여 중앙방향으로 출광 각도를 제어할 수 있다. 여기에서 프레넬 렌즈(42)의 초점 거리는 허상 거리(VID)와 동일하게 유지하는 것이 바람직하다.

또한, 영상의 균일도 향상을 위하여 프레넬 렌즈(42) 상단과 LCD 패널 하단에 확산판(diffuser)(43)이 추가적으로 배치될 수 있다.

도 15의 (a)는 본 발명에 따른 3차원 증강현실 헤드업 디스플레이 장치에서의 백라이트 유닛의 구성도이고, 도 15의 (b)는 디스플레이를 1개 사용한 경우의 해석 결과를 나타낸 도면이며, 도 15의 (c)는 디스플레이를 2개 사용한 경우의 해석 결과를 나타낸 도면으로, 아이박스 영역 내의 중심(①), 가장자리(②,④), 모서리(③) 위치에서 목표 휘도와 균일도를 확보할 수 있음을 확인할 수 있다.

한편, 도 16과 같이 미광(stray light)제어를 위하여 프라이버시 필름(privacy film)과 같은 각도제어 필름(44)이 LCD 패널(20)과 확산판(43) 사이에 선택적으로 배치될 수도 있다.

도 17은 본 발명에 따른 3차원 증강현실 헤드업 디스플레이 장치 구성의 또 다른 실시예이다.

운전자가 보는 허상의 밝기는 윈드쉴드(W)를 통하여 반사되는 디스플레이의 밝기와 같다. 그런데 반사되는 광량은 도 17의 (a)와 같이 디스플레이의 편광 방향과 윈드쉴드로의 입사 각도에 따라 달라진다. 디스플레이의 편광 방향은 패널 제조업체마다 다른데 만약 디스플레이가 P 편광이고, 윈드쉴드 각도가 30도(윈드쉴드로의 입사 각도는 법선 기준으로 60도)라면 운전자가 볼 수 있는 영상의 밝기는 매우 낮을 것이다.

따라서, 이러한 경우에는 광학판(30)과 LCD 패널(20) 사이에 반파장판(half-wave plate)(35)을 삽입하여 편광 방향을 90도 돌려주어야 한다. 광학판(30)과 반파장판(35)은 라미네이션(lamination) 공정을 통하여 접합할 수 있다.

그리고, 3차원 증강현실 헤드업 디스플레이 장치는 도 18과 같이 3차원 영상표시장치(10) 상부에 더스트 커버(dust cover)(71)를 추가로 배치할 수 있으며, 더스트 커버(71)를 포함한 박스형태로 구성될 수 있다. 또한, 눈추적 카메라(50)가 일체형으로 장착될 수 있다.

또, 더스트 커버(71)는 운전자를 직접적으로 바라보지 않는 곡면 형태로 윈드쉴드(W) 각도에 대응하여 형상이 변경될 수 있으며, 디스플레이가 운전자에게 직접적으로 보여지지 않도록 디스플레이를 가려주는 형태로 케이스(case)가 마련될 수 있다.

그리고, 도 18의 (a)는 윈드쉴드 각도가 45도인 경우를 설명한 도면이고, 도 18의 (b)는 윈드쉴드 각도가 45도 이상인 경우를 설명한 도면이며, 도 18의 (c)는 윈드쉴드 각도가 45도 이하인 경우를 설명하는 도면이다.

한편, 본 발명의 3차원 영상표시장치(10)의 디스플레이에는, 상기 LCD 패널 대신에 LCoS 패널, OLED 패널, DLP 패널 등 대형 평판 디스플레이를 구현할 수 있는 또 다른 디스플레이 패널을 활용하여 구현할 수도 있다.

따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

10 : 3차원 영상표시장치 20 : LCD 패널
30 : 광학판 35 : 반파장판
40 : 백라이트 유닛 41 : 렌즈 어레이
42 : 프레넬 렌즈 43 : 확산판
44 : 각도제어 필름 50 : 눈추적 카메라
71 : 더스트 커버 100 : 헤드업 디스플레이 장치
W : 윈드쉴드 D : 대쉬보드
α : 출광각도 θ : 발산각

Claims

LCD 패널과, 상기 LCD 패널 상부에 부착된 광학판과, 상기 LCD 패널 하부에 배치된 백라이트 유닛으로 구성된 3차원 영상표시장치와;
운전자를 바라보는 방향으로 배치된 눈추적 카메라를 포함해 구성된 것을 특징으로 하는 3차원 증강현실 헤드업 디스플레이 장치.
제 1항에 있어서,
눈추적 카메라는,
3차원 영상표시장치와 분리되어 자동차 대쉬보드 내에서 운전자의 눈을 바라보는 위치에 설치되는 것을 특징으로 하는 3차원 증강현실 헤드업 디스플레이 장치.
제 1항에 있어서,
백라이트 유닛은,
LED, 콜리메이팅 렌즈 어레이, 확산판으로 구성되며, 디스플레이 가장자리에서의 LED 광원으로부터의 최대 출광 각도가 아이박스 중심에서의 시야각과 일치되도록 구성한 것을 특징으로 하는 3차원 증강현실 헤드업 디스플레이 장치.
제 3항에 있어서,
백라이트 유닛은,
렌즈 어레이에서의 렌즈 유닛 각각에 대한 LED 광원 각각의 상대 위치를 점진적으로 가장자리로 이동시켜 배치하는 것을 특징으로 하는 3차원 증강현실 헤드업 디스플레이 장치.
제 3항에 있어서,
백라이트 유닛은,
렌즈 어레이 상단에 프레넬 렌즈를 삽입해 구성되는 것을 특징으로 하는 3차원 증강현실 헤드업 디스플레이 장치.
제 5항에 있어서,
프레넬 렌즈의 초점거리는 허상 거리와 동일하게 구성한 것을 특징으로 하는 3차원 증강현실 헤드업 디스플레이 장치.
제 3항에 있어서,
백라이트 유닛은,
LCD 패널과 확산판 사이에 각도제어 필름이 배치된 것을 특징으로 하는 3차원 증강현실 헤드업 디스플레이 장치.
제 1항에 있어서,
3차원 영상표시장치에는,
광학판과 LCD 패널 사이에 반파장판이 배치되어 접합 구성된 것을 특징으로 하는 3차원 증강현실 헤드업 디스플레이 장치.
제 1항에 있어서,
3차원 영상표시장치는,
상부에 더스트 커버가 배치된 박스 형태로 구성되는 것을 특징으로 하는 3차원 증강현실 헤드업 디스플레이 장치.
제 9항에 있어서,
더스트 커버는 운전자를 직접적으로 바라보지 않는 곡면 형태로 윈드쉴드 각도에 대응해 배치되는 것을 특징으로 하는 3차원 증강현실 헤드업 디스플레이 장치.
제 1항에 있어서,
3차원 영상표시장치는,
디스플레이가 운전자에게 직접적으로 보여지지 않도록 디스플레이를 가려주는 케이스가 구비되는 것을 특징으로 하는 3차원 증강현실 헤드업 디스플레이 장치.
제 1항에 있어서,
3차원 영상표시장치는,
LCD 패널을 적어도 2개를 연결하여 배치되게 구성한 것을 특징으로 하는 3차원 증강현실 헤드업 디스플레이 장치.
제 1항에 있어서,
3차원 영상표시장치는,
운전석, 조수석, 또는 운전석과 조수석 사이 중에서 어느 하나에 설치되는 것을 특징으로 하는 3차원 증강현실 헤드업 디스플레이 장치.
제 1항에 있어서,
3차원 영상표시장치는,
허상을 수직 사각형 이미지로 구현하기 위해 윈드쉴드의 각도 및 형상에 대응하여 배치 위치 및 배치 각도가 조정되게 구성한 것을 특징으로 하는 3차원 증강현실 헤드업 디스플레이 장치.
제 1항 또는 제 14항에 있어서,
3차원 영상표시장치는,
평면 윈드쉴드의 각도가 45도로 배치된 경우에 디스플레이가 대쉬보드 내에 수평으로 배치되게 구성한 것을 특징으로 하는 3차원 증강현실 헤드업 디스플레이 장치.
제 1항 또는 제 14항에 있어서,
3차원 영상표시장치는,
평면 윈드쉴드의 각도가 45도 보다 큰 경우에 디스플레이가 윈드쉴드면 안쪽으로 기울어진 형태로 배치되게 구성한 것을 특징으로 하는 3차원 증강현실 헤드업 디스플레이 장치.
제 1항 또는 제 14항에 있어서,
3차원 영상표시장치는,
평면 윈드쉴드의 각도가 45도 보다 작은 경우에 디스플레이가 윈드실드면 바깥쪽으로 기울어진 형태로 배치되게 구성한 것을 특징으로 하는 3차원 증강현실 헤드업 디스플레이 장치.
제 1항 또는 제 14항에 있어서,
3차원 영상표시장치는,
곡면 윈드쉴드가 배치된 경우에 좌,우 측면부쪽에서 디스플레이가 윈드쉴드면 바깥쪽으로 회전된 형태로 배치되게 구성한 것을 특징으로 하는 3차원 증강현실 헤드업 디스플레이 장치.
제 1항 또는 제 14항에 있어서,
3차원 영상표시장치는,
곡면 윈드쉴드가 배치된 경우에 좌,우 측면부쪽에서 디스플레이가 수직방향으로 회전된 형태로 배치되게 구성한 것을 특징으로 하는 3차원 증강현실 헤드업 디스플레이 장치.
제 1항 또는 제 14항에 있어서,
3차원 영상표시장치는,
곡면 윈드쉴드의 각도가 45도 보다 큰 경우에 디스플레이가 윈드쉴드면 안쪽으로 기울어진 형태로 배치되게 구성한 것을 특징으로 하는 3차원 증강현실 헤드업 디스플레이 장치.
제 1항 또는 제 14항에 있어서,
3차원 영상표시장치는,
곡면 윈드쉴드의 각도가 45도 보다 작은 경우에 디스플레이가 윈드쉴드면 바깥쪽으로 기울어진 형태로 배치되게 구성한 것을 특징으로 하는 3차원 증강현실 헤드업 디스플레이 장치.
제1항 또는 제 14항에 있어서,
3차원 영상표시장치는,
허상을 수직 사각형 이미지로 구현하기 위하여 입력 영상을 보정하게 구성한 것을 특징으로 하는 3차원 증강현실 헤드업 디스플레이 장치.
제 1항 또는 제 14항에 있어서,
3차원 영상표시장치는,
LCD 패널의 픽셀로부터 광학판을 통하여 윈드쉴드면을 맞고 반사되어 나오는 광선의 진행 경로를 계산하여 좌,우 영상에 대한 광선 렌더링 보정이 추가 구성되는 것을 특징으로 하는 3차원 증강현실 헤드업 디스플레이 장치.
제 1항 또는 제 14항에 있어서,
3차원 영상표시장치는,
운전자의 3차원 눈 위치 좌표, 디스플레이 픽셀 위치를 인풋으로 하고, 뷰 넘버로 표시되는 광선 경로를 아웃풋으로 하는 다항식 모델을 이용하여 연속적인 눈 위치와 픽셀 위치에 대한 정확한 경로를 계산하여 3차원 영상을 렌더링하게 구성된 것을 특징으로 하는 3차원 증강현실 헤드업 디스플레이 장치.
제 1항 또는 제 14항에 있어서,
3차원 영상표시장치는,
광선의 진행 경로를 룩업테이블을 구성하여 그 사이의 값을 보간하여 계산하는 방식으로 구성하는 것을 특징으로 한 3차원 증강현실 헤드업 디스플레이 장치.
제 1항 또는 제 14항에 있어서,
3차원 영상표시장치는,
적어도 2개의 LCD 패널을 사용하는 경우 윈드쉴드의 형상 및 배치 위치에 따라서 LCD 패널 각각의 위치 및 각도를 조정 가능하게 구성된 것을 특징으로 하는 3차원 증강현실 헤드업 디스플레이 장치.