KR101908091B1 - 전방 상향 시현용 광학시스템 - Google Patents

Abstract

HUD 광학계의 구조적 변경을 기반으로, 시점추적을 위한 디바이스를 착용해야 하는 일 없이, 사용자(예: 운전자)의 시야 방해를 최소화하면서 정확도 높은 시점추적을 가능하게 하는 방안(기술)을 개시하고 있다.

Description

전방 상향 시현용 광학시스템{OPTIMAL SYSTEM FOR HEAD UP DISPLAY}

본 발명은 전방 상향 시현 기술(Head Up Display, HUD)에 관한 것으로, 보다 구체적으로는 시점추적을 위한 디바이스를 착용해야 하는 일 없이, 사용자(예: 운전자)의 시야 방해를 최소화하면서 정확도 높은 시점추적을 가능하게 하는 방안에 관한 것이다.

비행기에서 조종사의 전방 시야를 확보해 주기 위해 처음 도입되었던 전방 상향 시현 기술(Head Up Display, HUD)은, 비행기의 전면 유리에 운행정보가 나타나도록 설계되는데, 사고 감소를 위해 자동차에도 도입되고 있다.

HUD 기술은, 운전자가 운전 시에 통상적으로 위치하게 되는 자동차 운전석 앞 전방유리(Wind shield)에 각종 정보를 표시하여 운전 편의성과 안정성을 높여 주는 디스플레이 기술로서, 네비게이션(Navigation)이나 블랙박스(Black box) 이상의 자동차 필수품으로 자리잡음으로써 큰 시장을 형성할 것으로 전망되고 있다.

HUD 기술은, 예컨대 소형의 이미지표시장치(Micro Display, 이하 ‘표시장치’라 칭함)에서 출발한 이미지(또는 영상)을 허상으로 만들어서, 원래 이미지 보다 크고 운전자의 시야 조절이 필요 없는 편안하게 볼 수 있도록 만드는 것을 목적으로 한다.

이에, HUD 기술에서는, 운전자의 시점을 정확하게 추적해서, 추적된 시점 위치에 이미지 허상을 맺히게 하는 것이 매우 중요하다.

기존의 시점추적 방식은, 크게 사용자가 시점추적을 위한 디바이스를 착용해야 하는 착용형 시점추적 방식과 사용자가 시점추적을 위한 디바이스를 착용하지 않아도 되는 비착용형 시점추적 방식으로 구분할 수 있다.

착용형 시점추적 방식 및 비착용형 시점추적 방식 모두 동공 움직임 추적을 기반으로 하는 점은 동일하지만, 착용형 시점추적 방식의 경우 사용자의 눈(동공) 가까이에서 얻을 수 있는 각막 반사광을 사용하기 때문에 정확도가 높은 반면 사용성/편의성이 떨어지며, 비착용형 시점추적 방식의 경우 사용성/편의성이 좋은 반면 사용자의 시선(light path) 상에서 각막 반사광을 얻을 수 없기 때문에 정확도가 떨어지는 문제가 있다.

이에, HUD 기술에서 사용성/편의성을 위해 비착용을 전제로 하되, 시점 추적의 정확도는 높일 수 있는 방안이 필요하다.

본 발명에서는, 비착용을 전제로 하되, 정확도 높은 시점추적을 가능하게 하는 방안(기술)을 제안하고자 한다.

본 발명은 상기한 사정을 감안하여 창출된 것으로서, 본 발명에서 도달하고자 하는 목적은, 비착용을 전제로 하여, 사용자(예: 운전자)의 시야 방해를 최소화하면서 정확도 높은 시점추적을 가능하게 하는데 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 전방 상향 시현용 광학시스템은, 이미지를 디스플레이하는 표시장치; 상기 표시장치로부터 디스플레이를 위해 발산되는 이미지의 빛이 도달하는 시점영역에서 이미지 허상이 맺히는 전방유리(Wind Shield); 사용자의 방향으로 적외선 조명을 조사하여, 조사된 적외선에 의한 각막 반사광이 전방유리의 시점영역에 반사되도록 하는 적외선부; 상기 각막 반사광을 기반으로, 사용자의 시점을 추적하는 시점추적부; 및 서로 다른 굴절률의 렌즈 어레이 구조를 기반으로, 상기 이미지의 빛은 제1굴절률의 렌즈를 통해 투과시켜 상기 시점영역으로 진행시키고, 상기 시점영역에서 반사되는 상기 각막 반사광은 제2굴절률의 렌즈를 통해 투과시켜 상기 시점추적부로 진행시키는 렌즈부를 포함한다.

바람직하게는, 상기 표시장치 및 상기 시점추적부가 하나의 미러를 공유하는 경우, 상기 미러는, 상기 표시장치로부터 발산되는 상기 이미지의 빛을 반사시켜 상기 렌즈부로 진행시키고 상기 렌즈부에서 투과되는 상기 각막 반사광을 투과시켜 상기 시점추적부로 진행시키거나, 상기 표시장치로부터 발산되는 상기 이미지의 빛을 투과시켜 상기 렌즈부로 진행시키고 상기 렌즈부에서 투과되는 상기 각막 반사광을 반사시켜 상기 시점추적부로 진행시킬 수 있다.

바람직하게는, 상기 미러는, 상기 이미지의 빛을 반사시키는 경우, 상기 이미지의 빛과 관련된 가시광선 영역의 파장 만을 반사시키는 필름을 구비하며, 상기 각막 반사광을 반사시키는 경우, 상기 각막 반사광과 관련된 적외선 영역의 파장 만을 반사시키는 필름을 구비할 수 있다.

바람직하게는, 상기 표시장치 및 상기 시점추적부가 각기 다른 제1미러 및 제2미러를 이용하는 경우, 상기 제1미러는, 상기 표시장치로부터 발산되는 상기 이미지의 빛을 반사시켜 상기 렌즈부로 진행시키고, 상기 제2미러는, 상기 렌즈부에서 투과되는 상기 각막 반사광을 반사시켜 상기 시점추적부로 진행시킬 수 있다.

바람직하게는, 렌즈부는, 상기 시점영역에서 반사되는 상기 사용자와 관련된 다른 이미지의 빛을 제3굴절률의 렌즈를 통해 투과시키며, 상기 다른 이미지를 기반으로 사용자와 관련된 특정 타겟을 인식하는 인식부; 및 상기 렌즈부에서 투과되는 상기 다른 이미지의 빛을 반사시켜 상기 인식부로 진행시키는 제3미러를 더 포함할 수 있다.

이에, 본 발명에 따른 전방 상향 시현용 광학시스템에 의하면, 시점추적을 위한 디바이스를 착용해야 하는 일 없이, 사용자(예: 운전자)의 시야 방해를 최소화하면서 정확도 높은 시점추적을 가능하게 하는 효과를 도출한다.

도 1 내지 도 3은 본 발명의 전방 상향 시현용 광학시스템의 구성을 보여주는 실시예들이다.
도 4는 본 발명의 전방 상향 시현용 광학시스템에서 적용되는 렌즈 어레이 구조를 보여주는 예시도이다.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시예에 대하여 설명한다.

도 1 내지 도 3은, 본 발명에 따른 전방 상향 시현용 광학시스템의 구성을 보여주는 실시예들이다.

도 1 내지 도 3에 도시된 바와 같이, 본 발명에 따른 전방 상향 시현용 광학시스템은, 이미지를 디스플레이하는 표시장치(10)와, 표시장치(10)로부터 디스플레이를 위해 발산되는 이미지의 빛이 도달하는 시점영역(A)에서 이미지 허상이 맺히는 전방유리(30)와, 사용자의 방향으로 적외선 조명을 조사하여, 조사된 적외선에 의한 각막 반사광이 전방유리의 시점영역에 반사되도록 하는 적외선부(40)와, 상기 각막 반사광을 기반으로, 사용자의 시점을 추적하는 시점추적부(50)와, 서로 다른 굴절률의 렌즈 어레이 구조를 기반으로, 상기 이미지의 빛은 제1굴절률의 렌즈를 통해 투과시켜 시점영역(A)으로 진행시키고, 시점영역(A)에서 반사되는 상기 각막 반사광은 제2굴절률의 렌즈를 통해 투과시켜 시점추적부(50)로 진행시키는 렌즈부(25,25')를 포함한다.

표시장치(10)는, 본 발명의 전방 상향 시현 광학시스템에서 사용자(1)에게 제공하고자 하는 이미지(또는, 영상)을 자체 생성하거나 외부로부터 입력받아, 디스플레이하는 구성이다.

이러한 표시장치(10)는, 마이크로 디스플레이(Micro Display)를 일컫는 것으로서, 예컨대, LCoS(Liquid Crystal on Silicon) 또는 LCD(Liquid Crystal Display), DMD(Digital Micro-mirror Device) 등이 포함될 수 있다.

이에, 표시장치(10)에서 이미지를 디스플레이 함에 따라 표시장치(10)로부터 발산되는 빛 즉 이미지의 빛은, 본 발명의 렌즈부(25,25')를 투과하여 전방유리(30)에 도달하게 된다.

이에, 표시장치로(10)부터 발산 및 본 발명의 렌즈부(25,25')에서 투과된 빛이 도달하는 전방유리(30)의 시점영역(A)에서, 표시장치(10)가 디스플레이하는 이미지 허상(이하, HUD 이미지)이 맺히게 된다.

여기서, 본 발명의 렌즈부(25,25')는, 서로 다른 굴절률의 렌즈 어레이로 이루어지는, 구조적 특징을 갖는다.

아울러, 도 1, 도 2, 및 도 3에서 알 수 있듯이, 본 발명의 전방 상향 시현 광학시스템이 갖는 레이아웃(각 부품의 실장 위치) 제약에 따라서, 표시장치로(10)부터 발산되는 이미지의 빛이 렌즈부(25,25')로 입사되기 까지의 경로 상에는, 이미지의 빛을 반사 또는 투과시켜 렌즈부(25,25')로 진행시키는 다양한 형태의 미러(20,20',21)가 위치할 수 있다.

이때, 도 1 및 도 2에 도시된 바와 같이, 표시장치(10) 및 시점추적부(50)가 하나의 미러(20,20')를 공유하는 경우, 미러(20,20')는, 표시장치(10)로부터 발산되는 이미지의 빛을 반사시켜 렌즈부(25)로 진행시키고 렌즈부(25)에서 투과되는 각막 반사광을 투과시켜 시점추적부(50)로 진행시키거나, 표시장치(10)로부터 발산되는 이미지의 빛을 투과시켜 렌즈부(25)로 진행시키고 렌즈부(25)에서 투과되는 각막 반사광을 반사시켜 시점추적부(50)로 진행시킨다.

이하에서는, 설명의 편의를 위해, 도 1, 도 2 및 도 3 각각을 참조하여, 본 발명의 전방 상향 시현 광학시스템의 구성을 다양한 실시예로 언급하여 설명하겠다.

먼저, 도 1에 도시된 본 발명의 제1실시예에 따른 전방 상향 시현 광학시스템을 설명하면, 이미지를 디스플레이하는 표시장치(10)와, 표시장치(10)로부터 디스플레이를 위해 발산되는 이미지의 빛이 도달하는 시점영역(A)에서 이미지 허상이 맺히는 전방유리(30)와, 사용자의 방향으로 적외선 조명을 조사하여, 조사된 적외선에 의한 각막 반사광이 전방유리(30)의 시점영역(A)에 반사되도록 하는 적외선부(40)와, 각막 반사광을 기반으로, 사용자의 시점을 추적하는 시점추적부(50)와, 서로 다른 굴절률의 렌즈 어레이 구조를 기반으로, 이미지의 빛은 제1굴절률의 렌즈를 통해 투과시켜 시점영역(A)으로 진행시키고, 시점영역(A)에서 반사되는 각막 반사광은 제2굴절률의 렌즈를 통해 투과시켜 시점추적부(50)로 진행시키는 렌즈부(25)를 포함한다.

표시장치(10)는, 본 발명의 전방 상향 시현 광학시스템에서 사용자(1)에게 제공하고자 하는 이미지(또는, 영상)을 자체 생성하거나 외부로부터 입력받아, 디스플레이하는 구성이다.

표시장치(10)에서 이미지를 디스플레이 함에 따라 표시장치(10)로부터 발산되는 빛 즉 이미지의 빛은, 미러(20)로 입사된다.

여기서, 미러(20)는, 표시장치(10) 및 시점추적부(50)가 공유하는 미러이다.

보다 구체적으로 설명하면, 미러(20)는, 표시장치(10)로부터 발산되는 이미지의 빛을 반사시켜 렌즈부(25)로 진행시키고, 렌즈부(25)에서 투과되는 각막 반사광을 투과시켜 시점추적부(50)로 진행시킨다.

이때, 미러(20)의 일면에는, 이미지의 빛을 반사시키기 위해, 이미지의 빛과 관련된 가시광선 영역의 파장 만을 반사시키는 필름(이하, 미러필름(2))을 구비하는 것이 바람직하다.

이에, 표시장치(10)로부터 발산되는 빛 즉 이미지의 빛은, 미러(20)의 미러필름(2)에 의해 반사된 후 렌즈부(25)로 입사된다.

렌즈부(25)는, 서로 다른 굴절률의 렌즈 어레이로 이루어지는, 구조적 특징을 갖는다.

예컨대, 제1실시예의 경우, 렌즈부(25)는, 도 4에 도시된 (a)와 같이 서로 다른 2개의 굴절률(이하, 제1굴절률, 제2굴절률)의 렌즈 어레이 구조를 갖고 있다.

이에, 렌즈부(25)는, 서로 다른 굴절률의 렌즈 어레이 구조를 기반으로, 미러(20)에서 반사된 후 입사되는 이미지의 빛은 제1굴절률의 렌즈를 통해 투과시켜 시점영역(A)으로 진행시키며, 이때의 진행방향을 도 4의 (a)에 도시된 Light Transmit Path라고 할 수 있다.

이렇게 되면, 표시장치(10)에서 발산되는 빛 즉 이미지의 빛은, 미러(20)에서 반사된 후 렌즈부(25)를 투과하여 전방유리(30)에 도달하게 된다.

이에, 표시장치로(10)부터 발산 및 렌즈부(25)에서 투과된 빛이 도달하는 전방유리(30)의 시점영역(A)에서, 표시장치(10)가 디스플레이하는 이미지 허상 즉 HUD 이미지가 맺히게 된다.

이에, 사용자(1)는, 운전 시에 통상적으로 위치하게 되는 자동차 운전석에 앉아, 전방유리(30)를 통해 전방을 주시하면서 운전을 하게 되는데, 이때 전방을 주시하는 시선(light path) 상에서 전방유리(30)의 시점영역(A)에 맺히는 HUD 이미지를 시각적으로 인지하여 볼 수 있게 된다.

한편, 본 발명에서는, 전방을 주시하는 사용자(1) 특히 사용자(1)의 눈에 조사된 적외선에 의한 각막 반사광이 전방유리(30)의 시점영역(A)에서 반사된다.

특히, 본 발명에서는, 사용자(1)의 눈에서 반사되는 충분한 양의 각막 반사광을 얻기 위해, 적외선부(40)를 더 포함할 수 있다.

적외선부(40)는, 사용자(1)의 방향으로 적외선 조명을 조사하여, 조사된 적외선에 의한 각막 반사광이 전방유리의 시점영역에 반사되도록 한다.

이를 위해, 적외선부(40)는, 적외선 조명을 조사하기 위한 광원(예: IR LED)를 포함할 수 있다.

이에, 적외선부(40)는, 광원(예: IR LED)의 점등에 따른 적외선 조명을 사용자(1)의 방향으로 조사한다. 이때, 적외선부(40)는, 적외선 조명을 사용자(1)의 방향 특히 눈에 조사할 수 있도록 예컨대 적외선 조명을 자동차 운전석에 사람이 앉았을 때 얼굴이 위치하게 되는 방향으로 조사할 수 있도록, 아울러 조사된 적외선에 의한 각막 반사광이 전방유리(30)의 시점영역(A)에 도달할 수 있도록, 구조적으로 조사 방향 및 위치가 정해지는 것이 바람직하다.

예컨대, 적외선부(40)는, 렌즈부(25)에 근접하게 위치하여, 자동차 운전석에 사람이 앉았을 때 얼굴이 위치하게 되는 방향으로 조사하도록, 조사 방향 및 위치가 정해질 수 있다.

이렇게 되면, 도 1에 도시된 바와 같이, 사용자(1)의 눈에 조사된 적외선에 의한 각막 반사광은, 사용자(1)가 전방을 주시하는 시선(light path) 상에서 전방유리(30)의 시점영역(A)에서 반사될 것이다.

시점추적부(50)는, 인식되는 각막 반사광을 기반으로, 사용자(1)의 시점을 추적한다.

구체적으로, 시점추적부(50)는, 각막 반사광에서 동공 및 각막 반사포인트를 기반으로 사용자(1)의 시점을 추적하는 IR 이미지 센서를 포함하는 것이 바람직하다.

이에, 시점추적부(50)는, IR 이미지 센서를 기반으로, 각막 반사광에서 동공(Pupil) 및 각막 반사포인트(Corneal reflection)를 추출하고, 추출한 동공 및 각막 반사포인트 간 위치관계에 따른 시선방향(Line of Sight)을 근거로 사용자(1)의 시점을 추적할 수 있다.

이러한 시점추적부(50)에서의 시점 추적 과정의 구체적인 알고리즘은, 기존에 사용되고 있는 각막 반사광 기반의 다양한 시점 추적 알고리즘 중 하나를 채택하여 실현할 수 있으므로, 그 구체적인 설명을 생략하겠다.

이를 위해서는, 전방유리(30)의 시점영역(A)에서 반사되는 사용자(1)의 각막 반사광을, 시점추적부(50)에서 인식할 수 있게 하는 구조적 배경이 전제되어야 한다.

본 발명에서 이러한 구조적 배경을 실현하는 구성은, 서로 다른 굴절률의 렌즈 어레이 구조인 렌즈부 및 미러이다.

구체적으로 설명하면, 제1실시예의 경우 렌즈부(25)는, 서로 다른 2개의 굴절률 즉 제1굴절률, 제2굴절률의 렌즈 어레이 구조를 갖기 때문에, 이를 기반으로 전방유리(30)의 시점영역(A)에서 반사되는 각막 반사광은 제2굴절률의 렌즈를 통해 투과시켜 시점추적부(50)로 진행시킬 수 있다. 이때의 진행방향을 도 4의 (a)에 도시된 Light Receive Path라고 할 수 있다.

이때, 미러(20)의 미러필름(2)은 가시광선 영역의 파장 만을 반사시키기 때문에, 전방유리(30)의 시점영역(A)에서 반사되는 각막 반사광은 미러(20)를 투과하여 진행될 것이다.

즉, 렌즈부(25)는, 서로 다른 2개의 제1굴절률, 제2굴절률의 렌즈 어레이 구조를 기반으로 2개의 진행경로 즉 Light Transmit Path 및 Light Receive Path를 가짐으로써, 표시장치(10)로부터의 빛(HUD 이미지)을 전방유리(30)의 시점영역(A)으로 진행시키되, 동시에 전방유리(30)의 시점영역(A)에서 반사되는 빛(각막 반사광)을 시점추적부(50)로 진행시키는 것이다.

이에, 시점추적부(50)는, 전방유리(30)의 시점영역(A)에서 반사되는 각막 반사광을 인식할 수 있고, 이를 근거로 사용자(1)의 시점을 추적할 수 있게 된다.

도 1에서 알 수 있듯이, 본 발명의 제1실시예에 따른 전방 상향 시현 광학시스템은, 사용자(1)의 눈에 조사된 적외선에 의한 각막 반사광이 사용자의 시선(light path)을 따라 시점추적부(50)에 도달(인식)할 수 있도록 하는, 적외선부(40) 및 시점추적부(50)의 위치 구조적 특징을 가지며, 이를 가능하게 하는 렌즈부(25) 및 미러(20)를 구조적 특징으로 갖는다.

이에, 본 발명의 전방 상향 시현 광학시스템에서는, 사용자(1)의 시선(light path) 상에서 전방유리(30)의 시점영역(A)에 HUD 이미지를 맺히게 하고, 더불어 사용자(1)의 시선(light path) 상에서 전방유리(30)의 시점영역(A)에 반사되는 각막 반사광을 근거로 시점을 추적할 수 있다.

한편, 이하에서는, 도 2를 참고하여 본 발명의 제2실시예에 따른 전방 상향 시현 광학시스템을 설명하면 다음과 같다.

본 발명의 제2실시예에 따른 전방 상향 시현 광학시스템은, 표시장치(10), 전방유리(30), 렌즈부(25), 적외선부(40) 및 시점추적부(50)를 포함하며, 이들은 전술한 제1실시예의 구성과 동일하므로 구체적인 설명을 생략하겠다.

다만, 도 2에서 알 수 있듯이, 본 발명의 제2실시예에 따른 전방 상향 시현 광학시스템에서는, 표시장치(10)와 시점추적부(50)의 위치가 제1실시예와 비교할 때 서로 바뀌게 된다.

제2실시예의 경우, 표시장치(10)에서 이미지를 디스플레이 함에 따라 표시장치(10)로부터 발산되는 빛 즉 이미지의 빛은, 미러(20')로 입사된다.

여기서, 미러(20')는, 표시장치(10) 및 시점추적부(50)가 공유하는 미러이다.

보다 구체적으로 설명하면, 미러(20')는, 표시장치(10)로부터 발산되는 이미지의 빛을 투과시켜 렌즈부(25)로 진행시키고, 렌즈부(25)에서 투과되는 각막 반사광을 반사시켜 시점추적부(50)로 진행시킨다.

이때, 미러(20')의 일면에는, 각막 반사광을 반사시키기 위해, 각막 반사광과 관련된 적외선 영역의 파장 만을 반사시키는 필름(이하, 적외선필름(2'))을 구비하는 것이 바람직하다.

이에, 표시장치(10)로부터 발산되는 빛 즉 이미지의 빛은, 적외선필름(2')에서 반사되지 않고 미러(20)를 투과하여 렌즈부(25)로 입사된다.

렌즈부(25)는, 제1실시예와 마찬가지로, 도 4에 도시된 (a)와 같이 서로 다른 2개의 굴절률 즉 제1굴절률, 제2굴절률의 렌즈 어레이 구조를 갖고 있다.

이에, 렌즈부(25)는, 서로 다른 굴절률의 렌즈 어레이 구조를 기반으로, 미러(20)에서 투과된 후 입사되는 이미지의 빛은 제1굴절률의 렌즈를 통해 투과시켜 시점영역(A)으로 진행시키며, 이때의 진행방향을 도 4의 (a)에 도시된 Light Transmit Path라고 할 수 있다.

이렇게 되면, 표시장치(10)에서 이미지를 디스플레이 함에 따라 표시장치(10)로부터 발산되는 빛 즉 이미지의 빛은, 미러(20)에서 투과된 후 렌즈부(25)를 투과하여 전방유리(30)에 도달하게 된다.

이에, 표시장치로(10)부터 발산 및 렌즈부(25)에서 투과된 빛이 도달하는 전방유리(30)의 시점영역(A)에서, HUD 이미지가 맺히게 된다.

이에, 사용자(1)는, 운전 시에 통상적으로 위치하게 되는 자동차 운전석에 앉아, 전방유리(30)를 통해 전방을 주시하면서 운전을 하게 되는데, 이때 전방을 주시하는 시선(light path) 상에서 전방유리(30)의 시점영역(A)에 맺히는 HUD 이미지를 시각적으로 인지하여 볼 수 있게 된다.

한편, 적외선부(40)는, 제1실시예와 마찬가지로, 사용자(1)의 방향으로 적외선 조명을 조사할 것이다.

제2실시예의 경우, 렌즈부(25)는, 서로 다른 2개의 굴절률 즉 제1굴절률, 제2굴절률의 렌즈 어레이 구조를 갖기 때문에, 이를 기반으로 전방유리(30)의 시점영역(A)에서 반사되는 각막 반사광은 제2굴절률의 렌즈를 통해 투과시킬 것이다. 이때의 진행방향을 도 4의 (a)에 도시된 Light Receive Path라고 할 수 있다.

이렇게 되면, 미러(20')의 적외선필름(2')은 적외선 영역의 파장 만을 반사시키기 때문에, 전방유리(30)의 시점영역(A)에서 반사되는 각막 반사광은 미러(20)의 적외선필름(2')에 의해 반사되어 시점추적부(50)로 진행될 것이다.

즉, 렌즈부(25)는, 서로 다른 2개의 제1굴절률, 제2굴절률의 렌즈 어레이 구조를 기반으로 2개의 진행경로 즉 Light Transmit Path 및 Light Receive Path를 가짐으로써, 표시장치(10)로부터의 빛(HUD 이미지)을 전방유리(30)의 시점영역(A)으로 진행시키되, 동시에 전방유리(30)의 시점영역(A)에서 반사되는 빛(각막 반사광)을 시점추적부(50)로 진행시키는 것이다.

이에, 시점추적부(50)는, 전방유리(30)의 시점영역(A)에서 반사되는 각막 반사광을 인식할 수 있고, 이를 근거로 사용자(1)의 시점을 추적할 수 있게 된다.

도 2에서 알 수 있듯이, 본 발명의 제2실시예에 따른 전방 상향 시현 광학시스템은, 사용자(1)의 눈에 조사된 적외선에 의한 각막 반사광이 사용자의 시선(light path)을 따라 시점추적부(50)에 도달(인식)할 수 있도록 하는, 적외선부(40) 및 시점추적부(50)의 위치 구조적 특징을 가지며, 이를 가능하게 하는 렌즈부(25) 및 미러(20')를 구조적 특징으로 갖는다.

이에, 본 발명의 전방 상향 시현 광학시스템에서는, 사용자(1)의 시선(light path) 상에서 전방유리(30)의 시점영역(A)에 HUD 이미지를 맺히게 하고, 더불어 사용자(1)의 시선(light path) 상에서 전방유리(30)의 시점영역(A)에 반사되는 각막 반사광을 근거로 시점을 추적할 수 있다.

한편, 이하에서는, 도 3을 참고하여 본 발명의 제3실시예에 따른 전방 상향 시현 광학시스템을 설명하면 다음과 같다.

본 발명의 제3실시예에 따른 전방 상향 시현 광학시스템은, 표시장치(10), 전방유리(30), 적외선부(40) 및 시점추적부(50)를 포함하며, 이들은 전술한 제1 및 제2실시예의 구성과 동일하므로 구체적인 설명을 생략하겠다.

다만, 도 3에서 알 수 있듯이, 본 발명의 제3실시예에 따른 전방 상향 시현 광학시스템에서는, 표시장치(10)와 시점추적부(50)의 위치가 제1 및 제2실시예와 비교할 때 서로 나란하게 된다.

제3실시예의 경우, 표시장치(10)에서 이미지를 디스플레이 함에 따라 표시장치(10)로부터 발산되는 빛 즉 이미지의 빛은, 미러(21)로 입사된다.

여기서, 미러(21)는, 표시장치(10) 만이 이용하는 미러이다.

즉, 제3실시예에서는, 표시장치(10) 및 시점추적부(50)가 하나의 미러를 공유하지 않고 각기 다른 미러를 이용한다.

이하에서는, 표시장치(10)가 이용하는 제1미러를 미러(21)로 언급하고, 시점추적부(50)가 이용하는 제2미러를 미러(22)로 언급하겠다.

보다 구체적으로 설명하면, 미러(21)는, 표시장치(10)로부터 발산되는 이미지의 빛을 반사시켜 렌즈부(25')로 진행시킨다.

이에, 표시장치(10)로부터 발산되는 빛 즉 이미지의 빛은, 미러(21)에서 반사된 후 렌즈부(25')로 입사된다.

렌즈부(25')는, 도 4에 도시된 (a)와 같이, 서로 다른 2개의 굴절률 즉 제1굴절률, 제2굴절률의 렌즈 어레이 구조를 갖질 수 있다.

이 경우, 렌즈부(25')는, 서로 다른 굴절률의 렌즈 어레이 구조를 기반으로, 미러(21)에서 반사된 후 입사되는 이미지의 빛은 제1굴절률의 렌즈를 통해 투과시켜 시점영역(A)으로 진행시키며, 이때의 진행방향을 도 4의 (a)에 도시된 Light Transmit Path라고 할 수 있다.

이렇게 되면, 표시장치(10)에서 이미지를 디스플레이 함에 따라 표시장치(10)로부터 발산되는 빛 즉 이미지의 빛은, 미러(21)에서 반사된 후 렌즈부(25')를 투과하여 전방유리(30)에 도달하게 된다.

이에, 표시장치로(10)부터 발산 및 렌즈부(25')에서 투과된 빛이 도달하는 전방유리(30)의 시점영역(A)에서, HUD 이미지가 맺히게 된다.

이에, 사용자(1)는, 운전 시에 통상적으로 위치하게 되는 자동차 운전석에 앉아, 전방유리(30)를 통해 전방을 주시하면서 운전을 하게 되는데, 이때 전방을 주시하는 시선(light path) 상에서 전방유리(30)의 시점영역(A)에 맺히는 HUD 이미지를 시각적으로 인지하여 볼 수 있게 된다.

한편, 적외선부(40)는, 제1 및 제2실시예와 마찬가지로, 사용자(1)의 방향으로 적외선 조명을 조사할 것이다.

제3실시예의 경우, 렌즈부(25')는, 서로 다른 2개의 굴절률 즉 제1굴절률, 제2굴절률의 렌즈 어레이 구조를 갖기 때문에, 이를 기반으로 전방유리(30)의 시점영역(A)에서 반사되는 각막 반사광은 제2굴절률의 렌즈를 통해 투과시킬 것이다. 이때의 진행방향을 도 4의 (a)에 도시된 Light Receive Path라고 할 수 있다.

이렇게 되면, 제3실시예의 경우 시점추적부(50)가 이용하는 별도의 미러(22)가 구비되기 때문에, 전방유리(30)의 시점영역(A)에서 반사된 후 렌즈부(25')를 투과하여 진행되는 Light Receive Path의 빛 즉 각막 반사광은, 미러(22)로 입사되고, 이에 미러(22)에서 반사된 후 시점추적부(50)로 진행될 것이다.

즉, 렌즈부(25')는, 서로 다른 2개의 제1굴절률, 제2굴절률의 렌즈 어레이 구조를 기반으로 2개의 진행경로 즉 Light Transmit Path 및 Light Receive Path를 가짐으로써, 표시장치(10)로부터의 빛(HUD 이미지)을 전방유리(30)의 시점영역(A)으로 진행시키되, 동시에 전방유리(30)의 시점영역(A)에서 반사되는 빛(각막 반사광)을 시점추적부(50)로 진행시키는 것이다.

이에, 시점추적부(50)는, 전방유리(30)의 시점영역(A)에서 반사되는 각막 반사광을 인식할 수 있고, 이를 근거로 사용자(1)의 시점을 추적할 수 있게 된다.

다 나아가, 본 발명의 전방 상향 시현 광학시스템은, 적외선부(40)에서 조사한 빛(적외선)이 반사되어 전방유리(30)의 시점영역(A)에 도달하는 다른 이미지를 기반으로, 사용자(1)의 특정 타겟을 인식하기 위한 기능을 더 실현할 수 있다.

예를 들어, 특정 타겟이란, 사용자의 표정일 수도 있고, 또는 사용자의 성별일 수도 있다. 이하에서는, 설명의 편의 상, 특정 타겟으로서 사용자의 표정을 언급하여 설명하겠다.

그리고, 도 3에 도시된 바와 같이, 앞서 설명한 제3실시예의 구성에 더하여, 미러(23) 및 인식부(60)가 포함되는 본 발명의 따른 전방 상향 시현 광학시스템 구성을 제4실시예로 언급하겠다.

즉, 도 3에 도시된 바와 같이, 본 발명의 제4실시예에 따른 전방 상향 시현 광학시스템은, 다른 이미지 예컨대 얼굴 이미지를 기반으로 사용자(1)의 특정 타겟 예컨대 표정을 인식하는 인식부(60)을 더 포함하고, 인식부(60)가 이용하는 제3미러로서 미러(23)을 더 포함할 수 있다.

특히, 본 발명의 제4실시예에 따른 전방 상향 시현 광학시스템에서 렌즈부(25')는, 도 4에 도시된 (b)와 같이, 서로 다른 3개의 굴절률 즉 제1굴절률, 제2굴절률, 제3굴절률의 렌즈 어레이 구조를 갖질 수 있다.

이 경우, 렌즈부(25')는, 서로 다른 굴절률의 렌즈 어레이 구조를 기반으로, 미러(21)에서 반사된 후 입사되는 이미지의 빛은 제1굴절률의 렌즈를 통해 투과시켜 시점영역(A)으로 진행시키며, 이때의 진행방향을 도 4의 (b)에 도시된 Light Transmit Path라고 할 수 있다.

이렇게 되면, 표시장치(10)에서 이미지를 디스플레이 함에 따라 표시장치(10)로부터 발산되는 빛 즉 이미지의 빛은, 미러(21)에서 반사된 후 렌즈부(25')를 투과하여 전방유리(30)에 도달하게 된다.

한편, 렌즈부(25')는, 서로 다른 굴절률의 렌즈 어레이 구조를 기반으로, 전방유리(30)의 시점영역(A)에서 반사되는 각막 반사광은 제2굴절률의 렌즈를 통해 투과시킬 것이다. 이때의 진행방향을 도 4의 (b)에 도시된 Light Receive Path 1이라고 할 수 있다.

이렇게 되면, 제4실시예의 경우 전방유리(30)의 시점영역(A)에서 반사된 후 렌즈부(25')를 투과하여 진행되는 Light Receive Path 1의 빛 즉 각막 반사광은, 미러(22)로 입사되고, 이에 미러(22)에서 반사된 후 시점추적부(50)로 진행될 것이다.

이에, 시점추적부(50)는, 전방유리(30)의 시점영역(A)에서 반사되는 각막 반사광을 인식할 수 있고, 이를 근거로 사용자(1)의 시점을 추적할 수 있게 된다.

한편, 렌즈부(25')는, 서로 다른 굴절률의 렌즈 어레이 구조를 기반으로, 전방유리(30)의 시점영역(A)에서 반사되는 다른 이미지 즉 얼굴 이미지의 빛은 제3굴절률의 렌즈를 통해 투과시킬 것이다. 이때의 진행방향을 도 4의 (b)에 도시된 Light Receive Path 2라고 할 수 있다.

이렇게 되면, 제4실시예의 경우 전방유리(30)의 시점영역(A)에서 반사된 후 렌즈부(25')를 투과하여 진행되는 Light Receive Path 2의 빛 즉 얼굴 이미지의 빛은, 미러(23)로 입사되고, 이에 미러(23)에서 반사된 후 인식부(60)로 진행될 것이다.

이에, 인식부(60)는, 전방유리(30)의 시점영역(A)에서 반사되는 얼굴 이미지를 인식할 수 있고, 이를 근거로 사용자(1)의 특정 타겟 즉 표정을 인식할 수 있게 된다.

이때, 얼굴 이미지를 근거로 표정을 인식하는 알고리즘은, 기존에 사용되고 있는 알고리즘 중 하나를 채택하여 실현할 수 있으므로, 그 구체적인 설명을 생략하겠다.

즉, 렌즈부(25')는, 서로 다른 3개의 제1굴절률, 제2굴절률, 제3굴절률의 렌즈 어레이 구조를 기반으로 3개의 진행경로 즉 Light Transmit Path 및 Light Receive Path 1 및 2를 가짐으로써, 표시장치(10)로부터의 빛(HUD 이미지)을 전방유리(30)의 시점영역(A)으로 진행시키되, 동시에 전방유리(30)의 시점영역(A)에서 반사되는 빛(각막 반사광/얼굴 이미지)를 각기 시점추적부(50) 및 인식부(60)로 진행시키는 것이다.

도 3에서 알 수 있듯이, 본 발명의 제3실시예에 따른 전방 상향 시현 광학시스템은, 사용자(1)의 눈에 조사된 적외선에 의한 각막 반사광이 사용자의 시선(light path)을 따라 시점추적부(50)에 도달(인식)할 수 있도록 하는, 적외선부(40) 및 시점추적부(50)의 위치 구조적 특징을 가지며, 이를 가능하게 하는 렌즈부(25') 및 미러(21,22)를 구조적 특징으로 갖는다.

더 나아가, 본 발명의 제4실시예에 따른 전방 상향 시현 광학시스템은, 사용자(1)의 눈 뿐 아니라 얼굴에서 빛(적외선 광)이 반사되어 형성되는 얼굴 이미지가 사용자의 시선(light path)을 따라 인식부(60)에 도달(인식)할 수 있도록 하는, 적외선부(40) 및 인식부(60)의 위치 구조적 특징을 가지며, 이를 가능하게 하는 렌즈부(25') 및 미러(23)를 구조적 특징으로 갖는다.

이에, 본 발명의 전방 상향 시현 광학시스템에서는, 사용자(1)의 시선(light path) 상에서 전방유리(30)의 시점영역(A)에 HUD 이미지를 맺히게 하고, 더불어 사용자(1)의 시선(light path) 상에서 전방유리(30)의 시점영역(A)에 반사되는 각막 반사광/얼굴 이미지를 근거로 시점 및 그 외의 다양한 타겟(예: 표정, 성별 등)을 추적할 수 있다.

그리고, 본 발명의 전방 상향 시현 광학시스템은, 시점추적부(50)의 시점 추적결과를 시점 조정을 수행하는 역할의 기능부(미도시)로 제공함으로써, 기능부(미도시)로 하여금 사용자(1)의 시점을 추적한 추적결과에 따라, 표시장치(10)에서 빛을 발산하는 발산각 및 미러들의 반사각 중 적어도 하나를 제어하여, 표시장치(10)로부터의 이미지 허상이 맺히는 시점영역(A)을 조정할 수 있다.

이때, 시점 추적결과를 기반으로 시점영역(A)을 조정하는 구체적인 구성(구조) 및 알고리즘은, 기존에 사용되고 있는 알고리즘 중 하나를 채택하여 실현할 수 있으므로, 그 구체적인 설명을 생략하겠다.

한편, 전술의 제1,2,3,4실시예에서는, 렌즈부(25,25')의 렌즈 어레이 별로 투과되는 빛의 특성에 따라, 바이패스필름을 적용하여 투과 시 상호 간섭을 최소화시킬 수도 있다.

이상에서 설명한 바와 같이, 본 발명의 전방 상향 시현용 광학시스템(100)은, 미러, 렌즈부, 적외선부 및 시점추적부의 특징적 구조를 기반으로, 시점 추적으로 위한 디바이스를 착용하는 일 없이도 사용자의 시선(light path) 상에서 각막 반사광을 얻을 수 있고, 이로 인해 기존 착용형 시점추적 방식의 장점 즉 정확도와 기존 비착용형 시점추적 방식의 장점 즉 사용성/편의성을 모두 취할 수 있다.

이와 같이, 본 발명의 전방 상향 시현용 광학시스템에 따르면, 시점추적을 위한 디바이스를 착용해야 하는 일 없이, 사용자(예: 운전자)의 시야 방해를 최소화하면서 정확도 높은 시점추적을 가능하게 하는 효과를 도출한다.

본 발명의 실시예에 따른 전방 상향 시현용 광학시스템에서의 각종 제어 동작을 수행하는 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

지금까지 본 발명을 바람직한 실시 예를 참조하여 상세히 설명하였지만, 본 발명이 상기한 실시 예에 한정되는 것은 아니며, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 또는 수정이 가능한 범위까지 본 발명의 기술적 사상이 미친다 할 것이다.

본 발명에 따른 전방 상향 시현용 광학시스템에 따르면, 시점추적을 위한 디바이스를 착용해야 하는 일 없이, 사용자(예: 운전자)의 시야 방해를 최소화하면서 정확도 높은 시점추적을 가능하게 한다는 점에서, 기존 기술의 한계를 뛰어 넘음에 따라 관련 기술에 대한 이용만이 아닌 적용되는 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.

100 : 전방 상향 시현용 광학시스템
10 : 표시장치 20 : 미러
25 : 렌즈부 30 : 전방유리
40 : 적외선부 50 : 시점추적부

Claims (5)

1. 이미지를 디스플레이하는 표시장치;
   상기 표시장치로부터 디스플레이를 위해 발산되는 이미지의 빛이 도달하는 시점영역에서 이미지 허상이 맺히는 전방유리(Wind Shield);
   사용자의 방향으로 적외선 조명을 조사하여, 조사된 적외선에 의한 각막 반사광이 전방유리의 상기 시점영역에 반사되도록 하는 적외선부; 및
   상기 각막 반사광을 기반으로, 사용자의 시점을 추적하는 시점추적부; 및
   서로 다른 굴절률의 렌즈 어레이 구조를 기반으로, 동시에 상기 이미지의 빛 만을 제1굴절률의 렌즈를 통해 투과시켜 상기 시점영역으로 진행시키고 상기 시점영역에서 반사되는 상기 각막 반사광 만을 제2굴절률의 렌즈를 통해 투과시켜 상기 시점추적부로 진행시키는 렌즈부를 포함하며,
   상기 렌즈부는,
   상기 시점영역에서 반사되는 상기 사용자와 관련된 다른 이미지의 빛을 제3굴절률의 렌즈를 통해 투과시키며,
   상기 다른 이미지를 기반으로 사용자와 관련된 특정 타겟을 인식하는 인식부; 및
   상기 렌즈부에서 투과되는 상기 다른 이미지의 빛을 반사시켜 상기 인식부로 진행시키는 제3미러를 더 포함하는 것을 특징으로 하는 전방 상향 시현용 광학시스템.
2. 제 1 항에 있어서,
   상기 표시장치 및 상기 시점추적부가 하나의 미러를 공유하는 경우,
   상기 미러는,
   상기 표시장치로부터 발산되는 상기 이미지의 빛을 반사 또는 투과시켜 상기 렌즈부로 진행시키고, 상기 렌즈부에서 투과되는 상기 각막 반사광을 투과 또는 반사시켜 상기 시점추적부로 진행시키는 것을 특징으로 하는 전방 상향 시현용 광학시스템.
3. 제 2 항에 있어서,
   상기 미러는,
   상기 이미지의 빛을 반사시키는 경우, 상기 이미지의 빛과 관련된 가시광선 영역의 파장 만을 반사시키는 필름을 구비하며,
   상기 각막 반사광을 반사시키는 경우, 상기 각막 반사광과 관련된 적외선 영역의 파장 만을 반사시키는 필름을 구비하는 것을 특징으로 하는 전방 상향 시현용 광학시스템.
4. 제 1 항에 있어서,
   상기 표시장치 및 상기 시점추적부가 각기 다른 제1미러 및 제2미러를 이용하는 경우,
   상기 제1미러는, 상기 표시장치로부터 발산되는 상기 이미지의 빛을 반사시켜 상기 렌즈부로 진행시키고,
   상기 제2미러는, 상기 렌즈부에서 투과되는 상기 각막 반사광을 반사시켜 상기 시점추적부로 진행시키는 것을 특징으로 하는 전방 상향 시현용 광학시스템.
5. 삭제

Images