KR101553067B1

KR101553067B1 - 증강현실 내비케이터

Info

Publication number: KR101553067B1
Application number: KR1020120133085A
Authority: KR
Inventors: 장인배
Original assignee: 강원대학교산학협력단
Priority date: 2012-11-22
Filing date: 2012-11-22
Publication date: 2015-09-15
Also published as: KR20140065963A

Abstract

차량에 설치되어 카메라에 의해 촬영된 주행경로의 영상을 디스플레이에 표시하고, 디스플레이에 표시된 영상에 주행경로를 안내하는 가상의 표시정보를 매핑하여 보여주는 증강현실 내비게이터에 관한 것이다. 증강현실 내비게이터는 투명 디스플레이와, 제1 카메라부와, 제2 카메라부와, 증강현실 처리부 및 제어부를 포함한다. 디스플레이는 차량의 전면 유리에 부착된다. 제1 카메라부는 차량 내에서 운전자의 두 눈을 촬영한다. 제2 카메라부는 차량 내에서 차량의 주행 경로를 촬영한다. 증강현실 처리부는 제2 카메라부에 의해 촬영된 영상을 근거로 주행 경로를 안내하는 표시정보를 생성하고, 표시정보와 제2 카메라부에 의해 촬영된 영상을 투명 디스플레이에 매핑한다. 제어부는 제1 카메라부에서 촬영된 영상 데이터를 통해 두 눈의 동공 중심위치를 산출한 후, 차량 내의 삼차원 공간 좌표계에 대하여 두 동공의 좌표계를 산출하여 동공의 위치 변화에 따라 투명 디스플레이에 매핑된 증강현실의 표시정보를 위치 조정한다.

Description

증강현실 내비케이터{Augmented reality Navigator}

본 발명은 운전자 눈의 위치변화에 따라, 주행경로를 안내하는 표시정보의 위치 조정이 가능한 증강현실 내비케이터에 관한 것이다.

일반적으로, 증강현실 네비게이터는 카메라에 의해 촬영된 주행경로의 영상을 디스플레이에 표시하고, 디스플레이에 표시된 영상에 주행경로를 안내하는 가상의 표시정보를 매핑하여 보여주는 복합가상현실 시스템이다.

이러한, 증강현실 네비게이터는 운전자의 시각에 따라서 디스플레이를 투과하여 보여지는 도로의 형상과 디스플레이에서 투사되는 증강현실 영상이 서로 완벽하게 정렬되어야 운전자가 혼란 없이 안전하게 도로 정보를 확인하고 운전할 수 있다.

한편, "US national size survey"의 연구에 따르면, 미국에서 2000 ~2003년의 기간 동안 약 10,000명을 대상으로 수행한 표준체형은 키 177.8cm인 반면에 하위 5%의 체형은 키 153.7cm, 상위 95%의 체형은 키 190.5cm로서, 무려 36.8cm의 편차를 보이고 있다.

이를 참조하면, 증강현실 네비게이터는 디스플레이로부터 투사되는 표시정보가 운전자의 체형이나 움직임 등에 따라 위치 조정되어야 함을 알 수 있다.

그러나, 종래의 증강현실 네비게이터는 운전자의 체형이나 움직임 등을 고려하지 않고 설계되어 있어, 운전자의 체형 변화나 움직임에 따라 눈의 위치 변화하면 도로와 안내 표시정보의 부정렬이 발생하는 문제가 있었다.

공개특허공보 제20-2011-0136040(2011.12.21 공개)

본 발명의 과제는 운전자의 눈 위치 변화에 따라 디스플레이로부터 투사되는 표시정보를 위치 조정시키는 증강현실 내비케이터를 제공함에 있다.

상기의 과제를 달성하기 위한 본 발명에 따른 증강현실 내비케이터는 차량의 전면 유리에 부착된 투명 디스플레이; 상기 차량 내에서 운전자의 두 눈을 촬영하는 제1 카메라부; 상기 차량 내에서 상기 차량의 주행 경로를 촬영하는 제2 카메라부; 상기 제2 카메라부에 의해 촬영된 영상을 근거로 주행 경로를 안내하는 표시정보를 생성하고, 상기 표시정보와 상기 제2 카메라부에 의해 촬영된 영상을 상기 투명 디스플레이에 매핑하는 증강현실 처리부; 및 상기 제1 카메라부에서 촬영된 영상 데이터를 통해 두 눈의 동공 중심위치를 산출한 후, 상기 차량 내의 삼차원 공간 좌표계에 대하여 상기 두 동공의 좌표계를 산출하여 동공의 위치 변화에 따라 상기 투명 디스플레이에 매핑된 증강현실의 표시정보를 위치 조정하는 제어부;를 포함한다.

본 발명에 따르면, 증강현실 내비케이터의 디스플레이로부터 투사되는 표시정보를 운전자의 눈의 위치 변화에 따라 위치 조정되도록 형성함으로써, 디스플레이를 투과하여 보여지는 도로의 형상과 디스플레이에서 투사되는 증강현실 영상이 서로 완벽하게 정렬되어 운전자가 혼란 없이 도로 정보를 확인하고 운전할 수 있게 된다.

도 1은 본 발명의 일 실시예에 따른 증강현실 내비케이터를 도시한 도면.
도 2는 도 1에 있어서, 제1 카메라부의 교정과정을 도시한 도면.
도 3은 도 2에 있어서, 임의의 위치에 있는 동공의 위치를 측량하는 과정을 도시한 도면.

이하 첨부된 도면을 참조하여, 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 증강현실 내비케이터를 도시한 도면이다. 여기서, 증강현실 네비게이터(100)는 차량에 설치되어 카메라에 의해 촬영된 주행경로의 영상을 디스플레이에 표시하고, 디스플레이에 표시된 영상에 주행경로를 안내하는 가상의 표시정보를 매핑하여 보여주는 복합가상현실 시스템이다.

도 1에 도시된 바와 같이, 증강현실 내비게이터(100)는 투명 디스플레이(110)와, 제1 카메라부(120)와, 제2 카메라부(130)와, 증강현실 처리부(140) 및 제어부(150)를 포함한다.

투명 디스플레이(110)는 차량의 전면 유리에 부착된다. 이때, 투명 디스플레이(110)는 선바이저(Sunvisor) 타입으로 형성되어 차량의 전면 유리에 부착될 수도 있고, 차량용 전면 유리에 일체화되어 형성될 수도 있다.

한편, 투명 디스플레이(110)는 플랙시블 디스플레이(Flexible Display)로 이루어질 수 있다.

플랙시블 디스플레이는 플라스틱 등과 같이 휠 수 있는 기판에 만들어진 평판 디스플레이로, 우수한 표시특성을 그대로 가지면서 접거나 구부리는 등의 변형이 가능하며, 유리기판을 사용하는 디스플레이에 비해 얇고 가벼우며 내충격성이 강한 것이 특징이다. 이러한 장점으로 인해, 투명 디스플레이(110)는 플랙시블 디스플레이로 이루어지는 것이 바람직하나, 실시자의 필요에 따라 달라질 수 있다.

제1 카메라부(120)는 차량 내부에서 운전자의 두 눈을 촬영하도록 설치된다. 이때, 제1 카메라부(120)는 하나의 카메라로 이루어진 단안시 방법이과, 두 개 이상의 카메라로 이루어진 복안시 방법 중 하나로 이루어질 수 있으며, 이는 실시자의 필요에 따라 선택적으로 사용될 수 있다.

단안시 방법과 복안시 방법은 모두 2차원 영상으로부터 3차원 정보를 추출하도록 형성된다. 여기서, 단안시 방법은 촬영된 한 장의 영상을 대기의 질감을 다르게 하거나, 소실점을 통해 공간을 기하학적인 형태로 형성하여 입체감을 표현 함으로써 깊이 정보를 추출하도록 형성된다.

또한, 복안시 방법은 스테레오 비전이라고도 하며, 일반적으로 좌우 취득된 영상으로부터 원점의 변위를 구하여 간단한 삼각 측량을 이용하여 깊이 정보를 검출하도록 형성된다.

복안시 방법은 특별한 조명이나 주변조건에 제한되지 않는 장점이 있어, 제1 카메라부(120)를 복안시 방법으로 이용하는 것이 바람직하나, 이는 실시자의 필요에 따라 달라질 수 있다.

제2 카메라부(130)는 차량 내부에서 차량의 주행 경로를 촬영하도록 설치된다.

증강현실 처리부(140)는 제2 카메라부(130)에 의해 촬영된 영상을 근거로 주행 경로를 안내하는 표시정보를 생성하고, 표시정보와 제2 카메라부(130)에 의해 촬영된 영상을 투명 디스플레이(110)에 매핑하는 역할을 한다.

제어부(150)는 제1 카메라부(120)에서 촬영된 영상 데이터를 통해 두 눈의 동공 중심위치를 산출한 후, 차량 내의 삼차원 공간 좌표계에 대하여 두 동공의 좌표계를 산출하여 두 동공의 위치 변화에 따라 투명 디스플레이(110)에 매핑된 증강현실의 표시정보를 위치 조정하도록 형성된다.

전술한 바와 같이, 증강현실 내비게이터(100)는 투명 디스플레이(110)로부터 투사되는 표시정보를 운전자 눈의 위치 변화에 따라 위치 조정되도록 형성함으로써, 투명 디스플레이(110)를 투과하여 보여지는 도로의 형상과 투명 디스플레이(110)에서 투사되는 증강현실 영상이 서로 완벽하게 정렬되어 운전자가 혼란 없이 도로 정보를 확인하고 운전할 수 있게 된다.

한편, 투명 디스플레이(110)는 블랙 스팟을 출력하도록 형성될 수 있다.

블랙 스팟은 투명 디스플레이(110)를 투과하여 차량 내부로 들어오는 빛을 막아주기 위한 것으로, 투명 디스플레이(110)는 제어부(150)에 의해 운전자의 눈 위치 변화에 따라 투사 되는 표시정보의 위치를 보정할 수 있기 때문에 운전 중 전방에서 들어오는 태양광이나 반대차선의 전조등 불빛 등을 차단하는 블랙스팟을 정확한 위치에 형성할 수 있게 된다.

도 2는 도 1에 있어서, 제1 카메라부(120)의 교정과정을 도시한 도면이다.

여기서, 제1 카메라부(120)는 CCD(Character Coupled Device) 카메라로 이루어질 수 있다. CCD 카메라는 n형 반도체 기판 표면에 얇은 두께의 절연층을 형성하고 금속 전극을 배열한 후, 이 금속 전극의 전압을 제어함으로써 반도체 표면 전위의 낮은 부분을 좌우로 이동시켜 축척된 전하를 이에 맞추어 순차로 전송시킬 수 있기 때문에 기억장치로 사용될 수 있다.

따라서, 제1 카메라부(120)는 CCD 카메라로 이루어지는 것이 가장 바람직하나, 이는 실시자의 필요에 따라 달라질 수 있다.

도 2에 도시된 바와 같이, 차량 내부에 설치된 두 대의 CCD 카메라는 교정위치에 장착된 기준마크(fiducial mark, 160)를 촬영하도록 형성된다. 기준위치에서의 거리 D1, D2는 미리 알고 있으므로, 교정과정을 통해서 촬영된 영상 데이터와 각도 R1 및 R2가 매칭되어 교정되게 된다.

도 3은 도 2에 있어서, 임의의 위치에 있는 동공의 위치를 측량하는 과정을 도시한 도면이다.

여기서, D1은 두 대의 CCD 카메라 사이의 거리 값이며, D2, R1, R2는 미리 셋팅된 교정기 내에서 CCD 영상을 촬영하여 습득한 값으로 모두 미리 알고 있는 값이다.

또한, d1은 D1의 중점으로부터 임의의 위치에 있는 기준마크(160)까지의 직선 거리고, d2는 일측의 제1 카메라부(120)로부터 기준마크(160)까지의 직선거리이고, d3는 타측의 제1 카메라부(120)로부터 기준마크(160)까지의 직선거리로, 이들은 실제 노면에서 취득한 영상의 점으로 공간위치를 산출해야 하는 값이다. R은 D1의 중점으로부터 기준마크(160)를 이어주는 직선과 D1의 중점으로부터 타측의 제1 카메라부(120)를 이어주는 직선의 사이각이다.

도 3에 도시된 바와 같이, 제1 카메라부(120)에 의해 촬영된 동공의 촬영 영상으로부터 시선추적 기법의 방식으로 동공 중심위치를 추출하면 각도 r1 및 r2를 구할 수 있다. 그리고, 다음 수학식들을 연립하여 풀면 거리정보인 d1, d2, d3, 그리고 각도 정보인 R을 차례로 구할 수 있다.

거리정보인 d1, d2, d3 그리고 각도 정보인 R을 구하는 수학식들은 다음과 같다.

수학식 1의 (1)식과 (2)식을 연립하여 풀면 d2, d3의 거리를 구할 수 있다. 여기서 구한 d2와 d3의 값을 이용하면, 파푸스의 중선정리로 d1길이를 다음과 같이 구할 수 있다.

또한, 다음의 수학식 3을 이용하면, R의 각도를 구할 수 있게 된다.

상기와 같이, 수학식들을 이용하여 거리정보인 d1, d2, d3 및 각도 정보인 R을 구함으로써, 임의의 위치에 있는 운전자의 동공의 위치를 측량할 수 있게 된다.

본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.

100.. 증강현실 내비게이터 110.. 투명 디스플레이
120.. 제1 카메라부 130.. 제2 카메라부
140.. 증강현실 처리부 150.. 제어부
160.. 기준마크

Claims

차량의 전면 유리에 부착되며, 전방에서 들어오는 태양광이나 반대차선의 전조등 불빛을 막아주기위한 블랙 스팟을 출력하는 플랙시블 투명 디스플레이;
상기 차량 내에서 운전자의 두 눈을 촬영하며, 복안시 방법으로 두 개 이상의 카메라로 구성된 제1 카메라부;
상기 차량 내에서 상기 차량의 주행 경로를 촬영하는 제2 카메라부;
상기 제2 카메라부에 의해 촬영된 영상을 근거로 주행 경로를 안내하는 표시정보를 생성하고, 상기 표시정보와 상기 제2 카메라부에 의해 촬영된 영상을 상기 투명 디스플레이에 매핑하는 증강현실 처리부; 및
상기 제1 카메라부에서 촬영된 영상 데이터를 통해 두 눈의 동공 중심위치를 산출한 후, 상기 차량 내의 삼차원 공간 좌표계에 대해서 상기 두 동공의 좌표계를 산출하여 동공의 위치 변화에 따라 상기 투명 디스플레이에 매핑된 증강현실의 표시정보를 위치 조정하는 제어부;
를 포함하는 증강현실 내비케이터.
삭제
제1항에 있어서,
상기 제1 카메라부는 CCD 카메라인 것을 특징으로 하는 증강현실 내비케이터.
삭제