KR102321852B1 - 증강 현실 헤드 업 디스플레이 장치의 표시를 제어하기 위한 방법, 장치 및 명령어들을 포함하는 컴퓨터 판독 가능한 저장 매체 - Google Patents

Abstract

본 발명은 자동차를 위한 증강 현실 헤드 업 디스플레이 장치의 표시를 제어하기 위한 방법, 장치 및 명령어들을 포함한 컴퓨터 판독 가능한 메모리 매체 그리고 자동차를 위한 증강 현실 헤드 업 디스플레이 장치에 관한 것이다. 제 1 단계에서 자동차 전방의 가상 객체의 재현을 위해 위치가 결정된다(20). 그리고 나서 가상 객체는 결정된 위치에 따라 이미지 생성 유닛에 의해 투사면에 삽입된다(21). 관찰자 측에서 정합 품질의 주관적 감지를 높이기 위해 가상 객체는 정합 오류와 관련해서 오류 허용적으로 형성된다.

Description

증강 현실 헤드 업 디스플레이 장치의 표시를 제어하기 위한 방법, 장치 및 명령어들을 포함하는 컴퓨터 판독 가능한 저장 매체{METHOD, APPARATUS AND COMPUTER READABLE STORAGE MEDIUM HAVING INSTRUCTIONS FOR CONTROLLING THE DISPLAY OF A AUGMENTED REALITY HEAD-UP DISPLAY DEVICE}

본 발명은 자동차를 위한 증강 현실 헤드 업 디스플레이 장치의 표시를 제어하기 위한 방법, 장치 및 명령어들을 포함하는 컴퓨터 판독 가능한 저장 매체에 관한 것이다. 본 발명은 또한 자동차를 위한 증강 현실 헤드 업 디스플레이 장치와 본 발명에 따른 방법, 본 발명에 따른 장치 또는 본 발명에 따른 증강 현실 헤드 업 디스플레이 장치가 이용되는 자동차에 관한 것이다.

가상 및 증강 현실 기술과 응용예들의 지속적인 개발에 따라 이는 자동차에도 도입된다. 증강 현실(AR; AugmentedReality, 독일어: erweiterte Realitaet)은 3차원 공간에서 정확한 위치에 정합되어(registered) 실시간 인터랙션(interaction)을 가능하게 하는 가상 요소들에 의한 실제 세계의 증강이다. 독일어권의 당업자들 사이에는 "Augmented Reality"라는 표현이 "erweiterte Realitaet"라는 표현에 비해 널리 보급되었기 때문에, 이하 전자가 사용된다.

원근 교정 가상 확장에 의해 적절하게 운전자 작업 공간을 증강하기 위한 가능한 기술적 구현은 헤드 업 디스플레이(HUD)를 제공한다. 이 경우 계기판에 설치된 디스플레이의 광 빔들이 다수의 미러와 렌즈를 통해 포개어 교차되고 투사면을 통해 운전자의 눈에 비침으로써, 운전자는 차량 외부의 가상의 이미지를 인지한다. 자동차 분야에서 주로 프런트 윈드실드가 투사면으로서 이용되고, 재현 시 상기 윈드실드의 만곡된 형태가 고려되어야 한다. 대안으로서 일부에서 유리 또는 플라스틱으로 이루어진 추가 윈드실드도 이용되고, 상기 윈드실드는 계기판에 운전자와 프런트 윈드실드 사이에 배치된다. 주행 장면과 표시의 시각적 중첩에 따라 정보를 판독하기 위해 머리 및 눈의 이동은 거의 필요 없다. 또한, 눈을 위한 조정 복잡성도 감소하는데, 그 이유는 표시의 가상의 간격에 따라 거의 또는 전혀 시력 조절이 이루어지지 않아도 되기 때문이다. 현재의 대량 생산 HUD는 운전자의 1차 가시 범위 바로 아래의 표시들에 제한되고, 예를 들어 조종석 내 다른 위치에서도 다시 나타날 수 있는 속도 표시와 같은 중복 정보들을 포함한다. 이러한 표시 기술은 도로로부터 시선 전향을 감소시키지만, 제공된 정보들이 실제 장면에서 정합되지 않기 때문에, 상기 정보들은 해석되어 실제 상황으로 전환되어야 하는 단점을 여전히 가지고 있다. 이는 복합적인 상황에서 지적으로 요구되는 인지 과정을 의미할 수 있다. 객체들의 마킹 및 상기 객체들의 실제 참조 위치의 정보의 삽입에 의해, 즉 컨택트 아날로그 재현에 의해, 운전자의 시계 내의 주변 환경 관련 정보들이 직접 재현될 수 있다. 증강 현실의 형태로 주변 환경의 이러한 직접적인 그래픽 증강은 인지적 전달에 대한 요구를 상당히 줄일 수 있다.

증강 현실은 차도와 객체들의 컨택트 아날로그 마킹에 의해 운전자를 지원하기 위한 다양한 응용 가능성들을 제공한다. 비교적 명백한 예들은 주로 내비게이션 분야와 관련된다. 종래의 HUD에서 전형적인 내비게이션 디스플레이들은 일반적으로 개략적인 재현을, 예를 들어 다음번에 우회전해야 하는 것에 대한 표시로 오른쪽으로 직각으로 연장되는 화살표를 표시하는 한편, AR 표시들은 훨씬 더 효과적인 가능성을 제공한다. 표시들은 "주변 환경의 일부"로서 재현될 수 있기 때문에, 사용자에 의해 매우 신속하고 직관적인 해석이 가능하다.

증강 현실과 관련해서 운전자의 실제 시계에서 가상의 정보들의 정합은 기술적인 구현에 대한 매우 높은 요구들을 갖는다. 가상의 콘텐츠를 정확한 위치에 원근 교정으로 현실에서 재현할 수 있도록 하기 위해, 차량의 고유 이동 및 주변에 대한 매우 상세한 정보가 필요하다.

주변 환경 정보는 예를 들어 디지털 맵의 형태로 제공되고, 추가로 차량 또는 다른 차량의 센서에 의한 주변 검출에 의해 생성될 수 있고, 이 경우 후자를 위해 Car-2-Car 통신이 필요하다. 두 경우에 정밀성의 제한이 예상된다. 즉, 예를 들어 맵 데이터는 현재 주로 2차원이고, 도로의 표고 프로파일을 포함하지 않거나 매우 부정확한 표고 프로파일만을 포함한다. 센서에 의한 주변 검출은 또한 센서들의 그리고 주변 및 주변 환경 영향들의 제한을 받는다. 따라서 예를 들어 차로의 폭은 차선 마킹이 존재하는 경우에만 어느 정도 정확하게 결정될 수 있다.

차량의 위치 확인도 예를 들어 GPS 품질(GPS: Global Positioning System; 위성 위치 확인 시스템)에 의존한다. 정밀 GPS는 예컨대 3m의 정밀성만을 제공한다. 또한, 원근 교정 가상 삽입(fade in)을 위해 3차원 공간에서 차량의 위치도 중요하며, 상기 위치는 피칭(pitching), 롤링(rolling) 및 요잉(yawing) 운동에 의해 지속적으로 변경된다. 회전율 및 가속 센서들에 의한 검출은 충분히 정밀하게 가능하다. 그러나 이러한 정보는 도로의 곡률 프로파일에 관한 상세한 정보와 조합해서만 유용한데, 그 이유는 AR 표시를 위해 차도에 대한 상대적 차량 이동은 보상되어야 하기 때문이다.

가상 삽입과 실제 객체들 사이의 불일치를 야기하여 실제 장면들의 중첩 또는 확장의 품질을 낮추는 정보 처리 체인을 따른 일련의 영향 인자들이 존재한다. 센서에 의한 주변 검출과 관련해서 여러 검출 오류 가운데 트래킹(tracking) 시, 예를 들어 차량의 위치 확인 시 또는 운전자 모니터링 시 오류, 렌더링(rendering) 시, 즉 삽입될 가상 객체들의 생성 시 오류, 예를 들어 HUD 내의 오조정된 부품들로 인한 투사 시 오류, 또는 예를 들어 시각적 인지, 운전자의 주의 또는 예상으로 인해 야기된, 운전자에 의한 분석 시 오류를 들 수 있다.

전술한 영향 인자들로 인해 발생하며 실제 장면에 가상 콘텐츠의 정확하지 않은 위치 설정에서 드러나는 소위 정합 오류들은 6개의 자유도로 나타날 수 있다:

- 위치 설정의 자유도: X, Y, Z

- 방향 설정의 자유도: 요(Yaw), 피치(Pitch), 롤(Roll) (요 각, 피치 각, 롤링 각)

이러한 오류 유형들은 장면 내의 객체들 또는 자기 차량의 어떠한 이동 없이, 정적으로 발생할 수 있다. 그러나 장면 내의 객체 또는 자기 차량이 이동하는 경우에, 정보 처리 체인 내부의 지연(latency)에 의해 동적 발생도 가능하다. 지연은 정합 오류에 있어서 가장 강력한 영향 인자로 간주된다.

이와 관련해서 WO 2017/079162 A1호는 넓은 시계의 사실적 반영을 위한 증강 현실 시스템, 가상 현실 시스템 또는 몰입형 디스플레이 시스템의 재현을 위한 방법을 기술하고, 상기 방법에서 실제 객체 또는 위치와 관련해서 정합 오류의 감소를 가능하게 하기 위해, 가상 객체들의 이미지들이 보정될 수 있다. 보정은 특히 광 왜곡(optical distortion)에 기초해서 이루어진다.

R.L.Holloway의 논문 "Registration Error Analysis for AugmentedReality"(Presence:Teleoperators and Virtual Environments, 발행, 6(1997), 413-432페이지)는 시스루 헤드 착용 디스플레이(See-Through Head Mounted Display)에 기반한, 운용 계획(operation planning)을 위한 툴의 종단간(end-to-end) 오류 분석을 기술한다. 분석은 시스템의 수학 모델을 이용하고, 시스템의 각각의 부분의 오류에 대해 시스템 정합 오류의 민감도를 분석하는 것을 가능하게 한다.

일반적으로, 하드웨어 또는 소프트웨어의 최적화에 의해 객관적으로 측정 가능한 정적 또는 동적 정합 오류를 줄이는 것이 시도된다. 이러한 최적화는 일반적으로 높은 비용과 관련된다.

예를 들어, 청구항 제 1 항의 전제부를 위한 근거를 형성하는 DE 10 2014 013 408 A1호는 차량의 주변 정보의 재현을 위한 방법을 기술하고, 상기 방법에서 실제 광학 주변 정보가 가상 이미지 데이터와 중첩된다. 적어도 하나의 검출 유닛을 이용해서 주행 방향으로 차량 전방에 위치한 차도 표면이 검출되고, 차도 표면의 표고 변화가 파악된다. 표고 변화에 의존해서 차량의 추후의 고유 운동이 예측되고, 추후의 고유 운동에 의존해서 가상 이미지 데이터는 정확한 위치에 실제 광학 주변 정보와 중첩되어 재현된다.

본 발명의 과제는, 비용 효율적으로 관찰자 측에서 정합 품질의 주관적 감지를 높이는, 자동차를 위한 증강 현실 헤드 업 디스플레이 장치의 표시를 제어하기 위한 대안적인 해결 방법을 제시하는 것이다.

상기 과제는 청구항 제 1 항의 특징들을 포함하는 방법에 의해, 청구항 제 6 항의 특징들을 포함하는 장치에 의해, 청구항 제 11 항에 따른 명령어들을 포함한 컴퓨터 판독 가능한 저장 매체에 의해 및 청구항 제 12 항에 따른 증강 현실 헤드 업 디스플레이 장치에 의해 해결된다.

본 발명의 바람직한 실시예들은 종속 청구항들의 대상이다.

본 발명의 제 1 양상에 따라 자동차를 위한 증강 현실 헤드 업 디스플레이 장치의 표시를 제어하기 위한 방법은 하기 단계들을 포함한다:

- 자동차 전방의 가상 객체의 재현을 위해 위치를 결정하는 단계 및

- 결정된 위치에 따라 가상 객체를 삽입하는 단계로서, 이 경우 가상 객체는 정합 오류와 관련해서, 정합 오류가 그렇게 두드러지게 나타나지 않을 정도로 오류 허용적으로 형성된다.

본 발명의 다른 양상에 따라 자동차를 위한 증강 현실 헤드 업 디스플레이 장치의 표시를 제어하기 위한 장치는,

- 자동차 전방의 가상 객체의 재현을 위해 위치를 결정하기 위한 위치 설정 유닛 및

- 결정된 위치에 따라 가상 객체를 삽입하기 위한 렌더링 유닛을 포함하고, 이 경우 가상 객체는 정합 오류와 관련해서, 정합 오류가 그렇게 두드러지게 나타나지 않을 정도로 오류 허용적으로 형성된다.

본 발명의 다른 양상에 따라 컴퓨터 판독 가능한 저장 매체는 명령어들을 포함하고, 상기 명령어들은 컴퓨터에 의해 실행 시 컴퓨터로 하여금 자동차를 위한 증강 현실 헤드 업 디스플레이 장치의 표시를 제어하기 위한 하기 단계들을 실시하게 한다:

- 자동차 전방의 가상 객체의 재현을 위해 위치를 결정하는 단계 및

- 결정된 위치에 따라 가상 객체를 삽입하는 단계로서, 이 경우 가상 객체는 정합 오류와 관련해서, 정합 오류가 그렇게 두드러지게 나타나지 않을 정도로 오류 허용적으로 형성된다.

용어 컴퓨터는 이 경우 폭넓게 파악될 수 있다. 특히 컴퓨터는 제어부 및 다른 프로세스 기반의 데이터 처리 장치들도 포함한다.

객관적으로 측정 가능한 정합 오류들을 하드웨어 또는 소프트웨어의 최적화에 의해 줄이기 위한 공개된 해결 방법과 달리, 본 발명에 따른 해결 방법에서 관찰자의 인지가 고려되어 정합 품질의 주관적 감지가 높아진다. 또한, 정합 품질의 주관적 느낌은 오류 허용적인 조정된 표시 디자인에 의해 영향을 받는다. AR 콘텐츠의 오류 허용적인 형성은 정합 오류에 대해 더욱 관대하고, 관찰자의 주관적 인지에서 이러한 오류를 보상한다.

본 발명의 양상에 따라 가상 객체는 내비게이션 경로를 마킹하고, 이 경우 가상 객체의 폭은 내비게이션 경로 중에 강조된 차로의 폭보다 좁다. 가상 요소의 폭의 감소에 의해 실제 차로 형상들의 소정의 추상화가 달성된다. 이는, 가상 객체의 윤곽들이, 예를 들어 내비게이션 경로의 평면 재현이 정합 오류가 더 심해지는 경우에야 차선 마킹을 침범하는 것을 야기한다. 또한, 가상 객체는 이로 인해 더 작은 면적을 차지하고, 따라서 정합 오류 시 또한 작은 면적이 마킹될 차로를 넘어간다. 이는, 오류가 그렇게 두드러지게 나타나지 않는 것, 즉 그렇게 눈에 띄지 않는 것을 야기한다.

본 발명의 양상에 따라 가상 객체는 내비게이션 경로를 마킹하고, 이 경우 가상 객체는 불연속 요소들로 분할된다. 다수의 불연속 요소로 또는 부분 영역으로 가상 객체의 분할에 의해 가상 객체가 차지하는 면적의 감소가 달성될 수 있다. 예를 들어 내비게이션 경로의 평면 재현은 일련의 스트립으로 분할될 수 있다. 인간의 뇌는 무의식적으로 보완하여 결합된 패턴을 형성할 수 있는 능력이 있기 때문에, 이와 같이 분할된 가상 객체는 관찰자에 의해 여전히 결합된 객체로서 인지된다. 이러한 시각적 인지 현상은 인지 심리학의 게슈탈트 법칙(laws of Gestalt)으로 설명될 수 있다. 이러한 재현 시 장점은 가상 객체의 폭이 일정할 때 정합 오류의 발생 시 인접 차로 위에 놓이는 면적이 더 작다는 것이다. 추가로 물론, 가상 객체의 폭도 감소할 수 있다.

본 발명의 양상에 따라 불연속 요소들은 추가 정보를 전달한다. 가상 객체의 분할의 방법은, 개별 부분들의 상징적 표현에 의해 가상 객체에 추가 정보 콘텐츠가 제공됨으로써 확장될 수 있다. 예를 들어 불연속 요소들은 화살표 형태로 형성될 수 있다. 추가의 상징적 표현은 표시의 직관적 파악에 기여한다. 또한, 이러한 방식의 표시는 다른 정합 오류, 예컨대 차량의 피칭 운동으로 인해 야기된 표시의 상하 이동에 대해서도 오류 허용적이다. 사용자는 도로 위에 그려진 기호들에 대해 숙지하고 있기 때문에, 경험으로부터 이러한 기호들이 일반적으로 도로에 고정적으로 부착되어 있다는 사실을 사용자는 알고 있다. 운전자는 가상 기호들의 이동을 그렇게 주관적으로 인지하지 않는데, 그 이유는 이러한 이동은 운전자에게 익숙한 상황에 모순되기 때문이다.

본 발명의 양상에 따라 가상 객체 또는 불연속 요소들은 확산형 에지를 갖는다. 가상 객체의 형상을 변경하는 가능성에 추가로 또는 대안으로서, 또한 가상 객체 또는 불연속 요소들의 윤곽들을 더 유연하게 형성하는 것이 가능하다. 윤곽의 확산형 재현은 가상 객체의 크기가 일정한 경우에 인접 차로를 넘어가는 동일한 크기의 면적을 차지한다. 그러나 이 경우에도 중첩은 그렇게 두드러지지 않는다.

바람직하게 본 발명에 따른 증강 현실 헤드 업 디스플레이 장치, 본 발명에 따른 방법 또는 본 발명에 따른 장치는 자율 또는 수동 제어 차량, 특히 자동차에서 이용된다.

본 발명의 다른 특징들은 하기 설명 및 관련 청구항들에 도면과 관련해서 제시된다.

도 1은 자동차를 위한 헤드 업 디스플레이 장치의 일반적인 구성을 개략적으로 도시한 도면.
도 2는 자동차를 위한 증강 현실 헤드 업 디스플레이 장치의 표시를 제어하기 위한 방법을 개략적으로 도시한 도면.
도 3은 자동차를 위한 증강 현실 헤드 업 디스플레이 장치의 표시를 제어하기 위한 장치의 제 1 실시예를 도시한 도면.
도 4는 자동차를 위한 증강 현실 헤드 업 디스플레이 장치의 표시를 제어하기 위한 장치의 제 2 실시예를 도시한 도면.
도 5는 본 발명에 따른 해결 방법이 구현되는 자동차를 개략적으로 도시한 도면.
도 6은 정합 오류를 포함하지 않는 및 포함하는 내비게이션 경로의 평면 재현을 도시한 도면.
도 7은 정합 오류를 포함하지 않는 및 포함하는 내비게이션 경로의 평면 재현을 도시한 도면.
도 8은 정합 오류를 포함하지 않는 및 포함하는 불연속 요소들로 이루어진 내비게이션 경로의 평면 재현을 도시한 도면.
도 9는 불연속 요소들이 추가 정보를 전달하며, 정합 오류를 포함하지 않는 및 포함하는 감소한 폭을 갖고 불연속 요소들로 이루어진 내비게이션 경로의 평면 재현을 도시한 도면.
도 10은 정합 오류를 포함하지 않는 및 포함하는 확산형 에지를 갖는 내비게이션 경로의 평면 재현을 도시한 도면.
도 11은 정합 오류를 포함하지 않는 및 포함하는 확산형 에지와 감소한 폭을 갖는 내비게이션 경로의 평면 재현을 도시한 도면.
도 12는 운전자의 관점에서 도 11의 평면 재현을 개략적으로 도시한 도면.

본 발명의 원리를 더 정확하게 이해하기 위해 계속해서 본 발명의 실시예들은 도면을 참고로 상세히 설명된다. 물론, 본 발명은 이러한 실시예들에 제한되지 않고, 전술한 특징들은 첨부된 청구항들에 규정된 본 발명의 보호 범위를 벗어나지 않으면서, 결합되거나 변형될도 수 있다.

도 1은 자동차(1)를 위한 증강 현실 헤드 업 디스플레이 장치(2)를 도시하고, 상기 장치에 의해 자동차(1)의 투사면(5)에, 예를 들어 프런트 윈드실드에 또는 계기판에 운전자와 프런트 윈드실드 사이에 배치되며 유리 또는 플라스틱으로 이루어진 추가 윈드실드에 콘텐츠가 표시될 수 있다. 재현된 콘텐츠는 이미지 생성 유닛(3)에 의해 형성되고, 광학 모듈(4)을 이용해서 투사면(5)에 투사된다. 일반적으로 이 경우 스티어링 휠 상부의 프런트 윈드실드 영역 내로 투사가 이루어진다. 이미지 생성 유닛(3)은 예를 들어 LCD TFT 디스플레이일 수 있다. 증강 현실 헤드 업 디스플레이 장치(2)는 일반적으로 자동차(1)의 계기판에 설치된다.

도 2는 자동차를 위한 증강 현실 헤드 업 디스플레이 장치의 표시를 제어하기 위한 방법을 개략적으로 도시한다. 제 1 단계에서 자동차 전방의 가상 객체의 재현을 위해 위치가 결정된다(20). 가상 객체는 결정된 위치에 따라 이미지 생성 유닛에 의해 투사면에 삽입된다(21). 관찰자 측에서 정합 품질의 주관적 감지를 높이기 위해 가상 객체는 정합 오류와 관련해서 오류 허용적으로 형성된다.

도 3은 자동차를 위한 증강 현실 헤드 업 디스플레이 장치의 표시를 제어하기 위한 장치(30)의 제 1 실시예의 간단한 개략도를 도시한다. 장치(30)는 증강 현실 헤드 업 디스플레이 장치의 구성부일 수 있거나, 데이터 접속을 통해 상기 디스플레이 장치에 연결될 수 있다. 장치(30)는 자동차 전방의 가상 객체의 재현을 위해 소정의 위치의 결정을 가능하게 하는 데이터를 수신하기 위한 입력부(31)를 갖는다. 위치 설정 유닛(32)은 수신된 데이터로부터 가상 객체를 위해 소정의 위치를 결정한다. 그리고 나서 렌더링 유닛(33)은 결정된 위치에 따라 이미지 생성 유닛을 이용해서 가상 객체를 투사면에 삽입한다. 렌더링 유닛(33)에 의해 생성된 데이터는 이를 위해 장치(30)의 출력부(35)를 통해 이미지 생성 유닛에 제공된다. 위치 설정 유닛(32)과 렌더링 유닛(33)은 제어 유닛(34)에 의해 제어될 수 있다. 사용자 인터페이스(37)를 통해 경우에 따라서 위치 설정 유닛(32), 렌더링 유닛(33) 또는 제어 유닛(34)의 설정들이 변경될 수 있다. 장치(30)에서 생성되는 데이터는 또한 예를 들어 추후의 평가를 위해 장치(30)의 메모리(36)에 저장될 수 있다. 위치 설정 유닛(32), 렌더링 유닛(33) 및 제어 유닛(34)은 전용 하드웨어로서, 예를 들어 집적 회로로서 구현될 수 있다. 물론 이들은 부분적으로 또는 전체적으로 조합될 수도 있거나 적절한 프로세서에서 실행되는 소프트웨어로서 구현될 수 있다. 입력부(31)와 출력부(35)는 별도의 인터페이스로서 또는 조합된 양방향 인터페이스로서 구현될 수 있다.

도 4는 자동차를 위한 증강 현실 헤드 업 디스플레이 장치의 표시를 제어하기 위한 장치(40)의 제 2 실시예의 간단한 개략도를 도시한다. 장치(40)는 이러한 경우에도 증강 현실 헤드 업 디스플레이 장치의 구성부일 수 있거나, 데이터 접속을 통해 상기 디스플레이 장치에 연결될 수 있다. 장치(40)는 프로세서(42)와 메모리(41)를 포함한다. 예를 들어 장치(40)는 컴퓨터 또는 제어부이다. 메모리(41)에 명령어들이 저장되고, 상기 명령어들은 프로세서(42)에 의해 실행 시 장치(40)로 하여금 전술한 방법들 중 하나의 방법에 따른 단계들을 실시하게 한다. 메모리(41)에 저장된 명령어들은 이로써 프로세서(42)에 의해 실행 가능한 프로그램을 구현하고, 상기 프로그램은 본 발명에 따른 방법을 실시한다. 장치는 정보의 수신을 위한 입력부(43)를 갖는다. 프로세서(42)에 의해 생성된 데이터는 출력부(44)를 통해 제공된다. 또한, 상기 데이터는 메모리(41)에 저장될 수 있다. 입력부(43)와 출력부(44)는 통합되어 양방향 인터페이스를 형성할 수 있다.

프로세서(42)는 하나 이상의 프로세서 유닛, 예를 들어 마이크로프로세서, 디지털 신호 프로세서 또는 이들의 조합을 포함할 수 있다.

전술한 실시예들의 메모리(36, 41)는 휘발성 및 비휘발성 메모리 영역을 가질 수 있고, 다양한 저장 장치 및 저장 매체, 예를 들어 하드디스크, 광학 저장 매체 또는 반도체 메모리를 포함할 수 있다.

도 5는 본 발명에 따른 해결 방법이 구현되는 자동차(1)를 개략적으로 도시한다. 자동차는 증강 현실 헤드 업 디스플레이 장치(2)를 포함하고, 상기 디스플레이 장치에 의해 자동차(1)의 프런트 윈드실드에 또는 운전자와 프런트 윈드실드 사이에 배치된 추가 윈드실드(도시되지 않음)에 정보가 재현된다. 증강 현실 헤드 업 디스플레이 장치(2)는 증강 현실 헤드 업 디스플레이 장치(2)의 표시를 제어하기 위한 장치(30)에 의해 제어된다. 추가로 자동차(1)는 내비게이션 시스템(50)과 주변 센서(51), 예를 들어 카메라 시스템을 포함한다. 내비게이션 시스템(50)의 내비게이션 데이터 또는 주변 센서(51)의 데이터로부터 가상 객체가 결정되고, 상기 가상 객체는 증강 현실 헤드 업 디스플레이 장치(2)에 의해 표시된다. 장치(30)는 가상 객체의 재현을 위해 결정된 위치에 따라 증강 현실 헤드 업 디스플레이 장치(2)를 제어한다. 자동차(1) 내부에서 데이터의 전송은 네트워크(53)를 이용해서 이루어지고, 상기 네트워크에 다른 제어부들(52)이 접속될 수 있다.

도 6은 내비게이션 경로의 평면 재현 형태의 공개된 컨택트 아날로그 내비게이션 표시를 조감도로 도시한다. 내비게이션 경로의 이러한 재현 방식은 카펫형 재현으로도 공개되어 있고, 상기 내비게이션 경로에서 가상 객체(10)는 차량 전방(1)의 통행할 차로(11)의 전체 폭을 내비게이션 지시로서 마킹한다. 도 6a는 바람직한 상태에서, 즉 정합 오류가 없는 상황을 도시한다. 도 6b에 이 실시예에서 차량(1)의 Z축을 중심으로 약간의 회전 및 차량(1)에 대한 측면 오프셋의 형태의 정합 오류가 존재한다. 정합 오류로 인해 가상 객체(10)는 차도 위의 차선 마킹(13)을 침범한다. 재현의 이러한 형태는 대부분 차로의 실제 형상에 맞춰지기 때문에, 정합 오류는 매우 두드러지고 거슬려 보인다.

후속해서 도 7 내지 도 12를 참고로 정합 오류와 관련해서 가상 객체의 오류 허용이 어떻게 이루어질 수 있는지 다양한 가능성들이 제시된다.

도 7은 감소한 폭을 갖는 내비게이션 경로의 평면 재현을 도시한다. 도 7a는 바람직한 상태에서, 즉 정합 오류가 없는 상황을 도시한다. 도 7b에 도 6b에 이미 공개된 정합 오류가 존재한다. 도 6의 카펫형 재현과 달리 가상 객체(10)의 폭이 감소함으로써 실제 차로 형상들의 소정의 추상화가 이루어진다. 이는, 가상 객체(10)의 윤곽이 정합 오류가 더 심해지는 경우에야 차선 마킹(13)을 침범하는 것을 야기한다. 도 6b와 도 7b의 정합 오류들이 동일하더라도, 도 7b의 가상 객체(10)는 여전히 전체적으로 표시될 차로(11) 내에 위치한다. 또한, 이러한 재현 방식에서 가상 객체(10)는 더 작은 면적을 차지하고, 따라서 정합 오류에서도 작은 면적이 마킹될 차로(11)를 넘어간다. 이는, 오류가 그렇게 두드러져 나타나지 않게 한다.

도 8은 불연속 요소들로 이루어진 내비게이션 경로의 평면 재현을 도시한다. 도 8a는 바람직한 상태에서, 즉 정합 오류가 없는 상황을 도시한다. 도 8b에 또한 도 6b에 공개된 정합 오류가 존재한다. 도 6의 카펫형 재현과 달리 가상 객체(10)의 윤곽과 폭이 일정한 것이 명백하게 표현되는 경우에 가상 객체(10)의 면적은 다수의 부분 영역으로 가상 객체(10)의 분할에 의해 감소할 수 있다. 또한, 가상 객체(10)는 다수의 요소들(12)로 구성된다. 인간의 뇌는 무의식적으로 보완하여 결합된 패턴을 형성하는 능력이 있기 때문에, 가상 객체(10)는 적절한 분할 시 여전히 결합된 객체로 인지된다. 이러한 시각적 인지 현상은 인지 심리학의 게슈탈트 법칙으로 설명될 수 있다(연속의 법칙, 근접의 법칙 등). 재현의 이러한 형태의 장점은 도 6의 카펫형 재현과 달리, 정합 오류로 인해 인접 차로 위에 놓이는 면적이 더 작다는 것이다. 추가로 물론 가상 객체(10) 또는 상기 객체의 요소들(12)의 폭은 더 감소할 수도 있다.

도 9는 불연속 요소들로 이루어지고 감소한 폭을 갖는 내비게이션 경로의 평면 재현을 도시하고, 이 경우 불연속 요소들은 추가 정보를 전달한다. 도 9a는 바람직한 상태에서, 즉 정합 오류가 없는 상황을 도시한다. 도 9b에 이 경우에도 도 6b에 공개된 정합 오류가 존재한다. 불연속 요소들(12)로 가상 객체(10)의 분할은, 가상 객체(10)가 부분 영역들로 분할될 뿐만 아니라, 불연속 요소들(12)에 내재하는 상징적 표현에 의해 추가 정보 콘텐츠가 제공됨으로써, 확장될 수 있다. 도 9에서 요소들(12)의 상징적 표현은 요소들(12)의 화살표 형태의 디자인에 기초한다. 화살표 형태의 개별 요소들(12)은 이 경우 바람직하게, 상기 요소들이 마킹될 차로(11)의 변화를 따르도록, 특히 예컨대 차로의 곡률 변화를 반영하도록 정렬된다. 재현의 이러한 형태는 폭의 단순한 감소보다 가리는 부분이 작게 하거나 또는 불연속 부분들로 가상 객체(10)의 분할을 야기한다. 추가의 상징적 표현은 또한 재현의 직관적 파악에 기여한다. 추가로 이러한 표시는 차량(1)의 피칭 운동으로 야기된 정합 오류에 대해 오류 허용적이고, 상기 정합 오류에서 표시의 상하 이동 이 나타난다. 사용자는 도로 위에 그려진 화살표를 숙지하고 있기 때문에, 사용자는 경험으로부터 이러한 화살표가 일반적으로 차도에 고정적으로 부착되어 있다는 것을 알고 있다. 운전자는 가상 화살표들의 이동을 그렇게 주관적으로 인지하지 않는데, 그 이유는 이러한 이동은 운전자에게 익숙한 상황에 모순되기 때문이다.

도 10은 확산형 에지를 갖는 내비게이션 경로의 평면 재현을 도시한다. 도 10a는 바람직한 상태에서, 즉 정합 오류가 없는 상황을 도시한다. 도 10b에 또한 도 6b에 공개된 정합 오류가 존재한다. 가상 객체(10)의 형상을 변경하는 대신 또한, 가상 객체(10)의 윤곽들을 더 유연하게 형성하는 것, 즉 가상 객체(10)에 확산 가장자리 영역이 제공되는 것이 가능하다. 도 10에서 이는 파선으로 도시된다. 윤곽들의 확산형 재현은 가상 객체(10)의 크기가 일정한 경우에 차선 마킹(13)을 침범하여 인접 차로를 넘어가는 동일한 크기의 면적을 차지한다. 그러나 이 경우에도 중첩은 그렇게 두드러지지 않는다. 물론, 가상 객체(10)의 선택된 에지만을 확산 방식으로 형성하는 것이 가능하다.

확산형 에지의 도 10에 도시된 이용은 바람직하게 가상 객체(10)의 감소한 폭과 조합될 수 있다. 확산형 에지와 감소한 폭을 갖는 내비게이션 경로의 이와 같은 평면 재현은 11에 도시된다. 도 11a는 바람직한 상태에서, 즉 정합 오류가 없는 상황을 도시한다. 도 11b에 또한 도 6b에 공개된 정합 오류가 존재한다. 이 실시예에서 한편으로 폭은 실제 차로 폭과 상당한 차이를 갖고, 다른 한편으로 선명한 윤곽들이 제공되지 않고, 이는 또한 파선으로 도시된다. 재현의 이러한 형태는 파이프형 재현이라고도 할 수 있다. 이러한 재현의 형태는 도 10에 도시된 재현과 달리, 현실의 매우 좁은 범위만이 가상 크로스 페이딩(cross-fading)에 의해 가려지고, 가상 객체(10)는 정합 오류가 더 심해지는 경우에야 차선 마킹(13)을 침범한다. 가상 객체(10)의 폭의 결정 시 소수의 경계 조건들이 고려될 수 있다. 기본적으로, 가상 객체(10)가 좁으면 좁을수록, 증강 현실 표시는 더욱 오류 허용적이다. 또한, 가상 객체(10)가 좁으면 좁을수록, 삽입으로 인해 가려지는 실제 환경에 대한 시야는 더 작아진다. 그러나 정보의 가독성 및 주관적으로 감지되는 그래픽 인상에서 폭은 감소할 수 있다. 테스트 주행에서 파이프형 재현을 위해 40cm의 폭이 바람직한 것으로 입증되었다. 이러한 테스트 주행에서 또한, 내비게이션 경로의 재현을 위해 파이프형 재현의 이용 시 소수의 방향 전환 오류만이 발생하는 것이 확인되었다. 파이프형 재현은 테스트 사용자에 의해 또한 특히 센서 품질이 제한적이거나 변화하는 경우에 카펫형 재현에 비해 선호되었다.

도 12는 운전자의 관점에서 (정합 오류가 없는) 도 11의 파이프형 재현을 개략적으로 도시한다. 차량 전방에 우회전이 제시된다. 앞에서와 같이 파선으로 도시된 확산형 에지를 갖는 가상 객체(10)는 차로(11)의 변화를 따르고, 즉 상기 가상 객체는 우측으로 곡률을 갖고, 따라서 차량의 임박한 주행 경로를 마킹한다.

전술한 3개의 인자, 차로의 실제 형상들의 추상화, 가상 객체의 분할 및 윤곽의 확산형 재현은 바람직하게 조합될 수도 있다. 이로 인해 추가 장점들을 가지며 내비게이션 표시와 관련해서 운전자에 의해 대체로 수용되는 표시들이 형성된다. 예를 들어 도 8 및 도 9의 개별 요소들(12)은 모든 측면에서 또는 몇몇 측면에서만 확산형 윤곽, 예를 들어 차선 마킹(13)에 대해 평행한 윤곽만을 가질 수 있다.

1 자동차
2 증강 현실 헤드 업 디스플레이 장치
3 이미지 생성 유닛
4 광학 모듈
5 투사면
10 가상 객체
11 차로
12 가상 객체의 요소
13 차선 마킹
20 가상 객체를 위해 위치를 결정하는 단계
21 결정된 위치에 따라 가상 객체를 삽입하는 단계
30 장치
31 입력부
32 위치 설정 유닛
33 렌더링 유닛
34 제어 유닛
35 출력부
36 메모리
37 사용자 인터페이스
40 장치
41 메모리
42 프로세서
43 입력부
44 출력부
50 내비게이션 시스템
51 주변 센서
52 제어부
53 네트워크

Claims (14)

1. 자동차(1)를 위한 증강 현실 헤드 업 디스플레이 장치(2)의 표시를 제어하기 위한 방법으로서,
   상기 자동차(1) 전방의 차로 내의 내비게이션 경로인 가상 객체(10)의 재현을 위해 위치를 결정하는 단계(20); 및
   결정된 위치에 따라 상기 가상 객체(10)를 삽입하는 단계(21)
   를 포함하며,
   상기 가상 객체(10)는 상기 가상 객체(10) 및 차선 마킹(13) 사이의 중첩의 두드러짐을 줄이기 위한 확산형 에지를 갖고,
   상기 가상 객체(10)는 내비게이션 경로를 마킹하며, 불연속 요소들(12)로 분할되고,
   상기 가상 객체(10)는 차로(11)의 전체 폭을 내비게이션 지시로서 마킹하는 것을 특징으로 하는 자동차(1)를 위한 증강 현실 헤드 업 디스플레이 장치(2)의 표시를 제어하기 위한 방법.
2. 제 1 항에 있어서, 상기 불연속 요소들(12)은 추가 정보를 전달하는 것을 특징으로 하는 자동차(1)를 위한 증강 현실 헤드 업 디스플레이 장치(2)의 표시를 제어하기 위한 방법.
3. 자동차(1)를 위한 증강 현실 헤드 업 디스플레이 장치(2)의 표시를 제어하기 위한 장치(30)로서,
   상기 자동차(1) 전방의 차로 내의 내비게이션 경로인 가상 객체(10)의 재현을 위해 위치를 결정(20)하기 위한 위치 설정 유닛(32); 및
   결정된 위치에 따라 상기 가상 객체(10)를 삽입(21)하기 위한 렌더링 유닛(33)
   을 포함하며,
   상기 가상 객체(10)는 상기 가상 객체(10) 및 차선 마킹(13) 사이의 중첩의 두드러짐을 줄이기 위한 확산형 에지를 갖고,
   상기 가상 객체(10)는 내비게이션 경로를 마킹하며, 불연속 요소들(12)로 분할되고,
   상기 가상 객체(10)는 차로(11)의 전체 폭을 내비게이션 지시로서 마킹하는 것을 특징으로 하는 자동차(1)를 위한 증강 현실 헤드 업 디스플레이 장치(2)의 표시를 제어하기 위한 장치(30).
4. 제 3 항에 있어서, 상기 불연속 요소들(12)은 추가 정보를 전달하는 것을 특징으로 하는 자동차(1)를 위한 증강 현실 헤드 업 디스플레이 장치(2)의 표시를 제어하기 위한 장치(30).
5. 명령어들을 포함하는 컴퓨터 판독 가능한 저장 매체로서, 상기 명령어들은 컴퓨터에 의한 실행 시 컴퓨터가 제 1 항에 따른 자동차(1)를 위한 증강 현실 헤드 업 디스플레이 장치(2)의 표시를 제어하기 위한 방법의 단계들을 실시하게 하는 것인 컴퓨터 판독 가능한 저장 매체.
6. 자동차(1)를 위한 증강 현실 헤드 업 디스플레이 장치(2)에 있어서,
   상기 장치는, 제 3 항에 따른 자동차(1)를 위한 증강 현실 헤드 업 디스플레이 장치(2)의 표시를 제어하기 위한 장치(30)를 포함하거나, 제 1 항에 따른 자동차(1)를 위한 증강 현실 헤드 업 디스플레이 장치(2)의 표시를 제어하기 위한 방법을 실시하도록 구성되는 것을 특징으로 하는 증강 현실 헤드 업 디스플레이 장치(2).
7. 자동차(40)에 있어서, 상기 자동차는, 제 6 항에 따른 증강 현실 헤드 업 디스플레이 장치(2)를 포함하는 것을 특징으로 하는 자동차(40).
8. 자동차(40)에 있어서, 상기 자동차는, 제 3 항에 따른 자동차(1)를 위한 증강 현실 헤드 업 디스플레이 장치(2)의 표시를 제어하기 위한 장치(30)를 포함하거나, 제 1 항에 따른 자동차(1)를 위한 증강 현실 디스플레이 장치(2)의 표시를 제어하기 위한 방법을 실시하도록 구성되는 것을 특징으로 하는 자동차(40).
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제

Images