KR20230074481A - 정보 처리 장치, 정보 처리 방법, 프로그램 및 투영 장치 - Google Patents

Abstract

본 기술의 일 형태에 관계되는 정보 처리 장치는, 취득부와, 투영 제어부를 구비한다. 상기 취득부는, 차량의 주변의 환경에 관한 주변 환경 정보를 취득한다. 상기 투영 제어부는, 상기 주변 환경 정보에 기초하여, 상기 차량에 탑재된 투영부로부터 상기 차량의 주변의 노면에 투영되는 투영 패턴의 표시를 제어한다. 이에 의해 운전 시의 안전성을 높이는 것이 가능하게 된다.

Description

정보 처리 장치, 정보 처리 방법, 프로그램 및 투영 장치

본 기술은, 차량으로부터 노면에 투영되는 투영 패턴의 표시 제어에 적용 가능한 정보 처리 장치, 정보 처리 방법, 프로그램 및 투영 장치에 관한 것이다.

특허문헌 1에는, 차량의 예측 주행 궤적을 지표면에 표시하는 예측 주행 궤적 표시 장치가 기재되어 있다. 이 장치에서는, 차량의 스티어링 휠의 조타각과, 차량의 전진·후퇴를 나타내는 전진/후퇴 정보로부터, 차량의 예측 주행 궤적이 산출된다. 그리고 차량에 탑재된 레이저 발광기의 조사 각도가 제어되어, 예측 주행 궤적이 지표면에 묘화된다(특허문헌 1의 명세서 단락 [0021] [0022] [0023], 도 7 등).

일본 특허 공개 제2006-036005호 공보

이와 같이, 차량의 진행 방향을 제시함으로써, 차량의 내외에 주의를 촉구하는 것이 가능하다. 실제의 교통 환경에서는, 차량의 진행 방향 이외에도 여러가지 대상에 주의를 기울일 필요가 있어, 운전 시의 안전성을 높이는 것이 가능한 기술이 요구되고 있다.

이상과 같은 사정을 감안하여, 본 기술의 목적은, 운전 시의 안전성을 높이는 것이 가능한 정보 처리 장치, 정보 처리 방법, 프로그램 및 투영 장치를 제공하는 데 있다.

상기 목적을 달성하기 위해서, 본 기술의 일 형태에 관계되는 정보 처리 장치는, 취득부와, 투영 제어부를 구비한다.

상기 취득부는, 차량의 주변의 환경에 관한 주변 환경 정보를 취득한다.

상기 투영 제어부는, 상기 주변 환경 정보에 기초하여, 상기 차량에 탑재된 투영부로부터 상기 차량의 주변의 노면에 투영되는 투영 패턴의 표시를 제어한다.

이 정보 처리 장치에서는, 차량에 마련된 투영부로부터 주변의 노면에 투영 패턴이 투영된다. 이 투영 패턴의 표시가 차량의 주변의 환경에 관한 주변 환경 정보에 기초하여 제어된다. 이에 의해, 예를 들어 차량이 두어진 상황 등을, 투영 패턴을 통하여 차량의 내외에 제시하는 것이 가능하게 되어, 운전 시의 안전성을 높이는 것이 가능하게 된다.

본 기술의 일 형태에 관계되는 정보 처리 방법은, 컴퓨터 시스템에 의해 실행되는 정보 처리 방법이며, 차량의 주변의 환경에 관한 주변 환경 정보를 취득하는 것을 포함한다.

상기 주변 환경 정보에 기초하여, 상기 차량에 탑재된 투영부로부터 상기 차량의 주변의 노면에 투영되는 투영 패턴의 표시가 제어된다.

본 기술의 일 형태에 관계되는 프로그램은, 컴퓨터 시스템에 이하의 스텝을 실행시킨다.

차량의 주변의 환경에 관한 주변 환경 정보를 취득하는 스텝.

상기 주변 환경 정보에 기초하여, 상기 차량에 탑재된 투영부로부터 상기 차량의 주변의 노면에 투영되는 투영 패턴의 표시를 제어하는 스텝.

본 기술의 일 형태에 관계되는 투영 장치는, 투영부와, 취득부와, 투영 제어부를 구비한다.

상기 투영부는, 차량에 탑재되어, 상기 차량의 주변의 노면에 투영 패턴을 투영한다.

상기 취득부는, 상기 차량의 주변의 환경에 관한 주변 환경 정보를 취득한다.

상기 투영 제어부는, 상기 주변 환경 정보에 기초하여, 상기 투영부로부터 투영되는 상기 투영 패턴의 표시를 제어한다.

도 1은 본 기술의 제1 실시 형태에 관계되는 투영 장치를 탑재한 차량의 외관을 도시하는 모식도이다.
도 2는 투영 패턴의 일례를 도시하는 모식도이다.
도 3은 투영 패턴이 투영되는 씬의 일례를 도시하는 모식도이다.
도 4는 제1 실시 형태에 관계되는 투영 장치의 구성예를 도시하는 블록도이다.
도 5는 주변 환경 인식부의 구성예를 도시하는 블록도이다.
도 6은 투영 장치의 기본적인 동작예를 도시하는 흐름도이다.
도 7은 레인 변경을 행할 때의 차량의 전방의 모습을 도시하는 모식도이다.
도 8은 레인 변경을 행할 때에 투영되는 전방 라인의 일례를 도시하는 모식도이다.
도 9는 합류 차선에 있어서의 레인 변경의 일례를 도시하는 모식도이다.
도 10은 제2 실시 형태에 관계되는 투영 장치의 구성예를 도시하는 블록도이다.
도 11은 주변 환경 인식부의 구성예를 도시하는 블록도이다.
도 12는 투영 장치의 기본적인 동작예를 도시하는 흐름도이다.
도 13은 충돌 리스크에 따른 후방 패턴의 일례를 도시하는 모식도이다.
도 14는 제3 실시 형태에 관계되는 투영 장치의 구성예를 도시하는 블록도이다.
도 15는 주변 환경 인식부의 구성예를 도시하는 블록도이다.
도 16은 투영 장치의 기본적인 동작예를 도시하는 흐름도이다.
도 17은 차폭 라인이 투영된 씬의 일례를 도시하는 모식도이다.
도 18은 접근 거리에 따른 차폭 라인의 일례를 도시하는 모식도이다.
도 19는 장해물에 투영되는 차폭 라인의 표시예를 도시하는 모식도이다.
도 20은 장해물이 검출된 경우에 투영되는 차폭 라인의 일례를 도시하는 모식도이다.

이하, 본 기술에 관계되는 실시 형태를, 도면을 참조하면서 설명한다.

<제1 실시 형태>

도 1은, 본 기술의 제1 실시 형태에 관계되는 투영 장치를 탑재한 차량의 외관을 도시하는 모식도이다. 도 1의 A는, 차량(1)의 구성예를 도시하는 사시도이며, 도 1의 B는, 차량(1)을 상방으로부터 본 상면도이다. 차량(1)에는, 차량(1)의 주변의 노면에 도상을 투영하는 투영 장치(100)가 탑재된다.

투영 장치(100)는 복수의 투영부(10)를 갖는다. 투영부(10)는 노면에 대하여 광을 조사함으로써 도상을 투영하는 소자(투영기)이다. 이하에서는, 투영부(10)로부터 차량(1)의 주변의 노면에 투영되는 도상을 투영 패턴이라고 기재한다. 투영 장치(100)에서는, 각 투영부(10)로부터 투영되는 투영 패턴을 개별로 제어하는 것이 가능하다. 투영부(10)의 구체적인 구성에 대해서는 후술한다.

도 1의 A 및 도 1의 B에는, 차량(1)에 마련된 8개의 투영부(10a 내지 10h)가 모식적으로 도시되어 있다. 도 1에 도시하는 예에서는, 차량(1)의 저부의 좌측 및 우측에 투영부(10a 내지 10d)와 투영부(10e 내지 10h)가 서로 좌우 대칭이 되도록 배치된다.

투영부(10a 및 10e)는, 차량(1)의 전방측의 저부(예를 들어 프론트 범퍼의 하부)에 배치되고, 예를 들어 차량(1)의 전방에 투영 패턴을 투영한다. 투영부(10b 및 10f)는, 프론트 도어의 전방측의 저부에 배치되고, 투영부(10c 및 10g)는, 리어 도어의 후방측의 저부에 배치된다. 투영부(10b 및 10f)와 투영부(10c 및 10g)는, 예를 들어 차량(1)의 측방에 투영 패턴을 투영한다. 투영부(10d 및 10h)는, 차량(1)의 후방측의 저부(예를 들어 리어범퍼의 하부)에 배치되고, 예를 들어 차량(1)의 후방에 투영 패턴을 투영한다.

또한 도 1의 B에서는, 차량(1)의 상면도에 있어서의 각 투영부(10)(투영기)의 위치를 알 수 있도록, 편의상, 각 투영부(10)가 차체로부터 튀어나와 있는 것처럼 도시되어 있다. 실제의 구성에서는, 투영부(10)는 차체 하부에 수용되어, 상부로부터는 보이지 않도록 설치된다. 이에 의해, 차량(1)의 외관을 손상시킬 일 없이 투영 장치(100)를 실장하는 것이 가능하게 된다.

혹은, 도 1의 B에 도시하는 바와 같이, 각 투영부(10)가 차체로부터 돌출되도록 설치되어도 된다. 이에 의해, 예를 들어 투영 패턴을 투영하는 것이 가능한 범위를 확대한다고 하는 것이 가능하게 된다.

투영부(10)의 배치나 수 등은 한정되지 않는다.

예를 들어 차량(1)의 전방에 패턴을 투영하는 투영부(10)(도 1에서는 투영부(10a 및 10e))는 차체 전방면에 설치되어도 된다. 구체적으로는, 헤드라이트의 주변(헤드라이트의 상측, 하측, 좌측 및 우측 등)이나, 포그 램프의 주변(포그 램프의 상측, 하측, 좌측 및 우측 등)에 투영부(10)가 마련되어도 된다. 또한, 프론트 그릴의 위치나, 차체 전체면의 중앙 부분 등에 투영부(10)가 마련되어도 된다. 또한 1대의 투영부(10)로부터 좌전방 및 우전방의 투영 패턴이 투영되어도 된다.

또한 예를 들어 차량(1)의 측방에 패턴을 투영하는 투영부(10)(도 1에서는 투영부(10b, 10c, 10f 및 10g))는, 사이드미러의 저부나, 전후의 도어를 구획하는 B 필러의 하측(차량의 전후 방향의 중앙)에 마련되어도 된다.

또한 예를 들어 차량(1)의 후방에 패턴을 투영하는 투영부(10)(도 1에서는 투영부(10d 및 10h))는 차체 후방면에 설치되어도 된다. 구체적으로는, 브레이크 램프의 주변(브레이크 램프의 상측, 하측, 좌측 및 우측 등), 번호판의 주변(번호판의 상측, 하측, 좌측 및 우측 등), 혹은 차체 후방면의 중앙 부분 등에 투영부(10)가 마련되어도 된다. 또한 1대의 투영부(10)로부터 좌후방 및 우후방의 투영 패턴이 투영되어도 된다.

이밖에, 투영부(10)는 원하는 투영 패턴이 투영 가능한 위치에 적절히 배치되어도 된다.

도 2는, 투영 패턴의 일례를 도시하는 모식도이다. 도 3은, 투영 패턴이 투영되는 씬의 일례를 도시하는 모식도이다.

본 실시 형태에서는, 차량(1)이 동작하는 상황에 따라, 복수의 투영 모드가 선택되어, 투영 모드에 따른 투영 패턴(2)이 투영된다. 도 2의 A 내지 도 2의 D에는, 통상 드라이빙 모드, 저속 드라이빙 모드, 리버스 모드 및 파킹 모드의 각 투영 모드에서 투영되는 투영 패턴(2)이 모식적으로 도시되어 있다.

복수의 투영 모드 중 파킹 모드 이외의 모드는, 실제로 차량(1)이 주행하는 모드이다. 이와 같이 차량(1)이 주행하는 모드(도 2의 A 내지 도 2의 C)에서는, 투영 패턴(2)으로서 라인상으로 길어진 라인 패턴(3)이 사용된다. 따라서, 투영 패턴(2)에는, 라인상의 패턴(라인 패턴(3))이 포함된다. 라인 패턴(3)은 예를 들어 연속한 띠상의 패턴이다. 혹은 작은 패턴을 일정한 간격으로 라인상으로 배치함으로써 라인 패턴(3)이 구성되어도 된다.

본 실시 형태에서는, 라인 패턴(3)은 차량(1)의 진행 방향(4)의 전방에 투영되는 라인상의 제1 패턴과, 진행 방향(4)의 후방에 투영되는 라인상의 제2 패턴을 포함한다.

도 2의 A 내지 도 2의 C에는, 차량(1)의 진행 방향(4)을 나타내는 화살표가 모식적으로 도시되어 있다. 화살표의 크기는, 차량(1)의 속도를 나타내고 있다. 이 진행 방향(4)에 대하여 전방에 투영되는 패턴이 제1 패턴이며, 후방에 투영되는 패턴이 제2 패턴이다.

또한 본 실시 형태에서는, 차량(1)의 중앙부의 주변의 노면(차량(1)의 하방부터 측방에 걸친 노면)에 투영되는 제3 패턴(후술하는 중앙 라인(3b))이 사용된다.

후술하는 바와 같이, 투영 장치(100)에서는, 차량(1)이 통과할 것으로 예측되는 예측 궤적(5)과, 차량(1)이 통과한 통과 궤적(6)이 각각 산출된다. 이 예측 궤적(5) 및 통과 궤적(6)이, 제1 패턴 및 제2 패턴을 사용하여 표현된다. 즉, 제1 패턴은, 차량(1)의 예측 궤적(5)을 나타내는 라인 패턴(3)으로서 생성되고, 제2 패턴은, 차량(1)의 통과 궤적을 나타내는 라인 패턴(3)으로서 생성된다.

이하에서는, 라인 패턴(3)이 사용되는 통상 드라이빙 모드, 저속 드라이빙 모드, 리버스 모드 및 라인 패턴(3) 이외의 패턴이 사용되는 파킹 모드에 대하여 각각 설명한다.

도 2의 A에는, 통상 드라이빙 모드에서 투영되는 투영 패턴(2)의 일례가 도시되어 있다. 도 2의 A의 상측 및 하측의 도면은, 차량(1)을 측방 및 상방으로부터 본 모식도이다.

여기서, 통상 드라이빙 모드란, 예를 들어 차량(1)이 서행하지 않고 통상의 전진 주행을 하고 있을 때에 선택되는 투영 모드이다. 통상 드라이빙 모드는, 예를 들어 일반적인 서행 속도(예를 들어 시속 10km 미만)보다도 빠른 속도로 차량(1)이 주행할 때에 선택된다. 따라서 통상 드라이빙 모드는, 정지 조작, 우회전 조작, 좌회전 조작, 혹은 주차 조작 등의 서행이 필요한 주행이 아니라, 주행 차선을 전진 주행하는 경우에 사용된다.

통상 드라이빙 모드에서는, 투영 패턴(2)으로서, 전방 라인(3a), 중앙 라인(3b) 및 후방 라인(3c)의 3종류의 라인 패턴(3)이 투영된다. 각 라인(3a 내지 3c)은, 차량(1)의 좌측 및 우측에 투영되는 1쌍의 라인 패턴(3)으로서 구성된다.

전방 라인(3a)은, 차량(1)의 전방 노면에 투영되는 라인 패턴(3)이다. 좌측 및 우측의 전방 라인(3a)은, 예를 들어 도 1에 도시하는 투영부(10a 및 10e)로부터 투영된다.

중앙 라인(3b)은, 차량(1)의 하방으로부터 측방의 노면에 투영되는 라인 패턴(3)이다. 좌측의 중앙 라인(3b)은, 예를 들어 투영부(10b 및 10c)로부터 투영되고, 우측의 중앙 라인(3b)은, 예를 들어 투영부(10f 및 10g)로부터 투영된다.

후방 라인(3c)은, 차량(1)의 후방 노면에 투영되는 라인 패턴(3)이다. 좌측 및 우측의 후방 라인(3c)은, 예를 들어 투영부(10d 및 10h)로부터 투영된다.

또한, 각 라인(3a 내지 3c)과 투영부(10)의 대응은 상기한 예에 한정되지 않고, 예를 들어 2개의 투영부(10)를 사용하여 하나의 라인 패턴(3)을 투영한다고 하는 구성도 가능하다.

상기한 바와 같이, 도 2의 A에 도시하는 라인 패턴(3)은 차량(1)이 전진 주행 중에 투영된다.

따라서, 통상 드라이빙 모드에서는, 전방 라인(3a)은, 차량(1)의 진행 방향의 전방에 투영되는 라인상의 제1 패턴이 되고, 차량(1)의 예측 궤적(5)을 나타내는 라인 패턴(3)으로서 생성된다. 구체적으로는, 전방 라인(3a)의 라인 형상이, 차량(1)의 프론트 타이어의 예측 궤적(5)을 나타내도록 설정된다.

또한, 통상 드라이빙 모드에서는, 후방 라인(3c)은, 차량(1)의 진행 방향의 후방에 투영되는 라인상의 제2 패턴이 되어, 차량(1)의 통과 궤적(6)을 나타내는 라인 패턴(3)으로서 생성된다. 구체적으로는, 후방 라인(3c)의 라인 형상이, 차량(1)의 리어 타이어의 통과 궤적(6)을 나타내도록 설정된다.

또한, 통상 드라이빙 모드에서는, 중앙 라인(3b)(제3 패턴)은 차량(1)의 중앙부의 양측을 비추는 라인상의 조명으로서 사용된다.

도 3의 A에는, 통상 드라이빙 모드가 적용되는 씬이 모식적으로 도시되어 있다. 여기에서는, 주행 차선을 비교적 빠른 속도로 주행하는 차량(1)의 주변의 노면에, 예측 궤적(5)을 나타내는 전방 라인(3a), 통과 궤적(6)을 나타내는 후방 라인(3c) 및 라인상의 조명이 되는 중앙 라인(3b)이 각각 투영된다.

이와 같이, 차량(1)의 주변에는, 예측 궤적(5)이나 통과 궤적(6) 등을 나타내는 라인 패턴(3)이 투영된다. 이에 의해, 차 밖의 보행자나 타 차량의 드라이버 등에게 차량(1)의 진행 방향이나 주행 이력을 명시적으로 전하는 것이 가능하게 됨과 함께, 주행 중의 차량(1)을 효과적으로 연출하는 것도 가능하게 된다.

도 2의 B에는, 저속 드라이빙 모드에서 투영되는 투영 패턴(2)의 일례가 도시되어 있다. 도 2의 B의 상측 및 하측의 도면은, 차량(1)을 측방 및 상방으로부터 본 모식도이다.

여기서, 저속 드라이빙 모드란, 예를 들어 차량(1)이 서행하면서 전진 주행을 하고 있을 때에 선택되는 투영 모드이다. 따라서 저속 드라이빙 모드는, 예를 들어 정지 조작, 우회전 조작, 좌회전 조작, 혹은 주차 조작 등의 서행이 필요한 주행을 행하는 경우에 사용된다.

저속 드라이빙 모드에서는, 상기한 통상 드라이빙 모드와 마찬가지로, 투영 패턴(2)으로서, 전방 라인(3a), 중앙 라인(3b) 및 후방 라인(3c)의 3종류의 라인 패턴(3)이 투영된다.

도 2의 B에 도시하는 라인 패턴(3)은 도 2의 A와 마찬가지로, 차량(1)이 전진 주행 중에 투영된다.

따라서, 저속 드라이빙 모드에서는, 전방 라인(3a)은, 차량(1)의 진행 방향의 전방에 투영되는 라인상의 제1 패턴이 되고, 차량(1)의 예측 궤적(5)을 나타내는 라인 패턴(3)으로서 생성된다. 구체적으로는, 전방 라인(3a)의 라인 형상이, 차량(1)의 프론트 타이어의 예측 궤적(5)을 나타내도록 설정된다.

또한, 저속 드라이빙 모드에서는, 후방 라인(3c)은, 차량(1)의 진행 방향의 후방에 투영되는 라인상의 제2 패턴이 되고, 차량(1)의 통과 궤적(6)을 나타내는 라인 패턴(3)으로서 생성된다. 구체적으로는, 후방 라인(3c)의 라인 형상이, 차량(1)의 리어 타이어의 통과 궤적(6)을 나타내도록 설정된다.

또한, 저속 드라이빙 모드에서는, 중앙 라인(3b)(제3 패턴)은 차량(1)의 예측 궤적(5)을 나타내는 라인 패턴(3)으로서 생성된다. 구체적으로는, 중앙 라인(3b)은, 라인 형상이, 차량(1)의 리어 타이어의 예측 궤적(5)을 나타내도록 설정된다.

이에 의해, 차량(1)이 천천히 전진한 경우에, 리어 타이어가 통과할 것으로 예측되는 궤적을 보행자 등에게 명시하는 것이 가능하게 된다. 이에 의해, 우좌회전 시의 휘말림의 위험성 등을 억제하는 것이 가능하게 된다.

도 3의 B에는, 저속 드라이빙 모드가 적용되는 씬의 일례로서, 차량(1a)의 주차장에서의 운전의 모습이 모식적으로 도시되어 있다. 차량(1a)은, 도면 중의 우측의 주차 스페이스로부터 전진하여 출고하도록 이동하고 있다. 이와 같이, 정차하고 있었던 차량(1a)이 전진하는 경우에는, 서행 운전이 되기 때문에, 저속 드라이빙 모드가 사용된다.

여기에서는, 차량(1a)의 주변의 노면에, 프론트 타이어의 예측 궤적(5)을 나타내는 전방 라인(3a) 및 리어 타이어의 예측 궤적(5)을 나타내는 중앙 라인(3b)이 각각 투영된다. 또한, 도 3의 B에서는, 차량(1a)의 리어 타이어의 통과 궤적(6)을 나타내는 후방 라인(3c)의 도시가 생략되어 있다.

이와 같이, 차량(1a)의 주변에는, 프론트 타이어 및 리어 타이어의 예측 궤적(5) 등을 나타내는 라인 패턴(3)이 투영된다. 이에 의해, 보행자에 주의를 촉구함과 함께, 휘말림이나 접촉 등의 액시던트의 발생을 충분히 회피하는 것이 가능하게 된다.

또한 전방 라인(3a)은, 차량(1)의 차폭을 나타내도록 설정되어도 된다. 예를 들어, 우측 및 좌측의 라인 간격이, 차량(1)의 차체의 최대폭으로 설정된다. 이에 의해, 차폭을 의식한 핸들 조작 등을 촉구하는 것이 가능하게 된다.

도 2의 C에는, 리버스 모드에서 투영되는 투영 패턴(2)의 일례가 도시되어 있다.

여기서, 리버스 모드란, 차량(1)이 후진 주행(백 주행)을 하고 있을 때에 선택되는 투영 모드이다. 리버스 모드는, 예를 들어 주차 조작 등에 있어서, 후진하여 주차를 행하는 경우 등에 사용된다.

리버스 모드에서는, 상기한 각 드라이빙 모드와 마찬가지로, 투영 패턴(2)으로서, 전방 라인(3a), 중앙 라인(3b) 및 후방 라인(3c)의 3종류의 라인 패턴(3)이 투영된다.

도 2의 C에 도시하는 라인 패턴(3)은 차량(1)이 후진 주행 중에 투영된다.

따라서, 리버스 모드에서는, 전방 라인(3a)은, 차량(1)의 진행 방향의 후방에 투영되는 라인상의 제2 패턴이 된다. 이 경우, 전방 라인(3a)은, 차량(1)의 통과 궤적(6)을 나타내는 라인 패턴(3)으로서 생성된다. 구체적으로는, 전방 라인(3a)의 라인 형상이, 차량(1)의 프론트 타이어의 통과 궤적(6)을 나타내도록 설정된다.

또한, 리버스 모드에서는, 후방 라인(3c)은, 차량(1)의 진행 방향의 전방에 투영되는 라인상의 제1 패턴이 된다. 이 경우, 후방 라인(3c)은, 차량(1)의 예측 궤적(5)을 나타내는 라인 패턴(3)으로서 생성된다. 구체적으로는, 후방 라인(3c)의 라인 형상이, 차량(1)의 리어 타이어의 예측 궤적(5)을 나타내도록 설정된다.

또한, 리버스 모드에서는, 중앙 라인(3b)(제3 패턴)은 차량(1)의 예측 궤적(5)을 나타내는 라인 패턴(3)으로서 생성된다. 구체적으로는, 중앙 라인(3b)은, 라인 형상이, 차량(1)의 프론트 타이어의 예측 궤적(5)을 나타내도록 설정된다.

이에 의해, 차량(1)이 후진한 경우에, 프론트 타이어가 통과할 것으로 예측되는 궤적을 보행자 등에게 명시하는 것이 가능하게 된다. 이에 의해, 주차 시의 휘말림의 위험성 등을 억제하는 것이 가능하게 된다.

도 3의 B에는, 리버스 모드가 적용되는 씬의 일례로서, 차량(1b)의 주차장에서의 운전의 모습이 모식적으로 도시되어 있다. 차량(1b)은, 도면 중의 좌측의 주차 스페이스에 후진하여 주차하도록 이동하고 있다.

여기에서는, 차량(1b)의 주변의 노면에, 리어 타이어의 예측 궤적(5)을 나타내는 후방 라인(3c) 및 프론트 타이어의 예측 궤적(5)을 나타내는 중앙 라인(3b)이 각각 투영된다. 또한, 도 3의 B에서는, 차량(1b)의 프론트 타이어의 통과 궤적(6)을 나타내는 전방 라인(3a)의 도시가 생략되어 있다.

이와 같이, 차량(1b)의 주변에는, 프론트 타이어 및 리어 타이어의 예측 궤적(5) 등을 나타내는 라인 패턴(3)이 투영되기 때문에, 백 조작 시의 휘말림이나 접촉 등의 액시던트의 발생을 충분히 회피하는 것이 가능하게 된다.

또한, 전진 동작의 경우와 마찬가지로, 후방 라인(3c)은, 차량(1)의 차폭을 나타내도록 설정되어도 된다. 이에 의해, 차폭을 확인하면서 백 조작 등을 행하는 것이 가능하게 된다.

도 2의 D에는, 파킹 모드에서 투영되는 투영 패턴(2)의 일례가 도시되어 있다.

여기서, 파킹 모드란, 차량(1)의 시프트 포지션이 파킹("P")일 경우, 즉 차량(1)이 정차 상태에 있는 경우에 선택되는 투영 모드이다.

파킹 모드에서는, 상기한 라인 패턴(3)은 표시되지 않고, 투영 패턴(2)으로서 차량(1)의 전체 주위를 둘러싸는 조명의 패턴(이하에서는 정차 패턴(7)이라고 기재한다)이 투영된다. 여기에서는, 정차 패턴(7)으로서 전방 조명(7a), 측방 조명(7b) 및 후방 조명(7c)이 사용된다. 각 조명(7a 내지 7c)은, 차량(1)으로부터 이격됨에 따라서 색이 옅어지는 그라데이션 패턴이다. 또한 정차 패턴(7)의 디자인 등은 한정되지 않는다.

이와 같이, 투영 패턴(2)은 라인 패턴(3)과는 다른 정차 패턴(7)을 포함한다. 본 실시 형태에서는, 정차 패턴(7)은 다른 패턴의 일례이다.

정차 패턴(7)을 사용함으로써 차량(1)이 시프트 포지션을 파킹으로 설정하여 정차하고 있는 것, 즉 차량(1)이 이동하지 않는 상태인 것을 차 밖의 보행자 등에게 전하는 것이 가능하다. 이에 의해, 예를 들어 보행자나 타 차량이, 차량(1)의 주변을 안심하고 통과하는 것이 가능하게 된다.

또한, 상기한 투영 모드에 한정되지 않고, 다른 모드가 설정되어도 된다. 예를 들어 드라이버가 차량(1)의 잠금을 푼 경우나, 도어를 열었을 경우, 혹은 엔진을 시동한 경우 등에 소정의 조명 패턴을 표시하는 Welcom 라이트 모드 등이 설정되어도 된다.

도 4는, 제1 실시 형태에 관계되는 투영 장치(100)의 구성예를 도시하는 블록도이다.

투영 장치(100)는 상기한 투영부(10)와, 차량 정보 센서부(11)와, 드라이버 감시 카메라(12)와, 주변 환경 센서부(13)와, 기억부(15)와, 컨트롤러(20)를 갖는다.

투영부(10)는 광을 조사하여 투영 패턴(2)을 투영하는 소자이며, 투영 패턴(2)의 형상이나 색 등을 변화시킬 수 있도록 구성된다.

투영부(10)로서는, 예를 들어 조사광으로서 레이저광을 출사하는 프로젝터가 사용된다. 레이저광을 사용함으로써 휘도가 높은 투영 패턴(2)을 멀리까지 표시하는 것이 가능하다. 또한 레이저 광원 이외에, LED 광원이나 램프 광원 등이 사용되어도 된다.

조사광을 변조하는 방법은 한정되지 않고, 예를 들어 투과형의 액정 패널이나 MEMS(Micro Electro Mechanical Systems) 등을 사용한 광 변조 소자가 사용된다. 또한, 반사형의 액정 패널 등을 사용한 위상 변조 소자 등을 조합함으로써, 소정의 범위에 광이 집중하는 투영이 가능하게 된다. 이에 의해, 투영 패턴(2)의 휘도를 대폭으로 향상시키는 것이 가능하게 된다.

이밖에, 투영부(10)의 구체적인 구성은 한정되지 않고, 예를 들어 조사광을 변조하는 것이 가능한 프로젝션 라이트나, 레이저 광원 등이 사용되어도 된다.

차량 정보 센서부(11)는 차량(1)의 각 부의 상태에 관한 정보를 검출하는 센서를 갖는다.

구체적으로는, 핸들 조타각을 검출하는 타각 센서, 차량(1)의 주행 속도를 검출하는 속도 센서, 차량(1)에 걸리는 가속도를 검출하는 가속도 센서가 마련된다.

또한, 차량 정보 센서부(11)는 액셀러레이터의 개방도를 검출하는 액셀러레이터 개방도 센서 및 브레이크의 개방도(브레이크의 강도)를 검출하는 브레이크 개방도 센서를 갖는다.

또한, 차량 정보 센서부(11)는 액셀러레이터 페달에 대한 답입의 압력(액셀러레이터의 조작력)을 검출하는 액셀러레이터 페달 압력 센서 및 브레이크 페달에 대한 답입의 압력(브레이크의 조작력)을 검출하는 브레이크 페달 압력 센서를 갖는다. 이들 압력 센서는, 페달에 가해지는 전체의 압력값을 검출하는 센서여도 되고, 압력 분포를 검출하는 센서여도 된다.

또한, 차량 정보 센서부(11)는 시프트 레버의 포지션(시프트 포지션)을 검출하는 시프트 포지션 센서 및 사이드 브레이크의 온/오프를 검출하는 사이드 브레이크 센서를 갖는다.

또한, 이그니션 스위치의 온/오프를 검출하는 이그니션 센서, 방향 지시등(방향 지시기)의 온/오프를 검출하는 방향 지시등 센서, 해저드 램프의 온/오프를 검출하는 해저드 센서, 헤드라이트의 온/오프나 하이 빔/로우 빔(패싱)의 전환을 검출하는 라이트 센서 등이 마련되어도 된다.

이밖에, 차량(1)에 관한 정보를 검출하는 임의의 센서가, 차량 정보 센서부(11)로서 사용되어도 된다.

드라이버 감시 카메라(12)는 차량(1)의 드라이버를 촬영하는 카메라이며, 예를 들어 드라이버를 정면으로부터 촬영 가능하도록 차량(1)의 내부에 마련된다. 드라이버 감시 카메라(12)로서는, 예를 들어 CMOS나 CCD 등의 촬상 소자를 구비한 디지털 카메라가 사용된다.

본 실시 형태에서는, 후술하는 바와 같이, 드라이버 감시 카메라(12)에 의해 촬영된 화상이, 드라이버의 시선 방향을 검출하는 데이터로서 사용된다.

주변 환경 센서부(13)는 차량(1)의 주변 환경의 상태를 검출하는 센서를 갖는다.

본 실시 형태에서는, 주변 환경 센서부(13)로서, 차량(1)의 주변의 물체를 검출하기 위한 물체 검출 센서가 마련된다.

물체 검출 센서로서는, 예를 들어 차량(1)의 주변을 촬영하는 카메라가 사용된다. 예를 들어, 차량(1)의 전방부, 후방부, 좌측, 우측에 설치된 전방 카메라, 후방 카메라, 좌측 카메라, 우측 카메라가 사용된다. 이들 전후 좌우로 설치된 카메라에 의해, 차량(1)의 주변을 주행하는 차량 등이 비추는 경치가 촬영된다. 혹은, 어안 렌즈 등을 사용하여 차량(1)의 전체 주위를 촬영 가능한 전체 주위 카메라 등이 사용되어도 된다.

또한 물체 검출 센서로서, 전후 좌우를 검지하는 레이더 센서, 초음파 센서, LiDAR 센서 등이 사용되어도 된다. 이들 센서에 의해, 차량(1)의 주변에 있는 물체의 위치 등이 검출된다.

이밖에, 물체 검출 센서의 종류 등은 한정되지 않고, 예를 들어 카메라와 기타의 측거 센서 등이 조합하여 사용되어도 된다.

기억부(15)는 불휘발성의 기억 디바이스이다. 기억부(15)로서는, 예를 들어 SSD(Solid State Drive) 등의 고체 소자를 사용한 기록 매체나, HDD(Hard Disk Drive) 등의 자기 기록 매체가 사용된다. 이밖에, 기억부(15)로서 사용되는 기록 매체의 종류 등은 한정되지 않고, 예를 들어 비일시적으로 데이터를 기록하는 임의의 기록 매체가 사용되어도 된다.

기억부(15)에는, 투영 장치(100)의 전체의 동작을 제어하기 위한 제어 프로그램이 기억된다. 제어 프로그램은, 본 실시 형태에 관계되는 프로그램에 상당한다. 또한 기억부(15)는 프로그램이 기록되어 있는 컴퓨터가 판독 가능한 기록 매체로서 기능한다.

또한, 기억부(15)에는, 투영 패턴(2)의 형상이나 색 등을 지정하는 데이터가 기억된다. 이밖에, 기억부(15)에 기억되는 데이터의 종류 등은 한정되지 않고, 투영 장치(100)의 동작에 필요한 임의의 데이터가 저장되어도 된다.

컨트롤러(20)는 투영 장치(100)가 갖는 각 블록의 동작을 제어한다. 컨트롤러(20)는 예를 들어 CPU나 메모리(RAM, ROM) 등의 컴퓨터에 필요한 하드웨어 구성을 갖는다. CPU가 기억부(15)에 기억되어 있는 제어 프로그램을 RAM에 로드하여 실행함으로써, 여러가지 처리가 실행된다. 컨트롤러(20)는 본 실시 형태에 따른 정보 처리 장치로서 기능한다.

컨트롤러(20)로서, 예를 들어 FPGA(Field Programmable Gate Array) 등의PLD(Programmable Logic Device), 기타 ASIC(Application Specific Integrated Circuit) 등의 디바이스가 사용되어도 된다. 또한 예를 들어 GPU(Graphics Processing Unit) 등의 프로세서가 컨트롤러(20)로서 사용되어도 된다.

본 실시 형태에서는, 컨트롤러(20)의 CPU가 본 실시 형태에 관계되는 프로그램을 실행함으로써, 기능 블록으로서, 차량 정보 취득부(21), 궤적 산출부(22), 투영 화상 결정부(23), 영상 데이터 생성부(24), 시선 검출부(25) 및 주변 환경 인식부(26)가 실현된다. 그리고 이들 기능 블록에 의해, 본 실시 형태에 관계되는 정보 처리 방법이 실행된다. 또한 각 기능 블록을 실현하기 위해서, IC(집적 회로) 등의 전용의 하드웨어가 적절히 사용되어도 된다. 또한, 이들 기능 블록은, 컨트롤러(20)와 통신 가능한 기타의 컴퓨터 등에 의해 실현되어도 된다.

차량 정보 취득부(21)는 차량 정보 센서부(11)의 각 센서에 의해 검출된 차량(1)에 관한 정보(차량 정보)를 취득한다.

본 실시 형태에서는, 차량 정보 취득부(21)에 의해, 차량(1)의 속도에 관한 속도 관련 정보가 취득된다. 속도 관련 정보에는, 차량(1)의 속도나 속도와 함께 변화하는 가속·감속을 나타내는 정보나, 그들의 물리량을 변화시키는 조작(액셀러레이터 조작·브레이크 조작)에 관한 정보가 포함된다.

속도 관련 정보로서, 차량(1)의 속도를 나타내는 속도 정보 및 차량(1)의 가속도를 나타내는 가속도 정보가 취득된다. 예를 들어, 속도 센서 및 가속도 센서의 검출 결과가, 속도 정보 및 가속도 정보로서 읽어들여진다.

또한 속도 관련 정보로서, 액셀러레이터 정보 및 브레이크 정보가 취득된다. 이 중 액셀러레이터 정보에는, 액셀러레이터의 개방도, 액셀러레이터 페달에 대한 답입의 압력(액셀러레이터의 조작력)이 포함된다. 브레이크 정보에는, 브레이크의 개방도, 브레이크 페달에 대한 답입의 압력(브레이크의 조작력)이 포함된다. 예를 들어, 액셀러레이터 개방도 센서 및 액셀러레이터 페달 압력 센서의 검출 결과가, 액셀러레이터의 개방도 및 조작력으로서 읽어들여진다. 또한 브레이크 개방도 센서 및 브레이크 페달 압력 센서의 검출 결과가, 브레이크의 개방도 및 조작력으로서 읽어들여진다.

또한, 차량 정보 취득부(21)에 의해, 차량(1)의 주행 상태에 관한 주행 상태 정보가 취득된다. 주행 상태 정보로서는, 시프트 레버 정보 및 사이드 브레이크 정보가 취득된다. 이 중, 시프트 레버 정보에는, 차량(1)의 시프트 포지션의 상태를 나타내는 정보가 포함된다. 또한 사이드 브레이크 정보에는, 차량(1)의 사이드 브레이크 상태를 나타내는 정보가 포함된다. 예를 들어, 시프트 포지션 센서 및 사이드 브레이크 센서의 검출 결과가, 시프트 레버 정보 및 사이드 브레이크 정보로서 읽어들여진다.

또한, 차량 정보 취득부(21)에 의해, 핸들 조타각을 나타내는 조타각 정보가 취득된다. 예를 들어, 타각 센서의 검출 결과가, 조타각 정보로서 읽어들여진다.

또한, 차량 정보 취득부(21)에 의해, 방향 지시등의 조작에 관한 방향 지시등 정보(방향 지시기 정보)가 취득된다. 방향 지시등 정보는, 우측 및 좌측의 지시기의 온/오프를 나타내는 정보이다.

이밖에, 차량 정보 센서부(11)를 구성하는 각 센서의 검출 결과가 적절히 취득된다.

궤적 산출부(22)는 차량(1)의 예측 궤적(5) 및 통과 궤적(6)(도 2 및 도 3 참조)을 산출한다.

본 실시 형태에서는, 궤적 산출부(22)에 의해, 차량(1)의 조타각 정보, 속도 정보 및 가속도 정보에 기초하여, 차량(1)이 통과할 것으로 예측되는 예측 궤적(5)이 추정된다. 여기에서는, 예를 들어 현재의 조타각·속도·가속도에서 차량(1)이 진행한 경우에 예측되는 프론트 타이어(혹은 리어 타이어)의 궤적이 추정된다. 이때, 원심력이나 타이어의 그립력 등에 따른 보정이 적절히 실행되어도 된다.

또한 타이어의 예측 궤적(5) 대신에, 예를 들어 차량(1)의 중심 궤적 등이 추정되어도 된다.

예측 궤적(5)을 추정하는 방법은 한정되지 않고, 예를 들어 자동 운전 등에서 사용되는 궤적 예측 처리 등의 기술이 적용 가능하다.

또한, 본 실시 형태에서는, 차량(1)의 거동을 기록함으로써, 차량(1)이 통과한 통과 궤적(6)이 산출된다. 여기에서는, 차량(1)의 조타각·속도·가속도의 기록으로부터, 프론트 타이어(혹은 리어 타이어)의 통과 궤적(6)이 산출된다. 이 처리에는, 예를 들어 데드 레코닝 등의 기술을 사용하는 것이 가능하다. 혹은 GPS 측위나 WiFi 측위 등이 사용되어도 된다.

또한 예를 들어, 예측 궤적(5)을 기록하여 통과 궤적(6)으로서 사용하는 것도 가능하다.

통과 궤적(6)을 추정하는 방법은 한정되지 않고, 예를 들어 차량(1)의 궤적을 재현 가능한 임의의 처리가 사용되어도 된다.

본 실시 형태에서는, 궤적 산출부(22)는 예측 궤적 산출부 및 통과 궤적 산출부로서 기능한다.

투영 화상 결정부(23)는 투영 패턴(2)의 표시 내용이나 표시 파라미터를 결정하고, 투영 패턴(2)의 데이터를 출력한다. 이 처리는, 투영 패턴(2)의 표시를 제어하는 처리이다.

본 개시에 있어서, 투영 패턴(2)의 표시를 제어하는 처리란, 예를 들어 투영 패턴(2)의 표시 파라미터를 설정하는 처리이다. 전형적으로는, 라인 패턴(3)(도 2의 A 내지 도 2의 C 참조)의 색, 폭, 길이, 명멸 등의 파라미터가 설정된다.

투영 장치(100)에서는, 투영 화상 결정부(23)에 의해, 주변 환경 정보에 기초하여, 차량(1)에 탑재된 투영부(10)로부터 차량(1)의 주변의 노면에 투영되는 투영 패턴(2)의 표시가 제어된다. 주변 환경 정보는, 주변 환경 센서부(13)의 출력에 기초하여 후술하는 주변 환경 인식부(26)에 의해 취득되는 정보이며, 주변의 도로나 타 차량의 상황 등을 나타내는 정보이다.

상기한 바와 같이, 투영 패턴(2) 중, 제1 및 제2 패턴(여기에서는, 전방 라인(3a) 및 후방 라인(3c))에는, 차량의 좌측 및 우측에 투영되는 1쌍의 라인이 포함된다.

본 실시 형태에서는, 투영 화상 결정부(23)에 의해, 주변 환경 정보에 기초하여, 제1 패턴(전방 라인(3a)) 중 차량(1)의 레인 변경의 대상으로 되는 대상 레인 측에 투영되는 대상 라인의 표시가 제어된다.

여기서 레인 변경이란, 차선(레인)을 구획하는 경계선을 넘어, 주행 중의 레인으로부터 인접한 레인으로 이동하는 운전 조작이다. 레인 변경에는, 복수 차선을 주행 중에 차선을 변경하는 운전 조작이나, 합류 차선에 있어서 합류처의 차선에 진입하는 운전 조작, 혹은 갓길에 진입하는 운전 조작 등이 포함된다. 이러한 운전 조작의 이동처가 되는 레인이 대상 레인이 된다.

투영 화상 결정부(23)에서는, 전방 라인(3a) 중 대상 레인에 가까운 측에 투영되는 대상 라인의 표시 파라미터가, 차량(1)의 주변을 주행하는 차량 등의 정보(주변 환경 정보)를 사용하여 제어된다.

주변 환경 정보나 대상 라인의 표시 제어의 내용에 대해서는, 상세히 후술한다.

또한 투영 화상 결정부(23)에서는, 궤적 산출부(22)에 의해 산출된 차량(1)의 궤적(예측 궤적(5) 및 통과 궤적(6))을 나타내도록 라인 패턴(3)의 형상이 제어된다.

구체적으로는, 투영 화상 결정부(23)에 의해, 예측 궤적(5)을 나타내는 제1 패턴이 생성된다. 즉, 전방 라인(3a)의 형상이 예측 궤적(5)을 따른 형상으로 설정된다.

또한, 투영 화상 결정부(23)에 의해, 통과 궤적(6)을 나타내는 제2 패턴이 생성된다. 즉, 후방 라인(3c)의 형상이 통과 궤적(6)을 따른 형상으로 설정된다.

또한 전방 라인(3a)(또는 후방 라인(3c))에 있어서의, 좌측 및 우측의 라인 간격은, 차량의 차폭을 나타내도록 설정되어도 된다.

본 실시 형태에서는, 투영 화상 결정부(23)는 투영 제어부에 상당한다.

영상 데이터 생성부(24)는 투영 화상 결정부(23)로부터 출력된 투영 패턴(2)의 데이터에 기초하여, 각 투영부(10)로 출력하는 영상 데이터를 각각 생성한다.

예를 들어, 차량(1)의 상방으로부터 본 경우의 투영 패턴(2)의 형상을 나타내는 프레임 화상이 생성된다. 이 프레임 화상에 대하여 각 투영부(10)의 투영 각도 등에 따라, 투영에 수반하는 왜곡이나 밝기의 치우침 등을 보정하는 처리가 실행된다. 이와 같이 왜곡 등이 보정된 일련의 프레임 화상이, 영상 데이터가 된다.

이밖에, 투영 패턴(2)을 적정하게 투영하기 위한 임의의 화상 처리 등이 실행되어도 된다.

시선 검출부(25)는 드라이버 감시 카메라(12)에 의해 촬영된 드라이버의 화상에 기초하여, 드라이버의 시선 방향을 검출한다. 시선 방향을 검출하는 방법은 한정되지 않고, 예를 들어, 드라이버의 동공(눈의 검은 자위)의 방향으로부터 시선을 검출하는 동공법 등이 사용된다. 이밖에, 드라이버의 화상을 사용하여 시선 방향을 검출 가능한 임의의 방법이 사용되어도 된다.

또한 시선 방향 대신에, 드라이버의 얼굴의 방향 등이 검출되어도 된다. 이 경우, 드라이버가 좌우로 얼굴을 회전시킨 각도 등이 검출된다.

시선 검출부(25)로부터는, 드라이버의 시선 방향을 나타내는 시선 정보, 또는 드라이버의 얼굴 방향을 나타내는 얼굴 방향 정보가 투영 화상 결정부(23)로 출력된다.

도 5는, 주변 환경 인식부(26)의 구성예를 도시하는 블록도이다.

주변 환경 인식부(26)는 주변 환경 센서부(13)의 출력에 기초하여, 차량(1)의 주변의 환경에 관한 인식 처리를 실행한다. 그리고 차량(1)의 주변에 존재하는 물체(보행자, 타 차량, 연석 등)를 검출하고, 주변 환경에 관한 각종 정보(주변 환경 정보)를 산출한다. 즉, 주변 환경 인식부(26)는 차량의 주변의 환경에 관한 주변 환경 정보를 산출하여 취득한다.

본 실시 형태에서는, 주변 환경 인식부(26)는 취득부에 상당한다.

도 5에 도시한 바와 같이, 주변 환경 인식부(26)는 물체 검출부(30)와, 상대 속도 산출부(31)와, 레인 검출부(32)와, 공간 인식부(33)를 갖는다.

물체 검출부(30)는 주변 환경 센서부(13)의 검출 결과에 기초하여, 차량(1)의 주변 물체를 검출한다. 물체 검출부(30)로서는, 예를 들어 기계 학습 등을 사용하여 화상 인식 처리를 실행하는 학습기가 사용된다.

예를 들어, 주변 환경 센서부(13)로서 카메라가 마련되는 구성에서는, 카메라에 의해 촬영된 화상이 물체 검출부(30)에 입력된다.

이 경우, 미리 학습에 의해 생성된 참조 정보를 사용하여, 입력된 화상 중의 물체가 검출되어, 그의 속성이 특정된다. 참조 정보는, 예를 들어 물체의 종류와 특징을 대응지어서 기억한 사전 정보이다. 또한, 학습기로서 DNN(Deep Neural Network) 등이 사용되는 경우에는, 인식 모델 정보 등이 참조 정보로서 사용된다. 이 처리에서는, 차량(1)의 주변의 물체가 검출됨과 함께, 차(예를 들어 승용차, 트럭, 버스 등의 대형차와 같은 차의 종류), 자동 이륜차, 자전거, 사람 등의 물체의 속성이 특정된다. 검출된 물체에 대해서는, 예를 들어 일련 번호의 ID가 각각 부여된다.

또한, 검출된 각 물체에 대해서, 화상 중의 위치가 특정된다. 이때, 화상 중의 위치로부터 물체까지의 거리(상대 거리)가 산출되어도 된다.

물체 검출부(30)로부터는, 각 물체에 관한 ID 정보, 속성 정보, 거리 정보, 위치 정보가 출력된다.

상대 속도 산출부(31)는 물체 검출부(30)로부터 출력된 물체에 관한 정보에 기초하여, 차량(1)에 대한 물체의 상대 속도를 산출한다.

예를 들어, 각 물체에 대해서, 단위 시간당의 거리의 변화가 산출되고, 거리의 변화로부터 자차(차량(1))에 대한 상대 속도가 산출된다.

상대 속도 산출부(31)로부터는, 각 물체에 관한 ID 정보, 속성 정보, 거리 정보, 위치 정보 및 속도 정보가 출력된다.

레인 검출부(32)는 차량(1)이 주행하는 도로 상의 레인(차선)을 검출한다. 예를 들어, 차량(1)의 전후 좌우로 마련된 카메라에 의해 촬영된 도로의 화상으로부터, 에지 검출 처리 등을 사용하여 백선(도로의 통행대를 분리하는 경계선)을 인식하는 처리나 연석을 검출하는 처리가 실행된다. 이 백선이나 연석 등의 사이의 영역이 차량(1)이 주행하는 주행 레인으로서 검출된다. 이밖에, 주행 레인(40)에 인접하는 인접 레인이나, 갓길의 영역 등이 검출되어도 된다.

레인 검출부(32)로부터는, 레인의 영역을 나타내는 정보가 출력된다.

공간 인식부(33)는 물체 검출부(30) 및 레인 검출부(32)의 검출 결과에 기초하여, 차량(1)의 주변 공간의 상황을 인식한다.

구체적으로는, 레인 검출부(32)로부터 출력된 주행 레인의 정보 등으로부터 인접 레인이 특정된다. 또한 물체 검출부(30)의 출력으로부터, 인접 레인 상을 달리는 다른 차량의 위치, 크기 등의 정보가 추출된다. 그리고 추출된 정보를 사용하여, 빈 스페이스의 위치와 크기가 산출된다. 여기서 빈 스페이스란, 예를 들어 다른 차량이 존재하지 않는 스페이스이다.

또한, 빈 스페이스의 위치·크기의 정보를 사용하여, 자 차량(1)이 레인 변경(레인 체인지)할 수 있는 스페이스(즉 대상 레인에서 차량(1)이 들어갈 수 있는 이동 가능 스페이스)가 있는지가 판정된다. 이 판정 결과는, 이동 가능 스페이스 유무의 정보로서 출력된다.

또한, 자 차량(1)의 주행 레인, 이웃이나 그의 인접한 레인에 있는 물체(전형적으로는 다른 차량)의 유무를 판정하고, 각 레인에 있어서의 물체의 정보를 레인 상황 정보로서 산출한다.

공간 인식부(33)로부터는, 빈 스페이스 정보(위치·크기), 이동 가능 스페이스의 유무를 나타내는 정보, 레인 상황 정보가 출력된다.

본 실시 형태에서는, 도 5에 도시한 바와 같이, 상대 속도 산출부(31) 및 공간 인식부(33)의 출력이 주변 환경 인식부(26)의 최종적인 출력이 된다. 따라서, 주변 환경 인식부(26)로부터는, 물체에 관한 ID 정보, 속성 정보, 거리 정보(상대 거리), 위치 정보 및 속도 정보(상대 속도)에 관한 정보가 출력된다. 또한, 빈 스페이스 정보, 이동 가능 스페이스를 나타내는 정보 및 레인 상황 정보가 출력된다. 이들 정보는, 모두 주변 환경 정보에 상당한다.

또한 주변 환경 센서부(13)로서, 카메라 이외의 레이더 센서, 초음파 센서, LiDAR 센서 등이 사용되는 경우, 물체 검출부(30)에 의해 물체의 위치 및 거리가 검출되어, 검출된 물체에 ID가 부여된다. 이때, 물체의 속성 정보는 출력되지 않는다.

그리고, 상대 속도 산출부(31)에 의해, 검출된 물체의 상대 속도가 산출된다. 이 경우, 주변 환경 인식부(26)(상대 속도 산출부(31))의 출력은, 물체의 ID 정보, 거리 정보, 위치 정보 및 속도 정보가 된다. 또한 레이더 센서가 사용되는 경우에는, 그 출력으로부터 물체 검출뿐만 아니라 상대 속도도 검출 가능하다.

도 6은, 투영 장치(100)의 기본적인 동작예를 도시하는 흐름도이다. 도 6에 도시하는 처리는, 예를 들어, 투영 장치(100)의 동작 중에 반복 실행되는 루프 처리이다. 여기에서는, 차량(1)이 전진 주행을 하고 있고, 투영 패턴(2)의 투영 모드로서 통상 드라이빙 모드(또는 저속 드라이빙 모드)가 선택되어 있는 것으로 한다.

먼저, 차량 정보 취득부(21)에 의해, 속도 관련 정보가 취득된다(스텝 101).

구체적으로는, 차량(1)의 각 부에 마련된 센서로부터, 속도 관련 정보로서, 속도 정보, 가속도 정보, 액셀러레이터 정보(액셀러레이터의 개방도·조작력) 및 브레이크 정보(브레이크의 개방도·조작력)가 읽어들여진다.

또한 이때, 주행 상태 정보(시프트 레버 정보, 사이드 브레이크 정보) 및 조타각 정보 등도 읽어들여진다.

이어서, 궤적 산출부(22)에 의해, 차량(1)의 궤적(예측 궤적(5) 및 통과 궤적(6))이 산출된다(스텝 102).

여기에서는, 도 2의 A 및 도 2의 B에 도시하는 바와 같이, 전진 주행 중에 사용되는 투영 모드(통상 드라이빙 모드, 저속 드라이빙 모드)가 선택되어 있어, 차량(1)의 프론트 타이어의 예측 궤적(5) 및 리어 타이어의 통과 궤적(6)이 산출된다.

이어서, 주변 환경 인식부(26)에 의해, 주변 환경을 인식하는 각종 처리가 실행되어, 주변 환경 정보가 산출된다(스텝 103).

본 실시 형태에서는, 주변 환경 정보로서, 차량(1)의 레인 변경의 대상으로 되는 대상 레인을 포함하는 차량(1)의 주변 교통 상황을 나타내는 교통 상황 정보가 산출된다.

교통 상황 정보에는, 대상 레인의 빈 스페이스를 나타내는 정보가 포함된다. 이것은, 상기한 빈 스페이스 정보 및 이동 가능 스페이스를 나타내는 정보이다. 또한 교통 상황 정보에는, 차량(1)의 주변을 주행하는 타 차량의 배치 정보가 포함된다. 이것은, 예를 들어 속성 정보에 의해 차라고 판정된 물체의 거리 정보, 위치 정보 및 레인 상황 정보이다. 또한, 교통 상황 정보에는, 차량(1)에 대한 타 차량의 상대 속도에 관한 정보가 포함된다. 이것은, 예를 들어 차라고 판정된 물체의 속도 정보이다. 또한, 속성 정보가 검출되지 않는 경우 등에는, 간단히 물체의 위치 정보나 속도 정보가 검출된다.

도 7은, 레인 변경을 행할 때의 차량(1)의 전방 모습을 도시하는 모식도이다. 여기에서는, 차량(1)이 주행하고 있는 주행 레인(40a)이 주행 레인(40a)의 우측의 인접 레인(40b)에 합류한다. 따라서, 차량(1)의 전방에서는, 주행 레인(40a)이 서서히 좁아지고 있고, 드라이버는, 주행 레인(40a)이 없어지기 전에, 우측의 인접 레인(40b)으로 레인 변경(합류)할 필요가 있다.

주변 환경 인식부(26)에서는, 예를 들어 물체 검출부(30)에 의해, 인접 레인(40)을 주행하는 타 차량(50)이 검출된다. 여기에서는, 차량(1)의 우전방을 주행하는 트럭이 타 차량(50)으로서 검출된다. 이밖에, 차량(1)의 측방이나 후방의 타 차량(50)(도시 생략)도 검출 가능하다. 그리고 각 타 차량(50)에 관한 위치 정보, 거리 정보 등이 각각 산출된다.

또한 상대 속도 산출부(31)에 의해, 타 차량(50)의 이동량 등으로부터 차량(1)에 대한 상대 속도(속도 정보)가 산출된다.

또한 레인 검출부(32)에 의해, 레인을 나누는 경계선(51)(좌측의 실선이나 우측의 점선)이 검출되어, 주행 레인(40a)의 영역을 나타내는 정보가 산출된다.

또한 공간 인식부(33)에 의해, 주행 레인(40a)의 영역에 인접하는 인접 레인(40b)이 검출되어, 인접 레인(40b)에 있어서의 타 차량(50)의 위치 정보 등에 기초하여, 빈 스페이스(52)(도면 중의 사선의 영역)의 위치 및 크기가 산출된다.

또한 공간 인식부(33)에서는, 차량(1)이 이동 가능한 위치에 충분한 크기의 빈 스페이스(52)가 존재하는지의 여부가 판정된다. 도 7에 도시하는 예에서는, 예를 들어 우전방의 타 차량(50)과의 거리가 가까워, 차량(1)이 들어갈 스페이스가 없다(이동 가능 스페이스가 없다)고 판정된다.

또한 공간 인식부(33)에서는, 인접 레인(40b)에 있어서의 타 차량(50)의 정보(공간 배치 등)를 나타내는 레인 상황 정보가 산출된다.

도 6으로 되돌아가서, 투영 화상 결정부(23)에 의해, 레인 변경의 예비 동작이 검출된다(스텝 104). 레인 변경의 예비 동작이란, 예를 들어 드라이버가 레인 변경을 하기 직전에 행하는 동작이며, 레인 변경을 하는 측(도 7에서는 우측)을 눈으로 보기 위하여 시선 혹은 헤드부를 움직이는 동작이다.

본 실시 형태에서는, 도 4에 도시하는 시선 검출부(25)에 의해, 드라이버의 시선 방향 또는 얼굴의 방향이 상시 모니터링된다. 투영 화상 결정부(23)는 시선 검출부(25)의 검출 결과에 기초하여, 드라이버의 시선 이동을 추적하고, 사이드미러 너머 또는 직접 눈으로 봐서, 좌측방 혹은 우측방을 확인하는 동작(레인 변경의 예비 동작)의 유무가 검출된다.

또한, 예비 동작이 검출된 경우에는, 동시에 드라이버가 눈으로 보아 확인한 확인 방향(좌측 및 좌측)을 나타내는 정보가 산출된다.

이어서, 레인 변경의 예비 동작이 검출되었는지의 여부가 판정된다(스텝 105).

예를 들어, 예비 동작이 검출되지 않은 경우(스텝 105의 "아니오"), 투영 화상 결정부(23)에서는, 투영 패턴(2)에 관한 통상 표시 처리가 실행된다(스텝 106).

통상 표시 처리란, 예를 들어 레인 변경을 행하지 않는 경우에 사용되는 표시 처리이다. 이 처리에서는, 전방 라인(3a) 및 후방 라인(3c)을 구성하는 좌우의 각 라인이 동일한 표시 파라미터(색, 폭, 길이, 명멸)로 설정된다.

예비 동작이 검출된 경우(스텝 105의 "예"), 투영 화상 결정부(23)에서는, 투영 패턴(2)에 관한 레인 변경 표시 처리가 실행된다(스텝 107).

레인 변경 표시 처리는, 레인 변경이 행하여지는 경우에 사용되는 표시 처리이다. 구체적으로는, 전방 라인(3a)(제1 패턴) 중 레인 변경의 대상으로 되는 대상 레인 측에 투영되는 대상 라인의 표시 파라미터가, 상기한 교통 상황 정보(주변 환경 정보)에 따라서 설정된다.

도 7에 도시하는 예에서는, 주행 레인(40a)의 우측의 인접 레인(40b)이 대상 레인(41)이 된다. 또한 전방 라인(3a) 중, 대상 레인(41)에 가까운 우측의 라인이 대상 라인(53)이 된다.

이와 같이, 본 실시 형태에서는, 시선 방향의 변화에 기초하여, 대상 라인(53)의 표시 제어를 실행할지의 여부가 판정된다.

또한, 예비 동작을 검출하는 방법은 한정되지 않는다. 예를 들어 일정 이상의 속도로 행해지는 방향 지시등 조작 등이 예비 동작으로서 검출되어도 된다. 또한, 시선 방향의 변화와 방향 지시등 조작의 양쪽이 예비 동작으로서 검출되어도 된다. 예를 들어 시선 방향의 변화가 검출되고 나서 일정 시간 내에 방향 지시등 조작이 검출되지 않은 경우에는, 레인 변경 표시 처리를 통상 표시 처리로 전환해도 된다. 이에 의해, 전방 라인(3a)을 불필요하게 변화시킨다고 하는 사태가 회피된다.

레인 변경 표시 처리의 내용에 대하여 구체적으로 설명한다.

본 실시 형태에서는, 교통 상황 정보에 기초하여 차량(1)의 레인 변경에 수반하는 변경 리스크가 추정된다. 변경 리스크는, 예를 들어 차량(1)이 레인 변경을 행한 경우에, 타 차량(50)과의 접촉이나 충돌 등이 발생할 가능성을 나타내는 파라미터이다.

예를 들어, 차량(1)이 레인 변경을 하는 것이 가능한 빈 스페이스(52)(이동 가능 스페이스)가 존재한 경우, 변경 리스크는 낮게 설정된다. 한편 이동 가능 스페이스가 작을수록, 혹은 이동 가능 스페이스가 이격되어 있을수록, 변경 리스크는 높게 설정된다. 또한, 이동 가능 스페이스가 존재하지 않는 경우, 이동 가능 스페이스가 존재하는 경우에 비해 높게 설정된다.

또한 예를 들어, 인접 레인(40)에 있어서, 타 차량(50)이 검출되어 있는 경우, 타 차량(50)과의 거리가 가까울수록 변경 리스크는 높게 설정된다. 또한 후방에 존재하는 타 차량(50)과의 상대 속도가 클수록, 변경 리스크는 높게 설정된다. 반대로 전방에 존재하는 타 차량(50)과의 상대 속도가 클수록, 변경 리스크는 낮게 설정된다. 또한 측방에 타 차량이 존재하는 경우에는, 후방이나 전방에만 타 차량(50)이 존재하는 경우에 비해 높게 설정된다.

변경 리스크로서는, 예를 들어 각 항목마다 산출된 합산값이 사용된다.

혹은, 타 차량(50)의 배치나 상대 속도로부터 비용 맵 등이 생성되어, 이동 가능 스페이스에 있어서의 비용의 값이 변경 리스크로서 추정되어도 된다.

또한, 타 차량(50)의 방향 지시등 등의 정보나 이동 예측의 정보 등이 사용되어도 된다.

또한, 대상 레인(41)의 상황에 추가로, 차량(1)으로부터 보아서 대상 레인(41)의 안쪽측에 인접하는 레인 등의 상황에 따라서 변경 리스크가 추정되어도 된다.

이밖에, 변경 리스크를 추정하는 방법은 한정되지 않고, 예를 들어 타 차량(50)과의 접촉이나 충돌의 가능성을 추정 가능한 임의의 방법이 사용되어도 된다.

투영 화상 결정부(23)에서는, 변경 리스크에 기초하여 대상 라인(53)의 색 또는 명멸을 제어하는 처리가 실행된다. 구체적으로는, 변경 리스크에 대응하는 색이, 대상 라인(53)의 색으로서 설정된다. 혹은, 변경 리스크가 일정한 값을 초과한 경우 등에, 대상 라인(53)을 명멸시키라는 취지의 지시가 출력된다. 이 경우, 명멸의 속도 등이 변경 리스크에 따라서 설정되어도 된다.

이에 의해, 레인 변경의 운전 조작을 충분히 서포트하는 것이 가능하게 되어, 레인 변경의 안전성을 대폭으로 높이는 것이 가능하게 된다.

도 8은, 레인 변경을 행할 때에 투영되는 전방 라인(3a)의 일례를 도시하는 모식도이다. 도 8의 A 내지 도 8의 C에 도시하는 전방 라인(3a)은, 레인 변경의 예비 동작이 검출된 경우에 투영된다. 여기에서는, 전방 라인(3a) 중 차량(1)의 우측(도면 중의 상측)에 투영되는 라인이 대상 라인(53)으로 되어 있다.

도 8의 A는, 레인 변경이 안전한 경우에 투영되는 전방 라인(3a)이다. 이 경우, 대상 라인(53)의 색은, 예를 들어 녹색으로 설정된다. 또한 대상 라인(53)의 반대측 라인(차량(1)의 좌측 라인)은 예를 들어 통상 표시 처리에서 사용되는 색(백색 등)으로 설정된다. 이것은, 도 8의 B 및 도 8의 C에서도 마찬가지이다.

도 8의 B는, 레인 변경에 주의가 필요한 경우에 투영되는 전방 라인(3a)이다. 이 경우, 대상 라인(53)의 색은, 예를 들어 주황색(주황색)으로 설정된다.

도 8의 C는, 레인 변경이 위험한 경우에 투영되는 전방 라인(3a)이다. 이 경우, 대상 라인(53)의 색은, 예를 들어 적색으로 설정된다.

레인 변경의 안전 레벨(안전·주의·위험 등)은 예를 들어, 상기한 변경 리스크에 관한 역치 처리를 실행함으로써 판정된다. 예를 들어, 변경 리스크가 그의 최댓값의 0％ 내지 30％인 경우에는 안전 레벨이 "안전"으로 판정되고, 변경 리스크가 30％ 내지 70％인 경우에는 안전 레벨이 "주의"로 판정되고, 변경 리스크가 70％ 내지 100％인 경우에는 안전 레벨이 "위험"으로 판정된다. 물론, 변경 리스크를 판정하는 범위 등은 임의로 설정 가능하다.

이와 같이, 본 실시 형태에서는, 변경 리스크를 복수의 레벨로 나누어서 판정하고, 판정된 레벨마다 대상 라인(53)이 다른 색으로 설정된다. 이에 의해, 드라이버는 전방을 본 채로 레인 변경의 안전 레벨을 용이하게 인식하는 것이 가능하게 된다.

또한 대상 라인(53)의 색을 변화시키는 제어에 추가로, 명멸 등이 제어되어도 된다. 이 경우, 변경 리스크가 어떤 값을 초과한 경우에는, 대상 라인(53)을 명멸시킨다고 하는 처리가 실행된다. 이에 의해, 드라이버에 대하여 레인 변경의 안전 레벨을 확실하게 알리는 것이 가능하게 된다.

이밖에, 변경 리스크에 따라, 대상 라인(53)의 폭이나 길이를 변경한다고 하는 처리가 행해져도 된다.

또한 전방 라인(3a)의 대상 라인(53)에 추가로, 중앙 라인(3b)나 후방 라인(3c)의 표시가 제어되어도 된다. 구체적으로는, 대상 라인(53)과 동일한 측, 즉 레인 변경의 대상 레인(41) 측에 투영되는 중앙 라인(3b) 및 후방 라인(3c)의 표시가 제어된다.

예를 들어, 레인 변경의 예비 동작이 검출된 시점에서, 중앙 라인(3b) 및 후방 라인(3c)의 대상 레인(41) 측의 라인이 주황색으로 명멸 표시된다. 이것은, 예를 들어 방향 지시등에 의한 방향 지시와 마찬가지의 사인으로서 기능하고, 타 차량(50)에 대하여 차량(1)이 레인 변경을 행한다는 취지를 전하는 것이 가능하게 된다.

이밖에, 중앙 라인(3b) 및 후방 라인(3c)의 색 등을 변경 리스크에 따라서 변화시키는 제어가 실행되어도 된다.

도 6으로 되돌아가서, 통상 표시 처리, 또는 레인 변경 표시 처리가 완료되면, 영상 데이터 생성부(24)에 의해, 라인 패턴(3)(전방 라인(3a) 및 후방 라인(3c))의 데이터에 기초하여, 각 투영부(10)로 출력하는 영상 데이터가 생성된다(스텝 108). 예를 들어, 라인 패턴(3)을 나타내는 프레임 화상이 생성된다. 이 프레임 화상에 대하여 투영부(10)의 투영 각도 등에 따른 보정 처리를 실행함으로써 영상 데이터가 생성된다. 생성된 영상 데이터는, 각 투영부(10)에 각각 출력된다.

그리고 차량(1)에 마련된 각 투영부(10)에 의해, 영상 데이터에 기초하여 대응하는 라인 패턴(3)이 각각 투영된다(스텝 109). 예를 들어, 도 1에 도시하는 투영부(10a 및 10e)에 의해 전방 라인(3a)이 투영되고, 투영부(10b, 10c, 10f, 10g)에 의해 중앙 라인(3b)이 투영되고, 투영부(10d 및 10h)에 의해 후방 라인(3c)이 투영된다.

도 9는, 합류 차선에 있어서의 레인 변경의 일례를 도시하는 모식도이다. 도 9의 A 내지 도 9의 D에는, 본선에 접속되는 진입 레인으로부터, 차량(1)이 본선에 합류하기 위한 레인 변경을 행하는 과정이 4단계로 나누어서 차례로 도시되어 있다. 또한 도면 중의 점선은, 예를 들어 차량(1)의 헤드라이트가 조사되는 범위를 나타내고 있다.

도 9의 A에서는, 진입 레인(주행 레인(40a))을 주행하고 있는 차량(1)이, 진입 레인과 본선이 접속하는 합류 구간에 진입하고 있다. 본선은 2차선의 도로이며, 여기에서는, 본선 좌측의 레인(인접 레인(40b))이 레인 변경의 대상으로 되는 대상 레인(41)이 된다.

합류 구간에 진입한 단계에서는, 레인 변경의 예비 동작이 검출되고 있지 않고, 차량(1)의 투영 패턴(2)은 통상 표시 처리에 의해 설정된 패턴이다. 예를 들어 전방 라인(3a)은 백색, 중앙 라인(3b)은 청색, 후방 라인(3c)은 적색으로 설정된다.

도 9의 B에서는, 레인 변경의 예비 동작이 검출되어, 레인 변경 표시 처리가 개시되어 있다. 이때, 드라이버가 시선을 향한 방향이나 방향 지시등의 지시 방향으로부터, 인접 레인(40b)이 대상 레인(41)으로서 설정된다.

또한 대상 레인(41)에 있어서 차량(1)의 우전방을 주행하는 타 차량(50a)과 우후방을 주행하는 타 차량(50b)이 검출된다. 이때, 차량(1)의 우측에는 이동 가능 스페이스가 있지만, 타 차량(50b)과의 거리가 비교적 가깝기 때문에, 변경 리스크는 주의 레벨이라고 판정된다. 따라서, 대상 라인(53)은 주황색으로 설정된다(도 8의 B 참조).

한편, 전방 라인(3a)의 대상 라인(53)의 반대측 라인은, 통상의 표시색(백색)으로 설정된다.

또한, 레인 변경 표시 처리가 개시되었기 때문에, 중앙 라인(3b) 및 후방 라인(3c)도 주황색으로 변경된다.

도 9의 C에서는, 그때까지 우후방에 있었던 타 차량(50b)이, 차량(1)의 측방을 주행하고 있다. 이 때문에, 차량(1)이 레인 변경을 행하면 충돌할 가능성이 높다. 이 때문에, 변경 리스크는 위험 레벨이라고 판정된다. 따라서, 대상 라인(53)은 적색으로 설정된다(도 8의 C 참조).

이와 같이, 레인 변경을 하는 측에 빨간 대상 라인(53)이 투영되기 때문에, 드라이버는 시선을 전방으로 향한 채, 레인 변경이 위험함을 인식 가능하게 된다.

도 9의 D에서는, 그때까지 측방에 있었던 타 차량(50b)이, 차량(1)을 앞질러서 우전방을 주행하고 있다. 또한 타 차량(50b)의 후방에는, 타 차량(50c)이 검출된다. 여기에서는 타 차량(50c)의 위치가 충분히 멀고 또한 상대 속도도 낮은 것으로 하여, 변경 리스크는 안전 레벨이라고 판정된다. 따라서, 대상 라인(53)은 녹색으로 설정된다(도 8의 C 참조).

이에 의해, 드라이버는, 시선 방향을 바꿀 일 없이 레인 변경이 가능한 상태로 된 것을 확인하는 것이 가능하게 된다.

또한 도 9의 D에서는, 대상 라인(53) 중, 합류 구간 내에 투영되는 부분(즉 주행 레인(40a)의 말단까지의 부분)의 색이 녹색으로 설정되고, 그것보다도 앞의 부분은 다른 색(예를 들어 주황색)으로 설정된다. 합류 구간 내에 투영되는 부분은, 차량(1)이 주행 가능한 부분이다. 또한 합류 구간보다도 앞의 부분은, 차량(1)을 주행할 수 없는 부분이다.

예를 들어 전방 라인(3a)을 촬영한 화상에 있어서 전방 라인(3a)이 장해물(가드레일 등)에 의해 왜곡된 위치를 검출함으로써, 주행 가능한 범위가 검출된다(도 19 참조). 혹은, 주변의 지도 정보와 GPS 측위의 정보 등으로부터 주행 가능한 범위가 검출되어도 된다.

또한, 도 9의 D에서는, 대상 라인(53)과 반대측의 라인도 마찬가지의 방법으로 구분된다.

이와 같이, 본 실시 형태에서는, 대상 라인(53)을 차량(1)을 주행할 수 있는 부분과 차량(1)을 주행할 수 없는 부분으로 구분된다. 그리고, 차량(1)을 주행할 수 있는 부분에 대하여 변경 리스크에 따른 표시의 제어가 적용된다.

이에 의해, 합류 구간의 종료 위치까지의 거리 등을, 드라이버에게 제시하는 것이 가능하게 되어, 레인 변경의 타이밍 등을 가늠하는 서포트를 행하는 것이 가능하게 된다.

이상, 본 실시 형태에 관계되는 컨트롤러(20)에서는, 차량(1)에 마련된 투영부(10)로부터 주변의 노면에 투영 패턴(2)이 투영된다. 이 투영 패턴(2)의 표시가 차량(1)의 주변의 환경에 관한 주변 환경 정보에 기초하여 제어된다. 이에 의해, 예를 들어 차량(1)이 두어진 상황 등을, 투영 패턴(2)을 통하여 차량(1)의 내외에 제시하는 것이 가능하게 되어, 운전 시의 안전성을 높이는 것이 가능하게 된다.

자동차를 운전 중, 차선의 변경이나 합류를 행하는 경우, 전방의 확인을 하면서, 측방이나 경사 후방의 차량과의 거리와 상대 속도를 파악하고, 차선 변경의 타이밍을 결정할 필요가 있다. 또한 교통 상황에 따라서는 이러한 작업을 순시에 행할 필요가 있다. 예를 들어 야간에는, 상대 속도를 순간적으로 판단하는 것이 어려울 경우가 있을 수 있다. 한편 측방이나 경사 후방을 주시하고 있으면, 전방 확인이 소홀하게 되어, 교통 사고나 아찔한 사고로 이어질 위험성이 있다. 이러한 차선 변경 시의 위험성을 저감하는 방법으로서, 전자 미러나, 차 내의 인스트루먼트 패널 상에 경고나 상대 속도 등을 표시하는 방법도 생각할 수 있지만, 모두 시선의 이동을 수반하여, 여전히 전방의 안전 확인이 소흘해질 우려가 있다.

본 실시 형태에서는, 차량(1)이 주행하는 주변 환경 정보를 사용하여, 레인 변경의 대상으로 되는 측에 투영되는 전방 라인(3a)의 표시가 제어된다. 전방 라인(3a)은, 드라이버의 정면에 투영되어 있기 때문에, 드라이버는 전방을 주시한 채, 후방 차량의 유무나, 거리, 상대 속도 등을 드라이버 확인하는 것이 가능하게 되어, 안전한 차선 변경이나 합류를 많은 사람들에게 제공하는 것이 가능하게 된다.

<제2 실시 형태>

본 기술에 관계되는 제2 실시 형태의 투영 장치에 대하여 설명한다. 이 이후의 설명에서는, 상기 실시 형태에서 설명한 투영 장치(100)에 있어서의 구성 및 작용과 마찬가지의 부분에 대해서는, 그 설명을 생략 또는 간략화한다.

노면 표시 장치(후속차에의 주의

차륜의 궤적을 노면에 표시함으로써, 운전자의 과제를 해결함

도 10은, 제2 실시 형태에 관계되는 투영 장치의 구성예를 도시하는 블록도이다.

본 실시 형태에서는, 주변 환경 정보를 사용한 투영 패턴(2)의 표시 제어로서, 차량(1)의 후속 차량에 관한 정보(후속 차량 정보)로부터 추정된 충돌 리스크에 따라, 주행 방향의 후방에 투영되는 제2 패턴의 표시가 단계적으로 제어된다.

도 10에 도시하는 바와 같이, 투영 장치(200)는 투영부(210)와, 차량 정보 센서부(211)와, 주변 환경 센서부(213)와, 기억부(215)와, 컨트롤러(220)를 갖는다. 이 중, 투영부(210), 차량 정보 센서부(211) 및 기억부(215)는 예를 들어 도 4에 도시하는 투영부(10), 차량 정보 센서부(11) 및 기억부(15)와 마찬가지로 구성된다.

주변 환경 센서부(213)는 차량(1)의 주변의 환경의 상태를 검출하는 센서를 갖는다.

본 실시 형태에서는, 주변 환경 센서부(213)로서, 차량(1)의 후방 물체를 검출하기 위한 후방 센서(차량(1)의 후방부에 설치된 후방 카메라, 레이더 센서, 초음파 센서, LiDAR 센서 등)가 마련된다.

이밖에, 도 4에 도시하는 주변 환경 센서부(213)와 마찬가지의 센서(전방 카메라나 측방 카메라 등)가 마련되어도 된다.

컨트롤러(220)는 투영 장치(200)가 갖는 각 블록의 동작을 제어한다. 본 실시 형태에서는, 컨트롤러(220)의 CPU가, 기억부(215)에 기억된 본 실시 형태에 관계되는 프로그램을 실행함으로써, 기능 블록으로서, 차량 정보 취득부(221), 궤적 산출부(222), 투영 화상 결정부(223), 영상 데이터 생성부(224) 및 주변 환경 인식부(226)가 실현된다.

이 중, 차량 정보 취득부(221), 궤적 산출부(222) 및 영상 데이터 생성부(224)는 예를 들어 도 4에 도시하는 차량 정보 취득부(21), 궤적 산출부(22) 및 영상 데이터 생성부(24)와 마찬가지로 구성된다.

투영 화상 결정부(223)는 투영 패턴(2)의 표시 내용이나 표시 파라미터를 결정하고, 투영 패턴(2)의 데이터를 출력한다.

본 실시 형태에서는, 투영 화상 결정부(223)는 후속 차량 정보에 기초하여 상기 후속 차량과의 충돌 리스크를 추정하고, 상기 충돌 리스크에 따라서 제2 패턴을 불연속으로 변화시킨다.

여기서, 후속 차량 정보란, 차량(1)의 후방을 주행하는 후속 차량에 관한 정보이며, 후술하는 주변 환경 인식부(226)에 의해 산출되는 주변 환경 정보이다.

또한 충돌 리스크란, 후속 차량이 차량(1)에 충돌할 가능성 등을 나타내는 파라미터이다.

투영 화상 결정부(223)에서는, 예를 들어 충돌 리스크의 레벨에 맞춰서 제2 패턴의 표시 파라미터가 단계적으로 변화되도록 설정된다.

도 11은, 주변 환경 인식부(226)의 구성예를 도시하는 블록도이다.

주변 환경 인식부(226)는 주변 환경 센서부(213)의 출력에 기초하여, 차량(1)의 주변 환경에 관한 인식 처리를 실행한다. 그리고 차량(1)의 주변에 존재하는 물체(보행자, 타 차량, 연석 등)를 검출하고, 물체에 관한 각종 정보를 산출한다.

주변 환경 인식부(226)는 물체 검출부(230)와, 상대 속도 산출부(231)를 갖는다. 물체 검출부(230)는 차량(1)의 주변 물체 거리 정보나 위치 정보 등을 검출한다. 상대 속도 산출부(231)는 각 물체의 차량(1)에 대한 상대 속도를 검출한다.

물체 검출부(230) 및 상대 속도 산출부(231)는 예를 들어 도 4에 도시하는 물체 검출부(30) 및 상대 속도 산출부(31)와 마찬가지로 구성된다.

본 실시 형태에서는, 물체 검출부(230)에 의해 차량(1)의 주변의 물체 중, 특히 차량(1)의 후방의 후속 차량이 검출되고, 그의 거리 정보나 위치 정보가 산출된다. 그리고 상대 속도 산출부(231)에 의해, 후속 차량의 상대 속도가 산출된다.

즉, 주변 환경 인식부(226)에서는, 후방 카메라 등의 검출 결과에 기초하여, 차량(1)의 후속 차량에 관한 후속 차량 정보가 산출된다. 따라서, 주변 환경 인식부(226)는 후속 차량 정보를 산출하여 취득한다. 후속 차량 정보에는, 후속 차량의 ID 정보, 속성 정보, 차간 거리를 나타내는 거리 정보(또는 상대 위치를 나타내는 위치 정보) 및 상대 속도를 나타내는 속도 정보가 포함된다. 또한 후속 차량에는, 자동차, 자동 이륜차 및 자전거 등이 포함된다.

도 12는, 투영 장치(200)의 기본적인 동작예를 도시하는 흐름도이다. 도 13은, 충돌 리스크에 따른 후방 패턴의 일례를 도시하는 모식도이다.

도 13에 도시하는 처리는, 예를 들어, 투영 장치(200)의 동작 중에 반복 실행되는 루프 처리이다. 또한 이 처리는, 후속 차량이 검출된 경우나, 후속 차량의 상대 속도가 빠른 경우, 혹은 후속 차량과의 차간 거리가 가까운 경우 등에 실행되어도 된다.

먼저, 차량 정보 취득부(221)에 의해, 속도 관련 정보가 취득되고(스텝 201), 그 후, 궤적 산출부(222)에 의해, 차량(1)의 궤적(예측 궤적(5) 및 통과 궤적(6))이 산출된다(스텝 202). 그리고, 주변 환경 인식부(226)에 의해, 후속 차량이 검출되어 후속 차량 정보가 산출된다(스텝 203).

이어서, 투영 화상 결정부(223)에 의해, 충돌 리스크가 추정된다(스텝 204).

충돌 리스크는, 예를 들어 후속 차량과의 상대 거리가 가까울수록, 또한 후속 차량과의 상대 속도가 빠를수록 높은 값으로 설정된다. 일례로서, 상대 속도/상대 거리가 충돌 리스크로서 산출된다. 혹은, 상대 거리 및 상대 속도의 어느 한쪽으로부터 충돌 리스크가 산출되어도 된다. 또한 브레이크 정보 등을 참조하여 자 차량(1)의 감속량 등을 가미한 충돌 리스크가 산출되어도 된다.

이어서, 충돌 리스크가 제1 역치 이상인지의 여부가 판정된다(스텝 205). 제1 역치는, 예를 들어 충돌 리스크가 비교적 높은 경우를 검출하기 위한 역치이다. 제1 역치는, 예를 들어 충돌 리스크의 최댓값 30％ 내지 50％ 정도의 값으로 설정된다.

이밖에, 제1 역치는 적절히 설정 가능하다.

충돌 리스크가 제1 역치 미만인 경우(스텝 205의 "아니오"), 투영 화상 결정부(223)에 의해, 통상 표시로 제2 패턴을 투영한다는 취지가 결정된다(스텝 206). 통상 표시란, 통상의 브레이크 조작에 있어서의 표시 방법(통상 표시 처리)이다.

도 13의 A에는, 통상 표시에 있어서의 제2 패턴(후방 라인(3c))의 표시예가 모식적으로 도시되어 있다. 여기에서는, 비교적 가는 폭으로 설정된 후방 라인(3c)이 투영된다. 또한 후방 라인(3c)은, 예를 들어 브레이크 램프(35)와 동 계통의 적색으로 설정된다.

도 12로 되돌아가서, 충돌 리스크가 제1 역치 이상인 경우(스텝 205의 "예"), 충돌 리스크가 제2 역치 이상인지의 여부가 판정된다(스텝 207). 제2 역치는, 예를 들어 충돌 리스크가 충분히 높은 상태를 검출하는 역치이다. 예를 들어 충돌 리스크의 최댓값 50％ 이상의 값이 제2 역치로서 설정된다.

이밖에, 제2 역치는 적절히 설정 가능하다.

충돌 리스크가 제2 역치 미만인 경우(스텝 207의 "아니오"), 투영 화상 결정부(223)에 의해 제2 패턴의 폭을 비교적 굵은 고정 폭으로 표시한다는 취지가 결정된다(스텝 208). 이 방법은, 제2 패턴을 정적으로 강조하여 표시하는 방법이라고 할 수 있다.

예를 들어 제2 패턴의 폭이 최대폭으로 설정된다. 혹은, 제2 패턴의 폭이 최대폭의 90％가 80％ 정도의 폭으로 설정되어도 된다.

도 13의 B에는, 굵은 폭으로 표시된 제2 패턴(후방 라인(3c))의 표시예가 모식적으로 도시되어 있다. 여기에서는, 통상 표시보다도 굵은 고정 폭으로 설정된 후방 라인(3c)이 투영된다. 이에 의해, 브레이크 램프(35)에 추가로 굵은 후방 라인(3c)이 투영되기 때문에, 차량(1)에 대한 충돌 리스크가 높아져 있는 것을 후속 차량에 강조하여 전하는 것이 가능하게 된다.

도 12로 되돌아가서, 충돌 리스크가 제2 역치 이상인 경우(스텝 207의 "예"), 투영 화상 결정부(223)에 의해, 명멸 표시로 제2 패턴을 투영한다는 취지가 결정된다(스텝 209).

명멸 표시란, 제2 패턴을 명멸시켜서 표시시키는 표시 방법이며, 제2 패턴을 동적으로 강조하여 표시하는 방법이라고 할 수 있다.

도 13의 C에는, 명멸 표시에 있어서의 제2 패턴(후방 라인(3c))의 표시예가 모식적으로 도시되어 있다. 명멸 표시에서는, 예를 들어 후방 라인(3c)의 폭이 도 13의 B의 고정 폭과 동일하거나, 그 이상의 폭으로 설정된다. 그리고 후방 라인(3c)의 적어도 일부가 명멸하도록 표시된다. 또한 후방 라인(3c)의 일부가 명멸하는 경우, 명멸하는 부분이 이동하는 표시도 가능하다. 즉 후방 라인(3c)은, 애니메이션으로서 표시되어도 된다. 이에 의해, 브레이크 램프(35)에 추가로 명멸하는 후방 라인(3c)이 투영되기 때문에, 차량(1)에 충돌할 위험성이 있는 것을 충분히 강조하여 전하는 것이 가능하게 된다. 이 결과, 후속 차량 등에 대하여 효과적으로 주의를 환기시키는 것이 가능하게 된다.

도 12로 되돌아가서, 스텝 206, 스텝 208 및 스텝 209에 있어서, 제2 패턴의 표시가 설정된 후, 영상 데이터 생성부(224)에 의해, 설정된 데이터에 기초하여 각 투영부(210)로 출력하는 영상 데이터가 생성된다(스텝 210). 그리고, 차량(1)에 마련된 각 투영부(210)에 의해, 영상 데이터에 기초하여 대응하는 라인 패턴(3)이 각각 투영된다(스텝 211).

이와 같이, 본 실시 형태에서는, 투영 화상 결정부(223)는 충돌 리스크가 제1 역치 이상이고 또한 제1 역치보다도 큰 제2 역치 미만인 경우, 제2 패턴의 폭을 크게 하고, 충돌 리스크가 제2 역치 이상인 경우, 제2 패턴을 명멸시킨다.

이에 의해, 후속 차량에 대하여 전방에 있는 차량(1)과의 충돌의 가능성을 알기 쉽게 전하는 것이 가능하게 된다.

충돌 리스크를 산출할 때에 브레이크 조작의 정도 등이 사용되어도 된다. 예를 들어, 브레이크의 강도가 클수록, 차량(1)의 감속도가 상승하기 때문에, 충돌 리스크가 높게 설정된다. 이에 의해, 후속 차량과의 충돌 등을 충분히 회피하는 것이 가능하게 된다.

도 12에 도시하는 동작예에서는, 충돌 리스크에 따른 제2 패턴의 불연속의 표시 제어에 대하여 설명하였다. 충돌 리스크 대신에, 예를 들어 차량(1)에 있어서의 브레이크 조작의 정도에 따라, 제2 패턴을 불연속으로 제어하는 것도 가능하다.

구체적으로는, 투영 화상 결정부(223)에 의해, 드라이버가 행한 브레이크 조작의 정도가 추정된다. 그리고, 브레이크 조작의 정도에 따라서 후방 패턴의 표시를 단계적으로 변화시키는 처리가 실행된다. 이 처리는, 예를 들어 도 12에 도시하는 처리를, 충돌 리스크 대신에 차량(1)의 브레이크 조작의 정도를 사용하여 실행하는 처리이다.

또한 도 12 등을 참조하여 설명한 처리에서는, 후속 차량에의 경고 표시가 되는 패턴(후방 라인)이 전환하여 표시되었다. 이것에 추가로, 예를 들어 후속 차량을 향해서, 지향성 스피커 등을 사용하여 경고음을 발하는 것도 가능하다. 이 경우, 명멸 표시 등의 경고와 함께, 청각적인 경고음이 전달되기 때문에, 브레이크 조작이나 충돌 리스크를 효과적으로 전하는 것이 가능하게 된다.

신호나 정체의 최후미 등에 있어서, 정지한 자동차에 후속 차량이 충돌한다고 하는 사고가 보고되고 있다. 이러한 사고를 방지하는 대책으로서, 「펌핑 브레이크 조타로 브레이크 램프를 점멸시킨다」라고 하는 조작이나, 「해저드 램프를 켠다」라고 하는 조작이, 자기 방위 수단으로서 권장되고 있다. 이러한 조작을 자동화하는 방법으로서, 예를 들어, 후속 차량을 감시하고, 추돌의 위험이 있는 경우에는, 자동적으로 해저드 램프를 점멸시킨다고 하는 방법이 생각된다. 한편 이러한 조작은, 충분한 효과를 발휘하지 않는 경우도 있어, 후속차의 드라이버에게 자 차량이 정지하고 있음을 알아 차리게 하는, 효과적인 경고 방법 등이 요구되고 있다.

본 실시 형태에서는, 주행하는 차량(1)의 후방에 차륜의 궤적 등을 표시하는 후방 라인(3c)(제2 패턴)이 투영된다. 이 제2 패턴이, 후속 차량과의 충돌 리스크에 따라, 선 폭을 굵게 하는 표시(도 13의 B 참조)나, 명멸 표시(도 13의 C 참조)로 전환된다. 이와 같이, 정적인 표시뿐만 아니라, 동적인 표시를 사용하여, 후속 차량의 드라이버에게 전방에 대한 주의를 촉구하는 것이 가능하게 된다. 이에 의해, 후속 차량과의 충돌 등의 발생을 충분히 회피하는 것이 가능하게 된다.

<제3 실시 형태>

본 실시 형태에서는, 차량(1)의 진행 방향의 전방에 투영되는 제1 패턴(전형적으로는, 전방 라인(3a))으로서, 차량(1)의 차폭을 나타내는 1쌍의 라인 패턴(3)이 투영된다. 따라서, 제1 패턴은, 차폭의 연장선으로서 기능한다. 그리고 차폭에 대응하는 라인 패턴(3)의 표시가, 차량(1)과 그 주변의 물체의 위치 관계에 기초하여 제어된다.

이와 같이, 차폭의 연장선을 노면에 표시함으로써, 주변의 물체와의 거리 등을 알기 쉽게 제시하는 것이 가능하게 되어, 운전자의 차폭 인식을 보조하는 것이 가능하게 된다.

도 14는, 제3 실시 형태에 관계되는 투영 장치의 구성예를 도시하는 블록도이다.

도 14에 도시하는 바와 같이, 투영 장치(300)는 투영부(310)와, 차량 정보 센서부(311)와, 주변 환경 센서부(313)와, 기억부(315)와, 컨트롤러(320)를 갖는다. 이 중, 투영부(310), 차량 정보 센서부(311), 주변 환경 센서부(313) 및 기억부(315)는 예를 들어 도 4에 도시하는 투영부(10), 차량 정보 센서부(11), 주변 환경 센서부(13) 및 기억부(15)와 마찬가지로 구성된다.

컨트롤러(320)는 투영 장치(300)가 갖는 각 블록의 동작을 제어한다. 본 실시 형태에서는, 컨트롤러(320)의 CPU가, 기억부(315)에 기억된 본 실시 형태에 관계되는 프로그램을 실행함으로써, 기능 블록으로서, 차량 정보 취득부(321), 궤적 산출부(322), 투영 화상 결정부(323), 영상 데이터 생성부(324) 및 주변 환경 인식부(326)가 실현된다.

이 중, 차량 정보 취득부(321), 궤적 산출부(322) 및 영상 데이터 생성부(324)는 예를 들어 도 4에 도시하는 차량 정보 취득부(21), 궤적 산출부(22) 및 영상 데이터 생성부(24)와 마찬가지로 구성된다.

투영 화상 결정부(323)는 투영 패턴(2)의 표시 내용이나 표시 파라미터를 결정하고, 투영 패턴(2)의 데이터를 출력한다.

본 실시 형태에서는, 투영 화상 결정부(323)에 의해, 전방 라인(3a)(제1 패턴)으로서 차량(1)의 차폭을 나타내는 1쌍의 라인이 생성된다.

차량(1)의 차폭이란, 예를 들어 차량 본체의 최대의 가로 폭이다. 혹은, 사이드미러 등을 포함한 가로 폭이 차폭으로서 사용되어도 된다.

예를 들어, 전방 라인(3a)을 구성하는 각 라인의 폭이 충분히 가는 경우(예를 들어 10㎝ 미만), 각 라인의 중심의 간격(중심 폭)이 차량(1)의 차폭으로 설정된다. 또한 각 라인의 폭이 비교적 굵은 경우(예를 들어 10㎝ 이상)에는, 각 라인의 차량(1)에 대하여 외측이 되는 단부 테두리의 간격(외 폭)이 차량(1)의 차폭으로 설정된다. 이밖에, 차량(1)의 차폭을 나타내는 것이 가능하도록, 각 라인의 형상 등에 따라, 라인 사이의 간격이 설정되어도 된다.

또한, 전방 라인(3a)은, 상기 실시 형태와 마찬가지로, 차량(1)의 예측 궤적(5)을 나타내는 형상으로 설정된다.

이하에서는, 차폭을 나타내는 전방 라인(3a)을 차폭 라인이라고 기재한다. 또한 차폭 라인(전방 라인(3a)) 내, 차량(1)의 우측 및 좌측에 투영되는 라인을 각각 우 라인 및 좌 라인이라고 기재한다.

또한 투영 화상 결정부(323)에서는, 차량(1)의 주변 물체와 차량(1)의 위치 관계를 나타내는 위치 관계 정보에 기초하여 1쌍의 라인의 표시가 개별로 제어된다.

위치 관계 정보란, 차량(1)의 주변의 환경에 존재하는 물체(타 차량, 보행자, 연석, 가드레일, 도로의 백선 등)와, 차량(1)의 위치 관계를 나타내는 것이 가능한 정보이며, 주변 환경 인식부(326)에 의해 취득되는 주변 환경 정보이다. 예를 들어, 물체와 차량(1)의 거리, 차량(1)으로부터 본 물체의 상대 위치나 상대 방위는, 위치 관계 정보가 된다. 또한 차량(1) 및 물체의 위치 정보가 그대로, 위치 관계 정보로서 사용되어도 된다.

투영 화상 결정부(323)에서는, 예를 들어 차량(1)과 물체의 위치 관계를 기초로, 차량(1)과 물체의 접근이나 물체에 대한 차량(1)의 멀어짐 등이 검출된다. 이러한 검출 결과를 나타내도록, 우 라인 및 좌 라인의 표시 파라미터(전형적으로는 색 및 명멸)가 각각 설정된다. 이 점에 대해서는, 상세히 후술한다.

또한 본 실시 형태에서는, 차폭 라인에 추가로, 차량(1)이 주행하는 레인을 구획하는 경계선(51)을 나타내는 투영 패턴(2)(이하 경계선 패턴이라고 기재한다)이 생성된다. 이 경계선 패턴은, 예를 들어 후술하는 레인 검출부(332)에 의해 검출된 백선의 검출 결과를 사용하여 생성된다. 또한 예를 들어 차량(1)의 자세 변화 등을 검출 가능한 경우에는, 차량(1)의 자세 변화에 따라서 경계선 패턴을 보정한다고 하는 처리가 실행된다.

도 15는, 주변 환경 인식부(326)의 구성예를 도시하는 블록도이다.

주변 환경 인식부(326)는 주변 환경 센서부(313)의 출력에 기초하여, 차량(1)의 주변에 존재하는 물체(보행자, 타 차량, 연석 등)를 검출하고, 주변 환경 정보로서 각 물체에 관한 위치 관계 정보를 산출한다.

도 15에 도시하는 바와 같이, 주변 환경 인식부(326)는 투영 상황 판정부(330)와, 레인 검출부(332)와, 공간 인식부(333)를 갖는다.

투영 상황 판정부(330)는 차폭 라인(투영 패턴(2))이 투영된 상태에서 전방 카메라에 의해 촬영된 전방 화상으로부터, 차폭 라인을 검출한다.

차폭 라인을 검출하는 처리에서는, 투영 화상 결정부(323)로부터 출력된 차폭 라인(전방 라인(3a))의 데이터(형상, 색, 폭, 길이, 명멸 등)가 사용된다. 이에 의해, 전방 화상에 비추는 차폭 라인을 고정밀도로 검출하는 것이 가능하다.

마찬가지로 투영 상황 판정부(330)는 전방 화상으로부터 경계선 패턴을 검출한다.

또한 투영 상황 판정부(330)에서는, 검출된 차폭 라인이, 노면 상에 어떤 형태로 투영되어 있는지를 이용하여, 차량(1)의 전방의 상황을 판정한다. 예를 들어, 차폭 라인이 왜곡(굴절 등) 없이 투영되어 있는 경우, 전방의 노면은 평탄하다고 판정된다. 혹은, 차폭 라인이 왜곡되어 있는 경우에는, 전방에 장해물이 존재한다고 판정된다.

장해물이 있다고 판정된 경우에는, 차폭 라인을 구성하는 우 라인 및 좌 라인 중, 왜곡되어 있는 부분을 나타내는 정보가 산출된다. 구체적으로는, 각 라인에 있어서의 구부러져 있는 개소의 위치(예를 들어, 선단으로부터 1/4의 위치 등)가 산출된다. 이 정보는, 차량(1)에 대한 장해물의 상대 위치를 나타내는 위치 관계 정보가 된다.

이와 같이, 투영 상황 판정부(330)는 위치 환형 정보로서, 라인(우 라인 및 좌 라인)을 촬영한 화상(전방 화상)으로부터 라인의 왜곡을 검출함으로써 라인 상의 장해물의 위치를 검출한다. 라인을 촬영한 화상 내에서의 라인의 왜곡을 이용함으로써, 차량(1)의 진로 상에 존재하는 장해물을 용이하게 검출하는 것이 가능하다.

본 실시 형태에서는, 투영 상황 판정부(330)는 제2 검출부에 상당한다.

투영 상황 판정부(330)로부터는, 전방의 투영 패턴(2)(차폭 라인 및 경계선 패턴)의 검출 결과 및 장해물의 상대 위치가 출력된다.

레인 검출부(332)는 예를 들어 도 5에 도시하는 레인 검출부(32)와 마찬가지로 구성되어, 차량(1)이 주행하는 도로 상의 레인(차선)을 검출한다. 보다 상세하게는, 도로 상의 백선이나 연석 등의 물체를 검출하는 처리가 실행되어, 그들의 위치가 검출된다. 백선이나 연석은, 차량(1)이 주행해야 할 범위를 나타내는 경계선(51)이다. 따라서, 레인 검출부(332)에서는, 물체의 위치 관계 정보로서, 경계선(51)의 상대 위치가 검출된다고도 할 수 있다.

공간 인식부(333)는 투영 상황 판정부(330) 및 레인 검출부(332)의 검출 결과에 기초하여, 차량(1)의 주변 공간의 상황을 인식한다.

본 실시 형태에서는, 차량(1)이 주행하는 주행 레인(40)의 경계선(51)의 위치 정보와, 차폭 라인의 위치 정보에 기초하여, 경계선(51)과 차폭 라인의 거리가 산출된다. 예를 들어, 우 라인과 차량(1)의 우측 경계선(51)의 거리 및 좌 라인과 차량(1)의 좌측 경계선(51)의 거리가, 각각 산출된다. 이 처리는, 차량(1)의 전방을 촬영한 전방 화상에 기초하여 실행된다.

이와 같이, 공간 인식부(333)는 경계선(51)과 라인(우 라인 및 좌 라인)을 동시에 촬영한 화상으로부터 경계선(51)과 라인의 거리를 검출한다. 경계선(51) 및 라인이 모두 촬영된 화상을 이용함으로써, 각 라인의 거리를 용이하게 산출하는 것이 가능하다.

본 실시 형태에서는, 공간 인식부(333)는 제1 검출부에 상당한다.

경계선(51)과 차폭을 나타내는 각 라인의 거리는, 차량(1)의 레인까지의 거리, 즉 차량(1)과 경계선(51)의 거리를 나타낸다. 공간 인식부(333)에서는, 이들 거리가 소정의 역치 이내인지 여부가 각각 판정된다.

또한, 공간 인식부(333)는 주행 레인의 경계선(51)과 경계선 패턴의 위치 정보로부터, 실제의 경계선(51)(백선이나 연석)에 대한 경계선 패턴의 어긋남양이 산출된다. 이 어긋남양은, 투영 화상 결정부(323)에 있어서, 경계선 패턴의 위치의 캘리브레이션에 사용된다.

공간 인식부(333)로부터는, 경계선(51)과 라인의 거리 및 그의 판정 결과 및 경계선 패턴의 어긋남양이 출력된다.

본 실시 형태에서는, 도 15에 도시하는 바와 같이, 투영 상황 판정부(330) 및 공간 인식부(333)의 출력이 주변 환경 인식부(326)의 최종적인 출력이 된다. 따라서, 주변 환경 인식부(326)로부터는, 투영 상황 정보(차폭 라인의 왜곡의 유무를 나타내는 정보 및 왜곡 개소(장해물)의 위치 정보)가 출력된다. 또한, 경계선(51)과 라인의 거리와 판정 결과 및 경계선 패턴의 어긋남양이 출력된다.

또한, 차량(1)의 주변의 물체의 위치 등을 검출하는 방법은 한정되지 않는다. 예를 들어, 차량(1)의 주변의 입체 지도를 자기 생성하는 SLAM(Simultaneous Localization and Mapping) 기술 등이 사용되어도 된다.

또한, 도 5 등에 도시하는 물체 검출부가 마련되고, 레이더 센서, 초음파 센서, LiDAR 센서 등을 사용하여, 물체의 위치 및 거리가 검출되어도 된다.

도 16은, 투영 장치(300)의 기본적인 동작예를 도시하는 흐름도이다.

도 16에 도시하는 처리는, 예를 들어, 투영 장치(300)의 동작 중에 반복 실행되는 루프 처리인, 전형적으로는, 차량(1)이 전진 주행하고 있는 경우에, 차폭 라인이 되는 전방 라인(3a)을 제어 대상으로 하여 실행된다. 또한, 차량(1)이 후진 주행하고 있는 경우에는, 차폭 라인으로서 생성된 후방 라인(3c)을 대상으로 한 처리가 실행되어도 된다.

먼저, 차량 정보 취득부(321)에 의해, 속도 관련 정보가 취득되고(스텝 301), 그 후, 궤적 산출부(222)에 의해, 차량(1)의 궤적(예측 궤적(5) 및 통과 궤적(6))이 산출된다(스텝 302).

이어서, 주변 환경 인식부(326)에 의해, 차량(1)과 주변의 물체의 위치 관계를 인식하고, 위치 관계 정보를 산출하는 처리가 실행된다(스텝 303).

구체적으로는, 투영 상황 판정부(330)에 의해, 경계선(51)과 차폭 라인의 위치 관계 정보(경계선(51)과 라인의 거리의 판정 결과)가 산출된다.

또한, 공간 인식부(333)에 의해, 차폭 라인 상에 장해물이 존재하는 경우에는, 그 장해물에 대한 위치 관계 정보(차폭 라인의 왜곡의 유무를 나타내는 정보 및 왜곡 개소(장해물)의 위치 정보)가 산출된다.

이어서, 투영 화상 결정부(323)에 의해, 차폭 라인(8)의 표시 파라미터가 설정된다(스텝 304).

예를 들어, 경계선(51)과 차폭 라인(우 라인 및 좌 라인)의 거리가 소정의 역치보다도 작다고 판정되어 있는 경우, 그 판정이 나온 라인에 관한 색이나 명멸 등의 설정이 변경된다(도 17 및 도 18 참조). 이에 의해, 차량(1)이 레인의 단에 다가가고 있는(경계선(51)에 접근하고 있는) 경우 등에, 그 취지를 드라이버에게 경고하는 것이 가능하게 된다.

또한 예를 들어, 차폭 라인(우 라인 및 좌 라인) 상에서 장해물이 검출된 경우, 검출된 장해물의 위치를 알 수 있도록, 장해물이 검출된 라인에 관한 색이나 명멸 등의 설정이 변경된다(도 19 및 도 20 참조). 이에 의해, 차량(1)이 그대로 진행한 경우에, 접촉할 위험성이 있는 장해물의 존재를 사전에 드라이버에게 경고하는 것이 가능하게 된다.

또한, 경계선(51)과의 접근이나 장해물 등이 검출되지 않은 경우, 투영 화상 결정부(323)에서는, 통상의 표시를 행하는 처리(통상 표시 처리)가 실행된다.

이어서, 영상 데이터 생성부(324)에 의해, 투영 화상 데이터에 기초하여 각 투영부(310)로 출력하는 영상 데이터가 생성된다(스텝 305). 그리고, 차량(1)에 마련된 각 투영부(210)에 의해, 영상 데이터에 기초하여 대응하는 라인 패턴(3)이 각각 투영된다(스텝 306).

이하에서는, 경계선(51)과의 접근 시의 처리 및 장해물이 검출된 경우에 대하여 구체적으로 설명한다.

도 17은, 차폭 라인이 투영된 씬의 일례를 도시하는 모식도이다.

도 17의 A에는, 차량(1)이 편측 1차선의 도로(주행 레인(40a))를 직진하고 있는 경우에, 드라이버로부터 보이는 경치가 모식적으로 도시되어 있다.

여기에서는, 차량(1)의 전방에 투영 패턴(2)으로서 차폭을 나타내는 차폭 라인(8)(전방 라인(3a))이 투영된다. 이 중, 차량(1)의 우측 및 좌측에 투영되는 라인이, 우 라인(8R) 및 좌 라인(8L)이 된다.

또한 차량(1)의 전방에는, 주행 레인(40a)의 경계선(51)을 나타내는 경계선 패턴(9)이 투영된다. 이 중, 도면 중의 우측에 투영되는 경계선 패턴(9a)은 대향 차선과의 경계를 나타내는 백선(센터 라인)과 겹치도록 투영된다. 또한 도면 중의 좌측에 투영되는 경계선 패턴(9b)은, 보도와의 경계가 되는 연석과 겹치도록 투영된다.

본 실시 형태에서는, 투영 화상 결정부(323)에 의해, 경계선(51)과 우 라인(8R) 및 좌 라인(8L)의 위치 관계에 기초하여, 각 라인의 색 또는 명멸이 제어된다. 구체적으로는, 경계선(51)과 차폭을 나타내는 각 라인과의 거리(이하 접근 거리라고 기재한다)가 위치 관계를 나타내는 지표로서 사용된다.

또한 도 17의 A에는, 우 라인(8R)과 우측의 경계선(51)(백선)의 거리(우측의 접근 거리) 및 좌 라인(8L)과 좌측의 경계선(51)(연석)의 거리(좌측의 접근 거리)를 나타내는 화살표가 각각 도시되어 있다. 또한, 접근 거리를 나타내는 화살표는, 투영 패턴(2)으로서 표시되어도 되고, 표시되지 않아도 된다.

상기한 바와 같이, 공간 인식부(333)에서는, 이 우측 및 좌측의 접근 거리가, 소정의 역치보다도 낮은지의 여부가 판정된다. 그리고 투영 화상 결정부(323)에 의해, 접근 거리에 관한 판정 결과에 따라, 우 라인(8R) 및 좌 라인(8L)의 색이나 명멸의 유무가 설정된다.

도 17의 A에서는, 우측 및 좌측의 접근 거리는, 소정의 역치보다도 크다고 판정된다. 이 경우, 우 라인(8R) 및 좌 라인(8L)의 색은, 모두 통상 표시 처리에서 사용되는 색(예를 들어 백색이나 청 계통의 색)으로 설정된다. 또한, 경계선 패턴(9a 및 9b)의 색도 통상 표시 처리에서 사용되는 색(예를 들어 녹색 등)으로 설정된다.

도 17의 B에서는, 도 17의 A에 나타내는 상태보다도 차량(1)이 우측으로 치우쳐서 주행하고 있고, 우 라인(8R)과 우측의 경계선(51)의 접근 거리가, 소정의 역치보다도 작다고 판정된다. 이 경우, 투영 화상 결정부(323)에 의해, 우 라인(8R)의 색이 통상 표시 처리의 색과는 다른 색(예를 들어 주황색)으로 설정된다. 또한 도 17의 B에 나타내는 예에서는, 우 라인(8R)과 함께, 우측의 경계선 패턴(9a)도 통상 표시 처리의 색과는 다른 색(예를 들어 적색)으로 설정된다. 혹은, 우 라인(8R) 및 경계선 패턴(9a)이 명멸하도록 설정되어도 된다.

또한, 좌측의 접근 거리는, 소정의 역치보다 크다고 판정된다. 이 때문에, 좌 라인(8L) 및 좌측의 경계선 패턴(9b)의 색은 변화하지 않는다.

이와 같이, 본 실시 형태에서는, 경계선(51)과 우 라인(8R) 또는 좌 라인(8L)의 거리가 소정의 역치보다도 작은 경우, 그 라인의 색을 변화시키거나, 또는 라인을 명멸시키는 처리가 실행된다.

이에 의해, 차폭 라인(8)이 대향 차선이나 보도 등에 접근하고 있다는 취지를 드라이버에게 알기 쉽게 전하는 것이 가능하게 된다. 이 결과, 드라이버에 대하여 현재의 주행 위치가 적정한지 여부를 직관적으로 인식시키는 것이 가능하게 되어, 안전한 운전을 실현하는 것 가능하게 된다. 또한, 차폭을 의식한 운전을 촉구하는 것이 가능하게 되어, 드라이버가 적정한 차폭 간격을 익히기 위한 서포트를 하는 것이 가능하게 된다.

도 18은, 접근 거리에 따른 차폭 라인(8)의 일례를 도시하는 모식도이다. 여기에서는, 접근 거리가 3단계로 나누어서 판정되고, 각 단계에서 차폭 라인(8)(전방 라인(3a))의 색이 다른 색으로 설정된다. 이러한 판정 처리는, 예를 들어 2개의 역치를 사용한 역치 처리에 의해 실행 가능하다.

도 18의 A는, 우측 및 좌측의 접근 거리가 모두 안전한 범위일 경우에 투영되는 차폭 라인(8)이다. 이 경우, 우 라인(8R) 및 좌 라인(8L)의 색은, 예를 들어 통상 표시의 색(백색이나 청 계통의 색)으로 설정된다. 이것은, 예를 들어 도 17의 A와 마찬가지의 설정이다.

도 18의 B에서는, 우측의 접근 거리가 주의해야 할 범위라고 판정되고, 좌측의 접근 거리가 안전한 범위라고 판정된다. 이 경우, 차폭 라인(8) 중 우 라인(8R)의 색은, 예를 들어 주황색으로 설정된다. 또한 좌 라인(8L)의 색은 변경되지 않는다.

도 18의 C에서는, 우측의 접근 거리가 위험한 범위라고 판정되고, 좌측의 접근 거리가 안전한 범위라고 판정된다. 이 경우, 차폭 라인(8) 중 우 라인(8R)의 색은, 예를 들어 적색으로 설정된다. 또한 좌 라인(8L)의 색은 변경되지 않는다.

또한 대상 라인(53)의 색을 변화시키는 제어에 추가로, 명멸 등이 제어되어도 된다. 이 경우, 예를 들어 주의해야 할 범위에서는, 대상으로 되는 라인을 주황색으로 설정하여 명멸시키고, 위험한 범위에서는, 대상으로 되는 라인을 적색으로 설정하여 명멸의 빈도를 증가시킨다.

이에 의해, 드라이버는 전방을 본 채로, 현재의 주행 위치의 안전 레벨 등을 확실하게 인식하는 것이 가능하게 된다.

또한 접근 거리를 판정하는 방법 이외에도, 근접 센서(레이더 센서 등의 측거 센서) 등의 출력을 사용하여, 차폭 라인(8)의 표시가 제어되어도 된다. 예를 들어, 차량(1)의 근방에 있는 물체(가드레일이나 타 차량 등)와 접근한 경우에, 접근이 검출된 측의 라인의 색이 변경되어 명멸된다. 이에 의해, 예를 들어 차량(1)의 전방 뿐만 아니라, 측방이나 후방 등에서의 접촉 사고 등을 미연에 방지하는 것이 가능하게 된다.

도 19는, 장해물에 투영되는 차폭 라인(8)의 표시예를 도시하는 모식도이다. 도 19에는, 차량(1)의 전방에서 차폭 라인(8)이 장해물(55)과 교차하는 씬이 모식적으로 도시되어 있다.

예를 들어 차폭 라인(8) 중, 우 라인(8R)이 직육면체상의 장해물(55a)과 교차하고 있다. 지표면을 따라서 투영된 우 라인(8R)은, 장해물(55a)의 측면이 지표면에 접하는 개소에서 절곡되고, 장해물(55a)의 측면에 투영되어 있다.

이 경우, 투영 상황 판정부(330)에 의해, 우 라인(8R)의 본래의 형상을 바탕으로, 우 라인(8R)이 왜곡되어 있는 점(굴절점(P1))이 검출된다. 이 굴절점(P1)이, 장해물(55a)의 위치 정보로서 사용된다. 또한 굴절점(P1)보다도 전방의 부분은, 장해물(55a)과 교차하는 교차 부분(56)이 된다.

또한 예를 들어, 차폭 라인(8) 중, 좌 라인(8L)의 중간 부분이 원통상의 곡면을 위로 하여 지표면에 놓인 장해물(55b)과 교차하고 있다. 여기에서는, 좌 라인(8L)의 장해물(55b)의 곡면과 교차하는 교차 부분(56)만이 왜곡되어 있고, 교차 부분의 전방 및 후방의 부분은 적정하게 투영되어 있다.

이 경우, 투영 상황 판정부(330)에 의해, 좌 라인(8L)의 본래의 형상을 바탕으로, 좌 라인(8L)이 왜곡되어 있는 전방의 굴절점(P2)과 후방의 굴절점(P3)이 검출된다. 이 굴절점(P2 및 P3)이 장해물(55b)의 위치 정보로서 사용된다. 또한 굴절점(P2 및 P3) 사이의 부분이 장해물(55b)이 있는 교차 부분(56)이 된다.

이와 같이, 교차 부분(56)이 검출된 경우, 차폭 라인(8)이 장해물(55) 상에 투영되어 있는 것으로 하고, 차폭 라인(8)의 표시가 제어된다. 구체적으로는, 투영 화상 결정부(323)에 의해, 장해물(55)의 위치(굴절점)에 기초하여, 우 라인(8R) 및 좌 라인(8L)이 장해물(55)과의 교차 부분(56)과 다른 부분으로 구분된다.

예를 들어, 우 라인(8R)에 대해서는, 굴절점(P1)보다도 전방의 교차 부분(56)의 색이 적색으로 설정되고, 굴절점(P1)보다도 후방의 부분이 통상 표시의 색으로 설정된다. 또한 예를 들어, 좌 라인(8L)에 대해서는, 굴절점(P2 및 P3) 사이에 끼워진 교차 부분(56)의 색이 적색으로 설정되고, 굴절점(P2)보다도 전방의 부분 및 굴절점(P3)보다도 후방의 부분이 통상 표시의 색으로 설정된다.

이에 의해, 차량(1)이 진행한 경우에 접촉할 가능성이 있는 장해물(55)의 존재나 그의 위치를, 드라이버에게 알기 쉽게 전하는 것이 가능하게 된다.

도 20은, 장해물(55)이 검출된 경우에 투영되는 차폭 라인(8)의 일례를 도시하는 모식도이다. 여기에서는, 장해물(55)에 관한 안전 레벨이 3단계로 나누어서 판정되고, 각 단계에서 차폭 라인(8)(전방 라인(3a))의 색이 다른 색으로 설정된다. 장해물(55)의 안전 레벨은, 예를 들어 장해물(55)과의 거리가 가까울수록, 혹은 장해물(55)(교차 부분(56))의 길이가 클수록 작게(보다 위험하다)로 설정된다. 또한 차량(1)의 주행 속도가 높을수록, 안전 레벨이 낮게 설정된다. 이밖에, 장해물(55)에 관한 안전 레벨을 판정하는 방법은 한정되지 않는다.

도 20의 A는, 예를 들어 장해물(55)이 검출되어 있지 않고 안전한 경우에 투영되는 차폭 라인(8)이다. 이 경우, 우 라인(8R) 및 좌 라인(8L)의 색은, 전체에 걸쳐 통상 표시의 색(백색이나 청 계통의 색)으로 설정된다. 또한 장해물(55)이 검출된 경우에도, 그 위치가 충분히 이격되어 있는 경우 등에는, 각 라인의 색이 변경되지 않아도 된다.

도 20의 B는, 장해물(55)의 안전 레벨이 주의해야 할 레벨인 경우에 투영되는 차폭 라인(8)이다. 여기에서는, 차량(1)으로부터 비교적 떨어진 위치에서 장해물이 검출된다. 이 경우, 우 라인(8R) 및 좌 라인(8L) 중 교차 부분(56)의 색은, 예를 들어 주황색으로 설정된다. 혹은 교차 부분(56)이 명멸하도록 설정된다. 또한 교차 부분(56) 이외의 색은, 예를 들어 통상 표시의 색으로 설정된다.

도 20의 C는, 장해물(55)의 안전 레벨이 위험한 레벨일 경우에 투영되는 차폭 라인(8)이다. 여기에서는, 차량(1)의 근방에서 장해물이 검출된다. 이 경우, 교차 부분(56)의 색은, 예를 들어 적색으로 설정된다. 혹은 교차 부분(56)의 명멸 속도가 높게 설정된다.

교차 부분(56) 이외의 색은, 예를 들어 통상 표시의 색으로 설정된다. 이것에 한정되지 않고, 예를 들어 교차 부분(56) 이외의 색 등을 변경하여 위험한 장해물(55)의 존재를 환기해도 된다.

자동차 운전의 기본적인 스킬로서, 차폭 감각을 들 수 있다. 차폭 간격은, 좁은 길에의 침입 가부, 대향 차량과의 스쳐 지나감, 차선 내에서의 주행 위치, 가드레일이나 벽 등에의 밀착 주차와 같은 여러가지 씬에서 중요해진다. 차폭을 정확하게 인식하기 위한 보조 수단으로서는, 예를 들어 코너 폴이나, 펜더 미러를 들 수 있지만, 이들 보조 부재는, 외관을 손상시킨다고 하는 이유로부터, 근년에는 거의 사용되지 않게 되어 있다.

또한 차폭 감각을 얻기 쉽도록, 전방 시계를 넓게 확보한 차량이 증가하고 있지만, 차폭의 인식은, 드라이버의 "숙련"에 크게 의존하고 있다.

본 실시 형태에서는, 광을 투영하여 차폭을 나타내는 차폭 라인(8)이 투영된다. 그리고 차폭 라인(8)의 우 라인(8R) 및 좌 라인(8L)의 표시가, 주변 환경에 있는 물체와 차량(1)의 위치 관계에 따라서 제어된다. 이에 의해, 예를 들어 현재의 주행 위치가 백선에 치우쳐 있다고 하는 정보나, 장해물에 접촉할 것 같다고 하는 정보를, 드라이버에게 직관적으로 제시하는 것이 가능하게 된다. 이에 의해, 드라이버의 운전 안전성을 높임과 함께, 올바른 차폭 감각을 획득하기 위한 서포트를 할 수 있다.

또한 투영 패턴(2)을 투영하기 위한 투영부(310)는 차량(1)의 본체에 수렴되도록 구성 가능하다. 이 때문에 투영 장치(300)을 사용함으로써 외관에 영향을 미치지 않는, 차폭 감각 보조 기구를 제공하는 것이 가능하게 된다.

<기타 실시 형태>

본 기술은, 이상 설명한 실시 형태에 한정되지 않고, 다른 다양한 실시 형태를 실현할 수 있다.

상기 실시 형태에서는, 주로 라인 패턴으로서, 차량의 궤적(통과 궤적이나 예측 궤적)을 나타내는 패턴이 설정되었다. 이것에 한정되지 않고, 예를 들어 차량(1)의 전후 방향을 따라서 길어지는 직선의 패턴을 고정하여 사용하는 것도 가능하다. 혹은, 좌우의 라인의 선단이 닫힌 패턴 등이 사용되어도 된다. 이밖에, 임의의 형상, 사이즈, 색의 라인 패턴을 투영 패턴으로서 사용할 수 있어도 된다.

상기에서는, 본 기술에 관계되는 정보 처리 장치의 일 실시 형태로서, 단체의 컨트롤러를 예로 들었다. 그러나, 컨트롤러는 별도로 구성되고, 유선 또는 무선을 통하여 컨트롤러에 접속되는 임의의 컴퓨터에 의해, 본 기술에 관계되는 정보 처리 장치가 실현되어도 된다. 예를 들어 클라우드 서버에 의해, 본 기술에 관계되는 정보 처리 방법이 실행되어도 된다. 혹은 컨트롤러와 다른 컴퓨터가 연동하여, 본 기술에 관계되는 정보 처리 방법이 실행되어도 된다.

즉 본 기술에 관계되는 정보 처리 방법 및 프로그램은, 단체의 컴퓨터에 의해 구성된 컴퓨터 시스템 뿐만 아니라, 복수의 컴퓨터가 연동하여 동작하는 컴퓨터 시스템에 있어서도 실행 가능하다. 또한 본 개시에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성 요소가 동일 하우징 중에 있는지의 여부는 불문한다. 따라서, 별개의 하우징에 수납되어, 네트워크를 통하여 접속되어 있는 복수의 장치 및 하나의 하우징 중에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두 시스템이다.

컴퓨터 시스템에 의한 본 기술에 관계되는 정보 처리 방법 및 프로그램의 실행은, 예를 들어 주변 환경 정보의 취득, 투영 패턴의 표시 제어 등이, 단체의 컴퓨터에 의해 실행되는 경우 및 각 처리가 다른 컴퓨터에 의해 실행되는 경우의 양쪽을 포함한다. 또한 소정의 컴퓨터에 의한 각 처리의 실행은, 당해 처리의 일부 또는 전부를 다른 컴퓨터에 실행시키고 그 결과를 취득하는 것을 포함한다.

즉 본 기술에 관계되는 정보 처리 방법 및 프로그램은, 하나의 기능을 네트워크를 통하여 복수의 장치에 분담, 공동하여 처리하는 클라우드 컴퓨팅의 구성에도 적용하는 것이 가능하다.

이상 설명한 본 기술에 관계되는 특징 부분 중, 적어도 2가지의 특징 부분을 조합하는 것도 가능하다. 즉 각 실시 형태에서 설명한 여러가지 특징 부분은, 각 실시 형태의 구별 없이, 임의로 조합되어도 된다. 또한 상기에서 기재한 여러가지 효과는, 어디까지나 예시이며 한정되는 것은 아니며, 또한 다른 효과가 발휘되어도 된다.

본 개시에 있어서, 「동일」 「동등」 「직교」 등은, 「실질적으로 동일」 「실질적으로 동등」 「실질적으로 직교」 등을 포함하는 개념으로 한다. 예를 들어 「완전히 동일」 「완전히 동등」 「완전히 직교」 등을 기준으로 한 소정의 범위(예를 들어 ±10％의 범위)에 포함되는 상태도 포함된다.

또한, 본 기술은 이하와 같은 구성도 채용할 수 있다.

(1) 차량의 주변의 환경에 관한 주변 환경 정보를 취득하는 취득부와,

상기 주변 환경 정보에 기초하여, 상기 차량에 탑재된 투영부로부터 상기 차량의 주변의 노면에 투영되는 투영 패턴의 표시를 제어하는 투영 제어부

를 구비하는 정보 처리 장치.

(2) (1)에 기재된 정보 처리 장치이며,

상기 투영 패턴은, 상기 차량의 진행 방향의 전방에 투영되는 라인상의 제1 패턴과, 상기 진행 방향의 후방에 투영되는 라인상의 제2 패턴을 포함하는,

정보 처리 장치.

(3) (2)에 기재된 정보 처리 장치이며,

상기 제1 패턴은, 상기 차량의 좌측 및 우측에 투영되는 1쌍의 라인을 포함하고,

상기 투영 제어부는, 상기 주변 환경 정보에 기초하여, 상기 제1 패턴 중 상기 차량의 레인 변경의 대상으로 되는 대상 레인 측에 투영되는 대상 라인의 표시를 제어하는

정보 처리 장치.

(4) (3)에 기재된 정보 처리 장치이며,

상기 주변 환경 정보는, 상기 대상 레인을 포함하는 상기 차량의 주변 교통 상황을 나타내는 교통 상황 정보를 포함하고,

상기 투영 제어부는, 상기 교통 상황 정보에 기초하여 상기 차량의 레인 변경에 수반하는 변경 리스크를 추정하고, 상기 변경 리스크에 기초하여 상기 대상 라인의 색 또는 명멸을 제어하는

정보 처리 장치.

(5) (4)에 기재된 정보 처리 장치이며,

상기 교통 상황 정보는, 상기 대상 레인의 빈 스페이스를 나타내는 정보, 상기 차량의 주변을 주행하는 타 차량의 배치 정보 및 상기 차량에 대한 상기 타 차량의 상대 속도에 관한 정보를 포함하는

정보 처리 장치.

(6) (4) 또는 (5)에 기재된 정보 처리 장치이며,

상기 투영 제어부는, 상기 변경 리스크를 복수의 레벨로 나누어서 판정하고, 상기 판정된 레벨마다 상기 대상 라인을 다른 색으로 설정하는

정보 처리 장치.

(7) (3) 내지 (6) 중 어느 하나에 기재된 정보 처리 장치이며,

상기 투영 제어부는, 상기 대상 라인을 상기 차량을 주행할 수 있는 부분과 상기 차량을 주행할 수 없는 부분으로 구분하는

정보 처리 장치.

(8) (3) 내지 (7) 중 어느 하나에 기재된 정보 처리 장치이며, 또한,

상기 차량을 운전하는 드라이버의 시선 방향을 검출하는 시선 검출부를 구비하고,

상기 투영 제어부는, 상기 시선 방향의 변화에 기초하여, 상기 대상 라인의 표시 제어를 실행할지의 여부를 판정하는

정보 처리 장치.

(9) (2) 내지 (8) 중 어느 하나에 기재된 정보 처리 장치이며,

상기 주변 환경 정보는, 상기 차량의 후속 차량에 관한 후속 차량 정보를 포함하고,

상기 투영 제어부는, 상기 후속 차량 정보에 기초하여 상기 후속 차량과의 충돌 리스크를 추정하고, 상기 충돌 리스크에 따라서 상기 제2 패턴을 불연속으로 변화시키는

정보 처리 장치.

(10) (9)에 기재된 정보 처리 장치이며,

상기 후속 차량 정보는, 상기 차량과 상기 후속 차량의 상대 거리 및 상대 속도의 적어도 한쪽의 정보를 포함하는

정보 처리 장치.

(11) (9) 또는 (10)에 기재된 정보 처리 장치이며,

상기 투영 제어부는, 상기 충돌 리스크가 제1 역치 이상이고 또한 상기 제1 역치보다도 큰 제2 역치 미만인 경우, 상기 제2 패턴의 폭을 크게 하고, 상기 충돌 리스크가 상기 제2 역치 이상인 경우, 상기 제2 패턴을 명멸시키는

정보 처리 장치.

(12) (2) 내지 (11) 중 어느 하나에 기재된 정보 처리 장치이며,

상기 주변 환경 정보는, 상기 차량의 주변 물체와 상기 차량의 위치 관계를 나타내는 위치 관계 정보를 포함하고,

상기 투영 제어부는, 상기 제1 패턴으로서 상기 차량의 차폭을 나타내는 1쌍의 라인을 생성하고, 상기 위치 관계 정보에 기초하여 상기 1쌍의 라인의 표시를 개별로 제어하는

정보 처리 장치.

(13) (12)에 기재된 정보 처리 장치이며,

상기 물체는, 상기 차량이 주행해야 할 범위를 나타내는 경계선이며,

상기 투영 제어부는, 상기 경계선과 상기 라인의 위치 관계에 기초하여, 상기 라인의 색 또는 명멸을 제어하는

정보 처리 장치.

(14) (13)에 기재된 정보 처리 장치이며,

상기 취득부는, 상기 위치 관계 정보로서, 상기 경계선과 상기 라인을 동시에 촬영한 화상으로부터 상기 경계선과 상기 라인의 거리를 검출하는 제1 검출부를 갖고,

상기 투영 제어부는, 상기 경계선과 상기 라인의 거리가 소정의 역치보다도 작은 경우, 상기 라인의 색을 변화시키거나, 또는 상기 라인을 명멸시키는

정보 처리 장치.

(15) (12) 내지 (14) 중 어느 하나에 기재된 정보 처리 장치이며,

상기 취득부는, 상기 위치 관계 정보로서, 상기 라인을 촬영한 화상으로부터 상기 라인의 왜곡을 검출함으로써 상기 라인 상의 장해물의 위치를 검출하는 제2 검출부를 갖고,

상기 투영 제어부는, 상기 장해물의 위치에 기초하여, 상기 라인을 상기 장해물과의 교차 부분과 다른 부분으로 구분하는

정보 처리 장치.

(16) (2) 내지 (15) 중 어느 하나에 기재된 정보 처리 장치이며, 또한,

상기 차량이 통과할 것으로 예측되는 예측 궤적을 산출하는 예측 궤적 산출부를 구비하고,

상기 투영 제어부는, 상기 예측 궤적을 나타내는 상기 제1 패턴을 생성하는

정보 처리 장치.

(17) (2) 내지 (16) 중 어느 하나에 기재된 정보 처리 장치이며, 또한,

상기 차량이 통과한 통과 궤적을 산출하는 통과 궤적 산출부를 구비하고,

상기 투영 제어부는, 상기 통과 궤적을 나타내는 상기 제2 패턴을 생성하는

정보 처리 장치.

(18) 차량의 주변의 환경에 관한 주변 환경 정보를 취득하고,

상기 주변 환경 정보에 기초하여, 상기 차량에 탑재된 투영부로부터 상기 차량의 주변의 노면에 투영되는 투영 패턴의 표시를 제어하는

것을 컴퓨터 시스템이 실행하는 정보 처리 방법.

(19) 차량의 주변의 환경에 관한 주변 환경 정보를 취득하는 스텝과,

상기 주변 환경 정보에 기초하여, 상기 차량에 탑재된 투영부로부터 상기 차량의 주변의 노면에 투영되는 투영 패턴의 표시를 제어하는 스텝

을 컴퓨터 시스템에 실행시키는 프로그램.

(20) 차량에 탑재되어, 상기 차량의 주변의 노면에 투영 패턴을 투영하는 투영부와,

상기 차량의 주변의 환경에 관한 주변 환경 정보를 취득하는 취득부와,

상기 주변 환경 정보에 기초하여, 상기 투영부로부터 투영되는 상기 투영 패턴의 표시를 제어하는 투영 제어부

를 구비하는 투영 장치.

1, 1a, 1b: 차량
2: 투영 패턴
3: 라인 패턴
3a: 전방 라인
3c: 후방 라인
3b: 중앙 라인
4: 진행 방향
5: 예측 궤적
6: 통과 궤적
8L: 좌 라인
8R: 우 라인
8: 차폭 라인
10, 10a∼10h, 210, 310: 투영부
12: 드라이버 감시 카메라
13, 213, 313: 주변 환경 센서부
20, 220, 320: 컨트롤러
22, 222, 322: 궤적 산출부
23, 223, 323: 투영 화상 결정부
26, 226, 326: 주변 환경 인식부
41: 대상 레인
51: 경계선
53: 대상 라인
55, 55a, 55b: 장해물
100, 200, 300: 투영 장치

Claims (20)

1. 차량의 주변의 환경에 관한 주변 환경 정보를 취득하는 취득부와,
   상기 주변 환경 정보에 기초하여, 상기 차량에 탑재된 투영부로부터 상기 차량의 주변의 노면에 투영되는 투영 패턴의 표시를 제어하는 투영 제어부
   를 구비하는 정보 처리 장치.
2. 제1항에 있어서,
   상기 투영 패턴은, 상기 차량의 진행 방향의 전방에 투영되는 라인상의 제1 패턴과, 상기 진행 방향의 후방에 투영되는 라인상의 제2 패턴을 포함하는,
   정보 처리 장치.
3. 제2항에 있어서,
   상기 제1 패턴은, 상기 차량의 좌측 및 우측에 투영되는 1쌍의 라인을 포함하고,
   상기 투영 제어부는, 상기 주변 환경 정보에 기초하여, 상기 제1 패턴 중 상기 차량의 레인 변경의 대상으로 되는 대상 레인 측에 투영되는 대상 라인의 표시를 제어하는
   정보 처리 장치.
4. 제3항에 있어서,
   상기 주변 환경 정보는, 상기 대상 레인을 포함하는 상기 차량의 주변 교통 상황을 나타내는 교통 상황 정보를 포함하고,
   상기 투영 제어부는, 상기 교통 상황 정보에 기초하여 상기 차량의 레인 변경에 수반하는 변경 리스크를 추정하고, 상기 변경 리스크에 기초하여 상기 대상 라인의 색 또는 명멸을 제어하는
   정보 처리 장치.
5. 제4항에 있어서,
   상기 교통 상황 정보는, 상기 대상 레인의 빈 스페이스를 나타내는 정보, 상기 차량의 주변을 주행하는 타 차량의 배치 정보 및 상기 차량에 대한 상기 타 차량의 상대 속도에 관한 정보를 포함하는
   정보 처리 장치.
6. 제4항에 있어서,
   상기 투영 제어부는, 상기 변경 리스크를 복수의 레벨로 나누어서 판정하고, 상기 판정된 레벨마다 상기 대상 라인을 다른 색으로 설정하는
   정보 처리 장치.
7. 제3항에 있어서,
   상기 투영 제어부는, 상기 대상 라인을 상기 차량을 주행할 수 있는 부분과 상기 차량을 주행할 수 없는 부분으로 구분하는
   정보 처리 장치.
8. 제3항에 있어서,
   상기 차량을 운전하는 드라이버의 시선 방향을 검출하는 시선 검출부를 더 구비하고,
   상기 투영 제어부는, 상기 시선 방향의 변화에 기초하여, 상기 대상 라인의 표시 제어를 실행할지의 여부를 판정하는
   정보 처리 장치.
9. 제2항에 있어서,
   상기 주변 환경 정보는, 상기 차량의 후속 차량에 관한 후속 차량 정보를 포함하고,
   상기 투영 제어부는, 상기 후속 차량 정보에 기초하여 상기 후속 차량과의 충돌 리스크를 추정하고, 상기 충돌 리스크에 따라서 상기 제2 패턴을 불연속으로 변화시키는
   정보 처리 장치.
10. 제9항에 있어서,
    상기 후속 차량 정보는, 상기 차량과 상기 후속 차량의 상대 거리 및 상대 속도의 적어도 한쪽의 정보를 포함하는
    정보 처리 장치.
11. 제9항에 있어서,
    상기 투영 제어부는, 상기 충돌 리스크가 제1 역치 이상이고 또한 상기 제1 역치보다도 큰 제2 역치 미만인 경우, 상기 제2 패턴의 폭을 크게 하고, 상기 충돌 리스크가 상기 제2 역치 이상인 경우, 상기 제2 패턴을 명멸시키는
    정보 처리 장치.
12. 제2항에 있어서,
    상기 주변 환경 정보는, 상기 차량의 주변 물체와 상기 차량의 위치 관계를 나타내는 위치 관계 정보를 포함하고,
    상기 투영 제어부는, 상기 제1 패턴으로서 상기 차량의 차폭을 나타내는 1쌍의 라인을 생성하고, 상기 위치 관계 정보에 기초하여 상기 1쌍의 라인의 표시를 개별로 제어하는
    정보 처리 장치.
13. 제12항에 있어서,
    상기 물체는, 상기 차량이 주행해야 할 범위를 나타내는 경계선이며,
    상기 투영 제어부는, 상기 경계선과 상기 라인의 위치 관계에 기초하여, 상기 라인의 색 또는 명멸을 제어하는
    정보 처리 장치.
14. 제13항에 있어서,
    상기 취득부는, 상기 위치 관계 정보로서, 상기 경계선과 상기 라인을 동시에 촬영한 화상으로부터 상기 경계선과 상기 라인의 거리를 검출하는 제1 검출부를 갖고,
    상기 투영 제어부는, 상기 경계선과 상기 라인의 거리가 소정의 역치보다도 작은 경우, 상기 라인의 색을 변화시키거나, 또는 상기 라인을 명멸시키는
    정보 처리 장치.
15. 제12항에 있어서,
    상기 취득부는, 상기 위치 관계 정보로서, 상기 라인을 촬영한 화상으로부터 상기 라인의 왜곡을 검출함으로써 상기 라인 상의 장해물의 위치를 검출하는 제2 검출부를 갖고,
    상기 투영 제어부는, 상기 장해물의 위치에 기초하여, 상기 라인을 상기 장해물과의 교차 부분과 다른 부분으로 구분하는
    정보 처리 장치.
16. 제2항에 있어서,
    상기 차량이 통과할 것으로 예측되는 예측 궤적을 산출하는 예측 궤적 산출부를 더 구비하고,
    상기 투영 제어부는, 상기 예측 궤적을 나타내는 상기 제1 패턴을 생성하는
    정보 처리 장치.
17. 제2항에 있어서,
    상기 차량이 통과한 통과 궤적을 산출하는 통과 궤적 산출부를 더 구비하고,
    상기 투영 제어부는, 상기 통과 궤적을 나타내는 상기 제2 패턴을 생성하는
    정보 처리 장치.
18. 차량의 주변의 환경에 관한 주변 환경 정보를 취득하고,
    상기 주변 환경 정보에 기초하여, 상기 차량에 탑재된 투영부로부터 상기 차량의 주변의 노면에 투영되는 투영 패턴의 표시를 제어하는
    것을 컴퓨터 시스템이 실행하는 정보 처리 방법.
19. 차량의 주변의 환경에 관한 주변 환경 정보를 취득하는 스텝과,
    상기 주변 환경 정보에 기초하여, 상기 차량에 탑재된 투영부로부터 상기 차량의 주변의 노면에 투영되는 투영 패턴의 표시를 제어하는 스텝
    을 컴퓨터 시스템에 실행시키는 프로그램.
20. 차량에 탑재되어, 상기 차량의 주변의 노면에 투영 패턴을 투영하는 투영부와,
    상기 차량의 주변의 환경에 관한 주변 환경 정보를 취득하는 취득부와,
    상기 주변 환경 정보에 기초하여, 상기 투영부로부터 투영되는 상기 투영 패턴의 표시를 제어하는 투영 제어부
    를 구비하는 투영 장치.

Images