KR20200054322A

KR20200054322A - 이동체용 이미지 생성 기록 표시 장치 및 프로그램

Info

Publication number: KR20200054322A
Application number: KR1020207012744A
Authority: KR
Inventors: 카주마사 후에키; 노보루 타카하시
Original assignee: 칸데라 재팬 인코퍼레이티드
Priority date: 2017-10-02
Filing date: 2018-10-01
Publication date: 2020-05-19
Also published as: CN111164652B; EP3693930A4; WO2019069875A1; EP3693930A1; JP2019067174A; US10896542B2; JP6543313B2; US20200234497A1; CN111164652A; KR102349915B1

Abstract

자신이 운전하는 이동체의 주변 환경을 영상으로 표시할 때, 보다 알기 쉬운 형태로 정보를 제공하고, 이동체의 주행 상황을 기록하는 경우에도 더 적은 기억 용량으로 기록할 수 있도록 하는 것을 목적으로 한다.
개시된 기술은 자신의 이동체의 위치 및 속도를 포함한 자신의 이동체의 주행 상태에 관한 정보를 얻는 주행 상태 취득부와, 자신의 이동체의 주변에 존재하는 다른 이동체 및 주행로의 형상을 포함한 복수의 오브젝트에 관한 정보를 얻는 오브젝트 정보 획득부와, 상기 주행 상태 취득부 및 상기 오브젝트 정보 취득부에서 얻은 정보에서 적어도 상기 자신의 이동체 및 상기 복수의 오브젝트 각각에 대해 가상 모델을 매핑하여 3차원 공간의 중앙에 배치함으로써 가상 공간을 구축하는 가상 공간 구축부와, 상기 가상 공간에 배치된 가상 카메라로부터 상기 가상 공간을 촬영한 2차원 영상을 생성하여 표시 화면에 출력하는 2차원 영상 생성부를 갖고, 상기 2차원 영상 생성부는 상기 자신의 이동체와의 상대 속도에 따라 2차원 영상에서 상기 복수의 오브젝트 각각에 대응하는 가상 모델의 표시에 소정의 효과를 추가하여 상기 2차원 영상을 생성하는, 이동체 위치 정보 인식 표시 장치를 제공한다.

Description

이동체용 이미지 생성 기록 표시 장치 및 프로그램

본 발명은, 이동체의 주변 오브젝트의 이미지를 생성하여 기록 또는 표시 장치 및 그 프로그램에 관한 것이다.

자동차 등의 이동체에 설치된 카메라를 이용하여 촬영한 이미지를 처리하여, 이동체를 다양한 방향에서 볼 때와 근사한 이미지로 변환하는 이미지 변환 기술이 존재한다. 이동체에 탑재된 복수개의 카메라를 이용하여 촬영한 이미지를 합성하고, 이 이동체 주위의 일정 범위의 영역의 이미지를 조감도와 같이 생성하는, 이른바 '어라운드 뷰 모니터'(등록 상표) 등의 기술이 있다. 이러한 이미지 합성 기술은, 이동체의 운전석에서 보이지 않는 위치에 있는 다른 이동물체, 물체 등을 모니터에 표시하여 드라이버에 나타냄으로써, 예를 들어 백에서의 운전 시와 평행 주차 운전 시의 경우 등에서 이용되고 있다.

상술한 바와 같은 이미지 합성 기술은 실제 촬영 이미지를 변환하여 차량의 표시 장치에 표시하고 있다. 이 때문에, 촬영하는 대상이 일시적으로 다른 이동체에 가려지거나, 카메라의 사각지대에 들어갔을 경우에 그 대상을 표시할 수 없는 경우가 있다.

또한, 이동체의 주행을 영상으로서 기록하는 드라이브 레코더가 존재한다. 이 드라이브 레코더는 일반적으로 이동체의 프런트 유리 부근에 1대 설치되고, 영상의 기록을 위해 대용량의 기억 장치를 필요로 한다.

이하에, 종래의 기술에 대해서 설명한다.

입력 장치와, 가상 모델 데이터베이스와, 가상 모델 변환 장치와, 가상 모델 재구성 장치와, 가상 모델 처리 장치와, 제어 장치 또는 표시 장치로 구성되는 장치이며, 가상 모델 변환 장치는 입력 장치에서 취득한 복수의 대상물에 대한 정보를 인식하고, 가상 모델 데이터베이스에서 해당 가상 모델을 확인하고 대체한다. 가상 모델 재구성 장치는, 대상물 및 그것들의 관계를 가상 공간에 있어서 대응하는 가상 모델과 그것들의 관계로 재구성한다. 가상 모델 처리 장치는, 재구성된 가상 모델 및 이들의 관계를 기초로 하여, 가상 모델 및 이들의 관계를 이해, 판단하고, 제어 장치 또는 표시 장치에 명령하는 기술이 존재한다(예를 들면, 특허 문헌 1 참조).

또한, 내비게이션 장치 내에 기억된 지도 정보를 이용하여 주행 도로 형상을 생성함으로써, 보다 현실적인 도로 표시를 가능하게 하고, 자기 차량의 위치를 디스플레이의 소정의 일점에 고정하도록 연산하고, 자차 위치를 나타내는 마크 및 추종 차량의 위치를 나타내는 마크, 또한 추종 차량 이외의 주변 차량 위치를 나타내는 마크를 도로 상에 겹쳐 표시하도록 작동함으로써, 자기 차량과 주변 차량의 거리 간격을 쉽게 판별할 수 있는 기술이 존재한다(예를 들면, 특허 문헌 2 참조).

또한, 다른 차량의 상대 위치를 표시하는 경우, CCD 카메라 등의 영상 정보를 이용하여, 다른 차량의 차종 등을 통신 처리 데이터로 받음으로써, 그 차량의 3차원 정보 및 주변의 지도 정보(지형 정보)를 데이터베이스로부터 읽어서, 자기 차량과 다른 차량의 상대 위치의 검출 결과에 기초하여, 차량 및 지형의 3차원 모델을 실시간으로 측정 결과에 맞추어 배치하여 그림으로써, 인구 현실적인 가상 이미지로서 표시 장치에 표시한다. 시점 (視點)을 이동시켜 자유롭게 이동시킨 시점에서의 상태를 표시할 수 있고, 예를 들어 표시 화면의 일부에 조작 레버를 표시하고, 그 조작 레버를 상하 좌우의 원하는 방향으로 조작시킴으로써 시점을 이동시킬 수 있다. 위쪽으로 시점을 이동시키면, 높은 위치에서 전체 상황을 입체적으로 파악할 수 있고, 직전 차량의 배후로 되어 보이지 않았던 전방 차량의 존재를 3차원적으로 확인할 수 있다. 또한, 시점을 도로의 옆 방향에서 보는 듯한 위치로 이동시키면, 자기 차량 및 그 전후에 존재하는 다른 차량의 상태를 측면에서 객관적으로 표시할 수 있도록 하는 기술이 존재한다(예를 들어, 특허 문헌 3 참조).

또한, 시점 변환 이미지 생성 수단이, 시점 변환 이미지 중 차량에 상당하는 부분에, 차량을 모방하여 그려진 차량 모델 이미지를 합성하는 기술이 존재한다(예를 들면, 특허 문헌 4 참조).

특허 문헌

특허 문헌 1 : 일본 특허 공개2003-216981 호 공보

특허 문헌 2 : 일본 특허 공개평11-250396 호 공보

특허 문헌 3 : 일본 특허 공개2006-107521 호 공보

특허 문헌 4 : 일본 특허 공개2011-182059 호 공보

상술한 바와 같은 이동체 주위의 여러 카메라에 의해 영상을 합성하는 기술에서는, 카메라의 시야에서 벗어난 부분이 표시되지 않는 경우가 있다. 또한, 자유로운 시점에서 이동체의 주위의 영상을 표시하는 데는 한계가 있다.

상술한 바와 같은 가상 모델을 이용하여 가상 공간을 구축하는 기술에서는, 조작자 (운전자)에게 가상 모델을 보다 알기 쉬운 형태로 2차원 이미지로서 표시하는 요구가 존재한다.

이동체에 탑재되는 드라이브 레코더에 대해서는, 프런트 유리 부근에 1대 설치되는 경우가 대부분이기 때문에, 이동체의 전방 영상을 기록하는 것이고, 다른 방향의 영상을 기록하지 않는다. 또한, 주행 중 영상을 항상 기록하기 위해서는 대용량의 기록 매체가 필요하다. 이동체의 주위의 상황을 기록하기 위해 여러 대의 카메라를 설치하는 경우에는, 보다 대용량 기억 장치가 필요하다.

개시된 기술은, 이러한 종래 기술의 과제를 감안하여 이루어진 것이고, 자기가 운전하는 이동체의 주변 환경을 영상으로 표시할 때, 보다 알기 쉬운 형태로 정보를 제공하고, 이동체의 주행 상황을 기록하는 경우에도 보다 적은 기억 용량으로 기록할 수 있도록 하는 것을 목적으로 한다.

개시된 기술은, 자신의 이동체의 위치 및 속도를 포함한 자신의 이동체의 주행 상태에 관한 정보를 얻는 주행 상태 취득부와, 자신의 이동체의 주변에 존재하는 다른 이동체 및 주행로의 형상을 포함하는 복수의 오브젝트에 관한 정보를 얻는 오브젝트 정보 취득부와, 상기 주행 상태 취득부 및 상기 오브젝트 정보 취득부에서 얻어진 정보에서, 적어도, 상기 자신의 이동체 및 상기 복수의 오브젝트 각각에 대해 가상 모델을 매핑하여 3차원 공간 중에 배치함으로써, 가상 공간을 구축하는 가상 공간 구축부와, 상기 가상 공간에 배치된 가상 카메라로부터 상기 가상 공간을 촬영한 2차원 영상을 생성하여 표시 화면에 출력하는 2차원 영상 생성부를 갖고, 상기 2차원 영상 생성부는 상기 자신의 이동체와의 상대적인 속도에 따라, 2차원 영상에 상기 복수의 오브젝트 각각에 대응하는 가상 모델의 표시에 소정의 효과를 추가하여 상기 2차원 영상을 생성하는, 이동체 위치 정보 인식 표시장치를 제공한다.

개시된 기술에 따르면, 자신의 이동체의 주변 환경을, 영상으로서 표시할 때, 보다 알기 쉬운 형태로 정보를 제공할 수 있도록 함과 함께, 이동체의 주행 상황을 기록하는 경우에도 보다 더 적은 기억 용량으로 기록할 수 있다.

도 1은 일 실시예에서 가상 공간 및 현실의 이동체에 설치된 센서류의 예를 나타내는 도면이다.
도 2는 일 실시예의 기능 블록도이다.
도 3은 일 실시예에서 제1 표시 이미지의 예를 나타내는 도면이다.
도 4는 일 실시예에서 제1 표시 이미지의 변형예를 나타내는 도면이다.
도 5는 일 실시예에서 제2 표시 이미지의 예를 나타내는 도면이다.
도 6은 일 실시예에서 주위의 이동체의 잔상 표시의 제1 흐름도이다.
도 7은 일 실시예에서 주위의 이동체의 잔상 표시의 제2 흐름도이다.
도 8은 하드웨어 구성을 나타내는 도면이다.

도 1은, 일 실시예에서 가상 공간 및 현실의 이동체에 설치된 센서류의 예를 나타내는 도면이다.

도 1의 (A)에 도시된 가상 공간(150)은, 도 1의 (B)에 도시된 실제 이동체(100R)에 설치된 카메라(101a 내지 101d)에서 주변 오브젝트의 영상 정보, 레이더(103)에 의한 주변 오브젝트의 상대 속도 및 위치 등의 정보, 무선 안테나(105)에서 수신된 GPS 정보 및 무선 네트워크에 접속된 다른 시스템으로부터의 여러 정보, 실제 이동체(100R) 내에 설치된 속도계, 가속도계, 자이로 등의 센서류(도시하지 않음) 등으로부터 얻어진 이동체 (100R) 정보 등을 기반으로 구축된다.

상기 카메라(101a 내지 101d), 레이더(103), 무선 안테나(105) 및 속도계 등의 센서류(도시하지 않음)는 예시이며, 기타 적절한 정보 수집 장치가 이용될 수 있다. 또한 이러한 정보 수집을 위한 장치는, 실제 이동체(100R)의 차량 내부 또는 차량 외부의 어디에도 설치되어도 된다.

도 1의 (A)에서 가상 공간(150)은, 도 1의 (B)에 도시된 실제 이동체(100R)에 대응하는 가상 이동체(100)가 가상 카메라(130)의 촬영 방향의 대략 중앙에 위치하도록 가상 카메라(130)가 설정되는 것이 바람직하다. 가상 카메라(130)는, 가상 카메라(130)의 가상적인 촬영계에 의해 가상 공간(150)을 2차원 이미지로 변환하는 경우에 사용되는 다양한 파라미터를 설정하는 것이 가능하다. 가상 카메라(130)의 파라미터로서는, 예를 들어 가상 카메라(130)의 가상 공간에서의 위치, 촬영 방향, 초점 거리, 시야각 등이다. 피사계 심도는 가상적인 렌즈 시스템의 초점이 맞는 심도를 나타내는 파라미터이지만, 본 실시예의 경우, 피사계 심도는 팬포커스로(즉, 가상 카메라(130)로부터 어떤 거리에 존재하는 가상 오브젝트에 대해서도 초점이 맞게) 설정되는 것이 바람직하다.

도 1의 (A)에는, 상기 제반 정보에서 실제 이동체(100R) 주변에 주행하고 있는 실제 공간에서 다른 이동체 및 정지물체 등이 인식된다. 실제 공간에서 다른 이동체 및 정지물체 등은, 본 발명의 실시예에 따라 3D 모델 데이터베이스가 참조되고, 각각의 가상 모델에 매핑된 가상 공간(150)에 배치된다.

도 1의 (A)의 가상 공간에는, 트럭(110), 자동차(112), 버스(114), 길가의 폴(120)이 실제 이동체(100R)에 대응하는 가상 공간 내의 가상 이동체(100)의 주위에 배치되어 있다. 가상 공간(150)에 존재하는 이러한 가상적인 모델은 가상 이동체(100)에 대해 실제 공간에 존재하는 오브젝트 각각에 대응하고, 그들과 실제 이동체(100R)와의 상대적인 움직임에 따라 항상 가상 공간 (150) 내에서 상대적으로 이동하고 있다.

본 실시예에서, 가상 카메라(130)의 가상적인 촬영계는, 항상 가상 이동체(100)를, 화면의 중앙에 위치하도록, 가상 이동체(100)와 동일 방향으로 이동하여, 가상 촬영계가 가상 이동체(100)를 화면 중앙에 위치하도록 가상 이동체(100)를 추종하도록 되어 있는 것이 바람직하다. 또한, 가상 카메라(130)와 가상 이동체(100)의 상대적인 거리 및 가상 카메라 촬영계의 파라미터는, 실제 이동체(100R)에 탑승하고 있는 조작자(운전자)의 지시에 따라 자유롭게 설정할 수 있게 하는 것이 바람직하다. 가상 카메라(130)의 촬영 영상을, 실제 이동체(100R) 조작자(운전자) 등이 볼 수 있도록 운전석 근방에 표시 장치가 설치되는 것이 바람직하다.

또한, 인식된 이륜차와 인간 등도, 가상 공간에 둘 수 있다. 따라서, 본 실시예에서, 운전자의 운전에서 인식되는 것이 필요한 실제의 오브젝트에 대해서, 가상 공간 내에 배치할 수 있도록, 인식할 수 있는 오브젝트의 완전성을 담보하는 것이 바람직하다.

또한, 가상 공간에 실제 이동체(100R)에 대향하는 차량에 대하여, 도 1의 (A)에 도시되어 있지 않지만, 마주오는 차량에 대해서도 인식 대상으로 하는 것이 바람직하다.

도 2는, 일 실시예의 기능 블록도이다. 이동체 측정부(210)는, 실제 이동체(100R)에 설치된 속도계, 가속도계, 자이로 등의 센서류(도시하지 않음) 등으로부터의 정보를 얻는다. 이동체 측정부(210)에서 얻어진 실제 이동체(100R)의 정보는 가상 공간 구축부(250)에 보내진다.

주변 오브젝트 계측부(220)는, 실제 이동체(100R)에 설치된 카메라(101a 내지 101d)에서 주변의 다른 이동체 및 오브젝트의 영상 정보, 레이더(103)에 의한 주변의 다른 이동체 및 오브젝트의 상대 속도 및 위치 등의 정보, 무선 안테나(105)에서 수신된 GPS 정보 및 무선 네트워크에 접속된 다른 시스템으로부터의 여러 정보(도로 정보, 도로의 설치된 카메라로부터의 영상 등)를 받는다. 주변 오브젝트 계측부(220)에 수신된 정보는 가상 공간 구축부(250) 및 오브젝트 인식부(230)에 보내진다.

오브젝트 인식부(230)는, 주변 오브젝트 계측부(220)에 수신된 정보를 기초로 하여 주변에 존재하는 다른 이동체 및 도로 상의 폴 등의 오브젝트를 인식하고, 인식된 결과를 가상 공간 구축부(250)에 보낸다.

가상 공간 구축부(250)는, 네비게이션 데이터베이스(270)에서 도로의 형상을 얻고, 가상 공간(150)에 도로의 모델을 형성한다. 또한 가상 공간 구축부(250)는, 이동체 측정부 (210)에서의 정보를 기초로 하여 실제 이동체(100R)에 대응하는 가상 이동체(100)를 가상 공간(150)에 형성된 가상적인 상기 도로에 위치시켜, 실제 이동체(100R)에 대응하는 속도로 가상적인 상기 도로를 주행시킨다. 가상 이동체(100)의 3차원 형상은 가상 공간 구축부(250)에 저장되어 있어도 되고, 혹은 3D 모델 데이터베이스(240)로부터 얻어도 된다.

또한 가상 공간 구축부(250)는 오브젝트 인식부(230)에서 얻은 정보를 기초로 하여, 주변의 다른 이동체 및 오브젝트에 대응하는 가상 모델을 3D 모델 데이터베이스로부터 취득한다. 가상 공간 구축부(250)는 얻은 주변의 다른 이동체 및 오브젝트에 대응하는 가상 모델을 가상 공간에 둔다. 가상 공간 구축부(250)는, 주변의 다른 이동체 및 오브젝트에 대응하는 가상 모델을 주변 오브젝트 계측부(220)의 정보를 기반으로 하여, 가상 모델의 각각을 가상적인 도로에 주행시킨다.

또한, 가상 공간 구축부(250)는, 가상 공간의 정보를 렌더링부(260) 및 레코더(280)에 보낸다.

렌더링부(260)는, 조작자(운전자)로부터 지시된 가상 카메라 지시 정보를 기초로 하여, 가상 카메라(130)의 파라미터를 설정하고, 가상 공간(150)을 촬영한 정보를 렌더링부 (260)에 보낸다.

렌더링부(260)는, 가상 공간(150)을 가상 카메라(130)로부터 촬영한 2차원 영상을 생성한다. 생성된 2차원 영상은 표시 장치로 보내진다. 렌더링부는 가상 이동체(100)와 상대적으로 이동하는 주변의 다른 이동체에 관하여, 상기 상대 속도가 쉽게 식별될 수 있도록 주변의 이동체의 잔상을 작은 조각으로 표시하거나 또는 주변 이동체의 소정 시간만 과거의 영상을, 예를 들면 과거 영상일수록 투명도를 증가시켜 2차원 이미지로 중첩하여 표시하거나 할 수 있다. 또는 주변의 이동체의 이동 상황을 알 수 있도록 주변의 이동체 궤적(흔들림)을 부가하도록 하고 있다. 어느 정도 과거의 잔상 또는 과거의 다른 이동체의 영상까지를 표시할지 미리 정해 두거나, 조작자(운전자)의 지시에 따라 적절하게 변경할 수 있다.

또한, 자신의 이동체, 마주보고 주행하는 이동체, 자신의 이동체와의 상대 속도의 절대값 또는 상대 속도 변화의 절대값이 소정의 값보다 작은 이동체, 자신의 이동체보다 속도가 느린 이동체 또는 정지하고 있는 오브젝트 등에 대해서는 잔상, 과거 영상 등을 표시하지 않도록 하거나, 혹은 이들의 이동체 중 일부 이동체 또는 오브젝트에 대한 잔상, 과거 영상 등을 표시하지 않도록 하거나 이동체 또는 오브젝트의 종류 또는 성질에 따라, 표시의 효과를 달리하는 것을 허용할 수 있다.

레코더부(280)는, 시시각각 변화하는 가상 공간의 정보를 메모리(704) 또는 기억 매체(760)에 축적한다. 레코더부에 축적되는 정보는 가상 공간(150)의 정보이기 때문에, 실제의 주행 영상을 기록하는 드라이브 레코더보다 더 압축된 정보를 기록할 수 있다. 이 때문에, 소비하는 기억 용량을 줄일 수 있다. 또한, 기록된 시시각각 변화하는 가상 공간의 정보는 가상 카메라를 이동시킴으로써, 나중에 기록 정보를 재생할 때, 시점을 바꿔 가상 공간을 2차원 이미지로 디스플레이에 표시할 수 있다 .

도 3은, 일 실시에 있어서 제1 표시 이미지의 예를 나타내는 도면이다. 도 3의 이미지는 가상 카메라(130)가 가상 공간(150)을 촬영한 이미지이다. 현재 시각에서 가상 이동체(100), 현재 시각에서 주변 이동체(310), 현재 시각에 길가에 존재하는 폴(330)이 표시되어 있다.

도 2에서, 잔상(312), 잔상(314) 및 잔상(316)은, 주변 이동체(310)의 잔상 이미지이다.

예를 들어, 잔상(312)은, 현재 시각보다 시간 d만큼 과거의 주변 이동체(310)의 잔상이어도 된다. 그리고, 잔상(312) 주변 이동체(310)보다 투명도를 Δ% 증가시킨 이미지도 된다. 따라서 잔상(312)은 주변 이동체(310)보다 투명도를 Δ% 증가시킨 이미지이고, 항상 주변 이동체(310)보다 시간 d만큼 과거의 이미지도 된다. 이 경우 잔상(312)은, 가상 이동체(100)보다 상대 속도가 빠르면, 주변 이동체(310)를 추종하고 있는 것처럼 보이게 된다. 또한, 상기 기재에서 "투명도"는 투명도 100 %가 완전 투명을 의미하고, 투명도 0 %는 완전 불투명을 의미하는 단어로 사용하고 있다.

혹은, 잔상(312)은, 어느 시각보다 소정 시간만큼 과거의 주변 이동체(310)의 순간적인 이미지이며 투명도를 Δ%만큼 증가시킨 이미지도 된다. 즉, 주변 이동체(310)는 소정의 시간 간격 d에서 잔상을 남기게 하는 것으로 해도 된다. 이 경우, 잔상(312)은 가상 이동체(100)보다 상대 속도가 빠르면, 주변 이동체(310)가 소정의 시간 간격 d마다, 주변 이동체(310)의 정지 화면으로, 투명도를 Δ% 증가시킨 정지 화면을 남기면서 이동하고 있는 것처럼 보이게 된다.

잔상(314)는, 잔상(312)보다 시간 d만큼, 과거의 이미지이며, 또한 투명도를 Δ% 증가시킨 이미지이며, 잔상(316)은 잔상(314)보다 시간 d만큼, 과거의 이미지이며, 또한 투명도를 Δ% 증가시킨 이미지도 된다. 또한 투명도를 증가시키는 값은 각각의 잔상에서 다를 수 있다. 또한, 잔상의 간격 d가 각각의 잔상에서 달라도 된다. 또한, 잔상을 몇개를 남길 것인지는 미리 정해 놓아도 된다. 또는 투명도를 증가시켰을 때 투명도가 100% 이상이 되었을 경우에는 잔상을 지우는 동시에, 렌더링 대상에서 제외해도 된다.

이처럼, 주변 이미지(310)의 잔상을 남기고, 영상을 생성하여 주변 이동체(310)가 가상 이동체(100)와 상대적으로 어떤 속도로 이동하고 있는지를 알 수 있다.

또한, 위의 설명에서는, 가상 이동체(100)의 속도가 변화해도 이미지에서 정지하고 있는 것처럼 가상 카메라(130)를 이동시킨 경우를 예로 들어 설명했지만, 가상 이동체(100)가 이동하도록 이미지를 생성할 수 있다.

도 3의 예에서는, 하나의 가상 이동체(100)만을 보여주지만, 복수의 가상 이동체를 같이 표시하도록 해도 된다. 또한 마주오는 차도 표시할 수 있다. 가상 이동체(100)는 사륜차에 한정되지 않고, 이륜차, 자전거 등이어도 된다.

잔상(312), 잔상(314), 잔상(316)은 가상 이동체(100)와 상대적인 관계를 유지하고 표시되도록 하는 것이 바람직하다. 따라서, 잔상은 정지해 있는 도로 또는 길가의 폴의 상대적인 위치 관계가 유지되지 않는 것으로 되어 있다.

또한, 정지하고 있는 길가의 폴(330)은 잔상을 남기지 않게 표시하는 것이 바람직하다.

도 4는, 일 실시예에서 제1 표시 이미지의 변형예를 나타내는 도면이다.

도 4의 흔들림 이미지(360)는, 잔상(312), 잔상(314) 및 잔상(316) 등에 흐림 효과를 추가하여, 주변 이동체(310)의 움직임의 모습을 표현한 것이다. 흔들림의 이미지는 상기의 처리 이외에도 다양한 처리에 의해 표현할 수 있는 것은 물론이다. 이러한 효과를 표시하여 조작자(운전자)에 대해 더 알기 쉬운 영상을 제공할 수 있다.

도 5는, 일 실시예에서 제2 표시 이미지의 예를 나타내는 도면이다. 도 5는, 주변 이동체(410)의 속도가 가상 이동체(100)보다 느린 트럭의 경우의 예를 보여주고 있다. 이 경우에는 현재 시각 주변 이동체(410)가 표시되어 있고, 과거로 거슬러 올라감에 따라, 잔상(412), 잔상(414), 잔상(416)이 주변 이동체(410)의 앞에 표시된다. 또한, 이 트럭처럼, 주변 이동체(410)의 속도가 가상 이동체(100)보다 느린 경우에는 잔상(412), 잔상(414) 및 잔상(416)을 표시하지 않을 수도 있다. 이처럼 주변 이동체(410)의 속도가 가상 이동(100)보다 느린 경우에는 잔상이 트럭의 앞 부분에 겹치기 때문에 사람에게 트럭(주변 이동체(410))의 형상을 인식하기 어려워지는 경우가 있다. 따라서 이러한 상황에서는 잔상을 표시하지 않도록 하여 사람에게 트럭(주변 이동체(410))의 이동 상황보다 트럭의 형상을 명확하게 인식시킬 수 있는 경우가 있다. 또한 주변 이동체(410)와 가상이동체(100)와의 상대 속도의 절대값이 소정의 값보다 작은 경우에는 잔상의 겹침이 강해지고 트럭의 형상을 사람이 인식하기 어려워지는 경우가 있다. 따라서, 이러한 상황에서는 잔상을 표시하지 않도록 하여, 인간에게 트럭의 이동 상황보다 트럭의 형상을 명확하게 인식할 수 있는 경우가 있다.

이와 같이, 가상 이동체(100)에 대한 주변 이동체(410)의 상대 속도가 특정 조건을 만족하는 경우에, 주변 이동체(100)의 표시에 미치는 효과를 변화시키도록 하고 있다.

시간 간격 d 및 투명도 Δ%에 대해서는, 도 3과 동일하므로 설명을 생략한다.

도 6은 일 실시예에서 주위의 이동체의 잔상 표시의 제 1의 흐름도이다. 다음에 각 단계에 대해 설명한다.

[단계 S500] 본 실시예의 처리 플로우는 소정의 간격으로 인터럽트에 의해 시작된다. 또한, 처리 시작의 계기는 인터럽트에 한정되는 것은 아니다. 처리는 단계 S510으로 진행한다.

[단계 S510] 단계 510은, 단계 S526 사이에 존재하는 각 단계의 처리를 주변의 오브젝트 전체에 대해 반복한다.

[단계 S512] 예를 들어, 실제의 이동체(100R)에 탑재된 카메라의 영상에 기초해서 패턴 인식으로 인식된 오브젝트가 새로운 것인지가 판단된다. 새로운 것이면("예"), 단계 S514로 진행한다. 이미 인식되어 있고, 새로운 것이 아닌 경우에는("아니오"), 단계 S516로 진행한다.

[단계 S514] 새로운 오브젝트를 판정하고 대응하는 가상 모델을 특정한다. 인식되어야 할 오브젝트가 새로운 것인 경우에, 패턴 인식, 기계 학습 기술 등을 이용하여 어떤 차종인지, 혹은 어떤 오브젝트인지가 판정된 대응 모델이 특정된다. 패턴 인식에 있어서는, 예를 들어 이동체라면, 헤드 라이트의 위치, 차체의 다양한 디자인 등의 특징에 따라, 그 특징에 가장 합치하는 차종을 특정한다. 특정된 차종의 3D 모델 데이터베이스(240)에서 특정된 차종의 3D 모델을 검색하여 가져온다. 정지해 있는 도로 상의 폴(330)에 대해서도 특징을 추출하고, 오브젝트의 인식을 하여, 3D 모델의 검색 및 취득이 이루어진다. 취득된 3D 모델은 가상 공간을 구축할 때 및 렌더링 시에 이용된다. 다음 단계 S516로 진행한다.

[단계 S516] 오브젝트를 판정하여 가상 모델을 특정한다. 인식된 하나 이상의 오브젝트의 위치에 따라, 가상 공간(150) 내의 적절한 위치에 가상 모델을 배치한다. 다음 단계 S518로 진행한다.

[단계 S518] 레코더에서 가상 공간을 기록한다. 조작자(운전자) 등에 의해, 가상 공간을 기록할 것인지가 지시되어 있는 경우에는, 그 시각에서 가상 공간을 메모리(704) 또는 기억 매체(760)에 기억한다. 다음 단계 S520로 진행한다.

[단계 S520] 현재 시각에서 시간 d만큼 앞으로 주변의 이동체 모델의 위치가 특정된다. 이 경우 위치는 가상 이동체(100)와의 상대적인 위치를 유지하도록 하는 것이 바람직하고, 정지하고 있는 도로 또는 길가 폴(330)과의 위치 관계가 어긋날 수 있다. 이렇게 함으로써 조작자(운전자)는 자신의 가상 이동체(100)와 주변의 다른 이동체와의 과거의 위치 관계를 파악할 수 있다. 다음 단계 S522로 진행한다.

[단계 S522] 현재 시각에서 시간 2d 만큼 이전의 주변이동체 모델의 위치가 특정된다. 기타 처리는 단계 S520과 동일하다. 다음 단계 S524로 진행한다.

[단계 S524] 현재 시각에서 시간 3d만큼 이전의 주변 이동체 모델의 위치가 특정된다. 기타 처리는 단계 S520과 동일하다. 또한, 도 6에 도시된 실시예에서는 현재 시각에서 시간 3d만큼 이전의 주변 이동체의 처리만을 보여주지만, 얼마나 과거까지의 이동체 모델을 처리할지는, 미리 정해두면 된다. 따라서, 실시예의 처리는 도 6에 한정되는 것은 아니다. 다음 단계 S526로 진행한다.

[단계 S526] 다른 처리되지 않은 오브젝트가 존재하는 경우에는 단계 S510으로 돌아온다. 다른 처리되지 않은 오브젝트가 존재하지 않으면, 단계 S528로 진행한다.

[단계 S528] 가상 공간(150)에 대해, 가상 카메라(130)에서 촬영한 2차원 영상이 렌더링된다. 또한, 시간 d만큼 과거의 모델에 대해서는, 현재 시각의 주변 이동체보다 투명도를 Δ%만큼 증가시키고, 시간 2d만큼 과거의 모델에 대해서는 투명도를 2Δ%만큼 증가시키고, 시간 3d만큼 과거의 모델에 대해서는 투명도를 3Δ%만큼 증가시키고 렌더링하여, 도 3에 도시된 이미지를 얻을 수 있다. 또한, 과거의 모델을 일정한 간격 d마다 생성하도록 한 예를 나타냈지만, 간격은 일정하지 않아도 된다. 또한, 투명도에 대해서도 소정의 비율로 투명도를 증가시키는 것이 아니라, 표시 장치의 특성 등을 고려하여 각각의 과거 모델의 투명도를 개별적으로 변화시켜도 된다.

　이상의 처리를 함으로써, 도 3에 도시된 바와 같이, 현재의 주변 이동체(310)의 이미지를 추종하도록, 시간 d만큼 현재보다 과거의 시각에서 주변 이동체(312)가 Δ%만큼 투명도를 증가시켜 표시된다. 과거의 주변 이동체(314) 및 과거의 주변 이동체(316)에 대해서도 이미 설명한 바와 같으므로, 설명을 생략한다.

도 6의 처리를 사용함으로써, 과거의 여러 시점에서 주변이동체 (312, 314, 316)가 매끄럽게 주변 이동체 (310)에 추종하여 이동하도록 영상이 생성된다.

도 6의 처리를 함으로써, 가상 이동체(100)와의 관계에서 주변 이동체가 어떻게 상대적으로 이동하고 있는지를 조작자(운전자)에 대해 더 알기 쉽게 표시할 수 있다. 또한, 도 4와 같이 흔들림을 표시하기 위해서는 과거의 여러 시점에서 주변 이동체(312, 314, 316)를 흐리게 표시하도록 해도 된다. 또는, 도 7에 나타낸 과거의 잔상을 흐리게 표시해도 된다. 또한 흔들림의 표현은 이러한 수법에 한정되는 것은 아니다.

도 7은, 일 실시예에서 주위 이동체의 잔상 표시의 제2 흐름도이다. 이하에서 각 단계에 대해 설명한다.

[단계 S600] 본 실시예의 처리 플로우는 소정의 간격으로 인터럽트에 의해 시작된다. 또한, 처리 시작의 계기는 인터럽트에 한정되는 것은 아니다. 처리는 단계 S610으로 진행한다.

[단계 S610] 단계 610은, 단계 S626 사이에 존재하는 각 단계의 처리를 주변의 오브젝트에 대해 반복한다.

[단계 S612] 예를 들어, 실제 이동체(100R)에 탑재된 카메라로부터의 영상에 기초해서 패턴 인식하여 인식된 오브젝트가 새로운 것인지가 판단된다. 새로운 것이면("예"), 단계 S614로 진행한다. 이미 인식되어 있고, 새로운 것이 아닌 경우에는 단계 S616으로 진행한다.

[단계 S614] 새로운 오브젝트를 판정하고, 대응하는 가상 모델을 특정한다. 인식되어야 할 오브젝트가 새로운 것인 경우에는 패턴 인식 기술을 이용하여 어떤 차종인지, 혹은 어떤 오브젝트인지가 판정된 대응하는 모델이 특정된다. 패턴 인식에 대해서는, 예를 들어 이동체라면, 헤드 라이트의 위치, 차체의 다양한 디자인 등의 특징에 따라 그 특징에 가장 합치하는 차종을 특정한다. 특정된 차종에 따라 3D 모델 데이터베이스에서 특정된 차종의 3D 모델을 검색하여 가져온다. 정지해 있는 도로의 폴(330)에 대해서도 특징을 추출하여, 오브젝트 인식을 하고, 3D 모델의 검색 및 취득이 이루어진다. 취득된 3D 모델은 가상 공간을 구축할 때 및 렌더링 시에 이용된다. 다음 단계 S616으로 진행한다.

[단계 S616] 오브젝트를 판정하여 가상 모델을 특정한다. 인식된 하나 이상의 오브젝트의 위치에 따라, 가상 공간(150) 내의 적절한 위치에 모델을 배치한다. 다음 단계 S618로 진행한다.

[단계 S618] 레코더에서 가상 공간을 기록한다. 조작자에 의해, 가상 공간을 기록할 것인지가 지시되어 있는 경우에는 그 시각에서 가상 공간을 메모리(704) 또는 기억 매체(760)에 기억한다. 다음 단계 S620으로 진행한다.

[단계 S620] 인터벌 시간 d1이 경과했는지를 검사한다. 인터벌 시간 d1이 경과한 경우("예")에는 간격의 측정을 영으로 재설정하여 단계 S622로 진행한다. 인터벌 시간 d1이 경과하지 않은 경우("아니오")에는 단계 S624로 진행한다.

[단계 S622] 주변의 이동체에 대해서는 현재 시각의 모델의 렌더링을 잔상으로 남긴다. 단계 S622로 진행한다. 이 단계를 통해 잔상은 인터벌 시간 d1마다 순차적으로 복수 생성된다.

[단계 S624] 복수의 잔상 각각의 투명도를 Δ% 증가시킨다. 투명도가 100 % 이상인 잔상은 렌더링 대상에서 제외해도 된다. 잔상은, 가상 이동체(100)와의 위치 관계를 유지하는 것이 바람직하다. 또한 투명도가 100% 이상이 되지 않더라도, 소정의 시간만큼 과거의 잔상은 렌더링 대상에서 제외하도록 해도 된다. 또한, 렌더링은 단계 S628에서 통합하여 행할 수 있다. 단계 S626로 진행한다.

[단계 S626] 다른 처리되지 않은 오브젝트가 존재하는 경우에는 단계 S610으로 돌아온다. 다른 처리되지 않은 오브젝트가 존재하지 않으면, 단계 S628로 진행한다.

[단계 S628] 가상 공간(150)에 대해, 가상 카메라(130)에서 촬영한 2차원 영상이 렌더링된다. 또한, 시간 d만큼 과거의 잔상에 대해서는, 투명도를 Δ%만큼 증가시키고, 시간 2d만큼 과거의 잔상에 대해서는 투명도를 2Δ%만 증가시키고, 시간 3d만큼 과거의 잔상에 대해서는 투명도를 3Δ%만 증가시키고 렌더링하여, 도 3에 도시된 이미지를 얻을 수 있다. 또한, 잔상을 일정한 간격 d1마다 생성하는 예를 나타냈지만, 간격은 일정하지 않아도 된다. 또한 투명도에 대해서도 소정의 비율로 투명도를 증가시키는 것이 아니라, 표시 장치의 특성 등을 고려하여 각각의 과거 모델의 투명도를 개별적으로 변화시켜도 된다.

이상의 처리를 함으로써 도 3에 도시된 바와 같이, 현재의 주변 이동체(310)의 이미지가 여러 잔상을 남기는 것처럼, 시간 d1만큼 사이에 두고 순서대로 Δ%만큼 투명도를 더욱 증가시켜 표시되게 된다.

도 7의 처리를 이용하여 주변 이동체(312)의 잔상(312, 314, 316)이 시간 간격 d1마다 생성된다.

도 7의 처리를 함으로써, 가상 이동체(100)와의 관계에서 주변 이동체가 어떻게 상대적으로 이동하고 있는지를 조작자(운전자)에 대해 더 알기 쉽게 표시할 수 있다.

<하드웨어 구성>

도 8은, 일 실시예의 하드웨어 구성(700)을 나타내는 도면이다.

하드웨어 구성(700)은, CPU(702), 메모리(704), 통신 제어 장치(706), 입력 인터페이스(708), 표시 제어부(710), 외부 메모리 제어부(712) 및 출력 인터페이스(714)를 가진다.

그리고, 통신 제어 장치(706)는 인터넷, CAN(Controller Area Network)(731) 등의 네트워크 접속된다. 입력 인터페이스(708)는 터치 감지 센서(740), GPS(742), 카메라(744) 등이 접속된다. 표시 제어부(710)에는 디스플레이(750)가 접속된다. 외부 메모리 제어부(712)는 기억 매체(760)를 읽고 쓸 수 있다. 출력 인터페이스는 스피커(770) 등이 접속된다.

기억 매체(760)는 RAM, ROM, CD-ROM, DVD-ROM, 하드 디스크, 메모리 카드 등 이어도 된다.

이상 설명한 실시예의 프로그램은 하드웨어 구성(700)을 구비한 컴퓨터에 의해 실행될 수 있다. 또한, 실시예의 프로그램은 컴퓨터에 실행시키는 방법으로서, 구현되어 있다. 본 실시예의 프로그램의 일부 또는 전부는, 운영 체제에 의헤 실행되고 있다. 또한 프로그램의 일부가 하드웨어에 의해 실현되고 있다. 프로그램은 기억 매체(760) 또는 메모리(704)에 기억되어 있다.

또한, 상술한 실시예에서, 프로그램의 단계는 모순되지 않는 한, 동시에 또는 순서에 상관없이 실행되고 있다.

이상의 실시예는, 하드웨어 장치로서 구현될 수 있다. 이상의 실시예는 청구항에 기재된 발명을 한정하는 것은 아니고, 예시로 간주되는 것은 말할 것도 없다.

２１０:　이동체 계측부
２２０:　주변 오브젝트 계측부
２３０:　오브젝트 인식부
２４０:　3D 모델 데이터베이스
２５０:　가상 공간 구축부
２６０:　렌더링부
２７０:　네비게이션 데이터베이스
２８０:　레코더부

Claims

자신의 이동체의 위치 및 속도를 포함한 자신의 이동체의 주행 상태에 관한 정보를 얻는 주행 상태 취득부와,
자신의 이동체의 주변에 존재하는 다른 이동체 및 주행로의 형상을 포함한 복수의 오브젝트에 관한 정보를 얻는 오브젝트 정보 획득부와,
상기 주행 상태 취득부 및 상기 오브젝트 정보 취득부에서 얻은 정보에서 적어도 상기 자신의 이동체 및 상기 복수의 오브젝트 각각에 대해 가상 모델을 매핑하여 3차원 공간의 가운데에 배치함으로써, 가상 공간을 구축하는 가상 공간 구축부와,
상기 가상 공간에 배치된 가상 카메라로부터 상기 가상 공간을 촬영한 2차원 영상을 생성하여 표시 화면에 출력하는 2차원 영상 생성부를,
갖고,
상기 2차원 영상 생성부는 상기 자신의 이동체와의 상대 속도에 따라, 2차원 영상에서 상기 복수의 오브젝트 각각에 대응하는 가상 모델의 표시에 소정의 효과를 추가하여 상기 2차원 영상을 생성하는,
이동체 위치 정보 인식 표시 장치.
제1항에 있어서, 상기 효과는 이산적으로 표시되는 잔상이며, 시간의 경과에 따라 투명도가 증가하는 잔상인, 이동체 위치 정보 인식 표시 장치.
제2항에 있어서, 상기 잔상은 현재 시각보다 소정 시간만큼 전 시각의 모델 영상으로, 상기 소정의 시간이 클수록, 모델 영상의 투명도가 증가하고 있는, 이동체 위치 정보 인식 표시 장치.
제1항에 있어서, 상기 효과는 궤적인, 이동체 위치 정보 인식 표시 장치.
제 1항 내지 제 4항 중 어느 한 항에 있어서, 상기 자신의 이동체에 마주보고 주행하는 오브젝트, 상기 자신의 이동체와의 상대 속도의 절대값 또는 상대 속도 변화의 절대값이 소정의 값보다 작은 오브젝트, 상기 자기의 이동체보다 속도가 느린 오브젝트 또는 정지하고 있는 오브젝트에 대응하는 모델에는, 상기 효과를 추가하지 않는, 이동체 위치정보 인식 표시 장치.
제 1항 내지 제 5항 중 어느 한 항에 있어서, 상기 가상 공간 또는 상기 2차원 영상을 기록하는 기록부를 더 갖는, 이동체 위치 정보 인식 표시 장치.
자신의 이동체의 위치 및 속도를 포함한 자신의 이동체의 주행 상태에 관한 정보를 얻는 주행 상태 취득 단계와,
자신의 이동체의 주변에 존재하는 다른 이동체 및 주행로의 형상을 포함한 복수의 오브젝트에 관한 정보를 얻는 오브젝트 정보 취득 단계와,
상기 주행 상태 취득 단계 및 상기 오브젝트 정보 취득 단계에서 얻은 정보에서, 적어도, 상기 자신의 이동체 및 상기 복수의 오브젝트 각각에 대해 가상 모델을 매핑하여 3차원 공간의 가운데에 배치함으로써, 가상 공간을 구축하는 가상 공간 구축 단계와,
상기 가상 공간에 배치된 가상 카메라로부터 상기 가상 공간을 촬영한 2차원 영상을 생성하여 표시 화면에 출력하는 2차원 영상 생성 단계를
컴퓨터에 실행시키는 프로그램이며,
상기 2차원 영상 생성 단계는, 상기 자신의 이동체와의 상대 속도에 따라, 2차원 영상에서 상기 복수의 오브젝트 각각에 대응하는 가상 모델의 표시에 소정의 효과를 추가하여 상기 2차원 영상을 생성하는,
이동체 위치 정보 인식 표시 프로그램.