KR102023863B1 - 이동체 주위 표시 방법 및 이동체 주위 표시 장치 - Google Patents

이동체 주위 표시 방법 및 이동체 주위 표시 장치 Download PDF

Info

Publication number
KR102023863B1
KR102023863B1 KR1020187030092A KR20187030092A KR102023863B1 KR 102023863 B1 KR102023863 B1 KR 102023863B1 KR 1020187030092 A KR1020187030092 A KR 1020187030092A KR 20187030092 A KR20187030092 A KR 20187030092A KR 102023863 B1 KR102023863 B1 KR 102023863B1
Authority
KR
South Korea
Prior art keywords
attention
moving object
range
image
display
Prior art date
Application number
KR1020187030092A
Other languages
English (en)
Other versions
KR20180123553A (ko
Inventor
요시노리 구사야나기
다쿠라 야나기
세이고 와타나베
노리마사 기시
Original Assignee
닛산 지도우샤 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛산 지도우샤 가부시키가이샤 filed Critical 닛산 지도우샤 가부시키가이샤
Publication of KR20180123553A publication Critical patent/KR20180123553A/ko
Application granted granted Critical
Publication of KR102023863B1 publication Critical patent/KR102023863B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

촬상에 의해 이동체의 주위 정보를 취득하는 촬상 소자와, 주위 정보에 의한 촬상 화상과 이동체의 주위 상황을 나타내는 가상 화상을 작성하는 컨트롤러(40)와, 가상 화상을 표시하는 디스플레이(50)를 구비한 이동체 주위 표시 장치의 이동체 주위 표시 방법이며, 이동체의 주위에 있어서 주의 범위를 검출하고, 주의 범위의 촬상 화상을 작성하고, 주의 범위의 촬상 화상을 디스플레이(50)에 표시한다.

Description

이동체 주위 표시 방법 및 이동체 주위 표시 장치
본 발명은 이동체 주위 표시 방법 및 이동체 주위 표시 장치에 관한 것이다.
종래부터 차량 진행 방향의 주의 대상물을 검출하고, 검출한 주의 대상물을 운전자에게 알리는 기술이 알려져 있다. 특허문헌 1에서는, 검출한 주의 대상물을 헤드업 디스플레이에 표시한다.
일본 특허 공개 제2001-23091호 공보
그러나, 특허문헌 1에서는, 주의 대상물을 아이콘화하여 헤드업 디스플레이에 표시하기 때문에, 주의 대상물의 속성(고령자인지 어린이인지)이나 시선 방향 등 평소의 운전에 있어서 탑승원이 경험적으로 취득한 정보가 상실될 우려가 있다.
본 발명은 상기 문제를 감안하여 이루어진 것이며, 그 목적은, 탑승원에 대하여 주의를 촉구하고 싶은 정보를 상세하게 알릴 수 있는 이동체 주위 표시 방법 및 이동체 주위 표시 장치를 제공하는 것이다.
본 발명의 일 형태에 관한 이동체 주위 표시 방법은, 촬상에 의해 이동체의 주위 정보를 취득하고, 취득한 주위 정보에 의한 촬상 화상과 이동체의 주위 상황을 나타내는 가상 화상을 작성하고, 이동체의 주위에 있어서 주의 범위를 검출하고, 검출한 주의 범위의 촬상 화상을 작성하고, 주의 범위의 촬상 화상을 디스플레이에 표시한다.
본 발명에 따르면, 주의 범위의 촬상 화상을 디스플레이에 표시하기 때문에, 탑승원에 대하여 주의를 촉구하고 싶은 정보를 상세하게 알릴 수 있다.
도 1은 본 발명의 제1 실시 형태에 관한 이동체 주위 표시 장치의 구성도이다.
도 2의 (a), 도 2의 (b)는 본 발명의 제1 실시 형태에 관한 가상 화상과 카메라 화상의 합성의 일례에 대하여 설명하는 도면이다.
도 3의 (a), 도 3의 (b) 및 도 3의 (c)는 본 발명의 제1 실시 형태에 관한 가상 화상과 카메라 화상의 합성의 다른 예에 대하여 설명하는 도면이다.
도 4의 (a), 도 4의 (b) 및 도 4의 (c)는 본 발명의 제1 실시 형태에 관한 가상 화상과 카메라 화상의 합성의 또 다른 예에 대하여 설명하는 도면이다.
도 5는 본 발명의 제1 실시 형태에 관한 가상 화상과 카메라 화상의 합성의 또 다른 예에 대하여 설명하는 도면이다.
도 6은 본 발명의 제1 실시 형태에 관한 이동체 주위 표시 장치의 동작예를 설명하는 흐름도이다.
도 7은 본 발명의 제2 실시 형태에 관한 이동체 주위 표시 장치의 구성도이다.
도 8은 본 발명의 제2 실시 형태에 관한 가상 화상과 카메라 화상의 합성에 대하여 설명하는 도면이다.
도 9는 본 발명의 제2 실시 형태에 관한 가상 화상과 카메라 화상의 합성의 일례에 대하여 설명하는 도면이다.
도 10은 본 발명의 제2 실시 형태에 관한 가상 화상과 카메라 화상의 합성의 다른 예에 대하여 설명하는 도면이다.
도 11은 본 발명의 제2 실시 형태에 관한 이동체 주위 표시 장치의 동작예를 설명하는 흐름도이다.
도 12는 본 발명의 제3 실시 형태에 관한 이동체 주위 표시 장치의 구성도이다.
도 13은 본 발명의 제3 실시 형태에 관한 가상 화상과 카메라 화상의 합성의 일례에 대하여 설명하는 도면이다.
도 14는 본 발명의 제3 실시 형태에 관한 가상 화상과 카메라 화상의 합성의 다른 예에 대하여 설명하는 도면이다.
도 15는 본 발명의 제3 실시 형태에 관한 가상 화상과 카메라 화상의 합성의 또 다른 예에 대하여 설명하는 도면이다.
도 16은 본 발명의 제3 실시 형태에 관한 이동체 주위 표시 장치의 동작예를 설명하는 흐름도이다.
이하, 본 발명의 실시 형태에 대하여, 도면을 참조하여 설명한다. 도면의 기재에 있어서 동일 부분에는 동일 부호를 붙이고 설명을 생략한다.
[제1 실시 형태]
도 1을 참조하여 제1 실시 형태에 관한 이동체 주위 표시 장치(1)에 대하여 설명한다. 도 1에 도시한 바와 같이, 이동체 주위 표시 장치(1)는 환경 검출부(10)와, 프론트 카메라(20)와, 라이트 카메라(21)와, 레프트 카메라(22)와, 리어 카메라(23)와, 컨트롤러(40), 디스플레이(50)를 구비한다. 또한, 이동체 주위 표시 장치(1)는 주로 자동 운전 기능을 구비하는 자동 운전 차량에 사용되는 장치이다.
환경 검출부(10)는 자차 주위의 환경을 검출하는 장치이며, 예를 들어 레이저 레인지 파인더이다. 레이저 레인지 파인더는, 자차 주위(예를 들어 30m 이내)에 존재하는 장해물(보행자, 자전거, 이륜차, 타차량 등)을 검출한다. 또한, 환경 검출부(10)로서, 적외선 센서나 초음파 센서 등을 사용해도 되고, 이들을 조합하여 구성해도 된다. 또한, 환경 검출부(10)로서, 후술하는 프론트 카메라(20)나 리어 카메라(23) 등을 포함하도록 구성해도 되고, 다른 카메라를 포함하도록 구성해도 된다. 또한, 환경 검출부(10)는 GPS 수신기를 포함하도록 구성해도 된다. 환경 검출부(10)는 GPS 수신기에 의해 수신한 자차 위치 정보를 클라우드에 송신하고, 클라우드로부터 자차 주위의 지도 정보를 취득할 수 있다. 환경 검출부(10)는 검출한 환경 정보를 컨트롤러(40)에 출력한다. 게다가, 환경 검출부(10)는 반드시 자차량에 설치되어 있을 필요는 없고, 차 외부에 구비한 센서가 검출한 데이터를, 무선 통신에 의해 취득하도록 해도 된다. 요컨대, 환경 검출부(10)는 타차량과의 무선 통신(차차간 통신)이나, 장해물, 교차점과의 무선 통신(노차간 통신)에 의해, 자차 주위의 환경을 검출하도록 해도 된다.
프론트 카메라(20), 라이트 카메라(21), 레프트 카메라(22), 리어 카메라(23)는, 각각 CCD(charge-coupled device)나 CMOS(complementary metal oxide semiconductor) 등의 촬상 소자를 가진 카메라이다. 이하의 설명에 있어서, 프론트 카메라(20), 라이트 카메라(21), 레프트 카메라(22), 리어 카메라(23)의 네 카메라를 통합하여 「차량 카메라(20 내지 23)」라 기재한다. 차량 카메라(20 내지 23)는 각각 자차량의 전방, 우측방, 좌측방, 후방을 촬상함으로써 자차 주위의 정보를 취득하고, 취득한 주위 정보를 컨트롤러(40)에 출력한다.
컨트롤러(40)는 환경 검출부(10)와 차량 카메라(20 내지 23)로부터 취득한 정보를 처리하는 회로이며, 예를 들어 IC, LSI 등에 의해 구성된다. 컨트롤러(40)는, 이것을 기능적으로 파악한 경우, 가상 화상 작성부(41)와, 운전 신 판정부(42)와, 주의 범위 특정부(43)와, 기억부(44)와, 카메라 화상 작성부(45)와, 합성부(46)로 분류할 수 있다.
가상 화상 작성부(41)는 환경 검출부(10)로부터 취득한 정보를 사용하여, 자차량의 주위 상황을 나타내는 가상 화상을 작성한다. 제1 실시 형태에 있어서 가상 화상이란, 예를 들어 지형 정보, 장해물 정보, 표지 정보 등을 3D 매핑한 CG 화상이며, 후술하는 카메라 화상과는 상이한 것이다. 가상 화상 작성부(41)는 작성한 가상 화상을 합성부(46)에 출력한다.
운전 신 판정부(42)는 환경 검출부(10)로부터 취득한 정보를 사용하여, 현재의 운전 신을 판정한다. 운전 신 판정부(42)가 판정하는 운전 신은, 예를 들어 통상의 주행 신, 주차 신, 고속 도로에서의 합류 신, 교차점에의 진입 신 등이다. 운전 신 판정부(42)는 판정한 운전 신을 주의 범위 특정부(43)에 출력한다.
주의 범위 특정부(43)는 운전 신 판정부(42)에 의해 판정된 운전 신에 기초하여, 탑승원에게 주의를 촉구하고 싶은 개소(이하, 주의 범위라 함)를 특정한다. 보다 상세하게는, 주의 범위 특정부(43)는 기억부(44)에 기억되어 있는 데이터베이스를 사용하여 주의 범위를 특정한다. 주의 범위에 대해서는 후술하지만, 예를 들어 병렬 주차 신에서는 선회 내측 후륜 부근부터 자차 후방에 걸쳐, 자차 우측 전방까지의 영역이며, 종렬 주차 신에서는, 전륜 및 후륜을 포함하는 자차 주변의 영역이다. 기억부(44)에는 운전 신에 따른 주의 범위가 미리 기억되어 있다. 주의 범위 특정부(43)는 특정한 주의 범위를 카메라 화상 작성부(45)와 합성부(46)에 출력한다.
카메라 화상 작성부(45)는 차량 카메라(20 내지 23)로부터 취득한 정보를 사용하여, 주의 범위 특정부(43)에 의해 특정된 주의 범위의 카메라 화상(촬상 화상)을 작성한다. 카메라 화상 작성부(45)는 작성한 카메라 화상을 합성부(46)에 출력한다. 또한, 본 실시 형태에서는, 촬상 화상으로서 차량 카메라를 사용하고 있지만, 차량 카메라의 종류로서는 특별히 한정되지는 않고, 컬러 카메라, 모노크롬 카메라, 적외선 카메라, 전파 카메라 등 카메라이면 된다.
합성부(46)는 가상 화상 상의 주의 범위를 카메라 화상으로 치환한다. 그리고, 합성부(46)는 합성한 화상을 디스플레이(50)에 출력한다.
디스플레이(50)는 예를 들어 인스트루먼트 패널에 탑재되는 액정 디스플레이나 카 내비게이션 장치에 사용되는 액정 디스플레이이며, 탑승원에게 각종 정보를 표시한다.
다음에, 도 2 내지 도 5를 참조하여, 각종 운전 신에 있어서의 카메라 화상의 합성예를 설명한다.
도 2의 (a)에 도시한 운전 신은, 자차량 M1이 타차량 M2와 타차량 M3 사이에 병렬 주차하는 신이다. 병렬 주차의 경우, 주의 범위는, 영역 R로 나타내는 바와 같이 선회 내측 후륜 부근부터 자차 후방에 걸쳐, 자차 우측 전방까지의 영역이며, 자차량 M1이 진행할 가능성이 있는 범위이다. 주의 범위 특정부(43)는 영역 R을 주의 범위로서 특정하고, 카메라 화상 작성부(45)는 영역 R의 카메라 화상을 작성한다. 그리고, 합성부(46)는 가상 화상 P 상의 영역 R을 카메라 화상으로 치환한다. 이에 의해, 디스플레이(50)는 탑승원에게 주의를 촉구하고 싶은 영역 R을 카메라 화상, 즉 실제 촬상 화상으로 표시한다. 이에 의해, 탑승원은, 영역 R의 상세한 정보를 알 수 있다.
다음에, 도 2의 (b)를 참조하여, 자차량 M1이 타차량 M2와 타차량 M3 사이에 종렬 주차하는 운전 신을 설명한다. 종렬 주차의 경우, 주의 범위는, 영역 R로 나타내는 바와 같이 전륜 및 후륜을 포함하는 자차 주변의 영역이다. 주의 범위 특정부(43)는 영역 R을 주의 범위로서 특정하고, 카메라 화상 작성부(45)는 영역 R의 카메라 화상을 작성한다. 그 후의 처리는, 도 2의 (a)의 내용과 동일하기 때문에 설명을 생략한다.
다음에, 도 3의 (a)를 참조하여, 자차량 M1이 협로 주행 중에 타차량 M2와의 접촉을 피하기 위해 좌측으로 붙기를 행하는 운전 신을 설명한다. 협로에 있어서의 좌측으로 붙기의 경우, 주의 범위는, 영역 R로 나타내는 바와 같이 자차 전방 및 좌측방의 영역이다. 주의 범위 특정부(43)는 영역 R을 주의 범위로서 특정하고, 카메라 화상 작성부(45)는 영역 R의 카메라 화상을 작성한다. 그 후의 처리는, 도 2의 (a)의 내용과 동일하기 때문에 설명을 생략한다. 게다가, 주의 범위 특정부(43)는 타차량 M2와 스쳐 지나갈 때, 타차량 M2와의 거리가 가까워지는 영역을 주의 범위로서 특정하도록 해도 된다.
다음에, 도 3의 (b)를 참조하여, 자차량 M1이 협로 주행 중에 주정차되어 있는 타차량 M3을 피해 주행하는 S자 주행 신을 설명한다. 협로에 있어서의 S자 주행의 경우, 주의 범위는, 영역 R로 나타내는 바와 같이 타차량 M3의 좌우 양측방 및 타이어의 접지 위치를 포함하는 자차 전방의 영역이다. 또한, 영역 R에는 대향 차량인 타차량 M2가 포함되어도 된다. 또한, 주의 범위 특정부(43)는 주차 차량을 피하기 위해 주행하는 영역에서, 대향 차량이 주행하는 영역을 주의 범위로서 설정하도록 해도 된다. 주의 범위 특정부(43)는 영역 R을 주의 범위로서 특정하고, 카메라 화상 작성부(45)는 영역 R의 카메라 화상을 작성한다. 그 후의 처리는, 도 2의 (a)의 내용과 동일하기 때문에 설명을 생략한다.
다음에, 도 3의 (c)를 참조하여, 전주 T 등의 존재에 의해 자차량 M1이 협로 주행 중에 가장 좁은 장소(이하, 최협부라 함)를 통과하는 운전 신을 설명한다. 최협부를 통과하는 경우, 주의 범위는, 영역 R로 나타내는 바와 같이 최협부의 폭(타차량 M2와 전주 T 사이의 폭)을 포함하는 자차 전방의 영역이다. 주의 범위 특정부(43)는 영역 R을 주의 범위로서 특정하고, 카메라 화상 작성부(45)는 영역 R의 카메라 화상을 작성한다. 그 후의 처리는, 도 2의 (a)의 내용과 동일하기 때문에 설명을 생략한다.
다음에, 도 4의 (a)를 참조하여, 자차량 M1이 고속 도로에서 합류할 때 후속하는 타차량 M2가 존재하는 운전 신을 설명한다. 이와 같은 운전 신에 있어서의 주의 범위는, 영역 R로 나타내는 바와 같이 자차 우측방으로부터 후방의 영역이다. 주의 범위 특정부(43)는 영역 R을 주의 범위로서 특정하고, 카메라 화상 작성부(45)는 영역 R의 카메라 화상을 작성한다. 그 후의 처리는, 도 2의 (a)의 내용과 동일하기 때문에 설명을 생략한다. 또한, 도 4의 (a)에 도시한 운전 신에 있어서, 주의 범위는 자차 우측 도어 미러에 비치는 범위로 해도 된다.
다음에, 도 4의 (b)를 참조하여, 자차량 M1이 고속 도로에서 합류할 때 선행하는 타차량 M3이 존재하는 운전 신을 설명한다. 이와 같은 운전 신에 있어서의 주의 범위는, 영역 R로 나타내는 바와 같이 자차 우측방으로부터 전방의 영역이다. 주의 범위 특정부(43)는 영역 R을 주의 범위로서 특정하고, 카메라 화상 작성부(45)는 영역 R의 카메라 화상을 작성한다. 그 후의 처리는, 도 2의 (a)의 내용과 동일하기 때문에 설명을 생략한다.
다음에, 도 4의 (c)를 참조하여, 자차량 M1이 고속 도로에서 합류할 때 후속하는 타차량 M2와 선행하는 타차량 M3이 존재하는 운전 신을 설명한다. 이와 같은 운전 신에 있어서의 주의 범위는, 영역 R로 나타내는 바와 같이 자차 우측방으로부터 전방 및 후방의 영역이다. 주의 범위 특정부(43)는 영역 R을 주의 범위로서 특정하고, 카메라 화상 작성부(45)는 영역 R의 카메라 화상을 작성한다. 그 후의 처리는, 도 2의 (a)의 내용과 동일하기 때문에 설명을 생략한다.
다음에, 도 5를 참조하여, 자차량 M1이 교차점을 좌회전하는 운전 신을 설명한다. 교차점을 좌회전하는 경우, 주의 범위는, 영역 R로 나타내는 바와 같이 자차량 M1의 진행 방향(좌회전 방향)을 포함하는 교차점 전체의 영역이다. 주의 범위 특정부(43)는 영역 R을 주의 범위로서 특정하고, 카메라 화상 작성부(45)는 영역 R의 카메라 화상을 작성한다. 그 후의 처리는, 도 2의 (a)의 내용과 동일하기 때문에 설명을 생략한다.
다음에, 도 6에 도시한 흐름도를 참조하여, 이동체 주위 표시 장치(1)의 일 동작예에 대하여 설명한다. 이 흐름도는, 예를 들어 이그니션 스위치가 온되었을 때 개시된다.
스텝 S101에 있어서, 환경 검출부(10) 및 차량 카메라(20 내지 23)는 자차 주위의 정보를 취득한다.
스텝 S102에 있어서, 가상 화상 작성부(41)는 자차 주위의 정보를 사용하여 가상 화상을 작성한다.
스텝 S103에 있어서, 운전 신 판정부(42)는 자차 주위의 정보를 사용하여 운전 신을 판정한다.
스텝 S104에 있어서, 주의 범위 특정부(43)는 운전 신 판정부(42)에 의해 판정된 운전 신으로부터 기억부(44)의 데이터베이스를 사용하여 주의 범위를 특정한다.
스텝 S105에 있어서, 카메라 화상 작성부(45)는 주의 범위 특정부(43)에 의해 특정된 주의 범위의 카메라 화상을 작성한다.
스텝 S106에 있어서, 합성부(46)는 가상 화상 상의 주의 범위를 카메라 화상으로 치환한다.
스텝 S107에 있어서, 컨트롤러(40)는 합성부(46)에 의해 합성된 합성 화상을 디스플레이(50)에 표시한다.
이상 설명한 바와 같이, 제1 실시 형태에 관한 이동체 주위 표시 장치(1)에 따르면, 이하의 작용 효과가 얻어진다.
이동체 주위 표시 장치(1)는, 먼저 자차 주위의 정보를 사용하여 가상 화상을 작성한다. 다음에 이동체 주위 표시 장치(1)는 운전 신으로부터 주의 범위를 특정하고, 특정한 주의 범위의 카메라 화상을 작성한다. 그리고, 이동체 주위 표시 장치(1)는 가상 화상 상의 주의 범위를 카메라 화상으로 치환하여 디스플레이(50)에 표시한다. 이에 의해, 탑승원은 주의 범위의 상세한 정보를 알 수 있다.
또한, 이동체 주위 표시 장치(1)는 주로 자동 운전 기능을 구비하는 자동 운전 차량에 사용되는 장치라고 설명하였지만, 자동 운전 중에 있어서 탑승원에게 많은 정보를 제공하면, 탑승원은 번거로움을 느낄 우려가 있다. 그러나, 이동체 주위 표시 장치(1)는 주의 범위 이외는 가상 화상으로 표시하기 때문에, 탑승원에게 제공하는 정보를 적게 할 수 있다. 이에 의해, 이동체 주위 표시 장치(1)는 탑승원이 느끼는 번거로움을 저감할 수 있다. 이와 같이, 이동체 주위 표시 장치(1)는 주의 범위를 카메라 화상으로 표시하고, 주의 범위 이외의 영역을 가상 화상으로 표시함으로써, 탑승원에게 주의시키고 싶은 영역(주의 범위)에서는 탑승원에게 상세한 정보를 제공하면서, 주의 범위 이외의 영역에서는 불필요한 정보를 억제할 수 있게 된다. 이에 의해, 탑승원은 필요한 정보만을 정확하게 파악할 수 있게 된다.
주의 범위는, 도 2 내지 도 5에서 설명한 바와 같이 고속 도로의 합류 지점과 같은 도로 상에 있어서의 차량끼리가 교착하는 개소이며, 또한 교차점과 같은 차량과 사람이 교착하는 개소이다. 이와 같은 장소는, 탑승원에게 주의를 촉구하고 싶은 장소이다. 이동체 주위 표시 장치(1)는 가상 화상 상의 주의 범위를 카메라 화상으로 치환하여 표시함으로써, 주의 범위의 상세한 정보를 탑승원에게 알릴 수 있다.
[제2 실시 형태]
다음에, 도 7을 참조하여, 본 발명의 제2 실시 형태에 관한 이동체 주위 표시 장치(2)에 대하여 설명한다. 도 7에 도시한 바와 같이 제2 실시 형태가 제1 실시 형태와 상이한 점은, 이동체 주위 표시 장치(2)가, 물체 검출부(60)와 주의 대상물 특정부(47)를 구비하는 한편, 운전 신 판정부(42), 주의 범위 특정부(43) 및 기억부(44)를 생략한 점이다. 제1 실시 형태와 중복되는 구성에 대해서는 부호를 인용하고 그 설명은 생략하기로 하며, 이하, 상위점을 중심으로 설명한다.
물체 검출부(60)는 자차 주위에 존재하는 물체를 검출하는 물체 검출 센서이며, 자차량의 주행 경로의 주변에 존재하는 물체를 검출한다. 물체 검출부(60)로서는, 예를 들어 레이더 센서를 사용할 수 있다. 물체 검출부(60)가 검출하는 물체는, 예를 들어 타차량, 바이크, 보행자, 자전거 등의 이동체나 신호기나 표지 등이다. 또한, 물체 검출부(60)로서, 레이더 센서 이외의 센서여도 되고, 카메라의 촬상 화상을 사용한 화상 인식 센서여도 된다. 또한, 물체 검출부(60)로서, 레이저 센서나 초음파 센서 등을 사용해도 된다. 물체 검출부(60)는 검출한 물체 정보를 주의 대상물 특정부(47)에 출력한다.
주의 대상물 특정부(47)는 물체 검출부(60)에 의해 검출된 물체 중, 탑승원에게 주의를 촉구하고 싶은 물체(이하, 주의 대상물이라 함)를 특정한다. 주의 대상물은, 예를 들어 타차량, 바이크, 보행자, 자전거, 동물(개나 고양이), 전신주, 간판, 신호기, 표지, 도로상의 낙하물 등이다. 주의 대상물 특정부(47)는 특정한 주의 대상물을 카메라 화상 작성부(45)와 합성부(46)에 출력한다.
다음에, 도 8을 참조하여, 카메라 화상의 합성예를 설명한다. 도 8에 도시한 바와 같이, 가상 화상 P 상에서는 보행자 W는 심벌화된다. 이 경우, 보행자 W의 속성(고령자인지 어린이인지)이나 시선 방향 등의 정보가 상실되는 경우가 있다. 따라서, 주의 대상물 특정부(47)는 물체 검출부(60)에 의해 검출된 보행자 W를 주의 대상물로서 특정하고, 카메라 화상 작성부(45)는, 도 8에 도시한 바와 같이 특정된 보행자 W의 카메라 화상을 작성한다. 그리고, 합성부(46)는 가상 화상 P 상의 보행자 W를 카메라 화상으로 치환한다. 이에 의해, 디스플레이(50)는 탑승원에게 주의를 촉구하고 싶은 보행자 W를 카메라 화상, 즉 실제 촬상 화상으로 표시한다. 이에 의해, 탑승원은, 보행자 W의 상세한 정보를 알 수 있다. 또한, 주의 대상물의 카메라 화상을 작성할 때, 도 8에 도시한 바와 같이 보행자 W를 포함하는 영역의 카메라 화상을 작성해도 되고, 보행자 W의 윤곽을 본뜬 카메라 화상을 작성해도 된다.
다음에, 도 9 내지 도 10을 참조하여, 각종 운전 신에 있어서의 카메라 화상의 합성예를 설명한다.
도 9에 도시한 바와 같이, 자차량 M1이 협로 주행 중에 물체 검출부(60)가 타차량 M2를 검출한 경우, 주의 대상물 특정부(47)는 타차량 M2를 주의 대상물로서 특정하고, 카메라 화상 작성부(45)는 타차량 M2의 카메라 화상을 작성한다. 그 후의 처리는, 도 8의 내용과 동일하기 때문에 설명을 생략한다.
다음에, 도 10을 참조하여, 자차량 M1이 T자 교차점에 진입하는 경우를 설명한다. 물체 검출부(60)가 타차량 M2 내지 M3, 보행자 W, 자전거 B1 내지 B3, 표지 L을 검출한 경우, 주의 대상물 특정부(47)는 이들 물체를 주의 대상물로서 특정하고, 카메라 화상 작성부(45)는 이들의 카메라 화상을 작성한다. 그 후의 처리는, 도 8의 내용과 동일하기 때문에 설명을 생략한다.
다음에, 도 11에 도시한 흐름도를 참조하여, 이동체 주위 표시 장치(2)의 일 동작예에 대하여 설명한다. 이 흐름도는, 예를 들어 이그니션 스위치가 온되었을 때 개시된다.
스텝 S201에 있어서, 환경 검출부(10) 및 물체 검출부(60)는 자차 주위의 정보를 취득한다.
스텝 S202에 있어서, 가상 화상 작성부(41)는 자차 주위의 정보를 사용하여 가상 화상을 작성한다.
스텝 S203에 있어서, 주의 대상물 특정부(47)는 자차 주위의 주의 대상물을 특정한다.
스텝 S204에 있어서, 카메라 화상 작성부(45)는 주의 대상물 특정부(47)에 의해 특정된 주의 대상물의 카메라 화상을 작성한다.
스텝 S205에 있어서, 합성부(46)는 가상 화상 상의 주의 대상물을 카메라 화상으로 치환한다.
스텝 S206에 있어서, 컨트롤러(40)는 합성부(46)에 의해 합성된 합성 화상을 디스플레이(50)에 표시한다.
이상 설명한 바와 같이, 제2 실시 형태에 관한 이동체 주위 표시 장치(2)에 따르면, 이하의 작용 효과가 얻어진다.
이동체 주위 표시 장치(2)는, 먼저 자차 주위의 정보를 사용하여 가상 화상을 작성한다. 다음에 이동체 주위 표시 장치(2)는 주의 대상물을 특정하고, 특정한 주의 대상물의 카메라 화상을 작성한다. 그리고, 이동체 주위 표시 장치(2)는 가상 화상 상의 주의 대상물을 카메라 화상으로 치환하여 디스플레이(50)에 표시한다. 이에 의해, 탑승원은 주의 대상물의 상세한 정보를 알 수 있다.
가상 화상 상에서는, 주의 대상물의 정보가 상실되는 경우가 있다. 예를 들어, 인간을 심벌화하면, 그 인물의 속성(고령자인지 어린이인지)이나 시선 방향 등의 정보가 상실되는 경우가 있다. 또한, 차량을 예로 들면, 차체의 크기나 형태, 색 등의 정보가 상실되는 경우가 있다. 그러나, 이동체 주위 표시 장치(2)는 가상 화상 상의 주의 대상물을 카메라 화상으로 치환하여 표시하기 때문에, 가상 화상화에 의한 정보의 손실을 보완할 수 있다. 이에 의해, 탑승원은 주의 대상물의 움직임을 예측하기 쉬워진다.
또한, 이동체 주위 표시 장치(2)는 주의 대상물로서, 보행자, 동물, 자전거, 차량, 혹은 표지를 카메라 화상으로 치환하여 표시함으로써, 탑승원은 이러한 상세한 정보들을 알 수 있다.
[제3 실시 형태]
다음에, 도 12를 참조하여, 본 발명의 제3 실시 형태에 관한 이동체 주위 표시 장치(3)에 대하여 설명한다. 제3 실시 형태가 제1 실시 형태와 상이한 점은, 이동체 주위 표시 장치(3)가, 물체 검출부(60)와, 주의 대상물 특정부(47)와, 강조 개소 특정부(48)를 구비하는 것이다. 제1 실시 형태와 중복되는 구성에 대해서는 부호를 인용하여 그 설명은 생략하기로 하고, 이하, 상위점을 중심으로 설명한다. 또한, 물체 검출부(60) 및 주의 대상물 특정부(47)에 대해서는 제2 실시 형태에서 설명한 것과 동일하기 때문에, 설명을 생략한다.
강조 개소 특정부(48)는 탑승원에게 주의를 촉구하고 싶은 강조 개소를 특정한다. 구체적으로는, 강조 개소 특정부(48)는 주의 대상물 특정부(47)에 의해 특정된 주의 대상물이, 주의 범위 특정부(43)에 의해 특정된 주의 범위 내에 존재하는 경우에, 이 주의 대상물을 강조 개소로서 특정한다. 강조 개소 특정부(48)는 특정한 강조 개소를 카메라 화상 작성부(45)와 합성부(46)에 출력한다.
다음에, 도 13 내지 도 15를 참조하여, 각종 운전 신에 있어서의 카메라 화상의 합성예를 설명한다.
먼저 도 13을 참조하여, 자차량 M1이 T자 교차점에 진입하는 운전 신을 설명한다. T자 교차점의 경우, 주의 범위는, 영역 R로 나타내는 바와 같이 T자 교차점의 중심으로부터 좌우 양방향의 범위를 포함하는 자차 주위의 영역이다. 주의 범위 특정부(43)는 영역 R을 주의 범위로서 특정한다. 다음에 주의 대상물 특정부(47)는 물체 검출부(60)에 의해 검출된 타차량 M2 내지 M3, 보행자 W, 자전거 B1 내지 B3, 표지 L을 주의 대상물로서 특정한다. 다음에, 강조 개소 특정부(48)는 주의 대상물 특정부(47)에 의해 특정된 주의 대상물 중, 영역 R 내에 존재하는 주의 대상물을 강조 개소로서 특정한다. 도 13에 도시한 예에서는, 강조 개소 특정부(48)는 보행자 W, 자전거 B1 내지 B3, 표지 L을 강조 개소로서 특정한다. 다음에 카메라 화상 작성부(45)는 강조 개소로서 특정된 보행자 W, 자전거 B1 내지 B3, 표지 L의 카메라 화상을 작성한다. 그리고, 합성부(46)는 가상 화상 P 상의 보행자 W, 자전거 B1 내지 B3, 표지 L을 카메라 화상으로 치환한다. 이에 의해, 디스플레이(50)는 보행자 W, 자전거 B1 내지 B3, 표지 L을 카메라 화상, 즉 실제 촬상 화상으로 표시한다. 이에 의해, 탑승원은 보행자 W, 자전거 B1 내지 B3, 표지 L의 상세한 정보를 알 수 있다. 또한, 도 13에 도시한 예에서는, 자전거 B2나 자전거 B3과 같이, 일부라도 영역 R 내에 존재하는 경우에는 강조 개소로서 특정하였지만, 전부가 영역 R 내에 존재하는 경우에 강조 개소로서 특정하도록 해도 된다. 또한, 주의 범위 특정부(43)는 주의 범위를 실시간으로 특정하도록 해도 되고, 주의 범위는 지도 상 등에 미리 설정되도록 해도 된다.
또한, 강조 개소 특정부(48)는 영역 R 내에서 주의 대상물이 검출되지 않은 경우, 강조 개소를 특정하지 않는다. 강조 개소 특정부(48)가 강조 개소를 특정하지 않은 경우, 합성부(46)는 가상 화상 P 상의 영역 R을 카메라 화상으로 치환하지 않는다.
그 이유는, 영역 R 내에서 타차량이나 보행자 등의 주의 대상물이 검출되지 않은 경우, 자차량과의 접촉의 위험성은 낮아, 영역 R을 카메라 화상으로 치환하여 탑승원에게 알릴 필요성이 낮기 때문이다. 이와 같이 영역 R 내에서 주의 대상물이 검출되지 않은 경우, 이동체 주위 표시 장치(3)는 가상 화상 P만을 표시함으로써, 탑승원에게 제공하는 정보를 적게 할 수 있다. 이에 의해, 이동체 주위 표시 장치(3)는 탑승원이 느끼는 번거로움을 저감할 수 있다. 또한, 물체 검출부(60)는 주의 범위 특정부(43)에 의해 특정된 주의 범위 내에서 물체를 검출해도 된다. 이와 같이, 물체의 검출 범위를 한정함으로써, 물체 검출부(60)가 물체를 검출할 때까지의 시간을 단축할 수도 있다. 이에 의해, 주의 대상물 특정부(47)가 주의 대상물을 특정할 때까지의 시간을 단축할 수도 있다. 게다가, 물체의 검출 범위를 한정하는 것은, 컨트롤러(40)의 처리 부하를 저감할 수도 있다.
다음에, 도 14를 참조하여, 자차량 M1이 교차점을 좌회전하는 운전 신을 설명한다. 교차점을 좌회전하는 경우, 주의 범위는, 영역 R로 나타내는 바와 같이 자차량 M1의 진행 방향(좌회전 방향)을 포함하는 교차점 전체의 영역이다. 주의 범위 특정부(43)는 영역 R을 주의 범위로서 특정하고, 주의 대상물 특정부(47)는 타차량 M2 내지 M4, 자전거 B, 신호기 S를 주의 대상물로서 특정한다. 다음에, 강조 개소 특정부(48)는 주의 대상물 특정부(47)에 의해 특정된 주의 대상물 중, 영역 R에 존재하는 주의 대상물을 강조 개소로서 특정한다. 도 14에 도시한 예에서는, 강조 개소 특정부(48)는 타차량 M2 내지 M3, 자전거 B, 신호기 S를 강조 개소로서 특정한다. 그 후의 처리는, 도 13의 내용과 동일하기 때문에 설명을 생략한다. 또한, 도 14에 기재된 바와 같이, 좌회전에 맞추어 주의 범위를 설정할 수도 있다. 이와 같이, 주행 신, 현재 실행하고 있는 운전 조작, 장래 예상되는 운전 조작 등에 맞추어 주의 범위와 주의 범위 이외를 설정함으로써, 주의 범위 특정부(43)는 각각의 주행 신, 운전 조작에 적합한 주의 범위를 설정할 수 있게 되어, 주의 범위 이외에 대한 주의를 억제할 수 있다.
다음에, 도 15를 참조하여, 자차량 M1이 교차점을 우회전하는 운전 신을 설명한다. 교차점을 우회전하는 경우, 주의 범위는, 영역 R로 나타내는 바와 같이 자차량 M1의 진행 방향(우회전 방향)을 포함하고, 자차 우측방을 제외한 교차점 전체의 영역이다. 주의 범위 특정부(43)는 영역 R을 주의 범위로서 특정하고, 주의 대상물 특정부(47)는 타차량 M2 내지 M4, 보행자 W, 자전거 B1 내지 B2, 표지 L1 내지 L2를 주의 대상물로서 특정한다. 다음에, 강조 개소 특정부(48)는 주의 대상물 특정부(47)에 의해 특정된 주의 대상물 중, 영역 R에 존재하는 주의 대상물을 강조 개소로서 특정한다. 도 15에 도시한 예에서는, 강조 개소 특정부(48)는 타차량 M2 내지 M4, 보행자 W, 자전거 B1 내지 B2, 표지 L1 내지 L2를 강조 개소로서 특정한다. 그 후의 처리는, 도 13의 내용과 동일하기 때문에 설명을 생략한다. 또한, 주의 범위 특정부(43)는 도 14와 마찬가지로, 도 15와 같이 우회전에 맞추어 주의 범위를 설정할 수도 있다.
다음에, 도 16에 도시한 흐름도를 참조하여, 이동체 주위 표시 장치(3)의 일 동작예에 대하여 설명한다. 이 흐름도는, 예를 들어 이그니션 스위치가 온되었을 때 개시된다.
스텝 S301에 있어서, 환경 검출부(10), 물체 검출부(60) 및 차량 카메라(20 내지 23)는 자차 주위의 정보를 취득한다.
스텝 S302에 있어서, 가상 화상 작성부(41)는 자차 주위의 정보를 사용하여 가상 화상을 작성한다.
스텝 S303에 있어서, 운전 신 판정부(42)는 자차 주위의 정보를 사용하여 운전 신을 판정한다.
스텝 S304에 있어서, 주의 범위 특정부(43)는 운전 신 판정부(42)에 의해 판정된 운전 신으로부터 기억부(44)의 데이터베이스를 사용하여 주의 범위를 특정한다.
스텝 S305에 있어서, 주의 대상물 특정부(47)는 자차 주위의 주의 대상물을 특정한다.
스텝 S306에 있어서, 강조 개소 특정부(48)는 주의 범위 내에 주의 대상물이 존재하는지 여부를 판정한다. 주의 범위 내에 주의 대상물이 존재하는 경우(스텝 S306에서 "예"), 강조 개소 특정부(48)는 주의 범위 내에 존재하는 주의 대상물을 특정하고, 처리가 스텝 S307로 진행된다. 한편, 주의 범위 내에 주의 대상물이 존재하지 않는 경우(스텝 S306에서 "아니오"), 처리가 스텝 S310으로 진행된다.
스텝 S307에 있어서, 카메라 화상 작성부(45)는 강조 개소 특정부(48)에 의해 특정된 주의 대상물의 카메라 화상을 작성한다.
스텝 S308에 있어서, 합성부(46)는 가상 화상 상의 주의 대상물을 카메라 화상으로 치환한다.
스텝 S309에 있어서, 컨트롤러(40)는 합성부(46)에 의해 합성된 합성 화상을 디스플레이(50)에 표시한다.
스텝 S310에 있어서, 컨트롤러(40)는 가상 화상을 디스플레이(50)에 표시한다.
이상 설명한 바와 같이, 제3 실시 형태에 관한 이동체 주위 표시 장치(3)에 따르면, 이하의 작용 효과가 얻어진다.
이동체 주위 표시 장치(3)는, 먼저 자차 주위의 정보를 사용하여 가상 화상을 작성한다. 다음에 이동체 주위 표시 장치(3)는 운전 신으로부터 주의 범위를 특정하고, 주의 범위 내의 주의 대상물을 특정한다. 이동체 주위 표시 장치(3)는 주의 범위 내의 주의 대상물의 카메라 화상을 작성하고, 가상 화상 상의 주의 범위 내의 주의 대상물을 카메라 화상으로 치환하여 디스플레이(50)에 표시한다. 이에 의해, 탑승원은 주의 대상물의 상세한 정보를 알 수 있다.
또한, 이동체 주위 표시 장치(3)는, 주의 범위 내에 주의 대상물이 존재하지 않는 경우, 가상 화상만을 디스플레이(50)에 표시한다. 이에 의해, 이동체 주위 표시 장치(3)는 탑승원에게 제공하는 정보를 적게 할 수 있다. 이에 의해, 이동체 주위 표시 장치(3)는 탑승원이 느끼는 번거로움을 저감할 수 있다.
상기와 같이, 본 발명의 실시 형태를 기재하였지만, 이 개시의 일부를 이루는 논술 및 도면은 본 발명을 한정하는 것이라고 이해해서는 안된다. 이 개시로부터 당업자에게는 다양한 대체 실시 형태, 실시예 및 운용 기술이 명확해질 것이다.
또한, 제1 실시 형태, 제2 실시 형태에서는, 각각 주의 범위, 주의 대상물을 카메라 화상으로 치환하였다. 또한, 제3 실시 형태에서는, 주의 범위 내에 주의 대상물이 존재하는 경우에 이 주의 대상물을 카메라 화상으로 치환하였다. 주의 범위 및 주의 대상물은, 탑승원에게 주의를 촉구하고 싶은 범위를 나타내는 것이며, 주의 범위 및 주의 대상물을 포함시켜 주의 범위라고 바꿔 말할 수 있다. 또한, 후술하는 바와 같이 주의 범위는 주의도가 소정값 이상인 영역도 포함할 수 있다.
제1 내지 제3 실시 형태에서는, 주의 범위를 카메라 화상으로 치환하였지만, 이것에 한정되지 않는다. 예를 들어, 이동체 주위 표시 장치(1 내지 3)는 자차량에 대한 주의도를 산출하고, 산출한 주의도에 따라서 카메라 화상을 치환해도 된다. 자차량에 대한 주의도는, 자차량에 대한 상대 속도나 상대 거리로부터 구할 수 있다. 자차량에 대한 상대 속도나 상대 거리의 검출 방법으로서는, 예를 들어 환경 검출부(10)나 물체 검출부(60)에 이들의 검출 기능을 갖게 하면 된다.
주의도의 산출예로서, 이동체 주위 표시 장치(1 내지 3)는 자차량에 대한 상대 속도가 빠를수록 주의도가 높아지도록 설정할 수 있다. 또한, 이동체 주위 표시 장치(1 내지 3)는 자차량에 대한 상대 거리가 짧을수록, 주의도가 높아지도록 설정할 수 있다.
주의도에 기초하는 구체적인 표시 방법을 설명한다. 이동체 주위 표시 장치(1 내지 3)는 자차 주위에 존재하는 물체의 주의도를 산출하고, 산출한 주의도가 소정값 이상인 경우에, 그 물체가 존재하는 영역의 카메라 화상을 작성하고, 가상 화상 상의 그 영역을 카메라 화상으로 치환하여 표시한다. 이에 의해, 이동체 주위 표시 장치(1 내지 3)는 그 물체의 속성(인간인지, 동물인지) 등을 식별하지 않고, 주의를 촉구하고 싶은 영역의 정보를 상세하게 탑승원에게 알릴 수 있다. 또한, 소정값에 대해서는, 미리 실험이나 시뮬레이션을 통해 구할 수 있다.
또한, 이동체 주위 표시 장치(1 내지 3)는, 가상 화상을 복수로 분할하고, 분할한 화상에 대응하는 영역마다 주의도를 산출하고, 산출한 주의도가 소정값 이상이 된 영역을 카메라 화상으로 치환하도록 해도 된다. 이에 의해, 이동체 주위 표시 장치(1 내지 3)는 주의도의 연산 부하를 저감할 수 있다.
또한, 주의 범위 특정부(43)는 기억부(44)에 기억되어 있는 데이터베이스를 사용하여 주의 범위를 특정하지만, 이것에 한정되지 않는다. 예를 들어, 주의 범위 특정부(43)는 자차 위치 정보를 클라우드에 송신하고, 자차 위치 정보에 대응하는 클라우드로부터의 정보를 사용하여 주의 범위를 특정하도록 해도 된다. 또한, 주의 범위 특정부(43)는 차차간 통신에서 타차량으로부터 취득한 정보를 사용하여 주의 범위를 특정하도록 해도 된다.
또한, 본 실시 형태에 있어서의 합성부(46)는 가상 화상 상의 주의 범위를 카메라 화상으로 치환하였지만, 반드시 그것에 한정되지는 않고, 합성부(46)는 자차 주위의 카메라 화상을 생성하고, 주의 범위 이외의 영역을 가상 화상으로 치환하도록 해도 된다. 요컨대, 주의 범위가 카메라 화상으로 표시되면 된다.
또한, 상술한 실시 형태의 각 기능은, 하나 또는 복수의 처리 회로에 의해 실장될 수 있다. 처리 회로는, 전기 회로를 포함하는 처리 장치 등의 프로그램된 처리 장치를 포함한다. 처리 회로는, 또한, 실시 형태에 기재된 기능을 실행하도록 어레인지된 특정 용도용 집적 회로(ASIC)나 종래형 회로 부품과 같은 장치를 포함한다.
10 : 환경 검출부
20 : 프론트 카메라
21 : 라이트 카메라
22 : 레프트 카메라
23 : 리어 카메라
40 : 컨트롤러
41 : 가상 화상 작성부
42 : 운전 신 판정부
43 : 주의 범위 특정부
44 : 기억부
45 : 카메라 화상 작성부
46 : 합성부
47 : 주의 대상물 특정부
48 : 강조 개소 특정부
50 : 디스플레이
60 : 물체 검출부

Claims (7)

  1. 이동체에 탑재되며, 촬상에 의해 주위 정보를 취득하는 촬상 소자와, 상기 주위 정보에 의한 촬상 화상과 상기 이동체의 주위 상황을 나타내는 가상 화상을 작성하는 컨트롤러와, 상기 가상 화상을 표시하는 디스플레이를 구비한 이동체 주위 표시 장치의 이동체 주위 표시 방법이며,
    상기 이동체의 주위에 있어서, 상기 가상 화상을 복수로 분할하고, 분할한 가상 화상에 대응하는 영역마다 주의도를 산출하고,
    상기 주의도가 소정값 이상인 영역을 주의 범위로서 검출하고,
    상기 주의 범위의 상기 촬상 화상을 작성하고,
    상기 주의 범위를 상기 촬상 화상에 의해 표시하고,
    상기 가상 화상은 상기 촬상 화상과 상이한 화상이고,
    상기 가상 화상상에 상기 촬상 화상을 표시하는
    것을 특징으로 하는 이동체 주위 표시 방법.
  2. 제1항에 있어서,
    상기 주의 범위는, 도로 상에 있어서의 차량끼리 또는 차량과 사람이 교착하는 영역인 것을 특징으로 하는 이동체 주위 표시 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 이동체의 주위에 있어서의 주의 대상물을 검출하고,
    상기 주의 대상물을 검출한 경우에, 상기 주의 대상물을 포함하는 영역을 상기 주의 범위로서 검출하고,
    상기 주의 범위를 상기 촬상 화상에 의해 표시하는 것을 특징으로 하는 이동체 주위 표시 방법.
  4. 제1항 또는 제2항에 있어서,
    상기 주의 범위 속에서 상기 이동체의 주위에 있어서의 주의 대상물을 검출하고,
    상기 주의 범위 속에서 상기 주의 대상물을 검출한 경우에, 상기 주의 대상물을 포함하는 영역을 강조 개소로서 검출하고,
    상기 강조 개소를 상기 촬상 화상에 의해 표시하는 것을 특징으로 하는 이동체 주위 표시 방법.
  5. 제3항에 있어서,
    상기 주의 대상물은, 상기 이동체의 주위에 위치하는 보행자, 동물, 자전거, 차량, 혹은 표지인 것을 특징으로 하는 이동체 주위 표시 방법.
  6. 이동체에 탑재되며, 촬상에 의해 주위 정보를 취득하는 촬상 소자와,
    상기 주위 정보에 의한 촬상 화상과 상기 이동체의 주위 상황을 나타내는 가상 화상을 작성하는 컨트롤러와,
    상기 가상 화상을 표시하는 디스플레이를 구비하고,
    상기 컨트롤러는, 상기 이동체의 주위에 있어서, 상기 가상 화상을 복수로 분할하고, 분할한 가상 화상에 대응하는 영역마다 주의도를 산출하고, 상기 주의도가 소정값 이상인 영역을 주의 범위로서 검출하고, 검출한 상기 주의 범위의 상기 촬상 화상을 작성하고, 상기 주의 범위의 상기 촬상 화상을 상기 디스플레이에 표시하고,
    상기 가상 화상은 상기 촬상 화상과 상이한 화상이고,
    상기 컨트롤러는 상기 가상 화상상에 상기 촬상 화상을 표시하는
    것을 특징으로 하는 이동체 주위 표시 장치.
  7. 삭제
KR1020187030092A 2016-04-14 2016-04-14 이동체 주위 표시 방법 및 이동체 주위 표시 장치 KR102023863B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/062014 WO2017179174A1 (ja) 2016-04-14 2016-04-14 移動体周囲表示方法及び移動体周囲表示装置

Publications (2)

Publication Number Publication Date
KR20180123553A KR20180123553A (ko) 2018-11-16
KR102023863B1 true KR102023863B1 (ko) 2019-09-20

Family

ID=60042543

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187030092A KR102023863B1 (ko) 2016-04-14 2016-04-14 이동체 주위 표시 방법 및 이동체 주위 표시 장치

Country Status (10)

Country Link
US (1) US10864856B2 (ko)
EP (1) EP3444145A4 (ko)
JP (1) JP6555413B2 (ko)
KR (1) KR102023863B1 (ko)
CN (1) CN109070799B (ko)
BR (1) BR112018071020B1 (ko)
CA (1) CA3020813C (ko)
MX (1) MX367700B (ko)
RU (1) RU2715876C1 (ko)
WO (1) WO2017179174A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7195200B2 (ja) * 2019-03-28 2022-12-23 株式会社デンソーテン 車載装置、車載システムおよび周辺監視方法
US11554668B2 (en) * 2019-06-25 2023-01-17 Hyundai Mobis Co., Ltd. Control system and method using in-vehicle gesture input
EP4307237A1 (en) * 2021-03-08 2024-01-17 Sony Group Corporation Information processing device, information processing method, program, and information processing system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012176748A (ja) * 2011-02-02 2012-09-13 Nissan Motor Co Ltd 駐車支援装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06278531A (ja) 1993-03-25 1994-10-04 Honda Motor Co Ltd 車両用視認補助装置
JP4334686B2 (ja) 1999-07-07 2009-09-30 本田技研工業株式会社 車両の画像表示装置
JP4956915B2 (ja) * 2005-05-20 2012-06-20 日産自動車株式会社 映像表示装置及び映像表示方法
RU2444059C2 (ru) 2005-06-30 2012-02-27 Эй-Джи-Си Флэт Гласс Норт Америкэ, Инк. Интегральное устройство и способ восприятия образов
JP4775123B2 (ja) 2006-06-09 2011-09-21 日産自動車株式会社 車両用監視装置
WO2008137708A1 (en) * 2007-05-04 2008-11-13 Gesturetek, Inc. Camera-based user input for compact devices
US8947421B2 (en) * 2007-10-29 2015-02-03 Interman Corporation Method and server computer for generating map images for creating virtual spaces representing the real world
JP2011118482A (ja) * 2009-11-30 2011-06-16 Fujitsu Ten Ltd 車載装置および認知支援システム
US20120249789A1 (en) * 2009-12-07 2012-10-04 Clarion Co., Ltd. Vehicle peripheral image display system
JP2011205513A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
WO2011135778A1 (ja) 2010-04-26 2011-11-03 パナソニック株式会社 画像処理装置、カーナビゲーションシステム、及び路上カメラシステム
JP2012053533A (ja) 2010-08-31 2012-03-15 Daihatsu Motor Co Ltd 運転支援装置
US20120287277A1 (en) * 2011-05-13 2012-11-15 Koehrsen Craig L Machine display system
CN104903946B (zh) * 2013-01-09 2016-09-28 三菱电机株式会社 车辆周边显示装置
JP2013255237A (ja) 2013-07-08 2013-12-19 Alpine Electronics Inc 画像表示装置及び画像表示方法
JP5901593B2 (ja) * 2013-09-11 2016-04-13 本田技研工業株式会社 車両用表示装置
US20150138099A1 (en) * 2013-11-15 2015-05-21 Marc Robert Major Systems, Apparatus, and Methods for Motion Controlled Virtual Environment Interaction
US9639968B2 (en) 2014-02-18 2017-05-02 Harman International Industries, Inc. Generating an augmented view of a location of interest

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012176748A (ja) * 2011-02-02 2012-09-13 Nissan Motor Co Ltd 駐車支援装置

Also Published As

Publication number Publication date
US10864856B2 (en) 2020-12-15
CN109070799B (zh) 2021-02-26
MX367700B (es) 2019-09-03
US20190337455A1 (en) 2019-11-07
RU2715876C1 (ru) 2020-03-03
CN109070799A (zh) 2018-12-21
MX2018012119A (es) 2019-02-11
EP3444145A4 (en) 2019-08-14
BR112018071020A2 (pt) 2019-02-12
JP6555413B2 (ja) 2019-08-14
EP3444145A1 (en) 2019-02-20
CA3020813C (en) 2019-05-14
WO2017179174A1 (ja) 2017-10-19
BR112018071020B1 (pt) 2022-06-28
JPWO2017179174A1 (ja) 2019-04-04
KR20180123553A (ko) 2018-11-16
CA3020813A1 (en) 2017-10-19

Similar Documents

Publication Publication Date Title
CN108227703B (zh) 信息处理装置和方法、被操作车辆及记录程序的记录介质
RU2700635C1 (ru) Способ и устройство обнаружения мест для парковки
US11535155B2 (en) Superimposed-image display device and computer program
EP3367366B1 (en) Display control method and display control device
WO2016186039A1 (ja) 自動車周辺情報表示システム
WO2012131871A1 (ja) 情報表示装置、制御方法、プログラム、及び記憶媒体
US20190135169A1 (en) Vehicle communication system using projected light
JP7011559B2 (ja) 表示装置、表示制御方法、およびプログラム
CN109927629B (zh) 用于控制投影设备的显示控制设备、显示控制方法及车辆
KR102023863B1 (ko) 이동체 주위 표시 방법 및 이동체 주위 표시 장치
JP7151633B2 (ja) 情報表示装置
CN111183466A (zh) 周围状况的显示方法以及显示装置
EP3544293B1 (en) Image processing device, imaging device, and display system
WO2022168540A1 (ja) 表示制御装置及び表示制御プログラム
JP2020140603A (ja) 表示制御装置、表示制御方法、および表示制御プログラム
JP2022186190A (ja) 車両用表示装置、車両用表示システム、車両用表示方法及びプログラム
JP2018085584A (ja) 画像処理装置、撮像装置、および表示システム
JP6569356B2 (ja) 情報呈示装置及び情報呈示方法
JP7259377B2 (ja) 車両用表示装置、車両、表示方法及びプログラム
JP3222638U (ja) 安全運転支援装置
JP6759072B2 (ja) 画像処理装置、撮像装置、および表示システム
JP6989418B2 (ja) 車載システム
JP2022154208A (ja) 画像処理装置、画像処理システム、および、画像処理方法
JP6712942B2 (ja) 画像処理装置、撮像装置、および表示システム
JP6720063B2 (ja) 画像処理装置、撮像装置、および表示システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant