KR101874279B1 - 정보 제시 시스템 - Google Patents

정보 제시 시스템 Download PDF

Info

Publication number
KR101874279B1
KR101874279B1 KR1020177034492A KR20177034492A KR101874279B1 KR 101874279 B1 KR101874279 B1 KR 101874279B1 KR 1020177034492 A KR1020177034492 A KR 1020177034492A KR 20177034492 A KR20177034492 A KR 20177034492A KR 101874279 B1 KR101874279 B1 KR 101874279B1
Authority
KR
South Korea
Prior art keywords
vehicle
distance
image
wireless communication
guide line
Prior art date
Application number
KR1020177034492A
Other languages
English (en)
Other versions
KR20170141778A (ko
Inventor
마사후미 즈지
Original Assignee
닛산 지도우샤 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛산 지도우샤 가부시키가이샤 filed Critical 닛산 지도우샤 가부시키가이샤
Publication of KR20170141778A publication Critical patent/KR20170141778A/ko
Application granted granted Critical
Publication of KR101874279B1 publication Critical patent/KR101874279B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

차량에 설치된 카메라(1)를 갖는 차량 탑재 장치(200)와, 차량 탑재 장치와 무선 통신하는 휴대 가능한 단말 장치(100)를 갖는 정보 제시 시스템에 있어서, 단말 장치(100)는, 카메라(1)에 의해 촬상된 차량 주위의 화상을 취득하는 화상 취득 수단(10)과, 화상 상에 차량으로부터의 거리를 나타내는 거리 표지를 중첩하는 중첩 수단(10)과, 차량 탑재 장치(200)와 단말 장치(100)의 무선 통신의 지연 상태를 판단하는 판단 수단(10)과, 거리 표지가 중첩된 화상을 제시하는 제시 수단(10)을 구비하고, 중첩 수단(10)은, 무선 통신이 지연되고 있지 않은 경우에는, 화상 상에 있어서 차량으로부터의 거리가 거리 표지가 나타내는 거리로 되는 기준 위치에, 거리 표지를 중첩하고, 무선 통신이 지연되고 있는 경우에는, 기준 위치보다 차량의 진행 방향측의 위치, 또는 기준 위치보다 차량측의 위치에, 거리 표지를 중첩하는 것을 특징으로 하는 정보 제시 시스템이다.

Description

정보 제시 시스템
본 발명은 차량 주위의 영상에 관한 정보를 제시하는 정보 제시 시스템에 관한 것이다.
이러한 종류의 장치에 관하여, 차량의 시프트 레버가 리버스 위치로 조작된 경우에, 차량의 후방의 영상을 표시하는 운전 지원 장치가 알려져 있다(특허문헌 1).
일본 특허 공개 제2012-0162130호 공보
그러나, 차량 탑재 장치에 내장되어 있지 않은 가반형 단말 장치가, 무선 통신을 통하여 취득한 차량 탑재 카메라의 촬상 화상을 제시하는 경우에, 무선 통신에 지연이 발생하면 촬상 화상을 제시하는 타이밍이 지연된다고 하는 문제가 있다.
본 발명이 해결하고자 하는 과제는, 차량 탑재 장치와 단말 장치의 무선 통신에 지연이 발생한 경우라도, 실시간의 차량 주위의 상태를 나타내는 화상 정보를 단말 장치에 적절하게 제시하는 것이다.
본 발명은 무선 통신이 지연되고 있지 않은 경우에는, 화상 상에 있어서 차량으로부터의 거리가 거리 표지가 나타내는 거리로 되는 기준 위치에, 차량으로부터의 거리를 나타내는 거리 표지를 중첩하고, 무선 통신이 지연되고 있는 경우에는, 기준 위치보다 차량의 진행 방향측의 위치, 또는 기준 위치보다 차량측의 위치에, 거리 표지를 중첩함으로써, 상기 과제를 해결한다.
본 발명에 따르면, 무선 통신이 지연되고 있는 경우에는, 기준 위치보다 차량의 진행 방향측의 위치, 또는 기준 위치보다 차량측의 위치에, 거리 표지를 중첩함으로써, 차량 탑재 장치와 단말 장치의 무선 통신이 지연되고 있는 경우라도, 실시간의 차량 주위의 상태를 운전자에게 인식시킬 수 있다.
도 1은, 본 실시 형태에 관한 정보 제시 시스템의 구성도이다.
도 2는, 단말 장치의 디스플레이에 표시되는 화상의 일례를 도시하는 도면이다.
도 3은, 무선 통신의 지연을 설명하는 도면이다.
도 4는, 제1 실시 형태에 관한 가이드선의 중첩 방법을 설명하기 위한 도면이다.
도 5는, 제1 실시 형태에 관한 가이드선의 중첩 방법을 설명하기 위한 도면이다.
도 6은, 제1 실시 형태에 관한 정보 제시 처리를 도시하는 흐름도이다.
도 7은, 제2 실시 형태에 있어서, 이동체가 자차량 주위에 존재하지 않는 경우, 또는 이동체가 가이드선의 범위 내에 존재하는 경우의 가이드선의 중첩 방법을 설명하기 위한 도면이다.
도 8은, 제2 실시 형태에 있어서, 이동체가 자차량 주위에 존재하지 않는 경우, 또는 이동체가 가이드선의 범위 내에 존재하는 경우의 가이드선의 중첩 방법을 설명하기 위한 도면이다.
도 9는, 제2 실시 형태에 있어서, 이동체가 가이드선의 범위 밖에 존재하는 경우의 가이드선의 중첩 방법을 설명하기 위한 도면이다.
도 10은, 제2 실시 형태에 관한 정보 제시 처리를 도시하는 흐름도이다.
도 11은, 제3 실시 형태에 있어서, 무선 통신이 통상 지연 상태인 경우의 가이드선의 표시 형태를 설명하기 위한 도면이다.
도 12는, 제3 실시 형태에 있어서, 무선 통신이 이상 지연 상태인 경우의 가이드선의 표시 형태를 설명하기 위한 도면이다.
도 13은, 제3 실시 형태에 있어서, 무선 통신이 통신 두절 상태인 경우의 가이드선의 표시 형태를 설명하기 위한 도면이다.
도 14는, 제3 실시 형태에 관한 정보 제시 처리를 도시하는 흐름도이다.
이하, 본 발명의 실시 형태를 도면에 기초하여 설명한다. 본 실시 형태에서는, 차량에 설치된 카메라를 갖는 차량 탑재 장치(200)와, 이 차량 탑재 장치(200)와 무선 통신하는 휴대 가능한 단말 장치(100)를 구비하는 정보 제시 시스템(1000)에 적용한 경우를 예로 들어 설명한다.
<<제1 실시 형태>>
도 1은, 본 실시 형태에 관한 정보 제시 시스템(1000)의 블록 구성도이다. 정보 제시 시스템(1000)은, 차량 탑재 장치(200)와, 단말 장치(100)를 구비한다.
우선, 도 1에 기초하여, 본 발명의 차량 탑재 장치(200)에 대하여 설명한다. 본 실시 형태의 차량 탑재 장치(200)는, 하나 또는 복수의 카메라(1a 내지 1d)와, 통신 장치(2)와, 차량 컨트롤러(3)와, 차량에 탑재된 각종 장치(4)(각종 장치(4)라고도 총칭함)를 구비한다.
카메라(1a 내지 1d)(총칭하여 카메라(1)라고도 칭함. 이하, 동일함)는, CCD(Charge Coupled Devices) 등의 촬상 소자를 사용하여 구성된다. 본 실시 형태에서는, 리어 피니셔 부분이나 루프 스포일러 부분 등의 차량의 리어(후방) 부분의 소정 위치에 설치된 카메라(1)를 구비한다. 이 카메라(1)는, 차량의 후방의 공간에 존재하는 물체 또는 노면의 화상(리어 뷰 화상)을 촬영한다. 본 실시 형태에 있어서의 「차량의 후방」에는, 바로 뒤뿐만 아니라, 후방의 좌우 측방도 포함한다. 또한, 본 실시 형태의 차량 탑재 장치(200)는, 차량(V)의 외부의 상이한 위치에 각각 설치된 복수의 카메라(1a 내지 1d)를 구비한다. 본 실시 형태의 차량 탑재 장치(200)는, 프론트 그릴 부분 등의 차량의 전방의 소정 위치, 좌측 사이드미러 부분 등의 차량의 좌측방의 소정 위치, 또는 우측 사이드미러 부분 등의 차량의 우측방의 소정 위치에 설치된 카메라(1a 내지 1d)를 구비한다. 각 카메라(1)는, 차량 주위의 상이한 방향의 영상을 각각 촬영한다. 본 실시 형태에서는 촬상 가능 범위가 넓은, 광각의 카메라(1)를 사용한다.
차량 탑재 장치(200)는, 카메라(1)가 촬상한 화상을 후술하는 단말 장치(100)로 송출한다. 카메라(1)에 무선 통신 기능을 구비시켜, 외부로 화상을 송출해도 된다. 단말 장치(100)는, 무선의 통신 네트워크를 통하여 카메라(1)가 촬상한 화상을 취득한다. 각 카메라(1)가 촬상한 화상에는, 각 카메라(1)의 배치(어드레스)에 따른 식별자가 부여되어 있고, 단말 장치(100)는, 각 식별자에 기초하여 각 화상의 각각을 식별할 수 있다. 또한, 카메라(1)가 촬상한 화상에는, 당해 화상의 촬상 시각이 부여되어 있고, 단말 장치(100)는, 각 화상이 촬상된 촬상 시각을 파악할 수 있다.
차량 컨트롤러(3)는, 차량의 각 구성으로부터 정보를 취득하고, 차량의 동작을 집중적으로 관리한다. 본 실시 형태의 차량 컨트롤러(3)는, 차량의 상태를 나타내는 상태 정보를 취득한다. 차량 컨트롤러(3)는, 차량의 스티어링 제어 장치(41)로부터 조타 정보를 상태 정보로서 취득하고, 가속도 센서(42)로부터 가속도 정보 또는 속도 정보를 상태 정보로서 취득하고, 차량의 변속 장치(44)의 시프트 포지션 정보를 상태 정보로서 취득한다. 차량 컨트롤러(3)는, 취득한 조타 정보, 가속도 정보(속도 정보)를 단말 장치(100)로 송출한다. 단말 장치(100)의 제어 장치(10)는, 조타 정보로부터 차량의 진행 방향(진행 각도)을 취득한다. 동일하게 제어 장치(10)는, 시프트 포지션 정보로부터 차량이 후퇴 중인지 전진 중인지의 진행 방향을 취득한다. 동일하게 제어 장치(10)는, 가속도 정보(속도 정보)와 이동 시간으로부터 차량의 이동량을 취득한다. 제어 장치(10)는, 차량의 이동 방향 및 이동량으로부터, 소정 시간 경과 후의 차량의 위치를 구할 수 있다.
차량 탑재 장치(200)가 구비하는 카메라(1), 통신 장치(2), 차량 컨트롤러(3) 및 각종 장치(4)는 CAN(Controller Area Network) 그 밖의 차량 탑재 LAN에 의해 접속되어, 서로 정보의 수수를 행할 수 있다.
이어서, 도 1에 기초하여 단말 장치(100)에 대하여 설명한다. 본 실시 형태의 단말 장치(100)는, 스마트폰, 태블릿 단말기 등의 통신 기능을 구비하는 가반의 휴대 단말 장치이다. 본 실시 형태의 단말 장치(100)는, 제어 장치(10)와, 통신 장치(20)와, 디스플레이(30)를 구비한다.
본 실시 형태의 통신 장치(20)는, 외부의 차량 탑재 장치(200)의 통신 장치(2)와 서로 정보의 수수를 행한다. 통신 장치(20)는, 차량 탑재 장치(200)로부터 촬상 화상, 차량의 상태 그 밖의 정보를 취득한다.
본 실시 형태의 디스플레이(30)는, 카메라(1)로 촬상된 화상이나, 무선 통신의 지연 상태에 관한 정보를 표시한다. 도 2는, 단말 장치(100)의 디스플레이(30)에 표시되는 화상의 일례를 도시하는 도면이다. 도 2에 도시하는 예에서는, 차량의 리어(후방) 부분의 소정 위치에 설치된 카메라(1)에 의해, 차량의 후방의 공간에 존재하는 물체나 노면이 촬상된 화상(리어 뷰 화상)을 도시하고 있다(후술하는 도 5, 7, 9, 11 내지 13에 있어서도 마찬가지임).
도 2에 도시하는 바와 같이, 디스플레이(30)에 표시되는 화상에는, 차량이 이동할 것으로 예측되는 궤도를 따른 가이드선이 중첩된다. 화상에 중첩되는 가이드선은, 차 폭 가이드선(Q1) 및 거리 가이드선(Q2)을 갖고 있다. 거리 가이드선(Q2)은, 자차량(카메라(1))으로부터의 거리를 나타내는 가이드선이다. 본 실시 형태에 있어서, 각 거리 가이드선(Q2)은, 자차량으로부터 0.5m, 1.0m, 2.0m, 3.0m의 위치에 중첩된다. 또한, 거리 가이드선(Q2)이 나타내는 거리는 0.5m, 1.0m, 2.0m, 3.0m에 한정되지 않고, 적절히 설정할 수 있다. 또한, 단말 장치(100)는, 차량의 운전자가 시인하기 쉽도록, 차량의 인스트루먼트 패널이나 스티어링 근방에 설치된 홀더에 설치할 수 있다.
본 실시 형태의 단말 장치(100)가 구비하는 제어 장치(10)는, 카메라(1)에 의해 촬상된 화상에 가이드선을 중첩하여 디스플레이(30)에 표시하기 위한 프로그램이 저장된 ROM(Read Only Memory)(12)과, 이 ROM(12)에 저장된 프로그램을 실행함으로써, 본 실시 형태의 단말 장치(100)로서 기능하는 동작 회로로서의 CPU(Central Processing Unit)(11)와, 액세스 가능한 기억 장치로서 기능하는 RAM(Random Access Memory)(13)을 구비하고 있다.
본 실시 형태에 관한 단말 장치(100)의 제어 장치(10)는, 카메라(1)가 촬상한 화상을 취득하는 화상 취득 기능과, 단말 장치(100)와 차량 탑재 장치(200)의 무선 통신의 지연 상태를 판단하는 지연 상태 판단 기능과, 카메라(1)가 촬상한 화상에 가이드선을 중첩하는 가이드선 중첩 기능과, 가이드선이 중첩된 화상을 디스플레이에 표시하는 정보 제시 기능을 갖는다. 제어 장치(10)는, 각 기능을 실현하기 위한 소프트웨어와, 상술한 하드웨어의 협동에 의해 상기 기능을 실행하는 컴퓨터이다. 이하, 제어 장치(10)가 실현하는 각 기능에 대하여 설명한다.
우선, 제어 장치(10)의 화상 취득 기능은, 차량 탑재 카메라(1)에 의해 촬상된 차량 주위의 화상을, 통신 장치(20)를 통하여 차량 탑재 장치(200)로부터 취득한다. 본 실시 형태에 있어서, 화상 취득 기능은, 차량의 후방측의 화상을 취득하지만, 이것에 한정되지 않고, 전방, 측방의 화상을 취득해도 된다. 또한, 화상 취득 기능은, 차량 탑재 장치(200)가 생성한, 상공의 가상 시점에서 자차량을 내려다본, 자차량 주위의 감시 화상을 취득해도 된다. 감시 화상은, 자차량의 상이한 위치에 복수 배치된 카메라(1)에 의해 촬상된 복수의 화상을, 차량 상공의 가상 시점에서 내려다본 투영면에 투영하여 생성한 부감 화상이다. 제어 장치(10)는, 취득한 촬상 화상이나 감시 화상을, 자차량의 주차 시, 후퇴 시 등의 상황에 있어서 디스플레이(30)에 제시하는 정보로서 사용한다.
제어 장치(10)의 지연 상태 판단 기능은, 차량 탑재 장치(200)와 단말 장치(100)의 무선 통신의 지연 상태를 판단한다. 무선 통신의 지연 상태에는, 무선 통신의 지연 시간을 포함한다. 예를 들어, 지연 상태 판단 기능은, 차량 탑재 장치(200)로부터 취득한 화상에 부여된 당해 화상의 촬상 시각과, 당해 화상을 취득하였을 때의 취득 시각의 차를, 지연 시간으로서 구할 수 있다. 또한, 지연 상태 판단 기능은, 단말 장치(100)와 차량 탑재 장치(200)의 무선 통신을 확립할 수 없는 경우에는, 무선 통신의 지연 상태를, 통신 두절 상태라고 판단할 수 있다.
또한, 지연 상태 판단 기능은, 소정의 양호한 통신 환경 하에 있어서의 기준 통신 시간과, 실제로 송수신이 행해지는 통신 환경 하에 있어서의 실측 통신 시간의 차로부터, 지연 시간을 구할 수도 있다. 특별히 한정되지 않지만, 지연 상태 판단 기능은, 차량 탑재 장치(200)의 시계(45)와 단말 장치(100)의 시계(112)를 참조하여, 동기시키고 나서, 차량 탑재 장치(200)와 단말 장치(100)의 무선 통신을 통한 정보의 수수에 요하는 실측 통신 시간을 계측하여, 지연 시간을 산출할 수 있다. 구체적으로는, 차량 탑재 장치(200)로부터 송신 타이밍을 부여한 정보를 단말 장치(100)에 송신한다. 단말 장치(100)는 그 정보를 취득하면 수신 확인 정보를 차량 탑재 장치(200)에 송신한다. 차량 탑재 장치(200)는 단말 장치(100)로 정보를 송신한 송신 타이밍에서부터, 단말 장치(100)가 송출한 수신 확인 정보를 수신한 수신 타이밍까지의 시간의 절반을 무선 통신에 요하는 통신 시간으로서 산출한다. 기준 통신 시간은, 소정의 부하가 없는 통신 환경 하에 있어서, 마찬가지의 방법에 의해 무선 통신의 통신 시간을 산출할 수 있다. 실측되는 통신 시간은, 무선 통신 회선망에 액세스하는 단말 장치의 많음, 통신하는 정보량의 많음 등에 따라 시시각각으로 변화한다. 이 때문에, 지연 상태 판단 기능은, 소정 주기로 통신 시간을 산출하고, 기준 통신 시간과의 차인 지연 시간을 계속적으로 산출한다. 본 예에서는, 차량 탑재 장치(200)와 단말 장치(100)를 사전에 동기시키고 나서 지연 시간을 산출하므로, 정확한 지연 시간을 산출할 수 있다.
또한, 지연 시간은, 미리 통신 설비의 능력에 따라 결정되는 고정적인 시간과, 통신량 등에 의해 발생하는 변동적인 시간이 있다. 고정적인 시간에 대해서는 미리 차량 탑재 장치(200) 또는 단말 장치(100)에 기억시켜 둘 수 있다. 처리 부하의 경감의 관점에서는, 기억된 고정적인 지연 시간을 판독하여 지연 상태를 판단해도 된다.
단말 장치(100)에 있어서, 카메라(1)의 화상의 제시가 지연되는 지연 상태가 발생하는 원인은, 상술한 무선 통신의 지연 시간뿐만은 아니다. 도 3에 도시하는 바와 같이, 촬상 처리에서부터 화상의 제시 처리가 완료될 때까지 요하는 이하의 제1 내지 제3 시간을 포함한다. 여기서 말하는 제1 시간은, t0에서부터 t1까지의 차량 탑재 장치(200)가 차량 주위를 촬상하는 처리 및 화상을 압축하는 처리까지의 시간이다. 제2 시간은, t1에서부터 t2까지의 무선 통신에 요하는 시간이다. 제3 시간은, t2에서부터 t3까지의 압축된 화상을 해동 처리하는 시간과 해동한 화상을 디스플레이(30)에 제시하는 처리에 요하는 시간이다. 즉, 무선 통신의 지연 상태는, 차량 탑재 장치(200)측에 있어서 행해지는 촬상에서부터 화상의 송출까지의 시간과, 차량 탑재 장치(200)와 단말 장치(100)의 통신 시간과, 단말 장치(100)측에 있어서 행해지는 화상의 수신에서부터 제시까지의 시간이 지연되었을 때 발생한다.
무선 통신에 지연이 발생하고 있지 않은 경우에 있어서, 출원 시에 있어서의 통신 기술에 따르면, 촬상 처리에서부터 화상의 제시 처리가 완료될 때까지 요하는 시간은 100 내지 500msec 정도이다. 이러한 짧은 시간이라도, 과거의 화상 정보가 마치 현재 촬상된 정보인 것처럼 제시되는 것은 바람직하지 않다. 더구나, 통신 지연이 발생함으로써, 촬상 시간에서부터 제시 시간까지의 시간이 길어지는 경우에는, 더더욱 그렇다. 차량 탑재 장치(200) 내부의 통신망(CAN 등)으로 화상을 송수신하는 경우에는, 촬상 시간에서부터 제시 시간까지의 시간은 거의 일정하므로, 이것을 관리하는 것은 가능하다. 이에 비해, 차량 탑재 장치(200)측에서 얻어진 화상을, 공공의 무선 통신을 통하여 단말 장치(100)에 송출하고, 단말 장치(100)의 디스플레이(30)에서 제시하는 경우에는, 통신 지연을 배려할 필요가 있다. 또한, 상술한 제3 시간은, 단말 장치(100)의 처리 능력에 크게 의존하며, 개인이 각각 소유하는 성능ㆍ상태가 상이한 단말 장치(100)에 대하여 일률적으로 지연 시간을 정의하기는 곤란하다.
상술한 제2 시간에 관하여, 지연 상태 판단 기능은, 단말 장치(100)와 차량 탑재 장치(200)의 무선 통신의 지연 시간을 상기 방법에 의해 계측한다.
상술한 제3 시간에 관하여, 지연 상태 판단 기능은, 단말 장치(100)가 화상을 취득하고 나서 화상을 제시할 때까지 요하는 단말 장치측 처리 시간을 취득하고, 단말 장치측 처리 시간을 무선 통신의 지연 시간에 가산하여 정보 제시에 관한 지연 시간을 산출하여, 지연 상태를 판단한다. 특별히 한정되지 않지만, 단말 장치측 처리 시간은, 미리 실험적으로 산출해 두고, 판독 가능하게 단말 장치(100)에 기억시켜 두는 것이 바람직하다. 무선 통신의 지연뿐만 아니라, 단말 장치(100)측의 처리에 요하는 시간을 가산하여 지연 시간을 산출함으로써, 지연 상태를 정확하게 판단할 수 있다.
상술한 제1 시간에 관하여, 지연 상태 판단 기능은, 차량 탑재 장치(200)측에 있어서 행해지는 화상의 취득(촬상)에서부터 송출까지 요하는 시간을, 지연 시간에 가산해도 된다. 무선 통신의 지연뿐만 아니라, 차량 탑재 장치(200)측의 처리에 요하는 시간을 가산하여 지연 시간을 산출함으로써, 지연 상태를 더 정확하게 판단할 수 있다.
또한, 지연 상태 판단 기능은, 통신 장치(2)의 무선 통신이 두절되었는지 여부를 판단하여, 무선 통신이 두절된 경우에는, 무선 통신이 두절되었다는 취지를 디스플레이(30)에 제시시킬 수 있다. 통신 장치(2)의 무선 통신이 두절된 상황에 있어서는, 현시점에 있어서의 촬상 화상을 실시간으로 취득하는 것이 곤란하게 된다. 즉, 디스플레이(30)에 제시되고 있는 촬상 화상은 과거의 영상일 가능성이 높다. 본 실시 형태에서는, 통신 장치(2)의 무선 통신이 두절되었다는 취지를 제시함으로써, 제시되고 있는 촬상 화상이 실시간의 화상이 아님을 운전자에게 전달할 수 있다.
또한, 지연 상태 판단 기능은, 지연 상태에 따른 무선 통신의 신뢰도를 판단하는 구성으로 해도 된다. 지연 시간이 길고, 무선 통신의 지연 상태가 나쁜 경우에는, 무선 통신의 신뢰도는 낮다고 판단한다. 한편, 지연 시간이 짧고, 무선 통신의 지연 상태가 나쁘지 않은(통신 상태가 양호한) 경우에는, 무선 통신의 신뢰도는 높다고 판단한다. 무선 통신의 신뢰도는, 통신 상태의 통신 시간에 따라 정의할 수 있다. 통신 시간이 길수록 무선 통신의 신뢰도를 낮게 설정할 수 있다. 제어 장치(10)는, 디스플레이(30)에, 판단한 신뢰도를 제시한다. 무선 통신의 지연 시간이 길고, 무선 통신의 신뢰도가 낮은 상황에 있어서는, 현시점에 있어서의 촬상 화상을 실시간으로 취득하기가 곤란하게 된다. 즉, 디스플레이(30)에 제시되고 있는 촬상 화상은 과거의 영상일 가능성이 높다. 본 실시 형태에서는, 통신 장치(2)의 무선 통신의 신뢰도가 낮다는 취지를 제시함으로써, 제시되고 있는 촬상 화상이 실시간의 화상이 아님을 운전자에게 전달할 수 있다.
제어 장치(10)의 가이드선 중첩 기능은, 자차량이 이동하는 경우의 자차량의 측면의 위치를 나타내는 차 폭 가이드선(Q1)과, 자차량이 이동하는 경우에 자차량의 진행 방향을 따른 위치를 나타내는 거리 가이드선(Q2)을 포함하는 가이드선을 생성한다. 그리고, 가이드선 중첩 기능은, 도 2에 도시하는 바와 같이, 생성된 가이드선을, 카메라(1)에 의해 촬상된 화상에 중첩한다. 가이드선 중첩 기능은, 단말 장치(100)와 차량 탑재 장치(200)의 무선 통신이 지연되고 있지 않은 경우에는, 자차량으로부터의 거리가, 거리 가이드선(Q2)이 나타내는 거리로 되는 위치에, 각 거리 가이드선(Q2)을 중첩한다.
한편, 가이드선 중첩 기능은, 단말 장치(100)와 차량 탑재 장치(200)의 무선 통신이 지연되고 있는 경우에는, 무선 통신의 지연 상태와, 차량 컨트롤러(3)로부터 취득한 자차량의 상태에 기초하여, 화상 상에 있어서의 가이드선의 중첩 위치를 결정한다. 이하에, 도 4 및 도 5에 기초하여, 제1 실시 형태에 관한 가이드선의 중첩 방법에 대하여 설명한다. 도 4 및 도 5는, 제1 실시 형태에 있어서의 가이드선의 중첩 방법을 설명하기 위한 도면이다. 또한, 도 4 및 도 5에 도시하는 예에서는, 자차량이 후퇴하여 주차 스페이스에 입고되는 장면을 예시하고 있다. 또한, 이하에 있어서는, 화상 상에 있어서, 자차량(카메라(1))으로부터의 거리가, 각 거리 가이드선(Q2)이 나타내는 거리로 되는 위치를, 각 거리 가이드선(Q2)의 기준 위치(Q2')로서 설명한다.
단말 장치(100)와 차량 탑재 장치(200)의 무선 통신이 지연되고 있는 경우, 화상이 촬상된 차량의 위치는, 지연 시간 전의 위치이며, 자차량의 현재의 위치와는 상이하다. 예를 들어, 도 4에 도시하는 장면에서는, 시각 t10에 있어서, 도 5에 도시하는 화상이 촬상되었다고 하자. 그러나, 도 4에 도시하는 예에서는, 무선 통신이 지연되고 있기 때문에, 시각 t10에서 촬상된 화상이, 시각 t11에 있어서, 단말 장치(100)의 디스플레이(30)에 표시된다. 그 때문에, 시각 t11에 있어서, 자차량의 실제의 위치는, 디스플레이(30)에 표시되는 화상이 촬상된 위치(P0)보다 자차량의 진행 방향측의 위치(P1)로 된다.
여기서, 도 4에 도시하는 바와 같이, 자차량의 진행 방향측의 위치(P2)에 장해물(O)(예를 들어 벽 등)이 존재하는 경우에 있어서, 무선 통신이 지연되고 있는 경우에는, 시각 t11에 있어서, 자차량의 실제의 위치(P1)에서부터 장해물(O)까지의 거리(d2)는, 디스플레이(30)에 표시되는 화상이 촬상된 위치(P0)에서부터 장해물(O)까지의 거리(d1)보다 짧아진다. 즉, 무선 통신이 지연되고 있는 경우에는, 자차량은, 디스플레이(30)에 표시되는 화상이 촬상된 위치보다 장해물(O)에 근접해 있게 된다. 그래서, 가이드선 중첩 기능은, 무선 통신이 지연되고 있는 경우에는, 무선 통신이 지연되고 있지 않은 경우에 비하여, 자차량과 장해물(O)이 가까움을 운전자에게 인식시키기 위해, 화상 상에 있어서, 자차량(카메라(1))으로부터의 거리가 거리 가이드선(Q2)이 나타내는 거리로 되는 기준 위치(Q2')보다 자차량측(자차량의 진행 방향과 반대측)의 위치에, 거리 가이드선(Q2)을 중첩한다. 또한, 본 실시 형태에서는, 가이드선은 복수의 거리 가이드선(Q2)을 갖고 있기 때문에, 각 거리 가이드선(Q2)을, 각 거리 가이드선(Q2)의 기준 위치(Q2')보다 자차량측의 위치에 각각 중첩한다.
예를 들어, 도 4에 도시하는 예에서는, 시각 t10에 있어서 촬상한 화상에 있어서, 거리 가이드선(Q2)이 나타내는 기준 위치(Q2')(예를 들어 자차량으로부터 1.0m의 거리를 나타내는 위치)가 P3인 것으로 한다. 이 경우, 시각 t11에 있어서, 시각 t10에서 촬상한 촬상 화상이 표시되기 때문에, 당해 화상에 있어서, 자차량으로부터의 거리가 거리 가이드선(Q2)이 나타내는 거리로 되는 위치는 P3으로 된다. 그러나, 가이드선 중첩 기능은, 이러한 경우에, 거리 가이드선(Q2)을 위치(P3)보다 자차량측의 위치(P4)에 중첩한다. 이에 의해, 디스플레이(30)에서 표시되는 화상 상에 있어서, 거리 가이드선(Q2)이 중첩된 위치(P4)가, 기준 위치(Q2')인 P3에 비하여, 자차량에 가까운 위치로 된다. 이와 같이, 본 실시 형태에서는, 도 5에 도시하는 바와 같이, 화상의 촬상 위치에 대하여 자차량이 실제로 이동한 만큼, 화상 상에 있어서 거리 가이드선(Q2)을 자차량에 접근시킴으로써, 거리 가이드선(Q2)이 나타내는 거리(예를 들어 자차량으로부터 1.0m)는 변함없지만, 거리 가이드선(Q2)을 기준 위치(Q2')에 중첩하는 경우에 비하여, 자차량에서부터 거리 가이드선(Q2)이 나타내는 거리(예를 들어 자차량으로부터 1.0m의 거리)까지가 상대적으로 짧아진 것처럼 운전자에게 인식시킬 수 있고, 그 결과, 예를 들어 장해물(O)이 자차량의 진행 방향에 존재하는 경우에는, 자차량에서부터 장해물(O)까지의 거리도 상대적으로 짧은 거리인 것처럼 운전자에게 인식시킬 수 있다.
또한, 가이드선 중첩 기능은, 무선 통신이 지연되고 있는 경우에는, 자차량의 차속이나 조타 정보 등의 상태 정보와 무선 통신의 지연 시간에 기초하여, 화상을 촬상한 위치에서부터 자차량의 현재 위치까지의 이동량을 추측하고, 추측한 이동량만큼, 기준 위치(Q2')보다 자차량측의 위치에, 거리 가이드선(Q2)을 중첩한다. 예를 들어, 도 4에 도시하는 예에 있어서, 가이드선 중첩 기능은, 시각 t11에 있어서, 화상을 촬상한 위치(P0)에서부터 자차량의 현재 위치(P1)까지의 이동량을 추측한다. 그리고, 가이드선 중첩 기능은, 화상 상에 있어서, 추측한 이동량만큼, 기준 위치(Q2')로부터 자차량측으로 이동한 위치(P4)에, 거리 가이드선(Q2)을 중첩한다. 또한, 가이드선 중첩 기능은, 소정의 이동량만큼, 기준 위치(Q2')보다 자차량측의 위치에, 거리 가이드선(Q2)을 중첩하는 구성으로 해도 된다.
제어 장치(10)의 정보 제시 기능은, 예를 들어 도 5에 도시하는 바와 같이, 가이드선 중첩 기능에 의해 가이드선이 중첩된 화상을, 디스플레이(30)에 표시시킨다. 또한, 도 5에서는, 설명을 위해 기준 위치(Q2')를 편의적으로 표시하고 있지만, 디스플레이(30)에 화상을 표시할 때, 기준 위치(Q2')는 표시되지 않는다(후술하는 도 7, 9에 있어서도 마찬가지임).
이어서, 제1 실시 형태에 관한 정보 제시 처리에 대하여 설명한다. 도 6은, 제1 실시 형태에 관한 정보 제시 처리를 도시하는 흐름도이다. 또한, 도 6에 도시하는 정보 제시 처리는, 단말 장치(100)의 제어 장치(10)에 의해 실행된다.
스텝 S101에서는, 제어 장치(10)의 지연 상태 판단 기능에 의해, 단말 장치(100)와 차량 탑재 장치(200)의 무선 통신의 지연 상태의 판단이 행해진다. 구체적으로는, 지연 상태 판단 기능은, 단말 장치(100)와 차량 탑재 장치(200)의 사이에서 무선 통신이 확립되어 있는지 여부, 또한 무선 통신이 확립되어 있는 경우에는, 무선 통신의 지연 시간을 판단한다. 또한, 제어 장치(10)의 정보 제시 기능은, 무선 통신이 확립되어 있지 않은 경우(무선 통신이 두절된 경우)에는, 그 취지를 디스플레이(30)에 표시해도 된다.
스텝 S102에서는, 제어 장치(10)의 가이드선 중첩 기능에 의해, 자차량의 상태 정보의 취득이 행해진다. 예를 들어, 가이드선 중첩 기능은, 차량 컨트롤러(3)로부터 자차량의 차속, 가속도, 타각, 진행 방향 등의 상태 정보를 취득할 수 있다.
스텝 S103에서는, 제어 장치(10)의 화상 취득 기능에 의해, 카메라(1)에 의해 촬상된 자차량 주위의 화상의 취득이 행해진다. 그리고, 스텝 S104에서는, 제어 장치(10)의 가이드선 중첩 기능에 의해, 스텝 S101에 있어서의 무선 통신의 지연 상태의 판단 결과에 기초하여, 단말 장치(100)와 차량 탑재 장치(200)의 무선 통신이 지연되고 있는지 여부의 판단이 행해진다. 무선 통신이 지연되고 있는 경우에는, 스텝 S105로 진행하고, 한편, 무선 통신이 지연되고 있지 않은 경우에는, 스텝 S106으로 진행한다. 또한, 무선 통신이 일정 시간(예를 들어 200msec) 이상 지연되지 않은 경우에는, 무선 통신이 지연되고 있지 않다고 판단하고, 스텝 S106으로 진행해도 된다.
스텝 S106에서는, 가이드선 중첩 기능에 의해, 스텝 S103에서 취득한 화상 상에, 가이드선을 중첩하는 처리가 행해진다. 스텝 S106에서는, 무선 통신이 지연되고 있지 않다고 판단되었기 때문에, 가이드선 중첩 기능은, 자차량으로부터의 거리를 나타내는 각 거리 가이드선(Q2)을, 자차량으로부터의 거리가, 각 거리 가이드선(Q2)이 나타내는 거리로 되는 위치(기준 위치(Q2'))에 중첩한다.
또한, 스텝 S104에 있어서, 무선 통신이 지연되고 있다고 판단된 경우에는, 스텝 S105로 진행한다. 스텝 S105에 있어서, 가이드선 중첩 기능은, 도 5에 도시하는 바와 같이, 화상 상에 있어서 자차량으로부터의 거리가 거리 가이드선(Q2)이 나타내는 거리로 되는 기준 위치(Q2')보다 자차량측(자차량의 진행 방향과 반대측)의 위치에, 각 거리 가이드선(Q2)을 중첩한다. 예를 들어, 가이드선 중첩 기능은, 스텝 S101에 있어서의 무선 통신의 지연 상태의 판단 결과와, 스텝 S102에서 취득된 자차량의 상태(예를 들어 차속이나 타각)에 기초하여, 화상을 촬상한 위치에서부터 자차량의 현재의 위치까지의 이동량을 추측하고, 추측한 이동량만큼, 기준 위치(Q2')로부터 자차량측으로 이동한 위치에, 각 거리 가이드선(Q2)을 중첩한다.
그리고, 스텝 S107에서는, 제어 장치(10)의 정보 제시 기능에 의해, 스텝 S105 또는 스텝 S106에 있어서 가이드선이 중첩된 화상이, 디스플레이(30)의 화면에 제시된다.
이상과 같이, 제1 실시 형태에 관한 정보 제시 시스템(1000)은, 무선 통신의 지연 상태에 기초하여, 카메라(1)로 촬상된 화상 상에 있어서의 거리 가이드선(Q2)의 중첩 위치를 결정한다. 이에 의해, 제1 실시 형태에서는, 단말 장치(100)와 차량 탑재 장치(200)의 무선 통신이 지연되고 있는 경우라도, 화상 상에 있어서, 실시간의 차량 주위의 상태를 운전자에게 인식시킬 수 있다.
즉, 본 실시 형태에서는, 무선 통신이 지연된 경우에는, 도 5에 도시하는 바와 같이, 화상 상에 있어서 자차량으로부터의 거리가 거리 가이드선(Q2)이 나타내는 거리로 되는 기준 위치(Q2')보다 자차량측(자차량의 진행 방향과 반대측)의 위치에, 각 거리 가이드선(Q2)을 중첩한다. 또한, 자차량의 상태(차속이나 타각 등)와, 지연 시간에 기초하여, 지연 시간에 있어서의 자차량의 이동량을 추측하고, 추측한 이동량만큼 기준 위치(Q2')로부터 자차량측으로 이동한 위치에, 각 거리 가이드선(Q2)을 중첩한다. 이에 의해, 본 실시 형태에서는, 화상을 촬상한 위치에 대하여 자차량이 실제로 이동한 만큼, 화상 상에 있어서 거리 가이드선(Q2)이 자차량측으로 근접하기 때문에, 거리 가이드선(Q2)을 기준 위치(Q2')에 중첩하는 경우에 비하여, 자차량으로부터 거리 가이드선(Q2)으로 나타내는 거리(예를 들어 자차량으로부터 1.0m의 거리)가 상대적으로 짧은 거리인 것처럼 운전자에게 인식시킬 수 있다. 그 결과, 예를 들어 자차량의 진행 방향에 장해물(O)이 존재하는 경우에는, 자차량에서부터 장해물(O)까지의 거리도 상대적으로 짧은 거리인 것처럼 운전자에게 인식시킬 수 있다.
≪제2 실시 형태≫
이어서, 제2 실시 형태에 관한 정보 제시 시스템(1000)에 대하여 설명한다. 제2 실시 형태에 관한 정보 제시 시스템(1000)은, 제1 실시 형태에 관한 정보 제시 시스템(1000)과 마찬가지의 구성을 가지며, 이하에 설명하는 바와 같이 동작하는 것 이외에는, 제1 실시 형태에 관한 정보 제시 시스템(1000)과 마찬가지의 동작을 행한다.
제2 실시 형태에 있어서, 단말 장치(100)의 제어 장치(10)는, 제1 실시 형태에 관한 각 기능에 추가하여, 이동체를 검지하는 이동체 검지 정보 취득 기능을 더 구비한다.
제어 장치(10)의 이동체 검지 정보 취득 기능은, 자차량의 주위에 이동체가 존재하는지 여부의 검지 정보를 취득한다. 구체적으로는, 이동체 검지 정보 취득 기능은, 이동체가 존재하는지 여부의 정보를, 차량 탑재 장치(200)로부터 취득한다. 차량 탑재 장치(200)는, 이동체 검출 장치(43)를 구비한다. 이동체 검출 장치(43)는, 차량 탑재 카메라(1)의 촬상 화상으로부터 추출된 특징적인 경시적인 변화에 기초하여, 차량 주위에 이동체가 존재하는지 여부를 판단한다. 촬상 화상에 기초하여 이동체를 검출하는 방법은 특별히 한정되지 않고, 본원의 출원 시에 알려진 방법을 적절하게 이용할 수 있다.
또한, 제2 실시 형태에 있어서, 제어 장치(10)의 가이드선 중첩 기능은, 무선 통신이 지연되고 있는 경우에는, 이동체 검지 정보 취득 기능에 의해 이동체가 존재한다는 취지의 검지 정보를 취득하였는지 여부, 및 이동체가 존재하는 경우에는, 이동체까지의 거리에 기초하여, 촬상 화상에 중첩하는 가이드선의 위치를 변경한다.
구체적으로는, 가이드선 중첩 기능은, 우선, 자차량의 주위에 이동체가 존재하는 경우에는, 자차량(카메라(1))에서부터 이동체까지의 거리를 산출한다. 그리고, 가이드선 중첩 기능은, 산출한 이동체까지의 거리에 기초하여, 이동체가 가이드선의 범위 내에 존재하는지 여부를 판단한다. 예를 들어, 본 실시 형태에 관한 가이드선 중첩 기능은, 도 7에 도시하는 바와 같이, 자차량(카메라(1))으로부터의 거리가 0.5m, 1.0m, 2.0m, 3.0m로 되는 위치에, 각 거리 가이드선(Q2)을 각각 중첩한다. 이 경우, 거리 가이드선(Q2)은, 자차량에서부터 3.0m까지의 거리를 표시하게 되고, 가이드선의 범위는 자차량으로부터 3.0m의 거리 범위로 된다. 그 때문에, 가이드선 중첩 기능은, 자차량에서부터 이동체까지의 거리가 3.0m를 초과하는 경우에는, 이동체가 가이드선의 범위 밖에 존재한다고 판단하고, 한편, 자차량에서부터 이동체까지의 거리가 3.0m 이하인 경우에는, 이동체가 가이드선의 범위 내에 존재한다고 판단한다.
그리고, 가이드선 중첩 기능은, 이동체가 자차량의 주위에 존재하지 않는 경우, 또는 이동체가 가이드선의 범위 내에 존재하는 경우에는, 도 7에 도시하는 바와 같이, 자차량으로부터의 거리가 거리 가이드선(Q2)이 나타내는 거리로 되는 기준 위치(Q2')보다 자차량의 진행 방향측의 위치에, 거리 가이드선(Q2)을 중첩한다. 여기서, 도 8에 도시하는 예에서는, 자차량이 후퇴하고 있는 경우에 있어서, 무선 통신이 지연되고 있기 때문에, 시각 t20에 있어서 촬상된 촬상 화상이, 시각 t21에 있어서 운전자에게 제시되는 장면을 예시하고 있다. 이 경우, 시각 t21에 있어서, 자차량이 위치(P11)까지 이동하였을 때, 위치(P10)에 있어서 촬상된 화상을 운전자에게 제시하게 된다. 그 때문에, 시각 t21에 있어서는, 화상 상에 있어서, 자차량으로부터의 거리가 거리 가이드선(Q2)이 나타내는 거리(예를 들어 자차량으로부터 1.0m)로 되는 위치가 P13인 경우에도, 자차량으로부터의 실제의 거리가, 거리 가이드선(Q2)이 나타내는 거리(예를 들어 자차량으로부터 1.0m)로 되는 위치는 P14로 된다. 그래서, 가이드선 중첩 기능은, 이동체가 자차량의 주위에 존재하지 않는 경우, 또는 이동체가 가이드선의 범위 내에 존재하는 경우에는, 화상 상에 있어서 거리 가이드선(Q2)이 자차량으로부터의 실제의 거리를 나타내도록, 기준 위치(Q2')인 P13보다 자차량의 진행 방향측의 위치(P14)에, 거리 가이드선(Q2)을 중첩한다. 또한, 이 경우, 가이드선 중첩 기능은, 무선 통신의 지연 시간이나 자차량의 상태에 기초하여, 자차량의 현재 위치를 추측하고, 추측한 현재 위치로부터의 거리가 거리 가이드선(Q2)이 나타내는 거리로 되는 위치에, 거리 가이드선(Q2)을 중첩할 수 있다. 이에 의해, 거리 가이드선(Q2)이 자차량으로부터의 실제의 거리를 나타내도록, 각 거리 가이드선(Q2)을 표시할 수 있다. 또한, 도 7 및 도 8은, 이동체가 자차량 주위에 존재하지 않는 경우, 또는 이동체가 가이드선의 범위 내에 존재하는 경우의 가이드선의 중첩 방법을 설명하기 위한 도면이다.
한편, 가이드선 중첩 기능은, 이동체가 가이드선의 범위 밖에 존재하는 경우에는, 도 9에 도시하는 바와 같이, 기준 위치(Q2')보다 자차량측(자차량의 진행 방향과 반대측)의 위치에, 거리 가이드선(Q2)을 중첩한다. 이에 의해, 거리 가이드선(Q2)을 기준 위치(Q2')에 중첩하는 경우에 비하여, 자차량이 이동체로 접근할 때까지 시간적, 거리적인 여유가 있음을 운전자에게 인식시킬 수 있다. 또한, 도 9는, 이동체가 가이드선의 범위 밖에 존재하는 경우의 가이드선의 중첩 방법을 설명하기 위한 도면이다.
또한, 가이드선 중첩 기능은, 이동체가 자차량의 주위에 존재하는 경우에는, 도 9에 도시하는 바와 같이, 이동체를 나타내는 표지(M)를 화상 상에 중첩한다. 또한, 가이드선 중첩 기능은, 무선 통신이 지연되고 있는 경우에는, 이동체의 실제의 위치보다 자차량측의 위치에, 이동체를 나타내는 표지(M)를 중첩한다. 구체적으로는, 가이드선 중첩 기능은, 자차량의 상태 정보 및 무선 통신의 지연 시간에 기초하여, 화상을 촬상한 위치에서부터 자차량의 현재 위치까지의 이동량을 추측하고, 추측한 이동량에 대응하는 만큼, 이동체의 실제의 위치보다 자차량측으로 이동한 위치에, 이동체를 나타내는 표지(M)를 중첩한다. 이에 의해, 무선 통신이 지연되고 있는 경우에도, 화상 상에, 자차량에서부터 이동체까지의 실제의 거리를 적절하게 표시할 수 있다.
이어서, 제2 실시 형태에 관한 정보 제시 처리에 대하여 설명한다. 도 10은, 제2 실시 형태에 관한 정보 제시 처리를 도시하는 흐름도이다. 또한, 도 10에 도시하는 정보 제시 처리는, 단말 장치(100)의 제어 장치(10)에 의해 실행된다.
스텝 S201 내지 S203에서는, 제1 실시 형태의 스텝 S101 내지 S103과 마찬가지로, 단말 장치(100)와 차량 탑재 장치(200)의 무선 통신의 지연 상태의 판단이 행해지고(스텝 S201), 자차량의 상태 정보의 취득이 행해지고(스텝 S202), 자차량 주위의 화상의 취득이 행해진다(스텝 S203).
스텝 S204에서는, 제어 장치(10)의 이동체 검지 정보 취득 기능에 의해, 이동체 검지 정보의 취득이 행해진다. 그리고, 스텝 S205에서는, 제어 장치(10)의 가이드선 중첩 기능에 의해, 스텝 S204에서 취득한 이동체 검지 정보에 기초하여, 자차량의 주위에 이동체가 존재하는지 여부의 판단이 행해진다. 자차량의 주위에 이동체가 존재하지 않는 경우에는, 스텝 S211로 진행하고, 한편, 자차량의 주위에 이동체가 존재하는 경우에는, 스텝 S206으로 진행한다.
스텝 S206에서는, 제어 장치(10)의 가이드선 중첩 기능에 의해, 이동체가 가이드선의 범위 내에 존재하는지 여부의 판단이 행해진다. 이동체가 가이드선의 범위 내에 존재하는 경우에는, 스텝 S207로 진행하고, 이동체가 가이드선의 범위 밖에 존재하는 경우에는, 스텝 S208로 진행한다.
스텝 S207에서는, 이동체가 가이드선의 범위 내에 존재한다고 판단되었기 때문에, 가이드선 중첩 기능은, 도 7에 도시하는 바와 같이, 차속이나 타각 등의 자차량의 상태 정보, 및 무선 통신의 지연 시간에 기초하여, 기준 위치(Q2')보다 자차량의 진행 방향측의 위치에, 거리 가이드선(Q2)을 중첩한다. 이에 의해, 자차량에서부터 이동체까지의 실제의 거리를 화상 상에 적절하게 표시할 수 있다.
또한, 스텝 S208에서는, 이동체가 가이드선의 범위 밖에 존재한다고 판단되어 있다. 그 때문에, 가이드선 중첩 기능은, 도 9에 도시하는 바와 같이, 차속이나 타각 등의 자차량의 상태 정보, 및 무선 통신의 지연 시간에 기초하여, 기준 위치(Q2')보다 자차량측(자차량의 진행 방향과 반대측)의 위치에, 거리 가이드선(Q2)을 중첩한다. 이에 의해, 거리 가이드선(Q2)을 기준 위치(Q2')에 중첩하는 경우에 비하여, 자차량이 이동체에 접근할 때까지 시간적, 거리적인 여유가 있음을, 운전자에게 적절하게 인식시킬 수 있다.
스텝 S209에서는, 가이드선 중첩 기능에 의해, 이동체를 나타내는 표지를 화상 상에 중첩하는 처리가 행해진다. 구체적으로는, 가이드선 중첩 기능은, 도 9에 도시하는 바와 같이, 차속이나 타각 등의 자차량의 상태 정보, 및 무선 통신의 지연 시간에 기초하여, 이동체를 나타내는 표지(M)를, 이동체의 실제의 위치보다 자차량측의 위치에 중첩한다.
그리고, 스텝 S210에서는, 제어 장치(10)의 정보 제시 기능에 의해, 스텝 S207, S208에 있어서 가이드선이 중첩되고, 스텝 S209에 있어서 이동체를 나타내는 표지(M)가 중첩된 화상이, 디스플레이(30)의 화면에 제시된다.
또한, 스텝 S205에 있어서, 자차량 주위에 이동체가 존재하지 않는다고 판단된 경우에는, 스텝 S211로 진행한다. 스텝 S211에서는, 스텝 S207과 마찬가지로, 가이드선 중첩 기능에 의해, 각 거리 가이드선(Q2)이 자차량으로부터의 실제의 거리를 나타내도록, 기준 위치(Q2')보다 자차량의 진행 방향측의 위치에, 거리 가이드선(Q2)이 중첩된다. 이에 의해, 자차량으로부터의 실제의 거리를 화상 상에 적절하게 표시할 수 있다. 그리고, 스텝 S210으로 진행하고, 스텝 S211에 있어서 가이드선이 중첩된 화상이, 디스플레이(30)의 화면에 제시된다.
이상과 같이, 제2 실시 형태에 관한 정보 제시 시스템(1000)은, 무선 통신이 지연되고 있는 경우에 있어서, 이동체가 검지된 경우에는, 이동체가 가이드선의 범위 내에 존재하는지 여부를 판단한다. 이동체가 가이드선의 범위 내에 존재하는 경우에는, 도 7에 도시하는 바와 같이, 각 거리 가이드선(Q2)이 자차량으로부터의 실제의 거리를 나타내도록, 자차량의 상태 및 지연 시간에 기초하여, 기준 위치(Q2')보다 자차량의 진행 방향측의 위치에, 각 거리 가이드선(Q2)을 중첩한다. 이에 의해, 제2 실시 형태에서는, 무선 통신이 지연되고 있는 경우라도, 자차량에서부터 이동체까지의 실제의 거리를, 운전자에게 적절하게 인식시킬 수 있다.
또한, 제2 실시 형태에서는, 무선 통신이 지연되고 있는 경우에 있어서, 이동체가 가이드선의 범위 밖에 존재하는 경우에는, 도 9에 도시하는 바와 같이, 기준 위치(Q2')보다 자차량측(자차량의 진행 방향측)의 위치에, 거리 가이드선(Q2)을 중첩한다. 이에 의해, 거리 가이드선(Q2)을 기준 위치(Q2')에 중첩하는 경우에 비하여, 자차량이 이동체로 접근할 때까지 시간적, 거리적인 여유가 있음을, 운전자에게 적절하게 인식시킬 수 있다.
또한, 제2 실시 형태에서는, 무선 통신이 지연되고 있는 경우에 있어서, 이동체가 자차량의 주위에 존재하지 않는 경우에는, 도 7에 도시하는 바와 같이, 거리 가이드선(Q2)이 자차량으로부터의 실제의 거리를 나타내도록, 기준 위치(Q2')보다 자차량의 진행 방향측의 위치에, 거리 가이드선(Q2)을 중첩한다. 이에 의해, 무선 통신이 지연되고 있는 경우에 있어서, 이동체가 자차량의 주위에 존재하지 않는 경우에는, 화상 상에 있어서, 자차량으로부터의 실제의 거리를 거리 가이드선(Q2)으로 적절하게 표시할 수 있다.
더불어, 제2 실시 형태에서는, 무선 통신이 지연되고 있는 경우에 있어서, 이동체가 자차량의 주위에 존재하는 경우에는, 도 9에 도시하는 바와 같이, 이동체를 나타내는 표지(M)를, 이동체의 실제의 위치보다 자차량측의 위치에 중첩한다. 이에 의해, 무선 통신이 지연되고 있는 경우에도, 화상 상에, 자차량에서부터 이동체까지의 실제의 거리를 적절하게 표시할 수 있다.
또한, 제2 실시 형태에 있어서, 무선 통신이 지연되고 있지 않은 경우에는, 제1 실시 형태와 마찬가지로, 거리 가이드선(Q2)을, 거리 가이드선(Q2)이 나타내는 거리로 되는 기준 위치(Q2')에 중첩할 수 있다(후술하는 제3 실시 형태에 있어서도 마찬가지임).
≪제3 실시 형태≫
이어서, 제3 실시 형태에 관한 정보 제시 시스템(1000)에 대하여 설명한다. 제3 실시 형태에 관한 정보 제시 시스템(1000)은, 제1 실시 형태에 관한 정보 제시 시스템(1000)과 마찬가지의 구성을 가지며, 이하에 설명하는 바와 같이 동작하는 것 이외에는, 제1 실시 형태에 관한 정보 제시 시스템(1000)과 마찬가지의 동작을 행한다.
제3 실시 형태에 있어서, 제어 장치(10)의 지연 상태 판단 기능은, 제1 실시 형태와 마찬가지로, 단말 장치(100)와 차량 탑재 장치(200)의 무선 통신의 지연 상태를 판단한다. 또한, 제3 실시 형태에 있어서, 지연 상태 판단 기능은, 무선 통신의 지연 상태가, 통신 두절 상태, 통상 지연 상태 및 이상 지연 상태의 어느 상태인지를 판단한다.
구체적으로는, 지연 상태 판단 기능은, 무선 통신의 지연 시간이 소정 시간(예를 들어 200msec) 이내인 경우에는, 무선 통신의 지연 상태를 통상 지연 상태라고 판단한다. 또한, 지연 상태 판단 기능은, 무선 통신의 지연 시간이 소정 시간을 초과하는 경우에는, 무선 통신의 지연 상태를 이상 통신 상태라고 판단한다. 또한, 지연 상태 판단 기능은, 단말 장치(100)와 차량 탑재 장치(200)의 사이에서 무선 통신을 확립할 수 없는 경우에는, 무선 통신의 지연 상태를 통신 두절 상태라고 판단한다.
또한, 제3 실시 형태에 있어서, 제어 장치(10)의 가이드선 중첩 기능은, 단말 장치(100)와 차량 탑재 장치(200)의 무선 통신의 지연 상태에 기초하여, 가이드선의 표시 형태를 변경한다. 구체적으로는, 가이드선 중첩 기능은, 무선 통신의 지연 상태가, 통신 두절 상태, 통상 지연 상태 및 이상 지연 상태 중 어느 것인지를 운전자가 인식할 수 있도록, 무선 통신의 지연 상태(통신 두절 상태, 통상 지연 상태, 이상 지연 상태)에 따라, 가이드선의 표시 형태를 변경한다. 여기서, 도 11 내지 13은, 제3 실시 형태에 있어서의 가이드선의 표시 형태를 설명하기 위한 도면이다.
예를 들어, 가이드선 중첩 기능은, 무선 통신의 지연 상태가 통상 지연 상태라고 판단된 경우에는, 도 11에 도시하는 바와 같이, 거리 가이드선(Q2)을 기준 위치(Q2')보다 자차량의 진행 방향측의 위치에 중첩한다.
또한, 가이드선 중첩 기능은, 무선 통신의 지연 상태가 이상 지연 상태라고 판단된 경우에는, 도 12에 도시하는 바와 같이, 통상 지연 상태에 비하여, 가이드선의 색을 담색으로 표시하거나, 혹은 가이드선을 파선으로 표시한다. 이에 의해, 단말 장치(100)와 차량 탑재 장치(200)의 무선 통신이 이상 지연 상태임을 운전자에게 적절하게 인식시킬 수 있다. 또한, 도 12에 도시하는 장면에 있어서는, 무선 통신이 지연되고 있기 때문에, 가이드선 중첩 기능은, 도 11에 도시하는 장면과 마찬가지로, 거리 가이드선(Q2)을, 기준 위치(Q2')보다 자차량의 진행 방향측의 위치에 중첩하고 있다.
또한, 가이드선 중첩 기능은, 무선 통신의 지연 상태가 통신 두절 상태라고 판단된 경우에는, 우선, 도 13의 (A)에 도시하는 바와 같이, 가이드선을 통상 지연 상태보다 강조하여 표시한다. 예를 들어, 가이드선 중첩 기능은, 통상 지연 상태보다 가이드선의 색을 진한 색으로 표시하거나, 혹은 가이드선을 굵게 표시함으로써, 가이드선을 통상 지연 상태보다 강조하여 표시할 수 있다. 그리고, 가이드선 중첩 기능은, 가이드선을 강조 표시하고 나서 일정 시간이 경과한 후에, 도 13의 (B)에 도시하는 바와 같이, 가이드선을 비표시로 한다. 이에 의해, 단말 장치(100)와 차량 탑재 장치(200)의 무선 통신이 통신 두절 상태임을 운전자에게 적절하게 인식시킬 수 있다. 또한, 도 13에 도시하는 장면에 있어서도, 거리 가이드선(Q2)을 강조 표시하고 있는 경우에, 도 11, 도 12에 도시하는 장면과 마찬가지로, 거리 가이드선(Q2)을 기준 위치(Q2')보다 자차량의 진행 방향측의 위치에 중첩할 수 있다.
이어서, 제3 실시 형태에 관한 정보 제시 처리에 대하여 설명한다. 도 14는, 제3 실시 형태에 관한 정보 제시 처리를 도시하는 흐름도이다. 또한, 도 14에 도시하는 정보 제시 처리는, 단말 장치(100)의 제어 장치(10)에 의해 실행된다.
스텝 S301 내지 S303에서는, 제1 실시 형태의 스텝 S101 내지 S103과 마찬가지로, 단말 장치(100)와 차량 탑재 장치(200)의 무선 통신의 지연 상태의 판단이 행해지고(스텝 S301), 자차량의 상태 정보의 취득이 행해지고(스텝 S302), 자차량 주위의 화상의 취득이 행해진다(스텝 S303). 또한, 스텝 S301에서는, 무선 통신의 지연 상태가, 통신 두절 상태, 통상 지연 상태 및 이상 지연 상태 중 어느 것인지가 판단된다.
스텝 S304에서는, 가이드선 중첩 기능에 의해, 스텝 S301에 있어서의 판단 결과에 기초하여, 단말 장치(100)와 차량 탑재 장치(200)의 무선 통신의 지연 상태가, 통신 두절 상태인지 여부의 판단이 행해진다. 통신 두절 상태라고 판단된 경우에는, 스텝 S308로 진행하고, 한편, 통신 두절 상태가 아니라고 판단된 경우에는, 스텝 S305로 진행한다.
스텝 S305에서는, 가이드선 중첩 기능에 의해, 무선 통신의 지연 상태가 통상 지연 상태인지 여부의 판단이 행해진다. 예를 들어 무선 통신의 지연 시간이 소정 시간 이내이며, 통상 지연 상태라고 판단된 경우에는, 스텝 S306으로 진행하고, 한편, 무선 통신의 지연 시간이 소정 시간을 초과하고, 이상 지연 상태라고 판단된 경우에는, 스텝 S307로 진행한다.
스텝 S306에서는, 무선 통신의 지연 상태가 통상 지연 상태라고 판단되었기 때문에, 가이드선 중첩 기능에 의해, 도 11에 도시하는 바와 같이, 기준 위치(Q2')보다 자차량의 진행 방향측의 위치에, 거리 가이드선(Q2)이 중첩된다.
또한, 스텝 S307에서도 무선 통신이 지연되고 있다고 판단되었기 때문에, 가이드선 중첩 기능에 의해, 도 12에 도시하는 바와 같이, 기준 위치(Q2')보다 자차량의 진행 방향측의 위치에, 거리 가이드선(Q2)이 중첩된다. 또한, 스텝 S307에서는, 무선 통신의 지연 상태가 이상 지연 상태라고 판단되었기 때문에, 가이드선 중첩 기능은, 통상 지연 상태인 경우에 비하여, 가이드선의 색을 담색으로 표시함과 함께, 파선으로 표시한다. 이에 의해, 무선 통신의 지연 상태가 이상 지연 상태임을 운전자에게 적절하게 인식시킬 수 있다.
또한, 스텝 S304에 있어서, 무선 통신의 지연 상태가 통신 두절 상태라고 판단된 경우에는, 스텝 S308로 진행한다. 스텝 S308에서는, 가이드선 중첩 기능에 의해, 도 13의 (A)에 도시하는 바와 같이, 가이드선이 강조되어 표시됨과 함께, 기준 위치(Q2')보다 자차량의 진행 방향측의 위치에, 거리 가이드선(Q2)이 중첩된다.
그리고, 스텝 S309로 진행하여, 가이드선 중첩 기능에 의해, 가이드선을 강조 표시하고 나서 일정 시간이 경과하였는지 여부의 판단이 행해진다. 일정 시간이 경과할 때까지는, 스텝 S309에서 대기하고, 일정 시간이 경과한 경우에는, 스텝 S310으로 진행한다. 스텝 S310에서는, 가이드선 중첩 기능에 의해, 가이드선이 비표시로 된다. 이와 같이, 무선 통신의 지연 상태가 통신 두절 상태인 경우에는, 가이드선이 강조 표시된 후에, 가이드선을 비표시로 함으로써, 무선 통신의 지연 상태가 통신 두절 상태임을 운전자에게 적절하게 인식시킬 수 있다.
스텝 S311에서는, 제어 장치(10)의 정보 제시 기능에 의해, 스텝 S306, S307 또는 스텝 S308에 있어서 가이드선이 중첩된 화상이, 디스플레이(30)의 화면에 제시된다.
이상과 같이, 제3 실시 형태에 관한 정보 제시 시스템(1000)은, 단말 장치(100)와 차량 탑재 장치(200)의 무선 통신의 지연 상태에 기초하여, 가이드선의 표시 형태를 변경한다. 예를 들어, 무선 통신의 지연 상태가 이상 지연 상태인 경우에는, 통상 지연 상태인 경우에 비하여, 가이드선을 담색, 파선 등에 의해 표시한다. 또한, 무선 통신의 지연 상태가 통신 두절 상태인 경우에는, 통상 지연 상태에 비하여, 가이드선을 강조 표시한 후에, 가이드선을 비표시로 한다. 이에 의해, 제3 실시 형태에서는, 제1 실시 형태의 효과 외에, 운전자에게 무선 통신의 지연 상태를 적절하게 인식시킬 수 있다.
또한, 이상 설명한 실시 형태는, 본 발명의 이해를 용이하게 하기 위해 기재된 것이며, 본 발명을 한정하기 위해 기재된 것은 아니다. 따라서, 상기의 실시 형태에 개시된 각 요소는, 본 발명의 기술적 범위에 속하는 모든 설계 변경이나 균 등물도 포함한다는 취지이다.
예를 들어, 상술한 실시 형태에서는, 본 발명에 관한 정보 제시 시스템의 일 형태로서 단말 장치(100) 및 정보 제시 시스템(1000)을 예로 들어 설명하였지만, 본 발명은 이것에 한정되는 것은 아니다.
또한, 상술한 실시 형태에서는, 본 발명에 관한 정보 제시 시스템의 일 형태로서, CPU(11), ROM(12), RAM(13)을 포함하는 제어 장치(10)를 구비하는 단말 장치(100)와 차량 탑재 장치(200)를 구비하는 정보 제시 시스템(1000)을 일례로서 설명하였지만, 이것에 한정되는 것은 아니다.
또한, 상술한 실시 형태에서는, 카메라와, 통신 기능을 구비하는 차량 탑재 장치의 일 형태로서, 카메라(1)와, 통신 장치(2)와, 차량 컨트롤러(3)와, 각종 장치(4)를 구비하는 차량 탑재 장치(200)를 설명하였지만, 이것에 한정되는 것은 아니다.
또한, 상술한 실시 형태에서는, 자차량 후방을 촬상한 화상에 가이드선을 중첩하는 구성을 예시하였지만, 이것에 한정되지 않고, 자차량 전방, 혹은 자차량 측방을 촬상한 화상에 가이드선을 중첩하는 구성으로 할 수 있다. 또한, 복수의 카메라(1)에 의해 촬상된 복수의 화상으로부터, 상공의 가상 시점에서 차량을 내려다본 투영면에 투영한 하나의 투영 화상을 생성하고, 이것에 가이드선을 중첩하는 구성으로 할 수도 있다. 이 경우에도 자차량의 차속, 가속도, 타각 및 무선 통신의 지연 시간에 기초하여, 가이드선을 기준 위치(Q2')보다 자차량측의 위치, 또는 자차량의 진행 방향측의 위치에 중첩하는 구성으로 할 수 있다.
또한, 상술한 실시 형태에서는, 무선 통신이 지연되고 있는 경우에, 각 거리 가이드선(Q2)을 기준 위치(Q2')보다 자차량측의 위치, 및 자차량의 진행 방향측의 위치 중 어느 한쪽에 중첩하는 구성을 예시하였지만, 이 구성에 한정되지 않고, 일부의 거리 가이드선(Q2)을, 기준 위치(Q2')보다 자차량측의 위치에 중첩하고, 다른 거리 가이드선(Q2)을, 자차량의 진행 방향측의 위치에 중첩할 수 있다. 예를 들어, 자차량에서부터 일정 거리까지의 거리를 나타내는 거리 가이드선(Q2)에 대해서는, 기준 위치(Q2')보다 자차량측의 위치에 중첩하고, 자차량으로부터 일정 거리를 초과한 거리를 나타내는 거리 가이드선(Q2)에 대해서는, 기준 위치(Q2')보다 자차량의 진행 방향측의 위치에 중첩하는 구성으로 할 수 있다.
또한, 상술한 실시 형태에서는, 차 폭 가이드선(Q1) 및 거리 가이드선(Q2)을 갖는 가이드선을 화상 상에 중첩하는 구성을 예시하였지만, 이 구성에 추가하여, 예를 들어 자차량이 이동할 것으로 예측되는 궤적을 나타내는 예상 진로선(P)을 화상 상에 더 중첩하는 구성으로 할 수 있다.
또한, 상술한 제1 실시 형태에서는, 무선 통신이 지연되고 있는 경우에, 도 5에 도시하는 바와 같이, 기준 위치(Q2')보다 자차량측의 위치에, 각 거리 가이드선(Q2)을 중첩하는 구성을 예시하였지만, 이 구성에 한정되지 않고, 예를 들어 도 7에 도시하는 바와 같이, 기준 위치(Q2')보다 자차량의 진행 방향측의 위치에, 각 거리 가이드선(Q2)을 중첩하는 구성으로 할 수 있다. 이 경우, 화상 상에 있어서 자차량으로부터의 실제의 거리를 운전자에게 적절하게 인식시킬 수 있다.
또한, 상술한 제2 실시 형태에서는, 무선 통신이 지연되고 있고, 자차량 주위에 이동체가 존재하지 않는 경우, 또는 이동체가 가이드선의 범위 밖에 존재하는 경우에, 거리 가이드선(Q2)이 자차량으로부터의 실제의 거리를 표시하도록, 기준 위치(Q2')보다 자차량의 진행 방향측의 위치에, 거리 가이드선(Q2)을 중첩하는 구성을 예시하였지만, 이 구성에 한정되지 않고, 예를 들어 기준 위치(Q2')보다 자차량의 진행 방향측의 위치라면, 거리 가이드선(Q2)을, 자차량으로부터의 실제의 거리에 대응하지 않는 위치(기준 위치(Q2')로부터 소정의 거리만큼 자차량의 진행 방향측의 위치)에 중첩하는 구성으로 해도 된다. 이 경우에도, 거리 가이드선(Q2)이 나타내는 거리를, 자차량으로부터의 실제의 거리에 보다 가까운 거리로서 운전자에게 제시할 수 있다.
또한, 상술한 제3 실시 형태에서는, 무선 통신의 지연 상태에 기초하여, 가이드선의 표시 형태를 변경하는 구성을 예시하였지만, 각 지연 상태에 따른 가이드선의 표시 형태는 상술한 예에 한정되지 않고, 적절히 설정할 수 있다. 예를 들어, 가이드선의 색, 굵기, 형태(파선 등)에 추가하여, 가이드선의 투과도를 변경하고, 또한 가이드선을 점멸 표시하는 구성으로 해도 된다. 예를 들어, 무선 통신의 통신 상태가 이상 통신 상태인 경우에는, 가이드선의 투과도를 높게 하거나, 혹은 가이드선을 점멸 표시시키는 구성으로 할 수 있다. 또한, 무선 통신의 통신 상태가 통신 두절 상태인 경우에, 우선, 가이드선의 투과도를 낮게 하고, 그 후, 가이드선의 투과도를 높게 해도 된다. 또한, 가이드선을 비표시로 하는 것 대신에, 가이드선을 점멸 표시시키는 구성으로 해도 된다. 또한, 통상 지연 상태인 경우에는, 가이드선을 청색, 녹색, 청자색 등의 상대적으로 두드러지지 않는 후퇴색의 선, 파선, 상대적으로 가는 선으로 표시하고, 이상 지연 상태인 경우에는, 가이드선을 적색, 실선, 오렌지색, 황색 등의 상대적으로 두드러지는 진출색의 선, 상대적으로 굵은 선으로 표시하는 구성으로 해도 된다.
더불어, 상술한 제2 실시 형태에서는, 자차량의 주위에 존재하는 이동체를 검지하는 구성을 예시하였지만, 자차량의 주위에 존재하는 장해물(벽이나 연석 등)을 검지하는 구성으로 해도 된다. 이 경우에도, 마찬가지로, 자차량의 주위에 장해물이 존재하는지, 장해물이 가이드선의 범위 내에 존재하는지 등에 기초하여, 거리 가이드선(Q2)의 중첩 위치를 결정할 수 있다.
또한, 상술한 실시 형태에 관한 제어 장치(10)의 화상 취득 기능은 본 발명의 화상 취득 수단에, 가이드선 중첩 기능은 본 발명의 차량 정보 취득 수단 및 중첩 수단에, 지연 상태 판단 기능은 본 발명의 판단 수단에, 이동체 검지 정보 취득 기능은 본 발명의 장해물 정보 취득 수단에, 각각 상당한다.
1000: 정보 제시 시스템
100: 단말 장치
10: 제어 장치
11: CPU
12: ROM
13: RAM
20: 통신 장치
30: 디스플레이
200: 차량 탑재 장치
1, 1a 내지 1d: 카메라
2: 통신 장치
3: 차량 컨트롤러
4: 각종 장치
41: 스티어링 제어 장치
42: 가속도 센서
43: 이동체 검출 장치

Claims (9)

  1. 차량에 설치된 카메라를 갖는 차량 탑재 장치와, 상기 차량 탑재 장치와 무선 통신하는 휴대 가능한 단말 장치를 갖는 정보 제시 시스템에 있어서,
    상기 단말 장치는,
    상기 카메라에 의해 촬상된 차량 주위의 화상을 취득하는 화상 취득 수단과,
    상기 화상 상에 차량으로부터의 거리를 나타내는 거리 표지를 중첩하는 중첩 수단과,
    상기 차량 탑재 장치와 상기 단말 장치의 무선 통신의 지연 시간을 포함하는 지연 상태를 판단하는 판단 수단과,
    상기 거리 표지가 중첩된 상기 화상을 제시하는 제시 수단을 구비하고,
    상기 중첩 수단은, 상기 무선 통신이 지연되고 있지 않은 경우에는, 상기 화상 상에 있어서 차량으로부터의 거리가 상기 거리 표지가 나타내는 거리로 되는 기준 위치에, 상기 거리 표지를 중첩하고, 상기 무선 통신이 지연되고 있는 경우에는, 상기 기준 위치보다 차량의 진행 방향측의 위치, 또는 상기 기준 위치보다 차량측의 위치에, 상기 거리 표지를 중첩하는 것을 특징으로 하는 정보 제시 시스템.
  2. 제1항에 있어서, 상기 중첩 수단은, 차량의 상태 정보를 취득하고, 취득한 상기 차량의 상태 정보 및 상기 무선 통신의 지연 시간에 기초하여, 상기 화상을 촬상하였을 때의 차량의 위치에서부터 차량의 현재의 위치까지의 이동량을 추측하고, 상기 기준 위치로부터 상기 이동량만큼 차량의 진행 방향측 또는 차량측으로 이동한 위치에, 상기 거리 표지를 중첩하는 것을 특징으로 하는 정보 제시 시스템.
  3. 제1항에 있어서, 상기 중첩 수단은, 상기 기준 위치로부터 소정의 이동량만큼 차량의 진행 방향측 또는 차량측으로 이동한 위치에, 상기 거리 표지를 중첩하는 것을 특징으로 하는 정보 제시 시스템.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 차량의 주위에 존재하는 장해물의 정보를 취득하는 장해물 정보 취득 수단을 더 구비하고,
    상기 중첩 수단은, 상기 장해물의 정보를 가미하여, 상기 거리 표지의 중첩 위치를 결정하는 것을 특징으로 하는 정보 제시 시스템.
  5. 제4항에 있어서, 상기 중첩 수단은, 상기 무선 통신이 지연되고 있고, 또한 상기 장해물을 검출하지 않는 경우에는, 상기 기준 위치보다 차량의 진행 방향측에, 상기 거리 표지를 중첩하는 것을 특징으로 하는 정보 제시 시스템.
  6. 제4항에 있어서, 상기 중첩 수단은, 상기 무선 통신이 지연되고 있고, 또한 상기 화상에 있어서 차량으로부터 상기 거리 표지가 나타내는 거리 범위 내에 상기 장해물이 존재하는 경우에는, 상기 기준 위치보다 차량의 진행 방향측에, 상기 거리 표지를 중첩하는 것을 특징으로 하는 정보 제시 시스템.
  7. 제4항에 있어서, 상기 중첩 수단은, 상기 무선 통신이 지연되고 있고, 또한 상기 화상 중에 있어서 차량으로부터 상기 거리 표지가 나타내는 거리 범위 밖에 상기 장해물이 존재하는 경우에는, 상기 기준 위치보다 차량측에, 상기 거리 표지를 중첩하는 것을 특징으로 하는 정보 제시 시스템.
  8. 제4항에 있어서, 상기 중첩 수단은, 상기 장해물이 존재하는 경우에, 상기 장해물의 위치를 나타내는 표지를, 상기 장해물의 실제의 위치보다 차량측의 위치에 중첩하는 것을 특징으로 하는 정보 제시 시스템.
  9. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 중첩 수단은, 상기 무선 통신의 지연 상태에 따라, 상기 화상 상에 있어서의 상기 거리 표지의 표시 형태를 상이하게 하는 것을 특징으로 하는 정보 제시 시스템.
KR1020177034492A 2015-05-29 2015-05-29 정보 제시 시스템 KR101874279B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/065532 WO2016194039A1 (ja) 2015-05-29 2015-05-29 情報提示システム

Publications (2)

Publication Number Publication Date
KR20170141778A KR20170141778A (ko) 2017-12-26
KR101874279B1 true KR101874279B1 (ko) 2018-07-03

Family

ID=57441043

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177034492A KR101874279B1 (ko) 2015-05-29 2015-05-29 정보 제시 시스템

Country Status (11)

Country Link
US (1) US10144351B2 (ko)
EP (1) EP3306918B1 (ko)
JP (1) JP6451840B2 (ko)
KR (1) KR101874279B1 (ko)
CN (1) CN107615757B (ko)
BR (1) BR112017025525A2 (ko)
CA (1) CA2987558A1 (ko)
MX (1) MX363856B (ko)
MY (1) MY182014A (ko)
RU (1) RU2677256C1 (ko)
WO (1) WO2016194039A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6358123B2 (ja) * 2015-02-16 2018-07-18 株式会社デンソー 運転支援装置
JP7036501B2 (ja) * 2017-02-24 2022-03-15 株式会社デンソーテン 充電支援装置、及び、充電支援方法
DE102017130169A1 (de) * 2017-02-24 2018-08-30 Denso Ten Limited Ladeunterstützungsvorrichtung
DE102017130173A1 (de) * 2017-02-24 2018-08-30 Denso Ten Limited Ladeunterstützungsvorrichtung
WO2018230021A1 (ja) * 2017-06-16 2018-12-20 株式会社Ｊｖｃケンウッド 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム
US10486594B2 (en) * 2017-09-19 2019-11-26 Ford Global Technologies, Llc Systems and methods for determining vehicle wireless camera latency
JP7037926B2 (ja) * 2017-12-04 2022-03-17 アルパイン株式会社 運転支援システムおよび後方ガイド画像の生成方法
DE102018102047A1 (de) * 2018-01-30 2019-08-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs mit virtuellen, länglichen Abstandsmarkierungen in einem Bild, Computerprogrammprodukt, sowie Anzeigesystem
JP6964276B2 (ja) * 2018-03-07 2021-11-10 パナソニックＩｐマネジメント株式会社 表示制御装置、車両周辺表示システムおよびコンピュータプログラム
JP7113348B2 (ja) * 2018-03-15 2022-08-05 パナソニックＩｐマネジメント株式会社 車両周辺表示システム、表示制御装置およびコンピュータプログラム
JP7172309B2 (ja) * 2018-09-06 2022-11-16 株式会社アイシン 周辺監視装置
US10909714B2 (en) 2018-10-30 2021-02-02 Here Global B.V. Method, apparatus, and system for providing a distance marker in an image
JP7238670B2 (ja) * 2019-07-23 2023-03-14 トヨタ自動車株式会社 画像表示装置
WO2021124516A1 (ja) * 2019-12-19 2021-06-24 株式会社ガク・アソシエイツ 境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007269060A (ja) 2006-03-30 2007-10-18 Aisin Aw Co Ltd 運転支援方法及び運転支援装置
JP2015067025A (ja) 2013-09-27 2015-04-13 日産自動車株式会社 予測進路提示システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000054008A1 (en) * 1999-03-11 2000-09-14 Intelligent Technologies International, Inc. Methods and apparatus for preventing vehicle accidents
JP3805702B2 (ja) * 2002-03-01 2006-08-09 三菱電機株式会社 車両周辺監視装置
US7298247B2 (en) * 2004-04-02 2007-11-20 Denso Corporation Vehicle periphery monitoring system
DE102007045562A1 (de) * 2007-09-24 2009-04-02 Robert Bosch Gmbh Steuereinrichtung für eine Anzeigeeinrichtung einer Einparkeinrichtung und Verfahren zur Darstellung
JP4929114B2 (ja) * 2007-09-28 2012-05-09 日産自動車株式会社 車両用情報報知装置、情報提供システム、情報報知方法
JP4412380B2 (ja) * 2007-10-02 2010-02-10 アイシン・エィ・ダブリュ株式会社 運転支援装置、運転支援方法及びコンピュータプログラム
JP2009111469A (ja) * 2007-10-26 2009-05-21 Victor Co Of Japan Ltd 映像出力装置および方法、映像表示装置および方法
US8217773B2 (en) * 2008-12-04 2012-07-10 Denso Corporation Field watch apparatus
JP5445218B2 (ja) * 2010-02-25 2014-03-19 マツダ株式会社 駐車支援システム
JP2011259152A (ja) 2010-06-08 2011-12-22 Suzuki Motor Corp 運転支援装置
KR20120056977A (ko) * 2010-11-26 2012-06-05 주식회사 이미지넥스트 차량 탑재형 블랙박스 시스템 및 그 시스템에서 생성된 주변 영상을 이용한 정보제공방법
EP2481637B1 (en) * 2011-01-28 2014-05-21 Nxp B.V. Parking Assistance System and Method
JP2012162130A (ja) 2011-02-04 2012-08-30 Aisin Aw Co Ltd 運転支援装置、運転支援方法及びコンピュータプログラム
JP6045796B2 (ja) * 2012-02-27 2016-12-14 京セラ株式会社 映像処理装置、映像処理方法、および映像表示システム
CN103338335B (zh) * 2013-06-19 2017-02-08 奇瑞汽车股份有限公司 一种车辆字符叠加辅助装置
BR112016006666B1 (pt) * 2013-09-27 2023-04-04 Nissan Motor Co., Ltd Sistema de apresentação de informações
CN104512408B (zh) * 2013-10-04 2017-11-21 本田技研工业株式会社 停车辅助装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007269060A (ja) 2006-03-30 2007-10-18 Aisin Aw Co Ltd 運転支援方法及び運転支援装置
JP2015067025A (ja) 2013-09-27 2015-04-13 日産自動車株式会社 予測進路提示システム

Also Published As

Publication number Publication date
KR20170141778A (ko) 2017-12-26
MX2017015166A (es) 2018-04-13
EP3306918A1 (en) 2018-04-11
EP3306918A4 (en) 2018-07-04
US10144351B2 (en) 2018-12-04
CN107615757A (zh) 2018-01-19
CA2987558A1 (en) 2016-12-08
EP3306918B1 (en) 2019-10-16
JP6451840B2 (ja) 2019-01-16
RU2677256C1 (ru) 2019-01-16
WO2016194039A1 (ja) 2016-12-08
MY182014A (en) 2021-01-18
CN107615757B (zh) 2018-10-09
US20180154830A1 (en) 2018-06-07
JPWO2016194039A1 (ja) 2018-05-31
BR112017025525A2 (pt) 2018-08-07
MX363856B (es) 2019-04-05

Similar Documents

Publication Publication Date Title
KR101874279B1 (ko) 정보 제시 시스템
JP6107960B2 (ja) 情報提示システム
KR101083885B1 (ko) 지능형 운전 보조 시스템들
JP4643860B2 (ja) 車両用視覚支援装置及び支援方法
CN106143309A (zh) 一种车辆盲区提醒方法及系统
US10671868B2 (en) Vehicular vision system using smart eye glasses
JP4590962B2 (ja) 車両用周辺監視装置
US11130418B2 (en) Method and apparatus for aligning a vehicle with a wireless charging system
CN104512335A (zh) 停车支援装置
CN111835998B (zh) 超视距全景图像获取方法、装置、介质、设备及系统
JP2008059178A (ja) 運転支援装置およびプログラム
KR101329467B1 (ko) 주차 보조 시스템
JP5049551B2 (ja) Ｅｔｃ通信監視装置及びｅｔｃ通信監視方法
JP6852564B2 (ja) 駐車制御方法及び駐車制御装置
JP2015028711A (ja) 車両の交通環境情報記録装置
KR101784096B1 (ko) 자동차용 통합 단말기
JP5720400B2 (ja) 画像処理装置及び画像処理方法
JP6221562B2 (ja) 車両用情報提示装置
KR20130053605A (ko) 차량의 주변영상 표시 장치 및 그 방법
JP6929038B2 (ja) 自車位置判定方法及び自車位置判定システム
JP2009020647A (ja) 立体物検出方法および立体物検出装置
JP6720063B2 (ja) 画像処理装置、撮像装置、および表示システム
JP6712942B2 (ja) 画像処理装置、撮像装置、および表示システム
KR102158830B1 (ko) 충돌사고 예방 장치 및 방법
JP2017022660A (ja) 表示装置、表示システム及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant