KR101229159B1 - 주변감시장치 - Google Patents

주변감시장치 Download PDF

Info

Publication number
KR101229159B1
KR101229159B1 KR1020107020817A KR20107020817A KR101229159B1 KR 101229159 B1 KR101229159 B1 KR 101229159B1 KR 1020107020817 A KR1020107020817 A KR 1020107020817A KR 20107020817 A KR20107020817 A KR 20107020817A KR 101229159 B1 KR101229159 B1 KR 101229159B1
Authority
KR
South Korea
Prior art keywords
image
vehicle
unit
information
monitor
Prior art date
Application number
KR1020107020817A
Other languages
English (en)
Other versions
KR20100119573A (ko
Inventor
가즈야 와타나베
고스케 사토
Original Assignee
아이신세이끼가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이신세이끼가부시끼가이샤 filed Critical 아이신세이끼가부시끼가이샤
Publication of KR20100119573A publication Critical patent/KR20100119573A/ko
Application granted granted Critical
Publication of KR101229159B1 publication Critical patent/KR101229159B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0275—Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

본 발명은 차량의 주변을 표시하는 모니터를 구비한 주변감시장치에 관한 것으로, 차량에 탑재된 촬상장치에 의해 촬상한 화상 정보를 취득하는 화상 정보 취득부; 차량의 측방에 존재하는 직선 형상을 대상 피처로 하고, 화상 정보에 포함되는 대상 피처의 화상 인식 처리를 수행하는 화상 인식부; 차량이 대상 피처에 접근하는 경우, 모니터에 표시하는 표시화상을 차량의 측방과 관계되는 사이드 화상으로 전환할지 여부를 판정하는 화면 전환 판정부; 및 상기 화면 전환 판정부의 판정 결과에 따라 모니터의 표시를 사이드 화상으로 전환하는 화상 전환부를 구비한다.

Description

주변감시장치 {PERIPHERY MONITORING DEVICE}
본 발명은 차량의 주변을 감시하는 주변감시장치에 관한 것이다.
최근, 차량 운전을 안전하게 그리고 원활하게 수행하기 위해, 차량 운전을 지원하는 다양한 운전지원장치가 제안되고 있다. 이러한 운전지원장치 중에는, 차량에 구비되는 복수의 카메라에 의해 촬상된 차량 주위의 영상을 전환하여 디스플레이에 표시하는 화상전환장치가 있다(예를 들면, 특허문헌 1).
특허문헌 1에 기재된 화상전환장치는, 차량이 정지 상태에 있는지 여부를 검출하는 정지 상태 검출수단에 의해 차량이 정지 상태에 있다고 판단된 경우에 핸들의 조향 상태(steering state)를 검출한다. 그리고, 상기 조향 상태의 검출 결과에 기초하여 복수의 카메라에 의해 촬상된 차량 주위의 영상 중에서, 디스플레이에 표시하게 할 카메라의 영상을 결정하여 디스플레이의 표시를 상기 카메라의 영상으로 전환한다.
일본공개특허공보 2003-224845호
하지만, 특허문헌 1에 기재된 화상전환장치는, 핸들의 조향 상태, 즉 핸들의 조향에 따라 계수되는 카운트값에 기초하여 차량 주위의 영상을 촬상하는 카메라 영상을 전환하여 표시한다. 따라서, 예를 들면 디스플레이를 카 내비게이션 시스템의 경로 안내용 디스플레이와 겸용하는 경우나, 또는 차량탑재 TV 모니터로 겸용하는 경우 등에서는, 핸들의 조작 상황에 따라 차량 운전자가 필요로 하지 않더라도 카메라의 영상으로 전환되어 버릴 가능성이 있다.
본 발명은 상기 문제를 감안하여 이루어진 것이며, 그 목적은 차량의 주행 상태에 따라 적절하게 차량의 주위를 표시할 수 있는 주변감시장치를 제공하는 것에 있다.
상기 목적을 달성하기 위한 본 발명에 따른 주변감시장치의 특징적인 구성은, 차량의 주변을 표시하는 모니터를 구비하며, 상기 차량에 탑재된 촬상장치에 의해 촬상한 화상 정보를 취득하는 화상 정보 취득부; 상기 차량의 측방에 존재하는 직선 형상을 대상 피처(target feature)로 하고, 상기 화상 정보에 포함되는 상기 대상 피처의 화상 인식 처리를 수행하는 화상 인식부; 상기 차량이 상기 대상 피처에 접근하는 경우, 상기 모니터에 표시하는 표시화상을 상기 차량의 측방과 관계되는 사이드 화상으로 전환할지 여부를 판정하는 화면 전환 판정부; 및 상기 화면 전환 판정부의 판정 결과에 따라 상기 모니터의 표시를 상기 사이드 화상으로 전환하는 화상 전환부를 구비하는 점에 있다.
이와 같은 특징적인 구성으로 하면, 차량이 대상 피처에 접근했을 경우, 화면 전환 판정부가 판정을 수행하여 상기 판정 결과에 따라 차량의 측방을 포함한 사이드 화상을 모니터에 표시하므로, 차량 운전자가 차량의 주위를 주력시하고자 할 때에만 모니터의 표시를 사이드 화상으로 전환할 수 있다. 따라서, 적절하게 차량의 주위를 표시하는 것이 가능해진다.
또한, 상기 촬상장치로서 상기 차량의 측방을 촬상하는 사이드 카메라를 구비하며, 상기 화상 인식 처리는 상기 사이드 카메라에 의해 촬상된 화상 정보를 이용하여 수행되는 동시에, 상기 사이드 화상은 상기 사이드 카메라에 의해 촬상된 화상 정보에 기초한 화상인 것이 바람직하다.
이와 같은 구성으로 하면, 촬상장치로서 사이드 카메라만 구비하고 있는 경우라도 적절하게 차량의 주위를 표시하는 것이 가능해진다.
또는, 상기 활상장치로서 상기 차량의 측방을 촬상하는 사이드 카메라와 상기 차량의 후방을 촬상하는 후방 카메라(back camera)를 구비하며, 상기 화상 인식 처리가 상기 후방 카메라에 의해 촬상된 화상 정보를 이용하여 수행되는 동시에, 상기 사이드 화상이 상기 사이드 카메라에 의해 촬상된 화상 정보에 기초한 화상이어도 좋다.
이와 같은 구성으로 하면, 후방 카메라로 촬상한 촬상화상에 기초하여 차량이 차량의 후방에 위치하는 피처(지물(地物))에 접근하고 있는 것을 특정하여 차량의 주위를 표시할 수 있다.
또한, 상기 사이드 화상으로의 전환은, 상기 직선 형상 또는 상기 직선 형상을 따라 연장된 직선 형상 연장선 중 어느 하나와 상기 차량의 차폭을 따라 연장된 차폭 연장선이 교차하는 교차각도가 소정 각도 이내인 경우에 수행되는 것이 바람직하다.
이와 같은 구성으로 하면, 예를 들어 차량을 주차 스페이스에 주차시킬 때, 차량이 주차 스페이스에 그려진 구획선의 직선 형상에 대해 접근하고 있는지 여부를 특정하고, 접근하고 있다고 판정된 경우에 모니터의 표시를 사이드 화상으로 전환하는 것이 가능해진다. 따라서, 차량 운전자는 차량의 주위를 용이하게 감시할 수 있다.
또한, 상기 사이드 화상으로의 전환은, 상기 차량 전진시, 상기 차량의 속도가 소정 속도 이하이고, 또, 상기 차량 핸들의 조향각이 소정 각도 이상인 경우에 수행되는 것이 바람직하다.
이와 같은 구성으로 하면, 차량이 전진하여 주차 스페이스에 주차할 때의 차량 조작에 따라 모니터에 사이드 화상을 표시하는 것이 가능해진다. 또한, 차량이 좌회전할 때에도 사이드 화상을 표시하는 것이 가능해진다. 따라서, 차량을 적절하게 주차 스페이스에 주차시키거나 좌회전시 사고를 방지하거나 하는 것이 가능해진다.
또한, 상기 사이드 화상으로의 전환은, 상기 차량 전진시, 상기 직선 형상 또는 상기 직선 형상을 따라 연장된 직선 형상 연장선 중 어느 하나와 상기 차량의 차폭을 따라 연장된 차폭 연장선이 교차하는 교차위치가 상기 차량으로부터 소정 거리 이내인 경우에 수행되는 것이 바람직하다.
이와 같은 구성으로 하면, 차량 운전자가 구획선에 접근하려는 의사를 가지고 차량을 조작하는 경우, 모니터에 적절하게 사이드 화상을 전환하는 것이 가능해진다.
도 1은 본 발명에 따른 주변감시장치의 개략적인 구성을 모식적으로 나타낸 블록도이다.
도 2는 차량에 탑재되는 촬상장치, 상기 촬상장치의 촬상 영역, 및 차폭 연장선을 나타낸 도면이다.
도 3은 대상 피처를 흰 선으로 한 경우의 대상 피처와 차량의 위치 관계를 나타낸 도면이다.
도 4는 대상 피처를 흰 선으로 한 경우의 대상 피처와 차량의 위치 관계를 나타낸 도면이다.
도 5는 표시화면 전환조건의 일례를 나타낸 테이블이다.
도 6a 및 도 6b는 모니터의 표시를 사이드 화상을 포함한 화상으로 전환한 경우의 예를 나타낸 도면이다.
도 7은 주변감시장치의 제어에 관한 플로우차트이다.
이하, 본 발명의 실시형태에 대해 도면을 기초로 설명한다. 도 1은 본 발명에 따른 주변감시장치(1)의 개략적인 구성을 모식적으로 나타낸 블록도이다. 본 주변감시장치(1)는, 차량(100)의 주변을 표시하는 모니터(24)를 구비하며, 상기 차량(100)의 주위를 적절하게 감시하기 위해, 차량(100)의 상태에 따라 모니터(24)의 표시를 전환하는 기능을 갖추고 있다.
주변감시장치(1)는, 사이드 카메라(10), 후방 카메라(11), 화상 정보 취득부(12), 화상 인식부(13), 개시조건 저장부(14), 개시조건 판정부(15), 시프트 정보 취득부(16), 차속 정보 취득부(17), 교차위치 검출부(18), 교차각도 검출부(19), 조향각 정보 취득부(20), 화상 전환부(21), 화면 전환 판정부(22), 전환조건 저장부(23), 모니터(24), 및 해제조건 저장부(25)로 구성된다. 여기서, 본 주변감시장치(1)는 CPU를 핵심 부재로 하여 차량(100)의 주변을 감시하는 각종 처리를 수행하기 위한 상술한 기능부가 하드웨어 또는 소프트웨어 혹은 그 양자로 구축되어 있다. 이하, 본 주변감시장치(1)의 각 부의 구성에 대해 설명한다.
사이드 카메라(10)는 차량(100)의 측방을 촬상하는 촬상장치로서 기능한다. 본 실시형태에 있어서는, 차량(100)의 측방에는 적어도 차량(100)의 좌측방이 포함된다. 이를 위해, 상기 사이드 카메라(10)는 차량(100) 좌측방의 노면이나, 좌측방에 존재하는 대상 피처(oa)(도 2 내지 도 4 참조)를 촬상할 수 있는 위치에 설치되는 것이 바람직하다. 여기서, 노면은 차량(100)이 주행하는 도로의 노면이다. 또한, 대상 피처(oa)는 차량(100)의 측방에 존재하는 직선 형상이고, 예를 들면 도로의 노면에 페인트가 칠해진 도로 표시(페인트 표시)가 상당한다. 구체적으로, 예를 들면 도로의 차선이나 주차장의 주차 위치를 구분하기 위한 구획선이다. 또한, 이와 같은 도로 표시 이외에, 도로 옆에 설치되는 연석(緣石), 측구(側溝), 산울타리 등도 대상 피처(oa)에 포함된다.
상기 사이드 카메라(10)는 차량(100)의 좌측방에 존재하는 대상 피처(oa)를 촬상하기 위해, 예를 들면 차량(100)의 프론트 펜더(front fender) 내 또는 프론트 범퍼의 측면 등에 구비하는 것이 바람직하다. 본 실시형태에서는, 도 2에 도시된 바와 같이, 사이드 카메라(10)는 프론트 펜더 내에 구비된다고 설명한다. 이와 같은 위치에 사이드 카메라(10)를 구비함으로써, 도 2에서 파선으로 둘러싸인 좌측방 영역(SR)을 촬상하는 것이 가능해진다.
후방 카메라(11)는 차량(100)의 후방을 촬상하는 촬상장치로서 기능한다. 상기 후방 카메라(11)는 적어도 차량(100) 후방의 노면이나, 후방에 존재하는 대상 피처(oa)를 촬상할 수 있는 위치에 설치되는 것이 바람직하다. 이를 위해, 후방 카메라(11)는 예를 들면 차량(100)의 리어 윈도우(rear window) 부근이나 리어 범퍼 부근 등에 구비되는 것이 바람직하다. 본 실시형태에서는, 도 2에 도시된 바와 같이, 후방 카메라(11)는 리어 윈도우 부근에 구비된다고 설명한다. 이와 같은 위치에 후방 카메라(11)를 구비함으로써, 도 2에서 파선으로 둘러싸인 후방 영역(BR)을 촬상하는 것이 가능해진다.
화상 정보 취득부(12)는 차량(100)에 탑재된 촬상장치에 의해 촬상된 화상 정보를 취득한다. 본 실시형태에 있어서는, 촬상장치는 상술한 바와 같이 사이드 카메라(10) 및 후방 카메라(11)이다. 따라서, 촬상된 화상 정보란, 사이드 카메라(10) 및 후방 카메라(11)에 의해 촬상된 촬상화상이 해당된다. 따라서, 화상 정보 취득부(12)는 차량(100)에 탑재된 사이드 카메라(10) 및 후방 카메라(11)에 의해 촬상된 차량(100) 주변의 화상 정보를 취득한다. 화상 정보 취득부(12)에서 취득된 화상 정보는 후술하는 화상 인식부(13) 및 화상 전환부(21)로 전달된다.
상술한 바와 같이, 사이드 카메라(10) 및 후방 카메라(11)의 주요 기능은 각각 차량(100)의 좌측방 및 후방(이하, 차량(100) 주위)의 촬상이다. 이와 같은 차량(100) 주위의 촬상을 수행하는 경우에는, 사이드 카메라(10) 및 후방 카메라(11)의 결상 기능을 갖는 촬상부(미도시)를 통해 촬상된다. 상기 촬상부에서 촬상된 화상은 화상 정보 취득부(12)에서 화상 데이터로 변환된다. 즉, 촬상부를 통해 얻어진 촬상화상을 CCD 등의 광전변환소자에 의해 디지털 데이터화하여 촬상화상의 화상 데이터가 얻어지고, 나아가, 이러한 화상 데이터에 의해 모니터(24)에 촬상화상을 표시할 수 있다. 다만, 본 발명에서는 특별히 구별할 필요가 없는 한, 차량(100) 주위의 촬영에 의해 각 단계에서 얻어지는 촬상화상이나 화상 데이터를 "촬상화상"이라는 단어로 총칭한다.
시프트 정보 취득부(16)는 차량(100)의 시프트 정보를 취득한다. 시프트 정보는 차량(100)이 구비하는 변속기의 현재의 기어단을 나타내는 정보이다. 변속기는 차량(100)의 엔진으로부터 전달되는 회전동력을 차량(100)의 주행에 적합한 회전수나 토크 등으로 변환하는 변속 제어수단이다. 이와 같은 변속기에는, 수동으로 변속 제어를 수행하는 수동 변속기(MT: Manual Transmission)나, 자동으로 변속 제어가 수행되는 자동 변속기(AT: Automatic Transmission)가 있다. 어느 변속기에서나 차량(100) 운전자에 의해 수행되는 시프트 레버의 조작에 기초하여 변속 제어가 수행된다. 따라서, 상기 시프트 레버의 현재 위치를 취득함으로써 현재의 기어단을 특정하는 것이 가능하다. 이를 위해, 시프트 정보 취득부(16)는 시프트 레버의 현재 위치를 특정하는 포지션 센서 등에 의해 구성되는 것이 바람직하다.
여기서, 본 발명에 따른 주변감시장치(1)에 있어서는, 현재의 기어단이 차량(100)을 전진시키는 전진용 기어단이거나 또는 차량(100)을 후진시키는 후진용 기어단인지를 특정할 수 있으면 된다. 따라서, 시프트 정보에는, 전진용 기어단인지 또는 후진용 기어단인지를 나타내는 정보가 표시된다고 설명한다. 시프트 정보 취득부(16)에 의해 취득된 시프트 정보는 개시조건 판정부(15) 및 화면 전환 판정부(22)로 전달된다.
차속 정보 취득부(17)는 차량(100)의 차속 정보를 취득한다. 차속 정보는 차량(100)의 속도를 나타내는 정보이다. 따라서, 차속 정보 취득부(17)는 차량(100)이 구비하는 스피드 미터(speed meter)로부터 차속 정보를 취득해도 좋으며, 도시하지 않은 각속도 검출부에 의해 검출된 차량(100)의 드라이브 샤프트 등의 각속도를 나타내는 각속도 정보에 기초하여 차량 속도를 산출해도 좋다. 차속 정보 취득부(17)에 의해 취득된 차속 정보는 개시조건 판정부(15) 및 화면 전환 판정부(22)로 전달된다.
개시조건 판정부(15)는 시프트 정보와 차속 정보에 기초하여 차량 상태를 특정하고, 상기 차량 상태가, 화상 인식부(13)가 화상 인식 처리를 개시하는 개시조건을 구비하는지 여부를 판정한다. 시프트 상태는 상술한 바와 같이 시프트 정보 취득부(16)로부터 전달된다. 또한, 차속 정보는 차속 정보 취득부(17)로부터 전달된다. 개시조건 판정부(15)는 이들 정보에 기초하여 현재의 차량(100) 상태를 나타내는 차량 상태를 특정한다. 개시조건이란, 후술하는 화상 인식부(13)가 화상 인식 처리를 개시하는 조건이다. 즉, 차량 상태가 상기 개시조건을 구비한 경우에 화상 인식부(13)가 화상 인식 처리를 개시한다. 이러한 개시조건은 후술하는 개시조건 저장부(14)에 저장되어 있다. 개시조건 판정부(15)는 개시조건 저장부(14)에 저장되어 있는 개시조건을 참조하여, 현재의 차량 상태가 상기 개시조건을 구비하는지 여부를 판정한다. 이러한 판정 결과는 화상 인식부(13)로 전달된다.
개시조건 저장부(14)는 화상 인식부(13)가 화상 인식 처리를 개시하는 개시조건이 저장된다. 이러한 개시조건은 차량(100)의 기어단 및 차량 속도에 기초하여 규정된다. 구체적으로, 예를 들면 차량(100)의 변속기가 전진용 기어단이고, 또, 차속이 10㎞/h 이하인 조건이나, 또는 차량(100)의 변속기가 후진용 기어단이고, 또, 차속이 10㎞/h 이하인 조건으로 규정된다. 이와 같은 개시조건은 미리 개시조건 저장부(14)에 저장되는 구성이어도 좋으며, 필요에 따라 사용자에 의해 개시조건을 설정하는 구성이어도 좋다. 또한, 변속기가 후진용 기어단인 경우에는, 차량 속도에 상관없이 화상 인식부(13)가 화상 인식 처리를 개시하도록 규정하는 것도 가능하다.
화상 인식부(13)는 차량(100)의 측방에 존재하는 직선 형상을 대상 피처(oa)로 하고, 화상 정보에 포함되는 대상 피처(oa)의 화상 인식 처리를 수행한다. 본 실시형태에서는, 화상 인식 처리는 사이드 카메라(10)에 의해 촬상된 화상 정보를 이용하여 수행된다. 직선 형상은 차량(100)이 주행하는 노면에 위치하는 직선 형상이다. 구체적으로, 노면에 페인트가 칠해진 구획선이나 연석이나 측구 등이 해당된다. 또한, 건축물의 벽이나 산울타리 등도 포함된다. 더 나아가서는, 완전한 직선에만 한정되는 것이 아니라, 점선상의 구획선이나 로드 콘(road cone) 등도 포함된다. 화상 인식부(13)는 이와 같은 직선 형상을 대상 피처(oa)로 하여 화상 인식 처리를 수행한다. 여기서, 본 실시형태에 있어서는, 화상 인식 처리는 사이드 카메라(10)에 의해 촬상된 화상 정보를 이용하여 수행되므로, 화상 인식부(13)에는 화상 정보 취득부(12)로부터 사이드 카메라(10)에 의해 촬상된 화상 정보가 전달된다.
또한, 상술한 바와 같이, 화상 인식부(13)는 차량 상태가 개시조건 저장부(13)에 저장되는 개시조건을 구비했을 때에 화상 인식 처리를 수행한다. 차량 상태가 개시조건을 구비했는지 여부의 판정은 상술한 개시조건 판정부(15)에 의해 수행되고, 그 판정 결과가 상기 화상 인식부(13)로 전달된다. 화상 인식부(13)는 개시조건을 구비했음을 나타내는 판정 결과가 전달된 경우, 화상 정보 취득부(12)로부터 전달받은 화상 정보의 화상 인식 처리를 개시한다. 따라서, 개시조건을 구비하지 않은 경우, 화상 정보 취득부(12)로부터 전달되는 화상 정보는 화상 인식 처리가 수행되지 않고 소거되게 된다.
또, 화상 인식 처리가 수행되지 않을 경우의 화상 정보는 소거하지 않고, 도시하지 않은 화상 정보 저장부에 저장해 두는 것도 가능하다. 그리고, 화상 정보 저장부에 저장된 화상 정보는 미리 설정된 소정 시간의 경과에 따라 소거하도록 구성하는 것도 가능하며, 화상 정보 저장부의 저장 가능 영역에 따라 소위 "선입선출 처리(저장 가능 영역이 적어졌을 경우에 가장 오래전에 저장된 화상 정보를 삭제하여 저장 가능 영역을 확보하는 처리)"로 삭제하도록 구성해도 좋다.
화상 인식부(13)가 수행하는 화상 인식 처리는 대상 피처(oa)의 종별에 적합한 인식 로직을 이용하여 수행된다. 구체적으로, 화상 인식부(13)는 먼저 화상 정보 취득부(12)에서 취득된 화상 정보가 입력된다. 그리고, 대상 피처(oa)의 화상 인식을 수행하기 위해, 대상 피처(oa)의 종별에 적합한 인식 로직을 이용하여 화상 인식 처리를 수행한다. 또, 화상 인식 처리에 이용되는 인식 로직은 도시하지 않은 인식 로직 저장부에 저장되는 구성으로 해도 좋으며, 화상 인식부(13) 내에 별도로 형성된 메모리 등으로 이루어진 저장부에 저장되어도 좋다.
화상 인식부(13)가 수행하는 화상 인식 처리는 구체적으로 이하와 같이 수행된다. 또, 본 실시형태에 있어서는, 대상 피처(oa)로서 흰 선으로 이루어진 구획선이 설정된 경우의 예로서 설명한다. 먼저, 흰 선의 검출을 용이하게 수행하기 위해 흰 선을 강조하는 필터를 이용한다. 여기서, 도로의 구획선(흰 선)의 폭은 법령이나 부처령 등에 의해 규정된다. 또한, 주차장의 주차 위치를 구분하기 위한 구획선의 폭은 상기 주차장 소유자의 의도에 따라 설정된다. 따라서, 구획선이 형성되는 장소에 따라 그 폭이 달라진다. 그러므로, 필터 길이는 사이드 카메라(10)로 촬상된 촬영화상에 포함되는 화상의 흰 선의 폭에 따라 결정된다. 이 필터를 적용함으로써, 화상 정보에 포함되는 흰 선 부분 및 노면의 아스팔트 부분의 휘도값의 차이를 강조하여 2치화(binarization) 처리를 위한 문턱값 설정이 용이해진다. 2치화 처리 후, 흰색 라인 및 검은색 라인의 길이로부터 흰 선의 유무를 판단한다. 이러한 판단은, 예를 들면 흰색 라인의 길이와 검은색 라인의 길이가 일치하는지 여부를 판정하고, 일치하면 흰 선이라고 판단하면 된다. 이렇게 하여 화상 인식부(13)는 구획선(흰 선)의 화상 인식 처리를 수행한다. 또, 이러한 화상 인식 방법은 일례이며, 그 밖의 공지기술에 의해 화상 인식을 수행하는 것도 가능하다.
또한, 상기 화상 인식 처리에서는, 2치화된 흰색 라인의 길이와 검은색 라인의 길이가 일치하는지 여부에 따라 판정한다고 했지만, 일치한다는 것은 완전 일치만을 나타내는 것이 아니라, 흰색 라인 및 검은색 라인 중, 예를 들면 50%가 일치하면 흰 선이라고 판정하도록 할 수도 있다. 물론, 상기 50%에 한정되지 않고, 미리 별도의 비율로 설정해 두는 것은 가능하다. 이와 같은 비율을 정하여 화상 인식 처리를 수행함으로써, 흐릿한 구획선 등이어도 화상 인식을 수행할 수 있게 된다. 이렇게 하여 화상 인식부(13)에 의해 화상 인식 처리가 수행된 화상 인식 처리 결과는 교차위치 검출부(18), 교차각도 검출부(19), 화면 전환 판정부(22)로 전달된다.
교차위치 검출부(18)는 화상 인식부(13)에 의한 화상 인식 처리 결과에 기초하여 대상 피처(oa)의 직선 형상 또는 직선 형상을 따라 연장된 직선 형상 연장선(or) 중 어느 하나와 차량(100)의 차폭을 따라 연장된 차폭 연장선(CW)이 교차하는 교차위치(cp)의 검출을 수행한다. 상술한 바와 같이 본 실시형태에서는 대상 피처(oa)는 흰 선이다. 따라서, 직선 형상은 흰 선의 직선 부분(ol)이 해당되며, 교차위치 검출부(18)는 화상 인식부(13)에 의한 화상 인식 처리 결과에 기초하여 대상 피처(oa)의 직선 부분(ol) 또는 직선 부분(ol)을 따라 연장된 직선 형상 연장선(or) 중 어느 하나와 차량(100)의 차폭을 따라 연장된 차폭 연장선(CW)이 교차하는 교차위치(cp)의 검출을 수행한다. 또한, 교차위치(cp)는 차량(100)으로부터의 거리로 표시하는 형태인 것이 바람직하다.
이하, 구체적으로 도면을 참조하여 설명한다. 도 3 및 도 4는 흰 선을 대상 피처(oa)로 한 경우에 있어서의 대상 피처(oa)와 차량(100)의 위치 관계를 나타낸 도면이다. 도 3의 경우, 차량(100)의 차폭 연장선(CW)은 흰 선에 대해 반시계 방향으로 회전하는 상태를 도시하고 있다. 도 3에 있어서, 흰 선의 직선 형상, 즉 직선 부분(ol)은 흰 선의 길이 방향을 나타내는 차량(100)에 가까운 측의 선 및 차량(100)으로부터 먼 측의 선 중 하나의 선이 해당된다. 본 실시형태에서는 차량(100)에 가까운 측의 선을 나타내는 것으로 한다. 교차위치 검출부(18)는 직선 부분(ol) 또는 직선 부분(ol)을 따라 연장된 직선 형상 연장선(or) 중 어느 하나와 차폭 연장선(CW)이 교차하는 교차위치(cp)의 검출을 수행한다. 한편, 도 4의 경우, 차량(100)의 차폭 연장선(CW)은 흰 선에 대해 시계 방향으로 회전하는 상태를 도시하고 있다. 도 4의 경우도 마찬가지로, 교차위치 검출부(18)는 직선 부분(ol) 또는 직선 부분(ol)을 따라 연장된 직선 형상 연장선(or) 중 어느 하나와 차폭 연장선(CW)이 교차하는 교차위치(cp)의 검출을 수행한다.
또, 이후의 설명에서는 특별히 단서가 없는 한, 교차위치(cp)와 관련하여, 도 3과 같은 차량(100)에 대해, 예를 들면 전방 2m 위치에 교차위치(cp)가 있는 경우에는 전방 2m로 표현하고, 도 4와 같은 차량(100)에 대해, 예를 들면 후방 2m 위치에 교차위치(cp)가 있는 경우에는 후방 2m로 표현한다. 교차위치 검출부(18)에 의해 검출된 교차위치(cp)는 교차위치 정보로서 화면 전환 판정부(22)로 전달된다.
교차각도 검출부(19)는 화상 인식부(13)에 의한 화상 인식 처리 결과에 기초하여 직선 형상 또는 직선 형상을 따라 연장된 직선 형상 연장선(or) 중 어느 하나와 차량(100)의 차폭을 따라 연장된 차폭 연장선(CW)이 교차하는 교차각도(θ)의 검출을 수행한다. 상술한 바와 같이, 본 실시형태에서는 직선 형상은 흰 선의 직선 부분(ol)이다. 따라서, 교차각도 검출부(19)는 화상 인식부(13)에 의한 화상 인식 처리 결과에 기초하여 대상 피처(oa)의 직선 부분(ol) 또는 직선 부분(ol)을 따라 연장된 직선 형상 연장선(or) 중 어느 하나와 차량(100)의 차폭을 따라 연장된 차폭 연장선(CW)이 교차하는 교차각도(θ)의 검출을 수행한다.
이하, 도 3 및 도 4를 참조하여 구체적으로 설명한다. 도 3의 경우, 교차각도 검출부(19)는 직선 부분(ol)을 따라 연장된 직선 형상 연장선(or)과 차폭 연장선(CW)이 교차하는 교차각도(θ)의 검출을 수행한다. 한편, 도 4의 경우, 교차각도 검출부(19)는 직선 부분(ol)과 차폭 연장선(CW)이 교차하는 교차각도(θ)의 검출을 수행한다.
또, 이후의 설명에서는 특별히 단서가 없는 한, 교차각도(θ)와 관련하여, 도 3과 같은 반시계 방향의 교차각도(θ)나 도 4와 같은 시계 방향의 교차각도(θ)나 동일하게 취급하여 설명한다. 즉, 직선 부분(ol) 또는 직선 형상 연장선(or) 중 어느 하나와 차폭 연장선(CW)의 교차각도(θ)가 8도 이내라고 기재한 경우에는, 반시계 방향에 대한 교차각도(θ)나 시계 방향에 대한 교차각도(θ)나 8도 이내인 것을 나타내는 것으로 한다. 교차각도 검출부(19)에 의해 검출된 교차각도(θ)는 교차각도 정보로서 화면 전환 판정부(22)로 전달된다.
조향각 정보 취득부(20)는 차량(100) 핸들의 조향각을 나타내는 조향각 정보를 취득한다. 핸들의 조향각은 운전자에 의해 조향된 핸들을 꺽는 각도이다. 따라서, 조향각 정보 취득부(20)는 예를 들면 핸들 회전축의 회전각을 검출하는 회전각 검출 센서로 구성되는 것이 바람직하다. 또한, 핸들의 회전은 주지한 바와 같이 중립 위치로부터 시계 방향의 회전 또는 반시계 방향의 회전을 한다. 본 실시형태에 있어서는 시계 방향의 회전 및 반시계 방향의 회전을 동일하게 설명한다. 즉, 조향각이 30도 이상이라고 기재한 경우에는, 시계 방향에 대한 조향각이 30도 이상인 것과 반시계 방향에 대한 조향각이 30도 이상인 것을 포함하여 나타내는 것으로 한다. 조향각 정보 취득부(20)에 의해 취득된 조향각 정보는 화면 전환 판정부(22)로 전달된다.
화면 전환 판정부(22)는 차량(100)이 대상 피처(oa)로 접근하는 경우에 모니터(24)에 표시하는 표시화상을 차량(100)의 측방과 관계되는 사이드 화상으로 전환할지 여부를 판정한다. 차량(100)의 측방과 관계되는 사이드 화상은 상세하게는 후술하겠지만, 차량(100)의 측방이 포함되는 화상이고, 사이드 카메라(10)에 의해 촬상된 화상 정보에 기초한 화상이다. 화상 정보에 기초한 화상에는 실제(real) 화상 및 가상(virtual) 화상이 포함된다. 실제 화상은 사이드 카메라(10)에 의해 촬상된 화상이고, 가상 화상은 사이드 카메라(10)에 의해 촬상된 화상을 이용하여 생성된 상시관도(上視觀圖) 등과 같이 시점 변경이 수행된 화상이다. 또한, 가상 화상을 생성할 때, 사이드 카메라(10)에 의해 촬상된 화상 이외에, 후방 카메라(11)에 의해 촬상된 화상을 이용하는 것도 가능하다. 화면 전환 판정부(22)는 상술한 판정을 미리 설정된 표시화면 전환조건에 기초하여 판정한다. 본 실시형태의 경우, 대상 피처(oa)는 흰 선이다. 따라서, 차량(100)이 대상 피처(oa)에 접근한다는 것은 차량(100)이 흰 선에 접근하고 있는 것을 나타낸다. 따라서, 화면 전환 판정부(22)는 차량(100)이 흰 선에 접근하는 경우에 미리 설정된 표시화면 전환조건을 구비하는지 여부의 판정을 수행한다.
차량(100)이 흰 선에 접근하는지 여부의 특정은 화상 인식부(13)로부터 전달되는 화상 인식 처리 결과에 기초하여 수행된다. 상술한 바와 같이, 화상 인식부(13)는 개시조건을 구비한 경우에 화상 인식 처리를 개시하고, 화면 전환 판정부(22)에 화상 인식 처리 결과를 전달한다. 따라서, 현재의 화상 인식 처리 결과와 소정 시간 이전의 화상 인식 처리 결과를 비교함으로써, 차량(100)이 흰 선에 접근하고 있는지 여부를 용이하게 특정하는 것이 가능하다. 화면 전환 판정부(22)는 차량(100)이 흰 선에 접근하고 있다고 특정한 경우에 미리 설정된 표시화면 전환조건을 구비하는지 여부의 판정을 수행한다.
표시화면 전환조건이란, 후술하는 화상 전환부(21)가 차량(100)의 모니터(24)에 표시하는 표시화면을 차량(100)의 측방과 관계되는 사이드 화상으로 전환하는 조건이다. 이러한 표시화면 전환조건은 후술하는 전환조건 저장부(23)에 미리 저장되어 있다. 또한, 표시화면 전환조건은 상세하게는 후술하겠지만, 차량(100)의 시프트 상태, 차량(100)의 차속, 흰 선의 직선 부분(ol) 또는 직선 부분 연장선(or) 중 어느 하나와 차폭 연장선(CW)의 교차위치(cp), 흰 선의 직선 부분(ol) 또는 직선 부분 연장선(or) 중 어느 하나와 차폭 연장선(CW)의 교차각도(θ), 핸들의 조향각에 의해 규정되어 있다.
상술한 바와 같이, 차량(100)의 시프트 상태는 시프트 정보 취득부(16)로부터 전달되는 시프트 정보에 포함되어 있다. 또한, 차량(100)의 차속은 차속 정보 취득부(17)로부터 전달되는 차속 정보에 포함되어 있다. 그리고, 흰 선의 직선 부분(ol) 또는 직선 부분 연장선(or) 중 어느 하나와 차폭 연장선(CW)의 교차위치(cp)는 교차위치 검출부(18)로부터 전달되는 교차위치 정보에 포함된다. 또한, 흰 선의 직선 부분(ol) 또는 직선 부분 연장선(or) 중 어느 하나와 차폭 연장선(CW)의 교차각도(θ)는 교차각도 검출부(19)로부터 전달되는 교차각도 정보에 포함되어 있다. 또한, 핸들의 조향각은 조향각 정보 취득부(20)로부터 전달되는 조향각 정보에 포함되어 있다.
화면 전환 판정부(22)는 전환조건 저장부(23)에 저장되어 있는 표시화면 전환조건을 참조하고, 상술한 각종 정보에 기초하여 표시화면 전환조건을 구비하는지 여부를 판정한다. 이러한 판정 결과는 화상 전환부(21)로 전달된다.
전환조건 저장부(23)는 화상 전환부(21)가 모니터(24)에 표시되는 표시화상의 전환을 수행하는 표시화면 전환조건이 저장된다. 이러한 표시화면 전환조건은 상술한 바와 같이 시프트 상태, 차량 속도, 교차위치(cp), 교차각도(θ), 핸들의 조향각에 기초하여 결정된다. 구체적으로, 직선 형상 또는 직선 형상을 따라 연장된 직선 형상 연장선(or) 중 어느 하나와 차량(100)의 차폭을 따라 연장된 차폭 연장선(CW)이 교차하는 교차각도(θ)에 따라 규정된다. 또한, 차량(100) 전진시에 있어서의 표시화면 전환조건으로서, 차량(100)의 속도와 차량(100) 핸들의 조향각에 따라 규정된다. 또는, 차량(100) 전진시에 있어서의 다른 표시화면 전환조건으로서, 직선 형상 또는 직선 형상을 따라 연장된 직선 형상 연장선(or) 중 어느 하나와 차량(100)의 차폭을 따라 연장된 차폭 연장선(CW)이 교차하는 교차위치(cp)에 따라 규정된다. 이렇게 하여 규정된 표시화면 전환조건의 일례를 도 5에 나타낸다.
예를 들면, "No. 1"에 나타난 표시화면 전환조건은 "시프트 상태가 전진용 기어단"이고, 또 "교차위치(cp)가 전방 1.5m 이내"라고 규정하고 있다. 또한, "No. 2"에 나타난 표시화면 전환조건은 "시프트 상태가 전진용 기어단"과 "차속이 3㎞/h 이하" 및 "교차각도(θ)가 4도 이내"와 "조향각이 90도 이상"으로 이루어진다고 규정하고 있다. 그리고, "No. 3"에 나타난 표시화면 전환조건은 "시프트 상태가 후진용 기어단"이고, 또 "교차각도(θ)가 4도 이내"라고 규정하고 있다. 이와 같은 표시화면 전환조건은 미리 전환조건 저장부(23)에 저장되어 있는 구성이어도 좋으며, 필요에 따라 사용자에 의해 표시화면 전환조건을 설정하는 구성이어도 좋다. 그리고, 이와 같은 조건을 구비한 경우, 화상 전환부(21)에 의해 사이드 화상으로의 전환이 수행된다.
화상 전환부(21)는 화면 전환 판정부(22)의 판정 결과에 따라 모니터(24)의 표시를 사이드 화상으로 전환한다. 화상 전환부(21)에는, 화상 정보 취득부(12)를 통해 사이드 카메라(10)에 의해 촬상된 화상 정보와, 후방 카메라(11)에 의해 촬상된 화상 정보가 전달된다. 또한, 도시하지는 않았지만, 화상 전환부(21)에는 차량(100)이 구비하는 카 내비게이션 시스템의 경로 안내와 관계되는 화상 정보나 TV 방송의 수신 화상도 화상 정보로서 전달된다. 화상 전환부(21)는 이들 화상 정보를 표시화상으로 하여 상황에 따라 전환하여 모니터(24)에 표시한다. 더 나아가서는, 시프트 상태가 후진용 기어단인 경우에는 차량(100)이 후진할 가능성이 높으므로, 모니터(24)에 도 6a에 도시된 바와 같은 후방 카메라(11)로 촬상된 촬상정보를 표시하게 하는 것도 가능하다.
화상 전환부(21)는 표시화면 전환조건을 구비한 경우에 차량(100)의 모니터(24)에 차량(100)의 측방을 포함한 사이드 화상을 표시한다. 표시화면 전환조건을 구비하는지 여부의 판정은 화면 전환 판정부(22)에 의해 수행되고, 판정 결과는 화상 전환부(21)로 전달된다. 사이드 화상은 본 실시형태에서는 차량(100)의 측방을 포함한 화상이고, 사이드 카메라(10)에 의해 촬상된 화상 정보에 기초한 화상이다. 따라서, 화상 전환부(21)는 표시화면 전환조건을 구비한 경우에 차량(100)의 모니터(24)에 사이드 카메라(10)에 의해 촬상된 화상 정보에 기초한 화상을 표시한다. 또, 화상 전환부(21)에 의해 표시되는 사이드 화상은 모니터(24)의 전체면에 표시하는 구성으로 해도 좋으며, 모니터(24)에 원래 표시되어 있던 화상 정보와 함께, 사이드 화상을 표시하는 구성으로 해도 좋다. 즉, 모니터(24)에 원래 후방 카메라(11)로 촬상된 도 6a와 같은 차량(100) 후방의 촬상정보를 표시했을 경우, 상기 촬상정보와 함께, 도 6b에 도시된 바와 같이 사이드 카메라(10)로 촬상된 사이드 화상을 표시하는 것이 가능하다.
또, 화상 전환부(21)는 표시화면 전환조건이 구비한 것을 나타내는 판정 결과가 전달되지 않는 경우에는, 이미 표시되어 있는 표시화상(예를 들면 카 내비게이션 시스템의 경로 안내와 관계되는 화상 정보나 TV 방송 수신 화상의 화상 정보 등)을 계속해서 모니터(24)에 표시하도록 결정한다. 이렇게 하여 본 주변감시장치(1)는 차량(100)의 주행 상태에 따라 적절하게 차량(100)의 주위를 표시하는 것이 가능해진다.
이와 같이, 화상 전환부(21)는 표시화면 전환조건을 구비한 경우에 모니터(24)에 차량(100)의 측방을 포함한 사이드 화상을 표시한다. 화상 전환부(21)는 모니터(24)에 사이드 화상이 표시되어 있는 상태를 해제하고, 다른 화상 정보(예를 들면, 카 내비게이션 시스템의 경로 안내와 관계되는 화상 정보나 TV 방송의 수신 화상과 관계되는 화상 정보 등)을 모니터(24)에 표시하는 전환도 수행한다. 이러한 전환은 시프트 상태, 차속, 교차위치(cp), 교차각도(θ), 핸들의 조향각이 후술하는 해제조건 저장부(25)에 저장되는 해제조건을 구비하는지 여부를 판정함으로써 수행된다. 이러한 판정은 상술한 화면 전환 판정부(22)에 의해 수행된다.
해제조건 저장부(25)는 해제조건이 저장된다. 이러한 해제조건은 상술한 바와 같이 시프트 상태, 차속, 교차위치(cp), 교차각도(θ), 핸들의 조향각에 기초하여 결정된다. 구체적으로, 예를 들면 표시화면 전환조건으로서 "시프트 상태가 전진용 기어단"을 요건으로 하는 경우에는, "시프트 상태가 후진용 기어단"으로 전환된 것을 나타내는 시프트 정보가 시프트 정보 취득부(16)로부터 전달되었을 때에 사이드 화상의 표시를 해제하는 규정인 것이 바람직하다. 마찬가지로, "시프트 상태가 후진용 기어단"을 요건으로 하는 경우에는, "시프트 상태가 전진용 기어단"으로 전환된 것을 시프트 정보가 시프트 정보 취득부(16)로부터 전달되었을 때에 사이드 화상의 표시를 해제하는 규정으로 하는 것도 가능하다.
또는, "차속이 20㎞/h보다 빠른" 것을 나타내는 차속 정보가 차속 정보 취득부(17)에 의해 전달된 경우에 사이드 화상의 표시를 해제하는 구성으로 하는 것도 가능하다. 이와 같은 표시화상을 사이드 화상으로부터 다른 화상 정보로 전환하는 해제조건을 해제조건 저장부(25)에 저장해 두고, 화면 전환 판정부(22)가 해제조건 저장부(25)의 해제조건을 참조하는 구성으로 하는 것이 바람직하다.
화면 전환 판정부(22)에 의해 차량(100)의 시프트 상태, 차량 속도, 교차위치(cp), 교차각도(θ), 핸들의 조향각이 해제조건 저장부(25)에 저장되는 해제조건을 구비한다고 판정된 경우, 화면 전환 판정부(22)는 화상 전환부(21)에 대해 판정 결과를 전달한다. 화상 전환부(21)는 상기 판정 결과를 받아서 모니터(24)에 표시하고 있는 사이드 화상을 해제하고, 원래 모니터(24)에 표시했던 화상 정보만을 표시하도록 결정한다. 이렇게 하여 화상 전환부(21)는 모니터(24)의 표시를 사이드 화상으로부터 다른 화상 정보로 전환하는 것이 가능해진다.
다음으로, 본 주변감시장치(1)에 의해 수행되는 제어에 관해 플로우차트를 이용하여 설명한다. 도 7은 상기 주변감시장치(1)의 제어에 관한 플로우차트이다. 먼저, 화상 정보 취득부(12)가 화상 정보의 취득을 개시한다(스텝 #01). 이후의 처리에 있어서는, 처리가 종료될 때까지 계속해서 화상 정보의 취득이 이루어진다. 그리고, 시프트 정보 취득부(16) 및 차속 정보 취득부(17)에 의해 각각 시프트 정보 및 차속 정보가 취득된다(스텝 #02). 이들 시프트 정보 및 차속 정보는 개시조건 판정부(15)로 전달된다.
이어서, 개시조건 판정부(15)가 시프트 정보 및 차속 정보에 기초하여 개시조건을 구비하는지 여부의 판정을 수행한다. 개시조건을 구비하지 않은 경우(스텝 #03: No)에는, 스텝 #02로 되돌아가, 계속해서 시프트 정보 및 차속 정보의 취득이 수행된다(스텝 #02). 또, 이러한 개시조건은 개시조건 저장부(14)에 저장된다.
스텝 #03에 있어서, 시프트 정보 및 차속 정보가 개시조건을 구비한다고 판정된 경우(스텝 #03: Yes)에는, 화상 인식부(13)가 화상 정보 취득부(12)로부터 전달되는 화상 정보에 대해 화상 인식 처리를 개시한다(스텝 #04).
그리고, 시프트 정보 취득부(16), 차속 정보 취득부(17), 교차위치 검출부(18), 교차각도 검출부(19), 조향각 정보 취득부(20)에 의해 각각 시프트 정보, 차속 정보, 교차위치 정보, 교차각도 정보, 조향각 정보가 취득된다(스텝 #05). 이들 시프트 정보, 차속 정보, 교차위치 정보, 교차각도 정보, 조향각 정보는 화면 전환 판정부(22)로 전달된다.
이어서, 화면 전환 판정부(22)가 시프트 정보, 차속 정보, 교차위치 정보, 교차각도 정보, 조향각 정보에 기초하여 표시화면 전환조건을 구비하는지 여부의 판정을 수행한다. 표시화면 전환조건을 구비하지 않은 경우(스텝 #06: No)에는, 스텝 #05로 되돌아가, 계속해서 시프트 정보, 차속 정보, 교차위치 정보, 교차각도 정보, 조향각 정보의 취득이 수행된다(스텝 #05). 또, 이러한 표시화면 전환조건은 전환조건 저장부(23)에 저장된다.
스텝 #06에 있어서, 시프트 정보, 차속 정보, 교차위치 정보, 교차각도 정보, 조향각 정보가 표시화면 전환조건을 구비한다고 판정된 경우(스텝 #06: Yes)에는, 화상 전환부(21)가 모니터(24)에 차량(100)의 측방을 포함한 사이드 화상을 표시한다(스텝 #07).
그리고, 상기 사이드 화상을 모니터(24)에 표시하면서, 시프트 정보 취득부(16), 차속 정보 취득부(17), 교차위치 검출부(18), 교차각도 검출부(19), 조향각 정보 취득부(20)에 의해 각각 시프트 정보, 차속 정보, 교차위치 정보, 교차각도 정보, 조향각 정보가 취득된다(스텝 #08).
이어서, 화면 전환 판정부(22)가 시프트 정보, 차속 정보, 교차위치 정보, 교차각도 정보, 조향각 정보에 기초하여 해제조건을 구비하는지 여부의 판정을 수행한다. 해제조건을 구비하지 않은 경우(스텝 #09: No)에는, 스텝 #07로 되돌아가, 계속해서 모니터(24)에 사이드 화상이 표시된다(스텝 #07). 또, 이러한 해제조건은 해제조건 저장부(25)에 저장된다.
스텝 #09에 있어서, 시프트 정보, 차속 정보, 교차위치 정보, 교차각도 정보, 조향각 정보가 해제조건을 구비한다고 판정된 경우(스텝 #09: Yes)에는, 화상 전환부(22)가 모니터(24)의 표시를 차량(100)의 측방을 포함한 사이드 화상으로부터 다른 표시화상으로 전환한다(스텝 #10). 다른 화상이란, 예를 들면 차량(100)이 구비하는 카 내비게이션 시스템의 경로 안내와 관계되는 화상 정보나 TV 방송의 수신 화상과 관계되는 화상 정보 등인 것이 바람직하다. 그리고, 스텝 #02로 되돌아가 처리가 계속된다. 이와 같이 본 주변감시장치(1)는 차량(100)의 주행 상태에 따라 적절하게 차량(100)의 주위를 표시하는 것이 가능해진다.
[그 밖의 실시형태]
상기 실시형태에서는, 사이드 화상이 사이드 카메라(10)에 의해 촬상된 화상 정보에 기초한 화상이라고 설명했다. 하지만, 본 발명의 적용 범위는 여기에 한정되지 않는다. 예를 들면, 화상 인식부(13)가 수행하는 화상 인식 처리가 후방 카메라(11)에 의해 촬상된 화상 정보를 이용하여 수행되는 동시에, 화상 전환부(21)에 의해 전환되는 사이드 화상이 사이드 카메라(10)에 의해 촬상된 화상 정보에 기초한 화상으로 하는 것도 가능하다. 이와 같은 구성으로 하면, 후방 카메라(11)에 의해 촬상된 화상 정보에 기초하여 교차위치(cp)나 교차각도(θ)의 검출을 수행하는 것도 가능하다.
상기 실시형태에서는, 사이드 화상으로의 전환이, 차량(100) 전진시, 교차위치(cp)가 차량(100)으로부터 소정 거리 이내인 경우에 수행된다고 설명했다. 하지만, 본 발명의 적용 범위는 여기에 한정되지 않는다. 차량(100) 후진시, 교차위치(cp)가 차량(100)으로부터 소정 거리 이내인 경우에 사이드 화상으로의 전환을 수행하는 구성으로 하는 것도 당연히 가능하다.
상기 실시형태에서는, 화상 전환부(21)에 의해 전환되는 사이드 화상은 사이드 카메라(10)에 의해 촬상된 화상 정보라고 설명했다. 하지만, 본 발명의 적용 범위는 여기에 한정되지 않는다. 예를 들면, 사이드 화상을, 후방 카메라(11)에 의해 촬상된 차량(100)의 측방을 포함한 화상 정보로 하는 것도 가능하다. 또한, 사이드 화상으로서, 사이드 카메라(10)나 후방 카메라(11)에 의해 촬상된 화상 정보에 기초하여 생성된, 적어도 차량(100)의 주위가 포함되는 화상 정보로 하는 것도 가능하다.
상기 실시형태에서는, 개시조건 저장부(14)에 저장되는 개시조건, 전환조건 저장부(23)에 저장되는 표시화면 전환조건, 및 해제조건 저장부(25)에 저장되는 해제조건에 관해 구체적 수치를 기재하여 설명했다. 하지만, 본 발명의 적용 범위는 여기에 한정되지 않는다. 상술한 구체적 수치는 단순한 일례이며, 차량(100)의 크기나 높이나 사용자의 희망 등에 따라 각 조건을 다른 수치로 규정하는 것은 당연히 가능하다.
상기 실시형태에서는, 화상 전환부(21)가, 모니터(24)에 표시되는 표시화상을, 원래 모니터(24)에 표시되어 있던 화상 정보와 함께, 차량(100)의 측방을 포함한 사이드 화상을 표시한다고 설명했다. 하지만, 본 발명의 적용 범위는 여기에 한정되지 않는다. 예를 들면, 화상 전환부(21)는 모니터(24)에 원래 표시되어 있던 화상 정보 대신에, 차량(100)의 측방을 포함한 사이드 화상을 표시하도록 해도 좋다.
[산업상의 이용가능성]
본 발명은 차량의 주행 상태에 따라 적절하게 차량의 주위를 표시하는 것이 가능해진다. 따라서, 차고 진입이나 종렬 주차를 수행하는 경우나, 도로의 끝에 차량을 대는 경우 등의 안전 확인을 위해 제공하는데 이용하는 것이 가능하다. 또한, 차량 좌회전시 사고 방지를 위해 제공하는데 이용하는 것도 가능하다.

Claims (6)

  1. 차량의 주변을 표시하는 모니터를 구비한 주변감시장치로서,
    상기 차량에 탑재된 촬상장치에 의해 촬상한 화상 정보를 취득하는 화상 정보 취득부;
    상기 차량의 측방에 존재하는 직선 형상을 대상 피처로 하고, 상기 화상 정보에 포함되는 상기 대상 피처의 화상 인식 처리를 수행하는 화상 인식부;
    상기 차량이 상기 대상 피처에 접근하는 경우, 상기 모니터에 표시하는 표시화상을 상기 차량의 측방과 관계되는 사이드 화상으로 전환할지 여부를 판정하는 화면 전환 판정부; 및
    상기 화면 전환 판정부의 판정 결과에 따라 상기 모니터의 표시를 상기 사이드 화상으로 전환하는 화상 전환부를 구비하는
    주변감시장치.
  2. 제1항에 있어서,
    상기 촬상장치로서 상기 차량의 측방을 촬상하는 사이드 카메라를 구비하며,
    상기 화상 인식 처리가 상기 사이드 카메라에 의해 촬상된 화상 정보를 이용하여 수행되는 동시에,
    상기 사이드 화상이 상기 사이드 카메라에 의해 촬상된 화상 정보에 기초한 화상인
    주변감시장치.
  3. 제1항에 있어서,
    상기 촬상장치로서 상기 차량의 측방을 촬상하는 사이드 카메라와 상기 차량의 후방을 촬상하는 후방 카메라를 구비하며,
    상기 화상 인식 처리가 상기 후방 카메라에 의해 촬상된 화상 정보를 이용하여 수행되는 동시에,
    상기 사이드 화상이 상기 사이드 카메라에 의해 촬상된 화상 정보에 기초한 화상인
    주변감시장치.
  4. 삭제
  5. 삭제
  6. 삭제
KR1020107020817A 2008-05-14 2009-04-23 주변감시장치 KR101229159B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008127257A JP4716139B2 (ja) 2008-05-14 2008-05-14 周辺監視装置
JPJP-P-2008-127257 2008-05-14
PCT/JP2009/058063 WO2009139281A1 (ja) 2008-05-14 2009-04-23 周辺監視装置

Publications (2)

Publication Number Publication Date
KR20100119573A KR20100119573A (ko) 2010-11-09
KR101229159B1 true KR101229159B1 (ko) 2013-02-01

Family

ID=41318653

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107020817A KR101229159B1 (ko) 2008-05-14 2009-04-23 주변감시장치

Country Status (6)

Country Link
US (1) US20110018991A1 (ko)
EP (1) EP2257066B1 (ko)
JP (1) JP4716139B2 (ko)
KR (1) KR101229159B1 (ko)
CN (1) CN101978695B (ko)
WO (1) WO2009139281A1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010034139A1 (de) 2010-08-12 2012-02-16 Valeo Schalter Und Sensoren Gmbh Verfahren zur Unterstützung eines Parkvorgangs eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
JP5187369B2 (ja) * 2010-09-24 2013-04-24 株式会社デンソー 車両用の後退駐車支援装置および後退駐車支援装置用のプログラム
CN103609100B (zh) * 2011-06-09 2017-09-29 爱信精机株式会社 图像生成装置
FR2977550B1 (fr) * 2011-07-08 2013-08-09 Peugeot Citroen Automobiles Sa Dispositif d'aide pour mettre a la disposition d'un conducteur, de facon anticipee, une image de synthese representative d'une zone choisie entourant son vehicule
KR101340738B1 (ko) * 2011-11-08 2013-12-12 엘지이노텍 주식회사 주차 보조 시스템
JP5888164B2 (ja) 2012-07-20 2016-03-16 トヨタ自動車株式会社 車両周辺監視装置、車両周辺監視システム
JP5935655B2 (ja) * 2012-10-24 2016-06-15 株式会社デンソー 情報表示装置
KR101896715B1 (ko) * 2012-10-31 2018-09-07 현대자동차주식회사 주변차량 위치 추적 장치 및 방법
JP6411373B2 (ja) * 2013-12-17 2018-10-24 シャープ株式会社 認識データ伝送装置、認識データ記録装置及び認識データ記録方法
FR3017850B1 (fr) * 2014-02-21 2016-02-26 Peugeot Citroen Automobiles Sa Dispositif d'aide au stationnement a detection d'entree ou de sortie de zone de stationnement, pour un conducteur de vehicule
JP6252316B2 (ja) * 2014-03-31 2017-12-27 株式会社デンソー 車両用表示制御装置
KR101579100B1 (ko) * 2014-06-10 2015-12-22 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
JP6206395B2 (ja) * 2014-12-26 2017-10-04 トヨタ自動車株式会社 電子ミラー装置
BR112019011381A2 (pt) * 2016-12-06 2019-10-15 Nissan North America Inc interfaces de sobreposição de trajetória de solução para veículos autônomos
JP6639379B2 (ja) 2016-12-21 2020-02-05 トヨタ自動車株式会社 車両周辺監視装置
CN106915304A (zh) * 2017-02-27 2017-07-04 北京新能源汽车股份有限公司 一种车辆的控制方法、控制装置、车辆控制系统及汽车
JP6658642B2 (ja) 2017-03-24 2020-03-04 トヨタ自動車株式会社 車両用視認装置
JP6909388B2 (ja) * 2017-07-27 2021-07-28 株式会社Ｊｖｃケンウッド 表示制御装置、表示システム、表示制御方法、及び、プログラム
JP2019029757A (ja) * 2017-07-27 2019-02-21 株式会社Ｊｖｃケンウッド 表示制御装置、表示システム、表示制御方法、及び、プログラム
JP7000787B2 (ja) * 2017-10-12 2022-01-19 株式会社アイシン 周辺監視装置
CN108162860A (zh) * 2018-01-17 2018-06-15 中国铁道科学研究院 一种车辆导引辅助管理系统及车辆导引方法
US10900857B2 (en) * 2018-06-06 2021-01-26 Ford Global Technologies, Llc Methods and systems for fluid leak determination

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002225629A (ja) 2001-02-05 2002-08-14 Sony Corp 車両用監視装置
JP2003137051A (ja) 2001-10-31 2003-05-14 Toyota Motor Corp 車両用周辺監視装置
JP2004102827A (ja) 2002-09-11 2004-04-02 Nissan Motor Co Ltd 車両周辺監視装置
JP2007233430A (ja) 2006-02-27 2007-09-13 Aisin Aw Co Ltd 運転支援方法及び運転支援装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5289321A (en) * 1993-02-12 1994-02-22 Secor James O Consolidated rear view camera and display system for motor vehicle
US5680123A (en) * 1996-08-06 1997-10-21 Lee; Gul Nam Vehicle monitoring system
JP3952604B2 (ja) * 1998-08-07 2007-08-01 マツダ株式会社 車両の位置検出装置
JP4114292B2 (ja) * 1998-12-03 2008-07-09 アイシン・エィ・ダブリュ株式会社 運転支援装置
JP4918200B2 (ja) * 2001-04-24 2012-04-18 パナソニック株式会社 駐車運転支援装置
JP4061219B2 (ja) * 2002-11-01 2008-03-12 矢崎総業株式会社 駐車支援装置
JP4380550B2 (ja) * 2004-03-31 2009-12-09 株式会社デンソー 車載用撮影装置
DE102004019337A1 (de) * 2004-04-21 2005-11-17 Siemens Ag Assistenzsystem für Kraftfahrzeuge
JP2007223338A (ja) 2004-07-12 2007-09-06 Sharp Corp 表示システム、移動体、表示方法、表示プログラムおよびその記録媒体
JP2006180446A (ja) * 2004-11-26 2006-07-06 Nissan Motor Co Ltd 映像撮像装置及び映像撮像方法
JP2008306402A (ja) * 2007-06-06 2008-12-18 Auto Network Gijutsu Kenkyusho:Kk 車載撮像表示装置
JP2009118245A (ja) * 2007-11-07 2009-05-28 Autonetworks Technologies Ltd 車載撮像表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002225629A (ja) 2001-02-05 2002-08-14 Sony Corp 車両用監視装置
JP2003137051A (ja) 2001-10-31 2003-05-14 Toyota Motor Corp 車両用周辺監視装置
JP2004102827A (ja) 2002-09-11 2004-04-02 Nissan Motor Co Ltd 車両周辺監視装置
JP2007233430A (ja) 2006-02-27 2007-09-13 Aisin Aw Co Ltd 運転支援方法及び運転支援装置

Also Published As

Publication number Publication date
EP2257066A4 (en) 2011-04-27
CN101978695A (zh) 2011-02-16
CN101978695B (zh) 2013-03-27
EP2257066B1 (en) 2012-12-12
US20110018991A1 (en) 2011-01-27
WO2009139281A1 (ja) 2009-11-19
JP2009278349A (ja) 2009-11-26
KR20100119573A (ko) 2010-11-09
JP4716139B2 (ja) 2011-07-06
EP2257066A1 (en) 2010-12-01

Similar Documents

Publication Publication Date Title
KR101229159B1 (ko) 주변감시장치
CN109455222B (zh) 驻车辅助装置
CN108140319B (zh) 停车辅助方法及停车辅助装置
JP5846317B2 (ja) 車両用加速抑制装置
JP5182545B2 (ja) 駐車支援装置
JP6047083B2 (ja) 駐車支援システム
CN112124097A (zh) 驻车辅助系统
JP2008250503A (ja) 運転支援装置
JP2005112267A (ja) 車両用後退支援装置および車両用後退支援方法
JP4590962B2 (ja) 車両用周辺監視装置
JP2018531175A6 (ja) 自動車両を駐車するための駐車エリアを特定するための方法、運転者支援システム、及び自動車両
JP2018531175A (ja) 自動車両を駐車するための駐車エリアを特定するための方法、運転者支援システム、及び自動車両
JP2007118876A (ja) 車両運転支援装置
JP2013116696A (ja) 駐車支援装置
JP5617396B2 (ja) 運転支援装置
JP4986070B2 (ja) 車両用周囲監視装置
JP2003252151A (ja) 駐車支援システム
JP6932631B2 (ja) 画像表示装置及び運転支援システム
JP2014162451A (ja) 駐車支援装置
JP6044429B2 (ja) 駐車支援装置、及び駐車支援方法
JP4096251B2 (ja) 車両の周辺監視装置
JP5236328B2 (ja) 車両運転支援装置
KR101115076B1 (ko) 주행상황에 따른 충돌 방지 시스템 및 그 제어 방법
JP6952495B2 (ja) 機械式駐車システム
JP2005205983A (ja) 自車周辺視認装置

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151223

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180103

Year of fee payment: 6