KR20120023139A - 화상 생성 장치 및 화상 표시 시스템 - Google Patents

화상 생성 장치 및 화상 표시 시스템 Download PDF

Info

Publication number
KR20120023139A
KR20120023139A KR1020117031230A KR20117031230A KR20120023139A KR 20120023139 A KR20120023139 A KR 20120023139A KR 1020117031230 A KR1020117031230 A KR 1020117031230A KR 20117031230 A KR20117031230 A KR 20117031230A KR 20120023139 A KR20120023139 A KR 20120023139A
Authority
KR
South Korea
Prior art keywords
image
vehicle
display
mode
displayed
Prior art date
Application number
KR1020117031230A
Other languages
English (en)
Other versions
KR101342033B1 (ko
Inventor
유키스케 오자키
야스히로 오노
Original Assignee
후지쓰 텐 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지쓰 텐 가부시키가이샤 filed Critical 후지쓰 텐 가부시키가이샤
Publication of KR20120023139A publication Critical patent/KR20120023139A/ko
Application granted granted Critical
Publication of KR101342033B1 publication Critical patent/KR101342033B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)

Abstract

본 발명은, 차량의 주행 속도가 소정의 임계값보다 낮을 경우에 주변 화상을 표시시킬 때에, 표시 모드의 전환 없이 차량 주변의 필요한 영역의 상황을 유저에게 제공한다.
본 발명의 화상 표시 시스템에서는, 차량(9)의 주행 속도가 소정의 임계값보다 낮아져서 프론트 모드 M1로 이행하면, 프론트 모드 M1의 개시 시점에서는 차량(9)의 전방 영역 및 측방 영역의 쌍방을 동시에 표시 가능한 전측방 모드 M11로 된다. 전측방 모드 M11에서 보여지는 화면은, 교차점으로의 진입, 다른 차량과의 근접 통과, 길가 이동 등의 다양한 상황에 대응 가능하다. 따라서, 유저는 표시 모드를 전환하지 않고, 차량(9)의 주변의 필요한 영역의 상황을 확인할 수 있다.

Description

화상 생성 장치 및 화상 표시 시스템{IMAGE GENERATION DEVICE AND IMAGE DISPLAY SYSTEM}
본 발명은, 차량에 탑재된 표시 장치에 표시시키는 화상을 생성하는 기술에 관한 것이다.
관련 기술의 화상 생성 장치는, 자동차 등의 차량에 탑재되어, 차량 탑재 카메라를 이용해서 차량의 주변의 화상을 생성한다. 화상 생성 장치에서 생성된 화상은 차 실내의 디스플레이에 표시된다. 이에 따라, 차량 주변의 모양이 거의 리얼 타임으로 드라이버(driver)에게 제공된다.
예를 들면, 운전석의 반대측이 되는 프론트 휀다의 외측 영역은 운전석으로부터 사각(死角)이 되기 쉽다. 이 때문에, 차량 탑재 카메라의 촬영에 의해 프론트 휀다의 외측 영역을 나타내는 화상을 생성하고, 그 화상을 차 실내의 디스플레이에 표시시킨다. 이에 따라, 차량을 길가 또는 다른 환경을 향하여 이동하는 경우 등에 있어서, 운전석의 반대측의 차체와 장해물 사이의 클리어런스를 드라이버는 용이하게 확인할 수 있게 된다.
또한, 특허문헌 1은, 복수의 차량 탑재 카메라로 차량의 주변을 촬영해서 얻어지는 복수의 촬영 화상을 이용하여, 차량의 바로 위나 후방 등의 임의의 가상 시점으로부터 본 차량 주변의 모양을 나타내는 합성 화상을 생성해서 드라이버에게 제공하는 장치를 개시하고 있다.
일본국 특허 제3300334호 공보
교차점으로의 진입, 다른 차량과의 근접 통과, 길가를 향한 이동 등, 차량 주변의 확인이 특히 필요한 운전 조작을 행할 경우에 있어서는, 드라이버는 차량의 주행 속도를 저하시키는 경우가 많다. 차량의 주행 속도가 소정의 임계값보다 저하했을 경우, 드라이버는 차량 주변의 확인이 필요하다. 따라서, 차량의 주변을 나타내는 주변 화상을 차 실내의 디스플레이에 자동적으로 표시시키는 것이 고려된다.
그러나, 드라이버가 차량의 주행 속도를 저하시켰을 때의 상황에 따라, 드라이버가 확인을 특히 필요로 하는 차량 주변의 영역은 다르다. 예를 들면, 교차점에 진입할 때에는, 드라이버는 차량의 전방 영역의 확인이 특히 필요해진다. 한편, 다른 차량과의 근접 통과나 길가를 향한 이동 등을 행할 때에는, 드라이버는 차량의 측방 영역의 확인이 특히 필요해진다.
이 때문에, 차량의 주행 속도가 소정의 임계값보다 저하했을 때에, 전방 영역만을 나타내는 표시 모드, 또는 측방 영역만을 나타내는 표시 모드로 일률적으로 전환한 경우에는, 드라이버가 확인을 소망하는 영역과는 다른 영역이 표시될 수도 있다. 예를 들면, 드라이버가 교차점으로의 진입을 의도하고 있는 상황에서는, 차량의 전방 영역의 확인이 필요하지만, 차량의 측방 영역을 표시하는 표시 모드로 자동적으로 전환해버리는 경우가 생긴다. 이러한 경우에서는, 드라이버는 전방 영역을 표시하는 표시 모드로 전환하지 않으면 안된다. 차량의 주변의 확인이 특히 필요한 상황에서, 이러한 표시 모드를 전환하는 조작을 행하는 것은 번잡해서, 편리성이 손상될 가능성이 있다.
본 발명은, 상기 과제를 감안하여 이루어진 것으로서, 차량의 주행 속도가 소정의 임계값보다 낮을 경우에 주변 화상을 표시시킬 때에, 표시 모드의 전환 없이 차량 주변의 필요한 영역의 상황을 유저(user)에게 제공할 수 있는 기술을 제공하는 것을 목적으로 한다.
본 발명의 목적은, 이하의 구성에 의해 달성된다.
(1) 차량에 탑재된 표시 장치에 표시되는 화상을 생성하는 화상 생성 장치로서, 상기 차량의 주행 속도를 취득하는 취득부와, 상기 주행 속도가 제1 임계값보다 낮을 경우에, 상기 차량의 주변을 나타내는 화상을 상기 표시 장치에 표시시키는 표시 제어부와, 상기 화상을 상기 표시 장치에 표시시키는 표시 모드를, 서로 다른 복수의 표시 모드 중에서, 유저 조작에 응답해서 선택된 하나의 표시 모드로 전환하는 모드 전환부를 구비하고, 상기 모드 전환부는, 상기 주행 속도가 상기 제1 임계값보다 낮아지고, 또한 상기 표시 제어부가 상기 화상을 상기 표시 장치에 표시시키기 시작하는 시점에 있어서, 상기 표시 모드를, 서로 병치된 상기 차량의 전방 영역을 나타내는 제1 화상과 상기 차량의 측방 영역을 나타내는 제2 화상을 포함하는 화상을 상기 표시 장치에 표시시키는 특정 표시 모드로 전환한다.
(2) 상기 (1)에 기재된 화상 생성 장치에 있어서, 복수의 카메라로 촬영된 상기 차량 주변의 복수의 화상에 의거하여, 가상 시점으로부터 본 상기 차량 및 상기 차량 주변을 나타내는 합성 화상을 생성하는 생성부를 더 구비하고, 상기 제2 화상은, 상기 생성부에 의해 생성된 합성 화상이다.
(3) 상기 (2)에 기재된 화상 생성 장치에 있어서, 상기 차량의 드라이버의 방향 지시를 입력하는 입력부를 더 구비하고, 상기 생성부는, 상기 입력부에 의해 상기 방향 지시가 입력되어 있을 때에는, 상기 방향 지시에 의해 지시되는 상기 차량의 하나의 측방 영역이 상기 차량의 다른 측방 영역보다도 큰 사이즈로 표시되는 합성 화상을 상기 제2 화상으로서 생성한다.
(4) 상기 (3)에 기재된 화상 생성 장치에 있어서, 상기 생성부는, 상기 입력부에 의해 상기 방향 지시가 입력되어 있을 때에는, 상기 주행 속도가 상기 제1 임계값보다 낮아지고, 또한 상기 표시 제어부가 상기 화상을 상기 표시 장치에 표시시키기 시작하는 시점으로부터, 상기 방향 지시에 의해 지시되는 상기 차량의 상기 하나의 측방 영역이 상기 차량의 상기 다른 측방 영역보다도 큰 사이즈로 표시되는 합성 화상을 상기 제2 화상으로서 생성한다.
(5) 상기 (2) 내지 (4) 중 어느 하나에 기재된 화상 생성 장치에 있어서, 상기 생성부는, 상기 화상 생성 장치의 기동 중에는 항상 상기 합성 화상을 생성한다.
(6) 상기 (2) 내지 (4) 중 어느 하나에 기재된 화상 생성 장치에 있어서, 상기 생성부는, 상기 합성 화상을 상기 표시 장치에 표시시키는 경우에만, 상기 합성 화상을 생성한다.
(7) 상기 (2) 내지 (4) 중 어느 하나에 기재된 화상 생성 장치에 있어서, 상기 생성부는, 상기 주행 속도가 상기 제1 임계값보다 높은 제2 임계값보다도 낮아졌을 경우에 상기 합성 화상을 생성한다.
(8) 상기 (1) 내지 (7) 중 어느 하나에 기재된 화상 생성 장치에 있어서, 상기 특정 표시 모드 이외의 상기 표시 모드들은, 상기 차량의 상기 전방 영역 및 상기 차량의 상기 측방 영역 중 어느 한쪽만을 나타내는 화상을 상기 표시 장치에 표시시키는 표시 모드이다.
(9) 차량에 탑재되는 화상 표시 시스템으로서, 상기 (1) 내지 (8) 중 어느 하나에 기재된 화상 생성 장치와, 상기 화상 생성 장치에서 생성된 화상을 표시하는 표시 장치를 구비한다.
상기 (1) 내지 (9)의 구성에 의하면, 주행 속도가 제1 임계값보다 낮아져서 주변 화상을 표시 장치에 표시하는 동작을 시작한 시점에 있어서, 차량의 전방 영역 및 측방 영역의 쌍방을 동시에 표시 가능한 범용성이 높은 특정 표시 모드가 표시된다. 따라서, 표시 모드의 전환 없이 필요한 영역의 상황을 유저에게 제공할 수 있다.
상기 (2)의 구성에 의하면, 제2 화상을 생성부에 의해 생성된 합성 화상으로 함으로써, 임의의 가상 시점으로부터 본 차량의 주변의 화상을 제공할 수 있어, 보다 범용성이 높은 정보를 제공할 수 있다.
상기 (3)의 구성에 의하면, 차량이 이동해서 차량과 접촉할 물체가 존재할 가능성이 있는, 드라이버가 의도하는 방향의 측방 영역이 크게 표시된다. 이 때문에, 차량과 접촉할 가능성이 있는 물체를 용이하게 발견할 수 있어, 접촉 사고를 유효하게 방지할 수 있다.
상기 (4)의 구성에 의하면, 주변 화상을 표시하는 동작을 개시한 시점으로부터 드라이버가 의도하는 방향의 측방 영역이 크게 표시된다. 이 때문에, 차량과 접촉할 가능성이 있는 물체를 신속하게 발견할 수 있다.
상기 (5)의 구성에 의하면, 화상 생성 장치의 기동 중에는 항상 합성 화상을 생성하기 때문에, 주행 속도가 제1 임계값보다 낮아지면 바로 합성 화상을 표시할 수 있다.
상기 (6)의 구성에 의하면, 합성 화상을 표시 장치에 표시시키는 경우에만 합성 화상을 생성하기 때문에, 소비 전력을 저감할 수 있다.
상기 (7)의 구성에 의하면, 주행 속도가 제2 임계값보다도 낮아진 시점에서 합성 화상의 생성을 개시함으로써, 소비 전력을 저감하면서, 주행 속도가 제1 임계값보다 낮아지면 신속하게 합성 화상을 표시할 수 있다.
상기 (8)의 구성에 의하면, 범용성이 높은 특정 표시 모드 이외에, 각종의 운전 상황에 적합한 표시 모드를 제공할 수 있다.
도 1은 화상 표시 시스템의 구성을 나타내는 블럭도.
도 2는 차량 탑재 카메라가 차량에 배치되는 위치를 나타내는 도면.
도 3은 합성 화상을 생성하는 방법을 설명하기 위한 도면.
도 4는 화상 표시 시스템의 동작 모드의 천이를 나타내는 도면.
도 5는 프론트 모드에 있어서의 표시 모드의 천이를 나타내는 도면.
도 6은 전측방 모드의 화면의 일례를 나타내는 도면.
도 7은 전측방 모드에서 보여지는 시야 범위를 설명하는 도면.
도 8은 근접 통과 모드에서 보여지는 시야 범위를 설명하는 도면.
도 9는 사이드 카메라 모드에서 보여지는 시야 범위를 설명하는 도면.
도 10은 제1 실시예의 화상 표시 시스템의 기본 동작의 흐름을 나타내는 도면.
도 11은 전측방 모드에 있어서의 화면의 상태 천이를 나타내는 도면.
도 12는 가상 시점의 위치의 천이를 나타내는 도면.
도 13은 제2 실시예의 화상 표시 시스템의 기본 동작의 흐름을 나타내는 도면.
도 14는 제3 실시예의 화상 표시 시스템의 기본 동작의 흐름을 나타내는 도면.
이하, 첨부 도면을 참조하면서 본 발명의 실시예에 관하여 설명한다.
<1. 제1 실시예>
<1-1. 구성>
도 1은 제1 실시예의 화상 표시 시스템(100)의 구성을 나타내는 블럭도이다. 이 화상 표시 시스템(100)은, 차량(본 실시예에서는, 자동차)에 탑재되어, 차량의 주변을 촬영해서 주변 화상을 생성하고, 이 화상을 차 실내에 표시하는 기능을 갖고 있다. 화상 표시 시스템(100)을 이용하는 유저(대표적으로는 드라이버)는, 이 화상 표시 시스템(100)을 이용함으로써 당해 차량의 주변을 용이하게 파악할 수 있다.
도 1에 나타내는 바와 같이, 화상 표시 시스템(100)은, 차량의 주변을 촬영하는 촬영부(5)와, 차량의 주변을 나타내는 주변 화상을 생성하는 화상 생성 장치(10)와, 차량에 승차하는 유저에 대하여 각종 정보를 제공하는 내비게이션 장치(20)를 구비하고 있다. 화상 생성 장치(10)는, 화상 생성 기능을 갖는 ECU(Electronic Control Unit)에 의해 구성되고, 차량의 소정의 위치에 배치된다.
내비게이션 장치(20)는, 유저에 대하여 내비게이션 안내를 행한다. 내비게이션 장치(20)는, 터치 패널 기능을 구비한 액정 등의 디스플레이(21)와, 유저가 조작을 행하는 조작부(22)와, 장치 전체를 제어하는 제어부(23)를 구비하고 있다. 디스플레이(21)의 화면이 유저로부터 시인 가능하도록, 내비게이션 장치(20)는 차량의 인스트루먼트 패널 등에 설치된다. 유저로부터의 각종의 지시는, 조작부(22)와 터치 패널로서의 디스플레이(21)에 의해 접수된다. 제어부(23)는, CPU, RAM 및 ROM 등을 구비한 컴퓨터에 의해 구성된다. 소정의 프로그램에 따라서 CPU가 연산 처리를 행함으로써 내비게이션 기능을 포함하는 각종의 기능이 실현된다.
내비게이션 장치(20)는, 화상 생성 장치(10)와 통신 가능하게 접속되어, 화상 생성 장치(10)와의 사이에서 각종의 제어 신호의 송수신이나, 화상 생성 장치(10)에서 생성된 주변 화상의 수신이 가능하다. 디스플레이(21)에는, 제어부(23)의 제어에 의해, 보통은 내비게이션 장치(20) 단체(單體)의 기능에 근거하는 화상이 표시되지만, 소정의 조건 하에서 화상 생성 장치(10)에서 생성된 차량의 주변의 모양을 나타내는 주변 화상이 표시된다. 이에 따라, 내비게이션 장치(20)는, 화상 생성 장치(10)에서 생성된 주변 화상을 수신해서 표시하는 표시 장치로서도 기능한다.
촬영부(5)는, 화상 생성 장치(10)에 전기적으로 접속되어 화상 생성 장치(10)로부터의 신호에 의거하여 동작한다. 촬영부(5)는, 차량 탑재 카메라인 프론트 카메라(51), 사이드 카메라(52) 및 백 카메라(53)를 구비하고 있다. 이들 차량 탑재 카메라(51, 52, 53)는, 렌즈와 촬영 소자를 구비하고 있어 전자적으로 화상을 취득한다.
도 2는 차량 탑재 카메라(51, 52, 53)가 차량(9)에 배치되는 위치를 나타내는 도면이다. 도 2에 나타내는 바와 같이, 프론트 카메라(51)는, 차량(9)의 전단에 있는 번호판 장착 위치의 근방에 설치되고, 그 광축(51a)은 차량(9)의 직진 방향을 향하고 있다. 또한, 사이드 카메라(52)는, 좌우의 도어 미러(93)에 각각 설치되어 있고, 그 광축(52a)은 직진 방향에 대하여 직교하도록 차량(9)의 외부 방향을 향하고 있다. 백 카메라(53)는, 차량(9)의 후단에 있는 번호판 장착 위치의 근방에 설치되고, 그 광축(53a)은 차량(9)의 직진 방향의 반대 방향을 향하고 있다. 한편, 프론트 카메라(51)나 백 카메라(53)의 장착 위치는, 좌우 대략 중앙인 것이 바람직하지만, 좌우 중앙으로부터 좌우측 방향으로 다소 벗어난 위치이더라도 된다.
이들 차량 탑재 카메라(51, 52, 53)의 렌즈로서는 피쉬아이(fish-eye) 렌즈 등이 채용되고 있고, 차량 탑재 카메라(51, 52, 53)는 180도 이상의 화각 α를 갖고 있다. 이 때문에, 4개의 차량 탑재 카메라(51, 52, 53)를 이용할 경우, 차량(9)의 전제 주위의 촬영이 가능하다.
도 1로 되돌아와서, 화상 생성 장치(10)는, 장치 전체를 제어하는 제어부(1)와, 촬영부(5)에서 취득된 촬영 화상을 처리하여 표시용 주변 화상을 생성하는 화상 처리부(3)와, 내비게이션 장치(20)와의 사이에서 통신을 행하는 내비게이션 통신부(42)와, 표시 내용을 전환하는 지시를 유저로부터 접수하는 전환 스위치(43)를 구비하고 있다.
내비게이션 장치(20)의 조작부(22)나 디스플레이(21)에 의해 접수된 유저로부터의 각종의 지시는, 제어 신호로서 내비게이션 통신부(42)에 의해 접수되어 제어부(1)에 입력된다. 또한, 전환 스위치(43)로부터도 유저의 지시를 나타내는 신호가 제어부(1)에 입력된다. 이에 따라, 화상 생성 장치(10)는, 내비게이션 장치(20)에 대한 유저의 조작, 및 전환 스위치(43)에 대한 유저의 조작의 쌍방에 응답한 동작이 가능하다.
화상 처리부(3)는, 각종의 화상 처리가 가능한 하드웨어 회로에 의해 구성되어 있고, 촬영 화상 조정부(31) 및 합성 화상 생성부(32)를 주된 기능으로서 구비하고 있다. 촬영 화상 조정부(31)는, 촬영부(5)에서 취득된 촬영 화상에 대해서 조정을 행한다. 촬영 화상 조정부(31)는, 촬영 화상의 밝기나 콘트라스트 등의 화질 조정이나 왜곡 보정 등을 행한다. 합성 화상 생성부(32)는, 촬영부(5)의 복수의 차량 탑재 카메라(51, 52, 53)에서 취득된 복수의 촬영 화상에 의거하여, 차량(9) 주변의 임의의 가상 시점으로부터 본 합성 화상을 생성한다. 합성 화상 생성부(32)가 가상 시점으로부터 본 합성 화상을 생성하는 방법에 관해서는 후술한다. 촬영 화상이나 합성 화상은, 표시용 화상으로 조정된 후, 내비게이션 통신부(42)에 의해 내비게이션 장치(20)에 출력된다. 이에 따라, 차량의 주변을 나타내는 주변 화상이 내비게이션 장치(20)의 디스플레이(21)에 표시된다.
제어부(1)는, CPU, RAM 및 ROM 등을 구비한 컴퓨터에 의해 구성되고, 소정의 프로그램에 따라서 CPU가 연산 처리를 행함으로써 각종의 제어 기능이 실현된다. 이렇게 하여 실현되는 제어부(1)의 기능에는, 화상 처리부(3)에 의해 실행되는 화상 처리를 제어하는 기능 등이 포함되어 있다. 합성 화상 생성부(32)가 생성하는 합성 화상의 생성에 필요한 각종 파라미터는, 이 제어부(1)의 기능에 의해 지시된다.
또한, 화상 생성 장치(10)는, 비휘발성 메모리(40), 카드 판독부(44) 및 신호 입력부(41)를 더 구비하고 있고, 이들은 제어부(1)에 접속되어 있다.
비휘발성 메모리(40)는, 전원 오프 시에 있어서도 기억 내용을 유지 가능한 플래시 메모리 등으로 구성되어 있다. 비휘발성 메모리(40)에는, 합성 화상의 생성에 필요한 각종의 데이터가 미리 기억된다. 예를 들면, 차량(9)의 종별에 따른 차종별 데이터(7)가, 비휘발성 메모리(40)에 미리 기억되어 있다. 비휘발성 메모리(40)에 관한 데이터의 판독이나 기입은, 제어부(1)에 의해 제어된다.
카드 판독부(44)는, 가반성의 기록 매체인 메모리 카드(61)의 판독을 행한다. 카드 판독부(44)는, 메모리 카드(61)의 착탈이 가능한 카드 슬롯을 구비하고 있고, 그 카드 슬롯에 장착된 메모리 카드(61)에 기록된 데이터를 판독한다. 카드 판독부(44)에서 판독된 데이터는, 제어부(1)에 입력된다.
메모리 카드(61)는 각종의 데이터를 기억 가능한 플래시 메모리 등으로 구성되어 있고, 화상 생성 장치(10)는 메모리 카드(61)에 기억된 각종의 데이터를 이용할 수 있다. 예를 들면, 메모리 카드(61)에 프로그램을 기억시키고, 이것을 판독함으로써, 제어부(1)의 기능을 실현하는 프로그램(펌웨어)을 갱신하는 것이 가능하다. 또한, 메모리 카드(61)에 비휘발성 메모리(40)에 기억된 차종별 데이터(7)와는 다른 종별의 차량에 따른 차종별 데이터(7)를 기억시키고, 이것을 판독하여 비휘발성 메모리(40)에 기억시킴으로써, 화상 표시 시스템(100)을 다른 종별의 차량에 대응시키는 것도 가능하다.
또한, 신호 입력부(41)는, 차량(9)에 설치된 각종 장치로부터의 신호를 입력한다. 이 신호 입력부(41)를 통하여, 화상 표시 시스템(100)의 외부로부터의 신호가 제어부(1)에 입력된다. 구체적으로는, 시프트 센서(81), 차 속도 센서(82) 및 방향 지시기(83) 등으로부터, 각종 정보를 나타내는 신호가 제어부(1)에 입력된다. 시프트 센서(81)로부터는, 차량(9)의 변속 장치의 시프트 레버의 조작의 위치, 즉 "P(주차)", "D(전진)", "N(중립)", "R(후퇴)" 등의 시프트 포지션이 입력된다. 차 속도 센서(82)로부터는, 그 시점의 차량(9)의 주행 속도(㎞/h)가 입력된다.
또한, 방향 지시기(83)로부터는, 윙커 스위치의 조작에 근거하는 방향 지시, 즉 차량(9)의 드라이버가 의도하는 방향 지시를 나타내는 턴 신호가 입력된다. 윙커 스위치가 조작되었을 때에는 턴 신호가 발생하고, 턴 신호는 그 조작된 방향(좌측 방향 혹은 우측 방향)을 나타낸다. 윙커 스위치가 중립 위치가 되었을 때에는, 턴 신호는 오프로 된다.
<1-2. 화상 변환 처리>
다음에, 화상 처리부(3)의 합성 화상 생성부(32)가, 촬영부(5)에서 얻어진 복수의 촬영 화상에 의거하여 차량(9)의 주변을 임의의 가상 시점으로부터 본 모양을 나타내는 합성 화상을 생성하는 방법에 관하여 설명한다. 합성 화상을 생성할 때에는, 비휘발성 메모리(40)에 미리 기억된 차종별 데이터(7)가 이용된다. 도 3은 합성 화상을 생성하는 방법을 설명하기 위한 도면이다.
촬영부(5)의 프론트 카메라(51), 사이드 카메라(52) 및 백 카메라(53)에서 동시에 촬영이 행하여지면, 차량(9)의 전방, 좌측방, 우측방 및 후방을 각각 나타내는 4개의 촬영 화상 P1?P4가 취득된다. 즉, 촬영부(5)에서 취득되는 4개의 촬영 화상 P1?P4에는, 촬영 시점의 차량(9)의 전체 주위를 나타내는 정보가 포함되어 있다.
다음에, 4개의 촬영 화상 P1?P4의 각 화소가, 가상적인 삼차원 공간에 있어서의 입체 곡면 SP에 투영된다. 입체 곡면 SP는, 예를 들면 대략 반구 형상(공기 형상)을 하고 있고, 그 중심 부분(공기의 바닥 부분)이 차량(9)이 존재하는 위치로서 정해져 있다. 촬영 화상 P1?P4에 포함되는 각 화소의 위치와, 이 입체 곡면 SP의 각 화소의 위치는 미리 대응 관계가 정해져 있다. 이 때문에, 입체 곡면 SP의 각 화소의 값은, 이 대응 관계와 촬영 화상 P1?P4에 포함되는 각 화소의 값에 의거하여 결정할 수 있다.
촬영 화상 P1?P4의 각 화소의 위치와 입체 곡면 SP의 각 화소의 위치의 대응 관계는, 차량(9)에 있어서의 4개의 차량 탑재 카메라(51, 52, 53)의 배치(상호간 거리, 지상 높이, 광축, 각도 등)에 의존한다. 이 때문에, 이 대응 관계를 나타내는 테이블 데이터가, 비휘발성 메모리(40)에 기억된 차종별 데이터(7)에 포함되어 있다.
또한, 차종별 데이터(7)에 포함되는 차체의 형상이나 사이즈를 나타내는 폴리곤 데이터가 이용되고, 차량(9)의 삼차원 형상을 나타내는 폴리곤 모델인 차량 이미지가 가상적으로 구성된다. 구성된 차량 이미지는, 입체 곡면 SP가 설정되는 삼차원 공간에 있어서, 차량(9)의 위치로 정해진 대략 반구 형상의 중심 부분에 배치된다.
또한, 입체 곡면 SP가 존재하는 삼차원 공간에 대하여, 제어부(1)에 의해 가상 시점 VP가 설정된다. 가상 시점 VP는, 시점 위치와 시야 방향으로 규정되고, 이 삼차원 공간에 있어서의 차량(9)의 주변에 상당하는 임의의 시점 위치에 임의의 시야 방향을 향해서 설정된다.
설정된 가상 시점 VP에 따라, 입체 곡면 SP에 있어서의 필요한 영역이 화상으로서 컷아웃된다. 가상 시점 VP와, 입체 곡면 SP에 있어서의 필요한 영역의 관계는 미리 정해져 있고, 테이블 데이터로서 비휘발성 메모리(40) 등에 미리 기억되어 있다. 한편, 설정된 가상 시점 VP에 따라, 폴리곤으로 구성된 차량 이미지에 관해서 렌더링이 이루어지고, 그 결과로 되는 이차원의 차량 이미지가, 컷아웃된 화상에 대하여 중첩된다. 이에 따라, 차량(9) 및 그 차량(9)의 주변을 임의의 가상 시점으로부터 본 모양을 나타내는 합성 화상이 생성된다.
예를 들면, 시점 위치가 차량(9)의 위치의 대략 중앙의 직상(直上)의 위치에서, 시야 방향이 대략 직하(直下) 방향으로 한 가상 시점 VP1을 설정한 경우에는, 대략 직상으로부터 차량(9)을 내려다보도록, 차량(9)(실제로는 차량 이미지) 및 차량(9)의 주변의 모양을 나타내는 합성 화상 CP1이 생성된다. 또한, 도면 중에 나타내는 바와 같이, 시점 위치가 차량(9)의 위치의 좌후방에서, 시야 방향이 차량(9)에 있어서의 대략 전방으로 한 가상 시점 VP2를 설정한 경우에는, 차량(9)의 좌후방으로부터 그 주변 전체를 바라보도록, 차량(9)(실제로는 차량 이미지) 및 차량(9)의 주변의 모양을 나타내는 합성 화상 CP2가 생성된다.
실제로 합성 화상을 생성하는 경우에 있어서는, 입체 곡면 SP의 모든 화소의 값을 결정할 필요는 없고, 설정된 가상 시점 VP에 대응해서 필요한 영역의 화소의 값만을 촬영 화상 P1?P4에 의거하여 결정함으로써, 처리 속도를 향상시킬 수 있다.
<1-3. 동작 모드>
다음에, 화상 표시 시스템(100)의 동작 모드에 관하여 설명한다. 도 4는 화상 표시 시스템(100)의 동작 모드의 천이를 나타내는 도면이다. 화상 표시 시스템(100)에서는, 내비게이션 모드 M0과 프론트 모드 M1 간에서 동작 모드가 자동적으로 전환된다. 한편, 시프트 레버를 "R"로 조작했을 때에, 차량(9)의 후방 영역을 나타내는 주변 화상을 표시하는 백 모드를, 동작 모드로서 더 갖고 있어도 된다.
내비게이션 모드 M0은, 내비게이션 장치(20)의 기능에 의해, 내비게이션 안내용의 지도 화상 등을 디스플레이(21)에 표시하는 동작 모드이다. 내비게이션 모드 M0에서는, 촬영부(5) 및 화상 생성 장치(10)의 기능이 이용되지 않고, 내비게이션 장치(20) 단체의 기능으로 각종의 표시가 이루어진다. 이 때문에, 내비게이션 장치(20)가, 텔레비전 방송의 전파를 수신해서 표시하는 기능을 갖고 있는 경우에는, 내비게이션 안내용의 지도 화상 대신에, 텔레비전 방송 화면이 표시되는 것도 있다.
프론트 모드 M1은, 촬영부(5) 및 화상 생성 장치(10)의 기능을 이용하여, 차량(9)의 주변의 상황을 나타내는 주변 화상을 디스플레이(21)에 거의 리얼 타임으로 표시하는 동작 모드이다. 프론트 모드 M1에서는, 차량의 전진시에 필요한 차량(9)의 전방 영역이나 측방 영역을 나타내는 주변 화상이 표시된다.
내비게이션 모드 M0에 있어서, 차 속도 센서(82)로부터 입력되는 주행 속도가 소정의 임계값(본 실시예에서는 10km/h)보다 낮아졌을 때에는, 제어부(1)의 제어에 의해, 프론트 모드 M1로 자동적으로 전환된다. 프론트 모드 M1에 있어서, 주행 속도가 소정의 임계값(본 실시예에서는 10km/ｈ) 이상이 되었을 때에는, 제어부(1)의 제어에 의해, 내비게이션 모드 M0으로 자동적으로 전환된다.
차량(9)의 주행 속도가 비교적 높은 경우에 있어서는, 드라이버를 주행에 집중시키기 위해서 프론트 모드 M1이 해제되어, 내비게이션 모드 M0이 된다. 반대로, 차량(9)의 주행 속도가 비교적 낮은 경우에 있어서는, 시야가 나쁜 교차점으로의 진입, 대향차와의 근접 통과, 또는 도로의 끝에 차체를 이동시킨 길가를 향한 이동 등, 드라이버는 차량의 주변의 확인이 특히 필요한 운전 조작을 행하고 있는 장면이 많다. 이 때문에, 주행 속도가 비교적 낮은 경우에 있어서는, 차량(9)의 전방 영역이나 측방 영역을 주로 나타내는 프론트 모드 M1로 자동적으로 전환된다.
한편, 내비게이션 모드 M0으로부터 프론트 모드 M1로 전환하는 임계값과, 프론트 모드 M1로부터 내비게이션 모드 M0으로 전환하는 임계값이 다르게 되어 있어도 된다. 유저로부터의 명시적인 조작 지시가 있었을 경우에도, 내비게이션 모드 M0과 프론트 모드 M1 간에서 동작 모드가 전환되도록 되어 있어도 된다.
<1-4. 프론트 모드>
다음에, 프론트 모드 M1에 있어서의 차량(9)의 주변의 표시 형태에 대해서 상세하게 설명한다. 도 5는 프론트 모드 M1에 있어서의 표시 모드의 천이를 나타내는 도면이다. 프론트 모드 M1에서는, 전측방 모드 M11, 근접 통과 모드 M12 및 사이드 카메라 모드 M13의 3개의 표시 모드가 있다. 이들 표시 모드는 서로 표시 형태가 다르다. 이들 표시 모드는, 유저가 전환 스위치(43)을 누를 때마다, 전측방 모드 M11, 근접 통과 모드 M12, 사이드 카메라 모드 M13의 순으로 제어부(1)의 제어에 의해 전환된다. 사이드 카메라 모드 M13의 경우에 전환 스위치(43)를 누르면, 다시 전측방 모드 M11로 돌아간다.
전측방 모드 M11은, 프론트 카메라(51)에서의 촬영에 의해 얻어지는 프론트 화상 FP1과, 가상 시점 VP로부터 본 차량(9)의 측방 영역을 나타내는 합성 화상 FP2를 포함하는 화면을 디스플레이(21)에 표시하는 표시 모드이다. 즉, 전측방 모드 M11에서는, 차량(9)의 전방 영역을 나타내는 프론트 화상 FP1과, 차량(9)의 측방 영역을 나타내는 합성 화상 FP2의 2개의 화상이 동일 화면 상에 보여진다.
근접 통과 모드 M12는, 가상 시점 VP로부터 본 합성 화상 FP3을 하나만 포함하는 화면을 디스플레이(21)에 표시하는 표시 모드이다. 사이드 카메라 모드 M13은, 사이드 카메라(52)에서의 촬영에 의해 얻어지는 사이드 화상 FP4를 하나만 포함하는 화면을 디스플레이(21)에 표시하는 표시 모드이다.
<1-4-1. 전측방 모드>
도 6은 전측방 모드 M11에서 디스플레이(21)에 표시되는 화면의 일례를 나타내는 도면이다. 도면에 나타내는 바와 같이, 전측방 모드 M11에 있어서의 화면에서는, 상부에 프론트 화상 FP1이 배치되고, 하부에 합성 화상 FP2가 배치되어 있다. 프론트 화상 FP1은, 가상 시점 VP로부터의 합성 화상이 아니라, 프론트 카메라(51)에서의 촬영에 의해 얻어진 촬영 화상을 촬영 화상 조정부(31)에서 표시용으로 조정한 표시 화상이다. 합성 화상 FP2는, 차량(9)의 후방 위치로부터 전방을 향한 가상 시점 VP로부터 본 차량(9)의 측방 영역을 주로 나타내는 합성 화상이다.
도 7은 차량(9)의 주변에 있어서의 전측방 모드 M11에서 보여지는 시야 범위를 설명하는 도면이다. 도 7에서, 파선으로 나타내는 범위 FV1이, 프론트 화상 FP1에서 보여지는 시야 범위이다. 2점 쇄선으로 나타내는 범위 FV2가, 합성 화상 FP2에서 보여지는 시야 범위이다. 시야 범위 FV1과 시야 범위 FV2는, 상호의 경계가 되는 영역 A1에서 일부가 겹치고 있다.
프론트 화상 FP1에서는, 차량(9)의 전방 영역에서 좌우측 방향으로 넓어지는 수평 각도 180°의 영역이 시야 범위 FV1로서 설정되어 있다. 이 때문에, 유저는 프론트 화상 FP1의 열람에 의해, 시야가 나쁜 교차점에 진입할 경우에 사각이 되기 쉬운 차량(9)의 전방 영역에 있어서의 좌우 방향으로 연장되는 영역에 존재하는 물체를 확인할 수 있다.
합성 화상 FP2에 있어서는, 차량(9)의 전단보다도 전방으로부터 후단보다도 후방까지의 좌우 쌍방의 측방 영역과, 차량(9)의 후방 영역을 포함하는 범위가 시야 범위 FV2로서 설정되어 있다. 이 때문에, 합성 화상 FP2의 열람에 의해, 측방 영역이나 후방 영역에 존재하는 물체를 확인할 수 있다. 운전석으로부터 사각이 되기 쉬운, 도어 미러(93)에 보이지 않는 프론트 휀다(94)의 외측 부근의 영역 등도, 시야 범위 FV2에 포함되어 있다.
전측방 모드 M11에 있어서는, 이러한 시야 범위 FV1, FV2의 2개의 화상 FP 1, FP2를 화면을 전환하지 않고 동시에 열람할 수 있다(도 6도 함께 참조). 따라서, 유저는 차량(9)의 전방 영역 및 측방 영역의 쌍방의 상황을 한번에 확인할 수 있다.
합성 화상 FP2의 가상 시점 VP의 시점 위치는 차량(9)의 후방 위치에 설정된다. 시야 방향은 차량(9)의 전방 방향에 설정되어 있다. 이 때문에, 도 6에 나타내는 바와 같이, 합성 화상 FP2에서는, 차량(9)의 후방 위치로부터 전방 방향을 본 상태에서 차량(9)의 주변의 모양이 차량(9)의 이미지와 함께 보여진다. 프론트 화상 FP1의 시야의 방향과, 합성 화상 FP2의 시야의 방향과, 유저의 시야의 방향이 대략 일치하므로, 디스플레이(21)의 화면에 보여진 물체가 존재하는 방향에 관해서 유저의 혼란을 초래할 일이 없다. 유저는 머리 속으로 좌표 변환을 행하는 등의 복잡한 사고 과정을 거치는 일도 없기 때문에, 디스플레이(21)에 표시된 물체와 차량(9)의 위치 관계를 직감적으로 파악할 수 있다.
<1-4-2. 근접 통과 모드>
도 5로 되돌아와서, 근접 통과 모드 M12에 있어서의 표시 형태에 관하여 설명한다. 근접 통과 모드 M12는, 좁은 길 등에서 대향차와 엇갈려 지나갈 경우를 상정하고, 그 경우에 특화한 표시 모드이다. 합성 화상 FP3만을 포함하는 화면이 디스플레이(21)에 표시된다. 합성 화상 FP3의 가상 시점 VP의 시점 위치는 차량(9)의 후단의 직상 부근에 설정된다. 시야 방향은 차량(9)의 대략 중앙 부근을 향하고 있다. 이 때문에, 합성 화상 FP3에서는, 차량(9)을 위로부터 내려다보도록 한 상태에서, 차량(9)의 좌우 쌍방의 측방 영역이 보여진다.
도 8은 차량(9)의 주변에 있어서의 근접 통과 모드 M12에서 보여지는 시야 범위를 설명하는 도면이다. 도 8에서, 2점 쇄선으로 나타내는 범위 FV3이, 합성 화상 FP3에서 보여지는 시야 범위이다. 합성 화상 FP3에 있어서는, 차량(9)의 전단보다도 전방으로부터 후단보다도 후방까지의 좌우 쌍방의 측방 영역과, 차량(9)의 후방 영역을 포함하는 범위가 시야 범위 FV3으로서 설정되어 있다.
도 7과 도 8을 비교해서 알 수 있는 바와 같이, 합성 화상 FP3의 시야 범위 FV3과, 전측방 모드 M11의 합성 화상 FP2의 시야 범위 FV2는 서로 유사하다. 그러나, 시야 범위 FV3은 시야 범위 FV2보다도 차량(9)의 전방으로 연장되어 있다. 이 시야 범위 FV3에 포함되고 시야 범위 FV2로부터 벗어나는 영역은, 프론트 화상 FP1의 시야 범위 FV1에 포함된다. 즉, 근접 통과 모드 M12의 시야 범위 FV3은, 전측방 모드 M11의 2개의 시야 범위 FV1, FV2 중 어느 하나에 포함된다.
좁은 길 등에서 대향차와 엇갈려 지나갈 경우에는, 전방으로부터 진행해 오는 대향차와의 클리어런스와, 차체와 차량 측방의 물체 간의 클리어런스의 쌍방을 확인할 필요가 있다. 즉, 차량(9)의 전단보다도 전방으로부터 차량(9)의 후단에 걸쳐서의 좌우 쌍방의 측방 영역의 확인이 필요하다. 한편, 대향차와 엇갈려 지나갈 경우에는, 전측방 모드 M11의 프론트 화상 FP1이 나타내는 바와 같은 차량(9)의 전방 영역에서 좌우로 연장되는 영역에 관한 확인은 불필요하다. 근접 통과 모드 M12에서는, 차량(9)의 좌우 쌍방의 측방 영역만을 나타내는 합성 화상 FP3을 포함하는 화면을 디스플레이(21)에 표시시키므로, 대향차와 엇갈려 지나갈 경우에 유저가 확인해야 할 영역을 확인하기 쉽다.
<1-4-3. 사이드 카메라 모드>
도 5로 되돌아와서, 사이드 카메라 모드 M13에 있어서의 표시 형태에 관하여 설명한다. 사이드 카메라 모드 M13은, 도로의 끝에 차체를 이동하는 길가 이동을 행할 경우 등을 상정하고, 그 경우에 특화한 표시 모드이다. 사이드 화상 FP4만이 디스플레이(21)에 표시된다.
도 9는 차량(9)의 주변에 있어서의 사이드 카메라 모드 M13에서 보여지는 시야 범위를 설명하는 도면이다. 도 9에서, 2점 쇄선으로 나타내는 범위 FV4가, 사이드 화상 FP4에서 보여지는 시야 범위이다. 운전석(차량(9)에서는 우측)의 반대측(차량(9)에서는 좌측)에 있어서의 차량(9)의 프론트 휀다(94)의 외측 영역만이 시야 범위 FV4로서 설정되어 있다. 이 사이드 카메라 모드 M13의 시야 범위 FV4는, 도 7에 나타내는 전측방 모드 M11의 합성 화상 FP2의 시야 범위 FV2에 포함된다.
길가로 차체를 이동하는 경우에 있어서는, 길가로 이동하는 쪽의 차체와 차체 측방의 물체 간의 클리어런스를 확인할 필요가 있다. 보통은, 운전석의 반대측으로 길가 이동하지만, 운전석의 반대측의 측방 영역, 특히 차량(9)의 프론트 휀다(94)의 외측 영역에 관해서는 사각이 되기 쉽다. 사이드 카메라 모드 M13에서는, 운전석의 반대측의 프론트 휀다(94)의 외측 영역만을 나타내는 사이드 화상 FP4를 포함하는 화면을 디스플레이(21)에 표시시킨다. 당해 영역을 확대해서 표시하므로, 길가 이동을 행할 경우에 유저가 확인해야 할 영역을 쉽게 확인할 수 있다.
<1-5. 기본 동작>
상기와 같이, 근접 통과 모드 M12에서는, 대향차와 엇갈려 지나갈 경우에 특화한 측방 영역만을 나타내는 주변 화상을 하나만 포함하는 화면이 표시된다 사이드 카메라 모드 M13에서는, 길가 이동을 행할 경우에 특화한 측방 영역만을 나타내는 주변 화상을 하나만 포함하는 화면이 표시된다.
전측방 모드 M11에서는, 차량(9)의 전방 영역을 나타내는 화상과 측방 영역을 나타내는 화상의 쌍방을 포함하는 화면이 표시된다. 즉, 전측방 모드 M11에서는, 차량(9)의 전방 영역과 측방 영역의 쌍방을 한번에 확인할 수 있다. 근접 통과 모드 M12의 시야 범위 FV3, 및 사이드 카메라 모드 M13의 시야 범위 FV4는, 전측방 모드 M11의 2개의 시야 범위 FV1, FV2 중 어느 하나에 포함된다. 이에 따라, 전측방 모드 M11은, 교차점으로의 진입, 근접 통과 또는 길가 이동 등의 모든 장면에서 이용하는 것이 가능하다. 즉, 전측방 모드 M11은, 다른 표시 모드와 비교해서 시야 범위가 가장 넓어, 범용성이 높은 표시 모드이다.
상기와 같이, 화상 표시 시스템(100)에서는, 주행 속도가 저하했을 경우에는 프론트 모드 M1로 자동적으로 전환된다. 이 경우에 있어서, 드라이버가 의도하고 있는 상황은, 교차점으로의 진입, 근접 통과 및 길가 이동의 어느 상황도 상정된다. 어떤 상황에서도 대응 가능하도록, 화상 표시 시스템(100)에서는, 차량(9)의 주행 속도가 소정의 임계값보다 낮아져서 내비게이션 장치(20)에 주변 화상을 표시시키기 시작하는 시점에 있어서, 표시 모드를, 서로 병치된 프론트 화상 FP1과 합성 화상 FP2가 표시되는 전측방 모드 M11로 전환한다. 주행 속도가 저하해서 프론트 모드 M1로 자동적으로 전환되어, 주변 화상을 표시하는 동작이 된 직후에는, 표시 모드를 범용성이 높은 전측방 모드 M11로 한다. 즉, 주변 화상을 표시하는 동작을 개시한 시점으로부터, 전측방 모드 M11로 된다.
이하, 이러한 화상 표시 시스템(100)의 동작에 관하여 설명한다. 화상 표시 시스템(100)은, 차량(9)이 구비한 배터리로부터 ACC 스위치를 통하여 전력이 공급되고 있다. 화상 표시 시스템(100)은, ACC 스위치가 온으로 되어 전력이 공급되면 기동하고, ACC 스위치가 오프로 되면 기동 정지한다. 도 10은 이러한 화상 표시 시스템(100)의 기동 중에 있어서의 기본적인 동작의 흐름을 나타내는 도면이다.
화상 표시 시스템(100)이 기동하면, 우선 제어부(1)에 의해 각종의 초기화 처리가 이루어진다. 초기화 처리에서는, 예를 들면 비휘발성 메모리(40)로부터 차종별 데이터(7)가 판독되어 제어부(1)의 RAM에 기억되고, 이후의 처리에 사용 가능한 상태로 된다(스텝 S11).
초기화 처리가 종료하면, 제어부(1)에 의해, 차량(9)의 주행 속도가 계속적으로 감시된다(스텝 S12). 차량(9)의 주행 속도가 10km/h 이상일 경우에는(스텝 S12에서 No), 제어부(1)의 제어에 의해 동작 모드가 내비게이션 모드 M0이 되고, 디스플레이(21)에서 내비게이션 장치(20) 단체의 기능으로 각종의 표시가 이루어진다(스텝 S13).
차량(9)의 주행 속도가 10km/h 미만일 경우에는(스텝 S12에서 Yes), 제어부(1)의 제어에 의해 동작 모드가 프론트 모드 M1이 되고, 이 시점에서 합성 화상 생성부(32)에 의해 합성 화상의 생성이 개시된다(스텝 S14). 그리고 이후, 차량(9)의 주행 속도가 10km/h 이상이 될 때까지(스텝 S19에서 No의 사이), 디스플레이(21)에 차량(9)의 주변을 나타내는 주변 화상의 표시가 이루어지고(스텝 S16), 차량(9)의 주변의 상황이 거의 리얼 타임으로 유저(대표적으로는 드라이버)에게 제공된다.
차량(9)의 주행 속도가 10km/h 미만으로 저하해서 프론트 모드 M1이 된 직후는, 제어부(1)의 제어에 의해 표시 모드가 범용성이 높은 전측방 모드 M11로 설정된다(스텝 S15). 이에 따라, 프론트 모드 M1의 개시 시점으로부터 전측방 모드 M11이 되어, 차량의 전방 영역 및 측방 영역의 쌍방이 동시에 디스플레이(21)에 표시된다.
프론트 모드 M1에서 전환 스위치(43)가 눌려지면(스텝 S17에서 Yes), 전측방 모드 M11, 근접 통과 모드 M12, 사이드 카메라 모드 M13의 순으로 제어부(1)의 제어에 의해 표시 모드가 전환된다(스텝 S18). 이 때문에, 유저는, 우선 범용성이 높은 전측방 모드 M11의 화면을 이용해서 확인하고 싶은 영역을 확인한다. 유저가 의도한 상황에 특화된 화면을 열람하고 싶은 경우에는, 전환 스위치(43)를 눌러 표시 모드를 근접 통과 모드 M12나 사이드 카메라 모드 M13으로 전환한다.
프론트 모드 M1에서, 차량(9)의 주행 속도가 10km/h 이상이 된 경우에는(스텝 S19에서 Yes), 합성 화상 생성부(32)에서 합성 화상의 생성이 정지된다(스텝 S20). 그리고, 처리는 스텝 S12로 돌아가고, 다시 차량(9)의 주행 속도가 10km/h 미만이 되는지가 감시된다.
이상과 같이, 화상 표시 시스템(100)에서는, 차량(9)의 주행 속도가 소정의 임계값보다 낮아져서 프론트 모드 M1로 이행하고, 주변 화상을 표시하는 동작이 된 직후는, 차량(9)의 전방 영역 및 측방 영역의 쌍방을 동시에 표시 가능한 범용성이 높은 전측방 모드 M11로 된다. 즉, 프론트 모드 M1의 개시 시점으로부터 전측방 모드 M11로 된다. 전측방 모드 M11에서 보여지는 화면은, 교차점으로의 진입, 다른 차량과의 근접 통과, 길가 이동 등의 상정되는 다양한 상황에 대응 가능하다. 따라서, 유저는 표시 모드를 전환하지 않고, 차량(9)의 주변의 필요한 영역의 상황을 확인할 수 있다.
<1-6. 방향 지시기의 조작의 연동>
전측방 모드 M11에서는, 드라이버의 방향 지시기(83)의 윙커 스위치의 조작에 응답하여, 합성 화상 FP2의 가상 시점 VP의 시점 위치가, 제어부(1)의 제어에 의해 이동된다.
도 11은 전측방 모드 M11에 있어서의 화면의 상태 천이를 나타내는 도면이다. 도 12는 가상 시점 VP의 위치의 천이를 나타내는 도면이다. 방향 지시기(83)로부터 입력되는 턴 신호가 오프인 경우, 즉 방향 지시가 없는 경우에는, 가상 시점 VP의 시점 위치는 차량(9)의 후방에 있어서의 좌우 대략 중앙의 위치 VPC(도 12 참조)이고, 시야 방향은 차량(9)의 전방 방향에 설정된다. 이에 따라, 도 11의 상태 STC에 나타내는 바와 같이, 차량(9)의 좌우 쌍방의 측방 영역을 대략 균등하게 포함하는 합성 화상 FP2가 생성된다.
방향 지시기(83)로부터 입력되는 턴 신호가 온일 경우, 즉 방향 지시가 있는 경우에는, 가상 시점 VP에 관해서 시야 방향은 차량(9)의 전방 방향인 채로, 시점 위치가 턴 신호가 지시하는 방향의 위치로 이동된다.
구체적으로는, 턴 신호가 좌측 방향을 지시할 때에는, 가상 시점 VP의 시점 위치는 차량(9)의 좌측의 위치 VPL로 설정된다(도 12 참조). 이에 따라, 도 11의 상태 STL에 나타내는 바와 같이, 방향 지시기(83)의 턴 신호가 지시하는 좌측 방향의 측방 영역을 우측 방향의 측방 영역보다도 크게 나타내는 합성 화상 FP2가 생성되어, 디스플레이(21)에 표시된다. 이 경우도, 합성 화상 FP2에서는, 차량(9)의 후방 위치로부터 전방 방향을 본 상태에서 차량(9)의 주변이 보여진다.
턴 신호가 우측 방향을 지시할 때에는, 가상 시점 VP의 시점 위치는 차량(9)의 우측의 위치 VPR로 설정된다(도 12 참조). 이에 따라, 도 11의 상태 STR에 나타내는 바와 같이, 방향 지시기(83)의 턴 신호가 지시하는 우측 방향의 측방 영역을 좌측 방향의 측방 영역보다도 크게 나타내는 합성 화상 FP2가 생성되어, 디스플레이(21)에 표시된다. 이 경우도, 합성 화상 FP2에서는, 차량(9)의 후방 위치로부터 전방 방향을 본 상태에서 차량(9)의 주변이 보여진다.
방향 지시기(83)에 의해 지시된 방향은, 방향 변경이나 길가 이동 시에 차량(9)이 이동해서 접촉하는 물체가 존재할 가능성이 높다. 따라서, 이와 같이 방향 지시기(83)에 의해 지시된 방향의 측방 영역을 크게 나타냄으로써, 유저(대표적으로는 드라이버)의 주의를 접촉할 가능성이 있는 물체를 향하게 할 수 있다. 따라서, 차량(9)과 물체의 접촉을 유효하게 방지할 수 있다. 방향 지시가 해제되면, 도 11의 상태 STC에 나타내는 바와 같이, 차량(9)의 좌우 쌍방의 측방 영역을 대략 균등하게 포함하는 합성 화상 FP2가 표시된다.
전술한 바와 같이, 화상 표시 시스템(100)에서는, 차량(9)의 주행 속도가 10km/h 미만이 되어 프론트 모드 M1로 이행하면, 프론트 모드 M1의 개시 시점으로부터 자동적으로 전측방 모드 M11이 된다. 차량(9)의 주행 속도가 10km/h 미만이 된 시점에서, 방향 지시기(83)로부터 입력되는 턴 신호가 온일 경우, 즉 방향 지시가 있는 경우에는, 전측방 모드 M11의 개시 시점으로부터, 방향 지시기(83)에 의해 지시된 방향의 측방 영역을 크게 나타내는 합성 화상 FP2가 생성되어, 디스플레이(21)에 표시된다.
구체적으로는, 주행 속도가 10km/h 미만이 된 시점에서 턴 신호가 좌측 방향을 지시할 때에는, 전측방 모드 M11의 개시 시점으로부터 도 11의 상태 STL에 나타내는 상태가 된다. 주행 속도가 10km/h 미만이 된 시점에서 턴 신호가 우측 방향을 지시할 때에는, 전측방 모드 M11의 개시 시점으로부터 도 11의 상태 STR에 나타내는 상태가 된다.
이와 같이, 방향 지시가 있는 경우에는, 프론트 모드 M1의 개시 시점, 즉 주변 화상을 표시하는 동작을 개시한 시점으로부터 방향 지시기(83)에 의해 지시된 방향의 측방 영역을 크게 나타냄으로써, 보다 신속하게 유저(대표적으로는 드라이버)의 주의를 접촉할 가능성이 있는 물체를 향하게 할 수 있다.
<2. 제2 실시예>
다음에, 제2 실시예에 관하여 설명한다. 제2 실시예에 있어서의 화상 표시 시스템의 구성?처리는, 제1 실시예와 거의 동일하지만 일부만이 상이하다. 이하, 제1 실시예와의 상이점을 중심으로 설명한다.
제1 실시예에서는, 프론트 모드 M1이 된 시점에서 합성 화상 생성부(32)에 의해 합성 화상을 생성하고 있다. 합성 화상을 표시시킬 경우에만 합성 화상의 생성을 행하기 때문에, 불필요한 화상 처리가 이루어지지 않아 소비 전력을 줄일 수 있다. 그러나, 합성 화상의 생성을 개시해서 그 합성 화상을 디스플레이(21)에 표시할 때까지는 어느 정도의 시간이 걸린다. 따라서, 동작 모드가 프론트 모드 M1이 되었을 때에 신속하게 합성 화상을 디스플레이(21)에 표시시킬 수 없는 경우도 있을 수 있다. 제2 실시예에서는, 화상 생성 장치(10)의 기동 중에는 항상 합성 화상을 생성한다.
도 13은 제2 실시예의 화상 표시 시스템(100)의 기동 중에 있어서의 기본적인 동작의 흐름을 나타내는 도면이다. 이 화상 표시 시스템(100)도, ACC 스위치가 온으로 되어 전력이 공급되면 기동하고, ACC 스위치가 오프로 되면 기동 정지한다.
화상 표시 시스템(100)이 기동하면, 우선 제어부(1)에 의해 각종의 초기화 처리가 이루어진다(스텝 S21). 초기화 처리가 종료하면, 합성 화상 생성부(32)에 의해 합성 화상의 생성이 개시된다(스텝 S22). 이후, 화상 표시 시스템(100)이 기동 정지할 때까지 합성 화상의 생성이 계속된다. 즉, 화상 표시 시스템(100)의 기동 중에는 항상 합성 화상이 생성된다.
합성 화상의 생성이 개시되면, 제어부(1)에 의해, 차량(9)의 주행 속도가 계속적으로 감시된다(스텝 S23). 차량(9)의 주행 속도가 10km/h 이상일 경우에는(스텝 S23에서 No), 동작 모드가 내비게이션 모드 M0이 된다(스텝 S24).
차량(9)의 주행 속도가 10km/h 미만일 경우에는(스텝 S23에서 Yes), 동작 모드가 프론트 모드 M1이 되어 전측방 모드 M11로 설정된다(스텝 S25). 그리고, 합성 화상이 디스플레이(21)에 표시된다(스텝 S26). 이 시점에서는, 이미 합성 화상의 생성이 이루어져 있기 때문에, 프론트 모드 M1이 되었을 때에 거의 순시에 합성 화상을 디스플레이(21)에 표시시키는 것이 가능하다.
이후는, 차량(9)의 주행 속도가 10km/h 이상이 될 때까지 (스텝 S29에서 No의 사이), 디스플레이(21)에 차량(9)의 주변을 나타내는 주변 화상의 표시가 이루어진다(스텝 S26). 이 사이, 프론트 모드 M1에서 전환 스위치(43)가 눌려지면(스텝 S27에서 Yes), 표시 모드가 전환된다(스텝 S28).
차량(9)의 주행 속도가 10km/h 이상이 된 경우에는(스텝 S29에서 Yes), 처리는 스텝 S22로 돌아가서, 다시 차량(9)의 주행 속도가 10km/h 미만이 되는지가 감시된다. 이 때, 합성 화상 생성부(32)에서 합성 화상의 생성은 정지되지 않고, 그대로 계속된다.
이상과 같이, 제2 실시예의 화상 표시 시스템(100)에서는, 기동 중에는 항상 합성 화상을 생성한다. 따라서, 합성 화상을 표시해야 할 상태가 되었을 때에 바로 합성 화상을 표시할 수 있다.
<3. 제3 실시예>
다음에, 제3 실시예에 관하여 설명한다. 제3 실시예에 있어서의 화상 표시 시스템의 구성?처리는, 제1 실시예와 거의 동일하지만 일부만이 상이하다. 이하, 제1 실시예와의 상이점을 중심으로 설명한다.
제1 실시예에서는, 프론트 모드 M1이 된 시점에서 합성 화상 생성부(32)에 의해 합성 화상의 생성을 개시하고 있기 때문에, 소비 전력이 저감된다. 제2 실시예에서는, 화상 생성 장치(10)의 기동 중에는 항상 합성 화상을 생성하고 있다. 따라서 합성 화상의 표시가 필요할 때에 합성 화상을 신속하게 생성할 수 있다.
제3 실시예에서는, 차량(9)의 주행 속도가 주변 화상을 표시하는 제1 임계값(예를 들면 10km/h)보다 높은 제2 임계값(예를 들면 20km/h)을 설정한다. 차량(9)의 주행 속도가 제2 임계값보다도 낮아졌을 경우에 합성 화상을 생성한다. 이에 따라, 소비 전력을 저감하면서, 합성 화상을 신속하게 표시할 수 있다. 즉, 제3 실시예에서는, 소비 전력과 표시의 신속함의 밸런스를 잡아서, 제1 및 제2 실시예의 쌍방의 메리트가 얻어진다.
도 14는 제3 실시예의 화상 표시 시스템(100)의 기동 중에 있어서의 기본적인 동작의 흐름을 나타내는 도면이다. 이 화상 표시 시스템(100)도, ACC 스위치가 온으로 되어 전력이 공급되면 기동하고, ACC 스위치가 오프로 되면 기동 정지한다.
화상 표시 시스템(100)이 기동하면, 우선 제어부(1)에 의해 각종의 초기화 처리가 이루어진다(스텝 S31).
초기화 처리가 종료하면, 제어부(1)에 의해, 차량(9)의 주행 속도가 계속적으로 감시된다(스텝 S32). 그리고, 차량(9)의 주행 속도가 제2 임계값인 20km/h 미만일 경우에는(스텝 S32에서 Yes), 합성 화상 생성부(32)에 의해 합성 화상의 생성이 행하여진다(스텝 S33). 차량(9)의 주행 속도가 제2 임계값인 20km/h 이상일 경우에는(스텝 S32에서 No), 합성 화상 생성부(32)에서 합성 화상의 생성이 정지된다(스텝 S34).
제어부(1)에 의해, 차량(9)의 주행 속도가 감시된다(스텝 S35). 차량(9)의 주행 속도가 제1 임계값인 10km/h 이상일 경우에는(스텝 S35에서 No), 동작 모드는 내비게이션 모드 M0이 되어(스텝 S36), 처리는 스텝 S32로 돌아간다. 즉, 이 내비게이션 모드 M0에서는, 제어부(1)에 의해, 차량(9)의 주행 속도가 제2 임계값(20km/h) 및 제1 임계값(10km/h)보다 저하한 것인지 아닌지가 각각 감시된다.
주행 속도가 제2 임계값(20km/h)보다 저하한 시점에서 합성 화상의 생성이 개시된다(스텝 S32, S33). 주행 속도가 제1 임계값(10km/h)보다 저하한 시점에서 동작 모드가 프론트 모드 M1이 된다(스텝 S35에서 Yes). 따라서, 동작 모드는 프론트 모드 M1이 되어 전측방 모드 M11로 설정된다(스텝 S37). 합성 화상이 디스플레이(21)에 표시되는 시점에서는(스텝 S38), 이미 합성 화상의 생성이 이루어져 있다. 이 때문에, 프론트 모드 M1이 되었을 때에 신속하게 합성 화상을 디스플레이(21)에 표시시키는 것이 가능하다.
이후는, 차량(9)의 주행 속도가 10km/h 이상이 될 때까지 (스텝 S41에서 No의 사이), 디스플레이(21)에 차량(9)의 주변을 나타내는 주변 화상의 표시가 이루어진다(스텝 S38). 이 사이, 프론트 모드 M1에서 전환 스위치(43)가 눌려지면(스텝 S39에서 Yes), 표시 모드가 전환된다(스텝 S40).
차량(9)의 주행 속도가 10km/h 이상이 된 경우에는(스텝 S41에서 Yes), 처리는 스텝 S32로 돌아가고, 다시 차량(9)의 주행 속도와 제2 임계값(20km/h)이 비교된다. 차량(9)의 주행 속도가 제2 임계값(20km/h)이 될 때까지는 합성 화상의 생성은 계속된다. 차량(9)의 주행 속도가 제2 임계값(20km/ｈ) 이상이 되면 합성 화상의 생성은 정지된다.
이상과 같이, 제3 실시예의 화상 표시 시스템(100)에서는, 차량(9)의 주행 속도가 제2 임계값(20km/h)보다도 낮아진 시점에서 합성 화상의 생성을 개시한다. 따라서, 차량(9)의 주행 속도가 제1 임계값(10km/h)보다 낮아졌을 때에는, 신속하게 합성 화상을 표시할 수 있다. 차량(9)의 주행 속도가 제2 임계값 이상일 때에는, 합성 화상의 생성을 정지한다. 따라서, 소비 전력도 유효하게 저감할 수 있다. 따라서, 소비 전력을 저감하면서, 필요할 때에 합성 화상을 신속하게 표시할 수 있다.
<4. 변형예>
이상, 본 발명의 실시예에 관하여 설명해 왔지만, 본 발명은 상기 실시예에 한정되는 것이 아니라 다양한 변형이 가능하다. 이하에서는, 이러한 변형예에 관하여 설명한다. 물론, 이하에서 설명하는 형태를 적정하게 조합시켜도 된다.
상기한 실시예에서는, 화상 생성 장치(10)와 내비게이션 장치(20)는 다르다. 그러나, 화상 생성 장치(10)와 내비게이션 장치(20)가 동일한 하우징 내에 배치되어 일체형의 장치로서 구성될 수도 있다.
상기한 실시예에서는, 화상 생성 장치(10)에서 생성된 화상을 표시하는 표시 장치는 내비게이션 장치(20)이다. 그러나, 내비게이션 기능 등의 특수한 기능을 갖고 있지 않은 일반적인 표시 장치일 수도 있다.
상기한 실시예에 있어서, 화상 생성 장치(10)의 제어부(1)에 의해 실현되는 기능의 일부는, 내비게이션 장치(20)의 제어부(23)에 의해 실현될 수도 있다.
시프트 센서(81), 차 속도 센서(82) 및 방향 지시기(83)로부터의 신호는 화상 생성 장치(10)에 입력된다. 그러나, 이들 신호의 일부 또는 전부는 내비게이션 장치(20)에 입력될 수도 있다. 이 경우, 내비게이션 통신부(42)를 통하여, 이들 신호의 일부 또는 전부가, 화상 생성 장치(10)의 제어부(1)에 입력될 수도 있다.
상기한 실시예에서는, 차량(9)의 드라이버가 의도하는 방향 지시를 방향 지시기(83)로부터 입력한다. 그러나, 다른 수단에 의해 방향 지시를 입력해도 된다. 예를 들면, 드라이버의 눈을 촬영한 화상으로부터 드라이버의 시점의 움직임을 검출한다. 그 검출 결과로부터 드라이버가 의도하는 방향 지시를 입력할 수도 있다.
상기한 실시예에서는, 전측방 모드 M11에서는, 측방 영역을 나타내는 화상으로서 합성 화상을 채용하고 있다. 그러나, 좌우 쌍방 혹은 일방의 사이드 카메라(52)에서의 촬영에 의해 얻어지는 사이드 화상을 채용할 수도 있다. 그러나, 임의의 가상 시점으로부터 본 차량 주변의 화상을 제공할 수 있고, 보다 범용성이 높은 정보를 제공할 수 있는 점에서, 합성 화상을 채용하는 것이 바람직하다.
상기한 실시예에서는, 전측방 모드 M11 이외의 표시 모드는, 측방 영역만을 나타내는 화상을 표시한다. 그러나, 상기의 프론트 화상 FP1과 같은 전방 영역만을 나타내는 화상을 표시해도 된다. 즉, 전측방 모드 M11 이외의 표시 모드는, 바람직하게는 특정한 상황에 특화하도록, 전방 영역 및 측방 영역 중 어느 하나만을 나타내는 화상을 표시한다.
상기한 실시예에서는, 프로그램에 따른 CPU의 연산 처리에 의해 소프트웨어적으로 각종의 기능이 실현된다. 그러나, 이들 기능 중 일부는 전기적인 하드웨어 회로에 의해 실현될 수 도 있다. 반대로, 하드웨어 회로에 의해 실현되는 기능 중 일부는, 소프트웨어적으로 실현될 수도 있다.
본 출원은, 2009년 7월 2일에 제출된 일본국 특허출원(특원2009-157368)에 근거하는 것이며, 그 개시 내용은 여기에 참조로서 원용된다.
1 : 제어부 5 : 촬영부
9 : 차량 10 : 화상 생성 장치
21 : 디스플레이 32 : 합성 화상 생성부
40 : 비휘발성 메모리 43 : 전환 스위치

Claims (9)

  1. 차량에 탑재된 표시 장치에 표시되는 화상을 생성하는 화상 생성 장치로서,
    상기 차량의 주행 속도를 취득하는 취득부와,
    상기 주행 속도가 제1 임계값보다 낮을 경우에, 상기 차량의 주변을 나타내는 화상을 상기 표시 장치에 표시시키는 표시 제어부와,
    상기 화상을 상기 표시 장치에 표시시키는 표시 모드를, 서로 다른 복수의 표시 모드 중에서, 유저(user) 조작에 응답해서 선택된 하나의 표시 모드로 전환하는 모드 전환부
    를 구비하고,
    상기 모드 전환부는, 상기 주행 속도가 상기 제1 임계값보다 낮아지고, 또한 상기 표시 제어부가 상기 화상을 상기 표시 장치에 표시시키기 시작하는 시점에 있어서, 상기 표시 모드를, 서로 병치된 상기 차량의 전방 영역을 나타내는 제1 화상과 상기 차량의 측방 영역을 나타내는 제2 화상을 포함하는 화상을 상기 표시 장치에 표시시키는 특정 표시 모드로 전환하는 화상 생성 장치.
  2. 제1항에 있어서,
    복수의 카메라에서 촬영된 상기 차량의 주변의 복수의 화상에 의거하여, 가상 시점으로부터 본 상기 차량 및 상기 차량의 주변을 나타내는 합성 화상을 생성하는 생성부를 더 구비하고,
    상기 제2 화상은, 상기 생성부에 의해 생성된 합성 화상인 화상 생성 장치.
  3. 제2항에 있어서,
    상기 차량의 드라이버(driver)의 방향 지시를 입력하는 입력부를 더 구비하고,
    상기 생성부는, 상기 입력부에 의해 상기 방향 지시가 입력되어 있을 때에는, 상기 방향 지시에 의해 지시되는 상기 차량의 하나의 측방 영역이 상기 차량의 다른 측방 영역보다도 큰 사이즈로 표시되는 합성 화상을 상기 제2 화상으로서 생성하는 화상 생성 장치.
  4. 제3항에 있어서,
    상기 생성부는, 상기 입력부에 의해 상기 방향 지시가 입력되어 있을 때에는, 상기 주행 속도가 상기 제1 임계값보다 낮아지고, 또한 상기 표시 제어부가 화상을 상기 표시 장치에 표시시키기 시작하는 시점으로부터, 상기 방향 지시에 의해 지시되는 상기 차량의 상기 하나의 측방 영역이 상기 차량의 상기 다른 측방 영역보다도 큰 사이즈로 표시되는 합성 화상을 상기 제2 화상으로서 생성하는 화상 생성 장치.
  5. 제2항에 있어서,
    상기 생성부는, 상기 화상 생성 장치의 기동 중에는 항상 상기 합성 화상을 생성하는 화상 생성 장치.
  6. 제2항에 있어서,
    상기 생성부는, 상기 합성 화상을 상기 표시 장치에 표시시키는 경우에만, 상기 합성 화상을 생성하는 화상 생성 장치.
  7. 제2항에 있어서,
    상기 생성부는, 상기 주행 속도가 상기 제1 임계값보다 높은 제2 임계값보다도 낮아졌을 경우에 상기 합성 화상을 생성하는 화상 생성 장치.
  8. 제1항에 있어서,
    상기 특정 표시 모드 이외의 상기 표시 모드들은, 상기 차량의 상기 전방 영역 및 상기 차량의 상기 측방 영역 중 어느 한쪽만을 나타내는 화상을 상기 표시 장치에 표시시키는 표시 모드인 화상 생성 장치.
  9. 차량에 탑재되는 화상 표시 시스템으로서,
    제1항에 기재된 화상 생성 장치와,
    상기 화상 생성 장치에서 생성된 화상을 표시하는 표시 장치
    를 구비하는 화상 표시 시스템.
KR1020117031230A 2009-07-02 2010-06-08 화상 생성 장치 및 화상 표시 시스템 KR101342033B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009157368A JP5087051B2 (ja) 2009-07-02 2009-07-02 画像生成装置及び画像表示システム
JPJP-P-2009-157368 2009-07-02
PCT/JP2010/059692 WO2011001794A1 (ja) 2009-07-02 2010-06-08 画像生成装置及び画像表示システム

Publications (2)

Publication Number Publication Date
KR20120023139A true KR20120023139A (ko) 2012-03-12
KR101342033B1 KR101342033B1 (ko) 2013-12-16

Family

ID=43410874

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117031230A KR101342033B1 (ko) 2009-07-02 2010-06-08 화상 생성 장치 및 화상 표시 시스템

Country Status (5)

Country Link
US (1) US8836787B2 (ko)
JP (1) JP5087051B2 (ko)
KR (1) KR101342033B1 (ko)
CN (1) CN102474595B (ko)
WO (1) WO2011001794A1 (ko)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5743576B2 (ja) * 2011-02-02 2015-07-01 スタンレー電気株式会社 物体検出システム
JP5681569B2 (ja) * 2011-05-31 2015-03-11 富士通テン株式会社 情報処理システム、サーバ装置、および、車載装置
CN104508720B (zh) * 2012-08-01 2016-09-07 丰田自动车株式会社 驾驶辅助装置
KR101376210B1 (ko) 2012-08-06 2014-03-21 현대모비스 주식회사 어라운드 뷰 모니터 시스템 및 모니터링 방법
JP6099333B2 (ja) 2012-08-30 2017-03-22 富士通テン株式会社 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法及びパラメータ取得方法
JP6202240B2 (ja) * 2013-02-05 2017-09-27 スズキ株式会社 俯瞰画像提示装置
US10093247B2 (en) * 2013-05-23 2018-10-09 GM Global Technology Operations LLC Enhanced front curb viewing system
KR102045088B1 (ko) * 2013-08-13 2019-11-14 현대모비스 주식회사 영상 표시 방법 및 이를 위한 위한 장치
JP5844329B2 (ja) * 2013-10-04 2016-01-13 本田技研工業株式会社 駐車支援装置
KR101491324B1 (ko) * 2013-10-08 2015-02-06 현대자동차주식회사 차량용 영상 획득 장치
JP6307895B2 (ja) * 2014-01-23 2018-04-11 トヨタ自動車株式会社 車両用周辺監視装置
CN106233184B (zh) * 2014-03-31 2019-12-20 伟雷股份公司 透过汽车挡风玻璃显示信息的方法及其实施装置
JPWO2015151485A1 (ja) * 2014-04-01 2017-04-13 パナソニックＩｐマネジメント株式会社 後方視界確認装置と、それを搭載した自動車
CN103950410A (zh) * 2014-04-29 2014-07-30 深圳前向启创数码技术有限公司 全景式辅助驾驶方法及系统
WO2015173961A1 (ja) * 2014-05-16 2015-11-19 富士通株式会社 モニタ装置及び表示画像切替用コンピュータプログラム
US20160193998A1 (en) * 2015-01-02 2016-07-07 Atieva, Inc. Automatically Activated Vehicle Obstacle Viewing System
CN108136907B (zh) * 2015-10-09 2019-06-21 日产自动车株式会社 车辆用显示装置以及车辆用显示方法
CA3002628C (en) * 2015-10-22 2022-03-08 Nissan Motor Co., Ltd. Display control method and display control device
WO2017154317A1 (ja) * 2016-03-09 2017-09-14 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6383376B2 (ja) * 2016-03-31 2018-08-29 株式会社Ｓｕｂａｒｕ 周辺リスク表示装置
JP6766557B2 (ja) * 2016-09-29 2020-10-14 アイシン精機株式会社 周辺監視装置
JP6809113B2 (ja) * 2016-10-12 2021-01-06 日産自動車株式会社 車両用周辺監視方法及び車両用周辺監視装置
DE102017223399B4 (de) * 2017-12-20 2023-11-30 Bayerische Motoren Werke Aktiengesellschaft Anzeigebaugruppe für ein Fortbewegungsmittel
JP6730614B2 (ja) * 2017-02-28 2020-07-29 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
CN107316485A (zh) * 2017-07-07 2017-11-03 深圳中泰智丰物联网科技有限公司 道路通行状态的提示方法、提示装置及终端设备
JP7151293B2 (ja) * 2018-09-06 2022-10-12 株式会社アイシン 車両周辺表示装置
JP7318265B2 (ja) * 2019-03-28 2023-08-01 株式会社デンソーテン 画像生成装置および画像生成方法
DE102019217733A1 (de) * 2019-11-18 2021-05-20 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Bediensystems in einem Fahrzeug und Bediensystem für ein Fahrzeug
CN112758104B (zh) * 2021-01-13 2022-08-23 广州小马慧行科技有限公司 自动驾驶车辆的人机交互界面的控制方法及装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3511892B2 (ja) * 1998-05-25 2004-03-29 日産自動車株式会社 車両用周囲モニタ装置
JP4114292B2 (ja) * 1998-12-03 2008-07-09 アイシン・エィ・ダブリュ株式会社 運転支援装置
JP3300334B2 (ja) 1999-04-16 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
JP3298851B2 (ja) 1999-08-18 2002-07-08 松下電器産業株式会社 多機能車載カメラシステムと多機能車載カメラの画像表示方法
JP4537537B2 (ja) 2000-05-25 2010-09-01 パナソニック株式会社 運転支援装置
JP3269056B2 (ja) * 2000-07-04 2002-03-25 松下電器産業株式会社 監視システム
JP4658408B2 (ja) * 2001-08-30 2011-03-23 株式会社東海理化電機製作所 車両用監視装置
US7253833B2 (en) * 2001-11-16 2007-08-07 Autonetworks Technologies, Ltd. Vehicle periphery visual recognition system, camera and vehicle periphery monitoring apparatus and vehicle periphery monitoring system
JP4645254B2 (ja) * 2005-03-24 2011-03-09 アイシン・エィ・ダブリュ株式会社 車両周辺視認装置
US8130269B2 (en) * 2005-03-23 2012-03-06 Aisin Aw Co., Ltd. Visual recognition apparatus, methods, and programs for vehicles
CN1302444C (zh) * 2005-03-25 2007-02-28 上海百太信息科技有限公司 一种由加速度信号触发的数码图像拍摄系统
JP2007022176A (ja) 2005-07-13 2007-02-01 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP2007237785A (ja) * 2006-03-06 2007-09-20 National Univ Corp Shizuoka Univ 車載用情報提示システム
JP4889360B2 (ja) * 2006-04-18 2012-03-07 アルパイン株式会社 車載用画像表示装置
JP4254887B2 (ja) * 2006-07-06 2009-04-15 日産自動車株式会社 車両用画像表示システム
JP5159070B2 (ja) * 2006-08-31 2013-03-06 アルパイン株式会社 車両周辺画像表示装置及び表示方法
JP4893421B2 (ja) 2007-03-30 2012-03-07 アイシン精機株式会社 車両用の死角画像表示装置
JP4325705B2 (ja) * 2007-06-15 2009-09-02 株式会社デンソー 表示システム及びプログラム
JP5072576B2 (ja) * 2007-12-20 2012-11-14 アルパイン株式会社 画像表示方法および画像表示装置
US8340870B2 (en) * 2008-09-16 2012-12-25 Honda Motor Co., Ltd. Vehicle maneuver assistance device
JP5420216B2 (ja) * 2008-09-16 2014-02-19 本田技研工業株式会社 車両周囲監視装置

Also Published As

Publication number Publication date
US8836787B2 (en) 2014-09-16
KR101342033B1 (ko) 2013-12-16
WO2011001794A1 (ja) 2011-01-06
JP2011015174A (ja) 2011-01-20
JP5087051B2 (ja) 2012-11-28
US20120105643A1 (en) 2012-05-03
CN102474595B (zh) 2014-11-26
CN102474595A (zh) 2012-05-23

Similar Documents

Publication Publication Date Title
KR101342033B1 (ko) 화상 생성 장치 및 화상 표시 시스템
US9706175B2 (en) Image processing device, image processing system, and image processing method
JP5271154B2 (ja) 画像生成装置及び画像表示システム
JP5302227B2 (ja) 画像処理装置、画像処理システム、および、画像処理方法
JP6946652B2 (ja) 駐車支援装置
WO2010137684A1 (ja) 画像生成装置及び画像表示システム
WO2011078183A1 (ja) 画像処理装置、画像処理システム、および画像処理方法
JP5697512B2 (ja) 画像生成装置、画像表示システム及び画像表示装置
WO2011090163A1 (ja) パラメータ決定装置、パラメータ決定システム、パラメータ決定方法、及び記録媒体
JP2005110207A (ja) カメラ装置及び車両周辺監視装置
JP2005110202A (ja) カメラ装置及び車両周辺監視装置
JP5914114B2 (ja) 駐車支援装置、及び駐車支援方法
JP5036891B2 (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
JP2012039341A (ja) 画像表示システム、画像生成装置、及び、画像表示方法
JP5479639B2 (ja) 画像処理装置、画像処理システム、および、画像処理方法
JP2012046124A (ja) 画像表示システム、画像処理装置、および、画像表示方法
JP5466743B2 (ja) 画像生成装置及び画像表示システム
JP5677168B2 (ja) 画像表示システム、画像生成装置及び画像生成方法
KR20130049947A (ko) 주차 보조 시스템
JP2007015663A (ja) 車両用監視モニタシステム
JP2011008421A (ja) 画像生成装置及び画像表示システム
JP4569215B2 (ja) 車両周辺視認装置
JP2012061954A (ja) 画像表示システム、画像処理装置、および、画像表示方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161123

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171117

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181115

Year of fee payment: 6