WO2015083228A1 - 表示制御装置、表示制御方法、及びプログラム - Google Patents

表示制御装置、表示制御方法、及びプログラム Download PDF

Info

Publication number
WO2015083228A1
WO2015083228A1 PCT/JP2013/082445 JP2013082445W WO2015083228A1 WO 2015083228 A1 WO2015083228 A1 WO 2015083228A1 JP 2013082445 W JP2013082445 W JP 2013082445W WO 2015083228 A1 WO2015083228 A1 WO 2015083228A1
Authority
WO
WIPO (PCT)
Prior art keywords
road
point
camera
image
vehicle
Prior art date
Application number
PCT/JP2013/082445
Other languages
English (en)
French (fr)
Inventor
水谷　政美
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2013/082445 priority Critical patent/WO2015083228A1/ja
Priority to JP2015551309A priority patent/JP6245274B2/ja
Publication of WO2015083228A1 publication Critical patent/WO2015083228A1/ja
Priority to US15/165,842 priority patent/US20160263997A1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18145—Cornering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/076—Slope angle of the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/167—Vehicle dynamics information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2520/105—Longitudinal acceleration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Definitions

  • the present invention relates to a display control device, a display control method, and a program.
  • UNECE United Nations Economic Commission for Europe
  • a technology that replaces the function of the side mirror by displaying an image of a camera installed at the position of the side mirror on the display (Regulation No. 46).
  • the view providing component is digitized, it becomes possible to process a mirror image using image processing, and there is room for improvement to improve safety and comfort.
  • in-vehicle monitoring that uses image processing to increase the safety of a vehicle when traveling on an uphill that is mounted on a vehicle and is located near the top of a hill, informs the presence of other vehicles hidden on the hill.
  • a device has been proposed. This in-vehicle monitoring device captures the front view of the vehicle with a camera, extracts a region including an object that rises on the horizon over time from the captured image, and is partially hidden by the convex portion of the road Identify other vehicles.
  • the mirror image A reflected on the mirror surface portion of the room mirror is estimated based on the gradient of the road on which the vehicle travels and the degree of curve of the road, and the difference between the set mirror image B and the mirror image A
  • a technique for operating the angle of the mirror surface portion has been proposed so as to eliminate the problem.
  • at least one of a field providing means such as a door mirror and a room mirror, and a field providing means that combines a camera and a display device installed around the vehicle can be selectively used to make the driver within a specific range.
  • a field of view providing apparatus that provides the field of view has been proposed.
  • the road accounts for a large percentage when going uphill, and the sky when going downhill. That is, the information behind the vehicle obtained from the mirror while traveling on the slope is less than the information behind the vehicle obtained while traveling on the flat road. For this reason, while traveling on a slope, recognition of a vehicle approaching from behind may be delayed, or the driver may feel anxious about the narrowness of the rear view. In view of these circumstances, it is considered that if sufficient rear view can be secured even on a slope, it contributes to improvement of safety.
  • an object of the present invention is to provide a display control device, a display control method, and a program capable of providing a suitable rear view when traveling on a slope.
  • a storage unit that stores a captured image captured by a camera that captures a rear view of the vehicle, a road gradient is detected, and the vehicle is separated from the vehicle by a predetermined distance based on the road gradient.
  • a display control device having a control unit that calculates a point on a road, cuts out a partial area of a captured image so as to include a point on a straight line connecting the camera and the point, and displays an image of the partial area Is done.
  • a computer capable of acquiring a captured image from a storage unit that stores a captured image captured by a camera that captures a rear view of a vehicle has a road gradient. Detect and calculate a point on the road that is a predetermined distance away from the vehicle based on the road gradient, cut out a partial area of the captured image so as to include a point on a straight line connecting the camera and the point, A display control method for displaying an image is provided.
  • a road gradient is added to a computer that can acquire a captured image from a storage unit that stores a captured image captured by a camera that captures a rear view of the vehicle. Detect and calculate a point on the road that is a predetermined distance away from the vehicle based on the road gradient, cut out a partial area of the captured image so as to include a point on a straight line connecting the camera and the point, A program for executing a process of displaying an image is provided.
  • FIG. 1 is a diagram illustrating an example of a display control apparatus according to the first embodiment.
  • the display control apparatus 10 includes a storage unit 11 and a control unit 12.
  • the function which the display control apparatus 10 has may be integrated in the electronic control unit (ECU) of the vehicle C10.
  • the storage unit 11 is a volatile storage device such as a RAM (Random Access Memory) or a non-volatile storage device such as an HDD (Hard Disk Drive) or a flash memory.
  • the control unit 12 is a processor such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor). However, the control unit 12 may be an electronic circuit such as ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array). For example, the control unit 12 executes a program stored in the storage unit 11 or another memory.
  • the storage unit 11 stores a captured image P10 captured by the camera 20 that captures the rear view of the vehicle C10.
  • the camera 20 is disposed in the mirror portion M10 of the vehicle C10, which is a position where a general automobile side mirror is installed.
  • the camera 20 for example, a camera equipped with a wide-angle lens with a short focal length capable of capturing a wider range than the range of the rear view field projected by a general automobile side mirror is applied.
  • a digital video camera capable of continuously capturing a rear view is applied.
  • the control unit 12 detects the road gradient ⁇ . For example, the control unit 12 acquires information on the moving speed of the vehicle C10 and the acceleration received on the vehicle C10.
  • the acceleration received on the vehicle C10 includes acceleration accompanying change in the moving speed and gravity.
  • the acceleration information can be acquired using, for example, a three-dimensional acceleration sensor.
  • the control unit 12 detects the road gradient ⁇ based on the acquired moving speed and acceleration.
  • control unit 12 calculates a point PT10 on the road that is separated from the vehicle C10 by a predetermined distance L10 based on the road gradient ⁇ . For example, if time-series data regarding the moving speed and the road gradient ⁇ is used, it is possible to estimate the road shape behind the current position of the vehicle C10. If the road shape can be estimated, a point PT10 on the road that is a predetermined distance L10 away from the current position of the vehicle C10 can be calculated.
  • the predetermined distance L10 may be a linear distance (see FIG. 1) from the vehicle C10 to the point PT10, or may be a distance measured along the road.
  • the control unit 12 that has calculated the point PT10 on the road cuts out a partial area A12 of the captured image P10 so as to include a point on a straight line connecting the camera 20 and the point PT10. Note that the viewing angle ⁇ when the partial area A12 is cut out is maintained at a predetermined constant angle, for example.
  • the control part 12 displays the image P12 of partial area A12. For example, the control unit 12 displays the image P12 on an in-vehicle monitor (not shown) mounted on the vehicle C10, a screen (not shown) of a car navigation system, or the like.
  • the partial area A12 is suitably adjusted, information included in the visual field V12 can be obtained. If a partial area A11 is cut out from the captured image P10 so that the same field of view V11 as that of a general automobile side mirror is obtained, the image P11 of the partial area A11 is mostly occupied by roads. When cut out like the partial area A12, sufficient information on the rear field of view can be obtained from the image P12 of the partial area A12. In the example of FIG. 1, the driver can easily notice the presence of the object O10.
  • FIG. 1 illustrates the case where the vehicle C10 travels uphill, when the display control device 10 is applied, a suitable rear view is provided even when the vehicle C10 travels downhill. Can do.
  • the camera 20 is installed at the position of the side mirror (mirror part M10), but may be installed at a part where a mirror other than the side mirror is installed.
  • FIG. 2 is a first diagram illustrating an example of the in-vehicle device according to the second embodiment.
  • FIG. 3 is the 2nd figure which showed an example of the vehicle-mounted apparatus which concerns on 2nd Embodiment.
  • the in-vehicle device of the vehicle C includes an electronic control unit 100, a first camera 201A, a second camera 201B, a first monitor 202A, a second monitor 202B, and a controlled mechanism 203.
  • the electronic control unit 100, the first camera 201A, the second camera 201B, the first monitor 202A, and the second monitor 202B may be referred to as a rear view providing device RV.
  • the rear view providing device RV is an example of a display control device.
  • the ECU is an example of the electronic control unit 100.
  • the electronic control unit 100 electronically controls the controlled mechanism 203.
  • the controlled mechanism 203 includes, for example, an ignition mechanism, a fuel system, an intake / exhaust system, a valve mechanism, a start mechanism, a drive mechanism, a safety device, indoor equipment, lights, and the like.
  • the electronic control unit 100 controls the ignition timing for the ignition mechanism, and controls the fuel injection timing and the injection amount for the fuel system. Further, the electronic control unit 100 controls the throttle opening, the supercharging pressure of the supercharger, and the like for the intake and exhaust systems, and controls the valve timing, the valve lift amount, and the like for the valve operating mechanism.
  • the electronic control unit 100 controls the cell motor and the like for the start mechanism and the clutch and the like for the drive mechanism.
  • Examples of the safety device include an ABS (Antilock Brake System) and an airbag, and the operation control thereof is also performed by the electronic control unit 100.
  • Examples of the indoor equipment include an air conditioner, a tachometer, and a speedometer, which are also controlled by the electronic control unit 100.
  • the electronic control unit 100 also performs control related to lights such as a direction indicator.
  • the electronic control unit 100 performs, for example, a power regenerative brake and a power motor control, a battery management, and a clutch control between the engine and the motor.
  • the electronic control unit 100 includes a mechanism control unit 101 and a visibility providing unit 102.
  • the control of the controlled mechanism 203 as described above is executed by the mechanism control unit 101 among the functions of the electronic control unit 100.
  • the visual field providing unit 102 included in the electronic control unit 100 provides a function as the rear visual field providing device RV.
  • the visual field providing unit 102 controls the first camera 201A, the second camera 201B, the first monitor 202A, and the second monitor 202B.
  • the first camera 201 ⁇ / b> A and the second camera 201 ⁇ / b> B are, for example, imaging devices including an optical system, an imaging device, an ADC (Analog-to-Digital Converter), a signal processing circuit, and the like.
  • the optical system is a light guide means including a lens and a diaphragm mechanism.
  • the imaging element is a photoelectric conversion element such as a CCD (Charge-Coupled Device) or a CMOS (Complementary-Metal-Oxide-Semiconductor).
  • the ADC is a circuit that converts an electrical signal output from the image sensor into a digital signal.
  • the signal processing circuit is a circuit that generates image data by performing signal processing such as image quality adjustment and encoding on the digital signal output from the A / D conversion circuit.
  • image data output from the first camera 201A and the second camera 201B may be referred to as a captured image.
  • the first monitor 202A and the second monitor 202B are display devices such as CRT (Cathode Ray Tube), LCD (Liquid Crystal Display), PDP (Plasma Display Panel), or ELD (Electro-Luminescence Display).
  • CRT Cathode Ray Tube
  • LCD Liquid Crystal Display
  • PDP Plasma Display Panel
  • ELD Electro-Luminescence Display
  • a display device incorporated in a car navigation system or the like mounted on the vehicle C can be used as the first monitor 202A and the second monitor 202B.
  • the captured image output from the first camera 201A is input to the electronic control unit 100.
  • the electronic control unit 100 cuts out a partial area (hereinafter referred to as a presentation range) of the input captured image, and causes the first monitor 202A to display the clipped image (hereinafter referred to as a presentation image). That is, the presentation range of the captured image captured by the first camera 201A is displayed on the first monitor 202A.
  • the captured image output from the second camera 201B is input to the electronic control unit 100.
  • the electronic control unit 100 generates a presentation image by cutting out the presentation range from the input captured image, and displays the generated presentation image on the second monitor 202B. That is, the presentation range of the captured image captured by the second camera 201B is displayed on the second monitor 202B.
  • the first camera 201 ⁇ / b> A and the second camera 201 ⁇ / b> B are installed toward the rear of the vehicle C at a portion where a side mirror of the automobile is arranged.
  • the first camera 201 ⁇ / b> A is installed on the left side surface of the vehicle C.
  • the second camera 201B is installed on the right side surface of the vehicle C.
  • the first monitor 202A and the second monitor 202B are installed at a position where the driver can easily see, for example, as shown in FIG.
  • the first monitor 202A is installed on the left side of the handle
  • the second monitor 202B is installed on the right side of the handle.
  • the driver can view the video of the first camera 201A installed on the left side of the vehicle C on the first monitor 202A located on the left side of the handle.
  • the driver can view the image of the second camera 201B installed on the right side surface of the vehicle C on the second monitor 202B located on the left side of the steering wheel. That is, the example of FIG. 3 shows a vehicle C in which two side mirrors are replaced by a first camera 201A, a second camera 201B, a first monitor 202A, and a second monitor 202B.
  • the application range of the technique according to the second embodiment is not limited to this, and the positions and the number of cameras and monitors may be changed.
  • a configuration in which a camera is installed at the position of the rearview mirror or the rear of the vehicle and the car navigation system is used as a monitor is also conceivable.
  • Three or more cameras and three or more monitors may be installed inside and outside the vehicle C. Such modifications are also included in the scope of the technology according to the second embodiment.
  • FIG. 4 is a first diagram for explaining the function of the view providing unit according to the second embodiment.
  • FIG. 5 is a second diagram for explaining the function of the view providing unit according to the second embodiment.
  • FIG. 6 is a third diagram for explaining the function of the view providing unit according to the second embodiment.
  • FIG. 7 is a fourth diagram for explaining the function of the view providing unit according to the second embodiment.
  • FIG. 8 is a fifth diagram for explaining the function of the view providing unit according to the second embodiment.
  • FIG. 9 is a sixth diagram for explaining the function of the view providing unit according to the second embodiment.
  • FIG. 10 is a seventh diagram for explaining the function of the view providing unit according to the second embodiment.
  • the view providing unit 102 includes a storage unit 121, a moving speed acquisition unit 122, an acceleration acquisition unit 123, a road gradient calculation unit 124, a reference point calculation unit 125, an image cutout unit 126, and an image display unit 127.
  • the function of the storage unit 121 can be realized by using a volatile storage device such as a RAM or a nonvolatile storage device such as an HDD or a flash memory.
  • the functions of the moving speed acquisition unit 122, the acceleration acquisition unit 123, the road gradient calculation unit 124, the reference point calculation unit 125, the image cutout unit 126, and the image display unit 127 can be realized using a processor such as a CPU or DSP. is there.
  • the functions of the moving speed acquisition unit 122, the acceleration acquisition unit 123, the road gradient calculation unit 124, the reference point calculation unit 125, the image cutout unit 126, and the image display unit 127 are made using electronic circuits such as an ASIC and an FPGA. It can also be realized.
  • the storage unit 121 stores a captured image captured by the first camera 201A.
  • the storage unit 121 stores a captured image captured by the second camera 201B.
  • the movement speed acquisition unit 122 acquires the movement speed of the vehicle C (for example, the vehicle speed displayed on the speedometer) from the mechanism control unit 101. Information on the moving speed acquired by the moving speed acquiring unit 122 is stored in the storage unit 121.
  • the acceleration acquisition unit 123 includes an accelerometer such as a three-axis acceleration sensor, and acquires acceleration using the accelerometer.
  • accelerometers that can be used include a piezoresistive triaxial acceleration sensor, a capacitance triaxial acceleration sensor, and a heat detection triaxial acceleration sensor.
  • Information on acceleration acquired by the acceleration acquisition unit 123 is stored in the storage unit 121.
  • the road gradient calculation unit 124 calculates the road gradient based on the acceleration information stored in the storage unit 121. Information on the road gradient calculated by the road gradient calculation unit 124 is stored in the storage unit 121. The road gradient calculation method will be described later.
  • the reference point calculation unit 125 calculates a point on the road (hereinafter referred to as a reference point) that is located a predetermined distance behind the point where the vehicle C is currently traveling. At this time, the reference point calculation unit 125 estimates the road shape based on the time series data of the road gradient and the time series data of the moving speed stored in the storage unit 121. Further, the reference point calculation unit 125 calculates a reference point based on the estimated road shape. Information on the reference point calculated by the reference point calculation unit 125 is stored in the storage unit 121. The reference point calculation method will be described later.
  • the image cutout unit 126 determines the presentation range from the captured image based on the reference point information stored in the storage unit 121.
  • the image cutout unit 126 cuts out the determined presentation range from the captured image and generates a presentation image.
  • the presentation image generated by the image cutout unit 126 is input to the image display unit 127. A method for determining the presentation range will be described later.
  • the image display unit 127 displays the presentation image cut out from the captured image of the first camera 201A on the first monitor 202A.
  • the image display unit 127 displays the presentation image cut out from the captured image of the second camera 201B on the second monitor 202B.
  • the road gradient referred to here means a road inclination (for example, an inclination angle ⁇ illustrated in FIG. 5) with respect to a horizontal plane (a plane perpendicular to a direction in which gravity is applied).
  • the x axis indicating the direction opposite to the traveling direction of the vehicle C
  • the z axis perpendicular to the x axis
  • the X axis set on the horizontal plane intersecting the xz plane
  • the Z axis perpendicular to the X axis Think about the axis.
  • the angle formed by the x-axis and the X-axis becomes the inclination angle ⁇ .
  • the acceleration in the x-axis direction obtained from the triaxial acceleration sensor is expressed as A x
  • the acceleration in the z-axis direction is expressed as A z
  • the acceleration in the X-axis direction is expressed as A
  • the relationship between A x , A z , and A is gravity.
  • the acceleration g and the inclination angle ⁇ the following expressions (1) and (2) are used.
  • the following formulas (3) and (4) are obtained.
  • the road gradient calculation unit 124 calculates the inclination angle ⁇ by substituting the accelerations A x and A z and the gravitational acceleration g stored in the storage unit 121 into the following equations (3) and (4).
  • a x g ⁇ sin ⁇ + A ⁇ cos ⁇ ... (1)
  • a z -g ⁇ cos ⁇ + A ⁇ sin ⁇ ... (2)
  • the road gradient at time t is the inclination angle ⁇ (t)
  • the moving speed is v (t)
  • the distance traveled by the vehicle C in unit time ⁇ t is d (t)
  • the current position is the reference at time t.
  • the height of the road on which the vehicle C is located is denoted as H (t).
  • the distance in the X-axis direction (see FIG. 5) with the current position as a reference is denoted as X (t).
  • the position of the vehicle C at time t0 is the current position.
  • the reference point calculation unit 125 that has calculated the height H (t) and the distance X (t) calculates the length D (t) of a straight line connecting the current position and the estimated point. Further, the reference point calculation unit 125 determines whether or not the calculated length D (t) matches the predetermined distance Dth within an allowable error range. When the length D (t) matches the predetermined distance Dth , the reference point calculation unit 125 determines that point as the reference point Q as shown in FIG. On the other hand, when the length D (t) does not match the predetermined distance Dth , the reference point calculation unit 125 continues the above estimation process.
  • the time series data of the height H (t) and the distance X (t) estimated by the reference point calculation unit 125 is stored in the storage unit 121.
  • Information on the reference point Q determined by the reference point calculation unit 125 is stored in the storage unit 121.
  • the cutout unit 126 determines the presentation range W corresponding to the visual field V with a fixed viewing angle ⁇ , as shown in FIG.
  • the viewing angle ⁇ is set such that an object at a point separated by a predetermined distance behind the vehicle is included in the presentation range W with a specified size.
  • the focus of the camera used as the first camera 201A is such that the viewing angle ⁇ 0 of the first camera 201A is larger than the viewing angle ⁇ corresponding to the presentation range W.
  • a distance is selected.
  • the position of the first camera 201A (the lens position in the example of FIG. 7) is denoted as q 0, and the point located in the front direction (optical axis direction) of the first camera 201A is denoted as q 1 .
  • q 2 a point positioned in the center direction of the visual field V corresponding to the presentation range W.
  • an angle formed by a line segment connecting q 0 and q 1 (hereinafter referred to as a line segment q 0 -q 1 ) and a line segment connecting q 0 and q 2 (hereinafter referred to as a line segment q 0 -q 2 ). Is expressed as ⁇ .
  • the image cutout unit 126 changes the angle ⁇ formed by the line segment q 0 -q 1 and the line segment q 0 -q 2 to determine a suitable presentation range W. At this time, the image cutout unit 126 changes the angle ⁇ within a range in which the visual field V is within the visual field of the first camera 201A (the imaging range illustrated in FIG. 7). In the following description, the angle ⁇ when the line segment q 0 -q 2 is above the line segment q 0 -q 1 is expressed by a positive value (+), and the line segment q 0 -q 2 is a line The angle ⁇ when it is below the minute q 0 -q 1 may be expressed by a negative value (-).
  • the image cutout unit 126 that has determined the presentation range W cuts out the presentation range W from the captured image Pw and generates the presentation image Pc.
  • FIG. 7 schematically illustrates changes in the captured image Pw captured by the first camera 201A from the vehicle C traveling uphill and the presentation image Pc obtained when the angle ⁇ is changed in the + direction and the ⁇ direction. It is shown as an example.
  • the hatched part indicates a road.
  • FIG. 7A when traveling uphill, if the angle ⁇ is set to 0, most of the presented image Pc is occupied by the road, and the rear view is limited. Further, when the angle ⁇ changes in the ⁇ direction, as shown in FIG. 7C, the ratio of the road in the presentation image Pc is further increased.
  • the angle ⁇ is changed in the + direction, as shown in FIG. 7B, the proportion of the road in the presented image Pc decreases, and a suitable rear view is obtained.
  • the image cutout unit 126 changes the angle ⁇ in the + direction so that the line segment q 0 -Q is included in the visual field V. At this time, the image cutout unit 126 keeps the change in the angle ⁇ to a minimum (in the state where the upper boundary of the visual field V and the line segment q 0 -Q are close as shown in FIG. 8A). .
  • the presented image Pc changes significantly, and it may be difficult to instantly recognize which position the user is looking at.
  • a large change in the presented image Pc can be suppressed and the driver's confusion can be reduced. As a result, it contributes to the improvement of safety.
  • the image cutout unit 126 changes the angle ⁇ in the ⁇ direction so that the line segment q 0 -Q is included in the visual field V. At this time, the image cutout unit 126 keeps the change in the angle ⁇ to a minimum (the state where the lower boundary of the visual field V and the line segment q 0 -Q are close as shown in FIG. 8B). .
  • the presented image Pc changes significantly, and it may be difficult to instantly recognize which position the user is looking at.
  • a large change in the presented image Pc can be suppressed and the driver's confusion can be reduced. As a result, it contributes to the improvement of safety.
  • the image cutout unit 126 calculates a tangent line (hereinafter, a line segment q 0 -Q T ) that touches the uphill road, and uses the line segment q 0 -Q T as a reference. To change the angle ⁇ .
  • the image cutout unit 126 changes the angle ⁇ in the ⁇ direction so that the line segment q 0 -Q T is included in the visual field V. At this time, the image cutout unit 126 keeps the change in the angle ⁇ to a minimum (the state where the lower boundary of the visual field V and the line segment q 0 -Q T are close as shown in FIG. 9B). To do.
  • the presented image Pc changes significantly, and it may be difficult to instantly recognize which position the user is looking at.
  • a large change in the presented image Pc can be suppressed and the driver's confusion can be reduced. As a result, it contributes to the improvement of safety.
  • the image cutout unit 126 changes the angle ⁇ in the ⁇ direction so that the line segment q 0 -Q is included in the visual field V. At this time, the image cutout unit 126 keeps the change in the angle ⁇ to a minimum (the state where the lower boundary of the visual field V and the line segment q 0 -Q are close as shown in FIG. 9A). .
  • the presented image Pc changes significantly, and it may be difficult to instantly recognize which position the user is looking at.
  • a large change in the presented image Pc can be suppressed and the driver's confusion can be reduced. As a result, it contributes to the improvement of safety.
  • the angle ⁇ is changed with reference to the line segment q 0 -Q (reference line) by the method shown in FIG. 10A in a state where the vehicle C finishes going downhill, FIG. As shown, the reference line intersects with the top of the downhill and a presentation image Pc with a large proportion of the road is obtained. Therefore, as shown in FIG. 10B, the image cutout unit 126 calculates a tangent line (line segment q 0 -Q T ) that is in contact with the downhill road, and the angle based on the line segment q 0 -Q T. Change ⁇ .
  • the image cutout unit 126 changes the angle ⁇ in the + direction so that the line segment q 0 -Q T is included in the visual field V. At this time, the image cutout unit 126 keeps the change in the angle ⁇ to a minimum (the state where the lower boundary of the visual field V and the line segment q 0 -Q T are close as shown in FIG. 10B). To do.
  • the presented image Pc changes significantly, and it may be difficult to instantly recognize which position the user is looking at.
  • a large change in the presented image Pc can be suppressed and the driver's confusion can be reduced. As a result, it contributes to the improvement of safety.
  • the image cutout unit 126 changes the angle ⁇ in the + direction so that the line segment q 0 -Q is included in the visual field V.
  • the image cutout unit 126 keeps the change in the angle ⁇ to a minimum (the state where the upper boundary of the visual field V and the line segment q 0 -Q are close as shown in FIG. 10C).
  • the presented image Pc changes significantly, and it may be difficult to instantly recognize which position the user is looking at.
  • a large change in the presented image Pc can be suppressed and the driver's confusion can be reduced. As a result, it contributes to the improvement of safety.
  • FIG. 11 is a first diagram for explaining the flow of processing executed by the view providing unit according to the second embodiment.
  • FIG. 12 is a second diagram for explaining the flow of processing executed by the field-of-view providing unit according to the second embodiment.
  • FIG. 13 is a third diagram for explaining the flow of processing executed by the view providing unit according to the second embodiment.
  • FIG. 14 is a fourth diagram for explaining the flow of processing executed by the visibility providing unit according to the second embodiment.
  • FIG. 15 is a fifth diagram for explaining the flow of processing executed by the view providing unit according to the second embodiment.
  • FIG. 16 is a sixth diagram for explaining the flow of processing executed by the field-of-view providing unit according to the second embodiment.
  • FIG. 17 is a seventh diagram for explaining the flow of processing executed by the field-of-view providing unit according to the second embodiment.
  • the road gradient calculation unit 124 calculates a road gradient based on the acceleration information stored in the storage unit 121.
  • Information on the road gradient calculated by the road gradient calculation unit 124 is stored in the storage unit 121.
  • the acceleration information is acquired by the acceleration acquisition unit 123 using an accelerometer such as a three-axis acceleration sensor and stored in the storage unit 121.
  • the reference point calculation unit 125 estimates the road shape based on the time series data of the road gradient and the time series data of the moving speed stored in the storage unit 121.
  • the moving speed time-series data is acquired from the mechanism control unit 101 by the moving speed acquisition unit 122 and stored in the storage unit 121.
  • the reference point calculation unit 125 calculates a reference point based on the road shape estimated in the process of S102. Information on the reference point calculated by the reference point calculation unit 125 is stored in the storage unit 121.
  • the image cutout unit 126 determines the presentation range from the captured image based on the reference point information stored in the storage unit 121.
  • the image cutout unit 126 cuts out the determined presentation range from the captured image and generates a presentation image.
  • the presentation image generated by the image cutout unit 126 is input to the image display unit 127.
  • the image display unit 127 displays on the first monitor 202A the presentation image cut out from the captured image of the first camera 201A. In addition, the image display unit 127 displays the presentation image cut out from the captured image of the second camera 201B on the second monitor 202B.
  • the storage unit 121 stores a captured image captured by the first camera 201A and a captured image captured by the second camera 201B.
  • the road gradient calculation unit 124 acquires acceleration information stored in the storage unit 121. For example, the road gradient calculating unit 124 obtains the three-axis acceleration in the x-axis direction obtained from the sensor accelerations A x and z-axis direction of the acceleration A z (see FIG. 5) at time t.
  • the road gradient calculation unit 124 calculates the acceleration A in the X direction by substituting the accelerations A x , A z and the gravitational acceleration g acquired in the processing of S111 into the above equation (3). In addition, the road gradient calculation unit 124 calculates the inclination angle ⁇ by substituting the accelerations A x , A z , A, and the gravitational acceleration g into the above equation (4). The inclination angle ⁇ calculated by the road gradient calculation unit 124 is stored in the storage unit 121 as the inclination angle ⁇ (t) indicating the road gradient at time t.
  • the reference point calculation unit 125 acquires time-series data of the moving speed stored in the storage unit 121. For example, the reference point calculation unit 125 acquires the moving speed v (t) at time t (see FIG. 6).
  • the reference point calculation unit 125 acquires time-series data of road gradients stored in the storage unit 121. For example, the reference point calculation unit 125 acquires the inclination angle ⁇ (t) at time t (see FIG. 6).
  • the reference point calculation unit 125 calculates the road shape using the time series data of the moving speed and the road gradient acquired in the processing of S121 and S122. First, the reference point calculation unit 125 calculates, for example, a moving distance d (t) that the vehicle C has moved during the unit time ⁇ t at time t. The moving distance d (t) of the vehicle C at time t can be obtained by calculating v (t) ⁇ ⁇ t.
  • the reference point calculation unit 125 determines the position of the road at the time t ⁇ 1 as the point behind the movement distance d (t) in the direction of the inclination angle ⁇ (t) from the point at the height H (t) at the time t. Estimated as (H (t-1), X (t-1)). Information on H (t ⁇ 1) and X (t ⁇ 1) estimated by the reference point calculation unit 125 is stored in the storage unit 121.
  • the processes of S121 to S123 are repeatedly executed sequentially while updating the time t in a direction going back from the current time t 0 to the past.
  • the integral value obtained by integrating the distance X a (t) from time t0 to time t is the processing of S121 ⁇ S123 until greater than the predetermined distance D th is repeatedly executed.
  • the data of H (t) and X (t) calculated sequentially becomes the time series data of the road shape R (see FIG. 6).
  • the reference point calculation unit 125 acquires time-series data of the road shape stored in the storage unit 121. For example, the reference point calculation unit 125 acquires data on the height H (t) and the distance X (t) indicating the road shape R estimated in the process of S102.
  • the reference point calculation unit 125 detects a point on the road away from the current position of the vehicle C by a preset distance. For example, the reference point calculation unit 125 calculates the current position of the vehicle C corresponding to the time t 0 and the point of the road shape R represented by the height H (t) and the distance X (t) corresponding to the time t. The distance D (t) between is calculated. Then, the reference point calculation unit 125 determines whether or not the distance D (t) matches the predetermined distance Dth within an allowable error range. The reference point calculation unit 125 executes determination processing while updating the time t, and detects a point where the distance D (t) matches the predetermined distance Dth .
  • the reference point calculation unit 125 sets the point detected in the process of S132 as the reference point. Information on the reference point set by the reference point calculation unit 125 is stored in the storage unit 121.
  • the image cutout unit 126 acquires the inclination angle ⁇ at the current time t 0 from the storage unit 121. In addition, the image cutout unit 126 compares the acquired inclination angle ⁇ with the threshold Th 1 and determines whether the inclination angle ⁇ is larger than the threshold Th 1 . When the inclination angle ⁇ is larger than the threshold Th 1 , the process proceeds to S144 in FIG. On the other hand, when the inclination angle ⁇ is not greater than the threshold Th 1, the process proceeds to S142.
  • the threshold Th 1 is a threshold set in advance for determining an uphill. Therefore, the threshold Th 1 is set to a positive value.
  • the threshold value Th 1 is set to a value larger than 0 so that the vehicle C is not determined to be an uphill when riding on a small unevenness on the road. With such a setting, it is possible to suppress deterioration in visibility due to frequent changes in the presentation range W in response to small unevenness on the road. Moreover, since a stable rear view is obtained, it contributes to the improvement of safety.
  • the image clipping unit 126 compares the inclination angle ⁇ acquired in the process of S141 and the threshold Th 2, determines whether the tilt angle ⁇ is smaller than the threshold Th 2. If the inclination angle ⁇ is smaller than the threshold Th 2, the process proceeds to S150 of FIG. 17. On the other hand, when the inclination angle ⁇ is not smaller than the threshold Th 2 , the process proceeds to S143.
  • the threshold Th 2 is a preset threshold value to determine the downhill.
  • the threshold Th 2 is set to a negative value.
  • the threshold Th 2 is set to a value smaller than 0.
  • the image cutout unit 126 sets the presentation range W to a default value.
  • the process of S143 is executed while the vehicle C is traveling on a road having a shape close to a horizontal plane.
  • the presentation range W according to the inclination angle ⁇ is not corrected, and the presentation image Pc of the preset presentation range W (default value) is presented to the driver.
  • the presentation range W corresponding to the visual field V centered on the optical axis direction of the first camera 201A and the second camera 201B is set as the default value. That is, the presentation range W in which the angle ⁇ is 0 is set to a default value.
  • the image clipping unit 126 obtains the information of the reference point Q from the storage unit 121, calculates the angle theta Q based on the information of the reference point Q.
  • the image clipping unit 126 compares the angle theta Q and inclination angle theta, the angle theta Q determines whether less than the inclination angle theta. That is, the image cutout unit 126 determines whether or not the road has a concave shape. If the angle theta Q is smaller than the inclination angle theta, the process proceeds to S145. On the other hand, if the angle theta Q is not smaller than the inclination angle theta, the process proceeds to S146.
  • the image cutout unit 126 determines the presentation range W with reference to the line segment q 0 -Q. For example, the image cutout unit 126 changes the angle ⁇ in the + direction so that the line segment q 0 -Q is included in the visual field V (see FIG. 8A). However, the image cutout unit 126 keeps the change in the angle ⁇ to a minimum (the state where the upper boundary of the visual field V is close to the line segment q 0 -Q as shown in FIG. 8A).
  • the image cutout unit 126 acquires time-series data of the road shape from the storage unit 121, and determines whether or not the line segment q 0 -Q intersects the road. If the line segment q 0 -Q crosses the road, the process proceeds to S148. On the other hand, if the line segment q 0 -Q does not intersect the road, the process proceeds to S147.
  • the image cutout unit 126 determines the presentation range W with reference to the line segment q 0 -Q. For example, the image cutout unit 126 changes the angle ⁇ in the ⁇ direction so that the line segment q 0 -Q is included in the field of view V (see FIG. 8B). However, the image cutout unit 126 keeps the change in the angle ⁇ to a minimum (the state where the lower boundary of the visual field V and the line segment q 0 -Q are close as shown in FIG. 8B).
  • the image cutout unit 126 calculates a tangent line (line segment q 0 -Q T ) that touches the road using the time-series data of the road shape acquired in the process of S146 (see FIG. 9B). .
  • the image cutout unit 126 determines the presentation range W with reference to the line segment q 0 -Q T. For example, the image cutout unit 126 changes the angle ⁇ in the ⁇ direction so that the line segment q 0 ⁇ Q T is included in the visual field V (see FIG. 9B). However, the image cutout unit 126 keeps the change in the angle ⁇ to a minimum (the state where the lower boundary of the visual field V and the line segment q 0 -Q T are close to each other as shown in FIG. 9B). .
  • the image clipping unit 126 obtains the information of the reference point Q from the storage unit 121, calculates the angle theta Q based on the information of the reference point Q.
  • the image clipping unit 126 compares the angle theta Q and inclination angle theta, the angle theta Q is equal to or greater than the inclination angle theta. That is, the image cutout unit 126 determines whether or not the road has a convex shape. If the angle theta Q is larger than the inclination angle theta, the process proceeds to S151. On the other hand, if the angle theta Q is not greater than the inclination angle theta, the process proceeds to S152.
  • the image cutout unit 126 determines the presentation range W with reference to the line segment q 0 -Q. For example, the image cutout unit 126 changes the angle ⁇ in the ⁇ direction so that the line segment q 0 -Q is included in the visual field V (see FIG. 10A). However, the image cutout unit 126 keeps the change in the angle ⁇ to a minimum (the state where the lower boundary of the visual field V and the line segment q 0 -Q are close as shown in FIG. 10A).
  • the image cutout unit 126 acquires time-series data of the road shape from the storage unit 121, and determines whether or not the line segment q 0 -Q intersects the road. If the line segment q 0 -Q crosses the road, the process proceeds to S154. On the other hand, if the line segment q0-Q does not intersect the road, the process proceeds to S153.
  • the image cutout unit 126 determines the presentation range W with reference to the line segment q 0 -Q. For example, the image cutout unit 126 changes the angle ⁇ in the + direction so that the line segment q 0 -Q is included in the field of view V (see FIG. 10C). However, the image cutout unit 126 keeps the change in the angle ⁇ to a minimum (the state where the upper boundary of the field of view V and the line segment q 0 -Q are close as shown in FIG. 10C).
  • the image cutout unit 126 calculates a tangent line (line segment q 0 -Q T ) in contact with the road using the time-series data of the road shape acquired in the process of S152 (see FIG. 10B). .
  • the image cutout unit 126 determines the presentation range W with reference to the line segment q 0 -Q T. For example, the image cutout unit 126 changes the angle ⁇ in the + direction so that the line segment q 0 -Q T is included in the visual field V (see FIG. 10B). However, the image cutout unit 126 keeps the change in the angle ⁇ to a minimum (the state where the lower boundary of the visual field V and the line segment q 0 -Q T are close as shown in FIG. 10B). .
  • Modification # 1 (Visibility control based on tilt angle)
  • a visual field providing method according to a modification (modification # 1) of the second embodiment will be described with reference to FIGS. 18 and 19.
  • the visibility providing method according to the above description includes a process of estimating a road shape from time series data of a road gradient.
  • Modification # 1 proposes a method of calculating the correction angle ⁇ directly from the detected road gradient, omitting the road shape estimation process.
  • FIG. 18 is a first diagram for explaining a view providing method according to a modification (modification # 1) of the second embodiment.
  • FIG. 19 is a second diagram for explaining the view providing method according to a modification (Modification # 1) of the second embodiment.
  • the angle ⁇ is controlled using two threshold values ⁇ th1 and ⁇ th2 set in advance.
  • the image cutout unit 126 changes the angle ⁇ along the preset patterns F 1 and F 2 at the timing when the inclination angle ⁇ becomes larger than the threshold value ⁇ th1 and at the timing when the inclination angle ⁇ becomes smaller than the threshold value ⁇ th2.
  • the threshold values ⁇ th1 and ⁇ th2 are positive values.
  • the threshold values ⁇ th1 and ⁇ th2 are set so as to satisfy ⁇ th1 > ⁇ th2 > 0.
  • the pattern F 1 is set so that the angle ⁇ gradually increases in the + direction and then the angle ⁇ gradually approaches 0. .
  • the pattern F 2 is set so that the angle ⁇ gradually increases in the ⁇ direction, and then the angle ⁇ gradually approaches 0.
  • the curves of the patterns F 1 and F 2 are determined experimentally in consideration of, for example, travel speed and road gradient.
  • the angle ⁇ is controlled using two preset threshold values ⁇ th3 and ⁇ th4 .
  • the image cutout unit 126 changes the angle ⁇ along the preset patterns F 3 and F 4 at the timing when the inclination angle ⁇ becomes smaller than the threshold value ⁇ th3 and at the timing when the inclination angle ⁇ becomes larger than the threshold value ⁇ th4.
  • the threshold values ⁇ th3 and ⁇ th4 are negative values.
  • the threshold values ⁇ th3 and ⁇ th4 are set so as to satisfy ⁇ th4 ⁇ th3 ⁇ 0.
  • the pattern F 3 is set so that the angle ⁇ gradually increases in the ⁇ direction after the inclination angle ⁇ falls below the threshold ⁇ th3 and then gradually approaches 0. .
  • the pattern F 4 is set so that the angle ⁇ gradually increases in the + direction, and then the angle ⁇ gradually approaches 0.
  • the curves of the patterns F 3 and F 4 are determined experimentally in consideration of the traveling speed and the road gradient, for example.
  • the presentation range W can be controlled without estimating the road shape using the time series data of the inclination angle ⁇ and the moving speed V. As a result, the processing load on the electronic control unit 100 is reduced.
  • Modification Example # 2 (Visibility Control Considering Curve)
  • FIG. 20 is a figure for demonstrating the visual field provision method which concerns on the modification (modification # 2) of 2nd Embodiment.
  • the modification # 2 has a mechanism for detecting the curvature of the road on which the vehicle C is traveling and fixing the presentation range W to a default value when the detected curvature is greater than a preset threshold value.
  • the curvature of the road can be evaluated based on, for example, an acceleration component in a direction perpendicular to the traveling direction of the vehicle C out of acceleration on a horizontal plane obtained from a three-axis acceleration sensor. It is also possible to calculate the curvature of the road on which the vehicle C is traveling using GPS (Global Positioning System) and map information, and determine whether the curvature is greater than a threshold value.
  • GPS Global Positioning System
  • Modification # 3 (Visibility Control by Information Processing Device)
  • FIG. 21 is a diagram for explaining hardware of the information processing apparatus according to the modification (modification # 3) of the second embodiment.
  • a car navigation system can be considered as an information processing apparatus to which the view providing method according to the above description can be applied.
  • a usage form in which an information processing device such as a smartphone or a personal computer is connected to the car navigation system or the electronic control unit 100 and the information processing device is used as the view providing unit 102 is also conceivable.
  • the above-described function of the view providing unit 102 is mounted on the information processing apparatus.
  • the function of the view providing unit 102 can be implemented in the information processing apparatus.
  • the functions of the view providing unit 102 are realized by controlling the hardware shown in FIG. 21 using a computer program.
  • this hardware mainly includes a CPU 902, a ROM (Read Only Memory) 904, a RAM 906, a host bus 908, and a bridge 910. Further, this hardware includes an external bus 912, an interface 914, an input unit 916, an output unit 918, a storage unit 920, a drive 922, a connection port 924, and a communication unit 926.
  • the CPU 902 functions as, for example, an arithmetic processing unit or a control unit, and controls the overall operation or a part of each component based on various programs recorded in the ROM 904, the RAM 906, the storage unit 920, or the removable recording medium 928.
  • the ROM 904 is an example of a storage device that stores a program read by the CPU 902, data used for calculation, and the like.
  • the RAM 906 temporarily or permanently stores, for example, a program read by the CPU 902 and various parameters that change when the program is executed.
  • a host bus 908 capable of high-speed data transmission, for example.
  • the host bus 908 is connected to an external bus 912 having a relatively low data transmission speed via a bridge 910, for example.
  • the input unit 916 for example, a mouse, a keyboard, a touch panel, a touch pad, a button, a switch, a lever, or the like is used.
  • a remote controller capable of transmitting a control signal using infrared rays or other radio waves may be used.
  • the output unit 918 for example, a display device such as a CRT, LCD, PDP, or ELD is used.
  • an audio output device such as a speaker or headphones, or a printer may be used.
  • the output unit 918 is a device that can output information visually or audibly.
  • the storage unit 920 is a device for storing various data.
  • a magnetic storage device such as an HDD is used.
  • a semiconductor storage device such as an SSD (Solid State Drive) or a RAM disk, an optical storage device, or a magneto-optical storage device may be used.
  • the drive 922 is a device that reads information recorded on a removable recording medium 928 that is a removable recording medium or writes information to the removable recording medium 928.
  • a removable recording medium 928 for example, a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is used.
  • the connection port 924 is a port for connecting an external connection device 930 such as a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal.
  • an external connection device 930 such as a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal.
  • a printer or the like is used as the external connection device 930.
  • the communication unit 926 is a communication device for connecting to the network 932.
  • a communication circuit for wired or wireless LAN Local Area Network
  • a communication circuit for WUSB Wireless USB
  • a communication circuit or router for optical communication an ADSL (Asymmetric Digital Subscriber Line) Communication circuits, routers, communication circuits for mobile phone networks, and the like are used.
  • a network 932 connected to the communication unit 926 is a wired or wireless network, and includes, for example, the Internet, a LAN, a broadcast network, a satellite communication line, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

　坂道走行時に好適な後方視界を提供すること。　車両（Ｃ１０）の後方視界を撮像するカメラ（２０）により撮像された撮像画像（Ｐ１０）が格納される記憶部（１１）と、道路勾配（θ）を検出し、道路勾配（θ）に基づいて車両（Ｃ１０）から所定距離（Ｌ１０）だけ離れた道路上の地点（ＰＴ１０）を計算し、カメラ（２０）と地点（ＰＴ１０）とを結ぶ直線上の点を含むように撮像画像（Ｐ１０）の一部領域（Ａ１２）を切り出し、一部領域（Ａ１２）の画像（Ｐ１２）を表示させる制御部（１２）とを有する、表示制御装置（１０）が提供される。

Description

表示制御装置、表示制御方法、及びプログラム
　本発明は、表示制御装置、表示制御方法、及びプログラムに関する。
　近年、自動車の電子化が急速に進んでいる。旧来より、自動車には、エンジンの出力や燃費を好適な状態に保つために、エンジンの点火時期、燃料噴射、エンジンの回転速度などを制御する電子制御ユニット（ＥＣＵ：Electronic Control Unit）が搭載されている。最近では、こうした自動車の基本性能に関わる部分にとどまらず、安全性や省エネルギー性能の向上を目的とした様々な電子制御が行われている。また、自動走行や衝突検知などの技術についても実用化に向けた試験が実施されている。
　このような自動車の電子化が進む中、サイドミラーやルームミラーなどの視界提供部品を電子化しようとする動きがある。例えば、サイドミラーの位置に設置したカメラの画像をディスプレイに表示してサイドミラーの機能を代替する技術についてＵＮＥＣＥ（United Nations Economic Commission for Europe）で議論が交わされている（Regulation No.46）。視界提供部品が電子化されると、画像処理を利用してミラー画像を加工できるようになり、安全性や快適性を向上させるための工夫の余地が生まれる。
　画像処理を利用して走行時の安全性を高める技術としては、例えば、車両に搭載され、坂の頂上付近に位置する上り坂を走行中に、坂で隠れた他車両の存在を知らせる車載監視装置が提案されている。この車載監視装置は、車両の前方視界をカメラで撮像し、時間経過に伴って地平線上に迫り上がってくる物体を含む領域を撮像画像から抽出し、道路の凸形状部により部分的に隠蔽された他車両を識別する。
　なお、ミラーを制御する技術としては、例えば、車両が走行する道路の勾配及び道路の曲がり具合に基づいてルームミラーの鏡面部に映る鏡像Ａを推定し、設定した鏡像Ｂと鏡像Ａとの差分が解消されるように鏡面部の角度を稼動させる技術が提案されている。また、ドアミラーやルームミラーなどの視界提供手段、及び車両周辺に設置されたカメラと表示装置とを組み合わせた視界提供手段の少なくとも１つを選択的に利用可能な状態にし、運転者に特定範囲内の視界を提供する視界提供装置が提案されている。
特開２００８－１３２８９５号公報 特開２００９－２７９９４９号公報 特開２００９－２８０１９６号公報
　坂道を走行中にミラーを介して見える後方視界には、上り坂の場合には道路が、下り坂の場合には空が大きな割合を占める。つまり、坂道を走行中にミラーから得られる車両後方の情報は、平坦な道路を走行中に得られる車両後方の情報よりも少ない。そのため、坂道を走行中、後方から接近してくる車両の認識が遅れたり、後方視界の狭さに運転者が不安を感じたりすることがある。こうした事情に鑑みると、坂道でも後方視界が十分に確保できれば安全性の向上に寄与すると考えられる。
　そこで、１つの側面によれば、本発明の目的は、坂道走行時に好適な後方視界を提供することが可能な、表示制御装置、表示制御方法、及びプログラムを提供することにある。
　本開示の１つの側面によれば、車両の後方視界を撮像するカメラにより撮像された撮像画像が格納される記憶部と、道路勾配を検出し、道路勾配に基づいて車両から所定距離だけ離れた道路上の地点を計算し、カメラと地点とを結ぶ直線上の点を含むように撮像画像の一部領域を切り出し、一部領域の画像を表示させる制御部とを有する、表示制御装置が提供される。
　また、本開示の他の１つの側面によれば、車両の後方視界を撮像するカメラにより撮像された撮像画像が格納される記憶部から撮像画像を取得することが可能なコンピュータが、道路勾配を検出し、道路勾配に基づいて車両から所定距離だけ離れた道路上の地点を計算し、カメラと地点とを結ぶ直線上の点を含むように撮像画像の一部領域を切り出し、一部領域の画像を表示させる表示制御方法が提供される。
　また、本開示の他の１つの側面によれば、車両の後方視界を撮像するカメラにより撮像された撮像画像が格納される記憶部から撮像画像を取得することが可能なコンピュータに、道路勾配を検出し、道路勾配に基づいて車両から所定距離だけ離れた道路上の地点を計算し、カメラと地点とを結ぶ直線上の点を含むように撮像画像の一部領域を切り出し、一部領域の画像を表示させる処理を実行させる、プログラムが提供される。
　本開示によれば、坂道走行時に好適な後方視界を提供することが可能になる。
　本発明の上記および他の目的、特徴および利点は本発明の例として好ましい実施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。
第１実施形態に係る表示制御装置の一例を示した図である。 第２実施形態に係る車載装置の一例を示した第１の図である。 第２実施形態に係る車載装置の一例を示した第２の図である。 第２実施形態に係る視界提供部の機能について説明するための第１の図である。 第２実施形態に係る視界提供部の機能について説明するための第２の図である。 第２実施形態に係る視界提供部の機能について説明するための第３の図である。 第２実施形態に係る視界提供部の機能について説明するための第４の図である。 第２実施形態に係る視界提供部の機能について説明するための第５の図である。 第２実施形態に係る視界提供部の機能について説明するための第６の図である。 第２実施形態に係る視界提供部の機能について説明するための第７の図である。 第２実施形態に係る視界提供部が実行する処理の流れについて説明するための第１の図である。 第２実施形態に係る視界提供部が実行する処理の流れについて説明するための第２の図である。 第２実施形態に係る視界提供部が実行する処理の流れについて説明するための第３の図である。 第２実施形態に係る視界提供部が実行する処理の流れについて説明するための第４の図である。 第２実施形態に係る視界提供部が実行する処理の流れについて説明するための第５の図である。 第２実施形態に係る視界提供部が実行する処理の流れについて説明するための第６の図である。 第２実施形態に係る視界提供部が実行する処理の流れについて説明するための第７の図である。 第２実施形態の一変形例（変形例＃１）に係る視界提供方法について説明するための第１の図である。 第２実施形態の一変形例（変形例＃１）に係る視界提供方法について説明するための第２の図である。 第２実施形態の一変形例（変形例＃２）に係る視界提供方法について説明するための図である。 第２実施形態の一変形例（変形例＃３）に係る情報処理装置のハードウェアについて説明するための図である。
　以下に添付図面を参照しながら、本発明の実施形態について説明する。なお、本明細書及び図面において実質的に同一の機能を有する要素については、同一の符号を付することにより重複説明を省略する場合がある。
　＜１．第１実施形態＞
　図１を参照しながら、第１実施形態について説明する。図１は、第１実施形態に係る表示制御装置の一例を示した図である。
　図１に示すように、第１実施形態に係る表示制御装置１０は、記憶部１１及び制御部１２を有する。なお、表示制御装置１０が有する機能は、車両Ｃ１０の電子制御ユニット（ＥＣＵ）に組み込まれていてもよい。
　なお、記憶部１１は、ＲＡＭ（Random Access Memory）などの揮発性記憶装置、或いは、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの不揮発性記憶装置である。制御部１２は、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）などのプロセッサである。但し、制御部１２は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの電子回路であってもよい。制御部１２は、例えば、記憶部１１又は他のメモリに記憶されたプログラムを実行する。
　記憶部１１は、車両Ｃ１０の後方視界を撮像するカメラ２０により撮像された撮像画像Ｐ１０が格納される。例えば、カメラ２０は、一般的な自動車のサイドミラーが設置される位置である車両Ｃ１０のミラー部分Ｍ１０に配置される。なお、カメラ２０としては、例えば、一般的な自動車のサイドミラーが映す後方視界の範囲よりも広い範囲を撮像可能な焦点距離の短い広角レンズを搭載したカメラが適用される。また、カメラ２０としては、例えば、連続的に後方視界を撮像可能なデジタルビデオカメラが適用される。
　制御部１２は、道路勾配θを検出する。例えば、制御部１２は、車両Ｃ１０の移動速度及び車両Ｃ１０上で受ける加速度の情報を取得する。車両Ｃ１０上で受ける加速度には、移動速度の変化に伴う加速度、及び重力が含まれる。加速度の情報は、例えば、３次元加速度センサなどを利用して取得することができる。制御部１２は、取得した移動速度及び加速度に基づいて道路勾配θを検出する。
　また、制御部１２は、道路勾配θに基づいて車両Ｃ１０から所定距離Ｌ１０だけ離れた道路上の地点ＰＴ１０を計算する。例えば、移動速度及び道路勾配θに関する時系列データを利用すれば、車両Ｃ１０の現在位置より後方の道路形状を推定することが可能である。また、道路形状が推定できれば、車両Ｃ１０の現在位置から所定距離Ｌ１０だけ離れた道路上の地点ＰＴ１０を計算することができる。なお、所定距離Ｌ１０は、車両Ｃ１０から地点ＰＴ１０までの直線距離（図１を参照）であってもよいし、道路に沿って計測した距離であってもよい。
　道路上の地点ＰＴ１０を計算した制御部１２は、カメラ２０と地点ＰＴ１０とを結ぶ直線上の点を含むように撮像画像Ｐ１０の一部領域Ａ１２を切り出す。なお、一部領域Ａ１２を切り出す際の視野角φは、例えば、予め設定した一定の角度に維持される。また、制御部１２は、一部領域Ａ１２の画像Ｐ１２を表示させる。例えば、制御部１２は、車両Ｃ１０に搭載された車載モニタ（非図示）やカーナビゲーションシステムの画面（非図示）などに画像Ｐ１２を表示させる。
　上記のように、一部領域Ａ１２を好適に調整すれば、視野Ｖ１２に含まれる情報が得られる。仮に、一般的な自動車のサイドミラーと同様の視野Ｖ１１が得られるように撮像画像Ｐ１０から一部領域Ａ１１を切り出した場合、一部領域Ａ１１の画像Ｐ１１は大部分が道路で占められる。一部領域Ａ１２のように切り出すと、一部領域Ａ１２の画像Ｐ１２から十分な後方視界の情報が得られる。図１の例では、運転者が物体Ｏ１０の存在に容易に気づくことができるようになる。
　つまり、表示制御装置１０を適用すれば、坂道を走行中の車両Ｃ１０を運転する運転者に対し、好適な後方視界を提供することができる。また、好適な後方視界の提供は安全性の向上に寄与する。なお、図１には車両Ｃ１０が上り坂を走行する場合を例示しているが、上記の表示制御装置１０を適用すると、車両Ｃ１０が下り坂を走行する場合でも好適な後方視界を提供することができる。また、図１の例ではカメラ２０をサイドミラーの位置（ミラー部分Ｍ１０）に設置しているが、サイドミラー以外のミラーが設置される部分に設置されてもよい。
　以上、第１実施形態について説明した。
　＜２．第２実施形態＞
　次に、第２実施形態について説明する。
　［２－１．車載装置の例］
　まず、図２及び図３を参照しながら、第２実施形態に係る車載装置について説明する。以下の説明では、自動車などの車両Ｃに搭載される装置を総称して車載装置と呼ぶ。
　なお、図２は、第２実施形態に係る車載装置の一例を示した第１の図である。また、図３は、第２実施形態に係る車載装置の一例を示した第２の図である。
　図２に示すように、車両Ｃの車載装置は、電子制御ユニット１００、第１カメラ２０１Ａ、第２カメラ２０１Ｂ、第１モニタ２０２Ａ、第２モニタ２０２Ｂ、及び被制御機構２０３を含む。以下の説明において、電子制御ユニット１００、第１カメラ２０１Ａ、第２カメラ２０１Ｂ、第１モニタ２０２Ａ、及び第２モニタ２０２Ｂを後方視界提供装置ＲＶと呼ぶ場合がある。後方視界提供装置ＲＶは、表示制御装置の一例である。
　ＥＣＵは、電子制御ユニット１００の一例である。電子制御ユニット１００は、被制御機構２０３を電子制御する。被制御機構２０３には、例えば、点火機構、燃料系統、吸排気系統、動弁機構、始動機構、駆動機構、安全装置、室内機器、灯火類などが含まれる。電子制御ユニット１００は、点火機構について点火時期を制御し、燃料系統について燃料の噴射タイミングや噴射量などを制御する。また、電子制御ユニット１００は、吸排気系統についてスロットル開度や過給器の過給圧などを制御し、動弁機構についてバルブタイミングやバルブリフト量などを制御する。
　その他にも、電子制御ユニット１００は、始動機構についてセルモータなどを制御し、駆動機構についてクラッチなどを制御する。安全装置としては、例えば、ＡＢＳ（Antilock Brake System）やエアバッグなどがあり、その動作制御も電子制御ユニット１００により行われる。室内機器としては、例えば、エアコンディショナ、タコメータ、スピードメータなどがあり、これらも電子制御ユニット１００により制御される。また、方向指示器などの灯火類に関する制御も電子制御ユニット１００により行われる。
　また、車両Ｃがハイブリッド自動車や電気自動車などの場合、電子制御ユニット１００は、例えば、電力回生ブレーキや動力モータの制御、バッテリの管理、エンジン・モータ間のクラッチ制御なども行う。電子制御ユニット１００は、機構制御部１０１、及び視界提供部１０２を有する。上記のような被制御機構２０３の制御は、電子制御ユニット１００が有する機能のうち、機構制御部１０１により実行される。一方、電子制御ユニット１００が有する視界提供部１０２は、後方視界提供装置ＲＶとしての機能を提供する。
　視界提供部１０２は、第１カメラ２０１Ａ、第２カメラ２０１Ｂ、第１モニタ２０２Ａ、及び第２モニタ２０２Ｂを制御する。
　第１カメラ２０１Ａ、及び第２カメラ２０１Ｂは、例えば、光学系、撮像素子、ＡＤＣ（Analog-to-Digital Converter）、及び信号処理回路などを有する撮像装置である。
　光学系は、レンズや絞り機構などを含む導光手段である。撮像素子は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの光電変換素子である。ＡＤＣは、撮像素子から出力される電気信号をデジタル信号に変換する回路である。また、信号処理回路は、Ａ／Ｄ変換回路から出力されたデジタル信号に対して画質の調整や符号化などの信号処理を施して画像データを生成する回路である。以下の説明において、第１カメラ２０１Ａ、第２カメラ２０１Ｂから出力される画像データを撮像画像と呼ぶ場合がある。
　第１モニタ２０２Ａ、第２モニタ２０２Ｂは、例えば、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、又はＥＬＤ（Electro-Luminescence Display）などのディスプレイ装置である。なお、車両Ｃに搭載されたカーナビゲーションシステムなどに組み込まれたディスプレイ装置を第１モニタ２０２Ａ、第２モニタ２０２Ｂとして利用することも可能である。
　第１カメラ２０１Ａから出力された撮像画像は、電子制御ユニット１００に入力される。電子制御ユニット１００は、入力された撮像画像の一部領域（以下、提示範囲）を切り出し、切り出した画像（以下、提示画像）を第１モニタ２０２Ａに表示させる。つまり、第１カメラ２０１Ａにより撮像された撮像画像の提示範囲が第１モニタ２０２Ａに表示される。
　同様に、第２カメラ２０１Ｂから出力された撮像画像は、電子制御ユニット１００に入力される。電子制御ユニット１００は、入力された撮像画像から提示範囲を切り出して提示画像を生成し、生成した提示画像を第２モニタ２０２Ｂに表示させる。つまり、第２カメラ２０１Ｂにより撮像された撮像画像の提示範囲が第２モニタ２０２Ｂに表示される。
　第１カメラ２０１Ａ、第２カメラ２０１Ｂは、例えば、図３に示すように、自動車のサイドミラーが配置される部分に、車両Ｃの後方に向けて設置される。図３の例では、第１カメラ２０１Ａが車両Ｃの左側面に設置されている。また、図３の例では、第２カメラ２０１Ｂが車両Ｃの右側面に設置されている。また、第１モニタ２０２Ａ、第２モニタ２０２Ｂは、例えば、図３に示すように、運転者が視認しやすい位置に設置される。図３の例では、第１モニタ２０２Ａがハンドルの左側に設置され、第２モニタ２０２Ｂがハンドルの右側に設置されている。
　このような配置にすることで、運転者は、車両Ｃの左側面に設置された第１カメラ２０１Ａの映像をハンドルの左側に位置する第１モニタ２０２Ａで視認することができる。また、運転者は、車両Ｃの右側面に設置された第２カメラ２０１Ｂの映像をハンドルの左側に位置する第２モニタ２０２Ｂで視認することができる。つまり、図３の例は、２つのサイドミラーを第１カメラ２０１Ａ、第２カメラ２０１Ｂ、第１モニタ２０２Ａ、第２モニタ２０２Ｂにより代替した車両Ｃを示したものである。
　以下、図３に例示した第１カメラ２０１Ａ、第２カメラ２０１Ｂ、第１モニタ２０２Ａ、第２モニタ２０２Ｂの配置を想定して説明を進める。但し、第２実施形態に係る技術の適用範囲はこれに限定されず、カメラ及びモニタの位置や数を変更してもよい。例えば、バックミラーの位置や車両後方にカメラを設置し、カーナビゲーションシステムをモニタとして利用する形態なども考えられる。また、３つ以上のカメラ、及び３つ以上のモニタを車両Ｃの内外に設置してもよい。こうした変形例についても第２実施形態に係る技術の適用範囲に含まれる。
　以上、第２実施形態に係る車載装置について説明した。
　［２－２．視界提供部の機能］
　次に、図４～図１０を参照しながら、電子制御ユニット１００が有する機能のうち、視界提供部１０２の機能について説明する。
　なお、図４は、第２実施形態に係る視界提供部の機能について説明するための第１の図である。また、図５は、第２実施形態に係る視界提供部の機能について説明するための第２の図である。また、図６は、第２実施形態に係る視界提供部の機能について説明するための第３の図である。
　また、図７は、第２実施形態に係る視界提供部の機能について説明するための第４の図である。また、図８は、第２実施形態に係る視界提供部の機能について説明するための第５の図である。また、図９は、第２実施形態に係る視界提供部の機能について説明するための第６の図である。また、図１０は、第２実施形態に係る視界提供部の機能について説明するための第７の図である。
　図４に示すように、視界提供部１０２は、記憶部１２１、移動速度取得部１２２、加速度取得部１２３、道路勾配計算部１２４、基準地点計算部１２５、画像切り出し部１２６、及び画像表示部１２７を有する。
　なお、記憶部１２１の機能は、ＲＡＭなどの揮発性記憶装置、或いは、ＨＤＤやフラッシュメモリなどの不揮発性記憶装置を利用して実現可能である。移動速度取得部１２２、加速度取得部１２３、道路勾配計算部１２４、基準地点計算部１２５、画像切り出し部１２６、及び画像表示部１２７の機能は、ＣＰＵやＤＳＰなどのプロセッサを利用して実現可能である。また、移動速度取得部１２２、加速度取得部１２３、道路勾配計算部１２４、基準地点計算部１２５、画像切り出し部１２６、及び画像表示部１２７の機能は、ＡＳＩＣやＦＰＧＡなどの電子回路を利用して実現することも可能である。
　記憶部１２１には、第１カメラ２０１Ａにより撮像された撮像画像が格納される。また、記憶部１２１には、第２カメラ２０１Ｂにより撮像された撮像画像が格納される。移動速度取得部１２２は、機構制御部１０１から車両Ｃの移動速度（例えば、スピードメータに表示する車速）を取得する。移動速度取得部１２２により取得された移動速度の情報は、記憶部１２１に格納される。
　加速度取得部１２３は、３軸加速度センサなどの加速度計を有し、加速度計を利用して加速度を取得する。利用可能な加速度計としては、例えば、ピエゾ抵抗型３軸加速度センサ、静電容量型３軸加速度センサ、熱検知型３軸加速度センサなどがある。加速度取得部１２３により取得された加速度の情報は、記憶部１２１に格納される。
　道路勾配計算部１２４は、記憶部１２１に格納された加速度の情報に基づいて道路勾配を計算する。道路勾配計算部１２４により計算された道路勾配の情報は、記憶部１２１に格納される。なお、道路勾配の計算方法については後述する。
　基準地点計算部１２５は、車両Ｃが現在走行中の地点から所定距離だけ後方に位置する道路上の地点（以下、基準地点）を計算する。このとき、基準地点計算部１２５は、記憶部１２１に格納された道路勾配の時系列データ及び移動速度の時系列データに基づいて道路形状を推定する。また、基準地点計算部１２５は、推定した道路形状に基づいて基準地点を計算する。基準地点計算部１２５により計算された基準地点の情報は、記憶部１２１に格納される。なお、基準地点の計算方法については後述する。
　画像切り出し部１２６は、記憶部１２１に格納された基準地点の情報に基づいて撮像画像から提示範囲を決定する。また、画像切り出し部１２６は、決定した提示範囲を撮像画像から切り出して提示画像を生成する。画像切り出し部１２６により生成された提示画像は、画像表示部１２７に入力される。なお、提示範囲の決定方法については後述する。画像表示部１２７は、第１カメラ２０１Ａの撮像画像から切り出された提示画像を第１モニタ２０２Ａに表示させる。また、画像表示部１２７は、第２カメラ２０１Ｂの撮像画像から切り出された提示画像を第２モニタ２０２Ｂに表示させる。
　（道路勾配の計算について）
　ここで、図５を参照しながら、道路勾配の計算方法について説明する。なお、ここで言う道路勾配とは、水平面（重力がかかる方向に対して垂直な面）に対する道路の傾き（例えば、図５に例示した傾斜角Θ）を意味する。
　図５に示すように、車両Ｃの進行方向と逆の方向を示すｘ軸、ｘ軸と垂直なｚ軸、ｘ－ｚ面と交わる水平面上に設定したＸ軸、及びＸ軸と垂直なＺ軸を考える。このような軸を設定するとｘ軸とＸ軸との成す角が傾斜角Θとなる。
　例えば、３軸加速度センサから得られるｘ軸方向の加速度をＡx、ｚ軸方向の加速度をＡz、Ｘ軸方向の加速度をＡと表記すると、Ａx、Ａz、Ａの関係は、重力加速度ｇ及び傾斜角Θを用いて下記の式（１）及び式（２）のように表現される。下記の式（１）及び式（２）を変形すると、下記の式（３）及び式（４）が得られる。道路勾配計算部１２４は、記憶部１２１に格納された加速度Ａx、Ａz、及び重力加速度ｇを下記の式（３）及び式（４）に代入して傾斜角Θを計算する。
　Ａx　＝　ｇ・ｓｉｎΘ　＋　Ａ・ｃｏｓΘ
　…（１）
　Ａz　＝　－ｇ・ｃｏｓΘ　＋　Ａ・ｓｉｎΘ
　…（２）
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
 　以上、道路勾配の計算方法について説明した。
　（基準地点の計算について）
　次に、図６を参照しながら、基準地点の計算方法について説明する。以下の説明では、時刻ｔにおける道路勾配を傾斜角Θ（ｔ）、移動速度をｖ（ｔ）、単位時間Δｔに車両Ｃが移動した距離をｄ（ｔ）、現在位置を基準として時刻ｔに車両Ｃが位置する道路の高さをＨ（ｔ）と表記する。また、現在位置を基準とするＸ軸方向（図５を参照）の距離をＸ（ｔ）と表記する。なお、時刻ｔ０における車両Ｃの位置を現在位置とする。
　車両Ｃが下り勾配を走行している場合、図６の（Ａ）に示したような傾斜角Θ（ｔ）のグラフが得られる。また、時刻ｔにおける車両Ｃの移動距離ｄ（ｔ）は、ｖ（ｔ）×Δｔを計算することにより得られる。従って、図６の（Ｂ）に示すように、高さＨ（ｔ）及び距離Ｘ（ｔ）が示す地点から、傾斜角Θ（ｔ）の方向に移動距離ｄ（ｔ）だけ後方の地点が、時刻ｔ－１における道路の位置（Ｈ（ｔ－１）、Ｘ（ｔ－１））であると推定される。基準地点計算部１２５は、上記の方法を用いて逐次的に高さＨ（ｔ）及び距離Ｘ（ｔ）を推定する。
　高さＨ（ｔ）及び距離Ｘ（ｔ）を計算した基準地点計算部１２５は、現在位置と推定した地点とを結ぶ直線の長さＤ（ｔ）を計算する。また、基準地点計算部１２５は、計算した長さＤ（ｔ）が許容可能な誤差の範囲で所定距離Ｄthと一致するか否かを判定する。長さＤ（ｔ）が所定距離Ｄthと一致する場合、図６の（Ｃ）に示すように、基準地点計算部１２５は、その地点を基準地点Ｑに決定する。一方、長さＤ（ｔ）が所定距離Ｄthと一致しない場合、基準地点計算部１２５は、上記の推定処理を継続する。
　基準地点計算部１２５により推定された高さＨ（ｔ）及び距離Ｘ（ｔ）の時系列データは、記憶部１２１に格納される。また、基準地点計算部１２５により決定された基準地点Ｑの情報は、記憶部１２１に格納される。
　なお、上記の例では高さＨ（ｔ）及び距離Ｘ（ｔ）を推定する度に、長さＤ（ｔ）が所定距離Ｄthと一致するか否かを判定していたが、距離Ｘ（ｔ）の積分値が所定距離Ｄthより大きくなるまで道路形状Ｒを計算した後で、道路形状Ｒから基準地点Ｑを決定する仕組みに変形することもできる。また、現在地点と基準地点Ｑとの間の距離Ｄ（ｔ）を直線距離としているが、道路形状Ｒに沿って距離Ｄ（ｔ）を評価する仕組みに変形することもできる。
　以上、基準地点の計算方法について説明した。
　（提示範囲の決定について）
　次に、図７～図１０を参照しながら、提示範囲の決定方法について説明する。ここでは、図７に示すように、撮像画像Ｐｗから提示画像Ｐｃを切り出すことを前提に提示範囲の決定方法について考える。なお、説明の都合上、第１カメラ２０１Ａにより撮像された撮像画像Ｐｗから提示画像Ｐｃを切り出す方法を例に説明を進める。
　第１カメラ２０１Ａ、第１モニタ２０２Ａを１つのサイドミラーの代替として利用する場合、提示範囲の決定時に、サイドミラーについて法令で規定された要件を満たすことが求められる。例えば、サイドミラーについては、車両後方に所定距離（例えば、５０ｍ）だけ離れた地点が確認できるようにすることが法令で規定されている。こうした要件を踏まえ、切り出し部１２６は、図７の（Ａ）に示すように、視野角λを固定した視野Ｖに対応する提示範囲Ｗを決定する。但し、視野角λは、車両後方に所定距離だけ離れた地点の対象物が規定の大きさで提示範囲Ｗに含まれるような角度に設定される。
　また、図７の（Ａ）に示すように、第１カメラ２０１Ａの視野角λ０が、提示範囲Ｗに対応する視野角λよりも大きくなるように、第１カメラ２０１Ａとして利用されるカメラの焦点距離が選択される。以下、第１カメラ２０１Ａの位置（図７の例ではレンズの位置）をｑ0と表記し、第１カメラ２０１Ａの正面方向（光軸方向）に位置する点をｑ1と表記する。また、図７の（Ｂ）に示すように、提示範囲Ｗに対応する視野Ｖの中心方向に位置する点をｑ2と表記する。また、ｑ0とｑ1とを結ぶ線分（以下、線分ｑ0－ｑ1）と、ｑ0とｑ2とを結ぶ線分（以下、線分ｑ0－ｑ2）とが成す角度をηと表記する。
　画像切り出し部１２６は、線分ｑ0－ｑ1と線分ｑ0－ｑ2とが成す角度ηを変化させ、好適な提示範囲Ｗを決定する。このとき、画像切り出し部１２６は、視野Ｖが第１カメラ２０１Ａの視野（図７に示した撮像範囲）に収まる範囲で角度ηを変化させる。なお、以下の説明において、線分ｑ0－ｑ2が線分ｑ0－ｑ1よりも上方となる場合の角度ηを正値（＋）で表現し、線分ｑ0－ｑ2が線分ｑ0－ｑ1よりも下方となる場合の角度ηを負値（－）で表現することがある。提示範囲Ｗを決定した画像切り出し部１２６は、撮像画像Ｐｗから提示範囲Ｗを切り出して提示画像Ｐｃを生成する。
　図７の例は、上り坂を走行中の車両Ｃから第１カメラ２０１Ａにより撮像した撮像画像Ｐｗ、及び＋方向及び－方向に角度ηを変化させた場合に得られる提示画像Ｐｃの変化を模式的に示したものである。なお、ハッチングを施した部分は道路を示している。図７の（Ａ）に示すように、上り坂を走行している場合、角度ηが０に設定されていると、提示画像Ｐｃの大部分が道路で占められ、後方視界が制限される。また、角度ηが－方向に変化した場合、図７の（Ｃ）に示すように、提示画像Ｐｃに占める道路の割合はさらに大きくなる。一方、角度ηを＋方向に変化させると、図７の（Ｂ）に示すように、提示画像Ｐｃに占める道路の割合は減り、好適な後方視界が得られる。
　図７の例では、角度ηを＋方向に変化させることで、運転者にとって好適な後方視界が得られるようになり、安全性の向上や運転者の不安低減に寄与する。但し、角度ηを＋方向に変化させ過ぎると、車両Ｃに近い後方視界が提示画像Ｐｃに含まれなくなる可能性がある。また、法令で規定された地点が提示画像Ｐｃに含まれなくなる可能性がある。また、同じ上り坂でも走行位置によって角度ηの好適な値は変化する。また、下り坂の場合にも角度ηの好適な値は変化する。そこで、画像切り出し部１２６は、こうした事情を考慮した好適な角度ηの制御を行う。
　（上り坂の場合）
　まず、図８及び図９を参照しながら、上り坂を走行中の車両Ｃにおける提示範囲Ｗの決定方法について説明する。なお、説明の中で、点ｑ0と基準地点Ｑとを結ぶ線分（以下、線分ｑ0－Ｑ）と、水平面とが成す角度をΘQと表記する。また、車両Ｃが水平面上にある場合、角度ηが０のときに好適な提示画像Ｐｃが得られるとする。つまり、車両Ｃが水平面上にある場合には、第１カメラ２０１Ａの正面に好適な後方視界が得られるとする。
　図８の（Ａ）に示すように、車両Ｃが上り坂を上り始めた状態（Θ＞ΘQ）において、角度ηが０の状態（線分ｑ0－ｑ1に沿った方向を撮像する状態）で得られる提示画像Ｐｃは、道路の占める割合が大きな画像となる。そのため、画像切り出し部１２６は、線分ｑ0－Ｑが視野Ｖに含まれるように角度ηを＋方向に変化させる。このとき、画像切り出し部１２６は、角度ηの変化を最小限（図８の（Ａ）のように、視野Ｖの上方境界と線分ｑ0－Ｑとが近接する状態）に留めるようにする。
　角度ηが大きく変化すると、提示画像Ｐｃが大きく変化し、どの位置を見ているのかを瞬時に認識することが難しくなるなど、運転者に戸惑いを与える可能性がある。しかし、角度ηの変化を最小限に留めることで、提示画像Ｐｃの大きな変化を抑制し、運転者の戸惑いを低減することができる。結果として安全性の向上にも寄与する。
　図８の（Ｂ）に示すように、車両Ｃが上り坂を上り終わる状態（Θ＜ΘQ）において、角度ηが０の状態（線分ｑ0－ｑ1に沿った方向を撮像する状態）で得られる提示画像Ｐｃは、空（道路から大きく上方に離れた空間）の占める割合が大きな画像となる。そのため、画像切り出し部１２６は、線分ｑ0－Ｑが視野Ｖに含まれるように角度ηを－方向に変化させる。このとき、画像切り出し部１２６は、角度ηの変化を最小限（図８の（Ｂ）のように、視野Ｖの下方境界と線分ｑ0－Ｑとが近接する状態）に留めるようにする。
　角度ηが大きく変化すると、提示画像Ｐｃが大きく変化し、どの位置を見ているのかを瞬時に認識することが難しくなるなど、運転者に戸惑いを与える可能性がある。しかし、角度ηの変化を最小限に留めることで、提示画像Ｐｃの大きな変化を抑制し、運転者の戸惑いを低減することができる。結果として安全性の向上にも寄与する。
　但し、車両Ｃが上り坂を上りきった後、図８（Ｂ）に示した方法で、線分ｑ0－Ｑ（基準線）を基準に角度ηを変化させると、図９の（Ａ）に示すように、基準線が上り坂の頂点と交差して道路の占める割合が大きな提示画像Ｐｃが得られる。そこで、画像切り出し部１２６は、図９の（Ｂ）に示すように、上り坂の道路に接する接線（以下、線分ｑ0－ＱT）を計算し、線分ｑ0－ＱTを基準に角度ηを変化させる。つまり、画像切り出し部１２６は、線分ｑ0－ＱTが視野Ｖに含まれるように角度ηを－方向に変化させる。このとき、画像切り出し部１２６は、角度ηの変化を最小限（図９の（Ｂ）のように、視野Ｖの下方境界と線分ｑ0－ＱTとが近接する状態）に留めるようにする。
　角度ηが大きく変化すると、提示画像Ｐｃが大きく変化し、どの位置を見ているのかを瞬時に認識することが難しくなるなど、運転者に戸惑いを与える可能性がある。しかし、角度ηの変化を最小限に留めることで、提示画像Ｐｃの大きな変化を抑制し、運転者の戸惑いを低減することができる。結果として安全性の向上にも寄与する。
　上記の方法で角度ηを変化させることにより、上り坂を走行中でも車両Ｃの後方に所定距離だけ離れた地点を含み、かつ、好適な後方視界が得られる提示画像Ｐｃが得られる。
　（下り坂の場合）
　次に、図１０を参照しながら、下り坂を走行中の車両Ｃにおける提示範囲Ｗの決定方法について説明する。
　図１０の（Ａ）に示すように、車両Ｃが下り坂を下り始めた状態（Θ＞ΘQ）において、角度ηが０の状態（線分ｑ0－ｑ1に沿った方向を撮像する状態）で得られる提示画像Ｐｃは、空（道路から大きく上方に離れた空間）の占める割合が大きな画像となる。そのため、画像切り出し部１２６は、線分ｑ0－Ｑが視野Ｖに含まれるように角度ηを－方向に変化させる。このとき、画像切り出し部１２６は、角度ηの変化を最小限（図９の（Ａ）のように、視野Ｖの下方境界と線分ｑ0－Ｑとが近接する状態）に留めるようにする。
　角度ηが大きく変化すると、提示画像Ｐｃが大きく変化し、どの位置を見ているのかを瞬時に認識することが難しくなるなど、運転者に戸惑いを与える可能性がある。しかし、角度ηの変化を最小限に留めることで、提示画像Ｐｃの大きな変化を抑制し、運転者の戸惑いを低減することができる。結果として安全性の向上にも寄与する。
　但し、車両Ｃが下り坂を下り終わる状態において、図１０（Ａ）に示した方法で、線分ｑ0－Ｑ（基準線）を基準に角度ηを変化させると、図１０の（Ｂ）に示すように、基準線が下り坂の頂点と交差して道路の占める割合が大きな提示画像Ｐｃが得られる。そこで、画像切り出し部１２６は、図１０の（Ｂ）に示すように、下り坂の道路に接する接線（線分ｑ0－ＱT）を計算し、線分ｑ0－ＱTを基準に角度ηを変化させる。つまり、画像切り出し部１２６は、線分ｑ0－ＱTが視野Ｖに含まれるように角度ηを＋方向に変化させる。このとき、画像切り出し部１２６は、角度ηの変化を最小限（図１０の（Ｂ）のように、視野Ｖの下方境界と線分ｑ0－ＱTとが近接する状態）に留めるようにする。
　角度ηが大きく変化すると、提示画像Ｐｃが大きく変化し、どの位置を見ているのかを瞬時に認識することが難しくなるなど、運転者に戸惑いを与える可能性がある。しかし、角度ηの変化を最小限に留めることで、提示画像Ｐｃの大きな変化を抑制し、運転者の戸惑いを低減することができる。結果として安全性の向上にも寄与する。
　図１０の（Ｃ）に示すように、車両Ｃが下り坂を下りきった後（Θ＜ΘQ）において、角度ηが０の状態（線分ｑ0－ｑ1に沿った方向を撮像する状態）で得られる提示画像Ｐｃは、道路の占める割合が大きな画像となる。そのため、画像切り出し部１２６は、線分ｑ0－Ｑが視野Ｖに含まれるように角度ηを＋方向に変化させる。このとき、画像切り出し部１２６は、角度ηの変化を最小限（図１０の（Ｃ）のように、視野Ｖの上方境界と線分ｑ0－Ｑとが近接する状態）に留めるようにする。
　角度ηが大きく変化すると、提示画像Ｐｃが大きく変化し、どの位置を見ているのかを瞬時に認識することが難しくなるなど、運転者に戸惑いを与える可能性がある。しかし、角度ηの変化を最小限に留めることで、提示画像Ｐｃの大きな変化を抑制し、運転者の戸惑いを低減することができる。結果として安全性の向上にも寄与する。
　以上、提示範囲の決定方法について説明した。なお、第１カメラ２０１Ａにより撮像された撮像画像Ｐｗから提示画像Ｐｃを生成する例を中心に説明したが、第２カメラ２０１Ｂにより撮像された撮像画像Ｐｗから提示画像Ｐｃを生成する場合も同様である。
　上記のように、道路形状Ｒに基づいて提示範囲Ｗを適切に調整することにより、法令上の規定を遵守しつつ、運転者に好適な後方視界を提示することができる。その結果、安全性の向上に寄与する。
　以上、視界提供部１０２の機能について説明した。
　［２－３．処理の流れ］
　次に、図１１～図１７を参照しながら、視界提供部１０２が実行する処理の流れについて説明する。
　なお、図１１は、第２実施形態に係る視界提供部が実行する処理の流れについて説明するための第１の図である。また、図１２は、第２実施形態に係る視界提供部が実行する処理の流れについて説明するための第２の図である。また、図１３は、第２実施形態に係る視界提供部が実行する処理の流れについて説明するための第３の図である。
　また、図１４は、第２実施形態に係る視界提供部が実行する処理の流れについて説明するための第４の図である。また、図１５は、第２実施形態に係る視界提供部が実行する処理の流れについて説明するための第５の図である。また、図１６は、第２実施形態に係る視界提供部が実行する処理の流れについて説明するための第６の図である。また、図１７は、第２実施形態に係る視界提供部が実行する処理の流れについて説明するための第７の図である。
　（全体的な処理の流れ）
　まず、図１１を参照しながら、全体的な処理の流れについて説明する。
　（Ｓ１０１）道路勾配計算部１２４は、記憶部１２１に格納された加速度の情報に基づいて道路勾配を計算する。道路勾配計算部１２４により計算された道路勾配の情報は、記憶部１２１に格納される。なお、加速度の情報は、加速度取得部１２３により３軸加速度センサなどの加速度計を利用して取得され、記憶部１２１に格納されている。
　（Ｓ１０２）基準地点計算部１２５は、記憶部１２１に格納された道路勾配の時系列データ及び移動速度の時系列データに基づいて道路形状を推定する。なお、移動速度の時系列データは、移動速度取得部１２２により機構制御部１０１から取得され、記憶部１２１に格納されている。
　（Ｓ１０３）基準地点計算部１２５は、Ｓ１０２の処理で推定した道路形状に基づいて基準地点を計算する。基準地点計算部１２５により計算された基準地点の情報は、記憶部１２１に格納される。
　（Ｓ１０４）画像切り出し部１２６は、記憶部１２１に格納された基準地点の情報に基づいて撮像画像から提示範囲を決定する。
　（Ｓ１０５）画像切り出し部１２６は、決定した提示範囲を撮像画像から切り出して提示画像を生成する。画像切り出し部１２６により生成された提示画像は、画像表示部１２７に入力される。
　（Ｓ１０６）画像表示部１２７は、第１カメラ２０１Ａの撮像画像から切り出された提示画像を第１モニタ２０２Ａに表示させる。また、画像表示部１２７は、第２カメラ２０１Ｂの撮像画像から切り出された提示画像を第２モニタ２０２Ｂに表示させる。なお、記憶部１２１には、第１カメラ２０１Ａにより撮像された撮像画像、及び第２カメラ２０１Ｂにより撮像された撮像画像が格納されている。
　Ｓ１０６の処理が完了すると、図１１に示した一連の処理は終了する。
　以上、全体的な処理の流れについて説明した。
　（道路勾配の計算に係る処理の流れ）
　次に、図１２を参照しながら、道路勾配の計算に係る処理の流れについて説明する。なお、図１２に示す処理は、Ｓ１０１の処理に対応する。
　（Ｓ１１１）道路勾配計算部１２４は、記憶部１２１に格納された加速度の情報を取得する。例えば、道路勾配計算部１２４は、時刻ｔにおいて３軸加速度センサから得られたｘ軸方向の加速度Ａx及びｚ軸方向の加速度Ａz（図５を参照）を取得する。
　（Ｓ１１２）道路勾配計算部１２４は、Ｓ１１１の処理で取得した加速度Ａx、Ａz、及び重力加速度ｇを上記の式（３）に代入してＸ方向の加速度Ａを計算する。また、道路勾配計算部１２４は、加速度Ａx、Ａz、Ａ、及び重力加速度ｇを上記の式（４）に代入して傾斜角Θを計算する。道路勾配計算部１２４により計算された傾斜角Θは、時刻ｔにおける道路勾配を示す傾斜角Θ（ｔ）として記憶部１２１に格納される。
　Ｓ１１２の処理が完了すると、図１２に示した一連の処理は終了する。
　以上、道路勾配の計算に係る処理の流れについて説明した。
　（道路形状の計算に係る処理の流れ）
　次に、図１３を参照しながら、道路形状の計算に係る処理の流れについて説明する。なお、図１３に示す処理は、Ｓ１０２の処理に対応する。
　（Ｓ１２１）基準地点計算部１２５は、記憶部１２１に格納された移動速度の時系列データを取得する。例えば、基準地点計算部１２５は、時刻ｔにおける移動速度ｖ（ｔ）を取得する（図６を参照）。
　（Ｓ１２２）基準地点計算部１２５は、記憶部１２１に格納された道路勾配の時系列データを取得する。例えば、基準地点計算部１２５は、時刻ｔにおける傾斜角Θ（ｔ）を取得する（図６を参照）。
　（Ｓ１２３）基準地点計算部１２５は、Ｓ１２１及びＳ１２２の処理で取得した移動速度及び道路勾配の時系列データを用いて道路形状を計算する。
　まず、基準地点計算部１２５は、例えば、時刻ｔにおいて車両Ｃが単位時間Δｔの間に移動した移動距離ｄ（ｔ）を計算する。なお、時刻ｔにおける車両Ｃの移動距離ｄ（ｔ）は、ｖ（ｔ）×Δｔを計算することにより得られる。
　次いで、基準地点計算部１２５は、時刻ｔにおける高さＨ（ｔ）の地点から、傾斜角Θ（ｔ）の方向に移動距離ｄ（ｔ）だけ後方の地点を時刻ｔ－１における道路の位置（Ｈ（ｔ－１）、Ｘ（ｔ－１））と推定する。基準地点計算部１２５により推定されたＨ（ｔ－１）、Ｘ（ｔ－１）の情報は、記憶部１２１に格納される。
　Ｓ１２１～Ｓ１２３の処理は、現在時刻ｔ0から過去へ遡る方向に時刻ｔを更新しながら逐次的に繰り返し実行される。例えば、距離Ｘ（ｔ）を時刻ｔ０から時刻ｔまで積分した積分値が所定距離Ｄthより大きくなるまでＳ１２１～Ｓ１２３の処理が繰り返し実行される。なお、逐次計算されたＨ（ｔ）、Ｘ（ｔ）のデータが道路形状Ｒ（図６を参照）の時系列データとなる。
　Ｓ１２３の処理が完了すると、図１３に示した一連の処理は終了する。
　以上、道路形状の計算に係る処理の流れについて説明した。
　（基準地点の計算に係る処理の流れ）
　次に、図１４を参照しながら、基準地点の計算に係る処理の流れについて説明する。なお、図１４に示す処理は、Ｓ１０３の処理に対応する。
　（Ｓ１３１）基準地点計算部１２５は、記憶部１２１に格納された道路形状の時系列データを取得する。例えば、基準地点計算部１２５は、Ｓ１０２の処理で推定された道路形状Ｒを示す高さＨ（ｔ）及び距離Ｘ（ｔ）のデータを取得する。
　（Ｓ１３２）基準地点計算部１２５は、車両Ｃの現在位置から、予め設定された距離だけ離れた道路上の地点を検出する。例えば、基準地点計算部１２５は、時刻ｔ0に対応する車両Ｃの現在位置と、時刻ｔに対応する高さＨ（ｔ）及び距離Ｘ（ｔ）で表される道路形状Ｒの地点との間の距離Ｄ（ｔ）を計算する。そして、基準地点計算部１２５は、許容可能な誤差の範囲で距離Ｄ（ｔ）が所定距離Ｄthに一致するか否かを判定する。基準地点計算部１２５は、時刻ｔを更新しながら判定処理を実行し、距離Ｄ（ｔ）が所定距離Ｄthに一致する地点を検出する。
　（Ｓ１３３）基準地点計算部１２５は、Ｓ１３２の処理で検出した地点を基準地点に設定する。基準地点計算部１２５により設定された基準地点の情報は記憶部１２１に格納される。Ｓ１３３の処理が完了すると、図１４に示した一連の処理は終了する。
　以上、基準地点の計算に係る処理の流れについて説明した。
　（提示範囲の決定に係る処理の流れ）
　次に、図１５～図１７を参照しながら、提示範囲の決定に係る処理の流れについて説明する。なお、図１５～図１７に示す処理は、Ｓ１０４の処理に対応する。なお、以下の説明において、車両Ｃの進行方向が水平面に対して下方に向いている場合の傾斜角Θを負値で表現し、車両Ｃの進行方向が水平面に対して上方に向いている場合の傾斜角Θを正値で表現する。
　（Ｓ１４１）画像切り出し部１２６は、記憶部１２１から現在時刻ｔ0における傾斜角Θを取得する。また、画像切り出し部１２６は、取得した傾斜角Θと閾値Ｔｈ1とを比較し、傾斜角Θが閾値Ｔｈ1よりも大きいか否かを判定する。傾斜角Θが閾値Ｔｈ1よりも大きい場合、処理は、図１６のＳ１４４に進む。一方、傾斜角Θが閾値Ｔｈ1よりも大きくない場合、処理は、Ｓ１４２に進む。
　なお、閾値Ｔｈ1は、上り坂を判別するために予め設定された閾値である。従って、閾値Ｔｈ1は、正値に設定される。例えば、車両Ｃが道路の小さな凹凸などに乗り上げた際に上り坂と判定されないよう、閾値Ｔｈ1は、０よりも大きな値に設定される。このような設定にすれば、道路の小さな凹凸に反応して提示範囲Ｗが頻繁に変化することによる視認性の悪化を抑制することができる。また、安定した後方視界が得られるため、安全性の向上に寄与する。
　（Ｓ１４２）画像切り出し部１２６は、Ｓ１４１の処理で取得した傾斜角Θと閾値Ｔｈ2とを比較し、傾斜角Θが閾値Ｔｈ2よりも小さいか否かを判定する。傾斜角Θが閾値Ｔｈ2よりも小さい場合、処理は、図１７のＳ１５０に進む。一方、傾斜角Θが閾値Ｔｈ2よりも小さくない場合、処理は、Ｓ１４３に進む。
　なお、閾値Ｔｈ2は、下り坂を判別するために予め設定された閾値である。従って、閾値Ｔｈ2は、負値に設定される。例えば、車両Ｃが道路の小さな凹凸などを越えた後に下り坂と判定されないよう、閾値Ｔｈ2は、０よりも小さな値に設定される。このような設定にすれば、道路の小さな凹凸に反応して提示範囲Ｗが頻繁に変化することによる視認性の悪化を抑制することができる。また、安定した後方視界が得られるため、安全性の向上に寄与する。
　（Ｓ１４３）画像切り出し部１２６は、提示範囲Ｗを既定値に設定する。Ｓ１４３の処理は、車両Ｃが水平面に近い形状の道路を走行中に実行される。この場合には、傾斜角Θに応じた提示範囲Ｗの補正は行わず、予め設定された提示範囲Ｗ（既定値）の提示画像Ｐｃが運転者に提示される。既定値には、例えば、第１カメラ２０１Ａ、第２カメラ２０１Ｂの光軸方向を中心とする視野Ｖに対応する提示範囲Ｗが設定される。つまり、角度ηが０となるような提示範囲Ｗが既定値に設定される。
　Ｓ１４３の処理が完了すると、図１５～図１７に示した一連の処理は終了する。
　（Ｓ１４４）画像切り出し部１２６は、記憶部１２１から基準地点Ｑの情報を取得し、基準地点Ｑの情報に基づいて角度ΘQを計算する。また、画像切り出し部１２６は、角度ΘQと傾斜角Θとを比較し、角度ΘQが傾斜角Θよりも小さいか否かを判定する。つまり、画像切り出し部１２６は、道路が凹形状であるか否かを判定する。角度ΘQが傾斜角Θよりも小さい場合、処理は、Ｓ１４５に進む。一方、角度ΘQが傾斜角Θよりも小さくない場合、処理は、Ｓ１４６に進む。
　（Ｓ１４５）画像切り出し部１２６は、線分ｑ0－Ｑを基準に提示範囲Ｗを決定する。例えば、画像切り出し部１２６は、線分ｑ0－Ｑが視野Ｖに含まれるように角度ηを＋方向に変化させる（図８の（Ａ）を参照）。但し、画像切り出し部１２６は、角度ηの変化を最小限（図８の（Ａ）のように、視野Ｖの上方境界と線分ｑ0－Ｑとが近接する状態）に留めるようにする。
　Ｓ１４５の処理が完了すると、図１５～図１７に示した一連の処理は終了する。
　（Ｓ１４６）画像切り出し部１２６は、記憶部１２１から道路形状の時系列データを取得し、線分ｑ0－Ｑが道路と交わるか否かを判定する。線分ｑ0－Ｑが道路と交わる場合、処理はＳ１４８に進む。一方、線分ｑ0－Ｑが道路と交わらない場合、処理はＳ１４７に進む。
　（Ｓ１４７）画像切り出し部１２６は、線分ｑ0－Ｑを基準に提示範囲Ｗを決定する。例えば、画像切り出し部１２６は、線分ｑ0－Ｑが視野Ｖに含まれるように角度ηを－方向に変化させる（図８の（Ｂ）を参照）。但し、画像切り出し部１２６は、角度ηの変化を最小限（図８の（Ｂ）のように、視野Ｖの下方境界と線分ｑ0－Ｑとが近接する状態）に留めるようにする。
　Ｓ１４７の処理が完了すると、図１５～図１７に示した一連の処理は終了する。
　（Ｓ１４８）画像切り出し部１２６は、Ｓ１４６の処理で取得した道路形状の時系列データを用いて道路に接する接線（線分ｑ0－ＱT）を計算する（図９の（Ｂ）を参照）。
　（Ｓ１４９）画像切り出し部１２６は、線分ｑ0－ＱTを基準に提示範囲Ｗを決定する。例えば、画像切り出し部１２６は、線分ｑ0－ＱTが視野Ｖに含まれるように角度ηを－方向に変化させる（図９の（Ｂ）を参照）。但し、画像切り出し部１２６は、角度ηの変化を最小限（図９の（Ｂ）のように、視野Ｖの下方境界と線分ｑ0－ＱTとが近接する状態）に留めるようにする。
　Ｓ１４９の処理が完了すると、図１５～図１７に示した一連の処理は終了する。
　（Ｓ１５０）画像切り出し部１２６は、記憶部１２１から基準地点Ｑの情報を取得し、基準地点Ｑの情報に基づいて角度ΘQを計算する。また、画像切り出し部１２６は、角度ΘQと傾斜角Θとを比較し、角度ΘQが傾斜角Θよりも大きいか否かを判定する。つまり、画像切り出し部１２６は、道路が凸形状であるか否かを判定する。角度ΘQが傾斜角Θよりも大きい場合、処理は、Ｓ１５１に進む。一方、角度ΘQが傾斜角Θよりも大きくない場合、処理は、Ｓ１５２に進む。
　（Ｓ１５１）画像切り出し部１２６は、線分ｑ0－Ｑを基準に提示範囲Ｗを決定する。例えば、画像切り出し部１２６は、線分ｑ0－Ｑが視野Ｖに含まれるように角度ηを－方向に変化させる（図１０の（Ａ）を参照）。但し、画像切り出し部１２６は、角度ηの変化を最小限（図１０の（Ａ）のように、視野Ｖの下方境界と線分ｑ0－Ｑとが近接する状態）に留めるようにする。
　Ｓ１５１の処理が完了すると、図１５～図１７に示した一連の処理は終了する。
　（Ｓ１５２）画像切り出し部１２６は、記憶部１２１から道路形状の時系列データを取得し、線分ｑ0－Ｑが道路と交わるか否かを判定する。線分ｑ0－Ｑが道路と交わる場合、処理はＳ１５４に進む。一方、線分ｑ０－Ｑが道路と交わらない場合、処理はＳ１５３に進む。
　（Ｓ１５３）画像切り出し部１２６は、線分ｑ0－Ｑを基準に提示範囲Ｗを決定する。例えば、画像切り出し部１２６は、線分ｑ0－Ｑが視野Ｖに含まれるように角度ηを＋方向に変化させる（図１０の（Ｃ）を参照）。但し、画像切り出し部１２６は、角度ηの変化を最小限（図１０の（Ｃ）のように、視野Ｖの上方境界と線分ｑ0－Ｑとが近接する状態）に留めるようにする。
　Ｓ１５３の処理が完了すると、図１５～図１７に示した一連の処理は終了する。
　（Ｓ１５４）画像切り出し部１２６は、Ｓ１５２の処理で取得した道路形状の時系列データを用いて道路に接する接線（線分ｑ0－ＱT）を計算する（図１０の（Ｂ）を参照）。
　（Ｓ１５５）画像切り出し部１２６は、線分ｑ0－ＱTを基準に提示範囲Ｗを決定する。例えば、画像切り出し部１２６は、線分ｑ0－ＱTが視野Ｖに含まれるように角度ηを＋方向に変化させる（図１０の（Ｂ）を参照）。但し、画像切り出し部１２６は、角度ηの変化を最小限（図１０の（Ｂ）のように、視野Ｖの下方境界と線分ｑ0－ＱTとが近接する状態）に留めるようにする。
　Ｓ１５５の処理が完了すると、図１５～図１７に示した一連の処理は終了する。
　以上、提示範囲の決定に係る処理の流れについて説明した。
　［２－４．変形例＃１（傾斜角に基づく視界制御）］
　次に、図１８及び図１９を参照しながら、第２実施形態の一変形例（変形例＃１）に係る視界提供方法について説明する。上記説明に係る視界提供方法は、道路勾配の時系列データから道路形状を推定する処理を含んでいた。変形例＃１は、道路形状の推定処理を省略し、検出した道路勾配から直接的に補正角度ηを計算する方法を提案するものである。
　なお、図１８は、第２実施形態の一変形例（変形例＃１）に係る視界提供方法について説明するための第１の図である。また、図１９は、第２実施形態の一変形例（変形例＃１）に係る視界提供方法について説明するための第２の図である。
　（上り坂の場合）
　車両Ｃが上り坂を走行する場合、図１８に示すような走行距離に応じた傾斜角Θのデータが得られる。変形例＃１では、予め設定された２つの閾値Θth1、Θth2を用いて角度ηが制御される。例えば、画像切り出し部１２６は、傾斜角Θが閾値Θth1より大きくなるタイミング、及び傾斜角Θが閾値Θth2より小さくなるタイミングで予め設定されたパターンＦ1、Ｆ2に沿って角度ηを変化させる。なお、閾値Θth1、Θth2は正値である。例えば、閾値Θth1、Θth2は、Θth1＞Θth2＞０を満たすように設定される。
　図１８の例では、傾斜角Θが閾値Θth1を上回った後、徐々に角度ηが＋方向に大きくなり、その後、徐々に角度ηが０に近づくように、パターンＦ1が設定されている。傾斜角Θが閾値Θth2を下回った後、徐々に角度ηが－方向に大きくなり、その後、徐々に角度ηが０に近づくように、パターンＦ2が設定されている。パターンＦ1、Ｆ2のカーブは、例えば、走行速度と道路勾配とを考慮して実験的に決定される。
　（下り坂の場合）
　車両Ｃが下り坂を走行する場合、図１９に示すような走行距離に応じた傾斜角Θのデータが得られる。変形例＃１では、予め設定された２つの閾値Θth3、Θth4を用いて角度ηが制御される。例えば、画像切り出し部１２６は、傾斜角Θが閾値Θth3より小さくなるタイミング、及び傾斜角Θが閾値Θth4より大きくなるタイミングで予め設定されたパターンＦ3、Ｆ4に沿って角度ηを変化させる。なお、閾値Θth3、Θth4は負値である。例えば、閾値Θth3、Θth4は、Θth4＜Θth3＜０を満たすように設定される。
　図１９の例では、傾斜角Θが閾値Θth3を下回った後、徐々に角度ηが－方向に大きくなり、その後、徐々に角度ηが０に近づくように、パターンＦ3が設定されている。傾斜角Θが閾値Θth4を上回った後、徐々に角度ηが＋方向に大きくなり、その後、徐々に角度ηが０に近づくように、パターンＦ4が設定されている。パターンＦ3、Ｆ4のカーブは、例えば、走行速度と道路勾配とを考慮して実験的に決定される。
　変形例＃１を適用した場合、傾斜角Θ及び移動速度Ｖの時系列データを用いて道路形状を推定せずに提示範囲Ｗを制御することが可能になる。その結果、電子制御ユニット１００の処理負荷が低減される。
　以上、変形例＃１に係る視界提供方法について説明した。
　［２－５．変形例＃２（カーブを考慮した視界制御）］
　次に、図２０を参照しながら、第２実施形態の一変形例（変形例＃２）に係る視界提供方法について説明する。変形例＃２は、カーブを考慮した提示範囲の制御方法を提案するものである。なお、図２０は、第２実施形態の一変形例（変形例＃２）に係る視界提供方法について説明するための図である。
　図２０に示すように、車両Ｃが急なカーブを走行している場合、遠方の後方視野からは道路が外れてしまう可能性がある。そのため、傾斜角Θが大きいと判断して提示範囲Ｗをより遠方に移動すると、道路を含まない後方視界が提示範囲Ｗの大きな割合を占めてしまうことがある。
　こうした事情を考慮し、変形例＃２では、車両Ｃが走行している道路の曲率を検出し、検出した曲率が予め設定した閾値より大きい場合に、提示範囲Ｗを既定値に固定する仕組みを提案する。なお、道路の曲率は、例えば、３軸加速度センサから得られる水平面上の加速度のうち、車両Ｃの進行方向に垂直な方向の加速度成分に基づいて評価することができる。また、ＧＰＳ（Global Positioning System）や地図情報を利用して車両Ｃが走行中の道路について曲率を計算し、曲率が閾値より大きいか否かを判定することもできる。
　変形例＃２を適用した場合、基準地点Ｑに基づく提示範囲Ｗの制御により道路以外の後方視界が提示画像Ｐｃの大部分を占めてしまう状況を適切に回避することが可能になる。その結果、好適な後方視界を運転者に提供することができるようになり、安全性の向上に寄与する。
　以上、変形例＃２に係る視界提供方法について説明した。
　［２－６．変形例＃３（情報処理装置による視界制御）］
　次に、図２１を参照しながら、第２実施形態の一変形例（変形例＃３）に係る情報処理装置について説明する。上記説明に係る視界提供方法は、電子制御ユニット１００により実現されていた。変形例＃３は、上記説明に係る視界提供方法を電子制御ユニット１００とは異なる情報処理装置により実現する方法を提案するものである。なお、図２１は、第２実施形態の一変形例（変形例＃３）に係る情報処理装置のハードウェアについて説明するための図である。
　上記説明に係る視界提供方法を適用可能な情報処理装置としては、例えば、カーナビゲーションシステムなどが考えられる。また、スマートフォンやパーソナルコンピュータなどの情報処理装置をカーナビゲーションシステムや電子制御ユニット１００に接続し、情報処理装置を視界提供部１０２として利用する利用形態も考えられる。
　こうした方法を適用する場合、上述した視界提供部１０２の機能が情報処理装置に実装される。例えば、図２１に示すようなハードウェアを有する情報処理装置を利用することで、視界提供部１０２の機能を情報処理装置に実装することができる。この場合、視界提供部１０２が有する機能は、コンピュータプログラムを用いて図２１に示すハードウェアを制御することにより実現される。
　図２１に示すように、このハードウェアは、主に、ＣＰＵ９０２と、ＲＯＭ（Read Only Memory）９０４と、ＲＡＭ９０６と、ホストバス９０８と、ブリッジ９１０とを有する。さらに、このハードウェアは、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６とを有する。
　ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータなどを格納する記憶装置の一例である。ＲＡＭ９０６には、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に変化する各種パラメータなどが一時的又は永続的に格納される。
　これらの要素は、例えば、高速なデータ伝送が可能なホストバス９０８を介して相互に接続される。一方、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続される。また、入力部９１６としては、例えば、マウス、キーボード、タッチパネル、タッチパッド、ボタン、スイッチ、及びレバーなどが用いられる。さらに、入力部９１６としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラが用いられることもある。
　出力部９１８としては、例えば、ＣＲＴ、ＬＣＤ、ＰＤＰ、又はＥＬＤなどのディスプレイ装置が用いられる。また、出力部９１８として、スピーカやヘッドホンなどのオーディオ出力装置、又はプリンタなどが用いられることもある。つまり、出力部９１８は、情報を視覚的又は聴覚的に出力することが可能な装置である。
　記憶部９２０は、各種のデータを格納するための装置である。記憶部９２０としては、例えば、ＨＤＤなどの磁気記憶デバイスが用いられる。また、記憶部９２０として、ＳＳＤ（Solid State Drive）やＲＡＭディスクなどの半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイスなどが用いられてもよい。
　ドライブ９２２は、着脱可能な記録媒体であるリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８としては、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどが用いられる。
　接続ポート９２４は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）、ＲＳ－２３２Ｃポート、又は光オーディオ端子など、外部接続機器９３０を接続するためのポートである。外部接続機器９３０としては、例えば、プリンタなどが用いられる。
　通信部９２６は、ネットワーク９３２に接続するための通信デバイスである。通信部９２６としては、例えば、有線又は無線ＬＡＮ（Local Area Network）用の通信回路、ＷＵＳＢ（Wireless USB）用の通信回路、光通信用の通信回路やルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用の通信回路やルータ、携帯電話ネットワーク用の通信回路などが用いられる。通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークであり、例えば、インターネット、ＬＡＮ、放送網、衛星通信回線などを含む。
　以上、第２実施形態について説明した。
　上記については単に本発明の原理を示すものである。さらに、多数の変形、変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応するすべての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。
　１０　表示制御装置
　１１　記憶部
　１２　制御部
　２０　カメラ
　Ａ１１、Ａ１２　一部領域
　Ｃ１０　車両
　Ｌ１０　所定距離
　Ｍ１０　ミラー部分
　Ｏ１０　物体
　Ｐ１０　撮像画像
　Ｐ１１、Ｐ１２　画像
　ＰＴ１０　地点
　Ｖ１１、Ｖ１２　視野
　θ　道路勾配
　φ　視野角

Claims (12)

  1. 　車両の後方視界を撮像するカメラにより撮像された撮像画像が格納される記憶部と、
    　道路勾配を検出し、前記道路勾配に基づいて前記車両から所定距離だけ離れた道路上の地点を計算し、前記カメラと前記地点とを結ぶ直線上の点を含むように前記撮像画像の一部領域を切り出し、前記一部領域の画像を表示させる制御部と
    　を有する、表示制御装置。
  2. 　前記制御部は、前記車両上で受ける加速度の情報を取得し、前記加速度に基づいて前記道路勾配を検出する
    　請求項１に記載の表示制御装置。
  3. 　前記制御部は、設定した閾値よりも前記道路勾配が小さい場合には前記撮像画像から所定の一部領域を切り出し、前記閾値よりも前記道路勾配が大きい場合には前記カメラと前記地点とを結ぶ直線上の点を含むように前記撮像画像の一部領域を切り出す
    　請求項１又は２に記載の表示制御装置。
  4. 　前記制御部は、前記道路勾配を示すデータを前記記憶部に時系列で格納し、前記道路勾配を示すデータに基づいて前記後方視界に含まれる道路の形状を計算し、前記道路の形状に基づいて前記地点を計算する
    　請求項１～３のいずれか１項に記載の表示制御装置。
  5. 　前記制御部は、前記カメラと前記地点とを結ぶ直線と、前記道路の形状を示す道路勾配曲線とが交わる場合に、前記道路勾配曲線の接線を基準に前記撮像画像の一部領域を決定する
    　請求項４に記載の表示制御装置。
  6. 　前記制御部は、前記カメラと前記地点とを結ぶ直線上の点を含むように切り出される前記撮像画像の一部領域において道路の占める割合が所定の割合よりも大きくなる場合、前記道路が占める割合が前記所定の割合よりも小さくなるように前記一部領域の位置を調整する
    　請求項１～４のいずれか１項に記載の表示制御装置。
  7. 　車両の後方視界を撮像するカメラにより撮像された撮像画像が格納される記憶部から前記撮像画像を取得することが可能なコンピュータが、
    　道路勾配を検出し、前記道路勾配に基づいて前記車両から所定距離だけ離れた道路上の地点を計算し、前記カメラと前記地点とを結ぶ直線上の点を含むように前記撮像画像の一部領域を切り出し、前記一部領域の画像を表示させる
    　表示制御方法。
  8. 　車両の後方視界を撮像するカメラにより撮像された撮像画像が格納される記憶部から前記撮像画像を取得することが可能なコンピュータに、
    　道路勾配を検出し、前記道路勾配に基づいて前記車両から所定距離だけ離れた道路上の地点を計算し、前記カメラと前記地点とを結ぶ直線上の点を含むように前記撮像画像の一部領域を切り出し、前記一部領域の画像を表示させる
    　処理を実行させる、プログラム。
  9. 　前記コンピュータが有するプロセッサが、前記車両上で受ける加速度の情報を取得し、前記加速度に基づいて前記道路勾配を検出する
    　請求項７に記載の表示制御方法。
  10. 　前記コンピュータが有するプロセッサが、設定した閾値よりも前記道路勾配が小さい場合には前記撮像画像から所定の一部領域を切り出し、前記閾値よりも前記道路勾配が大きい場合には前記カメラと前記地点とを結ぶ直線上の点を含むように前記撮像画像の一部領域を切り出す
    　請求項７又は９に記載の表示制御方法。
  11. 　前記コンピュータが有するプロセッサが、前記道路勾配を示すデータを前記記憶部に時系列で格納し、前記道路勾配を示すデータに基づいて前記後方視界に含まれる道路の形状を計算し、前記道路の形状に基づいて前記地点を計算する
    　請求項７、９、１０のいずれか１項に記載の表示制御方法。
  12. 　前記コンピュータが有するプロセッサが、前記カメラと前記地点とを結ぶ直線上の点を含むように切り出される前記撮像画像の一部領域において道路の占める割合が所定の割合よりも大きくなる場合、前記道路が占める割合が前記所定の割合よりも小さくなるように前記一部領域の位置を調整する
    　請求項７、９、１０、１１のいずれか１項に記載の表示制御方法。
PCT/JP2013/082445 2013-12-03 2013-12-03 表示制御装置、表示制御方法、及びプログラム WO2015083228A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2013/082445 WO2015083228A1 (ja) 2013-12-03 2013-12-03 表示制御装置、表示制御方法、及びプログラム
JP2015551309A JP6245274B2 (ja) 2013-12-03 2013-12-03 表示制御装置、表示制御方法、及びプログラム
US15/165,842 US20160263997A1 (en) 2013-12-03 2016-05-26 Apparatus and method for controlling display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/082445 WO2015083228A1 (ja) 2013-12-03 2013-12-03 表示制御装置、表示制御方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/165,842 Continuation US20160263997A1 (en) 2013-12-03 2016-05-26 Apparatus and method for controlling display

Publications (1)

Publication Number Publication Date
WO2015083228A1 true WO2015083228A1 (ja) 2015-06-11

Family

ID=53273025

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/082445 WO2015083228A1 (ja) 2013-12-03 2013-12-03 表示制御装置、表示制御方法、及びプログラム

Country Status (3)

Country Link
US (1) US20160263997A1 (ja)
JP (1) JP6245274B2 (ja)
WO (1) WO2015083228A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019058504A1 (ja) * 2017-09-22 2019-03-28 三菱電機株式会社 後側方映像制御装置および後側方映像制御方法
WO2020153317A1 (ja) * 2019-01-23 2020-07-30 ソニーセミコンダクタソリューションズ株式会社 車載カメラ
JP2022126659A (ja) * 2018-12-28 2022-08-30 株式会社Ｊｖｃケンウッド 車両用映像処理装置、車両用映像処理システム、車両用映像処理方法およびプログラム
JP2022141664A (ja) * 2017-12-26 2022-09-29 ウェイモ エルエルシー 調節可能な垂直視野

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2523548A (en) * 2014-02-12 2015-09-02 Risk Telematics Uk Ltd Vehicle impact event assessment
JP6816389B2 (ja) * 2016-06-30 2021-01-20 アイシン精機株式会社 周辺監視装置
JP6730615B2 (ja) * 2016-07-12 2020-07-29 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6597588B2 (ja) * 2016-12-20 2019-10-30 トヨタ自動車株式会社 画像表示装置
JP6601422B2 (ja) * 2017-01-11 2019-11-06 トヨタ自動車株式会社 画像表示装置
DE102017210264A1 (de) * 2017-06-20 2018-12-20 Zf Friedrichshafen Ag Verfahren zur Bedienung eines Fahrzeugbediensystems
KR101979277B1 (ko) * 2017-07-25 2019-05-16 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
US10536646B2 (en) * 2017-07-28 2020-01-14 Panasonic Intellectual Property Corporation Of America Imaging control device and imaging control method
JP7067353B2 (ja) * 2018-08-09 2022-05-16 トヨタ自動車株式会社 運転者情報判定装置
CN112956183B (zh) * 2018-10-31 2024-03-12 索尼集团公司 图像拍摄设备、控制方法和记录程序的介质
US11722645B2 (en) * 2018-10-31 2023-08-08 Sony Group Corporation Image-capturing apparatus, image processing method, and program
US11814816B2 (en) 2019-09-11 2023-11-14 Deere & Company Mobile work machine with object detection and machine path visualization
US11755028B2 (en) 2019-09-11 2023-09-12 Deere & Company Mobile work machine with object detection using vision recognition
US11472416B2 (en) 2020-04-30 2022-10-18 Deere & Company Multi-dimensional mobile machine path visualization and control system
US11405559B1 (en) 2021-02-19 2022-08-02 Honda Motor Co., Ltd. Systems and methods for live signal adjustment of a movable camera

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006321265A (ja) * 2005-05-17 2006-11-30 Honda Lock Mfg Co Ltd 車両の後方視界補正制御装置
JP2006322797A (ja) * 2005-05-18 2006-11-30 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2008168865A (ja) * 2007-01-15 2008-07-24 Toyota Motor Corp 車両制御装置
JP2010135998A (ja) * 2008-12-03 2010-06-17 Aisin Seiki Co Ltd 車両周辺認知支援装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006321265A (ja) * 2005-05-17 2006-11-30 Honda Lock Mfg Co Ltd 車両の後方視界補正制御装置
JP2006322797A (ja) * 2005-05-18 2006-11-30 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2008168865A (ja) * 2007-01-15 2008-07-24 Toyota Motor Corp 車両制御装置
JP2010135998A (ja) * 2008-12-03 2010-06-17 Aisin Seiki Co Ltd 車両周辺認知支援装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019058504A1 (ja) * 2017-09-22 2019-03-28 三菱電機株式会社 後側方映像制御装置および後側方映像制御方法
JPWO2019058504A1 (ja) * 2017-09-22 2020-02-27 三菱電機株式会社 後側方映像制御装置および後側方映像制御方法
JP2022141664A (ja) * 2017-12-26 2022-09-29 ウェイモ エルエルシー 調節可能な垂直視野
JP7486547B2 (ja) 2017-12-26 2024-05-17 ウェイモ エルエルシー 調節可能な垂直視野
JP2022126659A (ja) * 2018-12-28 2022-08-30 株式会社Ｊｖｃケンウッド 車両用映像処理装置、車両用映像処理システム、車両用映像処理方法およびプログラム
JP7363965B2 (ja) 2018-12-28 2023-10-18 株式会社Ｊｖｃケンウッド 車両用映像処理装置、車両用映像処理システム、車両用映像処理方法およびプログラム
WO2020153317A1 (ja) * 2019-01-23 2020-07-30 ソニーセミコンダクタソリューションズ株式会社 車載カメラ
JPWO2020153317A1 (ja) * 2019-01-23 2021-11-25 ソニーセミコンダクタソリューションズ株式会社 車載カメラ
JP7436391B2 (ja) 2019-01-23 2024-02-21 ソニーセミコンダクタソリューションズ株式会社 車載カメラ、及び車載カメラシステム

Also Published As

Publication number Publication date
US20160263997A1 (en) 2016-09-15
JP6245274B2 (ja) 2017-12-13
JPWO2015083228A1 (ja) 2017-03-16

Similar Documents

Publication Publication Date Title
JP6245274B2 (ja) 表示制御装置、表示制御方法、及びプログラム
KR101641490B1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
US9589393B2 (en) Driver log generation
KR101565007B1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
KR101698783B1 (ko) 스테레오 카메라 및 이를 구비한 차량
US20180229654A1 (en) Sensing application use while driving
US10997737B2 (en) Method and system for aligning image data from a vehicle camera
JP2010018201A (ja) 運転者支援装置、運転者支援方法および運転者支援処理プログラム
JP2013186245A (ja) 車両周辺監視装置
JP2019046277A (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2021217570A1 (zh) 基于隔空手势的控制方法、装置及系统
KR101822892B1 (ko) 차량 운전 보조 장치 및 차량 운전 보조 장치의 동작 방법
WO2019188926A1 (ja) 余所見判定装置、余所見判定システム、余所見判定方法、記憶媒体
EP3330135B1 (en) Detection device, imaging device, vehicle, and detection method
KR20170140284A (ko) 차량 운전 보조 장치 및 차량
JP2021157831A (ja) 余所見判定装置、余所見判定システム、余所見判定方法、プログラム
JP7109649B2 (ja) 覚醒度推定装置、自動運転支援装置および覚醒度推定方法
CN114940179A (zh) 横摆角速度推断装置
CN114906157A (zh) 横摆角速度推断装置
US11220181B2 (en) Operation control device, operation control method, and storage medium
CN115022547A (zh) 车载摄像头清洗方法、装置、车辆、存储介质及芯片
US11100353B2 (en) Apparatus of controlling region of interest of image and method for controlling the same
CN110422178B (zh) 驾驶信息获取方法、装置及信息获取系统
JP7081481B2 (ja) 車両用映像処理装置、車両用映像処理システム、車両用映像処理方法およびプログラム
JP2021146804A (ja) 情報処理装置、車両及び情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13898624

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015551309

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13898624

Country of ref document: EP

Kind code of ref document: A1