WO2016185691A1 - 画像処理装置、電子ミラーシステム、及び画像処理方法 - Google Patents

画像処理装置、電子ミラーシステム、及び画像処理方法 Download PDF

Info

Publication number
WO2016185691A1
WO2016185691A1 PCT/JP2016/002295 JP2016002295W WO2016185691A1 WO 2016185691 A1 WO2016185691 A1 WO 2016185691A1 JP 2016002295 W JP2016002295 W JP 2016002295W WO 2016185691 A1 WO2016185691 A1 WO 2016185691A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
region
interest
vehicle
rear side
Prior art date
Application number
PCT/JP2016/002295
Other languages
English (en)
French (fr)
Inventor
俊亮 臼井
マティアス フォッケン
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to DE112016002268.9T priority Critical patent/DE112016002268T5/de
Publication of WO2016185691A1 publication Critical patent/WO2016185691A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Definitions

  • This disclosure relates to a technique for displaying an image of a rear side of a vehicle on a display in a vehicle interior.
  • Patent Document 1 discloses an image display device that sets a region of interest as a target of user's attention in an image and enlarges and displays this region of interest as a general image processing technique. This image display device can make an object of interest of the user stand out by enlarging the attention area.
  • an electronic mirror system has been developed that displays an image of the rear side of a vehicle on a display provided in the vehicle interior instead of a door mirror installed in the vehicle.
  • image processing technology such as enlarged display.
  • the inventors of the present application focused on the fact that there is a complicated area in the rear side image that displays a complicated image. For example, when a vehicle is moving at a very high speed on a road with unlimited speed in Europe, a stationary object on the road such as a soundproof wall or guardrail that flows backward at high speed is displayed in the rear side image. Can be reflected. Such intense movement of the object to be photographed may result in an image that is easy to feel troublesome for a driver or the like who visually recognizes the display.
  • This disclosure is intended to provide a technique related to image processing that can realize information presentation that is easily recognized by a driver or the like while reducing the annoyance of the video on the rear side.
  • the image processing apparatus displays an image of the rear side of the vehicle photographed by the imaging device mounted on the vehicle on a display provided in the vehicle interior of the vehicle.
  • the image processing apparatus sets a complicated area in which a complicated image is displayed in accordance with the movement of the object to be photographed, in an image acquisition unit that acquires a captured image of the rear side imaged by the imaging device, and in the rear side image.
  • An image composition unit that pastes an image and outputs the image to a display.
  • An electronic mirror system includes an image processing device, an imaging device that outputs a rear side image to the image processing device, and a display that displays the rear side image output from the image processing device.
  • An image processing method displays an image of a rear side of a vehicle photographed by an imaging device mounted on the vehicle on a display provided in the vehicle interior of the vehicle. Let In the image processing method, an image acquisition step of acquiring a rear side captured image captured by the imaging device by at least one processor, and a complicated video due to the movement of the object to be captured in the rear side video.
  • a complicated region setting step for setting a complicated region to be projected a region of interest setting step for setting a region of interest of interest of the driver of the vehicle in the rear side image, and a complicated region in the captured image
  • an enlarged image of a region of interest is included in a complicated region that becomes a complicated image due to the movement of the subject in the rear side image. Is pasted. Therefore, in the rear side image displayed on the display, the image of the complicated area can be covered with the image of the region of interest. In addition, since the video of the region of interest pasted on the complicated region is enlarged and displayed, the object of interest of the driver can be shown in detail. Therefore, it is possible to realize information presentation that is easy for the viewer to recognize while reducing the troublesomeness of the video on the rear side.
  • FIG. 1 is a diagram schematically showing the mounting positions of the left and right rear side cameras and the rear side monitor in the host vehicle.
  • FIG. 2 is a diagram showing a layout around the driver's seat in the own vehicle
  • FIG. 3 is a block diagram showing the overall configuration of the electronic mirror system
  • FIG. 4 is a diagram illustrating functional blocks constructed in the control circuit of the image processing apparatus.
  • FIG. 5 is a diagram illustrating an example of a captured image in which the right rear side is captured
  • FIG. 6 is a diagram showing an example of an electronic mirror image displayed on the right rear side monitor, FIG.
  • FIG. 7 is a diagram illustrating an example of a captured image in which the left rear side is captured.
  • FIG. 8 is a diagram illustrating an example of an electronic mirror image displayed on the left rear side monitor
  • FIG. 9 is a bird's-eye view for explaining a traveling situation in which the electronic mirror image shown in FIG. 10 is displayed.
  • FIG. 10 is a diagram showing an example of an electronic mirror image displayed on the left rear side monitor in the traveling state of FIG.
  • FIG. 11 is a bird's-eye view for explaining the driving situation in which the electronic mirror image shown in FIG. 12 is displayed.
  • FIG. 12 is a diagram illustrating an example of an electronic mirror image displayed on the left rear side monitor in the traveling state of FIG.
  • FIG. 13 is an overhead view for explaining a traveling situation in which the electronic mirror image shown in FIG.
  • FIG. 14 is displayed.
  • FIG. 14 is a diagram illustrating an example of an electronic mirror image displayed on the left rear side monitor in the traveling state of FIG.
  • FIG. 15 is an overhead view for explaining a traveling situation in which the electronic mirror image shown in FIG. 16 is displayed.
  • FIG. 16 is a diagram showing an example of an electronic mirror image displayed on the left rear side monitor in the traveling state of FIG.
  • FIG. 17 is a diagram illustrating an example of an electronic mirror image displayed on the left rear side monitor
  • FIG. 18 is a flowchart showing the video processing performed by the control circuit of the image processing apparatus.
  • FIG. 19 is a diagram illustrating functional blocks of a control circuit in the second embodiment.
  • FIG. 20 is a diagram illustrating a complicated area and a region of interest in the second embodiment.
  • FIG. 21 is a bird's-eye view comparing and showing ranges shown in each region of interest in FIG.
  • FIG. 22 is a flowchart showing video processing according to the second embodiment.
  • the electronic mirror system 100 of this indication is mounted in the own vehicle A, as shown in FIG.1 and FIG.2.
  • the electronic mirror system 100 displays the rear side images 40L and 40R (see FIGS. 6 and 8) taken by the rear side cameras 51 and 52 on the rear side monitors 61 and 62, respectively. Display.
  • the electronic mirror system 100 is connected to the communication bus 99, thereby allowing the operation device 81, the in-vehicle sensor 83, the periphery monitoring device 91, the in-vehicle communication device 93, the navigation device 95, and the like to communicate with each other. Can be exchanged.
  • the electronic mirror system 100 is configured by the rear side cameras 51 and 52, the rear side monitors 61 and 62, the image processing apparatus 20, and the like.
  • the operation device 81 is disposed, for example, in a center console provided between the driver's seat and the passenger seat (see FIG. 2). For example, a setting value related to the electronic mirror system 100 is input to the operation device 81 by a driver or the like.
  • the operation device 81 can output input information based on an input from a driver or the like to the communication bus 99.
  • the operation device 81 may be, for example, a press switch provided on the steering wheel, a press switch provided on the center cluster, a dial, or the like.
  • the in-vehicle sensor 83 is various sensors mounted on a vehicle including at least a speed sensor, an angular velocity sensor, and a steering angle sensor, for example.
  • the in-vehicle sensor 83 is connected to the communication bus 99.
  • the in-vehicle sensor 83 can output measurement information related to the traveling state of the host vehicle A such as the traveling speed, yaw rate, and steering angle of the host vehicle A (see FIG. 1) to the communication bus 99.
  • the periphery monitoring device 91 includes at least a plurality of external sensors and a periphery monitoring ECU (Electronic Control Unit).
  • the external sensor can include a peripheral monitoring camera 92, a millimeter wave radar, a quasi-millimeter wave radar, a lidar, a sonar, and the like.
  • the peripheral monitoring camera 92 can include a front camera, a rear camera, left and right cameras, and the like.
  • the peripheral monitoring device 91 is a moving object such as a pedestrian, a non-human animal, a bicycle, a motorcycle, and other vehicles, a fallen object on the road, a traffic signal, a guardrail, a curb, a road sign, a road marking, a lane marking, And detecting static objects such as trees.
  • the peripheral monitoring device 91 is connected to the communication bus 99.
  • the surroundings monitoring device 91 uses other vehicle position information indicating the relative position of the detected object including other vehicles, own lane information indicating whether the traveling lane is the traveling lane or the overtaking lane, and the like as the monitoring information. Can be output.
  • the in-vehicle communication device 93 is an in-vehicle device for V2X (vehicle to X) that enables wireless communication between the vehicle A and the outside.
  • the in-vehicle communication device 93 is connected to the communication bus 99 and an antenna for wireless communication.
  • the in-vehicle communication device 93 can perform inter-vehicle communication by wireless communication with the in-vehicle communication device of another vehicle located around the host vehicle A (see FIG. 1).
  • the in-vehicle communication device 93 can perform road-to-vehicle communication by wireless communication with a roadside device installed beside the road.
  • the in-vehicle communication device 93 can receive traffic jam information, traffic regulation information, and the like as VICS (registered trademark) information, for example.
  • the in-vehicle communication device 93 can transmit the information of the host vehicle A output on the communication bus 99 to other vehicles and roadside units.
  • the in-vehicle communication device 93 can output received information received from other vehicles and roadside devices to the communication bus 99.
  • the navigation device 95 includes a GNSS (Global Navigation Satellite System) receiver, an inertial sensor such as a gyro sensor, a memory for storing map data, and a navigation ECU.
  • the navigation device 95 measures the position of the host vehicle A (see FIG. 1) by combining signals from a plurality of artificial satellites received by the GNSS receiver and the measurement results of the inertial sensor.
  • the navigation device 95 acquires the shape information and the speed limit information of the road on which the host vehicle A is traveling by reading out map data around the host vehicle A from the memory based on the measured position information.
  • the navigation device 95 acquires road type information such as whether the road on which the vehicle A is traveling is a highway or a general road.
  • the navigation device 95 can output position information, road shape information, speed limit information, road type information, and the like of the host vehicle A to the communication bus 99.
  • the rear side cameras 51 and 52 are configured to include at least an image sensor that converts incident light into an electrical signal, an optical system that causes light to enter the image sensor, and a control unit that controls the image sensor and the optical system. .
  • As the image sensor a CCD (Charge-Coupled Device) image sensor, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, or the like can be used.
  • the rear side cameras 51 and 52 are connected to the image processing apparatus 20.
  • the rear side cameras 51 and 52 are disposed in the vicinity of the left and right side mirrors outside the passenger compartment of the host vehicle A shown in FIG.
  • the rear side cameras 51 and 52 may be fixed to the left and right doors of the host vehicle A, or may be attached to each door so that the orientation of the imaging surface of the imaging element can be adjusted.
  • the right rear side camera 51 captures a range of the right side and the rear side (hereinafter, right rear side) of the traveling direction at a predetermined frame rate (for example, 30 frames per second) around the host vehicle A.
  • the left rear side camera 52 captures a range of the left side and the rear side (hereinafter, left rear side) in the traveling direction at a predetermined frame rate around the host vehicle A.
  • the rear side cameras 51 and 52 sequentially output image data of a series of captured images 41R and 41L (see FIGS. 5 and 7), which are continuously captured, to the image processing apparatus 20 as video signals.
  • the rear side monitors 61 and 62 include at least a display device such as an organic EL (OLED, Organic Light-Emitting Diode) display or a liquid crystal display, and a control unit that controls each pixel of the display device.
  • the rear side monitors 61 and 62 are connected to the image processing apparatus 20.
  • the rear side monitors 61 and 62 are arranged at the base of each pillar located on both sides of the windshield 18 in the vehicle interior of the host vehicle A shown in FIG.
  • the rear side monitors 61 and 62 may be fixed to the instrument panel 19 or may be attached to the instrument panel 19 so that the orientation of the display surface can be adjusted.
  • the right rear side monitor 61 displays an image of the right rear side of the host vehicle A taken by the right rear side camera 51 (see FIG. 1) based on the video signal output from the image processing device 20.
  • the left rear side monitor 62 displays an image of the left rear side of the host vehicle A taken by the left rear side camera 52 (see FIG. 1) based on the video signal output from the image processing device 20.
  • the image processing apparatus 20 includes at least a main processor 21, a drawing processor 22, a rewritable nonvolatile memory 23, an input / output interface 24 for inputting / outputting information, and a bus connecting them.
  • a control circuit 20a is provided.
  • the image processing apparatus 20 acquires video signals from the rear side cameras 51 and 52 and outputs them to the rear side monitors 61 and 62.
  • the image processing apparatus 20 can construct a plurality of functional blocks (31 to 38) shown in FIG. 4 by executing the program stored in the memory 23 by each of the processors 21 and 22.
  • a captured image 41R by the right rear side camera 51 shown in FIG. 5 is one frame of the right rear side video 40R before image processing output from the right rear side camera 51 to the image processing device 20.
  • the captured image 41R is image-processed like an electronic mirror image 49R shown in FIG. 6, and is output from the image processing apparatus 20 to the right rear side as one frame of the right rear side video 40R displayed on the right rear side monitor 61. It is output to the monitor 61.
  • the captured image 41L by the left rear side camera 52 shown in FIG. 7 is one frame of the left rear side video 40L before image processing output from the left rear side camera 52 to the image processing device 20.
  • the captured image 41L is image-processed like an electronic mirror image 49L shown in FIG. 8, and is processed from the image processing apparatus 20 as one frame of the left rear side image 40L displayed on the left rear side monitor 62.
  • the data is output to the monitor 62.
  • the captured image 41R and the captured image 41L are images corresponding to a landscape on the rear side as seen by a vehicle occupant through a conventional optical mirror (door mirror).
  • the captured images 41R and 41L shown in FIGS. 5 and 7 are images that have been subjected to mirroring processing.
  • the mirroring process for reversing the left and right of the captured image may be performed by each of the right rear side camera 51 and the left rear side camera 52 as in the present embodiment, or a normal image of the captured image. It may be performed by the image processing apparatus 20 that acquired the above.
  • a complicated area 42, a low information amount area 43, and a region of interest 44 can be set in each of the rear side images 40R and 40L before the image processing shown in FIGS.
  • the complicated area 42 is an area in which a complicated image is projected in accordance with the movement of the object to be photographed in each of the rear side images 40R and 40L.
  • the object to be photographed is not an important tangible object that is of interest to the driver, but is a standing object that stands continuously alongside a road such as a guardrail, a soundproof wall, and a tree.
  • the landscape of the side including these standing objects flows at high speed toward the rear in the complicated area 42 as the host vehicle A travels. As a result, a drastic change occurs between the frames in each of the complicated areas 42 of the rear side images 40R and 40L.
  • the intense display change in the complicated area 42 attracts the driver and makes the driver feel annoying.
  • the complicated video is, for example, a video that attracts the driver and makes the driver feel annoying.
  • complicated video refers to tangible objects that are not subject to the driver's interest, such as guardrails, sound barriers, and standing structures standing next to the road, such as trees, flowing backwards at high speed. It is a picture.
  • the low information amount area 43 is an area in which the road surface, the roadside zone, the sky, and the like of the road in the adjacent lane are shown in the rear side images 40R and 40L.
  • the low information amount area 43 as in the complicated area 42, there is substantially no important object to be captured by the driver, such as a parallel car, a two-wheeled vehicle, a bicycle, and a pedestrian.
  • each low information amount region 43 is a region with very little change between frames. Note that a road surface on which a plurality of white lines extending in an inclination direction with respect to the traveling direction of the host vehicle A is continuously drawn may correspond to the complicated area 42 instead of the low information amount area 43.
  • the region of interest 44 is a region in which important tangible objects of interest of the driver are displayed in the rear side images 40R and 40L. Examples of the object to be photographed in the region of interest 44 include a succeeding vehicle A1 that travels behind the host vehicle A, an emergency vehicle Q1 (see FIG. 9), and a roadway outer line 47a (see FIG. 15) on a narrow mountain slope. Is included.
  • a plurality of regions of interest 44 can be set in each of the rear side images 40R and 40L. When a plurality of regions of interest 44 are set, each region of interest 44 is given a priority.
  • the range included in the region of interest 44 is cut out from each of the captured images 41R and 41L as a cut-out image 44a.
  • the cutout image 44a is enlarged in accordance with the size of the range that is the logical sum of the complicated area 42 and the low information amount area 43 while substantially maintaining the aspect ratio in the vertical and horizontal directions.
  • the enlarged image 45 obtained by enlarging the cut-out image 44a is pasted on these areas so as to hide the complicated area 42 and the low information amount area 43.
  • electronic mirror images 49R and 49L output to the rear side monitors 61 and 62 are generated.
  • the frame image 44b and the leader line image 45a are drawn on the electronic mirror images 49R and 49L.
  • the frame image 44b is displayed in a rectangular frame shape and indicates the outer edge of the region of interest 44 to be cut out of the cut image 44a.
  • the leader line image 45a extends linearly from the corner of the frame image 44b toward the corner of the enlarged image 45.
  • the leader line image 45 a shows the connection between the region of interest 44 and the enlarged image 45.
  • the following vehicle A1 reflected in the region of interest 44 is displayed in an enlarged manner.
  • distant objects such as the following vehicle A1 appear very small. Therefore, it is difficult for the driver to determine the presence / absence of the following vehicle A1 and the relative speed, and it is difficult to recognize the following vehicle A1 that is overtaking at a high speed from a distance. Therefore, the enlarged display of the succeeding vehicle A1 can be useful information presentation for the driver.
  • the object to be imaged superimposed on the complicated area 42 and the low information amount area 43 may not be the succeeding vehicle A1.
  • other display modes of the rear side images 40R and 40L that display an enlarged view of other than the following vehicle A1 will be described with reference to FIGS.
  • a range indicated by a dot schematically indicates a range that can be captured by each camera.
  • FIGS. 9 and 10 when there is an emergency vehicle Q1 (ambulance) as a following vehicle on the right rear side of the host vehicle A, an emergency is shown in the left rear side image 40L by the right rear side camera 51.
  • a range including the automobile Q1 is the region of interest 44.
  • the emergency vehicle Q1 is enlarged and displayed in the right rear side image 40R (see FIG. 6).
  • the emergency vehicle Q1 is not shown in the left rear side image 40R by the left rear side camera 52.
  • a notification image 45e for notifying the emergency vehicle Q1 is displayed so as to overlap the complicated area 42 and the like.
  • the notification image 45e includes an emergency vehicle icon 45b that notifies the emergency vehicle Q1, a warning icon 45c that alerts the driver, an arrow icon 45d that indicates the position of the emergency vehicle Q1, and the like.
  • the left rear side image 40L can be notified of the position of the emergency vehicle Q1 without disturbing the driver by a display different from the right rear side image 40R.
  • the emergency vehicle Q1 is not limited to an ambulance, but may be a police vehicle, a fire engine, or the like.
  • the electronic mirror system 100 notifies the complicated area 42 of the right rear side image 40R (see FIG. 6) and the like to notify the existence of the bicycle. An image can be superimposed and displayed.
  • the electronic mirror system 100 can superimpose and display a notification image including a warning icon for alerting lane departure warning and blind spot warning on each complicated area 42 and the like.
  • the subsequent vehicle A1 when a subsequent vehicle A1 exists behind the host vehicle A in a curve curved in the right direction, the subsequent vehicle A1 is out of the imaging range of the left rear side camera 52.
  • the driver of the own vehicle A may move to the left lane in the same manner as the own vehicle A. Need to pay attention to. Under such circumstances, it is desirable that the warning of the following vehicle A1 is given by the left rear side image 40L shown in FIG.
  • the rear camera 92b can capture a range behind the host vehicle A as a range different from the rear side around the host vehicle A. Therefore, the rear camera 92b can capture the subsequent vehicle A1 traveling in the same lane as the host vehicle A even during curve traveling. Therefore, if the region of interest is set in the video imaged by the rear camera 92b, the cutout image 144a including the succeeding vehicle A1 is cut out.
  • This cut-out image 144a is cut out from the surrounding image 46 so as to include a part of the object to be captured (for example, a lane marking 46a) shown in the captured image 41L.
  • a part of the object to be captured for example, a lane marking 46a
  • the enlarged image 145 obtained by enlarging the subsequent vehicle A1 is superimposed and displayed on the left rear side video 40L.
  • the left rear side image 40L includes a plurality of following vehicles A1 and a complicated area 42. It is possible to enlarge the display.
  • the enlarged image 145 displayed in the left rear side video 40L is an image obtained by enlarging the cutout image 144a cut out from the surrounding image 46 so as to include a plurality of subsequent vehicles A1.
  • the region of interest is set in a range surrounding the plurality of subsequent vehicles A1 in the surrounding image 46 of the rear camera 92b.
  • the enlarged image 145 is a combination of a cut image 144a cut out from the surrounding image 46 of the rear camera 92b and a cut image 44a cut out from the captured image 41L of the left rear side camera 52 (see FIG. 7). May be generated.
  • the left rear side image 40 ⁇ / b> L can display an enlarged overhead image 47 in which the roadway outer line 47 a is enlarged. is there.
  • the bird's-eye view image 47 is a part of an image obtained by converting the viewpoint of the surrounding image 46 captured by the left side camera 92c of the periphery monitoring camera 92 as if looking down from directly above the host vehicle A.
  • the left side camera 92c is fixed to the left door or the like in a posture with the imaging surface facing downward.
  • the left side camera 92c can capture a wider range of the left side of the host vehicle A than the left rear side camera 52.
  • the surrounding image 46 converted from the viewpoint the vicinity of the left front wheel of the host vehicle A including the roadway outer line 47 a is set as the region of interest 44.
  • the overhead image 47 facilitates confirmation of the position of the host vehicle A in a narrow lane.
  • the viewpoint conversion of the surrounding image 46 can be performed by either the periphery monitoring device 91 or the image processing device 20 shown in FIG.
  • the electronic mirror system 100 can display the right rear side image 40 ⁇ / b> R covering the complicated area 42 with a predetermined mask image 48 on the right rear side monitor 61.
  • a predetermined mask image 48 on the right rear side monitor 61.
  • the image acquisition unit 31 acquires rear side captured images 41R and 41L captured by the rear side cameras 51 and 52, respectively.
  • the image acquisition unit 31 can acquire a surrounding image 46 (see FIG. 12 and the like) captured by the periphery monitoring camera 92 of the periphery monitoring device 91.
  • the image acquisition unit 31 can acquire, through the in-vehicle communication device 93, an image captured by a camera attached to a roadside machine, a received image captured by an in-vehicle camera of another vehicle, and the like.
  • the complicated area setting unit 32 performs image analysis on a series of captured images 41R and 41L acquired along the time series by the image acquisition unit 31, thereby setting a range that becomes the complicated area 42 in each of the rear side images 40R and 40L. Set. Specifically, the complicated area setting unit 32 calculates an optical flow in the continuous captured images 41R and 41L. The complicated area setting unit 32 defines the complicated area 42 in which the movement of the object to be photographed is fast from the gradient information in the time direction based on the optical flow. The complicated area setting unit 32 integrates measurement information such as traveling speed, monitoring information related to other vehicles traveling around, and the result of object recognition by image analysis, etc. The complicated area 42 can be set in an area that does not exist.
  • the low information amount region setting unit 33 sets a range to be the low information amount region 43 in each of the rear side images 40R and 40L. Similar to the complicated area setting unit 32, the low information amount area setting unit 33 integrates a plurality of pieces of information acquired by the information acquisition unit 36, thereby reducing the tangible object that is an interest of the driver to an area where there is no tangible object.
  • the information amount area 43 can be set.
  • the region-of-interest setting unit 34 sets the region of interest 44 in the range in which the tangible object that is the subject of interest of the driver exists in each of the rear side images 40R and 40L.
  • the region-of-interest setting unit 34 uses the own lane information and other vehicle position information included in the monitoring information, the result of object recognition such as the following vehicle A1 by image analysis, the road shape information by the navigation device 95, and the like. Can be set. Further, the region-of-interest setting unit 34 obtains traffic jam information and speed limit information included in the received information, travel speed included in the measurement information, travel locus information calculated from the steering angle and yaw rate included in the measurement information, and the like. 44 can be used for setting. For example, the region-of-interest setting unit 34 can identify an emergency vehicle Q1 (see FIG. 9), a general vehicle, a bicycle, and the like by object recognition using image analysis.
  • the region-of-interest setting unit 34 can adjust the range of the region of interest 44 when the region of interest 44 is set so as to include the following vehicle A1. Specifically, the position of the subsequent vehicle A1 in each of the captured images 41R and 41L varies depending on the road shape. Therefore, the region-of-interest setting unit 34 adjusts to the road shape such as the uphill, the downhill, and the left and right curves based on the image analysis result of the captured images 41R and 41L, the road shape information, the travel locus information, and the like. Adjustment is performed to move the position of the region of interest 44 up, down, left and right. The region-of-interest setting unit 34 can cause the region of interest 44 to follow the succeeding vehicle A1.
  • the region-of-interest setting unit 34 can set the region of interest 44 in the video or the like by the peripheral monitoring camera 92. In addition, the region-of-interest setting unit 34 can set a plurality of regions of interest 44 in each of the rear side images 40R and 40L and the image of the peripheral monitoring camera 92.
  • the region-of-interest setting unit 34 assigns a priority to each region of interest 44 when a plurality of regions of interest 44 are set. The priority is the highest in the region of interest 44 in which the emergency vehicle Q1 (see FIG. 9) appears, and then the region of interest 44 in which the subsequent vehicle A1 with the higher relative speed with respect to the host vehicle A (see FIG. 11) appears. It is set to be a region of interest 44 in which the following vehicle A1 appears. The priority of the roadway outer line 47a (see FIG. 15) is lower than that of the following vehicle A1.
  • the image composition unit 35 cuts out the range set as the region of interest 44 from each of the captured images 41R and 41L and the surrounding image 46 (see FIG. 12) as cut out images 44a and 144a (see FIG. 12).
  • the image composition unit 35 cuts out the range of the region of interest 44 with the highest priority as the cut images 44a and 144a.
  • the image composition unit 35 enlarges the cut-out images 44a and 144a according to the area of the logical sum of the complicated area 42 and the low information amount area 43, and generates enlarged images 45 and 145 (see FIG. 12).
  • the image composition unit 35 pastes the frame image 44b and the leader line image 45a on the complicated area 42 and the low information amount area 43, so that the electronic mirror images 49R and 49L (FIG. (See FIG. 8).
  • the image composition unit 35 gives priority to the complicated area 42 among the complicated area 42 and the low information amount area 43 as an area to which the enlarged images 45 and 145 are pasted.
  • the image composition unit 35 pastes the notification image 45e (see FIG. 10) and a predetermined mask image 48 on the complicated area 42 and the low information amount area 43 instead of the enlarged images 45 and 145.
  • Electronic mirror images 49R and 49L can be generated.
  • the image composition unit 35 electronically captures the captured images 41R and 41L without attaching the enlarged image 45 and the notification image 45e.
  • the mirror images 49R and 49L are used.
  • the image composition unit 35 outputs the electronic mirror images 49R and 49L to the rear side monitors 61 and 62, respectively.
  • the information acquisition unit 36 acquires, from the communication bus 99, measurement information by the in-vehicle sensor 83, monitoring information by the periphery monitoring device 91, reception information by the in-vehicle communication device 93, position information by the navigation device 95, road shape information, and the like. As described above, the information acquired by the information acquisition unit 36 is used for setting the regions 42 to 44 by the region setting units 32 to 34.
  • the process shown in the flowchart of FIG. 18 is started by the control circuit 20a when the power source of the electronic mirror system 100 is turned on and the power supply to the image processing apparatus 20 is started.
  • the control circuit 20a repeats the process shown in FIG. 18 until the power of the electronic mirror system 100 is turned off.
  • S101 the captured images 41R and 41L are acquired, and the process proceeds to S102.
  • S101 when there is an acquirable surrounding image 46, the surrounding image 46 is acquired.
  • S102 measurement information, monitoring information, and the like are acquired from the communication bus 99 as information required for setting the areas 42 to 44, and the process proceeds to S103.
  • S103 the complicated area 42 and the low information amount area 43 are set based on the images and information acquired in S101 and S102, and the process proceeds to S104.
  • S104 it is determined whether the area of the logical sum of the complicated area 42 and the low information amount area 43 is equal to or larger than a predetermined value. If it is determined in S104 that the total area of the complicated area 42 and the low information amount area 43 is less than the predetermined value, the process proceeds to S105. In S105, the captured images 41R and 41L are set as the electronic mirror images 49R and 49L, respectively, and the process proceeds to S111.
  • the process proceeds to S106.
  • the region of interest 44 is set from the images and information acquired in S101 and S102, and the process proceeds to S107.
  • S106 a plurality of regions of interest 44 given priority can be set.
  • S107 images to be pasted in the complicated area 42 and the low information amount area 43 are selected, and the process proceeds to S108.
  • the image to be pasted is selected from the enlarged images 45 and 145, the notification image 45e, the overhead image 47, and the like.
  • S108 it is determined whether there is an image selected in S107. If the region of interest 44 is not set in S106 and the notification image 45e and the overhead image 47 are not acquired, it is determined in S108 that there is no selected image, and the process proceeds to S109.
  • each of the electronic mirror images 49R and 49L is generated by pasting the mask image 48 on the complicated area 42 or the like, and the process proceeds to S111.
  • the process proceeds to S110.
  • the electronic mirror images 49R and 49L are generated by pasting any one of the enlarged images 45 and 145, the notification image 45e, the overhead image 47, and the like selected in S107 on the complicated area 42 and the like. Proceed to S111. In S111, the generated electronic mirror images 49R and 49L are output to the rear side monitors 61 and 62, and the process returns to S101.
  • the rear side monitors 61 and 62 are installed in the vehicle interior. Therefore, the rear side images 40L and 40R reflected on the rear side monitors 61 and 62 are visually recognized by the driver at a position closer to the central vision than the reflected image reflected on the optical door mirror. Therefore, the fast movement of the object to be photographed in the rear side images 40L and 40R is easily felt troublesome by the driver.
  • the rear side images 40L and 40R photographed at a predetermined frame rate for example, how the standing objects lined up continuously move in the direction opposite to the original moving direction due to the so-called strobe effect. Can be displayed. Such unnatural images are easily felt annoying by the driver.
  • the enlarged images 45 and 145 of the enlarged region of interest 44 are pasted on the complicated region 42 of the rear side images 40R and 40L. Therefore, the video of the complicated area 42 is obscured by the video of the region of interest 44.
  • the video of the region of interest 44 attached to the complicated region 42 is displayed in an enlarged manner, the succeeding vehicle A1 and the like that are important for the driver's interest can be shown in detail. Accordingly, it is possible to realize information presentation that can be easily recognized by a viewer such as a driver while reducing the annoyance of the rear side images 40R and 40L.
  • the rear side images 40R and 40L can present information more easily recognized by the driver.
  • the enlarged images 45, 145 and the like are preferentially pasted on the complicated area 42. Therefore, the complicated area 42 can be reliably covered with the enlarged images 45, 145 and the like. According to the above, even if the low information amount region 43 is added to the target region to which the enlarged images 45, 145 and the like are pasted, the effect of reducing the troublesomeness of the rear side images 40R, 40L is surely exhibited. .
  • the annoying display range in the currently acquired series of captured images 41R and 41L is an ugly and complicated area 42. Can be set. By affixing the enlarged images 45, 145 and the like to the complicated area 42 set in this way, the effect of reducing the troublesomeness of the rear side images 40R, 40L is reliably exhibited.
  • the region of interest 44 of the first embodiment can be set to include the following vehicle A1. Therefore, the rear side images 40R and 40L can easily show the subsequent vehicle A1 approaching the host vehicle A from a distance by an enlarged display. As described above, the rear side images 40R and 40L can surely prompt the driver to pay attention to the following vehicle A1.
  • the region of interest 44 including information that is useful and important to the driver is preferentially pasted to each of the rear side images 40R and 40L by setting the priority to the plurality of regions of interest 44. Attached. As described above, it is possible to avoid a situation in which the rear side images 40R and 40L are displayed in a complicated manner due to the arbitration processing for narrowing down the pasted image. In addition, the rear side images 40R and 40L can present only information that is useful and important to the driver in an easy-to-understand manner by reducing the number of images to be pasted.
  • the complicated region 42 is obscured by the mask image 48. Therefore, the effect of reducing the troublesomeness of the rear side images 40R and 40L is surely exhibited.
  • a process of blurring the video of the complicated area 42 can be performed. Even by such processing, the effect of reducing the troublesomeness of the video in the complicated area 42 can be exhibited.
  • the region of interest 44 can be set also in the surrounding image 46 acquired from the surrounding monitoring camera 92 or the like other than the rear side cameras 51 and 52. Therefore, the electronic mirror system 100 can also present useful and important information generated outside the photographing range of the rear side cameras 51 and 52 to the driver in an easy-to-understand manner.
  • the cut image 144a when the cut image 144a is cut out from the surrounding image 46, a part of the lane marking 46a that appears in the captured images 41R and 41L is also included in the enlarged image 145. Therefore, a viewer such as a driver can grasp a rough position where the enlarged image 145 is cut out.
  • the region of interest 44 when the region of interest 44 is set in the surrounding image 46, it is desirable that at least a part of the object to be captured shown in the captured images 41R and 41L is also included in the cutout image 144a.
  • the main processor 21 and the drawing processor 22 correspond to the “processor” described in the present disclosure
  • the enlarged image 45 corresponds to the “image of the enlarged region of interest” described in the present disclosure.
  • the right rear side camera 51 and the left rear side camera 52 correspond to the “imaging device” described in the present disclosure
  • the right rear side monitor 61 and the left rear side monitor 62 correspond to the “display” described in the present disclosure.
  • the rear camera 92b and the left side camera 92c correspond to “another imaging device” described in the present disclosure.
  • S101 corresponds to the “image acquisition step” described in the present disclosure
  • S103 corresponds to the “complex area setting step” described in the present disclosure.
  • S106 corresponds to the “region of interest setting step” described in the present disclosure
  • S110 corresponds to the “image composition step” described in the present disclosure.
  • the second embodiment of the present disclosure shown in FIGS. 19 to 22 is a modification of the first embodiment.
  • processing different from that in the first embodiment is performed by the control circuit 20a.
  • the control circuit 20a includes a scene estimation unit 237, an enlargement necessity determination unit 238, a complicated region setting unit 232, and a region of interest setting unit 234.
  • the image composition unit 235 is constructed as a functional block. Details of each functional block will be described below with reference to FIG. 3 based on FIG. 19 to FIG. Note that the following content of the left rear side image 40L is naturally applicable to the right rear side image 40R (see FIG. 3).
  • the scene estimation unit 237 estimates a driving scene in which the driver is driving the vehicle A based on the information acquired by the information acquisition unit 36. Specifically, the scene estimation unit 237 determines whether the host vehicle A is traveling on a highway (including Expressway, Autobahn, Autoroute, etc.) based on road type information and travel speed measurement information by the navigation device 95. judge.
  • a highway including Expressway, Autobahn, Autoroute, etc.
  • the enlargement necessity determination unit 238 determines whether the region of interest 44 needs to be enlarged.
  • the enlargement necessity determination unit 238 determines that the enlarged display is necessary in a situation in which there is a good prospect of the rear of the own vehicle A and there is likely to be a succeeding vehicle A1 that passes by at a higher speed than the own vehicle A. I do.
  • the information acquisition unit 36 receives the VICS information from the in-vehicle communication device 93, the speed limit information from the navigation device 95, and the in-vehicle sensor 83. Get travel speed measurement information.
  • the enlargement necessity determination unit 238 estimates whether or not the traveling road is not congested based on the VICS information and the like.
  • the enlargement necessity determination unit 238 compares the traveling speed of the host vehicle A with the minimum speed limit of the road being traveled, and if the travel speed is equal to or higher than the minimum speed limit, the traveling road is not congested. Presume that there is.
  • the enlargement necessity determination unit 238 compares the traveling speed of the host vehicle A with the maximum speed limit of the road being traveled. If the traveling speed is less than the maximum speed limit, the succeeding vehicle that travels at a higher speed than the host vehicle A. Presume that A1 exists.
  • the enlargement necessity determination unit 238 makes an enlargement display necessity determination when it is estimated that the road on which the vehicle is traveling is not congested or congested and there is a subsequent vehicle A1 that travels at a high speed.
  • the complicated area setting unit 232 sets the complicated area 42 at a position associated with the driving scene estimated by the scene estimation unit 237.
  • the complicated area setting unit 232 sets a predetermined range in the rear side image 40L as the complicated area 42.
  • the complicated area setting unit 232 sets a range in which insignificant objects such as a median strip and a soundproof wall are reflected as the complicated area 42.
  • a predetermined range on the outer side and the upper side in the width direction of the host vehicle A is the complicated area 42.
  • the region-of-interest setting unit 234 sets the region of interest 44 at a position associated with the driving scene estimated by the scene estimation unit 237.
  • the region-of-interest setting unit 234 sets, as the region of interest 44, a range in which the following vehicle A1 can be included in the rear side image 40L when the scene estimation unit 237 estimates that the vehicle is traveling on the highway.
  • the region of interest 44 is a rectangular region having a predetermined number of pixels vertically and horizontally, for example, 60 pixels vertically and 80 pixels horizontally.
  • the aspect ratio of the rectangular area as the region of interest 44 is substantially the same as the aspect ratio of the complicated area 42.
  • the region-of-interest setting unit 234 can move the position of the rectangular region as the region of interest 44 using, for example, the upper left corner of the rectangular region as a reference position. In addition, the region-of-interest setting unit 234 can enlarge or reduce the size of the region of interest 44.
  • the region-of-interest setting unit 234 expands the region of interest 44 so as to expand a lane located at a specific distance (hereinafter referred to as an enlarged rear distance) behind the host vehicle A.
  • the region-of-interest setting unit 234 can increase / decrease the enlarged backward distance based on Equation 1 below.
  • Extended rear distance (m) ⁇ maximum speed limit ⁇ traveling speed ⁇ (m / s) ⁇ set value (s) (Formula 1)
  • the difference between the maximum speed limit of the currently traveling road and the traveling speed of the own vehicle A is a value obtained by estimating the relative speed when the surrounding vehicle A1 passes the own vehicle A. .
  • the set value is a value input to the operation device 81 by a user such as a driver, and is a value of time (seconds) acquired by the information acquisition unit 36 as input information.
  • the driver can change the set value according to the preference of confirming the succeeding vehicle A1 before the passing by the succeeding vehicle A1.
  • the initial extended rear distance is set so that, for example, the following vehicle A1 that overtakes after 2 seconds is mainly included in the region of interest 44 (44i).
  • the region-of-interest setting unit 234 extends the enlarged rear distance so that the subsequent vehicle A1 further away from the host vehicle A is included.
  • the range that becomes the region of interest 44 (44s) is adjusted so that the following vehicle A1 that overtakes after 5 seconds is included.
  • the region-of-interest setting unit 234 moves the position of the region of interest 44 up and down according to the road shape such as uphill, downhill, and left and right curves based on the road shape information and the travel locus information. Adjust to move left and right.
  • the region-of-interest setting unit 234 can adjust the position of the region of interest 44 (44c) so as to include the succeeding vehicle A1 that overtakes after 5 seconds, for example.
  • the image composition unit 235 cuts out the range set as the region of interest 44 as the cut image 44a from the captured image 41L.
  • the image composition unit 235 enlarges the cutout image 44a in accordance with the area of the predetermined complicated region 42.
  • the image composition unit 235 creates an enlarged image 45 shown in FIG. 8 by enlarging the cut-out image 44a, and pastes it in the complicated area 42 together with the frame image 44b and the leader line image 45a, so that the electronic mirror image 49L (see FIG. 8). ) Is generated.
  • each captured image 41L is acquired, and the process proceeds to S202.
  • VICS information, measurement information, speed limit information, and the like are acquired from the communication bus 99 as information required for setting the complicated region 42 and the region of interest 44, and the process proceeds to S203.
  • S203 it is determined based on the information acquired in S202 whether or not the host vehicle A is traveling on a highway. If it is determined in S203 that the host vehicle A is traveling on a general road instead of an expressway, the process proceeds to S204.
  • each captured image 41L is set as each electronic mirror image 49L (see FIG. 8), and the process proceeds to S210.
  • S205 it is determined whether enlargement display is necessary. In S205, it is determined that the enlarged display is necessary when the running road is not congested or congested and the own vehicle A is running at a slower speed than the following vehicle A1. If it is determined in S205 that enlarged display is unnecessary, the process proceeds to S204. On the other hand, if it is determined in S205 that enlarged display is necessary, the process proceeds to S206. In S206, the complicated area 42 is set at a predetermined position, and the process proceeds to S207. In S207, the range of the region of interest 44 is calculated and set from the speed limit information, the travel speed measurement information, the enlarged rear distance based on the driver's setting value, etc., and the process proceeds to S208.
  • S208 it is determined whether or not the region of interest 44 can be set by the calculation in S207. For example, when it is determined in S208 that the region of interest 44 is difficult to set, such as when the following vehicle A1 is out of the captured image 41L due to the road shape, the process proceeds to S204. On the other hand, if it is determined in S208 that the region of interest 44 can be set, the process proceeds to S209.
  • the enlarged image 45 is generated by enlarging the clipped image 44a obtained by cutting out the region of interest 44 from each captured image 41L while maintaining the aspect ratio in accordance with the size of the complicated region 42. Then, by pasting the generated enlarged image 45 on the complicated area 42, each electronic mirror image 49L (see FIG. 8) is obtained, and the process proceeds to S210.
  • each electronic mirror image 49L generated in S204 or S209 is output to each rear side monitor 62. As described above, the rear side image 40L is displayed on the rear side monitor 62.
  • the troublesome area 42 is set at a position associated with the driving scene by paying attention to the fact that the range that is annoying display can be specified by the driving scene. According to such processing, the complicated area 42 can be set with high accuracy without performing advanced image processing. Therefore, it is possible to reduce the load for image processing while ensuring the effect of reducing the troublesomeness of the video on the rear side.
  • the region of interest 44 is set at a position associated with the driving scene. Therefore, it is possible to set the region of interest 44 with high accuracy while eliminating the need for image processing for extracting the region of interest 44. As a result, it is possible to reduce the load for image processing after realizing information that can be easily recognized by the driver.
  • the region-of-interest setting unit 234 when the setting value is changed by an input to the operation device 81, the region-of-interest setting unit 234 changes the position and size of the range to be the region of interest 44 to display an enlarged display. The position of the succeeding vehicle A1 is adjusted.
  • the region-of-interest setting unit 234 can change the range of the region of interest 44 according to the estimated relative speed between the following vehicle A1 and the host vehicle A. According to the position adjustment of the region of interest 44 as described above, the electronic mirror system 100 can present information about the subsequent vehicle A1 at a timing that is easy for the driver to recognize.
  • S201 corresponds to the “image acquisition step” described in the present disclosure
  • S206 corresponds to the “complex area setting step” described in the present disclosure
  • S207 corresponds to the “region of interest setting step” described in the present disclosure
  • S209 corresponds to the “image composition step” described in the present disclosure.
  • the electronic mirror system cuts out some images not only from the respective captured images of the respective rear side cameras but also from the peripheral images of the peripheral monitoring camera that captures “other video”, and each rear It was possible to paste on the side image.
  • the electronic mirror system sets a region of interest in the image of the in-vehicle camera of another vehicle received by the in-vehicle communication device and the image of the camera set in the roadside machine, and one of the images of one frame constituting these images. The part can be enlarged and displayed.
  • each rear side monitor is arranged near the base of the pillar.
  • the arrangement of the rear side monitor can be changed as appropriate.
  • the electronic mirror system can be provided in the own vehicle together with a conventional optical door mirror.
  • the “driver” in the above embodiment does not have to execute all driving operations.
  • the occupant of the own vehicle monitoring the driving operation by the in-vehicle system can be included in the “driver”.
  • a large amount of information is used for setting the region of interest, but information that can be used for setting the region of interest is not limited to the information exemplified in the above embodiment.
  • the region of interest can be set using detection information of any sensor mounted on the vehicle and any reception information that can be acquired from outside the vehicle.
  • the gradation data of each pixel in the complicated area is overwritten with the gradation data of the enlarged image.
  • the image of the complicated area on the background side may be slightly seen through the enlarged image.
  • the enlarged image may be an image obtained by upscaling the cut image.
  • a plurality of succeeding vehicles are displayed in an enlarged manner during a traffic jam.
  • a region of interest at the time of traffic jam can be set to include all “vehicles up to priority n” after giving priority to all detected vehicles, for example.
  • a warning icon (see FIG. 10) for alerting a subsequent vehicle such as “! (Exclamation mark)” is displayed instead of an enlarged image showing a plurality of subsequent vehicles A1. Also good.
  • the left and right image processing processes have been described together.
  • the image processing apparatus can individually execute the left and right rear side image processing processes.
  • the highway is described as an example of the estimated driving scene.
  • the estimated driving scene is not limited to the highway.
  • an urban area is estimated as a driving scene, and a bicycle, a pedestrian, and the like can be enlarged and displayed.
  • a mountain slope is estimated as the driving scene, and the roadway outer line 47a (see FIG. 15) can be enlarged and displayed.
  • both the frame image 44b and the leader line image 45a are displayed.
  • these images may be switched between display and non-display by a user operation such as a driver.
  • the functions provided by the processors 21 and 22 of the image processing apparatus 20 can be provided by hardware and software different from those described above, or a combination thereof.
  • part or all of the video processing process to which the image processing method according to the present disclosure is applied can be executed by a combination meter mounted on a vehicle, a processor provided in a navigation device, and the like.
  • the right rear side image 40R and the left rear side image 40L correspond to an example of the rear side image.
  • the enlarged image 45 corresponds to an example of an image.
  • the right rear side camera 51 and the left rear side camera 52 correspond to an example of an imaging device.
  • the right rear side monitor 61 and the left rear side monitor 62 correspond to an example of a display.
  • each step is expressed as S101, for example. Further, each step can be divided into a plurality of sub-steps, while a plurality of steps can be combined into one step.
  • the embodiments, configurations, and aspects of the image processing apparatus, the electronic mirror system, and the image processing method according to the present disclosure have been exemplified.
  • the embodiments, configurations, and aspects according to the present disclosure include the above-described embodiments, configurations, and configurations. It is not limited to each aspect.
  • embodiments, configurations, and aspects obtained by appropriately combining technical sections disclosed in different embodiments, configurations, and aspects are also included in the scope of the embodiments, configurations, and aspects according to the present disclosure.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

画像処理装置は、車両の後側方の映像（４０Ｒ）を、車両の車室内に設けられた表示器（６１）に表示させる。画像処理装置は、後側方の撮像画像を取得する画像取得部と、後側方の映像の中に、煩雑領域を設定する煩雑領域設定部と、後側方の映像の中に、車両の運転者の関心の対象となる関心領域を設定する関心領域設定部と、撮像画像のうちの煩雑領域に、拡大した関心領域の画像（４５）を貼り付けて、表示器へ出力する画像合成部と、を備える。

Description

画像処理装置、電子ミラーシステム、及び画像処理方法 関連出願の相互参照
　本出願は、２０１５年５月２０日に出願された日本国特許出願２０１５－１０２５４６号に基づくものであり、ここにその記載内容を参照により援用する。
　本開示は、車両の後側方の映像を車室内の表示器に表示させる技術に関する。
　例えば特許文献１には、一般的な画像処理の技術として、ユーザの注目の対象となる注目領域を画像の中に設定し、この注目領域を拡大表示する画像表示装置が開示されている。この画像表示装置は、注目領域の拡大表示により、ユーザの注目するオブジェクトを際立たせることができる。
ＪＰ２０１４－１９２７７７Ａ
　近年、車両に設置されるドアミラーの替わりに、車両の後側方を撮影した映像を車室内に設けた表示器に表示させる電子ミラーシステムが開発されている。本願発明者らは、電子ミラーシステムの開発に携わる中で、拡大表示等の画像処理技術の適用により、運転者にとって認識し易い情報提示を行うことができないか検討を重ねた。
　本願発明者らは、後側方の映像の中には煩雑な映像を映し出す煩雑領域があることに着目した。例えば欧州の速度無制限道路等において、車両が非常に速い速度で移動している場合等、後側方の映像の中には、後方に高速で流れていく防音壁やガードレールといった道路上の静止物体が映り得る。こうした被撮影物の激しい動きは、表示器を視認する運転者等にとって、煩わしく感じられ易い映像となるおそれがある。
　本開示は、後側方の映像の煩わしさを低減させたうえで、運転者等にとって認識し易い情報提示を実現できる画像処理に係る技術を提供することを目的とする。
　本開示の一態様による画像処理装置は、車両に搭載された撮像装置によって撮影される車両の後側方の映像を、車両の車室内に設けられた表示器に表示させる。画像処理装置は、撮像装置によって撮像される後側方の撮像画像を取得する画像取得部と、後側方の映像の中に、被撮影物の動きによって煩雑な映像を映し出す煩雑領域を設定する煩雑領域設定部と、後側方の映像の中に、車両の運転者の関心の対象となる関心領域を設定する関心領域設定部と、撮像画像のうちの煩雑領域に、拡大した関心領域の画像を貼り付けて、表示器へ出力する画像合成部と、を備える。
　本開示の他の一態様による電子ミラーシステムは、画像処理装置と、後側方の映像を画像処理装置へ出力する撮像装置と、画像処理装置から出力される後側方の映像を表示する表示器と、を備える
　本開示の他の一態様による画像処理方法は、車両に搭載された撮像装置によって撮影される車両の後側方の映像を、車両の車室内に設けられた表示器に表示させる。画像処理方法は、少なくとも一つのプロセッサにより、撮像装置によって撮像される後側方の撮像画像を取得する画像取得ステップと、後側方の映像の中に、被撮影物の動きによって煩雑な映像を映し出す煩雑領域を設定する煩雑領域設定ステップと、後側方の映像の中に、車両の運転者の関心の対象となる関心領域を設定する関心領域設定ステップと、撮像画像のうちの煩雑領域に、拡大した関心領域の画像を貼り付けて、表示器へ出力する画像合成ステップと、を実行する。
　本開示の画像処理装置、電子ミラーシステム、画像処理方法によれば、後側方の映像のうちで、被撮影物の動きによって煩雑な映像となる煩雑領域には、拡大された関心領域の画像が貼り付けられる。故に、表示器に表示される後側方の映像においては、煩雑領域の映像は、関心領域の映像によって覆い隠され得る。加えて、煩雑領域に貼り付けられた関心領域の映像は、拡大表示されているため、運転者の関心の対象を詳細に映し得る。したがって、後側方の映像の煩わしさを低減させたうえで、視認者にとって認識し易い情報提示が実現される。
　本開示についての上記および他の目的、特徴や利点は、添付図面を参照した下記詳細な説明から、より明確になる。添付図面において、
図１は、自車両における左右の後側方カメラ及び後側方モニタの搭載位置を模式的に示す図であり、 図２は、自車両における運転席周辺のレイアウトを示す図であり、 図３は、電子ミラーシステムの全体構成を示すブロック図であり、 図４は、画像処理装置の制御回路に構築される機能ブロックを示す図であり、 図５は、右後側方を写した撮像画像の一例を示す図であり、 図６は、右後側方モニタに表示される電子ミラー画像の一例を示す図であり、 図７は、左後側方を写した撮像画像の一例を示す図であり、 図８は、左後側方モニタに表示される電子ミラー画像の一例を示す図であり、 図９は、図１０に示す電子ミラー画像が表示される走行状況を説明するための俯瞰図であり、 図１０は、図９の走行状況において左後側方モニタに表示される電子ミラー画像の一例を示す図であり、 図１１は、図１２に示す電子ミラー画像が表示される走行状況を説明するための俯瞰図であり、 図１２は、図１１の走行状況において左後側方モニタに表示される電子ミラー画像の一例を示す図であり、 図１３は、図１４に示す電子ミラー画像が表示される走行状況を説明するための俯瞰図であり、 図１４は、図１３の走行状況において左後側方モニタに表示される電子ミラー画像の一例を示す図であり、 図１５は、図１６に示す電子ミラー画像が表示される走行状況を説明するための俯瞰図であり、 図１６は、図１５の走行状況において左後側方モニタに表示される電子ミラー画像の一例を示す図であり、 図１７は、左後側方モニタに表示される電子ミラー画像の一例を示す図であり、 図１８は、画像処理装置の制御回路によって実施される映像加工処理を示すフローチャートであり、 図１９は、第二実施形態における制御回路の機能ブロックを示す図であり、 図２０は、第二実施形態における煩雑領域及び関心領域を示す図であり、 図２１は、図２０の各関心領域に映る範囲を比較して示す俯瞰図であり、 図２２は、第二実施形態による映像加工処理を示すフローチャートである。
　以下、本開示の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。そして、複数の実施形態及び変形例に記述された構成同士の明示されていない組み合わせも、以下の説明によって開示されているものとする。
　（第一実施形態）
　本開示の電子ミラーシステム１００は、図１及び図２に示すように、自車両Ａに搭載されている。電子ミラーシステム１００は、各後側方カメラ５１，５２によって撮影される自車両Ａの後側方の映像４０Ｌ，４０Ｒ（図６及び図８等参照）を、各後側方モニタ６１，６２に表示させる。電子ミラーシステム１００は、図３に示すように、通信バス９９に接続されることにより、操作デバイス８１、車載センサ８３、周辺監視装置９１、車載通信装置９３、及びナビゲーション装置９５等と、互いに情報をやり取りすることができる。電子ミラーシステム１００は、各後側方カメラ５１，５２、各後側方モニタ６１，６２、及び画像処理装置２０等によって構成されている。
　操作デバイス８１は、例えば運転席と助手席との間に設けられたセンタコンソールに配置されている（図２参照）。操作デバイス８１には、例えば電子ミラーシステム１００に係る設定値が、運転者等によって入力される。操作デバイス８１は、運転者等の入力に基づく入力情報を、通信バス９９へ出力可能である。尚、操作デバイス８１は、例えばステアリングホイールに設けられた押圧スイッチ、センタクラスタに設けられた押圧スイッチ及びダイヤル等であってもよい。
　車載センサ８３は、例えば速度センサ、角速度センサ、操舵角センサを少なくとも含む車両に搭載された種々のセンサである。車載センサ８３は、通信バス９９と接続されている。車載センサ８３は、自車両Ａ（図１参照）の走行速度、ヨーレート、操舵角等の自車両Ａの走行状態に係る計測情報を、通信バス９９へ出力可能である。
　周辺監視装置９１は、複数の外界センサと周辺監視ＥＣＵ（Electronic Control Unit）とを少なくとも含む。外界センサは、周辺監視カメラ９２、ミリ波レーダ、準ミリ波レーダ、ライダ、及びソナー等を含むことが可能である。周辺監視カメラ９２は、前方カメラ、後方カメラ、左右のカメラ等を含むことが可能である。周辺監視装置９１は、歩行者、人間以外の動物、自転車、オートバイ、及び他の車両のような移動物体、さらに路上の落下物、交通信号、ガードレール、縁石、道路標識、道路標示、区画線、及び樹木のような静止物体を検出する。周辺監視装置９１は、通信バス９９と接続されている。周辺監視装置９１は、他の車両を含む検出物の相対位置を示す他車位置情報、走行中の車線が走行車線及び追越車線のいずれかという自車線情報等を、監視情報として通信バス９９へ出力可能である。
　車載通信装置９３は、自車両Ａと外部との無線通信を可能にするＶ２Ｘ（vehicle to X）のための車載器である。車載通信装置９３は、通信バス９９及び無線通信のためのアンテナと接続されている。具体的に、車載通信装置９３は、自車両Ａ（図１参照）の周囲に位置する他の車両の車載通信装置との間で、無線通信による車車間通信を行うことができる。車載通信装置９３は、道路脇に設置された路側機との間で、無線通信による路車間通信を行うことができる。車載通信装置９３は、例えばＶＩＣＳ（登録商標）情報として、渋滞情報及び交通規制情報等を受信できる。車載通信装置９３は、通信バス９９上に出力された自車両Ａの情報を、他の車両及び路側機へ送信可能である。車載通信装置９３は、他の車両及び路側機から受信した受信情報を、通信バス９９へ出力可能である。
　ナビゲーション装置９５は、ＧＮＳＳ（Global Navigation Satellite System）受信機、ジャイロセンサ等の慣性センサ、地図データを格納するメモリ、及びナビゲーションＥＣＵを備えている。ナビゲーション装置９５は、ＧＮＳＳ受信機によって受信する複数の人工衛星からの信号と、慣性センサの計測結果とを組み合わせることにより、自車両Ａ（図１参照）の位置を測位する。ナビゲーション装置９５は、測位した位置情報に基づき、メモリから自車両Ａの周囲の地図データを読み出すことで、自車両Ａの走行している道路の形状情報及び制限速度情報を取得する。加えてナビゲーション装置９５は、自車両Ａの走行している道路が高速道路であるか一般道路であるかといった道路の種別情報を取得する。ナビゲーション装置９５は、自車両Ａの位置情報、道路形状情報、制限速度情報、及び道路種別情報等を通信バス９９へ出力可能である。
　後側方カメラ５１，５２は、入射する光を電気信号に変換する撮像素子と、撮像素子へ光を入射させる光学系と、撮像素子及び光学系を制御する制御ユニットとを少なくとも含む構成である。撮像素子としては、ＣＣＤ（Charge-Coupled Device）イメージセンサ、及びＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等が使用可能である。後側方カメラ５１，５２は、画像処理装置２０と接続されている。後側方カメラ５１，５２は、図１に示す自車両Ａの車室外において、左右のサイドミラーの近傍に配置されている。後側方カメラ５１，５２は、自車両Ａの左右のドアに固定されていてもよく、又は撮像素子の撮像面の向きを調整可能に各ドアに取り付けられていてもよい。
　右後側方カメラ５１は、自車両Ａの周囲のうちで、進行方向右側の側方及び後方（以下、右後側方）の範囲を、所定のフレームレート（例えば、毎秒３０フレーム）で撮影する。左後側方カメラ５２は、自車両Ａの周囲のうちで、進行方向左側の側方及び後方（以下、左後側方）の範囲を、所定のフレームレートで撮影する。後側方カメラ５１，５２はそれぞれ、連続して撮影される一連の撮像画像４１Ｒ，４１Ｌ（図５及び図７参照）の画像データを、映像信号として画像処理装置２０へ逐次出力する。
　後側方モニタ６１，６２は、有機ＥＬ（OLED、Organic Light-Emitting Diode）ディスプレイ又は液晶ディスプレイ等の表示デバイスと、表示デバイスの各画素を制御する制御ユニット等とを少なくとも含む構成である。後側方モニタ６１，６２は、画像処理装置２０と接続されている。後側方モニタ６１，６２は、図２に示す自車両Ａの車室内において、ウインドシールド１８の両側に位置する各ピラーの根本に配置されている。後側方モニタ６１，６２は、インスツルメントパネル１９に固定されていてもよく、又は、表示面の向きを調整可能にインスツルメントパネル１９に取り付けられていてもよい。
　右後側方モニタ６１は、画像処理装置２０から出力される映像信号に基づき、右後側方カメラ５１（図１参照）によって撮影された自車両Ａの右後側方の映像を表示する。左後側方モニタ６２は、画像処理装置２０から出力される映像信号に基づき、左後側方カメラ５２（図１参照）によって撮影された自車両Ａの左後側方の映像を表示する。
　画像処理装置２０は、図３に示すように、メインプロセッサ２１、描画プロセッサ２２、書き換え可能な不揮発性のメモリ２３、情報の入出力を行う入出力インターフェース２４、及びこれらを接続するバスを少なくとも含む制御回路２０ａを備えている。画像処理装置２０は、各後側方カメラ５１，５２から映像信号を取得し、各後側方モニタ６１，６２へ出力する。画像処理装置２０は、メモリ２３に記憶されたプログラムを各プロセッサ２１，２２によって実行することにより、図４に示す複数の機能ブロック（３１～３８）を構築可能である。
　次に、電子ミラーシステム１００によって各後側方モニタ６１，６２に表示される左右の後側方映像４０Ｒ，４０Ｌの詳細を、図５～図８に基づいて、図３を参照しつつ説明する。
　図５に示す右後側方カメラ５１による撮像画像４１Ｒは、右後側方カメラ５１から画像処理装置２０へ出力される画像処理前の右後側方映像４０Ｒの１フレームである。撮像画像４１Ｒは、図６に示す電子ミラー画像４９Ｒのように画像処理され、右後側方モニタ６１に映される右後側方映像４０Ｒの１フレームとして、画像処理装置２０から右後側方モニタ６１へ出力される。
　図７に示す左後側方カメラ５２による撮像画像４１Ｌは、左後側方カメラ５２から画像処理装置２０へ出力される画像処理前の左後側方映像４０Ｌの１フレームである。撮像画像４１Ｌは、図８に示す電子ミラー画像４９Ｌのように画像処理され、左後側方モニタ６２に映される左後側方映像４０Ｌの１フレームとして、画像処理装置２０から左後側方モニタ６２へ出力される。なお、撮像画像４１Ｒと撮像画像４１Ｌは、車両の乗員が従来の光学ミラー（ドアミラー）を介して見た後側方の風景に対応する画像である。図５及び図７に示す各撮像画像４１Ｒ，４１Ｌは、鏡像化処理がなされた画像である。このように、撮像画像の左右を反転させる鏡像化処理は、本実施形態のように右後側方カメラ５１、左後側方カメラ５２のそれぞれによって行われてもよいし、撮影画像の正像を取得した画像処理装置２０によって行われてもよい。
　以上の図５及び図７に示す画像処理前の各後側方映像４０Ｒ，４０Ｌには、煩雑領域４２、低情報量領域４３、及び関心領域４４が設定可能である。
　煩雑領域４２は、各後側方映像４０Ｒ，４０Ｌの中で、被撮影物の動きによって煩雑な映像を映し出す領域である。被撮影物は、運転者の関心の対象となるような重要な有体物ではなく、例えばガードレール、防音壁、及び樹木等の道路脇に連続して立ち並ぶ立設物である。これらの立設物を含む側方の風景は、自車両Ａの走行により、煩雑領域４２中を後方へ向けて高速で流れる。その結果、各後側方映像４０Ｒ，４０Ｌの各煩雑領域４２には、フレーム間において激しい変化が生じる。煩雑領域４２の激しい表示の変化は、運転者を誘目し、運転者に煩わしさを感じさせる。煩雑な映像は、例えば、運転者を誘目し運転者に煩わしさを感じさせる映像である。具体的には、煩雑な映像とは、ガードレール、防音壁、及び樹木等の道路脇に連続して立ち並ぶ立設物といった運転者の関心の対象とはならない有体物が、後方へ向けて高速で流れる映像である。
　低情報量領域４３は、各後側方映像４０Ｒ，４０Ｌの中で、隣接車線の道路の路面、路側帯、及び空等を映す領域である。低情報量領域４３には、煩雑領域４２と同様に、並走車、二輪車、自転車、歩行者等、運転者の関心の対象となるような重要な被撮影物が実質的に存在しない。各後側方映像４０Ｒ，４０Ｌにおいて、各低情報量領域４３は、フレーム間での変化が非常に少ない領域となる。尚、自車両Ａの進行方向に対し傾斜方向に伸びる白線が複数連続して描かれた路面は、低情報量領域４３ではなく、煩雑領域４２に該当し得る。
　関心領域４４は、各後側方映像４０Ｒ，４０Ｌの中で、運転者の関心の対象となる重要な有体物を映し出す領域である。関心領域４４に映る被撮影物には、例えば自車両Ａの後方を走行する後続車Ａ１、緊急自動車Ｑ１（図９参照）、及び幅員の狭い山坂道における車道外側線４７ａ（図１５参照）等が含まれる。各後側方映像４０Ｒ，４０Ｌの中には、複数の関心領域４４が設定可能である。複数の関心領域４４が設定される場合、各関心領域４４には、優先度が付与される。
　図５～図８に示すように、関心領域４４に含まれる範囲は、切出画像４４ａとして各撮像画像４１Ｒ，４１Ｌから切り出される。切出画像４４ａは、煩雑領域４２及び低情報量領域４３の論理和となる範囲の大きさに合わせて、縦横のアスペクト比を実質的に維持したまま、拡大される。切出画像４４ａを拡大した拡大画像４５は、煩雑領域４２及び低情報量領域４３を隠すように、これらの領域に貼り付けられる。その結果、各後側方モニタ６１，６２へ出力される電子ミラー画像４９Ｒ，４９Ｌが生成される。
　電子ミラー画像４９Ｒ，４９Ｌには、枠画像４４ｂ及び引出線画像４５ａが描画されている。枠画像４４ｂは、矩形の枠状に表示されており、切出画像４４ａの切り出される関心領域４４の外縁を示している。引出線画像４５ａは、枠画像４４ｂの角部から拡大画像４５の角部へ向けて直線状に延伸している。引出線画像４５ａは、関心領域４４と拡大画像４５との繋がりを示している。
　以上の各後側方映像４０Ｒ，４０Ｌでは、関心領域４４に映る後続車Ａ１が拡大表示されていた。後側方映像４０Ｒ，４０Ｌにおいて、後続車Ａ１等の遠方の物体は、非常に小さく映る。故に、運転者は、後続車Ａ１の有無や相対速度の判断が難しく、遠方から高速で追い抜いてくる後続車Ａ１を認識し難い。そのため、後続車Ａ１の拡大表示は、運転者にとって有益な情報提示となり得る。
　ここで、各後側方映像４０Ｒ，４０Ｌにおいて、煩雑領域４２及び低情報量領域４３に重畳される映像の被撮影物は、後続車Ａ１でなくてもよい。以下、後続車Ａ１以外を拡大表示する後側方映像４０Ｒ，４０Ｌの他の表示態様を、図９～図１６に基づいて説明する。尚、図９及び図１１等の俯瞰図において、ドットにて示す範囲は、各カメラによって撮影可能な範囲を模式的に示している。
　図９及び図１０に示すように、自車両Ａの右後側方に後続車としての緊急自動車Ｑ１（救急車）が存在する場合、右後側方カメラ５１による左後側方映像４０Ｌにおいて、緊急自動車Ｑ１を含む範囲が関心領域４４とされる。その結果、右後側方映像４０Ｒには、緊急自動車Ｑ１が拡大表示される（図６参照）。一方、左後側方カメラ５２による左後側方映像４０Ｒには、緊急自動車Ｑ１は写らない。しかし、右後側方映像４０Ｒには、緊急自動車Ｑ１を報知する報知画像４５ｅが煩雑領域４２等に重ねて表示される。報知画像４５ｅには、緊急自動車Ｑ１を報知する緊急車両アイコン４５ｂ、運転者に注意を促す警告アイコン４５ｃ、及び緊急自動車Ｑ１の位置を示す矢印アイコン４５ｄ等が含まれている。左後側方映像４０Ｌは、右後側方映像４０Ｒとは異なる表示により、運転者を惑わせることなく、緊急自動車Ｑ１の位置を報知することが可能となる。
　以上の表示の変形例として、緊急自動車Ｑ１は、救急車に限定されず、警察車両及び消防車等であってもよい。また、市街地を走行している場合に左後方から自転車が接近した場合、電子ミラーシステム１００は、右後側方映像４０Ｒ（図６参照）の煩雑領域４２等に、自転車の存在を報知する報知画像を重畳表示可能である。さらに、後続車Ａ１等が存在しない場合、電子ミラーシステム１００は、車線の逸脱警報及びブラインドスポットウォーニング等の注意喚起を行う警告アイコン含む報知画像を、各煩雑領域４２等に重畳表示可能である。
　図１１に示すように、例えば右方向に湾曲したカーブにおいて自車両Ａの後方に後続車Ａ１が存在する場合、この後続車Ａ１は、左後側方カメラ５２の撮像範囲から外れることとなる。しかし、前走車Ａ２を追い越そうと自車両Ａが左側の車線へ移動する場合、自車両Ａの運転者は、自車両Ａと同様に左側の車線へ移動する可能性のある後続車Ａ１に注意を払う必要がある。こうした状況下では、後続車Ａ１の警告は、図１２に示す左後側方映像４０Ｌによって行われることが望ましい。
　そのため、左後側方映像４０Ｌの煩雑領域４２等には、周辺監視カメラ９２の後方カメラ９２ｂ（図１１参照）によって撮像される周囲画像４６の一部が貼り付けられる。詳記すると、後方カメラ９２ｂは、自車両Ａの周囲のうちで後側方とは異なる範囲として、自車両Ａの後方の範囲を撮影することができる。故に、後方カメラ９２ｂは、カーブ走行時においても、自車両Ａと同一の車線を走行する後続車Ａ１を捉えることが可能である。よって、後方カメラ９２ｂにて撮影される映像の中に関心領域を設定すれば、後続車Ａ１を含む切出画像１４４ａの切り出しが実現される。この切出画像１４４ａは、撮像画像４１Ｌに映る被撮影物の一部（例えば区画線４６ａ）を含むように、周囲画像４６から切り出される。以上により、後続車Ａ１を拡大した拡大画像１４５が、左後側方映像４０Ｌに重畳表示される。
　図１３及び図１４に示すように、例えば渋滞時において自車両Ａの後方に複数の後続車Ａ１が存在する場合、左後側方映像４０Ｌは、複数の後続車Ａ１を纏めて、煩雑領域４２等に拡大表示することが可能である。左後側方映像４０Ｌに表示される拡大画像１４５は、複数の後続車Ａ１を含むよう周囲画像４６から切り出される切出画像１４４ａを拡大した画像である。こうした切出画像１４４ａを取得するため、関心領域は、後方カメラ９２ｂの周囲画像４６において、複数の後続車Ａ１を囲む範囲に設定される。尚、拡大画像１４５は、後方カメラ９２ｂの周囲画像４６から切り出された切出画像１４４ａと、左後側方カメラ５２の撮像画像４１Ｌから切り出された切出画像４４ａ（図７参照）とを組み合わせることにより生成されてもよい。
　図１５及び図１６に示すように、例えば幅員の狭い山坂道を自車両Ａが走行している場合、左後側方映像４０Ｌは、車道外側線４７ａを拡大した俯瞰画像４７を拡大表示可能である。俯瞰画像４７は、周辺監視カメラ９２の左側方カメラ９２ｃによって撮像される周囲画像４６を、自車両Ａの真上から見下ろしたように視点変換した画像の一部である。左側方カメラ９２ｃは、撮像面を下向きにした姿勢にて左ドア等に固定されている。左側方カメラ９２ｃは、左後側方カメラ５２よりも自車両Ａの左側を広範囲に撮影することができる。視点変換された周囲画像４６において、車道外側線４７ａを含む自車両Ａの左前輪近傍が関心領域４４とされる。俯瞰画像４７は、幅員の狭い車線内における自車両Ａの位置の確認を容易にする。尚、周囲画像４６の視点変換は、図３に示す周辺監視装置９１及び画像処理装置２０のいずれによっても実施可能である。
　図１７に示すように、電子ミラーシステム１００は、所定のマスク画像４８によって煩雑領域４２を覆った右後側方映像４０Ｒを、右後側方モニタ６１に表示することができる。尚、左後側方映像４０Ｌ（図７参照）の煩雑領域４２をマスク画像４８で覆うことも、当然に可能である。
　以上説明した種々の後側方映像４０Ｒ，４０Ｌを各後側方モニタ６１，６２に表示させるために、画像処理装置２０の制御回路２０ａに構築される機能ブロック（３１～３６）の詳細を、図４に基づき、図３，図５～図８を参照しつつ、以下説明する。
　画像取得部３１は、各後側方カメラ５１，５２によって撮像される後側方の撮像画像４１Ｒ，４１Ｌを取得する。加えて画像取得部３１は、周辺監視装置９１の周辺監視カメラ９２によって撮像される周囲画像４６（図１２等参照）を取得可能である。さらに画像取得部３１は、路側機に取り付けられたカメラによって撮影された画像、及び他の車両の車載カメラによって撮像された受信画像等を、車載通信装置９３を通じて取得することが可能である。
　煩雑領域設定部３２は、画像取得部３１により時系列に沿って取得される一連の撮像画像４１Ｒ，４１Ｌを画像解析することにより、各後側方映像４０Ｒ，４０Ｌにおいて煩雑領域４２となる範囲を設定する。具体的に、煩雑領域設定部３２は、連続する撮像画像４１Ｒ，４１Ｌにおけるオプティカルフローを演算する。煩雑領域設定部３２は、オプティカルフローを元にした時間方向の勾配情報から、被撮影物の動きの速い煩雑領域４２を規定する。煩雑領域設定部３２は、走行速度等の計測情報、周囲を走行する他の車両に係る監視情報、及び画像解析による物体認識の結果等を統合することにより、運転者の関心対象となる有体物の存在しない領域に、煩雑領域４２を設定可能である。
　低情報量領域設定部３３は、各後側方映像４０Ｒ，４０Ｌにおいて、低情報量領域４３となる範囲を設定する。低情報量領域設定部３３は、煩雑領域設定部３２と同様に、情報取得部３６によって取得された複数の情報を統合することにより、運転者の関心対象となる有体物の存在しない領域に、低情報量領域４３を設定可能である。
　関心領域設定部３４は、各後側方映像４０Ｒ，４０Ｌにおいて、運転者の関心対象となる有体物の存在する範囲に、関心領域４４を設定する。関心領域設定部３４は、監視情報に含まれる自車線情報及び他車位置情報、画像解析による後続車Ａ１等の物体認識の結果、並びにナビゲーション装置９５による道路形状情報等を用いて、関心領域４４を設定することが可能である。さらに関心領域設定部３４は、受信情報に含まれる渋滞発生情報及び制限速度情報、計測情報に含まれる走行速度、計測情報に含まれる操舵角及びヨーレートから算出される走行軌跡情報等を、関心領域４４の設定に用いることが可能である。例えば関心領域設定部３４は、画像解析を用いた物体認識により、緊急自動車Ｑ１（図９参照）、一般車両、自転車等の識別を行うことができる。
　関心領域設定部３４は、後続車Ａ１を含むように関心領域４４を設定する場合、関心領域４４とする範囲を調整可能である。具体的に、各撮像画像４１Ｒ，４１Ｌにおける後続車Ａ１の位置は、道路形状によって変化する。故に、関心領域設定部３４は、各撮像画像４１Ｒ，４１Ｌの画像解析の結果、道路形状情報、及び走行軌跡情報等に基づき、上り坂、下り坂、及び左右のカーブといった道路形状に合わせて、関心領域４４の位置を上下左右に動かす調整を行う。関心領域設定部３４は、関心領域４４を後続車Ａ１に追従させるこができる。
　関心領域設定部３４は、周辺監視カメラ９２による映像等にも、関心領域４４を設定することができる。加えて関心領域設定部３４は、各後側方映像４０Ｒ，４０Ｌ及び周辺監視カメラ９２の映像に、複数の関心領域４４を設定可能である。関心領域設定部３４は、複数の関心領域４４を設定した場合、各関心領域４４に優先度を付与する。優先度は、緊急自動車Ｑ１（図９参照）の映る関心領域４４が最も高く、次に自車両Ａ（図１１参照）との相対速度の大きい後続車Ａ１の映る関心領域４４、次に通常の後続車Ａ１の映る関心領域４４、となるよう設定されている。車道外側線４７ａ（図１５参照）の優先度は、後続車Ａ１よりも低い。
　画像合成部３５は、各撮像画像４１Ｒ，４１Ｌ及び周囲画像４６（図１２参照）から、関心領域４４とされた範囲を、切出画像４４ａ，１４４ａ（図１２参照）として切り出す。画像合成部３５は、複数の関心領域４４が設定されていた場合には、最も優先度の高い関心領域４４の範囲を、切出画像４４ａ，１４４ａとして切り出す。画像合成部３５は、煩雑領域４２及び低情報量領域４３の論理和の面積に合わせて、切出画像４４ａ，１４４ａを拡大し、拡大画像４５，１４５（図１２参照）を生成する。画像合成部３５は、拡大画像４５，１４５に加えて、枠画像４４ｂ及び引出線画像４５ａを、煩雑領域４２及び低情報量領域４３に貼り付けることで、電子ミラー画像４９Ｒ，４９Ｌ（図６及び図８参照）を生成する。画像合成部３５は、拡大画像４５，１４５を貼り付ける領域として、煩雑領域４２及び低情報量領域４３のうちで、煩雑領域４２を優先する。
　画像合成部３５（図１７参照）は、拡大画像４５，１４５に替えて、報知画像４５ｅ（図１０参照）及び所定のマスク画像４８を煩雑領域４２及び低情報量領域４３に貼り付けることにより、電子ミラー画像４９Ｒ，４９Ｌ（図６及び図８参照）を生成可能である。また画像合成部３５は、煩雑領域４２及び低情報量領域４３の合計の面積が所定値を下回る場合には、拡大画像４５及び報知画像４５ｅ等を貼り付けることなく、撮像画像４１Ｒ，４１Ｌを電子ミラー画像４９Ｒ，４９Ｌとする。画像合成部３５は、各電子ミラー画像４９Ｒ，４９Ｌを、各後側方モニタ６１，６２へ出力する。
　情報取得部３６は、車載センサ８３による計測情報、周辺監視装置９１による監視情報、車載通信装置９３による受信情報、ナビゲーション装置９５による置情報及び道路形状情報等を、通信バス９９から取得する。情報取得部３６によって取得された情報は、上述したように、各領域設定部３２～３４により、各領域４２～４４の設定に用いられる。
　以上の各機能ブロックによって実現される映像加工処理（画像処理とも呼ぶ）の詳細を、図１８に基づき、図３，図５～図８を参照しつつ説明する。図１８のフローチャートに示される処理は、電子ミラーシステム１００の電源がオン状態とされ、画像処理装置２０への電力供給が開始されたことに基づいて、制御回路２０ａによって開始される。制御回路２０ａは、電子ミラーシステム１００の電源がオフ状態とされるまで、図１８に示す処理を繰り返す。
　Ｓ１０１では、各撮像画像４１Ｒ，４１Ｌを取得し、Ｓ１０２へ進む。Ｓ１０１では、取得可能な周囲画像４６がある場合において、この周囲画像４６の取得を行う。Ｓ１０２では、各領域４２～４４の設定に要する情報として、計測情報及び監視情報等を通信バス９９から取得し、Ｓ１０３へ進む。Ｓ１０３では、Ｓ１０１及びＳ１０２にて取得した画像及び情報に基づき、煩雑領域４２及び低情報量領域４３を設定し、Ｓ１０４へ進む。
　Ｓ１０４では、煩雑領域４２及び低情報量領域４３の論理和の面積が、所定値以上か否かを判定する。Ｓ１０４にて、煩雑領域４２及び低情報量領域４３を足し合わせた面積が所定値未満であると判定した場合、Ｓ１０５へ進む。Ｓ１０５では、各撮像画像４１Ｒ，４１Ｌをそれぞれ各電子ミラー画像４９Ｒ，４９Ｌとし、Ｓ１１１へ進む。
　Ｓ１０４にて、煩雑領域４２及び低情報量領域４３を足し合わせた面積が所定値以上であると判定した場合、Ｓ１０６へ進む。Ｓ１０６では、Ｓ１０１及びＳ１０２にて取得した画像及び情報から、関心領域４４を設定し、Ｓ１０７へ進む。Ｓ１０６では、優先度を付与された複数の関心領域４４を設定可能である。
　Ｓ１０７では、煩雑領域４２及び低情報量領域４３に貼り付ける画像を選定し、Ｓ１０８へ進む。Ｓ１０７では、主にＳ１０６にて設定された優先度に基づき、貼り付けの対象とされる画像を、拡大画像４５，１４５、報知画像４５ｅ、俯瞰画像４７等の中から選定する。Ｓ１０８では、Ｓ１０７にて選定された画像が有るか否かを判定する。Ｓ１０６にて関心領域４４が設定されず、且つ、報知画像４５ｅ及び俯瞰画像４７等も取得されていない場合には、Ｓ１０８にて、選定された画像が無いと判定し、Ｓ１０９へ進む。Ｓ１０９では、煩雑領域４２等にマスク画像４８を貼り付けることにより、各電子ミラー画像４９Ｒ，４９Ｌを生成し、Ｓ１１１へ進む。
　Ｓ１０８にて、選定された画像が有ると判定した場合、Ｓ１１０に進む。Ｓ１１０では、Ｓ１０７にて選定された拡大画像４５，１４５、報知画像４５ｅ、俯瞰画像４７等のいずれか一つを煩雑領域４２等に貼り付けることにより、各電子ミラー画像４９Ｒ，４９Ｌを生成し、Ｓ１１１へ進む。Ｓ１１１では、生成された各電子ミラー画像４９Ｒ，４９Ｌを各後側方モニタ６１，６２へ出力し、Ｓ１０１へ戻る。
　ここまで説明した第一実施形態のような電子ミラーシステム１００では、各後側方モニタ６１，６２が車室内に設置されている。故に、後側方モニタ６１，６２に映る後側方映像４０Ｌ，４０Ｒは、光学式のドアミラーに映る反射像よりも、中心視に近い位置にて運転者に視認される。そのため、後側方映像４０Ｌ，４０Ｒにおける被撮影物の速い動きは、運転者によって煩わしく感じられ易くなる。加えて、所定のフレームレートで撮影された後側方映像４０Ｌ，４０Ｒでは、所謂ストロボ効果により、例えば連続して立ち並ぶ立設物が、本来の移動方向とは逆方向に移動していかのように表示され得る。こうした不自然な映像は、運転者によって煩わしく感じられ易い。
　そこで第一実施形態では、後側方映像４０Ｒ，４０Ｌの煩雑領域４２に、拡大された関心領域４４の拡大画像４５，１４５が貼り付けられる。故に、煩雑領域４２の映像は、関心領域４４の映像によって覆い隠される。加えて、煩雑領域４２に貼り付けられた関心領域４４の映像は、拡大表示されているため、運転者の関心の対象として重要な後続車Ａ１等を詳細に映し得る。したがって、後側方映像４０Ｒ，４０Ｌの煩わしさを低減させたうえで、運転者等の視認者にとって認識し易い情報提示が実現される。
　加えて第一実施形態によれば、煩雑領域４２だけでなく低情報量領域４３も、拡大画像４５，１４５の貼り付けが可能な領域とされる。このように貼り付け可能な領域が広く確保されれば、拡大画像４５，１４５は、さらに大きく拡大されて、後側方映像４０Ｒ，４０Ｌに貼り付けられる。したがって、後側方映像４０Ｒ，４０Ｌは、運転者にとってさらに認識容易な情報提示を行うことができる。
　また第一実施形態によれば、拡大画像４５，１４５等は、煩雑領域４２に優先的に貼り付けられる。故に、煩雑領域４２は、拡大画像４５，１４５等によって確実に覆い隠され得る。以上によれば、拡大画像４５，１４５等を貼り付ける対象領域に低情報量領域４３が加えられたとしても、後側方映像４０Ｒ，４０Ｌの煩わしさを低減させる効果は、確実に発揮される。
　さらに第一実施形態のように、後側方映像４０Ｒ，４０Ｌを画像解析すれば、現在取得されている一連の撮像画像４１Ｒ，４１Ｌにおいて、煩わしい表示となっている範囲は、悉く煩雑領域４２として設定され得る。こうして設定された煩雑領域４２に拡大画像４５，１４５等が貼り付けられることで、後側方映像４０Ｒ，４０Ｌの煩わしさを低減させる効果は、確実に発揮される。
　加えて第一実施形態の関心領域４４は、後続車Ａ１を含むように設定可能である。故に、後側方映像４０Ｒ，４０Ｌは、遠方から自車両Ａに接近する後続車Ａ１を、拡大表示によって分かり易く示し得る。以上のように、後側方映像４０Ｒ，４０Ｌは、後続車Ａ１への注意を運転者に確実に促すことができる。
　また第一実施形態によれば、複数の関心領域４４に優先度を設定する処理により、運転者にとって有益且つ重要な情報を含む関心領域４４が優先的に各後側方映像４０Ｒ，４０Ｌに貼り付けられる。以上のように、貼り付けられる画像を絞る調停処理により、後側方映像４０Ｒ，４０Ｌを煩雑な表示にしてしまう事態は、回避され得る。加えて後側方映像４０Ｒ，４０Ｌは、貼り付けられる画像の数が絞られることで、運転者にとって有益且つ重要と考えられる情報のみを、分かり易く提示できる。
　さらに第一実施形態では、関心領域４４が設定されない場合でも、煩雑領域４２は、マスク画像４８によって覆い隠される。故に、後側方映像４０Ｒ，４０Ｌの煩わしさを低減させる効果は、確実に発揮されるようになる。尚、マスク画像４８の貼り付けに替えて、例えば煩雑領域４２の映像をぼかす処理が実施可能である。こうした処理によっても、煩雑領域４２の映像の煩わしさを低減させる効果は、発揮可能となる。
　加えて第一実施形態では、各後側方カメラ５１，５２以外の周辺監視カメラ９２等から取得した周囲画像４６にも、関心領域４４が設定可能とされている。故に、電子ミラーシステム１００は、各後側方カメラ５１，５２の撮影範囲外にて生じる有益且つ重要な情報も、運転者に分かり易く提示可能となる。
　また第一実施形態では、周囲画像４６から切出画像１４４ａが切り出される場合、撮像画像４１Ｒ，４１Ｌに写る区画線４６ａの一部が、拡大画像１４５にも含まれている。故に、運転者等の視認者は、拡大画像１４５の切り出された大まかな位置を把握し得る。以上のように、周囲画像４６に関心領域４４を設定する場合には、撮像画像４１Ｒ，４１Ｌに映る被撮影物の少なくとも一部が、切出画像１４４ａにも含まれるようにすることが望ましい。
　尚、第一実施形態において、メインプロセッサ２１及び描画プロセッサ２２が本開示に記載の「プロセッサ」に相当し、拡大画像４５が本開示に記載の「拡大した関心領域の画像」に相当する。また、右後側方カメラ５１及び左後側方カメラ５２が本開示に記載の「撮像装置」に相当し、右後側方モニタ６１及び左後側方モニタ６２が本開示に記載の「表示器」に相当する。さらに、後方カメラ９２ｂ及び左側方カメラ９２ｃが本開示に記載の「他の撮像装置」に相当する。そして、Ｓ１０１が本開示に記載の「画像取得ステップ」に相当し、Ｓ１０３が本開示に記載の「煩雑領域設定ステップ」に相当する。さらに、Ｓ１０６が本開示に記載の「関心領域設定ステップ」に相当し、Ｓ１１０が本開示に記載の「画像合成ステップ」に相当する。
　（第二実施形態）
　図１９～図２２に示す本開示の第二実施形態は、第一実施形態の変形例である。第二実施形態では、第一実施形態とは異なる処理が制御回路２０ａによって実施される。制御回路２０ａには、第一実施形態と実質同一の画像取得部３１及び情報取得部３６に加えて、シーン推定部２３７、拡大要否判定部２３８、煩雑領域設定部２３２、関心領域設定部２３４、及び画像合成部２３５が機能ブロックとして構築される。以下、各機能ブロックの詳細を、図１９～図２１に基づき、図３を参照しつつ説明する。尚、以下の左後側方映像４０Ｌについての内容は、右後側方映像４０Ｒ（図３参照）についても、当然に適用可能である。
　シーン推定部２３７は、情報取得部３６によって取得される情報に基づき、運転者が自車両Ａを走行させている運転シーンを推定する。具体的に、シーン推定部２３７は、ナビゲーション装置９５による道路種別情報及び走行速度の計測情報等に基づき、自車両Ａが高速道路（Expressway，Autobahn，Autoroute等を含む）を走行中か否かを判定する。
　拡大要否判定部２３８は、シーン推定部２３７によって自車両Ａが高速道路を走行していると判定された場合に、関心領域４４の拡大表示の要否を判定する。拡大要否判定部２３８は、自車両Ａの後方の見通しが良く、且つ、自車両Ａよりも高速で追い抜きを行う後続車Ａ１が存在しそうな状況において、拡大表示が必要であるとの要判定を行う。
　詳記すると、拡大要否判定部２３８による拡大表示の要否判定のために、情報取得部３６は、車載通信装置９３からのＶＩＣＳ情報、ナビゲーション装置９５からの制限速度情報、車載センサ８３からの走行速度の計測情報等を取得する。拡大要否判定部２３８は、ＶＩＣＳ情報等に基づき、走行中の道路が混雑していない状況であるか否かを推定する。拡大要否判定部２３８は、自車両Ａの走行速度と走行中の道路の最低制限速度とを比較し、走行速度が最低制限速度以上であれば、走行中の道路が渋滞していない状況であると推定する。拡大要否判定部２３８は、自車両Ａの走行速度と走行中の道路の最高制限速度とを比較し、走行速度が最高制限速度未満であれば、自車両Ａよりも高速で走行する後続車Ａ１が存在すると推定する。拡大要否判定部２３８は、走行中の道路が混雑及び渋滞でない状況であり、且つ、高速で走行する後続車Ａ１が存在すると推定した場合に、拡大表示の要判定を行う。
　煩雑領域設定部２３２は、シーン推定部２３７によって推定される運転シーンと関連付けられた位置に、煩雑領域４２を設定する。煩雑領域設定部２３２は、シーン推定部２３７によって高速道路を走行中と推定された場合には、後側方映像４０Ｌのうちで予め定められた範囲を、煩雑領域４２とする。煩雑領域設定部２３２は、自車両Ａが高速道路を走行している場合、中央分離帯及び防音壁等の重要でない物体の映る範囲を、煩雑領域４２とする。具体的には、撮像画像４１Ｌにおいて、自車両Ａの幅方向の外側且つ上側の所定の範囲が、煩雑領域４２とされる。
　関心領域設定部２３４は、シーン推定部２３７によって推定される運転シーンと関連付けられた位置に、関心領域４４を設定する。関心領域設定部２３４は、シーン推定部２３７によって高速道路を走行中と推定された場合に、後側方映像４０Ｌのうちで、後続車Ａ１が含まれ得る範囲を、関心領域４４とする。関心領域４４は、例えば、縦６０ピクセル，横８０ピクセルというように、縦横に所定のピクセル数を有する長方形の領域とされる。関心領域４４とされる長方形領域のアスペクト比は、煩雑領域４２のアスペクト比と実質同一とされる。関心領域設定部２３４は、例えば長方形領域の左上の隅部を基準位置として、関心領域４４とする長方形領域の位置を移動させることが可能である。加えて関心領域設定部２３４は、関心領域４４の大きさを拡縮させることが可能である。
　詳記すると、関心領域設定部２３４は、図２１に示すように、自車両Ａの後方に特定の距離（以下、拡大後方距離）離れた位置にある車線を拡大するように、関心領域４４を設定する。関心領域設定部２３４は、下記の式１に基づき拡大後方距離を増減することが可能である。
 
拡大後方距離（ｍ）＝｛最高制限速度－走行速度｝（ｍ／ｓ）×設定値（ｓ）・・・（式１）
 
　上記の式１において、現在走行している道路の最高制限速度と、自車両Ａの走行速度との差分は、周囲の後続車Ａ１が自車両Ａを追い抜く際の相対速度を推定した値である。また設定値は、運転者等のユーザによって操作デバイス８１へ入力される値であって、入力情報として情報取得部３６により取得される時間（秒数）の値である。運転者は、後続車Ａ１による追い抜きの何秒前に当該後続車Ａ１を確認したいかの嗜好に応じて、設定値を変更することが可能である。
　当初の拡大後方距離は、例えば２秒後に追い抜いてくる後続車Ａ１が主に関心領域４４（４４ｉ）に含まれるよう、設定される。そして、自車両Ａの走行速度が制限速度から低速側に乖離すると、関心領域設定部２３４は、自車両Ａからさらに離れた後続車Ａ１が含まれるよう、拡大後方距離を延長する。これにより、例えば５秒後に追い抜いてくる後続車Ａ１が含まれるよう、関心領域４４（４４ｓ）となる範囲は調整される。
　関心領域設定部２３４は、第一実施形態と同様に、道路形状情報及び走行軌跡情報等に基づき、上り坂、下り坂、及び左右のカーブといった道路形状に合わせて、関心領域４４の位置を上下左右に動かす調整を行う。これにより、例えばカーブ走行時においても、関心領域設定部２３４は、例えば５秒後に追い抜いてくる後続車Ａ１を含むように、関心領域４４（４４ｃ）の位置を調整できる。
　画像合成部２３５は、拡大要否判定部２３８によって拡大表示の要判定がなされている場合に、撮像画像４１Ｌから、関心領域４４とされた範囲を、切出画像４４ａとして切り出す。画像合成部２３５は、所定の煩雑領域４２の面積に合わせて切出画像４４ａを拡大する。画像合成部２３５は、切出画像４４ａの拡大によって図８に示す拡大画像４５を作成し、枠画像４４ｂ及び引出線画像４５ａと共に煩雑領域４２に貼り付けることにより、電子ミラー画像４９Ｌ（図８参照）を生成する。
　以上の各機能ブロックによって実現される第二実施形態の映像加工処理の詳細を、図２２に基づき、図１９を参照しつつ説明する。
　Ｓ２０１では、各撮像画像４１Ｌを取得し、Ｓ２０２へ進む。Ｓ２０２では、煩雑領域４２及び関心領域４４の設定に要する情報として、ＶＩＣＳ情報、計測情報、及び制限速度情報等を通信バス９９から取得し、Ｓ２０３へ進む。Ｓ２０３では、Ｓ２０２にて取得した情報に基づき、自車両Ａが高速道路を走行中か否かを判定する。Ｓ２０３にて、自車両Ａが高速道路ではなく、一般道路を走行していると判定した場合には、Ｓ２０４へ進む。Ｓ２０４では、拡大表示を実施しない後側方映像４０Ｌを表示するため、各撮像画像４１Ｌをそれぞれ各電子ミラー画像４９Ｌ（図８参照）とし、Ｓ２１０へ進む。
　Ｓ２０３にて、高速道路を走行中であると判定した場合には、Ｓ２０５へ進む。Ｓ２０５では、拡大表示が必要か否かを判定する。Ｓ２０５では、走行中の道路が混雑や渋滞の状況ではなく、且つ、自車両Ａが後続車Ａ１よりも遅い速度で走っている場合に、拡大表示が必要と判定される。Ｓ２０５にて、拡大表示を不要と判定した場合には、Ｓ２０４に進む。一方で、Ｓ２０５にて、拡大表示を必要と判定した場合には、Ｓ２０６へ進む。Ｓ２０６では、予め定められた位置に煩雑領域４２を設定し、Ｓ２０７へ進む。Ｓ２０７では、制限速度情報、走行速度の計測情報、及び運転者の設定値に基づく拡大後方距離等から関心領域４４とする範囲を算出及び設定し、Ｓ２０８へ進む。
　Ｓ２０８では、Ｓ２０７による演算により関心領域４４が設定可能であったか否かを判定する。例えば道路形状に起因して後続車Ａ１が撮像画像４１Ｌからフレームアウトしている場合等、Ｓ２０８にて、関心領域４４の設定が困難であると判定した場合には、Ｓ２０４へ進む。一方で、Ｓ２０８にて、関心領域４４の設定が可能であると判定した場合には、Ｓ２０９へ進む。
　Ｓ２０９では、各撮像画像４１Ｌから関心領域４４を切り出した切出画像４４ａを、煩雑領域４２の大きさに合わせてアスペクト比を維持しつつ拡大することで、拡大画像４５を生成する。そして、生成した拡大画像４５を煩雑領域４２に貼り付けることにより、各電子ミラー画像４９Ｌ（図８参照）とし、Ｓ２１０へ進む。Ｓ２１０では、Ｓ２０４又はＳ２０９にて生成した各電子ミラー画像４９Ｌを、各後側方モニタ６２へ出力する。以上により、後側方モニタ６２には、後側方映像４０Ｌが表示される。
　ここまで説明した第二実施形態でも、第一実施形態と同様の効果を奏することにより、後側方映像４０Ｒ，４０Ｌの煩わしさを低減させたうえで、運転者等の視認者にとって認識し易い情報提示が実現される。加えて、第二実施形態のように、高速道路における後方遠方領域の拡大という用途に特化することにより、画像処理装置２０の実現性が向上する。
　また第二実施形態では、煩わしい表示となる範囲が運転シーンによって特定され得ることに着目したことで、運転シーンと関連付けられた位置に煩雑領域４２が設定される。こうした処理によれば、高度な画像処理を実施しなくても、煩雑領域４２の高精度な設定が実現される。したがって、後側方の映像の煩わしさを低減させる効果を確保したうえで、画像処理のための負荷を軽減することが可能となる。
　さらに第二実施形態では、煩雑領域４２だけでなく、関心領域４４についても、運転シーンと関連付けられた位置に設定される。これにより、関心領域４４を抽出する画像処理を不要としつつ、関心領域４４の高精度な設定が実現される。その結果、運転者にとって認識し易い情報提示を実現したうえで、画像処理のための負荷を軽減することが可能となる。
　加えて第二実施形態によれば、操作デバイス８１への入力によって設定値が変更されると、関心領域設定部２３４は、関心領域４４とする範囲の位置及び大きさを変えることで、拡大表示される後続車Ａ１の位置を調整する。加えて、関心領域設定部２３４は、推定される後続車Ａ１と自車両Ａとの相対速度に合わせて、関心領域４４とする範囲を変えることができる。以上のような関心領域４４の位置調整によれば、電子ミラーシステム１００は、運転者にとって認識し易いタイミングで、後続車Ａ１についての情報提示を行うことができる。
　尚、第二実施形態において、Ｓ２０１が本開示に記載の「画像取得ステップ」に相当し、Ｓ２０６が本開示に記載の「煩雑領域設定ステップ」に相当する。そして、Ｓ２０７が本開示に記載の「関心領域設定ステップ」に相当し、Ｓ２０９が本開示に記載の「画像合成ステップ」に相当する。
　（他の実施形態）
　以上、本開示による複数の実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
　上記実施形態において、電子ミラーシステムは、各後側方カメラの各撮影画像だけでなく、「他の映像」を撮影する周辺監視カメラの周囲画像からも、一部の画像を切り出して、各後側方映像に貼り付けることが可能であった。しかし、電子ミラーシステムは、車載通信装置によって受信した他の車両の車載カメラの映像及び路側機に設定されたカメラの映像に関心領域を設定し、これらの映像を構成する１フレームの画像の一部を、拡大表示することが可能である。
　上記実施形態において、各後側方モニタは、ピラーの根本近傍に配置されていた。しかし、後側方モニタの配置は、適宜変更可能である。例えば、ステアリングの左右両側に、後側方モニタを配置することが可能である。さらに、電子ミラーシステムは、従来の光学式のドアミラーと共に自車両に設けることが可能である。
　上記実施形態における「運転者」は、全ての運転操作を実行している必要はない。例えば、自動運転時において、車載システムによる運転操作を監視している自車両の乗員も「運転者」に含まれ得る。
　上記実施形態において、関心領域に設定には多数の情報が用いられていたが、関心領域の設定に使用可能な情報は、上記実施形態にて例示した情報に限定されない。車両に搭載されたあらゆるセンサの検出情報、及び車外から取得可能なあらゆる受信情報を用いて、関心領域の設定は、実行可能である。
　上記実施形態において、煩雑領域の各画素の階調データは、拡大画像の階調データによって上書きされていた。しかし、例えば、煩雑領域の画像に拡大画像をオーバーレイさせることにより、背景側となる煩雑領域の画像が拡大画像を通して僅かに透けて見えていてもよい。また、拡大画像は、切出画像をアップスケーリングした画像であってもよい。
　上記第一実施形態では、渋滞時において、複数の後続車が拡大表示されていた。このような渋滞時における関心領域は、例えば検知した全ての車両に対して優先順位を付与したうえで、「優先順位ｎ位までの車両」を全て含むよう設定することが可能である。また、渋滞時においては、複数の後続車Ａ１を映す拡大画像に替えて、例えば「！（エクスクラメーションマーク）」のような後続車を注意喚起する警告アイコン（図１０参照）が表示されてもよい。
　上記第一実施形態では、左右の映像加工処理を合わせて説明していたが、画像処理装置は、左右の後側方映像の加工処理を個別に実行可能である。また、上記第二実施形態において、推定される運転シーンとして高速道路を例に説明したが、推定される運転シーンは、高速道路に限定されない。例えば、運転シーンとして市街地が推定され、自転車及び歩行者等を拡大表示することが可能である。或いは、運転シーンとして山坂道が推定され、車道外側線４７ａ（図１５参照）を拡大表示することが可能である。
　上記第一実施形態では、枠画像４４ｂ及び引出線画像４５ａが共に表示されていた。しかし、これらの画像は、運転者等のユーザ操作によって表示及び非表示が切り替え可能とされてもよい。
　上記実施形態において、画像処理装置２０の各プロセッサ２１，２２によって提供されていた機能は、上述のものとは異なるハードウェア及びソフトウェア、或いはこれらの組み合わせによって提供可能である。例えば、本開示による画像処理方法を適用された映像加工処理の一部又は全部は、車両に搭載されたコンビネーションメータ及びナビゲーション装置等に設けられたプロセッサによっても実行可能である。
　右後側方映像４０Ｒと左後側方映像４０Ｌは後側方の映像の一例に相当する。拡大画像４５は画像の一例に相当する。右後側方カメラ５１と左後側方カメラ５２は、撮像装置の一例に相当する。右後側方モニタ６１と左後側方モニタ６２は表示器の一例に相当する。
　ここで、この出願に記載されるフローチャート、あるいは、フローチャートの処理は、複数のステップ（あるいはセクションと言及される）から構成され、各ステップは、たとえば、Ｓ１０１と表現される。さらに、各ステップは、複数のサブステップに分割されることができる、一方、複数のステップが合わさって一つのステップにすることも可能である。
　以上、本開示に係る画像処理装置、電子ミラーシステム、画像処理方法の実施形態、構成、態様を例示したが、本開示に係る実施形態、構成、態様は、上述した各実施形態、各構成、各態様に限定されるものではない。例えば、異なる実施形態、構成、態様にそれぞれ開示された技術的部を適宜組み合わせて得られる実施形態、構成、態様についても本開示に係る実施形態、構成、態様の範囲に含まれる。

 

Claims (15)

  1. 　車両（Ａ）に搭載された撮像装置（５１，５２）によって撮影される前記車両の後側方の映像（４０Ｒ，４０Ｌ）を、前記車両の車室内に設けられた表示器（６１，６２）に表示させる画像処理装置であって、
    　前記撮像装置によって撮像される後側方の撮像画像（４１Ｒ，４１Ｌ）を取得する画像取得部（３１）と、
    　前記後側方の映像の中に、被撮影物の動きによって煩雑な映像を映し出す煩雑領域（４２）を設定する煩雑領域設定部（３２，２３２）と、
    　前記後側方の映像の中に、前記車両の運転者の関心の対象となる関心領域（４４）を設定する関心領域設定部（３４，２３４）と、
    　前記撮像画像のうちの前記煩雑領域に、拡大した前記関心領域の画像（４５）を貼り付けて、前記表示器へ出力する画像合成部（３５）と、を備える画像処理装置。
  2. 　前記画像合成部は、前記煩雑領域に加えて、前記運転者の関心の対象が実質的に存在しない低情報量領域（４３）にも、拡大した前記関心領域の画像を貼り付ける請求項１に記載の画像処理装置。
  3. 　前記画像合成部は、前記関心領域の画像を貼り付ける領域として、前記煩雑領域及び前記低情報量領域のうちで、前記煩雑領域を優先する請求項２に記載の画像処理装置。
  4. 　前記煩雑領域設定部（３２）は、前記画像取得部によって取得される前記撮像画像を画像解析することにより、前記後側方の映像における前記煩雑領域を設定する請求項１～３のいずれか一項に記載の画像処理装置。
  5. 　前記運転者が前記車両を走行させている運転シーンを推定するシーン推定部（２３７）、をさらに備え、
    　前記煩雑領域設定部（２３２）は、前記シーン推定部によって推定される前記運転シーンと関連付けられた位置に、前記煩雑領域を設定する請求項１～３のいずれか一項に記載の画像処理装置。
  6. 　前記関心領域設定部（２３４）は、前記シーン推定部によって推定される前記運転シーンと関連付けられた位置に、前記関心領域を設定する請求項５に記載の画像処理装置。
  7. 　前記関心領域設定部は、前記車両の後方を走行する後続車（Ａ１）が含まれるよう前記関心領域を設定する請求項１～６のいずれか一項に記載の画像処理装置。
  8. 　前記関心領域設定部は、前記車両の走行速度が現在走行中の道路の最高制限速度から低速側に乖離するに従い、当該車両から離れた前記後続車が含まれるよう、前記関心領域とする範囲を調整する請求項７に記載の画像処理装置。
  9. 　前記関心領域に映る前記後続車までの距離を増減させる設定値、の入力情報を取得する情報取得部（３６）、をさらに備え、
    　前記関心領域設定部は、前記情報取得部によって取得された前記設定値に応じて、前記関心領域とする範囲を調整する請求項７又は８に記載の画像処理装置。
  10. 　前記関心領域設定部は、複数の前記関心領域を設定した場合に、各前記関心領域に優先度を付与し、
    　前記画像合成部は、複数の前記関心領域のうちで前記優先度の高い関心領域を、前記煩雑領域に貼り付ける請求項１～９のいずれか一項に記載の画像処理装置。
  11. 　前記画像合成部は、前記関心領域設定部によって前記関心領域が設定されない場合には、前記煩雑領域を隠すマスク画像（４８）を、当該煩雑領域に貼り付ける請求項１～１０のいずれか一項に記載の画像処理装置。
  12. 　前記画像取得部は、前記車両の周囲のうちで後側方とは異なる範囲を撮影する他の撮像装置（９２ｂ，９２ｃ）から、周囲画像（４６）を取得し、
    　前記関心領域設定部は、前記他の撮像装置によって撮影される他の映像の中に、前記関心領域を設定する請求項１～１１のいずれか一項に記載の画像処理装置。
  13. 　前記関心領域設定部は、前記他の映像の中に前記関心領域を設定する場合に、前記撮像画像に映る被撮影物の一部が前記周囲画像から切り出される切出画像（１４４ａ）に含まれるよう、前記関心領域の範囲を設定する請求項１２に記載の画像処理装置。
  14. 　請求項１～１３のいずれか一項に記載の画像処理装置と、
    　前記後側方の映像を前記画像処理装置へ出力する前記撮像装置と、
    　前記画像処理装置から出力される前記後側方の映像を表示する前記表示器と、を備える電子ミラーシステム。
  15. 　車両（Ａ）に搭載された撮像装置（５１，５２）によって撮影される前記車両の後側方の映像（４０Ｒ，４０Ｌ）を、前記車両の車室内に設けられた表示器（６１，６２）に表示させる画像処理方法であって、
    　少なくとも一つのプロセッサ（２１，２２）に、
    　前記撮像装置によって撮像される後側方の撮像画像（４１Ｒ，４１Ｌ）を取得する画像取得ステップ（Ｓ１０１，Ｓ２０１）と、
    　前記後側方の映像の中に、被撮影物の動きによって煩雑な映像を映し出す煩雑領域（４２）を設定する煩雑領域設定ステップ（Ｓ１０３，Ｓ２０６）と、
    　前記後側方の映像の中に、前記車両の運転者の関心の対象となる関心領域（４４）を設定する関心領域設定ステップ（Ｓ１０６，Ｓ２０７）と、
    　前記撮像画像のうちの前記煩雑領域に、拡大した前記関心領域の画像（４５）を貼り付けて、前記表示器へ出力する画像合成ステップ（Ｓ１１０，Ｓ２０９）と、を実行させる画像処理方法。
PCT/JP2016/002295 2015-05-20 2016-05-10 画像処理装置、電子ミラーシステム、及び画像処理方法 WO2016185691A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE112016002268.9T DE112016002268T5 (de) 2015-05-20 2016-05-10 Bildverarbeitungsvorrichtung, elektronisches spiegelsystem und bildverarbeitungsverfahren

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-102546 2015-05-20
JP2015102546A JP6311646B2 (ja) 2015-05-20 2015-05-20 画像処理装置、電子ミラーシステム、及び画像処理方法

Publications (1)

Publication Number Publication Date
WO2016185691A1 true WO2016185691A1 (ja) 2016-11-24

Family

ID=57319740

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/002295 WO2016185691A1 (ja) 2015-05-20 2016-05-10 画像処理装置、電子ミラーシステム、及び画像処理方法

Country Status (3)

Country Link
JP (1) JP6311646B2 (ja)
DE (1) DE112016002268T5 (ja)
WO (1) WO2016185691A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110001522A (zh) * 2018-01-04 2019-07-12 无敌科技股份有限公司 倒车影像显示的控制与图像处理系统及其方法
CN111183063A (zh) * 2017-07-26 2020-05-19 Lg电子株式会社 用于车辆的侧镜
GB2582262A (en) * 2019-03-02 2020-09-23 Jaguar Land Rover Ltd Imaging system and method
US11563905B2 (en) 2018-08-16 2023-01-24 Sony Corporation Information processing device, information processing method, and program
US11587419B2 (en) 2017-08-04 2023-02-21 Toyota Research Institute, Inc. Methods and systems providing an intelligent camera system
GB2611615A (en) * 2019-03-02 2023-04-12 Jaguar Land Rover Ltd Imaging system and method

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11381757B2 (en) * 2019-06-13 2022-07-05 Motherson Innovations Company Limited Imaging system and method
JP6665819B2 (ja) 2017-03-17 2020-03-13 トヨタ自動車株式会社 車載表示装置
JP6822303B2 (ja) 2017-04-28 2021-01-27 トヨタ自動車株式会社 画像表示装置
US20200207275A1 (en) * 2017-09-22 2020-07-02 Mitsubishi Electric Corporation Lateral rear image control apparatus and lateral rear image control method
JP6958526B2 (ja) 2018-09-26 2021-11-02 株式会社デンソー 画像処理装置及び画像表示システム
WO2020079831A1 (ja) * 2018-10-19 2020-04-23 三菱電機株式会社 後方画像処理装置および後方画像表示方法
JP2020170341A (ja) * 2019-04-03 2020-10-15 パイオニア株式会社 表示制御装置、表示制御方法及びプログラム
JP7424144B2 (ja) * 2020-03-20 2024-01-30 株式会社デンソー 車両用表示装置および車両用表示方法
DE102022112208B3 (de) 2022-05-16 2023-04-27 Audi Aktiengesellschaft AR-Außenspiegel sowie ein Verfahren zu dessen Betrieb

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006162442A (ja) * 2004-12-07 2006-06-22 Matsushita Electric Ind Co Ltd ナビゲーション装置及びナビゲーション方法
JP2009231938A (ja) * 2008-03-19 2009-10-08 Mazda Motor Corp 車両用周囲監視装置
JP2012222776A (ja) * 2011-04-14 2012-11-12 Isuzu Motors Ltd 画像処理装置、画像処理方法、及び運転支援システム
WO2012172842A1 (ja) * 2011-06-13 2012-12-20 本田技研工業株式会社 運転支援装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006162442A (ja) * 2004-12-07 2006-06-22 Matsushita Electric Ind Co Ltd ナビゲーション装置及びナビゲーション方法
JP2009231938A (ja) * 2008-03-19 2009-10-08 Mazda Motor Corp 車両用周囲監視装置
JP2012222776A (ja) * 2011-04-14 2012-11-12 Isuzu Motors Ltd 画像処理装置、画像処理方法、及び運転支援システム
WO2012172842A1 (ja) * 2011-06-13 2012-12-20 本田技研工業株式会社 運転支援装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111183063A (zh) * 2017-07-26 2020-05-19 Lg电子株式会社 用于车辆的侧镜
US11587419B2 (en) 2017-08-04 2023-02-21 Toyota Research Institute, Inc. Methods and systems providing an intelligent camera system
CN110001522A (zh) * 2018-01-04 2019-07-12 无敌科技股份有限公司 倒车影像显示的控制与图像处理系统及其方法
US11563905B2 (en) 2018-08-16 2023-01-24 Sony Corporation Information processing device, information processing method, and program
GB2582262A (en) * 2019-03-02 2020-09-23 Jaguar Land Rover Ltd Imaging system and method
GB2582262B (en) * 2019-03-02 2022-09-28 Jaguar Land Rover Ltd Imaging system and method
GB2611615A (en) * 2019-03-02 2023-04-12 Jaguar Land Rover Ltd Imaging system and method
GB2611615B (en) * 2019-03-02 2023-11-08 Jaguar Land Rover Ltd Imaging system and method
US11833968B2 (en) 2019-03-02 2023-12-05 Jaguar Land Rover Limited Imaging system and method

Also Published As

Publication number Publication date
JP2016220011A (ja) 2016-12-22
DE112016002268T5 (de) 2018-02-15
JP6311646B2 (ja) 2018-04-18

Similar Documents

Publication Publication Date Title
JP6311646B2 (ja) 画像処理装置、電子ミラーシステム、及び画像処理方法
US11763573B2 (en) Vehicular control system
US9589194B2 (en) Driving assistance device and image processing program
JP5811804B2 (ja) 車両用周辺監視装置
EP2487906B1 (en) Control device and vehicle surrounding monitoring device
JP5070809B2 (ja) 運転支援装置、運転支援方法、及び、プログラム
KR102000929B1 (ko) 차량을 위한 미러 대체 시스템
JP5099451B2 (ja) 車両周辺確認装置
JP4855158B2 (ja) 運転支援装置
US11022795B2 (en) Vehicle display control device
US20090187333A1 (en) Method and System for Displaying Navigation Instructions
JP2008193339A (ja) 後方監視装置
JP6415382B2 (ja) 移動体用画像生成装置及びナビゲーション装置
KR102130059B1 (ko) 디지털 백미러 제어 유닛 및 방법
JP2020065141A (ja) 車両の俯瞰映像生成システム及びその方法
CN113165510B (zh) 显示控制装置、方法和计算机程序
JP6566067B2 (ja) 画像処理装置
CN109070799B (zh) 移动体周围显示方法及移动体周围显示装置
JP2018129832A (ja) 画像処理装置
JP2019077302A (ja) 表示制御装置、表示システム及び表示制御方法
JP2022154208A (ja) 画像処理装置、画像処理システム、および、画像処理方法
WO2020230612A1 (ja) 表示制御方法及び表示制御装置
JP2010185783A (ja) 車両用情報表示装置及び車両用情報表示方法
JP2023055204A (ja) 車両用記録装置
JP2011166277A (ja) 車両周囲表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16796087

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 112016002268

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16796087

Country of ref document: EP

Kind code of ref document: A1