WO2010137684A1 - 画像生成装置及び画像表示システム - Google Patents

画像生成装置及び画像表示システム Download PDF

Info

Publication number
WO2010137684A1
WO2010137684A1 PCT/JP2010/059074 JP2010059074W WO2010137684A1 WO 2010137684 A1 WO2010137684 A1 WO 2010137684A1 JP 2010059074 W JP2010059074 W JP 2010059074W WO 2010137684 A1 WO2010137684 A1 WO 2010137684A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
mode
display
image generation
Prior art date
Application number
PCT/JP2010/059074
Other languages
English (en)
French (fr)
Inventor
行輔 尾▲崎▼
大野　恭裕
貴克 山下
Original Assignee
富士通テン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通テン株式会社 filed Critical 富士通テン株式会社
Priority to US13/322,654 priority Critical patent/US8941737B2/en
Priority to CN2010800236866A priority patent/CN102448773A/zh
Publication of WO2010137684A1 publication Critical patent/WO2010137684A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Definitions

  • the present invention relates to a technique for generating an image to be displayed on a display device mounted on a vehicle.
  • the related art image display system is mounted on a vehicle such as an automobile, and images the surroundings of the vehicle to generate an image and display the image on the display in the passenger compartment.
  • a vehicle such as an automobile
  • images the surroundings of the vehicle to generate an image and display the image on the display in the passenger compartment.
  • the outer region of the front fender on the opposite side of the driver's seat tends to be a blind spot from the driver's seat.
  • an image display system that displays an image obtained by photographing the outside area of the front fender, when passing by an oncoming vehicle on a narrow road, there is a gap between the vehicle body on the reverse side of the driver's seat and the obstacle. The driver can easily check the clearance.
  • Patent Document 1 an image showing a wider area around the vehicle is displayed in the vehicle interior instead of a limited area around the vehicle such as the outer area of the front fender.
  • Patent Document 1 three images obtained by in-vehicle cameras installed on both the front side and the left and right sides of the vehicle are arranged and displayed on one screen.
  • patent document 2 the mode of the periphery of the vehicle seen from the virtual viewpoint set just above the vehicle is shown using a plurality of captured images obtained by capturing the periphery of the vehicle with a plurality of in-vehicle cameras. Techniques for providing images have been proposed. In Patent Document 2, a technique for moving the position of the vehicle in an image in accordance with the direction indicated by the direction indicator is also proposed.
  • the viewing direction of the viewpoint of viewing the object (subject) shown in the displayed image is the direction of the optical axis of the in-vehicle camera or the direction looking down from directly above the vehicle. For this reason, a driver who visually recognizes an image grasps the positional relationship between the actual object and the vehicle through a thinking process of performing coordinate transformation in the head based on the position of the object in the image. It may be difficult to instantaneously determine the positional relationship between the vehicle and the vehicle.
  • Patent Document 1 in the case where both the front and left and right sides of the vehicle are shown on one screen, the viewing direction is different between the image showing the front and the image showing the side, The driver is confused about the direction in which the object is present, and it is difficult to instantaneously determine the positional relationship between the actual object and the vehicle.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a technique capable of intuitively grasping the positional relationship between a vehicle and an object.
  • An image generation device that generates an image to be displayed on a display device mounted on a vehicle, and is arranged behind the vehicle based on a plurality of images around the vehicle taken by a plurality of cameras.
  • a composite image generation unit that generates a composite image around the vehicle viewed from a virtual viewpoint directed to the front of the vehicle, an output unit that outputs the generated composite image to the display device, and a driver of the vehicle
  • An input unit that inputs a direction instruction of the vehicle, and the composite image generation unit is configured such that when the direction instruction is not input by the input unit, the left side region of the vehicle is substantially the same as the right side region of the vehicle.
  • the direction instruction is input by the input unit, one side area of the vehicle indicated by the direction instruction is the other side of the vehicle.
  • Side of A second composite image displayed with a size larger than the region is generated.
  • the image generation unit when the input unit stops inputting the direction instruction, the image generation unit continues to generate the second composite image for a predetermined period, When the direction instruction is not input for the predetermined period, the image generation unit starts generating the first composite image after the predetermined period.
  • a front image captured by a camera provided in front of the vehicle and the composite image generated by the composite image generation unit A display image generation unit configured to generate a display image including the output image, and the output unit outputs the generated display image to the display device.
  • the composite image generation unit when the virtual viewpoint of the composite image is changed from a first position to a second position, the composite image generation unit The virtual viewpoint is moved stepwise from the first position to the second position, and a plurality of synthesized images for creating an animation in which the virtual viewpoint continuously moves is generated.
  • An image generation device that generates an image to be displayed on a display device mounted on a vehicle, and is arranged behind the vehicle based on a plurality of images around the vehicle taken by a plurality of cameras.
  • a composite image generation unit that generates a composite image around the vehicle including a right side region and a left side region of the vehicle, as viewed from a virtual viewpoint directed to the front of the vehicle, and provided in front of the vehicle
  • a display image generation unit that generates a display image including a front image captured by a camera and the composite image generated by the composite image generation unit, and outputs the generated display image to the display device And an output unit.
  • An image generation device that generates an image to be displayed on a display device mounted on a vehicle, and is a composite image viewed from a virtual viewpoint based on a plurality of images around the vehicle taken by a plurality of cameras.
  • a composite image generation unit that generates the output, and an output unit that outputs the generated composite image to the display device, and when changing the virtual viewpoint of the composite image from a first position to a second position,
  • the composite image generation unit generates a plurality of composite images for creating an animation in which the virtual viewpoint moves continuously by moving the virtual viewpoint stepwise from the first position to the second position.
  • the composite image generation unit changes the virtual viewpoint from a reference position.
  • the reference position is a position corresponding to the viewpoint of the driver of the vehicle.
  • the viewpoint of the composite image displayed on the display device is frequently switched and is difficult to see. Is prevented.
  • the driver pays attention when driving.
  • the desired area can be confirmed on the same screen without switching the screen.
  • the direction of the field of view of the front image, the direction of the field of view of the composite image, and the direction of the field of view of the driver itself are approximately the same, so the driver does not involve complicated judgment such as coordinate conversion in the head. Intuitively grasp the positional relationship between objects displayed on the screen. For this reason, even if a lot of information is provided, the driver can make an accurate determination and can ensure safety.
  • the animation representation of the composite image is performed such that the virtual viewpoint continuously moves from the first position to the second position on the display device. This makes it easier for the driver to intuitively grasp the position of the virtual viewpoint of the composite image after the virtual viewpoint is changed than when the virtual viewpoint is instantaneously switched from the first position to the second position.
  • the front area of the vehicle and the left and right side areas of the vehicle are displayed on the same screen on the display device, so the driver wants to pay attention when driving.
  • the area can be checked on the same screen without switching the screen.
  • the direction of the field of view of the front image, the direction of the field of view of the composite image, and the direction of the field of view of the driver itself are approximately the same, so the driver does not involve complicated judgment such as coordinate conversion in the head. Intuitively grasp the positional relationship between objects displayed on the screen. For this reason, even if a lot of information is provided, the driver can make an accurate determination and can ensure safety.
  • an animation representation of a composite image is performed such that the virtual viewpoint moves from the first position to the second position on the display device. This makes it easier for the driver to intuitively grasp the position of the virtual viewpoint of the composite image after the virtual viewpoint is changed than when the virtual viewpoint is instantaneously switched from the first position to the second position.
  • the position of the virtual viewpoint of the composite image after the virtual viewpoint is changed in relation to the reference position is Is easy to grasp intuitively.
  • the position of the virtual viewpoint of the composite image after the virtual viewpoint is changed is Is easier to grasp intuitively.
  • FIG. 1 is a block diagram of an image display system.
  • FIG. 2 is a diagram illustrating a position where the in-vehicle camera is arranged in the vehicle.
  • FIG. 3 is a diagram illustrating a method for generating a composite image viewed from a virtual viewpoint.
  • FIG. 4 is a diagram illustrating transition of operation modes of the image display system.
  • FIG. 5 is a diagram illustrating display mode transition in the front mode.
  • FIG. 6 is a diagram illustrating an example of a display image in the two-image mode.
  • FIG. 7 is a diagram for explaining the field-of-view range shown in the two-image mode.
  • FIG. 8 is a diagram illustrating a screen display example in the two-image mode.
  • FIG. 1 is a block diagram of an image display system.
  • FIG. 2 is a diagram illustrating a position where the in-vehicle camera is arranged in the vehicle.
  • FIG. 3 is a diagram illustrating a method for generating a composite image
  • FIG. 9 is a diagram illustrating the transition of the viewpoint position of the virtual viewpoint.
  • FIG. 10 is a diagram illustrating an example of a display image in the two-image mode.
  • FIG. 11 is a diagram illustrating an example of a display image in the two-image mode.
  • FIG. 12 is a diagram illustrating a flow of processing for changing the viewpoint position of the virtual viewpoint.
  • FIG. 13 is a diagram illustrating a screen display example in the single image mode.
  • FIG. 14 is a diagram illustrating how the virtual viewpoint moves.
  • FIG. 15 is a diagram illustrating a screen display example in the side camera mode.
  • FIG. 16 is a diagram illustrating display mode transition in the back mode.
  • FIG. 17 is a diagram illustrating the horizontal angle of the visual field range in the standard mode.
  • FIG. 18 is a diagram illustrating the horizontal angle of the viewing range in the wide mode.
  • FIG. 19 is a diagram illustrating an example of a display image in the combined standard mode.
  • FIG. 20 is a diagram illustrating an example of a display image in the composite overhead mode.
  • FIG. 21 is a diagram illustrating the viewpoint position of the virtual viewpoint in the composite overhead view mode.
  • FIG. 22 is a diagram showing a virtual viewpoint setting screen.
  • FIG. 23 is a diagram showing a virtual viewpoint setting screen.
  • FIG. 24 is a diagram illustrating an example of a display image in the combined standard mode.
  • FIG. 25 is a diagram showing a flow of processing for storing mode information.
  • FIG. 26 is a diagram showing a flow of processing at the start time of the back mode.
  • FIG. 27 is a diagram showing a flow of processing for storing mode information.
  • FIG. 28 is a diagram showing the flow of processing at the start of the back mode.
  • FIG. 1 is a block diagram of an image display system 100 according to the present embodiment.
  • This image display system 100 is mounted on a vehicle (in this embodiment, an automobile), and has a function of photographing the periphery of the vehicle, generating an image, and displaying the image in the passenger compartment.
  • a driver of a vehicle serving as a user of the image display system 100 can easily grasp the periphery of the vehicle by using the image display system 100.
  • the image display system 100 provides various information to the imaging unit 5 that captures the periphery of the vehicle, the image generation device 10 that generates a display image indicating the periphery of the vehicle, and the driver of the vehicle. And a navigation device 20 to be provided.
  • the image generation device 10 is configured as an ECU (Electronic Control Unit) having an image generation function, and is disposed at a predetermined position of the vehicle.
  • ECU Electronic Control Unit
  • Navigation device 20 provides navigation guidance to the driver.
  • the navigation device 20 includes a display 21 such as a liquid crystal having a touch panel function, an operation unit 22 that is operated by a driver, and a control unit 23 that controls the entire device.
  • the navigation device 20 is installed on an instrument panel or the like of the vehicle so that the screen of the display 21 is visible from the driver.
  • Various instructions from the driver are received by the operation unit 22 and the display 21 as a touch panel.
  • the control part 23 is comprised as a computer provided with CPU, RAM, ROM, etc., and various functions including a navigation function are implement
  • the navigation device 20 is communicably connected to the image generation device 10, and can transmit and receive various control signals to and from the image generation device 10 and receive display images generated by the image generation device 10.
  • a map image for navigation guidance is usually displayed on the display 21, but in response to a predetermined driver operation or a signal from the image generation device 10, a map around the vehicle generated by the image generation device 10 is displayed.
  • a display image showing the state is displayed.
  • the navigation device 20 also functions as a display device that receives and displays the display image generated by the image generation device 10.
  • the photographing unit 5 is electrically connected to the image generation device 10 and operates based on a signal from the image generation device 10.
  • the photographing unit 5 includes a front camera 51, a side camera 52, and a back camera 53 that are in-vehicle cameras. These in-vehicle cameras 51, 52, and 53 include a lens and an image sensor and electronically acquire an image.
  • FIG. 2 is a diagram showing positions where the in-vehicle cameras 51, 52, 53 are arranged on the vehicle 9.
  • the front camera 51 is provided in the vicinity of the license plate mounting position at the front end of the vehicle 9, and its optical axis 51 a is directed in the straight traveling direction of the vehicle 9.
  • the side cameras 52 are provided on the left and right door mirrors 93, respectively, and their optical axes 52a are directed outward of the vehicle 9 so as to be orthogonal to the straight traveling direction.
  • the back camera 53 is provided in the vicinity of the license plate mounting position at the rear end of the vehicle 9, and its optical axis 53 a is directed in the direction opposite to the straight traveling direction of the vehicle 9.
  • the attachment position of the front camera 51 and the back camera 53 is desirably substantially in the center of the left and right, but may be slightly shifted in the left and right directions from the center of the left and right.
  • a fish-eye lens or the like is employed as the lens of these in-vehicle cameras 51, 52, 53, and the in-vehicle cameras 51, 52, 53 have an angle of view ⁇ of 180 degrees or more. For this reason, it is possible to shoot the entire periphery of the vehicle 9 by using the four in-vehicle cameras 51, 52, and 53.
  • the image generation apparatus 10 includes a control unit 1 that controls the entire apparatus, an image processing unit 3 that processes a captured image acquired by the imaging unit 5 and generates a display image, and a navigation device 20. And a communication unit 42 that communicates with each other. Various instructions from the driver received by the operation unit 22 or the display 21 of the navigation device 20 are received by the communication unit 42 as control signals and input to the control unit 1. Thereby, the image generation apparatus 10 can also perform an operation in response to a driver operation on the navigation apparatus 20.
  • the image processing unit 3 is configured as a hardware circuit capable of various types of image processing, and includes a captured image adjustment unit 31, a composite image generation unit 32, and a display image generation unit 33 as main functions.
  • the captured image adjustment unit 31 adjusts the captured image acquired by the imaging unit 5 for display.
  • the photographed image adjustment unit 31 performs image quality adjustment such as brightness and contrast of the photographed image, and correction of image distortion so that it becomes natural during display.
  • the composite image generation unit 32 generates a composite image viewed from an arbitrary virtual viewpoint around the vehicle 9 based on the plurality of captured images acquired by the plurality of in-vehicle cameras 51, 52, and 53 of the imaging unit 5. A method by which the composite image generation unit 32 generates a composite image viewed from a virtual viewpoint will be described later.
  • the display image generation unit 33 combines one or more of the photographed image adjusted by the photographed image adjustment unit 31 and the composite image generated by the composite image generation unit 32 and provides the display to the driver. An image is generated.
  • the generated display image is output to the navigation device 20 by the communication unit 42 and displayed on the display 21 of the navigation device 20.
  • the control unit 1 is configured as a computer including a CPU, a RAM, a ROM, and the like, and various control functions are realized by the CPU performing arithmetic processing according to a predetermined program.
  • the functions of the control unit 1 realized in this way include a function of controlling image processing executed by the image processing unit 3, that is, a function of controlling the content of the display image.
  • Various parameters necessary for generating the composite image generated by the composite image generation unit 32 are instructed by the function of the control unit 1.
  • the control unit 1 includes a nonvolatile memory 11 constituted by a flash memory and a timer 12 having a time measuring function.
  • the image generation device 10 includes a signal input unit 41 for inputting signals from various devices provided in the vehicle 9.
  • a signal from the outside of the image generation apparatus 10 is input to the control unit 1 via the signal input unit 41.
  • signals indicating various types of information are input to the control unit 1 from the shift sensor 81, the vehicle speed sensor 82, the direction indicator 83, the steering sensor 84, the changeover switch 85, and the like.
  • a part or all of the shift sensor 81, the vehicle speed sensor 82, the direction indicator 83, the steering sensor 84, and the changeover switch 85 may be included in the image display system 100.
  • the operation position of the shift lever of the transmission of the vehicle 9 ie, “P (parking)”, “D (forward)”, “N (neutral)”, “R (reverse)”, etc.
  • the shift position is input.
  • the traveling speed (km / h) of the vehicle 9 at that time is input.
  • a turn signal indicating a direction instruction based on the operation of the turn signal switch that is, a direction instruction intended by the driver of the vehicle 9 is input.
  • a turn signal is generated, and the turn signal indicates the operated direction (left direction or right direction).
  • the turn signal switch is in the neutral position, the turn signal is turned off.
  • the steering sensor 84 receives the direction and angle of rotation of the steering wheel by the driver.
  • the changeover switch 85 is a switch that receives an instruction from the driver to change the mode of the display image. A signal indicating a driver instruction is input to the control unit 1 from the changeover switch 85.
  • FIG. 3 is a diagram for explaining a method of generating a composite image viewed from an arbitrary virtual viewpoint.
  • the front camera 51, the side camera 52, and the back camera 53 of the photographing unit 5 perform photographing simultaneously, four photographed images P1 to P4 respectively showing the front, left side, right side, and rear of the vehicle 9 are acquired.
  • the obtained four captured images P1 to P4 are multiplexed and then projected onto a virtual three-dimensional solid curved surface SP.
  • the three-dimensional curved surface SP has, for example, a substantially hemispherical shape (a bowl shape), and a central portion (a bottom portion of the bowl) is determined as the position of the vehicle 9.
  • the correspondence between the positions of the pixels included in the captured images P1 to P4 and the positions of the pixels of the solid curved surface SP is determined in advance. Therefore, the value of each pixel of the three-dimensional curved surface SP can be determined based on this correspondence and the value of each pixel included in the captured images P1 to P4.
  • the correspondence between the positions of the pixels of the captured images P1 to P4 and the positions of the pixels of the three-dimensional curved surface SP is stored as table data in the nonvolatile memory 11 of the control unit 1 or the like.
  • the virtual viewpoint VP for the three-dimensional curved surface SP is set by the control unit 1 at an arbitrary viewpoint position around the vehicle in an arbitrary visual field direction.
  • the virtual viewpoint VP is defined by the viewpoint position and the viewing direction. Then, according to the set virtual viewpoint VP, a necessary area on the three-dimensional curved surface SP is cut out as an image, so that a composite image viewed from an arbitrary virtual viewpoint is generated.
  • a composite image CP1 that looks down from directly above the vehicle 9 is generated.
  • the virtual viewpoint VP2 in which the viewpoint position is the left rear position of the vehicle 9 and the visual field direction is the substantially forward direction of the vehicle 9 is set, A composite image CP2 that looks over the entire image is generated.
  • the relationship between the virtual viewpoint VP and the necessary area on the three-dimensional curved surface SP is determined in advance, and is stored in the nonvolatile memory 11 of the control unit 1 as table data.
  • the image of the vehicle 9 shown in the composite image is prepared in advance as data such as a bitmap and stored in the nonvolatile memory 11 or the like.
  • data of the image of the vehicle 9 having a shape corresponding to the viewpoint position and the visual field direction of the virtual viewpoint VP of the composite image is read and superimposed on the composite image.
  • the same reference numeral 9 is used for both the actual vehicle and the vehicle image shown in the image.
  • FIG. 4 is a diagram illustrating transition of operation modes of the image display system 100.
  • the image display system 100 has three operation modes: a navigation mode M0, a front mode M1, and a back mode M2. These operation modes are switched by the control of the control unit 1 in accordance with the driver's operation and the vehicle running state.
  • the navigation mode M0 is an operation mode in which a map image for navigation guidance is displayed on the display 21 by the function of the navigation device 20.
  • the functions of the photographing unit 5 and the image generation device 10 are not used, and various displays are performed using the functions of the navigation device 20 alone. For this reason, when the navigation device 20 has a function of receiving and displaying television broadcast radio waves, a television broadcast screen may be displayed instead of the map image for navigation guidance.
  • the front mode M1 and the back mode M2 use the functions of the photographing unit 5 and the image generation device 10 to display on the display 21 an image for display that shows the situation around the vehicle 9 in real time. It is.
  • the front mode M1 is an operation mode for enabling a front monitor function for displaying a display image mainly showing a front area and a side area of the vehicle 9 that are required when the vehicle moves forward.
  • the back mode M2 is an operation mode for enabling a back monitor function for displaying a display image mainly showing a rear area of the vehicle 9 that is required when the vehicle is going backward.
  • the mode In the navigation mode M0, when the traveling speed input from the vehicle speed sensor 82 is less than 10 km / h, for example, the mode is switched to the front mode M1.
  • the front mode M1 when the traveling speed becomes, for example, 10 km / h or higher, the mode is switched to the navigation mode M0.
  • the front mode M1 is canceled in order to concentrate the driver on traveling.
  • the traveling speed of the vehicle 9 is relatively low, the driver drives in consideration of the situation around the vehicle 9, more specifically, approaching an intersection with poor visibility, changing direction, or shifting the width. There are a lot of scenes that do. For this reason, when the traveling speed is relatively low, the mode is switched to the front mode M1 mainly showing the front area and the side area of the vehicle 9.
  • a condition that there is an explicit operation instruction from the driver may be added to the condition that the traveling speed is less than 10 km / h.
  • the mode is switched to the back mode M2. That is, when the transmission of the vehicle 9 is operated to the “R (reverse)” position, the vehicle 9 is in a reverse state, and therefore, the back mode M2 that mainly shows the rear region of the vehicle 9 is switched.
  • the position of the shift lever is other than “R (reverse)” in the back mode M2, it is switched to the navigation mode M0 or the front mode M1 based on the traveling speed at that time. That is, if the traveling speed is 10 km / h or higher, the mode is switched to the navigation mode M0, and if the traveling speed is less than 10 km / h, the mode is switched to the front mode M1.
  • FIG. 5 is a diagram showing display mode transition in the front mode M1.
  • the front mode M1 there are three display modes, a two-image mode M11, a one-image mode M12, and a side camera mode M13, and these display modes have different display modes.
  • These display modes are switched under the control of the control unit 1 in the order of the two-image mode M11, the one-image mode M12, and the side camera mode M13 each time the driver presses the changeover switch 85.
  • the changeover switch 85 is pressed in the side camera mode M13, the mode returns to the two-image mode M11 again.
  • the two-image mode M11 is a display mode in which a display image including the front image FP1 obtained by photographing with the front camera 51 and the composite image FP2 viewed from the virtual viewpoint VP is displayed on the display 21. That is, in the two-image mode M11, two images of the front image FP1 and the composite image FP2 are shown on the same screen.
  • the one image mode M12 is a display mode in which a display image including only the composite image FP3 viewed from the virtual viewpoint VP is displayed on the display 21.
  • the side camera mode M13 is a display mode in which a display image including only the side image FP4 obtained by photographing with the side camera 52 is displayed on the display 21.
  • FIG. 6 is a diagram illustrating an example of a display image displayed on the display 21 in the two-image mode M11. As shown in the figure, in the display image in the two-image mode M11, the front image FP1 is arranged at the top and the composite image FP2 is arranged at the bottom.
  • the front image FP1 is not a composite image from the virtual viewpoint VP, but a display image obtained by adjusting a captured image obtained by capturing with the front camera 51 for display by the captured image adjusting unit 31.
  • the composite image FP2 is a composite image including a side region of the vehicle 9 viewed from the virtual viewpoint VP directed forward from the rear position of the vehicle 9.
  • FIG. 7 is a diagram for explaining the visual field range indicated by the two-image mode M11 around the vehicle 9.
  • a range FV1 indicated by a broken line is a visual field range indicated by a front image FP1
  • a range FV2 indicated by a two-dot chain line is a visual field range indicated by a composite image FP2.
  • the visual field range FV1 and the visual field range FV2 partially overlap in the region A2 that is a boundary between them.
  • a region having a horizontal angle of 180 ° that extends in the left-right direction in the front region of the vehicle 9 is set as the visual field range FV1. For this reason, the driver can grasp the object existing in the left and right front of the vehicle 9 that easily becomes a blind spot when entering the intersection with poor visibility by browsing the front image FP1.
  • a range including both the left and right lateral regions from the front to the rear of the vehicle 9 and the rear of the vehicle 9 and the rear region of the vehicle 9 is set as the visual field range FV2.
  • region can be grasped
  • direction change or width adjustment it is possible to easily confirm a region that tends to be a blind spot from the driver's seat, for example, a region A1 near the outside of the front fender 94 that is not reflected on the door mirror 93.
  • the two images FP1 and FP2 in the visual field ranges FV1 and FV2 can be simultaneously viewed without switching the screen (see also FIG. 6). You can see the situation around the at a glance.
  • the viewpoint position of the virtual viewpoint VP of the composite image FP2 is set to the rear position of the vehicle 9, and the visual field direction is set to the front direction of the vehicle 9.
  • the state of the periphery of the vehicle 9 is shown together with the image of the vehicle 9 when viewed in the front direction from the rear position of the vehicle 9.
  • the direction of the field of view of the front image FP1 the direction of the field of view of the composite image FP2, and the direction of the field of view of the driver itself are approximately the same. Is not invited.
  • the driver since the driver does not go through a complicated thinking process such as coordinate conversion in the head, the driver can intuitively grasp the positional relationship between the object displayed on the display 21 and the vehicle 9.
  • FIG. 7 is a diagram illustrating a screen display example of the display 21 in the two-image mode M11 when the object T moves as described above.
  • the object T moves from the position TP1 outside the visual field range to the position TP2 within the visual field range FV2 of the composite image FP2, first, the object T is shown in the composite image FP2 below the screen (state ST1). At this time, the object T is not shown in the front image FP1 in the upper part of the screen. Subsequently, when the object T moves to a position TP3 within the overlapping area A2 of the visual field range FV1 and the visual field range FV2, the object T is shown in both the front image FP1 and the composite image FP2 (state ST2). Further, when the object T moves to a position TP4 within the visual field range FV1 of the front image FP1, the object is shown in the front image FP1 (state ST3).
  • the object T moves across the field of view ranges FV1 and FV2 of the two images FP1 and FP2 around the vehicle 9, the direction of the field of view of the front image FP1 and the field of view of the composite image FP2 Since the orientation and the orientation of the driver's own visual field are approximately the same, the object T moves in approximately the same direction in both the images FP1 and FP2, so the driver intuitively grasps the movement of the object T. can do.
  • there is a region A2 where the visual field range FV1 and the visual field range FV2 overlap each other there is a scene where the object T is shown at the same time in both the front image FP1 and the composite image FP2, and the movement of the object T is continuous. You can grasp it.
  • the driver can intuitively grasp the situation around the vehicle 9 as described above. For this reason, the driver can make an accurate determination and can sufficiently ensure driving safety.
  • FIG. 9 is a diagram illustrating the transition of the viewpoint position of the virtual viewpoint VP.
  • the viewpoint position of the virtual viewpoint VP is the position of the substantially right and left center behind the vehicle 9.
  • the VPC and visual field direction are set in the forward direction of the vehicle 9. Thereby, as shown in FIG. 6, a composite image FP2 is generated in which the left side region of the vehicle 9 is displayed with substantially the same size as the right side region.
  • the visual field direction of the virtual viewpoint VP is set to the front direction of the vehicle 9.
  • the viewpoint position is moved to a position in the direction indicated by the turn signal.
  • the viewpoint position of the virtual viewpoint VP is set to the position VPL on the left side of the vehicle 9.
  • a composite image FP2 is generated in which the left side area of the vehicle 9 indicated by the turn signal of the direction indicator 83 is displayed in a size larger than the right side area, and is displayed on the display 21. Is done.
  • the composite image FP2 shows the state of the periphery of the vehicle 9 in a state where the front direction is viewed from the rear position of the vehicle 9.
  • the viewpoint position of the virtual viewpoint VP is set to the position VPR on the right side of the vehicle 9.
  • a composite image FP2 in which the right side area of the vehicle 9 indicated by the turn signal of the direction indicator 83 is displayed in a size larger than the left side area is generated and displayed on the display 21. Is done. Also in this case, the composite image FP2 shows the state of the periphery of the vehicle 9 in a state where the front direction is viewed from the rear position of the vehicle 9.
  • the direction instructed by the direction indicator 83 is highly likely that there is an object that the vehicle 9 moves and contacts when the direction is changed or the width is adjusted. Therefore, by showing the side area in the direction instructed by the direction indicator 83 in this way, the driver's attention can be directed to an object that may come into contact, and the contact between the vehicle 9 and the object can be reduced. It can be effectively prevented.
  • the composite image FP2 shows the surroundings of the vehicle 9 together with the image of the vehicle 9 when viewed from the rear position of the vehicle 9 in the forward direction.
  • the driver since the lateral region of the vehicle 9 is shown with the same visual field direction as the driver's own visual field direction, the driver is not confused about the direction in which the object shown in the image exists.
  • the driver since the driver does not involve a complicated thinking process such as coordinate conversion in the head, the driver can intuitively grasp the positional relationship between the vehicle 9 and the object.
  • a side region in another direction opposite to the one direction indicated by the turn signal is also synthesized. Included in the image. For this reason, even if an object exists in the side area opposite to the direction indicated by the turn signal, it is possible to grasp the object. Thus, for example, in order to avoid an object in the direction indicated by the turn signal, even when the steering wheel is operated in a direction opposite to the direction indicated by the turn signal, contact with an object existing in the opposite direction is prevented. Can be prevented.
  • the viewpoint position of the virtual viewpoint VP of the composite image FP2 is returned to the position VPC at the center of the left and right. It is.
  • the composite image generation unit 32 continues to generate the composite image FP2 for a predetermined period, and when the direction instruction is not input for the predetermined period, The image generation unit 32 starts generating the composite image FP1 after a predetermined period.
  • the viewpoint position of the virtual viewpoint VP is returned to the position VPC at the center of the left and right after a predetermined time has elapsed with the turn signal being turned off, not immediately after the turn signal is turned off.
  • FIG. 12 is a diagram showing a flow of processing for changing the viewpoint position of the virtual viewpoint VP. This process is executed under the control of the control unit 1 when the turn signal is turned on by operating the turn signal switch.
  • step S11 the direction indicated by the turn signal of the direction indicator 83 is determined (step S11). If the turn signal indicates the left direction, the process proceeds to step S12. If the turn signal indicates the right direction, the process proceeds to step S17.
  • step S12 the virtual viewpoint VP is set to the left side position VPL.
  • a composite image FP ⁇ b> 2 showing the left side region larger than the right direction is generated and displayed on the display 21.
  • step S13 the state of the turn signal is monitored in such a state that the virtual viewpoint VP is set to the left side position VPL (step S13).
  • the process returns to step S12, and the virtual viewpoint VP is maintained at the left side position VPL. That is, the display of the composite image FP2 that shows a relatively large lateral region in the left direction is maintained.
  • the turn signal indicates the right direction, the process proceeds to step S17.
  • step S13 when the turn signal is turned off in step S13, that is, when the direction instruction is changed from the presence to the absence, the time measurement by the timer 12 is started when the turn signal is turned off (step S14). .
  • step S15 and S16 the state of the turn signal is monitored until a predetermined time has elapsed from the start of timing.
  • This predetermined time is, for example, 3 seconds in the present embodiment.
  • the virtual viewpoint VP is maintained at the left side position VPL, and the display of the composite image FP2 that shows a relatively large side region in the left direction is maintained.
  • the viewpoint position of the virtual viewpoint VP is returned to the position VPC at the center of the left and right (step S22).
  • the composite image FP2 including both the left and right side areas of the vehicle 9 is displayed substantially equally.
  • step S15 if the turn signal indicates the left direction again in step S15 before the predetermined time has elapsed from the start of timing, the process returns to step S12, and the virtual viewpoint VP is maintained at the left side position VPL. That is, the display of the composite image FP2 that shows a relatively large lateral region in the left direction is maintained. If the turn signal indicates the right direction in step S15, the process proceeds to step S17.
  • the turn signal switch of the direction indicator 83 may return from the operation position to the neutral position regardless of the driver's intention. For this reason, the scene where a driver operates the turn signal switch of the direction indicator 83 continuously in the same direction for a short time occurs. In such a scene, if the viewpoint position of the virtual viewpoint VP is immediately changed in response to turning on / off of the turn signal, the viewpoint position of the composite image FP2 displayed on the display 21 is frequently switched and is difficult to see. .
  • the viewpoint position of the virtual viewpoint VP is maintained until a predetermined time elapses even after the turn signal is turned off, and the viewpoint position of the virtual viewpoint VP is set on condition that the predetermined time has elapsed with the turn signal turned off.
  • the shorter the predetermined time used for this determination the more frequently the viewpoint position of the composite image FP2 may be switched, and the longer the predetermined time, the more difficult the viewpoint position of the composite image FP2 returns to the approximate center. For this reason, it is desirable to set the predetermined time between 2 seconds and 4 seconds, for example.
  • step S17 the virtual viewpoint VP is set to the right side position VPR.
  • a composite image FP ⁇ b> 2 that shows the lateral region in the right direction larger than the left direction is generated and displayed on the display 21.
  • step S18 the state of the turn signal is monitored with the virtual viewpoint VP set to the right side position VPR.
  • the process returns to step S17, the virtual viewpoint VP is maintained at the right side position VPR, and when the turn signal indicates the left direction, the process proceeds to step S12.
  • step S18 when the turn signal is turned off, the timer 12 starts measuring time when the turn signal is turned off (step S19), and the state of the turn signal is maintained until a predetermined time elapses from the start of timing. Monitored (steps S20 and S21). At this time, the virtual viewpoint VP is maintained at the right side position VPR until a predetermined time elapses. If the predetermined time has elapsed with the turn signal turned off (Yes in step S21), the viewpoint position of the virtual viewpoint VP is returned to the position VPC at the substantially left and right center (step S22). As a result, the composite image FP2 including both the left and right side areas of the vehicle 9 is displayed substantially equally.
  • step S12 If the turn signal indicates the right direction again in step S20 before the predetermined time has elapsed from the start of timing, the process returns to step S17, and the virtual viewpoint VP is maintained at the right side position VPR. That is, the display of the composite image FP2 that shows a relatively large lateral region in the right direction is maintained. If the turn signal indicates the left direction in step S20, the process proceeds to step S12.
  • the direction of the visual field of the composite image FP3 and the direction of the visual field of the driver itself are approximately the same, so that the driver can intuitively grasp the positional relationship of the objects displayed on the display 21.
  • FIG. 13 is a diagram illustrating an example of display when animation expression is performed in the one-image mode M12.
  • FIG. 14 is a diagram showing how the virtual viewpoint VP moves at this time.
  • the control unit 1 changes the viewpoint position of the virtual viewpoint VP so as to move linearly from a position VPD corresponding to the driver's viewpoint to a position VPA behind the vehicle 9.
  • the composite image generation unit 32 creates a plurality of composite images FP3 by moving the virtual viewpoint VP stepwise from the position VPD to the position VPA.
  • the image generation unit 32 generates an animation in which the virtual viewpoint VP continuously moves by sequentially generating the plurality of composite images FP3.
  • the parameters for generating the plurality of composite images FP3 are derived by the control unit 1 by linear interpolation based on the parameters of the position VPD before the change and the parameters of the position VPA after the change.
  • the plurality of generated composite images FP3 are sequentially output to the navigation device 20 and are displayed on the display 21 continuously in time.
  • an animation expression is made on the display 21 such that the virtual viewpoint VP of the composite image FP3 moves from the position corresponding to the driver's viewpoint to the rear position of the vehicle 9. That is, in the composite image FP3, the image of the vehicle 9 is initially not visible because it is the viewpoint of the driver (state ST11), but the upper image of the vehicle 9 is gradually shown (states ST12 and ST13), and finally The image of the vehicle 9 is shown so as to look down at the vehicle 9 from the rear (state ST14).
  • Such animation expression takes about 1 second.
  • the driver can intuitively determine at which position the virtual viewpoint VP is a composite image compared to the case where the virtual viewpoint VP is switched instantaneously. Can be easily grasped.
  • the viewpoint position of the virtual viewpoint VP is moved from this reference position with the position corresponding to the viewpoint of the driver of the vehicle 9 as the reference position. For this reason, since the viewpoint position after the change of the virtual viewpoint VP is shown based on the viewpoint position of the driver, it is easy to grasp intuitively.
  • the reference position for starting the animation expression may be a position that is easy for the driver to intuitively grasp even if it is not a position corresponding to the driver's viewpoint. For example, a position directly above the center of the vehicle 9 or a substantially center position on the left and right of the front bumper may be used as the reference position.
  • Such animation expression can be performed not only when the display mode is changed but also when the virtual viewpoint VP is changed. For example, it is desirable to perform animation expression even when the viewpoint position of the virtual viewpoint VP is changed in the horizontal direction in response to the operation of the direction indicator 83 in the above-described two-image mode M11.
  • a plurality of synthesized images that can be animated by continuous display may be generated while moving the position of the virtual viewpoint in stages.
  • the parameter for generating the composite image can be derived by linear interpolation based on the position parameter before the change and the position parameter after the change.
  • the side image FP4 is not a composite image from the virtual viewpoint VP, but is a display image obtained by adjusting the captured image obtained by capturing with the left side camera 52 for display by the captured image adjusting unit 31.
  • the outside region of the front fender 94 on the left side of the vehicle 9 on the opposite side tends to be a blind spot.
  • the outer region of the left front fender 94 is shown enlarged. This makes it easier to grasp the state of the object present in the blind spot than in other display modes.
  • the range displayed on the display 21 can be switched by pressing the changeover switch 85. Specifically, it is possible to switch between a side image FP4 showing an enlarged area near the front wheel 96 on the left side of the vehicle 9 and a side image FP5 showing an enlarged rear area from the front wheel 96.
  • FIG. 16 is a diagram illustrating display mode transition in the back mode M2.
  • the back mode M2 there are four display modes of a standard mode M21, a wide mode M22, a composite standard mode M23, and a composite overhead mode M24, and the display modes are different from each other.
  • the driver can select any one display mode and set it to the current display mode (hereinafter referred to as “current mode”).
  • the changeover switch 85 when the changeover switch 85 is pressed, the current mode is set in the order of the standard mode M21, the wide mode M22, and the composite standard mode M23.
  • the composite standard mode M23 is the current mode
  • the changeover switch 85 may be switched by pressing a command button on the screen.
  • composition standard mode M23 is the current mode
  • viewpoint switching button CB1 displayed as a command button on the screen of the display 21 is pressed
  • the composition overhead mode M24 is set to the current mode.
  • the composite standard mode M23 is set to the current mode.
  • the composition overhead view mode M24 is the current mode and the switch 85 is pressed
  • the standard mode M21 is set to the current mode.
  • a display image corresponding to the current mode is generated by the image processing unit 3 and displayed on the display 21.
  • the standard mode M21 and the wide mode M22 are the current mode
  • a display image including only the back images BP1 and BP2 obtained by photographing with the back camera 53 is displayed on the display 21.
  • the composite standard mode M23 is the current mode
  • a display image including the composite image BP4 viewed from the virtual viewpoint VP and the back image BP5 obtained by photographing with the back camera 53 is displayed on the display 21.
  • the composite bird's-eye view mode M24 is the current mode
  • the composite image BP6 viewed from the virtual viewpoint VP is displayed instead of the back image BP5 in the composite standard mode M23.
  • Standard mode> As shown in FIG. 16, in the standard mode M21, only the back image BP1 is displayed on the display 21.
  • the back image BP1 is not a composite image from the virtual viewpoint VP, but a display image obtained by adjusting the captured image obtained by capturing with the back camera 53 for display by the captured image adjusting unit 31.
  • the horizontal angle of the visual field range of the back image BP1 is 135 °, and in the standard mode M21, the rear region of the vehicle 9 is shown in a natural manner.
  • a guideline GL indicating a predicted course when the vehicle 9 moves backward is superimposed and displayed.
  • the guide line GL is moved according to the rotation direction and rotation angle of the steering wheel input from the steering sensor 84.
  • the driver can move the vehicle 9 backward using the guideline GL as a guide.
  • the back image BP2 is not a composite image from the virtual viewpoint VP, but is a display image obtained by adjusting the captured image obtained by capturing with the back camera 53 for display by the captured image adjusting unit 31. Also in the back image BP2, a guideline GL indicating a predicted course when the vehicle 9 is moving backward is displayed superimposed.
  • the horizontal angle of the visual field range of the back image BP2 is 180 °, and an object in a wider range in the horizontal direction than the standard mode M21 can be confirmed. Therefore, when the vehicle is parked in the front-stop position, the left and right areas that are likely to become blind spots can be confirmed by using the wide mode M22 in such a display mode.
  • FIG. 19 is a diagram illustrating an example of a display image displayed on the display 21 in the combined standard mode M23.
  • the combined image BP4 is disposed on the left side
  • the back image BP5 is disposed on the right side.
  • the composite image BP4 is a composite image viewed from a virtual viewpoint VP that looks down on the entire periphery of the vehicle 9.
  • the back image BP5 is not a composite image from the virtual viewpoint VP, but a display image obtained by adjusting the captured image obtained by capturing with the back camera 53 for display by the captured image adjusting unit 31.
  • the horizontal angle of the visual field range of the back image BP5 is 135 °.
  • the driver can confirm both the appearance of the entire periphery of the vehicle 9 and the appearance of the rear area of the vehicle 9 by visually recognizing the display image of the composite standard mode M23 having such a display mode. Accordingly, the driver can safely move the vehicle 9 backward while being aware of the objects around the entire vehicle 9.
  • FIG. 20 is a diagram illustrating an example of a display image displayed on the display 21 in the composite overhead mode M24.
  • a composite image BP4 viewed from a virtual viewpoint VP overlooking the entire periphery of the vehicle 9 is arranged on the left side of the display image in the composite bird's-eye view mode M24, similarly to the composite standard mode M23.
  • a composite image BP6 viewed from the virtual viewpoint VP looking down the vicinity of the rear end of the vehicle 9 substantially directly is arranged.
  • the viewpoint position of the virtual viewpoint VP of the composite image BP6 is set to a position just above the rear end of the vehicle 9, and the visual field direction is set to a direction almost directly below.
  • the composite image BP6 shows an enlarged region in the vicinity of the rear end of the vehicle 9 so as to look down from the upper side thereof.
  • the rearward direction of the vehicle 9, which is the traveling direction when the vehicle 9 moves backward is the upward direction of the image.
  • the driver can easily confirm the clearance between the vehicle 9 and its surrounding objects, particularly the object existing near the rear end of the vehicle 9, by visually recognizing the display image in the composite overhead mode M24 having such a display mode. .
  • the synthetic bird's-eye view mode M24 is a display mode that can be used effectively under special conditions such as when the parking position of the vehicle 9 is finally adjusted when the vehicle 9 is parked backward.
  • the viewpoint position of the virtual viewpoint VP is set to a desired position of the driver. it can.
  • the setting button CB2 displayed as a command button on the screen is pressed in the composite standard mode M23 or the composite overhead mode M24, a setting screen for setting the viewpoint position of the virtual viewpoint VP is displayed.
  • FIG. 22 and 23 are diagrams showing a setting screen for this virtual viewpoint VP.
  • an index indicating the position of the virtual viewpoint VP relative to the vehicle 9 is shown along with an illustration showing the side of the vehicle 9.
  • the index can be moved by pressing the command buttons CB4 and CB5 on the screen, and the position of the moved index with respect to the illustration of the vehicle 9 is set as the viewpoint position of the virtual viewpoint VP.
  • the visual field direction of the virtual viewpoint VP is set toward the approximate center 9 c of the vehicle 9.
  • FIG. 22 shows an example where the viewpoint position of the virtual viewpoint VP is set to a position immediately above the approximate center of the vehicle 9, and
  • FIG. 23 shows an example where the viewpoint position of the virtual viewpoint VP is set to the rear position of the vehicle 9.
  • this setting screen a composite image BP7 when the position of the index is the virtual viewpoint VP is displayed. Therefore, by visually recognizing such a setting screen, it is possible to easily confirm what composite image BP7 is obtained when the virtual viewpoint VP is moved, and the driver moves the virtual viewpoint VP to a desired position. be able to.
  • the set contents are reflected in the display of the composite standard mode M23 and the composite overhead mode M24.
  • the vehicle 9 is shown as viewed from behind in the composite image BP4 on the left side of the display image as shown in FIG. Since the viewpoint position of the virtual viewpoint VP can be set in this way, the driver can grasp the positional relationship between the vehicle 9 and surrounding objects from a desired angle when the vehicle 9 moves backward.
  • the image display system 100 stores the display mode most recently set to the current mode in the back mode M2, and when the back mode M2 is entered next, in principle, the current mode is set to the most recent mode.
  • the control unit 1 sets the displayed mode to the current mode immediately after the back mode M2. This eliminates the need for a complicated operation for the driver to select a desired display mode each time the vehicle 9 is moved backward.
  • FIG. 25 is a diagram showing a flow of processing for storing information indicating the latest current mode. This process is repeatedly executed by the control unit 1 when the operation mode is the back mode M2.
  • step S31 it is determined whether or not the current mode is switched to another display mode.
  • mode information indicating the current mode after switching is stored in the nonvolatile memory 11 (step S32). Since this process is performed every time the current mode is switched, the nonvolatile memory 11 stores mode information indicating the display mode most recently set to the current mode. This mode information is obtained even when the operation mode is other than the back mode M2 (when the transmission of the vehicle 9 is other than the “R (reverse)” position) or when the image display system 100 is turned off. It is stored in the nonvolatile memory 11.
  • FIG. 26 is a diagram showing the flow of processing at the start of the back mode M2. This process is executed by the control unit 1 in response to the transmission of the vehicle 9 being operated to the “R (reverse)” position and the operation mode being the back mode M2.
  • the mode information stored in the nonvolatile memory 11 is read (step S41). Then, it is determined which is the display mode indicated by the read mode information (step S42).
  • the display mode indicated by the mode information is other than the synthetic overhead mode M24 (No in step S42), the display mode indicated by the mode information is set to the current mode (step S43).
  • the display mode indicated by the mode information is the composite overhead mode M24 (Yes in step S42)
  • the composite standard mode M23 is set to the current mode (step S44).
  • the display mode that has recently entered the current mode is set in principle to the current mode immediately after the back mode M2.
  • the display mode that has recently become the current mode is the combined overhead mode M24
  • the combined standard mode M23 different from the combined overhead mode M24 is set to the current mode immediately after the back mode M2. Since the composite bird's-eye view mode M24 is used mainly when the parking position of the vehicle 9 is finally adjusted, there are few scenes used when the vehicle 9 starts to move backward. For this reason, when the display mode that has recently become the current mode is the composite overhead mode M24, the current mode is set to the composite overhead mode by setting the exceptionally different display mode to the current mode immediately after the back mode M2. A complicated operation of changing from M24 to another display mode can be eliminated.
  • processing for exceptionally handling the synthetic bird's-eye view mode M24 can be realized by processing different from the processing shown in FIGS.
  • FIG. 27 is a diagram showing another example of the flow of processing for storing information indicating the latest current mode. This process is also repeatedly executed by the control unit 1 when the operation mode is the back mode M2.
  • step S51 it is determined whether or not the current mode has been switched to another display mode.
  • step S52 it is determined which is the current mode after switching.
  • step S52 mode information indicating the current mode after switching is stored in the nonvolatile memory 11 (step S53).
  • mode information indicating the synthetic standard mode M23 is stored in the nonvolatile memory 11 (step S54).
  • mode information indicating the display mode that has been set to the current mode most recently is stored in the nonvolatile memory 11, but when the latest current mode is the synthetic overhead mode M24, the synthetic standard mode M23 is exceptional. Mode information indicating is stored.
  • FIG. 28 is a diagram showing a flow of processing at the start of the back mode M2 when the processing in FIG. 27 is performed. This process is also executed by the control unit 1 in response to the transmission of the vehicle 9 being operated to the “R (reverse)” position and the operation mode being the back mode M2.
  • the mode information stored in the nonvolatile memory 11 is read (step S61). Then, the display mode indicated by the read mode information is set to the current mode as it is (step S62). Even in such a process, when the display mode that has recently become the current mode is the composite overhead mode M24, an exceptionally different display mode can be set as the current mode immediately after the back mode M2. As a result, a complicated operation of changing the current mode from the composite overhead mode M24 to another display mode can be eliminated.
  • the image generation apparatus 10 and the navigation apparatus 20 are described as different apparatuses.
  • the navigation apparatus 20 and the image generation apparatus 10 are arranged in the same housing and configured as an integrated apparatus. May be.
  • the display device that displays the display image generated by the image generation device 10 has been described as the navigation device 20, but a general function that does not have a special function such as a navigation function. It may be a display device.
  • control unit 1 of the image generation apparatus 10 may be realized by the control unit 23 of the navigation apparatus 20.
  • signals from the shift sensor 81, the vehicle speed sensor 82, the direction indicator 83, the steering sensor 84, and the changeover switch 85 are input to the image generation device 10, and some or all of these signals are input to the navigation device 20. It may be entered. In this case, part or all of these signals may be input to the control unit 1 of the image generation apparatus 10 via the communication unit 42.
  • a direction instruction intended by the driver of the vehicle 9 is input from the direction indicator 83, but may be input by other means.
  • the movement of the driver's viewpoint may be detected from an image obtained by photographing the driver's eyes, and a direction instruction intended by the driver may be input from the detection result.
  • the specific display mode that is exceptionally handled in the back mode M2 has been described as the composite overhead mode M24.
  • a display mode different from the composite overhead mode M24 is set as the specific display mode. May be.
  • the specific display mode may be a display mode in which only an image from a virtual viewpoint in which the vicinity of the rear end of the vehicle 9 is looked down almost directly is displayed as a display image. It is desirable that the display mode of the mode used under special conditions such as the final adjustment of the parking position is the specific display mode.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)

Abstract

　車両と物体との位置関係を直感的に把握できる技術を提供する。　画像表示システムでは、ドライバに提供される表示用画像において、方向指示器で指示された方向の車両９の側方領域が大きく示される。このため、車両９と接触する可能性のある物体を容易に発見でき、接触事故を有効に防止できる。この場合において、車両９の後方位置から前方に向けた仮想視点からみた合成画像ＦＰ２が表示されるため、ドライバ自身の視野の向きと同じ視野の向きで車両９の側方領域が示される。このことから、ドライバは頭の中で座標変換を行うなどの複雑な判断を伴うことなく、車両９と物体との位置関係を直感的に把握できる。

Description

画像生成装置及び画像表示システム
　本発明は、車両に搭載された表示装置に表示させる画像を生成する技術に関する。
　関連技術の画像表示システムは、自動車などの車両に搭載され、当該車両の周辺を撮影して画像を生成し車室内のディスプレイに表示する。例えば、運転席の逆側となるフロントフェンダの外側領域は運転席から死角となりやすい。このため、フロントフェンダの外側領域を撮影して得られる画像を表示する画像表示システムを利用することで、狭い道で対向車とすれ違う場合などに運転席の逆側の車体と障害物との間のクリアランスをドライバは容易に確認できるようになる。
　また、フロントフェンダの外側領域などの車両周辺の限定された領域ではなく、車両周辺のより広い領域を示す画像を車室内に表示する技術が提案されている。例えば、特許文献１においては、車両の前方及び左右双方の側方にそれぞれ設置された車載カメラで得られる３つの画像を、一つの画面に配列して表示する。
　また、特許文献２においては、複数の車載カメラで車両の周辺を撮影して得られる複数の撮影画像を利用して、車両の略直上に設定された仮想視点からみた車両の周辺の様子を示す画像を提供する技術が提案されている。この特許文献２では、方向指示器において示された方向に応じて画像中の自車の位置を移動させる技術も提案されている。
日本国特開２００１－１１４０４８号公報 日本国特開平３－９９９５２号公報
　関連技術の画像表示システムにおいては、表示される画像中に示された物体（被写体）をみる視点の視野方向は、車載カメラの光軸の方向、あるいは、車両の略直上から見下ろす方向である。このため、画像を視認するドライバは、画像中の物体の位置に基づいて頭の中で座標変換をする思考過程を経て実際の物体と車両との位置関係を把握することになり、実際の物体と車両との位置関係を瞬時に判断することは難しいことがある。
　また、特許文献１のように、車両の前方及び左右双方の側方を一つの画面に示す場合にあっては、前方を示す画像と側方を示す画像とで視野方向が異なっているため、物体が存在する方向に関してドライバの混乱を招き、実際の物体と車両との位置関係を瞬時に判断することは難しい。
　ところで、車両を運転するドライバは、車両と接触の可能性のある物体を発見した場合は、とっさの判断で衝突を避けるように車両を回避運転する必要がある。しかしながら、従来の画像表示システムでは、車両とその車両の周辺の物体との位置関係を瞬時に判断することは難しいため、とっさに的確な判断をしにくい場面も考えられる。このため、車両と物体との位置関係をより直感的に把握できる技術が要望されていた。
　本発明は、上記課題に鑑みてなされたものであり、車両と物体との位置関係を直感的に把握できる技術を提供することを目的とする。
　本発明の上記目的は、以下の構成によって達成される。
　（１）　車両に搭載された表示装置に表示される画像を生成する画像生成装置であって、複数のカメラで撮影された前記車両の周辺の複数の画像に基づいて、前記車両の後方に配置され前記車両の前方に向けられた仮想視点からみた前記車両の周囲の合成画像を生成する合成画像生成部と、生成された前記合成画像を前記表示装置に出力する出力部と、前記車両のドライバの方向指示を入力する入力部と、を備え、前記合成画像生成部は、前記入力部によって前記方向指示が入力されていないときは、前記車両の左側方領域が前記車両の右側方領域と実質的に同じサイズで表示される第１合成画像を生成し、前記入力部によって前記方向指示が入力されているときは、該方向指示によって示される前記車両の一の側方領域が前記車両の他の側方領域よりも大きいサイズで表示される第２合成画像を生成する。
　（２）　上記（１）に記載の画像生成装置において、前記入力部が前記方向指示を入力することを停止したとき、前記画像生成部は、所定期間、前記第２合成画像を生成し続け、前記所定期間、前記方向指示が入力されていないとき、前記画像生成部は、前記所定期間の後、前記第１合成画像を生成することを開始する。
　（３）　上記（１）または（２）に記載の画像生成装置において、前記車両の前方に設けられたカメラで撮影されたフロント画像と、前記合成画像生成部で生成された前記合成画像とを含む表示用画像を生成する表示画像生成部、をさらに備え、前記出力部は、生成された前記表示用画像を前記表示装置に出力する。
　（４）　上記（１）ないし（３）のいずれかに記載の画像生成装置において、前記合成画像の前記仮想視点を第１位置から第２位置に変更するとき、前記合成画像生成部は、前記第１位置から前記第２位置まで段階的に前記仮想視点を移動して、前記仮想視点が連続的に移動するアニメーションを作成するための複数の合成画像を生成する。
　（５）　車両に搭載された表示装置に表示される画像を生成する画像生成装置であって、複数のカメラで撮影された前記車両の周辺の複数の画像に基づいて、前記車両の後方に配置され前記車両の前方に向けられた仮想視点からみた、前記車両の右側方領域と左側方領域を含む前記車両の周囲の合成画像を生成する合成画像生成部と、前記車両の前方に設けられたカメラで撮影されたフロント画像と、前記合成画像生成部で生成された前記合成画像とを含む表示用画像を生成する表示画像生成部と、生成された前記表示用画像を前記表示装置に出力する出力部と、を備える。
　（６）　車両に搭載された表示装置に表示される画像を生成する画像生成装置であって、複数のカメラで撮影された前記車両の周辺の複数の画像に基づいて、仮想視点からみた合成画像を生成する合成画像生成部と、生成された前記合成画像を前記表示装置に出力する出力部と、を備え、前記合成画像の前記仮想視点を第１位置から第２位置に変更するとき、前記合成画像生成部は、前記第１位置から前記第２位置まで段階的に前記仮想視点を移動して、前記仮想視点が連続的に移動するアニメーションを作成するための複数の合成画像を生成する。
　（７）　上記（６）に記載の画像生成装置において、前記合成画像生成部は、基準位置から前記仮想視点を変更する。
　（８）　上記（７）に記載の画像生成装置において、前記基準位置は、前記車両のドライバの視点に相当する位置である。
　（９）　車両に搭載される画像表示システムであって、上記（１）ないし（８）のいずれかに記載の画像生成装置と、前記画像生成装置で生成された画像を表示する表示装置と、を備える。
　上記（１）から（４）に記載の画像生成装置、及び（９）に記載の画像表示システムによれば、方向変更や幅寄せのときに車両が移動して接触する物体が存在する可能性の高い、ドライバが意図する方向の側方領域が大きく示される。このため、接触する可能性のある物体を容易に発見でき、接触事故を有効に防止できる。また、車両の後方位置から前方に向けた仮想視点からみた合成画像が表示されるため、ドライバ自身の視野の向きと同じ視野の向きで車両の側方領域が示される。このことから、ドライバは、頭の中で座標変換を行うなどの複雑な判断を伴うことなく、車両と物体との位置関係を直感的に把握できる。
　また、特に上記（２）に記載の画像生成装置によれば、方向指示器を短時間で連続して操作する場合などに、表示装置に表示される合成画像の視点が頻繁に切り替わって見難くなることが防止される。
　また、特に上記（３）に記載の画像生成装置によれば、表示装置において車両の前方領域と車両の左右の側方領域とが同一の画面で表示されるため、ドライバが運転の際に注目したい領域を、画面を切り替えることなく同一画面で確認できる。フロント画像の視野の向きと、合成画像の視野の向きと、ドライバ自身の視野の向きとがおよそ一致することから、ドライバは、頭の中で座標変換を行うなどの複雑な判断を伴うことなく、画面に表示された物体の位置関係を直感的に把握できる。このため、多くの情報が提供されたとしても、ドライバは的確な判断を行うことができ、安全性を確保できる。
　また、上記（４）に記載の画像生成装置によれば、表示装置において仮想視点が第１位置から第２位置まで連続的に移動するような合成画像のアニメーション表現がなされる。このため、仮想視点を第１位置から第２位置へ瞬時に切り替える場合よりも、仮想視点が変更された後の合成画像の仮想視点の位置を、ドライバが直感的に把握しやすくできる。
　また、上記（５）に記載の画像生成装置によれば、表示装置において車両の前方領域と車両の左右の側方領域とが同一の画面で表示されるため、ドライバが運転の際に注目したい領域を、画面を切り替えることなく同一画面で確認できる。フロント画像の視野の向きと、合成画像の視野の向きと、ドライバ自身の視野の向きとがおよそ一致することから、ドライバは、頭の中で座標変換を行うなどの複雑な判断を伴うことなく、画面に表示された物体の位置関係を直感的に把握できる。このため、多くの情報が提供されたとしても、ドライバは的確な判断を行うことができ、安全性を確保できる。
　また、上記（６）ないし（８）に記載の画像生成装置によれば、表示装置において仮想視点が第１位置から第２位置まで移動するような合成画像のアニメーション表現がなされる。このため、仮想視点を第１位置から第２位置へ瞬時に切り替える場合よりも、仮想視点が変更された後の合成画像の仮想視点の位置を、ドライバが直感的に把握しやすくできる。
　また、特に（７）に記載の画像生成装置によれば、基準位置から仮想視点を移動させるため、基準位置との関係で仮想視点が変更された後の合成画像の仮想視点の位置を、ドライバが直感的に把握しやすい。
　また、特に（８）に記載の画像生成装置によれば、ドライバの視点に相当する基準位置から仮想視点を移動させるため、仮想視点が変更された後の合成画像の仮想視点の位置を、ドライバがさらに直感的に把握しやすい。
図１は、画像表示システムのブロック図である。 図２は、車載カメラが車両に配置される位置を示す図である。 図３は、仮想視点からみた合成画像を生成する手法を説明する図である。 図４は、画像表示システムの動作モードの遷移を示す図である。 図５は、フロントモードにおける表示モードの遷移を示す図である。 図６は、二画像モードの表示用画像の一例を示す図である。 図７は、二画像モードで示される視野範囲を説明する図である。 図８は、二画像モードでの画面表示例を示す図である。 図９は、仮想視点の視点位置の遷移を示す図である。 図１０は、二画像モードの表示用画像の一例を示す図である。 図１１は、二画像モードの表示用画像の一例を示す図である。 図１２は、仮想視点の視点位置を変更する処理の流れを示す図である。 図１３は、一画像モードにおける画面表示例を示す図である。 図１４は、仮想視点の移動の様子を示す図である。 図１５は、サイドカメラモードにおける画面表示例を示す図である。 図１６は、バックモードにおける表示モードの遷移を示す図である。 図１７は、標準モードの視野範囲の水平角度を示す図である。 図１８は、ワイドモードの視野範囲の水平角度を示す図である。 図１９は、合成標準モードの表示用画像の一例を示す図である。 図２０は、合成俯瞰モードの表示用画像の一例を示す図である。 図２１は、合成俯瞰モードの仮想視点の視点位置を示す図である。 図２２は、仮想視点の設定画面を示す図である。 図２３は、仮想視点の設定画面を示す図である。 図２４は、合成標準モードの表示用画像の一例を示す図である。 図２５は、モード情報を記憶する処理の流れを示す図である。 図２６は、バックモードの開始時点の処理の流れを示す図である。 図２７は、モード情報を記憶する処理の流れを示す図である。 図２８は、バックモードの開始時点の処理の流れを示す図である。
　以下、図面を参照しつつ本発明の実施の形態について説明する。
　＜１．構成＞
　図１は、本実施の形態の画像表示システム１００のブロック図である。この画像表示システム１００は、車両（本実施の形態では、自動車）に搭載され、車両の周辺を撮影して画像を生成し、車室内に表示する機能を有している。画像表示システム１００のユーザとなる車両のドライバは、この画像表示システム１００を利用することにより当該車両の周辺を容易に把握できる。
　図１に示すように、画像表示システム１００は、車両の周辺を撮影する撮影部５と、車両の周辺を示す表示用画像を生成する画像生成装置１０と、車両のドライバに対して各種情報を提供するナビゲーション装置２０とを備えている。画像生成装置１０は、画像生成機能を有するＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）として構成され、車両の所定の位置に配置される。
　ナビゲーション装置２０は、ドライバに対しナビゲーション案内を行う。ナビゲーション装置２０は、タッチパネル機能を備えた液晶などのディスプレイ２１と、ドライバが操作を行う操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がドライバから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。ドライバからの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
　ナビゲーション装置２０は、画像生成装置１０と通信可能に接続され、画像生成装置１０との間で各種の制御信号の送受信や、画像生成装置１０で生成された表示用画像の受信が可能である。ディスプレイ２１には、通常はナビゲーション案内用の地図画像が表示されるが、所定のドライバの操作や画像生成装置１０からの信号などに応答して、画像生成装置１０で生成された車両の周辺の様子を示す表示用画像が表示される。これにより、ナビゲーション装置２０は、画像生成装置１０で生成された表示用画像を受信して表示する表示装置としても機能する。
　撮影部５は、画像生成装置１０に電気的に接続され画像生成装置１０からの信号に基づいて動作する。撮影部５は、車載カメラであるフロントカメラ５１、サイドカメラ５２及びバックカメラ５３を備えている。これらの車載カメラ５１，５２，５３は、レンズと撮像素子とを備えており電子的に画像を取得する。
　図２は、車載カメラ５１，５２，５３が車両９に配置される位置を示す図である。図２に示すように、フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向に向けられている。また、サイドカメラ５２は、左右のドアミラー９３にそれぞれ設けられており、その光軸５２ａは直進方向に対して直交するように車両９の外部方向に向けられている。バックカメラ５３は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５３ａは車両９の直進方向の逆方向に向けられている。なお、フロントカメラ５１やバックカメラ５３の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
　これらの車載カメラ５１，５２，５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１，５２，５３は１８０度以上の画角αを有している。このため、４つの車載カメラ５１，５２，５３を利用することで、車両９の全周囲の撮影が可能である。
　図１に戻り、画像生成装置１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用画像を生成する画像処理部３と、ナビゲーション装置２０との間で通信を行う通信部４２とを備えている。ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたドライバからの各種の指示は、制御信号として通信部４２によって受け付けられて制御部１に入力される。これにより、画像生成装置１０は、ナビゲーション装置２０に対するドライバの操作に応答した動作も可能である。
　画像処理部３は、各種の画像処理が可能なハードウェア回路として構成されており、撮影画像調整部３１、合成画像生成部３２、及び、表示画像生成部３３を主な機能として備えている。撮影画像調整部３１は、撮影部５で取得された撮影画像を表示用に調整する。撮影画像調整部３１は、撮影画像の明るさやコントラスト等の画質調整や、表示の際に自然となるように画像の歪み補正などを行う。合成画像生成部３２は、撮影部５の複数の車載カメラ５１，５２，５３で取得された複数の撮影画像に基づいて、車両９の周辺の任意の仮想視点からみた合成画像を生成する。合成画像生成部３２が仮想視点からみた合成画像を生成する手法については後述する。
　また、表示画像生成部３３は、撮影画像調整部３１で調整された撮影画像、及び、合成画像生成部３２によって生成された合成画像のうちの一つあるいは複数を組み合わせて、ドライバに提供する表示用画像を生成する。生成された表示用画像は、通信部４２によってナビゲーション装置２０に出力され、ナビゲーション装置２０のディスプレイ２１に表示される。
　制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。このようにして実現される制御部１の機能には、画像処理部３によって実行される画像処理を制御する機能、すなわち、表示用画像の内容を制御する機能が含まれている。合成画像生成部３２が生成する合成画像の生成に必要な各種パラメータは、この制御部１の機能によって指示される。さらに、制御部１は、フラッシュメモリなどで構成される不揮発性メモリ１１と、計時機能を有するタイマ１２とを備えている。
　また、画像生成装置１０は、車両９に設けられた各種装置からの信号を入力する信号入力部４１を備えている。この信号入力部４１を介して、画像生成装置１０の外部からの信号が制御部１に入力される。具体的には、シフトセンサ８１、車速度センサ８２、方向指示器８３、ステアリングセンサ８４及び切替スイッチ８５などから、各種情報を示す信号が制御部１に入力される。なお、シフトセンサ８１、車速度センサ８２、方向指示器８３、ステアリングセンサ８４及び切替スイッチ８５の一部又は全部は画像表示システム１００が備える構成としてもよい。
　シフトセンサ８１からは、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。車速度センサ８２からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。
　方向指示器８３からは、ウインカースイッチの操作に基づく方向指示、すなわち、車両９のドライバが意図する方向指示を示すターン信号が入力される。ウインカースイッチが操作されたときはターン信号が発生し、ターン信号はその操作された方向（左方向あるいは右方向）を示す。ウインカースイッチが中立位置となったときは、ターン信号はオフとなる。
　ステアリングセンサ８４は、ドライバによるステアリングホイールの回転の向き及び回転角度が入力される。また、切替スイッチ８５は、表示用画像の態様を切り替える指示をドライバから受け付けるスイッチである。切替スイッチ８５からは、ドライバの指示を示す信号が制御部１に入力される。
　＜２．画像変換処理＞
　次に、画像処理部３の合成画像生成部３２が、撮影部５で得られた複数の撮影画像に基づいて任意の仮想視点からみた合成画像を生成する手法について説明する。図３は、任意の仮想視点からみた合成画像を生成する手法を説明するための図である。
　撮影部５のフロントカメラ５１、サイドカメラ５２及びバックカメラ５３で同時に撮影が行われると、車両９の前方、左側方、右側方、及び、後方をそれぞれ示す４つの撮影画像Ｐ１～Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１～Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれている。
　取得された４つの撮影画像Ｐ１～Ｐ４は多重化された後、仮想的な三次元の立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９の位置として定められている。撮影画像Ｐ１～Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とはあらかじめ対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と、撮影画像Ｐ１～Ｐ４に含まれる各画素の値とに基づいて決定できる。撮影画像Ｐ１～Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、テーブルデータとして制御部１の不揮発性メモリ１１等に記憶されている。
　一方で、立体曲面ＳＰに対する仮想視点ＶＰが、制御部１によって車両の周辺の任意の視点位置に任意の視野方向に向けて設定される。仮想視点ＶＰは、視点位置と視野方向とで規定される。そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出されることにより、任意の仮想視点からみた合成画像が生成される。
　例えば、視点位置が車両９の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰ１を設定した場合は、車両９の略真上から見下ろすような合成画像ＣＰ１が生成される。また、図中に示すように、視点位置が車両９の左後方位置で、視野方向が車両９の略前方方向とした仮想視点ＶＰ２を設定した場合は、車両９の左後方から車両９の周辺全体を見渡すような合成画像ＣＰ２が生成される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係はあらかじめ定められており、テーブルデータとして制御部１の不揮発性メモリ１１等に記憶されている。
　なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１～Ｐ４に基づいて決定することで、処理速度を向上できる。
　合成画像中に示す車両９の像はあらかじめビットマップなどのデータとして用意され不揮発性メモリ１１などに記憶されている。合成画像の生成の際には、当該合成画像の仮想視点ＶＰの視点位置と視野方向とに応じた形状の車両９の像のデータが読み出されて、合成画像中に重畳される。なお、図中においては、実際の車両と、画像中に示される車両の像との双方に関して同一の符号９を用いる。
　＜３．動作モード＞
　次に、画像表示システム１００の動作の概要について説明する。図４は、画像表示システム１００の動作モードの遷移を示す図である。画像表示システム１００は、ナビモードＭ０、フロントモードＭ１、及び、バックモードＭ２の３つの動作モードを有している。これらの動作モードは、ドライバの操作や車両の走行状態に応じて制御部１の制御により切り替えられる。
　ナビモードＭ０は、ナビゲーション装置２０の機能により、ナビゲーション案内用の地図画像などをディスプレイ２１に表示する動作モードである。ナビモードＭ０では、撮影部５及び画像生成装置１０の機能が利用されず、ナビゲーション装置２０単体の機能で各種の表示がなされる。このため、ナビゲーション装置２０が、テレビジョン放送の電波を受信して表示する機能を有している場合は、ナビゲーション案内用の地図画像に代えて、テレビジョン放送画面が表示されることもある。
　これに対して、フロントモードＭ１及びバックモードＭ２は、撮影部５及び画像生成装置１０の機能を利用して、車両９の周辺の状況をリアルタイムで示す表示用画像をディスプレイ２１に表示する動作モードである。フロントモードＭ１は、前進時に必要となる車両９の前方領域や側方領域を主に示す表示用画像を表示するフロントモニタ機能を有効化する動作モードである。また、バックモードＭ２は、後退時に必要となる車両９の後方領域を主に示す表示用画像を表示するバックモニタ機能を有効化する動作モードである。
　ナビモードＭ０の場合に車速度センサ８２から入力される走行速度が例えば１０ｋｍ／ｈ未満になったときは、フロントモードＭ１に切り替えられる。一方で、フロントモードＭ１の場合に走行速度が例えば１０ｋｍ／ｈ以上になったときは、ナビモードＭ０に切り替えられる。
　車両９の走行速度が比較的高い場合においては、ドライバを走行に集中させるためにフロントモードＭ１が解除される。逆に、車両９の走行速度が比較的低い場合においては、ドライバは車両９の周辺の状況をより考慮した運転、具体的には、見通しの悪い交差点への進入、方向変更、あるいは、幅寄せなどを行っている場面が多い。このため、走行速度が比較的低い場合においては、車両９の前方領域や側方領域を主に示すフロントモードＭ１に切り替えられる。なお、ナビモードＭ０からフロントモードＭ１に切り替える場合は、走行速度が１０ｋｍ／ｈ未満という条件に、ドライバからの明示的な操作指示があるという条件を加えてもよい。
　また、ナビモードＭ０あるいはフロントモードＭ１の場合に、シフトセンサ８１から入力されるシフトレバーの位置が”Ｒ（後退）”となったときは、バックモードＭ２に切り替えられる。すなわち、車両９の変速装置が”Ｒ（後退）”の位置に操作されているときには、車両９は後退する状態であるため、車両９の後方領域を主に示すバックモードＭ２に切り替えられる。
　一方、バックモードＭ２の場合に、シフトレバーの位置が”Ｒ（後退）”以外となったときは、その時点の走行速度を基準として、ナビモードＭ０あるいはフロントモードＭ１に切り替えられる。すなわち、走行速度が１０ｋｍ／ｈ以上であればナビモードＭ０に切り替えられ、走行速度が１０ｋｍ／ｈ未満であればフロントモードＭ１に切り替えられる。
　以下、フロントモードＭ１及びバックモードＭ２のそれぞれにおける車両９の周辺の表示態様について詳細に説明する。
　＜４．フロントモード＞
　まず、フロントモードＭ１の表示態様について説明する。図５は、フロントモードＭ１における表示モードの遷移を示す図である。フロントモードＭ１では、二画像モードＭ１１、一画像モードＭ１２、及び、サイドカメラモードＭ１３の３つの表示モードがあり、これらの表示モードは互いに表示態様が異なっている。これらの表示モードは、ドライバが切替スイッチ８５を押下するごとに、二画像モードＭ１１、一画像モードＭ１２、サイドカメラモードＭ１３の順で制御部１の制御により切り替えられる。サイドカメラモードＭ１３の場合に切替スイッチ８５を押下すると、再び、二画像モードＭ１１に戻る。
　二画像モードＭ１１は、フロントカメラ５１での撮影により得られるフロント画像ＦＰ１と、仮想視点ＶＰからみた合成画像ＦＰ２とを並べて含む表示用画像をディスプレイ２１に表示する表示モードである。すなわち、二画像モードＭ１１では、同一画面上にフロント画像ＦＰ１と合成画像ＦＰ２との二つの画像が示される。
　また、一画像モードＭ１２は、仮想視点ＶＰからみた合成画像ＦＰ３のみを含む表示用画像をディスプレイ２１に表示する表示モードである。さらに、サイドカメラモードＭ１３は、サイドカメラ５２での撮影により得られるサイド画像ＦＰ４のみを含む表示用画像をディスプレイ２１に表示する表示モードである。
　　＜４－１．二画像モード＞
　　　＜４－１－１．視野範囲＞
　二画面モードＭ１１において、表示画像生成部は、フロントカメラ５１で撮影されたフロント画像ＦＰ１と、合成画像生成部３２で生成された合成画像ＦＰ２とを含む表示用画像を生成し、通信部４２は、生成された表示用画像をナビゲーション装置２０に出力する。図６は、二画像モードＭ１１においてディスプレイ２１に表示される表示用画像の一例を示す図である。図に示すように、二画像モードＭ１１における表示用画像では、上部にフロント画像ＦＰ１が配置され、下部に合成画像ＦＰ２が配置されている。フロント画像ＦＰ１は、仮想視点ＶＰからの合成画像ではなく、フロントカメラ５１での撮影により得られた撮影画像を撮影画像調整部３１で表示用に調整した表示画像である。一方、合成画像ＦＰ２は、車両９の後方位置から前方に向けた仮想視点ＶＰからみた車両９の側方領域を含む合成画像である。
　図７は、車両９の周辺における二画像モードＭ１１で示される視野範囲を説明する図である。図中において、破線で示す範囲ＦＶ１がフロント画像ＦＰ１で示される視野範囲であり、二点鎖線で示す範囲ＦＶ２が合成画像ＦＰ２で示される視野範囲である。視野範囲ＦＶ１と視野範囲ＦＶ２とは、相互の境界となる領域Ａ２において一部が重なっている。
　フロント画像ＦＰ１では、車両９の前方領域において左右方向に広がる水平角度１８０°の領域が視野範囲ＦＶ１として設定されている。このため、ドライバはフロント画像ＦＰ１の閲覧により、見通しの悪い交差点に進入する場合に死角となりやすい車両９の左右前方に存在する物体を把握できる。
　一方、合成画像ＦＰ２においては、車両９の前端よりも前方から後端よりも後方までの左右双方の側方領域と、車両９の後方領域とを含む範囲が視野範囲ＦＶ２として設定されている。このため、合成画像ＦＰ２の閲覧により、側方領域や後方領域に存在する物体を把握できる。これにより、方向変更や幅寄せなどを行う際に、運転席から死角となりやすい領域、例えば、ドアミラー９３に映らないフロントフェンダ９４の外側付近の領域Ａ１を容易に確認できる。
　二画像モードＭ１１においては、このような視野範囲ＦＶ１，ＦＶ２の二つの画像ＦＰ１，ＦＰ２を、画面を切り替えることなく同時に閲覧することができるため（図６も併せて参照。）、ドライバは車両９の周辺の状況を一目で把握できる。
　合成画像ＦＰ２の仮想視点ＶＰの視点位置は車両９の後方位置に設定され、視野方向は車両９の前方方向に設定されている。このため、図６に示すように、合成画像ＦＰ２では、車両９の後方位置から前方方向をみた状態で車両９の周辺の様子が車両９の像とともに示される。これにより、フロント画像ＦＰ１の視野の向きと、合成画像ＦＰ２の視野の向きと、ドライバ自身の視野の向きとがおよそ一致することから、画像中に示された物体が存在する方向に関してドライバの混乱を招くことがない。また、ドライバは頭の中で座標変換を行うなどの複雑な思考過程を経ることもないため、ディスプレイ２１に表示された物体と車両９との位置関係を直感的に把握できる。
　また、車両９をその直上から見下ろすような画像を利用する場合と比較して、車両９の周辺の物体が車両９のいずれの部分に近接しているかの位置関係が把握しやすい。さらに、車両９の後方位置から前方に向けた仮想視点からみた合成画像ＦＰ２では、車両９の側方領域のみならず車両９の進行方向となる前方の領域も示される。このため、車両９をその直上から見下ろすような画像を利用する場合と比較して、車両９と周辺の物体との位置関係が車両９の進行によってどのように変化するかを予測しやすい。このため、車両９を進行させた場合において、車両９が周辺の物体と接触することを有効に防止できる。
　ここで、図７に示すように、ある物体Ｔが、二つの画像ＦＰ１，ＦＰ２の視野範囲ＦＶ１，ＦＶ２をまたいで車両９の周辺を移動する場合を想定する。より具体的には、物体Ｔは、二画像モードＭ１１の視野範囲外の位置ＴＰ１から、視野範囲ＦＶ２内の領域Ａ１の位置ＴＰ２、視野範囲ＦＶ１と視野範囲ＦＶ２との重複領域Ａ２内の位置ＴＰ３を経て、視野範囲ＦＶ１内の車両９の前方の位置ＴＰ４まで移動するものとする。図８は、このように物体Ｔが移動した場合における、二画像モードＭ１１でのディスプレイ２１の画面表示例を示す図である。
　物体Ｔが視野範囲外の位置ＴＰ１から、合成画像ＦＰ２の視野範囲ＦＶ２内の位置ＴＰ２に移動すると、まず、画面下方の合成画像ＦＰ２に物体Ｔが示される（状態ＳＴ１）。この時点では、画面上方のフロント画像ＦＰ１には物体Ｔは示されていない。続いて、物体Ｔが視野範囲ＦＶ１と視野範囲ＦＶ２との重複領域Ａ２内の位置ＴＰ３に移動すると、フロント画像ＦＰ１と合成画像ＦＰ２との双方に物体Ｔが示される（状態ＳＴ２）。さらに、物体Ｔがフロント画像ＦＰ１の視野範囲ＦＶ１内の位置ＴＰ４に移動すると、フロント画像ＦＰ１に物体が示される（状態ＳＴ３）。
　このように、車両９の周辺において物体Ｔが二つの画像ＦＰ１，ＦＰ２の視野範囲ＦＶ１，ＦＶ２をまたいで移動した場合であっても、フロント画像ＦＰ１の視野の向きと、合成画像ＦＰ２の視野の向きと、ドライバ自身の視野の向きとがおよそ一致しているため、物体Ｔは二つの画像ＦＰ１，ＦＰ２のいずれにおいても、およそ同一方向に動くため、ドライバは物体Ｔの動きを直感的に把握することができる。また、視野範囲ＦＶ１と視野範囲ＦＶ２とは相互の境界で重なる領域Ａ２があることから、フロント画像ＦＰ１と合成画像ＦＰ２との双方同時に物体Ｔが示される場面があり、物体Ｔの動きを連続性を持って把握できる。
　二画像モードＭ１１では、多くの情報がドライバに提供されるが、上記のようにドライバは車両９周辺の状況を直感的に把握できる。このため、ドライバは、的確な判断を行うことができ、運転の安全性を十分に確保することができる。
　　　＜４－１－２．方向指示器の操作の連動＞
　また、二画像モードＭ１１では、ドライバの方向指示器８３のウインカースイッチの操作に応答して、合成画像ＦＰ２の仮想視点ＶＰの視点位置が、制御部１の制御により移動される。図９は、仮想視点ＶＰの視点位置の遷移を示す図である。
　方向指示器８３から入力されるターン信号がオフの場合、すなわち、信号入力部４１によって方向指示が入力されていない場合は、仮想視点ＶＰの視点位置は、車両９の後方における左右略中央の位置ＶＰＣ、視野方向は車両９の前方方向に設定される。これにより、図６に示すように、車両９の左側方領域が右側方領域と実質的に同じサイズで表示される合成画像ＦＰ２が生成される。
　一方、方向指示器８３から入力されるターン信号がオンの場合、すなわち、信号入力部４１によって方向指示が入力されている場合は、仮想視点ＶＰの視野方向は車両９の前方方向に設定されたまま、視点位置がターン信号が示す方向の位置に移動される。具体的には、ターン信号が左方向を示すときは、仮想視点ＶＰの視点位置は車両９の左サイドの位置ＶＰＬに設定される。これにより、図１０に示すように、方向指示器８３のターン信号によって示される車両９の左側方領域が右側方領域よりも大きいサイズで表示される合成画像ＦＰ２が生成されて、ディスプレイ２１に表示される。この場合も、合成画像ＦＰ２では、車両９の後方位置から前方方向をみた状態で車両９の周辺の様子が示される。
　また、ターン信号が右方向を示すときは、仮想視点ＶＰの視点位置は車両９の右サイドの位置ＶＰＲに設定される。これにより、図１１に示すように、方向指示器８３のターン信号によって示される車両９の右側方領域が左側方領域よりも大きいサイズで表示される合成画像ＦＰ２が生成されて、ディスプレイ２１に表示される。この場合も、合成画像ＦＰ２では、車両９の後方位置から前方方向をみた状態で車両９の周辺の様子が示される。
　方向指示器８３で指示された方向は、方向変更や幅寄せのときに車両９が移動して接触する物体が存在する可能性が高い。したがって、このように方向指示器８３で指示された方向の側方領域を大きく示すことで、ドライバの注意を接触する可能性のある物体に向けさせることができ、車両９と物体との接触を有効に防止できる。
　また、この場合も、合成画像ＦＰ２では、車両９の後方位置から前方方向をみた状態で車両９の周辺の様子が車両９の像とともに示される。このため、ドライバ自身の視野の向きと同じ視野の向きで車両９の側方領域が示されることから、画像中に示された物体が存在する方向に関してドライバの混乱を招くことがない。また、ドライバは頭の中で座標変換を行うなどの複雑な思考過程を伴うこともないため、車両９と物体との位置関係を直感的に把握できる。また、車両９の周辺の物体が車両９のいずれの部分に近接しているかの位置関係が把握しやすく、車両９と周辺の物体との位置関係が車両９の進行によってどのように変化するかも予測しやすい。これにより、ドライバは瞬時に的確な判断を行うことができる。
　また、このように仮想視点ＶＰの視点位置を、車両９の左サイドあるいは右サイドに移動した場合であってもターン信号が示す一の方向とは逆となる他の方向の側方領域も合成画像に含まれている。このため、ターン信号が示す方向とは逆方向の側方領域に物体が存在していたとしても、その物体を把握することが可能である。これにより、例えばターン信号が示す方向にある物体を避けるために、ターン信号が示す方向とは逆方向にとっさにステアリングホイールを操作する場合などにおいても、その逆方向に存在する物体への接触を防止できる。
　ところで、ウインカースイッチが操作位置から中立位置に戻り、方向指示器８３からのターン信号がオンからオフになった場合は、合成画像ＦＰ２の仮想視点ＶＰの視点位置が左右略中央の位置ＶＰＣに戻される。この際、入力信号部４１が方向指示を入力することを停止したとき、合成画像生成部３２は、所定期間、合成画像ＦＰ２を生成し続け、所定期間、方向指示が入力されていないとき、合成画像生成部３２は、所定期間の後、合成画像ＦＰ１を生成することを開始する。つまり、ターン信号がオンからオフになった直後ではなく、ターン信号がオフになったままで所定時間が経過してから、仮想視点ＶＰの視点位置が左右略中央の位置ＶＰＣに戻される。
　図１２は、仮想視点ＶＰの視点位置を変更する処理の流れを示す図である。この処理は、ウインカースイッチが操作されてターン信号がオンとなると制御部１の制御により実行される。
　まず、方向指示器８３のターン信号が示す方向が判断される（ステップＳ１１）。ターン信号が左方向を示す場合は処理はステップＳ１２へ進み、ターン信号が右方向を示す場合は処理はステップＳ１７に進む。
　ステップＳ１２においては、仮想視点ＶＰが左サイドの位置ＶＰＬに設定される。これにより、図１０に示すように、左方向の側方領域を右方向よりも大きく示す合成画像ＦＰ２が生成されてディスプレイ２１に表示される。
　続いて、このように仮想視点ＶＰが左サイドの位置ＶＰＬに設定された状態で、ターン信号の状態が監視される（ステップＳ１３）。ターン信号が左方向を示す状態が維持された場合はステップＳ１２へ戻り、仮想視点ＶＰが左サイドの位置ＶＰＬに維持される。すなわち、左方向の側方領域を比較的大きく示す合成画像ＦＰ２の表示が維持される。一方、ターン信号が右方向を示す場合は処理はステップＳ１７に進む。
　また、ステップＳ１３において、ターン信号がオフとなった場合、すなわち、方向指示が有りから無しに変化した場合は、ターン信号がオフとなった時点でタイマ１２による計時が開始される（ステップＳ１４）。
　そして、計時開始から所定時間経過するまで、ターン信号の状態が監視される（ステップＳ１５，Ｓ１６）。この所定時間は、本実施の形態では例えば３秒とされている。この所定時間が経過するまでは、仮想視点ＶＰが左サイドの位置ＶＰＬに維持され、左方向の側方領域を比較的大きく示す合成画像ＦＰ２の表示が維持される。そして、ターン信号がオフの状態で所定時間が経過した場合は（ステップＳ１６にてＹｅｓ）、仮想視点ＶＰの視点位置が左右略中央の位置ＶＰＣに戻される（ステップＳ２２）。これにより、車両９の左右双方の側方領域を略均等に含む合成画像ＦＰ２が表示される。
　しかしながら、計時開始から所定時間経過するまでに、ステップＳ１５においてターン信号が再び左方向を示した場合はステップＳ１２へ戻り、仮想視点ＶＰが左サイドの位置ＶＰＬのままに維持される。すなわち、左方向の側方領域を比較的大きく示す合成画像ＦＰ２の表示が維持される。なお、ステップＳ１５においてターン信号が右方向を示す場合は処理はステップＳ１７に進む。
　方向変更や幅寄せを行う場合はステアリングホイールを細かく操作するため、ドライバの意図とは無関係に、方向指示器８３のウインカースイッチが操作位置から中立位置に戻ってしまう場合がある。このため、ドライバは、方向指示器８３のウインカースイッチを短時間の間に連続して同一方向に操作する場面が発生する。このような場面において、ターン信号のオン／オフに応答して仮想視点ＶＰの視点位置を即座に変更したのでは、ディスプレイ２１に表示される合成画像ＦＰ２の視点位置が頻繁に切り替わって見難くなる。このため、ターン信号がオフとなっても所定時間が経過するまでは仮想視点ＶＰの視点位置を維持し、ターン信号がオフの状態で所定時間経過したことを条件に仮想視点ＶＰの視点位置を左右略中央の位置ＶＰＣに戻すことで、合成画像ＦＰ２が見難くなることが防止される。
　なお、この判断に利用する所定時間は、短いほど合成画像ＦＰ２の視点位置が頻繁に切り替わる可能性があり、長いほど合成画像ＦＰ２の視点位置が略中央に戻りにくくなる。このため、所定時間は例えば２秒から４秒の間で設定することが望ましい。
　上記では、ターン信号が左方向を示す場合について説明したが、右方向を示す場合も左右が異なるだけで同様の処理がなされる。すなわち、ステップＳ１７においては、仮想視点ＶＰが右サイドの位置ＶＰＲに設定される。これにより、図１１に示すように、右方向の側方領域を左方向よりも大きく示す合成画像ＦＰ２が生成されてディスプレイ２１に表示される。
　続いて、仮想視点ＶＰが右サイドの位置ＶＰＲに設定された状態で、ターン信号の状態が監視される（ステップＳ１８）。ターン信号が右方向を示す状態が維持された場合はステップＳ１７へ戻り、仮想視点ＶＰが右サイドの位置ＶＰＲに維持され、ターン信号が左方向を示す場合は処理はステップＳ１２に進む。
　また、ステップＳ１８において、ターン信号がオフとなった場合は、ターン信号がオフとなった時点でタイマ１２による計時が開始され（ステップＳ１９）、計時開始から所定時間経過するまでターン信号の状態が監視される（ステップＳ２０，Ｓ２１）。この際、所定時間経過するまでは、仮想視点ＶＰが右サイドの位置ＶＰＲに維持される。そして、ターン信号がオフの状態で所定時間が経過した場合は（ステップＳ２１にてＹｅｓ）、仮想視点ＶＰの視点位置が左右略中央の位置ＶＰＣに戻される（ステップＳ２２）。これにより、車両９の左右双方の側方領域を略均等に含む合成画像ＦＰ２が表示される。
　しかしながら、計時開始から所定時間経過するまでに、ステップＳ２０においてターン信号が再び右方向を示した場合はステップＳ１７へ戻り、仮想視点ＶＰが右サイドの位置ＶＰＲのままに維持される。すなわち、右方向の側方領域を比較的大きく示す合成画像ＦＰ２の表示が維持される。なお、ステップＳ２０においてターン信号が左方向を示す場合は処理はステップＳ１２に進む。
　　＜４－２．一画像モード＞
　次に、図５に戻って、一画像モードＭ１２における表示態様について説明する。一画像モードＭ１２においては合成画像ＦＰ３のみがディスプレイ２１に表示される。仮想視点ＶＰの視点位置は車両９の後方の左右略中央の位置に設定され、視野方向は車両９の前方方向に設定されている。このため、合成画像ＦＰ３では、車両９の後方位置から前方方向をみた状態で、車両９の左右双方の側方領域が示される。細い道などにおいて対向車とすれ違う場合には車両９の左右双方の側方を注目する必要があるため、このような表示態様の一画像モードＭ１２が有効に利用できる。
　一画像モードＭ１２においても、合成画像ＦＰ３の視野の向きとドライバ自身の視野の向きとがおよそ一致することから、ドライバはディスプレイ２１に表示された物体の位置関係を直感的に把握できる。
　また、表示モードを一画像モードＭ１２に切り替えた際には、複数の合成画像ＦＰ３を連続表示することで、合成画像ＦＰ３の仮想視点ＶＰが移動するようなアニメーション表現がなされる。図１３は、一画像モードＭ１２においてアニメーション表現を行う場合の表示の一例を示す図である。また、図１４は、このときの仮想視点ＶＰの移動の様子を示す図である。
　図１４に示すように、ドライバの視点に相当する位置ＶＰＤから車両９の後方の位置ＶＰＡまで直線的に移動するように、仮想視点ＶＰの視点位置が制御部１により変更される。このとき、合成画像生成部３２は、位置ＶＰＤから位置ＶＰＡまで仮想視点ＶＰを段階的に移動して、複数の合成画像ＦＰ３を作成する。また画像生成部３２は、この複数の合成画像ＦＰ３を順次に生成することによって、仮想視点ＶＰが連続的に移動するアニメーションを作成する。この複数の合成画像ＦＰ３を生成するためのパラメータは、変更前の位置ＶＰＤのパラメータと変更後の位置ＶＰＡのパラメータとに基づいて線形補完で制御部１により導出される。生成された複数の合成画像ＦＰ３はナビゲーション装置２０に順次に出力されて、ディスプレイ２１に時間連続して表示される。
　これにより、図１３に示すように、ディスプレイ２１において、ドライバの視点に相当する位置から車両９の後方位置まで合成画像ＦＰ３の仮想視点ＶＰが移動するようなアニメーション表現がなされる。すなわち、合成画像ＦＰ３においては、当初はドライバの視点であるため車両９の像は見えていないが（状態ＳＴ１１）、徐々に車両９の上部の像が示され（状態ＳＴ１２，ＳＴ１３）、最終的に車両９を後方から見下ろすように車両９の像が示される（状態ＳＴ１４）。このようなアニメーション表現は約１秒かけて行われる。
　仮想視点ＶＰの位置を変更する場合に仮想視点ＶＰを瞬時に切り替えると、どの位置の仮想視点ＶＰからの合成画像であるかをドライバが把握しにくくなる。これに対して、本実施の形態のようなアニメーション表現を行うことで、仮想視点ＶＰを瞬時に切り替えた場合と比較して、どの位置の仮想視点ＶＰからの合成画像であるかをドライバが直感的に把握しやすくできる。
　また、アニメーション表現を行う際に、仮想視点ＶＰの視点位置を、車両９のドライバの視点に相当する位置を基準位置とし、この基準位置から移動させる。このため、仮想視点ＶＰの変更後の視点位置がドライバの視点位置を基準として示されるため、直感的に把握しやすい。なお、アニメーション表現を開始する基準位置は、ドライバの視点に相当する位置でなくても、ドライバが直感的に把握しやすい位置であればよい。例えば、車両９の略中央の直上位置や、フロントバンパの左右略中心位置などを基準位置としてもよい。
　また、このようなアニメーション表現は表示モードを変更する場合だけではなく、仮想視点ＶＰを変更する場合はどのような場合であっても行うことが可能である。例えば、上述した二画像モードＭ１１において方向指示器８３の操作に応答して仮想視点ＶＰの視点位置を左右方向に変更する場合においても、アニメーション表現を行うことが望ましい。いずれの場合も、仮想視点の位置を段階的に移動しつつ、連続表示によりアニメーション表現が可能な複数の合成画像を生成すればよい。合成画像を生成するためのパラメータは、変更前の位置のパラメータと変更後の位置のパラメータとに基づいて線形補完で導出できる。このようなアニメーション表現を利用することで、変更後の仮想視点ＶＰの位置をドライバが直感的に把握できる。
　　＜４－３．サイドカメラモード＞
　次に、図５に戻って、サイドカメラモードＭ１３における表示態様について説明する。サイドカメラモードＭ１３においては、サイド画像ＦＰ４のみがディスプレイ２１に表示される。サイド画像ＦＰ４は、仮想視点ＶＰからの合成画像ではなく、左側のサイドカメラ５２での撮影により得られた撮影画像を撮影画像調整部３１で表示用に調整した表示画像である。
　本実施の形態の車両９の運転席の位置は例えば右側であるため、その逆側となる車両９の左側のフロントフェンダ９４の外側領域については死角になりやすい。このため、サイドカメラモードＭ１３においては、左側のフロントフェンダ９４の外側領域が拡大して示される。これにより、死角に存在する物体の状態を他の表示モードよりも把握しやすくなっている。
　また、図１５に示すように、サイドカメラモードＭ１３においては、切替スイッチ８５を押下することで、ディスプレイ２１に表示する範囲を切り替え可能である。具体的には、車両９の左側の前輪９６付近の領域を拡大して示すサイド画像ＦＰ４と、前輪９６よりも後方領域を拡大して示すサイド画像ＦＰ５とで切替可能である。
　＜５．バックモード＞
　次に、シフトレバーの位置が”Ｒ（後退）”となったときの動作モードであるバックモードＭ２の表示態様について説明する。図１６は、バックモードＭ２における表示モードの遷移を示す図である。バックモードＭ２では、標準モードＭ２１、ワイドモードＭ２２、合成標準モードＭ２３、及び、合成俯瞰モードＭ２４の４つの表示モードがあり、互いに表示態様が異なっている。ドライバは、所定の操作を行うことで、任意の一の表示モードを選択して、現在の表示モード（以下、「現在モード」という。）に設定することができる。
　具体的には、切替スイッチ８５を押下すると、標準モードＭ２１、ワイドモードＭ２２、合成標準モードＭ２３の順で現在モードに設定される。合成標準モードＭ２３が現在モードの場合に、切替スイッチ８５を押下すると、再び、標準モードＭ２１が現在モードに設定される。なお、この切替スイッチ８５に変えて、画面上のコマンドボタンを押下することで切り替えられてもよい。
　また、合成標準モードＭ２３が現在モードの場合に、ディスプレイ２１の画面上にコマンドボタンとして表示される視点切替ボタンＣＢ１を押下すると、合成俯瞰モードＭ２４が現在モードに設定される。一方で、合成俯瞰モードＭ２４が現在モードの場合でも、ディスプレイ２１の画面上に表示される視点切替ボタンＣＢ１を押下すると、合成標準モードＭ２３が現在モードに設定される。また、合成俯瞰モードＭ２４が現在モードの場合に切替スイッチ８５を押下すると、標準モードＭ２１が現在モードに設定される。
　バックモードＭ２では、現在モードに応じた表示用画像が画像処理部３により生成されてディスプレイ２１に表示される。標準モードＭ２１、及び、ワイドモードＭ２２が現在モードの場合は、バックカメラ５３での撮影により得られるバック画像ＢＰ１，ＢＰ２のみを含む表示用画像がディスプレイ２１に表示される。また、合成標準モードＭ２３が現在モードの場合は、仮想視点ＶＰからみた合成画像ＢＰ４とバックカメラ５３での撮影により得られるバック画像ＢＰ５とを並べて含む表示用画像がディスプレイ２１に表示される。さらに、合成俯瞰モードＭ２４が現在モードの場合は、合成標準モードＭ２３におけるバック画像ＢＰ５に代えて、仮想視点ＶＰからみた合成画像ＢＰ６が表示される。
　　＜５－１．標準モード＞
　図１６に示すように、標準モードＭ２１においては、バック画像ＢＰ１のみがディスプレイ２１に表示される。バック画像ＢＰ１は、仮想視点ＶＰからの合成画像ではなく、バックカメラ５３での撮影により得られた撮影画像を撮影画像調整部３１で表示用に調整した表示画像である。図１７に示すように、バック画像ＢＰ１の視野範囲の水平角度は１３５°であり、標準モードＭ２１では車両９の後方領域が自然な態様で示される。
　バック画像ＢＰ１には、車両９の後退時における予測進路を示すガイドラインＧＬが重畳して表示される。このガイドラインＧＬは、ステアリングセンサ８４から入力されるステアリングホイールの回転の向き及び回転角度に応じて移動される。これにより、ドライバは、ガイドラインＧＬを目安にして、車両９を後退させることができる。
　　＜５－２．ワイドモード＞
　図１６に示すように、ワイドモードＭ２２においても、バック画像ＢＰ２のみがディスプレイ２１に表示される。バック画像ＢＰ２も、仮想視点ＶＰからの合成画像ではなく、バックカメラ５３での撮影により得られた撮影画像を撮影画像調整部３１で表示用に調整した表示画像である。このバック画像ＢＰ２においても、車両９の後退時における予測進路を示すガイドラインＧＬが重畳して表示される。
　ただし、図１８に示すように、バック画像ＢＰ２の視野範囲の水平角度は１８０°であり、標準モードＭ２１よりも水平方向に広い範囲の物体を確認可能である。したがって、前止め駐車した場合に後退して出庫するときなどにおいては、このような表示態様のワイドモードＭ２２を利用することで、死角となりやすい後方の左右領域を確認できる。
　　＜５－３．合成標準モード＞
　図１９は、合成標準モードＭ２３においてディスプレイ２１に表示される表示用画像の一例を示す図である。図に示すように、合成標準モードＭ２３における表示用画像では、左側に合成画像ＢＰ４が配置され、右側にバック画像ＢＰ５が配置されている。合成画像ＢＰ４は、車両９の周囲全体を見下ろすような仮想視点ＶＰからみた合成画像である。一方、バック画像ＢＰ５は、仮想視点ＶＰからの合成画像ではなく、バックカメラ５３での撮影により得られた撮影画像を撮影画像調整部３１で表示用に調整した表示画像である。バック画像ＢＰ５の視野範囲の水平角度は１３５°である。
　ドライバは、このような表示態様の合成標準モードＭ２３の表示用画像を視認することで、車両９の周囲全体の様子と、車両９の後方領域の様子との双方を同時に確認できる。したがって、ドライバは、車両９の周囲全体の物体を意識しながら、車両９を安全に後退させることができる。
　　＜５－４．合成俯瞰モード＞
　図２０は、合成俯瞰モードＭ２４においてディスプレイ２１に表示される表示用画像の一例を示す図である。図に示すように、合成俯瞰モードＭ２４における表示用画像の左側には、合成標準モードＭ２３と同様に、車両９の周囲全体を見下ろすような仮想視点ＶＰからみた合成画像ＢＰ４が配置される。一方で、表示用画像の右側には、車両９の後端近傍を略直下に見下ろす仮想視点ＶＰからみた合成画像ＢＰ６が配置される。
　図２１に示すように、合成画像ＢＰ６の仮想視点ＶＰの視点位置は車両９の後端の略直上位置に設定され、視野方向は略直下方向に設定されている。これにより、合成画像ＢＰ６には、車両９の後端近傍の領域がその上方から略直下に見下ろすようにして拡大して示される。合成画像ＢＰ６においては、車両９の後退時の進行方向となる車両９の後方方向が画像の上方向とされている。
　ドライバは、このような表示態様の合成俯瞰モードＭ２４の表示用画像を視認することで、車両９とその周囲の物体、特に車両９の後端近傍に存在する物体とのクリアランスを容易に確認できる。一方で、車両９の後退時における進行方向である車両９の後方領域に、車両９から離れて存在する物体を把握することは難しい。したがって、合成俯瞰モードＭ２４は、車両９を後退して駐車する場合に車両９の駐車位置を最終調整するときなどの特殊な条件下において有効に利用できる表示モードである。
　　＜５－５．角度調整＞
　ところで、合成標準モードＭ２３（図１９参照。）及び合成俯瞰モードＭ２４（図２０参照。）において左側に配置される合成画像ＢＰ４については、その仮想視点ＶＰの視点位置をドライバの所望の位置に設定できる。合成標準モードＭ２３あるいは合成俯瞰モードＭ２４において、画面上にコマンドボタンとして表示される設定ボタンＣＢ２を押下すると、仮想視点ＶＰの視点位置を設定するための設定画面が表示される。
　図２２及び図２３は、この仮想視点ＶＰの設定画面を示す図である。設定画面においては、車両９の側面を示すイラストとともに、車両９に対する仮想視点ＶＰの位置を示す指標が示される。この指標は画面上のコマンドボタンＣＢ４，ＣＢ５を押下することで移動でき、移動された指標の車両９のイラストに対する位置が、仮想視点ＶＰの視点位置として設定される。この際、仮想視点ＶＰの視野方向は、車両９の略中心９ｃに向けて設定される。図２２は仮想視点ＶＰの視点位置を車両９の略中心の直上位置に設定した場合、図２３は仮想視点ＶＰの視点位置を車両９の後方位置に設定した場合の例をそれぞれ示している。
　また、この設定画面の左側においては、指標の位置を仮想視点ＶＰとした場合における合成画像ＢＰ７が表示される。したがって、このような設定画面を視認することで、仮想視点ＶＰを移動させた場合にどのような合成画像ＢＰ７が得られるかを容易に確認でき、ドライバは所望の位置に仮想視点ＶＰを移動させることができる。
　設定画面にコマンドボタンとして表示される完了ボタンＣＢ３を押下すると、設定された内容が合成標準モードＭ２３及び合成俯瞰モードＭ２４の表示に反映される。例えば、図２３に示す設定画面において完了ボタンＣＢ３を押下すると、図２４に示すように、表示用画像の左側の合成画像ＢＰ４において車両９がその後方からみた状態で示される。このように仮想視点ＶＰの視点位置を設定できることから、ドライバは車両９の後退時において車両９とその周辺の物体との位置関係を所望の角度から把握することができる。
　　＜５－６．現在モードの設定＞
　このようにバックモードＭ２においては、互いに表示態様が異なる４つの表示モードがあり、切替スイッチ８５等でドライバの指示が受け付けられ、一つの表示モードが現在モードに設定される。一般にドライバは、自分の好みや日常に利用する駐車場の環境に合わせて、４つの表示モードのうちの所望の一つの表示モードを頻繁に利用する。仮に、車両９を後退させるたびにドライバが所望の表示モードを現在モードに設定する必要があるとすると、操作が煩雑となる。
　このため、画像表示システム１００では、バックモードＭ２において直近に現在モードに設定された表示モードを記憶しておき、次にバックモードＭ２となった場合には、原則として、その直近に現在モードとなった表示モードを、バックモードＭ２となった直後の現在モードに制御部１が設定する。これにより、ドライバにとっては、車両９を後退させるたびに所望の表示モードを選択するといった煩雑な操作が不要となる。
　図２５は、直近の現在モードを示す情報を記憶する処理の流れを示す図である。この処理は、動作モードがバックモードＭ２である場合に、制御部１により繰り返し実行される。
　まず、現在モードが別の表示モードに切り替えられたか否かが判断される（ステップＳ３１）。現在モードが別の表示モードに切り替えられた場合は、切替後の現在モードを示すモード情報が不揮発性メモリ１１に記憶される（ステップＳ３２）。この処理は、現在モードが切り替えられる毎に行われるため、不揮発性メモリ１１には直近に現在モードに設定された表示モードを示すモード情報が記憶される。このモード情報は、動作モードがバックモードＭ２以外のとき（車両９の変速装置が”Ｒ（後退）”の位置以外のとき）や、画像表示システム１００の電源がオフのときであっても、不揮発性メモリ１１に記憶される。
　図２６は、バックモードＭ２の開始時点の処理の流れを示す図である。この処理は、車両９の変速装置が”Ｒ（後退）”の位置に操作され、動作モードがバックモードＭ２になったことに応答して制御部１により実行される。
　まず、不揮発性メモリ１１に記憶されたモード情報が読み出される（ステップＳ４１）。そして、読み出されたモード情報が示す表示モードがいずれであるかが判断される（ステップＳ４２）。
　モード情報が示す表示モードが合成俯瞰モードＭ２４以外の場合は（ステップＳ４２にてＮｏ）、モード情報が示す表示モードが現在モードに設定される（ステップＳ４３）。一方、モード情報が示す表示モードが合成俯瞰モードＭ２４の場合は（ステップＳ４２にてＹｅｓ）、合成標準モードＭ２３が現在モードに設定される（ステップＳ４４）。
　このように、直近に現在モードとなった表示モードが、バックモードＭ２となった直後の現在モードに原則として設定される。しかしながら、直近に現在モードとなった表示モードが合成俯瞰モードＭ２４の場合は、合成俯瞰モードＭ２４とは異なる合成標準モードＭ２３がバックモードＭ２となった直後の現在モードに設定される。合成俯瞰モードＭ２４は最終的に車両９の駐車位置の調整を行うときに主に利用されるため、車両９の後退の開始時点では利用される場面は少ない。このため、直近に現在モードとなった表示モードが合成俯瞰モードＭ２４の場合は、例外的に異なる表示モードをバックモードＭ２となった直後の現在モードに設定することで、現在モードを合成俯瞰モードＭ２４から別の表示モードに変更するといった煩雑な操作を不要とすることができる。
　なお、合成俯瞰モードＭ２４を例外的に扱う処理としては、図２５及び図２６で示した処理とは異なる処理でも実現できる。
　図２７は、直近の現在モードを示す情報を記憶する処理の流れの他の一例を示す図である。この処理も、動作モードがバックモードＭ２である場合に、制御部１により繰り返し実行される。
　まず、現在モードが別の表示モードに切り替えられたか否かが判断される（ステップＳ５１）。現在モードが別の表示モードに切り替えられた場合は、切替後の現在モードがいずれであるかが判断される（ステップＳ５２）。
　切替後の現在モードが合成俯瞰モードＭ２４以外の場合は（ステップＳ５２にてＮｏ）、切替後の現在モードを示すモード情報が不揮発性メモリ１１に記憶される（ステップＳ５３）。一方、切替後の現在モードが合成俯瞰モードＭ２４の場合は（ステップＳ５２にてＹｅｓ）、合成標準モードＭ２３を示すモード情報が不揮発性メモリ１１に記憶される（ステップＳ５４）。
　これにより、不揮発性メモリ１１には原則として直近に現在モードに設定された表示モードを示すモード情報が記憶されるが、直近の現在モードが合成俯瞰モードＭ２４の場合は例外的に合成標準モードＭ２３を示すモード情報が記憶される。
　図２８は、図２７の処理が行われる場合における、バックモードＭ２の開始時点の処理の流れを示す図である。この処理も、車両９の変速装置が”Ｒ（後退）”の位置に操作され、動作モードがバックモードＭ２になったことに応答して制御部１により実行される。
　まず、不揮発性メモリ１１に記憶されたモード情報が読み出される（ステップＳ６１）。そして、読み出されたモード情報が示す表示モードが、そのまま現在モードに設定される（ステップＳ６２）
　このような処理によっても、直近に現在モードとなった表示モードが合成俯瞰モードＭ２４の場合は、例外的に異なる表示モードをバックモードＭ２となった直後の現在モードに設定することができる。その結果、現在モードを合成俯瞰モードＭ２４から別の表示モードに変更するといった煩雑な操作を不要とすることができる。
　＜６．変形例＞
　以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。もちろん、以下で説明する形態を適宜に組み合わせてもよい。
　上記実施の形態では、画像生成装置１０とナビゲーション装置２０とは別の装置であるとして説明したが、ナビゲーション装置２０と画像生成装置１０とが同一のハウジング内に配置されて一体型の装置として構成されてもよい。
　また、上記実施の形態では、画像生成装置１０で生成された表示用画像を表示する表示装置はナビゲーション装置２０であるとして説明したが、ナビゲーション機能等の特殊な機能を有していない一般的な表示装置であってもよい。
　また、上記実施の形態において、画像生成装置１０の制御部１によって実現されると説明した機能の一部は、ナビゲーション装置２０の制御部２３によって実現されてもよい。
　また、シフトセンサ８１、車速度センサ８２、方向指示器８３、ステアリングセンサ８４及び切替スイッチ８５からの信号は画像生成装置１０に入力されるが、これらの信号の一部または全部はナビゲーション装置２０に入力されてもよい。この場合、通信部４２を介して、これらの信号の一部または全部が、画像生成装置１０の制御部１に入力されてもよい。
　また、上記実施の形態では、車両９のドライバが意図する方向指示を方向指示器８３から入力するが、他の手段によって入力してもよい。例えば、ドライバの目を撮影した画像からドライバの視点の動きを検出し、その検出結果からドライバが意図する方向指示を入力してもよい。
　また、上記実施の形態では、バックモードＭ２において例外的に扱われる特定表示モードが合成俯瞰モードＭ２４であるとして説明を行ったが、合成俯瞰モードＭ２４とは別の表示モードを特定表示モードに設定してもよい。例えば、車両９の後端近傍を略直下に見下ろす仮想視点からの画像のみを表示用画像として表示する表示モードを特定表示モードとしてもよい。駐車位置の最終調整に利用するなどの特殊な条件下で利用するような態様の表示モードを特定表示モードにすることが望ましい。
　また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
　本出願は、２００９年５月２９日に提出された日本特許出願（特願２００９－１３０１００）に基づくものであり、その内容はここに参照として取り込まれる。
　１　　制御部
　３　　画像処理部
　５　　撮影部
　１０　　画像生成装置
　１１　　不揮発性メモリ
　２１　　ディスプレイ
　３２　　合成画像生成部
　４２　　通信部
　１００　　画像表示システム

Claims (11)

  1. 　車両に搭載された表示装置に表示される画像を生成する画像生成装置であって、
    　複数のカメラで撮影された前記車両の周辺の複数の画像に基づいて、前記車両の後方に配置され前記車両の前方に向けられた仮想視点からみた前記車両の周囲の合成画像を生成する合成画像生成部と、
    　生成された前記合成画像を前記表示装置に出力する出力部と、
    　前記車両のドライバの方向指示を入力する入力部と、を備え、
    　前記合成画像生成部は、
    　　前記入力部によって前記方向指示が入力されていないときは、前記車両の左側方領域が前記車両の右側方領域と実質的に同じサイズで表示される第１合成画像を生成し、
    　　前記入力部によって前記方向指示が入力されているときは、該方向指示によって示される前記車両の一の側方領域が前記車両の他の側方領域よりも大きいサイズで表示される第２合成画像を生成する画像生成装置。
  2. 　請求項１に記載の画像生成装置において、
    　前記入力部が前記方向指示を入力することを停止したとき、前記画像生成部は、所定期間、前記第２合成画像を生成し続け、
    　前記所定期間、前記方向指示が入力されていないとき、前記画像生成部は、前記所定期間の後、前記第１合成画像を生成することを開始する画像生成装置。
  3. 　請求項１に記載の画像生成装置において、
    　前記車両の前方に設けられたカメラで撮影されたフロント画像と、前記合成画像生成部で生成された前記合成画像とを含む表示用画像を生成する表示画像生成部、をさらに備え、
    　前記出力部は、生成された前記表示用画像を前記表示装置に出力する画像生成装置。
  4. 　請求項１に記載の画像生成装置において、
    　前記合成画像の前記仮想視点を第１位置から第２位置に変更するとき、前記合成画像生成部は、前記第１位置から前記第２位置まで段階的に前記仮想視点を移動して、前記仮想視点が連続的に移動するアニメーションを作成するための複数の合成画像を生成する画像生成装置。
  5. 　車両に搭載された表示装置に表示される画像を生成する画像生成装置であって、
    　複数のカメラで撮影された前記車両の周辺の複数の画像に基づいて、前記車両の後方に配置され前記車両の前方に向けられた仮想視点からみた、前記車両の右側方領域と左側方領域を含む前記車両の周囲の合成画像を生成する合成画像生成部と、
    　前記車両の前方に設けられたカメラで撮影されたフロント画像と、前記合成画像生成部で生成された前記合成画像とを含む表示用画像を生成する表示画像生成部と、
    　生成された前記表示用画像を前記表示装置に出力する出力部と、を備える画像生成装置。
  6. 　車両に搭載された表示装置に表示される画像を生成する画像生成装置であって、
    　複数のカメラで撮影された前記車両の周辺の複数の画像に基づいて、仮想視点からみた合成画像を生成する合成画像生成部と、
    　生成された前記合成画像を前記表示装置に出力する出力部と、を備え、
    　前記合成画像の前記仮想視点を第１位置から第２位置に変更するとき、前記合成画像生成部は、前記第１位置から前記第２位置まで段階的に前記仮想視点を移動して、前記仮想視点が連続的に移動するアニメーションを作成するための複数の合成画像を生成する画像生成装置。
  7. 　請求項６に記載の画像生成装置において、
    　前記合成画像生成部は、基準位置から前記仮想視点を変更する画像生成装置。
  8. 　請求項７に記載の画像生成装置において、
    　前記基準位置は、前記車両のドライバの視点に相当する位置である画像生成装置。
  9. 　車両に搭載される画像表示システムであって、
    　請求項１に記載の画像生成装置と、
    　前記画像生成装置で生成された画像を表示する表示装置と、を備える画像表示システム。
  10. 　車両に搭載される画像表示システムであって、
    　請求項５に記載の画像生成装置と、
    　前記画像生成装置で生成された画像を表示する表示装置と、を備える画像表示システム。
  11. 　車両に搭載される画像表示システムであって、
    　請求項６に記載の画像生成装置と、
    　前記画像生成装置で生成された画像を表示する表示装置と、を備える画像表示システム。
PCT/JP2010/059074 2009-05-29 2010-05-28 画像生成装置及び画像表示システム WO2010137684A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/322,654 US8941737B2 (en) 2009-05-29 2010-05-28 Image generating apparatus and image display system
CN2010800236866A CN102448773A (zh) 2009-05-29 2010-05-28 图像生成设备和图像显示系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009130100A JP2010274813A (ja) 2009-05-29 2009-05-29 画像生成装置及び画像表示システム
JP2009-130100 2009-05-29

Publications (1)

Publication Number Publication Date
WO2010137684A1 true WO2010137684A1 (ja) 2010-12-02

Family

ID=43222789

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/059074 WO2010137684A1 (ja) 2009-05-29 2010-05-28 画像生成装置及び画像表示システム

Country Status (4)

Country Link
US (1) US8941737B2 (ja)
JP (1) JP2010274813A (ja)
CN (1) CN102448773A (ja)
WO (1) WO2010137684A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014027489A1 (ja) * 2012-08-17 2014-02-20 本田技研工業株式会社 運転支援装置
EP2581268B1 (en) 2011-10-13 2016-05-11 Harman Becker Automotive Systems GmbH Method of controlling an optical output device for displaying a vehicle surround view and vehicle surround view system
US20220122457A1 (en) * 2017-10-13 2022-04-21 Waymo Llc Lane change notification
USD991273S1 (en) * 2021-11-17 2023-07-04 Mazda Motor Corporation Portion of a display screen with graphical user interface
USD991949S1 (en) * 2021-11-17 2023-07-11 Mazda Motor Corporation Portion of a display screen with graphical user interface

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2511137B1 (en) * 2011-04-14 2019-03-27 Harman Becker Automotive Systems GmbH Vehicle Surround View System
EP2554434B1 (en) * 2011-08-05 2014-05-21 Harman Becker Automotive Systems GmbH Vehicle surround view system
JP5811804B2 (ja) 2011-11-24 2015-11-11 トヨタ自動車株式会社 車両用周辺監視装置
KR101265711B1 (ko) * 2011-11-30 2013-05-20 주식회사 이미지넥스트 3ｄ 차량 주변 영상 생성 방법 및 장치
US9760092B2 (en) * 2012-03-16 2017-09-12 Waymo Llc Actively modifying a field of view of an autonomous vehicle in view of constraints
JP5971700B2 (ja) * 2012-05-17 2016-08-17 アルパイン株式会社 表示装置
CN102689613A (zh) * 2012-05-26 2012-09-26 柴晓斌 一种为驾驶员指示汽车预期行驶位置的方法
DE102012014466A1 (de) * 2012-07-21 2014-01-23 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Darstellung einer Szene für ein Fahrzeug
JP6054738B2 (ja) * 2012-12-25 2016-12-27 京セラ株式会社 カメラモジュール、カメラシステムおよび画像表示方法
JP6084097B2 (ja) * 2013-03-29 2017-02-22 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
US9674490B2 (en) 2013-04-18 2017-06-06 Magna Electronics Inc. Vision system for vehicle with adjustable cameras
JP6234701B2 (ja) * 2013-05-15 2017-11-22 クラリオン株式会社 車両用周囲モニタ装置
US10093247B2 (en) * 2013-05-23 2018-10-09 GM Global Technology Operations LLC Enhanced front curb viewing system
DE102013215484A1 (de) * 2013-08-06 2015-02-12 Bayerische Motoren Werke Aktiengesellschaft Anzeigesystem und Visualisierungsverfahren für ein Fahrzeug
JP6347934B2 (ja) * 2013-10-11 2018-06-27 株式会社デンソーテン 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
GB201406405D0 (en) * 2014-04-09 2014-05-21 Jaguar Land Rover Ltd Apparatus and method for displaying information
JP5961821B2 (ja) * 2014-07-02 2016-08-02 パナソニックＩｐマネジメント株式会社 運転支援装置
JP6327115B2 (ja) * 2014-11-04 2018-05-23 株式会社デンソー 車両周辺画像表示装置、車両周辺画像表示方法
CN105721789B (zh) * 2014-12-01 2019-09-10 中国航空工业集团公司第六三一研究所 一种低延时全向导航视频多模式显示控制方法
JP6528193B2 (ja) * 2015-02-10 2019-06-12 任天堂株式会社 電子機器
USD788170S1 (en) * 2015-09-03 2017-05-30 Continental Automotive Gmbh Display screen with icon
JP6610139B2 (ja) * 2015-09-30 2019-11-27 アイシン精機株式会社 周辺監視装置
CN105644442B (zh) * 2016-02-19 2018-11-23 深圳市歌美迪电子技术发展有限公司 一种扩展显示视野的方法、系统及汽车
JP6477562B2 (ja) * 2016-03-18 2019-03-06 株式会社デンソー 情報処理装置
JP6370833B2 (ja) * 2016-05-16 2018-08-08 株式会社デンソーテン 画像生成装置、画像表示システム及び画像生成方法
JP6723820B2 (ja) * 2016-05-18 2020-07-15 株式会社デンソーテン 画像生成装置、画像表示システムおよび画像表示方法
JP6605396B2 (ja) * 2016-05-26 2019-11-13 アルパイン株式会社 車載表示システム
JP6261654B2 (ja) * 2016-05-31 2018-01-17 株式会社デンソーテン 表示装置、表示方法及びプログラム
JP6727971B2 (ja) * 2016-07-19 2020-07-22 株式会社クボタ 作業車
WO2018038177A1 (ja) * 2016-08-23 2018-03-01 株式会社アルファ 車両用ドアアウトサイドハンドル装置、車両用ドア及び車両
DE102016217488A1 (de) * 2016-09-14 2018-03-15 Robert Bosch Gmbh Verfahren zum Bereitstellen einer Rückspiegelansicht einer Fahrzeugumgebung eines Fahrzeugs
JP6816436B2 (ja) 2016-10-04 2021-01-20 アイシン精機株式会社 周辺監視装置
US10462354B2 (en) * 2016-12-09 2019-10-29 Magna Electronics Inc. Vehicle control system utilizing multi-camera module
CN106856008B (zh) * 2016-12-13 2020-05-05 中国航空工业集团公司洛阳电光设备研究所 一种用于机载合成视景的三维地形渲染方法
JP6639379B2 (ja) * 2016-12-21 2020-02-05 トヨタ自動車株式会社 車両周辺監視装置
JP6730177B2 (ja) * 2016-12-28 2020-07-29 株式会社デンソーテン 画像生成装置および画像生成方法
JP6419894B2 (ja) * 2017-06-02 2018-11-07 株式会社デンソーテン 画像処理装置、表示装置、携帯用表示装置、画像処理方法、表示装置の表示方法、携帯用表示装置の表示方法及びプログラム
JP6482696B2 (ja) 2017-06-23 2019-03-13 キヤノン株式会社 表示制御装置、表示制御方法、およびプログラム
EP3480779A1 (en) * 2017-11-01 2019-05-08 Volvo Car Corporation Method and system for handling images
DE102018102051B4 (de) * 2018-01-30 2021-09-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs mit einem Bildfenster in einem Bild, Computerprogrammprodukt sowie Anzeigesystem
JP7147255B2 (ja) 2018-05-11 2022-10-05 トヨタ自動車株式会社 画像表示装置
CN110843672A (zh) * 2018-08-21 2020-02-28 上海博泰悦臻网络技术服务有限公司 模拟后车视角的车辆行驶全景监控方法、系统、及车辆
JP6731020B2 (ja) * 2018-09-03 2020-07-29 株式会社Ｓｕｂａｒｕ 車外環境認識装置および車外環境認識方法
JP7073991B2 (ja) * 2018-09-05 2022-05-24 トヨタ自動車株式会社 車両用周辺表示装置
US11987182B2 (en) 2018-12-11 2024-05-21 Sony Group Corporation Image processing apparatus, image processing method, and image processing system
CN113170083A (zh) * 2018-12-11 2021-07-23 索尼集团公司 图像处理装置、图像处理方法和图像处理系统
CN113228157B (zh) * 2018-12-27 2024-07-12 本田技研工业株式会社 图像显示装置、图像显示系统及图像显示方法
JP2020135206A (ja) * 2019-02-15 2020-08-31 パナソニックＩｐマネジメント株式会社 画像処理装置、車載用カメラシステム及び画像処理方法
JP7247851B2 (ja) * 2019-10-11 2023-03-29 トヨタ自動車株式会社 運転者支援装置
CN111918035B (zh) * 2020-07-31 2022-04-15 上海励驰半导体有限公司 车载环视方法、装置、存储介质及车载终端
KR102473407B1 (ko) * 2020-12-28 2022-12-05 삼성전기주식회사 틸트 카메라를 이용한 차량의 svm 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002109697A (ja) * 2000-10-02 2002-04-12 Matsushita Electric Ind Co Ltd 運転支援装置
JP2002135765A (ja) * 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP2005170286A (ja) * 2003-12-12 2005-06-30 Ichikoh Ind Ltd 車両用映像表示装置
JP2006279511A (ja) * 2005-03-29 2006-10-12 Aisin Seiki Co Ltd 周辺監視システム
JP2009093485A (ja) * 2007-10-10 2009-04-30 Nippon Soken Inc 画像生成装置及び画像生成プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0399952A (ja) * 1989-09-12 1991-04-25 Nissan Motor Co Ltd 車両用周囲状況モニタ
JP3468658B2 (ja) 1997-03-19 2003-11-17 三菱自動車工業株式会社 車両用周辺視認装置
EP2309453A3 (en) * 1998-07-31 2012-09-26 Panasonic Corporation Image displaying apparatus and image displaying method
EP1227683B1 (en) * 1999-10-12 2006-07-12 Matsushita Electric Industrial Co., Ltd. Monitor camera, method of adjusting camera, and vehicle monitor system
JP2001114048A (ja) 1999-10-20 2001-04-24 Matsushita Electric Ind Co Ltd 車載運転支援情報表示装置
JP4218453B2 (ja) 2003-07-15 2009-02-04 株式会社デンソー 車両用前方視界支援装置
JP2005223524A (ja) 2004-02-04 2005-08-18 Nissan Motor Co Ltd 車両周辺監視装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135765A (ja) * 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP2002109697A (ja) * 2000-10-02 2002-04-12 Matsushita Electric Ind Co Ltd 運転支援装置
JP2005170286A (ja) * 2003-12-12 2005-06-30 Ichikoh Ind Ltd 車両用映像表示装置
JP2006279511A (ja) * 2005-03-29 2006-10-12 Aisin Seiki Co Ltd 周辺監視システム
JP2009093485A (ja) * 2007-10-10 2009-04-30 Nippon Soken Inc 画像生成装置及び画像生成プログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2581268B1 (en) 2011-10-13 2016-05-11 Harman Becker Automotive Systems GmbH Method of controlling an optical output device for displaying a vehicle surround view and vehicle surround view system
EP2581268B2 (en) † 2011-10-13 2019-09-11 Harman Becker Automotive Systems GmbH Method of controlling an optical output device for displaying a vehicle surround view and vehicle surround view system
WO2014027489A1 (ja) * 2012-08-17 2014-02-20 本田技研工業株式会社 運転支援装置
JP5836490B2 (ja) * 2012-08-17 2015-12-24 本田技研工業株式会社 運転支援装置
US9789819B2 (en) 2012-08-17 2017-10-17 Honda Motor Co., Ltd. Driving assistance device
US20220122457A1 (en) * 2017-10-13 2022-04-21 Waymo Llc Lane change notification
US11837093B2 (en) * 2017-10-13 2023-12-05 Waymo Llc Lane change notification
USD991273S1 (en) * 2021-11-17 2023-07-04 Mazda Motor Corporation Portion of a display screen with graphical user interface
USD991949S1 (en) * 2021-11-17 2023-07-11 Mazda Motor Corporation Portion of a display screen with graphical user interface

Also Published As

Publication number Publication date
CN102448773A (zh) 2012-05-09
US20120069187A1 (en) 2012-03-22
JP2010274813A (ja) 2010-12-09
US8941737B2 (en) 2015-01-27

Similar Documents

Publication Publication Date Title
WO2010137684A1 (ja) 画像生成装置及び画像表示システム
JP5271154B2 (ja) 画像生成装置及び画像表示システム
JP5087051B2 (ja) 画像生成装置及び画像表示システム
US8031225B2 (en) Surroundings monitoring system for a vehicle
JP4254887B2 (ja) 車両用画像表示システム
JP5321267B2 (ja) 車両用画像表示装置及び俯瞰画像の表示方法
EP2368768B1 (en) Display device
JP3916958B2 (ja) 車両後方モニタシステムおよびモニタ装置
WO2011078201A1 (ja) 画像処理装置、画像処理システム、および画像処理方法
CN107298050B (zh) 图像显示装置
WO2011078183A1 (ja) 画像処理装置、画像処理システム、および画像処理方法
JP5251804B2 (ja) 運転支援装置
US10793069B2 (en) Method for assisting the driver of a motor vehicle in maneuvering the motor vehicle with a trailer, driver assistance system as well as vehicle/trailer combination
JP5067169B2 (ja) 車両用駐車支援装置および画像表示方法
JP2005186648A (ja) 車両用周囲視認装置および表示制御装置
JP2016063390A (ja) 画像処理装置、及び画像表示システム
CN110895443A (zh) 显示控制装置
JP4059309B2 (ja) 車載カメラの画像表示制御方法及びその装置
JP2010184606A (ja) 車両周辺表示装置
JP5466743B2 (ja) 画像生成装置及び画像表示システム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080023686.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10780638

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 13322654

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10780638

Country of ref document: EP

Kind code of ref document: A1