WO2010137680A1 - 画像処理装置、電子装置、および、画像処理方法 - Google Patents

画像処理装置、電子装置、および、画像処理方法 Download PDF

Info

Publication number
WO2010137680A1
WO2010137680A1 PCT/JP2010/059069 JP2010059069W WO2010137680A1 WO 2010137680 A1 WO2010137680 A1 WO 2010137680A1 JP 2010059069 W JP2010059069 W JP 2010059069W WO 2010137680 A1 WO2010137680 A1 WO 2010137680A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
composite
image processing
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2010/059069
Other languages
English (en)
French (fr)
Inventor
大野　恭裕
行輔 尾▲崎▼
貴克 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to CN201080023657.XA priority Critical patent/CN102450007B/zh
Priority to US13/322,712 priority patent/US9077861B2/en
Publication of WO2010137680A1 publication Critical patent/WO2010137680A1/ja
Anticipated expiration legal-status Critical
Priority to US14/727,167 priority patent/US10339811B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Definitions

  • the present invention relates to a technique for displaying an image on a display device mounted on a vehicle.
  • a device that enables monitoring of the periphery of a vehicle by acquiring images around the vehicle with a plurality of cameras mounted on the vehicle and displaying them on a display device automatically or by user operation.
  • an apparatus that displays on the screen an image looking down directly above the vehicle as a virtual viewpoint, and provides a user with means for confirming safety around the entire vehicle.
  • a first screen is displayed on the first screen, in which a plurality of cameras mounted on the vehicle are used to shoot from a viewpoint at a predetermined height, and the viewpoint position of the image captured by the camera is displayed together with an overall view of the vehicle.
  • the second screen of OLE_LINK1 that displays each camera image, corresponding to the movement of the OLE_LINK1 viewpoint position (see, for example, Patent Document 1).
  • a screen showing the position of the viewpoint of the image captured by the camera together with the overall view of the vehicle, and a screen for displaying each camera image corresponding to the movement of the viewpoint position are displayed on different screens, and the information displayed on the two screens must be correlated by the user himself, which makes it difficult for the user to grasp the positional relationship between the vehicle and the obstacle.
  • the present invention has been made in view of the above problems, and an object thereof is to provide a technique that allows a user to intuitively grasp the positional relationship between a vehicle and an obstacle around the vehicle.
  • An image processing device that processes an image to be displayed on a display device mounted on a vehicle, based on a receiving unit that receives an instruction signal and a plurality of images around the vehicle that are captured by a plurality of cameras.
  • a composite image generating unit that generates a plurality of first composite images when the vehicle is viewed from a plurality of virtual viewpoints arranged above the periphery of the vehicle, and the instruction signal so that the virtual viewpoints continuously circulate
  • an output unit that continuously outputs the plurality of first composite images to the display device.
  • the composite image generation unit generates a second composite image in which the vehicle is viewed from a virtual viewpoint arranged immediately above the center of the vehicle, and the output A unit configured to display the plurality of first synthesized images and the second synthesized images on the display device such that the virtual viewpoint continuously moves between the plurality of first synthesized images and the second synthesized images. Are output continuously.
  • the output unit outputs the second composite image after outputting the plurality of first composite images.
  • the composite image generation unit circulates the plurality of first composite images with the virtual viewpoint around the position of the vehicle. To generate.
  • the composite image generation unit circulates the plurality of first composite images with the virtual viewpoint around the position of the vehicle. To generate.
  • the receiving unit receives the instruction signal when the image processing device is activated.
  • An electronic device that processes an image to be displayed on a display device mounted on a vehicle, the operation unit outputting an instruction signal, the receiving unit receiving the instruction signal, and the image taken by a plurality of cameras Based on a plurality of images around the vehicle, a composite image generation unit that generates a composite image in which the virtual viewpoint continuously circulates when viewed from the virtual viewpoint arranged above the periphery of the vehicle, and An output unit that outputs the composite image to the display device in response to an instruction signal.
  • the electronic device further including the display device that displays the composite image output from the output unit.
  • An image processing method for processing an image to be displayed on a display device mounted on a vehicle the step of receiving an instruction signal, and a plurality of images around the vehicle photographed by a plurality of cameras In response to the instruction signal so that the virtual viewpoint continuously circulates, and a step of generating a plurality of composite images of the vehicle viewed from the plurality of virtual viewpoints arranged above the periphery of the vehicle. And successively outputting the plurality of synthesized images to the display device.
  • both a plurality of composite images showing the virtual viewpoint moving with continuity and turning around the vehicle and a composite image viewed from above the vehicle are displayed.
  • the user can intuitively grasp the positional relationship between the vehicle and the obstacle on one screen.
  • safety around the vehicle can be confirmed from a plurality of viewpoints around the vehicle and above the vehicle.
  • the upper part of the vehicle is displayed with continuity after the surrounding image of the vehicle.
  • Safety confirmation can be performed again using images.
  • the user does not need to check a wide range of the entire periphery of the vehicle at a time, and continuously displays an image of the entire vehicle in a wide range above the vehicle after an image of a limited range around the vehicle. Can confirm the safety around the vehicle more reliably on one screen.
  • the user can confirm the safety centering on an arbitrary point around the vehicle to be confirmed on one screen by focusing on the point designated by the user around the vehicle. .
  • the user can confirm the periphery of the vehicle on one screen when the image processing apparatus is activated.
  • FIG. 1 is a block diagram of an image display system.
  • FIG. 2 is a diagram illustrating positions where a plurality of in-vehicle cameras are arranged in the vehicle.
  • FIG. 3 is a diagram illustrating a method for generating a composite image viewed from an arbitrary virtual viewpoint.
  • FIG. 4 is a diagram illustrating a flow of processing of the image processing unit.
  • FIG. 5 is a diagram illustrating screen transition of the composite image in the first embodiment.
  • FIG. 6 is a diagram illustrating a flow of display processing of the display unit.
  • FIG. 7 is a diagram illustrating a screen transition of the composite image in the second embodiment.
  • FIG. 8 is a diagram illustrating a first modification of the processing of the image processing unit.
  • FIG. 1 is a block diagram of an image display system.
  • FIG. 2 is a diagram illustrating positions where a plurality of in-vehicle cameras are arranged in the vehicle.
  • FIG. 3 is a diagram illustrating a method for
  • FIG. 9 is a diagram illustrating a second modification of the processing of the image processing unit.
  • FIG. 10 is a block diagram of an image display system according to the third embodiment.
  • FIG. 11 is a diagram illustrating a processing flow of the image processing unit according to the third embodiment.
  • FIG. 12 is a diagram illustrating screen transition of the composite image according to the third embodiment.
  • FIG. 13 is a diagram illustrating a first modification of the process of the image processing unit of the third embodiment.
  • FIG. 14 is a diagram illustrating a second modification of the process of the image processing unit according to the third embodiment.
  • FIG. 1 is a block diagram of an image display system 100 according to the first embodiment.
  • the image display system 100 is an electronic device that is mounted on a vehicle (in this embodiment, an automobile), and has a function of photographing the periphery of the vehicle to generate an image and displaying the image in the vehicle interior.
  • a driver of a vehicle serving as a user who uses the image display system 100 can easily grasp the periphery of the vehicle.
  • the image display system 100 includes an image processing unit 10 and a photographing unit 5 that photographs the periphery of the vehicle.
  • the image display system 100 includes a display unit 21 such as a liquid crystal display, and is installed on an instrument panel or the like of a vehicle so that the screen of the display unit 21 is visible from a driver.
  • the image processing unit 10 processes an image to be displayed on the display unit 21.
  • the photographing unit 5 is electrically connected to the image processing unit 10 and operates based on a signal from the image processing unit 10.
  • the display unit 21 has a touch panel function and can accept various instructions from the user.
  • the photographing unit 5 includes a front camera 51, a side camera 52, and a back camera 53, which are in-vehicle cameras. These in-vehicle cameras 51, 52, and 53 include a lens and an image sensor and electronically acquire an image.
  • FIG. 2 is a diagram showing positions where the in-vehicle cameras 51, 52, 53 are arranged on the vehicle 9.
  • the front camera 51 is provided at the substantially left and right center of the front bumper 91 that is the front end of the vehicle 9, and its optical axis is directed in the straight traveling direction of the vehicle 9.
  • the side cameras 52 are provided on the left and right door mirrors 93, respectively, and their optical axes are directed to the outside of the vehicle 9 so as to be orthogonal to the straight traveling direction.
  • the back camera 53 is provided at the substantially right and left center of the rear bumper 92 that is the rear end of the vehicle 9, and its optical axis is directed in the direction opposite to the straight traveling direction of the vehicle 9.
  • a fish-eye lens or the like is employed as the lens of these in-vehicle cameras 51, 52, 53, and the in-vehicle cameras 51, 52, 53 have an angle of view ⁇ of 180 degrees or more. For this reason, it is possible to shoot the entire periphery of the vehicle 9 by using the four in-vehicle cameras 51, 52, and 53.
  • the vehicle-mounted cameras 51, 52, and 53 have an angle of view ⁇ of 180 degrees or more, an overlapping region ⁇ where the shooting ranges of the cameras overlap is generated. In such an overlapping area, the same object is displayed in different directions. Therefore, in such overlapping region image processing, overlapping portions of the images of both cameras may be superimposed and displayed after adjusting the transmittance (for example, 50% of each other). Any range of images may be deleted.
  • the image processing unit 10 processes the captured image acquired by the capturing unit 5 and converts it into a display image, the CPU 1 that performs various arithmetic processes, the display unit 21, and the like. And a communication unit 42 that performs communication.
  • the image generated by the image conversion unit 3 is output from the communication unit 42 to the display unit 21 and displayed.
  • the image conversion unit 3 can generate a composite image viewed from a virtual viewpoint based on a plurality of captured images acquired by the plurality of in-vehicle cameras 51, 52, and 53 of the imaging unit 5.
  • the image conversion unit 3 is configured as a hardware circuit including a luminance adjustment unit 31, a multiplexing unit 32, and a viewpoint conversion unit 33 necessary for such image processing.
  • the luminance adjustment unit 31 refers to the average luminance indicating the brightness of the entire captured image acquired by the imaging unit 5 and adjusts the gain of the captured image. Specifically, the gain adjustment value is decreased when the average luminance of the captured image is relatively high, and the gain adjustment value is increased when the average brightness is relatively low. Thereby, the brightness of the captured image is adjusted when the surrounding environment of the vehicle 9 is somewhat dark.
  • the multiplexing unit 32 combines a plurality of captured images acquired by the plurality of in-vehicle cameras 51, 52, and 53 and gain-adjusted into one image to obtain a multiplexed image.
  • the viewpoint conversion unit 33 generates a composite image viewed from an arbitrary virtual viewpoint around the vehicle 9 using the multiplexed image generated by the multiplexing unit 32. A method in which the viewpoint conversion unit 33 generates a composite image viewed from a virtual viewpoint will be described later.
  • the CPU 1 functions as a control unit that comprehensively controls each unit of the image display system 100.
  • Various control functions of the CPU 1 are realized by software by executing arithmetic processing according to a program stored in advance in a memory 11 or the like provided in the CPU 1.
  • the image processing unit 10 includes a signal input unit 41 for inputting signals from various devices provided in the vehicle 9.
  • a signal from the outside of the image display system 100 is input to the CPU 1 via the signal input unit 41.
  • a vehicle ACC-ON / OFF signal is input from the vehicle power supply control device 84.
  • the ACC is a switch for turning on / off a supply line for supplying power to accessories including the image display system 100 of the vehicle 9.
  • signals indicating various information are input to the display unit 21 from the shift sensor 81, the vehicle speed sensor 82, the changeover switch 83, the vehicle power supply control device 84, and the like. From the shift lever 81, shift positions such as “P”, “D”, “N”, and “R” are input. Further, the vehicle speed sensor 82 inputs the traveling speed (km / h) of the vehicle 9 at that time. A signal for switching the camera image displayed on the display of the display unit 21 is input from the switch 83. For example, switching is performed in the order of the front camera image, the side camera image, and the back camera image. A vehicle ACC-ON / OFF signal is input from the vehicle power supply control device 84. The vehicle ACC-ON / OFF signal from the vehicle power supply control device 84 is also input to the CPU 1 of the image processing unit 10 via the signal input unit 41.
  • FIG. 3 is a diagram for explaining a method of generating a composite image viewed from an arbitrary virtual viewpoint.
  • the front camera 51, the side camera 52, and the back camera 53 of the photographing unit 5 perform photographing simultaneously, four photographed images P1 to P4 respectively showing the front, left side, right side, and rear of the vehicle 9 are acquired.
  • the obtained four captured images P1 to P4 are multiplexed, and then projected onto the virtual three-dimensional solid curved surface SP by the viewpoint conversion unit 33.
  • the three-dimensional curved surface SP has, for example, a substantially hemispherical shape (a bowl shape), and a central portion (a bottom portion of the bowl) is determined as the position of the vehicle 9.
  • the correspondence between the positions of the pixels included in the captured images P1 to P4 and the positions of the pixels of the solid curved surface SP is determined in advance. Therefore, the value of each pixel of the three-dimensional curved surface SP can be determined based on this correspondence and the value of each pixel included in the captured images P1 to P4.
  • the correspondence between the positions of the pixels of the captured images P1 to P4 and the positions of the pixels of the three-dimensional curved surface SP is stored as table data in the memory 11 provided in the CPU 1 of the image processing unit 10.
  • virtual viewpoints such as VP1, VP2, VP5, and VP7 for the solid curved surface SP are set. Then, according to the set virtual viewpoints VP1, VP2, VP5, and VP7, a necessary area in the three-dimensional curved surface SP is cut out as an image, so that a composite image viewed from an arbitrary virtual viewpoint is generated.
  • a composite image CP1 that looks down on the vehicle 9 from behind the vehicle 9 is generated.
  • the composite image CP2 or CP5 that looks down on the vehicle 9 from the left side surface or the right side surface of the vehicle 9 is displayed.
  • the virtual viewpoint VP7 directly above the vehicle 9 is set, a composite image CP7 that looks down from directly above the vehicle 9 is generated.
  • the relationship between the virtual viewpoint and the necessary area in the three-dimensional curved surface SP is determined in advance, and is stored as table data in the memory 11 provided in the CPU 1 of the image processing unit 10.
  • the processing speed can be improved.
  • the image of the vehicle 9 shown in the composite image is prepared in advance in the memory 11 as data such as a bitmap, and the image of the vehicle 9 in the direction corresponding to the virtual viewpoint may be superimposed on the generated composite image. .
  • table data for the correspondence between the positions of the pixels of the captured images P1 to P4 and the positions of the pixels of the three-dimensional curved surface SP table data that defines the relationship between the virtual viewpoint and the necessary area on the three-dimensional curved surface SP
  • Data stored in the memory 11 such as image bitmap data can be rewritten to other data.
  • the memory 11 is provided inside the CPU 1, but is not limited thereto, and may be provided outside the CPU 1 or outside the image processing unit 10.
  • step S101 When the CPU 1 of the image processing unit 10 receives the ACC-ON signal from the vehicle power supply control device 84 via the signal input unit 41 (Yes in step S101), the communication unit 42 of the image processing unit 10 communicates with the display unit 21.
  • Initial communication is started (step S102).
  • the initial communication refers to processing for confirming whether or not communication is possible between the image processing unit 10 and the display unit 21. If the CPU 1 of the image processing unit 10 has not received the ACC-ON signal from the vehicle power supply control device 84, the process ends (No in step S101).
  • step S103 If the initial communication between the image processing unit 10 and the display unit 21 is normally completed (step S103 is Yes), the image processing unit 10 reads data for performing a vehicle surrounding confirmation process from the memory 11 of the CPU 1 (step S104).
  • vehicle periphery confirmation processing data include vehicle bitmap data, viewpoint movement data (viewpoint position and viewpoint direction data for each time), and the like.
  • the communication is again performed with the display unit 21. If communication is not possible even after a plurality of communication attempts, the process ends.
  • the case where the initial communication does not end normally is that the image processing unit 10 is not operating normally due to a failure or the like. In such a case, a warning that the system for displaying images around the vehicle has failed can be displayed on the display unit 21.
  • the image conversion unit 3 of the image processing unit 10 After reading the vehicle periphery confirmation processing data from the memory 11, the image conversion unit 3 of the image processing unit 10 generates a composite image around the vehicle based on the read data (step S105). The generated composite image data is transmitted to the display unit 21 (step S106). The image processing unit 10 transmits data to the display unit 21 in order so that a plurality of synthesized images in which the positions of the created virtual viewpoints are changed in stages have continuity. As a result, the position of the virtual viewpoint is changed stepwise, and an image that goes around the vehicle 9 can be displayed on the display unit 21 in a state where the vehicle is looked down by continuous display.
  • step S107 When transmission of the plurality of composite images to the display unit 21 is completed (Yes in step S107), a composite image immediately above (directly above) the approximate center of the vehicle 9 is generated (step S108), and the generated vehicle 9 is abbreviated. A composite image directly above (directly above) the center is transmitted to the display unit 21 (step S109).
  • Step S107 If transmission of a plurality of composite image data to the display unit 21 has not been completed (No at Step S107), the process returns to Step S105 to perform a process of generating a composite image around the next vehicle.
  • CP1 is a composite image in which the vehicle 9 is looked down from the rear of the vehicle 9
  • CP2 is a composite image in which the vehicle 9 is looked down from the left side of the vehicle 9
  • CP3 is that the vehicle 9 is looked down from the diagonally left side of the vehicle 9
  • CP4 is a composite image as if the vehicle 9 was looked down from the front of the vehicle 9
  • CP5 was a composite image as if the vehicle 9 was looked down from the right side surface of the vehicle 9
  • CP6 was the vehicle 9 from the diagonally right side surface of the vehicle 9.
  • the composite image CP7 is a composite image in which the vehicle 9 is looked down from directly above (directly above) the approximate center of the vehicle 9.
  • the image processing unit 10 is configured to view the vehicle 9 from a plurality of virtual viewpoints arranged above the periphery of the vehicle 9 based on images around the vehicle 9 captured by the cameras 51, 52, and 53 of the imaging unit 5.
  • Composite images CP1 to CP6 are generated. That is, the image processing unit 10 sequentially generates a composite image of CP1 to CP6 so that the user makes one round around the vehicle at the height of his / her eyes. Thereafter, the image processing unit 10 generates a composite image CP7 in which the vehicle 9 is viewed from a virtual viewpoint arranged immediately above the center of the vehicle 9.
  • the image processing unit 10 generates a composite image of CP7 next to CP6 when the entire periphery of the vehicle is viewed from a viewpoint immediately above (directly above) the approximate center of the vehicle 9. Furthermore, the image processing unit 10 continuously outputs a plurality of synthesized images CP1 to CP7 generated on the display unit 21 through the communication unit 42 so that the virtual viewpoint continuously circulates. As a result, a plurality of composite images are displayed on the display unit 21 so as to circulate around the vehicle while looking down at the vehicle, so that the user confirms the entire periphery of the vehicle from a viewpoint in front of the vehicle. Thus, the positional relationship between the vehicle and the obstacle can be grasped intuitively on one screen.
  • both a plurality of composite images showing that the position of the virtual viewpoint moves continuously and turning around the vehicle and a composite image viewed from directly above (directly above) the center of the vehicle are displayed.
  • the user can intuitively grasp the positional relationship between the vehicle and the obstacle on one screen.
  • safety around the vehicle can be confirmed from a plurality of viewpoints of the periphery of the vehicle and directly above (directly above) the approximate center of the vehicle.
  • the safety confirmation can be performed again by the image above the vehicle displayed continuously with the image around the vehicle.
  • the user can intuitively check obstacles around the entire vehicle on one screen.
  • the composite image shown here is only an example, and the height and direction overlooking the vehicle of the composite image, the continuous display of the composite image is paused, the rotation speed of the continuous display is adjusted, and the rotation of the continuous display is reversed.
  • the user can arbitrarily change the setting.
  • the selected part can be enlarged and displayed by pausing the continuous display and selecting any part of the display screen by user operation.
  • a composite image that displays the periphery of the vehicle is continuously displayed, and then a composite image immediately above (directly above) the vehicle's center is continuously displayed.
  • the composite image around the vehicle may be displayed continuously after displaying the composite image directly above (directly above) the approximate center.
  • the start position for transitioning the image is not specified and may be an arbitrary position.
  • the number of times of circulation around the periphery is not limited to one, but may be any number of times such as two or more times or a half circle.
  • the start condition of the vehicle surrounding confirmation process is that the image processing unit 10 or the display unit 21 receives the ACC-ON signal from the vehicle power supply control device 84, thereby performing image processing.
  • the user can confirm the vicinity of the vehicle when the device is activated.
  • the image processing apparatus is activated in response to ACC-ON before the vehicle travels, so that the user can check the surroundings of the vehicle before the vehicle travels.
  • Such a vehicle surrounding confirmation process start condition may be not only the reception of the ACC-ON signal but also the pressing of the changeover switch 83 for a predetermined time or longer (for example, 3 seconds or longer). Thereby, when a user wants to confirm the circumference of a vehicle automatically, it can check anytime.
  • a completion button (not shown) is provided on the display unit 21 and the composite image is continuously displayed by pressing the completion button even during the continuous display. It is also possible to provide a setting button (not shown) so that the vehicle surrounding confirmation process is not started by pressing the ACC-ON or the changeover switch 83 for a predetermined time or more in advance.
  • the vehicle surroundings confirmation process is executed and the composite image is continuously displayed, a signal based on a user operation such as switching the vehicle speed to “R” or pressing the switch SW is displayed. If input to the unit 21, the vehicle surroundings confirmation process is terminated as described in detail below, and a process corresponding to the user's operation is started.
  • step S201 When the display unit 21 receives the ACC-ON signal from the vehicle power supply control device 84 (Yes in step S201), the main unit power supply of the display unit is turned on (step S202). If the ACC-ON signal is not received from the vehicle power supply control device 84 (No in step S201), the process ends.
  • initial communication is started with the image processing unit 10 that is also receiving the ACC-ON signal from the vehicle power supply control device 84 (step S203).
  • the initial communication refers to processing for confirming whether or not communication is possible between the image processing unit 10 and the display unit 21.
  • step S204 is Yes
  • the composite image data of the vehicle surrounding confirmation process is received from the image processing unit 10 (step S205).
  • step S204 If the initial communication has not ended normally (No in step S204), the process is ended if communication with the image processing unit 10 is performed again or communication is not possible even if a plurality of communication attempts are made.
  • the case where the initial communication does not end normally is that the image processing unit 10 is not operating normally due to a failure or the like. In such a case, a warning that the image display system around the vehicle has failed can be displayed on the display unit 21.
  • the display unit 21 While the display unit 21 is receiving composite image data from the image processing unit 10, the display unit 21 displays an opening screen (step S206). After the opening screen is displayed, a plurality of composite images around the vehicle received from the image processing unit 10 are continuously displayed as described above with reference to FIG. 5 (step S207). When a signal indicating that the shift position is switched to “R” is transmitted from the shift sensor 81 to the display unit 21 while a plurality of composite images are continuously displayed (Yes in step S208), the display unit 21 The screen that continuously displays the composite image is switched to the back mode image display screen that displays an image of the rear of the vehicle (step S209).
  • Step S210 When the shift position is not switched to “R” (No at Step S208) and the changeover switch 83 is pressed (Yes at Step S210), the display unit 21 continuously displays composite images around the vehicle. The screen is switched to a front mode image display screen that displays an image of the front of the vehicle. (Step S211).
  • Step S210 When the changeover switch 83 is not pressed (No in Step S210) and the vehicle speed is equal to or higher than a predetermined speed (for example, the vehicle speed is 12 km / h or higher) (Yes in Step S212), the composite image around the vehicle is continuously displayed. The displayed screen is switched to the screen for displaying the navigation image (step S215).
  • a predetermined speed for example, the vehicle speed is 12 km / h or higher
  • Step S213 When the continuous display of the composite image around the vehicle is completed (Yes in step S213), the composite image directly above (directly above) the substantial center of the vehicle 9 transmitted from the image processing unit 10 to the display unit 21 is displayed. (Step S214). As a result, a plurality of composite images are displayed on the display device so as to circulate around the vehicle while looking down at the vehicle, so that the user can check the entire periphery of the vehicle from the viewpoint in front of the vehicle. Thus, the positional relationship between the vehicle and the obstacle can be grasped intuitively on one screen.
  • the display unit 21 After displaying the composite image immediately above (directly above) the approximate center of the vehicle 9, the display unit 21 displays a screen for displaying the navigation image (step S215).
  • the user can Intuitively grasp the positional relationship between the vehicle and the obstacle. Furthermore, safety around the vehicle can be confirmed from a plurality of viewpoints of the periphery of the vehicle and directly above (directly above) the approximate center of the vehicle.
  • the user can intuitively check obstacles around the entire vehicle on one screen.
  • the composite image shown here is only an example, and the height and direction overlooking the vehicle of the composite image, the continuous display of the composite image is paused, the rotation speed of the continuous display is adjusted, and the rotation of the continuous display is reversed.
  • the user can arbitrarily change the setting.
  • the composite image displaying the vehicle periphery is continuously displayed, and then the composite image above the vehicle is continuously displayed.
  • the present invention is not limited to this order. After the composite image is displayed, the composite image around the vehicle may be continuously displayed.
  • the start position for transitioning the image is not specified and may be an arbitrary position.
  • the number of times of circulation around the periphery is not limited to one, but may be any number of times such as two or more times or a half circle.
  • the start condition of the vehicle surrounding confirmation process is that the image processing unit 10 or the display unit 21 receives the ACC-ON signal from the vehicle power supply control device 84, thereby performing image processing.
  • the user can confirm the periphery of the vehicle when the apparatus is activated.
  • the image processing apparatus is activated in response to ACC-ON before the vehicle travels, so that the user can check the surroundings of the vehicle before the vehicle travels.
  • Such a vehicle surrounding confirmation process start condition may be not only the reception of the ACC-ON signal but also the pressing of the changeover switch 83 for a predetermined time or longer (for example, 3 seconds or longer). Thereby, when a user wants to confirm the circumference of a vehicle automatically, it can check anytime.
  • Second Embodiment> The basic configuration of the second embodiment is the same as that of the first embodiment. This embodiment will be described with reference to a diagram showing a screen transition of a composite image in the second embodiment of FIG. CP1a to CP7a in FIG. 7 differ from the continuous display of the composite image around the vehicle of CP1 to CP7 shown in FIG.
  • the virtual viewpoint is moved to the left side of the vehicle, the surrounding synthesized images CP1a to CP7a are generated by the image processing unit 10, and these synthesized images are continuously displayed on the display unit 21.
  • CP1a is a composite image in which the vehicle 9 is looked down from a virtual viewpoint at a position moved to the left of the vehicle 9 behind the vehicle 9, and CP2a is a position moved to the left of the vehicle 9 on the left side of the vehicle 9 by a predetermined distance.
  • CP3a is a composite image in which the vehicle 9 is looked down from the virtual viewpoint at a position moved to the left of the vehicle 9 on the left oblique side of the vehicle 9
  • CP4a is the vehicle 9
  • CP5a is a vehicle from a virtual viewpoint at a position moved to the left of the vehicle 9 on the right side of the vehicle 9 9 is a composite image as if looking down on the vehicle
  • CP6a is a composite image as if the vehicle 9 was looked down from a virtual viewpoint at a position moved to the left of the vehicle 9 on the right side surface of the vehicle 9
  • CP7a is a position directly at the approximate center of the vehicle 9.
  • the position of the virtual viewpoint of the continuous display of surrounding composite images is switched within a range that includes even part of the vehicle image, thereby selecting and displaying the part that the user wants to check it can.
  • a composite image is generated around the viewpoint of the position moved a predetermined distance to the left from the vehicle.
  • the composite image can be continuously displayed.
  • the change of the position of the virtual viewpoint can be manually performed by the user, and the composite image can be continuously displayed around an arbitrary position that the user desires to confirm within the range including the vehicle image.
  • the user can check the situation around the position where the user wants to check mainly, and can intuitively grasp the positional relationship between the vehicle and the obstacle on one screen.
  • a predetermined distance from a plurality of composite images shown to turn around a distance moved from the vehicle while the position of the virtual viewpoint changes continuously, and a virtual viewpoint just above (directly above) the center of the vehicle By displaying both of the moved composite images, the user can intuitively grasp the positional relationship between the vehicle and the obstacle on one screen. Furthermore, the safety around the vehicle can be confirmed from a plurality of virtual viewpoints including a virtual viewpoint around the vehicle moved a predetermined distance and a virtual viewpoint moved a predetermined distance directly above (directly above) the approximate center of the vehicle.
  • the image is displayed immediately above the approximate center of the vehicle displayed continuously with the surrounding image moved by the predetermined distance from the vehicle ( Safety confirmation can be performed again using an image moved a predetermined distance from the virtual viewpoint directly above.
  • FIG. 8 is a diagram illustrating an example of processing performed by the image processing unit 10 according to the first modification.
  • the CPU 1 of the image processing unit 10 receives an ACC-ON signal that is an instruction signal for giving an instruction to output an image from the vehicle power supply control device 84 to the display unit 21 via the signal input unit 41 (Yes in step S301). ),
  • the communication unit 42 of the image processing unit 10 starts initial communication with the display unit 21 (step S302).
  • the initial communication refers to processing for confirming whether or not communication is possible between the image processing unit 10 and the display unit 21. If the CPU 1 of the image processing unit 10 has not received the ACC-ON signal from the vehicle power supply control device 84, the process ends (No in step S301).
  • step S303 If the initial communication between the image processing unit 10 and the display unit 21 is normally completed (step S303 is Yes), the CPU 1 reads data for performing a vehicle surrounding confirmation process from the memory 11 (step S304).
  • vehicle periphery confirmation processing data include parameter data such as vehicle bitmap data and viewpoint movement data (viewpoint position and viewpoint direction data for each time).
  • step S303 If the initial communication has not ended normally (No in step S303), the communication is again performed with the display unit 21. If communication is not possible even after a plurality of communication attempts, the process ends.
  • the case where the initial communication does not end normally is that the image processing unit 10 is not operating normally due to a failure or the like. In such a case, a warning that the system for displaying images around the vehicle has failed can be displayed on the display unit 21.
  • the image conversion unit 3 of the image processing unit 10 After reading the vehicle periphery confirmation process data from the memory 11, the image conversion unit 3 of the image processing unit 10 generates a composite image of the vehicle periphery confirmation process based on the read data (step S305).
  • the composite image of the vehicle periphery confirmation process refers to a composite image around the vehicle 9 and a composite image directly above (directly above) the substantial center of the vehicle 9.
  • the generated composite image data of the vehicle periphery confirmation process is output to the display unit 21 (step S306).
  • the image processing unit 10 outputs data to the display unit 21 together in an order in which a plurality of synthesized images in which the positions of the created virtual viewpoints are changed in stages have continuity.
  • the position of the virtual viewpoint is changed in stages, and an image that continuously circulates around the vehicle 9 can be displayed on the display unit 21 when viewed from the upper virtual viewpoint around the vehicle 9 in the vehicle direction. it can.
  • the image is changed stepwise and continuously.
  • the display of the predetermined image can be skipped and the next image can be displayed or the previous image can be displayed again. The user confirms among the continuously displayed images. You can quickly display the image you want.
  • FIG. 9 is a diagram illustrating an example of processing performed by the image processing unit 10 according to the second modification.
  • the CPU 1 of the image processing unit 10 receives an ACC-ON signal that is an instruction signal for giving an instruction to output an image from the vehicle power supply control device 84 to the display unit 21 via the signal input unit 41 (Yes in step S401). ),
  • the communication unit 42 of the image processing unit 10 starts initial communication with the display unit 21 (step S402).
  • the initial communication refers to processing for confirming whether or not communication is possible between the image processing unit 10 and the display unit 21. If the CPU 1 of the image processing unit 10 has not received the ACC-ON signal from the vehicle power supply control device 84 (No in step S401), the process ends.
  • step S404 the CPU 1 reads the composite image data of the vehicle surrounding confirmation process from the memory 11 (step S404).
  • This composite image data is generated by the above-described image conversion process based on a plurality of photographed images photographed by a plurality of cameras of the photographing unit 5 that photographs the periphery of the vehicle 9 before receiving the ACC-ON signal. It is an image and is data stored in the memory 11 in advance.
  • step S404 the composite image data of the vehicle surrounding confirmation process stored in the memory 11 in advance is read from the memory 11, and then the composite image data of the vehicle surrounding confirmation process is output to the display unit 21 (step S405). ).
  • the CPU 1 of the image processing unit 10 receives the ACC-ON signal, which is an instruction signal for instructing the display device 21 to output an image, and immediately outputs the combined data of the vehicle periphery confirmation processing to the display unit 21.
  • the time for outputting the composite image data to the display unit 21 after receiving the instruction signal can be shortened.
  • the communication is again performed with the display unit 21. If communication is not possible even after a plurality of communication attempts, the process ends.
  • the case where the initial communication does not end normally is that the image processing unit 10 is not operating normally due to a failure or the like. In such a case, a warning that the image display system around the vehicle is broken can be displayed on the display unit 21.
  • the ACC-ON signal is mainly used as an instruction signal, and a plurality of synthesized images having different virtual viewpoint positions are transmitted in response to the instruction signal.
  • a signal based on a user operation is used as an instruction signal, and a plurality of composite images are transmitted in response to the user operation.
  • FIG. 10 is a block diagram of an image display system 101 according to the third embodiment.
  • the basic configuration of the third embodiment is substantially the same as that of the first embodiment. 10 is different from the configuration described in FIG. 1 in that an operation unit 61a and an operation unit 61b provided in the display unit 21 are provided.
  • the operation unit 61a includes a touch switch formed of a transparent electrode on the display screen of the display unit 21 and a fixed hard switch provided around the display unit 21.
  • An instruction signal generated by a user operation is a signal input unit. It is transmitted to the CPU 1 via 41. Upon receiving this instruction signal, the CPU 1 generates a composite image and outputs the composite image to the display unit 21 in the image processing unit 10 described later.
  • the composite image is generated based on a plurality of images acquired from a plurality of cameras (a front camera 51, a side camera 52, and a back camera 53) of the photographing unit 5 that photographs the periphery of the vehicle 9.
  • An image in which the direction of the vehicle 9 is viewed from the upper virtual viewpoint around the vehicle 9 is given.
  • Another specific example of the composite image is an image viewed from a virtual viewpoint directly above (directly above) the approximate center of the vehicle 9.
  • the operation unit 61 b is a fixed switch provided integrally with the image processing system 101.
  • An instruction signal generated by a user operation on the operation unit 61 b is transmitted to the CPU 1 through the signal input unit 41.
  • the CPU 1 Upon receiving this instruction signal, the CPU 1 generates a composite image and outputs the composite image to the display unit 21 in the image processing unit 10 described later.
  • the operation unit 61b may be a remote controller that can be remotely operated, or both a fixed switch and a remote controller may be used in combination.
  • the other configuration of the image processing system 101 in FIG. 10 is the same as the configuration described in the image processing system 100 in FIG.
  • FIG. 11 is a diagram illustrating a processing flow of the image processing unit according to the third embodiment.
  • the CPU 1 of the image processing unit 10 When the CPU 1 of the image processing unit 10 receives an instruction signal from the operation unit 61a or the operation unit 61b by a user's operation (Yes in step S501), the CPU 1 stores data for performing vehicle surrounding confirmation processing from the memory 11. Read (step S502). Examples of the vehicle periphery confirmation processing data include vehicle bitmap data, viewpoint movement data (viewpoint position and viewpoint direction data for each time), and the like.
  • step S501 If the CPU 1 of the image processing unit 10 has not received an instruction signal from either the operation unit 61a or the operation unit 61b (No in step S501), the process ends.
  • the image conversion unit 3 of the image processing unit 10 After reading the vehicle periphery confirmation processing data from the memory 11, the image conversion unit 3 of the image processing unit 10 generates a composite image around the vehicle based on the read data (step S503).
  • the generated composite image data is output to the display unit 21 (step S504).
  • the image processing unit 10 outputs data to the display unit 21 in order so that a plurality of synthesized images in which the positions of the created virtual viewpoints are changed in stages have continuity. As a result, the position of the virtual viewpoint is changed in stages, and an image that continuously circulates around the vehicle 9 can be displayed on the display unit 21 when viewed from the upper virtual viewpoint around the vehicle 9 in the vehicle direction. it can.
  • step S505 When the output of the plurality of composite images to the display unit 21 is completed (Yes in step S505), a composite image immediately above (directly above) the approximate center of the vehicle 9 is generated (step S506), and the generated vehicle 9 is abbreviated.
  • the composite image directly above (directly above) the center is output to the display unit 21 (step S507).
  • step S505 If output of a plurality of composite image data to the display unit 21 is not completed in step S505 (No in step S505), the process returns to step S503 to generate a composite image around the next vehicle 9. Perform the process.
  • step S 602 the display unit 21 receives the composite image data of the vehicle surrounding confirmation process from the image processing unit 10 (Yes in step S ⁇ b> 601), the display unit 21 continuously displays a plurality of composite images around the vehicle 9 received from the image processing unit 10. It is displayed (step S602).
  • step S601 If the composite image data of the vehicle surrounding confirmation process has not been received from the image processing unit 10 (No in step S601), the process ends.
  • step S602 a signal indicating that the shift position is switched to “R” is transmitted from the shift sensor 81 to the display unit 21 while a plurality of composite images are being continuously displayed (step S603 is Yes).
  • the unit 21 switches from the screen that continuously displays the composite image around the vehicle 9 to the back mode image display screen that displays an image of the rear of the vehicle 9 (step S604).
  • Step S605 When the shift position is not switched to “R” (No in Step S603) and the changeover switch 83 is pressed (Yes in Step S605), the display unit 21 continuously displays composite images around the vehicle 9. The displayed screen is switched to a front mode image display screen that displays an image obtained by photographing the front of the vehicle 9. (Step S606).
  • step S605 If the changeover switch 83 is not pressed in step S605 (step S605 is No) and the vehicle speed is equal to or higher than a predetermined speed (for example, the vehicle speed is 12 km / h or higher) (step S607 is Yes), the surroundings of the vehicle 9 The composite image is switched from the continuously displayed screen to the screen displaying the navigation image (step S610).
  • a predetermined speed for example, the vehicle speed is 12 km / h or higher
  • Step S607 it is determined whether or not the continuous display of the composite image around the vehicle 9 is complete (Step S608), and the continuous display of the composite image is complete. If not (No in step S608), a new composite image is transmitted from the image processing unit 10 to the display unit 21, and the display unit 21 uses the new composite image transmitted from the composite image processing unit 10 as the previous composite image. Display with continuity.
  • step S608 When the continuous display of the composite image around the vehicle 9 is finished (Yes in step S608), the composite image immediately above (directly above) the approximate center of the vehicle 9 transmitted from the image processing unit 10 to the display unit 21 is displayed. It is displayed on the part 21 (step S609).
  • a plurality of composite images are displayed on the display device so as to circulate around the vehicle while looking down at the vehicle, so that the user can check the entire periphery of the vehicle from the viewpoint in front of the vehicle.
  • the positional relationship between the vehicle and the obstacle can be grasped intuitively on one screen.
  • step S609 after displaying the composite image immediately above (directly above) the approximate center of the vehicle 9, the display unit 21 displays a screen for displaying the navigation image (step S610).
  • the user can The positional relationship between the vehicle and the obstacle can be grasped intuitively on one screen. Furthermore, the safety of the surroundings of the vehicle 9 can be confirmed from a plurality of viewpoints of the surroundings of the vehicle 9 and directly above (directly above) the approximate center of the vehicle 9.
  • the composite image shown here is only an example, and the height and direction overlooking the vehicle of the composite image, the continuous display of the composite image is paused, the rotation speed of the continuous display is adjusted, and the rotation of the continuous display is reversed.
  • the user can arbitrarily change the setting.
  • the periphery of the vehicle 9 is circled from the position of the virtual viewpoint behind the vehicle 9 has been described.
  • the start position for transitioning the image is not specified and may be an arbitrary position.
  • the number of times of circulation around the periphery is not limited to one, but may be any number of times such as two or more times or a half circle.
  • the start condition of the surrounding confirmation process of the vehicle 9 is that the image processing unit 10 receives the instruction signal from the operation unit 61a or the operation unit 61b by the user's operation as a start condition.
  • the surroundings of the vehicle 9 can be checked at any time.
  • a completion button (not shown) is provided on the display unit 21 and the composite image is continuously displayed by pressing the completion button even during the continuous display. It is also possible not to end the vehicle surroundings confirmation process by ending or pressing down the operation unit 61a or the operation unit 61b for a predetermined time or more.
  • FIG. 13 is a diagram illustrating an example of processing of the image processing unit in this case.
  • the CPU 1 of the image processing unit 10 receives an instruction signal from the operation unit 61a or the operation unit 61b by a user's operation (Yes in step S701), the CPU 1 stores data for performing a vehicle surrounding confirmation process from the memory 11. Read (step S702).
  • the vehicle periphery confirmation processing data include parameter data such as vehicle bitmap data and viewpoint movement data (viewpoint position and viewpoint direction data for each time).
  • the image conversion unit 3 of the image processing unit 10 After reading the vehicle periphery confirmation process data from the memory 11, the image conversion unit 3 of the image processing unit 10 generates a composite image of the vehicle periphery confirmation process based on the read data (step S703).
  • the composite image of the vehicle periphery confirmation process refers to a composite image around the vehicle 9 and a composite image directly above (directly above) the substantial center of the vehicle 9.
  • step S703 the generated composite image data of the vehicle surrounding confirmation process is output to the display unit 21 (step S704).
  • the image processing unit 10 outputs data to the display unit 21 together in an order in which a plurality of synthesized images in which the positions of the created virtual viewpoints are changed in stages have continuity.
  • the position of the virtual viewpoint is changed in stages, and an image that continuously circulates around the vehicle 9 is displayed on the display unit 21 when viewed from the upper virtual viewpoint around the vehicle 9 in the direction of the vehicle 9. be able to.
  • the image is changed stepwise and continuously.
  • the display of the predetermined image can be skipped and the next image can be displayed or the previous image can be displayed again. The user confirms among the continuously displayed images. You can quickly display the image you want.
  • FIG. 14 is a diagram illustrating a second modification of the processing of the image processing unit according to the third embodiment.
  • the composite image data is based on a plurality of captured images captured by a plurality of cameras of the imaging unit 5 that captures the vicinity of the vehicle 9 before receiving an instruction signal from the operation unit 61a or the operation unit 61b.
  • This is a composite image generated by the image conversion process and is data stored in the memory 11 in advance.
  • step S801 if the CPU 1 has not received an instruction signal from the operation unit 61a or the operation unit 61b by a user operation, the process ends (No in step S801).
  • step S802 after the composite image data of the vehicle surroundings confirmation process stored in the memory 11 in advance is read from the memory 11, the composite image data of the vehicle surroundings confirmation process is output to the display unit 21 (step S802). S803).
  • the CPU 1 of the image processing unit 10 receives the signal from the operation unit 61a or the operation unit 62b, which is an instruction signal for giving an instruction to output an image to the display device 21, and immediately performs the vehicle periphery confirmation process.
  • the composite data can be output to the display unit 21, and the time for outputting the composite image data to the display unit 21 after receiving the instruction signal can be shortened.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Circuits (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

車両に搭載された表示装置に画像を表示する技術を提供する。　所定の指示信号に応答して、車両の周辺を撮影する複数のカメラから取得される複数の画像に基づいた車両周囲の上方の仮想視点から車両方向をみる合成画像を生成する。この合成画像は、車両の周囲を周回するように仮想視点の位置が段階的に変更された複数の合成画像を表示装置に連続して出力される。これにより、ユーザが車両を目の前にした視点から車両の全周囲を確認することで、１つの画面で直感的に車両と障害物との位置関係を把握できる。

Description

画像処理装置、電子装置、および、画像処理方法
　本発明は、車両に搭載された表示装置に画像を表示する技術に関する。
　一般に、車両に搭載した複数のカメラにより車両の周辺の画像を取得し、自動的に、または、ユーザの操作によって、表示装置に表示することで車両周辺の監視を可能とする装置がある。また、車両の真上を仮想視点として見下ろした画像を画面に表示し、ユーザに車両全周囲の安全確認の手段を提供する装置がある。さらに、車両に搭載した複数のカメラを使用して所定の高さの視点で撮影し、カメラが撮影した画像の視点位置を車両の全体図とともに表示する第１画面と、この第１画面に表示されるOLE_LINK1視点位置の移動に対応させて、それぞれのカメラ画像を表示するOLE_LINK1第２画面との２つの画面で車両周囲の安全確認を行う技術がある（例えば、特許文献１参照。）。
日本国特開２００８－２１９５５９号公報
　しかしながら、関連技術のカメラによる車両周辺の画像表示は、複数のカメラのうち個々のカメラからの画像が車両のどの方向に対応しているのかを確認をする必要があり、画面にユーザの車両が映らないので車両と車両の周辺に存在する障害物との距離などの位置関係をユーザが把握するのは困難であった。
　また、車両の真上を仮想視点として見下ろした画像を画面に表示した場合、ユーザは車両の全周囲の広い範囲をいちどに確認する必要があり、ユーザにとっては情報量が多すぎて、どこを注意すべきかのポイントを絞ることが困難であった。
　さらに、特許文献１に開示されている技術では、カメラが撮影した画像の視点の位置を車両の全体図とともに示す画面と、視点位置の移動に対応させて、それぞれのカメラ画像を表示する画面とを別々の画面で表示しており、２つの画面に表示された情報の対応付けをユーザ自身で行わなければならず、車両と障害物との位置関係をユーザが把握しにくいという問題があった。
　本発明は、上記課題に鑑みてなされたものであり、車両と車両周辺の障害物との位置関係をユーザが直感的に把握できる技術を提供することを目的とする。
　本発明の目的は、以下の構成によって達成される。
　（１）　車両に搭載された表示装置に表示させる画像を処理する画像処理装置であって、指示信号を受信する受信部と、複数のカメラで撮影された前記車両の周辺の複数の画像に基づいて、前記車両の周囲の上方に配置された複数の仮想視点から前記車両をみた複数の第１合成画像を生成する合成画像生成部と、仮想視点が連続的に周回するように、前記指示信号に応答して、前記表示装置に前記複数の第１合成画像を連続して出力する出力部と、を備える。
　（２）　上記（１）に記載の画像処理装置において、前記合成画像生成部は、前記車両の略中心の直上に配置された仮想視点から前記車両をみた第２合成画像を生成し、前記出力部は、前記複数の第１合成画像と前記第２合成画像との相互間において前記仮想視点が連続的に移動するように、前記表示装置に前記複数の第１合成画像および前記第２合成画像を連続して出力する。
　（３）　上記（２）に記載の画像処理装置において、前記出力部は、前記複数の第１合成画像を出力した後に、前記第２合成画像を出力する。
　（４）　上記（１）ないし（３）のいずれかに記載の画像処理装置において、前記合成画像生成部は、前記複数の第１合成画像を、前記仮想視点が前記車両の位置を中心として周回するように生成する。
　（５）　上記（１）ないし（３）のいずれかに記載の画像処理装置において、前記合成画像生成部は、前記複数の第１合成画像を、前記仮想視点が前記車両の位置を中心として周回するように生成する。
　（６）　上記（１）ないし（５）のいずれかに記載の画像処理装置において、前記受信部は、前記画像処理装置の起動時に前記指示信号を受信する。
　（７）　車両に搭載された表示装置に表示させる画像を処理する電子装置であって、指示信号を出力する操作部と、前記指示信号を受信する受信部と、複数のカメラで撮影された前記車両の周辺の複数の画像に基づいて、前記車両の周囲の上方に配置された仮想視点から前記車両をみた、当該仮想視点が連続的に周回する合成画像を生成する合成画像生成部と、前記指示信号に応答して、前記表示装置に前記合成画像を出力する出力部と、を備える。
　（８）　上記（７）に記載の電子装置において、前記出力部から出力された前記合成画像を表示する前記表示装置、をさらに備える。
　（９）　車両に搭載された表示装置に表示させる画像を処理するための画像処理方法であって、指示信号を受信する工程と、複数のカメラで撮影された前記車両の周辺の複数の画像に基づいて、前記車両の周囲の上方に配置された複数の仮想視点から前記車両をみた複数の合成画像を生成する工程と、仮想視点が連続的に周回するように、前記指示信号に応答して、前記表示装置に前記複数の合成画像を連続して出力する工程と、を備える。
　上記（１）から（９）の構成によれば、車両を見下ろした状態で車両の周囲を周回するように示す複数の合成画像が表示装置に表示されるため、ユーザが車両を目の前にした視点から車両の全周囲を確認することで、１つの画面で直感的に車両と障害物との位置関係を把握できる。
　また、特に上記（２）の構成によれば、仮想視点が連続性を持って移動しつつ、車両の周囲を旋回するように示す複数の合成画像と車両上方からみた合成画像との双方が表示されることで、ユーザは１つの画面で直感的に車両と障害物との位置関係を把握できる。さらに、車両の周囲と車両の上方との複数の視点から車両周囲の安全性を確認できる。
　また、特に上記（３）の構成によれば、車両の周囲の画像でユーザが見落とす障害物などの情報があったとしても、車両の周囲の画像の後に連続性をもって表示される車両の上方の画像により再度安全確認を行うことができる。また、ユーザが車両の全周囲の広い範囲をいちどに確認する必要はなく、車両周囲の限られた範囲の画像の後に車両上方の広い範囲の車両全体の画像を連続して表示することで、ユーザは１つの画面で車両周囲の安全確認をより確実に行える。
　また、特に上記（４）の構成によれば、車両の位置を中心として車両の周囲を順に移動する仮想視点からみた合成画像を生成することで、ユーザは１つの画面で直感的に車両の全周囲の障害物を確認することができる。
　また、特に上記（５）の構成によれば、車両の周辺のユーザが指定した地点を中心とすることで、ユーザは１つの画面で確認したい車両周囲の任意の地点を中心に安全確認を行える。
　また、特に上記（６）の構成によれば、画像処理装置の起動時にユーザは１つの画面で車両の周辺を確認することができる。
図１は、画像表示システムのブロック図である。 図２は、複数の車載カメラが車両に配置される位置を示す図である。 図３は、任意の仮想視点からみた合成画像の生成方法を説明する図である。 図４は、画像処理部の処理の流れを示す図である。 図５は、第１の実施形態における合成画像の画面遷移を示す図である。 図６は、表示部の表示処理の流れを示す図である。 図７は、第２の実施形態における合成画像の画面遷移を示す図である。 図８は、画像処理部の処理の変形例１を示す図である。 図９は、画像処理部の処理の変形例２を示す図である。 図１０は、第３の実施形態の画像表示システムのブロック図である。 図１１は、第３の実施形態の画像処理部の処理の流れを示す図である。 図１２は、第３の実施形態の合成画像の画面遷移を示す図である。 図１３は、第３の実施形態の画像処理部の処理の変形例１を示す図である。 図１４は、第３の実施形態の画像処理部の処理の変形例２を示す図である。
　以下、図面を参照しつつ本発明の実施形態について説明する。
＜１．第１の実施の形態＞
　＜１－１．構成＞
　図１は、第１の実施形態の画像表示システム１００のブロック図である。この画像表示システム１００は、車両（本実施の形態では、自動車）に搭載される電子装置であり、車両の周辺を撮影して画像を生成し、車室内に表示する機能を有している。この画像表示システム１００を利用するユーザとなる車両のドライバは当該車両の周辺を容易に把握できる。
　図１に示すように、画像表示システム１００は、画像処理部１０と、車両の周辺を撮影する撮影部５とを備えている。画像表示システム１００は液晶ディスプレイなどの表示部２１を備えており、表示部２１の画面がドライバから視認可能なように車両のインストルメントパネルなどに設置される。画像処理部１０は、表示部２１に表示させる画像を処理する。また、撮影部５は、画像処理部１０に電気的に接続され画像処理部１０からの信号に基づいて動作する。なお、表示部２１はタッチパネル機能を有し、ユーザから各種指示を受付可能である。
　撮影部５は、車載カメラであるフロントカメラ５１、サイドカメラ５２及びバックカメラ５３を備えている。これらの車載カメラ５１，５２，５３は、レンズと撮像素子とを備えており電子的に画像を取得する。
　図２は、車載カメラ５１，５２，５３が車両９に配置される位置を示す図である。図２に示すように、フロントカメラ５１は、車両９の前端となるフロントバンパ９１の左右略中心に設けられ、その光軸は車両９の直進方向に向けられている。また、サイドカメラ５２は、左右のドアミラー９３にそれぞれ設けられており、その光軸は直進方向に対して直交するように車両９の外部方向に向けられている。バックカメラ５３は、車両９の後端となるリアバンパ９２の左右略中心に設けられ、その光軸は車両９の直進方向の逆方向に向けられている。
　これらの車載カメラ５１，５２，５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１，５２，５３は１８０度以上の画角αを有している。このため、４つの車載カメラ５１，５２，５３を利用することで、車両９の全周囲の撮影が可能である。
　なお、車載カメラ５１，５２，５３は１８０度以上の画角αを有しているため、各カメラの撮影範囲が重複する重複領域βが生じる。このような重複領域では同一の物体が別々の方向に表示される。そのため、このような重複領域の画像処理において、両方のカメラの画像の重複する部分を透過率調整（例えば互いに５０％とする。）して重ね合わせて表示してもよいし、重複する部分から任意の範囲の画像を削除してもよい。
　図１に戻り、画像処理部１０は、撮影部５で取得された撮影画像を処理して表示用の画像に変換する画像変換部３と、各種の演算処理を行うＣＰＵ１と、表示部２１と通信を行う通信部４２とを備えている。画像変換部３で生成された画像は通信部４２から表示部２１に出力されて表示される。
　画像変換部３は、撮影部５の複数の車載カメラ５１，５２，５３で取得された複数の撮影画像に基づいて仮想視点からみた合成画像を生成できる。画像変換部３は、このような画像処理に必要な輝度調整部３１と多重化部３２と視点変換部３３とを備えたハードウェア回路として構成されている。
　輝度調整部３１は、撮影部５で取得された撮影画像の全体としての明るさを示す平均輝度を参照し、撮影画像のゲイン調整を行う。具体的には、撮影画像の平均輝度が比較的高い場合はゲイン調整値を小さくし、比較的低い場合はゲイン調整値を大きくする。これにより、車両９の周辺環境がある程度暗い場合などにおいて撮影画像の明るさが調整される。
　多重化部３２は、複数の車載カメラ５１，５２，５３で取得されてゲイン調整された複数の撮影画像を一つの画像に合成して多重化画像とする。視点変換部３３は、多重化部３２で生成された多重化画像を用いて、車両９の周辺の任意の仮想視点からみた合成画像を生成する。視点変換部３３が、仮想視点からみた合成画像を生成する手法については後述する。
　ＣＰＵ１は、画像表示システム１００の各部を統括的に制御する制御部として機能する。ＣＰＵ１の各種の制御機能は、ＣＰＵ１が備えるメモリ１１などに予め記憶されたプログラムに従って演算処理が実行されることによりソフトウェア的に実現される。
　また、画像処理部１０は、車両９に設けられた各種装置からの信号を入力する信号入力部４１を備えている。この信号入力部４１を介して、画像表示システム１００の外部からの信号がＣＰＵ１に入力される。具体的には、車両電源制御装置８４からは車両のＡＣＣ－ＯＮ／ＯＦＦの信号が入力される。ＡＣＣは、車両９の画像表示システム１００を含む付属品に対して、電力を供給する供給線をＯＮ／ＯＦＦするスイッチである。
　また、表示部２１にはシフトセンサ８１、車速度センサ８２、切替スイッチ８３、および、車両電源制御装置８４などから、各種情報を示す信号が入力される。シフトレバー８１からは、”Ｐ”，”Ｄ”，”Ｎ”，”Ｒ”などのシフトポジションが入力される。また、車速度センサ８２からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。切替スイッチ８３からは、表示部２１のディスプレイに表示されるカメラ画像を切替える信号が入力される。例えばフロントカメラの画像、サイドカメラの画像、バックカメラの画像のような順序で切替えがなされる。車両電源制御装置８４からは車両のＡＣＣ－ＯＮ／ＯＦＦの信号が入力される。なお、車両電源制御装置８４からの車両のＡＣＣ－ＯＮ／ＯＦＦ信号は信号入力部４１を介して画像処理部１０のＣＰＵ１にも入力される。
　＜１－２．画像変換処理＞
　次に、画像変換部３の視点変換部３３が、撮影部５で得られた複数の撮影画像に基づいて、任意の仮想視点からみた合成画像を生成する手法について説明する。図３は、任意の仮想視点からみた合成画像を生成する手法を説明するための図である。
　撮影部５のフロントカメラ５１、サイドカメラ５２及びバックカメラ５３で同時に撮影が行われると、車両９の前方、左側方、右側方、及び、後方をそれぞれ示す４つの撮影画像Ｐ１～Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１～Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれている。
　取得された４つの撮影画像Ｐ１～Ｐ４は多重化された後、視点変換部３３により仮想的な三次元の立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９の位置として定められている。撮影画像Ｐ１～Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とはあらかじめ対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と、撮影画像Ｐ１～Ｐ４に含まれる各画素の値とに基づいて決定できる。撮影画像Ｐ１～Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、テーブルデータとして画像処理部１０のＣＰＵ１が備えるメモリ１１に記憶される。
　一方で、立体曲面ＳＰに対するＶＰ１，ＶＰ２，ＶＰ５，および、ＶＰ７などの仮想視点が設定される。そして、設定された仮想視点ＶＰ１，ＶＰ２，ＶＰ５，および、ＶＰ７に応じて、立体曲面ＳＰにおける必要な領域が画像として切り出されることにより、任意の仮想視点からみた合成画像が生成される。
　例えば、図中に示すように、車両９の後方となる仮想視点ＶＰ１を設定した場合は、車両９の後方から車両９を見下ろしたような合成画像ＣＰ１が生成される。また、車両９の左側面となる仮想視点ＶＰ２や右側面となるＶＰ５を設定した場合は、車両９の左側面、または、右側面から車両９を見下ろしたような合成画像ＣＰ２、または、ＣＰ５が生成される。さらに、車両９の真上の仮想視点ＶＰ７を設定した場合は、車両９の真上から見下ろすような合成画像ＣＰ７が生成される。仮想視点と、立体曲面ＳＰにおける必要な領域との関係はあらかじめ定められており、テーブルデータとして画像処理部１０のＣＰＵ１が備えるメモリ１１に記憶される。
　実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、仮想視点に対応して必要となる領域の画素の値のみを撮影画像Ｐ１～Ｐ４に基づいて決定することで、処理速度を向上できる。また、合成画像中に示す車両９の像はあらかじめビットマップなどのデータとしてメモリ１１内に用意しておき、仮想視点に応じた方向の車両９の像を生成された合成画像に重畳すればよい。
　なお、撮影画像Ｐ１～Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係のテーブルデータ、仮想視点と立体曲面ＳＰにおける必要な領域との関係を定めたテーブルデータ、車両の像のビットマップデータなどのメモリ１１内に保存されているデータは他のデータに書き換え可能である。またメモリ１１はＣＰＵ１の内部に設けられているが、これに限らずＣＰＵ１の外部または画像処理部１０の外部に設けられても良い。
　＜１－３．動作＞
　次に、本実施形態の画像処理部１０の動作について、図４の画像処理部１０の処理の流れを示す図、および、図５の第１の実施形態における合成画像の画面遷移を示す図を参照して説明する。
　画像処理部１０のＣＰＵ１が車両電源制御装置８４からのＡＣＣ－ＯＮ信号を信号入力部４１を介して受信する（ステップＳ１０１がＹｅｓ）と、画像処理部１０の通信部４２は表示部２１との初期通信を開始する（ステップＳ１０２）。ここで初期通信とは画像処理部１０と表示部２１との間で通信可能か否かを確認する処理をいう。画像処理部１０のＣＰＵ１が車両電源制御装置８４からのＡＣＣ－ＯＮ信号を受信していない場合は処理を終了する（ステップＳ１０１がＮｏ）。
　画像処理部１０と表示部２１との初期通信が正常に終了すれば（ステップＳ１０３がＹｅｓ）、画像処理部１０はＣＰＵ１のメモリ１１から車両周囲確認処理を行うためのデータを読み出す（ステップＳ１０４）。車両周囲確認処理のデータの例としては、車両のビットマップデータ、視点の移動データ（時間ごとの視点位置や視点の方向のデータ）などがあげられる。
　初期通信が正常に終了していない場合（ステップＳ１０３がＮｏ）は再度、表示部２１との通信を行ったり、複数回の通信を試みても通信できない場合は処理を終了する。なお、ここで初期通信が正常に終了しない場合としては、故障などの原因で画像処理部１０が正常に動作していないことがあげられる。このような場合は表示部２１に車両周囲の画像表示のシステムが故障している旨の警告を表示するようにできる。
　メモリ１１から車両周辺確認処理のデータを読み出した後に、画像処理部１０の画像変換部３は読み出したデータに基づいて、車両周囲の合成画像を生成する（ステップＳ１０５）。作成された合成画像のデータは表示部２１に送信される（ステップＳ１０６）。なお、画像処理部１０は作成した仮想視点の位置が段階的に変更されている複数の合成画像が連続性を有するように順番に表示部２１にデータを送信する。これにより仮想視点の位置が段階的に変更され、連続表示により車両を見下ろした状態で、車両９の周囲を周回する画像を表示部２１に表示させることができる。
　複数の合成画像の表示部２１への送信が終了する（ステップＳ１０７がＹｅｓ）と、車両９の略中心の直上（真上）の合成画像を生成し（ステップＳ１０８）、生成した車両９の略中心の直上（真上）の合成画像を表示部２１へ送信する（ステップＳ１０９）。
　なお、複数の合成画像データの表示部２１への送信が終了していない場合（ステップＳ１０７がＮｏ）は、ステップＳ１０５の処理に戻って、次の車両周囲の合成画像を生成する処理を行う。
　上記の車両９の周囲の複数の合成画像の生成と表示、車両９の略中心の直上（真上）の合成画像の生成と表示について、図５に基づいて説明する。
　ＣＰ１は車両９の後方から車両９を見下ろしたような合成画像、ＣＰ２は車両９の左側面から車両９を見下ろしたような合成画像、ＣＰ３は車両９の左斜め側面から車両９を見下ろしたような合成画像、ＣＰ４は車両９の前方から車両９を見下ろしたような合成画像、ＣＰ５は車両９の右側面から車両９を見下ろしたような合成画像、ＣＰ６は車両９の右斜め側面から車両９を見下ろしたような合成画像、ＣＰ７は車両９の略中心の直上（真上）から車両９を見下ろしたような合成画像である。画像処理部１０は、撮影部５のカメラ５１，５２，５３で撮影された車両９の周辺の画像に基づいて、車両の周囲の上方に配置された複数の仮想視点から車両９を見た複数の合成画像ＣＰ１～ＣＰ６を生成する。すなわち、画像処理部１０は、ユーザが自身の目線の高さで車両の周囲を１周するようなＣＰ１からＣＰ６の合成画像を順番に生成する。その後、画像処理部１０は、車両９の略中心の直上に配置された仮想視点から車両９を見た合成画像ＣＰ７を生成する。すなわち、画像処理部１０は、車両周囲の全体を車両９の略中心の直上（真上）の視点からみたＣＰ７の合成画像をＣＰ６の次に生成する。さらに、画像処理部１０は、通信部４２を介して、仮想視点が連続的に周回するように、表示部２１に生成された複数の合成画像ＣＰ１～ＣＰ７を連続して出力する。これにより、車両を見下ろした状態で車両の周囲を周回するように示す複数の合成画像が表示部２１に表示されるため、ユーザが車両を目の前にした視点から車両の全周囲を確認することで、１つの画面で直感的に車両と障害物との位置関係を把握できる。
　また、仮想視点の位置が連続性を持って移動しつつ、車両の周囲を旋回するように示す複数の合成画像と車両の略中心の直上（真上）からみた合成画像との双方が表示されることで、ユーザは１つの画面で直感的に車両と障害物との位置関係を把握できる。さらに、車両の周囲と車両の略中心の直上（真上）との複数の視点から車両周囲の安全性を確認できる。
　また、車両の周囲の画像でユーザが見落とす障害物などの情報があったとしても、車両の周囲の画像の後に連続性をもって表示される車両の上方の画像により再度安全確認を行うことができる。
　また、ユーザが車両の全周囲の広い範囲をいちどに確認する必要はなく、車両周囲の限られた範囲の画像の後に車両の略中心の直上（真上）の広い範囲の車両全体の画像を連続して表示することで、ユーザは１つの画面で車両周囲の安全確認をより確実に行える。
　また、車両の位置を中心として車両の周囲を順に移動する仮想視点からみた合成画像を生成することで、ユーザは１つの画面で直感的に車両の全周囲の障害物を確認することができる。
　なお、ここで示した合成画像は一例であり、合成画像の車両を見下ろす高さ、方向、合成画像の連続表示の一時停止、連続表示の回転速度の調整、連続表示の回転を逆回転とすることなどの設定はユーザの任意の変更が可能である。
　また、連続表示を一時停止して表示部の画面の任意の部分をユーザ操作により選択することで選択した部分を拡大表示させることもできる。さらに、本実施形態では車両周囲を表示する合成画像を連続表示した後に、車両の略中心の直上（真上）の合成画像を連続表示させる場合を述べたが、この順序に限ることなく車両の略中心の直上（真上）の合成画像を表示した後に車両周囲の合成画像を連続表示させてもよい。
　また、本実施形態では車両の後方の仮想視点の位置から周囲を１周する場合について述べたが、画像を遷移させる開始位置は特定されるものではなく任意の位置でもよい。さらに、周囲を周回する回数は１回に限らず２回以上または半周など任意の回数でもよい。
　また、本実施形態では車両周囲確認処理の開始条件を画像処理部１０または表示部２１が車両電源制御装置８４からのＡＣＣ－ＯＮ信号を受信したことを開始条件とすることで、これにより画像処理装置の起動時にユーザが車両の周辺を確認できる。通常、画像処理装置は車両の走行前にＡＣＣ－ＯＮに応答して起動するため、車両の走行前にユーザが車両の周辺を確認できるという効果を有する。このような車両周囲確認処理の開始条件は、ＡＣＣ－ＯＮ信号の受信のみではなく、切替スイッチ８３を所定時間以上（例えば３秒以上）継続して押下することとしてもよい。これによりユーザが車両周囲を自動で確認したい場合にはいつでも確認を行うことができる。
　さらに、複数の合成画像を連続表示している際に、表示部２１に図示しない完了ボタンを設けて、連続表示の途中であってもこの完了ボタンを押下することで、合成画像の連続表示を終了させたり、図示しない設定ボタンを設けて予め、ＡＣＣ－ＯＮや切替えスイッチ８３を所定時間以上押下することによる車両周囲確認処理の開始を行わないようにすることもできる。
　また、車両周囲確認処理を実行して合成画像を連続表示している場合に、車速が所定速度以上、シフトポジションの”Ｒ”への切替え、切替ＳＷの押下といったユーザの操作に基づく信号が表示部２１に入力された場合は、以下に詳述するように車両周囲確認処理を終了して、ユーザの操作に対応した処理を開始する。
　次に、表示部２１の処理動作について図６の表示部２１の表示処理の流れを示す図を用いて説明する。表示部２１は車両電源制御装置８４からのＡＣＣ－ＯＮ信号を受信する（ステップＳ２０１がＹｅｓ）と、表示部の本体電源をＯＮする（ステップＳ２０２）。なお、車両電源制御装置８４からのＡＣＣ－ＯＮ信号を受信していない（ステップＳ２０１がＮｏ）場合は処理を終了する。
　その後、同じく車両電源制御装置８４からのＡＣＣ－ＯＮ信号を受信している画像処理部１０と初期通信を開始する（ステップＳ２０３）。ここで、初期通信とは画像処理部１０と表示部２１との間で通信可能か否かを確認する処理をいう。初期通信が正常に終了した場合（ステップＳ２０４がＹｅｓ）は、画像処理部１０から車両周囲確認処理の合成画像のデータを受信する（ステップＳ２０５）。
　初期通信が正常に終了していない場合（ステップＳ２０４がＮｏ）は、再度画像処理部１０との通信を行ったり、複数回通信を試みても通信できない場合は処理を終了する。なお、ここで初期通信が正常に終了しない場合としては、故障などの原因で画像処理部１０が正常に動作していないことがあげられる。このような場合は、表示部２１に車両周囲の画像表示のシステムが故障している旨の警告を表示するようにできる。
　表示部２１が画像処理部１０から合成画像データを受信している間に、表示部２１はオープニング画面を表示する（ステップＳ２０６）。オープニング画面表示後、画像処理部１０から受信した車両周囲の複数の合成画像を上記図５を用いて説明したように、連続表示させる（ステップＳ２０７）。複数の合成画像を連続表示している間にシフトセンサ８１から表示部２１へシフトポジションが”Ｒ“に切替えられた信号が送信される（ステップＳ２０８がＹｅｓ）と、表示部２１は車両周囲の合成画像を連続表示している画面から、車両の後方を撮影した画像を表示するバックモード画像表示の画面に切替えて表示する（ステップＳ２０９）。
　シフトポジションが”Ｒ“に切替えられていない場合（ステップＳ２０８がＮｏ）で、切替スイッチ８３が押下された場合（ステップＳ２１０がＹｅｓ）は、表示部２１は車両周囲の合成画像を連続表示している画面から、車両の前方を撮影した画像を表示するフロントモード画像表示の画面に切替えて表示する。（ステップＳ２１１）。
　切替スイッチ８３が押下されていない場合（ステップＳ２１０がＮｏ）で、車速が所定の速度以上（例えば車速が１２ｋｍ／ｈ以上）の場合（ステップＳ２１２がＹｅｓ）は、車両周囲の合成画像を連続表示している画面からナビゲーション画像を表示する画面に切替えて表示する（ステップＳ２１５）。車速が所定の速度以上でない場合（ステップＳ２１２がＮｏ）は、車両周囲の合成画像の連続表示が終了しているか否かを判断し（ステップＳ２１３）、合成画像の連続表示が終了していない場合（ステップＳ２１３がＮｏ）は、画像処理部１０から表示部２１へ新たな合成画像が送信され、表示部２１は合成画像処理部１０から送信された新たな合成画像を前の合成画像と連続性をもたせて表示する。
　車両周囲の合成画像の連続表示が終了した場合（ステップＳ２１３がＹｅｓ）は、画像処理部１０から表示部２１へ送信された車両９の略中心の直上（真上）の合成画像が表示部２１に表示される（ステップＳ２１４）。これにより、車両を見下ろした状態で車両の周囲を周回するように示す複数の合成画像が表示装置に表示されるため、ユーザが車両を目の前にした視点から車両の全周囲を確認することで、１つの画面で直感的に車両と障害物との位置関係を把握できる。
　車両９の略中心の直上（真上）の合成画像表示後、表示部２１はナビゲーション画像を表示する画面を表示する（ステップＳ２１５）。
　仮想視点の方向が連続性を持って移動しつつ、車両の周囲を旋回するように示す複数の合成画像と車両上方からみた合成画像との双方が表示されることで、ユーザは１つの画面で直感的に車両と障害物との位置関係を把握できる。さらに、車両の周囲と車両の略中心の直上（真上）との複数の視点から車両周囲の安全性を確認できる。
　また、車両の周囲の画像でユーザが見落とす障害物などの情報があったとしても、車両の周囲の画像の後に連続性をもって表示される車両の略中心の直上（真上）の画像により再度安全確認を行うことができる。
　また、ユーザが車両の全周囲の広い範囲を確認する必要はなく、車両周囲の限られた範囲の画像の後に車両の略中心の直上（真上）の広い範囲の車両全体の画像を連続して表示することで、ユーザは１つの画面で車両周囲の安全確認をより確実に行える。
　また、車両の位置を中心として車両周囲を順に移動する仮想視点からみた合成画像を生成することで、ユーザは１つの画面で直感的に車両の全周囲の障害物を確認することができる。
　なお、ここで示した合成画像は一例であり、合成画像の車両を見下ろす高さ、方向、合成画像の連続表示の一時停止、連続表示の回転速度の調整、連続表示の回転を逆回転とすることなどの設定はユーザの任意の変更が可能である。
　また、連続表示を一時停止して表示部の画面の任意の部分をユーザ操作により選択することで選択した部分を拡大表示することも可能である。さらに、本実施形態では車両周囲を表示する合成画像を連続表示した後に、車両上方の合成画像を連続表示させる場合を述べたが、この順序に限ることなく車両の略中心の直上（真上）の合成画像を表示した後に車両周囲の合成画像を連続表示させてもよい。
　また、本実施形態では車両の後方の仮想視点の位置から周囲を１周する場合について述べたが、画像を遷移させる開始位置は特定されるものではなく任意の位置でもよい。さらに、周囲を周回する回数は１回に限らず２回以上または半周など任意の回数でもよい。
　また、本実施形態では車両周囲確認処理の開始条件を画像処理部１０または表示部２１が車両電源制御装置８４からのＡＣＣ－ＯＮ信号を受信したことを開始条件とすることで、これにより画像処理装置の起動時にユーザが車両の周辺を確認することができる。通常、画像処理装置は車両の走行前にＡＣＣ－ＯＮに応答して起動するため、車両の走行前にユーザが車両の周辺を確認できるという効果を有する。このような車両周囲確認処理の開始条件は、ＡＣＣ－ＯＮ信号の受信のみではなく、切替スイッチ８３を所定時間以上（例えば３秒以上）継続して押下することとしてもよい。これによりユーザが車両周囲を自動で確認したい場合にはいつでも確認を行うことができる。
　さらに、複数の合成画像を連続表示している際に、表示部２１に図示しない完了ボタンを設けて、連続表示の途中であってもこの完了ボタンを押下することで、合成画像の連続表示を終了させたり、図示しない設定ボタンを設けて予めＡＣＣ－ＯＮ時や切替えスイッチ８３を所定時間以上押下することによる車両周囲確認処理の開始を行わないようにすることもできる。
＜２．第２の実施の形態＞
　第２の実施形態は第１の実施形態と基本的な構成は同一である。本実施形態については図７の第２の実施形態における合成画像の画面遷移を示す図を用いて説明する。図７のＣＰ１ａからＣＰ７ａは上記図５に示したＣＰ１からＣＰ７の車両周囲の合成画像の連続表示とは周囲の合成画像を生成する視点の位置が異なる。本実施形態では、車両の左側に仮想視点を移動させた状態でその周囲の合成画像ＣＰ１ａからＣＰ７ａを画像処理部１０で生成し、これらの合成画像を表示部２１に連続表示させる。
　ＣＰ１ａは車両９の後方で車両９の左に所定距離移動した位置の仮想視点から車両９を見下ろしたような合成画像、ＣＰ２ａは車両９の左側面で車両９の左に所定距離移動した位置の仮想視点から車両９を見下ろしたような合成画像、ＣＰ３ａは車両９の左斜め側面で車両９の左に所定距離移動した位置の仮想視点から車両９を見下ろしたような合成画像、ＣＰ４ａは車両９の前面で車両９の左に所定距離移動した位置の仮想視点から車両９を見下ろしたような合成画像、ＣＰ５ａは車両９の右側面で車両９の左に所定距離移動した位置の仮想視点から車両９を見下ろしたような合成画像、ＣＰ６ａは車両９の右側面で車両９の左に所定距離移動した位置の仮想視点から車両９を見下ろしたような合成画像、ＣＰ７ａは車両９の略中心の直上（真上）の仮想視点から左に所定距離移動して車両９を見下ろしたような合成画像である。
　このように車両から所定距離移動して、周囲の合成画像の連続表示の仮想視点の位置を車両の画像を一部にでも含む範囲内で切替えることで、ユーザが確認したい部分を選択して表示できる。例えばユーザが運転席（右側の席）に着座しており、左側を重点的に確認したい場合は、上記に示したように車両から左に所定距離移動した位置の視点を中心に合成画像を生成し、その合成画像の連続表示を行うことが可能である。仮想視点の位置の変更はユーザが手動で行うことが可能であり、車両の画像を含む範囲でユーザが確認を希望する任意の位置を中心に合成画像の連続表示を行うことが可能である。これにより、ユーザは重点的に確認を行いたい位置を中心にその周囲の状況を確認することができ、車両と障害物との位置関係を１つの画面で直感的に把握することができる。
　また、仮想視点の位置が連続性を持って遷移しつつ、車両から所定距離移動した周囲を旋回するように示す複数の合成画像と車両の略中心の直上（真上）の仮想視点から所定距離移動した合成画像との双方が表示されることで、ユーザは１つの画面で直感的に車両と障害物との位置関係を把握できる。さらに、車両から所定距離移動した周囲の仮想視点と車両の略中心の直上（真上）から所定距離移動した仮想視点との複数の仮想視点から車両周囲の安全性を確認できる。
　また、車両から所定距離移動した周囲の画像でユーザが見落とす障害物などの情報があったとしても、車両から所定距離移動した周囲の画像の後に連続性をもって表示される車両の略中心の直上（真上）の仮想視点から所定距離移動した画像により再度安全確認を行うことができる。
　また、車両から所定距離移動した位置を真上からみた広い範囲をいちどに確認する必要はなく、車両から所定距離移動した周囲の限られた範囲の画像の後に車両の略中心の直上（真上）の仮想視点から所定距離移動した広い範囲の画像を連続して表示することで、ユーザは１つの画面で車両周囲の安全確認をより確実に行える。
＜３．画像処理部；変形例＞
　＜３－１．変形例１＞
　次に、図４を用いて説明した画像処理部１０の処理の変形例について説明する。
　図４では、仮想視点の位置が異なる複数の合成画像を生成するごとに表示部２１に送信していたが、この変形例１では複数の合成画像を生成してから表示部２１に送信するようにしている。
　図８は、この変形例１の画像処理部１０の処理の例を示す図である。画像処理部１０のＣＰＵ１が車両電源制御装置８４からの表示部２１に画像を出力する指示を行うための指示信号であるＡＣＣ－ＯＮ信号を信号入力部４１を介して受信する（ステップＳ３０１がＹｅｓ）と、画像処理部１０の通信部４２は表示部２１との初期通信を開始する（ステップＳ３０２）。ここで初期通信とは画像処理部１０と表示部２１との間で通信可能か否かを確認する処理をいう。画像処理部１０のＣＰＵ１が車両電源制御装置８４からのＡＣＣ－ＯＮ信号を受信していない場合は処理を終了する（ステップＳ３０１がＮｏ）。
　画像処理部１０と表示部２１との初期通信が正常に終了すれば（ステップＳ３０３がＹｅｓ）、ＣＰＵ１はメモリ１１から車両周囲確認処理を行うためのデータを読み出す（ステップＳ３０４）。車両周囲確認処理のデータの例としては、車両のビットマップデータ、視点の移動データ（時間ごとの視点位置や視点の方向のデータ）などのパラメータのデータがあげられる。
　初期通信が正常に終了していない場合（ステップＳ３０３がＮｏ）は再度、表示部２１との通信を行ったり、複数回の通信を試みても通信できない場合は処理を終了する。なお、ここで初期通信が正常に終了しない場合としては、故障などの原因で画像処理部１０が正常に動作していないことがあげられる。このような場合は表示部２１に車両周囲の画像表示のシステムが故障している旨の警告を表示するようにできる。
　ステップＳ３０４に戻って、メモリ１１から車両周辺確認処理のデータを読み出した後に、画像処理部１０の画像変換部３は読み出したデータに基づいて、車両周囲確認処理の合成画像を生成する（ステップＳ３０５）。ここで、車両周囲確認処理の合成画像とは、車両９の周囲の合成画像、および、車両９の略中心の直上（真上）の合成画像をいう。
　作成された車両周囲確認処理の合成画像のデータは表示部２１に出力される（ステップＳ３０６）。なお、画像処理部１０は作成した仮想視点の位置が段階的に変更されている複数の合成画像が連続性を有するような順番でまとめて表示部２１にデータが出力される。
　これにより仮想視点の位置が段階的に変更され、車両９の周囲の上方の仮想視点から車両方向にみた状態で、車両９の周囲を連続的に周回する画像を表示部２１に表示させることができる。また、車両９の周囲の合成画像、および、車両９の略中心の直上（真上）の複数の合成画像を同じタイミングで表示部２１に出力することで、段階的に変更されて連続的に表示されている合成画像のうち、所定の画像の表示をとばして、次の画像を表示したり、前の画像に戻って表示することができ、連続的に表示される画像のうちユーザが確認したい箇所の画像を素早く表示できる。
　＜３－２．変形例２＞
　また、図４では、仮想視点の位置が異なる複数の合成画像を生成するごとに表示部２１に送信していたが、変形例２では、予め生成されてメモリ１１に記憶された複数の合成画像をＡＣＣ－ＯＮ信号に応答して表示部２１に送信するようにしている。
　図９は、この変形例２の画像処理部１０の処理の例を示す図である。画像処理部１０のＣＰＵ１が車両電源制御装置８４からの表示部２１に画像を出力する指示を行うための指示信号であるＡＣＣ－ＯＮ信号を信号入力部４１を介して受信する（ステップＳ４０１がＹｅｓ）と、画像処理部１０の通信部４２は表示部２１との初期通信を開始する（ステップＳ４０２）。ここで初期通信とは画像処理部１０と表示部２１との間で通信可能か否かを確認する処理をいう。画像処理部１０のＣＰＵ１が車両電源制御装置８４からのＡＣＣ－ＯＮ信号を受信していない場合（ステップＳ４０１がＮｏ）は処理を終了する。
　画像処理部１０と表示部２１との初期通信が正常に終了すれば（ステップＳ４０３がＹｅｓ）、ＣＰＵ１はメモリ１１から車両周囲確認処理の合成画像データを読み出す（ステップＳ４０４）。この合成画像データは、ＡＣＣ－ＯＮ信号を受信する前に車両９の周辺を撮影する撮影部５の複数のカメラにより撮影された複数の撮影画像に基づいて、上記画像変換処理により生成された合成画像であり、予めメモリ１１に保存されているデータである。
　ステップＳ４０４において、予めメモリ１１に保存されている車両周囲確認処理の合成画像データが、メモリ１１から読み出された後、車両周囲確認処理の合成画像データが表示部２１へ出力される（ステップＳ４０５）。
　これにより、表示装置２１に画像を出力する指示を行うための指示信号であるＡＣＣ－ＯＮ信号を画像処理部１０のＣＰＵ１が受信してすぐに車両周辺確認処理の合成データを表示部２１へ出力することができ、指示信号を受信してから表示部２１へ合成画像データ出力する時間を短縮できる。
　初期通信が正常に終了していない場合（ステップＳ４０３がＮｏ）は再度、表示部２１との通信を行ったり、複数回の通信を試みても通信できない場合は処理を終了する。なお、ここで初期通信が正常に終了しない場合としては、故障などの原因で画像処理部１０が正常に動作していないことがあげられる。このような場合は表示部２１に車両周囲の画像表示のシステムが故障している旨の警告を表示するようにできる。
＜４．第３の実施の形態＞
　次に、第３の実施の形態について説明する。上記第１の実施の形態では主に、ＡＣＣ－ＯＮ信号を指示信号とし、この指示信号に応答して仮想視点の位置が異なる複数の合成画像を送信していた。これに対して、第３の実施の形態では、ユーザの操作に基づく信号を指示信号とし、ユーザの操作に応答して複数の合成画像が送信される。
　＜４－１．構成＞
　図１０は、第３の実施の形態の画像表示システム１０１のブロック図である。第３の実施形態も、第１の実施形態と基本的な構成はほぼ同一である。図１０において、上記図１で説明した構成と異なる点は、表示部２１に設けられた操作部６１ａと操作部６１ｂとを備えていることである。
　操作部６１ａは表示部２１の表示画面に透明電極で形成されたタッチスイッチ、および、表示部２１の周囲に設けられた固定のハードスイッチなどからなり、ユーザの操作による指示信号が、信号入力部４１を介してＣＰＵ１に送信される。ＣＰＵ１はこの指示信号を受けて、後述する画像処理部１０での合成画像の生成および合成画像の表示部２１への出力を行う。
　合成画像の具体例としては、車両９の周辺を撮影する撮影部５の複数のカメラ（フロントカメラ５１、サイドカメラ５２、および、バックカメラ５３）から取得される複数の画像に基づいて生成される、車両９の周囲の上方の仮想視点から車両９の方向をみる画像があげられる。また、合成画像の他の具体例は、車両９の略中心の直上（真上）の仮想視点からみた画像などがある。
　操作部６１ｂは画像処理システム１０１に一体的に設けられている固定スイッチである。この操作部６１ｂのユーザの操作による指示信号が、信号入力部４１を介してＣＰＵ１に送信される。ＣＰＵ１はこの指示信号を受けて、後述する画像処理部１０での合成画像の生成および合成画像の表示部２１への出力を行う。なお、操作部６１ｂは、遠隔操作可能とするリモートコントローラであってもよく、あるいは固定スイッチとリモートコントローラの両者を併用してもよい。図１０における画像処理システム１０１のその他の構成は、上記図１で画像処理システム１００で説明した構成と同じ構成である。
　＜４－２．動作＞
　図１１は、第３の実施形態の画像処理部の処理の流れを示す図である。
　画像処理部１０のＣＰＵ１がユーザの操作により操作部６１ａ、または、操作部６１ｂからの指示信号を受信した場合（ステップＳ５０１がＹｅｓ）、ＣＰＵ１はメモリ１１から車両周囲確認処理を行うためのデータを読み出す（ステップＳ５０２）。車両周囲確認処理のデータの例としては、車両のビットマップデータ、視点の移動データ（時間ごとの視点位置や視点の方向のデータ）などがあげられる。
　なお、画像処理部１０のＣＰＵ１が操作部６１ａ、または、操作部６１ｂのいずれかの操作部から指示信号を受信していない場合（ステップＳ５０１がＮｏ）は処理を終了する。
　メモリ１１から車両周辺確認処理のデータを読み出した後に、画像処理部１０の画像変換部３は読み出したデータに基づいて、車両周囲の合成画像を生成する（ステップＳ５０３）。作成された合成画像のデータは表示部２１に出力される（ステップＳ５０４）。なお、画像処理部１０は作成した仮想視点の位置が段階的に変更されている複数の合成画像が連続性を有するように順番に表示部２１にデータを出力する。これにより仮想視点の位置が段階的に変更され、車両９の周囲の上方の仮想視点から車両方向にみた状態で、車両９の周囲を連続的に周回する画像を表示部２１に表示させることができる。
　複数の合成画像の表示部２１への出力が終了する（ステップＳ５０５がＹｅｓ）と、車両９の略中心の直上（真上）の合成画像を生成し（ステップＳ５０６）、生成した車両９の略中心の直上（真上）の合成画像を表示部２１へ出力する（ステップＳ５０７）。
　なお、ステップＳ５０５において複数の合成画像データの表示部２１への出力が終了していない場合（ステップＳ５０５がＮｏ）は、ステップＳ５０３の処理に戻って、次の車両９の周囲の合成画像を生成する処理を行う。
　次に、表示部２１の処理動作について、図１２の第３の実施形態の合成画像の画面遷移を示す図を用いて説明する。表示部２１は画像処理部１０から車両周囲確認処理の合成画像データを受信する（ステップＳ６０１がＹｅｓ）と、表示部２１に画像処理部１０から受信した車両９の周囲の複数の合成画像を連続表示させる（ステップＳ６０２）。
　なお、画像処理部１０から車両周囲確認処理の合成画像データを受信していない場合（ステップＳ６０１がＮｏ）は処理を終了する。
　ステップＳ６０２の処理により、複数の合成画像を連続表示している間にシフトセンサ８１から表示部２１へシフトポジションが”Ｒ“に切替えられた信号が送信される（ステップＳ６０３がＹｅｓ）と、表示部２１は車両９の周囲の合成画像を連続表示している画面から、車両９の後方を撮影した画像を表示するバックモード画像表示の画面に切替えて表示する（ステップＳ６０４）。
　シフトポジションが”Ｒ“に切替えられていない場合（ステップＳ６０３がＮｏ）で、切替スイッチ８３が押下された場合（ステップＳ６０５がＹｅｓ）は、表示部２１は車両９の周囲の合成画像を連続表示している画面から、車両９の前方を撮影した画像を表示するフロントモード画像表示の画面に切替えて表示する。（ステップＳ６０６）。
　ステップＳ６０５において、切替スイッチ８３が押下されていない場合（ステップＳ６０５がＮｏ）で、車速が所定の速度以上（例えば車速が１２ｋｍ／ｈ以上）の場合（ステップＳ６０７がＹｅｓ）は、車両９の周囲の合成画像を連続表示している画面からナビゲーション画像を表示する画面に切替えて表示する（ステップＳ６１０）。
　車速が所定の速度以上でない場合（ステップＳ６０７がＮｏ）は、車両９の周囲の合成画像の連続表示が終了しているか否かを判断し（ステップＳ６０８）、合成画像の連続表示が終了していない場合（ステップＳ６０８がＮｏ）は、画像処理部１０から表示部２１へ新たな合成画像が送信され、表示部２１は合成画像処理部１０から送信された新たな合成画像を前の合成画像と連続性をもたせて表示する。
　車両９の周囲の合成画像の連続表示が終了した場合（ステップＳ６０８がＹｅｓ）は、画像処理部１０から表示部２１へ送信された車両９の略中心の直上（真上）の合成画像が表示部２１に表示される（ステップＳ６０９）。これにより、車両を見下ろした状態で車両の周囲を周回するように示す複数の合成画像が表示装置に表示されるため、ユーザが車両を目の前にした視点から車両の全周囲を確認することで、１つの画面で直感的に車両と障害物との位置関係を把握できる。
　ステップＳ６０９において、車両９の略中心の直上（真上）の合成画像表示後、表示部２１はナビゲーション画像を表示する画面を表示する（ステップＳ６１０）。
　このように、仮想視点の方向が連続性を持って移動しつつ、車両の周囲を旋回するように示す複数の合成画像と車両上方からみた合成画像との双方が表示されることで、ユーザは１つの画面で直感的に車両と障害物との位置関係を把握できる。さらに、車両９の周囲と車両９の略中心の直上（真上）との複数の視点から車両９の周囲の安全性を確認できる。
　また、車両９の周囲の画像でユーザが見落とす障害物などの情報があったとしても、車両９の周囲の画像の後に連続性をもって表示される車両９の略中心の直上（真上）の画像により再度安全確認を行うことができる。
　また、ユーザが車両９の全周囲の広い範囲を確認する必要はなく、車両９の周囲の限られた範囲の画像の後に車両９の略中心の直上（真上）の広い範囲の車両９全体の画像を連続して表示することで、ユーザは１つの画面で車両９の周囲の安全確認をより確実に行える。
　また、車両９の位置を中心として車両９の周囲を順に移動する仮想視点からみた合成画像を生成することで、ユーザは１つの画面で直感的に車両９の全周囲の障害物を確認することができる。
　なお、ここで示した合成画像は一例であり、合成画像の車両を見下ろす高さ、方向、合成画像の連続表示の一時停止、連続表示の回転速度の調整、連続表示の回転を逆回転とすることなどの設定はユーザの任意の変更が可能である。
　また、連続表示を一時停止して表示部の画面の任意の部分をユーザ操作により選択することで選択した部分を拡大表示することも可能である。さらに、本実施形態では車両９の周囲を表示する合成画像を連続表示した後に、車両９の上方の合成画像を連続表示させる場合を述べたが、この順序に限ることなく車両９の略中心の直上（真上）の合成画像を表示した後に車両９の周囲の合成画像を連続表示させてもよい。
　また、本実施形態では車両９の後方の仮想視点の位置から周囲を１周する場合について述べたが、画像を遷移させる開始位置は特定されるものではなく任意の位置でもよい。さらに、周囲を周回する回数は１回に限らず２回以上または半周など任意の回数でもよい。
　また、本実施形態では車両９の周囲確認処理の開始条件を画像処理部１０がユーザの操作による操作部６１ａ、または、操作部６１ｂからの指示信号を受信したことを開始条件とすることで、ユーザが車両９の周辺確認を行いたい場合にいつでも車両９の周囲を確認できる。
　さらに、複数の合成画像を連続表示している際に、表示部２１に図示しない完了ボタンを設けて、連続表示の途中であってもこの完了ボタンを押下することで、合成画像の連続表示を終了させたり、操作部６１ａ、または、操作部６１ｂを所定時間以上押下することによる車両周囲確認処理の開始を行わないようにすることもできる。
　＜４－３．変形例１＞
　次に、第３の実施形態の画像処理部の処理の変形例について説明する。
　この変形例１では、複数の合成画像を生成してから表示部２１に送信するようにしている。図１３は、この場合の画像処理部の処理の例を示す図である。画像処理部１０のＣＰＵ１がユーザの操作により操作部６１ａ、または、操作部６１ｂからの指示信号を受信した場合（ステップＳ７０１がＹｅｓ）、ＣＰＵ１はメモリ１１から車両周囲確認処理を行うためのデータを読み出す（ステップＳ７０２）。車両周囲確認処理のデータの例としては、車両のビットマップデータ、視点の移動データ（時間ごとの視点位置や視点の方向のデータ）などのパラメータのデータがあげられる。
　メモリ１１から車両周辺確認処理のデータを読み出した後に、画像処理部１０の画像変換部３は読み出したデータに基づいて、車両周囲確認処理の合成画像を生成する（ステップＳ７０３）。ここで、車両周囲確認処理の合成画像とは、車両９の周囲の合成画像、および、車両９の略中心の直上（真上）の合成画像をいう。
　ステップＳ７０３において、作成された車両周囲確認処理の合成画像のデータは表示部２１に出力される（ステップＳ７０４）。なお、画像処理部１０は作成した仮想視点の位置が段階的に変更されている複数の合成画像が連続性を有するような順番でまとめて表示部２１にデータが出力される。
　これにより仮想視点の位置が段階的に変更され、車両９の周囲の上方の仮想視点から車両９の方向にみた状態で、車両９の周囲を連続的に周回する画像を表示部２１に表示させることができる。また、車両９の周囲の合成画像、および、車両９の略中心の直上（真上）の複数の合成画像を同じタイミングで表示部２１に出力することで、段階的に変更されて連続的に表示されている合成画像のうち、所定の画像の表示をとばして、次の画像を表示したり、前の画像に戻って表示することができ、連続的に表示される画像のうちユーザが確認したい箇所の画像を素早く表示できる。
　＜４－４．変形例２＞
　この変形例２では、予め生成されてメモリ１１に記憶された複数の合成画像を指示信号に応答して表示部２１に送信するようにしている。図１４は、第３の実施形態の画像処理部の処理の変形例２を示す図である。画像処理部１０のＣＰＵ１がユーザの操作により操作部６１ａ、または、操作部６１ｂからの指示信号を受信した場合（ステップＳ８０１がＹｅｓ）、画像処理部１０はＣＰＵ１のメモリ１１から車両周囲確認処理の合成画像データを読み出す（ステップＳ８０２）。この合成画像データは、操作部６１ａ、または、操作部６１ｂからの指示信号を受信する前に車両９の周辺を撮影する撮影部５の複数のカメラにより撮影された複数の撮影画像に基づいて、上記画像変換処理により生成された合成画像であり、予めメモリ１１に保存されているデータである。
　なお、ＣＰＵ１がユーザの操作により操作部６１ａ、または、操作部６１ｂからの指示信号を受信していない場合は処理を終了する（ステップＳ８０１がＮｏ）。
　ステップＳ８０２に戻り、予めメモリ１１に保存されている車両周囲確認処理の合成画像データが、メモリ１１から読み出された後、車両周囲確認処理の合成画像データが表示部２１へ出力される（ステップＳ８０３）。
　これにより、表示装置２１に画像を出力する指示を行うための指示信号である操作部６１ａ、または、操作部６２ｂからの信号を画像処理部１０のＣＰＵ１が受信してすぐに車両周辺確認処理の合成データを表示部２１へ出力することができ、指示信号を受信してから表示部２１へ合成画像データ出力する時間を短縮できる。
　　本出願は、２００９年５月２９日に提出された日本特許出願（特願２００９－１３０１０２）および２０１０年３月９日に提出された日本特許出願（特願２０１０－０５２２１０）に基づくものであり、その内容はここに参照として取り込まれる。
１００　　　画像処理システム
１０　　　　画像処理部
５　　　　　撮影部
２１　　　　表示部
８３　　　　切替スイッチ
８４　　　　車両電源制御装置

Claims (9)

  1. 　車両に搭載された表示装置に表示させる画像を処理する画像処理装置であって、
    　指示信号を受信する受信部と、
    　複数のカメラで撮影された前記車両の周辺の複数の画像に基づいて、前記車両の周囲の上方に配置された複数の仮想視点から前記車両をみた複数の第１合成画像を生成する合成画像生成部と、
    　仮想視点が連続的に周回するように、前記指示信号に応答して、前記表示装置に前記複数の第１合成画像を連続して出力する出力部と、を備える画像処理装置。
  2. 　請求項１に記載の画像処理装置において、
    　前記合成画像生成部は、前記車両の略中心の直上に配置された仮想視点から前記車両をみた第２合成画像を生成し、
    　前記出力部は、前記複数の第１合成画像と前記第２合成画像との相互間において前記仮想視点が連続的に移動するように、前記表示装置に前記複数の第１合成画像および前記第２合成画像を連続して出力する画像処理装置。
  3. 　請求項２に記載の画像処理装置において、
    　前記出力部は、前記複数の第１合成画像を出力した後に、前記第２合成画像を出力する画像処理装置。
  4. 　請求項１に記載の画像処理装置において、
    　前記合成画像生成部は、前記複数の第１合成画像を、前記仮想視点が前記車両の位置を中心として周回するように生成する画像処理装置。
  5. 　請求項１に記載の画像処理装置において、
    　前記合成画像生成部は、前記複数の第１合成画像を、前記仮想視点が前記車両の周辺のユーザ指定地点を中心として周回するように生成する画像処理装置。
  6. 　請求項１に記載の画像処理装置において、
    　前記受信部は、前記画像処理装置の起動時に前記指示信号を受信する画像処理装置。
  7. 　車両に搭載された表示装置に表示させる画像を処理する電子装置であって、
    　指示信号を出力する操作部と、
    　前記指示信号を受信する受信部と、
    　複数のカメラで撮影された前記車両の周辺の複数の画像に基づいて、前記車両の周囲の上方に配置された仮想視点から前記車両をみた、当該仮想視点が連続的に周回する合成画像を生成する合成画像生成部と、
    　前記指示信号に応答して、前記表示装置に前記合成画像を出力する出力部と、を備える電子装置。
  8. 　請求項７に記載の電子装置において、
    　前記出力部から出力された前記合成画像を表示する前記表示装置、をさらに備える電子装置。
  9. 　車両に搭載された表示装置に表示させる画像を処理するための画像処理方法であって、
    　指示信号を受信する工程と、
    　複数のカメラで撮影された前記車両の周辺の複数の画像に基づいて、前記車両の周囲の上方に配置された複数の仮想視点から前記車両をみた複数の合成画像を生成する工程と、
    　仮想視点が連続的に周回するように、前記指示信号に応答して、前記表示装置に前記複数の合成画像を連続して出力する工程と、を備える画像処理方法。
PCT/JP2010/059069 2009-05-29 2010-05-28 画像処理装置、電子装置、および、画像処理方法 Ceased WO2010137680A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201080023657.XA CN102450007B (zh) 2009-05-29 2010-05-28 图像处理设备、电子设备和图像处理方法
US13/322,712 US9077861B2 (en) 2009-05-29 2010-05-28 Image processing apparatus, electronic apparatus, and image processing method
US14/727,167 US10339811B2 (en) 2009-05-29 2015-06-01 Image processing apparatus, electronic apparatus, and image processing method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009-130102 2009-05-29
JP2009130102 2009-05-29
JP2010-052210 2010-03-09
JP2010052210A JP5627253B2 (ja) 2009-05-29 2010-03-09 画像処理装置、電子装置、および、画像処理方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/322,712 A-371-Of-International US9077861B2 (en) 2009-05-29 2010-05-28 Image processing apparatus, electronic apparatus, and image processing method
US14/727,167 Continuation US10339811B2 (en) 2009-05-29 2015-06-01 Image processing apparatus, electronic apparatus, and image processing method

Publications (1)

Publication Number Publication Date
WO2010137680A1 true WO2010137680A1 (ja) 2010-12-02

Family

ID=43222785

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/059069 Ceased WO2010137680A1 (ja) 2009-05-29 2010-05-28 画像処理装置、電子装置、および、画像処理方法

Country Status (4)

Country Link
US (2) US9077861B2 (ja)
JP (1) JP5627253B2 (ja)
CN (2) CN102450007B (ja)
WO (1) WO2010137680A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102740056A (zh) * 2011-03-31 2012-10-17 富士通天株式会社 图像显示系统
JP2013156981A (ja) * 2012-01-30 2013-08-15 Harman Becker Automotive Systems Gmbh 車両の環境を表示するための視認システムおよび方法
WO2015041005A1 (ja) * 2013-09-19 2015-03-26 富士通テン株式会社 画像生成装置、画像表示システム、画像生成方法、および画像表示方法
JP2015061212A (ja) * 2013-09-19 2015-03-30 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
JP2015088942A (ja) * 2013-10-31 2015-05-07 富士通テン株式会社 画像表示システム、画像表示方法及びプログラム
USD991273S1 (en) * 2021-11-17 2023-07-04 Mazda Motor Corporation Portion of a display screen with graphical user interface
USD991949S1 (en) * 2021-11-17 2023-07-11 Mazda Motor Corporation Portion of a display screen with graphical user interface

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5362639B2 (ja) * 2010-04-12 2013-12-11 住友重機械工業株式会社 画像生成装置及び操作支援システム
JP5682473B2 (ja) * 2011-06-21 2015-03-11 コニカミノルタ株式会社 広角歪補正処理を有する画像処理方法、画像処理装置及び撮像装置
EP2554434B1 (en) * 2011-08-05 2014-05-21 Harman Becker Automotive Systems GmbH Vehicle surround view system
US9990556B2 (en) 2012-07-27 2018-06-05 Kyocera Corporation Image processing apparatus, imaging apparatus, movable object, program, and region setting method
JP6130118B2 (ja) * 2012-09-28 2017-05-17 富士通テン株式会社 画像処理システム、画像処理装置、画像処理方法、及び、プログラム
CN104871204B (zh) * 2012-11-27 2018-01-26 歌乐株式会社 车载图像处理装置
JP6347934B2 (ja) * 2013-10-11 2018-06-27 株式会社デンソーテン 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
US9800983B2 (en) * 2014-07-24 2017-10-24 Magna Electronics Inc. Vehicle in cabin sound processing system
JP6172106B2 (ja) * 2014-10-03 2017-08-02 トヨタ自動車株式会社 車両用情報提示装置
JP6548900B2 (ja) 2015-01-20 2019-07-24 株式会社デンソーテン 画像生成装置、画像生成方法及びプログラム
JP6585371B2 (ja) * 2015-04-24 2019-10-02 株式会社デンソーテン 画像処理装置、画像処理方法および車載装置
JP6224029B2 (ja) * 2015-05-21 2017-11-01 富士通テン株式会社 画像処理装置および画像処理方法
JP2016225865A (ja) * 2015-06-01 2016-12-28 東芝アルパイン・オートモティブテクノロジー株式会社 俯瞰画像生成装置
CN105128743A (zh) * 2015-09-07 2015-12-09 深圳市灵动飞扬科技有限公司 车辆全景显示方法及系统
DE102015217258A1 (de) * 2015-09-10 2017-03-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Darstellen eines Fahrzeugumfeldes eines Fahrzeuges
JP6606956B2 (ja) * 2015-09-30 2019-11-20 アイシン精機株式会社 周辺監視装置
JP6610139B2 (ja) * 2015-09-30 2019-11-27 アイシン精機株式会社 周辺監視装置
JP6613774B2 (ja) * 2015-09-30 2019-12-04 アイシン精機株式会社 周辺監視装置
JP6555056B2 (ja) * 2015-09-30 2019-08-07 アイシン精機株式会社 周辺監視装置
CN105459904B (zh) * 2015-11-30 2017-12-22 深圳市灵动飞扬科技有限公司 车辆转弯显示方法及系统
US10523865B2 (en) * 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables
JP6370833B2 (ja) * 2016-05-16 2018-08-08 株式会社デンソーテン 画像生成装置、画像表示システム及び画像生成方法
EP3522516B1 (en) * 2016-09-28 2023-09-06 Kyocera Corporation Camera module, selector, controller, camera monitoring system, and moving body
JP6482580B2 (ja) 2017-02-10 2019-03-13 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP7056034B2 (ja) 2017-08-14 2022-04-19 株式会社アイシン 周辺監視装置
US11004226B2 (en) * 2017-09-07 2021-05-11 Sony Corporation Image processing device, image processing method, and image display system for grasping a distance from an obstacle with a smaller visual line shift
KR102053527B1 (ko) * 2017-10-15 2019-12-06 알레시오 주식회사 이미지 처리 방법
WO2019077993A1 (ja) * 2017-10-17 2019-04-25 株式会社タダノ 作業車両
JP2019125193A (ja) 2018-01-17 2019-07-25 アイシン精機株式会社 周辺監視装置
JP7032950B2 (ja) * 2018-02-19 2022-03-09 株式会社デンソーテン 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法
JP7060418B2 (ja) * 2018-03-15 2022-04-26 株式会社デンソーテン 車両遠隔操作装置及び車両遠隔操作方法
CN110843672A (zh) * 2018-08-21 2020-02-28 上海博泰悦臻网络技术服务有限公司 模拟后车视角的车辆行驶全景监控方法、系统、及车辆
JP7283059B2 (ja) 2018-11-28 2023-05-30 株式会社アイシン 周辺監視装置
DE102018131104A1 (de) * 2018-12-06 2020-06-10 Valeo Schalter Und Sensoren Gmbh Verfahren zum Unterstützen eines Benutzers beim Fernsteuern eines Kraftfahrzeugs, Computerprogrammprodukt, Fernsteuereinrichtung und Fahrerassistenzsystem für ein Kraftfahrzeug
US12088952B2 (en) 2018-12-11 2024-09-10 Sony Group Corporation Image processing apparatus, image processing method, and image processing system
JP7160702B2 (ja) * 2019-01-23 2022-10-25 株式会社小松製作所 作業機械のシステム及び方法
JP7151643B2 (ja) * 2019-06-28 2022-10-12 株式会社デンソー 車両用装置
JP2021150838A (ja) * 2020-03-19 2021-09-27 株式会社デンソーテン 画像処理装置
JP7523196B2 (ja) * 2020-12-16 2024-07-26 株式会社デンソー 周辺画像表示装置
US12498441B2 (en) 2021-08-11 2025-12-16 Magna Electronics Inc. Vehicular sound processing system with enhanced recognition of audible alerts from other vehicles
CN113873156A (zh) * 2021-09-27 2021-12-31 北京有竹居网络技术有限公司 图像处理方法、装置和电子设备
JP2024106677A (ja) 2023-01-27 2024-08-08 本田技研工業株式会社 画像処理装置
CN120321473A (zh) * 2025-06-17 2025-07-15 深蓝汽车科技有限公司 一种实现画面转动的视频生成方法、装置及车辆

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3300334B2 (ja) * 1999-04-16 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
JP2008219559A (ja) * 2007-03-06 2008-09-18 Xanavi Informatics Corp 車載カメラシステム
JP2008236403A (ja) * 2007-03-20 2008-10-02 Mazda Motor Corp 車両用運転支援装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US691197A (en) * 1901-09-24 1902-01-14 Daniel T Spring Fire-alarm appliance.
JPH10151995A (ja) 1996-11-26 1998-06-09 Fujitsu Ten Ltd 再生装置
JP3503466B2 (ja) 1998-03-05 2004-03-08 日産自動車株式会社 車両用表示装置
EP1179958B1 (en) * 1999-04-16 2012-08-08 Panasonic Corporation Image processing device and monitoring system
JP3300341B2 (ja) * 1999-10-12 2002-07-08 松下電器産業株式会社 監視システムおよびカメラ調整方法
US6515597B1 (en) * 2000-01-31 2003-02-04 Matsushita Electric Industrial Co. Ltd. Vicinity display for car
JP2001236418A (ja) 2000-02-22 2001-08-31 Matsushita Electric Works Ltd インターネット住空間ｖｒシステムを用いたビジネス方法とそのための記録媒体
WO2002007443A1 (en) * 2000-07-19 2002-01-24 Matsushita Electric Industrial Co., Ltd. Monitoring system
JP2002342408A (ja) 2001-05-14 2002-11-29 Matsushita Electric Works Ltd ユニットハウスの見積り方法
JP2002366976A (ja) 2001-06-08 2002-12-20 Fujitsu Ltd オブジェクト表示プログラムおよびオブジェクト表示装置
US7145519B2 (en) * 2002-04-18 2006-12-05 Nissan Motor Co., Ltd. Image display apparatus, method, and program for automotive vehicle
JP2004185054A (ja) 2002-11-29 2004-07-02 Matsushita Electric Works Ltd 住宅間取り設計支援システム
JP4353016B2 (ja) 2004-07-12 2009-10-28 株式会社デンソー 車両用後退ガイド表示装置
JP5029062B2 (ja) 2007-02-26 2012-09-19 富士通株式会社 多視点動画像伝送システム
JP5088669B2 (ja) * 2007-03-23 2012-12-05 株式会社デンソー 車両周辺監視装置
JP2009035024A (ja) 2007-07-31 2009-02-19 Fujitsu Ten Ltd 車載用電子システム及び車載用電子装置
JP2009075166A (ja) * 2007-09-18 2009-04-09 Sharp Corp 表示装置
JP5347257B2 (ja) * 2007-09-26 2013-11-20 日産自動車株式会社 車両用周辺監視装置および映像表示方法
JP5439890B2 (ja) 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3300334B2 (ja) * 1999-04-16 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
JP2008219559A (ja) * 2007-03-06 2008-09-18 Xanavi Informatics Corp 車載カメラシステム
JP2008236403A (ja) * 2007-03-20 2008-10-02 Mazda Motor Corp 車両用運転支援装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102740056A (zh) * 2011-03-31 2012-10-17 富士通天株式会社 图像显示系统
CN102740056B (zh) * 2011-03-31 2015-10-14 富士通天株式会社 图像显示系统
JP2013156981A (ja) * 2012-01-30 2013-08-15 Harman Becker Automotive Systems Gmbh 車両の環境を表示するための視認システムおよび方法
WO2015041005A1 (ja) * 2013-09-19 2015-03-26 富士通テン株式会社 画像生成装置、画像表示システム、画像生成方法、および画像表示方法
JP2015061212A (ja) * 2013-09-19 2015-03-30 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
JP2015088942A (ja) * 2013-10-31 2015-05-07 富士通テン株式会社 画像表示システム、画像表示方法及びプログラム
USD991273S1 (en) * 2021-11-17 2023-07-04 Mazda Motor Corporation Portion of a display screen with graphical user interface
USD991949S1 (en) * 2021-11-17 2023-07-11 Mazda Motor Corporation Portion of a display screen with graphical user interface

Also Published As

Publication number Publication date
US20150262488A1 (en) 2015-09-17
JP2011008762A (ja) 2011-01-13
CN102450007B (zh) 2015-12-09
CN104660985B (zh) 2018-02-13
CN104660985A (zh) 2015-05-27
US20120069188A1 (en) 2012-03-22
JP5627253B2 (ja) 2014-11-19
CN102450007A (zh) 2012-05-09
US10339811B2 (en) 2019-07-02
US9077861B2 (en) 2015-07-07

Similar Documents

Publication Publication Date Title
JP5627253B2 (ja) 画像処理装置、電子装置、および、画像処理方法
US9706175B2 (en) Image processing device, image processing system, and image processing method
JP5302227B2 (ja) 画像処理装置、画像処理システム、および、画像処理方法
JP5341789B2 (ja) パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム
JP5087051B2 (ja) 画像生成装置及び画像表示システム
JP6548900B2 (ja) 画像生成装置、画像生成方法及びプログラム
JP6118936B2 (ja) 画像処理装置
JP5658507B2 (ja) 画像表示システム、画像生成装置、及び、画像表示方法
US20120249796A1 (en) Image processing device, image processing system, and image processing method
JP7000383B2 (ja) 画像処理装置および画像処理方法
JP2014197817A (ja) 画像生成装置、画像表示システム及び画像生成方法
JP5479639B2 (ja) 画像処理装置、画像処理システム、および、画像処理方法
JP6258000B2 (ja) 画像表示システム、画像表示方法及びプログラム
JP2012065228A (ja) 画像処理装置、画像表示システム及び画像表示方法
JP6370833B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
JP6148896B2 (ja) 画像生成装置及び画像生成方法
JP2016141303A (ja) 視界支援装置
JP4285229B2 (ja) 車両用表示装置
WO2017130368A1 (ja) 監視装置及びプログラム
JP2013132023A (ja) 撮影領域明示装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080023657.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10780634

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13322712

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10780634

Country of ref document: EP

Kind code of ref document: A1